JP7277184B2 - 情報処理装置、情報処理方法ならびにプログラム。 - Google Patents

情報処理装置、情報処理方法ならびにプログラム。 Download PDF

Info

Publication number
JP7277184B2
JP7277184B2 JP2019038764A JP2019038764A JP7277184B2 JP 7277184 B2 JP7277184 B2 JP 7277184B2 JP 2019038764 A JP2019038764 A JP 2019038764A JP 2019038764 A JP2019038764 A JP 2019038764A JP 7277184 B2 JP7277184 B2 JP 7277184B2
Authority
JP
Japan
Prior art keywords
change
key frame
information processing
state
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019038764A
Other languages
English (en)
Other versions
JP2020144456A (ja
Inventor
道雄 相澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019038764A priority Critical patent/JP7277184B2/ja
Priority to US16/784,731 priority patent/US11057609B2/en
Publication of JP2020144456A publication Critical patent/JP2020144456A/ja
Application granted granted Critical
Publication of JP7277184B2 publication Critical patent/JP7277184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、仮想視点画像に係る仮想視点を設定する技術に関する。
近年、複数台の実カメラを異なる位置に設置して多視点で同期撮影し、当該同期撮影により得られた複数視点画像を用いて、任意の視点から観察される仮想視点画像を生成する技術が注目されている。仮想視点画像を用いたサービスでは、例えば、サッカーやラグビーの試合を撮影した映像から、映像制作者によって迫力のあるコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦したりすることができるようにもなる。従って、仮想視点画像を用いたサービスによれば、一般的な撮影画像と比較してユーザに高臨場感を与えることができる。
特許文献1では、3次元コンピュータグラフィックスによるアニメーションを表示するための方法として、キーフレーム法を用いることが記載されている。キーフレーム法においては、キーとなる表示状態を指定するキーフレームとキーフレームの間の中間フレームがスプライン関数により自動的に補間される。
特開2007-025979号公報
仮想視点画像に係る仮想視点の動きを表すカメラパスの設定において、ユーザはキーフレームの時刻と視点を指定することで、容易にカメラパスを設定できる。例えば、カメラパスにおける視点の移動速度は、指定された複数のキーフレーム間の時間間隔と視点の移動量に応じて決定される。しかしながら、ユーザが指定した複数のキーフレームの関係によっては、視点の移動速度がキーフレームの前後で大きく異なってしまい、カメラパスに従って得られる仮想視点画像が不自然になる。
本発明は、違和感の少ない仮想視点画像を生成するための仮想視点の動きを容易に設定することを可能にする技術を提供する。
本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
仮想視点の動きを定義するカメラパスを編集する情報処理装置であって、
前記カメラパスを構成するための、任意の時刻のキーフレームの指定と、前記指定されたキーフレームに対応する仮想視点の状態の指定とを受け付ける指定手段と、
前記指定手段により指定されたキーフレームの前後における仮想視点の状態の変化量を取得する取得手段と、
前記指定されたキーフレームの前後において前記取得手段により取得された変化量の差が小さくなるように、前記カメラパスを構成するフレーム列における前記指定されたキーフレームの位置を変更する変更手段と、を備える。
本発明によれば、違和感の少ない仮想視点画像を生成するための仮想視点の動きを容易に設定することが可能になる。
撮影システムの構成および情報処理装置のハードウェア構成例を示すブロック図。 情報処理装置の機能構成例を示すブロック図。 撮影システムにおける実カメラの配置および仮想カメラの設定を説明する図。 カメラパス編集のためのユーザインターフェースを説明する図。 カメラパス編集におけるユーザインターフェースの表示例を説明する図。 カメラパスの編集処理を説明するフローチャート。 時刻変更モードによるカメラパスの編集処理を説明するフローチャート。 キーフレームの時刻の変更によるカメラパスの編集例を説明する図。 フレーム数変更モードによるカメラパスの編集処理を説明するフローチャート。 フレーム数の変更によるカメラパスの編集例を説明する図。 仮想カメラの状態の変化量の算出を説明する図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
図1は、実施形態にかかる撮影システムの構成例を示す図である。撮影システムは、情報処理装置100、サーバ装置120、複数の実カメラ301、UI部400を有する。サーバ装置120は、複数の実カメラ301および情報処理装置100と接続され、複数の実カメラ301の同期撮影により得られた撮影画像を収集、格納し、撮影画像を情報処理装置100に提供する。また、図1は、情報処理装置のハードウェア構成例を示す。情報処理装置100において、CPU101は、RAM102やROM103に格納されているコンピュータプログラムやデータを用いて情報処理装置100の全体を制御する。なお、情報処理装置100がCPU101とは異なる専用の1又は複数のハードウェアやGPU(Graphics Processing Unit)を有し、CPU101による処理の少なくとも一部をGPUや専用のハードウェアが行ってもよい。専用のハードウェアの例としては、ASIC(特定用途向け集積回路)、およびDSP(デジタルシグナルプロセッサ)などがある。
RAM102は、ROM103から読みだされたコンピュータプログラムやデータ、入出力部104を介して外部から供給されるデータなどを一時的に記憶する。ROM103は、変更を必要としないコンピュータプログラムやデータを保持する。入出力部104は、カメラパスを編集するためのコントローラ、グラフィカルユーザインタフェース(以下、GUI)を表示するディスプレイなどとデータの入出力を行う。本実施形態では、入出力部104は、サーバ装置120およびUI部400と接続されている。
図2は、実施形態にかかる情報処理装置100により実現される機能構成例を説明するブロック図である。上述したように、各機能部はCPU101が所定のコンピュータプログラムを実行することにより実現されてもよいし、少なくとも一部が専用のハードウェアにより実現されてもよい。
画像生成部201は、多視点から同期撮影した複数枚の画像をもとに、仮想カメラの視点から見た仮想視点画像を生成する。仮想カメラとは、撮影空間内を自由に動ける仮想的なカメラである。実カメラの配置と仮想カメラの例を図3に示す。撮影空間を囲むように複数台の実カメラ301が配置される。これら複数台の実カメラ301は同期撮影するように設定されている。仮想カメラ302は、どの実カメラ301とも異なる任意の視点(仮想視点)を表す。なお、画像生成部201はサーバ装置120に設けられてもよい。
次に、画像生成部201が仮想視点画像を生成する方法の一例を説明する。以降、本実施形態では、選手やボールなどのような位置が変化する被写体を前景と呼ぶ。また、フィールド(芝生)などのような前景以外の被写体を背景と呼ぶ。まず、画像生成部201は、複数の実カメラ301が撮影した複数枚の撮影画像を前景と背景に分離する。画像生成部201は、分離した複数の前景から、選手やボールなどの前景の3次元形状(以下、3D形状)と位置を計算する。次に、画像生成部201は、計算した前景の3D形状と位置を用いて、仮想カメラ302の視点からの前景を再構成する。次に、画像生成部201は、分離した複数の背景から、仮想カメラ302の視点に対応する背景を生成する。なお、背景の3D形状を用いて仮想カメラ302の視点に対応した背景を生成するようにしてもよい。画像生成部201は、再構成した前景を生成した背景に合成して仮想視点画像を生成する。
なお、情報処理装置100をコンピュータグラフィックス画像(CG画像)のカメラパスを編集するために使用することも可能である。その場合、画像生成部201の代わりにCGレンダラーが用いられ、仮想視点としての仮想カメラ302はCG画像の視点を表し、CG空間内の任意の位置に移動できる。
カメラパス編集部202は、ユーザの操作に応じて、仮想視点の動きを定義するカメラパスを編集する。すなわち、カメラパスは、複数枚の仮想視点画像やCG画像を順に再生することで作成される動画において、仮想カメラ302の動きを定義する。カメラパスはフレームとタイムラインで管理される。フレームは、動画を構成する各画像の生成に必要な情報、より具体的には、例えばシーンの時刻と仮想カメラの位置・姿勢の情報を保持する。シーンの時刻は、例えば、撮影対象の試合が開始された時刻を00時00分00秒00フレームとしたタイムコードで表す。仮想カメラの位置は、例えば、撮影空間内に原点を設定し、X、Y、Zの3つの座標で表す。仮想カメラの姿勢は、例えば、パン、チルト、ロールの3つの角度で表す。タイムラインに含まれるフレームの枚数は、1秒当たりに再生する画像の枚数(フレームレート)によって決まる。例えば、フレームレートが60フレーム/秒の場合、1秒当たり60枚のフレームが、タイムラインに含まれる。なお、カメラパスが表す仮想視点(仮想カメラ)の状態としてズーム(画角)が含まれてもよい。
キーフレームを用いたカメラパス編集において、フレームはキーフレームと中間フレームの2種類に分かれる。キーフレームは、カメラパスを編集するユーザが明示的に情報を指定するフレームである。一方、中間フレームは、キーフレームとキーフレームとの間のフレームである。カメラパス編集部202は、キーフレームに指定されている仮想カメラの位置・姿勢を用いて、キーフレーム間における仮想カメラの位置・姿勢を補間により算出し、各フレームの情報を決定する。さらに、キーフレームは、始点、終点、中点の3種類に分かれる。カメラパスは、1枚のキーフレーム(始点)と1枚のキーフレーム(終点)、0枚以上のキーフレーム(中点)を含む。本実施形態の情報処理装置100は、特にキーフレーム(中点)を1枚以上含むカメラパス、つまり3枚以上のキーフレームを含むカメラパスを対象とする。また、始点のキーフレームと終点のキーフレームとの間が編集対象のカメラパスである。
カメラパスを編集するためのユーザインターフェース(以下、UI)の例(UI部400)を図4に示す。画像表示部401は、画像生成部201が生成した仮想視点画像、つまり、仮想カメラ302から見た画像を表示する。GUI表示部402は、カメラパスやキーフレームに関する情報などを表示する。編集コントローラ403は、カメラパスを編集するためにユーザが使用するコントローラである。
GUI表示部402の表示例を図5に示す。タイムライン501は、各フレームを一本の時間軸上に表示する。すなわち、タイムライン501は、仮想視点画像またはコンピュータグラフィックス画像のフレーム列と、そのフレーム列におけるキーフレームの位置とを模式的に表示するものである。図5では、キーフレーム502、キーフレーム503、キーフレーム504の3枚のキーフレームが示されている。キーフレーム502はカメラパス505の始点に対応するキーフレームである。キーフレーム503はカメラパス505の終点に対応するキーフレームである。キーフレーム504は中点のキーフレームである。一方、カメラパス505は、各フレームに対応する仮想カメラの位置・姿勢の動きを表したものである。506はキーフレーム502に対応する仮想カメラの位置・姿勢を含む状態を示す。507はキーフレーム503に対応する仮想カメラの位置・姿勢を含む状態を示す。508はキーフレーム504に対応する仮想カメラの位置・姿勢を含む状態を示す。また、モード表示部509は、実行中のカメラパス変更モードを示す。本実施形態では、カメラパス変更モードとして、時刻変更モードとフレーム数変更モードが用いられるが、これらのモードについては後述する。
なお、カメラパス編集部202は、ユーザの編集対象となっているフレームの情報を画像生成部201へ送信する。画像生成部201は受信したフレームの情報をもとに仮想視点画像を生成し、生成した仮想視点画像を、画像表示部401に表示させる。これにより、ユーザは、編集対象のフレームの仮想カメラから見た画像を確認しながら、カメラパスを編集することが可能である。
キーフレーム追加部203は、タイムライン501上で、ユーザが指定した時刻にキーフレームを追加する。ユーザは、編集コントローラ403を用いて、時刻を操作(進める、戻す)し、所望の時刻を指定する。ユーザが時刻を操作すると、対応する時刻の仮想視点画像が画像表示部401に表示される。ユーザは、画像表示部401に表示される仮想視点画像を見ながら操作することで、選手がパスしたなど、所望のシーンの時刻を、容易に指定することができる。ユーザが追加したキーフレーム502、503,504は、図5に示されるようにタイムライン501上に表示される。なお、ユーザは、マウスなどのポインティングデバイスを用いて、タイムライン501上の所望の位置を指定することで、その位置にキーフレームを追加することもできる。
位置・姿勢指定部204は、ユーザの操作に応じて、キーフレームの仮想カメラの状態(位置・姿勢)を指定する。ユーザは、編集コントローラ403を用いて、仮想カメラを前後、左右、上下へ移動し、所望の位置を指定する。また、編集コントローラ403を用いて、仮想カメラをパン、チルト、ロール方向へ回転し、所望の姿勢を指定する。ユーザが仮想カメラの位置・姿勢を操作すると、対応する位置・姿勢の仮想視点画像が画像表示部401に表示される。ユーザは、画像表示部401を見ながら操作することで、所望の仮想カメラの位置・姿勢を、容易に指定することができる。ユーザが指定したキーフレームに対応する仮想カメラの位置・姿勢は、状態506、507、508のように表示される。なお、仮想カメラの状態506はキーフレーム502における仮想カメラの位置・姿勢である。同様に、状態508はキーフレーム504における仮想カメラの位置・姿勢であり、状態507はキーフレーム503における仮想カメラの位置・姿勢である。
位置・姿勢補間部205は、キーフレーム間のカメラの位置・姿勢を補間する。まず、始点のキーフレームと終点のキーフレームの間を、中間のキーフレームにより分割する。図5の例では、2つの区間に分割される。1つ目の区間は、始点のキーフレーム502と中間のキーフレーム504の間である。2つ目の区間は、中間のキーフレーム504と終点のキーフレーム503の間である。分割されたそれぞれの区間について、カメラの位置・姿勢を曲線で補間する。カメラの位置を補間する方法としては、例えば、線形補間、ベジェ補間などを使用する。また、カメラの姿勢を補間する方法としては、例えば、線形補間、球面線形補間などを使用する。補間された曲線が、カメラパス505である。
変化量計算部206は、指定されたキーフレーム(追加されたキーフレーム)の前後における仮想視点(仮想カメラ)の状態の変化量を計算し、取得する。本実施形態では、変化量計算部206は、キーフレーム間のカメラの位置・姿勢の変化量を計算する。カメラの位置の変化量は、キーフレーム間を補間した曲線/直線の長さである。曲線/直線の長さは、例えば、曲線/直線を表す関数を積分することで計算できる。カメラの姿勢の変化量は、パン、チルト、ロール角の変化量である。パン、チルト、ロール角の変化量は、隣接するキーフレームにおけるパン、チルト、ロール角のそれぞれの差分として計算できる。また、キーフレーム間におけるパン、チルト、ロール角の変化量の平均を、カメラの姿勢の変化量としてもよい。また、本実施形態では、位置と姿勢の変化量を合成して(例えば、線形和による合成)状態の変化量とする。
変更モード管理部207は、カメラパスを変更するモードを管理する。カメラパス変更モードの1つは、キーフレームの時刻を変更する時刻変更モードである。また、別の1つのモードは、キーフレーム間に挿入する中間フレームの数を変更するフレーム数変更モードである。ユーザは、編集コントローラ403を用いて、時刻変更モードとフレーム数変更モードのうちの所望のモードに切り替えることができる。いずれのモードも、指定されたキーフレームの前後について変化量計算部206により取得された変化量の差が小さくなるように、仮想視点画像またはCG画像のフレーム列における、指定されたキーフレームの位置が変更される。時刻変更部208は時刻変更モードにおいて動作し、追加されたキーフレームの前後の仮想視点の変化量が小さくなるように当該追加されたキーフレームの時刻を変更する。フレーム数変更部209は、フレーム数変更モードにおいて動作し、追加されたキーフレームの前後の仮想視点の変化量が小さくなるように当該追加されたキーフレームとこれに隣接するキーフレームとの間の中間フレームの数を変更する。以下、時刻変更部208とフレーム数変更部209の動作について説明する。
[時刻変更モード]
時刻変更部208は、キーフレーム間の仮想視点の状態の変化量(例えば、位置・姿勢の変化量)に応じて、追加されたキーフレームの前後で変化量の差が小さくなるように、当該キーフレームの時刻を変更する。より具体的には、時刻変更部208は、例えば、中間点のキーフレームの前後で、カメラの位置・姿勢の時間当たりの変化量が等しくなるように、当該中間点のキーフレームの時刻を変更する。なお、時刻変更部208は、キーフレームの時刻を変更する時刻変更モードの場合に動作する。
以下、図11(a)の例を用いて時刻変更モードにおける中間点のキーフレームの時刻変更方法について説明する。図11(a)は、仮想視点の状態の変化量の算出を説明する図である。図11(a)において、キーフレーム502とキーフレーム504の間の仮想視点の状態(仮想カメラの位置・姿勢)の変化量をL1とする。つまり、L1は仮想カメラの状態506から状態508への変化量である。また、キーフレーム504とキーフレーム503の間の仮想視点の状態(仮想カメラの位置・姿勢)の変化量をL2とする。つまり、L2は仮想カメラの状態508から状態507への変化量である。また、キーフレーム502の時刻をT1、キーフレーム503の時刻をT2、キーフレーム504の変更後の時刻をT3aとする。
キーフレーム504の前において、仮想カメラの位置・姿勢の時間当たりの変化量ΔL1はL1/(T3a-T1)となる。キーフレーム504の後で、仮想カメラの位置・姿勢の時間当たりの変化量ΔL2はL2/(T2-T3a)となる。よって、キーフレーム504の前後で仮想カメラの位置・姿勢の時間当たりの変化量ΔL1とΔL2を等しくするためには、L1/(T3a-T1)=L2/(T2-T3a)を満足するようにキーフレーム504の時刻T3aが設定されればよい。したがって、キーフレーム504の時刻T3a=(L1×T2+L2×T1)/(L1+L2)となる。キーフレーム504の時刻が変更されると、キーフレーム504がタイムライン501上で移動することになる。なお、キーフレーム504における仮想カメラの状態508(位置・姿勢)は変化しない。なお、ΔL1とΔL2とは必ずしも一致しなくてよく、キーフレーム504の時刻を変更する前におけるΔL1とΔL2との差よりも変更後のΔL1とΔL2との差が小さくなっていればよい。
仮想カメラの位置の変化量は、仮想カメラの移動速度に等しい。上記処理によれば、キーフレーム504の前後で仮想カメラの移動速度の差が小さくなる、あるいは、等しくなる。これにより、ユーザが仮想カメラの移動速度を別途調整することなく、キーフレームの前後で仮想カメラの移動速度が変わることによる不自然さを軽減することが可能になる。
なお、仮想視点(仮想カメラ)の状態とは、仮想視点(仮想カメラ)の位置と姿勢の少なくとも何れかである。すなわち、仮想カメラの状態の変化量L1、L2として、仮想カメラの位置の変化量のみが用いられてもよいし、仮想カメラの姿勢の変化量のみが用いられてもよい。また、変化量L1、L2として仮想カメラの姿勢のパン、チルト、ロールのどれかひとつの変化量のみが用いられてもよい。また、変化量L1、L2として仮想カメラの位置と姿勢を合わせて使う場合は、例えば、それぞれの変化量を線形結合した値が用いられてもよい。
また、中間点のキーフレームの前後で、仮想カメラの状態(例えば、位置・姿勢)の時間当たりの変化量の差が所定値以上となる場合に、中間点のキーフレームの時刻を変更するようにしてもよい。例えば、中間点のキーフレームの前後におけるカメラの位置・姿勢の時間当たりの変化量の割合が0.8より大きい場合にキーフレーム(中点)の時刻を上記T3aに変更する。この場合、以下の(式1)
0.8≦{L1(T2-T3)}/{L2(T3-T1)}≦1/0.8 ...(式1)
を用いてキーフレームの時刻を変更するか否かを判定する。ここで、T3は、キーフレーム504の変更前の時刻である。(式1)を満たさない場合、時刻変更部208は、上述した方法に従って追加された中間点のキーフレームの時刻をT3aに変更する。
また、変化量計算部206は、中間点のキーフレームの前後の所定時間内のフレーム(中間フレームまたはキーフレーム)を用いて、当該中間点のキーフレームにおける仮想カメラの位置・姿勢の変化量L1、L2を算出してもよい。例えば、図11(b)に示されるように、変化量計算部206は、中間点のキーフレーム504より所定時間前(T3a-Tx)のフレーム1101における仮想視点の状態とキーフレーム504における仮想視点の状態とから変化量L1を計算する。また、変化量計算部206は、キーフレーム504より所定時間後(T3a+Tx)のフレーム1102にける仮想視点の状態と当該キーフレームにおける仮想視点の状態とから状態の変化量L2を計算する。なお、フレーム1101,1102に対応する仮想視点の状態(仮想カメラの位置・姿勢)は、位置・姿勢補間部205により取得され得る。時刻変更部208は、このようにして計算されたL1とL2が等しくなるように、時刻T3aを決定する。なお、上記例では、指定された中間点のキーフレーム504の前後で同一の所定時間Txを用いたが、キーフレーム504の前後で異なる時間が用いられてもよい。また、時刻T1、T2のキーフレーム02、503をそれぞれ始点のキーフレーム、終点のキーフレームとしたが、これに限られるものではない。すなわち、追加されたキーフレーム504の両隣のキーフレームを用いて上述した時刻変更モードの処理が実行されてもよい。
[フレーム数変更モード]
フレーム数変更部209は、キーフレーム間の仮想カメラの状態(位置・姿勢)のフレーム当たりの変化量の差が小さくなるようにキーフレーム間の中間フレームの枚数を変更する。具体的には、本実施形態では、中間点のキーフレームの前後で、仮想カメラの状態(位置・姿勢)のフレーム当たりの変化量が等しくなるように、中間フレームの枚数を変更する。なお、フレーム数変更部209は、キーフレーム間における中間フレームの数を変更するフレーム数変更モードにおいて動作する。なお、仮想カメラの状態(仮想視点の状態)は上述したとおりである。
以下、図11(a)の例を用いてフレーム数変更モードの動作を説明する。図11(a)において、キーフレーム502とキーフレーム504の間の変更前の中間フレームの枚数をN1、キーフレーム504とキーフレーム503の間の変更前の中間フレームの枚数をN2とする。また、キーフレーム504の時刻をT3とする。変更前の中間フレームの枚数は、キーフレーム間の時刻の差とフレームレートによって決まる。例えば、フレームレートを60フレーム/秒とすると、N1=(T3-T1)×60-1、N2=(T2-T3)×60-1である。
ここで、キーフレーム502とキーフレーム504の間の変更後の中間フレームの枚数をN1aとする。また、キーフレーム504とキーフレーム503の間の変更後の中間フレームの枚数をN2aとする。すると、キーフレーム504の前における仮想カメラの状態(位置・姿勢)のフレーム当たりの変化量はL1/N1aである。また、キーフレーム504の後における仮想カメラの状態(位置・姿勢)のフレーム当たりの変化量はL2/N2aである。よって、キーフレーム504の前後で、仮想カメラの状態(位置・姿勢)のフレーム当たりの変化量が等しくなるための条件は、L1/N1a=L2/N2aとなる。
次に、フレーム数変更部209は、キーフレーム504の前後のどちら側で中間フレームの枚数を変更するかを決める。本実施形態では、指定されたフレームの前後のうち、変化量の大きい方にフレームが追加される。より具体的には、フレーム数変更部209は、例えば、キーフレーム504の前後の時間当たりの変化量を比較し、変化量が大きい側の中間フレームの枚数を変更し、変化量が小さい側の中間フレームの枚数は変更しない。なお、フレーム数の変更は、中間点のキーフレームの前後で、仮想カメラの状態(例えば、位置・姿勢)のフレーム当たりの変化量の差が所定値以上となる場合に実行されるようにしてもよい。
以下具体的に説明する。キーフレーム504の前における仮想カメラの状態の時間当たりの変化量ΔL1はL1/(T3-T1)である。また、キーフレーム504の後における仮想カメラの状態の時間当たりの変化量ΔL2はL2/(T2-T3)である。ここで、例えば、キーフレーム504の前、つまり、キーフレーム502とキーフレーム504の間の時間当たりの変化量ΔL1の方がキーフレーム504の後の変化量ΔL2よりも大きいとする。この場合、フレーム数変更部209は、キーフレーム502とキーフレーム504の間の中間フレームの枚数を変更し、キーフレーム504とキーフレーム503の間の中間フレームの枚数は変更しない。したがって、N2a=N2=(T2-T3)×60-1であり、N1a=L1/L2×N2a=L1/L2×{(T2-T3)×60-1}となる。ここで、N1a>N1となり、フレーム数変更部209は、キーフレーム502とキーフレーム504の間に「N1a-N1」枚の中間フレームを追加する。なお、ΔL1とΔL2とは必ずしも一致しなくてよく、中間フレーム数を変更する前におけるΔL1とΔL2との差よりも変更後のΔL1とΔL2との差が小さくなっていればよい。
なお、以上の処理によれば、中間フレームの枚数が変更されなかったキーフレーム504の後では動画が等倍で再生される一方、中間フレームが追加されたキーフレーム504の前では動画がスロー再生されることになる。しかし、フレーム当たりの仮想カメラの状態の変化量(例えば、移動速度)は、キーフレーム504の前後で等しく、又は差が小さくなる。これにより、ユーザが仮想カメラの移動速度などを別途調整することなく、追加されたキーフレームの前後でカメラの移動速度が変わることによる不自然さを軽減することが可能となる。なお、中間フレーム数の変更は、フレームの追加に限らずフレームの削減により行われてもよい。例えば、キーフレーム504の前における変化量ΔL1がキーフレーム504の後における変化量ΔL2より大きい場合に、フレーム数変更部209は、キーフレーム504とキーフレーム503の間の中間フレームを削減してもよい。
なお、中間フレームの追加方法は、例えば、キーフレーム間で任意の中間フレームを繰り返すことにより実現され得る。また、時刻変更モードと同様に、フレーム数変更モードにおいても、追加されたキーフレームの前後の所定時間に対応するフレームを用いて、当該キーフレームの前後の状態の変化量の差を減らすようにしてもよい。すなわち、図11(b)において、指定されたキーフレーム504の所定時間前の時刻(T3-Tx)をT1とし、キーフレーム504の所定時間後の時刻(T3+Tx)をT2として用いることで実現され得る。また、この場合、フレーム数変更部209は、キーフレーム504とその所定時間前のフレーム1101との間のフレーム数、または、キーフレーム504とその所定時間後のフレーム1102との間のフレーム数を増減することで、変化量の差を低減する。また、上記では指定された中間点のキーフレーム504の前後で同一の所定時間Txを用いたが、キーフレーム504の前後で異なる時間が用いられてもよい。また、時刻T1、T2のキーフレーム02、503をそれぞれ始点のキーフレーム、終点のキーフレームとしたが、これに限られるものではない。すなわち、追加されたキーフレーム504の両隣のキーフレームを用いて上述した時刻変更モードの処理が実行されてもよい。
[位置・姿勢の割り当て]
割り当て部210は、時刻変更部208またはフレーム数変更部209を経て確定された中間フレームにカメラの位置・姿勢を割り当てる。例えば、N1枚の中間フレームへの仮想カメラの状態(位置・姿勢)の割り当ては以下のように行われる。まず、割り当て部210は、キーフレーム502における仮想カメラの状態506とキーフレーム504における仮想カメラの状態508の間のカメラパス505をN1+1個に等分割し、分割点における仮想カメラの状態をN1枚の中間フレームに順に割り当てる。キーフレーム504とキーフレーム503の間の中間フレームに対しても同様に仮想カメラの状態(位置・姿勢)を割り当ることができる。
また、キーフレーム間の中間フレーム数が変更された場合、割り当て部210は、中間フレームに時刻の再割り当ても行う。例えば、中間フレームの数がN1枚からN1a枚に変更された場合、割り当て部210は、N1a枚の中間フレームにカメラの位置・姿勢を割り当てるとともに、各中間フレームの時刻を以下のように再度割り当てる。まず、割り当て部210は、キーフレーム502とキーフレーム504の間の時刻をN1a+1個に等分割する。そして、割り当て部210は、分割位置の時刻をN1a枚の中間フレームに順に割り当てる。一方、中間フレームの枚数が変更されていない区間については、時刻を再度割り当てる必要がない。
カメラパス出力部211は、キーフレームと中間フレームからなるカメラパスを出力する。画像生成部201は、カメラパス出力部211から出力されたカメラパスに従って仮想視点を移動し、仮想視点画像を生成する。
[時刻変更モードの動作]
図6は、本実施形態にかかる情報処理装置100の処理手順を説明するフローチャートである。変更モード管理部207により時刻変更モードが選択されている場合の処理について説明する。
ステップS601で、キーフレーム追加部203は、ユーザの操作に応じて始点のキーフレームを追加する。例えば、ユーザが編集コントローラ403を用いてタイムライン501上で所望の時刻を選択すると、その時刻に始点のキーフレームが追加される。また、カメラパス編集部202が、追加された始点のキーフレーム(例えばキーフレーム502)をタイムライン501に表示する。
ステップS602で、位置・姿勢指定部204は、ユーザの操作に応じて始点のキーフレームにおける仮想カメラの状態としての位置・姿勢を指定する。例えば、ユーザは、編集コントローラ403を用いて、仮想カメラを前後・左右・上下に移動する、または、仮想カメラをパン・チルト・ロール方向に回転させることで、仮想カメラの位置・姿勢を指定する。ステップS603で、カメラパス編集部202が、始点のキーフレームの時刻とカメラの位置・姿勢の情報を画像生成部201へ送信する。画像生成部201は、受信したキーフレームの時刻と仮想カメラの位置・姿勢から仮想視点画像を生成する。生成された仮想視点画像は画像表示部401に送信され表示される。
ユーザは、画像表示部401に表示された仮想視点画像を確認し、始点のキーフレームのカメラの位置・姿勢に問題がないかを確認する。問題がない場合、ユーザは、編集コントローラ403を用いて、問題がないことをカメラパス編集部202へ指示する。問題がないことを指示されると、カメラパス編集部202は問題がないと判定し(ステップS604でYES)、処理をステップS605へ進める。始点のキーフレームにおける仮想カメラの位置・姿勢に問題がある場合、ユーザは、編集コントローラ403を用いて、仮想カメラの位置・姿勢を再度指定する。編集コントローラ403により仮想カメラの位置・姿勢が再度指定されると、カメラパス編集部202は問題があると判定し(ステップS604でNO)、処理をステップS602に戻す。
ステップS605で、キーフレーム追加部203は、ユーザの操作に応じて終点のキーフレームを追加する。具体的な手順はステップS601と同様である。ステップS606で、位置・姿勢指定部204は、ユーザの操作に応じて終点のキーフレームにおける仮想カメラの位置・姿勢を指定する。具体的な手順はステップS602と同様である。ステップS607では、ステップS603と同様の手順で、終点のキーフレームの時刻と仮想カメラの位置・姿勢に応じた仮想視点画像が生成され、画像表示部401に表示される。
ユーザは、画像表示部401に表示された仮想視点画像を確認し、終点のキーフレームにおける仮想カメラの位置・姿勢に問題がないかを確認し、編集コントローラ403を用いてその確認結果を指示する。ステップS604と同様、カメラパス編集部202によりユーザ操作に応じて問題がないと判断された場合(ステップS608でYES)、処理はステップS609へ進み、問題があると判断された場合(ステップS608でNO)、処理はステップS606に戻る。
ステップS609で、キーフレーム追加部203は、編集コントローラ403を用いたユーザ操作に応じて中間点のキーフレームの追加処理を行う。追加処理の詳細は図7のフローチャートにより後述する。ステップS610で、割り当て部210が、キーフレーム間の補間されたカメラパス505を、中間フレームの仮想カメラの位置・姿勢に割り当てる。ステップS611で、カメラパス出力部211が、キーフレームと中間フレームからなるカメラパスを出力する。
図7は、図6のステップS610の、時刻変更モードにおける処理手順を説明するフローチャートである。まず、ステップS701において、キーフレーム追加部203は、中間点のキーフレームが追加されたか否かを判定する。中間点のキーフレームが追加された場合(ステップS701でYES)、処理はステップS702へ進む。中間点のキーフレームが追加されなかった場合(ステップS701でNO)、本処理を終了する。ステップS702以降では、カメラパス編集部202が、キーフレーム(中点)の追加処理を行う。
ステップS702で、キーフレーム追加部203が、ユーザの操作に応じて中間点のキーフレームを追加する。具体的な手順はステップS601と同様である。ステップS703で、位置・姿勢指定部204が、ユーザの操作に応じて中間点のキーフレームにおける仮想カメラの状態としての位置・姿勢を指定する。具体的な手順はステップS602と同様である。ステップS704で、位置・姿勢補間部205が、キーフレーム間のカメラの位置・姿勢を補間する。また、カメラパス編集部202が、補間されたカメラの位置・姿勢をカメラパス505として、GUI表示部402に表示する。
ステップS705で、変化量計算部206が、追加された中間点のキーフレームの前後について、キーフレーム間の仮想カメラの位置・姿勢の変化量を計算する。ステップS706で、時刻変更部208が、キーフレーム間のカメラの位置・姿勢の変化量に応じてキーフレーム(中点)の時刻を変更する。上述したように、時刻変更部208は、中間点のキーフレームの前後で、仮想カメラの位置・姿勢の時間当たりの変化量が等しく、又は差が小さくなるように、中間点のキーフレームの時刻を変更する。また、カメラパス編集部202は、中間点のキーフレームにおける時刻の変更に従って、タイムライン501の表示を更新する。
ステップS707で、ステップS603と同様の手順で、ステップS701で追加された中間点のキーフレームの時刻と仮想カメラの位置・姿勢に応じた仮想視点画像を画像生成部201が生成し、画像表示部401に表示する。ユーザは、画像表示部401に表示された仮想視点画像を確認し、問題がないかを確認する。ステップS708において、ステップS604と同様の手順で問題があるかないかを判定し、問題がないと判定された場合(ステップS708でYES)、本処理を終了する。問題があると判定された場合(ステップS708でNO)、処理はステップS702に戻る。
図8を用いて、カメラパス変更モードとして、キーフレームの時刻を変更する時刻変更モードが設定されている場合の動作例について説明する。なお、始点のキーフレームと終点のキーフレームについて、カメラの位置・姿勢の指定が終わっているとする。タイムライン501において、キーフレーム502が始点のキーフレームの時刻、キーフレーム503が終点のキーフレームの時刻である。また、状態506が始点のキーフレームにおける仮想カメラの位置と姿勢を表し、状態507が終点のキーフレームにおける仮想カメラの位置と姿勢を表す。また、モード表示部509には、時刻変更モードを表す「time」が表示されている。
図8(a)は、中間点のキーフレーム504が新たに追加された状態(ステップS702)を示す。状態508は、中間点のキーフレーム504における仮想カメラの位置と姿勢である。この時点では、キーフレーム504における仮想カメラの位置・姿勢が指定されていないので、例えば、仮想カメラの位置・姿勢の初期値として始点のキーフレーム502の値を用いるとする。なお、追加されたキーフレームにおける仮想カメラの位置・姿勢として、左隣のキーフレームにおけるカメラの位置・姿勢を用いるようにしてもよいし、追加されたキーフレームに最も近いキーフレームにおける仮想カメラの位置・姿勢を用いるようにしてもよい。
図8(b)は、キーフレーム504に対して仮想カメラの状態508が指定されたときの表示内容を示す(ステップS703)。図8(c)は、ステップS704~S706により、キーフレーム504の時刻が変更されたときの表示内容を示す。キーフレーム504に対する仮想カメラの状態508(位置・姿勢)が指定されると(ステップS703)、位置・姿勢補間部205がキーフレーム間の仮想カメラの位置・姿勢を補間し(ステップS704)、その結果をカメラパス505として表示する。次に、時刻変更部208が、キーフレーム間の仮想カメラの位置・姿勢の時間当たりの変化量が等しくなるように、キーフレーム504の時刻をT3からT3aに変更する(ステップS705~S706)。時刻が変更されることにより、キーフレーム504は、タイムライン501上において矢印801で示されるように移動する。すなわち、仮想視点画像のフレーム列におけるキーフレーム504の位置が変更される。但し、キーフレーム504に対応する仮想カメラの状態508(位置・姿勢)は変更されない。
なお、キーフレーム504の時刻が変更されると、撮影空間内の状態(被写体の位置など)が変化し、仮想カメラの位置・姿勢がユーザの最初の意図からずれてしまう場合がある。しかし、キーフレーム504の時刻の変更を短い周期(例えば60分の1秒)で繰り返すことで、ユーザはリアルタイムに状態の変化を確認することができる。これにより、ユーザは、キーフレーム504の前後で仮想カメラの状態の変化量が一定範囲内である(移動速度が一定範囲内である)という制約の中で、自身の意図を適宜更新し、仮想カメラの状態508を効率的に、且つ容易に指定することができる。
[フレーム数変更モードの動作]
図9は、図6のステップS610の、フレーム数変更モードにおける処理手順を説明するフローチャートである。以下、図9を用いて、カメラパス変更モードが、キーフレーム間に挿入する中間フレームの数を変更するフレーム数変更モードの場合の動作について説明する。なお、始点および終点のキーフレームを設定する処理、中間点のキーフレームを設定後に中間フレームへカメラの位置・姿勢の割り当てる処理、カメラパスを出力する処理は、時刻変更モードの場合(図6)と同様である。
ユーザ操作に応じてキーフレーム追加部203が中間点のキーフレームを追加すると(ステップS901でYES)、ステップS902で、キーフレーム追加部203が、ユーザの操作に応じて中間点のキーフレームを追加する。ステップS903で、位置・姿勢指定部204が、ユーザの操作に応じて中間点のキーフレームに対する仮想カメラの状態としての位置・姿勢を指定する。ステップS904で、位置・姿勢補間部205が、キーフレーム間の仮想カメラの位置・姿勢を補間する。また、カメラパス編集部202が、補間されたカメラの位置・姿勢をカメラパス505として、GUI表示部402に表示する。以上のステップS901~S904の処理は、図7で説明したステップS701~S704と同様である。
ステップS905で、画像生成部201は、中間点のキーフレームの時刻と仮想カメラの位置・姿勢に応じた仮想視点画像を生成し、生成した仮想視点画像を画像表示部401に表示する。ステップS905の処理はステップS603と同様である。ステップS906で、ユーザが、画像表示部401に表示された仮想視点画像を確認し、問題がないかを確認する。ステップS604と同様の手順で問題があるかないかが判定され、問題がない場合(ステップS906でYES)、処理はステップS907へ進み、問題がある場合(ステップS906でNO)、処理はステップS903に戻る。
ステップS907で、変化量計算部206は、キーフレーム間の仮想カメラの位置・姿勢の変化量を計算する。ステップS908で、フレーム数変更部209が、キーフレーム間の仮想カメラの位置・姿勢の変化量に応じて挿入する中間フレームの枚数を変更する。上述したように、本実施形態のフレーム数変更部209は、中間点のキーフレームの前後で、仮想カメラの位置・姿勢のフレーム当たりの変化量が等しくなるように中間フレームの枚数を変更する。
図10を用いて、キーフレーム間に挿入する中間フレームの数を変更するフレーム数変更モードが設定されている場合について具体例を説明する。なお、図10(a)は追加したキーフレームに対応する仮想カメラの位置・姿勢を指定する前の状態であり、図8(a)と同様の表示状態を示している。また、図10(b)は追加したキーフレームに対応する仮想カメラの位置・姿勢を指定した直後の状態を示しており、図8(b)と同様の表示状態である。図10において、モード表示部509には、フレーム数変更モードを表す「frame」が表示されている。
図10(c)は、キーフレーム間の中間フレームの枚数が変更された状態を示す。まず、キーフレーム504における仮想カメラの状態508(位置・姿勢)が指定されると、位置・姿勢補間部205はキーフレーム間の仮想カメラの位置・姿勢を補間し、補間により得られたカメラパス505を表示する。次に、フレーム数変更部209は、キーフレーム間の仮想カメラの位置・姿勢のフレーム当たりの変化量が等しく、又は差が小さくなるよう、中間フレームの枚数を変更する。この例では、キーフレーム502とキーフレーム504の間に中間フレームが追加される。中間フレームが追加されたことにより、キーフレーム504は、タイムライン501上を矢印1001で示されるように移動する。すなわち、仮想視点画像のフレーム列におけるキーフレーム504の位置が変更される。結果、キーフレーム503が、タイムライン501上を矢印1002で示されるように移動する。なお、始点のキーフレーム502、中間点のキーフレーム504、終点のキーフレーム503の時刻は変更されない。また、中間点のキーフレーム504と終点のキーフレーム503の間の中間フレームの枚数は変更されない。
(その他の実施形態)
上述した時刻変更モードとフレーム数変更モードは、組み合わせて用いることも可能である。すなわち、キーフレームにおける仮想視点の位置及び向きの指定に応じて、中間フレームの追加とキーフレームの時刻の変更との両方が実行されてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。
201:画像生成部、202:カメラパス編集部、203:キーフレーム追加部、204:位置・姿勢指定部、205:位置・姿勢補間部、206:変化量計算部、207:変更モード管理部、208:時刻変更部、209:フレーム数変更部、210:割り当て部、211:カメラパス出力部

Claims (17)

  1. 仮想視点の動きを定義するカメラパスを編集する情報処理装置であって、
    前記カメラパスを構成するための、任意の時刻のキーフレームの指定と、前記指定されたキーフレームに対応する仮想視点の状態の指定とを受け付ける指定手段と、
    前記指定手段により指定されたキーフレームの前後における仮想視点の状態の変化量を取得する取得手段と、
    前記指定されたキーフレームの前後において前記取得手段により取得された変化量の差が小さくなるように、前記カメラパスを構成するフレーム列における前記指定されたキーフレームの位置を変更する変更手段と、を備えることを特徴とする情報処理装置。
  2. 前記取得手段は、前記指定されたキーフレームの前後における、仮想視点の状態の時間当たりの変化量を取得することを特徴とする請求項1に記載の情報処理装置。
  3. 前記取得手段は、前記指定されたキーフレームの時刻と状態、前記指定されたキーフレームの前後に隣接するキーフレームの時刻と状態に基づいて、仮想視点の状態の時間当たりの変化量を取得することを特徴とする請求項2に記載の情報処理装置。
  4. 前記取得手段は、前記指定されたキーフレームの所定時間前からの状態の変化量と、前記指定されたキーフレームから所定時間後までの状態の変化量を取得することを特徴とする請求項2に記載の情報処理装置。
  5. 前記変更手段は、前記指定されたキーフレームの時刻を変更することを特徴とする請求項2乃至4のいずれか1項に記載の情報処理装置。
  6. 前記変更手段は、前記指定されたキーフレームの前後において仮想視点の状態の時間当たりの変化量が等しくなるように、前記指定されたキーフレームの時刻を変更することを特徴とする請求項5に記載の情報処理装置。
  7. 前記取得手段は、前記指定されたキーフレームの前後における、仮想視点の状態のフレーム当たりの変化量を取得することを特徴とする請求項1に記載の情報処理装置。
  8. 前記取得手段は、前記指定されたキーフレームの時刻と状態、前記指定されたキーフレームの前後に隣接するキーフレームとの間のフレーム数と前記隣接するキーフレームの状態に基づいて、仮想視点の状態のフレーム当たりの変化量を取得することを特徴とする請求項7に記載の情報処理装置。
  9. 前記変更手段は、前記指定されたキーフレームと前記隣接するキーフレームの間のフレーム数を変更することを特徴とする請求項8に記載の情報処理装置。
  10. 前記変更手段は、前記指定されたキーフレームの前後において仮想視点の状態のフレーム当たりの変化量が等しくなるように、前記フレーム数を変更することを特徴とする請求項9に記載の情報処理装置。
  11. 前記指定されたフレームの前後のうち、前記変化量の大きい方にフレームを追加することを特徴とする請求項10に記載の情報処理装置。
  12. キーフレーム間のカメラの位置および/または姿勢を補間する補間手段をさらに備えることを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
  13. 前記指定されたキーフレームの時刻と仮想視点の状態に対応する仮想視点画像を表示する表示手段をさらに備えることを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
  14. 前記フレーム列と、前記フレーム列におけるキーフレームの位置とを模式的に表示する表示手段をさらに備えることを特徴とする請求項1乃至13のいずれか1項に記載の情報処理装置。
  15. 前記変更手段は、前記変化量の差が所定値以上の場合に前記変更を実行することを特徴とする請求項1乃至14のいずれか1項に記載の情報処理装置。
  16. 仮想視点の動きを定義するカメラパスを編集するための情報処理方法であって、
    前記カメラパスを構成するための、任意の時刻のキーフレームの指定と、前記指定されたキーフレームに対応する仮想視点の状態の指定とを受け付ける指定工程と、
    前記指定工程により指定されたキーフレームの前後における仮想視点の状態の変化量を取得する取得工程と、
    前記指定されたキーフレームの前後において前記取得工程により取得された変化量の差が小さくなるように、前記カメラパスを構成するフレーム列における前記指定されたキーフレームの位置を変更する変更工程と、を備えることを特徴とする情報処理方法。
  17. コンピュータを、請求項1乃至15のいずれか1項に記載された情報処理装置の各手段として機能させるためのプログラム。
JP2019038764A 2019-02-27 2019-03-04 情報処理装置、情報処理方法ならびにプログラム。 Active JP7277184B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019038764A JP7277184B2 (ja) 2019-03-04 2019-03-04 情報処理装置、情報処理方法ならびにプログラム。
US16/784,731 US11057609B2 (en) 2019-02-27 2020-02-07 Information processing apparatus, information processing method, and computer readable storage medium for determining a moving path of virtual viewpoint

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019038764A JP7277184B2 (ja) 2019-03-04 2019-03-04 情報処理装置、情報処理方法ならびにプログラム。

Publications (2)

Publication Number Publication Date
JP2020144456A JP2020144456A (ja) 2020-09-10
JP7277184B2 true JP7277184B2 (ja) 2023-05-18

Family

ID=72353623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019038764A Active JP7277184B2 (ja) 2019-02-27 2019-03-04 情報処理装置、情報処理方法ならびにプログラム。

Country Status (1)

Country Link
JP (1) JP7277184B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259618A1 (ja) 2021-06-08 2022-12-15 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015192426A (ja) 2014-03-28 2015-11-02 ブラザー工業株式会社 情報処理装置及びプログラム
JP2018046448A (ja) 2016-09-15 2018-03-22 キヤノン株式会社 画像処理装置および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015192426A (ja) 2014-03-28 2015-11-02 ブラザー工業株式会社 情報処理装置及びプログラム
JP2018046448A (ja) 2016-09-15 2018-03-22 キヤノン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP2020144456A (ja) 2020-09-10

Similar Documents

Publication Publication Date Title
JP6433559B1 (ja) 提供装置および提供方法、プログラム
US11057609B2 (en) Information processing apparatus, information processing method, and computer readable storage medium for determining a moving path of virtual viewpoint
JP4285422B2 (ja) 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体
JP2019537303A (ja) 画像処理
US6307561B1 (en) Animation generating apparatus and method
EP3823287A1 (en) Information processing device, information processing method, and program
JP7277184B2 (ja) 情報処理装置、情報処理方法ならびにプログラム。
JP6572368B2 (ja) 生成装置および生成方法、プログラム
JP2012221092A (ja) 画像処理装置、画像処理方法およびプログラム
JP2022014358A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
KR20230017745A (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
JP2021197082A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2021033347A (ja) 画像処理装置、画像処理方法及びプログラム
JP7204843B2 (ja) 送信装置および送信方法、プログラム
JP6931375B2 (ja) 送信装置および送信方法、プログラム
JP2022171435A (ja) 情報処理装置及びその制御方法、プログラム
Ronfard et al. Introducing 3D Cinematography [Guest editors' introduction]
JP2012221105A (ja) 画像処理装置、画像処理方法およびプログラム
JP2020095465A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2023173577A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2023003765A (ja) 画像生成装置およびその制御方法、画像生成システム、ならびにプログラム
JP2022060815A (ja) 情報処理装置、情報処理方法及びプログラム
JP2006186511A (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
JP2021179687A (ja) 情報処理装置、情報処理方法およびプログラム
JP2022060816A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230508

R151 Written notification of patent or utility model registration

Ref document number: 7277184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151