JP6950641B2 - 画像生成装置、画像生成方法、およびプログラム - Google Patents

画像生成装置、画像生成方法、およびプログラム Download PDF

Info

Publication number
JP6950641B2
JP6950641B2 JP2018142166A JP2018142166A JP6950641B2 JP 6950641 B2 JP6950641 B2 JP 6950641B2 JP 2018142166 A JP2018142166 A JP 2018142166A JP 2018142166 A JP2018142166 A JP 2018142166A JP 6950641 B2 JP6950641 B2 JP 6950641B2
Authority
JP
Japan
Prior art keywords
deformed
image
series
dimensional array
maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018142166A
Other languages
English (en)
Other versions
JP2020021113A (ja
Inventor
隆寛 河邉
隆寛 河邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018142166A priority Critical patent/JP6950641B2/ja
Priority to US17/263,118 priority patent/US11514636B2/en
Priority to PCT/JP2019/026028 priority patent/WO2020026670A1/ja
Publication of JP2020021113A publication Critical patent/JP2020021113A/ja
Application granted granted Critical
Publication of JP6950641B2 publication Critical patent/JP6950641B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/24Fluid dynamics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理技術に関し、特に、任意の画像に透明または半透明な素材の質感を付与する技術に関する。
一般的に、任意の画像に透明または半透明な素材(以下、「透明素材」と呼ぶ)の質感(以下、「透明素材質感」と呼ぶ)を付与するためには、透明素材の物理特性や透明素材の表面で反射・透過・吸収・屈折する光の特性をシミュレーションし、そのシミュレーションをコンピュータグラフィックス技術によってレンダリングして画像化することが必要である。
一方で、透明素材の物理特性や光のシミュレーション、レンダリングといった比較的ユーザーに知識を要求する高度な技術を利用しない単純な画像処理を用いて任意の画像に透明素材質感を付与する方法がある(例えば、特許文献1等参照)。一般に、世界に存在する透明素材は屈折率が1以上であるため、透明素材の背後に透明素材とは別の対象が存在する場合、その対象の画像情報は変形する。特許文献1では、この画像変形を画像処理で動的に模倣することで、すなわち、任意の対象の画像に対して動的に変形する画像処理を施すことで、当該対象に透明素材質感を付与した画像を得ている。
特許第6069115号公報
特許文献1で提案された手法では、任意の画像を動的に変形(以下、「動的画像変形」と呼ぶ)させる画像処理(以下、「動的画像変形処理」と呼ぶ)により、当該画像に透明素材質感を付与することができ、とりわけ透明素材の中でも液体などの流体の質感を当該画像に付与することができる。その一方で、特許文献1で提案された手法では、透明素材の中でも固体の質感を画像へ付与することは想定されていない。
本発明はこのような点に鑑みてなされたものであり、任意の画像に任意の透明素材の質感を付与することを目的とする。
本発明では、時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る。各変形地図の各要素は、当該各要素に対応する標的画像の各画素の移動方向および移動量を示す。当該時系列中の第1時間区間に対応する変形地図の系列に含まれる各変形地図は、直前の変形地図に対応する二次元配列の要素を第1方向に移動させた二次元配列に対応し、当該時系列中の第2時間区間に対応する変形地図の系列に含まれる各変形地図は、直前の変形地図に対応する二次元配列の要素を第2方向に移動させた二次元配列に対応する。ただし、第1方向と第2方向とは異なる。
以上により、任意の画像に任意の透明素材の質感を付与できる。
図1は実施形態の画像生成装置の機能構成を例示したブロック図である。 図2は画像に含まれる線形運動の割合と提示フレーム数と移動速度との関係を例示したグラフである。 図3は、実施形態の動的画像変形処理の例示するための概念図である。 図4は片道運動の継続時間と移動速度と透明素材質感の評価値との関係を例示したグラフである。 図5は片道運動の継続時間と運動の仕方(往復運動または片道運動)と透明素材質感の評価値との関係を例示したグラフである。 図6は、2つの移動方向のなす角度を説明するための概念図である。
以下、図面を参照しつつ本発明の実施形態を説明する。
[第1実施形態]
前述した特許文献1で提案された手法では、変形地図(「歪み分布」と呼ばれる場合もある)により、変形対象の任意の画像(以下、「標的画像」と呼ぶ)を動的に変形させる画像処理(以下、「動的画像変形処理」と呼ぶ)を行って複数のフレームの変形画像(すなわち、時系列の複数の変形画像。以下、「動的変形画像列」と呼ぶ)を得ることによって、当該標的画像に透明素材質感を付与する。この手法では、とりわけ透明素材の中でも液体などの流体の質感を標的画像に付与することができる。その一方で、特許文献1で提案された手法では、透明素材の中でも固体の質感を画像へ付与することは想定されていなかった。実際に、特許文献1で提案された手法で得た長時間の動的変形画像列には、固体の知覚に貢献する線形運動の成分が含まれていない。
図2は、特許文献1で提案された手法で生成された動的変形画像列のオプティカルフロー(フレーム間の画素移動パタン)を計算し、その中に含有される画素の線形運動成分(フレーム間で直線上に移動する画素の運動)の割合を、計算に用いた動的変形画像列のフレーム数ごとにプロットしたものである。ただし、1フレーム当たりの提示時間は13.7msecである。動的変形画像列のフレーム数が増えるにつれ、オプティカルフローに含まれる線形運動の割合が減少していることがわかる。特に、動的変形画像列の提示時間が167msecを超えると、動的変形画像列に線形運動はほとんど含まれない。観察者が任意の対象に剛体が含まれていると認識するためには、この対象に線形運動を行う成分が含まれている必要があることから、特許文献1で提案された手法によって生成された動的変形画像列の提示時間が167msecを超えると、観察者は当該動的変形画像列から液体などの流体の透明素材の質感を抱きやすくなると考えられる。
本実施形態では、オプティカルフローに線形運動成分が継続的に含まれるようにした動的変形画像列を得ることで、標的画像に固体の透明素材の質感を付与する。以下では、一例として、ピクセルワープ法(「イメージワープ法」や「画像ワープ法」ともいう)で使用する変形地図を工夫する例を説明する。
まず、前提となる一般的な画像変形法であるピクセルワープ法について説明する(例えば、参考文献1等参照)。
参考文献1:Kawabe, T., Maruya, K., & Nishida, S., "Perceptual transparency from image deformation," Proceedings of the National Academy of Sciences, August 18, 2015, 112(33), E4620-E4627, [平成30年6月12日検索]、インターネット<https://doi.org/10.1073/pnas.1500913112>
ピクセルワープ法では、変形地図を用い、標的画像の画像変形を行って変形画像を得る。標的画像が、水平方向のピクセル数がXであり、垂直方向のピクセル数がYである画像、すなわち、X×Y個の画素の画素値が二次元配列の各要素とされた画像であるとして説明する。ただし、XおよびYは正の整数である。変形地図は、水平方向の要素数も垂直方向の要素数も標的画像と同じである、X×Y個の要素を持つ二次元配列である。変形地図の各要素は、正の数、負の数、零、のうちのいずれの値も取り得る。変形地図の各要素は、標的画像の各画素に対応し、対応する各画素の移動方向および移動量を示す。すなわち、二次元配列の水平方向の座標をxと表現し(ただし、xは1≦x≦Xを満たす数)、垂直方向の座標をyと表現し(ただし、yは1≦y≦Yを満たす数)、座標を(x,y)と表現すると、変形地図の各座標(x,y)の要素e(x,y)は、標的画像の各座標(x,y)の画素p(x,y)の移動方向および移動量を示す。移動方向は要素e(x,y)の正負によって表され、移動量は要素e(x,y)の絶対値によって表される。ピクセルワープ法では、水平方向と垂直方向の画素の移動を独立して表すために、水平方向の画素移動を表す変形地図(以下、「水平変形地図」と呼ぶ)と、垂直方向の画素移動を表す変形地図(以下、「垂直変形地図」と呼ぶ)との2つを利用する。すなわち、ピクセルワープ法では、水平変形地図および垂直変形地図を用い、標的画像の画素の水平方向の移動と垂直方向の移動との両方を行う。例えば、水平変形地図における要素e(x,y)の要素値が1である場合、標的画像中の画素p(x,y)を右に1に移動させ、水平変形地図における要素e(x,y)の要素値が−1である場合は、標的画像中の画素p(x,y)を左に1に移動させる。また、垂直変形地図における要素e(x,y)の要素値が1である場合は、標的画像中の画素p(x,y)を上に1に移動させ、垂直変形地図における要素e(x,y)の要素値が−1である場合は、標的画像中の画素p(x,y)を下に1に移動させる。ピクセルワープ法では、水平変形地図を用いた画素の移動と垂直変形地図を用いた画素の移動との両方を行うことにより、標的画像に対して水平変形地図および垂直変形地図に対応する変形した変形画像が得られる。
そして、ピクセルワープ法では、このような水平変形地図および垂直変形地図を連続するK個のフレームのそれぞれについて用意し、同一の標的画像について、各フレームの水平変形地図および垂直変形地図に対応する変形をすることで、K個のフレームの変形画像の列が得る。ただし、Kは3以上の整数である。このように得られるK個のフレームの変形画像の列が「動的変形画像列」である。以降では、K個のフレームによる動的変形画像列を生成するためのK個の水平変形地図の列およびK個の垂直変形地図の列を、それぞれ、「水平方向三次元変形地図」および「垂直方向三次元変形地図」と呼ぶ。また、水平方向三次元変形地図と垂直方向三次元変形地図の組を「三次元変形地図」と呼ぶ。なお、水平方向三次元変形地図と垂直方向三次元変形地図は、それぞれ、水平方向のピクセル数X×垂直方向のピクセル数Y×フレーム数Kの三次元配列である。
特許文献1で提案された手法では、ある1つの水平変形地図とある1つの垂直変形地図のそれぞれの要素e(x,y)、e(x,y)を、ある一方向に、フレームが進むごとに移動量が大きくなるように移動(片道運動)させた、K個の水平方向変形地図の列である水平方向三次元変形地図とK個の垂直方向変形地図の列である垂直方向三次元変形地図の組である三次元変形地図(以下「片道運動のみを与えた三次元変形地図」と呼ぶ)を用い、標的画像に対して当該三次元変形地図に対応する変形をすることにより動的変形画像列を生成する。本実施形態では、三次元変形地図を工夫することで、標的画像に固体の透明素材の質感を付与する。以下に詳細に説明する。
<本実施形態の画像生成装置の構成および処理>
図1に例示するように、本実施形態の画像生成装置11は、二次元ノイズ記憶部110、運動付与部111、フィルタリング部112、動的画像変形部113、および動画生成部114を有する。画像生成装置11は入力された標的画像Pに質感を付与した動画を生成して出力するものであり、画像生成装置11で生成された動画は動画提示装置12から提示される。
≪画像生成装置11への入力≫
画像生成装置11には、任意の標的画像Pが入力される。標的画像Pは、水平方向のピクセル数が正の整数Xであり、垂直方向のピクセル数が正の整数Yである、すなわち、X×Y個の画素の画素値が二次元配列の各要素とされた画像である。標的画像Pの1≦x≦Xおよび1≦y≦Yを満たす座標(x,y)における画素をp(x,y)とする。画像生成装置11に入力された標的画像Pは、動的画像変形部113に入力される。
≪二次元ノイズ≫
二次元ノイズ記憶部110には、2つの二次元ノイズ2DN(0),2DN(0)が予め記憶されている。二次元ノイズ2DN(0),2DN(0)は、それぞれ、水平方向の要素数がXであり、垂直方向の要素数がYである、X×Y個の要素を持つ二次元配列である。以降では、二次元ノイズ2DN(0)の1≦x≦Xおよび1≦y≦Yを満たす座標(x,y)の要素をn(x,y)とする。同様に、二次元ノイズ2DN(0)の1≦x≦Xおよび1≦y≦Yを満たす座標(x,y)の要素をn(x,y)とする。各要素n(x,y),n(x,y)は、正の数、負の数、零の何れの値であってもよい。例えば、一様分布や正規分布からランダムに抽出した値を各要素n(x,y),n(x,y)とする二次元ノイズ2DN(0),2DN(0)を予め生成して二次元ノイズ記憶部110に記憶しておけばよい。または、二次元ノイズ記憶部110に代えて二次元ノイズ生成部110’を画像生成装置11に備えて、二次元ノイズ生成部110’が、一様分布や正規分布からランダムに値を抽出して各要素n(x,y),n(x,y)とすることで、二次元ノイズ2DN(0),2DN(0)を生成してもよい。また、n(x,y)とn(x,y)とは、同一でも異なっていてもよい。
≪運動付与処理≫
二次元ノイズ2DN(0),2DN(0)は運動付与部111に入力される。運動付与部111は、二次元ノイズ2DN(0)を用いて、それぞれが1≦x≦Xおよび1≦y≦Yを満たす座標(x,y)の要素をもつ、K個の二次元ノイズ2DN(k)(ただし、k=1,…,K)を生成して出力する。また、運動付与部111は、二次元ノイズ2DN(0)を用いて、それぞれが1≦x≦Xおよび1≦y≦Yを満たす座標(x,y)の要素をもつ、K個の二次元ノイズ2DN(k)(ただし、k=1,…,K)を生成して出力する。以降では、生成された二次元ノイズ2DN(1),…,2DN(K)の列を三次元ノイズ3DNと呼び、二次元ノイズ2DN(1),…,2DN(K)の列を三次元ノイズ3DNと呼ぶ。三次元ノイズ3DN,3DNは、それぞれ、X×Y×K個の要素を持つ。なお、Kは、画像生成装置11が出力する動画Mのフレーム数であり、動画Mにおいて片道運動を継続させるフレーム数Tの偶数倍の値とする。動画Mにおいて片道運動を継続させるフレーム数Tと動画Mのフレーム数Kは、画像生成装置11が備える図示しない入力部に画像生成装置11外から入力して、運動付与部111に入力されるようにすればよい。また、Tの偶数倍がKであるので、その偶数を2×(μ+1)で表すとK=2×(μ+1)×Tの関係を満たす。ただし、μは0以上の整数である。そこで、TとKの値を入力することに代えて、Tと(μ+1)の値を入力するようにしてもよく、Kと(μ+1)の値を入力するようにしてもよい。また、これらの値を運動付与部111内に予め記憶しておくようにしてもよい。
まず運動付与部111は、予め定めた移動量Dを用いて、二次元ノイズ2DN(0)および二次元ノイズ2DN(0)のそれぞれの要素n(x,y),要素n(x,y)を、予め定めたある一方向(d1方向)に、移動量がk×Dとなるように移動させた要素、をもつ二次元ノイズ2DN(1),…,2DN(T)および二次元ノイズ2DN(1),…,2DN(T)を得る。すなわち、k=1,…,Tについては、kの値が1増えるごとに、1つ前のkの二次元ノイズ2DN(k−1)および二次元ノイズ2DN(k−1)のそれぞれの要素を予め定めたある一方向(d1方向)に移動量Dずつ移動させた要素をもつ二次元ノイズ2DN(k)および二次元ノイズ2DN(k)を得る。また、運動付与部111は、二次元ノイズ2DN(1),…,2DN(T)および二次元ノイズ2DN(1),…,2DN(T)のうちの、上述した移動によって要素の値を得られなかった各要素については、一様分布や正規分布からランダムに抽出した値を設定する。なお、上述した移動によってX×Yの二次元配列の範囲外となった要素は、二次元ノイズ2DN(1),…,2DN(T)および二次元ノイズ2DN(1),…,2DN(T)には含まれないことになる。
さらに運動付与部111は、二次元ノイズ2DN(0),…,2DN(T−1)を逆順に並べたものを二次元ノイズ2DN(T+1),…,2DN(2T)として得る。すなわち、運動付与部111は、k=0,…,T−1について、二次元ノイズ2DN(k)を二次元ノイズ2DN(2T−k)とすることで、二次元ノイズ2DN(T+1),…,2DN(2T)を得る。また、運動付与部111は、二次元ノイズ2DN(0),…,2DN(T−1)を逆順に並べたものを二次元ノイズ2DN(T+1),…,2DN(TK)として得る。すなわち、運動付与部111は、k=0,…,T−1について、二次元ノイズ2DN(k)を二次元ノイズ2DN(2T−k)とすることで、二次元ノイズ2DN(T+1),…,2DN(2T)を得る。すなわち、k=T+1,…,2Tについては、kの値が1増えるごとに、1つ前のkの二次元ノイズ2DN(k−1)および二次元ノイズ2DN(k−1)のそれぞれの要素をk=1,…,Tのときとは逆方向(d1方向とは逆方向、すなわち、d1方向とのなす角度が180度、であるd2方向)に移動量Dずつ移動させた要素をもつ二次元ノイズ2DN(k)および二次元ノイズ2DN(k)を得る。
さらに運動付与部111は、二次元ノイズ2DN(1),…,2DN(2T)を1回または複数回(μ+1回)繰り返して配置して得られる二次元ノイズ2DN(1),…,2DN(2T),…,2DN(1+μ×2T),…,2DN(2T+μ×2T)の列、すなわち、二次元ノイズ2DN(1),…,2DN(K)の列、を三次元ノイズ3DNとして出力する。
また、運動付与部111は、二次元ノイズ2DN(1),…,2DN(2T)を1回または複数回(μ+1回)繰り返して配置して得られる二次元ノイズ2DN(1),…,2DN(2T),…,2DN(1+μ×2T),…,2DN(2T+μ×2T)の列、すなわち、二次元ノイズ2DN(1),…,2DN(K)の列、を三次元ノイズ3DNとして出力する。
≪フィルタリング処理≫
運動付与部111が得た三次元ノイズ3DN,3DNはフィルタリング部112に入力される。フィルタリング部112は、三次元ノイズ3DNが含むk=1,…,Kの各二次元ノイズ2DN(k)に対し、それぞれ空間周波数領域での低域通過型フィルタをかけ(低域通過型フィルタでフィルタリングし)て垂直変形地図(二次元ノイズ)DM(k)を得て、得られた垂直変形地図(二次元ノイズ)DM(k)による列を、垂直方向三次元変形地図(三次元ノイズ)DMとして出力する。同様に、フィルタリング部112は、三次元ノイズ3DNが含むk=1,…,Kの各二次元ノイズ2DN(k)に対し、それぞれ空間周波数領域での低域通過型フィルタをかけて水平変形地図(二次元ノイズ)DM(k)を得て、得られた水平変形地図(二次元ノイズ)DM(k)による列を、水平方向三次元変形地図(三次元ノイズ)DMとして出力する。なお、低域通過型フィルタのカットオフ空間周波数は3cpd以下が望ましい(特許文献1等参照)。
≪動的画像変形処理≫
画像生成装置11に入力された標的画像Pおよびフィルタリング部112が得た垂直方向三次元変形地図DMおよび水平方向三次元変形地図DMは、動的画像変形部113に入力される。図3に示すように、動的画像変形部113は、標的画像Pについて、垂直方向三次元変形地図DMおよび水平方向三次元変形地図DMのそれぞれに含まれるk=1,…,Kの垂直方向変形地図2DN(k)および水平方向変形地図2DN(k)に対応する変形をすることで、K個のフレームの変形画像DP(k)(k=1,…,K)の列である動的変形画像列DPを得て出力する。詳細に説明する。垂直方向三次元変形地図DMに含まれる各垂直変形地図DM(k)の座標(x,y)の要素をe(x,y,k)と表し、水平方向三次元変形地図DMに含まれる各水平変形地図DM(k)の座標(x,y)の要素をe(x,y,k)と表す。ただし、k=1,…,K、1≦x≦X、1≦y≦Yを満たす。動的画像変形部113は、k=1,…,Kのそれぞれについて、標的画像Pの各画素p(x,y)を水平方向にe(x,y,k)だけ移動し、さらに垂直方向にe(x,y,k)だけ移動することで変形画像DP(k)を得、得られた変形画像の列DP(1),…,DP(K)を動的変形画像列DPとして出力する。
≪動画生成処理≫
動的変形画像列DPは動画生成部114に入力される。動画生成部114は、変形画像DP(k)の列DP(1),…,DP(K)を所定のフレームレートで時系列方向に並べて得られる動画Mを生成して出力する。動画Mは動画提示装置12に入力され、動画提示装置12は動画Mを観察者に提示する。例えば、液晶などのディスプレイ装置に動画Mが表示されたり、プロジェクタ装置によって動画が投影される。この動画Mを観察した観察者は、標的画像Pに固体の透明素材質感が与えられたように認知する。すなわち、観察者は、標的画像Pと観察者との間に固体の透明素材質感の物質(例えば、ガラス)が存在しているかのように錯覚する。
<本実施形態の特徴>
上述のように、本実施形態では、透明素材の物理特性や光のシミュレーション、レンダリングといった比較的ユーザーに知識を要求する高度な技術を利用しなくとも、任意の標的画像Pに固体の透明素材質感を付与することができる。
図4に、往復運動を与えた三次元変形地図を用いる場合の、往復運動に含まれる片道運動の継続時間と、移動速度と、それらに基づいて得られた動的変形画像列の動画に対する透明素材質感の評価値との関係を示す。透明素材質感の評価値は、観察者が動画から受ける透明素材質感の固体らしさ液体らしさを5段階評価した評価結果の平均値である。最も固体らしいと評価する場合の評価値は1であり、最も液体らしいと評価する場合の評価値は5である。図4に例示するように、移動速度が遅いとき、および、片道運動の継続時間が短い場合に、観察者が動画から受ける透明素材質感が固体の透明素材質感に偏る。図4の例では、速度が1.92deg/secの時には片道運動の提示時間を約300msec以下、速度が3.84deg/secの時には提示時間を250msec以下、速度が5.76deg/secのときに、片道運動の継続時間が180msec以下で評定値が3以下となり、固体の透明素材であると認知されることが多いことがわかる。よって、標的画像に固体の透明素材の質感を付与するためには、固体の透明素材であると認知されることの多い移動速度および継続時間に設定すればよい。
図5に、本実施形態で説明した垂直方向三次元変形地図DMおよび水平方向三次元変形地図DM(以下「往復運動を与えた三次元変形地図」と呼ぶ)を用いて動的変形画像列を生成した場合と、片道運動のみを与えた三次元変形地図を用いて動的変形画像列を生成した場合と、の2つの場合について、当該動的変形画像列を時系列方向に並べて得られる動画に対する透明素材質感の評価値と、片道運動の継続時間と、の関係を示す。なお、往復運動を与えた三次元変形地図における「片道運動の継続時間」とは、一方向の運動の継続時間を意味する。図5から分かるように、片道運動のみを与えた三次元変形地図を用いる場合、片道運動の継続時間が最も短い場合を除き、観察者は動画から液体の透明素材質感を受けることが多い。逆に言えば、動画から受ける透明素材質感を固体の透明素材質感へ偏らせるためには、往復運動を与えた三次元変形地図を用いるか、継続時間が極端に短い(例えば、100msec以下)片道運動のみを与えた三次元変形地図を用いるか、の2通りの方法が考えられる。しかしながら、後者の方法で得られた動画では、観察者が動画を提示されたことすら気づかない可能性もあり、固体の透明素材質感を十分に提示できない。本実施形態では前者の方法を採用し、往復運動を与えた三次元変形地図を用いて動的変形画像列を生成したため、任意の標的画像Pに固体の透明素材質感を付与できる。
[第2実施形態]
第1実施形態の運動付与処理では、三次元ノイズ3DN,3DNのそれぞれに往復運動を持たせた。すなわち、三次元ノイズ3DN,3DNは、d1方向の動きが与えられた区間とその逆向きであるd2方向の動きが与えられた区間とを持っていた。しかしながら、d2方向がd1方向の逆向きでなくてもよい。以下では、第1実施形態との相違点を中心に説明し、共通する事項については同じ参照番号を用いて説明を簡略化する。
<本実施形態の構成および処理>
図1に例示するように、本実施形態の画像生成装置21は、二次元ノイズ記憶部110、運動付与部211、フィルタリング部112、動的画像変形部113、および動画生成部114を有する。
本実施形態の第1実施形態の処理からの相違点は運動付与処理のみである。以下では第2実施形態の運動付与処理のみを説明する。その他は、画像生成装置11が画像生成装置21に置換され、運動付与部111に代えて運動付与部211が運動付与処理を行う以外、第1実施形態で説明した通りである。
≪運動付与処理≫
運動付与部111は、k=1,…,Kについて以下の処理を行う。運動付与部111は、kを2Tで除算した余りが1からTまでの何れかの値である場合には、kの値が1増えるごとに、二次元ノイズ2DN(k−1)および二次元ノイズ2DN(k−1)のそれぞれの要素を予め定めた第一の方向(d1方向)に移動量Dずつ移動させた要素をもつ二次元ノイズ2DN(k)および二次元ノイズ2DN(k)を得る。また、運動付与部111は、kを2Tで除算した余りがk+1から2Tまでの何れかの値である場合には、kの値が1増えるごとに、二次元ノイズ2DN(k−1)および二次元ノイズ2DN(k−1)のそれぞれの要素を第一の方向とは異なる予め定めた第二の方向(d1方向とは異なる方向であるd2方向)に移動量Dずつ移動させた要素をもつ二次元ノイズ2DN(k)および二次元ノイズ2DN(k)を得る。また、運動付与部111は、上記の何れの場合であっても、二次元ノイズ2DN(k)および二次元ノイズ2DN(k)のうちの、上述した移動によって要素の値を得られなかった各要素については、一様分布や正規分布からランダムに抽出した値を設定する。なお、上述した移動によってX×Yの二次元配列の範囲外となった要素は、二次元ノイズ2DN(k)および二次元ノイズ2DN(k)には含まれないことになる。さらに運動付与部111は、以上の処理で得た二次元ノイズ2DN(1),…,2DN(K)の列を三次元ノイズ3DNとして出力し、以上の処理で得た二次元ノイズ2DN(1),…,2DN(K)の列を三次元ノイズ3DNとして出力する。
図6に示すようにd1方向とd2方向とのなす角度をθと表現する。ただし、0°≦θ<360°である。角度θの大きさによって最終的に動的変形画像列DPから得られる動画の透明素材質感が異なる。例えば、角度θを135度以上225度以下に設定した場合、観察者は動画から固体の透明素材質感を認知する。角度θを0度よりも大きく90度以下であるかまたは270度以上360度未満に設定した場合、観察者は動画から液体の透明素材質感を認知する。なお、θが180度である場合の第2実施形態は、第1実施形態と等価である。
[第2実施形態の変形例1]
角度θが操作可能であってもよい。すなわち、図1に例示するように、画像生成装置21がさらに角度操作部215’を有し、角度操作部215’が角度θを特定する入力情報Aに基づいて角度θを設定して出力し、運動付与部211が、角度θを入力とし、d1方向とd2方向とのなす角度をθとなるようなd1方向とd2方向とを決定して、第2実施形態で説明した運動付与処理を行ってもよい。これにより、入力情報Aに基づいて角度θを操作でき、最終的に得られる動画の透明素材質感を変更できる。すなわち、角度θを180度に近づけていくことにより、透明素材質感の液体らしさが減少し、固体らしさが増加する。逆に、角度θを180度から遠ざけていくことにより、透明素材質感の固体らしさが減少し、液体らしさが増加する。なお、入力情報Aは角度θそのものであってもよいし、固体らしさや液体らしさを表す指標であってもよいし、固体であるか液体であるかを表す情報であってもよい。例えば、入力情報Aが表す固体らしさや液体らしさを表す指標である場合、角度操作部215’が、入力情報Aが示す固体らしさが大きいほど180度に近い角度θを設定すればよい。あるいは、角度操作部215’が、入力情報Aが示す液体らしさが大きいほど180度から遠い角度θを設定すればよい。あるいは、入力情報Aが固体を表す情報である場合、角度操作部215’が角度θを135度以上225度以下に設定し、入力情報Aが液体を表す情報である場合、角度操作部215’が角度θを0度よりも大きく90度以下であるかまたは270度以上360度未満に設定すればよい。
[その他の変形例]
なお、本発明は上述の実施形態に限定されるものではない。例えば、移動量Dの大きさが操作可能であってもよい。すなわち、図1に例示するように、画像生成装置11,21がさらに移動量操作部216’を有し、移動量操作部216’が移動量Dを特定する入力情報Vに基づいて移動量Dを設定して出力し、運動付与部111,211が、移動量Dを入力とし、入力された移動量Dを用いて第1実施形態、第2実施形態、または第2実施形態の変形例1で説明した運動付与処理を行ってもよい。図4に例示するように、片道運動の移動速度が速いほど、透明素材質感の固体らしさが減少し、液体らしさが増加する。ここで移動量Dが大きいほど動画Mの片道運動の移動速度は大きくなるため、移動量Dが大きいほど透明素材質感の固体らしさが減少し、液体らしさが増加する。このように、移動量Dの大きさが操作することで、透明素材質感の固体らしさおよび液体らしさを変更できる。
また、片道運動を継続させるフレーム数Tの大きさが操作可能であってもよい。すなわち、図1に例示するように、画像生成装置11,21がさらに運動区間操作部217’を有し、運動区間操作部217’がフレーム数Tを特定する入力情報Wに基づいてフレーム数Tを設定して出力し、運動付与部111,211が、フレーム数Tを入力とし、入力されたフレーム数Tを用いて第1実施形態、第2実施形態、または第2実施形態の変形例1で説明した運動付与処理を行ってもよい。図5に例示するように、片道運動の継続時間が長いほど、透明素材質感の固体らしさが減少し、液体らしさが増加する。フレーム数Tが大きいほど片道運動の継続時間が長くなるため、フレーム数Tが大きいほど透明素材質感の固体らしさが減少し、液体らしさが増加する。これにより、透明素材質感の固体らしさおよび液体らしさを変更できる。
例えば、上述した実施形態の運動付与処理では、何れか一部のk番目のフレームのDN(k),2DN(k)が直前のk−1番目のフレームのDN(k−1),2DN(k−1)と同じであってもよい。言い換えると、一部のフレームにおいて移動量Dが0であってもよい。その他、移動量Dがフレーム間で相違していてもよい。
また、上述したフィルタリング部112では、各二次元ノイズ2DN(k),2DN(k)に低域通過型フィルタをかけたものをDM(k),DM(k)とした。しかしながら、低域通過型フィルタに代えて他のフィルタを用いてもよいし、低域通過型フィルタに加えてさらに他のフィルタ(例えば、ガウシアンフィルタ等)でのフィルタリングが行われてもよい。あるいは、フィルタリング部112が省略され、二次元ノイズ2DN(k),2DN(k)がそのままDM(k),DM(k)とされてもよい。
また、第1,2実施形態では画像生成装置11、21が三次元変形地図DM,DMを生成したが、予め得られた三次元変形地図DM,DMを用いて動的画像変形処理を行ってもよい。この場合には、画像生成装置11または21は、二次元ノイズ記憶部110、運動付与部111または211、フィルタリング部112は備えずに、予め得た三次元変形地図DM,DMを記憶した三次元変形地図記憶部を備えるようにすればよい。
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
[まとめ]
各実施形態および変形例では、時系列k=1,…,Kに対応する変形地図の系列に含まれる各変形地図DM(k),DM(k)の各要素e(x,y,k),e(x,y,k)に従い、標的画像Pの各画素p(x,y)を移動させ、時系列の各変形画像DP(1),…,DP(K)を得る。ここで、各変形地図の各要素は、各要素e(x,y,k),e(x,y,k)に対応する標的画像Pの各画素p(x,y)の移動方向および移動量を示す。すなわち、e(x,y,k)の正負は各画素p(x,y)の垂直方向の移動方向を示し、e(x,y,k)の絶対値は各画素p(x,y)の垂直方向の移動量を示す。同様に、e(x,y,k)の正負は各画素p(x,y)の水平方向の移動方向を示し、e(x,y,k)の絶対値は各画素p(x,y)の水平方向の移動量を示す。時系列k=1,…,K中の第1時間区間(例えば、k=1,…,T)に対応する変形地図の系列に含まれる各変形地図DM(k),DM(k)は、直前の変形地図DM(k−1),DM(k−1)に対応する二次元配列(二次元ノイズ2DN(k−1),2DN(k−1))の要素を第1方向(d1方向)に移動させた二次元配列(二次元ノイズ2DN(k),2DN(k))に対応する。時系列k=1,…,K中の第2時間区間(例えば、k=T+1,…,2T)に対応する変形地図の系列に含まれる各変形地図DM(k),DM(k)は、直前の変形地図DM(k−1),DM(k−1)に対応する二次元配列(二次元ノイズ2DN(k−1),2DN(k−1))の要素を第2方向(d2方向)に移動させた二次元配列(二次元ノイズ2DN(k),2DN(k))に対応する。ただし、第1方向と第2方向とは異なる。なお、例えば、各変形地図DM(k),DM(k)は、当該各変形地図DM(k),DM(k)に対応する二次元ノイズ2DN(k),2DN(k)にフィルタリング処理を行って得られるものである。或いは、二次元ノイズ2DN(k),2DN(k)をそのまま各変形地図DM(k),DM(k)としてもよい。
例えば、動的画像変形部113は、複数個の時間区間(m=1,2,…,2×(μ+1))により構成される時系列k=1,…,Kに対応する変形地図の系列に含まれる各変形地図DM(k),DM(k)の各要素e(x,y,k),e(x,y,k)に従い、標的画像Pの各画素p(x,y)を移動させ、時系列の各変形画像DP(1),…,DP(K)を得る。時系列k=1,…,K中の奇数番目の時間区間(m=1,3,…,2×μ+1)に対応する変形地図の系列DM(1),…,DM(T),DM(1+2T),…,DM(3T),…,DM(1+(2×μ)T),…,DM((2×μ+1)T),DM(1),…,DM(T),DM(1+2T),…,DM(3T),…,DM(1+(2×μ)T),…,DM((2×μ+1)T)に含まれる各変形地図DM(k),DM(k)は、直前の変形地図DM(k−1),DM(k−1)に対応する二次元配列(二次元ノイズ2DN(k−1),2DN(k−1))の要素を第1方向(d1方向)に移動させた二次元配列(二次元ノイズ2DN(k),2DN(k))に対応する。時系列k=1,…,K中の偶数番目の時間区間(m=2,4,…,2×(μ+1))に対応する変形地図の系列DM(1+T),…,DM(2T),DM(1+3T),…,DM(4T),…,DM(1+(2×μ+1)T),…,DM((2×(μ+1))T),DM(1+T),…,DM(2T),DM(1+3T),…,DM(4T),…,DM(1+(2×μ+1)T),…,DM((2×(μ+1))T)に含まれる各変形地図DM(k),DM(k)は、直前の変形地図DM(k−1),DM(k−1)に対応する二次元配列(二次元ノイズ2DN(k−1),2DN(k−1))の要素を第2方向(d2方向)に移動させた二次元配列(二次元ノイズ2DN(k),2DN(k))に対応する。
動画生成部114は、変形画像DP(k)の列DP(1),…,DP(K)を所定のフレームレートで時系列方向に並べて得られる動画Mを生成する。この動画Mの観察者は、固体または液体の透明素材質感を知覚する。
第1方向(d1方向)と第2方向(d2方向)とのなす角度θが135度以上225度以下である場合、当該観察者は固体の透明素材質感を知覚する。また、第1方向と第2方向とのなす角度θが、0度よりも大きく90度以下であるか、または270度以上360度未満である場合、当該観察者は液体の透明素材質感を知覚する。
第1方向と第2方向とのなす角度θが操作可能であってもよい。これにより、観察者が知覚する透明素材質感の固体らしさ、液体らしさを変更できる。
直前の変形地図DM(k−1),DM(k−1)に対応する二次元配列(二次元ノイズ2DN(k−1),2DN(k−1))の移動量Dが操作可能であってもよい。すなわち、第1時間区間に対応する変形地図の系列に含まれる各変形地図DM(k),DM(k)は、直前の変形地図DM(k−1),DM(k−1)に対応する二次元配列(二次元ノイズ2DN(k−1),2DN(k−1))の要素を第1方向(d1方向)に第2移動量Dだけ移動させた二次元配列(二次元ノイズ2DN(k),2DN(k))に対応する。また、第2時間区間に対応する変形地図の系列に含まれる各変形地図DM(k),DM(k)は、直前の変形地図DM(k−1),DM(k−1)に対応する二次元配列(二次元ノイズ2DN(k−1),2DN(k−1))の要素を第2方向(d2方向)に第2移動量Dだけ移動させた二次元配列(二次元ノイズ2DN(k),2DN(k))に対応する。この際に画像生成装置(例えば、画像生成装置の移動量操作部216’)が第2移動量Dを操作可能であってもよい。これによっても、観察者が知覚する透明素材質感の固体らしさ、液体らしさを変更できる。
また、画像生成装置(例えば、画像生成装置の運動区間操作部217’)が第1時間区間の長さTおよび第2時間区間の長さTを操作可能であってもよい。これによっても、観察者が知覚する透明素材質感の固体らしさ、液体らしさを変更できる。
[ハードウェアおよびソフトウェア構成]
上記の各装置は、例えば、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)およびRAM(random-access memory)・ROM(read-only memory)等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。
コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
本発明は、例えば、コンピュータ・グラフィックス・ソフトウェア、画像編集ソフトウェア、芸術方面で透明液体質感を変えたい場面での利用が期待できる。
11,21 画像生成装置

Claims (11)

  1. 時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る動的画像変形部を有し、
    前記各変形地図の各要素は、前記各要素に対応する前記標的画像の各画素の移動方向および移動量を示し、
    前記時系列中の第1時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第1方向に移動させた二次元配列に対応し、
    前記時系列中の第2時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第2方向に移動させた二次元配列に対応し、
    前記第1方向と前記第2方向とは異なる、画像生成装置。
  2. 請求項1の画像生成装置であって、
    前記第1時間区間に対応する変形地図の系列に含まれる前記各変形地図は、前記直前の変形地図に対応する二次元配列の要素を前記第1方向に第2移動量だけ移動させた二次元配列に対応し、
    前記第2時間区間に対応する変形地図の系列に含まれる前記各変形地図は、前記直前の変形地図に対応する二次元配列の要素を前記第2方向に前記第2移動量だけ移動させた二次元配列に対応し、
    当該画像生成装置は、前記第2移動量を操作する移動量操作部を有する、画像生成装置。
  3. 複数個の時間区間により構成される時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る動的画像変形部を有し、
    前記各変形地図の各要素は、前記各要素に対応する前記標的画像の各画素の移動方向および移動量を示し、
    前記時系列中の奇数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第1方向に移動させた二次元配列に対応し、
    前記時系列中の偶数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第2方向に移動させた二次元配列に対応し、
    前記第1方向と前記第2方向とは異なる、画像生成装置。
  4. 請求項3の画像生成装置であって、
    前記奇数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、前記直前の変形地図に対応する二次元配列の要素を前記第1方向に第2移動量だけ移動させた二次元配列に対応し、
    前記偶数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、前記直前の変形地図に対応する二次元配列の要素を前記第2方向に前記第2移動量だけ移動させた二次元配列に対応し、
    当該画像生成装置は、前記第2移動量を操作する移動量操作部を有する、画像生成装置。
  5. 請求項1から4の何れかの画像生成装置であって、
    前記第1方向と前記第2方向とのなす角度は、135度以上225度以下である、画像生成装置。
  6. 請求項1から4の何れかの画像生成装置であって、
    前記第1方向と前記第2方向とのなす角度は、0度よりも大きく90度以下であるか、または270度以上360度未満である、画像生成装置。
  7. 請求項1からの何れかの画像生成装置であって、
    前記第1方向と前記第2方向とのなす角度を操作する角度操作部を有する、画像生成装置。
  8. 請求項1からの何れかの画像生成装置であって、
    前記時間区間の長さを操作する運動区間操作部を有する、画像生成装置。
  9. 画像生成装置の画像生成方法であって、
    時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る動的画像変形ステップを有し、
    前記各変形地図の各要素は、前記各要素に対応する前記標的画像の各画素の移動方向および移動量を示し、
    前記時系列中の第1時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第1方向に移動させた二次元配列に対応し、
    前記時系列中の第2時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第2方向に移動させた二次元配列に対応し、
    前記第1方向と前記第2方向とは異なる、画像生成方法。
  10. 画像生成装置の画像生成方法であって、
    複数個の時間区間により構成される時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る動的画像変形ステップを有し、
    前記各変形地図の各要素は、前記各要素に対応する前記標的画像の各画素の移動方向および移動量を示し、
    前記時系列中の奇数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第1方向に移動させた二次元配列に対応し、
    前記時系列中の偶数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第2方向に移動させた二次元配列に対応し、
    前記第1方向と前記第2方向とは異なる、画像生成方法。
  11. 請求項1からの何れかの画像生成装置としてコンピュータを機能させるためのプログラム。
JP2018142166A 2018-07-30 2018-07-30 画像生成装置、画像生成方法、およびプログラム Active JP6950641B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018142166A JP6950641B2 (ja) 2018-07-30 2018-07-30 画像生成装置、画像生成方法、およびプログラム
US17/263,118 US11514636B2 (en) 2018-07-30 2019-07-01 Image generation device, image generation method, and program
PCT/JP2019/026028 WO2020026670A1 (ja) 2018-07-30 2019-07-01 画像生成装置、画像生成方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018142166A JP6950641B2 (ja) 2018-07-30 2018-07-30 画像生成装置、画像生成方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020021113A JP2020021113A (ja) 2020-02-06
JP6950641B2 true JP6950641B2 (ja) 2021-10-13

Family

ID=69232504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018142166A Active JP6950641B2 (ja) 2018-07-30 2018-07-30 画像生成装置、画像生成方法、およびプログラム

Country Status (3)

Country Link
US (1) US11514636B2 (ja)
JP (1) JP6950641B2 (ja)
WO (1) WO2020026670A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4528036B2 (ja) * 2004-06-22 2010-08-18 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、及び画像生成システム
JPWO2008093630A1 (ja) * 2007-01-29 2010-05-20 株式会社Access 動画生成方法、動画生成プログラム、および動画生成装置
US8160398B1 (en) * 2008-07-31 2012-04-17 Adobe Systems Incorporated Independent resizing of multiple image regions
US8581937B2 (en) * 2008-10-14 2013-11-12 Adobe Systems Incorporated Seam-based reduction and expansion of images using partial solution matrix dependent on dynamic programming access pattern
EP2249307B1 (en) * 2009-05-05 2019-07-03 InterDigital Madison Patent Holdings Method for image reframing
JP6069115B2 (ja) 2013-06-25 2017-02-01 日本電信電話株式会社 映像生成装置、映像生成方法、プログラム
WO2017059367A1 (en) * 2015-10-02 2017-04-06 The Regents Of The University Of California System and method for optical transient liquid molding of microparticles and uses for the same
JP6505646B2 (ja) * 2016-08-15 2019-04-24 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム

Also Published As

Publication number Publication date
WO2020026670A1 (ja) 2020-02-06
US11514636B2 (en) 2022-11-29
JP2020021113A (ja) 2020-02-06
US20210150796A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
US11410376B2 (en) Systems and methods for end to end scene reconstruction from multiview images
JP7026222B2 (ja) 画像生成ネットワークの訓練および画像処理方法、装置、電子機器、ならびに媒体
US20210383199A1 (en) Object-Centric Learning with Slot Attention
JP7432005B2 (ja) 二次元画像の三次元化方法、装置、機器及びコンピュータプログラム
US20190188539A1 (en) Electronic apparatus and control method thereof
US11074671B2 (en) Electronic apparatus and control method thereof
CN104571887A (zh) 一种基于静态图片的动态交互方法和装置
US11989900B2 (en) Object recognition neural network for amodal center prediction
Tatzgern Situated visualization in augmented reality
JP2021533646A (ja) 深度情報を使用して2次元画像を外挿するためのシステムおよび方法
JP6950641B2 (ja) 画像生成装置、画像生成方法、およびプログラム
WO2017202079A1 (zh) 一种立体图像制作方法和设备
JP6505646B2 (ja) 映像生成装置、映像生成方法、およびプログラム
US20230290132A1 (en) Object recognition neural network training using multiple data sources
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
CN110738719A (zh) 一种基于视距分层优化的Web3D模型渲染方法
JP6305942B2 (ja) 画像質感操作方法、画像質感操作装置、およびプログラム
JP2018182353A (ja) 映像生成装置、映像生成方法、およびプログラム
EP4095805A1 (en) Frame interpolation for rendered content
JP6845181B2 (ja) 映像生成装置、映像生成方法、およびプログラム
US20220383628A1 (en) Conditional Object-Centric Learning with Slot Attention for Video and Other Sequential Data
Pantazis et al. Are the morphing techniques useful for cartographic generalization?
EP4276694A1 (en) Variable resolution variable frame rate video coding using neural networks
JP5961589B2 (ja) 映像生成装置、方法及びプログラム
CN118015150A (zh) 基于注视点的自适应流体仿真方法、系统、介质及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210906

R150 Certificate of patent or registration of utility model

Ref document number: 6950641

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150