JP6950641B2 - 画像生成装置、画像生成方法、およびプログラム - Google Patents
画像生成装置、画像生成方法、およびプログラム Download PDFInfo
- Publication number
- JP6950641B2 JP6950641B2 JP2018142166A JP2018142166A JP6950641B2 JP 6950641 B2 JP6950641 B2 JP 6950641B2 JP 2018142166 A JP2018142166 A JP 2018142166A JP 2018142166 A JP2018142166 A JP 2018142166A JP 6950641 B2 JP6950641 B2 JP 6950641B2
- Authority
- JP
- Japan
- Prior art keywords
- deformed
- image
- series
- dimensional array
- maps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 claims description 138
- 238000000034 method Methods 0.000 claims description 48
- 230000009466 transformation Effects 0.000 claims description 10
- 238000003491 array Methods 0.000 claims description 4
- 239000012780 transparent material Substances 0.000 description 58
- 239000007787 solid Substances 0.000 description 21
- 230000008569 process Effects 0.000 description 18
- 238000001914 filtration Methods 0.000 description 13
- 239000007788 liquid Substances 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 8
- 230000007423 decrease Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000009827 uniform distribution Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/24—Fluid dynamics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/62—Semi-transparency
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
[第1実施形態]
前述した特許文献1で提案された手法では、変形地図(「歪み分布」と呼ばれる場合もある)により、変形対象の任意の画像(以下、「標的画像」と呼ぶ)を動的に変形させる画像処理(以下、「動的画像変形処理」と呼ぶ)を行って複数のフレームの変形画像(すなわち、時系列の複数の変形画像。以下、「動的変形画像列」と呼ぶ)を得ることによって、当該標的画像に透明素材質感を付与する。この手法では、とりわけ透明素材の中でも液体などの流体の質感を標的画像に付与することができる。その一方で、特許文献1で提案された手法では、透明素材の中でも固体の質感を画像へ付与することは想定されていなかった。実際に、特許文献1で提案された手法で得た長時間の動的変形画像列には、固体の知覚に貢献する線形運動の成分が含まれていない。
参考文献1:Kawabe, T., Maruya, K., & Nishida, S., "Perceptual transparency from image deformation," Proceedings of the National Academy of Sciences, August 18, 2015, 112(33), E4620-E4627, [平成30年6月12日検索]、インターネット<https://doi.org/10.1073/pnas.1500913112>
ピクセルワープ法では、変形地図を用い、標的画像の画像変形を行って変形画像を得る。標的画像が、水平方向のピクセル数がXであり、垂直方向のピクセル数がYである画像、すなわち、X×Y個の画素の画素値が二次元配列の各要素とされた画像であるとして説明する。ただし、XおよびYは正の整数である。変形地図は、水平方向の要素数も垂直方向の要素数も標的画像と同じである、X×Y個の要素を持つ二次元配列である。変形地図の各要素は、正の数、負の数、零、のうちのいずれの値も取り得る。変形地図の各要素は、標的画像の各画素に対応し、対応する各画素の移動方向および移動量を示す。すなわち、二次元配列の水平方向の座標をxと表現し(ただし、xは1≦x≦Xを満たす数)、垂直方向の座標をyと表現し(ただし、yは1≦y≦Yを満たす数)、座標を(x,y)と表現すると、変形地図の各座標(x,y)の要素e(x,y)は、標的画像の各座標(x,y)の画素p(x,y)の移動方向および移動量を示す。移動方向は要素e(x,y)の正負によって表され、移動量は要素e(x,y)の絶対値によって表される。ピクセルワープ法では、水平方向と垂直方向の画素の移動を独立して表すために、水平方向の画素移動を表す変形地図(以下、「水平変形地図」と呼ぶ)と、垂直方向の画素移動を表す変形地図(以下、「垂直変形地図」と呼ぶ)との2つを利用する。すなわち、ピクセルワープ法では、水平変形地図および垂直変形地図を用い、標的画像の画素の水平方向の移動と垂直方向の移動との両方を行う。例えば、水平変形地図における要素eH(x,y)の要素値が1である場合、標的画像中の画素p(x,y)を右に1に移動させ、水平変形地図における要素eH(x,y)の要素値が−1である場合は、標的画像中の画素p(x,y)を左に1に移動させる。また、垂直変形地図における要素eV(x,y)の要素値が1である場合は、標的画像中の画素p(x,y)を上に1に移動させ、垂直変形地図における要素eV(x,y)の要素値が−1である場合は、標的画像中の画素p(x,y)を下に1に移動させる。ピクセルワープ法では、水平変形地図を用いた画素の移動と垂直変形地図を用いた画素の移動との両方を行うことにより、標的画像に対して水平変形地図および垂直変形地図に対応する変形した変形画像が得られる。
図1に例示するように、本実施形態の画像生成装置11は、二次元ノイズ記憶部110、運動付与部111、フィルタリング部112、動的画像変形部113、および動画生成部114を有する。画像生成装置11は入力された標的画像Pに質感を付与した動画を生成して出力するものであり、画像生成装置11で生成された動画は動画提示装置12から提示される。
画像生成装置11には、任意の標的画像Pが入力される。標的画像Pは、水平方向のピクセル数が正の整数Xであり、垂直方向のピクセル数が正の整数Yである、すなわち、X×Y個の画素の画素値が二次元配列の各要素とされた画像である。標的画像Pの1≦x≦Xおよび1≦y≦Yを満たす座標(x,y)における画素をp(x,y)とする。画像生成装置11に入力された標的画像Pは、動的画像変形部113に入力される。
二次元ノイズ記憶部110には、2つの二次元ノイズ2DNV(0),2DNH(0)が予め記憶されている。二次元ノイズ2DNV(0),2DNH(0)は、それぞれ、水平方向の要素数がXであり、垂直方向の要素数がYである、X×Y個の要素を持つ二次元配列である。以降では、二次元ノイズ2DNV(0)の1≦x≦Xおよび1≦y≦Yを満たす座標(x,y)の要素をnV(x,y)とする。同様に、二次元ノイズ2DNH(0)の1≦x≦Xおよび1≦y≦Yを満たす座標(x,y)の要素をnH(x,y)とする。各要素nV(x,y),nH(x,y)は、正の数、負の数、零の何れの値であってもよい。例えば、一様分布や正規分布からランダムに抽出した値を各要素nV(x,y),nH(x,y)とする二次元ノイズ2DNV(0),2DNH(0)を予め生成して二次元ノイズ記憶部110に記憶しておけばよい。または、二次元ノイズ記憶部110に代えて二次元ノイズ生成部110’を画像生成装置11に備えて、二次元ノイズ生成部110’が、一様分布や正規分布からランダムに値を抽出して各要素nV(x,y),nH(x,y)とすることで、二次元ノイズ2DNV(0),2DNH(0)を生成してもよい。また、nV(x,y)とnH(x,y)とは、同一でも異なっていてもよい。
二次元ノイズ2DNV(0),2DNH(0)は運動付与部111に入力される。運動付与部111は、二次元ノイズ2DNV(0)を用いて、それぞれが1≦x≦Xおよび1≦y≦Yを満たす座標(x,y)の要素をもつ、K個の二次元ノイズ2DNV(k)(ただし、k=1,…,K)を生成して出力する。また、運動付与部111は、二次元ノイズ2DNH(0)を用いて、それぞれが1≦x≦Xおよび1≦y≦Yを満たす座標(x,y)の要素をもつ、K個の二次元ノイズ2DNH(k)(ただし、k=1,…,K)を生成して出力する。以降では、生成された二次元ノイズ2DNV(1),…,2DNV(K)の列を三次元ノイズ3DNVと呼び、二次元ノイズ2DNH(1),…,2DNH(K)の列を三次元ノイズ3DNHと呼ぶ。三次元ノイズ3DNV,3DNHは、それぞれ、X×Y×K個の要素を持つ。なお、Kは、画像生成装置11が出力する動画Mのフレーム数であり、動画Mにおいて片道運動を継続させるフレーム数Tの偶数倍の値とする。動画Mにおいて片道運動を継続させるフレーム数Tと動画Mのフレーム数Kは、画像生成装置11が備える図示しない入力部に画像生成装置11外から入力して、運動付与部111に入力されるようにすればよい。また、Tの偶数倍がKであるので、その偶数を2×(μ+1)で表すとK=2×(μ+1)×Tの関係を満たす。ただし、μは0以上の整数である。そこで、TとKの値を入力することに代えて、Tと(μ+1)の値を入力するようにしてもよく、Kと(μ+1)の値を入力するようにしてもよい。また、これらの値を運動付与部111内に予め記憶しておくようにしてもよい。
運動付与部111が得た三次元ノイズ3DNV,3DNHはフィルタリング部112に入力される。フィルタリング部112は、三次元ノイズ3DNVが含むk=1,…,Kの各二次元ノイズ2DNV(k)に対し、それぞれ空間周波数領域での低域通過型フィルタをかけ(低域通過型フィルタでフィルタリングし)て垂直変形地図(二次元ノイズ)DMV(k)を得て、得られた垂直変形地図(二次元ノイズ)DMV(k)による列を、垂直方向三次元変形地図(三次元ノイズ)DMVとして出力する。同様に、フィルタリング部112は、三次元ノイズ3DNHが含むk=1,…,Kの各二次元ノイズ2DNH(k)に対し、それぞれ空間周波数領域での低域通過型フィルタをかけて水平変形地図(二次元ノイズ)DMH(k)を得て、得られた水平変形地図(二次元ノイズ)DMH(k)による列を、水平方向三次元変形地図(三次元ノイズ)DMHとして出力する。なお、低域通過型フィルタのカットオフ空間周波数は3cpd以下が望ましい(特許文献1等参照)。
画像生成装置11に入力された標的画像Pおよびフィルタリング部112が得た垂直方向三次元変形地図DMVおよび水平方向三次元変形地図DMHは、動的画像変形部113に入力される。図3に示すように、動的画像変形部113は、標的画像Pについて、垂直方向三次元変形地図DMVおよび水平方向三次元変形地図DMHのそれぞれに含まれるk=1,…,Kの垂直方向変形地図2DNV(k)および水平方向変形地図2DNH(k)に対応する変形をすることで、K個のフレームの変形画像DP(k)(k=1,…,K)の列である動的変形画像列DPを得て出力する。詳細に説明する。垂直方向三次元変形地図DMVに含まれる各垂直変形地図DMV(k)の座標(x,y)の要素をeV(x,y,k)と表し、水平方向三次元変形地図DMHに含まれる各水平変形地図DMH(k)の座標(x,y)の要素をeH(x,y,k)と表す。ただし、k=1,…,K、1≦x≦X、1≦y≦Yを満たす。動的画像変形部113は、k=1,…,Kのそれぞれについて、標的画像Pの各画素p(x,y)を水平方向にeH(x,y,k)だけ移動し、さらに垂直方向にeV(x,y,k)だけ移動することで変形画像DP(k)を得、得られた変形画像の列DP(1),…,DP(K)を動的変形画像列DPとして出力する。
動的変形画像列DPは動画生成部114に入力される。動画生成部114は、変形画像DP(k)の列DP(1),…,DP(K)を所定のフレームレートで時系列方向に並べて得られる動画Mを生成して出力する。動画Mは動画提示装置12に入力され、動画提示装置12は動画Mを観察者に提示する。例えば、液晶などのディスプレイ装置に動画Mが表示されたり、プロジェクタ装置によって動画が投影される。この動画Mを観察した観察者は、標的画像Pに固体の透明素材質感が与えられたように認知する。すなわち、観察者は、標的画像Pと観察者との間に固体の透明素材質感の物質(例えば、ガラス)が存在しているかのように錯覚する。
上述のように、本実施形態では、透明素材の物理特性や光のシミュレーション、レンダリングといった比較的ユーザーに知識を要求する高度な技術を利用しなくとも、任意の標的画像Pに固体の透明素材質感を付与することができる。
第1実施形態の運動付与処理では、三次元ノイズ3DNV,3DNHのそれぞれに往復運動を持たせた。すなわち、三次元ノイズ3DNV,3DNHは、d1方向の動きが与えられた区間とその逆向きであるd2方向の動きが与えられた区間とを持っていた。しかしながら、d2方向がd1方向の逆向きでなくてもよい。以下では、第1実施形態との相違点を中心に説明し、共通する事項については同じ参照番号を用いて説明を簡略化する。
図1に例示するように、本実施形態の画像生成装置21は、二次元ノイズ記憶部110、運動付与部211、フィルタリング部112、動的画像変形部113、および動画生成部114を有する。
運動付与部111は、k=1,…,Kについて以下の処理を行う。運動付与部111は、kを2Tで除算した余りが1からTまでの何れかの値である場合には、kの値が1増えるごとに、二次元ノイズ2DNV(k−1)および二次元ノイズ2DNH(k−1)のそれぞれの要素を予め定めた第一の方向(d1方向)に移動量Dずつ移動させた要素をもつ二次元ノイズ2DNV(k)および二次元ノイズ2DNH(k)を得る。また、運動付与部111は、kを2Tで除算した余りがk+1から2Tまでの何れかの値である場合には、kの値が1増えるごとに、二次元ノイズ2DNV(k−1)および二次元ノイズ2DNH(k−1)のそれぞれの要素を第一の方向とは異なる予め定めた第二の方向(d1方向とは異なる方向であるd2方向)に移動量Dずつ移動させた要素をもつ二次元ノイズ2DNV(k)および二次元ノイズ2DNH(k)を得る。また、運動付与部111は、上記の何れの場合であっても、二次元ノイズ2DNV(k)および二次元ノイズ2DNH(k)のうちの、上述した移動によって要素の値を得られなかった各要素については、一様分布や正規分布からランダムに抽出した値を設定する。なお、上述した移動によってX×Yの二次元配列の範囲外となった要素は、二次元ノイズ2DNV(k)および二次元ノイズ2DNH(k)には含まれないことになる。さらに運動付与部111は、以上の処理で得た二次元ノイズ2DNV(1),…,2DNV(K)の列を三次元ノイズ3DNVとして出力し、以上の処理で得た二次元ノイズ2DNH(1),…,2DNH(K)の列を三次元ノイズ3DNHとして出力する。
角度θが操作可能であってもよい。すなわち、図1に例示するように、画像生成装置21がさらに角度操作部215’を有し、角度操作部215’が角度θを特定する入力情報Aに基づいて角度θを設定して出力し、運動付与部211が、角度θを入力とし、d1方向とd2方向とのなす角度をθとなるようなd1方向とd2方向とを決定して、第2実施形態で説明した運動付与処理を行ってもよい。これにより、入力情報Aに基づいて角度θを操作でき、最終的に得られる動画の透明素材質感を変更できる。すなわち、角度θを180度に近づけていくことにより、透明素材質感の液体らしさが減少し、固体らしさが増加する。逆に、角度θを180度から遠ざけていくことにより、透明素材質感の固体らしさが減少し、液体らしさが増加する。なお、入力情報Aは角度θそのものであってもよいし、固体らしさや液体らしさを表す指標であってもよいし、固体であるか液体であるかを表す情報であってもよい。例えば、入力情報Aが表す固体らしさや液体らしさを表す指標である場合、角度操作部215’が、入力情報Aが示す固体らしさが大きいほど180度に近い角度θを設定すればよい。あるいは、角度操作部215’が、入力情報Aが示す液体らしさが大きいほど180度から遠い角度θを設定すればよい。あるいは、入力情報Aが固体を表す情報である場合、角度操作部215’が角度θを135度以上225度以下に設定し、入力情報Aが液体を表す情報である場合、角度操作部215’が角度θを0度よりも大きく90度以下であるかまたは270度以上360度未満に設定すればよい。
なお、本発明は上述の実施形態に限定されるものではない。例えば、移動量Dの大きさが操作可能であってもよい。すなわち、図1に例示するように、画像生成装置11,21がさらに移動量操作部216’を有し、移動量操作部216’が移動量Dを特定する入力情報Vに基づいて移動量Dを設定して出力し、運動付与部111,211が、移動量Dを入力とし、入力された移動量Dを用いて第1実施形態、第2実施形態、または第2実施形態の変形例1で説明した運動付与処理を行ってもよい。図4に例示するように、片道運動の移動速度が速いほど、透明素材質感の固体らしさが減少し、液体らしさが増加する。ここで移動量Dが大きいほど動画Mの片道運動の移動速度は大きくなるため、移動量Dが大きいほど透明素材質感の固体らしさが減少し、液体らしさが増加する。このように、移動量Dの大きさが操作することで、透明素材質感の固体らしさおよび液体らしさを変更できる。
各実施形態および変形例では、時系列k=1,…,Kに対応する変形地図の系列に含まれる各変形地図DMV(k),DMH(k)の各要素eV(x,y,k),eH(x,y,k)に従い、標的画像Pの各画素p(x,y)を移動させ、時系列の各変形画像DP(1),…,DP(K)を得る。ここで、各変形地図の各要素は、各要素eV(x,y,k),eH(x,y,k)に対応する標的画像Pの各画素p(x,y)の移動方向および移動量を示す。すなわち、eV(x,y,k)の正負は各画素p(x,y)の垂直方向の移動方向を示し、eV(x,y,k)の絶対値は各画素p(x,y)の垂直方向の移動量を示す。同様に、eH(x,y,k)の正負は各画素p(x,y)の水平方向の移動方向を示し、eV(x,y,k)の絶対値は各画素p(x,y)の水平方向の移動量を示す。時系列k=1,…,K中の第1時間区間(例えば、k=1,…,T)に対応する変形地図の系列に含まれる各変形地図DMV(k),DMH(k)は、直前の変形地図DMV(k−1),DMH(k−1)に対応する二次元配列(二次元ノイズ2DNV(k−1),2DNH(k−1))の要素を第1方向(d1方向)に移動させた二次元配列(二次元ノイズ2DNV(k),2DNH(k))に対応する。時系列k=1,…,K中の第2時間区間(例えば、k=T+1,…,2T)に対応する変形地図の系列に含まれる各変形地図DMV(k),DMH(k)は、直前の変形地図DMV(k−1),DMH(k−1)に対応する二次元配列(二次元ノイズ2DNV(k−1),2DNH(k−1))の要素を第2方向(d2方向)に移動させた二次元配列(二次元ノイズ2DNV(k),2DNH(k))に対応する。ただし、第1方向と第2方向とは異なる。なお、例えば、各変形地図DMV(k),DMH(k)は、当該各変形地図DMV(k),DMH(k)に対応する二次元ノイズ2DNV(k),2DNH(k)にフィルタリング処理を行って得られるものである。或いは、二次元ノイズ2DNV(k),2DNH(k)をそのまま各変形地図DMV(k),DMH(k)としてもよい。
上記の各装置は、例えば、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)およびRAM(random-access memory)・ROM(read-only memory)等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。
Claims (11)
- 時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る動的画像変形部を有し、
前記各変形地図の各要素は、前記各要素に対応する前記標的画像の各画素の移動方向および移動量を示し、
前記時系列中の第1時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第1方向に移動させた二次元配列に対応し、
前記時系列中の第2時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第2方向に移動させた二次元配列に対応し、
前記第1方向と前記第2方向とは異なる、画像生成装置。 - 請求項1の画像生成装置であって、
前記第1時間区間に対応する変形地図の系列に含まれる前記各変形地図は、前記直前の変形地図に対応する二次元配列の要素を前記第1方向に第2移動量だけ移動させた二次元配列に対応し、
前記第2時間区間に対応する変形地図の系列に含まれる前記各変形地図は、前記直前の変形地図に対応する二次元配列の要素を前記第2方向に前記第2移動量だけ移動させた二次元配列に対応し、
当該画像生成装置は、前記第2移動量を操作する移動量操作部を有する、画像生成装置。 - 複数個の時間区間により構成される時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る動的画像変形部を有し、
前記各変形地図の各要素は、前記各要素に対応する前記標的画像の各画素の移動方向および移動量を示し、
前記時系列中の奇数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第1方向に移動させた二次元配列に対応し、
前記時系列中の偶数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第2方向に移動させた二次元配列に対応し、
前記第1方向と前記第2方向とは異なる、画像生成装置。 - 請求項3の画像生成装置であって、
前記奇数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、前記直前の変形地図に対応する二次元配列の要素を前記第1方向に第2移動量だけ移動させた二次元配列に対応し、
前記偶数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、前記直前の変形地図に対応する二次元配列の要素を前記第2方向に前記第2移動量だけ移動させた二次元配列に対応し、
当該画像生成装置は、前記第2移動量を操作する移動量操作部を有する、画像生成装置。 - 請求項1から4の何れかの画像生成装置であって、
前記第1方向と前記第2方向とのなす角度は、135度以上225度以下である、画像生成装置。 - 請求項1から4の何れかの画像生成装置であって、
前記第1方向と前記第2方向とのなす角度は、0度よりも大きく90度以下であるか、または270度以上360度未満である、画像生成装置。 - 請求項1から6の何れかの画像生成装置であって、
前記第1方向と前記第2方向とのなす角度を操作する角度操作部を有する、画像生成装置。 - 請求項1から7の何れかの画像生成装置であって、
前記時間区間の長さを操作する運動区間操作部を有する、画像生成装置。 - 画像生成装置の画像生成方法であって、
時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る動的画像変形ステップを有し、
前記各変形地図の各要素は、前記各要素に対応する前記標的画像の各画素の移動方向および移動量を示し、
前記時系列中の第1時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第1方向に移動させた二次元配列に対応し、
前記時系列中の第2時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第2方向に移動させた二次元配列に対応し、
前記第1方向と前記第2方向とは異なる、画像生成方法。 - 画像生成装置の画像生成方法であって、
複数個の時間区間により構成される時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る動的画像変形ステップを有し、
前記各変形地図の各要素は、前記各要素に対応する前記標的画像の各画素の移動方向および移動量を示し、
前記時系列中の奇数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第1方向に移動させた二次元配列に対応し、
前記時系列中の偶数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第2方向に移動させた二次元配列に対応し、
前記第1方向と前記第2方向とは異なる、画像生成方法。 - 請求項1から8の何れかの画像生成装置としてコンピュータを機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018142166A JP6950641B2 (ja) | 2018-07-30 | 2018-07-30 | 画像生成装置、画像生成方法、およびプログラム |
US17/263,118 US11514636B2 (en) | 2018-07-30 | 2019-07-01 | Image generation device, image generation method, and program |
PCT/JP2019/026028 WO2020026670A1 (ja) | 2018-07-30 | 2019-07-01 | 画像生成装置、画像生成方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018142166A JP6950641B2 (ja) | 2018-07-30 | 2018-07-30 | 画像生成装置、画像生成方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020021113A JP2020021113A (ja) | 2020-02-06 |
JP6950641B2 true JP6950641B2 (ja) | 2021-10-13 |
Family
ID=69232504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018142166A Active JP6950641B2 (ja) | 2018-07-30 | 2018-07-30 | 画像生成装置、画像生成方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11514636B2 (ja) |
JP (1) | JP6950641B2 (ja) |
WO (1) | WO2020026670A1 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4528036B2 (ja) * | 2004-06-22 | 2010-08-18 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体、及び画像生成システム |
JPWO2008093630A1 (ja) * | 2007-01-29 | 2010-05-20 | 株式会社Access | 動画生成方法、動画生成プログラム、および動画生成装置 |
US8160398B1 (en) * | 2008-07-31 | 2012-04-17 | Adobe Systems Incorporated | Independent resizing of multiple image regions |
US8581937B2 (en) * | 2008-10-14 | 2013-11-12 | Adobe Systems Incorporated | Seam-based reduction and expansion of images using partial solution matrix dependent on dynamic programming access pattern |
EP2249307B1 (en) * | 2009-05-05 | 2019-07-03 | InterDigital Madison Patent Holdings | Method for image reframing |
JP6069115B2 (ja) | 2013-06-25 | 2017-02-01 | 日本電信電話株式会社 | 映像生成装置、映像生成方法、プログラム |
WO2017059367A1 (en) * | 2015-10-02 | 2017-04-06 | The Regents Of The University Of California | System and method for optical transient liquid molding of microparticles and uses for the same |
JP6505646B2 (ja) * | 2016-08-15 | 2019-04-24 | 日本電信電話株式会社 | 映像生成装置、映像生成方法、およびプログラム |
-
2018
- 2018-07-30 JP JP2018142166A patent/JP6950641B2/ja active Active
-
2019
- 2019-07-01 US US17/263,118 patent/US11514636B2/en active Active
- 2019-07-01 WO PCT/JP2019/026028 patent/WO2020026670A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2020021113A (ja) | 2020-02-06 |
WO2020026670A1 (ja) | 2020-02-06 |
US11514636B2 (en) | 2022-11-29 |
US20210150796A1 (en) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11410376B2 (en) | Systems and methods for end to end scene reconstruction from multiview images | |
JP7026222B2 (ja) | 画像生成ネットワークの訓練および画像処理方法、装置、電子機器、ならびに媒体 | |
US20210383199A1 (en) | Object-Centric Learning with Slot Attention | |
JP7432005B2 (ja) | 二次元画像の三次元化方法、装置、機器及びコンピュータプログラム | |
US20190188539A1 (en) | Electronic apparatus and control method thereof | |
US11989900B2 (en) | Object recognition neural network for amodal center prediction | |
US11074671B2 (en) | Electronic apparatus and control method thereof | |
CN104571887A (zh) | 一种基于静态图片的动态交互方法和装置 | |
Tatzgern | Situated visualization in augmented reality | |
JP2021533646A (ja) | 深度情報を使用して2次元画像を外挿するためのシステムおよび方法 | |
US20230290132A1 (en) | Object recognition neural network training using multiple data sources | |
JP6950641B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
WO2017202079A1 (zh) | 一种立体图像制作方法和设备 | |
CN110738719A (zh) | 一种基于视距分层优化的Web3D模型渲染方法 | |
KR101425321B1 (ko) | 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법 | |
JP6305942B2 (ja) | 画像質感操作方法、画像質感操作装置、およびプログラム | |
JP2018182353A (ja) | 映像生成装置、映像生成方法、およびプログラム | |
EP4095805A1 (en) | Frame interpolation for rendered content | |
JP6845181B2 (ja) | 映像生成装置、映像生成方法、およびプログラム | |
US20220383628A1 (en) | Conditional Object-Centric Learning with Slot Attention for Video and Other Sequential Data | |
EP4276694A1 (en) | Variable resolution variable frame rate video coding using neural networks | |
US20240257375A1 (en) | Object recognition neural network for amodal center prediction | |
JP5961589B2 (ja) | 映像生成装置、方法及びプログラム | |
Siam et al. | Anti-aliasing for Real-time applications in 3D using Deep Convolutional Neural Network | |
CN118015150A (zh) | 基于注视点的自适应流体仿真方法、系统、介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6950641 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |