JPWO2014013628A1 - 動画処理装置、動画処理方法、ならびに、情報記録媒体 - Google Patents
動画処理装置、動画処理方法、ならびに、情報記録媒体 Download PDFInfo
- Publication number
- JPWO2014013628A1 JPWO2014013628A1 JP2013552056A JP2013552056A JPWO2014013628A1 JP WO2014013628 A1 JPWO2014013628 A1 JP WO2014013628A1 JP 2013552056 A JP2013552056 A JP 2013552056A JP 2013552056 A JP2013552056 A JP 2013552056A JP WO2014013628 A1 JPWO2014013628 A1 JP WO2014013628A1
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- drawn
- processing apparatus
- video
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
前記第1動画と、前記第2動画と、を合成した第3動画を生成する動画生成部、
前記第3動画において、前記第1オブジェクトと、前記第2オブジェクトと、が、干渉条件を満たすか否かを、前記第1オブジェクトの奥行情報ならびに前記第2オブジェクトの奥行情報を参照して判定する干渉判定部、
前記干渉条件が満たされる、と判定された場合、前記第2オブジェクトの時間経過に応じた3次元空間内の移動を表す軌跡の形状を変形する変形変換を施すことにより、前記第2動画を修正する修正部
を備えるように構成する。
前記軌跡の形状の修正箇所および修正量を表す変換パラメータにより前記変形変換を施し、更新干渉条件を満たさないように、前記変換パラメータを更新する
ように構成することができる。
前記干渉条件は、前記第1オブジェクトと、前記第2オブジェクトと、が、衝突すれば、満たされる
ように構成することができる。
前記干渉判定部は、前記第2オブジェクトと前記第1オブジェクトとの衝突の度合を表す衝突量を計算し、
前記修正部は、前記衝突量と、前記変換パラメータと、により定められる評価関数を最小化するように、前記変換パラメータを更新する
ように構成することができる。
前記修正部は、前記衝突量が最大となるフレームにおいて、前記1つ以上のオブジェクトの位置を前記衝突量がゼロになるように修正し、当該位置の修正量を減少させながら隣接するフレームに伝播させて前記1つ以上のオブジェクトの位置を修正することを繰り返すことにより、前記変更パラメータを更新する
ように構成することができる。
前記変形変換は、前記軌跡の接ベクトルの大きさは保ちつつ、主法線ベクトルの大きさを変化させる
ように構成することができる。
前記衝突量は、各フレームにおける前記第1オブジェクトの奥行情報に基づいて推定される前記第1オブジェクトの形状と、前記第2オブジェクトの奥行情報に基づいて推定される前記第2オブジェクトの形状と、が、重複する体積の総和である
ように構成することができる。
前記衝突量は、各フレームにおける前記第1オブジェクトが描画されるべき領域と、前記第2オブジェクトが描画されるべき領域と、が、重複する面積の総和である
ように構成することができる。
前記軌跡が修正される1つ以上のオブジェクトは、当該1つ以上のオブジェクトの代表点の水平方向、垂直方向および奥行情報の位置に直交変換を施し、当該直交変換後の位置に基づいて、当該1つ以上のオブジェクトが描かれている画像に水平方向および垂直方向における相似変換を施す
ように構成することができる。
前記第1動画と、前記第2動画と、を合成した第3動画を生成する動画生成工程、
前記第3動画において、前記第1オブジェクトと、前記第2オブジェクトと、が、干渉条件を満たすか否かを、前記第1オブジェクトの奥行情報ならびに前記第2オブジェクトの奥行情報を参照して判定する干渉判定工程、
前記干渉条件が満たされる、と判定された場合、前記第2オブジェクトの時間経過に応じた3次元空間内の移動を表す軌跡の形状を変形する変形変換を施すことにより、前記第2動画を修正する修正工程
を備えるように構成する。
前記プログラムは、コンピュータを、
前記第1動画と、前記第2動画と、を合成した第3動画を生成する動画生成部、
前記第3動画において、前記第1オブジェクトと、前記第2オブジェクトと、が、干渉条件を満たすか否かを、前記第1オブジェクトの奥行情報ならびに前記第2オブジェクトの奥行情報を参照して判定する干渉判定部、
前記干渉条件が満たされる、と判定された場合、前記第2オブジェクトの時間経過に応じた3次元空間内の移動を表す軌跡の形状を変形する変形変換を施すことにより、前記第2動画を修正する修正部
として機能させるように構成する。
以下では、理解を容易にするため、2.5次元動画に描かれるオブジェクトを表現するための記法について整理する。図1は、2.5次元動画に描かれるオブジェクトとその諸元の関係を表す説明図である。以下、本図を参照して説明する。
以下では、ある動画から、別の動画を生成するための変換手法について説明する。このような変換手法には、以下のようなものがある。
(1)動画のフレームに沿った上下左右の平行移動
(2)動画の拡大縮小
(3)動画の奥行方向の平行移動
(4)動画の水平軸、垂直軸、奥行軸周りの回転
(5)動画の時間方向の移動
(6)動画から特定のオブジェクトのみを選択
(7)ある動画に別の動画を重ねる合成
以下、順に説明する。
Y(t)[x+p,y+q] = X(t)[x,y]
ならびに、
Y(t)[x,y] = X(t)[x-p,y-q]
が成立する。ここで、上記の等号は、.colorや.foreなど、各画素に割り当てられた値が、いずれも互いに等しいことを意味する。
Y(t)[c×x,c×y] = X(t)[x,y]
すなわち
Y(t)[x,y] = X(t)[x/c,y/c]
が成立する。
Y(t)[c×x,c×y].fore = X(t)[x,y].fore/c
すなわち
Y(t)[x,y].fore = X(t)[x/c,y/c].fore/c
が成立する。
Y(t)[x/k,y/k] = X(t)[x,y]
が成立し、.foreについては、
Y(t)[x/k,y/k].fore = X(t)[x,y].fore + r
が成立する。
Y(t)[x,y] = X(t)[x,X(t)[x,y].fore×cosθ-y×sinθ]
とし、.foreについて、
Y(t)[x,y].fore = X(t)[x,y].fore×sinθ+y×cosθ
が成立する。
Y(t)[x,y] = X(t)[X(t)[x,y].fore×cosφ-x×sinφ,y]
とし、.foreについて、
Y(t)[x,y].fore = X(t)[x,y].fore×sinφ+x×cosφ
が成立する。
Y(t)[x,y] = X(t)[x×cosψ-y×sinψ,x×sinψ+y×cosψ]
が成立する。
Y(t)[x,y] = X(t-d)[x,y]
が成立する。
Y(t)[x,y] = X(t)[x,y], if X(t)[x,y].id = i;
が成立する。また、.idについては、
Y(t)[x,y].id = 1, if X(t)[x,y].id = iかつi>0;
Y(t)[x,y].id = 0, if X(t)[x,y].id = iかつi=0;
Y(t)[x,y].id = -1, otherwise
とすれば、動画Yにおける識別番号の最大値Y.maxidをできるだけ小さくすることができる。
Z(t)[x,y] = X(t)[x,y], if Y(t)[x,y].id≦0;
Z(t)[x,y] = X(t)[x,y], if X(t)[x,y].fore<Y(t)[x,y].fore;
Z(t)[x,y] = Y(t)[x,y], otherwise
が成立する。また、.idについては、
Z(t)[x,y].id = X(t)[x,y].id, if Y(t)[x,y].id≦0;
Z(t)[x,y].id = X(t)[x,y].id, if X(t)[x,y].fore<Y(t)[x,y].fore;
Z(t)[x,y].id = Y(t)[x,y].id+X.maxid, otherwise
とすれば、オブジェクトの識別番号の重複を避けることができる。
move(p,q,scale(c,move(-p,-q,X)));
move(p,q,push(r,move(-p,-q,X)))
などを利用すれば良い。
Z(t)[x,y] = Y(t)[x/c,y/c]
とする。
W(t)[x,y] = Z(t)[x,y]
とし、.foreについては、
W(t)[x,y].fore = k×Z(t)[x,y].fore
とする。
X(t)[x,y].id = i;
Y(t)[x,y].id = j;
であれば、位置[x,y]は、オブジェクトiが描画されるべき領域ならびにオブジェクトjが描画されるべき領域の両方に重複して含まれることになる。
X(t)[x,y].fore = Y(t)[x,y].fore
が成立すれば、オブジェクトiとオブジェクトjが衝突する、と判定できる。
X(t)[x,y].id = X(t+1)[x,y].id = i;
Y(t)[x,y].id = Y(t+1)[x,y].id = j;
X(t)[x,y].fore < Y(t)[x,y].fore;
X(t+1)[x,y].fore > Y(t+1)[x,y].fore
が成立すれば、時刻tから時刻t+1にかけてオブジェクトjがオブジェクトiの後から前にすり抜けて出てきた、と考えられる。また、
X(t)[x,y].id = X(t+1)[x,y].id = i;
Y(t)[x,y].id = Y(t+1)[x,y].id = j;
X(t)[x,y].fore > Y(t)[x,y].fore;
X(t+1)[x,y].fore < Y(t+1)[x,y].fore
が成立すれば、時刻tから時刻t+1にかけてオブジェクトiがオブジェクトjの後から前にすり抜けて出てきた、と考えられる。
X(t)[x,y].back = X(t)[x,y].fore + thick(X(t)[x,y].id)
とするものである。
(1)オブジェクトiの前面奥行の最大値を採用する。
repfore(X,t,i) = maxx,y;X(t)[x,y].id=i X(t)[x,y].fore
(2)オブジェクトiの前面奥行の平均値を採用する。
repfore(X,t,i) = avgx,y;X(t)[x,y].id=i X(t)[x,y].fore
X(t)[x,y].back = repfore(X,t,i) + thick(i)
あるいは、
X(t)[x,y].back = max〔repfore(X,t,i) + thick(i),X(t)[x,y].fore〕
のように定めることができる。ここで、max〔...〕は、括弧内に並べられた値の最大値を意味する。
area(X,t,i) = Σx,y;X(t)[x,y].id=i 1
ここで、Σの添字は、maxやavgと同じ意味を有する。
xc(X,t,i) = Σx,y;X(t)[x,y].id=i x/area(X,t,i);
yc(X,t,i) = Σx,y;X(t)[x,y].id=i y/area(X,t,i)
w(X,t,i) = maxx,y;X(t)[x,y].id=i x - minx,y;X(t)[x,y].id=i x;
h(X,t,i) = maxx,y;X(t)[x,y].id=i y - minx,y;X(t)[x,y].id=i y
D(X,t,i) = max〔w(X,t,i),h(X,t,i)〕;
D(X,t,i) = (w(X,t,i)2+h(X,t,i)2)1/2;
D(X,t,i) = area(X,t,i)1/2;
D(X,t,i) = maxx,y;X(t)[x,y].id=i ((x-xc(X,t,i))2+(y-yc(X,t,i))2)1/2;
D(X,t,i) = avgt area(X,t,i)3/2/area(X,t,i)
zc(X,t,i) = X(t)[xc(X,t,i),yc(X,t,i)].fore + D(X,t,i)/2
zc(X,t,i) = X(t)[xc(X,t,i),yc(X,t,i)].fore
X(t)[x,y].back = max〔zc(X,t,i)+〔max〔(D(X,t,i)/2)2-(x-xc(X,t,i))2-(y-yc(X,t,i))2〕,0〕1/2,X(t)[x,y].fore〕
のように定めれば、球面により近似したことになるし、
X(t)[x,y].back = max〔zc(X,t,i)+D,X(t)[x,y].fore〕
のように定めれば、円柱により近似したことになる。
X(t)[x,y].id = 0
が成立する場合には、
X(t)[x,y].back = ∞
とする。
X(t)[x,y].id = i;
Y(t)[x,y].id = j
であり、かつ、
(1)X(t)[x,y].fore≦Y(t)[x,y].fore≦X(t)[x,y].back;
(2)X(t)[x,y].fore≦Y(t)[x,y].back≦X(t)[x,y].back;
(3)Y(t)[x,y].fore≦X(t)[x,y].fore≦Y(t)[x,y].back;
(4)Y(t)[x,y].fore≦X(t)[x,y].back≦Y(t)[x,y].back
の4つのいずれか少なくとも1つが成立すれば、動画Xと動画Yを重ねたときに、動画Xに描かれるオブジェクトiと動画Yに描かれるオブジェクトjとが衝突する、と判定することができる。
overlap(X,Y,t,x,y) = min〔X(t)[x,y].back,Y(t)[x,y].back〕-Y(t)[x,y].fore
であり、上記(2)の場合は、
overlap(X,Y,t,x,y) = Y(t)[x,y].back-max〔X(t)[x,y].fore,Y(t)[x,y].fore〕
であり、上記(3)の場合は、
overlap(X,Y,t,x,y) = min〔X(t)[x,y].back,Y(t)[x,y].back〕-X(t)[x,y].fore
であり、上記(4)の場合は、
overlap(X,Y,t,x,y) = X(t)[x,y].back-max〔X(t)[x,y].fore,Y(t)[x,y].fore〕
である。ここで、min〔...〕は、max〔...〕とは逆に、括弧内の値の最小値を返す。
(a)第1動画Xとして、現実世界においてダンサーがダンスをしている様子を撮影した2.5次元画像を採用し、
(b1)第2動画Yとして、キャラクターが無背景で踊っている様子を表す動画を採用したり、
(b2)第2動画Yとして、他のユーザがダンスをしている様子を撮影した後に当該他のユーザが編集を行い、背景の情報をすべて除去して、当該他のユーザが無背景で踊っている様子を表す動画を採用する。
なお、本実施態様における動画処理装置101は、最終的には、ダンサーがキャラクタあるいは他のユーザと一緒に踊っている第3動画を合成する。
X(t)[x,y].id = i;
Y(t)[x,y].id = j
が成立する。
collision(Y,X) =Σt,x,y;X(t)[x,y].id≧0,Y(t)[x,y].id>0,overlap(X,Y,t,x,y)>0 1
によって計算が可能である。
collision(Y,X) =Σt,x,y;X(t)[x,y].id≧0,Y(t)[x,y].id>0,overlap(X,Y,t,x,y)>0 overlap(X,Y,t,x,y)
を採用することができる。このように計算される衝突量を評価関数とする。
yb(Y,t,j) = minx,y;Y(t)[x,y].id=j y;
xb(Y,t,j) = minx;Y(t)[x,yb(Y,t,j)].id=j x
X(t)[xb(Y,t,j),xb(Y,t,j)].id = 0;
Y(t)[xb(Y,t,j),xb(Y,t,j)].id = j;
X(t)[xb(Y,t,j),xb(Y,t,j)].fore = Y(t)[xb(Y,t,j),xb(Y,t,j)].fore
が成立するはずである。
(a)動画Xからオブジェクトiのみを選択し、
(b)フレームに沿って(xc(X,t,i),yc(X,t,i))が原点になるように平行移動し、
(c)zc(X,t,i)/〔zc(X,t,i)+r〕倍に動画を拡大縮小し、
(d)フレームに沿って原点が(xc(X,t,i),yc(X,t,i))になるように平行移動する。
push'(i,r,X) = move(xc(X,t,i),yc(X,t,i),
scale(zc(X,t,i)/〔zc(X,t,i)+r〕,
move(-xc(X,t,i),-yc(X,t,i),
select(i,X))))
となる。
(a)動画Xからオブジェクトiのみを選択し、
(b)フレームに沿って(xc(X,t,i),yc(X,t,i))を(xc(X,t,i),zc(X,t,i)×cosθ-yc(X,t,i)×sinθ)へ移動し、
(c)zc(X,t,i)/〔zc(X,t,i)×sinθ+yc(X,t,i)×cosθ〕倍に動画を拡大縮小する。
rothor'(i,θ,X) = scale(zc(X,t,i)/〔zc(X,t,i)×sinθ+yc(X,t,i)×cosθ〕,
move(0,zc(X,t,i)×cosθ-yc(X,t,i)×sinθ-yc(X,t,i),
select(i,X)))
となる。
rotver'(i,φ,X) = scale(zc(X,t,i)/〔zc(X,t,i)×sinθ+xc(X,t,i)×cosθ〕,
move(zc(X,t,i)×cosθ-xc(X,t,i)×sinθ-xc(X,t,i),0
select(i,X)))
となる。
Y(t)[x,y] = X(t/a)[x,y]
が成立する。以下、この変換をfastforward(a,X)と表記する。
12 投影面
13 半直線
14 オブジェクト
15 衝突点
17 Z距離
21 代表点
101 動画処理装置
102 背面奥行取得部
103 衝突判定部
104 ずらし量設定部
105 動画生成部
106 修正部
401 画面
411 ウィンドウ
412 ウィンドウ
413 カーソル
Claims (11)
- 第1動画と、第2動画と、を合成する動画処理装置であって、前記第1動画には、第1オブジェクトが描かれ、前記第1オブジェクトの奥行情報を伴い、前記第2動画には、第2オブジェクトが描かれ、前記第2オブジェクトの奥行情報を伴い、
前記第1動画と、前記第2動画と、を合成した第3動画を生成する動画生成部、
前記第3動画において、前記第1オブジェクトと、前記第2オブジェクトと、が、干渉条件を満たすか否かを、前記第1オブジェクトの奥行情報ならびに前記第2オブジェクトの奥行情報を参照して判定する干渉判定部、
前記干渉条件が満たされる、と判定された場合、前記第2オブジェクトの時間経過に応じた3次元空間内の移動を表す軌跡の形状を変形する変形変換を施すことにより、前記第2動画を修正する修正部
を備えることを特徴とする動画処理装置。 - 請求項1に記載の動画処理装置であって、
前記軌跡の形状の修正箇所および修正量を表す変換パラメータにより前記変形変換を施し、更新干渉条件が満たされないように、前記変換パラメータを更新する
ことを特徴とする動画処理装置。 - 請求項1または2に記載の動画処理装置であって、
前記干渉条件は、前記第1オブジェクトと、前記第2オブジェクトと、が、衝突すれば、満たされる
ことを特徴とする動画処理装置。 - 請求項2または3に記載の動画処理装置であって、
前記干渉判定部は、前記第2オブジェクトと前記第1オブジェクトとの衝突の度合を表す衝突量を計算し、
前記修正部は、前記衝突量と、前記変換パラメータと、により定められる評価関数を最小化するように、前記変換パラメータを更新する
ことを特徴とする動画処理装置。 - 請求項2または3に記載の動画処理装置であって、
前記修正部は、前記衝突量が最大となるフレームにおいて、前記1つ以上のオブジェクトの位置を前記衝突量がゼロになるように修正し、当該位置の修正量を減少させながら隣接するフレームに伝播させて前記1つ以上のオブジェクトの位置を修正することを繰り返すことにより、前記変更パラメータを更新する
ことを特徴とする動画処理装置。 - 請求項4または5に記載の動画処理装置であって、
前記変形変換は、前記軌跡の接ベクトルの大きさは保ちつつ、主法線ベクトルの大きさを変化させる
ことを特徴とする動画処理装置。 - 請求項4から6のいずれか1項に記載の動画処理装置であって、
前記衝突量は、各フレームにおける前記第1オブジェクトの奥行情報に基づいて推定される前記第1オブジェクトの形状と、前記第2オブジェクトの奥行情報に基づいて推定される前記第2オブジェクトの形状と、が、重複する体積の総和である
ことを特徴とする動画処理装置。 - 請求項4から6のいずれか1項に記載の動画処理装置であって、
前記衝突量は、各フレームにおける前記第1オブジェクトが描画されるべき領域と、前記第2オブジェクトが描画されるべき領域と、が、重複する面積の総和である
ことを特徴とする動画処理装置。 - 請求項1から8のいずれか1項に記載の動画処理装置であって、
前記軌跡が修正される1つ以上のオブジェクトは、当該1つ以上のオブジェクトの代表点の水平方向、垂直方向および奥行情報の位置に直交変換を施し、当該直交変換後の位置に基づいて、当該1つ以上のオブジェクトが描かれている画像に水平方向および垂直方向における相似変換を施す
ことを特徴とする動画処理装置。 - 第1動画と、第2動画と、を合成する動画処理方法であって、前記第1動画には、第1オブジェクトが描かれ、前記第1オブジェクトの奥行情報を伴い、前記第2動画には、第2オブジェクトが描かれ、前記第2オブジェクトの奥行情報を伴い、
前記第1動画と、前記第2動画と、を合成した第3動画を生成する動画生成工程、
前記第3動画において、前記第1オブジェクトと、前記第2オブジェクトと、が、干渉条件を満たすか否かを、前記第1オブジェクトの奥行情報ならびに前記第2オブジェクトの奥行情報を参照して判定する干渉判定工程、
前記干渉条件が満たされる、と判定された場合、前記第2オブジェクトの時間経過に応じた3次元空間内の移動を表す軌跡の形状を変形する変形変換を施すことにより、前記第2動画を修正する修正工程
を備えることを特徴とする動画処理方法。 - 第1動画と、第2動画と、を合成するプログラムが記録されたコンピュータ読取可能な情報記録媒体であって、前記第1動画には、第1オブジェクトが描かれ、前記第1オブジェクトの奥行情報を伴い、前記第2動画には、第2オブジェクトが描かれ、前記第2オブジェクトの奥行情報を伴い、
前記プログラムは、コンピュータを、
前記第1動画と、前記第2動画と、を合成した第3動画を生成する動画生成部、
前記第3動画において、前記第1オブジェクトと、前記第2オブジェクトと、が、干渉条件を満たすか否かを、前記第1オブジェクトの奥行情報ならびに前記第2オブジェクトの奥行情報を参照して判定する干渉判定部、
前記干渉条件が満たされる、と判定された場合、前記第2オブジェクトの時間経過に応じた3次元空間内の移動を表す軌跡の形状を変形する変形変換を施すことにより、前記第2動画を修正する修正部
として機能させることを特徴とする情報記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013552056A JP5451955B1 (ja) | 2012-07-20 | 2012-09-07 | 動画処理装置、動画処理方法、ならびに、情報記録媒体 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012161924 | 2012-07-20 | ||
JP2012161924 | 2012-07-20 | ||
JP2013552056A JP5451955B1 (ja) | 2012-07-20 | 2012-09-07 | 動画処理装置、動画処理方法、ならびに、情報記録媒体 |
PCT/JP2012/072989 WO2014013628A1 (ja) | 2012-07-20 | 2012-09-07 | 動画処理装置、動画処理方法、ならびに、情報記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5451955B1 JP5451955B1 (ja) | 2014-03-26 |
JPWO2014013628A1 true JPWO2014013628A1 (ja) | 2016-06-30 |
Family
ID=49948477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013552056A Active JP5451955B1 (ja) | 2012-07-20 | 2012-09-07 | 動画処理装置、動画処理方法、ならびに、情報記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (4) | US9876965B2 (ja) |
EP (4) | EP2775452B1 (ja) |
JP (1) | JP5451955B1 (ja) |
ES (4) | ES2676719T3 (ja) |
WO (4) | WO2014013628A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9429912B2 (en) * | 2012-08-17 | 2016-08-30 | Microsoft Technology Licensing, Llc | Mixed reality holographic object development |
US9823824B2 (en) * | 2013-08-19 | 2017-11-21 | Kodak Alaris Inc. | Context sensitive adaptable user interface |
US10311595B2 (en) * | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
JP6427332B2 (ja) * | 2014-04-08 | 2018-11-21 | 株式会社ミツトヨ | 画像測定機 |
JP2015207802A (ja) * | 2014-04-17 | 2015-11-19 | ソニー株式会社 | 画像処理装置および画像処理方法 |
EP3073726B1 (en) * | 2015-03-24 | 2017-03-01 | Axis AB | Method for configuring a camera |
WO2016152633A1 (ja) * | 2015-03-26 | 2016-09-29 | ソニー株式会社 | 画像処理システムおよび画像処理方法、並びにプログラム |
US20170068863A1 (en) * | 2015-09-04 | 2017-03-09 | Qualcomm Incorporated | Occupancy detection using computer vision |
CN105243268B (zh) * | 2015-09-18 | 2018-06-22 | 网易(杭州)网络有限公司 | 一种游戏地图定位方法、装置及用户终端 |
GB2550854B (en) | 2016-05-25 | 2019-06-26 | Ge Aviat Systems Ltd | Aircraft time synchronization system |
CN106095294B (zh) * | 2016-06-08 | 2019-03-05 | 福建天泉教育科技有限公司 | 不同平台之间同步笔画的方法及其系统 |
JP6488329B2 (ja) * | 2016-09-29 | 2019-03-20 | 株式会社リクルート | 順番管理システム、順番管理装置、およびプログラム |
CN112154658A (zh) * | 2018-05-29 | 2020-12-29 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
US10609332B1 (en) | 2018-12-21 | 2020-03-31 | Microsoft Technology Licensing, Llc | Video conferencing supporting a composite video stream |
CN112232170A (zh) * | 2020-10-10 | 2021-01-15 | 浙江大华技术股份有限公司 | 对象行为的确定方法及装置、存储介质、电子装置 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5087981A (en) * | 1990-01-02 | 1992-02-11 | Eastman Kodak Company | Error diffusion of overlapping dots |
JP3244798B2 (ja) * | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
JPH07322137A (ja) * | 1994-05-30 | 1995-12-08 | Nec Eng Ltd | 映像信号合成装置 |
US6151009A (en) * | 1996-08-21 | 2000-11-21 | Carnegie Mellon University | Method and apparatus for merging real and synthetic images |
US6456289B1 (en) | 1999-04-23 | 2002-09-24 | Georgia Tech Research Corporation | Animation system and method for a animating object fracture |
US6738066B1 (en) * | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
DE10106023A1 (de) * | 2001-02-09 | 2002-08-29 | Fraunhofer Ges Forschung | Verfahren und Vorrichtung zur Kollisionserkennung von Objekten |
US6791549B2 (en) * | 2001-12-21 | 2004-09-14 | Vrcontext S.A. | Systems and methods for simulating frames of complex virtual environments |
JP2004145448A (ja) * | 2002-10-22 | 2004-05-20 | Toshiba Corp | 端末装置、サーバ装置および画像加工方法 |
US7982738B2 (en) * | 2004-12-01 | 2011-07-19 | Microsoft Corporation | Interactive montages of sprites for indexing and summarizing video |
WO2007054755A2 (en) | 2004-12-03 | 2007-05-18 | Telekinesys Research Limited | Physics simulation apparatus and method |
JP4335160B2 (ja) | 2005-03-02 | 2009-09-30 | 任天堂株式会社 | 衝突判定プログラムおよび衝突判定装置 |
US8245313B2 (en) | 2005-03-31 | 2012-08-14 | Honda Motor Co., Ltd | Document management system, document management program, document management system configuration method, and server computer |
JP4345737B2 (ja) * | 2005-11-14 | 2009-10-14 | セイコーエプソン株式会社 | デジタルコンテンツ作成システム、デジタルコンテンツ作成方法およびプログラム |
JP4754364B2 (ja) * | 2006-01-20 | 2011-08-24 | 三菱電機株式会社 | 画像重ね合わせ装置 |
KR100718157B1 (ko) * | 2006-03-08 | 2007-05-14 | 삼성전자주식회사 | 충돌 감지 장치 및 방법 |
US8016653B2 (en) | 2007-02-01 | 2011-09-13 | Sportvision, Inc. | Three dimensional virtual rendering of a live event |
TW200844899A (en) * | 2007-05-04 | 2008-11-16 | Sunplus Mmobile Inc | An interactive image and graphical system and method that is capable of detecting collisions of graphical objects |
JP4998787B2 (ja) | 2007-09-26 | 2012-08-15 | 楽天株式会社 | 物体領域抽出処理プログラム、物体領域抽出装置、および物体領域抽出方法 |
JP5253936B2 (ja) * | 2008-09-08 | 2013-07-31 | 株式会社エヌ・ティ・ティ・ドコモ | 情報処理装置及びプログラム |
US8730245B2 (en) * | 2008-12-01 | 2014-05-20 | Naturalmotion Ltd. | Defining an animation of a virtual object within a virtual world |
GB0901351D0 (en) * | 2009-01-28 | 2009-03-11 | Univ Dundee | System and method for arranging items for display |
TWI378718B (en) * | 2009-06-05 | 2012-12-01 | Univ Nat Taiwan | Method for scaling video content according to bandwidth rate |
DE102009037835B4 (de) * | 2009-08-18 | 2012-12-06 | Metaio Gmbh | Verfahren zur Darstellung von virtueller Information in einer realen Umgebung |
US8749588B2 (en) * | 2009-09-15 | 2014-06-10 | HNTB Holdings, Ltd. | Positioning labels in an engineering drawing |
US20110199302A1 (en) | 2010-02-16 | 2011-08-18 | Microsoft Corporation | Capturing screen objects using a collision volume |
US20110316972A1 (en) * | 2010-06-29 | 2011-12-29 | Broadcom Corporation | Displaying graphics with three dimensional video |
US20120044259A1 (en) * | 2010-08-17 | 2012-02-23 | Apple Inc. | Depth management for displayed graphical elements |
US8860766B2 (en) * | 2010-09-30 | 2014-10-14 | Nvidia Corporation | System, method, and computer program product for determining one or more contact points between a pair of objects |
JP5643617B2 (ja) * | 2010-11-18 | 2014-12-17 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理方法、画像処理システム |
US8401225B2 (en) * | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Moving object segmentation using depth images |
JP5602040B2 (ja) | 2011-02-03 | 2014-10-08 | ミツカワ株式会社 | 積層体布帛 |
JP5678710B2 (ja) * | 2011-02-14 | 2015-03-04 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP5708196B2 (ja) * | 2011-04-21 | 2015-04-30 | セイコーエプソン株式会社 | 衝突検出システム、ロボットシステム、衝突検出方法及びプログラム |
US10109097B2 (en) * | 2011-08-01 | 2018-10-23 | Autodesk, Inc. | Dynamic collision avoidance for crowd simulation over structured paths that intersect at waypoints |
US20130215230A1 (en) * | 2012-02-22 | 2013-08-22 | Matt Miesnieks | Augmented Reality System Using a Portable Device |
US9183676B2 (en) * | 2012-04-27 | 2015-11-10 | Microsoft Technology Licensing, Llc | Displaying a collision between real and virtual objects |
US9147221B2 (en) * | 2012-05-23 | 2015-09-29 | Qualcomm Incorporated | Image-driven view management for annotations |
US9741145B2 (en) * | 2012-06-29 | 2017-08-22 | Disney Enterprises, Inc. | Augmented reality simulation continuum |
JP2014238731A (ja) * | 2013-06-07 | 2014-12-18 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理システム、および画像処理方法 |
-
2012
- 2012-09-07 WO PCT/JP2012/072989 patent/WO2014013628A1/ja active Application Filing
- 2012-09-07 WO PCT/JP2012/072988 patent/WO2014013627A1/ja active Application Filing
- 2012-09-07 EP EP12881432.4A patent/EP2775452B1/en active Active
- 2012-09-07 US US14/360,840 patent/US9876965B2/en active Active
- 2012-09-07 US US14/361,332 patent/US9819878B2/en active Active
- 2012-09-07 ES ES12881432.4T patent/ES2676719T3/es active Active
- 2012-09-07 ES ES12881218.7T patent/ES2675513T3/es active Active
- 2012-09-07 EP EP12881218.7A patent/EP2779107B1/en active Active
- 2012-09-07 JP JP2013552056A patent/JP5451955B1/ja active Active
- 2012-10-01 US US14/361,477 patent/US9723225B2/en active Active
- 2012-10-01 WO PCT/JP2012/075417 patent/WO2014013630A1/ja active Application Filing
- 2012-10-01 WO PCT/JP2012/075416 patent/WO2014013629A1/ja active Application Filing
- 2012-10-01 EP EP12881371.4A patent/EP2775454B1/en active Active
- 2012-10-01 US US14/361,028 patent/US9374535B2/en active Active
- 2012-10-01 ES ES12881371.4T patent/ES2675514T3/es active Active
- 2012-10-01 EP EP12881482.9A patent/EP2775455B1/en active Active
- 2012-10-01 ES ES12881482.9T patent/ES2673545T3/es active Active
Also Published As
Publication number | Publication date |
---|---|
ES2676719T3 (es) | 2018-07-24 |
ES2675513T3 (es) | 2018-07-11 |
US20140347560A1 (en) | 2014-11-27 |
US20140321736A1 (en) | 2014-10-30 |
ES2675514T3 (es) | 2018-07-11 |
EP2779107A1 (en) | 2014-09-17 |
EP2775454A4 (en) | 2015-04-01 |
US20140340477A1 (en) | 2014-11-20 |
WO2014013628A1 (ja) | 2014-01-23 |
WO2014013627A1 (ja) | 2014-01-23 |
EP2775454B1 (en) | 2018-05-09 |
US20150201132A1 (en) | 2015-07-16 |
EP2775455A4 (en) | 2015-04-22 |
ES2673545T3 (es) | 2018-06-22 |
EP2775452B1 (en) | 2018-05-02 |
EP2775452A4 (en) | 2015-03-04 |
US9876965B2 (en) | 2018-01-23 |
EP2779107B1 (en) | 2018-05-16 |
WO2014013629A1 (ja) | 2014-01-23 |
WO2014013630A1 (ja) | 2014-01-23 |
US9819878B2 (en) | 2017-11-14 |
EP2775455B1 (en) | 2018-05-09 |
US9723225B2 (en) | 2017-08-01 |
EP2775454A1 (en) | 2014-09-10 |
EP2775455A1 (en) | 2014-09-10 |
JP5451955B1 (ja) | 2014-03-26 |
EP2779107A4 (en) | 2015-03-11 |
EP2775452A1 (en) | 2014-09-10 |
US9374535B2 (en) | 2016-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5451955B1 (ja) | 動画処理装置、動画処理方法、ならびに、情報記録媒体 | |
JP6950013B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10777002B2 (en) | 3D model generating system, 3D model generating method, and program | |
JP7353782B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN113347373B (zh) | 通过ar空间定位实时制作特效视频的图像处理方法 | |
KR20200043458A (ko) | 3d 장면의 이미지를 생성 및 수정하기 위한 방법 | |
JP5254505B1 (ja) | 動画処理装置、動画処理方法、ならびに、情報記録媒体 | |
JP6555755B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
KR102009400B1 (ko) | 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버 | |
JP5270052B1 (ja) | 動画処理装置、動画処理方法、ならびに、情報記録媒体 | |
JP5270051B1 (ja) | 動画処理装置、動画処理方法、ならびに、情報記録媒体 | |
JP7119854B2 (ja) | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム | |
Albuquerque et al. | An overview on virtual sets | |
JP2020057037A (ja) | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム | |
JP2000048226A (ja) | 情報提示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131226 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5451955 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |