JP7253258B2 - 動的視覚センサ用ブロックマッチングオプティカルフローとステレオ視 - Google Patents
動的視覚センサ用ブロックマッチングオプティカルフローとステレオ視 Download PDFInfo
- Publication number
- JP7253258B2 JP7253258B2 JP2019565502A JP2019565502A JP7253258B2 JP 7253258 B2 JP7253258 B2 JP 7253258B2 JP 2019565502 A JP2019565502 A JP 2019565502A JP 2019565502 A JP2019565502 A JP 2019565502A JP 7253258 B2 JP7253258 B2 JP 7253258B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- slice
- frame
- event
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Description
変更イベントは、少なくとも3つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレーム、時刻t-dから始まる第2のタイムスライスフレーム、時刻t-2*dから始まる第3のタイムスライスフレームに蓄積され、dは、スライス交換(例えば、回転)法に従って、特に異なる時間を含むそれぞれのタイムスライスフレームの持続時間であり、
変更イベントは、前記持続時間dにわたって現在の第1のタイムスライスフレームに蓄積され(現在のタイムスライスフレームは、変更イベントが発生する対応ピクセルでそれぞれの変化イベントを蓄積する)、第2のタイムスライスフレームの参照ブロック、現在の第1のタイムスライスフレームの最新の変更イベントのピクセルを中心とするピクセル(例えば、ピクセルの平方)を含む参照ブロックを、第3のタイムスライスフレームの検索ブロックと比較して、距離メトリックによりその参照ブロックに最も類似した検索ブロックを見つけ(特に、最新の変更イベントのピクセルに対する最も類似した検索ブロックの中心ピクセルの相対位置は、最新の変更イベントのピクセルの位置でのオプティカルフローを示し、特に、オプティカルフローの方向は、最新の変更イベントのピクセルから最も類似した検索ブロックの中心ピクセルを指す速度ベクトルによって与えられ、速度は、速度ベクトルの長さを第3のタイムスライスフレーム(t-2*d)の終わりから第2のタイムスライスフレーム(t-d)までの持続時間dで割った値によって与えられる)、
現在の第1のタイムスライスフレーム(t)が第2のタイムスライスフレーム(t-d)になり、第2のタイムスライスフレーム(t-d)が第3のタイムスライスフレーム(t-2*d)になり、第3のタイムスライスフレーム(t-2*d)がクリアされて現在の第1のタイムスライスフレーム(t)になるよう3つのタイムスライスフレームの交換(例えば、回転)を周期的に行う。
各視覚センサについて、変更イベントは、少なくとも2つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレームと、時刻t-dから始まる第2のタイムスライスフレームに蓄積され、
左視覚センサの変更イベントは、上記持続時間dにわたって、左視覚センサの現在の第1のタイムスライスフレームに蓄積され、右視覚センサの変更イベントは、上記持続時間dにわたって、右視覚センサの現在の第1のタイムスライスフレームに蓄積される(現在のタイムスライスフレームは、それぞれ、変更イベントが発生する対応ピクセルで各変更イベントを蓄積する)、
右視覚センサの第2のタイムスライスフレームの参照ブロック、右視覚センサの現在の第1のタイムスライスフレームの最新の変更イベントのピクセルを中心とするピクセル(例えば、ピクセルの平方)を含む参照ブロックを、左視覚センサの第2のタイムスライスフレームの検索ブロックと比較して、距離メトリックによりその参照ブロックに最も類似した検索ブロックを見つけ、左視覚センサの第2のタイムスライスフレームの追加参照ブロック、左視覚センサの現在の第1のタイムスライスフレームの最新の変更イベントのピクセルを中心とするピクセル(例えば、ピクセルの平方)を含む追加参照ブロックを、右視覚センサの第2のタイムスライスフレームの追加検索ブロックと比較して、距離メトリックによりその追加参照ブロックに最も類似した追加検索ブロックを見つけ、
左視覚センサの現在の第1のタイムスライスフレームが左視覚センサの第2のタイムスライスフレームになり、右視覚センサの第1のタイムスライスフレームが右視覚センサの第2のタイムスライスフレームになり、左右の視覚センサの第1のタイムスライスフレームがクリアされるよう4つのタイムスライスフレームの交換(例えば、回転)を周期的かつ同時に行う。
上記装置は、少なくとも3つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレームと、時刻t-dから始まる第2のタイムスライスフレームと、時刻t-2*dから始まる第3のタイムスライスフレームとに変更イベントを蓄積するよう構成され、dは、各タイムスライスフレームの持続時間であり、上記装置は、この持続時間にわたって現在の第1のタイムスライスフレームに変更イベントを蓄積するようさらに構成され(現在のタイムスライスフレームは、変更イベントが発生する対応ピクセルでそれぞれの変化イベントを蓄積する)、
上記装置は、第2のタイムスライスフレームの参照ブロック、現在の第1のタイムスライスフレームの最新の変更イベントのピクセルを中心とするピクセル(例えば、ピクセルの平方)を含む参照ブロックを、第3のタイムスライスフレームの検索ブロックと比較して、距離メトリックによりその参照ブロックに最も類似した検索ブロックを見つけるようさらに構成され、
上記装置は、現在の第1のタイムスライスフレームが第2のタイムスライスフレームになり、第2のタイムスライスフレームが第3のタイムスライスフレームになり、第3のタイムスライスフレームがクリアされて現在の第1のタイムスライスフレームになるよう3つのタイムスライスフレームの交換(例えば、回転)を周期的に行うようさらに構成されている。
上記装置は、各視覚センサについて、少なくとも2つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレームと、時刻t-dから始まる第2のタイムスライスフレームに変更イベントを蓄積するよう構成され、
上記装置は、上記持続時間dにわたって、左視覚センサの変更イベントを左視覚センサの現在の第1のタイムスライスフレームに蓄積するようさらに構成され、上記持続時間dにわたって、右視覚センサの変更イベントを右視覚センサの現在の第1のタイムスライスフレームに蓄積するようさらに構成され、
上記装置は、右視覚センサの第2のタイムスライスフレームの参照ブロック、右視覚センサの現在の第1のタイムスライスフレームの最新の変更イベントのピクセルを中心とするピクセル(例えば、ピクセルの平方)を含む参照ブロックを、左視覚センサの第2のタイムスライスフレームの検索ブロックと比較して、距離メトリックによりその参照ブロックに最も類似した検索ブロックを見つけるようさらに構成され、左視覚センサの第2のタイムスライスフレームの追加参照ブロック、左視覚センサの現在の第1のタイムスライスフレームの最新の変更イベントのピクセルを中心とするピクセル(例えば、ピクセルの平方)を含む追加参照ブロックを、右視覚センサの第2のタイムスライスフレームの追加検索ブロックと比較して、距離メトリックによりその追加参照ブロックに最も類似した追加検索ブロックを見つけるようさらに構成され、
上記装置は、左視覚センサの現在の第1のタイムスライスフレームが左視覚センサの第2のタイムスライスフレームになり、右視覚センサの第1のタイムスライスフレームが右視覚センサの第2のタイムスライスフレームになり、左右の視覚センサの第1のタイムスライスフレームがクリアされるよう4つのタイムスライスフレームの交換(例えば、回転)を周期的かつ同時に行うようさらに構成されている。
for (int s = 0; s < numScales; s++) { //iterate over all scales
final int xx = e.x ≫ s; // subsample the x address
final int yy = e.y ≫ s; // subsample the y address
int cv = currentSlice[s][xx][yy]; //find current value of slice at scale s
cv += rectifyPolarties ? 1 : (e. polarity == PolarityEvent.Polarity.On ? 1 : -1); // optionally, rectify the polarity
if (cv > sliceMaxValue) { // apply saturating math to limit range of result slice value to maximum allowed
cv = sliceMaxValue;
} else if (cv < -sliceMaxValue) {
cv = -sliceMaxValue;
}
currentSlice[s][xx][yy] = (byte) cv; //store the new slice value in the slice
}
}
{
// measure last hist to get control signal on slice duration
// measures avg match distance.
float radiusSum = 0;
int countSum = 0;
final int totSD = search Distance ≪ (numScales - 1 );
for (int xx = -totSD; xx <= totSD; xx++) {
for (int yy = -totSD; yy <= totSD; yy++) {
int count = resultHistogram[xx + totSD][yy + totSD];
if (count > 0) {
final float radius = (float) Math.sqrt((xx *xx) + (yy * yy));
countSum += count;
radiusSum += radius * count;
}
}
}
if (countSum > 0) {
avgMatchDistance = radiusSum / (countSum); // compute average match distance from reference block
}
switch (sliceMethod) {
case ConstantDuration:
int durChange = (int) (errSign *adapativeSliceDurationProportionalErrorGain * sliceDurationUs);
setSliceDurationUs(sliceDurationUs + durChange);
break;
case ConstantEventNumber:
case AreaEventNumber:
setSliceEventCount(Math.round(sliceEventCount * (1 + adapativeSliceDurationProportionalErrorGain *errSign)));
} }
}
2.得られたFPSが低すぎる場合、skipProcessingEventCountが増加する。そうでなければ、得られたFPSが十分に高い場合、skipProcessingEventCountが増加する。
3.また、skipProcessingEventCountの最大値は、多くのイベントと情報を見逃さないように設定されている。
2.既存のMF値と一致する場合にのみOFイベントを追加する任意の一貫性チェック(例えば、OFベクトルとMFベクトルのドット積が正であるかどうかをチェックし、同じ方向を指していることを示す)
3.調整可能な時定数でMF値をOF値に向けて更新するローパスフィルタリング工程、
4.そして、MF値とその近傍を平均化する任意の拡散工程。
* updates motion field
*
* @param timestamp in us
* @param x1 location pixel x before subsampling
* @param y1
* @param vx flow vx, pps
* @param vy
*/
synchronized public void update(int timestamp, int x, int y, float vx, float vy, float speed) {
int dtDecay = timestamp - lastDecayTimestamp;
if (decayTowardsZeroPendiclly && dtDecay > motionFieldTimeConstantMs * 1000 II dtDecay < 0) {
decayAIITowardsZero(timestamp);
lastDecayTimestamp = timestamp;
}
int x1 = x ≫ motionFieldSubsamplingShift, y1 = y ≫ motionFieldSubsamplingShift;
if (x1 < 0 II x1 >= velocities. length || y1 < 0 || y1 >= velocities[0]. length) { return;
}
if (checkConsistent(timestamp, x1 , y1 , vx, vy)) {
velocities[x1 ][y1 ].filter(vx, vy, speed, timestamp);
if (motionFieldDiffusionEnabled) {
// diffuse by average of neighbors and ourselves
int n = 0;
float dvx = 0, dvy = 0, dvs = 0;
for (int dx = -1 ; dx <= 1 ; dx++) {
int x2 = x1 + dx;
if (x2 >= 0 && x2 < velocities. length) {
for (int dy = -1 ; dy <= 1 ; dy++) {
int y2 = y1 + dy;
if (dx == 0 && dy == 0) {
continue; //don't count ourselves
}
if (y2 >= 0 && y2 < velocities[0]. length) {
n++;
Point3D p = velocities[x2][y2].getValue3D();
dvx += p.x;
dvy += p.y;
dvs += p.z;
}
}
}
}
float r = 1 f / n ; // recip of sum to compute average
LowpassFilter3D v = velocities[x1][y1 ];
Point3D c = v.getValue3D();
v.setlnternalValue3D(.5f * (c.x + r * dvx), .5f * (c.y + r * dvy), .5f *(c.z + r * dvs));
}
}
lastTs[x1 ][y1] = ts;
}
a.タイムスライス蓄積イベントカウント2D画像メモリt、t-d、t-2*d
b.現在のタイムスライスイベントカウントメモリtへのイベントカウントの累積。
c.最小ブロック画像距離一致基準によって、過去のタイムスライスt-dのスライスtにおける最新のイベント位置を中心とする参照ブロックをタイムスライスt-2*dの検索領域に一致させる。
d.現在のスライスtがスライスt-dに、スライスt-dがスライスt-2*dに、スライスt-2*dがクリアされてスライスtになるように、タイムスライスメモリを定期的に回転させる。
a.右(r)及び左(l)の目からのタイムスライスの蓄積イベントカウント2D画像メモリt(r)、(t-d)(r)、t(l)、(t-d)(l)
b.イベントカウントの現在のタイムスライスイベントカウントメモリt(r)、t(l)への蓄積。
c.左右の目からのイベントについて、最小ブロック画像距離マッチング基準により、スライス(td)(r)のスライスt(r)の最新のイベント位置を中心とする参照ブロックを、タイムスライス(td)(l)の検索領域に一致させる、その逆も同様。
d.現在のスライスt(r)がスライス(td)(r)になり、スライスt(l)がスライス(td)(l)になり、スライスt(r)とt(l)が クリアされるよう、タイムスライスメモリの回転を周期的かつ同時に行う。
[1]Baker S, Matthews I. Lucas-Kanade 20年:統合フレームワーク[J]。コンピュータ・ビジョンの国際ジャーナル、2004年、56(3):221-255.
[2]Horn B K P、Schunck B G.オプティカルフローの決定[J].人工知能、1981、17(1-3):185-203.
[3]Benosman R、Clercq C、Lagorce X他 イベントベースの視覚的フロー[J]。ニューラルネットワーク及び学習システムでのIEEEトランザクション、2014年、25(2):407-417。
[4]R.Benosman、S.-H.leng、C.Clercq、C.Bartolozzi、M.Srinivasan、非同期フレームレスイベントベースのオプティカルフロー、Neural Networks、vol.27、pp.32-37、2012。
[5]Conradt J.イベントベースの小型視覚センサ用のオンボードリアルタイムオプティカルフロー。//2015 IEEE International Conference on Robotics and Biomimetics(ROBIO)。IEEE、2015:1858-1863。
[6]Barranco F、Fermuller C、Aloimonos Y.イベント駆動型センサーを使用したバイオにヒントを得たモーション推定[C]。人工神経回路網に関する国際作業会議。Springer International Publishing、2015:309-321。
[7]Rueckauer B、Delbruck T.慣性測定センサからのグラウンドトゥルースを伴うオプティカルフローのイベントベースのアルゴリズムの評価[J]。神経科学のフロンティア、2016、10。
[8]「jAERオープンソースプロジェクト」、jAERオープンソースプロジェクト。[オンライン]。利用可能:http://jaerproject.org。
[9] Agha S、Dwayer V M. MPEG-4動き推定のためのアルゴリズムとVLSIアーキテクチャ[J]。電子システム及び制御部門の研究、2003:24-27。
[10] https://sourceforge.net/p/jaer/codeHEAD/tree/jAER/trunk/src/ch/unizh/ini/jaer/projects/minliu/PatchMatchFlow.java。
[11]Wong S、Vassiliadis S、CotofanaS FPGAハードウェアの絶対差合計の実装[C]、Euromicro Conference、2002。第28号会報。IEEE、2002:183-188。
[12] Lichtsteiner P、Posch C、Delbruck T.A 128×128 120 dB 15 us レイテンシー非同期時間コントラスト視覚センサ[J]。IEEEジャーナルオブソリッドステートサーキット、2008、43(2):566-576。
[13] Berner R、Delbruck T、Civit-Balcells A他 5 Meps ¥$100 USB2.0アドレスイベントモニタ・シーケンサーインタフェース[C]。//2007IEEE 回路とシステムに関する国際シンポジウム。IEEE、2007年:2451-2454。
[14] Barjatya A.動き推定のためのブロックマッチングアルゴリズム[J]。IEEE Transactions Evolution Computation、2004、8(3):225-239。
[15] Zhang L、Zhang Y、Tang J他 重み付きハミング距離を使用したバイナリコードのランキング[C] //コンピュータ・ビジョンとパターン認識に関するIEEE会議の議事録。2013:1586-1593。
Claims (22)
- 複数のピクセルを含み、変更イベントストリームを出力するよう構成されたイベントベースの視覚センサによってキャプチャされたシーンのオプティカルフローを計算する方法であって、各変更イベントは、ピクセルの1つによって検出された輝度の変化に対応し、タイムスタンプと、輝度の変化を検出したピクセルのピクセルアドレスと、その輝度変化の兆候を示すパラメータとを含み、
変更イベントは、少なくとも3つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレーム、時刻t-dから始まる第2のタイムスライスフレーム、時刻t-2*dから始まる第3のタイムスライスフレーム(t-2*d)に蓄積され、dは、それぞれのタイムスライスフレームの持続時間であり、
変更イベントは、前記持続時間dにわたって現在の第1のタイムスライスフレームに蓄積され、
第2のタイムスライスフレーム(t-d)の参照ブロックであって、現在の第1のタイムスライスフレーム(t)の最新の変更イベントのピクセルを中心とするピクセルを含む参照ブロックを、第3のタイムスライスフレーム(t-2*d)の検索ブロックと比較して、距離メトリックを使用してその参照ブロックに最も類似した検索ブロックを見つけ、そして
現在の第1のタイムスライスフレーム(t)が第2のタイムスライスフレーム(t-d)になり、第2のタイムスライスフレーム(t-d)が第3のタイムスライスフレーム(t-2*d)になり、第3のタイムスライスフレーム(t-2*d)がクリアされて現在の第1のタイムスライスフレーム(t)になるよう3つのタイムスライスフレームの交換を周期的に行い、
前記イベントベースの視覚センサの元のアドレス空間をサブサンプリングする複数のタイムスライスフレーム群が使用される、ことを特徴とする方法。 - 前記距離メトリックは、参照ブロックピクセルと検索ブロックピクセルとの絶対差の合計である、ことを特徴とする請求項1に記載の方法。
- 前記タイムスライスフレームの交換は、一定の時間間隔で行われる、ことを特徴とする請求項1~2のいずれか一項に記載の方法。
- 前記タイムスライスフレームの交換は、前記第1のタイムスライスフレーム(t)に蓄積された特定の、特に一定の合計イベントカウントで行われる、ことを特徴とする請求項1~2のいずれか一項に記載の方法。
- 前記タイムスライスフレームの交換は、現在の第1のタイムスライス(t)のサブエリアが特定数の変更イベントを蓄積する場合に行われる、ことを特徴とする請求項1~2のいずれか一項に記載の方法。
- 前記タイムスライスフレームの交換は、タイムスライスフレームの最後の交換から統合された全運動が閾値を超える場合に行われる、ことを特徴とする請求項1~2のいずれか一項に記載の方法。
- 前記タイムスライスフレームの交換後の持続時間dは、参照ブロックと各最も類似した検索ブロックとの平均一致距離(D)に応じて制御され、この平均一致距離は、計算されたオプティカルフロー分布のヒストグラムにより決定される、ことを特徴とする請求項1~2のいずれか一項に記載の方法。
- 前記総イベントカウントは、参照ブロックと各最も類似する検索ブロックとの平均一致距離(D)に応じて制御され、この平均一致距離は、計算されたオプティカルフロー分布のヒストグラムにより決定される、ことを特徴とする請求項4に記載の方法。
- 前記特定数は、参照ブロックと各最も類似する検索ブロックとの平均一致距離(D)に応じて制御され、この平均一致距離は、計算されたオプティカルフロー分布のヒストグラムにより決定される、ことを特徴とする請求項5に記載の方法。
- 前記第1、第2、第3のタイムスライスフレームは、それぞれ、バイナリビットマップのタイムスライスフレームを形成する、ことを特徴とする請求項1~9のいずれか一項に記載の方法。
- 前記第1、第2、第3のタイムスライスフレームは、それぞれ、マルチビットピクセルのタイムスライスフレームを形成する、ことを特徴とする請求項1~9のいずれか一項に記載の方法。
- 各第3のタイムスライスフレームの徹底的な検索を行って、最も類似する検索ブロックを見つける、ことを特徴とする請求項1~11のいずれか一項に記載の方法。
- ダイアモンド検索により前記最も類似した検索ブロックを見つける、ことを特徴とする請求項1~11のいずれか一項に記載の方法。
- 外れ値を棄却するために十分な所定数の有効ピクセルを含む参照ブロック及び検索ブロックのみが比較され、有効ピクセルは、変更イベントが蓄積されたピクセルである、ことを特徴とする請求項1~13のいずれか一項に記載の方法。
- 前記参照ブロックと前記最も類似する検索ブロックとの間の距離が距離閾値を超える場合、最も類似する検索ブロックは外れ値として棄却される、ことを特徴とする請求項1~14のいずれか一項に記載の方法。
- 前記最新の変更イベントのいくつかは現在の第1のタイムスライスに蓄積されるが、スキップされることによってリアルタイムな性能を改善するための参照ブロックのセンタリングには使用されない、ことを特徴とする請求項1~15のいずれか一項に記載の方法。
- 前記方法の実施に用いられる装置がまだ前の変更イベントからのオプティカルフローの処理でビジー状態である場合、前記スキップが行われる、ことを特徴とする請求項16に記載の方法。
- ピクセル位置(x,y)、速度ベクトル(vx,vy)、特に、速度ベクトルの方向の速度を含むオプティカルフローイベントは、各参照ブロック及び最も類似する検索ブロックから計算される、ことを特徴とする請求項1~17のいずれか一項に記載の方法。
- 前記オプティカルフローイベントは、規則的に間隔を空けて、必要に応じて、サブサンプリングされたモーションフィールドに蓄積される、ことを特徴とする請求項18に記載の方法。
- 基準ブロックと探索ブロックとの間の絶対距離の合計が並行して計算される、ことを特徴とする請求項1~19のいずれか一項に記載の、特に請求項2及び請求項3に記載の方法。
- 絶対距離の最小合計が並行して計算される、ことを特徴とする請求項1~20のいずれか一項に記載の、特に請求項2及び3に記載の方法。
- イベントベースの視覚センサによってキャプチャされたシーンのオプティカルフローを計算する装置であって、複数のピクセルを含み、変更イベントストリームを出力するよう構成されたイベントベースの視覚センサを備え、各変更イベントは、ピクセルの1つによって検出された輝度の変化に対応し、タイムスタンプと、前記輝度の変化を検出したピクセルのピクセルアドレスと、その輝度変化の兆候を示すパラメータとを含み、
前記装置は、少なくとも3つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレーム(t)と、時刻t-dから始まる第2のタイムスライスフレーム(t-d)と、時刻t-2*dから始まる第3のタイムスライスフレーム(t-2*d)とに変更イベントを蓄積するよう構成され、dは、各タイムスライスフレームの持続時間であり、
前記装置は、前記持続時間dにわたって現在の第1のタイムスライスフレームに変更イベントを蓄積するようさらに構成され、
前記装置は、第2のタイムスライスフレーム(t-d)の参照ブロックであって、現在の第1のタイムスライスフレーム(t)の最新の変更イベントのピクセルを中心とするピクセルを含む参照ブロックを、第3のタイムスライスフレーム(t-2*d)の検索ブロックと比較して、距離メトリックによりその参照ブロックに最も類似した検索ブロックを見つけるようさらに構成され、
前記装置は、現在の第1のタイムスライスフレーム(t)が第2のタイムスライスフレーム(t-d)になり、第2のタイムスライスフレーム(t-d)が第3のタイムスライスフレーム(t-2*d)になり、第3のタイムスライスフレーム(t-2*d)がクリアされて現在の第1のタイムスライスフレーム(t)になるよう3つのタイムスライスフレーム(t、t-d、(t-2*d))の交換を周期的に行うようさらに構成され、
前記イベントベースの視覚センサの元のアドレス空間をサブサンプリングする複数のタイムスライスフレーム群が使用される、ことを特徴とする装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17173250 | 2017-05-29 | ||
EP17173250.6 | 2017-05-29 | ||
PCT/EP2018/064041 WO2018219931A1 (en) | 2017-05-29 | 2018-05-29 | Block-matching optical flow and stereo vision for dynamic vision sensors |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020522067A JP2020522067A (ja) | 2020-07-27 |
JP7253258B2 true JP7253258B2 (ja) | 2023-04-06 |
Family
ID=59061805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019565502A Active JP7253258B2 (ja) | 2017-05-29 | 2018-05-29 | 動的視覚センサ用ブロックマッチングオプティカルフローとステレオ視 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11227397B2 (ja) |
EP (1) | EP3631756B1 (ja) |
JP (1) | JP7253258B2 (ja) |
KR (1) | KR20200015589A (ja) |
CN (1) | CN110692083B (ja) |
WO (1) | WO2018219931A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11019273B2 (en) * | 2017-09-28 | 2021-05-25 | Apple Inc. | Generating static images with an event camera |
US11216704B2 (en) | 2018-10-23 | 2022-01-04 | John M. Couse; | Recognition system using multimodality dataset |
CN109801314B (zh) * | 2019-01-17 | 2020-10-02 | 同济大学 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
EP3693698A1 (de) * | 2019-02-05 | 2020-08-12 | Leica Geosystems AG | Vermessungsgerät mit ereignisbasierter kamera |
JP7298272B2 (ja) * | 2019-04-23 | 2023-06-27 | 沖電気工業株式会社 | 通信装置および通信方法 |
CN110415344A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 基于事件相机的运动补偿方法 |
CN111402146B (zh) * | 2020-02-21 | 2022-05-10 | 华为技术有限公司 | 图像处理方法以及图像处理装置 |
CN111669514B (zh) * | 2020-06-08 | 2021-02-26 | 北京大学 | 高动态范围成像方法和装置 |
KR102366187B1 (ko) * | 2020-06-10 | 2022-02-22 | 광주과학기술원 | 고해상도 강도 이미지 생성 방법 및 장치 |
CN111798485B (zh) * | 2020-06-30 | 2022-07-19 | 武汉大学 | 一种利用imu增强的事件相机光流估计方法及系统 |
KR20220076943A (ko) | 2020-12-01 | 2022-06-08 | 삼성전자주식회사 | 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법 |
JP2022111437A (ja) | 2021-01-20 | 2022-08-01 | キヤノン株式会社 | 動きベクトル算出装置、撮像装置および動きベクトル算出方法 |
EP4060983A1 (en) | 2021-01-22 | 2022-09-21 | Toyota Jidosha Kabushiki Kaisha | A method for accumulating events using an event-based vision sensor and overlapping time windows |
EP4033398A1 (en) | 2021-01-25 | 2022-07-27 | Toyota Jidosha Kabushiki Kaisha | A clustering method applied to a change event stream produced by an event-based vision sensor |
CN112987571B (zh) * | 2021-02-25 | 2022-08-09 | 中国人民解放军国防科技大学 | 高动态视觉控制系统及其视觉量测性能衰减容错控制方法 |
KR102538012B1 (ko) * | 2021-10-20 | 2023-05-30 | 주식회사 큐에스 | 가상공간 내 객체의 3차원 모델을 갱신하는 방법 및 장치 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014002744A (ja) | 2012-06-19 | 2014-01-09 | Samsung Electronics Co Ltd | イベントベースイメージ処理装置及びその装置を用いた方法 |
JP2015507261A (ja) | 2011-12-21 | 2015-03-05 | ユニヴェルシテ・ピエール・エ・マリ・キュリ・(パリ・6) | 非同期光センサに基づいてオプティカルフローを推定する方法 |
US20160109955A1 (en) | 2014-10-21 | 2016-04-21 | Samsung Electronics Co., Ltd. | Method and apparatus for displaying screen in response to event related to motion of external object |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6987866B2 (en) * | 2001-06-05 | 2006-01-17 | Micron Technology, Inc. | Multi-modal motion estimation for video sequences |
KR100534207B1 (ko) * | 2002-12-09 | 2005-12-08 | 삼성전자주식회사 | 비디오 부호화기의 움직임 추정기 및 그 방법 |
SG162756A1 (en) | 2005-06-03 | 2010-07-29 | Universitaet Zuerich | Photoarray for detecting time-dependent image data |
US7728260B2 (en) | 2005-06-07 | 2010-06-01 | Johnson Steven X | Warm window system |
US9129172B2 (en) * | 2011-06-20 | 2015-09-08 | Metrologic Instruments, Inc. | Indicia reading terminal with color frame processing |
KR102072124B1 (ko) * | 2011-11-24 | 2020-02-04 | 에스케이텔레콤 주식회사 | 세밀한 예측 단위를 사용하는 효과적인 부호화/복호화 방법 및 장치 |
EP3131295A1 (en) * | 2015-08-14 | 2017-02-15 | Axis AB | Video encoding method and system |
CN105160703B (zh) * | 2015-08-25 | 2018-10-19 | 天津师范大学 | 一种使用时域视觉传感器的光流计算方法 |
CN105719290B (zh) * | 2016-01-20 | 2019-02-05 | 天津师范大学 | 一种使用时域视觉传感器的双目立体深度匹配方法 |
CN106597463B (zh) * | 2016-12-29 | 2019-03-29 | 天津师范大学 | 基于动态视觉传感器芯片的光电式接近传感器及探测方法 |
-
2018
- 2018-05-29 EP EP18727304.0A patent/EP3631756B1/en active Active
- 2018-05-29 CN CN201880035827.2A patent/CN110692083B/zh active Active
- 2018-05-29 JP JP2019565502A patent/JP7253258B2/ja active Active
- 2018-05-29 KR KR1020197038293A patent/KR20200015589A/ko not_active Application Discontinuation
- 2018-05-29 US US16/618,173 patent/US11227397B2/en active Active
- 2018-05-29 WO PCT/EP2018/064041 patent/WO2018219931A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015507261A (ja) | 2011-12-21 | 2015-03-05 | ユニヴェルシテ・ピエール・エ・マリ・キュリ・(パリ・6) | 非同期光センサに基づいてオプティカルフローを推定する方法 |
JP2014002744A (ja) | 2012-06-19 | 2014-01-09 | Samsung Electronics Co Ltd | イベントベースイメージ処理装置及びその装置を用いた方法 |
US20160109955A1 (en) | 2014-10-21 | 2016-04-21 | Samsung Electronics Co., Ltd. | Method and apparatus for displaying screen in response to event related to motion of external object |
Non-Patent Citations (5)
Title |
---|
Jun Haeng Lee et al.,Real-Time Gesture Interface Based on Event-Driven Processing from Stereo Silicon Retinas,IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS,IEEE,2014年03月17日,VOL. 25, NO. 12,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6774446 |
Kyoobin Lee et al.,Four DoF Gesture Recognition with an Event-based Image Sensor,The 1st IEEE Global Conference on Consumer Electronics 2012,IEEE,2012年10月02日,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6379606 |
Min Liu, Tobi Delbruck,Block-matching optical flow for dynamic vision sensors: Algorithm and FPGA implementation,2017 IEEE International Symposium on Circuits and Systems (ISCAS),IEEE,2017年05月28日,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8050295 |
Ryad Benosman et al.,Event-Based Visual Flow,IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS,IEEE,2013年09月05日,VOL. 25, NO. 2,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6589170 |
美濃導彦,東海彰吾,能動カメラ群による動的シーンの映像化,日本ロボット学会誌 第19巻 第4号,2001年05月15日 |
Also Published As
Publication number | Publication date |
---|---|
US20200111220A1 (en) | 2020-04-09 |
JP2020522067A (ja) | 2020-07-27 |
EP3631756A1 (en) | 2020-04-08 |
US11227397B2 (en) | 2022-01-18 |
KR20200015589A (ko) | 2020-02-12 |
CN110692083B (zh) | 2024-01-05 |
WO2018219931A1 (en) | 2018-12-06 |
CN110692083A (zh) | 2020-01-14 |
EP3631756B1 (en) | 2022-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7253258B2 (ja) | 動的視覚センサ用ブロックマッチングオプティカルフローとステレオ視 | |
US10089750B2 (en) | Method and system of automatic object dimension measurement by using image processing | |
Stiller et al. | Estimating motion in image sequences | |
Banz et al. | Real-time stereo vision system using semi-global matching disparity estimation: Architecture and FPGA-implementation | |
Liu et al. | Block-matching optical flow for dynamic vision sensors: Algorithm and FPGA implementation | |
US6504569B1 (en) | 2-D extended image generation from 3-D data extracted from a video sequence | |
CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
WO2006078861A9 (en) | Method, system and apparatus for a time stamped visual motion sensor | |
US20190236809A1 (en) | Multiple mesh encoding using motion tracking data of objects | |
US11030478B1 (en) | System and method for correspondence map determination | |
CN113711276A (zh) | 尺度感知单目定位和地图构建 | |
CN109040525B (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
CN110992393B (zh) | 一种基于视觉的目标运动跟踪方法 | |
Wang et al. | Object counting in video surveillance using multi-scale density map regression | |
CN106612385A (zh) | 视频检测方法和视频检测装置 | |
Eibensteiner et al. | A high-performance hardware architecture for a frameless stereo vision algorithm implemented on a FPGA platform | |
US11210846B2 (en) | Three-dimensional model processing method and three-dimensional model processing apparatus | |
Zhu et al. | PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios | |
Fang et al. | Energy-efficient distributed target tracking in wireless video sensor networks | |
Zhang et al. | Edge assisted real-time instance segmentation on mobile devices | |
KR20210133844A (ko) | 단안 이벤트-기반 센서를 사용하는 모션 추정의 시스템 및 방법 | |
Eibensteiner et al. | Event-driven stereo vision algorithm based on silicon retina sensors | |
Yabuki et al. | Real-time video stabilization on an FPGA | |
CN110383295A (zh) | 图像处理装置、图像处理方法以及图像处理程序 | |
Cheng | Low power time-of-flight imaging for augmented reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220624 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220921 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7253258 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |