JP7152705B2 - 地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復 - Google Patents
地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復 Download PDFInfo
- Publication number
- JP7152705B2 JP7152705B2 JP2020564941A JP2020564941A JP7152705B2 JP 7152705 B2 JP7152705 B2 JP 7152705B2 JP 2020564941 A JP2020564941 A JP 2020564941A JP 2020564941 A JP2020564941 A JP 2020564941A JP 7152705 B2 JP7152705 B2 JP 7152705B2
- Authority
- JP
- Japan
- Prior art keywords
- color image
- image frame
- input color
- scene
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 28
- 239000013598 vector Substances 0.000 claims description 155
- 230000011218 segmentation Effects 0.000 claims description 107
- 238000000034 method Methods 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims 1
- 238000011084 recovery Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003064 k means clustering Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
[0001] なし
ここで、「u」、「v」及び「w」は、単位球体上の計算された複数のベクトルの単位球体分布308の軸を表し、
a=k-iは、関心ポイント304(「i」)から第2の隣接ポイント306B(「k」)までのベクトル「a」を表し、
b=j-iは、関心ポイント304(「i」)から第1の隣接ポイント306A(「j」)までのベクトル「b」を表す。
102 オブジェクトセグメンテーション装置
104 サーバ
106 通信ネットワーク
108 画像取り込み装置
108A 第1のタイプのセンサ
108B 第2のタイプのセンサ
110 シーン
112 一連のカラー画像フレーム
114 一連の深度画像
116 入力カラー画像フレーム
118 入力深度画像
202 制御回路
202A 回復回路
204 メモリ
206 入力/出力(I/O)装置
206A ディスプレイ画面
208 ネットワークインターフェイス
210 アプリケーションインターフェイス
302 ポイントクラウド
304 関心ポイント
306A 第1の隣接ポイント
306B 第2の隣接ポイント
308 単位球体分布
310 ベクトルクラスタの組
310A 第1のベクトルクラスタ
310B 第2のベクトルクラスタ
310C,310D,310E ベクトルクラスタ
312 平面マップ
312A 床面
312B 左壁
312C 右壁
312D 天井面
312E 前壁
314 高さベースの画素分布
314A 基準高さ
316 地面
318 足領域
320 規定の領域
322 人間オブジェクト
324 第1のセグメント化された人間オブジェクト
326 第2のセグメント化された人間オブジェクト
400 フローチャート
402 開始
404 画像取り込み装置の第1のタイプのセンサを用いて、シーンの一連のカラー画像フレームを取り込む
406 画像取り込み装置の第2のタイプのセンサを用いて、一連のカラー画像フレームのうちのカラー画像フレーム毎に深度画像を取り込む
408 画像取り込み装置から、一連のカラー画像フレーム及び対応する一連の深度画像を受け取る
410 入力カラー画像フレームに対応する一連の深度画像の入力深度画像を平滑化して、入力深度画像内の深度値が存在しない複数の領域において深度値を塗りつぶす
412 平滑化された入力深度画像に基づいて、入力カラー画像フレームのポイントクラウドを生成
414 第1の画像パラメータの組に基づいて、入力カラー画像フレームの背景から前景人間オブジェクトをセグメント化する。セグメント化された前景人間オブジェクトは、前景人間オブジェクトの足領域の少なくとも一部が欠けている
416 入力カラー画像フレームにおいて取り込まれるシーンに対する生成されたポイントクラウドの複数のポイントから投影される複数のベクトルを計算
418 生成されたポイントクラウド内の複数のポイントに関連する計算された複数のベクトルを、ベクトルクラスタの組にクラスタ化する
420 シーンに関連するベクトルクラスタの組に基づいて、入力カラー画像フレームにおいて取り込まれるシーンに対する複数の平面を検出
422 入力カラー画像フレームにおいて取り込まれるシーンに関連するベクトルクラスタの組に基づいて、平面マップを生成
424 画像領域内の第1の閾値数の画素よりも小さい平面マップ内の複数の点在領域のエリアサイズに基づいて、平面マップ内の検出された複数の平面内の複数の点在領域を検出
426 平面マップ内の検出された複数の点在領域を除去
428 メディアンフィルタによって、画像領域内の平面マップ内の第2の閾値数の画素よりも小さい検出された複数の点在領域を平滑化
430 入力カラー画像フレームにおいて取り込まれるシーンに対する基準高さから、平面マップ内の検出された複数の平面内の最も低い平面を選択
432 平面マップ内の画素の高さベースの分布に基づいて、平面マップ内の最も低い水平面と同じ向き情報を有する異なる水平面内の画素を分離
434 平面マップの異なる水平面内の他の画素と比較して、最も低い水平面内に存在する画素を分類
436 異なる水平面から、平面マップの高さベースの分布に基づいて最大数の画素を含む最も低い水平面を、地面として選択
438 検出された地面のレベルから規定の領域内に位置する複数の前景画素を検出
440 第2の画像パラメータの組に基づいて、入力カラー画像フレームにおいて取り込まれるシーンの検出された地面上に存在する人間オブジェクトの足領域を回復
442 人間オブジェクトの回復された足領域の画素の組を含むように、人間オブジェクトの推定された前景マスクを更新
444 入力カラー画像フレームにおいて取り込まれるシーンの検出された地面に近接して存在する人間オブジェクトの回復された足領域を有する前景人間オブジェクトを抽出
Claims (10)
- オブジェクトセグメンテーションシステムであって、
シーンの一連のカラー画像フレームを取り込むように構成される第1のタイプのセンサと、
前記一連のカラー画像フレームのうちの対応するカラー画像フレーム毎に深度画像を取り込むように構成される第2のタイプのセンサと、
制御回路であって、前記制御回路は、
前記第2のタイプのセンサから受け取られる入力カラー画像フレームに対する対応する入力深度画像に基づいて、前記第1のタイプのセンサから受け取られる前記一連のカラー画像フレームのうちの入力カラー画像フレームに対するポイントクラウドを生成し、
第1の画像パラメータの組に基づいて、前記入力カラー画像フレームの背景から、前景人間オブジェクトをセグメント化し、前記セグメント化された前景人間オブジェクトは、前記前景人間オブジェクトの足領域の少なくとも一部が欠けており、
前記生成されたポイントクラウド内の複数のポイントから投影される複数のベクトルを、ベクトルクラスタの組にクラスタ化することによって、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する地面を検出し、前記シーンに対する前記地面は、前記生成されたポイントクラウド内の前記ベクトルクラスタの組のうちの1つのベクトルクラスタに関連する向き情報に基づいて検出され、
前記第1の画像パラメータの組と異なる第2の画像パラメータの組に基づいて、前記入力カラー画像フレーム内の前記検出された地面のレベルから規定の領域内の足領域を回復し、
前記地面の検出と、前記検出された地面の前記レベルから前記規定の領域内の複数の前景画素とに基づいて、前記一連のカラー画像フレームのうちの前記入力カラー画像フレームの前記背景から、前記回復された足領域を含む前記前景人間オブジェクトを抽出する、
ように構成される、制御回路と、
を含み、
前記制御回路は、更に、前記入力深度画像に基づいて、前記生成されたポイントクラウド内の各ポイントの3次元(3D)座標を決定するように構成され、
前記制御回路は、更に、前記生成されたポイントクラウドの前記複数のポイントにおいて関心ポイント及び前記関心ポイントの2つの隣接ポイントの3次元(3D)座標に基づいて、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する前記生成されたポイントクラウド内の複数のポイントから投影される複数のベクトルを計算するように構成され、前記生成されたポイントクラウド内の前記複数のポイントに関連する前記計算された複数のベクトルは、前記計算された複数のベクトルの各々に関連する向き情報に基づいて、前記ベクトルクラスタの組にクラスタ化され、
前記制御回路は、更に、前記入力カラー画像フレームにおいて取り込まれる前記シーンに関連する前記ベクトルクラスタの組に基づいて、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する複数の平面を検出するように構成され、
前記制御回路は、更に、前記入力カラー画像フレームにおいて取り込まれる前記シーンに関連する前記ベクトルクラスタの組に基づいて、平面マップを生成するように構成され、前記入力カラー画像フレームの画像領域内の前記検出された複数の平面をマップして、前記平面マップを生成し、
前記平面マップは、前記シーンの前記入力カラー画像フレームの前記画像領域内の前記平面マップ内の画素の空間位置にかかわらず、前記平面マップ内の各画素に関連する同じ向き情報に基づいて、前記平面マップ内の前記検出された複数の平面のうちの異なる平面内にグループ化される画素を含む 、
ことを特徴とするオブジェクトセグメンテーションシステム。 - 前記制御回路は、更に、
深度値が存在しない前記入力深度画像内の複数の領域を検出し、
メディアンフィルタ及び均一フィルタによって、前記入力深度画像を平滑化して、前記複数の領域において深度値を塗りつぶし、前記入力深度画像内のノイズを低減させる、
ように構成されることを特徴とする、請求項1に記載のシステム。 - 前記制御回路は、更に、前記画像領域内の第1の閾値数の画素よりも小さい、前記平面マップ内の複数の点在領域のエリアサイズに基づいて、前記平面マップ内の前記検出された複数の平面内の複数の点在領域を検出するように構成されることを特徴とする、請求項1に記載のシステム。
- 前記制御回路は、更に、前記平面マップ内の前記検出された複数の点在領域を除去し、その後に、メディアンフィルタによって平滑化動作を実行して、前記画像領域内の第2の閾値数の画素よりも小さい前記検出された複数の点在領域を平滑化するように構成されることを特徴とする、請求項3に記載のシステム。
- 前記制御回路は、更に、前記シーンに対する基準高さから、前記平面マップ内の前記検出された複数の平面内の最も低い平面を選択するように構成され、前記基準高さは、前記シーンの前記一連のカラー画像フレームを取り込む前記第1のタイプのセンサの高さに対応し、前記平面マップ内の前記検出された複数の平面内の前記選択された最も低い平面は、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する前記地面であることを特徴とする、請求項1に記載のシステム。
- 前記制御回路は、更に、
前記平面マップ内の前記画素の高さベースの分布に基づいて、前記平面マップ内の異なる水平面内の画素を分離し、
前記平面マップ内の前記画素の前記高さベースの分布に基づいて、前記異なる水平面内の他の画素と比較して、最も低い水平面内に存在する画素を、前記地面の前記画素として分類する、
ように構成されることを特徴とする、請求項1に記載のシステム。 - 前記制御回路は、更に、前記入力深度画像及び前記第1の画像パラメータの組を用いて、及び前記入力カラー画像フレームと前記入力カラー画像フレームの背景画像との間の差分の2値化によって、前記シーンの入力カラー画像フレーム内の前記前景人間オブジェクトの前景マスクを推定するように構成され、前記前景人間オブジェクトは、前記推定された前景マスクに基づいて、前記入力カラー画像フレームの前記背景からセグメント化されることを特徴とする、請求項1に記載のシステム。
- 前記制御回路は、更に、前記入力カラー画像フレーム内の前記検出された地面の前記レベルから前記規定の領域内の画素の組を含むように、前記推定された前景マスクを更新するように構成され、前記画素の組は、前記第2の画像パラメータの組に基づいて回復される前記足領域の画素に対応することを特徴とする、請求項7に記載のシステム。
- 方法であって、
第1のタイプのセンサと、第2のタイプのセンサと、制御回路とを含むオブジェクトセグメンテーションシステムにおいて、
前記第1のタイプのセンサによって、シーンの一連のカラー画像フレームを取り込むステップと、
前記第2のタイプのセンサによって、前記一連のカラー画像フレームのうちの対応するカラー画像フレーム毎に深度画像を取り込むステップと、
前記制御回路によって、前記第2のタイプのセンサから受け取られる入力カラー画像フレームに対する対応する入力深度画像に基づいて、前記第1のタイプのセンサから受け取られる前記一連のカラー画像フレームのうちの入力カラー画像フレームに対するポイントクラウドを生成するステップと、
前記制御回路によって、第1の画像パラメータの組に基づいて、前記入力カラー画像フレームの背景から、前景人間オブジェクトをセグメント化するステップであって、前記セグメント化された前景人間オブジェクトは、前記前景人間オブジェクトの足領域の少なくとも一部が欠けている、ステップと、
前記制御回路によって、前記生成されたポイントクラウド内の複数のポイントから投影される複数のベクトルを、ベクトルクラスタの組にクラスタ化することによって、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する地面を検出するステップであって、前記シーンに対する前記地面は、前記生成されたポイントクラウド内の前記ベクトルクラスタの組のうちの1つのベクトルクラスタに関連する向き情報に基づいて検出される、ステップと、
前記制御回路によって、前記第1の画像パラメータの組と異なる第2の画像パラメータの組に基づいて、前記入力カラー画像フレーム内の前記検出された地面のレベルから規定の領域内の足領域を回復するステップと、
前記制御回路によって、前記地面の検出と、前記検出された地面の前記レベルから前記規定の領域内の複数の前景画素とに基づいて、前記一連のカラー画像フレームのうちの前記入力カラー画像フレームの前記背景から、前記回復された足領域を含む前記前景人間オブジェクトを抽出するステップと、
前記制御回路によって、前記入力深度画像に基づいて、前記生成されたポイントクラウド内の各ポイントの3次元(3D)座標を決定するステップと、
前記制御回路によって、前記生成されたポイントクラウドの前記複数のポイントにおいて関心ポイント及び前記関心ポイントの2つの隣接ポイントの3次元(3D)座標に基づいて、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する前記生成されたポイントクラウド内の複数のポイントから投影される複数のベクトルを計算するステップであって、前記生成されたポイントクラウド内の前記複数のポイントに関連する前記計算された複数のベクトルは、前記計算された複数のベクトルの各々に関連する向き情報に基づいて、前記ベクトルクラスタの組にクラスタ化され、
前記制御回路によって、前記入力カラー画像フレームにおいて取り込まれる前記シーンに関連する前記ベクトルクラスタの組に基づいて、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する複数の平面を検出するステップと、
前記入力カラー画像フレームにおいて取り込まれる前記シーンに関連する前記ベクトルクラスタの組に基づいて、平面マップを生成するように構成され、前記入力カラー画像フレームの画像領域内の前記検出された複数の平面をマップして、前記平面マップを生成するステップと、
を含み、
前記平面マップは、前記シーンの前記入力カラー画像フレームの前記画像領域内の前記平面マップ内の画素の空間位置にかかわらず、前記平面マップ内の各画素に関連する同じ向き情報に基づいて、前記平面マップ内の前記検出された複数の平面のうちの異なる平面内にグループ化される画素を含む 、
ことを特徴とする方法。 - 更に、
前記制御回路によって、深度値が存在しない前記入力深度画像内の複数の領域を検出するステップと、
前記制御回路によって、メディアンフィルタ及び均一フィルタによって、前記入力深度画像を平滑化して、前記複数の領域において深度値を塗りつぶし、前記入力深度画像内のノイズを低減させるステップと、
を含むことを特徴とする、請求項9に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/986,355 US10621730B2 (en) | 2018-05-22 | 2018-05-22 | Missing feet recovery of a human object from an image sequence based on ground plane detection |
US15/986,355 | 2018-05-22 | ||
PCT/US2019/033348 WO2019226673A1 (en) | 2018-05-22 | 2019-05-21 | Missing feet recovery of a human object from an image sequence based on ground plane detection |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021526254A JP2021526254A (ja) | 2021-09-30 |
JP7152705B2 true JP7152705B2 (ja) | 2022-10-13 |
Family
ID=68613748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020564941A Active JP7152705B2 (ja) | 2018-05-22 | 2019-05-21 | 地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10621730B2 (ja) |
EP (1) | EP3782076A4 (ja) |
JP (1) | JP7152705B2 (ja) |
KR (1) | KR102598459B1 (ja) |
CN (1) | CN112313704A (ja) |
WO (1) | WO2019226673A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11244500B2 (en) | 2019-12-31 | 2022-02-08 | Woven Planet North America, Inc. | Map feature extraction using overhead view images |
US11037328B1 (en) * | 2019-12-31 | 2021-06-15 | Lyft, Inc. | Overhead view image generation |
US11288522B2 (en) | 2019-12-31 | 2022-03-29 | Woven Planet North America, Inc. | Generating training data from overhead view images |
US11741620B1 (en) * | 2020-01-24 | 2023-08-29 | Apple Inc. | Plane detection using depth sensor and semantic information |
KR102561734B1 (ko) * | 2021-02-15 | 2023-07-31 | 엔에이치엔클라우드 주식회사 | 이미지 복원 기반 상품검색 방법 및 시스템 |
CN116524441B (zh) * | 2023-07-03 | 2023-09-01 | 四川顶圣工程项目管理有限公司 | 一种用于工程项目管理的施工现场监督方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170193665A1 (en) | 2016-01-04 | 2017-07-06 | Electronics And Telecommunications Research Institute | System and method for detecting object from depth image |
JP2017156880A (ja) | 2016-02-29 | 2017-09-07 | Kddi株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7907793B1 (en) * | 2001-05-04 | 2011-03-15 | Legend Films Inc. | Image sequence depth enhancement system and method |
US8401336B2 (en) * | 2001-05-04 | 2013-03-19 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with augmented computer-generated elements |
US7043474B2 (en) * | 2002-04-15 | 2006-05-09 | International Business Machines Corporation | System and method for measuring image similarity based on semantic meaning |
US7003136B1 (en) * | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
DE10323944A1 (de) * | 2003-05-27 | 2004-12-16 | Maerz Ofenbau Ag | Prozessbehälter mit Kühlelementen |
US8139142B2 (en) * | 2006-06-01 | 2012-03-20 | Microsoft Corporation | Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques |
JP4971768B2 (ja) * | 2006-12-07 | 2012-07-11 | キヤノン株式会社 | 編集装置、編集方法、およびプログラム |
US9165199B2 (en) | 2007-12-21 | 2015-10-20 | Honda Motor Co., Ltd. | Controlled human pose estimation from depth image streams |
US9189886B2 (en) | 2008-08-15 | 2015-11-17 | Brown University | Method and apparatus for estimating body shape |
US8678006B2 (en) * | 2008-10-10 | 2014-03-25 | Winston Allen Porter, III | Patient support system and method |
US8682072B2 (en) | 2008-12-30 | 2014-03-25 | Yahoo! Inc. | Image segmentation |
US8774512B2 (en) * | 2009-02-11 | 2014-07-08 | Thomson Licensing | Filling holes in depth maps |
US8477149B2 (en) | 2009-04-01 | 2013-07-02 | University Of Central Florida Research Foundation, Inc. | Real-time chromakey matting using image statistics |
KR101669820B1 (ko) * | 2010-07-02 | 2016-10-27 | 삼성전자주식회사 | 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 |
US9275472B2 (en) | 2011-11-18 | 2016-03-01 | Disney Enterprises, Inc. | Real-time player detection from a single calibrated camera |
WO2013088517A1 (ja) | 2011-12-13 | 2013-06-20 | 株式会社日立製作所 | 停立人物の向き推定方法 |
US9684928B2 (en) | 2014-01-15 | 2017-06-20 | Holition Limited | Foot tracking |
EP2927878A1 (en) | 2014-04-04 | 2015-10-07 | Brainstorm Multimedia, S.L. | Computer implemented method to obtain a virtual shadow of a person within a virtual scene |
CN104061907B (zh) * | 2014-07-16 | 2016-08-24 | 中南大学 | 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法 |
CN105517677B (zh) * | 2015-05-06 | 2018-10-12 | 北京大学深圳研究生院 | 深度图/视差图的后处理方法和装置 |
CN106296721B (zh) * | 2015-05-14 | 2019-01-25 | 株式会社理光 | 基于立体视觉的对象聚集检测方法和装置 |
CN104966099B (zh) | 2015-06-15 | 2018-03-20 | 北京航空航天大学 | 一种基于人脚图像的脚型分类方法 |
KR101940718B1 (ko) * | 2015-09-04 | 2019-01-22 | 한국전자통신연구원 | Rgb-d 영상 기반 사람 영역 추출 장치 및 그 방법 |
US10380756B2 (en) * | 2016-09-08 | 2019-08-13 | Sony Corporation | Video processing system and method for object detection in a sequence of image frames |
US9965865B1 (en) * | 2017-03-29 | 2018-05-08 | Amazon Technologies, Inc. | Image data segmentation using depth data |
CN108038905B (zh) * | 2017-12-25 | 2018-12-07 | 北京航空航天大学 | 一种基于超像素的目标重建方法 |
-
2018
- 2018-05-22 US US15/986,355 patent/US10621730B2/en active Active
-
2019
- 2019-05-21 JP JP2020564941A patent/JP7152705B2/ja active Active
- 2019-05-21 CN CN201980042848.1A patent/CN112313704A/zh active Pending
- 2019-05-21 WO PCT/US2019/033348 patent/WO2019226673A1/en unknown
- 2019-05-21 EP EP19807790.1A patent/EP3782076A4/en active Pending
- 2019-05-21 KR KR1020207035735A patent/KR102598459B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170193665A1 (en) | 2016-01-04 | 2017-07-06 | Electronics And Telecommunications Research Institute | System and method for detecting object from depth image |
JP2017156880A (ja) | 2016-02-29 | 2017-09-07 | Kddi株式会社 | 画像処理装置および画像処理方法 |
Non-Patent Citations (2)
Title |
---|
三功 浩嗣、他3名,視点間の整合性を考慮した3次元モデルフィードバック型背景分離方式の不要部除去拡張,映像情報メディア学会技術報告,日本,(社)映像情報メディア学会,2009年09月24日,第33巻 第37号,第75-80頁,ISSN:1342-6893 |
松本 一紀、他2名,RGB-Dカメラから取得した3次元点群の平面フィッティングを用いた実時間ノイズ低減と補間,映像情報メディア学会誌,日本,映像情報メディア学会,2015年02月25日,第69巻 第3号,第J113-J120頁,https://www.jstage.jst.go.jp/article/itej/69/3/69_J113/_pdf/-char/ja |
Also Published As
Publication number | Publication date |
---|---|
EP3782076A4 (en) | 2022-01-19 |
KR20210008087A (ko) | 2021-01-20 |
US10621730B2 (en) | 2020-04-14 |
US20190362500A1 (en) | 2019-11-28 |
KR102598459B1 (ko) | 2023-11-07 |
EP3782076A1 (en) | 2021-02-24 |
CN112313704A (zh) | 2021-02-02 |
JP2021526254A (ja) | 2021-09-30 |
WO2019226673A1 (en) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7152705B2 (ja) | 地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復 | |
US11605214B2 (en) | Method, device and storage medium for determining camera posture information | |
JP6889417B2 (ja) | 一連の画像の画像内のオブジェクト境界安定化のための画像処理装置及び方法 | |
JP6501092B2 (ja) | オブジェクトセグメンテーションのための前景マスク補正のための画像処理装置及び方法 | |
US10380756B2 (en) | Video processing system and method for object detection in a sequence of image frames | |
JP6276475B2 (ja) | カラービデオと深度ビデオとの同期方法、装置、および媒体 | |
KR101802146B1 (ko) | 화상처리장치 및 화상처리방법 | |
TWI543610B (zh) | 電子裝置及其影像選擇方法 | |
JP6553692B2 (ja) | 動画像背景除去方法及び動画像背景除去システム | |
EP3762898B1 (en) | Object segmentation in a sequence of color image frames by background image and background depth correction | |
JP7015017B2 (ja) | 適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーション | |
CN107771391B (zh) | 用于确定图像帧的曝光时间的方法和装置 | |
CN107209556B (zh) | 用于对捕获对象相对于交互平面的交互的深度图像进行处理的系统及方法 | |
US12002292B2 (en) | Online calibration of 3D scan data from multiple viewpoints | |
CN115731258A (zh) | 运动目标识别的方法以及拍摄设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220913 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7152705 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |