JP6125188B2 - 映像処理方法及び装置 - Google Patents
映像処理方法及び装置 Download PDFInfo
- Publication number
- JP6125188B2 JP6125188B2 JP2012229695A JP2012229695A JP6125188B2 JP 6125188 B2 JP6125188 B2 JP 6125188B2 JP 2012229695 A JP2012229695 A JP 2012229695A JP 2012229695 A JP2012229695 A JP 2012229695A JP 6125188 B2 JP6125188 B2 JP 6125188B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- target
- interest
- pixel
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 43
- 238000000034 method Methods 0.000 claims description 95
- 230000008569 process Effects 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 15
- 238000009499 grossing Methods 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 210000000746 body region Anatomy 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Description
図4の(a)は、図3に示す正面図と相異するように、カメラが撮影する空間をカメラから距離方向に眺める側面図を示す。図4の(a)を参照すると、カメラから最も近いフロント地点(front)が最も大きい深さ情報として表現され、カメラから最も遠いバック地点(back)が最も小さい深さ情報として表現される。本発明では、最も大きい深さ情報から小さい深さ情報に至る映像の深さ情報の全体範囲に対し、複数個の基準深さ値(pivot1、pivot2、pivot3、pivot4)を設定し、既設定された単位区間(区間1、区間2、区間3、区間4)の内に存在する複数個のピクセル集合を抽出する。
この場合、所定条件を満たすピクセル客体に対してノイズと判断して除去する演算が遂行できる。これに対して後述する。
Claims (14)
- 映像の深さ情報を獲得するステップと、
前記映像から目標物が存在する領域に対する第1関心領域を分離するステップと、
前記第1関心領域から目標物に対する候補領域を検出するステップと、
前記検出された候補領域が目標物に対応するか否かを判断するステップと、
前記候補領域が目標物に対応する場合、前記候補領域を用いて目標領域を検出するステップと、
前記検出した目標領域を用いて目標物の姿勢を推定するステップと、
前記目標物をモデリングするステップと、
を含み、
前記第1関心領域を分離するステップは、
前記映像を複数の領域に分割するステップと、
前記分割された複数領域のうちの一部領域を第1関心領域に設定するステップと、
を含み、
前記候補領域を検出するステップは、
深さ情報に基づいて前記第1関心領域の映像を複数のピクセル集合に分解するステップと、
前記分解された各ピクセル集合に対してラベリングを遂行して少なくとも1つのピクセル客体を生成するステップと、
前記ピクセル客体を分析してノイズと判断されたピクセル客体を除去するステップと、
前記ノイズが除去された少なくとも1つのピクセル客体に対して目標物に対応する領域に対する候補領域を生成するステップと、
を含み、
前記複数のピクセル集合に分解するステップは、
前記映像の深さ情報の全体範囲に対し、複数個の基準深さ値を設定するステップと、
前記設定された基準深さ値を基準に既設定された単位区間内に存在する複数個のピクセル集合を抽出して、前記映像を複数のピクセル集合に分解するステップと、
を含むことを特徴とする、映像処理方法。 - 前記複数個の基準深さ値の間の間隔は前記単位区間サイズより小さいか等しく設定されたことを特徴とする、請求項1に記載の映像処理方法。
- 前記除去されるピクセル客体は、
前記少なくとも1つのピクセル客体を構成するピクセル数が既設定されたしきい値以下の第1場合と、
前記少なくとも1つのピクセル客体の外郭を囲む四角形の幅が既設定されたしきい値以下の第2場合と、
前記少なくとも1つのピクセル客体の外郭を囲む四角形に含まれるピクセル数の割合が既設定されたしきい範囲の他に存在する第3場合と、
前記少なくとも1つのピクセル客体が前記複数の領域に分割する境界線の一部と離れている第4場合のうち、少なくともいずれか1つを含むことを特徴とする、請求項1または2に記載の映像処理方法。 - 前記検出された候補領域が目標物に対応するか否かを判断するステップは、
前記第1関心領域の他に目標物の一部の存否を判断するステップと、
前記判断結果、目標物の一部が存在すれば、前記第1関心領域の他に存在する目標物の一部を復元するステップと、
前記候補領域を標本イメージと比較して類似度を判断するステップと、
を含むことを特徴とする、請求項1〜3のいずれか一項に記載の映像処理方法。 - 前記目標領域を検出するステップは、
前記検出された候補領域を用いて第2関心領域を分離するステップと、
前記第2関心領域を候補領域の平均深さ情報を用いて2進化処理するステップと、
前記2進化処理された第2関心領域に対してラベリング処理するステップと、
前記ラベリング処理された第2関心領域のノイズを除去するステップと、
を含むことを特徴とする、請求項1〜4のいずれか一項に記載の映像処理方法。 - 前記目標領域の姿勢を推定するステップは、
前記目標領域の外郭線に対してスムージング処理するステップと、
前記目標領域の骨格を抽出するステップと、
前記目標物を構成するパートを推定するステップと、
を含むことを特徴とする、請求項1〜5のいずれか一項に記載の映像処理方法。 - 前記パートを推定するステップは、
前記目標領域の重心を用いて中心パートを推定するステップと、
前記推定した中心パートを用いてサブパートを推定するステップと、
を含むことを特徴とする、請求項6に記載の映像処理方法。 - 映像の深さ情報を獲得する映像獲得部と、
映像から目標物が存在する領域に対する第1関心領域を分離する関心領域分離部と、
前記第1関心領域から目標物に対する候補領域を検出する領域検出部と、
前記検出された候補領域が目標物に対応するか否かを判断するマッチング部と、
前記候補領域が目標物に対応することによって前記候補領域を用いて検出された目標領域を用いて目標物の姿勢を推定する姿勢推定部と、
前記目標物をモデリングするモデリング部と、
を含み、
前記関心領域分離部は、前記映像を複数の領域に分割し、前記分割された複数領域のうちの一部の領域を第1関心領域に設定し、
前記領域検出部は、深さ情報に基づいて前記第1関心領域の映像を複数のピクセル集合に分解し、前記分解された各ピクセル集合に対してラベリングを遂行して少なくとも1つのピクセル客体を生成し、前記ピクセル客体を分析してノイズと判断されたピクセル客体を除去し、前記ノイズが除去された少なくとも1つのピクセル客体に対して目標物に対応する領域に対する候補領域を生成する候補領域検出部を含み、
前記候補領域検出部は、前記映像の深さ情報の全体範囲に対し、複数個の基準深さ値を設定し、前記設定された基準深さ値を基準に既設定された単位区間内に存在する複数個のピクセル集合を抽出して前記映像を複数のピクセル集合に分解することを特徴とする、映像処理装置。 - 前記複数個の基準深さ値の間の間隔は、前記単位区間サイズより小さいか等しく設定されたことを特徴とする、請求項8に記載の映像処理装置。
- 前記候補領域検出部は、
前記ピクセル客体を分析してノイズと判断されたピクセル客体を除去し、
前記ピクセル客体の除去基準は、
前記少なくとも1つのピクセル客体を構成するピクセル数が既設定されたしきい値以下の第1場合と、前記少なくとも1つのピクセル客体の外郭を囲む四角形の幅が既設定されたしきい値以下の第2場合、前記少なくとも1つのピクセル客体の外郭を囲む四角形に含まれるピクセル数の割合が既設定されたしきい範囲の他に存在する第3場合、及び前記少なくとも1つのピクセル客体が前記複数の領域に分割する境界線の一部と離れている第4場合のうち、少なくとも1つを含むことを特徴とする、請求項8または9に記載の映像処理装置。 - 前記マッチング部は、
前記第1関心領域の他に目標物の一部の存否を判断し、
前記目標物の一部が存在すれば、前記第1関心領域の他に存在する目標物の一部を復元し、前記候補領域を標本イメージと比較して類似度を判断し、前記検出された候補領域が目標物に対応するか否かを判断することを特徴とする、請求項8〜10のいずれか一項に記載の映像処理装置。 - 前記領域検出部は、
前記検出された候補領域を用いて第2関心領域を分離し、
前記第2関心領域を候補領域の平均深さ情報を用いて2進化処理し、
前記2進化処理された第2関心領域に対してラベリング処理し、
前記ラベリング処理された第2関心領域のノイズを除去して前記目標領域を検出することを特徴とする、請求項8〜11のいずれか一項に記載の映像処理装置。 - 前記姿勢推定部は、
前記目標領域の外郭線に対してスムージング処理し、前記目標領域の骨格を抽出し、前記目標物を構成するパートを推定して前記目標領域の姿勢を推定することを特徴とする、請求項8〜12のいずれか一項に記載の映像処理装置。 - 前記姿勢推定部は、
前記目標領域の重心を用いて中心パートを推定し、前記中心パートを用いてサブパートを推定して前記目標領域の姿勢を推定することを特徴とする、請求項13に記載の映像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110108378A KR101283262B1 (ko) | 2011-10-21 | 2011-10-21 | 영상 처리 방법 및 장치 |
KR10-2011-0108378 | 2011-10-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013089252A JP2013089252A (ja) | 2013-05-13 |
JP6125188B2 true JP6125188B2 (ja) | 2017-05-10 |
Family
ID=47562950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012229695A Active JP6125188B2 (ja) | 2011-10-21 | 2012-10-17 | 映像処理方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9031282B2 (ja) |
EP (1) | EP2584529B8 (ja) |
JP (1) | JP6125188B2 (ja) |
KR (1) | KR101283262B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7223831B2 (ja) | 2021-01-07 | 2023-02-16 | バイドゥ ユーエスエイ エルエルシー | 冷却システム |
JP7226112B2 (ja) | 2019-05-31 | 2023-02-21 | 富士通株式会社 | 液浸システム |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9092657B2 (en) * | 2013-03-13 | 2015-07-28 | Microsoft Technology Licensing, Llc | Depth image processing |
KR101501487B1 (ko) * | 2013-07-18 | 2015-03-12 | 전자부품연구원 | 깊이 영상 기반 머리 검출방법 및 장치 |
CN104345351A (zh) * | 2013-07-23 | 2015-02-11 | 清华大学 | 人体安全检查的隐私保护方法和人体安全检查系统 |
KR102106135B1 (ko) * | 2013-10-01 | 2020-05-04 | 한국전자통신연구원 | 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법 |
IN2013MU04097A (ja) * | 2013-12-27 | 2015-08-07 | Tata Consultancy Services Ltd | |
CN104200236B (zh) * | 2014-08-22 | 2018-10-26 | 浙江生辉照明有限公司 | 基于dpm的快速目标检测方法 |
JP2016076167A (ja) * | 2014-10-08 | 2016-05-12 | ソニー株式会社 | 情報処理装置および情報処理方法 |
US10921877B2 (en) | 2014-10-20 | 2021-02-16 | Microsoft Technology Licensing, Llc | Silhouette-based limb finder determination |
CN105809659B (zh) * | 2014-12-30 | 2019-05-03 | 华为技术有限公司 | 一种视频检测方法,及装置 |
KR102389380B1 (ko) * | 2015-02-27 | 2022-04-22 | 엘지이노텍 주식회사 | 3차원 영상의 깊이 정보 추출 장치 및 그 방법 |
KR102535617B1 (ko) * | 2016-01-04 | 2023-05-24 | 한국전자통신연구원 | 깊이 영상에서의 객체 검출 시스템 및 방법 |
JP2018156408A (ja) * | 2017-03-17 | 2018-10-04 | マクセル株式会社 | 画像認識撮像装置 |
CN110651298B (zh) * | 2017-05-12 | 2023-07-25 | 富士通株式会社 | 距离图像处理装置以及距离图像处理系统 |
EP3624051A4 (en) * | 2017-05-12 | 2020-03-25 | Fujitsu Limited | DISTANCE IMAGE PROCESSING DEVICE, DISTANCE IMAGE PROCESSING SYSTEM, DISTANCE IMAGE PROCESSING METHOD AND DISTANCE IMAGE PROCESSING PROGRAM |
CN108196729A (zh) * | 2018-01-16 | 2018-06-22 | 安徽慧视金瞳科技有限公司 | 一种基于红外视频的指尖点快速检测方法 |
CN111242963B (zh) * | 2018-11-29 | 2024-02-13 | 合肥泰禾光电科技股份有限公司 | 货箱轮廓检测方法及装置 |
WO2020223962A1 (en) * | 2019-05-09 | 2020-11-12 | Boe Technology Group Co., Ltd. | Computer-implemented method of detecting foreign object on background object in image, apparatus for detecting foreign object on background object in image, and computer-program product |
JP7370759B2 (ja) * | 2019-08-08 | 2023-10-30 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN112581904B (zh) * | 2019-09-30 | 2021-10-08 | 华中科技大学 | 一种oled屏亮度灰阶图像的摩尔纹补偿方法 |
KR102247025B1 (ko) * | 2019-12-20 | 2021-04-29 | 울산과학기술원 | 객체 제거를 통한 이미지 처리 방법 및 장치 |
CN112070759B (zh) * | 2020-09-16 | 2023-10-24 | 浙江光珀智能科技有限公司 | 一种叉车托盘检测与定位方法及系统 |
CN112669280B (zh) * | 2020-12-28 | 2023-08-08 | 莆田市山海测绘技术有限公司 | 一种基于lsd算法的无人机倾斜航拍直角像控点目标检测方法 |
CN113347403B (zh) * | 2021-04-19 | 2023-10-27 | 浙江大学 | 一种图像处理方法及装置 |
CN113240739B (zh) * | 2021-04-29 | 2023-08-11 | 三一重机有限公司 | 一种挖掘机、属具的位姿检测方法、装置及存储介质 |
CN113744259B (zh) * | 2021-09-14 | 2023-05-05 | 北京林业大学 | 基于灰度值增加数量序列的森林火灾烟雾检测方法和设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000003445A (ja) * | 1998-06-15 | 2000-01-07 | Toshiba Corp | 情報抽出方法および情報抽出装置および記録媒体 |
WO2003083460A1 (en) * | 2002-03-25 | 2003-10-09 | Geo-Centers, Inc. | Automated inspection and processing system |
US7231087B2 (en) * | 2002-10-30 | 2007-06-12 | Metrica, Inc. | Matching binary templates against range map derived silhouettes for object pose estimation |
KR100519782B1 (ko) * | 2004-03-04 | 2005-10-07 | 삼성전자주식회사 | 스테레오 카메라를 이용한 사람 검출 방법 및 장치 |
US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
CN101657825B (zh) * | 2006-05-11 | 2014-02-19 | 普莱姆传感有限公司 | 根据深度图对人形进行建模 |
KR101636370B1 (ko) | 2009-11-10 | 2016-07-05 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US8864581B2 (en) * | 2010-01-29 | 2014-10-21 | Microsoft Corporation | Visual based identitiy tracking |
-
2011
- 2011-10-21 KR KR1020110108378A patent/KR101283262B1/ko active IP Right Grant
-
2012
- 2012-10-17 JP JP2012229695A patent/JP6125188B2/ja active Active
- 2012-10-18 EP EP12188921.6A patent/EP2584529B8/en active Active
- 2012-10-19 US US13/655,985 patent/US9031282B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7226112B2 (ja) | 2019-05-31 | 2023-02-21 | 富士通株式会社 | 液浸システム |
JP7223831B2 (ja) | 2021-01-07 | 2023-02-16 | バイドゥ ユーエスエイ エルエルシー | 冷却システム |
Also Published As
Publication number | Publication date |
---|---|
EP2584529B8 (en) | 2017-07-12 |
EP2584529A3 (en) | 2014-02-19 |
KR101283262B1 (ko) | 2013-07-11 |
EP2584529A2 (en) | 2013-04-24 |
US9031282B2 (en) | 2015-05-12 |
KR20130044099A (ko) | 2013-05-02 |
US20130101170A1 (en) | 2013-04-25 |
EP2584529B1 (en) | 2017-04-26 |
JP2013089252A (ja) | 2013-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6125188B2 (ja) | 映像処理方法及び装置 | |
US11360571B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
US11727661B2 (en) | Method and system for determining at least one property related to at least part of a real environment | |
JP5873442B2 (ja) | 物体検出装置および物体検出方法 | |
JP6554169B2 (ja) | 物体認識装置及び物体認識システム | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
JP5837508B2 (ja) | 姿勢状態推定装置および姿勢状態推定方法 | |
JP5493108B2 (ja) | 距離画像カメラを用いた人体識別方法および人体識別装置 | |
JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
JP2009288917A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2009211122A (ja) | 画像処理装置およびオブジェクト推定プログラム。 | |
JP5217917B2 (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
KR101696086B1 (ko) | 소나 이미지 내의 물체 부분 추출 방법 및 장치 | |
JP6802923B2 (ja) | 物体検出装置、及び、物体検出手法 | |
JP6780639B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP2021076948A (ja) | 人検出装置、人検出システム、人検出方法 | |
JP5614100B2 (ja) | 画像処理装置及び移動体位置推定方法 | |
JP5156731B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151006 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6125188 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |