JPWO2018207365A1 - 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム - Google Patents
距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム Download PDFInfo
- Publication number
- JPWO2018207365A1 JPWO2018207365A1 JP2019516863A JP2019516863A JPWO2018207365A1 JP WO2018207365 A1 JPWO2018207365 A1 JP WO2018207365A1 JP 2019516863 A JP2019516863 A JP 2019516863A JP 2019516863 A JP2019516863 A JP 2019516863A JP WO2018207365 A1 JPWO2018207365 A1 JP WO2018207365A1
- Authority
- JP
- Japan
- Prior art keywords
- distance image
- learning
- human body
- distance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
20 距離センサ
100 学習装置
200 認識装置
Claims (19)
- 人体の3次元モデルと物体の3次元モデルとを合成した合成モデルを基にして、基準位置から前記人体の各位置または前記物体の各位置までの距離を示す距離画像と、前記人体の各部位または前記物体の部位を識別する部位画像とを対応づけた学習画像を複数生成する生成部と、
前記学習画像の距離画像と部位画像とを基にして、前記距離画像の領域のうち、前記物体の部位に対応する領域の値を修正する修正部と、
修正された距離画像を有する複数の学習画像を基にして、前記距離画像の特徴と、前記人体の部位または前記物体の部位とを対応づけた識別器を学習する学習部と
を有することを特徴とする距離画像処理装置。 - 前記生成部は、前記合成モデルを基にして、前記距離画像と、前記人体の各関節位置とを対応づけた他の学習画像を複数生成し、前記学習部は、前記他の学習画像を複数用いて、骨格推定器を学習することを特徴とする請求項1に記載の距離画像処理装置。
- 前記修正部は、前記学習画像の距離画像と部位画像とを基にして、前記距離画像の領域のうち、前記人体の髪の部位に対応する領域の値を更に修正することを特徴とする請求項2に記載の距離画像処理装置。
- 前記修正部は、前記物体の部位に対応する領域の値および前記人体の髪の部位に対応する領域の値を、前記距離画像の背景に対応する値と同じ値に修正することを特徴とする請求項3に記載の距離画像処理装置。
- 距離センサから対象者、物体および背景を含んだ距離画像を取得する取得部と、前記対象者、物体および背景を含んだ距離画像から背景、および、物体を取り除くことで対象者距離画像を生成する除去部と、前記対象者距離画像と前記識別器とを基にして、前記対象者距離画像の位置と、前記人体の部位とを関係を判定する判定部と、前記判定部の判定結果を基にして前記対象者距離画像に含まれる前記人体の各部位の関係から前記対象者の姿勢を認識する認識部とを更に有することを特徴とする請求項4に記載の距離画像処理装置。
- 前記判定部は、前記対象者距離画像と前記骨格推定器とを基にして、前記対象者の関節位置を判定することを特徴とする請求項5に記載の距離画像処理装置。
- 学習装置と認識装置とを有する距離画像処理システムであって、
前記学習装置は、
人体の3次元モデルと物体の3次元モデルとを合成した合成モデルを基にして、基準位置から前記人体の各位置または前記物体の各位置までの距離を示す距離画像と、前記人体の各部位または前記物体の部位を識別する部位画像とを対応づけた学習画像を複数生成する生成部と、
前記学習画像の距離画像と部位画像とを基にして、前記距離画像の領域のうち、前記物体の部位に対応する領域の値を修正する修正部と、
修正された距離画像を有する複数の学習画像を基にして、前記距離画像の特徴と、前記人体の部位または前記物体の部位とを対応づけた識別器を学習する学習部とを有し、
前記認識装置は、
距離センサから対象者、物体および背景を含んだ距離画像を取得する取得部と、
前記対象者、物体および背景を含んだ距離画像から背景、および、物体を取り除くことで対象者距離画像を生成する除去部と、
前記対象者距離画像と前記識別器とを基にして、前記対象者距離画像の位置と、前記人体の部位とを関係を判定する判定部と、
前記判定部の判定結果を基にして前記対象者距離画像に含まれる前記人体の各部位の関係から前記対象者の姿勢を認識する認識部とを有する
ことを特徴とする距離画像処理システム。 - コンピュータが実行する距離画像処理方法であって、
人体の3次元モデルと物体の3次元モデルとを合成した合成モデルを基にして、基準位置から前記人体の各位置または前記物体の各位置までの距離を示す距離画像と、前記人体の各部位または前記物体の部位を識別する部位画像とを対応づけた学習画像を複数生成し、
前記学習画像の距離画像と部位画像とを基にして、前記距離画像の領域のうち、前記物体の部位に対応する領域の値を修正し、
修正された距離画像を有する複数の学習画像を基にして、前記距離画像の特徴と、前記人体の部位または前記物体の部位とを対応づけた識別器を学習する
処理を実行することを特徴とする距離画像処理方法。 - 前記生成する処理は、前記合成モデルを基にして、前記距離画像と、前記人体の各関節位置とを対応づけた他の学習画像を複数生成し、前記学習する処理は、前記他の学習画像を複数用いて、骨格推定器を学習することを特徴とする請求項8に記載の距離画像処理方法。
- 前記修正する処理は、前記学習画像の距離画像と部位画像とを基にして、前記距離画像の領域のうち、前記人体の髪の部位に対応する領域の値を更に修正することを特徴とする請求項9に記載の距離画像処理方法。
- 前記修正する処理は、前記物体の部位に対応する領域の値および前記人体の髪の部位に対応する領域の値を、前記距離画像の背景に対応する値と同じ値に修正することを特徴とする請求項10に記載の距離画像処理方法。
- 距離センサから対象者、物体および背景を含んだ距離画像を取得し、前記対象者、物体および背景を含んだ距離画像から背景、および、物体を取り除くことで対象者距離画像を生成し、前記対象者距離画像と前記識別器とを基にして、前記対象者距離画像の位置と、前記人体の部位とを関係を判定し、判定結果を基にして前記対象者距離画像に含まれる前記人体の各部位の関係から前記対象者の姿勢を認識する処理を更に実行することを特徴とする請求項11に記載の距離画像処理方法。
- 前記対象者距離画像と前記骨格推定器とを基にして、前記対象者の関節位置を判定する処理を更に実行することを特徴とする請求項12に記載の距離画像処理方法。
- コンピュータに、
人体の3次元モデルと物体の3次元モデルとを合成した合成モデルを基にして、基準位置から前記人体の各位置または前記物体の各位置までの距離を示す距離画像と、前記人体の各部位または前記物体の部位を識別する部位画像とを対応づけた学習画像を複数生成し、
前記学習画像の距離画像と部位画像とを基にして、前記距離画像の領域のうち、前記物体の部位に対応する領域の値を修正し、
修正された距離画像を有する複数の学習画像を基にして、前記距離画像の特徴と、前記人体の部位または前記物体の部位とを対応づけた識別器を学習する
処理を実行させることを特徴とする距離画像処理プログラム。 - 前記生成する処理は、前記合成モデルを基にして、前記距離画像と、前記人体の各関節位置とを対応づけた他の学習画像を複数生成し、前記学習する処理は、前記他の学習画像を複数用いて、骨格推定器を学習することを特徴とする請求項14に記載の距離画像処理プログラム。
- 前記修正する処理は、前記学習画像の距離画像と部位画像とを基にして、前記距離画像の領域のうち、前記人体の髪の部位に対応する領域の値を更に修正することを特徴とする請求項15に記載の距離画像処理プログラム。
- 前記修正する処理は、前記物体の部位に対応する領域の値および前記人体の髪の部位に対応する領域の値を、前記距離画像の背景に対応する値と同じ値に修正することを特徴とする請求項16に記載の距離画像処理プログラム。
- 距離センサから対象者、物体および背景を含んだ距離画像を取得し、前記対象者、物体および背景を含んだ距離画像から背景、および、物体を取り除くことで対象者距離画像を生成し、前記対象者距離画像と前記識別器とを基にして、前記対象者距離画像の位置と、前記人体の部位とを関係を判定し、判定結果を基にして前記対象者距離画像に含まれる前記人体の各部位の関係から前記対象者の姿勢を認識する処理を更に実行することを特徴とする請求項17に記載の距離画像処理プログラム。
- 前記対象者距離画像と前記骨格推定器とを基にして、前記対象者の関節位置を判定する処理を更に実行することを特徴とする請求項18に記載の距離画像処理プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/018107 WO2018207365A1 (ja) | 2017-05-12 | 2017-05-12 | 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018207365A1 true JPWO2018207365A1 (ja) | 2020-02-27 |
JP6809604B2 JP6809604B2 (ja) | 2021-01-06 |
Family
ID=64104493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019516863A Active JP6809604B2 (ja) | 2017-05-12 | 2017-05-12 | 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11138419B2 (ja) |
EP (1) | EP3624052A4 (ja) |
JP (1) | JP6809604B2 (ja) |
CN (1) | CN110651298B (ja) |
WO (1) | WO2018207365A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6860066B2 (ja) | 2017-05-12 | 2021-04-14 | 富士通株式会社 | 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム |
CN110942422A (zh) * | 2018-09-21 | 2020-03-31 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和计算机存储介质 |
JP6684336B1 (ja) * | 2018-11-15 | 2020-04-22 | 株式会社ドワンゴ | データ補正装置およびプログラム |
JP7271915B2 (ja) * | 2018-11-22 | 2023-05-12 | コニカミノルタ株式会社 | 画像処理プログラムおよび画像処理装置 |
TWI715903B (zh) * | 2018-12-24 | 2021-01-11 | 財團法人工業技術研究院 | 動作追蹤系統及方法 |
US11488317B2 (en) | 2020-11-23 | 2022-11-01 | Sony Group Corporation | Neural network model based depth estimation |
CN114902299A (zh) * | 2020-12-31 | 2022-08-12 | 商汤国际私人有限公司 | 图像中关联对象的检测方法、装置、设备和存储介质 |
WO2023162223A1 (ja) * | 2022-02-28 | 2023-08-31 | 富士通株式会社 | 学習プログラム、生成プログラム、学習方法および生成方法 |
US20230282002A1 (en) | 2022-03-07 | 2023-09-07 | Woven By Toyota, Inc. | Apparatus and method for modifying ground truth for checking accuracy of machine learning model |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015186436A1 (ja) * | 2014-06-06 | 2015-12-10 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000251078A (ja) * | 1998-12-22 | 2000-09-14 | Atr Media Integration & Communications Res Lab | 人物の3次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 |
JP2004226197A (ja) | 2003-01-22 | 2004-08-12 | Seiko Epson Corp | 物体識別方法および物体識別装置、並びに物体識別プログラム |
JP2007310707A (ja) | 2006-05-19 | 2007-11-29 | Toshiba Corp | 姿勢推定装置及びその方法 |
US20110227923A1 (en) | 2008-04-14 | 2011-09-22 | Xid Technologies Pte Ltd | Image synthesis method |
US8638985B2 (en) * | 2009-05-01 | 2014-01-28 | Microsoft Corporation | Human body pose estimation |
WO2010130245A1 (de) * | 2009-05-11 | 2010-11-18 | Universität Zu Lübeck | Verfahren zur echtzeitfähigen, rechnergestützten analyse einer eine veränderliche pose enthaltenden bildsequenz |
US8213680B2 (en) * | 2010-03-19 | 2012-07-03 | Microsoft Corporation | Proxy training data for human body tracking |
US8625897B2 (en) * | 2010-05-28 | 2014-01-07 | Microsoft Corporation | Foreground and background image segmentation |
JP2012120647A (ja) | 2010-12-07 | 2012-06-28 | Alpha Co | 姿勢検出装置 |
KR101815975B1 (ko) * | 2011-07-27 | 2018-01-09 | 삼성전자주식회사 | 객체 자세 검색 장치 및 방법 |
JP2013058174A (ja) * | 2011-09-09 | 2013-03-28 | Fujitsu Ltd | 画像処理プログラム、画像処理方法および画像処理装置 |
KR101763778B1 (ko) * | 2011-09-30 | 2017-08-01 | 인텔 코포레이션 | 깊이 영상들에서 사람의 머리 부위 검출 |
KR101283262B1 (ko) * | 2011-10-21 | 2013-07-11 | 한양대학교 산학협력단 | 영상 처리 방법 및 장치 |
US8666149B2 (en) | 2012-08-01 | 2014-03-04 | Chevron U.S.A. Inc. | Method for editing a multi-point facies simulation |
JP6433149B2 (ja) * | 2013-07-30 | 2018-12-05 | キヤノン株式会社 | 姿勢推定装置、姿勢推定方法およびプログラム |
JP2016091108A (ja) | 2014-10-30 | 2016-05-23 | パナソニックIpマネジメント株式会社 | 人体部位検出システムおよび人体部位検出方法 |
US10248993B2 (en) | 2015-03-25 | 2019-04-02 | Optitex Ltd. | Systems and methods for generating photo-realistic images of virtual garments overlaid on visual images of photographic subjects |
JP2016212688A (ja) | 2015-05-11 | 2016-12-15 | 日本電信電話株式会社 | 関節位置推定装置、方法、及びプログラム |
US10477200B2 (en) | 2017-04-13 | 2019-11-12 | Facebook, Inc. | Panoramic camera systems |
JP6860066B2 (ja) | 2017-05-12 | 2021-04-14 | 富士通株式会社 | 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム |
-
2017
- 2017-05-12 WO PCT/JP2017/018107 patent/WO2018207365A1/ja active Application Filing
- 2017-05-12 CN CN201780090573.XA patent/CN110651298B/zh active Active
- 2017-05-12 JP JP2019516863A patent/JP6809604B2/ja active Active
- 2017-05-12 EP EP17909349.7A patent/EP3624052A4/en active Pending
-
2019
- 2019-10-15 US US16/601,643 patent/US11138419B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015186436A1 (ja) * | 2014-06-06 | 2015-12-10 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3624052A1 (en) | 2020-03-18 |
CN110651298B (zh) | 2023-07-25 |
EP3624052A4 (en) | 2020-03-18 |
US20200042782A1 (en) | 2020-02-06 |
JP6809604B2 (ja) | 2021-01-06 |
WO2018207365A1 (ja) | 2018-11-15 |
CN110651298A (zh) | 2020-01-03 |
US11138419B2 (en) | 2021-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6809604B2 (ja) | 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム | |
JP6860066B2 (ja) | 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム | |
CN108369643B (zh) | 用于3d手部骨架跟踪的方法和系统 | |
Xu et al. | Efficient hand pose estimation from a single depth image | |
US11763603B2 (en) | Physical activity quantification and monitoring | |
JP6793151B2 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
KR101378216B1 (ko) | 모션 캡처 라벨링 시스템, 방법, 저장 매체, 장치 | |
JP6760490B2 (ja) | 認識装置、認識方法および認識プログラム | |
JP2009265732A (ja) | 画像処理装置及びその方法 | |
US20230237777A1 (en) | Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium | |
JP2021060868A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11423561B2 (en) | Learning apparatus, estimation apparatus, learning method, estimation method, and computer programs | |
JP2009048305A (ja) | 形状解析プログラム及び形状解析装置 | |
WO2020184006A1 (ja) | 画像処理装置、画像処理方法及び非一時的なコンピュータ可読媒体 | |
JP2018180894A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2016152467A (ja) | 追尾装置、追尾方法及び追尾プログラム | |
WO2022190206A1 (ja) | 骨格認識方法、骨格認識プログラムおよび体操採点支援システム | |
US20230112148A1 (en) | Frame Selection for Image Matching in Rapid Target Acquisition | |
WO2023062762A1 (ja) | 推定プログラム、推定方法および情報処理装置 | |
WO2023162223A1 (ja) | 学習プログラム、生成プログラム、学習方法および生成方法 | |
WO2023012915A1 (ja) | 姿勢特定プログラム、姿勢特定方法および情報処理装置 | |
JP2018097795A (ja) | 法線推定装置、法線推定方法、及び法線推定プログラム | |
CN118103866A (zh) | 估计程序、估计方法以及信息处理装置 | |
CN114830183A (zh) | 信息处理装置、信息处理方法和信息处理程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191009 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6809604 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |