JP6431404B2 - 姿勢推定モデル生成装置及び姿勢推定装置 - Google Patents
姿勢推定モデル生成装置及び姿勢推定装置 Download PDFInfo
- Publication number
- JP6431404B2 JP6431404B2 JP2015033179A JP2015033179A JP6431404B2 JP 6431404 B2 JP6431404 B2 JP 6431404B2 JP 2015033179 A JP2015033179 A JP 2015033179A JP 2015033179 A JP2015033179 A JP 2015033179A JP 6431404 B2 JP6431404 B2 JP 6431404B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- estimation model
- image
- posture estimation
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
γ1,γ2:RGB輝度
β:カメラID
で表されるfda-d(θ,pi)またはfda-agb(θ,pi,β)と、分割閾値τとの比較により、情報利得が最も大きくなるように、前記ノード分割を行ってよい。
RGB画像取得部10は、ステレオカメラによって、様々なワーク(姿勢推定対象物)を、様々な距離、角度から撮像された左右のRGB画像を取得し、学習データ記憶部17に出力する。デプス画像生成部11は、仮想中央カメラによって撮像された場合のデプス画像をコンピュータグラフィックによって生成し、左右のRGB画像と対応付けて学習データ記憶部17に出力する。ここで、仮想中央カメラとは、RGB画像取得部10にて取得されたRGB画像を撮像したステレオカメラの左右のカメラの中央に、仮想的に設置されたカメラを意味する。すなわち、デプス画像生成部11にて生成されるデプス画像は、ステレオカメラの左右カメラ及び仮想的な中央カメラによって、同時に撮影を行った場合において、当該仮想的中央カメラから取得されるデプス画像に対応する。したがって、デプス画像生成部11は、RGB画像取得部にて取得した左右のRGB画像のペアの分だけ、デプス画像を生成する。
ここで、本実施の形態における姿勢推定装置1のデプス推定部14にて用いられる、デプス推定モデルを生成する、デプス推定モデル生成装置の構成について説明する。図2は、デプス推定モデル生成装置2の構成を示すブロック図である。図2に示すように、デプス推定モデル生成装置2は、RGB画像取得部20と、デプス画像生成部21と、デプス推定モデル生成部22と、記憶部23とを備える。記憶部23は、学習データ記憶部24と、デプス推定モデル記憶部25とを備える。
まずは、デプス推定モデル記憶部18に記憶されるデプス推定モデルを生成する、デプス推定モデル生成装置2の動作フローについて説明する。図3は、本実施の形態におけるデプス推定モデル生成装置2の動作フロー図である。デプス推定モデル生成装置2は、まず、RGB画像を取得し、学習データ記憶部24に記憶する(ステップS1)。ステップS1にて取得されるRGB画像は、ステレオカメラによって、視線の方向及び/または距離を様々に変えて撮像された左右のペア画像である。続いて、デプス推定モデル生成装置2は、ステップS1にて取得したRGB画像の各左右画像のペアについて、仮想カメラのデプス画像を生成し、各画像ペアに対応付けて、学習データ記憶部16に記憶する(ステップS2)。図4(a)、(b)は、ステップS1にて取得されたRGB画像の一例、図4(c)は、ステップS2にて生成されたデプス画像の一例を示す図である。これらのRGB画像のペア及びそれに対応するデプス画像が、1組の教師データとなる。
次に、本発明の実施の形態における姿勢推定装置1において、姿勢推定モデルを用いた姿勢推定を行う際に用いられる、デプス値の推定フローについて説明する。本実施の形態において、デプス値の推定は、上述の処理によって生成された、デプス推定モデルを用いて行われる。
次に、本発明の実施の形態における、姿勢推定モデル生成フローについて説明する。本実施の形態において、姿勢推定モデルの生成は、上述の処理にて推定されたデプス値を用いて行われる。
図11は、本実施の形態における、姿勢推定処理の流れを示すフロー図である。まず、姿勢推定装置1は、推定対象となるワークを撮像したステレオRGB画像の入力を受け付ける(ステップS31)。次に、デプス推定部14は、デプス推定モデルを用いて、ステップS31にて取得したRGB画像に基づき、デプス値の推定を行う(ステップS32)。続いて、姿勢推定部15は、ステップS31にて取得したRGB画像及びステップS32にて算出された推定デプス値に基づき、姿勢推定モデルを用いて、オブジェクトの識別と、オブジェクトにおける3次元座標値を求める(ステップS33)。そして、姿勢推定部15は、最適化処理を行い、ワーク姿勢を決定する(ステップS34)。
10 RGB画像取得部
11 デプス画像生成部
12 ピクセル情報取得部
13 姿勢推定モデル生成部
14 デプス推定部
15 姿勢推定部
16 記憶部
17 学習データ記憶部
18 デプス推定モデル記憶部
19 姿勢推定モデル記憶部
Claims (9)
- 平行等位に設置された複数の撮像デバイスによって撮像されたRGB画像組を取得するRGB画像取得部と、
前記複数の撮像デバイスの中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記RGB画像組に対応するデプス画像を生成するデプス画像生成部と、
前記RGB画像取得部にて取得されたRGB画像組における、同一の注目ピクセルの周辺の輝度分布及び/または、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセル周辺のデプス値分布と、対象物の3次元座標との関係を学習することで、前記対象物の複数の前記3次元座標に基づいて、当該対象物の姿勢を推定するための姿勢推定モデル生成部と、
を備えた姿勢推定モデル生成装置。 - 前記姿勢推定モデル生成部は、ランダムフォレストに基づいて、前記注目ピクセルから、前記RGB画像組を構成する画像ごとに異なる量でオフセットさせた周辺ピクセルにおける輝度値の差、または、前記デプス画像において、前記注目ピクセルから異なる量でオフセットさせた周辺ピクセルにおけるデプス値の差に応じて、前記注目ピクセルが属する部分領域の集合のノード分割を繰り返し行うことで、1以上の決定木を生成し、当該各決定木のリーフノードに、正解データとして、前記3次元座標を対応付けることで、姿勢推定モデルを生成する、請求項1に記載の姿勢推定モデル生成装置。
- 前記姿勢推定モデル生成部は、前記デプス画像内のあるピクセルにおけるデプス値をd(pi)、カメラβによって撮像された画像のあるピクセルにおけるRGB輝度をIβ(pi,γ)オフセット量をω1、ω2として、
γ1,γ2:RGB輝度
β:カメラID
で表されるfda-d(θ,pi)またはfda-agb(θ,pi,β)と、分割閾値τとの比較により、情報利得が最も大きくなるように、前記ノード分割を行う請求項2に記載の姿勢推定モデル生成装置。 - 前記姿勢推定モデル生成部は、各前記決定木のリーフノードにおいて、前記部分領域を識別するIDと、前記正解データとを対応付け、
前記部分領域を識別するIDは、前記デプス画像生成部にて生成されたデプス画像における前記部分領域に付与されたIDを用いる、請求項2に記載の姿勢推定モデル生成装置。 - 前記姿勢推定モデル生成部は、各前記決定木のリーフノードにおいて、前記部分領域を識別するIDと、前記正解データとを対応付け、
前記部分領域を識別するIDは、各前記RGB画像における前記部分領域に付与されたIDと、前記デプス画像生成部にて生成されたデプス画像における前記部分領域に付与されたIDに対して、所定の重みづけ係数が設定された所定の算出式に基づいて決定される、請求項2に記載の姿勢推定モデル生成装置。 - 平行等位に設置された複数の撮像デバイスによって撮像されたRGB画像組を取得するRGB画像取得部と、
前記複数の撮像デバイスの中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記RGB画像組に対応するデプス画像を生成するデプス画像生成部と、
前記RGB画像取得部にて取得されたRGB画像組における、同一の注目ピクセルの周辺の輝度分布及び/または、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセル周辺のデプス値分布と、対象物の3次元座標との関係を学習することで、前記対象物の複数の前記3次元座標に基づいて、当該対象物の姿勢を推定するための姿勢推定モデル生成部と、
所定の推定モデルに基づいて、前記RGB画像組から、前記仮想的なデプス撮像装置によってデプス画像を撮像した場合におけるデプス値を推定するデプス推定部と、
前記姿勢推定モデル生成部にて生成された姿勢推定モデルを用いて、前記RGB画像組及び推定された前記デプス値に基づいて、前記対象物の姿勢推定を行う姿勢推定部と
を備えた姿勢推定装置。 - 前記デプス推定部は、前記対象物が、前記姿勢推定モデルの生成において学習対象となっていない場合には、推定デプス値をゼロとして出力する請求項6に記載の姿勢推定装置。
- 平行等位に設置された複数の撮像デバイスによって撮像されたRGB画像組を取得するステップと、
前記複数の撮像デバイスの中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記RGB画像組に対応するデプス画像を生成するステップと、
前記RGB画像組を取得するステップにて取得されたRGB画像組における、同一の注目ピクセルの周辺の輝度分布及び/または、前記デプス画像を生成するステップにて生成されたデプス画像内の当該注目ピクセル周辺のデプス値分布と、対象物の3次元座標との関係を学習することで、前記対象物の複数の前記3次元座標に基づいて、当該対象物の姿勢を推定するための姿勢推定モデルを生成するステップと
を備えた姿勢推定モデル生成方法。 - 姿勢推定モデルを生成するためのプログラムであって、コンピュータに、
平行等位に設置された複数の撮像デバイスによって撮像されたRGB画像組を取得するステップと、
前記複数の撮像デバイスの中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記RGB画像組に対応するデプス画像を生成するデプス画像を生成するステップと、
前記RGB画像組を取得するステップにて取得されたRGB画像組における、同一の注目ピクセルの周辺の輝度分布及び/または、前記デプス画像を生成するステップにて生成されたデプス画像内の当該注目ピクセル周辺のデプス値分布と、対象物の3次元座標との関係を学習することで、前記対象物の複数の前記3次元座標に基づいて、当該対象物の姿勢を推定するための姿勢推定モデルを生成するステップと
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015033179A JP6431404B2 (ja) | 2015-02-23 | 2015-02-23 | 姿勢推定モデル生成装置及び姿勢推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015033179A JP6431404B2 (ja) | 2015-02-23 | 2015-02-23 | 姿勢推定モデル生成装置及び姿勢推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016157188A JP2016157188A (ja) | 2016-09-01 |
JP6431404B2 true JP6431404B2 (ja) | 2018-11-28 |
Family
ID=56826223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015033179A Expired - Fee Related JP6431404B2 (ja) | 2015-02-23 | 2015-02-23 | 姿勢推定モデル生成装置及び姿勢推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6431404B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816731B (zh) * | 2017-11-21 | 2021-08-27 | 西安交通大学 | 一种rgb和深度信息精确配准的方法 |
CN111539973B (zh) * | 2020-04-28 | 2021-10-01 | 北京百度网讯科技有限公司 | 用于检测车辆位姿的方法及装置 |
US11488317B2 (en) | 2020-11-23 | 2022-11-01 | Sony Group Corporation | Neural network model based depth estimation |
CN113674335B (zh) * | 2021-08-19 | 2022-05-31 | 合肥的卢深视科技有限公司 | 深度成像方法、电子设备及存储介质 |
KR102411765B1 (ko) * | 2021-12-01 | 2022-06-22 | 안수현 | 신경망을 이용한 바른 자세 추정 시스템 및 그 방법 |
CN116755409B (zh) * | 2023-07-04 | 2024-01-12 | 中国矿业大学 | 一种基于值分布ddpg算法的燃煤发电系统协调控制方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001266128A (ja) * | 2000-03-21 | 2001-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 奥行き情報取得方法,装置および奥行き情報取得プログラムを記録した記録媒体 |
US7508979B2 (en) * | 2003-11-21 | 2009-03-24 | Siemens Corporate Research, Inc. | System and method for detecting an occupant and head pose using stereo detectors |
JP5840940B2 (ja) * | 2011-12-16 | 2016-01-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 画像領域抽出装置、画像領域抽出方法、および画像領域抽出プログラム |
JP6188345B2 (ja) * | 2013-02-15 | 2017-08-30 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
-
2015
- 2015-02-23 JP JP2015033179A patent/JP6431404B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016157188A (ja) | 2016-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6431404B2 (ja) | 姿勢推定モデル生成装置及び姿勢推定装置 | |
JP5297403B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体 | |
JP6397379B2 (ja) | 変化領域検出装置、方法、及びプログラム | |
JP2014096152A (ja) | ポイントクラウド内の埋め戻しポイント | |
CN110349215B (zh) | 一种相机位姿估计方法及装置 | |
US11651581B2 (en) | System and method for correspondence map determination | |
JP2018128897A (ja) | 対象物の姿勢等を検出する検出方法、検出プログラム | |
JP2021163503A (ja) | 2次元カメラによる3次元の姿勢推定 | |
TW201436552A (zh) | 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置 | |
JP6359985B2 (ja) | デプス推定モデル生成装置及びデプス推定装置 | |
JP5704909B2 (ja) | 注目領域検出方法、注目領域検出装置、及びプログラム | |
CN111369611B (zh) | 图像像素深度值优化方法及其装置、设备和存储介质 | |
JP2017068577A (ja) | 演算装置、方法及びプログラム | |
US10529085B2 (en) | Hardware disparity evaluation for stereo matching | |
JP2016099318A (ja) | ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法 | |
JP6845929B2 (ja) | 三次元計測装置、および方法 | |
JP2021163502A (ja) | 複数の2次元カメラによる3次元の姿勢推定 | |
JP2021176078A (ja) | 深層学習及びベクトル場推定による特徴検出 | |
JP2022105442A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6452324B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6198104B2 (ja) | 3次元物体認識装置及び3次元物体認識方法 | |
JP2019211914A (ja) | 物体らしさ推定装置、方法、およびプログラム | |
JP7443303B2 (ja) | 計測装置、計測方法及びプログラム | |
Joglekar et al. | Area based stereo image matching technique using Hausdorff distance and texture analysis | |
JP2018156442A (ja) | 推定器学習装置、法線方向推定装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6431404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |