JP6613876B2 - 姿勢推定装置、姿勢推定方法、およびプログラム - Google Patents
姿勢推定装置、姿勢推定方法、およびプログラム Download PDFInfo
- Publication number
- JP6613876B2 JP6613876B2 JP2015251996A JP2015251996A JP6613876B2 JP 6613876 B2 JP6613876 B2 JP 6613876B2 JP 2015251996 A JP2015251996 A JP 2015251996A JP 2015251996 A JP2015251996 A JP 2015251996A JP 6613876 B2 JP6613876 B2 JP 6613876B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- foreground
- area
- human body
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
本発明は、車両運転者の姿勢推定装置に関し、特に、車両運転者の状態を推定するうえで好適な車両運転者の姿勢推定装置に関する。
車両運転者の姿勢を推定する方法として、たとえば、特許文献１および非特許文献1の
ような方法が提案されている。特許文献１および非特許文献１では、あらかじめ距離センサーを用いて距離画像を抽出し、得られた距離画像中における着目点が人体の複数の部位（頭、肩、肘、手首など）のうち、どの部位に属するかをRandom Decision Forestsを用
いて高速に推定している。
ような方法が提案されている。特許文献１および非特許文献１では、あらかじめ距離センサーを用いて距離画像を抽出し、得られた距離画像中における着目点が人体の複数の部位（頭、肩、肘、手首など）のうち、どの部位に属するかをRandom Decision Forestsを用
いて高速に推定している。
また、車両運転者の姿勢を推定する方法として、たとえば、非特許文献2のような方法
が提案されている。非特許文献2では、体全体のアピアランス特徴だけでなく、頭部や肩
などの部位毎にアピアランス特徴を抽出し、各部位の位置関係を学習することで、姿勢変動に対する頑健性を獲得し、高精度な人体検出を実現している。
が提案されている。非特許文献2では、体全体のアピアランス特徴だけでなく、頭部や肩
などの部位毎にアピアランス特徴を抽出し、各部位の位置関係を学習することで、姿勢変動に対する頑健性を獲得し、高精度な人体検出を実現している。
また、車両運転者の姿勢を推定する方法として、たとえば、特許文献2のような方法が
提案されている。特許文献2では、運転席およびその周辺を繰り返し撮影し、得られた画
像データに含まれる車両運転者の人体特徴点を検出する。また、得られた人体特徴点の位置の変化に基づいて、人体特徴点の位置（人体特徴点予測位置）を予測する。さらに、人体特徴点予測位置に基づいて、車両運転者の行動を予測し、得られた車両運転者の行動に基づいて、自己遮蔽が発生するか否かを判断する。ここで、自己遮蔽が発生すると判断された場合には、自己遮蔽用人体特徴点検出アルゴリズムを適用する。一方、自己遮蔽が発生しないと判断された場合には、自己遮蔽を考慮しない通常用人体特徴点検出アルゴリズムを適用する。このような適応的処理により、自己遮蔽に対する頑健性を獲得し、高精度な人体検出を実現している。
提案されている。特許文献2では、運転席およびその周辺を繰り返し撮影し、得られた画
像データに含まれる車両運転者の人体特徴点を検出する。また、得られた人体特徴点の位置の変化に基づいて、人体特徴点の位置（人体特徴点予測位置）を予測する。さらに、人体特徴点予測位置に基づいて、車両運転者の行動を予測し、得られた車両運転者の行動に基づいて、自己遮蔽が発生するか否かを判断する。ここで、自己遮蔽が発生すると判断された場合には、自己遮蔽用人体特徴点検出アルゴリズムを適用する。一方、自己遮蔽が発生しないと判断された場合には、自己遮蔽を考慮しない通常用人体特徴点検出アルゴリズムを適用する。このような適応的処理により、自己遮蔽に対する頑健性を獲得し、高精度な人体検出を実現している。
また、車両運転者の姿勢を推定する方法として、たとえば、非特許文献3のような方法
が提案されている。非特許文献3では、あらかじめ、画像中における人体の各部位（頭、
肩、肘、手首など）の位置とその部位の名称とが付与された大量の学習用画像を用意する。また、用意した大量の学習用画像を用いて、画像中における人物の各部位を検出するための識別器を構成する。ここで、識別器は、深層学習を用いて構成する。さらに、得られた識別器を用いて、画像中における人体の各部位を検出し、得られた複数の部位のうち、ある部位とまた別のある部位とを、人体の骨格モデルと照らし合わせ、適切に線分で結ぶことにより、画像中における人物の姿勢を推定している。
が提案されている。非特許文献3では、あらかじめ、画像中における人体の各部位（頭、
肩、肘、手首など）の位置とその部位の名称とが付与された大量の学習用画像を用意する。また、用意した大量の学習用画像を用いて、画像中における人物の各部位を検出するための識別器を構成する。ここで、識別器は、深層学習を用いて構成する。さらに、得られた識別器を用いて、画像中における人体の各部位を検出し、得られた複数の部位のうち、ある部位とまた別のある部位とを、人体の骨格モデルと照らし合わせ、適切に線分で結ぶことにより、画像中における人物の姿勢を推定している。
J. Shotton et al., Real-time Human Pose Recognition in Parts from Single Depth Images, CVPR2011
P. F. Felzenszwalb et al., Object detection with discriminatively trained part based models, PAMI2010.
Toshev et al., DeepPose: Human Pose Estimation via Deep Neural Networks, CVPR2014
M. Schwarz et al., RGB-D Object Recognition and Pose Estimation based on Pre-trained Convolutional Neural Network Features, ICRA2015
R. Achanta et al., SLIC superpixels, Technical report, EPFL2010.
Y. Boykov et al., Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images. ICCV2001
C. Rother et al., "Grab-Cut": Interactive Foreground Extraction Using Iterated Graph Cuts. SIGGRAPH2004
特許文献１および非特許文献１は、人体のそれぞれの領域がどの部位に属するかを判定している。したがって、人体の各領域がどの部位に属するかを示す学習データを用意しなければならないが、このような学習データを用意することが煩雑である。３Ｄモデルを使って学習データを作成することも行われているが、車両運転者の人体を３Ｄモデルで表すことは容易ではない。
また、非特許文献2のように、体全体のアピアランス特徴だけでなく、頭部や肩などの
部位毎にアピアランス特徴を抽出し、各部位の位置関係を学習する場合には、検出時における処理量が膨大となり、GPGPUなどの特殊なハードウェアを用いなければ、実時間処理
が困難であるという問題がある。
部位毎にアピアランス特徴を抽出し、各部位の位置関係を学習する場合には、検出時における処理量が膨大となり、GPGPUなどの特殊なハードウェアを用いなければ、実時間処理
が困難であるという問題がある。
また、特許文献2のように、あらかじめ、自己遮蔽が発生するか否かを判断し、適応的
に処理を行う場合には、自己遮蔽の発生の有無を正確に判断することができなければ、推定精度が低下する問題がある。
に処理を行う場合には、自己遮蔽の発生の有無を正確に判断することができなければ、推定精度が低下する問題がある。
また、非特許文献3のように、深層学習を用いて画像中における人物の各部位を検出す
るための識別器を構成する場合には、学習データの作成が比較的容易である。人物の各部位を指定するだけでよいからである。しかしながら、非特許文献3の手法では、人体の部
位の位置が直接推定されるので、画像中の人物の輪郭情報を抽出することができないという問題がある。
るための識別器を構成する場合には、学習データの作成が比較的容易である。人物の各部位を指定するだけでよいからである。しかしながら、非特許文献3の手法では、人体の部
位の位置が直接推定されるので、画像中の人物の輪郭情報を抽出することができないという問題がある。
上記の実情を考慮して、本発明は、高速かつ精度良く車両運転者の姿勢情報を推定可能な技術を提供することを目的とする。
上記課題を解決するために、本発明の一態様に係る姿勢推定装置は、
車両内を撮影した車内画像と当該車内画像に対応する距離画像とに基づいて、前記車内画像における車両内の人物の人体の部位の位置を検出する人体部位検出手段と、
前記車内画像を複数の局所領域に分割する局所領域抽出手段と、
前記局所領域のうち少なくとも一つを前景候補領域として設定する前景候補領域設定手段と、
前記局所領域のうち少なくとも一つを背景候補領域として設定する背景候補領域設定手段と、
前記前景候補領域と前記背景候補領域とに基づいて、前記車内画像を前景領域と背景領域とに分割する前景背景分離手段と、
を備える、ことを特徴とする。
車両内を撮影した車内画像と当該車内画像に対応する距離画像とに基づいて、前記車内画像における車両内の人物の人体の部位の位置を検出する人体部位検出手段と、
前記車内画像を複数の局所領域に分割する局所領域抽出手段と、
前記局所領域のうち少なくとも一つを前景候補領域として設定する前景候補領域設定手段と、
前記局所領域のうち少なくとも一つを背景候補領域として設定する背景候補領域設定手段と、
前記前景候補領域と前記背景候補領域とに基づいて、前記車内画像を前景領域と背景領域とに分割する前景背景分離手段と、
を備える、ことを特徴とする。
本発明の一態様に係る姿勢推定方法は、
コンピュータが実行する姿勢推定方法であって、
車両内を撮影した車内画像と当該車内画像に対応する距離画像とに基づいて、前記車内画像における車両内の人物の人体の部位の位置を検出する人体部位検出ステップと、
前記車内画像を複数の局所領域に分割する局所領域抽出ステップと、
前記局所領域のうち少なくとも一つを前景候補領域として設定する前景候補領域設定ステップと、
前記局所領域のうち少なくとも一つを背景候補領域として設定する背景候補領域設定ステップと、
前記前景候補領域と前記背景候補領域とに基づいて、前記車内画像を前景領域と背景領域とに分割する前景背景分離ステップと、
を含むことを特徴とする。
コンピュータが実行する姿勢推定方法であって、
車両内を撮影した車内画像と当該車内画像に対応する距離画像とに基づいて、前記車内画像における車両内の人物の人体の部位の位置を検出する人体部位検出ステップと、
前記車内画像を複数の局所領域に分割する局所領域抽出ステップと、
前記局所領域のうち少なくとも一つを前景候補領域として設定する前景候補領域設定ステップと、
前記局所領域のうち少なくとも一つを背景候補領域として設定する背景候補領域設定ステップと、
前記前景候補領域と前記背景候補領域とに基づいて、前記車内画像を前景領域と背景領域とに分割する前景背景分離ステップと、
を含むことを特徴とする。
本発明によれば、車両運転者の姿勢を高速かつ精度良く推定することができる。
（第1の実施形態）
本発明の第1の実施形態について、図1〜図12を参照して説明する。
本発明の第1の実施形態について、図1〜図12を参照して説明する。
図1(A)は、本発明の第1の実施形態に係る姿勢推定装置1の概略構成を示すブロック図である。本実施形態に係る姿勢推定装置は、半導体集積回路(LSI)を用いて実現できる。こ
こで、姿勢推定装置1は、図1(A)に示すように、画像情報抽出部11と、奥行情報抽出部12
と、人体部位検出部13と、人体部位連結部14と、姿勢情報抽出部15と、を有する。これらの構成要素は姿勢推定装置1が果たす機能にそれぞれ対応している。
こで、姿勢推定装置1は、図1(A)に示すように、画像情報抽出部11と、奥行情報抽出部12
と、人体部位検出部13と、人体部位連結部14と、姿勢情報抽出部15と、を有する。これらの構成要素は姿勢推定装置1が果たす機能にそれぞれ対応している。
画像情報抽出部11は、図2のように、姿勢推定装置1の外部から入力される車両内の画像（以下、車両内画像）を取得し、得られた時刻tにおける車両内画像I(t)を人体部位検出
部13および人体部位連結部14に出力する。車両内画像は、車内カメラから取得されても良いし、通信あるいは記憶媒体を介して取得されても良い。
部13および人体部位連結部14に出力する。車両内画像は、車内カメラから取得されても良いし、通信あるいは記憶媒体を介して取得されても良い。
奥行情報抽出部12は、車両内の奥行情報（以下、車両内奥行情報）を取得し、得られた時刻tにおける車両内奥行情報D(t)を人体部位検出部13および人体部位連結部14に出力す
る。車両内奥行き情報は、車内の距離センサーから取得されても良いし、通信あるいは記憶媒体を介して取得されても良い。なお、車両内画像と車両内奥行情報は、同じ画素（位置）が被写体の同一個所の色情報および奥行き情報を示すように調整されているものとする。
る。車両内奥行き情報は、車内の距離センサーから取得されても良いし、通信あるいは記憶媒体を介して取得されても良い。なお、車両内画像と車両内奥行情報は、同じ画素（位置）が被写体の同一個所の色情報および奥行き情報を示すように調整されているものとする。
人体部位検出部13は、図3のように、画像情報抽出部11で得られた車両内画像I(t)と、
奥行情報抽出部12で得られた車両内奥行情報D(t)とに基づいて、車両内の人物のM個の部
位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)を検出する。ここで、xm(t)は、時刻tでのm
番目の部位（以下、部位mと称する）の車両内画像I(t)における水平方向座標を表す。ま
た、ym(t)は、時刻tでの部位mの車両内画像I(t)における垂直方向座標を表す。同様に、zm(t)は、時刻tでの部位mの車両内画像I(t)における奥行方向座標を表し、車両内奥行情報D(t)の座標(xm(t),ym(t))における値で与えられる。
奥行情報抽出部12で得られた車両内奥行情報D(t)とに基づいて、車両内の人物のM個の部
位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)を検出する。ここで、xm(t)は、時刻tでのm
番目の部位（以下、部位mと称する）の車両内画像I(t)における水平方向座標を表す。ま
た、ym(t)は、時刻tでの部位mの車両内画像I(t)における垂直方向座標を表す。同様に、zm(t)は、時刻tでの部位mの車両内画像I(t)における奥行方向座標を表し、車両内奥行情報D(t)の座標(xm(t),ym(t))における値で与えられる。
具体的には、車両内の人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)は、
たとえば、非特許文献3のように、あらかじめ、車両内の人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)と、その部位の名称とが付与された学習用の画像を用いて、深層学習により車両内における人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)
を検出するための識別器C1を構成し、得られた識別器C1を用いて、車両内における人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)を検出すればよい。
たとえば、非特許文献3のように、あらかじめ、車両内の人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)と、その部位の名称とが付与された学習用の画像を用いて、深層学習により車両内における人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)
を検出するための識別器C1を構成し、得られた識別器C1を用いて、車両内における人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)を検出すればよい。
あるいは、車両内の人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)は、た
とえば、非特許文献4のように、あらかじめ、車両内の人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)と、その部位の名称とが付与された学習用の画像とその奥行情報とを用いて、深層学習により車両内における人物のM個の部位の座標(xm(t),ym(t),zm(t))
(m=1,2,…,M)を検出するための識別器C2を構成し、得られた識別器C2を用いて、車両内
における人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)を検出してもよい。
とえば、非特許文献4のように、あらかじめ、車両内の人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)と、その部位の名称とが付与された学習用の画像とその奥行情報とを用いて、深層学習により車両内における人物のM個の部位の座標(xm(t),ym(t),zm(t))
(m=1,2,…,M)を検出するための識別器C2を構成し、得られた識別器C2を用いて、車両内
における人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)を検出してもよい。
このような識別器を生成するために必要な学習データは、車両内画像と車両内奥行情報と、人体の各部位の位置の正解のみである。すなわち、学習データには、人体の各領域がどの部位に属するかの指定が不要である。このような学習データを用意することは比較的容易である。
人体部位連結部14は、図4のように、画像情報抽出部11で得られた車両内画像I(t)と、
奥行情報抽出部12で得られた車両内奥行情報D(t)と、人体部位検出部13で得られた車両内の人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)とに基づいて、人体の部位
間を適切に線分で連結し、人体の骨格モデルB(t)を生成する。
奥行情報抽出部12で得られた車両内奥行情報D(t)と、人体部位検出部13で得られた車両内の人物のM個の部位の座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)とに基づいて、人体の部位
間を適切に線分で連結し、人体の骨格モデルB(t)を生成する。
図4の例では、M=10であり、図中の数字は部位番号mを表す。具体的には、部位1は頭、
部位2は右肩、部位3は肩中央、部位4は左肩、部位5は右肘、部位6は右尻、部位7は左尻、部位8は左肘、部位9は右手、部位10は左手である。
部位2は右肩、部位3は肩中央、部位4は左肩、部位5は右肘、部位6は右尻、部位7は左尻、部位8は左肘、部位9は右手、部位10は左手である。
また、これらの部位間を線分で連結する際は、ある部位に着目し、その部位から見て測地線距離（実空間での距離）が1番目に近い部位と、2番目に近い部位とを線分で結べばよい。たとえば、図4において、部位5に着目した場合、ユークリッド距離（画像内での距離）で1番目に近いのは部位6であるが、測地線距離で1番目に近いのは部位2であり、2番目
に近いのは、部位9である。よって、部位5は、部位2および部位9と線分で結ばれる。同様に、部位7に着目した場合、ユークリッド距離で1番目に近いのは部位8であるが、測地線
距離で1番目に近いのは部位6であり、2番目に近いのは部位4である。よって、部位7は、
部位6および部位4と線分で結ばれる。その他の部位に対しても同様である。ただし、端にある部位1、部位9、部位10はその例外であり、それぞれ測地線距離で最も近い1つの部位
と連結される。
に近いのは、部位9である。よって、部位5は、部位2および部位9と線分で結ばれる。同様に、部位7に着目した場合、ユークリッド距離で1番目に近いのは部位8であるが、測地線
距離で1番目に近いのは部位6であり、2番目に近いのは部位4である。よって、部位7は、
部位6および部位4と線分で結ばれる。その他の部位に対しても同様である。ただし、端にある部位1、部位9、部位10はその例外であり、それぞれ測地線距離で最も近い1つの部位
と連結される。
姿勢情報抽出部15は、図1(B)のように、局所領域抽出部151と、前景候補領域設定部152と、背景候補領域設定部153と、前景背景分離部154と、部位輪郭重畳部155とから構成さ
れる。ここで、姿勢情報抽出部15は、画像情報抽出部11で得られた車両内画像I(t)と、奥行情報抽出部12で得られた車両内奥行情報D(t)と、人体部位連結部14で得られた人体の骨格モデルB(t)とに基づいて、時刻tにおける車両内の人物の姿勢情報P(t)を抽出する。以
下にその詳細を述べる。
れる。ここで、姿勢情報抽出部15は、画像情報抽出部11で得られた車両内画像I(t)と、奥行情報抽出部12で得られた車両内奥行情報D(t)と、人体部位連結部14で得られた人体の骨格モデルB(t)とに基づいて、時刻tにおける車両内の人物の姿勢情報P(t)を抽出する。以
下にその詳細を述べる。
局所領域抽出部151は、車両内画像I(t)を、その中での各点での特徴量が類似する連続
した局所領域に分割する。特徴量として、色または輝度および奥行き情報を用いることができる。図5は、局所領域抽出部151による局所領域への分割結果を示す。局所領域抽出部151は、車両内画像I(t)をN個の局所領域Rn(n=1,2,…,N)に分割し、前景候補領域設定部152および背景候補領域設定部153に出力する。各局所領域に含まれる各点の奥行き情報はほぼ同一であり、したがって、各局所領域は車両内画像I(t)の前景と背景との境界を跨がない。ここで、N個の局所領域Rn (n=1,2,…,N)は、たとえば、非特許文献5を用いて設定す
ることができる。
した局所領域に分割する。特徴量として、色または輝度および奥行き情報を用いることができる。図5は、局所領域抽出部151による局所領域への分割結果を示す。局所領域抽出部151は、車両内画像I(t)をN個の局所領域Rn(n=1,2,…,N)に分割し、前景候補領域設定部152および背景候補領域設定部153に出力する。各局所領域に含まれる各点の奥行き情報はほぼ同一であり、したがって、各局所領域は車両内画像I(t)の前景と背景との境界を跨がない。ここで、N個の局所領域Rn (n=1,2,…,N)は、たとえば、非特許文献5を用いて設定す
ることができる。
前景候補領域設定部152は、図6のように、人体部位連結部14で得られた人体の骨格モデルB(t)と、局所領域抽出部151で得られたN個の局所領域Rn(n=1,2,…,N)とに基づいて、車両内画像I(t)および車両内奥行情報D(t)におけるK個の前景領域Fk(k=1,2,…,K)を設定し
、背景候補領域設定部153と前景背景分離部154とに出力する。
、背景候補領域設定部153と前景背景分離部154とに出力する。
具体的には、図7のように、N個の局所領域Rn(n=1,2,…,N)のうち、人体部位連結部14で得られた人体の部位間を結ぶ線分が通る（当該線分と交わる）局所領域と、これらの線分に囲まれた（包含された）局所領域とを前景領域として設定すればよい。たとえば、図7
の例では、線分1-3（部位1と部位3を結ぶ線分。以下同様）が通る局所領域としてF1 とF2、線分2-3が通る局所領域としてF3、線分3-4が通る局所領域としてF4、線分2-5が通る局
所領域としてF6、線分5-9が通る局所領域としてF10とF12、線分4-8が通る局所領域としてF9、線分8-10が通る局所領域としてF11とF13、さらに、線分2-3と線分3-4と線分4-7と線
分7-6と線分6-2の5辺の線分に囲まれる局所領域としてF5、このように合計13個（K=13）
の局所領域が前景領域として設定される。このように、前景と背景との境界を跨がない複数の局所領域に分割し、前景領域に対する複数の候補領域を指定することで、前景領域に対するより多くの情報を正確に抽出することができる。
の例では、線分1-3（部位1と部位3を結ぶ線分。以下同様）が通る局所領域としてF1 とF2、線分2-3が通る局所領域としてF3、線分3-4が通る局所領域としてF4、線分2-5が通る局
所領域としてF6、線分5-9が通る局所領域としてF10とF12、線分4-8が通る局所領域としてF9、線分8-10が通る局所領域としてF11とF13、さらに、線分2-3と線分3-4と線分4-7と線
分7-6と線分6-2の5辺の線分に囲まれる局所領域としてF5、このように合計13個（K=13）
の局所領域が前景領域として設定される。このように、前景と背景との境界を跨がない複数の局所領域に分割し、前景領域に対する複数の候補領域を指定することで、前景領域に対するより多くの情報を正確に抽出することができる。
背景候補領域設定部153は、図8のように、前景候補領域設定部152で得られたK個の前景領域Fk(k=1,2,…,K)に基づいて、車両内画像I(t)および車両内奥行情報D(t)におけるL個
の背景領域Bl(l=1,2,…,L)を設定する。
の背景領域Bl(l=1,2,…,L)を設定する。
具体的には、図9のように、背景領域Bl(l=1,2,…,L)は、前景領域Fk(k=1,2,…,K)をそ
の内部に含む連続した局所領域群のうちで、それらの局所領域の各々の重心位置を通る経路が最短となる局所領域群を背景領域として設定すればよい。たとえば、図8の例では、19個（L=19）の局所領域群が背景領域として設定される。この処理は、前景領域Fkに隣接
する局所領域を暫定的に背景領域群に設定し、重心位置を通る経路が最短となるように背景領域群を修正していくことによって行える。このように、前景と背景との境界を跨がない複数の局所領域に分割し、背景領域に対する複数の候補領域を指定することで、背景領域に対するより多くの情報を正確に抽出することができる。
の内部に含む連続した局所領域群のうちで、それらの局所領域の各々の重心位置を通る経路が最短となる局所領域群を背景領域として設定すればよい。たとえば、図8の例では、19個（L=19）の局所領域群が背景領域として設定される。この処理は、前景領域Fkに隣接
する局所領域を暫定的に背景領域群に設定し、重心位置を通る経路が最短となるように背景領域群を修正していくことによって行える。このように、前景と背景との境界を跨がない複数の局所領域に分割し、背景領域に対する複数の候補領域を指定することで、背景領域に対するより多くの情報を正確に抽出することができる。
前景背景分離部154は、図10のように、画像情報抽出部11で得られた車両内画像I(t)と
、奥行情報抽出部12で得られた車両内奥行情報D(t)と、前景候補領域設定部152で得られ
たK個の前景領域Fk(k=1,2,…,K)と、背景候補領域設定部153で得られたL個の背景領域Bl(l=1,2,…,L)とに基づいて、車両内の人物の輪郭情報S(t)を抽出する。輪郭情報S(t)は、
車両内画像I(t)の各画素が人物領域（S(t)=1）であるか背景領域（S(t)=0）であるかを表す情報である。図10において、点線領域は、車両内の人物領域S(t)=1を表し、点線領域以外の領域は、車両内の背景領域S(t)=0を表す。
、奥行情報抽出部12で得られた車両内奥行情報D(t)と、前景候補領域設定部152で得られ
たK個の前景領域Fk(k=1,2,…,K)と、背景候補領域設定部153で得られたL個の背景領域Bl(l=1,2,…,L)とに基づいて、車両内の人物の輪郭情報S(t)を抽出する。輪郭情報S(t)は、
車両内画像I(t)の各画素が人物領域（S(t)=1）であるか背景領域（S(t)=0）であるかを表す情報である。図10において、点線領域は、車両内の人物領域S(t)=1を表し、点線領域以外の領域は、車両内の背景領域S(t)=0を表す。
ここで、車両内の人物の輪郭情報S(t)は、たとえば、非特許文献6,7などの既存の前景
抽出技術を用いて抽出することができる。
抽出技術を用いて抽出することができる。
一般に、非特許文献6および非特許文献7の前景抽出処理では、あらかじめ、ユーザーが画像中の前景と背景の候補領域を手作業で入力し、得られた前景および背景の候補領域の各々に基づいて、画像全体を前景領域と背景領域の2つの領域に分離する。一方、本実施
形態によれば、あらかじめユーザーが前景および背景の候補領域を手作業で入力することなく、自動で画像全体を前景領域（すなわち、車両内の人物領域）とその背景領域に分離することが可能となる。
形態によれば、あらかじめユーザーが前景および背景の候補領域を手作業で入力することなく、自動で画像全体を前景領域（すなわち、車両内の人物領域）とその背景領域に分離することが可能となる。
また、非特許文献6および非特許文献7では、ユーザーによる前景および背景の候補領域の指定は、線分として入力される。そのため、前景および背景領域における特徴をうまく抽出できない場合がある。一方、本実施形態によれば、前景と背景との境界を跨がない複数の局所領域に分割し、前景および背景領域に対する複数の候補領域を指定することで、前景および背景領域に対するより多くの情報を正確に抽出することができ、非特許文献6
および非特許文献7を用いて精度よく画像全体を前景（すなわち、車両内の人物領域）と
その背景領域に分離することが可能となる。
および非特許文献7を用いて精度よく画像全体を前景（すなわち、車両内の人物領域）と
その背景領域に分離することが可能となる。
部位輪郭重畳部155は、図11のように、人体部位連結部14で得られた車両内の人物の骨
格モデルB(t)と、前景背景分離部154で得られた車両内の人物の輪郭情報S(t)とを重畳し
、車両内の人物の姿勢推定結果P(t)を生成する。
格モデルB(t)と、前景背景分離部154で得られた車両内の人物の輪郭情報S(t)とを重畳し
、車両内の人物の姿勢推定結果P(t)を生成する。
このようにして得られた車両内の人物の姿勢推定結果P(t)は、姿勢推定装置1を活用す
るより上位の装置に伝達され、車両内の人物の姿勢情報を入力とする様々なアプリケーションに適用される。たとえば、車両運転者の体格（大柄なのか小柄なのか）に応じたエアバッグの制御などに適用される。
るより上位の装置に伝達され、車両内の人物の姿勢情報を入力とする様々なアプリケーションに適用される。たとえば、車両運転者の体格（大柄なのか小柄なのか）に応じたエアバッグの制御などに適用される。
本実施形態によれば、人体の各部位の位置と輪郭情報とを含む姿勢推定結果を得ることができる。人体の各部位の検出に部位位置を直接推定する識別器を利用しており、これにより、学習データの準備が容易になるという利点と、各部位位置の推定が容易であるという利点が得られる。ただし、この場合、人体の各部位の位置が検出され、人体の輪郭が検出されない。本実施形態では、検出された部位位置から、前景（人体領域）と背景の候補を推定し、これを入力として前景抽出処理により前景（人体領域）を抽出している。候補領域をユーザーが自ら行う必要がないという利点と、線分ではなく局所領域単位で候補領域を指定しているため精度の良い前景抽出が行えるという利点がある。
本実施形態は例示に過ぎず、種々の変形が可能である。例えば、上記の説明では、局所領域の中から前景候補を設定する際に、できるだけ多くの前景候補を設定するようにしている。こうすることで精度の良い輪郭情報の抽出が行えるが、必ずしも上記のようにして前景候補を設定する必要はない。例えば、上記の実施形態で説明した条件を満たす局所領域のうちの一部のみを前景候補としても良い。背景候補も、上記の方法以外によって設定しても良い。例えば、重心を結ぶ経路が最短になるようにするという条件を除外して背景
候補を設定しても良い。また、奥行き情報から背景であると推定できる領域を背景候補に設定しても良い。
候補を設定しても良い。また、奥行き情報から背景であると推定できる領域を背景候補に設定しても良い。
（第2の実施形態）
本発明の第2の実施形態について、図12〜図15を参照して説明する。
本発明の第2の実施形態について、図12〜図15を参照して説明する。
図12(A)は、本発明の第2の実施形態に係る姿勢推定装置2の概略構成を示すブロック図
である。本実施形態に係る姿勢推定装置は、半導体集積回路(LSI)を用いて実現できる。
ここで、姿勢推定装置2は、図12(A)に示すように、画像情報抽出部21と、奥行情報抽出部22と、人体部位検出部23と、人体部位連結部24と、姿勢情報抽出部25と、を有する。これらの構成要素は姿勢推定装置2が果たす機能にそれぞれ対応している。なお、本実施形態
においては、第1の実施形態との相違箇所のみ言及する。
である。本実施形態に係る姿勢推定装置は、半導体集積回路(LSI)を用いて実現できる。
ここで、姿勢推定装置2は、図12(A)に示すように、画像情報抽出部21と、奥行情報抽出部22と、人体部位検出部23と、人体部位連結部24と、姿勢情報抽出部25と、を有する。これらの構成要素は姿勢推定装置2が果たす機能にそれぞれ対応している。なお、本実施形態
においては、第1の実施形態との相違箇所のみ言及する。
第1の実施形態では、姿勢情報抽出部15において、車両内画像I(t)をN個の局所領域Rn(n=1,2,…,N)に分割し、得られたN個の局所領域Rn(n=1,2,…,N)のみに基づいて、車両内の
人物の輪郭情報S(t)を抽出している。すなわち、第1の実施形態では、1つの局所領域群に基づいて人物の輪郭情報S(t)を抽出している。これに対して、本実施形態では、粒度が異なる複数の局所領域群を作成し、これら複数の局所領域群を用いて人物の輪郭情報S(t)を抽出する。
人物の輪郭情報S(t)を抽出している。すなわち、第1の実施形態では、1つの局所領域群に基づいて人物の輪郭情報S(t)を抽出している。これに対して、本実施形態では、粒度が異なる複数の局所領域群を作成し、これら複数の局所領域群を用いて人物の輪郭情報S(t)を抽出する。
より具体的には、本実施形態では、車両内画像I(t)をN1個の局所領域R1n(n=1,2,…,N1)に分割し、得られたN1個の局所領域R1n(n=1,2,…,N1)に基づいて、車両内の人物の輪郭情報S1(t)を抽出する。また、車両内画像I(t)をN2個（N2>N1）の局所領域R2n(n=1,2,…,N2)に分割し、得られたN2個の局所領域R2n(n=1,2,…,N2)に基づいて、車両内の人物の輪郭情報S2(t)を抽出する。さらに、車両内画像I(t)をN3個（N3>N2）の局所領域R3n(n=1,2,…,N3)に分割し、得られたN3個の局所領域R3n(n=1,2,…,N3)に基づいて、車両内の人物の輪郭情報S3(t)を抽出する。このようにして得られた車両内の人物に対する複数の輪郭情報S1(t)と、S2(t)と、S3(t)とを適切に統合することで、最終的な車両内の人物の輪郭情報S(t)を抽出する点に特徴がある。なお、ここでは、粒度の異なる3つの局所領域R1n(n=1,2,…,N1)、R2n(n=1,2,…,N2)、R3n(n=1,2,…,N3)、を設定したが、それ3つ以上あるいは3つ以
下の局所領域群を設定しても構わない。
下の局所領域群を設定しても構わない。
姿勢情報抽出部25は、図12(B)のように、局所領域抽出部251と、前景候補領域設定部252と、背景候補領域設定部253と、前景背景分離部254と、輪郭情報統合部255と、部位輪郭重畳部256とから構成される。ここで、姿勢情報抽出部25は、画像情報抽出部21で得られ
た車両内画像I(t)と、奥行情報抽出部22で得られた車両内奥行情報D(t)と、人体部位連結部24で得られた人体の骨格モデルB(t)とに基づいて、時刻tにおける車両内の人物の姿勢
情報P(t)を抽出する。以下にその詳細を述べる。
た車両内画像I(t)と、奥行情報抽出部22で得られた車両内奥行情報D(t)と、人体部位連結部24で得られた人体の骨格モデルB(t)とに基づいて、時刻tにおける車両内の人物の姿勢
情報P(t)を抽出する。以下にその詳細を述べる。
局所領域抽出部251は、図13(A)-13(C)のように、車両内画像I(t)を前景と背景との境界を跨がないN1個の局所領域R1n(n=1,2,…,N1)と、N2個（N2> N1）の局所領域R2n(n=1,2,…,N2)と、N3個（N3> N2）の局所領域R3n(n=1,2,…,N3)とに各々分割し、前景候補領域設定部252および背景候補領域設定部253とに出力する。
前景候補領域設定部252は、図14(A)-14(C)のように、人体部位連結部24で得られた人体の骨格モデルB(t)と、局所領域抽出部251で得られたN1個の局所領域R1n(n=1,2,…,N1)と
、N2個の局所領域R2n(n=1,2,…,N2)と、N3個の局所領域R3n(n=1,2,…,N3)とに基づいて、車両内画像I(t)および車両内奥行情報D(t)におけるK1個の前景領域F1k(k=1,2,…,K1)と、K2個の前景領域F2k(k=1,2,…,K2)と、K3個の前景領域F3k(k=1,2,…,K3)とを各々設定し、背景候補領域設定部253と前景背景分離部254とに出力する。
、N2個の局所領域R2n(n=1,2,…,N2)と、N3個の局所領域R3n(n=1,2,…,N3)とに基づいて、車両内画像I(t)および車両内奥行情報D(t)におけるK1個の前景領域F1k(k=1,2,…,K1)と、K2個の前景領域F2k(k=1,2,…,K2)と、K3個の前景領域F3k(k=1,2,…,K3)とを各々設定し、背景候補領域設定部253と前景背景分離部254とに出力する。
輪郭情報統合部255は、図15(A)-15(C)のように、前景背景分離部254で得られた、局所
領域R1n(n=1,2,…,N1)による車両内の人物の輪郭情報S1(t)と、局所領域R2n(n=1,2,…,N1)による車両内の人物の輪郭情報S2(t)と、局所領域R3n(n=1,2,…,N1)による車両内の人物の輪郭情報S3(t)とを投票により統合し、車両内の人物の輪郭情報S(t)を生成する。
領域R1n(n=1,2,…,N1)による車両内の人物の輪郭情報S1(t)と、局所領域R2n(n=1,2,…,N1)による車両内の人物の輪郭情報S2(t)と、局所領域R3n(n=1,2,…,N1)による車両内の人物の輪郭情報S3(t)とを投票により統合し、車両内の人物の輪郭情報S(t)を生成する。
具体的には、車両内画像I(t)における着目点(x,y)において、S1(t)=1で、かつS2(t)=1
で、かつS3(t)=1が成立するとき、投票数は3/3となり、着目点(x,y)においてS(t)=1とす
ればよい。また、車両内画像I(t)における着目点(x,y)において、S1(t)=1で、かつS2(t)=1で、かつS3(t)=0が成立するとき、投票数は2/3となり、着目点(x,y)においてS(t)=1とすればよい。また、車両内画像I(t)における着目点(x,y)において、S1(t)=1で、かつS2(t)=0で、かつS3(t)=1が成立するとき、投票数は2/3となり、着目点(x,y)においてS(t)=1とすればよい。また、車両内画像I(t)における着目点(x,y)において、S1(t)=0で、かつS2(t)=1で、かつS3(t)=1が成立するとき、投票数は2/3となり、着目点(x,y)においてS(t)=1とすればよい。また、それ以外の場合は、投票数は2/3以下となり、着目点(x,y)においてS(t)=0とすればよい。
で、かつS3(t)=1が成立するとき、投票数は3/3となり、着目点(x,y)においてS(t)=1とす
ればよい。また、車両内画像I(t)における着目点(x,y)において、S1(t)=1で、かつS2(t)=1で、かつS3(t)=0が成立するとき、投票数は2/3となり、着目点(x,y)においてS(t)=1とすればよい。また、車両内画像I(t)における着目点(x,y)において、S1(t)=1で、かつS2(t)=0で、かつS3(t)=1が成立するとき、投票数は2/3となり、着目点(x,y)においてS(t)=1とすればよい。また、車両内画像I(t)における着目点(x,y)において、S1(t)=0で、かつS2(t)=1で、かつS3(t)=1が成立するとき、投票数は2/3となり、着目点(x,y)においてS(t)=1とすればよい。また、それ以外の場合は、投票数は2/3以下となり、着目点(x,y)においてS(t)=0とすればよい。
ここでは、単純な多数決に基づいて人物領域か否かを判定しているが、重み付き多数決によって人物領域か否かを判定してもよい。それぞれの輪郭情報Sn(t)に対する重みは適
宜決めれば良く、例えば、複数の輪郭情報Sn(t)と人物領域か否かを表す情報からなる学
習データをもとに学習処理によって決定することが考えられる。
宜決めれば良く、例えば、複数の輪郭情報Sn(t)と人物領域か否かを表す情報からなる学
習データをもとに学習処理によって決定することが考えられる。
（変形例）
上記の実施形態の説明は本発明の一例に過ぎず、本発明は上記実施形態に限定されず、種々の変形が可能である。
上記の実施形態の説明は本発明の一例に過ぎず、本発明は上記実施形態に限定されず、種々の変形が可能である。
本発明は、半導体集積回路(LSI)による実装に限定されず、ＣＰＵなどのプロセッサー
を有するコンピュータがプログラムを実行することにより実装されても良い。
を有するコンピュータがプログラムを実行することにより実装されても良い。
1…姿勢推定装置
11…画像情報抽出部
12…奥行情報抽出部
13…人体部位検出部
14…人体部位連結部
15…姿勢情報抽出部
11…画像情報抽出部
12…奥行情報抽出部
13…人体部位検出部
14…人体部位連結部
15…姿勢情報抽出部
Claims (11)
- 車両内を撮影した車内画像と当該車内画像に対応する距離画像とに基づいて、前記車内画像における車両内の人物の人体の部位の位置を検出する人体部位検出手段と、
前記車内画像を複数の局所領域に分割する局所領域抽出手段と、
前記局所領域のうち少なくとも一つを、前記人物に対応する領域の候補である前景候補領域として設定する前景候補領域設定手段と、
前記局所領域のうち少なくとも一つを、前記人物に対応しない領域の候補である背景候補領域として設定する背景候補領域設定手段と、
前記前景候補領域と前記背景候補領域とに基づいて、前記車内画像を、前記人物に対応する領域である前景領域と、前記人物に対応しない領域である背景領域とに分割する前景背景分離手段と、
を備える姿勢推定装置。 - 前記人体部位検出手段によって検出された人体の部位と、前記前景背景分離手段によって取得された前記前景領域とを、重畳して出力する重畳手段を、さらに備える、
請求項１に記載の姿勢推定装置。 - 前記前景候補領域設定手段は、人体の部位間を結ぶ線分が通る局所領域、および人体の部位間を結ぶ線分によって囲まれる局所領域を、前記前景候補領域として設定する、
請求項１または２に記載の姿勢推定装置。 - 前記人体部位検出手段によって検出された人体の部位を連結する人体部位連結手段であって、人体の部位の３次元位置に基づいて人体の部位を連結する人体部位連結手段をさらに備える、
請求項３に記載の姿勢推定装置。 - 前記背景候補領域設定手段は、前記前景候補領域をその内部に含む局所領域群を前記背景候補領域として設定する、
請求項１から４のいずれか１項に記載の姿勢推定装置。 - 前記背景候補領域設定手段は、前記前景候補領域をその内部に含む領域であって、各局所領域の重心を結ぶ経路が最小となる領域を、前記背景候補領域として設定する、
請求項５に記載の姿勢推定装置。 - 前記人体部位検出手段は、人体が撮影された画像と当該画像に対応する距離画像と、前記画像における人体の部位の正解位置とからなる学習データを用いて学習された識別器を用いて、人体の部位の位置を検出する、
請求項１から６のいずれか１項に記載の姿勢推定装置。 - 前記局所領域抽出手段は、各局所領域内で、前記車内画像の色情報または輝度情報が類似し、かつ、前記距離画像における奥行情報が類似するように、前記車内画像を複数の局所領域に分割する、
請求項１から７のいずれか１項に記載の姿勢推定装置。 - 前記局所領域抽出手段は、前記車内画像を、粒度が異なる複数の局所領域群に分割し、
前記複数の局所領域群のそれぞれに基づいて、前記前景候補領域設定手段、前記背景候補領域設定手段、および前記前景背景分離手段によって、前記車内画像を前景領域と背景領域に分割し、
前記複数の局所領域群からそれぞれ求められる前景領域と背景領域の分割結果を統合して、最終的な前景領域と背景領域の分割結果を取得する、
請求項１から８のいずれか１項に記載の姿勢推定装置。 - コンピュータが実行する姿勢推定方法であって、
車両内を撮影した車内画像と当該車内画像に対応する距離画像とに基づいて、前記車内画像における車両内の人物の人体の部位の位置を検出する人体部位検出ステップと、
前記車内画像を複数の局所領域に分割する局所領域抽出ステップと、
前記局所領域のうち少なくとも一つを、前記人物に対応する領域の候補である前景候補領域として設定する前景候補領域設定ステップと、
前記局所領域のうち少なくとも一つを、前記人物に対応しない領域の候補である背景候補領域として設定する背景候補領域設定ステップと、
前記前景候補領域と前記背景候補領域とに基づいて、前記車内画像を、前記人物に対応する領域である前景領域と、前記人物に対応しない領域である背景領域とに分割する前景背景分離ステップと、
を含む姿勢推定方法。 - 請求項１０に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015251996A JP6613876B2 (ja) | 2015-12-24 | 2015-12-24 | 姿勢推定装置、姿勢推定方法、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015251996A JP6613876B2 (ja) | 2015-12-24 | 2015-12-24 | 姿勢推定装置、姿勢推定方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017116403A JP2017116403A (ja) | 2017-06-29 |
| JP6613876B2 true JP6613876B2 (ja) | 2019-12-04 |
Family
ID=59233972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015251996A Active JP6613876B2 (ja) | 2015-12-24 | 2015-12-24 | 姿勢推定装置、姿勢推定方法、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6613876B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163046B (zh) * | 2018-06-19 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 人体姿态识别方法、装置、服务器及存储介质 |
| US10666858B2 (en) | 2018-10-30 | 2020-05-26 | Sony Corporation | Deep-learning-based system to assist camera autofocus |
| CN113330482A (zh) * | 2019-03-13 | 2021-08-31 | 日本电气方案创新株式会社 | 关节位置推断装置、关节位置推断方法及计算机可读取的记录介质 |
| CN111062326B (zh) * | 2019-12-02 | 2023-07-25 | 北京理工大学 | 一种基于几何驱动的自监督人体3d姿态估计网络训练方法 |
| WO2022180706A1 (ja) * | 2021-02-25 | 2022-09-01 | 三菱電機株式会社 | 体格判定装置および体格判定方法 |
| CN113486708B (zh) * | 2021-05-24 | 2022-03-25 | 浙江大华技术股份有限公司 | 人体姿态预估方法、模型训练方法、电子设备和存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3411971B2 (ja) * | 2001-02-14 | 2003-06-03 | 三菱電機株式会社 | 人物像抽出装置 |
| JP2008002838A (ja) * | 2006-06-20 | 2008-01-10 | Takata Corp | 車両乗員検出システム、作動装置制御システム、車両 |
| JP4905931B2 (ja) * | 2006-07-04 | 2012-03-28 | 富士フイルム株式会社 | 人体領域抽出方法および装置並びにプログラム |
| JP4873711B2 (ja) * | 2006-12-05 | 2012-02-08 | 本田技研工業株式会社 | 三次元物体を検出する装置 |
| JP5233977B2 (ja) * | 2009-12-11 | 2013-07-10 | 株式会社デンソー | 乗員姿勢推定装置 |
| JP5567448B2 (ja) * | 2010-10-15 | 2014-08-06 | Ｋｄｄｉ株式会社 | 画像領域分割装置、画像領域分割方法および画像領域分割プログラム |
| JP5867198B2 (ja) * | 2012-03-14 | 2016-02-24 | オムロン株式会社 | 領域指定方法及び領域指定装置 |
| EP2674913B1 (en) * | 2012-06-14 | 2014-07-23 | Softkinetic Software | Three-dimensional object modelling fitting & tracking. |
| CN103164858B (zh) * | 2013-03-20 | 2015-09-09 | 浙江大学 | 基于超像素和图模型的粘连人群分割与跟踪方法 |
-
2015
- 2015-12-24 JP JP2015251996A patent/JP6613876B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017116403A (ja) | 2017-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6613876B2 (ja) | 姿勢推定装置、姿勢推定方法、およびプログラム | |
| JP7190842B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| CN105590312B (zh) | 前景图像分割方法和装置 | |
| JP5952001B2 (ja) | 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム | |
| JP5657113B2 (ja) | 映像内のオブジェクトの意味解析 | |
| CN107735797B (zh) | 用于确定第一坐标系与第二坐标系之间的运动的方法 | |
| US8355529B2 (en) | Motion capture apparatus and method, and motion capture program | |
| CN104834887B (zh) | 运动行人表示方法、识别方法及其装置 | |
| US20190026922A1 (en) | Markerless augmented reality (ar) system | |
| US10957068B2 (en) | Information processing apparatus and method of controlling the same | |
| JP2019040465A (ja) | 行動認識装置，学習装置，並びに方法およびプログラム | |
| WO2019180414A1 (en) | Localisation, mapping and network training | |
| JP2007004767A (ja) | 画像認識装置、方法およびプログラム | |
| JP2009020761A (ja) | 画像処理装置及びその方法 | |
| JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
| JP2008140290A (ja) | 頭部の位置・姿勢検出装置 | |
| EP3836085A1 (en) | Multi-view three-dimensional positioning | |
| CN108932734A (zh) | 单目图像的深度恢复方法及装置、计算机设备 | |
| CN110349215A (zh) | 一种相机位姿估计方法及装置 | |
| CN116958584B (zh) | 关键点检测方法、回归模型的训练方法、装置及电子设备 | |
| JP2020135747A (ja) | 行動分析装置および行動分析方法 | |
| Aldahoul et al. | A comparison between various human detectors and CNN-based feature extractors for human activity recognition via aerial captured video sequences | |
| WO2014006786A1 (ja) | 特徴量抽出装置および特徴量抽出方法 | |
| JP2007213528A (ja) | 行動認識システム | |
| KR102068489B1 (ko) | 3차원 객체 생성 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190305 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191008 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191021 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6613876 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |