JP7479575B2 - 体格推定装置および体格推定方法 - Google Patents

Description

本開示は、車両の乗員の体格推定装置および体格推定方法に関する。

従来、車両内の乗員を撮像した撮像画像に基づいて当該乗員の体格を推定する技術が知られている（例えば、特許文献１）。

特開２０２０－１０４６８０号公報

車両において、乗員が着座している座席は、車両の進行方向に対して前後に移動され得る。座席が前後に移動されると、その移動に伴い、乗員は、撮像画像上で、大きく撮像される、または、小さく撮像される。
特許文献１に記載されているような従来技術では、乗員の姿勢の傾きが考慮されているが、座席が前後に移動させられることに伴って撮像画像上で乗員が大きく撮像される、または、小さく撮像されることについて考慮されていない。そのため、従来技術では、乗員が着座している座席が前後に移動させられた場合に当該乗員の体格を誤推定することがあるという課題があった。
なお、特許文献１には、座席の状態の変化（例えば、スライド、リクライニング）が発生すると乗員の体格の検知精度が低くなるとの記載はある。しかし、特許文献１には、座席が前後にスライドされたことに伴い当該座席に着座している乗員の位置も座席ごと前後に変化した場合の具体的な体格の検知方法について開示されていない。よって、特許文献１に開示されているような技術では、依然として上記のような課題を解決できない。

本開示は上記のような課題を解決するためになされたもので、車両の乗員が着座している座席が車両の進行方向に対して前後に移動させられた場合の乗員の体格推定の精度を向上させる体格推定装置を提供することを目的とする。

本開示に係る体格推定装置は、車両の進行方向に対して前後に移動可能な車両の座席の移動方向と平行な光軸を有する撮像装置、によって車両の乗員が撮像された撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した撮像画像に基づいて、撮像画像上で乗員の体の部位を示す乗員の複数の骨格座標点を検出する骨格点検出部と、骨格点検出部が検出した複数の骨格座標点に関する情報に基づき、撮像画像取得部が取得した撮像画像の中心を通り撮像画像の縦方向と平行な直線から、骨格点検出部が検出した複数の骨格座標点のうちの補正量算出用骨格座標点までの水平距離である第１距離と、直線から、座席が設定された基準位置にある場合の補正量算出用骨格座標点を想定して設定された、補正量算出用骨格座標点に対応する撮像画像上の基準座標点までの水平距離である第２距離との比に基づいて補正量を算出する補正量算出部と、骨格点検出部が検出した複数の骨格座標点に関する情報と、補正量算出部が算出した補正量とに基づいて、乗員の体格を推定する体格推定部とを備えたものである。

本開示によれば、車両の乗員が着座している座席が車両の進行方向に対して前後に移動させられた場合の乗員の体格推定の精度を向上させることができる。

実施の形態１に係る体格推定装置の構成例を示す図である。 実施の形態１において、画像上で骨格座標点および基準座標点の一例を示すようにした撮像画像の一例を示す図である。 実施の形態１における、補正量算出部による補正量の算出方法の一例について説明するための図である。 実施の形態１に係る体格推定装置の動作について説明するためのフローチャートである。 図５Ａ，図５Ｂは、実施の形態１に係る体格推定装置のハードウェア構成の一例を示す図である。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る体格推定装置１の構成例を示す図である。
実施の形態１において、体格推定装置１は、車両１００に搭載されることを想定する。
体格推定装置１は、車両１００に搭載されている撮像装置２と接続される。
撮像装置２は、例えば、近赤外線カメラ、または、可視光カメラであり、車両１００内に存在する乗員を撮像する。撮像装置２は、例えば、いわゆる「ドライバーモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）」と共用のものでもよい。
撮像装置２は、少なくとも、車両１００の乗員の上半身が存在すべき範囲を含む車両１００内の範囲を撮像可能に設置される。車両１００内の乗員の上半身が存在すべき範囲とは、例えば、座席の背もたれ、および、ヘッドレストの前方付近の空間に相当する範囲である。
実施の形態１では、一例として、撮像装置２は、車両１００の車幅方向の中央部に設置されることを想定している。なお、実施の形態１において、車幅方向の「中央」とは、厳密に「中央」であることに限定されず、「略中央」も含む。具体的には、撮像装置２は、例えば、車両１００のセンターコンソール、または、カーナビ等が設けられているダッシュボードセンター付近に設置されることを想定している。撮像装置２は、運転者および助手席の乗員（以下「助手席乗員」という。）を撮像する。

実施の形態１において、撮像装置２は、その光軸と車両１００の座席を前後に移動させるための移動レールとが平行であることを前提とする。すなわち、撮像装置２は、車両１００の進行方向に対して前後に移動可能な車両１００の座席の移動方向と平行な光軸を有する。実施の形態１において、撮像装置２の光軸と座席の移動方向とが「平行」とは、厳密に「平行」であることに限定されず、設定された範囲内で「略平行」であることを含む。

なお、上述したような撮像装置２の設置位置は一例に過ぎない。撮像装置２は、車両１００の乗員の上半身が存在すべき範囲が撮像可能に設置されていればよい。
また、図１では、撮像装置２は１台のみ図示しているが、これは一例に過ぎない。車両１００に複数台の撮像装置２が搭載され、複数台の撮像装置２が体格推定装置１と接続されてもよい。例えば、車両１００には、運転席の乗員を撮像する撮像装置２と、助手席乗員を撮像する撮像装置２の、２台の撮像装置２が搭載されていてもよい。

体格推定装置１は、撮像装置２によって車両１００の乗員が撮像された撮像画像に基づいて、車両１００の乗員の体格を推定する。実施の形態１では、車両１００の乗員は、運転者および助手席乗員とする。すなわち、実施の形態１では、体格推定装置１は、撮像装置２によって運転者および助手席乗員が撮像された撮像画像に基づいて、運転者および助手席乗員の体格を推定する。
実施の形態１では、体格推定装置１が推定する体格は、「幼児」、「小柄の男性」、「小柄の女性」、「標準男性」、「標準女性」、「大柄の男性」、または、「大柄の女性」のいずれかとする。なお、これは一例に過ぎず、体格推定装置１が推定する体格の定義は、適宜設定可能である。

体格推定装置１は、車両１００の乗員の体格を推定すると、車両１００の乗員の体格を推定した結果（以下「体格推定結果」という。）を、体格推定装置１と接続されている種々の装置に出力する。種々の装置とは、例えば、エアバッグ制御装置（図示省略）、報知装置（図示省略）、または、表示装置（図示省略）である。
例えば、エアバッグ制御装置は、体格推定装置１から出力された体格判定結果に基づいてエアバッグの制御を行う。
また、例えば、報知装置は、体格推定装置１から出力された体格推定結果に基づき、乗員の体格を考慮して、シートベルトの装着を促す警報を出力する。
また、例えば、表示装置は、体格推定装置１から出力された体格推定結果に応じた表示を行う。例えば、表示装置は、乗員の中に「幼児」がいる場合、子供が乗車している旨を示すアイコンを表示する。

体格推定装置１は、撮像画像取得部１１、骨格点検出部１２、補正量算出部１３、骨格点選択部１４、補正実行部１５、体格推定部１６、および、推定結果出力部１７を備える。

撮像画像取得部１１は、撮像装置２によって車両１００の乗員が撮像された撮像画像を取得する。
撮像画像取得部１１は、取得した撮像画像を、骨格点検出部１２に出力する。

骨格点検出部１２は、撮像画像取得部１１が取得した撮像画像に基づいて、乗員の体の部位を示す、乗員の骨格座標点を検出する。より詳細には、骨格点検出部１２は、撮像画像取得部１１が取得した撮像画像に基づいて、乗員の体の部位ごとに決められた関節点を示す、乗員の骨格座標点を検出する。具体的には、骨格点検出部１２は、乗員の骨格座標点の座標と、当該骨格座標点が乗員の体のどの部位を示す骨格座標点であるかを検出する。骨格座標点は、撮像画像における点であり、撮像画像における座標であらわされる。
実施の形態１では、人の体の部位ごとに決められた関節点として、例えば、鼻の関節点と、首の関節点と、肩（右肩および左肩）の関節点と、肘（右肘および左肘）の関節点と、腰（右腰および左腰）の関節点と、手首の関節点と、膝の関節点と、足首の関節点が定義されている。対となる体の部位、具体的には、肩、肘、腰、手首、膝、および、足首については、左右の２つの関節点が、当該体の部位に対応する関節点として定義される。

例えば、骨格点検出部１２は、車両１００の乗員が撮像された撮像画像を入力とし撮像画像における骨格座標点に関する情報を出力する、機械学習における学習済みのモデル（以下「第１機械学習モデル」という。）を用いて、乗員の骨格座標点を検出する。骨格座標点を示す情報には、撮像画像における骨格座標点の座標、および、当該骨格座標点が体のどの部位を示す骨格座標点であるかを特定可能な情報が含まれる。なお、これは一例に過ぎず、骨格点検出部１２は、既知の種々の画像処理技術を用いて、乗員の骨格座標点を検出すればよい。
骨格点検出部１２は、定義されている関節点（肩、肘、腰、手首、膝、および、足首の関節点）を示す骨格座標点を全て検出することを必須としない。骨格点検出部１２が、どの関節点を示す骨格座標点を検出するかは、適宜設定可能である。実施の形態１では、一例として、骨格点検出部１２は、乗員の鼻を示す骨格座標点、乗員の首を示す骨格座標点、乗員の肩を示す骨格座標点、および、乗員の肘を示す骨格座標点を検出する。

また、骨格点検出部１２は、骨格座標点を検出する際、検出した骨格座標点がどの乗員の骨格座標点であるかをあわせて検出できる。なお、実施の形態１において、骨格点検出部１２は、乗員を、その着座位置から判定する。骨格点検出部１２は、乗員の個人認証まで行う必要はない。例えば、撮像画像において、座席ごとに、当該座席に対応する領域（以下「座席対応領域」という。）が予め設定されている。座席対応領域は、撮像装置２の設置位置および画角に応じて、予め設定される。骨格点検出部１２は、検出した骨格座標点の中に、座席対応領域に含まれる骨格座標点があるか否かによって、当該骨格座標点がどの座席に着座している乗員の骨格座標点であるかを判定する。具体例を挙げると、例えば、骨格点検出部１２は、検出した骨格座標点の中に、運転席に対応する座席対応領域に含まれる骨格座標点がある場合、運転者が運転席に着座していると判定する。そして、骨格点検出部１２は、運転席に対応する座席対応領域にて検出した骨格座標点を、運転者の骨格座標点であると判定する。また、例えば、骨格点検出部１２は、検出した骨格座標点の中に、助手席に対応する座席対応領域に含まれる骨格座標点がある場合、助手席乗員が助手席に着座していると判定する。そして、骨格点検出部１２は、助手席に対応する座席対応領域にて検出した骨格座標点を、助手席乗員の骨格座標点であると判定する。

また、骨格点検出部１２は、あわせて、乗員の性別を判定することができる。骨格点検出部１２は、既知の種々の画像処理技術を用いて、乗員の性別を判定すればよい。

骨格点検出部１２は、検出した骨格座標点に関する情報（以下「骨格座標点情報」という。）を、補正量算出部１３および骨格点選択部１４に出力する。骨格座標点情報において、骨格座標点の情報と、当該骨格座標点がどの体の部位を示す骨格座標点であるかを示す情報と、乗員を特定する情報と、乗員の性別を示す情報とが対応付けられている。骨格座標点の情報は、具体的には、撮像画像上での骨格座標点の座標である。乗員を特定する情報は、例えば、乗員が座席している座席に関する情報とすればよい。

補正量算出部１３は、骨格点検出部１２から出力された骨格座標点情報に基づき、乗員の体格を推定する際の補正量を算出する。なお、補正量算出部１３は、乗員ごとに、当該乗員の体格を推定する際の補正量を算出する。
実施の形態１では、体格推定装置１は、複数の骨格座標点間の距離（以下「骨格座標点間距離」という。）に基づいて、乗員の体格を推定する。乗員の体格の推定に、どの骨格座標点間の骨格座標点間距離を用いるかは、予め決められている。より詳細には、実施の形態１において、複数の骨格座標点のうち、乗員の体格の推定に用いる複数の骨格座標点（以下「体格推定用骨格座標点」という。）が予め設定されている。体格推定装置１は、複数の体格推定用骨格座標点間の骨格座標点間距離に基づいて、乗員の体格を推定する。

実施の形態１では、一例として、乗員の右肩を示す骨格座標点と乗員の左肩を示す骨格座標点を体格推定用骨格座標点とし、体格推定装置１は、乗員の右肩を示す骨格座標点と乗員の左肩を示す骨格座標点の間の骨格座標点間距離を、乗員の体格の推定に用いる。乗員の右肩を示す骨格座標点と乗員の左肩を示す骨格座標点の間の骨格座標点間距離は、乗員の肩幅に相当する。なお、これは一例に過ぎず、例えば、上記骨格座標点に加え、乗員の肘を示す骨格座標点を体格推定用骨格座標点とし、体格推定装置１は、例えば、上記骨格座標点間距離に加え、乗員の右肩を示す骨格座標点と乗員の右肘を示す骨格座標点の間の骨格座標点間距離、または、乗員の左肩を示す骨格座標点と乗員の左肘を示す骨格座標点の間の骨格座標点間距離を、乗員の体格の推定に用いてもよい。
どの骨格座標点を体格推定用骨格座標点とするか、および、どの体格推定用骨格座標点間の骨格座標点間距離を乗員の体格の推定に用いるかは、適宜設定可能である。また、体格推定装置１は、複数の骨格座標点間距離を用いて乗員の体格を推定してもよい。
なお、体格推定装置１において、骨格座標点間距離の算出は補正実行部１５が行い、乗員の体格の推定は体格推定部１６が行う。補正実行部１５および体格推定部１６の詳細については、後述する。
補正量算出部１３は、乗員の体格の推定に用いる骨格座標点間距離を補正するための補正量を算出する。

ここで、実施の形態１において、補正量算出部１３が補正量を算出する意義について説明する。
図２は、実施の形態１において、座席の位置が前後に変化したことにより、座席に着座している乗員の骨格座標点間距離が変化することを説明するための撮像画像２００の一例を示す図である。
なお、便宜上、図２に示す撮像画像２００の一例では、助手席乗員が撮像されている部分のみ示している。

図２において、図上、左の図は、座席が移動可能な範囲で当該座席を一番前まで移動させて着座している助手席乗員が撮像された撮像画像２００の一例を示している。図２において、図上、真ん中の図は、座席を当該座席が移動可能な範囲の中間の位置に設定して着座している助手席乗員が撮像された撮像画像２００の一例を示している。図２において、図上、右の図は、座席が移動可能な範囲で当該座席を一番後ろまで移動させて着座している助手席乗員が撮像された撮像画像２００の一例を示している。つまり、図２に示す撮像画像２００が撮像された際の撮像装置２と乗員との距離を「撮像距離」というとすると、左の図にて示す撮像画像２００が撮像された際の撮像距離が一番近く、右の図にて示す撮像画像２００が撮像された際の撮像距離が一番遠い。
また、図２において、２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ、２０１ｅ、２０１ｆは、それぞれ、撮像画像２００における助手席乗員の骨格座標点を示している。
２０１ａは、助手席乗員の鼻を示す骨格座標点である。２０１ｂは、助手席乗員の首を示す骨格座標点である。２０１ｃは、助手席乗員の右肩を示す骨格座標点である。２０１ｄは、助手席乗員の左肩を示す骨格座標点である。２０１ｅは、助手席乗員の右肘を示す骨格座標点である。２０１ｆは、助手席乗員の左肘を示す骨格座標点である。

図２に示すように、座席が後ろに移動されるほど、撮像画像２００上で、助手席乗員は小さく撮像される。言い換えれば、座席が後ろに移動されるほど、撮像画像２００上の骨格座標点の位置が変化し、その結果、撮像画像２００上で、骨格座標点間距離は短くなる。図２の例でいうと、例えば、撮像画像２００における助手席乗員の右肩を示す骨格座標点（図２の２０１ｃ参照）と右肘を示す骨格座標点（図２の２０１ｅ参照）との間の骨格座標点間距離は、図上、左の図に示す撮像画像２００において一番長く、次いで、真ん中の図、右の図の順に短くなっていく。

このように、座席の位置が車両１００の進行方向に対して前後に変化すると、座席の位置の前後の変化に伴って撮像画像上の骨格座標点の位置が変化し、その結果、撮像画像上の骨格座標点間距離も変化する。座席の位置の変化に伴って撮像画像上の骨格座標点間距離が変化するので、仮に当該変化を考慮しないとすると、体格推定装置１は、骨格座標点間距離に基づく乗員の骨格を誤推定する可能性がある。例えば、体格推定装置１は、座席を一番前に移動させて着座している小柄な体格の女性を標準的な体格の女性と誤推定する可能性がある。また、例えば、体格推定装置１は、座席を一番後ろに移動させて着座している標準的な体格の男性を小柄な体格の男性と誤推定する可能性がある。

そこで、実施の形態１に係る体格推定装置１では、補正量算出部１３が、車両１００の進行方向に対する座席の前後位置に応じて骨格座標点間距離を補正するための補正量を算出する。
これにより、体格推定装置１において、車両１００の進行方向に対する座席の前後位置を考慮して、より詳細には、車両１００の進行方向に対する座席の前後位置によって撮像画像における乗員の骨格座標点間距離が変化することを考慮して、乗員の体格が推定可能となる。

補正量算出部１３が補正量を算出する具体的な方法の一例について説明する。
図３は、実施の形態１において、画像上で骨格座標点（図３にて２０１ａ～２０１ｆで示す）および基準座標点（図３にて２０２ａ～２０２ｆで示す）の一例を示すようにした撮像画像２００の一例を示す図である。図３を用いて、実施の形態１における、補正量算出部１３による補正量の算出方法の一例について説明する。
なお、便宜上、図３に示す撮像画像２００の一例では、助手席乗員の骨格座標点および当該骨格座標点に対応する基準座標点のみ示している。

実施の形態１において、基準座標点とは、車両１００において、座席が予め設定された位置（以下「基準位置」という。）にあったとして、基準位置にある座席にある人（以下「基準体格者」という。）が着座していると想定した場合に、当該基準体格者を撮像した撮像画像上で想定される、当該基準体格者の骨格座標点をいう。基準位置は、車両１００の乗員の体格を推定する際の基準となる位置である。乗員の体格の推定の詳細については、後述する。
座席の基準位置は、予め、座席が前後に移動可能な範囲内において適宜設定される。実施の形態１では、一例として、座席の基準位置は、座席が前後に移動可能な範囲内の中間となる位置に設定されているとする。
例えば、管理者等が、車両１００の座席を基準位置に設定した状態で基準体格者に着座させ、撮像装置２によって当該基準体格者を撮像する試験を行って、基準座標点を設定する。基準座標点は、骨格点検出部１２が検出する各骨格座標点に対応して設定される。設定された基準座標点に関する情報（以下「基準座標点情報」という。）は、補正量算出部１３が記憶する。基準座標点情報において、基準座標点の情報と、当該基準座標点がどの体の部位を示す基準座標点であるかを示す情報と、座席位置を示す情報とが対応付けられている。基準座標点の情報は、具体的には、撮像画像上での基準座標点の座標である。
なお、基準体格者の体格は問わない。例えば、当該基準体格者は、標準的な体格の人でもよいし、小柄な体格の人でもよいし、大柄な体格の人でもよい。

図３では、撮像画像２００上で、骨格点検出部１２が検出した助手席乗員の鼻を示す骨格座標点を２０１ａ、助手席乗員の首を示す骨格座標点を２０１ｂ、助手席乗員の右肩を示す骨格座標点を２０１ｃ、助手席乗員の左肩を示す骨格座標点を２０１ｄ、助手席乗員の右肘を示す骨格座標点を２０１ｅ、助手席乗員の左肘を示す骨格座標点を２０１ｆで示している。また、図３では、撮像画像２００上で、予め設定された、鼻を示す基準座標点を２０２ａ、首を示す骨格座標点を２０２ｂ、右肩を示す骨格座標点を２０２ｃ、左肩を示す骨格座標点を２０２ｄ、右肘を示す骨格座標点を２０２ｅ、左肘を示す骨格座標点を２０２ｆで示している。
図３において、撮像画像２００上の座標の原点は左上端としている。

上述したとおり、座席の位置が車両１００の進行方向に対して前後に変化すると、座席の前後の移動に伴って撮像画像２００上の骨格座標点の位置が変化し、その結果、撮像画像２００上の骨格座標点間距離も変化する。
ある乗員について、撮像画像２００上で、骨格点検出部１２によって検出された当該ある乗員の骨格座標点が撮像画像２００の中心（以下「中心点」という。）に近いほど、当該ある乗員は撮像装置２から遠い位置に存在する、言い換えれば、当該ある乗員は座席を後方に移動させて着座しているといえる。逆に、撮像画像２００上で、骨格点検出部１２によって検出されたある乗員の骨格座標点が中心点から遠いほど、当該ある乗員は撮像装置２から近い位置に存在する、言い換えれば、当該ある乗員は座席を前方に移動させて着座しているといえる。図３では、中心点をＯで示している。例えば、図３に示す骨格座標点が検出された助手席乗員について、検出される助手席乗員の骨格座標点は、助手席の前後位置に応じて、中心点Ｏと、図３に示す各骨格座標点とを結ぶ直線上で動き得る。

なお、図３では、中心点Ｏと各骨格座標点とを結ぶ直線上に各基準座標点が位置するようになっているが、これは一例に過ぎない。基準座標点を設定する際の基準体格者は、乗員（ここでは助手席乗員）と同じ体格の人である必要はない。乗員と同じ体格でない場合、各基準座標点は、中心点Ｏと各骨格座標点とを結ぶ直線上には存在しないことになる。

補正量算出部１３は、骨格点検出部１２によって検出された骨格座標点と基準座標点との相対距離に基づいて、補正量を算出する。
具体的には、まず、補正量算出部１３は、骨格点検出部１２によって検出された複数の骨格座標点のうち、補正量を算出するための骨格座標点を１つ選択する。実施の形態１において、この、補正量を算出するための骨格座標点を、「補正量算出用骨格座標点」という。体のどの部位を示す骨格座標点を補正量算出用骨格座標点とするかは、予め設定され、補正量算出部１３が記憶している。実施の形態１では、乗員の首を示す骨格座標点を補正量算出用骨格座標点とする。

そして、補正量算出部１３は、撮像画像取得部１１が取得した撮像画像２００の中心（例えば、図３でいうと中心点Ｏ）を通り撮像画像２００の縦方向と平行な直線（例えば、図３でいうと２０３で示す直線）から補正量算出用骨格座標点（例えば、図３でいうと２０１ｂで示す骨格座標点）までの水平距離（以下「第１距離」という。）を算出する。また、補正量算出部１３は、撮像画像２００の中心を通り撮像画像２００の縦方向と平行な直線から、補正量算出用骨格座標点に対応する基準座標点（例えば、図３でいうと２０２ｂで示す骨格座標点）までの水平距離（以下「第２距離」という。）を算出する。
具体的には、補正量算出部１３は、以下の式（１）に従い第１距離を算出する。また、補正量算出部１３は、以下の式（２）に従い第２距離を算出する。

第１距離＝補正量算出用骨格座標点のＸ座標－撮像画像の中心のＸ座標 ・・・（１）
第２距離＝補正量算出用骨格座標点に対応する基準座標点のＸ座標－撮像画像の中心のＸ座標 ・・・（２）

ここでは、補正量算出用骨格座標点は乗員の首を示す骨格座標点としているので、図３に示す例でいうと、補正量算出部１３は、図３において２０３で示す直線から、２０１ｂで示す、助手席乗員の首を示す骨格座標点までの水平距離を第１距離として算出し、図３において２０３で示す直線から、２０２ｂで示す、首を示す基準座標点までの水平距離を第２距離として算出することになる。図３において第１距離はＬ_１で示し、第２距離はＬ_２で示している。

補正量算出部１３は、第１距離および第２距離を算出すると、第１距離と第２距離との比に基づいて、補正量を算出する。
具体的には、補正量算出部１３は、以下の式（３）に従って補正量を算出する。

補正量＝（第２距離）／（第１距離） ・・・（３）

以上のように、補正量算出部１３は、骨格点検出部１２から出力された骨格座標点情報に基づき、補正量算出用骨格座標点を選択し、撮像画像の中心を通り撮像画像の縦方向と平行な直線から補正量算出用骨格座標点までの水平距離である第１距離と、当該直線から補正量算出用骨格座標点に対応する撮像画像上の基準座標点までの水平距離である第２距離とを算出し、算出した第１距離と第２距離の比に基づいて補正量を算出する。

なお、ここでは、乗員の首を示す骨格座標点を補正量算出用骨格座標点とするが、これは一例に過ぎない。補正量算出用骨格座標点は、骨格点検出部１２が検出する複数の骨格座標点のうちの適宜の骨格座標点とできる。ただし、補正量算出用骨格座標点は、首のように、動きが少ない体の部位を示す骨格座標点とされるのが好ましい。動きが少ない体の部位を示す骨格座標点を補正量算出用骨格座標点とすることで、当該補正量算出用骨格座標点に基づいて算出される補正量を安定した値とすることができる。その結果、体格推定装置１は、安定した乗員の体格の推定結果を得ることができる。

補正量算出部１３は、算出した補正量に関する情報（以下「補正量情報」という。）を、補正実行部１５に出力する。補正量情報において、例えば、乗員ごとに、乗員を特定する情報と、補正量とが対応付けられている。乗員を特定する情報は、例えば、乗員が座席している座席に関する情報とすればよい。

骨格点選択部１４は、骨格点検出部１２から出力された骨格座標点情報に基づき、骨格点検出部１２が検出した複数の骨格座標点のうちから複数の体格推定用骨格座標点を選択する。骨格点選択部１４は、どの骨格座標点を体格推定用骨格座標点とするかの情報を記憶している。なお、骨格点選択部１４は、乗員ごとに、体格判定用骨格座標点を選択する。
実施の形態１では、一例として、乗員の肩の骨格座標点を体格推定用骨格座標点とするので、骨格点選択部１４は、骨格点検出部１２が検出した複数の骨格座標点のうちから、乗員の肩の骨格座標点を、体格推定用骨格座標点として選択する。例えば、図２に示したような撮像画像２００でいうと、骨格点選択部１４は、助手席乗員の体格推定に用いる体格推定用骨格座標点として、２０１ｃで示す、助手席乗員の右肩を示す骨格座標点と、２０１ｄで示す、助手席乗員の左肩を示す骨格座標点を選択する。
骨格点選択部１４は、選択した体格推定用骨格座標点に関する情報（以下「体格推定用骨格座標点情報」という。）を、補正実行部１５に出力する。例えば、体格推定用骨格座標点情報において、乗員ごとに、当該乗員を特定する情報と、体格推定用骨格座標点の情報と、当該体格推定用骨格座標点が体のどの部位を示す骨格座標点であるかを示す情報と、乗員の性別を示す情報とが対応付けられている。乗員を特定する情報は、具体的には、乗員が着座している座席を示す情報である。体格推定用骨格座標点の情報は、具体的には、撮像画像上での体格推定用骨格座標点の座標である。骨格点選択部１４は、骨格座標点情報から、上述したような、体格推定用骨格座標点情報に含まれる情報を判定できる。

補正実行部１５は、骨格点選択部１４から出力された体格推定用骨格座標点情報に基づき、骨格点選択部１４が選択した複数の体格推定用骨格座標点間の骨格座標点間距離を算出する。そして、補正実行部１５は、補正量算出部１３から出力された補正量情報に基づき、算出した骨格座標点間距離を、補正量算出部１３が算出した補正量を用いて補正する。なお、補正実行部１５は、乗員ごとに、骨格座標点間距離の算出、および、算出した骨格座標点間距離の補正を行う。補正実行部１５は、骨格座標点間距離の補正の際は、乗員に対応付けられている補正量を用いる。

補正実行部１５は、以下の式（４）に従って、骨格座標点間距離を補正する。

補正後の骨格座標点間距離＝骨格座標点間距離×補正量 ・・・（４）

具体的には、補正実行部１５は、乗員ごとに、右肩を示す骨格座標点と左肩を示す骨格座標点の間の骨格座標点間距離を算出し、算出した骨格座標点間距離を、補正量を用いて補正する。
補正実行部１５によって補正された骨格座標点間距離は、乗員が基準位置にある座席に着座したと仮定した場合に想定される、当該乗員を撮像した撮像画像上の当該乗員の骨格座標点間距離となる。

補正実行部１５は、補正後の骨格座標点間距離に関する情報（以下「補正後距離情報」という。）を、体格推定部１６に出力する。例えば、補正後距離情報において、乗員ごとに、当該乗員を特定する情報と、当該乗員の補正後の骨格座標点間距離の情報と、当該乗員の性別を示す情報とが対応付けられている。乗員を特定する情報は、具体的には、乗員が着座している座席を示す情報である。補正実行部１５は、乗員を特定する情報と、当該乗員の性別を示す情報を、体格推定用骨格座標点情報から取得すればよい。

体格推定部１６は、補正実行部１５から出力された補正後距離情報に基づき、乗員の体格を推定する。より詳細には、体格推定部１６は、補正実行部１５が体格推定用骨格座標点情報に基づいて算出し、補正量算出部１３が算出した補正量情報に基づく補正量を用いて補正した後の骨格座標点間距離に基づいて、乗員の体格を推定する。なお、体格推定部１６は、乗員ごとに、当該乗員の体格を推定する。
実施の形態１では、上述のとおり、一例として、乗員の体格は、「幼児」、「小柄の男性」、「小柄の女性」、「標準男性」、「標準女性」、「大柄の男性」、または、「大柄の女性」のいずれかと定義されている。

体格推定部１６は、例えば、骨格座標点間距離を入力とし乗員の体格に関する情報を出力する、機械学習における学習済みのモデル（以下「第２機械学習モデル」という。）を用いて、乗員の体格に関する情報を得ることで、乗員の体格を推定する。体格に関する情報は、例えば、「０」、「１」、「２」、または、「３」のように、体格をあらわす数値であってもよいし、体格の大きさ度合いを示す指数（以下「体格指数」という。）であってもよい。体格をあらわす数値について、どの値がどのような体格を示す数値であるかは、予め決められているものとする。例えば、「００：幼児」、「１１：小柄の男性」、「１２：小柄の女性」、「２１：標準男性」、「２２：標準女性」、「３１：大柄の男性」、「３２：大柄の女性」のように、数値があらわす体格が決められている。
第２機械学習モデルは、基準位置にある座席に着座している人が撮像された撮像画像上の当該人の骨格座標点間距離を入力とし、基準位置にある座席に着座している人の体格に関する情報を出力するよう、学習している。
体格推定部１６は、第２機械学習モデルに基づいて得た乗員の体格に関する情報に基づいて、乗員の体格を推定する。例えば、乗員の体格に関する情報が、上述したような体格をあらわす数値であれば、体格推定部１６は、数値に応じて予め決められている体格を、乗員の体格と推定する。また、例えば、乗員の体格に関する情報が体格指数であれば、体格推定部１６は、指数に応じた体格を推定する。具体的には、体格指数がどれぐらいのとき、体格は「幼児」、「小柄の男性」、「小柄の女性」、「標準男性」、「標準女性」、「大柄の男性」、または、「大柄の女性」のいずれに該当するかが対応付けられた情報（以下「体格定義情報」という。）が、予め生成され、体格推定部１６に記憶されている。体格推定部１６は、体格定義情報を参照して、乗員の体格を推定する。

なお、これは一例に過ぎず、体格推定部１６は、その他の方法で乗員の体格を推定してもよい。例えば、体格推定部１６は、性別毎に、基準位置にある座席に着座した場合の人の骨格座標点間距離の情報と、当該骨格座標点間距離から推定される、基準位置にある座席に着座している乗員の体格とが対応付けられた情報（以下「体格推定用情報」という。）と、補正実行部１５から出力された補正後距離情報とのつき合わせを行って、乗員の体格を推定してもよい。体格推定用情報は、予め設定され、体格推定部１６に記憶されている。

体格推定部１６は、体格推定結果を、推定結果出力部１７に出力する。
体格推定結果において、乗員毎に、当該乗員を特定する情報と、乗員の体格を示す情報とが対応付けられている。乗員を特定する情報は、具体的には、乗員が着座している座席を示す情報である。体格推定部１６は、乗員を特定する情報を、補正実行部１５から出力される補正後距離情報から取得すればよい。

推定結果出力部１７は、体格推定部１６から出力された体格推定結果を、例えば、エアバッグ制御装置、報知装置、または、表示装置に出力する。
体格推定装置１は推定結果出力部１７を備えず、体格推定部１６が推定結果出力部１７の機能を有するようにしてもよい。

実施の形態１に係る体格推定装置１の動作について説明する。
図４は、実施の形態１に係る体格推定装置１の動作について説明するためのフローチャートである。

撮像画像取得部１１は、撮像装置２によって車両１００の乗員が撮像された撮像画像を取得する（ステップＳＴ１）。
撮像画像取得部１１は、取得した撮像画像を、骨格点検出部１２に出力する。

骨格点検出部１２は、ステップＳＴ１にて撮像画像取得部１１が取得した撮像画像に基づいて、乗員の体の部位を示す、乗員の骨格座標点を検出する（ステップＳＴ２）。
また、骨格点検出部１２は、骨格座標点を検出する際、検出した骨格座標点がどの乗員の骨格座標点であるか、および、乗員の性別をあわせて検出する。
骨格点検出部１２は、骨格座標点情報を、補正量算出部１３および骨格点選択部１４に出力する。

補正量算出部１３は、ステップＳＴ２にて骨格点検出部１２から出力された骨格座標点情報に基づき、乗員の体格を推定する際の補正量を算出する（ステップＳＴ３）。
補正量算出部１３は、補正量情報を、補正実行部１５に出力する。

骨格点選択部１４は、ステップＳＴ２にて骨格点検出部１２から出力された骨格座標点情報に基づき、骨格点検出部１２が検出した複数の骨格座標点のうちから複数の体格推定用骨格座標点を選択する（ステップＳＴ４）。
骨格点選択部１４は、体格推定用骨格座標点情報を、補正実行部１５に出力する。

補正実行部１５は、ステップＳＴ４にて骨格点選択部１４から出力された体格推定用骨格座標点情報に基づき、骨格点選択部１４が選択した複数の体格推定用骨格座標点間の骨格座標点間距離を算出する。そして、補正実行部１５は、ステップＳＴ３にて補正量算出部１３から出力された補正量情報に基づき、算出した骨格座標点間距離を、補正量算出部１３が算出した補正量を用いて補正する（ステップＳＴ５）。
補正実行部１５は、補正後距離情報を、体格推定部１６に出力する。

体格推定部１６は、ステップＳＴ５にて補正実行部１５から出力された補正後距離情報に基づき、乗員の体格を推定する（ステップＳＴ６）。
体格推定部１６は、体格推定結果を、推定結果出力部１７に出力する。

推定結果出力部１７は、ステップＳＴ６にて体格推定部１６から出力された体格推定結果を、例えば、エアバッグ制御装置、報知装置、または、表示装置に出力する（ステップＳＴ７）。

なお、図４を用いて説明した体格推定装置１の動作について、図４のフローチャートでは、ステップＳＴ３の処理とステップＳＴ４の処理とが並行して行われているが、これは一例に過ぎない。ステップＳＴ３の処理の後、ステップＳＴ４の処理が行われてもよいし、ステップＳＴ４の処理の後、ステップＳＴ３の処理が行われてもよい。ステップＳＴ２の処理が行われた後、ステップＳＴ５の処理が行われるまでに、ステップＳＴ３の処理とステップＳＴ４の処理とが完了していればよい。

このように、実施の形態１に係る体格推定装置１は、車両１００の乗員が撮像された撮像画像に基づいて検出した複数の骨格座標点に関する骨格座標点情報に基づき、撮像画像の中心を通り撮像画像の縦方向と平行な直線から補正量算出用骨格座標点までの水平距離である第１距離と、当該直線から補正量算出用骨格座標点に対応する撮像画像上の基準座標点までの水平距離である第２距離との比に基づいて補正量を算出する。体格推定装置１は、乗員の複数の骨格座標点、より詳細には、乗員の複数の体格推定用骨格座標点の情報と、算出した補正量とに基づいて、乗員の体格を推定する。具体的には、体格推定装置１は、複数の体格推定用骨格座標点間の骨格座標点間距離を算出し、算出した骨格座標点間距離を算出した補正量を用いて補正して、補正した後の骨格座標点間距離から乗員の体格を推定する。

上述したように、車両１００において、乗員が着座している座席は、車両の進行方向に対して前後に移動され得る。車両１００において、座席が前後に移動されると、その移動に伴い、乗員は、撮像画像上で、大きく撮像される、または、小さく撮像される。したがって、撮像画像上で大きく撮像され得る、または、小さく撮像され得る乗員の体格の誤推定を防ぐためには、乗員が着座している座席の前後の位置、言い換えれば、撮像装置２から乗員までの距離を考慮する必要がある。
ここで、一般に、撮像装置を用いて物体までの距離を測定する方法として、例えば、以下の２つの方法が挙げられる。
・撮像装置が撮像した撮像画像上での物体の幅と物体の実際の幅との比較から算出する方法
・撮像装置が撮像した撮像画像上での物体の幅と、当該物体を予め設定されている基準となる位置に置いて撮像画像が当該物体を撮像した撮像画像上での当該物体の幅との比較から算出する方法
しかし、上述したような２つの方法は、事前に、撮像装置からの距離を測定しようとする物体の幅がわかっていることを前提としている。
したがって、事前にどのような体格であるのかが不明な車両１００の乗員の体格の推定においては、上述したような２つの方法を使用して撮像装置２から乗員までの距離を推定することができない。その結果、上述したような２つの方法を用いて、乗員の着座している座席の前後の位置を考慮した乗員の体格の推定を行うことができない。

これに対し、実施の形態１に係る体格推定装置１は、撮像画像の中心を通り撮像画像の縦方向と平行な直線から補正量算出用骨格座標点までの水平距離である第１距離と、当該直線から補正量算出用骨格座標点に対応する撮像画像上の基準座標点までの水平距離である第２距離との比に基づいて補正量を算出する。そして、体格推定装置１は、補正量を用いて骨格座標点間距離を補正し、補正後の骨格座標点間距離から乗員の体格を推定する。
これにより、体格推定装置１は、事前に乗員がどのような体格であるのかが不明であっても、当該乗員が基準位置にある座席に着座していると想定した場合の、撮像画像上の当該乗員の骨格座標点間距離を算出できる。そのため、体格推定装置１は、車両１００の乗員が着座している座席が車両１００の進行方向に対して前後に移動させられた場合の乗員の体格推定の精度を向上させることができる。また、体格推定装置１は、補正後の骨格座標点間距離から体格を推定することで、実際に乗員が座席を前後方向のどの位置に設定して着座しているかに依らず、基準位置にある座席に着座している場合の乗員の体格を推定するアルゴリズムを用いて、精度の高い乗員の体格の推定を行うことができる。

以上の実施の形態１では、補正実行部１５は、複数の体格推定用骨格座標点間の骨格座標点間距離を算出後、算出した骨格座標点間距離を、補正量を用いて補正していた。しかし、これは一例に過ぎない。例えば、補正実行部１５は、まず、骨格点選択部１４が選択した体格推定用骨格座標点の撮像画像上の座標を補正量算出部１３が算出した補正量を用いて補正し、補正した後の複数の体格推定用骨格座標点の座標に基づいて骨格座標点間距離を算出してもよい。補正実行部１５は、算出した骨格座標点間距離を補正後の骨格座標点間距離として、補正後距離情報を、体格推定部１６に出力する。
なお、この場合、図４のフローチャートを用いて説明した体格推定装置１の動作について、ステップＳＴ５にて、補正実行部１５は、補正量算出部１３が算出した補正量を用いて体格推定用骨格座標点の座標を補正した後、補正後の体格推定用骨格座標点の座標に基づいて骨格座標点間距離を算出する。

また、以上の実施の形態１では、補正量算出用骨格座標点は１つとし、補正量算出部１３は、骨格点検出部１２によって検出された複数の骨格座標点のうち、補正量算出用骨格座標点を１つ選択したが、これは一例に過ぎない。例えば、補正量算出用骨格座標点は、複数存在してもよい。
この場合、補正量算出部１３は、例えば、各補正量算出用骨格座標点について、第１距離と第２距離との比に基づいて暫定の補正量（以下「暫定補正量」という。）を算出する。そして、補正量算出部１３は、各補正量算出用骨格座標点に対応する暫定補正量の平均を、補正量とする。
補正量算出部１３が複数の補正量算出用骨格座標点について、第１距離と第２距離との比に基づいて暫定補正量を算出し、算出した暫定補正量から補正量を算出することで、体格推定装置１は、より精度の高い補正量を得ることができる。その結果、体格推定装置１は、車両１００の乗員が着座している座席が車両の進行方向に対して前後に移動させられた場合の乗員の体格推定の精度を、より向上させることができる。

また、以上の実施の形態１において、骨格点検出部１２が検出する複数の骨格座標点を全て体格推定用骨格座標点としてもよい。
この場合、骨格点検出部１２は、骨格座標点情報を補正実行部１５に出力する。例えば、補正実行部１５は、骨格座標点情報に基づき、骨格点検出部１２が検出した複数の骨格座標点間の骨格座標点間距離を算出する。そして、補正実行部１５は、算出した骨格座標点間距離を、補正量算出部１３が算出した補正量を用いて補正する。
例えば、補正実行部１５は、骨格座標点情報に基づき、まず、骨格点検出部１２が検出した複数の骨格座標点の座標を補正量算出部１３が算出した補正量を用いて補正し、補正した後の複数の骨格座標点の座標に基づいて骨格座標点間距離を算出してもよい。
この場合、体格推定装置１は、骨格点選択部１４を備えない構成とできる。体格推定装置１が骨格点選択部１４を備えない構成とする場合、体格推定装置１の動作を説明するために用いた図４のフローチャートにおいて、ステップＳＴ４の処理を省略できる。

また、以上の実施の形態１では、体格推定装置１は、車両１００の運転者および助手席乗員の体格を推定するものとしたがこれは一例に過ぎない。体格推定装置１は、運転者と助手席乗員のうちいずれか一方の体格を推定するものでもよい。また、体格推定装置１は、後部座席の乗員の体格を推定することもできる。

図５Ａ，図５Ｂは、実施の形態１に係る体格推定装置１のハードウェア構成の一例を示す図である。
実施の形態１において、撮像画像取得部１１と、骨格点検出部１２と、補正量算出部１３と、骨格点選択部１４と、補正実行部１５と、体格推定部１６と、推定結果出力部１７の機能は、処理回路５１により実現される。すなわち、体格推定装置１は、車両１００の乗員を撮像した撮像画像に基づいて、乗員の体格を推定する際に用いる補正量を算出し、当該補正量に基づいて算出された骨格座標点間距離から乗員の体格を推定する制御を行うための処理回路５１を備える。
処理回路５１は、図５Ａに示すように専用のハードウェアであっても、図５Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ５４であってもよい。

処理回路５１が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路がプロセッサ５４の場合、撮像画像取得部１１と、骨格点検出部１２と、補正量算出部１３と、骨格点選択部１４と、補正実行部１５と、体格推定部１６と、推定結果出力部１７の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ５５に記憶される。プロセッサ５４は、メモリ５５に記憶されたプログラムを読み出して実行することにより、撮像画像取得部１１と、骨格点検出部１２と、補正量算出部１３と、骨格点選択部１４と、補正実行部１５と、体格推定部１６と、推定結果出力部１７の機能を実行する。すなわち、体格推定装置１は、プロセッサ５４により実行されるときに、上述の図４のステップＳＴ１～ステップＳＴ７が結果的に実行されることになるプログラムを格納するためのメモリ５５を備える。また、メモリ５５に記憶されたプログラムは、撮像画像取得部１１と、骨格点検出部１２と、補正量算出部１３と、骨格点選択部１４と、補正実行部１５と、体格推定部１６と、推定結果出力部１７の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、撮像画像取得部１１と、骨格点検出部１２と、補正量算出部１３と、骨格点選択部１４と、補正実行部１５と、体格推定部１６と、推定結果出力部１７の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、撮像画像取得部１１については専用のハードウェアとしての処理回路５１でその機能を実現し、骨格点検出部１２と、補正量算出部１３と、骨格点選択部１４と、補正実行部１５と、体格推定部１６と、推定結果出力部１７についてはプロセッサ５４がメモリ５５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、体格推定装置１は、撮像装置２、エアバッグ制御装置、報知装置、または、表示装置等の装置と、有線通信または無線通信を行う入力インタフェース装置５２および出力インタフェース装置５３を備える。

以上の実施の形態１では、体格推定装置１は、車両１００に搭載される車載装置とし、撮像画像取得部１１と、骨格点検出部１２と、補正量算出部１３と、骨格点選択部１４と、補正実行部１５と、体格推定部１６と、推定結果出力部１７は、体格推定装置１に備えられていた。
これに限らず、撮像画像取得部１１と、骨格点検出部１２と、補正量算出部１３と、骨格点選択部１４と、補正実行部１５と、体格推定部１６と、推定結果出力部１７のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとで体格推定システムを構成してもよい。
また、撮像画像取得部１１と、骨格点検出部１２と、補正量算出部１３と、骨格点選択部１４と、補正実行部１５と、体格推定部１６と、推定結果出力部１７が全部サーバに備えられてもよい。

以上のように、実施の形態１によれば、体格推定装置１は、車両１００の進行方向に対して前後に移動可能な車両１００の座席の移動方向と平行な光軸を有する撮像装置２、によって車両１００の乗員が撮像された撮像画像を取得する撮像画像取得部１１と、撮像画像取得部１１が取得した撮像画像に基づいて、撮像画像上で乗員の体の部位を示す乗員の複数の骨格座標点を検出する骨格点検出部１２と、骨格点検出部１２が検出した複数の骨格座標点に関する情報に基づき、撮像画像取得部１１が取得した撮像画像の中心を通り撮像画像の縦方向と平行な直線から、骨格点検出部１２が検出した複数の骨格座標点のうちの補正量算出用骨格座標点までの水平距離である第１距離と、直線から、座席が設定された基準位置にある場合の補正量算出用骨格座標点を想定して設定された、補正量算出用骨格座標点に対応する撮像画像上の基準座標点までの水平距離である第２距離との比に基づいて補正量を算出する補正量算出部１３と、骨格点検出部１２が検出した複数の骨格座標点に関する情報と、補正量算出部１３が算出した補正量とに基づいて、乗員の体格を推定する体格推定部１６とを備えるように構成した。そのため、体格推定装置１は、車両１００の乗員が着座している座席が車両の進行方向に対して前後に移動させられた場合の乗員の体格推定の精度を向上させることができる。

より詳細には、体格推定装置１は、骨格点検出部１２が検出した複数の骨格座標点間の骨格座標点間距離を算出し、算出した骨格座標点間距離を補正量算出部１３が算出した補正量を用いて補正する補正実行部１５を備え、体格推定部１６は、補正実行部１５が補正した後の骨格座標点間距離から乗員の体格を推定するようにした。そのため、体格推定装置１は、車両１００の乗員が着座している座席が車両の進行方向に対して前後に移動させられた場合の乗員の体格推定の精度を向上させることができる。

また、体格推定装置１は、骨格点検出部１２が検出した複数の骨格座標点の座標を補正量算出部１３が算出した補正量を用いて補正し、補正した後の複数の骨格座標点の座標に基づいて複数の骨格座標点間の骨格座標点間距離を算出する補正実行部１５を備え、体格推定部１６は、補正実行部１５が算出した骨格座標点間距離から乗員の体格を推定するようにした。そのため、体格推定装置１は、車両１００の乗員が着座している座席が車両の進行方向に対して前後に移動させられた場合の乗員の体格推定の精度を向上させることができる。

なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

本開示に係る体格推定装置は、車両の乗員が着座している座席が車両の進行方向に対して前後に移動させられることを考慮して乗員の体格を推定するため、車両の乗員が着座している座席が車両の進行方向に対して前後に移動させられた場合の乗員の体格推定の精度を向上させることができる。

１ 体格推定装置、１１ 撮像画像取得部、１２ 骨格点検出部、１３ 補正量算出部、１４ 骨格点選択部、１５ 補正実行部、１６ 体格推定部、１７ 推定結果出力部、２ 撮像装置、１００ 車両、５１ 処理回路、５２ 入力インタフェース装置、５３ 出力インタフェース装置、５４ プロセッサ、５５ メモリ。

Claims (8)

1. 車両の進行方向に対して前後に移動可能な前記車両の座席の移動方向と平行な光軸を有する撮像装置、によって前記車両の乗員が撮像された撮像画像を取得する撮像画像取得部と、
   前記撮像画像取得部が取得した前記撮像画像に基づいて、前記撮像画像上で前記乗員の体の部位を示す前記乗員の複数の骨格座標点を検出する骨格点検出部と、
   前記骨格点検出部が検出した複数の前記骨格座標点に関する情報に基づき、前記撮像画像取得部が取得した前記撮像画像の中心を通り前記撮像画像の縦方向と平行な直線から、前記骨格点検出部が検出した複数の前記骨格座標点のうちの補正量算出用骨格座標点までの水平距離である第１距離と、前記直線から、前記座席が設定された基準位置にある場合の前記補正量算出用骨格座標点を想定して設定された、前記補正量算出用骨格座標点に対応する前記撮像画像上の基準座標点までの水平距離である第２距離との比に基づいて補正量を算出する補正量算出部と、
   前記骨格点検出部が検出した複数の前記骨格座標点に関する情報と、前記補正量算出部が算出した前記補正量とに基づいて、前記乗員の体格を推定する体格推定部
   とを備えた体格推定装置。
2. 前記骨格点検出部が検出した複数の前記骨格座標点間の骨格座標点間距離を算出し、算出した前記骨格座標点間距離を前記補正量算出部が算出した前記補正量を用いて補正する補正実行部を備え、
   前記体格推定部は、前記補正実行部が補正した後の前記骨格座標点間距離から前記乗員の体格を推定する
   ことを特徴とする請求項１記載の体格推定装置。
3. 前記骨格点検出部が検出した複数の前記骨格座標点の座標を前記補正量算出部が算出した前記補正量を用いて補正し、補正した後の複数の前記骨格座標点の座標に基づいて複数の前記骨格座標点間の骨格座標点間距離を算出する補正実行部を備え、
   前記体格推定部は、前記補正実行部が算出した前記骨格座標点間距離から前記乗員の体格を推定する
   ことを特徴とする請求項１記載の体格推定装置。
4. 前記補正量算出用骨格座標点は、前記乗員の首を示す前記骨格座標点である
   ことを特徴とする請求項１記載の体格推定装置。
5. 前記補正量算出用骨格座標点は複数存在し、
   前記補正量算出部は、各補正量算出用骨格座標点について前記第１距離と前記第２距離との比に基づいて暫定補正量を算出し、各補正量算出用骨格座標点に対応する前記暫定補正量の平均を前記補正量とする
   ことを特徴とする請求項１記載の体格推定装置。
6. 前記骨格点検出部が検出した複数の前記骨格座標点のうちから前記乗員の体格推定に用いる複数の体格推定用骨格座標点を選択する骨格点選択部を備え、
   前記補正実行部は、前記骨格点選択部が選択した複数の前記体格推定用骨格座標点間の前記骨格座標点間距離を算出する
   ことを特徴とする請求項２記載の体格推定装置。
7. 前記骨格点検出部が検出した複数の前記骨格座標点のうちから前記乗員の体格推定に用いる複数の体格推定用骨格座標点を選択する骨格点選択部を備え、
   前記補正実行部は、前記骨格点選択部が選択した複数の前記体格推定用骨格座標点の座標を前記補正量算出部が算出した前記補正量を用いて補正し、補正した後の複数の前記体格推定用骨格座標点の座標に基づいて複数の前記体格推定用骨格座標点間の前記骨格座標点間距離を算出する
   ことを特徴とする請求項３記載の体格推定装置。
8. 撮像画像取得部が、車両の進行方向に対して前後に移動可能な前記車両の座席の移動方向と平行な光軸を有する撮像装置、によって前記車両の乗員が撮像された撮像画像を取得するステップと、
   骨格点検出部が、前記撮像画像取得部が取得した前記撮像画像に基づいて、前記撮像画像上で前記乗員の体の部位を示す前記乗員の複数の骨格座標点を検出するステップと、
   補正量算出部が、前記骨格点検出部が検出した複数の前記骨格座標点に関する情報に基づき、前記撮像画像取得部が取得した前記撮像画像の中心を通り前記撮像画像の縦方向と平行な直線から、前記骨格点検出部が検出した複数の前記骨格座標点のうちの補正量算出用骨格座標点までの水平距離である第１距離と、前記直線から、前記座席が設定された基準位置にある場合の前記補正量算出用骨格座標点を想定して設定された、前記補正量算出用骨格座標点に対応する前記撮像画像上の基準座標点までの水平距離である第２距離との比に基づいて補正量を算出するステップと、
   体格推定部が、前記骨格点検出部が検出した複数の前記骨格座標点に関する情報と、前記補正量算出部が算出した前記補正量とに基づいて、前記乗員の体格を推定するステップ
   とを備えた体格推定方法。

Images