JP7402719B2 - 画像処理装置、コンピュータプログラム、および異常推定システム - Google Patents

Description

本発明は、移動体の運転者が写り込んだ画像を処理する画像処理装置に関連する。本発明は、当該画像処理装置の処理部により実行可能なコンピュータプログラムにも関連する。本発明は、前記画像に基づいて前記運転者の姿勢が異常であるかを推定する異常推定システムにも関連する。

特許文献１は、移動体の一例としての車両の運転者の姿勢の異常を検知する技術を開示している。姿勢の異常は、当該車両に搭載された撮像装置により取得された当該運転者が写り込んだ画像に基づいて推定される。

特開２０１９－１０５８７２号公報

本発明の目的は、撮像装置により取得された画像に基づいてなされる移動体の運転者の姿勢異常の推定の確からしさを高めることである。

上記の目的を達成するための一態様は、画像処理装置であって、
移動体の運転者が写り込んだ画像に対応する画像情報を受け付ける受付部と、
前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する処理部と、
を備えており、
前記処理部は、
前記画像情報に規定された骨格モデルを適用することにより前記画像に写り込んだ前記運転者の頭部を特定し、
前記画像に写り込んだ前記頭部の規定された方向への回転角が閾値を上回る場合、前記姿勢が異常であると推定する。

上記の目的を達成するための一態様は、画像処理装置の処理部により実行可能なコンピュータプログラムであって、
実行されることにより、前記画像処理装置に、
移動体の運転者が写り込んだ画像に対応する画像情報を受け付けさせ、
前記画像情報に規定された骨格モデルを適用することにより前記画像に写り込んだ前記運転者の頭部を特定させ、
前記画像に写り込んだ前記頭部の規定された方向への回転角が閾値を上回る場合、前記運転者の姿勢が異常であると推定させる。

上記の目的を達成するための一態様は、異常推定システムであって、
移動体の運転者が写り込んだ画像に対応する画像情報を出力する撮像装置と、
前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する画像処理装置と、
前記画像処理装置により前記姿勢が異常であるとの推定結果に基づいて、前記移動体に搭載された被制御装置の動作を制御する制御装置と、
を備えており、
前記画像処理装置は、
前記画像情報に規定された骨格モデルを適用することにより前記画像に写り込んだ前記運転者の頭部を特定し、
前記画像に写り込んだ前記頭部の規定された方向への回転角が閾値を上回る場合、前記姿勢が異常であると推定する。

上記の各態様に係る構成によれば、画像に写り込んだ運転者に骨格モデルを適用することによって特定される頭部の情報を効率的に利用し、運転者の姿勢が異常であるかの推定の確からしさを高めることができる。

一実施形態に係る異常推定システムの機能構成を例示している。 図１の異常推定システムが搭載されうる車両を例示している。 図１の画像処理装置により実行される処理の流れを例示している。 図１の撮像装置により取得されうる画像を例示している。 図４の画像に骨格モデルが適用された状態を例示している。 図３の姿勢推定処理の流れの一例を示している。 図４の画像に骨格モデルが適用された状態を例示している。 車両のヨー方向への頭部の回転角を特定する手法を例示している。 図３の姿勢推定処理の流れの別例を示している。 「えび反り姿勢」を説明するための図である。 「うつむき姿勢」を説明するための図である。 車両のピッチ方向への頭部の回転角を特定する手法を例示している。 図３の姿勢推定処理の流れの別例を示している。 左方への「首のみ横倒れ姿勢」を説明するための図である。 右方への「首のみ横倒れ姿勢」を説明するための図である。 車両のロール方向への頭部の回転角を特定する手法を例示している。

添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。図１は、一実施形態に係る異常推定システム１０の機能構成を例示している。異常推定システム１０は、図２に例示される車両２０の運転者３０が写り込んだ画像に基づいて、運転者３０の姿勢が異常であるかを推定するシステムである。車両２０は、移動体の一例である。

姿勢の異常は、運転者３０の異常を検知するために推定される。本明細書において用いられる「運転者の異常」という語は、予め予測することが困難な体調の急変を意味する。

添付の図面において、矢印Ｆは、運転者３０から見た前方向を表している。矢印Ｂは、運転者３０から見た後方向を表している。矢印Ｌは、運転者３０から見た左方向を表している。矢印Ｒは、運転者３０から見た右方向を表している。矢印Ｕは、運転者３０から見た上方向を表している。矢印Ｄは、運転者３０から見た下方向を表している。

図１に例示されるように、異常推定システム１０は、撮像装置１１を含んでいる。撮像装置１１は、車両２０における適宜の箇所に配置される。図２に例示される車両２０の車室２１内に配置されたシート２２に着座した運転者３０が、撮像装置１１による撮像に供される。

図１に例示されるように、撮像装置１１は、取得された画像に対応する画像情報Ｉを出力するように構成されている。画像情報Ｉは、アナログデータの形態でもよいし、デジタルデータの形態でもよい。

異常推定システム１０は、画像処理装置１２を含んでいる。画像処理装置１２は、受付部１２１と処理部１２２を備えている。受付部１２１は、撮像装置１１から画像情報Ｉを受け付けるように構成されている。画像情報Ｉがアナログデータの形態である場合、受付部１２１は、Ａ／Ｄコンバータを含む適宜の変換回路を含みうる。処理部１２２は、デジタルデータの形態である画像情報Ｉを処理の対象とする。

処理部１２２は、画像情報Ｉに基づいて運転者３０の姿勢が異常であるかを推定する処理を実行するように構成されている。当該処理の詳細については後述する。

画像処理装置１２は、出力部１２３を備えている。処理部１２２は、運転者３０の姿勢が異常であると推定された場合、出力部１２３を通じて制御情報Ｃを出力するように構成されている。制御情報Ｃは、デジタルデータの形態でもよいし、アナログデータの形態でもよい。制御情報Ｃがアナログデータの形態である場合、出力部１２３は、Ｄ／Ａコンバータを含む適宜の変換回路を含みうる。

異常推定システム１０は、制御装置１３を含んでいる。制御装置１３は、車両２０に搭載されている。制御装置１３は、画像処理装置１２から出力された制御情報Ｃに基づいて、車両２０に搭載された被制御装置４０の動作を制御するように構成されている。

具体的には、制御装置１３は、運転者３０の姿勢が異常であると推定された場合に、車両２０の運転支援を有効にするように構成されている。本明細書において用いられる「運転支援」という語は、運転操作（ハンドル操作、加速、減速など）、走行環境の監視、および運転操作のバックアップの少なくとも一つを少なくとも部分的に行なう制御処理を意味する。すなわち、衝突被害軽減ブレーキ機能やレーンキープアシスト機能のような部分的な運転支援から完全自動運転動作までを含む意味である。

例えば、制御装置１３は、画像処理装置１２から出力された制御情報Ｃに基づいて、車両２０を減速させ、路肩に停車させるために必要な動作を、被制御装置４０に行なわせる。被制御装置４０の例としては、車両２０の駆動系を構成する装置、灯具、運転支援動作が有効であることを車両２０や他車両の乗員や歩行者に報知する装置などが挙げられる。

次に、図３から図５を参照しつつ、画像処理装置１２の処理部１２２により実行される運転者３０の姿勢を推定する処理について詳細に説明する。図３は、当該処理の流れを例示している。

処理部１２２は、受付部１２１を通じて撮像装置１１から画像情報Ｉを受け付ける（ＳＴＥＰ１）。図４は、撮像装置１１により取得された運転者３０が写り込んだ画像ＩＭを例示している。画像情報Ｉは、画像ＩＭに対応している。

続いて、処理部１２２は、骨格モデルを適用する処理を行なう（図３のＳＴＥＰ２）。本明細書で用いられる「骨格モデルを適用する処理」という語は、撮像装置により取得された画像に写り込んだ運転者において当該骨格モデルにおいて規定された複数の特徴点を検出し、当該複数の特徴点同士を当該骨格モデルにおいて規定された複数の骨格線で接続することを意味する。

図５は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０に骨格モデルＭが適用された例を示している。本例においては、骨格モデルＭは、頭特徴点Ｈ、首特徴点ＮＫ、左肩特徴点ＬＳ、および右肩特徴点ＲＳを含んでいる。

頭特徴点Ｈは、モデル人体の頭の中心に対応する点である。首特徴点ＮＫは、モデル人体の首に対応する点である。左肩特徴点ＬＳは、モデル人体の左肩に対応する点である。右肩特徴点ＲＳは、モデル人体の右肩に対応する点である。頭特徴点Ｈと首特徴点ＮＫは、骨格線により接続されている。首特徴点ＮＫは、左肩特徴点ＬＳおよび右肩特徴点ＲＳの各々と骨格線により接続されている。

処理部１２２は、画像ＩＭに写り込んだ運転者３０において、頭特徴点Ｈ、首特徴点ＮＫ、左肩特徴点ＬＳ、および右肩特徴点ＲＳの各々に対応する点を検出し、検出された複数の点同士を、上記の各骨格線で接続する。この処理を遂行するためのアルゴリズムは周知であるので、詳細な説明は省略する。

図１に例示されるように、画像処理装置１２は、記憶部１２４を備えている。処理部１２２は、各特徴点の画像ＩＭにおける位置を、正常時における運転者３０の姿勢を表すものとして記憶部１２４に記憶する。具体的には、各特徴点に対応する画像ＩＭ中の画素の位置が、記憶部１２４に保存される。

続いて、処理部１２２は、運転者３０の姿勢が異常であるかを推定する姿勢推定処理を実行する（図３のＳＴＥＰ３）。姿勢推定処理の詳細については、後述する。

姿勢推定処理の結果、運転者３０の姿勢が異常でないと推定されると（ＳＴＥＰ４においてＮＯ）、処理はＳＴＥＰ１に戻り、次の画像情報Ｉが受け付けられる。画像情報Ｉの受け付けが繰り返される周期は、撮像装置１１のフレームレートに対応しうる。

姿勢推定処理の結果、運転者３０の姿勢が異常であると判断されると（ＳＴＥＰ４においてＹＥＳ）、処理部１２２は、出力部１２３から制御情報Ｃを出力する（ＳＴＥＰ５）。制御情報Ｃは、制御装置１３へ送信される。制御情報Ｃは、同じ動作を被制御装置４０に行なわせるものであってもよいし、推定された異常姿勢の種別に応じて異なる動作を被制御装置４０に行なわせるものであってもよい。

次に、図６から８を参照しつつ、処理部１２２により実行される姿勢推定処理（図３におけるＳＴＥＰ３）の一例について説明する。図６は、処理の流れの一例を示している。

本例においては、運転者３０が「よそ見姿勢」をとっているかが推定される。本明細書で用いられる「よそ見姿勢」という語は、運転者３０が車両２０の進行方向を見ていない姿勢が継続している状態を意味する。

本例においては、処理部１２２は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０の頭部３１の車両２０のヨー方向への回転角が閾値を上回る場合に、運転者３０が「よそ見姿勢」をとっていると推定する。

本明細書で用いられる「ヨー方向」という語は、車両２０の上下方向に延びる軸を中心とする回転方向を意味する。「ヨー方向」に関しては、運転者３０の頭上から見て反時計回り方向を「左ヨー方向」と定義し、運転者３０の頭上から見て時計回り方向を「右ヨー方向」と定義する。

車両２０のヨー方向への頭部３１の回転角を検出するために、処理部１２２は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０の頭部３１の中心座標を仮定する処理を行なう（ＳＴＥＰ１１）。図７と図８を参照しつつ、当該処理の詳細について説明する。

図７は、図４および図５に例示された画像ＩＭのうち、運転者３０の頭部３１が写り込んでいる部分を拡大して示している。本例においては、骨格モデルＭを適用する処理により、頭特徴点Ｈに加えて、左目特徴点ＬＹもまた検出されうる。左目特徴点ＬＹは、モデル人体の左目に対応する点である。また、骨格モデルＭを適用する処理により、画像ＩＭにおいて運転者３０の頭部３１が位置する領域を推定する矩形の枠ＦＭが設定される。

図８は、設定された枠ＦＭを用いて頭部３１の中心座標ＣＴを仮定する手法を説明するための図である。同図においては、頭部３１を上方から見た状態が模式的に示されている。本例においては、車両２０の左右方向における頭部３１の幅、および車両２０の前後方向における頭部３１の幅は、図７に示される画像ＩＭ中に設定された枠ＦＭの幅Ｗと同一であるとみなされる。この前提下において、頭部３１の中心座標ＣＴは、頭特徴点Ｈから車両２０の後方へ（Ｗ／２）だけ離れた点として仮定される。処理部１２２は、距離（Ｗ／２）に対応する画素数を、記憶部１２４に保存する。

このとき、中心座標ＣＴと左目特徴点ＬＹを結ぶ直線が中心座標ＣＴと頭特徴点Ｈを結ぶ直線に対してなす角度θＹ０は、車両２０の左右方向における頭特徴点Ｈと左目特徴点ＬＹの間の距離ｄＨＬと上記の（Ｗ／２）のアークタンジェントを求めることにより特定されうる。この角度θＹ０は、運転者３０が正常姿勢をとっている場合（車両２０の進行方向を見ている場合）の初期角度として、記憶部１２４に保存される。

運転者３０が「よそ見姿勢」をとると、頭部３１は、車両２０のヨー方向へ回転する。このとき、中心座標ＣＴと左目特徴点ＬＹを結ぶ直線が中心座標ＣＴと頭特徴点Ｈを結ぶ直線（車両２０の前後方向）に対してなす角度θＹ１は、初期角度θＹ０から変化する。その変化量（θＹ１－θＹ０）は、車両２０のヨー方向への頭部３１の回転角θＹとみなされうる。したがって、その変化量（θＹ１－θＹ０）の絶対値が閾値を上回る場合に、運転者３０が「よそ見姿勢」をとっていると推定されうる。閾値は、一般的な運転者３０が「よそ見姿勢」をとる場合に生じうる回転角θＹとして、統計的に定められうる。

上記の原理に基づき、処理部１２２は、ＳＴＥＰ１１で特定された中心座標ＣＴを用いて、車両２０のヨー方向への頭部３１の回転角θＹを特定する処理を行なう（図６のＳＴＥＰ１２）。具体的には、図７に例示されるように、車両２０の左右方向における取得された画像ＩＭに写り込んだ運転者３０の頭特徴点Ｈと左目特徴点ＬＹの間の距離ｄＨＬを特定する。距離ｄＨＬは、画素数として特定される。続いて、処理部１２２は、記憶部１２４に保存されている距離（Ｗ／２）と距離ｄＨＬのアークタンジェントを求めることにより、上記の角度θＹ１を特定する。

さらに、処理部１２２は、特定された角度θＹ１と初期角度θＹ０の差分値をとることにより、車両２０のヨー方向への頭部３１の回転角θＹを特定する。差分値が正の値ととる場合、頭部３１は左ヨー方向に回転していると判断されうる。差分値が負の値をとる場合、頭部３１は右ヨー方向に回転していると判断されうる。

続いて、処理部１２２は、ＳＴＥＰ１２で特定された回転角θＹの絶対値が記憶部１２４に保存されている閾値を上回っているかを判断する（ＳＴＥＰ１３）。

回転角θＹの絶対値が閾値を上回っていると判断された場合（ＳＴＥＰ１３においてＹＥＳ）、処理部１２２は、運転者３０が「よそ見姿勢」をとっていると推定する（ＳＴＥＰ１４）。処理は、図３のＳＴＥＰ４におけるＹＥＳの判断に反映される。

他方、回転角θＹの絶対値が閾値を上回っていないと判断された場合（ＳＴＥＰ１３においてＮＯ）、処理部１２２は、運転者３０が「よそ見姿勢」をとっていないと推定する（ＳＴＥＰ１５）。処理は、図３のＳＴＥＰ４におけるＮＯの判断に反映される。

上記のような構成によれば、画像ＩＭに写り込んだ運転者３０に骨格モデルＭを適用することによって特定される頭部３１の情報を効率的に利用し、運転者３０が「よそ見姿勢」をとっているかの推定の確からしさを高めることができる。

車両２０のヨー方向への頭部３１の回転角θＹを特定可能であれば、左目特徴点ＬＹに代えて、頭部３１に含まれる適宜の特徴点が用いられうる。そのような特徴点の例としては、車両２０の左右方向における顔の中央部から離れた位置において検出されうる右目特徴点、左耳特徴点、右耳特徴点などが挙げられる。

次に、図７、および図９から１２を参照しつつ、処理部１２２により実行される姿勢推定処理（図３におけるＳＴＥＰ３）の別例について説明する。図９は、処理の流れの一例を示している。

本例においては、処理部１２２は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０の頭部３１の車両２０のピッチ方向への回転角が閾値を上回る場合に、運転者３０が「えび反り姿勢」または「うつむき姿勢」をとっていると推定する。

本明細書で用いられる「ピッチ方向」という語は、車両２０の左右方向に延びる軸を中心とする回転方向を意味する。「ピッチ方向」に関しては、運転者３０の左方から見て反時計回り方向を「下ピッチ方向」と定義し、運転者３０の左方から見て時計回り方向を「上ピッチ方向」と定義する。

「えび反り姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「えび反り姿勢」は、運転者の上半身が反り上がり、顔が上を向いている姿勢が継続している状態として定義されている。

図１０は、「えび反り姿勢」を例示している。「えび反り姿勢」は、運転者の顔の上ピッチ方向への回転角θＰＵが閾値を上回った状態として定義される。回転角θＰＵの閾値は、例えば２５°である。

「うつむき姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「うつむき姿勢」は、運転者の顔が下を向いている姿勢が継続している状態として定義されている。

図１１は、「うつむき姿勢」を例示している。「うつむき姿勢」は、運転者の顔の下ピッチ方向への回転角θＰＤが閾値を上回った状態として定義される。回転角θＰＤの閾値は、例えば２０°である。

車両２０のピッチ方向への頭部３１の回転角を検出するために、処理部１２２は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０の頭部３１の中心座標を仮定する処理を行なう（図９のＳＴＥＰ２１）。図７と図１２を参照しつつ、当該処理の詳細について説明する。

図７に例示されるように、本例においては、骨格モデルＭを適用する処理により、頭特徴点Ｈに加えて、鼻特徴点ＮＳもまた検出されうる。鼻特徴点ＮＳは、モデル人体の鼻に対応する点である。また、骨格モデルＭを適用する処理により、画像ＩＭにおいて運転者３０の頭部３１が位置する領域を推定する矩形の枠ＦＭが設定される。

図１２は、設定された枠ＦＭを用いて頭部３１の中心座標ＣＴを仮定する手法を説明するための図である。同図においては、頭部３１を左方から見た状態が模式的に示されている。本例においては、車両２０の上下方向における頭部３１の幅、および車両２０の前後方向における頭部３１の幅は、図７に示される画像ＩＭ中に設定された枠ＦＭの幅Ｗと同一であるとみなされる。この前提下において、頭部３１の中心座標ＣＴは、頭特徴点Ｈから車両２０の後方へ（Ｗ／２）だけ離れた点として仮定される。処理部１２２は、距離（Ｗ／２）に対応する画素数を、記憶部１２４に保存する。

このとき、中心座標ＣＴと鼻特徴点ＮＳを結ぶ直線が中心座標ＣＴと頭特徴点Ｈを結ぶ直線に対してなす角度θＰ０は、車両２０の左右方向における頭特徴点Ｈと鼻特徴点ＮＳの間の距離ｄＨＮと上記の（Ｗ／２）のアークタンジェントを求めることにより特定されうる。この角度θＰ０は、運転者３０が正常姿勢をとっている場合の初期角度として、記憶部１２４に保存される。

運転者３０が「えび反り姿勢」または「うつむき姿勢」をとると、頭部３１は、車両２０のピッチ方向へ回転する。このとき、中心座標ＣＴと鼻特徴点ＮＳを結ぶ直線が中心座標ＣＴと頭特徴点Ｈを結ぶ直線（車両２０の前後方向）に対してなす角度θＰ１は、初期角度θＰ０から変化する。その変化量（θＰ１－θＰ０）は、車両２０のピッチ方向への頭部３１の回転角θＰとみなされうる。したがって、その変化量（θＰ１－θＰ０）の絶対値が閾値を上回る場合に、運転者３０が「えび反り姿勢」または「うつむき姿勢」をとっていると推定されうる。閾値は、国土交通省による定義に基づいて、適宜に定められうる。

上記の原理に基づき、処理部１２２は、ＳＴＥＰ２１で特定された中心座標ＣＴを用いて、車両２０のピッチ方向への頭部３１の回転角θＰを特定する処理を行なう（図９のＳＴＥＰ２２）。具体的には、図７に例示されるように、車両２０の上下方向における取得された画像ＩＭに写り込んだ運転者３０の頭特徴点Ｈと鼻特徴点ＮＳの間の距離ｄＨＮを特定する。距離ｄＨＮは、画素数として特定される。続いて、処理部１２２は、記憶部１２４に保存されている距離（Ｗ／２）と距離ｄＨＮのアークタンジェントを求めることにより、上記の角度θＰ１を特定する。

さらに、処理部１２２は、特定された角度θＰ１と初期角度θＰ０の差分値をとることにより、車両２０のピッチ方向への頭部３１の回転角θＰを特定する。差分値が正の値ととる場合、頭部３１は下ピッチ方向に回転していると判断されうる。差分値が負の値をとる場合、頭部３１は上ピッチ方向に回転していると判断されうる。

続いて、処理部１２２は、ＳＴＥＰ２２で特定された回転角θＰの絶対値が記憶部１２４に保存されている閾値を上回っているかを判断する（ＳＴＥＰ２３）。

回転角θＰの絶対値が閾値を上回っていると判断された場合（ＳＴＥＰ２３においてＹＥＳ）、処理部１２２は、運転者３０が「えび反り姿勢」または「うつむき姿勢」をとっていると推定する（ＳＴＥＰ２４）。具体的には、回転角θＰが正の値をとる場合に運転者３０が「うつむき姿勢」をとっていると判断され、回転角θＰが負の値をとる場合に運転者３０が「えび反り姿勢」をとっていると判断される。処理は、図３のＳＴＥＰ４におけるＹＥＳの判断に反映される。

他方、回転角θＰの絶対値が閾値を上回っていないと判断された場合（ＳＴＥＰ２３においてＮＯ）、処理部１２２は、運転者３０が「えび反り姿勢」または「うつむき姿勢」をとっていないと推定する（ＳＴＥＰ２５）。処理は、図３のＳＴＥＰ４におけるＮＯの判断に反映される。

上記のような構成によれば、画像ＩＭに写り込んだ運転者３０に骨格モデルＭを適用することによって特定される頭部３１の情報を効率的に利用し、運転者３０が「えび反り姿勢」または「うつむき姿勢」をとっているかの推定の確からしさを高めることができる。

車両２０のピッチ方向への頭部３１の回転角θＰを特定可能であれば、鼻特徴点ＮＳに代えて、頭部３１に含まれる適宜の特徴点が用いられうる。そのような特徴点の例としては、顔の表面において検出されうる左目特徴点、右目特徴点、口特徴点、顔特徴点などが挙げられる。

次に、図１３から１６を参照しつつ、処理部１２２により実行される姿勢推定処理（図３におけるＳＴＥＰ３）の別例について説明する。図１３は、処理の流れの一例を示している。

本例においては、処理部１２２は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０の頭部３１の車両２０のロール方向への回転角が閾値を上回る場合に、運転者３０が「首のみ横倒れ姿勢」をとっていると推定する。

本明細書で用いられる「ロール方向」という語は、車両２０の前後方向に延びる軸を中心とする回転方向を意味する。「ロール方向」に関しては、運転者３０から見て反時計回り方向を「左ロール方向」と定義し、運転者３０から見て時計回り方向を「右ロール方向」と定義する。

「首のみ横倒れ姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「首のみ横倒れ姿勢」は、運転者の頭が左方または右方へ傾いている姿勢が継続している状態として定義されている。

図１４は、左方への「首のみ横倒れ姿勢」を例示している。左方への「首のみ横倒れ姿勢」は、運転者の顔の左ロール方向への回転角θＲＬが閾値を上回った状態として定義される。回転角θＲＬの閾値は、例えば３０°である。

図１５は、右方への「首のみ横倒れ姿勢」を例示している。右方への「首のみ横倒れ姿勢」は、運転者の顔の右ロール方向への回転角θＲＲが閾値を上回った状態として定義される。回転角θＲＲの閾値は、例えば３０°である。

図１６は、車両２０のロール方向への回転角θＲを特定する手法の一例を示している。本例においては、骨格モデルＭの適用により検出された左目特徴点ＬＹと右目特徴点ＲＹが利用される。左目特徴点ＬＹと右目特徴点ＲＹを結ぶ直線の車両２０の左右方向に対応する方向からの傾き角は、上記の回転角θＲとみなされうる。したがって、車両２０の左右方向における左目特徴点ＬＹと右目特徴点ＲＹの間の距離ｄＬＲと、車両２０の上下方向における左目特徴点ＬＹと右目特徴点ＲＹの間の距離ｄＵＤを取得し、距離ｄＬＲと距離ｄＵＤのアークタンジェントを求めることにより、回転角θＲが特定されうる。

運転者３０が「首のみ横倒れ姿勢」をとると、回転角θＲの絶対値が増大する。したがって、回転角θＲの絶対値が閾値を上回る場合に、運転者３０が「首のみ横倒れ姿勢」をとっていると推定されうる。閾値は、国土交通省による定義に基づいて、適宜に定められうる。

上記の原理に基づき、処理部１２２は、車両２０のロール方向への頭部３１の回転角θＲを特定する処理を行なう（図１３のＳＴＥＰ３１）。具体的には、車両２０の上下方向における取得された画像ＩＭに写り込んだ運転者３０の左目特徴点ＬＹと右目特徴点ＲＹについて、上記の距離ｄＬＲと距離ｄＵＤを特定する。続いて、処理部１２２は、距離ｄＬＲと距離ｄＵＤのアークタンジェントを求めることにより、回転角θＲを特定する。

回転角θＲが正の値ととる場合、頭部３１は左ロール方向に回転していると判断されうる。回転角θＲが負の値をとる場合、頭部３１は右ロール方向に回転していると判断されうる。

続いて、処理部１２２は、ＳＴＥＰ３１で特定された回転角θＰの絶対値が記憶部１２４に保存されている閾値を上回っているかを判断する（ＳＴＥＰ３２）。

回転角θＲの絶対値が閾値を上回っていると判断された場合（ＳＴＥＰ３２においてＹＥＳ）、処理部１２２は、運転者３０が「首のみ横倒れ姿勢」をとっていると推定する（ＳＴＥＰ３３）。具体的には、回転角θＲが正の値をとる場合に運転者３０が左方への「首のみ横倒れ姿勢」をとっていると判断され、回転角θＲが負の値をとる場合に運転者３０が右方への「首のみ横倒れ姿勢」をとっていると判断される。処理は、図３のＳＴＥＰ４におけるＹＥＳの判断に反映される。

他方、回転角θＲの絶対値が閾値を上回っていないと判断された場合（ＳＴＥＰ３２においてＮＯ）、処理部１２２は、運転者３０が「首のみ横倒れ姿勢」をとっていないと推定する（ＳＴＥＰ３４）。処理は、図３のＳＴＥＰ４におけるＮＯの判断に反映される。

上記のような構成によれば、画像ＩＭに写り込んだ運転者３０に骨格モデルＭを適用することによって特定される頭部３１の情報を効率的に利用し、運転者３０が「首のみ横倒れ姿勢」をとっているかの推定の確からしさを高めることができる。

車両２０のロール方向への頭部３１の回転角θＲを特定可能であれば、左目特徴点ＬＹと右目特徴点ＲＹの組合せに代えて、頭部３１に含まれる適宜の特徴点の組合せが用いられうる。そのような組合せの例としては、左耳特徴点と右耳特徴点、左目特徴点と右耳特徴点、左目特徴点と左耳特徴点、左目特徴点と鼻特徴点などが挙げられる。

これまで説明した各機能を有する処理部１２２は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵ、ＭＰＵ、ＧＰＵが例示されうる。汎用メモリとしては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、上述した処理を実行するコンピュータプログラムが記憶されうる。ＲＯＭは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサは、ＲＯＭ上に記憶されたコンピュータプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。上記のコンピュータプログラムは、汎用メモリにプリインストールされてもよいし、通信ネットワークを介して外部サーバからダウンロードされて汎用メモリにインストールされてもよい。この場合、外部サーバは、コンピュータプログラムを記憶している記憶媒体の一例である。

処理部１２２は、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの上記のコンピュータプログラムを実行可能な専用集積回路によって実現されてもよい。この場合、当該専用集積回路に含まれる記憶素子に上記のコンピュータプログラムがプリインストールされる。当該記憶素子は、コンピュータプログラムを記憶している記憶媒体の一例である。処理部１２２は、汎用マイクロプロセッサと専用集積回路の組合せによっても実現されうる。

記憶部１２４は、半導体メモリやハードディスク装置により実現されうる。記憶部１２４は、上記の汎用メモリや記憶素子により実現されてもよい。

上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。

上記の実施形態においては、運転者３０がとりうる異常姿勢として「よそ見姿勢」、「えび反り姿勢」、「うつむき姿勢」、および「首のみ横倒れ姿勢」を例示した。しかしながら、骨格モデルＭを適用することにより得られる特徴点に基づいて画像ＩＭに写り込んだ運転者３０の頭部３１を特定可能であり、当該特徴点の位置や移動方向と車両２０における規定された方向への頭部３１の回転角の関係を見出すことができれば、当該関係に基づいて、適宜の異常姿勢を推定できる。

画像処理装置１２は、車両２０に搭載されてもよいし、車両２０と周知の無線通信ネットワークを介して通信可能な外部装置として提供されてもよい。この場合、撮像装置１１から出力された画像情報Ｉが、無線通信ネットワークを介して画像処理装置１２に送信される。処理部１２２による姿勢推定処理の結果として出力されうる制御情報Ｃは、周知の無線通信ネットワークを介して制御装置１３へ送信される。

異常推定システム１０は、車両２０以外の移動体にも適用されうる。他の移動体の例としては、鉄道、航空機、船舶などが挙げられる。

１０：異常推定システム、１１：撮像装置、１２：画像処理装置、１２１：受付部、１２２：処理部、１３：制御装置、２０：車両、３０：運転者、３１：頭部、４０：被制御装置、ＦＭ：矩形の枠、Ｈ：頭特徴点、Ｉ：画像情報、ＩＭ：画像、ＬＹ：左目特徴点、ＮＳ：鼻特徴点、ＲＹ：右目特徴点、Ｗ：矩形の枠の幅、θＰ、ピッチ方向への回転角、θＲ：ロール方向への回転角、θＹ：ヨー方向への回転角

Claims (8)

1. 移動体の運転者が写り込んだ画像に対応する画像情報を受け付ける受付部と、
   前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する処理部と、
   を備えており、
   前記処理部は、
   前記画像情報に規定された骨格モデルを適用することにより前記画像に写り込んだ前記運転者の頭部に対応する矩形を設定し、
   前記移動体の前後方向に対応する方向における前記矩形の幅に基づいて前記頭部の中心座標を仮定し、
   前記中心座標と前記運転者の目に対応する特徴点を結ぶ直線が前記移動体の前後方向に対応する方向に対してなす角度に基づいて、前記移動体のヨー方向またはピッチ方向に対応する方向への前記頭部の第一回転角を特定し、
   前記第一回転角が閾値を上回る場合、前記姿勢が異常であると推定する、
   画像処理装置。
2. 前記処理部は、前記ヨー方向に対応する方向への前記第一回転角が前記閾値を上回る場合、前記運転者がよそ見姿勢をとっていると推定する、
   請求項１に記載の画像処理装置。
3. 前記処理部は、前記ピッチ方向に対応する方向への前記第一回転角が前記閾値を上回る場合、前記運転者がうつむき姿勢またはえび反り姿勢をとっていると推定する、
   請求項１に記載の画像処理装置。
4. 前記処理部は、
   前記画像に写り込んだ前記頭部における複数の特徴点を結ぶ直線の傾きに基づいて前記移動体のロール方向に対応する方向への前記頭部の第二回転角を特定し、
   前記第二回転角が前記閾値を上回る場合、前記運転者が首のみ横倒れ姿勢をとっていると推定する、
   請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記複数の特徴点は、前記運転者の両目に対応している、
   請求項４に記載の画像処理装置。
6. 前記移動体に搭載されるように構成されている、
   請求項１から５のいずれか一項に記載の画像処理装置。
7. 画像処理装置の処理部により実行可能なコンピュータプログラムであって、
   実行されることにより、前記画像処理装置に、
   移動体の運転者が写り込んだ画像に対応する画像情報を受け付けさせ、
   前記画像情報に規定された骨格モデルを適用することにより前記画像に写り込んだ前記運転者の頭部に対応する矩形を設定させ、
   前記移動体の前後方向に対応する方向における前記矩形の幅に基づいて前記頭部の中心座標を仮定させ、
   前記中心座標と前記運転者の目に対応する特徴点を結ぶ直線が前記移動体の前後方向に対応する方向に対してなす角度に基づいて、前記移動体のヨー方向またはピッチ方向に対応する方向への前記頭部の第一回転角を特定させ、
   前記第一回転角が閾値を上回る場合、前記運転者の姿勢が異常であると推定させる、
   コンピュータプログラム。
8. 移動体の運転者が写り込んだ画像に対応する画像情報を出力する撮像装置と、
   前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する画像処理装置と、
   前記画像処理装置により前記姿勢が異常であるとの推定結果に基づいて、前記移動体に搭載された被制御装置の動作を制御する制御装置と、
   を備えており、
   前記画像処理装置は、
   前記画像情報に規定された骨格モデルを適用することにより前記画像に写り込んだ前記運転者の頭部に対応する矩形を設定し、
   前記移動体の前後方向に対応する方向における前記矩形の幅に基づいて前記頭部の中心座標を仮定し、
   前記中心座標と前記運転者の目に対応する特徴点を結ぶ直線が前記移動体の前後方向に対応する方向に対してなす角度に基づいて、前記移動体のヨー方向またはピッチ方向に対応する方向への前記頭部の第一回転角を特定し、
   前記第一回転角が閾値を上回る場合、前記姿勢が異常であると推定する、
   異常推定システム。

Images