JP7240193B2 - Face orientation determination device, computer program, and storage medium - Google Patents
Face orientation determination device, computer program, and storage medium Download PDFInfo
- Publication number
- JP7240193B2 JP7240193B2 JP2019023627A JP2019023627A JP7240193B2 JP 7240193 B2 JP7240193 B2 JP 7240193B2 JP 2019023627 A JP2019023627 A JP 2019023627A JP 2019023627 A JP2019023627 A JP 2019023627A JP 7240193 B2 JP7240193 B2 JP 7240193B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- processor
- head
- occupant
- position data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、車室内における乗員の顔の向きを判別する装置に関連する。本発明は、当該装置が備えているプロセッサにより実行されるコンピュータプログラム、および当該コンピュータプログラムが記憶された記憶媒体にも関連する。 The present invention relates to a device for determining the orientation of an occupant's face in a vehicle interior. The invention also relates to a computer program executed by a processor provided in the device and a storage medium on which the computer program is stored.
特許文献1に開示されているように、車室内における乗員の顔の向きを判別する装置が知られている。当該装置は、カメラに対して正面を向いている顔の画像に含まれる目と鼻の距離に基づいて、乗員の顔の向きを判別している。
2. Description of the Related Art As disclosed in
本発明の目的は、顔がカメラに面していない乗員についても顔の向きを判別可能にすることである。 SUMMARY OF THE INVENTION An object of the present invention is to make it possible to determine the direction of the face of an occupant whose face is not facing the camera.
上記の目的を達成するための第一態様は、顔方向判別装置であって、
各々が三次元空間における位置に対応付けられた複数の点要素を含む位置データセットを受け付ける入力インターフェースと、
前記位置データセットに基づいて車室内の乗員の顔の向きを判別するプロセッサと、
を備えており、
前記プロセッサは、
前記位置データセットから前記乗員の頭部が存在する可能性が高い三次元空間の領域に対応する位置データサブセットを抽出し、
前記位置データサブセットに含まれる前記点要素の数に基づいて、前記乗員の顔の向きを判別する。
A first aspect for achieving the above object is a face direction determination device,
an input interface that accepts a position data set that includes a plurality of point elements each associated with a position in three-dimensional space;
a processor for determining the face orientation of an occupant in the vehicle interior based on the position data set;
and
The processor
extracting from the position data set a position data subset corresponding to a region in three-dimensional space where the occupant's head is likely to exist;
A facial orientation of the occupant is determined based on the number of point elements included in the position data subset.
上記の目的を達成するための第二態様は、各々が三次元位置に対応付けられた複数の点要素を含む位置データセットに基づいて、車室内の乗員の顔の向きをプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されると、当該プロセッサに、
前記位置データセットから前記乗員の頭部が存在する可能性が高い空間領域に対応する位置データサブセットを抽出させ、
前記位置データサブセットに含まれる前記点要素の数に基づいて、前記乗員の顔の向きを判別させる。
A second aspect for achieving the above object is a computer that causes a processor to determine the orientation of the face of an occupant in the vehicle compartment based on a position data set that includes a plurality of point elements each associated with a three-dimensional position. a program,
When the computer program is executed, the processor:
extracting from the position data set a position data subset corresponding to a spatial region where the occupant's head is likely to exist;
A face orientation of the occupant is determined based on the number of the point elements included in the position data subset.
上記のような構成によれば、乗員の頭部の三次元空間における位置に係る情報量に基づいて、当該乗員の顔の向きが判断されうる。画像情報のみに依存する必要がないので、顔がカメラに面していない乗員についても顔の向きを判別できる。 According to the configuration as described above, the direction of the face of the occupant can be determined based on the amount of information regarding the position of the occupant's head in the three-dimensional space. Since it is not necessary to rely only on image information, the orientation of the face of a passenger whose face is not facing the camera can also be determined.
上記の目的を達成するための第三態様は、顔方向判別装置であって、
各々が三次元空間における位置に対応付けられた複数の点要素を含む位置データセットを受け付ける入力インターフェースと、
前記位置データセットに基づいて車室内の乗員の顔の向きを判別するプロセッサと、
を備えており、
前記プロセッサは、
前記位置データセットから前記乗員の頭部が存在する可能性が高い三次元空間の領域に対応する位置データサブセットを抽出し、
前記位置データサブセットに基づいて前記頭部の中心位置を推定し、
前記中心位置を中心とする前記頭部を近似する球体の半径を特定し、
前記半径に基づいて、前記乗員の顔の向きを判別する。
A third aspect for achieving the above object is a face direction determination device,
an input interface that accepts a position data set that includes a plurality of point elements each associated with a position in three-dimensional space;
a processor for determining the face orientation of an occupant in the vehicle interior based on the position data set;
and
The processor
extracting from the position data set a position data subset corresponding to a region in three-dimensional space where the occupant's head is likely to exist;
estimating a center position of the head based on the position data subset;
identifying the radius of a sphere approximating the head centered at the center location;
A face orientation of the occupant is determined based on the radius.
上記の目的を達成するための第四態様は、各々が三次元位置に対応付けられた複数の点要素を含む位置データセットに基づいて、車室内の乗員の顔の向きをプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されると、当該プロセッサに、
前記位置データセットから前記乗員の頭部が存在する可能性が高い空間領域に対応する位置データサブセットを抽出させ、
前記位置データサブセットに基づいて前記頭部の中心位置を推定させ、
前記中心位置を中心とする前記頭部を近似する球体の半径を特定させ、
前記半径に基づいて、前記乗員の顔の向きを判別させる。
A fourth aspect for achieving the above object is a computer that causes a processor to determine the orientation of the face of an occupant in a vehicle compartment based on a position data set that includes a plurality of point elements each associated with a three-dimensional position. a program,
When the computer program is executed, the processor:
extracting from the position data set a position data subset corresponding to a spatial region where the occupant's head is likely to exist;
estimating a center position of the head based on the position data subset;
identify the radius of a sphere approximating the head centered at the center position;
The orientation of the occupant's face is determined based on the radius.
上記のような構成によれば、乗員の頭部の三次元空間における位置に係る情報から当該頭部の中心の推定位置と当該位置を中心として当該頭部を近似する球体の半径が得られ、当該半径の値に基づいて乗員の顔の向きが判断されうる。画像情報のみに依存する必要がないので、顔がカメラに面していない乗員についても顔の向きを判別できる。 According to the above configuration, the estimated position of the center of the head of the occupant and the radius of the sphere that approximates the head centered on the position are obtained from the information related to the position of the occupant's head in the three-dimensional space, The orientation of the occupant's face can be determined based on the value of the radius. Since it is not necessary to rely only on image information, the orientation of the face of a passenger whose face is not facing the camera can also be determined.
第三態様に係る顔方向判別装置は、以下のように構成されうる。
前記プロセッサは、
前記中心位置から前記位置データサブセットに含まれる前記複数の点要素の各々までの距離の代表値を算出し、
前記代表値と前記半径との比較に基づいて、前記乗員の顔の向きを判別する。
The face direction determination device according to the third aspect can be configured as follows.
The processor
calculating a representative value of the distance from the center position to each of the plurality of point elements included in the position data subset;
Based on the comparison between the representative value and the radius, the orientation of the occupant's face is determined.
第四態様に係るコンピュータプログラムは、以下のように構成されうる。
前記プロセッサに、
前記中心位置から前記位置データサブセットに含まれる前記複数の点要素の各々までの距離の代表値を算出させ、
前記代表値と前記半径との比較に基づいて、前記乗員の顔の向きを判別させる。
A computer program according to the fourth aspect can be configured as follows.
to the processor;
calculating a representative value of distances from the center position to each of the plurality of point elements included in the position data subset;
The orientation of the occupant's face is determined based on the comparison between the representative value and the radius.
上記のような構成によれば、頭部を近似する球体の半径を利用した乗員の顔の向きの判断をより精密に行なうことができる。 According to the configuration as described above, it is possible to more precisely determine the orientation of the occupant's face using the radius of the sphere that approximates the head.
第三態様に係る顔方向判別装置は、以下のように構成されうる。
前記プロセッサは、前記位置データサブセットに含まれる前記複数の点要素に対応付けられた前記三次元空間における複数の位置の重心位置と前記中心位置との位置関係に基づいて、前記乗員の顔の向きを判別する。
The face direction determination device according to the third aspect can be configured as follows.
The processor determines the orientation of the occupant's face based on the positional relationship between the center position and the barycentric positions of the plurality of positions in the three-dimensional space associated with the plurality of point elements included in the position data subset. determine.
第四態様に係るコンピュータプログラムは、以下のように構成されうる。
前記プロセッサに、前記位置データサブセットに含まれる前記複数の点要素に対応付けられた複数の前記三次元位置の重心位置と前記中心位置との位置関係に基づいて、前記乗員の顔の向きを判別させる。
A computer program according to the fourth aspect can be configured as follows.
The processor determines the direction of the occupant's face based on the positional relationship between the centroid position of the plurality of three-dimensional positions associated with the plurality of point elements included in the position data subset and the center position. Let
上記のような構成によれば、乗員の顔がカメラに面していない場合においても、具体的な顔の向きを判別できる。 According to the configuration as described above, even when the occupant's face is not facing the camera, it is possible to determine the specific orientation of the occupant's face.
第一態様と第三態様に係る顔方向判別装置は、以下のように構成されうる。
前記入力インターフェースは、前記位置データセットをTOF(Time of Flight)カメラから受け付け、
前記複数の点要素の各々は、前記TOFカメラから出力される複数の画素データの一つに対応している。
The face direction determination devices according to the first aspect and the third aspect can be configured as follows.
The input interface receives the position data set from a TOF (Time of Flight) camera,
Each of the plurality of point elements corresponds to one of the plurality of pixel data output from the TOF camera.
第二態様と第四態様に係るコンピュータプログラムは、以下のように構成されうる。
前記位置データセットは、TOF(Time of Flight)カメラから取得される。
A computer program according to the second aspect and the fourth aspect can be configured as follows.
The position data set is obtained from a TOF (Time of Flight) camera.
上記のような構成によれば、乗員の頭部に係る位置情報を、画像情報とともに効率的に取得できる。 According to the configuration as described above, it is possible to efficiently acquire the position information related to the occupant's head together with the image information.
上記の目的を達成するための第五態様は、顔方向判別装置であって、
撮像された車室を含む画像に対応し複数の画素データを含む画像データを受け付ける入力インターフェースと、
画像の輝度に関する特徴量に基づいて撮像された乗員の顔の向きを判別するために少なくとも撮像された頭部を含む画像を教師データとして学習した識別器を用い、前記画像データに基づいて、前記画像に含まれる撮像された乗員の顔の向きを判別するプロセッサと、
を備えており、
前記プロセッサは、
前記画像データにおいて前記撮像された乗員の頭部が含まれる可能性がある第一検出領域を特定し、
前記第一検出領域に含まれる各画素の輝度に基づく特徴量を前記識別器に入力し、
前記第一検出領域についての前記識別器による識別結果に基づいて、前記撮像された乗員の顔の向きについて第一判別結果を取得し、
前記第一検出領域と一部が重なる位置に当該第一検出領域と同じ大きさを有する少なくとも一つの第二検出領域を設定し、
前記第二検出領域に含まれる各画素の輝度に基づく特徴量を前記識別器に入力し、
前記第二検出領域についての前記識別器による識別結果に基づいて、前記撮像された乗員の顔の向きについて少なくとも一つの第二判別結果を取得し、
前記少なくとも一つの第二判別結果が前記第一判別結果と一致している場合、前記第一判別結果を有効にする。
A fifth aspect for achieving the above object is a face direction determination device,
an input interface for receiving image data including a plurality of pixel data corresponding to an image including a captured vehicle interior;
Using a discriminator that has learned, as training data, an image including at least the captured head in order to discriminate the direction of the face of the occupant captured based on the feature amount related to the luminance of the image, based on the image data, a processor that determines the orientation of the captured face of the occupant included in the image;
and
The processor
identifying a first detection region in the image data that may include the imaged head of the occupant;
inputting a feature quantity based on the brightness of each pixel included in the first detection region into the discriminator;
Acquiring a first discrimination result for the orientation of the captured face of the occupant based on the discrimination result of the discriminator for the first detection area,
setting at least one second detection area having the same size as the first detection area at a position partially overlapping the first detection area;
inputting a feature amount based on the brightness of each pixel included in the second detection area into the discriminator;
Acquiring at least one second determination result for the orientation of the captured face of the occupant based on the identification result of the classifier for the second detection area;
If the at least one second determination result matches the first determination result, the first determination result is validated.
上記の目的を達成するための第六態様は、画像の輝度に関する特徴量に基づいて撮像された乗員の顔の向きを判別するために少なくとも撮像された頭部を含む画像を教師データとして学習した識別器を用い、撮像された車室を含む画像に対応し複数の画素データを含む画像データに基づいて、当該画像に含まれる撮像された乗員の顔の向きをプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されると、当該プロセッサに、
前記画像データにおいて前記撮像された乗員の頭部が含まれる可能性がある第一検出領域を特定させ、
前記第一検出領域に含まれる各画素の輝度に基づく特徴量を前記識別器に入力させ、
前記第一検出領域についての前記識別器による識別結果に基づいて、前記撮像された乗員の顔の向きについて第一判別結果を取得させ、
前記第一検出領域と一部が重なる位置に当該第一検出領域と同じ大きさを有する少なくとも一つの第二検出領域を設定させ、
前記第二検出領域に含まれる各画素の輝度に基づく特徴量を前記識別器に入力させ、
前記第二検出領域についての前記識別器による識別結果に基づいて、前記撮像された乗員の顔の向きについて少なくとも一つの第二判別結果を取得させ、
前記少なくとも一つの第二判別結果が前記第一判別結果と一致している場合、前記第一判別結果を有効にさせる。
In a sixth aspect for achieving the above object, an image including at least the captured head is used as training data to determine the direction of the face of the passenger captured based on the feature value related to the brightness of the image. A computer program that uses a discriminator and causes a processor to determine the direction of the face of an occupant captured in an image based on image data that corresponds to an image that includes a captured vehicle interior and includes a plurality of pixel data. hand,
When the computer program is executed, the processor:
specifying a first detection area in the image data that may include the imaged head of the occupant;
causing the discriminator to input a feature value based on the brightness of each pixel included in the first detection region;
Acquiring a first discrimination result for the orientation of the captured face of the occupant based on the discrimination result of the discriminator for the first detection area;
setting at least one second detection area having the same size as the first detection area at a position partially overlapping the first detection area;
causing the discriminator to input a feature value based on the brightness of each pixel included in the second detection region;
Acquiring at least one second determination result for the orientation of the captured face of the occupant based on the result of identification by the classifier for the second detection area;
If the at least one second determination result matches the first determination result, the first determination result is validated.
上記のような構成によれば、撮像された頭部を含む画像を教師データとして学習した識別器を用いて撮像された乗員の顔の向きが判別され、さらにその判別結果についての検証もなされるので、顔がカメラに面していない乗員についても顔の向きの判別精度を高めることができる。 According to the configuration as described above, the face orientation of the captured occupant is discriminated using a discriminator that has learned the captured image including the head as teacher data, and the discrimination result is also verified. Therefore, it is possible to improve the accuracy of determining the direction of the face of a passenger whose face does not face the camera.
第五態様に係る顔方向判別装置は、以下のように構成されうる。
前記入力インターフェースは、各々が三次元空間における位置に対応付けられた複数の点要素を含む位置データセットを受け付け、
前記プロセッサは、
前記位置データセットから前記第一検出領域に対応する位置データサブセットを抽出し、
前記位置データサブセットに基づいて推定された前記頭部の中心位置と、当該位置データサブセットに含まれる前記複数の点要素に対応付けられた複数の前記位置の重心位置との位置関係に基づいて、前記撮像された乗員の顔の向きを判別する。
A face direction determination device according to the fifth aspect can be configured as follows.
The input interface accepts a position data set including a plurality of point elements each associated with a position in three-dimensional space;
The processor
extracting a position data subset corresponding to the first detection region from the position data set;
Based on the positional relationship between the center position of the head estimated based on the position data subset and the center-of-gravity positions of the plurality of positions associated with the plurality of point elements included in the position data subset, The orientation of the imaged occupant's face is discriminated.
第六態様に係るコンピュータプログラムは、以下のように構成されうる。
前記プロセッサに、
各々が三次元位置に対応付けられた複数の点要素を含む位置データセットから前記第一検出領域に対応する位置データサブセットを抽出させ、
前記位置データサブセットに基づいて推定された前記頭部の中心位置と、当該位置データサブセットに含まれる前記複数の点要素に対応付けられた複数の前記三次元位置の重心位置との位置関係に基づいて、前記撮像された乗員の顔の向きを判別させる。
A computer program according to the sixth aspect can be configured as follows.
to the processor;
extracting a position data subset corresponding to the first detection region from a position data set including a plurality of point elements each associated with a three-dimensional position;
Based on the positional relationship between the center position of the head estimated based on the position data subset and the barycenter positions of the plurality of three-dimensional positions associated with the plurality of point elements included in the position data subset to discriminate the orientation of the captured face of the occupant.
上記のような構成によれば、乗員の顔がカメラに面していない場合においても、具体的な顔の向きを判別できる。 According to the configuration as described above, even when the occupant's face is not facing the camera, it is possible to determine the specific orientation of the occupant's face.
第五態様に係る顔方向判別装置は、以下のように構成されうる。
前記特徴量は、HOG(Histograms of Oriented Gradients)である。
A face direction determination device according to the fifth aspect can be configured as follows.
The feature amount is HOG (Histograms of Oriented Gradients).
第六態様に係るコンピュータプログラムは、以下のように構成されうる。
前記特徴量は、HOG(Histograms of Oriented Gradients)である。
A computer program according to the sixth aspect can be configured as follows.
The feature amount is HOG (Histograms of Oriented Gradients).
上記のような構成によれば、頭部のエッジを比較的高い精度で検出できる。したがって、撮像された乗員の顔の向きの判別精度を高めることができる。 According to the configuration as described above, the edge of the head can be detected with relatively high accuracy. Therefore, it is possible to improve the accuracy of determining the orientation of the captured face of the occupant.
第五態様に係る顔方向判別装置は、以下のように構成されうる。
前記識別器は、サポートベクターマシンである。
A face direction determination device according to the fifth aspect can be configured as follows.
The classifier is a support vector machine.
第六態様に係るコンピュータプログラムは、以下のように構成されうる。
前記識別器は、サポートベクターマシンである。
A computer program according to the sixth aspect can be configured as follows.
The classifier is a support vector machine.
上記のような構成によれば、汎化性能の高い識別器が得られるので、撮像された乗員の顔の向きの判別精度を高めることができる。 According to the configuration as described above, a discriminator having high generalization performance can be obtained, so that it is possible to improve the accuracy of discriminating the orientation of the captured face of the occupant.
第五態様に係る顔方向判別装置は、以下のように構成されうる。
前記入力インターフェースは、前記位置データセットを、前記画像データの一部としてTOF(Time of Flight)カメラから受け付ける。
A face direction determination device according to the fifth aspect can be configured as follows.
The input interface receives the position data set from a TOF (Time of Flight) camera as part of the image data.
第六態様に係るコンピュータプログラムは、以下のように構成されうる。
前記位置データセットは、前記画像データの一部としてTOF(Time of Flight)カメラから取得されたものである。
A computer program according to the sixth aspect can be configured as follows.
The position data set is obtained from a TOF (Time of Flight) camera as part of the image data.
上記のような構成によれば、乗員の頭部に係る位置情報を、画像情報とともに効率的に取得できる。 According to the configuration as described above, it is possible to efficiently acquire the position information related to the occupant's head together with the image information.
上記の目的を達成するための一態様は、上記の第二態様、第四態様、および第六態様のいずれかに係るコンピュータプログラムを記憶している記憶媒体である。 One aspect for achieving the above object is a storage medium storing a computer program according to any one of the second, fourth, and sixth aspects.
本発明によれば、顔がカメラに面していない乗員についても顔の向きを判別できる。 According to the present invention, it is possible to determine the orientation of the face of an occupant whose face does not face the camera.
添付の図面を参照しつつ、実施形態例について以下詳細に説明する。以下の説明に用いる各図面では、各部材を認識可能な大きさとするために縮尺を適宜変更している。 Exemplary embodiments are described in detail below with reference to the accompanying drawings. In each drawing used for the following description, the scale is appropriately changed so that each member has a recognizable size.
図1は、一実施形態に係る顔方向判別システム1の構成を模式的に示している。顔方向判別システム1は、TOF(Time of Flight)カメラ2と顔方向判別装置3を含んでいる。図2は、顔方向判別システム1が搭載される車両4の一部を示している。矢印Lは、車両4の前後方向に沿う向きを示している。矢印Hは、車両4の高さ方向に沿う向きを示している。
FIG. 1 schematically shows the configuration of a face
TOFカメラ2は、図2に示される車両4の車室41内における適宜の位置に配置され、撮像された車室41を含む画像を取得する。
The
TOFカメラ2は、発光素子と受光素子を備えている。発光素子は、検出光として例えば赤外光を出射する。出射された検出光は、対象物によって反射され、戻り光として受光素子に入射する。検出光が発光素子より出射されてから戻り光が受光素子に入射するまでの時間が測定されることにより、戻り光を生じた対象物までの距離が算出される。TOFカメラ2により取得される画像を構成する複数の画素の各々について当該距離が算出されることにより、各画素は、画像における二次元的な位置座標(U,V)に加えて、当該画素に対応する対象物の一部までの距離(奥行き)を示す距離情報d(U,V)を含む。
The
TOFカメラ2は、取得された画像に対応する画像データIDを出力する。画像データIDは、複数の画素データセットを含んでいる。複数の画素データセットの各々は、取得された画像を構成する複数の画素の対応する一つに関連づけられている。複数の画素データセットの各々は、位置座標(U,V)と距離情報d(U,V)を含んでいる。すなわち、複数の画素データセットの各々は、三次元空間における位置に対応付けられている。複数の画素データセットの各々は、点要素の一例である。画像データIDは、位置データセットの一例でもある。
The
顔方向判別装置3は、車両4における適宜の位置に搭載される。顔方向判別装置3は、TOFカメラ2から提供される画像データIDに基づいて、撮像された車室41内の運転者5の顔の向きを判別するための装置である。運転者5は、乗員の一例である。
The face
顔方向判別装置3は、入力インターフェース31を備えている。入力インターフェース31は、TOFカメラ2から出力された画像データIDを受け付ける。
The face
顔方向判別装置3は、プロセッサ32を備えている。プロセッサ32は、入力インターフェース31に入力された画像データIDに基づいて、運転者5の顔の向きを判別する処理を実行する。
The face
図3を参照しつつ、プロセッサ32によって行なわれる処理の流れを説明する。プロセッサ32は、まず画像データIDに対して予備処理を実行する(STEP1)。
The flow of processing performed by
各画素データセットに含まれる位置座標(U,V)と距離情報d(U,V)は、画像中心座標が(cX,cY)と定義された場合、次式を用いてカメラ座標系における三次元空間上の点(X,Y,Z)に変換されうる。fは、TOFカメラ2が備えるレンズの焦点距離を表している。
The position coordinates (U, V) and the distance information d (U, V) included in each pixel data set are calculated using the following equation in the camera coordinate system when the image center coordinates are defined as (c X , c Y ). can be converted to a point (X, Y, Z) on the three-dimensional space in . f represents the focal length of the lens that the
プロセッサ32は、上式に基づいて、位置座標(U,V)と距離情報d(U,V)からカメラ座標系における三次元空間上の点(X,Y,Z)への変換を行なう。なお、位置座標(U,V)と距離情報d(U,V)からカメラ座標系における三次元空間上の点(X,Y,Z)への変換は、TOFカメラ2に内蔵されたプロセッサによって行なわれてもよい。この場合、TOFカメラ2から出力される画像データIDに含まれる複数の画素データセットの各々は、位置座標(X,Y,Z)を含む。この場合においても、複数の画素データセットの各々は、三次元空間における位置に対応付けられている。この場合においても、複数の画素データセットの各々は、点要素の一例である。この場合においても、画像データIDは、位置データセットの一例でもある。
The
カメラ座標系における位置座標(X,Y,Z)は、車両4における特定の位置を原点とする車両座標系における位置座標(W,L,H)に変換されうる。W軸は、車両4の左右方向に延びる座標軸である。例えば、運転席における特定の位置を原点とした場合、W軸の座標値は、運転者5から見て原点よりも右方において正の値をとり、原点よりも左方において負の値をとる。L軸は、車両4の前後方向に延びる座標軸である。例えば、L軸の座標値は、原点よりも前方において正の値をとり、原点よりも後方において負の値をとる。H軸は、車両4の上下方向に延びる座標軸である。例えば、H軸の座標値は、原点よりも上方において正の値をとり、原点よりも下方において負の値をとる。
The position coordinates (X, Y, Z) in the camera coordinate system can be converted into position coordinates (W, L, H) in the vehicle coordinate system with a specific position in the
プロセッサ32は、各画素データセットについてカメラ座標系における位置座標(X,Y,Z)から車両座標系における位置座標(W,L,H)への変換を行なう。原点は、例えば運転者5の腰骨に対応する位置として選ばれる。車両座標系への座標変換は、周知の座標回転変換、平行移動変換、スケール変換などを用いて行なわれうる。
続いてプロセッサ32は、処理対象とされる空間領域を限定する処理を行なう。具体的には、TOFカメラ2から取得された画像データIDから、限定された空間領域に対応する複数の画素データセットPDが抽出される。
図4の(A)は、TOFカメラ2から取得された画像データIDの一例を示している。図2に示されるように、運転席に着座した運転者5の頭部51は、車室41の上部に位置している蓋然性が高い。したがって、処理対象とされる空間領域が当該車室41の上部に限定される。例えば、限定された空間領域は、W軸の座標値が-510mm~360mm、L軸の座標値が-280mm~700mm、H軸の座標値が430mm~750mmの範囲である空間領域として定義されうる。図4の(B)は、限定された空間領域に対応する複数の画素データセットPDの一例を示している。
(A) of FIG. 4 shows an example of the image data ID acquired from the
空間領域を限定する処理が行なわれることにより、後述する頭部51の判別処理の負荷が軽減されうる。しかしながら、この処理は省略されてもよい。
By performing the process of limiting the spatial region, the load of the discrimination process of the
続いてプロセッサ32は、TOFカメラ2から取得された画像データIDまたは上記のように抽出された複数の画素データセットPDを複数のデータサブセットDSに分割する(図3のSTEP2)。
Subsequently, the
図5の(A)は、L軸とH軸により形成されるLH座標平面に射影された複数の画素データセットPDを示している。プロセッサ32は、LH座標平面に射影された複数の画素データセットPDを複数のデータサブセットDSに分割することにより、車室41の一部を構成する複数の空間領域(車室空間領域)の一つに各データサブセットDSを対応付ける。
FIG. 5A shows a plurality of pixel data sets PD projected onto the LH coordinate plane formed by the L axis and H axis. The
各データサブセットDSに対応する車室空間領域は、L軸に沿う所定の幅dLを有している。幅dLは、人の頭部に対応する寸法として予め定められうる。「人の頭部に対応する寸法」は、例えば国立研究開発法人産業技術総合研究所の人体寸法データベースや独立行政法人製品評価技術基盤機構の人間特性データベースなどに公開されている頭部の大きさに係る情報に基づいて定められうる。 The vehicle interior spatial region corresponding to each data subset DS has a predetermined width dL along the L axis. The width dL can be predetermined as a dimension corresponding to the human head. "Size corresponding to the human head" is the size of the head published in the human body size database of the National Institute of Advanced Industrial Science and Technology and the human characteristics database of the National Institute of Technology and Evaluation. can be determined based on information about
続いてプロセッサ32は、高尤度データサブセットLDSを特定する(図3のSTEP3)。高尤度データサブセットLDSは、運転者5の頭部51が存在する可能性が高い車室空間領域に対応するデータサブセットDSである。
具体的には、プロセッサ32は、各データサブセットDSに含まれる有意な画素データセットの数を計数する。「有意な画素データセット」とは、運転者5によって検出光が反射されたことにより取得された可能性が高い距離情報D(U,V)を有している画素データセットを意味する。そのような距離情報Dの数値範囲は、TOFカメラ2と運転者5との位置関係に基づいて適宜に定められうる。
Specifically,
LH座標平面に射影された複数の画素データセットPDの場合、有意な画素データセットを最も多く含むデータサブセットDSに対応する車室空間領域には、運転者5の頭部51と胴体52が含まれている可能性が高い。
For multiple pixel data sets PD projected onto the LH coordinate plane, the vehicle interior spatial region corresponding to the data subset DS containing the most significant pixel data sets includes the
したがって、図5の(B)に示されるように、プロセッサ32は、有意な画素データセットを最も多く含むデータサブセットDSを、高尤度データサブセットLDSとして特定する。換言すると、プロセッサ32は、各データサブセットDSに含まれる運転者5に対応する画素データセットの数に基づいて、頭部51が存在する可能性が高い複数の車室空間領域の少なくとも一つに対応する高尤度データサブセットLDSを特定する。
Accordingly, as shown in FIG. 5B,
続いてプロセッサ32は、特定された高尤度データサブセットLDSに基づいて、頭部の判別を行なう(図3のSTEP4)。
まず、図5の(B)に示されるように、プロセッサ32は、運転者5の頭頂部51aを特定する。具体的には、高尤度データサブセットLDSに含まれる有意な画素データセットのうち、最も高い位置にあるものが、頭頂部51aであると特定される。換言すると、高尤度データサブセットLDSに含まれる有意な画素データセットのうち、最も大きなH軸座標値を有するものが、頭頂部51aであると特定される。
First, the
続いて、図6の(A)と(B)に示されるように、プロセッサ32は、撮像された運転者5の頭部51が含まれる蓋然性の高い頭部空間領域HSRを定義する。頭部空間領域HSRは、特定された頭頂部51aの座標に基づいて定められる。具体的には、国立研究開発法人産業技術総合研究所の人体寸法データベースや独立行政法人製品評価技術基盤機構の人間特性データベースなどに公開されている頭部の大きさに係る情報に基づいて、頭部空間領域HSRのL軸に沿う方向の寸法hdL、H軸に沿う方向の寸法hdH、およびW軸に沿う方向の寸法hdWが定められる。
Subsequently, as shown in FIGS. 6A and 6B, the
例えば、寸法hdLは、頭頂部51aの座標を中心として176mmの値をとるように定められる。寸法hdHは、頭頂部51aの座標から下方へ146mmの値をとるように定められる。寸法hdWは、頭頂部51aの座標を中心として176mmの値をとるように定められる。
For example, the dimension hdL is determined to have a value of 176 mm centered on the coordinates of the top of the
次にプロセッサ32は、図7の(A)に示されるように、上記のように定められた頭部空間領域HSRに対応する頭部データサブセットHSDを、複数の画素データセットPDから抽出する。頭部データサブセットHSDは、位置データサブセットの一例である。
Next, the
続いてプロセッサ32は、撮像された運転者5の顔の向きを判別する処理を行なう(図3のSTEP5)。図8は、当該処理の第一の例を示している。
Subsequently, the
具体的には、プロセッサ32は、頭部データサブセットHSDに含まれる有意な画素データセットの数を計数する(STEP511)。「有意な画素データセット」とは、運転者5によって検出光が反射されたことにより取得された可能性が高い距離情報D(U,V)を有している画素データセットを意味する。頭部データサブセットHSDに含まれる有意な画素データセットは、運転者5の顔面からの戻り光に基づいて得られた蓋然性が高い。
Specifically, the
本実施形態において、TOFカメラ2は、運転者5の画像を左上方から取得している。運転者5の顔が正面、左方、または上方を向いていれば、TOFカメラ2に面する顔部分の面積は増大する。したがって、TOFカメラ2への戻り光が増大し、頭部データサブセットHSDに含まれる有意な画素データセットの数も増大する。他方、運転者5の顔が右方または下方を向いていると、TOFカメラ2に面する顔部分の面積が減少する。したがって、TOFカメラ2への戻り光が減少し、頭部データサブセットHSDに含まれる有意な画素データセットの数も減少する。
In this embodiment, the
すなわち、頭部データサブセットHSDに含まれる有意な画素データセットの数に基づいて、運転者5の顔の向きとして、顔がTOFカメラ2に面しているか否かがが判断されうる。
That is, based on the number of significant pixel data sets included in the head data subset HSD, it can be determined whether the driver's 5 face faces the
具体的には、プロセッサ32は、計数された有意な画素データセットの数が所定値未満であるかを判断する(STEP512)。所定値は、TOFカメラ2の仕様や運転者5との位置関係に応じて適宜に定められうる。計数された有意な画素データセットの数が所定値未満である場合(STEP512においてYES)、プロセッサ32は、運転者5の顔はTOFカメラ2に面していないと判断する(STEP513)。計数された有意な画素データセットの数が所定値以上である場合(STEP512においてNO)、プロセッサ32は、運転者5の顔はTOFカメラ2に面していると判断する(STEP514)。
Specifically,
上記のような構成によれば、運転者5の頭部51の三次元空間における位置に係る情報量に基づいて、運転者5の顔の向きが判断されうる。画像情報のみに依存する必要がないので、顔がカメラに面していない運転者5についても顔の向きを判別できる。
According to the configuration as described above, the orientation of the face of the
図9は、プロセッサ32により行なわれうる撮像された運転者5の顔の向きを判別する処理の第二の例を示している。
FIG. 9 shows a second example of processing that can be performed by the
プロセッサ32は、運転者5の頭部51の中心位置Cを推定する(STEP521)。具体的には、図7の(B)に示されるように、プロセッサ32は、頭部データサブセットHSDのうち、上記のように定められた頭部空間領域HSRの重心位置G(Wg,Lg,Hg)を、まず特定する。
The
頭部データサブセットHSDは、頭部51の表面からの戻り光に基づいて取得されているので、上記のように特定された重心位置Gは、頭部51の中心(実際の重心)よりも表面に寄る傾向にある。図10の(A)に示されるように、運転者5の頭部51は球体Sで近似できる。頭部データサブセットHSDに含まれる複数の画素データセット(点要素)が球体Sの表面に分布していると仮定すれば、各点要素から球体Sの中心までの距離は等しくなる。
Since the head data subset HSD is acquired based on the return light from the surface of the
そこでプロセッサ32は、各点要素からの距離のばらつきが最小となる点を探索し、重心位置Gがそのような点の位置となるように補正する。プロセッサ32は、補正された重心位置G’を頭部51の中心位置Cとして推定する。
Therefore, the
各点要素からの距離のばらつきが最小となる点は、例えば次式で表される評価関数の値が最小になるような点として探索されうる。
pkは、頭部データサブセットHSDに含まれる各点要素の位置を表している。
Gは、上記のように特定された頭部51の重心位置を表している。
d(pk,G)は、ある点要素の位置と重心位置の間のユークリッド距離を表している。
The point with the smallest variation in distance from each point element can be searched for, for example, as the point with the smallest value of the evaluation function represented by the following equation.
p k represents the position of each point element contained in the head data subset HSD.
G represents the center-of-gravity position of the
d(p k , G) represents the Euclidean distance between the position of a certain point element and the position of the center of gravity.
続いてプロセッサ32は、頭部51を近似する球体Sの半径を特定する(図9のSTEP522)。当該半径は、例えば当初の重心位置Gと補正後の重心位置G’の間のユークリッド距離に基づいて特定されうる。
図10の(B)は、運転者5の顔が車室41における右方を向いている場合を例示している。図10の(C)は、運転者5の顔が車室41における下方を向いている場合を例示している。運転者5の顔がTOFカメラ2に面していないこれらの例においては、頭部データサブセットHSDに含まれる複数の点要素の分布が特定の方向へ偏る。このような複数の点要素が表面に分布していると仮定された球体Sの半径は、妥当な値を有しない傾向にある。
(B) of FIG. 10 illustrates a case where the face of the
そこでプロセッサ32は、特定された球体Sの半径の値が所定の範囲内にあるかを判断する(STEP523)。所定の範囲は、例えば50mm~90mmとされうる。球体Sの半径が所定の範囲内にないと判断された場合、(STEP523においてNO)、プロセッサ32は、運転者5の顔はTOFカメラ2に面していないと判断する(STEP524)。球体Sの半径が所定の範囲内にあると判断された場合(STEP523においてYES)、プロセッサ32は、運転者5の顔はTOFカメラ2に面していると判断する(STEP525)。
The
上記のような構成によれば、運転者5の頭部51の三次元空間における位置に係る情報から頭部51の中心の推定位置と当該位置を中心として頭部51を近似する球体Sの半径が得られ、当該半径の値に基づいて運転者5の顔の向きが判断されうる。画像情報のみに依存する必要がないので、顔がカメラに面していない運転者5についても顔の向きを判別できる。
According to the above configuration, the estimated position of the center of the
図9に示されるように、球体Sの半径が所定の範囲内にあると判断された場合、(STEP523においてYES)、プロセッサ32は、頭部51の中心位置C(すなわち球体Sの中心)から頭部データサブセットHSDに含まれる各点要素までの距離と球体Sの半径との差分の平均値を算出しうる。当該平均値は、代表値の一例である。当該平均値は、頭部51の中心位置Cから頭部データサブセットHSDに含まれる各点要素までの距離と球体Sの半径との差分の中間値や最頻値で置き換えられうる。
As shown in FIG. 9, if it is determined that the radius of the sphere S is within the predetermined range (YES in STEP 523), the
図10の(A)に示されるように運転者5の顔がTOFカメラ2に面している場合、球体Sは実際の頭部51をよく近似できるので、中心位置Cから頭部データサブセットHSDに含まれる複数の点要素の各々までの距離は、球体Sの半径に近づく傾向にある。他方、図10の(B)や(C)に示されるように運転者5の顔がTOFカメラ2に面していない場合、頭部データサブセットHSDに含まれる複数の点要素の分布が特定の方向へ偏るので、中心位置Cから頭部データサブセットHSDに含まれる複数の点要素の各々までの距離は、球体Sの半径から離れる傾向にある。
When the face of the
そこでプロセッサ32は、算出された差分の平均値が所定値未満であるかを判断する(図9のSTEP526)。所定値は、例えば10mmとされうる。算出された差分の平均値が所定値未満であると判断された場合(STEP526においてYES)、プロセッサ32は、運転者5の顔はTOFカメラ2に面していると判断する(STEP525)。算出された差分の平均値が所定値以上であると判断された場合(STEP526においてNO)、プロセッサ32は、運転者5の顔はTOFカメラ2に面していると判断する(STEP524)。
The
このような構成によれば、頭部51を近似する球体Sの半径を利用した運転者5の顔の向きの判断をより精密に行なうことができる。
According to such a configuration, it is possible to more precisely determine the direction of the face of
STEP523の判断処理に代えて、STEP526の判断処理のみに基づいて運転者5の顔の向きが判断されてもよい。
The orientation of the face of the
運転者5の顔がTOFカメラに面していないと判断された場合(STEP524)、プロセッサ32は、運転者5の顔の向きを特定する処理をさらに行ないうる(STEP527)。具体的には、運転者5の顔が車室41における右方と下方のいずれを向いているのかが特定される。
If it is determined that the face of
図11の(A)に示されるように、運転者5の顔が車室41における右方を向いている場合、頭部データサブセットHSDに含まれる複数の点要素の重心位置Gは、頭部51の中心位置Cから見て比較的前方(+L方向)に位置する傾向にある。他方、図11の(B)に示されるように、運転者5の顔が車室41における下方を向いている場合、頭部データサブセットHSDに含まれる複数の点要素の重心位置Gは、頭部51の中心位置Cから見て比較的左方(-W方向)に位置する傾向にある。
As shown in FIG. 11A, when the face of the
そこでプロセッサ32は、重心位置Gと中心位置Cの位置関係に基づいて、運転者5の顔が右方と下方のいずれを向いているかを判別する。具体的には、図11の(C)に示されるように、中心位置Cから見たWL座標平面内における特定の方向が、基準方向RDとして設定される。プロセッサ32は、中心位置Cから見て重心位置Gが基準方向RDよりも右方に位置していれば、運転者5の顔が車室41における右方を向いていると判断する。プロセッサ32は、中心位置Cから見て重心位置Gが基準方向RDよりも左方に位置していれば、運転者5の顔が車室41における下方を向いていると判断する。
Based on the positional relationship between the position G of the center of gravity and the position C of the center of gravity, the
このような構成によれば、運転者5の顔がTOFカメラ2に面していない場合においても、具体的な顔の向きを判別できる。
According to such a configuration, even when the face of the
これまで説明した第一の処理例と第二の処理例においては、顔方向判別装置3の入力インターフェース31は、運転者5の頭部51の三次元空間における位置に係る情報を、画像データIDの一部としてTOFカメラ2から受け付けている。このような構成によれば、運転者5の頭部51に係る位置情報を、画像情報とともに効率的に取得できる。しかしながら、画像情報を出力する撮像装置と位置情報を出力する装置は、異なっていてもよい。後者の装置としては、LiDAR(Light Detection and Ranging)センサなどが例示されうる。
In the first processing example and the second processing example that have been described so far, the
図12は、プロセッサ32により行なわれうる運転者5の顔の向きを判別する処理の第三の例を示している。
FIG. 12 shows a third example of processing for determining the direction of the face of
プロセッサ32は、まず入力インターフェース31を通じて画像データIDを取得する(STEP531)。
The
続いてプロセッサ32は、画像データIDにおいて撮像された運転者5の頭部51が含まれる可能性がある検出領域DAを設定する(STEP532)。検出領域DAの特定は、適宜の画像認識技術を用いて行なわれうる。図13の(A)は、画像データID中に特定された検出領域DAの一例を示している。検出領域DAは、第一検出領域の一例である。
Subsequently, the
続いてプロセッサ32は、識別器を用い、検出領域DAに含まれる撮像された運転者5の顔がTOFカメラ2に面しているか否かを判別する(STEP533)。識別器は、画像の輝度に関する特徴量に基づいて撮像された運転者5の顔の向きを判別するために、少なくとも撮像された頭部を含む画像を教師データとして学習することによって構成されている。識別器は、プロセッサ32により実行される処理アルゴリズムの呼称である。
Subsequently, the
本実施形態においては、特徴量としてHOG(Histogram of Oriented Gradients)が検出される。HOGは、画像の局所的な輝度の勾配方向の分布を示す特徴量である。 In this embodiment, HOG (Histogram of Oriented Gradients) is detected as the feature quantity. HOG is a feature quantity that indicates the distribution of local luminance in the gradient direction of an image.
図13の(B)は、検出領域DAの具体的な構成を例示している。検出領域DAの大きさは、TOFカメラ2によって取得される画像に含まれうる運転者5の頭部51の大きさに基づいて定められている。例えば、画像において頭部51がとりうる最大の大きさが48×56画素である場合、画像データID中に設定される検出領域DAの大きさもまた、48×56画素とされうる。
(B) of FIG. 13 illustrates a specific configuration of the detection area DA. The size of the detection area DA is determined based on the size of the
検出領域DA内には検出セルDCと検出ブロックDBが定義される。検出セルDCは、HOGを検出するために設定される領域の最小単位である。本実施形態においては、縦方向に延びる運転者5の顔のエッジを検出しやすくするために、検出セルDCは縦長の形状を有している。例えば、検出セルDCの大きさは4×8画素とされうる。検出ブロックDBは、3×3セルの大きさを有する領域である。
A detection cell DC and a detection block DB are defined in the detection area DA. A detection cell DC is the minimum unit of area set for detecting HOG. In this embodiment, the detection cells DC have a vertically long shape in order to facilitate detection of the edges of the face of the
HOGの検出は、検出ブロックDBに含まれる9つの検出セルDCの各々について行なわれる。すなわち、図13の(B)に示される検出領域DAの上左隅に位置している検出ブロックDBについて、9セル分のHOGが検出される。検出ブロックDBに含まれる全ての検出セルDCについてHOGが検出されると、検出領域DA内における検出ブロックDBの位置が変更される。具体的には、右方向へ4画素分(すなわち1セル分)だけ検出ブロックDBが移動する。移動後の位置における検出ブロックDBに含まれる全ての検出セルDCについて、同様にして9セル分のHOGが検出される。 HOG detection is performed for each of nine detection cells DC included in detection block DB. That is, HOG for 9 cells is detected for the detection block DB positioned at the upper left corner of the detection area DA shown in FIG. 13B. When HOG is detected for all the detection cells DC included in the detection block DB, the position of the detection block DB within the detection area DA is changed. Specifically, the detection block DB is moved rightward by four pixels (that is, by one cell). HOG for nine cells is similarly detected for all the detection cells DC included in the detection block DB at the position after the movement.
このように検出ブロックDBが右方へ移動しながら、HOGの検出が繰り返される。検出ブロックDBが検出領域DAの右端に到達すると、下方向へ8画素分(すなわち1セル分)だけ移動がなされ、検出領域DA内を左方へ移動しながら、HOGの検出が繰り返される。検出ブロックDBが検出領域DAの左端に到達すると、さらに下方向へ8画素分の移動がなされ、再度検出領域DA内を右方へ移動しながら、HOGの検出が繰り返される。検出ブロックDBが検出領域DAの下右隅に到達するまで上記の処理が繰り返される。 HOG detection is repeated while the detection block DB moves to the right in this manner. When the detection block DB reaches the right end of the detection area DA, it is moved downward by eight pixels (that is, by one cell), and HOG detection is repeated while moving leftward within the detection area DA. When the detection block DB reaches the left end of the detection area DA, it is further moved downward by 8 pixels, and the HOG detection is repeated while moving rightward again within the detection area DA. The above process is repeated until the detection block DB reaches the lower right corner of the detection area DA.
検出ブロックDBを移動させながらのHOGの検出が完了すると、識別器による識別がなされる。識別器は、TOFカメラ2に面した顔を含む画像とTOFカメラ2に面していない顔を含む画像を教師データとした機械学習を通じて、運転者5の顔がTOFカメラ2に面していない可能性に対応する尤度を判断するように構成されている。本実施形態においては、識別器は、RBFカーネル関数を用いたソフトマージンSVM(サポートベクターマシン)である。尤度は、SVMスコアとして算出される。
When HOG detection is completed while moving the detection block DB, identification is performed by the identifier. The discriminator performs machine learning using an image including the face facing the
具体的には、プロセッサ32は、検出領域DAについて得られたHOGの分布を識別器に入力する。識別器は、検出領域DAについてSVMスコアを算出する。算出されたSVMスコアが所定値未満である場合(図12のSTEP533においてNO)、プロセッサ32は、検出領域DA内の画像における運転者5の顔がTOFカメラ2に面している可能性が高いと判断する(STEP534)。検出領域DAについて得られたこの判別結果は、第一判別結果の一例である。
Specifically, the
算出されたSVMスコアが所定値以上である場合(図12のSTEP533においてYES)、プロセッサ32は、検出領域DA内の画像における運転者5の顔がTOFカメラ2に面していないとの判断を検証する処理を行なう。
If the calculated SVM score is equal to or greater than a predetermined value (YES in STEP 533 of FIG. 12),
具体的には、プロセッサ32は、検出領域DAと一部が重なる位置に比較領域CAを設定する(STEP535)。比較領域CAは、検出領域DAと同じ大きさを有している。比較領域CAもまた、図13の(B)に示される検出領域DAと同じ構成を有している。比較領域CAは、第二検出領域の一例である。
Specifically, the
例えば、図14の(A)に示されるように、検出領域DAを上方へ8画素分オフセットさせた位置に対応するように比較領域CAが設定される。このように設定された比較領域CAに含まれる画像に対して、前述したHOGの検出および識別器との照合に基づくSVMスコアの算出が行なわれる。プロセッサ32は、算出されたSVMスコアに基づいて、比較領域CA内の画像における運転者5の顔がTOFカメラに面していない可能性を判断する。比較領域CAについて得られたこの判別結果は、第二判別結果の一例である。
For example, as shown in FIG. 14A, the comparison area CA is set so as to correspond to a position offset upward by eight pixels from the detection area DA. The SVM score is calculated based on the above-described HOG detection and matching with the discriminator for the image included in the comparison area CA set in this manner. The
続いてプロセッサ32は、図14の(B)に示されるように、図14の(A)に示される比較領域CAから右方へ8画素分オフセットさせた位置に比較領域CAを設定する。プロセッサ32は、上記と同様にして比較領域CA内の画像における運転者5の顔がTOFカメラに面していない可能性を判断する。
Subsequently, as shown in FIG. 14B, the
図14の(C)は、図14の(B)に示される比較領域CAから下方へ8画素分オフセットさせた位置に設定された比較領域CAを示している。図14の(D)は、図14の(C)に示される比較領域CAから下方へ8画素分オフセットさせた位置に設定された比較領域CAを示している。図14の(E)は、図14の(D)に示される比較領域CAから左方へ8画素分オフセットさせた位置に設定された比較領域CAを示している。図14の(F)は、図14の(E)に示される比較領域CAから左方へ8画素分オフセットさせた位置に設定された比較領域CAを示している。図14の(G)は、図14の(F)に示される比較領域CAから上方へ8画素分オフセットさせた位置に設定された比較領域CAを示している。図14の(H)は、図14の(G)に示される比較領域CAから上方へ8画素分オフセットさせた位置に設定された比較領域CAを示している。 (C) of FIG. 14 shows a comparison area CA set at a position offset downward by eight pixels from the comparison area CA shown in (B) of FIG. 14 . (D) of FIG. 14 shows a comparison area CA set at a position offset downward by eight pixels from the comparison area CA shown in (C) of FIG. 14 . (E) of FIG. 14 shows a comparison area CA set at a position offset by eight pixels to the left from the comparison area CA shown in (D) of FIG. 14 . (F) of FIG. 14 shows a comparison area CA set at a position offset by eight pixels to the left from the comparison area CA shown in (E) of FIG. 14 . (G) of FIG. 14 shows a comparison area CA set at a position offset by eight pixels upward from the comparison area CA shown in (F) of FIG. (H) of FIG. 14 shows a comparison area CA set at a position offset by eight pixels upward from the comparison area CA shown in (G) of FIG. 14 .
すなわち、プロセッサ32は、検出領域DAと一部が重なるように設定された計8個の比較領域CAの各々について、比較領域CA内の画像における運転者5の顔がTOFカメラに面していない可能性を判断する。
That is, the
続いてプロセッサ32は、「運転者5の顔がTOFカメラ2に面していない」と判断された比較領域CAの数が所定値以上であるかを判断する(STEP536)。所定値は、例えば1とされうる。換言すると、プロセッサ32は、第一判別結果と一致している第二判別結果の数が所定値以上であるかを判断する。
Subsequently, the
「運転者5の顔がTOFカメラ2に面していない」と判断された比較領域CAの数が所定値以上である場合(STEP536においてYES)、プロセッサ32は、第一判別結果を有効にする。すなわち、運転者5の顔はTOFカメラ2に面していないと判断される(STEP537)。「運転者5の顔がTOFカメラ2に面していない」と判断された比較領域CAの数が所定値未満である場合(STEP536においてNO)、プロセッサ32は、第一判別結果を無効にする。すなわち、運転者5の顔はTOFカメラ2に面していると判断される(STEP534)。
If the number of comparison areas CA judged that "the face of the
上記の例においては、図14の(A)から(H)に示された8個の比較領域CAについて第二判別結果が得られた後、第一判別結果と第二判別結果の一致数が判断されている。しかしながら、設定される比較領域CAの数は適宜に変更されうる。また、設定された比較領域CAについて第二判別結果が得られる度に上記の所定値との比較がなされ、第一判別結果と一致した第二判別結果の数が所定値に達した時点で比較領域CAの設定を中止してもよい。この場合、直ちにSTEP537への移行がなされる。 In the above example, after obtaining the second discrimination results for the eight comparison areas CA shown in (A) to (H) of FIG. being judged. However, the number of comparison areas CA to be set can be changed as appropriate. In addition, each time a second discrimination result is obtained in the set comparison area CA, it is compared with the above-described predetermined value, and when the number of second discrimination results that match the first discrimination result reaches the predetermined value, the comparison is made. The setting of the area CA may be canceled. In this case, the transition to STEP 537 is made immediately.
上記のような構成によれば、撮像された頭部を含む画像を教師データとして学習した識別器を用いて撮像された運転者5の顔の向きが判別され、さらにその判別結果についての検証もなされるので、顔がカメラに面していない乗員についても顔の向きの判別精度を高めることができる。
According to the configuration as described above, the orientation of the face of the
運転者5の顔がTOFカメラに面していないと判断された場合(STEP537)、プロセッサ32は、図9と図11を参照して説明した運転者5の顔の向きを特定する処理をさらに行ないうる(STEP538)。すなわち、プロセッサ32は、検出領域DAに含まれる運転者5の頭部51に対応する頭部データサブセットHSDを画像データIDから抽出し、頭部51の中心位置Cを推定する。続いてプロセッサ32は、推定された中心位置Cと頭部データサブセットHSDに含まれる複数の画素データセット(点要素)の重心位置Gとの位置関係に基づいて、運転者5の顔が車室41における右方と下方のいずれを向いているのかが特定する。
If it is determined that the face of the
このような構成によれば、運転者5の顔がTOFカメラ2に面していない場合においても、具体的な顔の向きを判別できる。
According to such a configuration, even when the face of the
これまで説明した第三の処理例において、顔方向判別装置3の入力インターフェース31は、運転者5の頭部51の三次元空間における位置に係る情報を、画像データIDの一部としてTOFカメラ2から受け付けている。このような構成によれば、STEP538のような処理を遂行するために、運転者5の頭部51に係る位置情報を画像情報とともに効率的に取得できる。しかしながら、STEP538のように運転者5の頭部51に係る位置情報を必要とする処理を行なわないのであれば、TOFカメラ2に代えて画像データIDのみを出力する撮像装置が使用されうる。
In the third processing example described so far, the
図1に示されるように、顔方向判別装置3は、出力インターフェース33を備えている。出力インターフェース33は、判別された運転者5の顔の向きを示すデータFDを出力しうる。出力されたデータFDは、後段の認識処理において利用される。当該認識処理においては、例えば、当該データが示す顔の向きの経時変化がモニタされることにより、運転者5の頭部51の向き、傾き、動きなどが認識されうる。これにより、運転中における運転者5の脇見、居眠り、発作による異常挙動などが検知されうる。
As shown in FIG. 1 , the face
上述したプロセッサ32の機能は、汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、CPU、MPU、GPUが例示されうる。汎用メモリとしては、ROMやRAMが例示されうる。この場合、ROMには、上述した処理を実行するコンピュータプログラムが記憶されうる。ROMは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサ32は、ROM上に記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上述した処理を実行する。プロセッサ32は、上述した処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ASIC、FPGAなどの専用集積回路によって実現されてもよい。プロセッサ32は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。
The functions of
図1に示されるように、顔方向判別装置3は、ネットワーク6を介して外部サーバ7と通信可能に構成されうる。この場合、上述した処理を実行するコンピュータプログラムは、外部サーバ7からネットワーク6を介してダウンロードされうる。外部サーバ7は、コンピュータプログラムを記憶している記憶媒体の一例である。
As shown in FIG. 1 , the face
上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。 The above embodiments are merely examples for facilitating understanding of the present invention. The configurations according to the above embodiments can be modified and improved as appropriate without departing from the scope of the present invention.
上記の実施形態においては、画像の輝度に関する特徴量として、エッジの輝度勾配に基づいて物体の大まかな形状を表現可能なHOGを用いて頭部の外形状を捉えている。しかしながら、画像の局所的な明暗差に対応するHaar-Likeや、画像の局所的な輝度の分布に対応するLBP(Local Binary Pattern)を上記の特徴量として用いてもよい。 In the above-described embodiment, the outer shape of the head is captured using HOG, which can express the rough shape of the object based on the brightness gradient of the edge, as the feature amount related to the brightness of the image. However, Haar-Like corresponding to the local brightness difference of the image, or LBP (Local Binary Pattern) corresponding to the local luminance distribution of the image may be used as the feature quantity.
上記の実施形態においては、汎化性能が比較的高いSVMを識別器として使用している。しかしながら、ランダムフォレストやパーセプトロンを識別器として使用してもよい。 In the above embodiment, an SVM with relatively high generalization performance is used as a discriminator. However, random forests and perceptrons may also be used as discriminators.
上記の実施形態においては、「TOFカメラ2に面していない顔の向き」は、車室41における右方と下方である。しかしながら、「TOFカメラ2に面していない顔の向き」は、TOFカメラ2と運転席の位置関係に応じて変わりうる。例えば、車室41の左側に運転席が配置されている車両の場合、TOFカメラ2は、右上方から運転者5の画像を取得する。この場合、「TOFカメラ2に面していない顔の向き」は、車室41における左方と下方である。
In the above-described embodiment, the “direction of the face not facing the
上記の実施形態においては、車室41内における撮像された運転者5の顔の向きが判別に供されている。しかしながら、TOFカメラ2を適宜に配置することにより、撮像された他の乗員の顔の向きが判別に供されてもよい。
In the above embodiment, the orientation of the face of the
2:TOFカメラ、3:顔方向判別装置、31:入力インターフェース、32:プロセッサ、41:車室、5:運転者、51:頭部、7:外部サーバ、ID:画像データ、PD:画素データセット、HSD:頭部データサブセット、C:頭部の中心位置、G:複数の点要素の重心位置、S:球体、DA:検出領域、CA:比較領域 2: TOF camera, 3: face direction determination device, 31: input interface, 32: processor, 41: vehicle interior, 5: driver, 51: head, 7: external server, ID: image data, PD: pixel data set, HSD: head data subset, C: head center position, G: centroid position of multiple point elements, S: sphere, DA: detection area, CA: comparison area
Claims (7)
前記位置データセットに基づいて車室内の乗員の顔の向きを判別するプロセッサと、
を備えており、
前記プロセッサは、
前記位置データセットから前記乗員の頭部が存在する可能性が高い三次元空間の領域に対応する位置データサブセットを抽出し、
前記位置データサブセットに基づいて前記頭部の中心位置を推定し、
前記中心位置を中心とする前記頭部を近似する球体の半径を特定し、
前記半径に基づいて、前記乗員の顔の向きを判別し、
前記入力インターフェースは、前記位置データセットをTOF(Time of Flight)カメラから受け付け、
前記複数の点要素の各々は、前記TOFカメラから出力される複数の画素データの一つに対応している、
顔方向判別装置。 an input interface that accepts a position data set that includes a plurality of point elements each associated with a position in three-dimensional space;
a processor for determining the face orientation of an occupant in the vehicle interior based on the position data set;
and
The processor
extracting from the position data set a position data subset corresponding to a region in three-dimensional space where the occupant's head is likely to exist;
estimating a center position of the head based on the position data subset;
identifying the radius of a sphere approximating the head centered at the center location;
determining the orientation of the occupant's face based on the radius;
The input interface receives the position data set from a TOF (Time of Flight) camera,
each of the plurality of point elements corresponds to one of the plurality of pixel data output from the TOF camera;
Face direction identification device.
前記中心位置から前記位置データサブセットに含まれる前記複数の点要素の各々までの距離の代表値を算出し、
前記代表値と前記半径との比較に基づいて、前記乗員の顔の向きを判別する、
請求項1に記載の顔方向判別装置。 The processor
calculating a representative value of the distance from the center position to each of the plurality of point elements included in the position data subset;
determining the orientation of the occupant's face based on a comparison of the representative value and the radius;
The face direction determination device according to claim 1 .
請求項1または2に記載の顔方向判別装置。 The processor determines the orientation of the occupant's face based on the positional relationship between the center position and the barycentric positions of the plurality of positions in the three-dimensional space associated with the plurality of point elements included in the position data subset. determine the
3. The face direction determination device according to claim 1 or 2 .
当該コンピュータプログラムが実行されると、当該プロセッサに、
前記位置データセットから前記乗員の頭部が存在する可能性が高い空間領域に対応する位置データサブセットを抽出させ、
前記位置データサブセットに基づいて前記頭部の中心位置を推定させ、
前記中心位置を中心とする前記頭部を近似する球体の半径を特定させ、
前記半径に基づいて、前記乗員の顔の向きを判別させ、
前記位置データセットは、TOF(Time of Flight)カメラから取得され、
前記複数の点要素の各々は、前記TOFカメラから出力される複数の画素データの一つに対応している、
コンピュータプログラム。 A computer program for causing a processor to determine the face orientation of an occupant in a vehicle interior based on a position data set including a plurality of point elements each associated with a three-dimensional position, comprising:
When the computer program is executed, the processor:
extracting from the position data set a position data subset corresponding to a spatial region where the occupant's head is likely to exist;
estimating a center position of the head based on the position data subset;
identify the radius of a sphere approximating the head centered at the center position;
determining the orientation of the occupant's face based on the radius;
The position data set is obtained from a TOF (Time of Flight) camera,
each of the plurality of point elements corresponds to one of the plurality of pixel data output from the TOF camera;
computer program.
前記中心位置から前記位置データサブセットに含まれる前記複数の点要素の各々までの距離の代表値を算出させ、
前記代表値と前記半径との比較に基づいて、前記乗員の顔の向きを判別させる、
請求項4に記載のコンピュータプログラム。 to the processor;
calculating a representative value of distances from the center position to each of the plurality of point elements included in the position data subset;
determining the orientation of the occupant's face based on the comparison between the representative value and the radius;
5. Computer program according to claim 4 .
請求項4または5に記載のコンピュータプログラム。 The processor determines the direction of the occupant's face based on the positional relationship between the centroid position of the plurality of three-dimensional positions associated with the plurality of point elements included in the position data subset and the center position. let
6. Computer program according to claim 4 or 5 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019023627A JP7240193B2 (en) | 2019-02-13 | 2019-02-13 | Face orientation determination device, computer program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019023627A JP7240193B2 (en) | 2019-02-13 | 2019-02-13 | Face orientation determination device, computer program, and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020135036A JP2020135036A (en) | 2020-08-31 |
JP7240193B2 true JP7240193B2 (en) | 2023-03-15 |
Family
ID=72278698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019023627A Active JP7240193B2 (en) | 2019-02-13 | 2019-02-13 | Face orientation determination device, computer program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7240193B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017199302A (en) | 2016-04-28 | 2017-11-02 | パナソニックIpマネジメント株式会社 | Determination device, determination method, determination program and storage medium |
-
2019
- 2019-02-13 JP JP2019023627A patent/JP7240193B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017199302A (en) | 2016-04-28 | 2017-11-02 | パナソニックIpマネジメント株式会社 | Determination device, determination method, determination program and storage medium |
Non-Patent Citations (1)
Title |
---|
大西 広樹、浮田 浩行,"Kinectを用いた顔の検出とその方向の推定’,電気学会研究会資料,日本,一般社団法人電気学会,2013年03月29日,pp.1-5 |
Also Published As
Publication number | Publication date |
---|---|
JP2020135036A (en) | 2020-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102109941B1 (en) | Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera | |
Ikemura et al. | Real-time human detection using relational depth similarity features | |
US10532459B2 (en) | Information processing apparatus, information processing method, and storage medium for grasping an object | |
US8630456B2 (en) | Object recognition method, object recognition apparatus, and autonomous mobile robot | |
JP5742873B2 (en) | Object identification device | |
US20120062749A1 (en) | Human body identification method using range image camera and human body identification apparatus | |
JP6021689B2 (en) | Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program | |
JP5248388B2 (en) | Obstacle risk calculation device, method and program | |
JP2020135616A (en) | Object detection device | |
JP7240193B2 (en) | Face orientation determination device, computer program, and storage medium | |
CN114467111B (en) | Object recognition method and object recognition device | |
JP2021060720A (en) | Object detection device | |
JP6171608B2 (en) | Object detection device | |
JP7564611B2 (en) | Head discrimination device, computer program, and storage medium | |
JP7212531B2 (en) | Motion discrimination device, computer program, and storage medium | |
JP7053341B2 (en) | Processing equipment and programs | |
WO2022004495A1 (en) | Obstacle detection device and obstacle detection method | |
JP7288309B2 (en) | Head identification device, computer program, and storage medium | |
JP2014186496A (en) | Object attitude estimation device, and program | |
CN115131752A (en) | Learning method, learning device, and program recording medium | |
JP7079188B2 (en) | Crew discriminator, computer program, and storage medium | |
JP7079187B2 (en) | Crew discriminator, computer program, and storage medium | |
JP7195963B2 (en) | Head identification device, computer program, and storage medium | |
JP5798078B2 (en) | Vehicle external recognition device and vehicle system using the same | |
JP7053340B2 (en) | Processing equipment and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190301 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7240193 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |