JP5298111B2 - Occupant detection device - Google Patents
Occupant detection device Download PDFInfo
- Publication number
- JP5298111B2 JP5298111B2 JP2010281752A JP2010281752A JP5298111B2 JP 5298111 B2 JP5298111 B2 JP 5298111B2 JP 2010281752 A JP2010281752 A JP 2010281752A JP 2010281752 A JP2010281752 A JP 2010281752A JP 5298111 B2 JP5298111 B2 JP 5298111B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- occupant
- region
- knee
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
この発明は、乗員検知装置に関する。 The present invention relates to an occupant detection device.
従来、例えば撮像装置の撮像により得られた画像から乗員の頭部位置を検知し、この頭部位置から乗員の着座状態を判定する装置が知られている(例えば、特許文献1参照)。
また、従来、例えば撮像装置の撮像により得られた画像から乗員の頭部重心位置と肩幅とを検知し、乗員が大人であるか、あるいは子供であるかを判定する装置が知られている(例えば、特許文献2参照)。
2. Description of the Related Art Conventionally, for example, an apparatus that detects an occupant's head position from an image obtained by imaging with an imaging device and determines the occupant's seating state from the head position is known (for example, see Patent Document 1).
In addition, conventionally, for example, an apparatus that detects an occupant's head center-of-gravity position and a shoulder width from an image obtained by imaging by an imaging device and determines whether the occupant is an adult or a child is known ( For example, see Patent Document 2).
ところで、上記従来技術に係る装置によれば、乗員の姿勢が変化することに伴って頭部位置が変動することから、大人と子供とを精度良く区別することができない虞がある。
また、乗員の腕の動作状態や撮像装置の撮像方向などに起因して、肩幅の検出が困難になる場合があり、乗員が大人であるか、あるいは子供であるかを的確に判定することができないという問題が生じる。
By the way, according to the apparatus according to the above-described prior art, the head position fluctuates as the occupant's posture changes, and thus there is a possibility that an adult and a child cannot be accurately distinguished.
Moreover, it may be difficult to detect the shoulder width due to the operating state of the occupant's arm, the imaging direction of the imaging device, etc., and it is possible to accurately determine whether the occupant is an adult or a child. The problem that it is not possible arises.
本発明は上記事情に鑑みてなされたもので、大人と子供とを精度良く判別することが可能な乗員検知装置を提供することを目的としている。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an occupant detection device capable of accurately discriminating between an adult and a child.
上記課題を解決して係る目的を達成するために、本発明の第1態様に係る乗員検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段(例えば、実施の形態での受光部22)と、前記撮像手段から出力された撮像結果に基づき、3次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段(例えば、実施の形態での処理部23)と、前記距離画像に基づき、乗員領域の体積を推定し、該体積が所定体積閾値以上であるか否かを判定する体積判定手段(例えば、実施の形態での体積判定部56)と、前記距離画像に基づき、車両上下方向の所定位置よりも下方側に前記車室内の乗員の膝部が存在するか否かを判定する膝部判定手段(例えば、実施の形態での膝部判定部57)と、前記体積判定手段により前記乗員領域の体積が前記所定体積閾値以上であると判定された場合であって、前記膝部判定手段により前記所定位置よりも下方側に前記膝部が存在すると判定された場合には前記乗員は大人であると判定し、前記膝部判定手段により前記車両上下方向の所定位置よりも下方側に前記膝部が存在しないと判定された場合には前記乗員は子供であると判定する乗員判定手段(例えば、実施の形態での乗員判定部58)とを備える。 In order to solve the above-described problems and achieve the object, the occupant detection device according to the first aspect of the present invention captures an imaging region in the passenger compartment and outputs an imaging result (for example, in the embodiment). A distance image generating means (for example, in the embodiment) that generates a distance image having distance information of the imaging region in a three-dimensional space based on the imaging result output from the imaging means. Based on the processing unit 23) and the distance image, volume determination means that estimates the volume of the occupant region and determines whether the volume is equal to or greater than a predetermined volume threshold (for example, the volume determination unit 56 in the embodiment). ) And a knee determination means (for example, a knee in the embodiment) for determining whether or not there is a passenger's knee in the passenger compartment below a predetermined position in the vehicle vertical direction based on the distance image. Part determination unit 57) and the volume determination means When the volume of the occupant area is determined to be equal to or greater than the predetermined volume threshold, and the knee determination means determines that the knee is present below the predetermined position, the An occupant who determines that the occupant is an adult and determines that the occupant is a child when the knee determination unit determines that the knee does not exist below a predetermined position in the vehicle vertical direction. Determination means (for example, an occupant determination unit 58 in the embodiment).
さらに、本発明の第2態様に係る乗員検知装置では、前記膝部判定手段は、前記距離画像を構成する複数の画素毎に前記3次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される前記3次元空間での位置座標を内部座標とする内部座標設定手段(例えば、実施の形態でのステップS11)と、前記3次元空間を構成する複数の単位空間毎に該単位空間内に含まれる前記内部座標の総数に係るスコア値を算出し、前記複数の画素毎に対応する前記内部座標が含まれる前記単位空間の前記スコア値を前記複数の画素毎に対応させて示すスコア画像を生成するスコア画像生成手段(例えば、実施の形態でのステップS12)と、前記スコア値に基づいて前記膝部を抽出する膝部抽出手段(例えば、実施の形態でのステップS61)とを備える。 Further, in the occupant detection device according to the second aspect of the present invention, the knee determination means is a fixed length inverse in the reverse direction of the normal vector in the three-dimensional space for each of the plurality of pixels constituting the distance image. Internal coordinate setting means (for example, step S11 in the embodiment) that calculates a vector and uses the position coordinates in the three-dimensional space designated by the inverse vector as internal coordinates, and a plurality of the three-dimensional space For each unit space, a score value relating to the total number of the internal coordinates included in the unit space is calculated, and the score value of the unit space including the internal coordinates corresponding to each of the plurality of pixels Score image generation means (for example, step S12 in the embodiment) that generates a score image shown corresponding to each pixel, and knee part extraction means (for example, implementation) that extracts the knee based on the score value Comprising the step S61) and in state.
さらに、本発明の第3態様に係る乗員検知装置では前記距離画像に基づき、前記乗員の頭部領域を抽出する頭部領域抽出手段(例えば、実施の形態での頭部領域判定部54)を備え、前記体積判定手段が、前記頭部領域を含む前記乗員領域の体積を推定する。 Furthermore, in the occupant detection device according to the third aspect of the present invention, a head region extraction means (for example, a head region determination unit 54 in the embodiment) that extracts the head region of the occupant based on the distance image is provided. The volume determination means estimates the volume of the occupant area including the head area.
本発明の第1態様に係る乗員検知装置によれば、身体全体の大きさに比べて頭部のみの大きさは大人と子供とで差が小さく、シートに着座した大人の頭部の位置とシート上で立ち上がった子供の頭部の位置とはほぼ一致する場合がある。
このとき、立ち上がった子供では膝部が検出され難いことに比べて、着座した大人では膝部が検出され易く、シートに着座した大人の体積とシート上で立ち上がった子供の体積とが所定体積閾値以上であると判定された場合であっても、車両上下方向の所定位置よりも下方側に膝部が存在するか否かを判定することによって、乗員が大人であるか、あるいは子供であるかを、容易かつ精度良く判定することができる。
According to the occupant detection device according to the first aspect of the present invention, the size of only the head is smaller than the size of the entire body between the adult and the child, and the position of the head of the adult sitting on the seat In some cases, the head position of the child standing on the seat is almost the same.
At this time, it is easier to detect the knee part in the seated adult than the knee part is detected in the standing child, and the volume of the adult sitting on the seat and the volume of the child standing on the seat are the predetermined volume threshold. Even if it is determined as above, whether or not the occupant is an adult or a child by determining whether or not the knee exists below a predetermined position in the vehicle vertical direction. Can be easily and accurately determined.
さらに、本発明の第2態様に係る乗員検知装置によれば、画素毎に設定される固定長の逆ベクトルによる内部座標を用いた投票方式によって単位空間毎のスコア値を算出し、スコア値が球形状の指標となることに応じて乗員の膝部を抽出することから、演算負荷の増大を防止しつつ検知精度を向上させることができる。 Furthermore, according to the occupant detection device according to the second aspect of the present invention, a score value for each unit space is calculated by a voting method using internal coordinates based on a fixed-length inverse vector set for each pixel, and the score value is Since the occupant's knee is extracted according to the spherical index, the detection accuracy can be improved while preventing an increase in calculation load.
さらに、本発明の第3態様に係る乗員検知装置によれば、シートに着座した大人の頭部の位置とシート上で立ち上がった子供の頭部の位置とがほぼ一致し、さらに、シートに着座した大人の体積とシート上で立ち上がった子供の体積とが同程度であると判定された場合であっても、車両上下方向の所定位置よりも下方側に膝部が存在するか否かを判定することによって、乗員が大人であるか、あるいは子供であるかを、容易かつ精度良く判定することができる。 Further, according to the occupant detection device according to the third aspect of the present invention, the position of the head of the adult seated on the seat and the position of the head of the child standing on the seat substantially coincide, and further, the seat on the seat Even if it is determined that the volume of the adult and the volume of the child standing on the seat are approximately the same, it is determined whether or not the knee exists below the predetermined position in the vehicle vertical direction. By doing so, it can be easily and accurately determined whether the occupant is an adult or a child.
以下、本発明の一実施形態に係る乗員検知装置について添付図面を参照しながら説明する。 Hereinafter, an occupant detection device according to an embodiment of the present invention will be described with reference to the accompanying drawings.
本実施の形態による乗員検知装置10は、例えば図1、図2に示すように、単眼距離画像センサ11と、制御装置12とを備えて構成され、例えば車両13に搭載されたエアバッグ(例えば、フロントエアバッグ)14の展開を制御するエアバッグシステム15の一部を構成している。 The occupant detection device 10 according to the present embodiment includes a monocular distance image sensor 11 and a control device 12 as shown in FIGS. 1 and 2, for example, and is an airbag (for example, mounted on a vehicle 13). , A front airbag) 14 constitutes a part of an airbag system 15 that controls the deployment of the airbag.
単眼距離画像センサ11は単眼の撮像装置であって、例えば、車両13のルーフ前部の中央部(例えば、左右のサンバイザー間の位置など)に配置され、少なくとも車室内のシート16(例えば、助手席)およびシート16に着座した乗員やシート16に設置されたチャイルドシートなどを撮像対象として含み、これらの撮像対象を斜め上方の前方側から撮像するように設定されている。 The monocular distance image sensor 11 is a monocular imaging device, and is disposed, for example, in the center of the front portion of the roof of the vehicle 13 (for example, the position between the left and right sun visors), and at least the seat 16 (for example, the interior of the vehicle interior). A passenger seat), a passenger seated on the seat 16, a child seat installed on the seat 16, and the like are set as imaging targets, and these imaging targets are set to be imaged from the front side obliquely upward.
単眼距離画像センサ11は、例えば、発光部21と、受光部22と、処理部23とを備えて構成されている。 The monocular distance image sensor 11 includes a light emitting unit 21, a light receiving unit 22, and a processing unit 23, for example.
発光部21は、例えば、赤外線領域の光を発光するLEDなどの発光体31と、発光体31の発光を制御する駆動回路32と、発光体31の発光による光を撮像対象に向けて拡散させる散乱板33とを備えて構成されている。 For example, the light emitting unit 21 diffuses light emitted from the light emitter 31 toward the imaging target, such as a light emitter 31 such as an LED that emits light in the infrared region, a drive circuit 32 that controls the light emission of the light emitter 31. A scattering plate 33 is provided.
駆動回路32は、例えば、受光部22から出力される発光制御の指令信号と、処理部23から出力される光量制御の指令信号とに応じて制御される。 The drive circuit 32 is controlled according to, for example, a light emission control command signal output from the light receiving unit 22 and a light amount control command signal output from the processing unit 23.
受光部22から出力される発光制御の指令信号は、発光部21の動作と受光部22の動作との同期をとって、発光部21から出力された発光パルスと、この発光パルスが撮像対象で反射されて受光部22に入力されて成る受光パルスとの位相差(時間差)を検知可能にするために、発光パルスの発光タイミングを指示する。
処理部23から出力される光量制御の指令信号は、発光部21から出力される発光パルスの発光量を指示する。
The light emission control command signal output from the light receiving unit 22 synchronizes the operation of the light emitting unit 21 and the operation of the light receiving unit 22, and the light emission pulse output from the light emitting unit 21 and the light emission pulse is an object to be imaged. In order to be able to detect the phase difference (time difference) from the received light pulse that is reflected and input to the light receiving unit 22, the light emission timing of the light emission pulse is instructed.
The light amount control command signal output from the processing unit 23 instructs the light emission amount of the light emission pulse output from the light emitting unit 21.
受光部22は、例えば、発光部21から撮像対象に向けて照射された発光パルスが撮像対象で反射されてなる受光パルスを受けるレンズ36と、フィルター37と、レンズ36およびフィルター37を透過した受光パルスを検出するCMOSセンサなどの受光素子38とを備えて構成されている。 For example, the light receiving unit 22 receives a light receiving pulse formed by reflecting a light emission pulse emitted from the light emitting unit 21 toward the imaging target, reflected by the imaging target, a filter 37, and the light received through the lens 36 and the filter 37. And a light receiving element 38 such as a CMOS sensor for detecting a pulse.
受光部22は、処理部23から出力される制御信号に応じて発光部21に発光制御の指令信号を出力すると共に、受光素子38による受光パルスの検出結果として画像データを出力する。
この画像データは、受光素子38において受光パルスが検出された位置(つまり、撮像対象での発光パルスの反射点の位置)に対応する二次元配列の画素から構成され、各画素は、受光素子38で検出された受光パルスの光量(つまり、パルス数)の情報と、発光パルスと受光パルスとの位相差(時間差)の情報とを有している。
The light receiving unit 22 outputs a light emission control command signal to the light emitting unit 21 in accordance with the control signal output from the processing unit 23, and outputs image data as a detection result of the light reception pulse by the light receiving element 38.
This image data is composed of pixels in a two-dimensional array corresponding to the position at which the light receiving pulse is detected in the light receiving element 38 (that is, the position of the reflection point of the light emission pulse on the imaging target). Information on the amount of light (that is, the number of pulses) of the received light pulse detected in step 1 and information on the phase difference (time difference) between the light emission pulse and the light reception pulse.
処理部23は、発光部21に光量制御の指令信号を出力すると共に、受光部22に各種動作を指示する制御信号を出力しており、例えば、距離画像生成部41と、輝度画像生成部42とを備えて構成されている。 The processing unit 23 outputs a light amount control command signal to the light emitting unit 21 and also outputs control signals to instruct the light receiving unit 22 to perform various operations. For example, the distance image generating unit 41 and the luminance image generating unit 42. And is configured.
距離画像生成部41は、受光部22から出力された画像データに基づき、各画素毎に、発光パルスと受光パルスとの位相差(時間差)の情報と発光パルスおよび受光パルスの速度(つまり光の速度)とから、3次元空間での単眼距離画像センサ11から撮像対象の反射点までの距離の情報を生成する。そして、二次元配列の各画素毎に単眼距離画像センサ11から撮像対象までの距離を示す距離画像を生成して、この距離画像を制御装置12に出力する。 The distance image generation unit 41 is based on the image data output from the light receiving unit 22, and information on the phase difference (time difference) between the light emission pulse and the light reception pulse and the speed of the light emission pulse and the light reception pulse (that is, the light intensity) Speed), information on the distance from the monocular distance image sensor 11 to the reflection point to be imaged in a three-dimensional space is generated. Then, a distance image indicating the distance from the monocular distance image sensor 11 to the imaging target is generated for each pixel of the two-dimensional array, and this distance image is output to the control device 12.
輝度画像生成部42は、受光部22から出力される画像データに基づき、二次元配列の各画素毎に受光素子38により検出された受光パルスの光量(つまり、パルス数)を示す輝度画像を生成して、この輝度画像を制御装置12に出力する。 The luminance image generation unit 42 generates a luminance image indicating the light amount (that is, the number of pulses) of the received light pulse detected by the light receiving element 38 for each pixel of the two-dimensional array based on the image data output from the light receiving unit 22. Then, this luminance image is output to the control device 12.
制御装置12は、例えば、画像処理部51と、内部座標設定部52と、スコア画像生成部53と、頭部領域判定部54と、シート領域検知部55と、体積判定部56と、膝部判定部57と、乗員判定部58と、駆動制御部59とを備えて構成されている。 The control device 12 includes, for example, an image processing unit 51, an internal coordinate setting unit 52, a score image generation unit 53, a head region determination unit 54, a sheet region detection unit 55, a volume determination unit 56, and a knee portion. The determination unit 57, an occupant determination unit 58, and a drive control unit 59 are provided.
画像処理部51は、先ず、単眼距離画像センサ11から出力された距離画像に基づき、二次元配列の各画素毎の距離の情報に対応する3次元空間での撮像対象の反射点の位置をカメラ座標系で記述し、このカメラ座標系での各軸成分(X座標、Y座標、Z座標)を、二次元配列の各画素毎に対応させて示す3つのX画像およびY画像およびZ画像(XYZ画像)を生成する。 First, based on the distance image output from the monocular distance image sensor 11, the image processing unit 51 determines the position of the reflection point of the imaging target in the three-dimensional space corresponding to the distance information for each pixel of the two-dimensional array. Three X images, Y images, and Z images (X coordinate, Y coordinate, Z coordinate) described in the coordinate system and corresponding to each pixel of the two-dimensional array are shown in the camera coordinate system. XYZ image) is generated.
なお、カメラ座標系は、例えば単眼距離画像センサ11の受光素子38の撮像面に直交する受光軸をZ軸とするXYZ座標系である。
そして、これらのXYZ画像に対して、輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
The camera coordinate system is, for example, an XYZ coordinate system in which the light receiving axis orthogonal to the imaging surface of the light receiving element 38 of the monocular distance image sensor 11 is the Z axis.
These XYZ images are subjected to image processing such as smoothing and noise removal with reference to the luminance image.
さらに、画像処理部51は、カメラ座標系での各軸成分(X座標、Y座標、Z座標)を、シート座標系つまり車両前後方向をT軸かつ車両左右方向をB軸かつ車両上下方向をH軸とするTBH座標系での各軸成分(T座標、B座標、H座標)に変換して、予め記憶している車室内の所定の構造物(例えば、ピラー、ドア、ダッシュボード、センターコンソールなど)に関連するデータを除去する。
そして、このデータ除去後のシート座標系での各軸成分(T座標、B座標、H座標)をカメラ座標系での各軸成分(X座標、Y座標、Z座標)に変換して、この変換後の各軸成分(X座標、Y座標、Z座標)による3つのX画像およびY画像およびZ画像(XYZ画像)を出力する。
Further, the image processing unit 51 converts each axis component (X coordinate, Y coordinate, Z coordinate) in the camera coordinate system into the seat coordinate system, that is, the vehicle longitudinal direction as the T axis, the vehicle lateral direction as the B axis, and the vehicle vertical direction. Converted into each axis component (T coordinate, B coordinate, H coordinate) in the TBH coordinate system as the H axis, a predetermined structure (for example, pillar, door, dashboard, center) stored in advance in the vehicle interior Data associated with the console).
Then, each axis component (T coordinate, B coordinate, H coordinate) in the sheet coordinate system after this data removal is converted into each axis component (X coordinate, Y coordinate, Z coordinate) in the camera coordinate system, and this Three X images, Y images, and Z images (XYZ images) based on the converted axis components (X coordinate, Y coordinate, Z coordinate) are output.
内部座標設定部52は、画像処理部51から出力された3つのXYZ画像に基づき、距離画像を構成する複数の画素毎に3次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される3次元空間での位置座標を内部座標とする。 Based on the three XYZ images output from the image processing unit 51, the internal coordinate setting unit 52 generates a fixed-length inverse vector in the reverse direction of the normal vector in the three-dimensional space for each of the plurality of pixels constituting the distance image. The position coordinates in the three-dimensional space specified by the inverse vector are calculated and set as internal coordinates.
先ず、内部座標設定部52は、画像処理部51から出力された3つのXYZ画像に対して、例えば図3(A)、(B)に示すカーネルからなるソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、3つのXYZ画像毎に横偏微分画像(X横偏微分画像Xu、Y横偏微分画像Yu、Z横偏微分画像Zu)および縦偏微分画像(X縦偏微分画像Xv、Y縦偏微分画像Yv、Z縦偏微分画像Zv)を算出する。 First, the internal coordinate setting unit 52 convolves the three XYZ images output from the image processing unit 51 with a partial differential filter such as a Sobel filter including a kernel shown in FIGS. By performing the partial differential in the horizontal direction and the partial differential in the vertical direction for each pixel by calculation, a horizontal partial differential image (X horizontal partial differential image Xu, Y horizontal partial differential image Yu, Z is obtained for each of the three XYZ images. Lateral partial differential image Zu) and vertical partial differential image (X vertical partial differential image Xv, Y vertical partial differential image Yv, Z vertical partial differential image Zv) are calculated.
そして、内部座標設定部52は、例えば下記数式(1)に示すように記述される縦画素vおよび横画素uで指定される距離画像の各画素(v,u)毎の法線ベクトルN(v,u)を、各横偏微分画像の画素値(X横偏微分画像Xu(v,u)、Y横偏微分画像Yu(v,u)、Z横偏微分画像Zu(v,u))および各縦偏微分画像の画素値(X縦偏微分画像Xv(v,u)、Y縦偏微分画像Yv(v,u)、Z縦偏微分画像Zv(v,u))と、カメラ座標系での各軸(X軸、Y軸、Z軸)の単位ベクトル(i、j、k)とに基づき算出する。 Then, the internal coordinate setting unit 52, for example, a normal vector N ( for each pixel (v, u) of the distance image specified by the vertical pixel v and the horizontal pixel u described as shown in the following formula (1). v, u) are converted into pixel values (X lateral partial differential image Xu (v, u) , Y lateral partial differential image Yu (v, u) , Z lateral partial differential image Zu (v, u). ) And pixel values of each vertical partial differential image (X vertical partial differential image Xv (v, u) , Y vertical partial differential image Yv (v, u) , Z vertical partial differential image Zv (v, u) ), and camera It is calculated based on the unit vector (i, j, k) of each axis (X axis, Y axis, Z axis) in the coordinate system.
そして、内部座標設定部52は、例えば下記数式(2)に示すように、法線ベクトルN(v,u)を画素面積|N(v,u)|で除算して正規化を行ない、さらに、符号を反転させることによって、逆ベクトルEを算出する。 Then, the internal coordinate setting unit 52 performs normalization by dividing the normal vector N (v, u) by the pixel area | N (v, u) |, for example, as shown in the following formula (2). The inverse vector E is calculated by inverting the sign.
そして、内部座標設定部52は、例えば下記数式(3)に示すように、人体の頭部の厚さに対する所定頭部厚HeadThick(例えば、90mmなど)を逆ベクトルE(v,u)に乗算して、固定長の頭部ベクトルH(v,u)を算出する。 Then, the internal coordinate setting unit 52 multiplies the inverse vector E (v, u) by a predetermined head thickness HeadThick (for example, 90 mm, etc.) with respect to the thickness of the head of the human body, for example, as shown in the following formula (3). Then, a fixed-length head vector H (v, u) is calculated.
そして、内部座標設定部52は、例えば図4および下記数式(4)、(5)に示すように、距離画像の各画素(v,u)の位置をカメラ座標系で示す観測画素座標P(v,u)と頭部ベクトルH(v,u)と合成して、内部座標I(v,u)を算出する。 Then, as shown in FIG. 4 and the following mathematical formulas (4) and (5), for example, the internal coordinate setting unit 52 observes pixel coordinates P (in the camera coordinate system) indicating the position of each pixel (v, u) in the distance image. v, u) and the head vector H (v, u) are combined to calculate the internal coordinates I (v, u) .
そして、内部座標設定部52は、距離画像の各画素(v,u)毎に対応する内部座標I(v,u)の各軸成分(X内部座標、Y内部座標、Z内部座標)を、各画素(v,u)毎の画素値に対応させて示す3つのX内部座標画像IXおよびY内部座標画像IYおよびZ内部座標画像IZを生成する。 Then, the internal coordinate setting unit 52 calculates each axis component (X internal coordinate, Y internal coordinate, Z internal coordinate) of the internal coordinate I (v, u) corresponding to each pixel (v, u) of the distance image. Three X internal coordinate images IX, Y internal coordinate images IY, and Z internal coordinate images IZ shown in association with the pixel values for each pixel (v, u) are generated.
スコア画像生成部53は、3次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標I(v,u)の総数に係るスコア値を算出し、距離画像の各画素(v,u)毎に対応する内部座標I(v,u)が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、各画素(v,u)毎の画素値に対応させて示すスコア画像Sを生成する。 The score image generation unit 53 calculates a score value related to the total number of internal coordinates I (v, u) included in the unit space for each of a plurality of unit spaces constituting the three-dimensional space, and each pixel ( Corresponding to the pixel value for each pixel (v, u), with the score value of the unit space including the internal coordinates I (v, u) corresponding to each v, u) as a spherical index of a predetermined size A score image S shown is generated.
先ず、スコア画像生成部53は、例えば図5に示すように、単眼距離画像センサ11の撮像領域を含む3次元空間を構成する複数の単位空間(3次元の座標空間)として、例えば、所定長(例えば、50mmなど)を一辺の長さとする複数の立方体(ボクセル空間)Vを設定する。 First, as shown in FIG. 5, for example, the score image generation unit 53 has, for example, a predetermined length as a plurality of unit spaces (three-dimensional coordinate space) constituting a three-dimensional space including the imaging region of the monocular distance image sensor 11. A plurality of cubes (voxel spaces) V having a side length (for example, 50 mm) are set.
そして、スコア画像生成部53は、例えば図6(A),(B)に示すように、距離画像の各画素(v,u)毎に対応する内部座標I(v,u)が含まれるボクセル空間Vに対して、各画素(v,u)の画素面積をスコア値として加算する。
これにより、例えば図7(A)に示すような距離画像Lの全画素(v,u)に対して、ボクセル空間V毎のスコア値の加算が完了すると、例えば図7(B)に示すような3次元空間でのボクセル空間V単位でのスコア値の分布が得られる。
Then, the score image generation unit 53, for example, as shown in FIGS. 6A and 6B, includes a voxel including an internal coordinate I (v, u) corresponding to each pixel (v, u) of the distance image. For the space V, the pixel area of each pixel (v, u) is added as a score value.
Thus, for example, when the addition of the score values for each voxel space V is completed for all the pixels (v, u) of the distance image L as shown in FIG. 7A, for example, as shown in FIG. A distribution of score values in units of voxel space V in a three-dimensional space is obtained.
そして、スコア画像生成部53は、例えば図7(C)に示すように、距離画像の各画素(v,u)毎に対応する内部座標I(v,u)が含まれるボクセル空間Vのスコア値を、各画素(v,u)毎の画素値に対応させて示すスコア画像Sを生成する。 Then, for example, as shown in FIG. 7C, the score image generation unit 53 scores the voxel space V including the internal coordinates I (v, u) corresponding to each pixel (v, u) of the distance image. A score image S is generated that indicates the value corresponding to the pixel value for each pixel (v, u).
頭部領域判定部54は、内部座標設定部52により生成された3つの各内部座標画像IX,IY,IZ毎に、例えば図3(A)、(B)に示すカーネルからなるソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、横偏微分画像および縦偏微分画像を算出する。 The head region determination unit 54, for each of the three internal coordinate images IX, IY, and IZ generated by the internal coordinate setting unit 52, for example, a Sobel filter including a kernel shown in FIGS. The horizontal partial differential image and the vertical partial differential image are calculated by performing the partial differential in the horizontal direction and the partial differential in the vertical direction for each pixel by the convolution calculation using the partial differential filter.
そして、頭部領域判定部54は、3つの各内部座標画像IX,IY,IZ毎に横偏微分画像と縦偏微分画像とを合成することによって、3つの内部エッジ画像DX,DY,DZを生成する。
そして、例えば下記数式(6)に示すように、3つの内部エッジ画像DX,DY,DZを合成して、さらに、画素面積|N(v,u)|で除算して正規化を行なうことによって、3次元空間での複数の内部座標I(v,u)の分布に対してエッジを抽出した内部エッジ画像Dを生成する。
Then, the head region determination unit 54 synthesizes the three internal edge images DX, DY, and DZ by synthesizing the lateral partial differential image and the vertical partial differential image for each of the three internal coordinate images IX, IY, and IZ. Generate.
Then, for example, as shown in the following formula (6), the three inner edge images DX, DY, DZ are synthesized, and further divided by the pixel area | N (v, u) | to perform normalization. An internal edge image D in which edges are extracted from the distribution of a plurality of internal coordinates I (v, u) in a three-dimensional space is generated.
そして、頭部領域判定部54は、例えば下記数式(7)に示すように、内部エッジ画像Dにおいて、画素値が所定閾値EdgeThresh未満の領域を「1」とし、画素値が所定閾値EdgeThresh以上の領域を「0」とする2値化処理を行なうことによって、例えば図8(A)に示すような2値化画像Bを生成する。 Then, the head region determination unit 54 sets the region where the pixel value is less than the predetermined threshold EdgeThreshold in the internal edge image D to “1” and the pixel value is equal to or greater than the predetermined threshold EdgeThreshold, for example, as shown in Equation (7) below. By performing a binarization process for setting the area to “0”, for example, a binarized image B as shown in FIG. 8A is generated.
そして、頭部領域判定部54は、2値化画像Bにおいて、例えば8近傍ラベリングなどのラベリング処理を行なうことによって、例えば図8(B)に示すような、複数の異なる画像領域En(nは任意の自然数)からなる領域分割画像Eを生成する。 The head region determination unit 54 performs a plurality of different image regions En (n is, for example, as illustrated in FIG. 8B by performing a labeling process such as 8-neighbor labeling on the binarized image B. An area-divided image E made up of an arbitrary natural number) is generated.
そして、頭部領域判定部54は、内部座標設定部52により生成された3つの各内部座標画像IX,IY,IZを参照しつつ、領域分割画像Eにおいて、複数の画像領域のうち内部座標I(v,u)の平均値の差が所定差以下の画像領域同士を単一の画像領域に結合して、領域結合画像Fを生成する。
なお、領域分割画像Eにおいて互いに結合されなかった画像領域は、変更無しに領域結合画像Fに含まれる。
Then, the head region determination unit 54 refers to the three internal coordinate images IX, IY, and IZ generated by the internal coordinate setting unit 52 while referring to the three internal coordinate images IX, IY, and IZ. Image regions whose difference in average value of (v, u) is equal to or less than a predetermined difference are combined into a single image region to generate a region combined image F.
Note that image regions that are not combined with each other in the region divided image E are included in the region combined image F without change.
例えば、内部エッジ画像Dにおいて乗員が着用している帽子のつば部分などに起因して所定閾値EdgeThresh以上のエッジが抽出されと、例えば図9(A),図10(A)に示すように、頭部領域判定部54によって乗員の頭部領域が2つの画像領域Ea,Ebに分割される。
一方、2つの画像領域Ea,Ebは単一の人体部位である頭部領域であることから、各画像領域Ea,Ebでの内部座標I(v,u)はほぼ等しく、2つの画像領域Ea,Eb間において内部座標I(v,u)の平均値の差は所定差以下となり、例えば図9(B),図10(B)に示すように、頭部領域判定部54によって2つの画像領域Ea,Ebが単一の画像領域F0に結合される。
For example, when an edge that is equal to or greater than a predetermined threshold EdgeThreshold is extracted due to the brim of the hat worn by the occupant in the inner edge image D, for example, as shown in FIGS. 9A and 10A, The head region determination unit 54 divides the passenger's head region into two image regions Ea and Eb.
On the other hand, since the two image regions Ea and Eb are head regions that are single human body parts, the internal coordinates I (v, u) in the image regions Ea and Eb are substantially equal, and the two image regions Ea. , Eb, the difference between the average values of the internal coordinates I (v, u) is equal to or smaller than a predetermined difference. For example, as shown in FIG. 9B and FIG. Regions Ea and Eb are combined into a single image region F0.
そして、頭部領域判定部54は、スコア画像生成部53により生成されたスコア画像Sを参照しつつ、領域結合画像Fにおいて、複数の画像領域のうち、スコア値の平均値が所定の閾平均値以下の画像領域を除去する。 Then, the head region determination unit 54 refers to the score image S generated by the score image generation unit 53, and in the region combined image F, the average value of the score values among a plurality of image regions is a predetermined threshold average. Image areas below the value are removed.
例えば、頭部領域判定部54は、図11(A)に示すように複数の画像領域F1,…,F5により構成される領域結合画像Fから、所定の大きさの球形状の度合いが所定程度よりも低い画像領域、例えば乗員の胴体部に対応する画像領域F3と乗員の左右の大腿部に対応する画像領域F4,F5とを除去し、例えば図11(B)に示すような除去後の領域結合画像Fを生成する。 For example, as shown in FIG. 11A, the head region determination unit 54 has a predetermined degree of spherical shape of a predetermined size from a region combined image F composed of a plurality of image regions F1,. Lower image areas, for example, the image area F3 corresponding to the occupant's torso and the image areas F4 and F5 corresponding to the left and right thighs of the occupant are removed, for example after removal as shown in FIG. The region combined image F is generated.
そして、頭部領域判定部54は、画像処理部51により生成されたXYZ画像を参照しつつ、領域結合画像Fにおいて、複数の画像領域のうち、体積が上限体積値以上または下限体積値以下の画像領域を除去する。
なお、上限体積値および下限体積値は、人体の頭部の体積に対する閾値であって、人体の頭部の体積が上限体積値未満かつ下限体積値よりも大きいとして予め記憶されている。
Then, the head region determination unit 54 refers to the XYZ image generated by the image processing unit 51, and in the region combined image F, the volume of the plurality of image regions is equal to or higher than the upper limit volume value or lower than the lower limit volume value. Remove image area.
The upper limit volume value and the lower limit volume value are threshold values for the volume of the head of the human body, and are stored in advance as the volume of the head of the human body is less than the upper limit volume value and larger than the lower limit volume value.
例えば、頭部領域判定部54は、図12に示すように、領域結合画像Fを構成する複数の画像領域Fm(mは任意の自然数)毎に、カメラ座標系での各軸の最大値(XMAX,YMAX,ZMAX)および最小値(XMIN,YMIN,ZMIN)を算出する。
そして、下記数式(8)に示すように、各軸の最大値(XMAX,YMAX,ZMAX)および最小値(XMIN,YMIN,ZMIN)から体積volを算出し、この体積volが、人体の頭部の体積に対する所定範囲を外れる上限体積値以上または下限体積値以下であるか否かを判定する。
For example, as shown in FIG. 12, the head region determination unit 54 determines the maximum value of each axis in the camera coordinate system for each of a plurality of image regions Fm (m is an arbitrary natural number) constituting the region combined image F ( XMAX, YMAX, ZMAX) and the minimum value (XMIN, YMIN, ZMIN) are calculated.
Then, as shown in the following formula (8), the volume vol is calculated from the maximum value (XMAX, YMAX, ZMAX) and the minimum value (XMIN, YMIN, ZMIN) of each axis, and this volume vol is the head of the human body. It is judged whether it is more than the upper limit volume value which deviates from the predetermined range with respect to the volume, or below the lower limit volume value.
これにより、頭部領域判定部54は、例えば図11(B)に示すように複数の画像領域F1,F2により構成される領域結合画像Fから、体積が上限体積値以上または下限体積値以下となる画像領域、例えばシート16のヘッドレスト16aに対応する画像領域F1を除去し、例えば図11(C)に示すような除去後の領域結合画像Fを生成する。 Accordingly, the head region determination unit 54 determines that the volume is greater than or equal to the upper limit volume value or less than or equal to the lower limit volume value from the region combined image F configured by the plurality of image regions F1 and F2 as illustrated in FIG. For example, the image region F1 corresponding to the headrest 16a of the seat 16 is removed, and a region combined image F after removal as shown in FIG. 11C is generated.
そして、頭部領域判定部54は、スコア画像生成部53により生成されたスコア画像Sを参照しつつ、領域結合画像Fを構成する複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。 The head region determination unit 54 refers to the score image S generated by the score image generation unit 53, and the image having the highest average score value among the plurality of image regions constituting the region combined image F. The region is determined to be a head region where the occupant's head is present.
シート領域検知部55は、例えば、XYZ画像あるいは距離画像に対して、適宜の特徴量抽出や、テンプレートマッチングや、シートモデルとの比較などの各種の処理を行なうことによって、シート16が存在する領域を検知する。
例えば、シート領域検知部55は、図13,図14に示すように、法線ベクトルN(v,u)が車両左右方向(B方向)に傾く角度が所定閾角度以下である領域を正面領域SAとして距離画像から抽出する。
For example, the sheet region detection unit 55 performs various processes such as appropriate feature amount extraction, template matching, and comparison with a sheet model on the XYZ image or the distance image, thereby the region where the sheet 16 exists. Is detected.
For example, as shown in FIGS. 13 and 14, the seat region detection unit 55 determines that the region where the normal vector N (v, u) is inclined in the vehicle left-right direction (B direction) is a predetermined threshold angle or less. Extract from the distance image as SA.
そして、シート領域検知部55は、例えば、頭部領域判定部54によって領域分割画像Eから形成された領域結合画像F(つまり、スコア値の平均値が所定の閾平均値以下の画像領域が除去される前の領域結合画像F)を構成する複数の画像領域のうち、正面領域SAが抽出された画像領域毎に対して、正面領域SAのシート座標系でのB軸の最大値および最小値から、車両左右方向(B方向)の位置(例えば、中心位置など)および長さ(B方向幅)を算出する。
そして、B方向の位置が所定位置範囲内かつB方向の長さ(B方向幅)が所定長さ範囲内である正面領域SAを、シート16のヘッドレスト16aが存在するヘッドレスト領域であると検知し、該ヘッドレスト領域に基づきヘッドレスト16aの位置を算出する。
Then, the sheet region detection unit 55 removes, for example, the region combined image F formed from the region divided image E by the head region determination unit 54 (that is, an image region having an average score value equal to or less than a predetermined threshold average value). The maximum value and the minimum value of the B axis in the sheet coordinate system of the front area SA for each image area from which the front area SA is extracted among a plurality of image areas constituting the area combined image F) before being processed From this, the position (for example, the center position) and the length (B direction width) in the vehicle left-right direction (B direction) are calculated.
The front area SA in which the position in the B direction is within the predetermined position range and the length in the B direction (B direction width) is within the predetermined length range is detected as the headrest area in which the headrest 16a of the seat 16 is present. The position of the headrest 16a is calculated based on the headrest area.
そして、シート領域検知部55は、シート座標系でのTH画像(つまり、単眼距離画像センサ11の撮像領域を車両左右方向から見たサイドビュー画像)などにおいて、ヘッドレスト16aの位置を中心とする2つの異なる円弧間においてシート16の腰部の領域を探索する。
そして、腰部の領域の厚さから、予め記憶している所定シート厚さを車両後方側から差し引いて、あるいは、予め記憶している所定人体厚さを車両前方側から差し引いて腰部の位置を算出し、ヘッドレスト16aの位置および腰部の位置に基づきシート16の前面形状を算出する。
そして、算出した前面形状よりも車両後方側の領域をシート16の領域であると検知し、このシート16の領域をXYZ画像(あるいはXYZ画像に対応する距離画像)から除去する。
Then, the seat region detection unit 55 is centered on the position of the headrest 16a in a TH image in the seat coordinate system (that is, a side view image when the imaging region of the monocular distance image sensor 11 is viewed from the vehicle left-right direction). The waist region of the seat 16 is searched between two different arcs.
Then, from the thickness of the waist region, the predetermined seat thickness stored in advance is subtracted from the vehicle rear side, or the predetermined human body thickness stored in advance is subtracted from the vehicle front side to calculate the position of the waist. Then, the front shape of the seat 16 is calculated based on the position of the headrest 16a and the position of the waist.
Then, the area on the vehicle rear side of the calculated frontal shape is detected as the area of the seat 16, and the area of the seat 16 is removed from the XYZ image (or the distance image corresponding to the XYZ image).
体積判定部56は、シート領域検知部55によってXYZ画像(あるいはXYZ画像に対応する距離画像)からシート16の領域が除去されて得られるシート領域除去画像に基づき、例えばシート領域除去画像を構成する複数の単位空間(例えば、ボクセル空間V)のうち少なくとも一点以上のデータ点を含む単位空間の総数などに基づき、頭部領域判定部54により検知された頭部領域を含む領域(乗員領域)の体積を推定する。
そして、推定した乗員領域の体積が所定体積以上であるか否かを判定し、この判定結果を出力する。
なお、乗員領域の体積に対する所定体積は、例えば成人男性の体積あるいはシート16上で立ち上がっている子供の体積が含まれる体積範囲の下限値となるように設定されている。
The volume determination unit 56 configures, for example, a sheet region removal image based on the sheet region removal image obtained by removing the region of the sheet 16 from the XYZ image (or the distance image corresponding to the XYZ image) by the sheet region detection unit 55. A region (occupant region) including a head region detected by the head region determination unit 54 based on the total number of unit spaces including at least one data point among a plurality of unit spaces (for example, the voxel space V). Estimate volume.
Then, it is determined whether or not the estimated volume of the occupant area is equal to or greater than a predetermined volume, and the determination result is output.
The predetermined volume with respect to the volume of the occupant region is set to be a lower limit value of a volume range including, for example, the volume of an adult male or the volume of a child standing on the seat 16.
膝部判定部57は、体積判定部54によって乗員領域の体積が所定体積以上であると判定された場合に、例えば、スコア画像Sを参照しつつ、シート領域除去画像に基づいて、車両上下方向の所定位置よりも下方側に乗員の膝部が存在するか否かを判定する。 When the volume determination unit 54 determines that the volume of the occupant region is equal to or greater than the predetermined volume, the knee determination unit 57 refers to the score image S and, for example, based on the seat region removal image, the vehicle vertical direction It is determined whether or not the occupant's knee exists below the predetermined position.
例えば図15(A)に示すように、膝部判定部57は、車両上下方向の所定位置を、少なくともシート16に着座した大人の膝部Vよりも上方の位置に設定する。
そして、この所定位置の高さ(例えば、車室内のフロアからの高さなど)Hthよりも下方側の領域において、スコア値が所定値以上の画素数を算出し、この画素数が所定の閾値以上であるか否かを判定する。
そして、画素数が所定の閾値以上であると判定された場合には、乗員の膝部が存在すると判定し、一方、画素数が所定の閾値未満であると判定された場合には、乗員の膝部が存在しないと判定する。
For example, as shown in FIG. 15A, the knee determination unit 57 sets the predetermined position in the vehicle vertical direction to a position at least above the knee V of the adult seated on the seat 16.
Then, in a region below the height Hth of the predetermined position (for example, the height from the floor in the vehicle interior) Hth, the number of pixels having a score value equal to or greater than a predetermined value is calculated, and the number of pixels is a predetermined threshold value. It is determined whether it is above.
When it is determined that the number of pixels is equal to or greater than the predetermined threshold, it is determined that the occupant's knee is present. On the other hand, when the number of pixels is determined to be less than the predetermined threshold, It is determined that there is no knee.
乗員判定部58は、例えば図15(A)〜(C)に示すように、膝部判定部57において所定位置の高さ(例えば、車室内のフロアからの高さなど)Hthよりも下方側の領域において乗員の膝部Vが存在すると判定された場合には、乗員領域にはシート16に着座した大人が存在すると判定する。一方、所定位置の高さHthよりも下方側の領域において乗員の膝部Vが存在しないと判定された場合には、乗員領域にはシート16上で立ち上がっている子供が存在すると判定する。 For example, as shown in FIGS. 15A to 15C, the occupant determination unit 58 is located below the height Hth of a predetermined position (for example, the height from the floor in the passenger compartment) in the knee determination unit 57. When it is determined that the occupant's knee V is present in the region, it is determined that there is an adult seated on the seat 16 in the occupant region. On the other hand, if it is determined that the occupant's knee V is not present in the region below the height Hth of the predetermined position, it is determined that there is a child standing on the seat 16 in the occupant region.
駆動制御部59は、乗員判定部58による判定結果と、例えば車両13の急減速を検出する加速度センサなどの衝突センサ70から出力される検出結果の信号とに基づき、車両13に搭載されたエアバッグ(例えば、フロントエアバッグ)14の展開を制御する。 The drive control unit 59 is based on the determination result of the occupant determination unit 58 and the detection result signal output from the collision sensor 70 such as an acceleration sensor that detects sudden deceleration of the vehicle 13. Controls the deployment of the bag (eg, front airbag) 14.
本実施の形態による乗員検知装置10は上記構成を備えており、次に、この乗員検知装置10の動作について説明する。 The occupant detection device 10 according to the present embodiment has the above-described configuration. Next, the operation of the occupant detection device 10 will be described.
先ず、例えば図16に示すステップS01においては、単眼距離画像センサ11から出力された距離画像に対する前処理として、カメラ座標系でのXYZ画像を生成し、これらのXYZ画像に対して輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
そして、画像処理後のXYZ画像を、一時的にシート座標系の画像に変換して車室内の所定の構造物(例えば、ピラー、ドア、ダッシュボード、センターコンソールなど)に関連するデータを除去し、この除去後の画像を、再びカメラ座標系でのXYZ画像に変換する。
First, for example, in step S01 shown in FIG. 16, as preprocessing for the distance image output from the monocular distance image sensor 11, XYZ images in the camera coordinate system are generated, and luminance images are referred to for these XYZ images. Then, image processing such as smoothing and noise removal is performed.
Then, the image-processed XYZ image is temporarily converted into an image in the seat coordinate system to remove data related to a predetermined structure (eg, pillar, door, dashboard, center console, etc.) in the passenger compartment. The image after the removal is converted again into an XYZ image in the camera coordinate system.
次に、ステップS02においては、後述するように、距離画像に基づき、乗員の頭部が存在する頭部領域を検知する頭部領域検知の処理を行なう。 Next, in step S02, a head region detection process for detecting a head region where the head of the occupant is present is performed based on the distance image, as will be described later.
次に、ステップS03においては、距離画像に基づき、シート16が存在する領域を検知するシート領域検知の処理を行なう。
このステップS03においては、例えば法線ベクトルN(v,u)が車両左右方向(B方向)に傾く角度が所定閾角度以下である領域を正面領域SAとして、B方向の位置が所定位置範囲内かつB方向の長さ(B方向幅)が所定長さ範囲内である正面領域SAをシート16のヘッドレスト16aが存在するヘッドレスト領域であると検知する。
Next, in step S03, a sheet area detection process for detecting an area where the sheet 16 is present is performed based on the distance image.
In this step S03, for example, a region where the normal vector N (v, u) is inclined in the vehicle left-right direction (B direction) is equal to or smaller than a predetermined threshold angle is defined as the front region SA, and the position in the B direction is within the predetermined position range. Further, the front area SA in which the length in the B direction (B direction width) is within a predetermined length range is detected as the headrest area where the headrest 16a of the seat 16 is present.
そして、シート16はシートバック16bの角度が変化した場合であっても、ヘッドレスト16aの位置と腰部の位置との相対的な位置関係は不変であることに応じて、ヘッドレスト16aの位置から腰部の位置を算出し、ヘッドレスト16aの位置および腰部の位置に基づきシート16の前面形状を算出する。
そして、算出した前面形状よりも車両後方側の領域をシート16の領域であると検知し、このシート16の領域をXYZ画像(あるいはXYZ画像に対応する距離画像)から除去する。
And even if the angle of the seat back 16b changes, the seat 16 changes the position of the waist from the position of the headrest 16a according to the relative positional relationship between the position of the headrest 16a and the position of the waist. The position is calculated, and the front shape of the seat 16 is calculated based on the position of the headrest 16a and the position of the waist.
Then, the area on the vehicle rear side of the calculated frontal shape is detected as the area of the seat 16, and the area of the seat 16 is removed from the XYZ image (or the distance image corresponding to the XYZ image).
次に、ステップS04においては、XYZ画像(あるいはXYZ画像に対応する距離画像)からシート16の領域が除去されて得られるシート領域除去画像に基づき、頭部領域検知部52により検知された頭部領域を含む領域(乗員領域)の体積を推定する。
そして、推定した乗員領域の体積が所定体積以上であるか否かを判定する。
Next, in step S04, the head detected by the head region detection unit 52 based on the sheet region removal image obtained by removing the region of the sheet 16 from the XYZ image (or the distance image corresponding to the XYZ image). The volume of the area (occupant area) including the area is estimated.
And it is determined whether the volume of the estimated passenger | crew area | region is more than predetermined volume.
次に、ステップS05においては、乗員領域の体積が所定体積以上であると判定された場合に、例えば、スコア画像Sを参照しつつ、シート領域除去画像に基づいて、車両上下方向の所定位置よりも下方側に乗員の膝部が存在するか否かを判定する膝部判定の処理を行なう。 Next, in step S05, when it is determined that the volume of the occupant area is equal to or greater than the predetermined volume, for example, referring to the score image S, based on the seat area removal image, from a predetermined position in the vehicle vertical direction. Also, a knee determination process is performed to determine whether the occupant's knee exists on the lower side.
次に、ステップS06においては、膝部判定の処理において所定位置の高さ(例えば、車室内のフロアからの高さなど)よりも下方側の領域において乗員の膝部が存在すると判定された場合には、乗員領域にはシート16に着座した大人が存在すると判定する。
一方、膝部判定の処理において所定位置の高さHthよりも下方側の領域において乗員の膝部が存在しないと判定された場合には、乗員領域にはシート16上で立ち上がっている子供が存在すると判定する。
Next, in step S06, when it is determined in the knee determination process that the occupant's knee exists in a region below the height of a predetermined position (for example, the height from the floor in the passenger compartment). It is determined that there is an adult seated on the seat 16 in the passenger area.
On the other hand, when it is determined in the knee determination process that the occupant's knee does not exist in the region below the height Hth at the predetermined position, there is a child standing on the seat 16 in the occupant region. Judge that.
次に、ステップS07においては、乗員領域に大人または子供の何れが存在するかの乗員判定の処理による判定結果と、例えば車両13の急減速を検出する加速度センサなどの衝突センサ70から出力される検出結果の信号とに基づき、車両13に搭載されたエアバッグ(例えば、フロントエアバッグ)14の展開を制御し、エンドに進む。 Next, in step S07, a determination result based on an occupant determination process as to whether an adult or a child is present in the occupant area, and a collision sensor 70 such as an acceleration sensor that detects sudden deceleration of the vehicle 13, for example, are output. Based on the signal of the detection result, deployment of an airbag (for example, a front airbag) 14 mounted on the vehicle 13 is controlled, and the process proceeds to the end.
以下に、上述したステップS02の頭部領域検知の処理について説明する。
先ず、例えば図17に示すステップS11においては、XYZ画像に対応する距離画像を構成する複数の画素毎に3次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される3次元空間での位置座標を内部座標とする内部座標設定の処理を行なう。
Hereinafter, the head region detection process in step S02 described above will be described.
First, in step S11 shown in FIG. 17, for example, a fixed-length inverse vector is calculated in the direction opposite to the normal vector in the three-dimensional space for each of the plurality of pixels constituting the distance image corresponding to the XYZ image. An internal coordinate setting process is performed in which the position coordinates in the three-dimensional space designated by the vector are internal coordinates.
次に、ステップS12においては、3次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出し、距離画像の各画素毎に対応する内部座標が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、各画素毎の画素値に対応させて示すスコア画像Sを生成するスコア画像生成の処理を行なう。 Next, in step S12, a score value related to the total number of internal coordinates included in the unit space is calculated for each of a plurality of unit spaces constituting the three-dimensional space, and the internal coordinates corresponding to each pixel of the distance image are calculated. A score image generation process is performed for generating a score image S indicating the score value of a unit space including a corresponding to the pixel value of each pixel as a spherical index of a predetermined size.
次に、ステップS13においては、3次元空間での複数の内部座標の分布およびスコア画像Sに基づき、複数の画像領域のうちから乗員の頭部が存在する頭部領域を判定する頭部領域判定の処理を行なう。 Next, in step S13, a head region determination that determines a head region in which the occupant's head is present from among a plurality of image regions, based on the distribution of a plurality of internal coordinates in the three-dimensional space and the score image S. Perform the following process.
以下に、上述したステップS11の内部座標設定の処理について説明する。
先ず、例えば図18に示すステップS21においては、3つのXYZ画像に対して、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、3つのXYZ画像毎に横偏微分画像および縦偏微分画像を算出する。
The internal coordinate setting process in step S11 described above will be described below.
First, for example, in step S21 shown in FIG. 18, the horizontal partial differentiation and the vertical partial differentiation are performed on each of the three XYZ images by a convolution operation using a partial differential filter such as a Sobel filter. By performing the above, a horizontal partial differential image and a vertical partial differential image are calculated for every three XYZ images.
次に、ステップS22においては、上記数式(1)を用いて、横偏微分画像および縦偏微分画像と、カメラ座標系での各軸(X軸、Y軸、Z軸)の単位ベクトルとにより、縦画素vおよび横画素uで指定される距離画像の各画素(v,u)毎の法線ベクトルN(v,u)を算出する。 Next, in step S22, using the above mathematical formula (1), the lateral partial differential image and the vertical partial differential image, and the unit vector of each axis (X axis, Y axis, Z axis) in the camera coordinate system. Then, a normal vector N (v, u) for each pixel (v, u) of the distance image specified by the vertical pixel v and the horizontal pixel u is calculated.
次に、ステップS23においては、上記数式(2),(3)を用いて、法線ベクトルN(v,u)の逆方向に固定長の逆ベクトル、つまり頭部ベクトルH(v,u)を算出する。 Next, in step S23, using the above formulas (2) and (3), an inverse vector having a fixed length in the reverse direction of the normal vector N (v, u) , that is, a head vector H (v, u). Is calculated.
次に、ステップS24においては、上記数式(4),(5)を用いて、距離画像の各画素(v,u)の位置をカメラ座標系で示す観測画素座標P(v,u)と頭部ベクトルH(v,u)と合成して、内部座標I(v,u)を算出し、リターンに進む。 Next, in step S24, using the above formulas (4) and (5), the position of each pixel (v, u) of the distance image and the head of the observation pixel coordinate P (v, u) indicating the camera coordinate system are used. The internal coordinate I (v, u) is calculated by combining with the part vector H (v, u), and the process proceeds to return.
以下に、上述したステップS12でのスコア画像生成の処理について説明する。
先ず、例えば図19に示すステップS31においては、単眼距離画像センサ11の撮像領域を含む3次元空間を構成する複数の単位空間(3次元の座標空間)として、所定長(例えば、50mmなど)を一辺の長さとする複数の立方体(ボクセル空間)Vを設定する。
The score image generation process in step S12 described above will be described below.
First, for example, in step S31 shown in FIG. 19, a predetermined length (for example, 50 mm) is used as a plurality of unit spaces (three-dimensional coordinate space) that constitute a three-dimensional space including the imaging region of the monocular distance image sensor 11. A plurality of cubes (voxel spaces) V having a side length are set.
次に、ステップS32においては、距離画像の各画素(v,u)毎に対応する内部座標I(v,u)が含まれるボクセル空間Vに対して、各画素(v,u)の画素面積をスコア値として加算する。 Next, in step S32, the pixel area of each pixel (v, u) with respect to the voxel space V including the internal coordinates I (v, u) corresponding to each pixel (v, u) of the distance image. Is added as a score value.
次に、ステップS33においては、距離画像の各画素(v,u)毎に対応する内部座標I(v,u)が含まれるボクセル空間Vのスコア値を、各画素(v,u)毎の画素値に対応させて示すスコア画像Sを生成し、リターンに進む。 Next, in step S33, the score value of the voxel space V including the internal coordinates I (v, u) corresponding to each pixel (v, u) of the distance image is obtained for each pixel (v, u). A score image S shown corresponding to the pixel value is generated, and the process proceeds to return.
以下に、上述したステップS13での頭部領域判定の処理について説明する。
先ず、例えば図20に示すステップS41においては、距離画像の各画素(v,u)毎に対応する内部座標I(v,u)の各軸成分(X内部座標、Y内部座標、Z内部座標)を、各画素(v,u)毎の画素値に対応させて示す3つのX内部座標画像IXおよびY内部座標画像IYおよびZ内部座標画像IZ毎に、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、横偏微分画像および縦偏微分画像を算出する。
Below, the process of head region determination in step S13 mentioned above is demonstrated.
First, for example, in step S41 shown in FIG. 20, each axis component (X internal coordinate, Y internal coordinate, Z internal coordinate ) of the internal coordinate I (v, u) corresponding to each pixel (v, u) of the distance image. ) For each of the three X internal coordinate images IX, Y internal coordinate images IY, and Z internal coordinate images IZ shown corresponding to the pixel values for each pixel (v, u), for example, a partial differential filter such as a Sobel filter By performing a convolution operation in accordance with the above, a horizontal partial differential image and a vertical partial differential image are calculated by performing a partial differential in the horizontal direction and a partial differential in the vertical direction for each pixel.
次に、ステップS42においては、3つの各内部座標画像IX,IY,IZ毎に横偏微分画像と縦偏微分画像とを合成することによって、3つの内部エッジ画像DX,DY,DZを生成する。
そして、3つの内部エッジ画像DX,DY,DZを合成し、画素面積|N(v,u)|で除算して正規化を行なうことによって、3次元空間での複数の内部座標I(v,u)の分布に対してエッジを抽出した内部エッジ画像Dを生成する。
そして、内部エッジ画像Dにおいて、画素値が所定閾値EdgeThresh未満の領域を「1」とし、画素値が所定閾値EdgeThresh以上の領域を「0」とする2値化処理を行なうことによって、2値化画像Bを生成する。
Next, in step S42, three internal edge images DX, DY, and DZ are generated by synthesizing the lateral partial differential image and the vertical partial differential image for each of the three internal coordinate images IX, IY, and IZ. .
Then, by synthesizing the three internal edge images DX, DY, and DZ, and dividing by the pixel area | N (v, u) |, normalization is performed, whereby a plurality of internal coordinates I (v, An inner edge image D in which edges are extracted from the distribution of u) is generated.
Then, in the internal edge image D, binarization is performed by performing binarization processing in which an area where the pixel value is less than the predetermined threshold EdgeThresh is “1” and an area where the pixel value is equal to or greater than the predetermined threshold EdgeThresh is “0”. An image B is generated.
次に、ステップS43においては、2値化画像Bにおいて、例えば8近傍ラベリングなどのラベリング処理を行なうことによって、複数の異なる画像領域からなる領域分割画像Eを生成する。
次に、ステップS44においては、領域分割画像Eを構成する複数の画像領域毎に内部座標I(v,u)の平均値を算出する。
次に、ステップS45においては、内部座標I(v,u)の平均値の差が所定差よりも大きい画像領域同士は、互いに独立した画像領域であるとし、一方、内部座標I(v,u)の平均値の差が所定差以下の画像領域同士は単一の画像領域に結合して、領域結合画像Fを生成する。
Next, in step S43, the binarized image B is subjected to a labeling process such as 8-neighbor labeling to generate a region divided image E composed of a plurality of different image regions.
Next, in step S44, an average value of the internal coordinates I (v, u) is calculated for each of a plurality of image areas constituting the area divided image E.
Next, in step S45, image regions in which the difference between the average values of the internal coordinates I (v, u) is larger than a predetermined difference are image regions that are independent from each other, while the internal coordinates I (v, u). the difference between the average value of) the image region among more than a predetermined difference and combined into a single image area to produce an area bonded image F.
次に、ステップS46においては、領域結合画像Fを構成する複数の画像領域毎にスコア値の平均値を算出する。
次に、ステップS47においては、領域結合画像Fを構成する複数の画像領域のうちから、スコア値の平均値が所定の閾平均値以下の画像領域を除去する。
Next, in step S46, the average value of the score values is calculated for each of a plurality of image regions constituting the region combined image F.
Next, in step S47, image areas whose average score value is equal to or less than a predetermined threshold average value are removed from a plurality of image areas constituting the area combined image F.
次に、ステップS48においては、領域結合画像Fを構成する複数の画像領域毎に、カメラ座標系での各軸の最大値および最小値を算出し、上記数式(8)を用いて、各軸の最大値および最小値から画像領域の体積を算出する。
次に、ステップS49においては、領域結合画像Fを構成する複数の画像領域のうちから、体積が所定範囲を外れる上限体積値以上または下限体積値以下である画像領域を除去する。
Next, in step S48, the maximum value and the minimum value of each axis in the camera coordinate system are calculated for each of a plurality of image regions constituting the region combined image F, and each axis is calculated using the above equation (8). The volume of the image area is calculated from the maximum value and the minimum value.
Next, in step S49, an image area whose volume is greater than or equal to the upper limit volume value or less than the lower limit volume value out of the predetermined range is removed from the plurality of image areas constituting the area combined image F.
次に、ステップS50においては、距離画像の各画素(v,u)毎の法線ベクトルN(v,u)が車両左右方向(B方向)に傾く角度が所定閾角度以下である領域を正面領域SAとして距離画像から抽出する。 Next, in step S50, an area in which the normal vector N (v, u) for each pixel (v, u) of the distance image is tilted in the vehicle left-right direction (B direction) is equal to or smaller than a predetermined threshold angle. An area SA is extracted from the distance image.
次に、ステップS51においては、領域結合画像Fを構成する複数の画像領域のうち、正面領域SAが抽出された画像領域毎に対して、正面領域SAのシート座標系でのB軸の最大値および最小値から車両左右方向の幅寸法(B方向幅)を算出する。
次に、ステップS52においては、領域結合画像Fを構成する複数の画像領域のうちから、B方向幅が所定閾値以上の正面領域SAを有する画像領域を除去する。そして、スコア画像Sを参照しつつ、この時点での領域結合画像Fにおいて、複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。
Next, in step S51, the maximum value of the B axis in the sheet coordinate system of the front area SA for each image area from which the front area SA is extracted among the plurality of image areas constituting the area combined image F. And the width dimension (B direction width) of the vehicle left-right direction is calculated from the minimum value.
Next, in step S52, an image area having a front area SA whose width in the B direction is equal to or larger than a predetermined threshold is removed from a plurality of image areas constituting the area combined image F. Then, referring to the score image S, in the region combined image F at this time point, the image region having the highest average score value among the plurality of image regions is the head region where the occupant's head exists. Judge that there is.
以下に、上述したステップS05での膝部判定の処理について説明する。
先ず、例えば図21に示すステップS61においては、車両上下方向の所定位置の高さ(例えば、車室内のフロアからの高さなど)Hthよりも下方側の領域において、スコア値が所定値以上の画素数を算出する。
次に、ステップS62においては、画素数が所定の閾値以上であるか否かを判定する。
この判定結果が「YES」の場合には、ステップS63に進み、このステップS63においては、乗員領域にはシート16に着座した大人が存在すると判定して、リターンに進む。
一方、この判定結果が「NO」の場合には、ステップS64に進み、このステップS64においては、乗員領域にはシート16上で立ち上がっている子供が存在すると判定して、リターンに進む。
Hereinafter, the knee determination process in step S05 described above will be described.
First, for example, in step S61 shown in FIG. 21, the score value is greater than or equal to a predetermined value in a region below the height Hth of a predetermined position in the vehicle vertical direction (for example, the height from the floor in the vehicle interior). The number of pixels is calculated.
Next, in step S62, it is determined whether or not the number of pixels is equal to or greater than a predetermined threshold value.
If this determination result is "YES", the process proceeds to step S63, and in this step S63, it is determined that there is an adult seated on the seat 16 in the passenger area, and the process proceeds to return.
On the other hand, if this determination is “NO”, the flow proceeds to step S 64, and in this step S 64, it is determined that there is a child standing on the seat 16 in the passenger area, and the flow proceeds to return.
上述したように、本実施の形態による乗員検知装置10によれば、身体全体の大きさに比べて頭部のみの大きさは大人と子供とで差が小さく、シート16に着座した大人の頭部の位置とシート16上で立ち上がった子供の頭部の位置とはほぼ一致する場合がある。
このとき、立ち上がった子供では膝部が検出され難いことに比べて、着座した大人では膝部が検出され易く、車両上下方向の所定位置よりも下方側に膝部が存在するか否かを判定することによって、乗員が大人であるか、あるいは子供であるかを、容易かつ精度良く判定することができる。
As described above, according to the occupant detection device 10 according to the present embodiment, the size of only the head is smaller than the size of the entire body between the adult and the child, and the head of the adult sitting on the seat 16 is smaller. The position of the part and the position of the child's head that has stood up on the seat 16 may substantially coincide.
At this time, it is easier to detect a knee part in a seated adult than in a child who has stood up, and it is determined whether or not the knee part exists below a predetermined position in the vehicle vertical direction. By doing so, it can be easily and accurately determined whether the occupant is an adult or a child.
さらに、距離画像の各画素(v,u)毎に設定される固定長の逆ベクトルによる内部座標を用いた投票方式によって単位空間毎のスコア値を算出し、スコア値が球形状の指標となることに応じて乗員の膝部を抽出することから、演算負荷の増大を防止しつつ検知精度を向上させることができる。 Further, a score value for each unit space is calculated by a voting method using internal coordinates based on a fixed-length inverse vector set for each pixel (v, u) of the distance image, and the score value becomes a spherical index. Accordingly, since the knee part of the occupant is extracted, detection accuracy can be improved while preventing an increase in calculation load.
さらに、シート16に着座した大人の頭部の位置とシート16上で立ち上がった子供の頭部の位置とがほぼ一致し、さらに、シート16に着座した大人の体積とシート16上で立ち上がった子供の体積とが同程度であると判定された場合であっても、車両上下方向の所定位置よりも下方側に膝部が存在するか否かを判定することによって、乗員が大人であるか、あるいは子供であるかを、容易かつ精度良く判定することができる。 Further, the position of the head of the adult seated on the seat 16 and the position of the head of the child standing on the seat 16 substantially coincide, and further, the volume of the adult seated on the seat 16 and the child standing on the seat 16 Even if it is determined that the volume of the occupant is comparable, whether or not the occupant is an adult by determining whether or not the knee portion exists below a predetermined position in the vehicle vertical direction, Alternatively, it is possible to easily and accurately determine whether the child is a child.
なお、上述した実施の形態において、膝部判定部57は画素数に基づいて大人と子供の判定を行ったが、これに限定されず、画素面積等の他の指標に基づいて判定を行なってもよい。 In the above-described embodiment, the knee determination unit 57 determines adults and children based on the number of pixels. However, the determination is not limited to this, and determination is performed based on other indicators such as a pixel area. Also good.
10 乗員検知装置
11 単眼距離画像センサ
12 制御装置
22 受光部(撮像手段)
23 処理部(距離画像生成手段)
52 内部座標設定部
53 スコア画像生成部
54 頭部領域判定部(頭部領域抽出手段)
55 シート領域検知部
56 体積判定部(体積判定手段)
57 膝部判定部(膝部判定手段)
58 乗員判定部(乗員判定手段)
59 駆動制御部
ステップS11 内部座標設定手段
ステップS12 スコア画像生成手段
ステップS61 膝部抽出手段
DESCRIPTION OF SYMBOLS 10 Occupant detection apparatus 11 Monocular distance image sensor 12 Control apparatus 22 Light-receiving part (imaging means)
23 processing unit (distance image generating means)
52 Internal coordinate setting unit 53 Score image generating unit 54 Head region determining unit (head region extracting means)
55 Sheet region detection unit 56 Volume determination unit (volume determination means)
57 Knee determination unit (knee determination means)
58 Crew determination unit (Crew determination means)
59 Drive control unit step S11 Internal coordinate setting unit step S12 Score image generation unit step S61 Knee part extraction unit
Claims (3)
前記撮像手段から出力された撮像結果に基づき、3次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、乗員領域の体積を推定し、該体積が所定体積閾値以上であるか否かを判定する体積判定手段と、
前記距離画像に基づき、車両上下方向の所定位置よりも下方側に前記車室内の乗員の膝部が存在するか否かを判定する膝部判定手段と、
前記体積判定手段により前記乗員領域の体積が前記所定体積閾値以上であると判定された場合であって、前記膝部判定手段により前記所定位置よりも下方側に前記膝部が存在すると判定された場合には前記乗員は大人であると判定し、前記膝部判定手段により前記車両上下方向の所定位置よりも下方側に前記膝部が存在しないと判定された場合には前記乗員は子供であると判定する乗員判定手段と
を備えることを特徴とする乗員検知装置。 Imaging means for imaging an imaging area in the passenger compartment and outputting an imaging result;
A distance image generating means for generating a distance image having information on the distance of the imaging region in a three-dimensional space based on the imaging result output from the imaging means;
Based on the distance image, a volume determination means that estimates the volume of the occupant region and determines whether the volume is equal to or greater than a predetermined volume threshold;
Knee determining means for determining whether or not there is a passenger's knee in the passenger compartment below a predetermined position in the vehicle vertical direction based on the distance image;
When the volume determination means determines that the volume of the occupant area is equal to or greater than the predetermined volume threshold value, the knee determination means determines that the knee is present below the predetermined position. In this case, it is determined that the occupant is an adult, and the occupant is a child when the knee determination unit determines that the knee does not exist below a predetermined position in the vehicle vertical direction. An occupant detection device comprising: an occupant determination means for determining
前記距離画像を構成する複数の画素毎に前記3次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される前記3次元空間での位置座標を内部座標とする内部座標設定手段と、
前記3次元空間を構成する複数の単位空間毎に該単位空間内に含まれる前記内部座標の総数に係るスコア値を算出し、前記複数の画素毎に対応する前記内部座標が含まれる前記単位空間の前記スコア値を前記複数の画素毎に対応させて示すスコア画像を生成するスコア画像生成手段と、
前記スコア値に基づいて前記膝部を抽出する膝部抽出手段と
を備えることを特徴とする請求項1に記載の乗員検知装置。 The knee determination means includes
For each of a plurality of pixels constituting the distance image, a fixed-length inverse vector is calculated in the reverse direction of the normal vector in the three-dimensional space, and the position coordinates in the three-dimensional space designated by the inverse vector are internally Internal coordinate setting means as coordinates,
The unit space that calculates a score value related to the total number of the internal coordinates included in the unit space for each of the plurality of unit spaces constituting the three-dimensional space, and includes the internal coordinates corresponding to the plurality of pixels. Score image generation means for generating a score image indicating the score value of each of the plurality of pixels in correspondence with each other,
The occupant detection device according to claim 1, further comprising knee extraction means for extracting the knee based on the score value.
前記体積判定手段が、前記頭部領域を含む前記乗員領域の体積を推定することを特徴とする請求項1または請求項2に記載の乗員検知装置。 A head region extracting means for extracting a head region of the occupant based on the distance image;
The occupant detection device according to claim 1, wherein the volume determination unit estimates a volume of the occupant region including the head region.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010281752A JP5298111B2 (en) | 2010-12-17 | 2010-12-17 | Occupant detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010281752A JP5298111B2 (en) | 2010-12-17 | 2010-12-17 | Occupant detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012127912A JP2012127912A (en) | 2012-07-05 |
JP5298111B2 true JP5298111B2 (en) | 2013-09-25 |
Family
ID=46645098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010281752A Expired - Fee Related JP5298111B2 (en) | 2010-12-17 | 2010-12-17 | Occupant detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5298111B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10287162A (en) * | 1997-04-17 | 1998-10-27 | Furukawa Electric Co Ltd:The | Seat taking detection device |
JP3762734B2 (en) * | 2002-10-08 | 2006-04-05 | 三菱電機株式会社 | Crew seat detection device |
DE10254200B4 (en) * | 2002-11-20 | 2006-04-20 | Siemens Ag | Device and method for detecting the seat occupancy in a vehicle |
JP4122384B2 (en) * | 2005-01-31 | 2008-07-23 | オプテックス株式会社 | Traffic monitoring device |
JP5056121B2 (en) * | 2007-04-03 | 2012-10-24 | オムロン株式会社 | Automatic ticket gate |
JP5130787B2 (en) * | 2007-05-30 | 2013-01-30 | 船井電機株式会社 | Display device |
-
2010
- 2010-12-17 JP JP2010281752A patent/JP5298111B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012127912A (en) | 2012-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5401440B2 (en) | Crew head detection device | |
JP5453230B2 (en) | Occupant detection device | |
JP4810052B2 (en) | Occupant sensor | |
US7406181B2 (en) | Occupant detection system | |
US7372996B2 (en) | Method and apparatus for determining the position of a vehicle seat | |
KR100630842B1 (en) | Passenger attitude discrimination system and the method which use stereo video junction in vehicle | |
EP1870296B1 (en) | Vehicle seat detecting system, operation device controlling system, and vehicle | |
EP1870295A1 (en) | Vehicle occupant detecting system, operation device controlling system, and vehicle | |
US20060291697A1 (en) | Method and apparatus for detecting the presence of an occupant within a vehicle | |
CN106458029A (en) | Display device and vehicle | |
JP6739672B2 (en) | Physical constitution estimation device and physical constitution estimation method | |
JP3943367B2 (en) | Vehicle occupant head detection device | |
US20180208115A1 (en) | Vehicle display device and vehicle display method for displaying images | |
CN114144814A (en) | System, device and method for measuring the mass of an object in a vehicle | |
EP1792788A1 (en) | Scanned laser-line sensing apparatus for a vehicle occupant | |
JP2010113506A (en) | Occupant position detection device, occupant position detection method, and occupant position detection program | |
JP2010195139A (en) | Occupant restraint control device and occupant restraint control method | |
JP5298111B2 (en) | Occupant detection device | |
JP5396377B2 (en) | Vacant seat determination device and vacant seat determination method | |
JP5548111B2 (en) | Sheet detection device | |
JP2021103092A (en) | Seat posture detection device | |
JP2011164711A (en) | Face direction detector | |
JP2012141281A (en) | Volume detection device and volume detection method | |
JP5453229B2 (en) | Occupant discrimination device and occupant discrimination method | |
WO2017086057A1 (en) | Display device for vehicles and display method for vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130617 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |