JP5548111B2 - Sheet detection device - Google Patents
Sheet detection device Download PDFInfo
- Publication number
- JP5548111B2 JP5548111B2 JP2010278536A JP2010278536A JP5548111B2 JP 5548111 B2 JP5548111 B2 JP 5548111B2 JP 2010278536 A JP2010278536 A JP 2010278536A JP 2010278536 A JP2010278536 A JP 2010278536A JP 5548111 B2 JP5548111 B2 JP 5548111B2
- Authority
- JP
- Japan
- Prior art keywords
- waist
- region
- seat
- thickness
- headrest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
この発明は、シート検知装置に関する。 The present invention relates to a sheet detection apparatus.
従来、例えば、シートバック側縁部の背面側でシート後方から前方に走査して、最初に検出される形状の点列からシートバックの背面とシートバック肩部を検出する装置が知られている（例えば、特許文献１参照）。
また、従来、例えばカメラの単一視点によって乗員の表面立体形状を検出するとともに、この単一視点の影部分となる裏側形状を規定する基準面をシート情報に基づいて設定し、表面立体形状と基準面とから乗員の体積を算出する装置が知られている（例えば、特許文献２参照）。
2. Description of the Related Art Conventionally, for example, a device that scans forward from the back of a seat on the back side of a seat back side edge and detects the back of the seat back and the seat back shoulder from a point sequence having a shape that is detected first. (For example, refer to Patent Document 1).
Further, conventionally, for example, the surface solid shape of the occupant is detected from a single viewpoint of the camera, and a reference plane that defines the back side shape that is a shadow portion of the single viewpoint is set based on the sheet information. An apparatus that calculates the volume of an occupant from a reference surface is known (see, for example, Patent Document 2).
ところで、上記従来技術に係る装置においては、例えばカメラの撮影方向などに応じて、乗員によってシートの特定部位が隠蔽されていると、シートバックの背面とシートバック肩部を精度良く検出することができなかったり、シートの特定部位の表面に沿って形成される基準面を適切に設定することが困難になる場合が生じる。 By the way, in the apparatus according to the above prior art, when the specific part of the seat is concealed by the occupant, for example, according to the shooting direction of the camera, the back of the seat back and the seat back shoulder can be detected with high accuracy. It may not be possible, or it may be difficult to appropriately set the reference surface formed along the surface of the specific part of the sheet.
本発明は上記事情に鑑みてなされたもので、撮像時に乗員による隠蔽が生じた場合であってもシートを精度良く検知することが可能なシート検知装置を提供することを目的としている。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a sheet detection apparatus capable of detecting a sheet with high accuracy even when the occupant is concealed during imaging.
上記課題を解決して係る目的を達成するために、本発明の第１〜第３態様に係るシート検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段（例えば、実施の形態での受光部２２）と、前記撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段（例えば、実施の形態での処理部２３）と、前記距離画像に基づき、前記車室内のシートのヘッドレストの位置および前記シートの腰部の位置を検知する位置検知手段（例えば、実施の形態でのヘッドレスト位置算出部５３、腰部位置算出部５６）と、前記ヘッドレストの位置および前記腰部の位置に基づき、前記シートの前面形状を算出する前面形状算出手段（例えば、実施の形態での前面形状算出部５７）と、前記距離画像において、前記前面形状算出手段により算出された前記前面形状よりも車両後方側の領域を前記シートの領域であると検知するシート領域検知手段（例えば、実施の形態でのシート領域検知部５８）とを備える。 In order to solve the above-described problems and achieve the object, the sheet detection apparatus according to the first to third aspects of the present invention captures an imaging region in a vehicle interior and outputs an imaging result (for example, implementation) And a distance image generating means (for example, the processing unit 23 in the embodiment) for generating a distance image having distance information of the imaging region in a three-dimensional space based on the imaging result. ) And position detection means for detecting the position of the headrest of the seat and the position of the waist of the seat based on the distance image (for example, the headrest position calculator 53 and the waist position calculator 56 in the embodiment) ), A front surface shape calculating means for calculating the front surface shape of the seat based on the position of the headrest and the position of the waist (for example, the front surface shape calculating unit 57 in the embodiment), and the distance image In the image, a sheet area detecting unit that detects an area on the vehicle rear side of the front surface shape calculated by the front surface shape calculating unit as the area of the seat (for example, a sheet area detecting unit 58 in the embodiment) With.
さらに、本発明の第１態様に係るシート検知装置では、前記位置検知手段は、前記距離画像に基づいて、前記ヘッドレストの位置を中心とする２つの異なる円弧間において前記シートの腰部の領域を探索する腰部領域探索手段（例えば、実施の形態での腰部領域探索部５４）と、前記腰部の領域の車両後方側の端部と前記ヘッドレストの位置とを含む直線に直交する方向での前記腰部の領域の厚さを検知する腰部厚さ検知手段（例えば、実施の形態での腰部厚さ検知部５５）と、前記腰部の領域の厚さが所定厚さ以上の場合には、前記腰部の領域の厚さから予め記憶している所定シート厚さを車両後方側から差し引いて前記腰部の位置を算出し、前記腰部の領域の厚さが前記所定厚さ未満の場合には、前記腰部の領域の厚さから予め記憶している所定人体厚さを車両前方側から差し引いて前記腰部の位置を算出する腰部位置算出手段（例えば、実施の形態での腰部位置算出部５６）とを備える。 Furthermore, in the sheet detection apparatus according to the first aspect of the present invention, the position detection unit searches for a waist region of the sheet between two different arcs centered on the position of the headrest based on the distance image. Lumbar region searching means (for example, lumbar region searching unit 54 in the embodiment), and the waist region in a direction orthogonal to a straight line including a vehicle rear side end portion of the waist region and the position of the headrest. A waist thickness detecting means for detecting the thickness of the region (for example, the waist thickness detecting unit 55 in the embodiment), and when the thickness of the waist region is equal to or greater than a predetermined thickness, the waist region The predetermined seat thickness stored in advance from the thickness of the vehicle is subtracted from the vehicle rear side to calculate the position of the waist, and if the thickness of the waist region is less than the predetermined thickness, the waist region Memorize in advance from the thickness of The predetermined body thickness that comprises a waist position calculating means for calculating the position of the lumbar region by subtracting from the vehicle front side (e.g., the waist position calculating section 56 in the embodiment).
さらに、本発明の第２態様に係るシート検知装置では、前記位置検知手段は、前記距離画像を構成する複数の画素毎に前記３次元空間での法線方向を算出し、該法線方向が車両左右方向に傾く角度が所定閾角度以下である領域を正面領域として前記距離画像から抽出する正面領域抽出手段（例えば、実施の形態での正面領域抽出部５２）と、前記正面領域のうち前記車両左右方向の位置が所定位置範囲内かつ前記車両左右方向の長さが所定長さ範囲内である前記正面領域をヘッドレスト領域であると検知し、該ヘッドレスト領域に基づき前記ヘッドレストの位置を算出するヘッドレスト位置算出手段（例えば、実施の形態でのヘッドレスト位置算出部５３）とを備える。
さらに、本発明の第３態様に係るシート検知装置では、前記前面形状算出手段は、前記位置検知手段によって検知された前記ヘッドレストの位置および前記腰部の位置を含む直線から車両左右方向に向かうことに伴い、漸次、車両前方側に突出するように形成される溝面を前記シートの前面形状とする。
Furthermore, in the sheet detection apparatus according to the second aspect of the present invention, the position detection unit calculates a normal direction in the three-dimensional space for each of a plurality of pixels constituting the distance image, and the normal direction is A front area extraction means (for example, a front area extraction unit 52 in the embodiment) that extracts from the distance image an area whose angle of inclination in the vehicle left-right direction is equal to or less than a predetermined threshold angle as the front area; The front area in which the position in the vehicle left-right direction is within a predetermined position range and the length in the vehicle left-right direction is within the predetermined length range is detected as a headrest area, and the position of the headrest is calculated based on the headrest area. Headrest position calculation means (for example, the headrest position calculation unit 53 in the embodiment).
Furthermore, in the seat detection apparatus according to the third aspect of the present invention, the front surface shape calculation means is directed in the vehicle lateral direction from a straight line including the position of the headrest and the position of the waist portion detected by the position detection means. Accordingly, the groove surface formed so as to protrude gradually toward the front side of the vehicle is the front shape of the seat.
さらに、本発明の第４態様に係るシート検知装置は、前記車室内の乗員の頭部領域の位置を取得する頭部領域位置取得手段（例えば、実施の形態での頭部領域位置取得部８１）を備え、前記位置検知手段は、前記頭部領域の位置に基づき前記ヘッドレストの位置を検知するヘッドレスト位置検知手段（例えば、実施の形態でのヘッドレスト位置算出部５３）を備える。 Furthermore, the seat detection apparatus according to the fourth aspect of the present invention is a head region position acquisition unit (for example, a head region position acquisition unit 81 in the embodiment) that acquires the position of the head region of the passenger in the passenger compartment. The position detection means includes headrest position detection means (for example, a headrest position calculation unit 53 in the embodiment) that detects the position of the headrest based on the position of the head region.
本発明の第１〜第３態様に係るシート検知装置によれば、シートは背もたれの角度が変化した場合であっても、ヘッドレストの位置と腰部の位置との相対的な位置関係は不変であることから、撮像時に乗員による隠蔽が生じた場合であっても、ヘッドレストおよび腰部の位置からシートの前面形状を精度良く算出することができる。これにより、前面形状よりも車両後方側に存在するシートの領域を精度良く検知することができる。 According to the seat detection apparatus according to the first to third aspects of the present invention, the relative positional relationship between the position of the headrest and the position of the waist is unchanged even when the angle of the backrest of the seat changes. For this reason, the front shape of the seat can be calculated with high accuracy from the positions of the headrest and the waist even when the occupant conceals during imaging. Thereby, the area | region of the sheet | seat which exists in the vehicle rear side rather than front shape can be detected with a sufficient precision.
さらに、本発明の第１態様に係るシート検知装置によれば、腰部の領域の厚さが所定厚さ以上の場合には、シートと乗員との両方が適切に撮像されていると判断して、乗員に比べて位置変動が限定的なシート側の厚さ（所定シート厚さ）を腰部の領域の厚さから差し引くことによって腰部の位置を精度良く算出することができる。
また、腰部の領域の厚さが所定厚さ未満の場合には、シートが乗員によって隠蔽されていると判断して、腰部の領域の厚さから所定人体厚さを差し引くことによって腰部の位置を精度良く算出することができる。
Furthermore, according to the seat detection apparatus according to the first aspect of the present invention, if the thickness of the waist region is equal to or greater than the predetermined thickness, it is determined that both the seat and the occupant are appropriately imaged. The position of the waist can be calculated with high accuracy by subtracting the thickness on the seat side (predetermined sheet thickness) with a limited position variation compared to the passenger from the thickness of the waist region.
Further, if the thickness of the waist region is less than the predetermined thickness, it is determined that the seat is concealed by the occupant, and the position of the waist is determined by subtracting the predetermined human body thickness from the thickness of the waist region. It is possible to calculate with high accuracy.
さらに、本発明の第２態様に係るシート検知装置によれば、演算負荷が増大することを防止しつつヘッドレストの位置を精度良く算出することができる。 Furthermore, according to the sheet detection apparatus according to the second aspect of the present invention, it is possible to accurately calculate the position of the headrest while preventing an increase in calculation load.
さらに、本発明の第４態様に係るシート検知装置によれば、乗員の頭部領域の位置に対する相対的な位置関係に応じてヘッドレストの位置を精度良く検知することができる。 Furthermore, according to the seat detection apparatus which concerns on the 4th aspect of this invention, the position of a headrest can be detected accurately according to the relative positional relationship with respect to the position of a passenger | crew's head region.
以下、本発明の一実施形態に係るシート検知装置について添付図面を参照しながら説明する。
本実施の形態によるシート検知装置１０は、例えば図１、図２に示すように、単眼距離画像センサ１１と、制御装置１２とを備えて構成され、例えば車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御するエアバッグシステム１５の一部を構成している。
Hereinafter, a sheet detection apparatus according to an embodiment of the present invention will be described with reference to the accompanying drawings.
As shown in FIGS. 1 and 2, for example, the sheet detection device 10 according to the present embodiment includes a monocular distance image sensor 11 and a control device 12. For example, an airbag (for example, an airbag (for example) mounted on a vehicle 13). , A front airbag) 14 constitutes a part of an airbag system 15 that controls the deployment of the airbag.
単眼距離画像センサ１１は単眼の撮像装置であって、例えば、車両１３のルーフ前部の中央部（例えば、左右のサンバイザー間の位置など）に配置され、少なくとも車室内のシート１６（例えば、助手席）およびシート１６に着座した乗員やシート１６に設置されたチャイルドシートなどを撮像対象として含み、これらの撮像対象を斜め上方の前方側から撮像するように設定されている。 The monocular distance image sensor 11 is a monocular imaging device, and is disposed, for example, in the center of the front portion of the roof of the vehicle 13 (for example, the position between the left and right sun visors), and at least the seat 16 (for example, the interior of the vehicle interior). A passenger seat), a passenger seated on the seat 16, a child seat installed on the seat 16, and the like are set as imaging targets, and these imaging targets are set to be imaged from the front side obliquely upward.
単眼距離画像センサ１１は、例えば、発光部２１と、受光部２２と、処理部２３とを備えて構成されている。 The monocular distance image sensor 11 includes a light emitting unit 21, a light receiving unit 22, and a processing unit 23, for example.
発光部２１は、例えば、赤外線領域の光を発光するＬＥＤなどの発光体３１と、発光体３１の発光を制御する駆動回路３２と、発光体３１の発光による光を撮像対象に向けて拡散させる散乱板３３とを備えて構成されている。 For example, the light emitting unit 21 diffuses light emitted from the light emitter 31 toward the imaging target, such as a light emitter 31 such as an LED that emits light in the infrared region, a drive circuit 32 that controls the light emission of the light emitter 31. A scattering plate 33 is provided.
駆動回路３２は、例えば、受光部２２から出力される発光制御の指令信号と、処理部２３から出力される光量制御の指令信号とに応じて制御される。 The drive circuit 32 is controlled according to, for example, a light emission control command signal output from the light receiving unit 22 and a light amount control command signal output from the processing unit 23.
受光部２２から出力される発光制御の指令信号は、発光部２１の動作と受光部２２の動作との同期をとって、発光部２１から出力された発光パルスと、この発光パルスが撮像対象で反射されて受光部２２に入力されて成る受光パルスとの位相差（時間差）を検知可能にするために、発光パルスの発光タイミングを指示する。
処理部２３から出力される光量制御の指令信号は、発光部２１から出力される発光パルスの発光量を指示する。
The light emission control command signal output from the light receiving unit 22 synchronizes the operation of the light emitting unit 21 and the operation of the light receiving unit 22, and the light emission pulse output from the light emitting unit 21 and the light emission pulse is an object to be imaged. In order to be able to detect the phase difference (time difference) from the received light pulse that is reflected and input to the light receiving unit 22, the light emission timing of the light emission pulse is instructed.
The light amount control command signal output from the processing unit 23 instructs the light emission amount of the light emission pulse output from the light emitting unit 21.
受光部２２は、例えば、発光部２１から撮像対象に向けて照射された発光パルスが撮像対象で反射されてなる受光パルスを受けるレンズ３６と、フィルター３７と、レンズ３６およびフィルター３７を透過した受光パルスを検出するＣＭＯＳセンサなどの受光素子３８とを備えて構成されている。 For example, the light receiving unit 22 receives a light receiving pulse formed by reflecting a light emission pulse emitted from the light emitting unit 21 toward the imaging target, reflected by the imaging target, a filter 37, and the light received through the lens 36 and the filter 37. And a light receiving element 38 such as a CMOS sensor for detecting a pulse.
受光部２２は、処理部２３から出力される制御信号に応じて発光部２１に発光制御の指令信号を出力すると共に、受光素子３８による受光パルスの検出結果として画像データを出力する。
この画像データは、受光素子３８において受光パルスが検出された位置（つまり、撮像対象での発光パルスの反射点の位置）に対応する二次元配列の画素から構成され、各画素は、受光素子３８で検出された受光パルスの光量（つまり、パルス数）の情報と、発光パルスと受光パルスとの位相差（時間差）の情報とを有している。
The light receiving unit 22 outputs a light emission control command signal to the light emitting unit 21 in accordance with the control signal output from the processing unit 23, and outputs image data as a detection result of the light reception pulse by the light receiving element 38.
This image data is composed of pixels in a two-dimensional array corresponding to the position at which the light receiving pulse is detected in the light receiving element 38 (that is, the position of the reflection point of the light emission pulse on the imaging target). Information on the amount of light (that is, the number of pulses) of the received light pulse detected in step 1 and information on the phase difference (time difference) between the light emission pulse and the light reception pulse.
処理部２３は、発光部２１に光量制御の指令信号を出力すると共に、受光部２２に各種動作を指示する制御信号を出力しており、例えば、距離画像生成部４１と、輝度画像生成部４２とを備えて構成されている。 The processing unit 23 outputs a light amount control command signal to the light emitting unit 21 and also outputs control signals to instruct the light receiving unit 22 to perform various operations. For example, the distance image generating unit 41 and the luminance image generating unit 42. And is configured.
距離画像生成部４１は、受光部２２から出力された画像データに基づき、各画素毎に、発光パルスと受光パルスとの位相差（時間差）の情報と発光パルスおよび受光パルスの速度（つまり光の速度）とから、３次元空間での単眼距離画像センサ１１から撮像対象の反射点までの距離の情報を生成する。そして、二次元配列の各画素毎に単眼距離画像センサ１１から撮像対象までの距離を示す距離画像を生成して、この距離画像を制御装置１２に出力する。 The distance image generation unit 41 is based on the image data output from the light receiving unit 22, and information on the phase difference (time difference) between the light emission pulse and the light reception pulse and the speed of the light emission pulse and the light reception pulse (that is, the light intensity) Speed), information on the distance from the monocular distance image sensor 11 to the reflection point to be imaged in a three-dimensional space is generated. Then, a distance image indicating the distance from the monocular distance image sensor 11 to the imaging target is generated for each pixel of the two-dimensional array, and this distance image is output to the control device 12.
輝度画像生成部４２は、受光部２２から出力される画像データに基づき、二次元配列の各画素毎に受光素子３８により検出された受光パルスの光量（つまり、パルス数）を示す輝度画像を生成して、この輝度画像を制御装置１２に出力する。 The luminance image generation unit 42 generates a luminance image indicating the light amount (that is, the number of pulses) of the received light pulse detected by the light receiving element 38 for each pixel of the two-dimensional array based on the image data output from the light receiving unit 22. Then, this luminance image is output to the control device 12.
制御装置１２は、例えば、画像処理部５１と、正面領域抽出部５２と、ヘッドレスト位置算出部５３と、腰部領域探索部５４と、腰部厚さ検知部５５と、腰部位置算出部５６と、前面形状算出部５７と、シート領域検知部５８と、乗員判定部５９と、駆動制御部６０とを備えて構成されている。 For example, the control device 12 includes an image processing unit 51, a front region extraction unit 52, a headrest position calculation unit 53, a waist region search unit 54, a waist thickness detection unit 55, a waist position calculation unit 56, and a front surface. A shape calculation unit 57, a seat area detection unit 58, an occupant determination unit 59, and a drive control unit 60 are provided.
画像処理部５１は、先ず、単眼距離画像センサ１１から出力された距離画像に基づき、二次元配列の各画素毎の距離の情報に対応する３次元空間での撮像対象の反射点の位置をカメラ座標系で記述し、このカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、二次元配列の各画素毎に対応させて示す３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を生成する。 First, based on the distance image output from the monocular distance image sensor 11, the image processing unit 51 determines the position of the reflection point of the imaging target in the three-dimensional space corresponding to the distance information for each pixel of the two-dimensional array. Three X images, Y images, and Z images (X coordinate, Y coordinate, Z coordinate) described in the coordinate system and corresponding to each pixel of the two-dimensional array are shown in the camera coordinate system. XYZ image) is generated.
なお、カメラ座標系は、例えば単眼距離画像センサ１１の受光素子３８の撮像面に直交する受光軸をＺ軸とするＸＹＺ座標系である。
そして、これらのＸＹＺ画像に対して、輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
The camera coordinate system is, for example, an XYZ coordinate system in which the light receiving axis orthogonal to the imaging surface of the light receiving element 38 of the monocular distance image sensor 11 is the Z axis.
These XYZ images are subjected to image processing such as smoothing and noise removal with reference to the luminance image.
さらに、画像処理部５１は、カメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、シート座標系つまり車両前後方向をＴ軸かつ車両左右方向をＢ軸かつ車両上下方向をＨ軸とするＴＢＨ座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）に変換して、予め記憶している車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去する。
そして、このデータ除去後のシート座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）をカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）に変換して、この変換後の各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）による３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を出力する。
Further, the image processing unit 51 converts each axis component (X coordinate, Y coordinate, Z coordinate) in the camera coordinate system into the seat coordinate system, that is, the vehicle longitudinal direction as the T axis, the vehicle lateral direction as the B axis, and the vehicle vertical direction. Converted into each axis component (T coordinate, B coordinate, H coordinate) in the TBH coordinate system as the H axis, a predetermined structure (for example, pillar, door, dashboard, center) stored in advance in the vehicle interior Data associated with the console).
Then, each axis component (T coordinate, B coordinate, H coordinate) in the sheet coordinate system after this data removal is converted into each axis component (X coordinate, Y coordinate, Z coordinate) in the camera coordinate system, and this Three X images, Y images, and Z images (XYZ images) based on the converted axis components (X coordinate, Y coordinate, Z coordinate) are output.
正面領域抽出部５２は、距離画像を構成する複数の画素毎に３次元空間での法線方向を算出し、該法線方向が車両左右方向に傾く角度が所定閾角度以下である領域を正面領域として距離画像から抽出する。 The front area extraction unit 52 calculates a normal direction in a three-dimensional space for each of a plurality of pixels constituting the distance image, and displays an area in which an angle at which the normal direction is inclined in the vehicle left-right direction is equal to or smaller than a predetermined threshold angle. Extract from the distance image as a region.
先ず、正面領域抽出部５２は、画像処理部５１から出力された３つのＸＹＺ画像に対して、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、３つのＸＹＺ画像毎に横偏微分画像（Ｘ横偏微分画像Ｘｕ、Ｙ横偏微分画像Ｙｕ、Ｚ横偏微分画像Ｚｕ）および縦偏微分画像（Ｘ縦偏微分画像Ｘｖ、Ｙ縦偏微分画像Ｙｖ、Ｚ縦偏微分画像Ｚｖ）を算出する。 First, the front area extraction unit 52 performs horizontal partial differentiation and vertical division for each pixel by performing convolution operations on the three XYZ images output from the image processing unit 51 using, for example, a partial differential filter such as a Sobel filter. By performing the partial differentiation of the direction, a lateral partial differential image (X lateral partial differential image Xu, Y lateral partial differential image Yu, Z lateral partial differential image Zu) and vertical partial differential image (X longitudinal longitudinal image) are obtained for every three XYZ images. Partial differential image Xv, Y vertical partial differential image Yv, Z vertical partial differential image Zv) are calculated.
そして、正面領域抽出部５２は、例えば下記数式（１）に示すように記述される縦画素ｖおよび横画素ｕで指定される距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ（ｖ，ｕ）を、各横偏微分画像の画素値（Ｘ横偏微分画像Ｘｕ（ｖ，ｕ）、Ｙ横偏微分画像Ｙｕ（ｖ，ｕ）、Ｚ横偏微分画像Ｚｕ（ｖ，ｕ））および各縦偏微分画像の画素値（Ｘ縦偏微分画像Ｘｖ（ｖ，ｕ）、Ｙ縦偏微分画像Ｙｖ（ｖ，ｕ）、Ｚ縦偏微分画像Ｚｖ（ｖ，ｕ））と、カメラ座標系での各軸（Ｘ軸、Ｙ軸、Ｚ軸）の単位ベクトル（ｉ、ｊ、ｋ）とに基づき算出する。 Then, the front area extraction unit 52, for example, a normal vector N ( for each pixel (v, u) of the distance image specified by the vertical pixel v and the horizontal pixel u described as shown in the following formula (1). v, u) are converted into pixel values (X lateral partial differential image Xu (v, u) , Y lateral partial differential image Yu (v, u) , Z lateral partial differential image Zu (v, u). ) And pixel values of each vertical partial differential image (X vertical partial differential image Xv (v, u) , Y vertical partial differential image Yv (v, u) , Z vertical partial differential image Zv (v, u) ), and camera It is calculated based on the unit vector (i, j, k) of each axis (X axis, Y axis, Z axis) in the coordinate system.
そして、正面領域抽出部５２は、例えば図３（Ａ），（Ｂ）に示すように、法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして距離画像から抽出する。 Then, as shown in FIGS. 3A and 3B, for example, the front area extraction unit 52 has an angle at which the normal vector N (v, u) tilts in the vehicle left-right direction (B direction) is equal to or smaller than a predetermined threshold angle. A certain area is extracted from the distance image as the front area SA.
ヘッドレスト位置算出部５３は、正面領域抽出部５２により抽出された複数の正面領域ＳＡ毎に、シート座標系でのＢ軸の最大値および最小値から、車両左右方向（Ｂ方向）の位置（例えば、中心位置など）および長さ（Ｂ方向幅）を算出する。
そして、車両左右方向（Ｂ方向）の位置が所定位置範囲内かつ車両左右方向（Ｂ方向）の長さが所定長さ範囲内である正面領域ＳＡを、シート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知し、該ヘッドレスト領域に基づきヘッドレスト１６ａの位置（例えば、３次元空間での中心位置など）を算出する。
The headrest position calculation unit 53 determines the position of the vehicle in the left-right direction (B direction) from the maximum value and the minimum value of the B axis in the seat coordinate system for each of the plurality of front regions SA extracted by the front region extraction unit 52. , Center position, etc.) and length (B direction width).
A front area SA in which the position in the vehicle left-right direction (B direction) is within the predetermined position range and the length in the vehicle left-right direction (B direction) is within the predetermined length range is the headrest area in which the headrest 16a of the seat 16 exists. And the position of the headrest 16a (for example, the center position in a three-dimensional space) is calculated based on the headrest region.
なお、車両左右方向（Ｂ方向）の位置に対する所定位置範囲および車両左右方向（Ｂ方向）の長さに対する所定長さ範囲は、シート１６のヘッドレスト１６ａを抽出するために予め記憶されている値である。例えば図３に示すように、ヘッドレスト位置算出部５３により算出されるヘッドレスト１６ａのＢ方向長さＬＢ１は所定長さ範囲内となり、ヘッドレスト位置算出部５３により算出されるバックレスト１６ｂのＢ方向長さＬＢ２は所定長さ範囲よりも長くなるように設定されている。 The predetermined position range with respect to the position in the vehicle left-right direction (B direction) and the predetermined length range with respect to the length in the vehicle left-right direction (B direction) are values stored in advance for extracting the headrest 16a of the seat 16. is there. For example, as shown in FIG. 3, the B-direction length LB1 of the headrest 16a calculated by the headrest position calculation unit 53 falls within a predetermined length range, and the B-direction length of the backrest 16b calculated by the headrest position calculation unit 53 LB2 is set to be longer than the predetermined length range.
腰部領域探索部５４は、ヘッドレスト位置算出部５３により算出されたヘッドレスト１６ａの位置に基づき、ヘッドレスト１６ａの位置を中心とする２つの異なる円弧Ｃａ，Ｃｂ間においてシート１６の腰部の領域を探索する。 Based on the position of the headrest 16a calculated by the headrest position calculation unit 53, the waist region search unit 54 searches for the region of the waist of the seat 16 between two different arcs Ca and Cb centered on the position of the headrest 16a.
先ず、腰部領域探索部５４は、例えば図４（Ａ）〜（Ｃ）に示すように、カメラ座標系のＸＹＺ画像に基づきシート座標系でのＴ軸およびＨ軸の２次元座標によるＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）を生成する。
そして、ＴＨ画像上において、ヘッドレスト１６ａの位置Ｐを中心とする２つの異なる円弧Ｃａ，Ｃｂを設定し、これら２つの異なる円弧Ｃａ，Ｃｂ間の所定中心角範囲を探索領域として設定する。
First, as shown in FIGS. 4A to 4C, for example, the lumbar region search unit 54 is based on an XYZ image in the camera coordinate system and a TH image (T-axis and H-axis two-dimensional coordinates in the sheet coordinate system). That is, a side view image in which the imaging region of the monocular distance image sensor 11 is viewed from the left-right direction of the vehicle is generated.
Then, on the TH image, two different arcs Ca and Cb around the position P of the headrest 16a are set, and a predetermined central angle range between these two different arcs Ca and Cb is set as a search area.
なお、シート１６はシートバック１６ｂの角度が変化した場合であっても、ヘッドレスト１６ａの位置Ｐと腰部の位置（例えば、腰部の中心位置など）との相対的な位置関係は不変であることに基づいて、２つの異なる円弧Ｃａ，Ｃｂの各半径として、腰部の位置の範囲を指定する所定の異なる固定値が予め記憶されている。
また、所定中心角範囲は、例えば、ヘッドレスト１６ａの位置Ｐから車両上下方向の下方に向かう軸線ＡＨを基準として、ヘッドレスト１６ａの位置Ｐから車両前後方向の前方に向かう軸線ＡＴまでに到る９０°の範囲とされている。
Note that the relative positional relationship between the position P of the headrest 16a and the position of the waist (for example, the center position of the waist, etc.) remains unchanged even when the angle of the seat back 16b changes. Based on this, predetermined different fixed values for designating the range of the position of the waist are stored in advance as the radii of the two different arcs Ca and Cb.
The predetermined central angle range is, for example, 90 ° from the position P of the headrest 16a to the axis AT going forward in the vehicle front-rear direction from the position A of the headrest 16a toward the lower side in the vehicle vertical direction. It is considered as a range.
そして、腰部領域探索部５４は、例えば図４（Ａ）に示すように、ＴＨ画像上において軸線ＡＨを基準として中心角θを９０°まで徐々に増大させつつ、２つの異なる円弧Ｃａ，Ｃｂ間の領域でデータ点の存在を探索する。
そして、例えば図４（Ｂ）に示すように、データ点が存在する領域をシート１６の腰部の領域Ｂであると検知する。
Then, as shown in FIG. 4A, for example, the waist region search unit 54 gradually increases the central angle θ up to 90 ° with respect to the axis AH on the TH image, and between the two different arcs Ca and Cb. Search for the existence of data points in the region of.
Then, for example, as shown in FIG. 4B, the area where the data point exists is detected as the waist area B of the sheet 16.
腰部厚さ検知部５５は、例えば図４（Ｃ）に示すように、腰部領域探索部５４により探索された腰部の領域Ｂの車両後方側の端部Ｂａとヘッドレスト１６ａの位置Ｐとを含む直線ＡＬに直交する方向での腰部の領域Ｂの厚さＢＷを検知する。 For example, as shown in FIG. 4C, the waist thickness detection unit 55 is a straight line including the vehicle rear side end Ba of the waist region B searched by the waist region search unit 54 and the position P of the headrest 16a. The thickness BW of the waist region B in the direction orthogonal to the AL is detected.
腰部位置算出部５６は、例えば図５（Ａ）〜（Ｃ）に示すように、単眼距離画像センサ１１から見てシート１６および乗員Ｍの両方が適度に撮像可能であることに伴って、腰部厚さ検知部５５により検知された腰部の領域Ｂの厚さＢＷが所定厚さ以上の場合には、腰部の領域Ｂの厚さＢＷから予め記憶している所定シート厚さＳＷを車両後方側から差し引いて腰部の位置ＢＰを算出する。 For example, as shown in FIGS. 5A to 5C, the waist position calculation unit 56 is configured so that both the seat 16 and the occupant M can be appropriately imaged when viewed from the monocular distance image sensor 11. When the thickness BW of the waist region B detected by the thickness detection unit 55 is equal to or greater than the predetermined thickness, the predetermined seat thickness SW stored in advance from the thickness BW of the waist region B is set to the vehicle rear side. The waist position BP is calculated by subtracting from the above.
一方、例えば図６（Ａ）〜（Ｃ）に示すように、単眼距離画像センサ１１から見てほぼ乗員Ｍのみが撮像可能であることに伴って、腰部厚さ検知部５５により検知された腰部の領域Ｂの厚さＢＷが所定厚さ未満の場合には、腰部の領域Ｂの厚さＢＷから予め記憶している所定人体厚さＨＷを車両前方側から差し引いて腰部の位置ＢＰを算出する。 On the other hand, as shown in FIGS. 6A to 6C, for example, as seen from the monocular distance image sensor 11, the lumbar region detected by the lumbar region thickness detection unit 55 when only the occupant M can be imaged. When the thickness BW of the region B is less than the predetermined thickness, the predetermined human body thickness HW stored in advance from the thickness BW of the waist region B is subtracted from the vehicle front side to calculate the waist position BP. .
前面形状算出部５７は、ヘッドレスト１６ａの位置Ｐおよび腰部位置算出部５６により算出された腰部の位置ＢＰに基づき、シート１６の前面形状を算出する。
例えば図７（Ａ）〜（Ｃ）に示すように、前面形状算出部５７は、ＴＨ画像上においてヘッドレスト１６ａの位置Ｐおよび腰部の位置ＢＰを含む直線を、シートバック１６ｂの前面側の表面上での車両左右方向の中央部を近似して示す近似直線ＳＬとする。
そして、この近似直線ＳＬから車両左右方向の両端部ＳＨＬ，ＳＨＲに向かうことに伴い、漸次、車両前後方向の前方側に突出するようにして形成されるＶ字型溝の溝面を、シート１６の前面形状ＦＳとする。
The front shape calculation unit 57 calculates the front shape of the seat 16 based on the position P of the headrest 16 a and the waist position BP calculated by the waist position calculation unit 56.
For example, as shown in FIGS. 7A to 7C, the front surface shape calculation unit 57 displays a straight line including the position P of the headrest 16a and the position BP of the waist on the TH image on the front surface of the seat back 16b. An approximate straight line SL that approximates the central portion of the vehicle in the left-right direction of the vehicle.
The groove 16 has a groove surface of a V-shaped groove formed so as to gradually protrude forward in the vehicle front-rear direction as it goes from the approximate straight line SL toward both ends SHL, SHR in the vehicle left-right direction. The front surface shape FS.
シート領域検知部５８は、前面形状算出部５７により算出された前面形状ＦＳよりも車両前後方向の後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像から除去する。
これにより、例えば図８（Ａ）に示すようにシート１６およびシート１６に着座した乗員Ｍが存在する画像領域を含む画像から、例えば図８（Ｂ）に示すような乗員が存在する画像領域のみを含む画像が得られる。
なお、図８（Ａ），（Ｂ）には、ＸＹＺ座標系でのＸＹＺ画像に対応する輝度画像を示した。
The seat area detection unit 58 detects the area on the rear side in the vehicle front-rear direction with respect to the front shape FS calculated by the front shape calculation unit 57 as the area of the seat 16, and removes the area of the seat 16 from the XYZ image. To do.
Thus, for example, as shown in FIG. 8 (A), only the image area where the occupant exists as shown in FIG. 8 (B), for example, from the image including the seat 16 and the occupant M seated on the seat 16 exists. An image including is obtained.
8A and 8B show luminance images corresponding to the XYZ image in the XYZ coordinate system.
なお、シート領域検知部５８は、前面形状算出部５７により算出された前面形状ＦＳに加えて、ヘッドレスト１６ａの前面形状ＦＳＨとして、例えば図７（Ｂ），（Ｃ）に示すように、近似直線ＳＬに対して車両前後方向の前方側に所定角度φだけ傾く平面を設定してもよい。
この場合、シート領域検知部５８は、前面形状ＦＳおよび前面形状ＦＳＨよりも車両前後方向の後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像から除去する。
In addition to the front surface shape FS calculated by the front surface shape calculation unit 57, the seat region detection unit 58 uses an approximate straight line as a front surface shape FSH of the headrest 16a as shown in FIGS. 7B and 7C, for example. A plane inclined by a predetermined angle φ may be set on the front side in the vehicle longitudinal direction with respect to SL.
In this case, the seat area detection unit 58 detects that the front shape FS and the area behind the front shape FSH in the vehicle front-rear direction are areas of the seat 16, and removes the area of the seat 16 from the XYZ image.
乗員判定部５９は、シート領域検知部５８によりシート１６の領域が除去されたＸＹＺ画像に基づき、乗員の種別や姿勢や各種の補助シート（チャイルドシートやブースターシートなど）の有無などを判定する。
駆動制御部６０は、乗員判定部６０による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御する。
The occupant determination unit 59 determines the type and posture of the occupant and the presence / absence of various auxiliary seats (such as a child seat and a booster seat) based on the XYZ image from which the region of the seat 16 has been removed by the seat region detection unit 58.
The drive control unit 60 detects the air mounted on the vehicle 13 based on the determination result by the occupant determination unit 60 and a detection result signal output from a collision sensor 70 such as an acceleration sensor that detects sudden deceleration of the vehicle 13, for example. Controls the deployment of the bag (eg, front airbag) 14.
本実施の形態によるシート検知装置１０は上記構成を備えており、次に、このシート検知装置１０の動作について説明する。 The sheet detection apparatus 10 according to the present embodiment has the above-described configuration. Next, the operation of the sheet detection apparatus 10 will be described.
先ず、例えば図９に示すステップＳ０１においては、単眼距離画像センサ１１から出力された距離画像に対する前処理として、カメラ座標系でのＸＹＺ画像を生成し、これらのＸＹＺ画像に対して輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
そして、画像処理後のＸＹＺ画像を、一時的にシート座標系の画像に変換して車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去し、この除去後の画像を、再びカメラ座標系でのＸＹＺ画像に変換する。
First, for example, in step S01 shown in FIG. 9, as preprocessing for the distance image output from the monocular distance image sensor 11, XYZ images in the camera coordinate system are generated, and luminance images are referred to these XYZ images. Then, image processing such as smoothing and noise removal is performed.
Then, the image-processed XYZ image is temporarily converted into an image in the seat coordinate system to remove data related to a predetermined structure (eg, pillar, door, dashboard, center console, etc.) in the passenger compartment. The image after the removal is converted again into an XYZ image in the camera coordinate system.
次に、ステップＳ０２〜ステップＳ０３においては、ヘッドレスト１６ａの位置を検知する処理を行なう。
先ず、ステップＳ０２においては、距離画像から正面領域を抽出する正面領域抽出の処理を行なう。
次に、ステップＳ０３においては、正面領域に基づきヘッドレスト１６ａの位置（３次元空間での中心位置など）を算出するヘッドレスト位置算出の処理を行なう。
Next, in steps S02 to S03, processing for detecting the position of the headrest 16a is performed.
First, in step S02, a front area extraction process for extracting a front area from a distance image is performed.
Next, in step S03, a headrest position calculation process for calculating the position of the headrest 16a (the center position in the three-dimensional space) based on the front area is performed.
次に、ステップＳ０４〜ステップＳ０６においては、シート１６の腰部の位置を検知する処理を行なう。
先ず、ステップＳ０４においては、ヘッドレスト１６ａの位置に基づき、ヘッドレスト１６ａの位置を中心とする２つの異なる円弧Ｃａ，Ｃｂ間においてシート１６の腰部の領域を探索する。
Next, in steps S04 to S06, processing for detecting the position of the waist of the seat 16 is performed.
First, in step S04, based on the position of the headrest 16a, the waist region of the seat 16 is searched between two different arcs Ca and Cb centered on the position of the headrest 16a.
このステップＳ０４においては、例えばＴＨ画像上においてヘッドレスト１６ａの位置Ｐから車両上下方向の下方に向かう軸線ＡＨを基準とし、さらに、ヘッドレスト１６ａの位置Ｐから車両前後方向の前方に向かう軸線ＡＴを設定する。そして、軸線ＡＨから軸線ＡＴまでに到るようにして、２つの異なる円弧Ｃａ，Ｃｂの中心角θを９０°まで徐々に増大させつつ、円弧Ｃａ，Ｃｂ間の領域でデータ点の存在を探索する。そして、データ点が存在する領域をシート１６の腰部の領域Ｂであると検知する。 In this step S04, for example, on the TH image, an axis AH heading downward in the vehicle vertical direction from the position P of the headrest 16a is used as a reference, and an axis AT heading forward in the vehicle longitudinal direction from the position P of the headrest 16a is set. . Then, the existence of the data point is searched in the region between the arcs Ca and Cb while gradually increasing the central angle θ of the two different arcs Ca and Cb to 90 ° from the axis AH to the axis AT. To do. Then, the area where the data point exists is detected as the waist area B of the seat 16.
次に、ステップＳ０５においては、シート１６の腰部の領域の厚さ、例えば腰部の領域Ｂの車両後方側の端部Ｂａとヘッドレスト１６ａの位置Ｐとを含む直線ＡＬに直交する方向での腰部の領域Ｂの厚さＢＷを検知する。
次に、ステップＳ０６においては、シート１６の腰部の領域の厚さに基づき、シート１６の腰部の位置（例えば、シートバック１６ｂの前面側の表面上での位置など）を算出する。
Next, in step S05, the thickness of the waist region of the seat 16, for example, the waist portion in the direction orthogonal to the straight line AL including the vehicle rear side end Ba of the waist region B and the position P of the headrest 16a. The thickness BW of the region B is detected.
Next, in step S06, the position of the waist of the seat 16 (for example, the position on the front surface of the seat back 16b) is calculated based on the thickness of the waist region of the seat 16.
例えば、腰部の領域Ｂの厚さＢＷが所定厚さ以上の場合には、腰部の領域Ｂの厚さＢＷから所定シート厚さＳＷを車両後方側から差し引いて腰部の位置ＢＰを算出し、腰部の領域Ｂの厚さＢＷが所定厚さ未満の場合には、腰部の領域Ｂの厚さＢＷから所定人体厚さＨＷを車両前方側から差し引いて腰部の位置ＢＰを算出する。 For example, when the thickness BW of the waist region B is equal to or greater than a predetermined thickness, the waist position BP is calculated by subtracting the predetermined sheet thickness SW from the vehicle rear side from the thickness BW of the waist region B. When the thickness BW of the region B is less than the predetermined thickness, the waist position BP is calculated by subtracting the predetermined human body thickness HW from the vehicle front side from the thickness BW of the waist region B.
次に、ステップＳ０７〜ステップＳ０８においては、シート１６の領域をＸＹＺ画像から除去する処理を行なう。
先ず、ステップＳ０７においては、ヘッドレスト１６ａの位置Ｐおよび腰部位置算出部５６により算出された腰部の位置ＢＰに基づき、シート１６の前面形状を算出する。
Next, in steps S07 to S08, processing for removing the area of the sheet 16 from the XYZ image is performed.
First, in step S07, the front shape of the seat 16 is calculated based on the position P of the headrest 16a and the waist position BP calculated by the waist position calculator 56.
例えば、ＴＨ画像上においてヘッドレスト１６ａの位置Ｐおよび腰部の位置ＢＰを含む直線を、シートバック１６ｂの前面側の表面上での車両左右方向の中央部を近似して示す近似直線ＳＬとする。そして、この近似直線ＳＬから車両左右方向の両端部ＳＨＬ，ＳＨＲに向かうことに伴い、漸次、車両前後方向の前方側に突出するようにして形成されるＶ字型溝の溝面を、シート１６の前面形状ＦＳとする。 For example, a straight line including the position P of the headrest 16a and the position BP of the waist on the TH image is set as an approximate straight line SL that approximates the center in the vehicle left-right direction on the front surface of the seat back 16b. The groove 16 has a groove surface of a V-shaped groove formed so as to gradually protrude forward in the vehicle front-rear direction as it goes from the approximate straight line SL toward both ends SHL, SHR in the vehicle left-right direction. The front surface shape FS.
次に、ステップＳ０８においては、前面形状ＦＳよりも車両前後方向の後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像から除去する。 Next, in step S08, an area on the rear side in the vehicle front-rear direction with respect to the front shape FS is detected as an area of the seat 16, and the area of the seat 16 is removed from the XYZ image.
次に、ステップＳ０９においては、シート１６の領域が除去されたＸＹＺ画像に基づき、乗員の種別や姿勢や各種の補助シート（チャイルドシートやブースターシートなど）の有無などを判定する乗員判定の処理を行なう。 Next, in step S09, an occupant determination process for determining the type and posture of the occupant and the presence / absence of various auxiliary seats (child seats, booster seats, etc.) based on the XYZ image from which the area of the seat 16 has been removed is performed. .
次に、ステップＳ１０においては、乗員判定の処理による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御し、エンドに進む。 Next, in step S10, the vehicle is mounted on the vehicle 13 based on the determination result obtained by the occupant determination process and a detection result signal output from the collision sensor 70 such as an acceleration sensor that detects sudden deceleration of the vehicle 13, for example. Control the deployment of the airbag 14 (for example, the front airbag) and proceed to the end.
以下に、上述したステップＳ０２での正面領域抽出の処理について説明する。
先ず、例えば図１０に示すステップＳ２１においては、３つのＸＹＺ画像に対して、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、３つのＸＹＺ画像毎に横偏微分画像および縦偏微分画像を算出する。
The front area extraction process in step S02 described above will be described below.
First, for example, in step S21 shown in FIG. 10, the horizontal partial differentiation and the vertical partial differentiation are performed for each pixel by convolution operation using, for example, a partial differential filter such as a Sobel filter on the three XYZ images. By performing the above, a horizontal partial differential image and a vertical partial differential image are calculated for every three XYZ images.
次に、ステップＳ２２においては、上記数式（１）を用いて、横偏微分画像および縦偏微分画像と、カメラ座標系での各軸（Ｘ軸、Ｙ軸、Ｚ軸）の単位ベクトルとにより、縦画素ｖおよび横画素ｕで指定される距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ（ｖ，ｕ）を算出する。 Next, in step S22, using the above mathematical formula (1), the lateral partial differential image and the vertical partial differential image, and the unit vector of each axis (X axis, Y axis, Z axis) in the camera coordinate system. Then, a normal vector N (v, u) for each pixel (v, u) of the distance image specified by the vertical pixel v and the horizontal pixel u is calculated.
次に、ステップＳ２３においては、距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして距離画像から抽出する。 Next, in step S23, an area in which the normal vector N (v, u) for each pixel (v, u) of the distance image is tilted in the vehicle left-right direction (B direction) is equal to or smaller than a predetermined threshold angle. An area SA is extracted from the distance image.
以下に、上述したステップＳ０３でのヘッドレスト位置算出の処理について説明する。
先ず、例えば図１１に示すステップＳ３１においては、正面領域ＳＡのシート座標系でのＢ軸の最大値および最小値から、車両左右方向（Ｂ方向）の位置（例えば、中心位置など）および長さ（Ｂ方向幅）を算出する。
Hereinafter, the headrest position calculation process in step S03 described above will be described.
First, in step S31 shown in FIG. 11, for example, the position (for example, the center position) and the length in the vehicle left-right direction (B direction) from the maximum value and the minimum value of the B axis in the seat coordinate system of the front area SA. (B direction width) is calculated.
次に、ステップＳ３２においては、Ｂ方向の位置が所定位置範囲かつＢ方向幅が所定長さ範囲の正面領域ＳＡを、シート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知する。 Next, in step S32, the front area SA in which the position in the B direction is in the predetermined position range and the width in the B direction is in the predetermined length range is detected as the headrest area in which the headrest 16a of the seat 16 is present.
次に、ステップＳ３３においては、ヘッドレスト領域に基づきヘッドレスト１６ａの位置（例えば、３次元空間での中心位置など）を算出する。 Next, in step S33, the position of the headrest 16a (for example, the center position in a three-dimensional space) is calculated based on the headrest area.
上述したように、本実施の形態によるシート検知装置１０によれば、シート１６はシートバック１６ｂの角度が変化した場合であっても、ヘッドレスト１６ａの位置と腰部の位置との相対的な位置関係は不変であることから、撮像時に乗員による隠蔽が生じた場合であっても、ヘッドレスト１６ａおよび腰部の位置からシート１６の前面形状を精度良く算出することができる。これにより、前面形状よりも車両後方側に存在するシート１６の領域を精度良く検知することができる。 As described above, according to the seat detection apparatus 10 according to the present embodiment, the seat 16 has a relative positional relationship between the position of the headrest 16a and the position of the waist even when the angle of the seat back 16b changes. Therefore, even if the occupant is concealed during imaging, the front shape of the seat 16 can be accurately calculated from the positions of the headrest 16a and the waist. Thereby, the area | region of the sheet | seat 16 which exists in the vehicle rear side rather than the front shape can be detected with high precision.
さらに、シート１６の腰部の領域の厚さが所定厚さ以上の場合には、シート１６と乗員との両方が適切に撮像されていると判断して、乗員に比べて位置変動が限定的なシート１６側の厚さ（所定シート厚さＳＷ）を腰部の領域の厚さＢＷから差し引くことによって腰部の位置ＢＰを精度良く算出することができる。
また、腰部の領域の厚さが所定厚さ未満の場合には、シート１６が乗員によって隠蔽されていると判断して、腰部の領域の厚さＢＷから所定人体厚さＨＷを差し引くことによって腰部の位置ＢＰを精度良く算出することができる。
Further, when the thickness of the waist region of the seat 16 is equal to or greater than a predetermined thickness, it is determined that both the seat 16 and the occupant are appropriately imaged, and the positional variation is limited compared to the occupant. By subtracting the thickness on the sheet 16 side (predetermined sheet thickness SW) from the thickness BW of the waist region, the waist position BP can be accurately calculated.
Further, when the thickness of the waist region is less than the predetermined thickness, it is determined that the seat 16 is concealed by the occupant, and the predetermined human body thickness HW is subtracted from the thickness BW of the waist region. Can be calculated with high accuracy.
さらに、法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとし、Ｂ方向の位置が所定位置範囲かつＢ方向幅が所定長さ範囲の正面領域ＳＡを、シート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知することにより、演算負荷が増大することを防止しつつヘッドレスト１６ａの位置を精度良く算出することができる。 Further, an area where the normal vector N (v, u) is inclined in the vehicle left-right direction (B direction) is equal to or smaller than a predetermined threshold angle is a front area SA, the position in the B direction is a predetermined position range, and the B direction width is predetermined. By detecting the front area SA of the length range as a headrest area where the headrest 16a of the seat 16 is present, the position of the headrest 16a can be accurately calculated while preventing an increase in calculation load.
なお、上述した実施の形態において、ヘッドレスト位置算出部５３は、適宜のラベリング処理によって得られる画像、つまり複数の分離された画像領域により構成される画像を参照して、正面領域ＳＡが抽出された各画像領域毎に、シート１６のヘッドレスト１６ａに特徴的な形状（Ｂ方向の位置が所定位置範囲かつＢ方向幅が所定長さ範囲の形状）を有するか否かの判定を行なってもよい。 In the above-described embodiment, the headrest position calculation unit 53 extracts the front area SA with reference to an image obtained by an appropriate labeling process, that is, an image composed of a plurality of separated image areas. For each image region, it may be determined whether or not the headrest 16a of the seat 16 has a characteristic shape (a shape in which the position in the B direction has a predetermined position range and the width in the B direction has a predetermined length range).
このラベリング処理は、例えば、シート１６のヘッドレスト１６ａが、所定の大きさの球形状領域として検知可能であることに基づいて実行され、先ず、距離画像を構成する複数の画素（ｖ，ｕ）毎に３次元空間での法線ベクトルＮ（ｖ，ｕ）の逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする。
そして、３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出し、複数の画素毎に対応する内部座標が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、複数の画素毎に対応させて示すスコア画像を生成する。
そして、３次元空間での複数の内部座標の分布に対してエッジを抽出し、該エッジに応じて複数に分割された画像領域により構成される内部エッジ画像を生成し、各画像領域に異なるラベルを設定する。
This labeling process is executed based on, for example, that the headrest 16a of the seat 16 can be detected as a spherical region having a predetermined size. First, for each of a plurality of pixels (v, u) constituting the distance image. Then, a fixed-length inverse vector is calculated in the reverse direction of the normal vector N (v, u) in the three-dimensional space, and the position coordinate in the three-dimensional space designated by the inverse vector is used as the internal coordinate.
Then, a score value related to the total number of internal coordinates included in the unit space is calculated for each of the plurality of unit spaces constituting the three-dimensional space, and the score value of the unit space including the corresponding internal coordinates for each of the plurality of pixels Is used as a spherical index of a predetermined size to generate a score image corresponding to each of a plurality of pixels.
Then, an edge is extracted from the distribution of a plurality of internal coordinates in a three-dimensional space, and an internal edge image composed of a plurality of image areas divided according to the edge is generated, and a different label is assigned to each image area. Set.
なお、上述した実施の形態において、ヘッドレスト位置算出部５３は、正面領域抽出部５２により抽出された正面領域ＳＡに基づいてヘッドレスト１６ａの位置を算出するとしたが、これに限定されず、例えば図１３に示す上述した実施の形態の変形例に係るシート検知装置１０のように、正面領域抽出部５２を省略し、正面領域抽出部５２の代わりに、車室内の乗員の頭部領域の位置を取得する頭部領域位置取得部８１を備えてもよい。 In the above-described embodiment, the headrest position calculation unit 53 calculates the position of the headrest 16a based on the front area SA extracted by the front area extraction unit 52. However, the present invention is not limited to this. For example, FIG. As in the seat detection device 10 according to the modified example of the embodiment described above, the front area extraction unit 52 is omitted, and the position of the head area of the passenger in the vehicle interior is obtained instead of the front area extraction unit 52. A head region position acquisition unit 81 may be provided.
この変形例では、ヘッドレスト位置算出部５３は、頭部領域位置取得部８１により取得された乗員の頭部領域の位置に基づいてヘッドレスト１６ａの位置を算出する。
先ず、ヘッドレスト位置算出部５３は、頭部領域位置取得部８１により取得された乗員の頭部領域から後方側および上方側にヘッドレスト１６ａの位置の探索領域ＥＡを設定する。
そして、例えば図１３（Ａ）に示すように、単眼距離画像センサ１１から見てシート１６のヘッドレスト１６ａおよび乗員Ｍの頭部領域ＨＡの両方が適度に撮像可能である場合には、ヘッドレスト位置算出部５３は、例えば図１３（Ｂ），（Ｃ）に示すような適宜のラベリング処理によって得られる画像、つまり複数の分離された画像領域ＰＡ１，…により構成される画像を取得する。
この画像において、ヘッドレスト位置算出部５３は、車両上下方向の上方側に最も高い位置に存在する画像領域ＰＡ１をヘッドレスト１６ａが存在する領域であると検知する。
そして、この画像領域ＰＡ１における所定位置（例えば、中心位置など）をヘッドレスト１６ａの位置Ｐであると検知する。
In this modification, the headrest position calculation unit 53 calculates the position of the headrest 16 a based on the position of the head region of the occupant acquired by the head region position acquisition unit 81.
First, the headrest position calculation unit 53 sets the search area EA of the position of the headrest 16a on the rear side and the upper side from the head region of the occupant acquired by the head region position acquisition unit 81.
For example, as shown in FIG. 13A, when both the headrest 16a of the seat 16 and the head region HA of the occupant M can be appropriately imaged when viewed from the monocular distance image sensor 11, the headrest position calculation is performed. The unit 53 obtains, for example, an image obtained by an appropriate labeling process as shown in FIGS. 13B and 13C, that is, an image composed of a plurality of separated image areas PA1,.
In this image, the headrest position calculation unit 53 detects that the image area PA1 present at the highest position on the upper side in the vertical direction of the vehicle is an area where the headrest 16a is present.
Then, a predetermined position (for example, the center position) in the image area PA1 is detected as the position P of the headrest 16a.
一方、例えば図１４（Ａ）に示すように、単眼距離画像センサ１１から見てほぼ乗員Ｍの頭部領域ＨＡのみが撮像可能である場合には、ヘッドレスト位置算出部５３は、例えば図１４（Ｂ），（Ｃ）に示すような適宜のラベリング処理によって得られる画像、つまり複数の分離された画像領域ＰＢ１，…により構成される画像を取得する。
この画像において、ヘッドレスト位置算出部５３は、頭部領域ＨＡの後方直近の位置をヘッドレスト１６ａの位置Ｐであると検知する。
On the other hand, for example, as shown in FIG. 14A, when only the head region HA of the occupant M can be imaged as viewed from the monocular distance image sensor 11, the headrest position calculation unit 53 is, for example, shown in FIG. An image obtained by an appropriate labeling process as shown in B) and (C), that is, an image constituted by a plurality of separated image regions PB1,.
In this image, the headrest position calculation unit 53 detects the position immediately behind the head region HA as the position P of the headrest 16a.
なお、この変形例において、頭部領域位置取得部８１は、例えば、適宜の特徴量抽出や、テンプレートマッチングや、人体モデルとの比較などの各種の処理によって、乗員の頭部領域を距離画像から取得することができる。 In this modification, the head region position acquisition unit 81 detects the occupant's head region from the distance image by performing various processes such as appropriate feature amount extraction, template matching, and comparison with a human body model. Can be acquired.
例えば、所定の大きさの球形状の領域を距離画像から抽出する処理では、頭部領域位置取得部８１は、先ず、距離画像を構成する複数の画素（ｖ，ｕ）毎に３次元空間での法線ベクトルＮ（ｖ，ｕ）の逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする。
そして、３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出し、複数の画素（ｖ，ｕ）毎に対応する内部座標が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、複数の画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像を生成する。
For example, in the process of extracting a spherical region of a predetermined size from the distance image, the head region position acquisition unit 81 first has a three-dimensional space for each of a plurality of pixels (v, u) constituting the distance image. A fixed-length inverse vector is calculated in the reverse direction of the normal vector N (v, u) , and the position coordinate in the three-dimensional space specified by the inverse vector is used as the internal coordinate.
A score value related to the total number of internal coordinates included in the unit space is calculated for each of the plurality of unit spaces constituting the three-dimensional space, and the corresponding internal coordinates are included for each of the plurality of pixels (v, u). Using the score value of the unit space as a sphere-shaped index having a predetermined size, a score image is generated that corresponds to the pixel value for each of the plurality of pixels (v, u).
そして、頭部領域位置取得部８１は、３次元空間での複数の内部座標の分布に対してエッジを抽出し、該エッジに応じて複数に分割された画像領域により構成される内部エッジ画像を生成する。
そして、複数の画像領域のうち内部座標の平均値の差が所定差以下の画像領域同士を単一の結合領域に結合した後に、スコア値の平均値が閾平均値以下の画像領域と、体積が上限体積値以上または下限体積値以下の画像領域と、所定方向の幅寸法（例えば、Ｂ方向幅など）が所定閾値以上の画像領域とを、頭部領域の候補から除外する。
そして、これらの処理を実行した後に、頭部領域の候補として残っている複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。
Then, the head region position acquisition unit 81 extracts an edge from the distribution of a plurality of internal coordinates in a three-dimensional space, and an internal edge image configured by a plurality of image regions divided according to the edge. Generate.
Then, after combining the image areas in which the difference between the average values of the internal coordinates among the plurality of image areas is a predetermined difference or less into a single combined area, the image area having an average score value equal to or less than the threshold average value, and the volume Are excluded from the candidates for the head region, and image regions whose width dimension in the predetermined direction (for example, the width in the B direction, for example) is equal to or greater than a predetermined threshold value.
And after performing these processes, among the plurality of image regions remaining as head region candidates, the image region having the highest average score value is the head region where the occupant's head exists. Is determined.
なお、上述した実施の形態において、前面形状算出部５７はシート１６の前面形状ＦＳをＶ字型溝の溝面としたが、これに限定されず、他の形状、例えばＵ字型などの適宜の溝の溝面などであってもよいし、溝面以外の他の表面形状であってもよい。 In the above-described embodiment, the front surface shape calculation unit 57 uses the front surface shape FS of the sheet 16 as the groove surface of the V-shaped groove. However, the present invention is not limited to this, and other shapes such as a U shape may be used as appropriate. It may be a groove surface of the other groove, or may have a surface shape other than the groove surface.
１０ シート検知装置
１１ 単眼距離画像センサ
１２ 制御装置
２２ 受光部（撮像手段）
２３ 処理部（距離画像生成手段）
５１ 画像処理部
５２ 正面領域抽出部（正面領域抽出手段）
５３ ヘッドレスト位置算出部（位置検知手段、ヘッドレスト位置算出手段、ヘッドレスト位置検知手段）
５４ 腰部領域探索部（腰部領域探索手段）
５５ 腰部厚さ検知部（腰部厚さ検知手段）
５６ 腰部位置算出部（位置検知手段、腰部位置算出手段）
５７ 前面形状算出部（前面形状算出手段）
５８ シート領域検知部（シート領域検知手段）
８１ 頭部領域位置取得部（頭部領域位置取得手段）
DESCRIPTION OF SYMBOLS 10 Sheet | seat detection apparatus 11 Monocular distance image sensor 12 Control apparatus 22 Light-receiving part (imaging means)
23 processing unit (distance image generating means)
51 Image Processing Unit 52 Front Area Extraction Unit (Front Area Extraction Unit)
53 Headrest position calculation unit (position detection means, headrest position calculation means, headrest position detection means)
54 Lumbar region search unit (lumbar region search means)
55 Lumbar thickness detector (Lumbar thickness detector)
56 waist position calculator (position detection means, waist position calculator)
57 Front shape calculation unit (front shape calculation means)
58 Sheet area detection unit (sheet area detection means)
81 Head region position acquisition unit (head region position acquisition means)
Claims (4)
前記撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、前記車室内のシートのヘッドレストの位置および前記シートの腰部の位置を検知する位置検知手段と、
前記ヘッドレストの位置および前記腰部の位置に基づき、前記シートの前面形状を算出する前面形状算出手段と、
前記距離画像において、前記前面形状算出手段により算出された前記前面形状よりも車両後方側の領域を前記シートの領域であると検知するシート領域検知手段とを備え、
前記位置検知手段は、
前記距離画像に基づいて、前記ヘッドレストの位置を中心とする２つの異なる円弧間において前記シートの腰部の領域を探索する腰部領域探索手段と、
前記腰部の領域の車両後方側の端部と前記ヘッドレストの位置とを含む直線に直交する方向での前記腰部の領域の厚さを検知する腰部厚さ検知手段と、
前記腰部の領域の厚さが所定厚さ以上の場合には、前記腰部の領域の厚さから予め記憶している所定シート厚さを車両後方側から差し引いて前記腰部の位置を算出し、前記腰部の領域の厚さが前記所定厚さ未満の場合には、前記腰部の領域の厚さから予め記憶している所定人体厚さを車両前方側から差し引いて前記腰部の位置を算出する腰部位置算出手段とを備えることを特徴とするシート検知装置。 Imaging means for imaging an imaging area in the passenger compartment and outputting an imaging result;
A distance image generating means for generating a distance image having information on the distance of the imaging region in a three-dimensional space based on the imaging result;
Position detecting means for detecting the position of the headrest of the seat and the position of the waist of the seat based on the distance image;
Front surface shape calculating means for calculating the front surface shape of the seat based on the position of the headrest and the position of the waist;
In the distance image, comprising: a seat region detection unit that detects a region on the vehicle rear side of the front shape calculated by the front shape calculation unit as the seat region ;
The position detecting means includes
Waist region search means for searching a waist region of the seat between two different arcs centered on the position of the headrest based on the distance image;
Waist thickness detection means for detecting the thickness of the waist region in a direction perpendicular to a straight line including an end of the waist region on the vehicle rear side and the position of the headrest;
When the thickness of the waist region is equal to or greater than a predetermined thickness, the predetermined seat thickness stored in advance is subtracted from the thickness of the waist region to calculate the position of the waist, When the thickness of the waist region is less than the predetermined thickness, the waist position for calculating the waist position by subtracting the predetermined human body thickness stored in advance from the thickness of the waist region from the vehicle front side sheet detecting device according to claim Rukoto a calculation means.
前記撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、前記車室内のシートのヘッドレストの位置および前記シートの腰部の位置を検知する位置検知手段と、
前記ヘッドレストの位置および前記腰部の位置に基づき、前記シートの前面形状を算出する前面形状算出手段と、
前記距離画像において、前記前面形状算出手段により算出された前記前面形状よりも車両後方側の領域を前記シートの領域であると検知するシート領域検知手段とを備え、
前記位置検知手段は、
前記距離画像に基づいて、前記ヘッドレストの位置を中心とする２つの異なる円弧間において前記シートの腰部の領域を探索する腰部領域探索手段と、
前記腰部の領域の車両後方側の端部と前記ヘッドレストの位置とを含む直線に直交する方向での前記腰部の領域の厚さを検知する腰部厚さ検知手段と、
前記腰部の領域の厚さが所定厚さ以上の場合には、前記腰部の領域の厚さから予め記憶している所定シート厚さを車両後方側から差し引いて前記腰部の位置を算出し、前記腰部の領域の厚さが前記所定厚さ未満の場合には、前記腰部の領域の厚さから予め記憶している所定人体厚さを車両前方側から差し引いて前記腰部の位置を算出する腰部位置算出手段とを備えることを特徴とするシート検知装置。 Imaging means for imaging an imaging area in the passenger compartment and outputting an imaging result;
A distance image generating means for generating a distance image having information on the distance of the imaging region in a three-dimensional space based on the imaging result;
Position detecting means for detecting the position of the headrest of the seat and the position of the waist of the seat based on the distance image;
Front surface shape calculating means for calculating the front surface shape of the seat based on the position of the headrest and the position of the waist;
In the distance image, comprising: a seat region detection unit that detects a region on the vehicle rear side of the front shape calculated by the front shape calculation unit as the seat region;
The position detecting means includes
Waist region search means for searching a waist region of the seat between two different arcs centered on the position of the headrest based on the distance image;
Waist thickness detection means for detecting the thickness of the waist region in a direction perpendicular to a straight line including an end of the waist region on the vehicle rear side and the position of the headrest;
When the thickness of the waist region is equal to or greater than a predetermined thickness, the predetermined seat thickness stored in advance is subtracted from the thickness of the waist region to calculate the position of the waist, When the thickness of the waist region is less than the predetermined thickness, the waist position for calculating the waist position by subtracting the predetermined human body thickness stored in advance from the thickness of the waist region from the vehicle front side features and to Resid over preparative sensing device that comprises a calculation unit.
前記撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、前記車室内のシートのヘッドレストの位置および前記シートの腰部の位置を検知する位置検知手段と、
前記ヘッドレストの位置および前記腰部の位置に基づき、前記シートの前面形状を算出する前面形状算出手段と、
前記距離画像において、前記前面形状算出手段により算出された前記前面形状よりも車両後方側の領域を前記シートの領域であると検知するシート領域検知手段とを備え、
前記前面形状算出手段は、前記位置検知手段によって検知された前記ヘッドレストの位置および前記腰部の位置を含む直線から車両左右方向に向かうことに伴い、漸次、車両前方側に突出するように形成される溝面を前記シートの前面形状とする、
ことを特徴とするシート検知装置。 Imaging means for imaging an imaging area in the passenger compartment and outputting an imaging result;
A distance image generating means for generating a distance image having information on the distance of the imaging region in a three-dimensional space based on the imaging result;
Position detecting means for detecting the position of the headrest of the seat and the position of the waist of the seat based on the distance image;
Front surface shape calculating means for calculating the front surface shape of the seat based on the position of the headrest and the position of the waist;
In the distance image, comprising: a seat region detection unit that detects a region on the vehicle rear side of the front shape calculated by the front shape calculation unit as the seat region;
The front shape calculation means is formed so as to gradually protrude toward the front side of the vehicle as it goes from the straight line including the position of the headrest and the position of the waist portion detected by the position detection means in the vehicle left-right direction. The groove surface is the front shape of the sheet,
Features and to Resid over preparative detecting device that.
前記位置検知手段は、前記頭部領域の位置に基づき前記ヘッドレストの位置を検知するヘッドレスト位置検知手段を備えることを特徴とする請求項１から請求項３の何れか１つに記載のシート検知装置。 A head region position acquisition means for acquiring the position of the head region of the occupant in the vehicle interior;
Said position sensing means, sheet detecting device according to any one of claims 1 to 3, characterized in that it comprises a head restraint position detecting means for detecting the position of the headrest based on the position of the head region .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010278536A JP5548111B2 (en) | 2010-12-14 | 2010-12-14 | Sheet detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010278536A JP5548111B2 (en) | 2010-12-14 | 2010-12-14 | Sheet detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012126219A JP2012126219A (en) | 2012-07-05 |
| JP5548111B2 true JP5548111B2 (en) | 2014-07-16 |
Family
ID=46643776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010278536A Expired - Fee Related JP5548111B2 (en) | 2010-12-14 | 2010-12-14 | Sheet detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5548111B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3286219B2 (en) * | 1997-09-11 | 2002-05-27 | トヨタ自動車株式会社 | Seat usage status determination device |
| DE10063697B4 (en) * | 2000-12-20 | 2006-07-13 | Siemens Ag | Method and device for detecting the position of an element in a vehicle, in particular for occupant protection systems |
| JP2006176075A (en) * | 2004-12-24 | 2006-07-06 | Tkj Kk | Detection system, occupant protection device, vehicle and detection method |
| JP2008002838A (en) * | 2006-06-20 | 2008-01-10 | Takata Corp | System for detecting vehicle occupant, actuator control system, and vehicle |
| JP2008001136A (en) * | 2006-06-20 | 2008-01-10 | Takata Corp | Vehicle occupant seat detection system, operating device control system, and vehicle |
-
2010
- 2010-12-14 JP JP2010278536A patent/JP5548111B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012126219A (en) | 2012-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5453230B2 (en) | Occupant detection device | |
| EP1693254B1 (en) | Detection system, informing system, actuation system and vehicle | |
| JP4810052B2 (en) | Occupant sensor | |
| EP1674347B1 (en) | Detection system, occupant protection device, vehicle, and detection method | |
| JP5401440B2 (en) | Crew head detection device | |
| KR100630842B1 (en) | Passenger attitude discrimination system and the method which use stereo video junction in vehicle | |
| JP4731392B2 (en) | In-vehicle peripheral status presentation device | |
| EP1870296B1 (en) | Vehicle seat detecting system, operation device controlling system, and vehicle | |
| EP1870295A1 (en) | Vehicle occupant detecting system, operation device controlling system, and vehicle | |
| US20210001796A1 (en) | Physique estimation device and physique estimation method | |
| JP2007022401A (en) | Occupant information detection system, occupant restraint device and vehicle | |
| EP1792788A1 (en) | Scanned laser-line sensing apparatus for a vehicle occupant | |
| JP2010113506A (en) | Occupant position detection device, occupant position detection method, and occupant position detection program | |
| JP2011099683A (en) | Body detector | |
| JP3943367B2 (en) | Vehicle occupant head detection device | |
| JP5548111B2 (en) | Sheet detection device | |
| JP2021103092A (en) | Seat posture detection device | |
| JP2022188651A (en) | Occupant detection device, method, and program | |
| GB2568669A (en) | Vehicle controller | |
| JP5298111B2 (en) | Occupant detection device | |
| JP5396377B2 (en) | Vacant seat determination device and vacant seat determination method | |
| JP2020194294A (en) | Jointpoint detection apparatus | |
| JP2020119434A (en) | Motion identification device, computer program, and storage medium | |
| JP2012141281A (en) | Volume detection device and volume detection method | |
| JP2019179288A (en) | Processing device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140422 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140516 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5548111 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |