JP4840638B2 - Vehicle occupant monitoring device - Google Patents
Vehicle occupant monitoring device Download PDFInfo
- Publication number
- JP4840638B2 JP4840638B2 JP2005063842A JP2005063842A JP4840638B2 JP 4840638 B2 JP4840638 B2 JP 4840638B2 JP 2005063842 A JP2005063842 A JP 2005063842A JP 2005063842 A JP2005063842 A JP 2005063842A JP 4840638 B2 JP4840638 B2 JP 4840638B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- sensor
- shooting
- optical sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Image Input (AREA)
- Traffic Control Systems (AREA)
- Lens Barrels (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Focusing (AREA)
Description
本発明は、所定位置近傍に存在することが想定される対象物の画像情報を取得する画像入力装置に関する。また、所定位置として車両の座席に着座した乗員の顔を対象物として認識する車両の乗員監視装置に関する。 The present invention relates to an image input apparatus that acquires image information of an object that is assumed to exist in the vicinity of a predetermined position. The present invention also relates to a vehicle occupant monitoring device that recognizes a face of an occupant seated on a vehicle seat as a predetermined position as an object.
所定位置近傍に存在することが想定される対象物の画像情報を取得する画像入力装置の一例として、撮影モード切替機能を有したカメラがある。例えば、個人用のカメラで人物を被写体とし、スナップ写真などを撮影する際、対象物となる人物は、概ねカメラの前方2〜5m程度の位置に存在すると想定できる。また、現金自動支払機などに備えられた警備用、本人認証用のカメラの場合も、現金自動支払機を操作する人物、特に顔部分の存在位置が想定できる。同様に、車両において、運転者や助手席の着座者の顔の向き、視線の動きなどをモニタし、運転状況の変化を検知する乗員監視装置においても、乗員や、乗員の顔の位置が想定できる。 As an example of an image input device that acquires image information of an object that is assumed to exist in the vicinity of a predetermined position, there is a camera having a shooting mode switching function. For example, when taking a person with a personal camera as a subject and taking a snapshot or the like, it can be assumed that the person who is the target is approximately 2 to 5 m in front of the camera. Also, in the case of a security camera or a personal authentication camera provided in an automatic teller machine or the like, it is possible to assume a person who operates the automatic teller machine, particularly the position of a face portion. Similarly, occupant and occupant face positions are also assumed in occupant monitoring devices that detect changes in driving conditions by monitoring the driver's or passenger's face orientation, eye movement, etc. it can.
このように、様々な場面において、所定位置近傍に存在することが想定される対象物の画像情報が取得され、その画像情報が活用されている。上記個人用のカメラにおいても、人物の顔部分を認識することによって色補正、赤目防止などが可能であり、人物の顔を認識する技術は非常に有益なものである。 As described above, in various scenes, image information of an object assumed to exist in the vicinity of a predetermined position is acquired, and the image information is utilized. Even in the above-described personal camera, it is possible to perform color correction, prevention of red eyes, etc. by recognizing a person's face part, and the technique for recognizing a person's face is very useful.
従って、人物の顔を認識する技術は、今日まで、種々提案されてきている。例えば、下記に示す特許文献1には、主としてヒューマノイド(Humanoid)型ロボットや、エンタテイメントロボット等において人物の顔を認識する技術が提案されている。これは、これらのロボットから見る人物の顔が傾いたり、向きが違っていたりするような場合であっても、高効率に顔を検出することを目的としたものである。この技術では、初めに、平均的な顔画像を示す所定サイズのテンプレート画像と、入力画像との相関を求める。そして、この平均的なテンプレート画像と入力画像との相関が低かった場合には、画面の垂直軸に対して所定の角度回転させたテンプレート画像を使用して相関を求める。このように、一つのテンプレート画像を回転させて相関を求める(マッチングする)ことにより、対象が正面顔でない場合でも、正面顔のテンプレートを用いてマッチングを可能とする。その結果、マッチング処理の速度が向上する、というものである。
Therefore, various techniques for recognizing a person's face have been proposed to date. For example,
上記技術により、ある程度、テンプレートマッチングの速度向上が可能であるが、認識対象が回転以外の変化をした場合には、この速度向上効果が発揮されない。例えば、認識対象が、撮影手段(例えばカメラ)に対して前後方向に動いた場合、テンプレート画像の大きさと、認識対象の大きさとにズレが生じる。テンプレートマッチングの性格上、大きさにズレが生じた場合には、高い相関値を出すことはできない。これに対処する方法として、複数の大きさに対応したテンプレート画像を準備することができるが、処理時間を増大させる。処理時間を増大させないために、並行して複数の大きさに対応したテンプレート画像とのマッチングを行うと、装置の規模(電子回路の規模や、演算装置の数等)が増大する。 With the above technique, the template matching speed can be improved to some extent, but when the recognition target changes other than rotation, this speed improvement effect is not exhibited. For example, when the recognition target moves in the front-rear direction with respect to the photographing means (for example, a camera), there is a difference between the size of the template image and the size of the recognition target. Due to the nature of template matching, a high correlation value cannot be obtained if there is a deviation in size. As a method for dealing with this, template images corresponding to a plurality of sizes can be prepared, but the processing time is increased. If matching with a template image corresponding to a plurality of sizes is performed in parallel in order not to increase the processing time, the scale of the apparatus (the scale of the electronic circuit, the number of arithmetic units, etc.) increases.
本願発明はこのような課題に鑑みてなされたもので、認識対象となる対象物の画像情報を所定の条件の下に安定させて取得するための画像入力装置を提供することを目的とする。 This invention is made | formed in view of such a subject, and it aims at providing the image input device for acquiring stably the image information of the target object used as recognition object on a predetermined condition.
上記目的を達成するための本発明に係る画像入力装置の特徴構成は、
所定位置近傍に存在する対象物の画像情報を取得するものであって、
前記対象物を撮影する撮影手段と、前記対象物の存在位置の変位を検出する変位検出手段と、
この変位検出手段の検出結果に基づいて、撮影方向及び撮影倍率の何れか一方又は双方を制御する制御手段と、を備える点にある。
In order to achieve the above object, the characteristic configuration of the image input apparatus according to the present invention is as follows:
Obtaining image information of an object existing near a predetermined position,
An imaging means for imaging the object; a displacement detection means for detecting a displacement of an existing position of the object;
Control means for controlling either one or both of the photographing direction and the photographing magnification based on the detection result of the displacement detecting means.
この特徴構成によれば、制御手段が、対象物の存在位置の変位を検出した結果に基づいて、撮影方向や撮影倍率を制御する。即ち、撮影方向の制御としては、撮影手段による撮影方向の変更(パン、チルト、スイング)や、撮影された画像のシフトなどを行うことができる。また、撮影倍率の制御としては、撮影手段のレンズなど、光学系を変更することによる光学ズームや、撮影された画像を用いてのデジタルズームなどを行うことができる。その結果、認識対象となる対象物の画像情報を一定の条件の下に安定させることができ、この画像情報を利用した画像処理、例えば画像認識などを円滑に行うことができる。 According to this characteristic configuration, the control unit controls the shooting direction and the shooting magnification based on the result of detecting the displacement of the position where the object exists. That is, as the control of the photographing direction, the photographing direction can be changed (pan, tilt, swing) by the photographing means, and the photographed image can be shifted. Further, as control of the photographing magnification, an optical zoom by changing an optical system such as a lens of a photographing unit, a digital zoom using a photographed image, or the like can be performed. As a result, the image information of the object to be recognized can be stabilized under certain conditions, and image processing using the image information, for example, image recognition can be performed smoothly.
また、前記変位検出手段が、前記対象物と前記撮影手段との距離を検出する距離検出手段であり、前記制御手段が、この距離検出手段の検出結果に基づいて、前記撮影倍率を制御するものであると好ましい。 The displacement detecting means is a distance detecting means for detecting a distance between the object and the photographing means, and the control means controls the photographing magnification based on a detection result of the distance detecting means. Is preferable.
上述したように、対象物が所定位置近傍に存在することが想定される場合、この対象物の挙動を監視することができる。上記構成によれば、この監視を距離検出手段によって行う。そして、距離検出手段の検出結果に基づいて、撮影倍率を制御するので、対象物の画像情報を一定の条件の下に安定させることができる。 As described above, when it is assumed that the object exists in the vicinity of the predetermined position, the behavior of the object can be monitored. According to the above configuration, this monitoring is performed by the distance detection means. And since imaging magnification is controlled based on the detection result of a distance detection means, the image information of a target object can be stabilized on fixed conditions.
ここで、前記制御手段が、前記撮影倍率を、前記画像情報において前記対象物が所定の大きさとなるように定めると好適である。 Here, it is preferable that the control means determines the photographing magnification so that the object has a predetermined size in the image information.
このようにすれば、距離検出手段の検出結果に基づいて、制御手段が撮影倍率を制御するので、対象物の画像情報を一定の条件、即ち同程度の大きさの範囲内に安定させることができる。
上述した背景技術において、この検出結果に基づいてテンプレート画像を変更することもできるが、このためには複数の大きさに対応するテンプレート画像を記憶しておく必要がある。あるいは、検出結果に基づいて、テンプレート画像の大きさを変更する画像処理が必要となる。これらは、画像処理手段(装置、回路等)の大規模化や処理時間の増大の原因となる。
しかし、上記構成のように、撮影倍率を制御すれば、画像処理手段が扱う画像情報を安定化させることができる。また、画像処理と撮影倍率の制御とをいわゆるパイプライン処理することも可能である。
In this way, since the control unit controls the photographing magnification based on the detection result of the distance detection unit, the image information of the object can be stabilized within a certain condition, that is, within a range of the same size. it can.
In the background art described above, the template image can be changed based on the detection result, but for this purpose, it is necessary to store template images corresponding to a plurality of sizes. Alternatively, image processing for changing the size of the template image based on the detection result is required. These cause an increase in the scale of image processing means (devices, circuits, etc.) and an increase in processing time.
However, if the imaging magnification is controlled as in the above configuration, the image information handled by the image processing means can be stabilized. It is also possible to perform so-called pipeline processing for image processing and control of photographing magnification.
さらに、上記のような画像入力装置を、車両の座席に着座した乗員の顔を前記対象物として認識する車両の乗員監視装置に備えると好適である。 Furthermore, it is preferable that the image input device as described above is provided in a vehicle occupant monitoring device that recognizes the face of the vehicle occupant seated on the vehicle seat as the object.
車両を運転する乗員は、運転に際して所定の運転席に着座する。従って、対象物としての乗員は所定位置近傍に存在することが想定される。そして、この乗員の存在位置の変位、即ち挙動は運転中において、大きく変動することはない。従って、上述したような変位検出手段を用いることで、検出可能な変位の範疇に収まる。従って、例えば乗員の表情、顔の向き等、運転状況を監視するために、一定の箇所の画像情報を安定的に得ることが可能となる。その結果、画像処理手段の規模を抑え、高速な処理が可能で、精度のよい車両の乗員監視装置を得ることができる。 An occupant driving a vehicle is seated in a predetermined driver's seat when driving. Therefore, it is assumed that the occupant as an object exists in the vicinity of the predetermined position. The displacement of the occupant's position, that is, the behavior does not vary greatly during operation. Therefore, by using the displacement detection means as described above, it falls within the category of detectable displacement. Therefore, for example, in order to monitor the driving situation such as the occupant's facial expression, face orientation, etc., it is possible to stably obtain image information of a certain location. As a result, it is possible to obtain an accurate vehicle occupant monitoring apparatus capable of suppressing the scale of the image processing means and performing high-speed processing.
以下、本発明の実施形態について車両の乗員監視装置を例に図面に基づいて説明する。図1は、本発明の実施形態に係る車両に着座する乗員と、この乗員を撮影するカメラとの位置関係を説明する斜視図である。図1に示すように、乗員は車両内の運転席に着座し、運転姿勢を採っている。カメラ2は、本例ではルームミラー7に設置され、乗員の顔を含む頭部1をほぼ正面より撮影可能である。尚、乗員の頭部1をほぼ正面より撮影できれば、カメラ2の設置場所はここには限られない。運転席に備えられたサンバイザー部分や、その上部の天井部でもよい。各種メータ類が備えられるメータパネル部や、オーディオ類が備えられるダッシュボード部でもよい。
Embodiments of the present invention will be described below with reference to the drawings, taking a vehicle occupant monitoring device as an example. FIG. 1 is a perspective view illustrating the positional relationship between an occupant seated in a vehicle according to an embodiment of the present invention and a camera that photographs the occupant. As shown in FIG. 1, the occupant is seated in a driver seat in the vehicle and takes a driving posture. The
乗員は、通常の運転姿勢において、運転席に着座し、前方を向いて車両を操作する。周囲の目視確認などで、多少姿勢を変更することがあっても、その頭部1は所定位置近傍に存在すると考えてよい。即ち、概ね運転席のヘッドレスト6付近に存在すると考えてよい。
In the normal driving posture, the occupant sits on the driver's seat and faces the front to operate the vehicle. Even if the posture is slightly changed by visual confirmation of the surroundings, the
図2は、図1のカメラ2から乗員を撮影した画像の一例を示す図である。図中、太枠Wに囲まれた範囲が撮影画像Pを示している。図2に示したように、比較的広範囲が映った撮影画像Pを用いて、乗員の顔を認識しようとすると、まず、この撮影画像Pの中から「頭部(1)」を抽出する必要がある。このとき、撮影画像Pに含まれるヘッドレスト6や窓8の形状を誤って「頭部」と判定するおそれもある。従って、撮影画像Pのように、広角の画像を用いると、処理時間の増大や、誤検出といった問題が懸念される。
FIG. 2 is a diagram illustrating an example of an image obtained by photographing an occupant from the
そこで、このような問題を回避するため、撮影枠のほぼいっぱいに乗員の顔を捉えるようにする。人間の頭部の大きさは、個人差があるが著しく異なるものではない。従って、所定範囲の大きさを有して所定位置近傍に存在すると想定される被写体(対象物)である乗員の頭部1を安定して撮影枠のほぼいっぱいに捉えるようにする。
Therefore, in order to avoid such a problem, the occupant's face is captured almost entirely in the shooting frame. The size of the human head is not significantly different, although there are individual differences. Therefore, the occupant's
図3は、撮影枠のほぼいっぱいに対象物(乗員の顔)を撮影した画像の例を示す図である。図3に示した標準撮影画像P0には、ほぼ撮影枠の中心に乗員の頭部1が撮影されている。本実施形態のように取得した画像情報をデジタル的に画像処理するようなシステムの場合には、一般的にカメラ2としてデジタルカメラが用いられる。そして、一般にデジタルカメラは、撮影画像の縦横比が3対4の横長である。従って、乗員の姿勢が左右に多少変位しても、変位した乗員の頭部1A及び1Bは、標準撮影画像P0の範囲に収まる。
FIG. 3 is a diagram illustrating an example of an image obtained by photographing the object (occupant's face) almost entirely in the photographing frame. In the standard captured image P0 shown in FIG. 3, the occupant's
しかし、乗員の姿勢の変位は、上記のみではない。上下方向への変位や、前後方向への変位もある。そこで、本発明では、対象物となる乗員の頭部1の存在位置の変位を検出する変位検出手段を備え、この変位検出手段の検出結果に基づいて、撮影方向及び撮影倍率の何れか一方又は双方を制御している。
However, the displacement of the occupant's posture is not limited to the above. There are also displacements in the vertical direction and displacements in the front-rear direction. Therefore, in the present invention, displacement detection means for detecting the displacement of the position of the occupant's
図4は、このような画像入力装置を用いた車両の乗員監視装置のシステム構成を示す概略ブロック図である。図に示すように、画像入力部(画像入力装置)10は、カメラ2(撮影手段)と、変位検出手段としての距離センサ3(距離検出手段)と、制御部4(制御手段)とを備えている。距離センサ3は、赤外線等を利用した光学式距離センサや、超音波を利用したソナー式距離センサなど、よく知られたものを適宜用いることができる。本実施形態では、説明を容易にするために、変位検出手段として、光学式の距離センサ3を用いる場合を例として説明する。距離センサ3を用いると、被写体としての乗員の頭部1の前後方向の変位を検出することができる。尚、検知対象域を広角にして配置したり変位検出手段を複数用いたりすれば、前後方向以外に、上下方向や左右方向の変位も検出できる。
FIG. 4 is a schematic block diagram showing a system configuration of a vehicle occupant monitoring device using such an image input device. As shown in the figure, the image input unit (image input device) 10 includes a camera 2 (imaging unit), a distance sensor 3 (distance detection unit) as a displacement detection unit, and a control unit 4 (control unit). ing. As the
カメラ2は、距離センサ3などの変位検出手段の検出結果に基づいて、制御部4で制御され、対象物としての乗員の頭部1を一定の大きさに保って撮影する。カメラ2には、図に示すように撮影画像制御手段50として、ズーム機構51や回転機構52を備えている。ズーム機構51は、カメラ2が有する光学系を変更することにより、焦点距離を変更し、被写体(乗員の頭部1)を撮影する倍率を変更するものである。
The
回転機構52は、カメラ2が有する光学系(あるいはカメラ2全体)の方向をパン、チルト、スイングといった各方向に回転させるものである。ここで、パン、チルト、スイングは一般に用いられている用語と同様の意味で用いている。パン(pan)はカメラ2を水平に保ったまま垂直軸を中心に左右に回転するものである。チルト(tilt)はレンズの中心を軸として回転するものである。スイング(swing)は水平軸を中心に上下方向に回転するものである。
The
このように、変位検出手段によって検出された対象物の変位に応じて、制御部4がカメラ2の撮影方向(パン、チルト、スイング)及び撮影倍率(ズーム)の何れか一つ以上を変更する。つまり、回転機構52及びズーム機構51の何れか一つ以上を働かせて撮影画像P(画像情報)における乗員の頭部1が所定の大きさとなるようにする。
In this way, the control unit 4 changes one or more of the shooting direction (pan, tilt, swing) and the shooting magnification (zoom) of the
この制御について、距離センサ3による検出結果に基づいて、撮影倍率を変更する場合を例にして以下に説明する。図5は、乗員の頭部1と距離センサ3との関係を示す説明図である。距離センサ3は、図5に示す検出範囲Sにおいて、対象物との距離を精度良く検出できるように調整されている。対象物は、所定位置近傍に存在するので、このようにある程度の検出範囲を絞って検出精度を高く設定することも可能である。
This control will be described below by taking as an example a case where the photographing magnification is changed based on the detection result by the
図5に示すように、検出範囲Sの中で、乗員の頭部1が標準位置にある場合、その距離は標準距離L0として検出されている。乗員の頭部1が前後方向に変位した場合、例えば、前方位置対象物1Cとなった場合には、その距離は接近距離L1として検出される。後方位置対象物1Dとなった場合には、その距離は離間距離L2として検出される。
As shown in FIG. 5, when the occupant's
このように対象物との距離が検出されると、制御部4はこの距離に基づいて撮影倍率を制御する。つまり対象物が所定の大きさとなるように撮影倍率を定める。図6は、図5の各位置における撮影倍率の制御を説明する図である。撮影倍率は、乗員の頭部1が標準距離L0に存在する場合を基準として定められ、
撮影倍率=検出距離/標準距離L0 ・・・〔式1〕
で示される。
When the distance to the object is detected in this way, the control unit 4 controls the shooting magnification based on this distance. That is, the photographing magnification is determined so that the object has a predetermined size. FIG. 6 is a diagram for explaining the control of the photographing magnification at each position in FIG. The shooting magnification is determined based on the case where the
Shooting magnification = detection distance / standard distance L0 (Equation 1)
Indicated by
図6上段に示すように、乗員の頭部1が標準の位置よりも前方に存在する場合は、
撮影倍率=接近距離L1/標準距離L0 ・・・〔式2〕
で、定められ、
接近距離L1<標準距離L0 ・・・〔式3〕
であるので、撮影倍率は1よりも小さくなる。即ち、乗員の頭部1が前方に出て、撮影画像P中に大きく写ることになるので、縮小ズームされる。逆に、乗員の頭部1が標準の位置よりも後方に存在する場合は、図6下段に示すように、撮影倍率は1よりも大きくなる。これは式2において、接近距離L1に代えて、離間距離L2が代入されることから明らかである。
As shown in the upper part of FIG. 6, when the occupant's
Shooting magnification = approach distance L1 / standard distance L0 (Equation 2)
And
Approaching distance L1 <standard distance L0 (Equation 3)
Therefore, the photographing magnification is smaller than 1. That is, since the
このように、簡易な線形計算によって、安定した画像情報を得ることができる。上記計算例では、説明を容易にするために、カメラ2と距離センサ3とがほぼ同位置にあると仮定して説明している。カメラ2と距離センサ3とが同位置に設置されていない場合であっても、式1〜3よりは複雑ではあるものの、線形計算によって簡易に計算できる。
Thus, stable image information can be obtained by simple linear calculation. In the above calculation example, the description is made on the assumption that the
例えば、図7に示すように、カメラ2と距離センサ3とが所定の設置距離L3離れて配置されている場合について説明する。この場合、標準の位置にある対象物(乗員の頭部1)と、カメラ2との距離f0は、標準距離L0と設置距離L3とを加算した値となる。また、前方位置対象物1Cとカメラ2との距離f1は、接近距離L1と設置距離L3とを加算した値となる。
図6(a)と同様に乗員の頭部1が標準の位置よりも前方に存在する場合は、
撮影倍率=(L1+L3)/(L0+L3) ・・・〔式4〕
で、定められ、式3より、撮影倍率は1よりも小さくなる。即ち、縮小ズームされることとなる。このように、この場合も簡易な線形計算によって、安定した画像情報を得ることができる。
For example, as shown in FIG. 7, a case where the
When the occupant's
Shooting magnification = (L1 + L3) / (L0 + L3) (Formula 4)
Therefore, from the
さらに、カメラ2と距離センサ3とが対象物との前後方向だけでなく、横方向や上下方向にずれた位置に配置された場合も同様である。カメラ2と距離センサ3との配置関係は設計値又はこれらの設置時の実測値により既知である。従って、良く知られた三角測量等の線形計算によって、同様に算出すればよい。
Further, the same applies to the case where the
このように安定して得られた画像情報(撮影画像P0、P1、P2)は、図4に示すように、画像入力部10より画像処理部20へ送られ、ここで認識処理が行われる。認識結果は、判断部30で判断され、乗員の顔の向きや、表情などに応じて種々の判断(推定)がなされる。例えば、乗員の顔の向きにより脇見運転を推定したり、瞳や瞼の動きなどにより居眠りを推定したりすることも可能である。そして、この判断に応じて、乗員に報知・警告を発したり、車両の走行速度を制御したりするなど、種々の後処理を施すことも可能となる。
Image information (photographed images P0, P1, and P2) obtained stably as described above is sent from the
尚、図4に示した車両の乗員監視装置40における各部は、機能としての分担を示すものであり、必ずしも物理的に独立したものを示すものではない。例えば、制御部4と画像処理部20と判断部30とは、一つのプロセッサや一つの半導体ICや一群の電子回路など、共通したハードウェアであってもよい。そして、このハードウェア上で実行されるプログラムなどのソフトウェアによって各機能を分担するものであれば充分である。
Note that each part in the vehicle
カメラ2におけるズーム機構51、回転機構52についても同様である。ズーム機構51は、光学的なズームに限らず、電子ズーム(デジタルズーム)を用いる方法によってもよい。回転機構52についても、より広角画像を撮影して、その中より所定領域を切り出しているような場合には、その切り出し位置を変えてもよい。このようにデジタル信号処理による手法を用いる場合には、図8に示すように、カメラ2には撮影画像制御手段50を備えなくてもよい。つまり、別途、撮影画像補正部5を設け、これを撮影画像制御手段としてもよい。また、この撮影画像補正部5を画像処理部20の中に設けてもよい。さらに上記と同様に制御部4や判断部30と同一のハードウェアを兼用してもよい。これら各部は、上述したように必ずしも物理的に独立したものである必要はなく、各機能を分担するものであれば充分である。
The same applies to the
以上、説明したように本発明によって、認識対象となる対象物の画像情報を所定の条件の下に安定させて取得するための画像入力装置を提供することができる。また、この画像入力装置を利用して、所定位置として車両の座席に着座した乗員の顔を対象物として認識する車両の乗員監視装置を得ることができる。
さらに、本発明の画像入力装置は、現金自動支払機、自動預払機、年齢制限付き自動販売機(たばこ、酒等)等など、種々の自動化機器において、人物の顔を認識する場合の入力装置に利用できる。
As described above, according to the present invention, it is possible to provide an image input device for stably acquiring image information of an object to be recognized under a predetermined condition. Further, by using this image input device, a vehicle occupant monitoring device for recognizing the occupant's face sitting on the vehicle seat as a predetermined position as an object can be obtained.
Furthermore, the image input device of the present invention is an input device for recognizing a person's face in various automated devices such as an automatic teller machine, an automatic teller machine, an age-restricted vending machine (cigarette, liquor, etc.). Available to:
1 頭部(対象物)
2 カメラ(撮影手段)
3 距離センサ(変位検出手段)
4 制御部(制御手段)
10 画像入力装置
50 撮影画像制御手段
1 head (object)
2 Camera (photographing means)
3 Distance sensor (displacement detection means)
4 Control unit (control means)
10
Claims (4)
前記対象物を撮影する撮影手段と、
前記対象物と前記撮影手段との距離を検出する光学式センサ又はソナー式距離センサと、
この光学式センサ又はソナー式距離センサの検出結果に基づいて、前記画像情報における前記対象物の大きさが一定となるように撮影倍率を制御する制御手段と、を備える画像入力装置を備え、
前記撮影手段と、前記光学式センサ又はソナー式距離センサとが所定の設置距離だけ離れて配置され、且つ、前記光学式センサ又はソナー式距離センサが前記撮影手段よりも前記対象物に近い位置に配置され、前記光学式センサ又はソナー式距離センサの検出範囲の中で前記対象物が標準位置にある際の前記光学式センサ又はソナー式距離センサと前記対象物との距離を標準距離とし、前記検出範囲の中で前記対象物が前記標準位置よりも前方にある際の前記光学式センサ又はソナー式距離センサと前記対象物との距離であって、前記光学式センサ又はソナー式距離センサの前記検出結果である距離を接近距離とした場合に、
前記制御手段は、前記対象物が前記標準位置よりも前方に存在する際には、前記接近距離と前記設置距離との和を、前記標準距離と前記設置距離との和で除した値を、前記撮影倍率として定め、
車両の座席に着座した乗員の顔を前記対象物として画像認識処理をする車両の乗員監視装置。 A vehicle occupant monitoring device including an image input device that acquires image information of an object existing near a predetermined position,
Photographing means for photographing the object;
An optical sensor or a sonar distance sensor for detecting a distance between the object and the photographing means;
Based on the detection result of the optical sensor or the sonar distance sensor, an image input device comprising a control means for controlling the photographing magnification so that the size of the object in the image information is constant,
The imaging means and the optical sensor or sonar distance sensor are arranged apart from each other by a predetermined installation distance, and the optical sensor or sonar distance sensor is closer to the object than the imaging means. The distance between the optical sensor or sonar distance sensor and the object when the object is in a standard position within the detection range of the optical sensor or sonar distance sensor is set as a standard distance, The distance between the optical sensor or the sonar distance sensor and the object when the object is in front of the standard position in the detection range, and the optical sensor or the sonar distance sensor. When the distance that is the detection result is the approach distance,
The control means, when the object is present in front of the standard position, a value obtained by dividing the sum of the approach distance and the installation distance by the sum of the standard distance and the installation distance, Set as the shooting magnification,
A vehicle occupant monitoring apparatus that performs image recognition processing using the face of an occupant seated in a vehicle seat as the object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005063842A JP4840638B2 (en) | 2005-03-08 | 2005-03-08 | Vehicle occupant monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005063842A JP4840638B2 (en) | 2005-03-08 | 2005-03-08 | Vehicle occupant monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006253787A JP2006253787A (en) | 2006-09-21 |
JP4840638B2 true JP4840638B2 (en) | 2011-12-21 |
Family
ID=37093840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005063842A Expired - Fee Related JP4840638B2 (en) | 2005-03-08 | 2005-03-08 | Vehicle occupant monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4840638B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4574608B2 (en) * | 2006-11-06 | 2010-11-04 | 株式会社堀場製作所 | Camera unit for driving recorder |
CN101510356B (en) * | 2009-02-24 | 2011-07-20 | 上海高德威智能交通系统有限公司 | Video detection system and data processing device thereof, video detection method |
JP2014063329A (en) * | 2012-09-21 | 2014-04-10 | Nippon Telegr & Teleph Corp <Ntt> | Video processor, video processing method and video processing program |
JP5901687B2 (en) * | 2014-05-01 | 2016-04-13 | オリンパス株式会社 | Image capturing apparatus and method for controlling image capturing apparatus |
JP7285155B2 (en) * | 2019-07-16 | 2023-06-01 | 株式会社Subaru | vehicle occupant protection system |
CN111113394B (en) * | 2019-12-19 | 2021-02-12 | 珠海格力电器股份有限公司 | Manipulator positioning method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06178302A (en) * | 1992-12-02 | 1994-06-24 | Mitsubishi Electric Corp | Driver photographing device |
JPH07294795A (en) * | 1994-04-27 | 1995-11-10 | Victor Co Of Japan Ltd | Zooming device |
JP3355076B2 (en) * | 1995-09-14 | 2002-12-09 | 三菱電機株式会社 | Face image processing device |
JP2000224457A (en) * | 1999-02-02 | 2000-08-11 | Canon Inc | Monitoring system, control method therefor and storage medium storing program therefor |
JP2002027306A (en) * | 2000-07-12 | 2002-01-25 | Minolta Co Ltd | Communication device having image transmission function |
JP2003274257A (en) * | 2002-03-13 | 2003-09-26 | Matsushita Electric Ind Co Ltd | Automatic dynamic-image filming system, automatic dynamic-image filming method, and automatic dynamic- image camera |
JP4192643B2 (en) * | 2003-03-20 | 2008-12-10 | アイシン精機株式会社 | Vehicle driver's gaze detection device |
-
2005
- 2005-03-08 JP JP2005063842A patent/JP4840638B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006253787A (en) | 2006-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5093611B2 (en) | Vehicle periphery confirmation device | |
JP5099451B2 (en) | Vehicle periphery confirmation device | |
WO2015064080A1 (en) | Gaze direction-detecting device and gaze direction-detecting method | |
JP4840638B2 (en) | Vehicle occupant monitoring device | |
JP2009113621A (en) | Occupant picture photographing device, and driving assisting device | |
US20180264941A1 (en) | Vehicle display system and method of controlling vehicle display system | |
JP2008001136A (en) | Vehicle occupant seat detection system, operating device control system, and vehicle | |
JP2010033106A (en) | Driver support device, driver support method, and driver support processing program | |
CN110194173B (en) | Occupant monitoring device | |
JP2020157938A (en) | On-vehicle monitoring control device | |
JP6971582B2 (en) | Status detector, status detection method, and program | |
WO2018167995A1 (en) | Driver state estimation device and driver state estimation method | |
US11919522B2 (en) | Apparatus and method for determining state | |
JP2012022646A (en) | Visual line direction detector, visual line direction detection method and safe driving evaluation system | |
JP2007253821A (en) | Occupant imaging device | |
JP4922097B2 (en) | Camera system | |
JP7501548B2 (en) | Driver monitor device, driver monitor method, and computer program for driver monitor | |
JP2020155835A (en) | Driver's state monitoring device | |
CN113879321B (en) | Driver monitoring device and driver monitoring method | |
JP2009287936A (en) | Apparatus for detecting position of driver's eyeball | |
JP4535139B2 (en) | Occupant detection device | |
JP2007172509A (en) | Face detection collation device | |
WO2019030855A1 (en) | Drive incapability state determination device and drive incapability state determination method | |
JP2022143854A (en) | Occupant state determination device and occupant state determination method | |
JP2017061216A (en) | On-board imaging system, vehicle and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101029 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110801 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110908 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110921 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4840638 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141014 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |