JP6359866B2 - Subject presence range estimation device and subject presence range estimation method - Google Patents
Subject presence range estimation device and subject presence range estimation methodInfo
- Publication number
- JP6359866B2 JP6359866B2 JP2014089138A JP2014089138A JP6359866B2 JP 6359866 B2 JP6359866 B2 JP 6359866B2 JP 2014089138 A JP2014089138 A JP 2014089138A JP 2014089138 A JP2014089138 A JP 2014089138A JP 6359866 B2 JP6359866 B2 JP 6359866B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- subject
- eye
- face
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000001514 detection method Methods 0.000 claims description 63
- 238000003384 imaging method Methods 0.000 claims description 28
- 210000000056 organ Anatomy 0.000 claims description 23
- 230000001815 facial effect Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 14
- 230000005484 gravity Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、対象者存在範囲推定装置及び対象者存在範囲推定方法に関する。 The present invention relates to a subject presence range estimation device and a subject presence range estimation method.
従来、例えば車両の運転者を対象者とし、運転者の頭部位置を検出する検出装置が提案されている（例えば特許文献１，２参照）。このような検出装置には、例えば、単眼距離画像センサから出力される距離画像を構成する複数の画素毎に３次元空間での法線ベクトルの逆方向に固定長の逆ベクトル（すなわち頭部ベクトル）を算出し、これにより指定される３次元空間での位置座標を内部座標とし、内部座標を用いた投票方式によって単位空間毎のスコア値を算出し、このスコア値が所定の大きさの球形状の指標となることに応じて乗員の頭部領域を抽出するものがある（特許文献１参照）。また、観測空間において有効な特徴点セットを用いて最終的な三次元モデルの状態量を計算するものも提案されている（特許文献２参照）。 Conventionally, for example, a detection device that detects a driver's head position using a vehicle driver as an object has been proposed (see, for example, Patent Documents 1 and 2). Such a detection apparatus includes, for example, a fixed-length inverse vector (that is, a head vector) in a direction opposite to a normal vector in a three-dimensional space for each of a plurality of pixels constituting a distance image output from a monocular distance image sensor. ), The position coordinates in the three-dimensional space designated by this are used as internal coordinates, the score value for each unit space is calculated by a voting method using the internal coordinates, and the score value is a sphere of a predetermined size. There is one that extracts an occupant's head region in accordance with a shape index (see Patent Document 1). In addition, there has been proposed a method for calculating a final state quantity of a three-dimensional model using a feature point set effective in an observation space (see Patent Document 2).
しかし、特許文献１に記載の検出装置は、赤外線の発光部と受光部とを備えた単眼距離センサを用い、発光パルスと受光パルスとの位相差（時間差）から距離を検出するため、発光部及び受光部、並びに位相差から距離を検出する構成を設けなければならず、コストアップの要因となっていた。 However, the detection device described in Patent Document 1 uses a monocular distance sensor including an infrared light emitting unit and a light receiving unit, and detects the distance from the phase difference (time difference) between the light emitting pulse and the light receiving pulse. In addition, a configuration for detecting the distance from the light receiving unit and the phase difference has to be provided, which causes a cost increase.
また、特許文献１に記載の検出装置は二次元画像の画素毎に位相差の情報を生成し、特許文献２に記載の検出装置は三次元モデルの状態量に基づいて姿勢を推定しており、共に処理量が過大となるものであった。 The detection device described in Patent Document 1 generates phase difference information for each pixel of the two-dimensional image, and the detection device described in Patent Document 2 estimates the posture based on the state quantity of the three-dimensional model. In both cases, the treatment amount was excessive.
本発明は、このような課題を解決するものであり、その目的とするところは、コストアップを抑制しつつも処理量を軽減することができる対象者存在範囲推定装置及び対象者存在範囲推定方法を提供することにある。 The present invention solves such a problem, and an object of the present invention is to provide a target person existence range estimation device and a target person existence range estimation method capable of reducing the processing amount while suppressing an increase in cost. Is to provide.
本発明の対象者存在範囲推定装置は、車両乗員を対象者とし、当該対象者の顔の存在領域を推定する対象者存在範囲推定装置であって、対象者の顔を含み縦軸が高さ方向となり横軸が車幅方向となる二次元画像を撮像する単一の撮像手段と、前記撮像手段により撮像された１つの二次元画像上における対象者の眼の高さを検出する高さ検出手段と、前記撮像手段により撮像された１つの二次元画像上における対象者の顔又は顔の器官の大きさを検出する顔器官検出手段と、前記高さ検出手段により検出された眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定する位置区分決定手段と、前記顔器官検出手段により検出された大きさに基づいて、前記撮像手段から前記対象者の顔側の方向である奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定する距離区分決定手段と、前記位置区分決定手段により決定された位置区分、及び前記距離区分決定手段により決定された距離区分に基づいて、対象者の顔の存在領域を推定する推定手段と、を備えることを特徴とする。 Target existence range estimating apparatus of the present invention, a vehicle occupant as a subject, a subject existing range estimation device for estimating a presence area of the face of the subject, the face of the subject unrealized ordinate high A single image pickup means for picking up a two-dimensional image having the horizontal direction and the horizontal axis in the vehicle width direction, and a height for detecting the eye height of the subject on one two-dimensional image picked up by the image pickup means Detection means, face organ detection means for detecting the size of the face of the subject or facial organ on one two-dimensional image imaged by the imaging means, and eye height detected by the height detection means Based on the size, based on the size detected by the face segment detection means, the position segment determination means for determining the corresponding position section among a plurality of position sections previously divided in the height direction of the subject, Direction of the subject's face from the imaging means Distance class determining means for determining a corresponding distance class among a plurality of distance classes preliminarily classified in a certain depth direction, a position class determined by the position class determining unit, and a distance determined by the distance class determining unit And estimation means for estimating the presence area of the face of the subject based on the classification.
本発明の対象者存在範囲推定装置によれば、顔又は顔の器官の大きさに基づいて奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定するため、対象者が撮像手段に近づくほど顔又は顔の器官が大きくなるという前提のもと、撮像手段から対象者までの大凡の距離を決定することができる。また、眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定するため、二次元画像において不明となる奥行き成分があるものの、対象者の眼の高さ（例えば画像下端から眼の位置までの距離）から、対象者の眼の大凡の高さを検出することができる。そして、これらに基づいて対象者の顔の存在領域を推定するため、撮像手段から対象者までの大凡の距離と、対象者の眼の大凡の高さとから、対象者の顔の存在位置を特定でき、コストアップを抑制しつつも処理量を軽減することができる。 According to the target person existence range estimation device of the present invention, the target person picks up an image in order to determine a corresponding distance class among a plurality of distance classes preliminarily classified in the depth direction based on the size of the face or facial organ. The approximate distance from the imaging means to the subject can be determined on the assumption that the face or facial organ becomes larger as the means is approached. In addition, since there is a depth component that is unclear in the two-dimensional image in order to determine a corresponding position segment among a plurality of position segments previously divided in the height direction of the subject based on the eye height, the target The approximate height of the subject's eye can be detected from the height of the subject's eye (for example, the distance from the lower end of the image to the eye position). In order to estimate the presence area of the subject's face based on these, the position of the subject's face is identified from the approximate distance from the imaging means to the subject and the approximate height of the subject's eyes. It is possible to reduce the amount of processing while suppressing an increase in cost.
また、本発明の対象者存在範囲推定装置において、前記顔器官検出手段は、対象者の両眼間の距離を検出し、前記距離区分決定手段は、前記顔器官検出手段により検出された両眼間の距離が大きくなるほど、前記複数の距離区分のうち前記撮像手段に近い側の距離区分を決定することが好ましい。 Further, in the subject presence range estimation apparatus of the present invention, the face organ detection means detects a distance between both eyes of the subject, and the distance category determination means has both eyes detected by the face organ detection means. It is preferable to determine a distance section closer to the imaging unit among the plurality of distance sections as the distance between them increases.
この対象者存在範囲推定装置によれば、検出された両眼間の距離が大きくなるほど、複数の距離区分のうち撮像手段に近い側の距離区分を決定するため、眼の高さ検出に用いた処理と一部共通化でき、簡易に撮像手段から対象者までの大凡の距離を決定することができる。 According to this target person presence range estimation device, as the distance between the detected eyes increases, the distance section closer to the imaging means is determined among the plurality of distance sections. The processing can be partially shared, and the approximate distance from the imaging means to the subject can be easily determined.
また、本発明の対象者存在範囲推定装置において、前記奥行き方向及び前記高さ方向を変数とし、前記奥行き方向と前記高さ方向とを含む平面上において前記複数の位置区分及び前記複数の距離区分に応じた該当箇所を規定する二次元マップを記憶した記憶手段をさらに備え、前記推定手段は、前記位置区分決定手段により決定された位置区分、及び前記距離区分決定手段により決定された距離区分の前記二次元マップ上における該当箇所を対象者の顔の存在領域と推定することが好ましい。 Further, in the subject presence range estimation apparatus of the present invention, the depth direction and the height direction are variables, and the plurality of position sections and the plurality of distance sections on a plane including the depth direction and the height direction. Storage means for storing a two-dimensional map that defines the corresponding location according to the information, and the estimation means includes a position section determined by the position section determination means and a distance section determined by the distance section determination means. It is preferable to estimate the corresponding part on the two-dimensional map as the presence area of the subject's face.
この対象者存在範囲推定装置によれば、奥行き方向及び高さ方向を変数とし、奥行き方向と高さ方向とを含む平面上において複数の位置区分及び複数の距離区分に応じた該当箇所を規定する二次元マップを記憶しているため、対象者の顔の位置を推定するにあたり、それぞれの決定手段により決定された区分に基づく二次元マップ上の該当箇所を選択するだけでよく、一層処理負荷を軽減させることができる。 According to this target person existence range estimation device, the depth direction and the height direction are used as variables, and the corresponding locations according to a plurality of position sections and a plurality of distance sections are defined on a plane including the depth direction and the height direction. Since the two-dimensional map is stored, in estimating the position of the subject's face, it is only necessary to select the corresponding part on the two-dimensional map based on the classification determined by each determining means, and the processing load is further increased. It can be reduced.
本発明の対象者存在範囲推定方法は、車両乗員を対象者とし、当該対象者の顔の存在領域を推定する対象者存在範囲推定方法であって、対象者の顔を含み縦軸が高さ方向となり横軸が車幅方向となる二次元画像を単一の撮像手段により撮像する撮像工程と、前記撮像工程において撮像された１つの二次元画像上における対象者の眼の高さを検出する高さ検出工程と、前記撮像工程において撮像された１つの二次元画像上における対象者の顔又は顔の器官の大きさを検出する顔器官検出工程と、前記高さ検出工程において検出された眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定する位置区分決定工程と、前記顔器官検出工程において検出された両眼間の距離に基づいて、前記撮像手段から前記対象者の顔の方向に伸びる奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定する距離区分決定工程と、前記位置区分決定工程において決定された位置区分、及び前記距離区分決定工程において決定された距離区分に基づいて、対象者の顔の存在領域を推定する推定工程と、を備えることを特徴とする。 Target existence range estimation method of the present invention, a vehicle occupant as a subject, a subject existing range estimating method for estimating a presence area of the face of the subject, the face of the subject unrealized ordinate high An imaging process in which a two-dimensional image having a horizontal direction and a horizontal axis in the vehicle width direction is captured by a single imaging means, and the eye height of the subject on one two-dimensional image captured in the imaging process is detected. Detected in the height detection step, a face organ detection step for detecting the size of the face or facial organ of the subject on one two-dimensional image captured in the imaging step, and the height detection step A position segment determining step for determining a corresponding position segment among a plurality of position segments preliminarily segmented in the height direction of the subject based on the eye height, and a distance between both eyes detected in the face organ detection step Based on the distance of the imaging hand A distance segment determining step for determining a corresponding distance segment among a plurality of distance segments previously divided in the depth direction extending in the direction of the face of the subject, the position segment determined in the position segment determining step, and An estimation step of estimating the presence area of the face of the subject based on the distance division determined in the distance division determination step.
本発明の対象者存在範囲推定方法によれば、顔又は顔の器官の大きさに基づいて奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定するため、対象者が撮像手段に近づくほど顔又は顔の器官が大きくなるという前提のもと、撮像手段から対象者までの大凡の距離を決定することができる。また、眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定するため、二次元画像において不明となる奥行き成分があるものの、対象者の眼の高さ（例えば画像下端から眼の位置までの距離）から、対象者の眼の大凡の高さを検出することができる。そして、これらに基づいて対象者の顔の存在領域を推定するため、撮像手段から対象者までの大凡の距離と、対象者の眼の大凡の高さとから、対象者の顔の存在位置を特定でき、コストアップを抑制しつつも処理量を軽減することができる。 According to the target person existence range estimation method of the present invention, the target person picks up an image in order to determine a corresponding distance section among a plurality of distance sections that are preliminarily divided in the depth direction based on the size of the face or facial organ. The approximate distance from the imaging means to the subject can be determined on the assumption that the face or facial organ becomes larger as the means is approached. In addition, since there is a depth component that is unclear in the two-dimensional image in order to determine a corresponding position segment among a plurality of position segments previously divided in the height direction of the subject based on the eye height, the target The approximate height of the subject's eye can be detected from the height of the subject's eye (for example, the distance from the lower end of the image to the eye position). In order to estimate the presence area of the subject's face based on these, the position of the subject's face is identified from the approximate distance from the imaging means to the subject and the approximate height of the subject's eyes. It is possible to reduce the amount of processing while suppressing an increase in cost.
本発明によれば、コストアップを抑制しつつも処理量を軽減することができる対象者存在範囲推定装置及び対象者存在範囲推定方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the subject presence range estimation apparatus and subject presence range estimation method which can reduce a processing amount, suppressing a cost increase can be provided.
以下、本発明を実施形態に基づいて説明するが、本発明は以下の実施形態に限られるものではない。図１は、本実施形態に係る対象者存在範囲推定装置を含むＨＵＤ投影装置を示すブロック図である。なお、図１では対象者存在範囲推定装置による対象者の存在範囲の推定結果を、ＨＵＤ（Head-Up Display）投影装置１の投影箇所の制御に利用する場合を例に説明するが、対象者存在範囲推定装置はＨＵＤ投影装置１に適用されるものに限らず、例えば脇見運転防止装置など、他の用途に用いられてもよい。 Hereinafter, although this invention is demonstrated based on embodiment, this invention is not limited to the following embodiment. FIG. 1 is a block diagram showing a HUD projection apparatus including a subject presence range estimation apparatus according to this embodiment. In addition, although FIG. 1 demonstrates as an example the case where the estimation result of a subject's presence range by a subject presence range estimation apparatus is utilized for the control of the projection location of the HUD (Head-Up Display) projection apparatus 1, The existence range estimation device is not limited to the one applied to the HUD projection device 1, and may be used for other purposes such as an armpit driving prevention device.
ＨＵＤ投影装置１は、人間の視野に直接情報を映し出す装置であって、例えば車両や航空機等の乗り物に多く適用されるものであり、運転者の眼の位置を検出して眼の位置に合わせた箇所に表示を行うものである。例えばＨＵＤ投影装置１が車両に適用される場合、車両に対して歩行者等が接近してくると、この接近に注意喚起を促す。この際、ＨＵＤ投影装置１は、歩行者等と注意喚起表示とが重なって運転者に視認されるように注意喚起画像をウインドシールドに投影し、歩行者等の接近を直接的に運転者に提示するようになっている。眼の位置は、例えば特開２００４−３２２６８０号公報、特開平８−１５６６４６号公報、及び特開２００９−２９２４０９号公報のように、運転者のシート位置やカメラにより撮像された撮像画像等から検出されるものがあり、本実施形態に係るＨＵＤ投影装置１は、カメラにより撮像された撮像画像から眼の位置を検出するものを採用している。 The HUD projection device 1 is a device that directly displays information in the human visual field, and is often applied to vehicles such as vehicles and aircrafts. The HUD projection device 1 detects the position of the driver's eyes and matches the position of the eyes. The display is performed at the specified location. For example, when the HUD projection device 1 is applied to a vehicle, when a pedestrian or the like approaches the vehicle, a warning is urged for this approach. At this time, the HUD projection apparatus 1 projects a warning image on the windshield so that the driver and the warning display overlap with each other and the warning display, and directly approaches the driver to the driver. It comes to present. The position of the eye is detected from the seat position of the driver, the captured image captured by the camera, etc., as in, for example, Japanese Patent Application Laid-Open No. 2004-322680, Japanese Patent Application Laid-Open No. 8-156646, and Japanese Patent Application Laid-Open No. 2009-292409. The HUD projection apparatus 1 according to the present embodiment employs an apparatus that detects the eye position from a captured image captured by a camera.
以下、車両に適用されるＨＵＤ投影装置１について説明する。具体的にＨＵＤ投影装置１は、単眼カメラ（撮像手段）１０と、制御部２０と、投影部３０とを備えている。単眼カメラ１０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などを使ったカメラであって、運転者の顔を含む画像を撮像するものである。 Hereinafter, the HUD projection apparatus 1 applied to a vehicle will be described. Specifically, the HUD projection apparatus 1 includes a monocular camera (imaging means) 10, a control unit 20, and a projection unit 30. The monocular camera 10 is a camera using, for example, a CCD (Charge Coupled Device), a CMOS (Complementary Metal-Oxide Semiconductor), or the like, and captures an image including a driver's face.
このような単眼カメラ１０は、車両後方に光軸が向けられてメータ内やステアリング上部等に設けられ、この位置から運転者の顔を撮像する構成となっている。より詳細に単眼カメラ１０は、ＪＩＳ Ｄ００２１やＳＡＥ Ｊ９４１で設定されているアイリプス（Eyellipse）領域の全体を撮像できるような位置及びレンズ仕様（焦点距離や画角）となっている。さらに、単眼カメラ１０は、夜間における撮像を可能とすべく近赤外ＬＥＤ（Light Emitting Diode）を有するものであってもよい。 Such a monocular camera 10 has a configuration in which an optical axis is directed to the rear of the vehicle and is provided in a meter, an upper steering portion, or the like, and images a driver's face from this position. In more detail, the monocular camera 10 has a position and lens specifications (focal length and angle of view) that can capture the entire eyelips area set by JIS D0021 and SAE J941. Furthermore, the monocular camera 10 may have a near-infrared LED (Light Emitting Diode) so as to enable imaging at night.
制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を備える。ＣＰＵは、ＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働してＨＵＤ投影装置１の全体を制御する。 The control unit 20 includes a central processing unit (CPU), a read only memory (ROM), and a random access memory (RAM). The CPU reads a program corresponding to the processing content from the ROM, expands it in the RAM, and controls the entire HUD projection apparatus 1 in cooperation with the expanded program.
投影部３０は、例えば対象者上方位置や、インパネの奥側（ウインドシールド側）に設けられたプロジェクタやＬＥＤ等の光出射手段である。 The projection unit 30 is, for example, a light emitting means such as a projector or an LED provided at a position above the subject or on the back side (windshield side) of the instrument panel.
また、制御部２０は、ＲＯＭに格納される処理プログラムが実行されることにより、高さ検出部（高さ検出手段）２１、眼間距離検出部（顔器官検出手段）２２、位置区分決定部（位置区分決定手段）２３、距離区分決定部（距離区分決定手段）２４、推定部（推定手段）２５、及び投影位置調整部２６がそれぞれ機能する。また、制御部２０は、記憶部（記憶手段）２７を備えている。 In addition, the control unit 20 executes a processing program stored in the ROM, whereby a height detection unit (height detection unit) 21, an interocular distance detection unit (face organ detection unit) 22, and a position classification determination unit. (Position section determination means) 23, distance section determination section (distance section determination means) 24, estimation section (estimation means) 25, and projection position adjustment section 26 function. Further, the control unit 20 includes a storage unit (storage unit) 27.
高さ検出部２１は、単眼カメラ１０により撮像された画像上における対象者の眼の高さを検出するものである。図２は、図１に示した単眼カメラ１０により撮像された撮像画像（以下顔画像という）の一例を示す図である。単眼カメラ１０がメータ内やステアリング上部に設けられている場合、運転者の顔をやや下側から撮像した顔画像が得られる。 The height detection unit 21 detects the eye height of the subject on the image captured by the monocular camera 10. FIG. 2 is a diagram illustrating an example of a captured image (hereinafter referred to as a face image) captured by the monocular camera 10 illustrated in FIG. When the monocular camera 10 is provided in the meter or above the steering, a face image obtained by capturing the driver's face from a slightly lower side can be obtained.
高さ検出部２１は、このような顔画像から対象者である運転者の顔を検出する。顔検出の手法は、Ｈａａｒ−ｌｉｋｅ特徴による顔検出アルゴリズム（P.Viola and M.Jones. Rapid Object Detection using a Boosted Cascade of Simple. IEEE CVPR,2001参照）やＦａｃｅＴｒａｃｋｅｒなどのライブラリ（J.M.Saragih, s.Lucey, and J.F.Cohn. Face Alignment through Subspace Constrained Mean-shifts.参照）が用いられる。なお、顔検出は、上記手法に限らず、独自に開発された画像認識アルゴリズムにより行われてもよい。 The height detection unit 21 detects the face of the driver who is the subject from such a face image. Face detection methods include face detection algorithms based on Haar-like features (see P. Viola and M. Jones. Rapid Object Detection using a Boosted Cascade of Simple. IEEE CVPR, 2001) and libraries such as FaceTracker (JMSaragih, s. Lucey, and JFCohn. Face Alignment through Subspace Constrained Mean-shifts.). The face detection is not limited to the above method, and may be performed by an image recognition algorithm developed independently.
また、高さ検出部２１は、顔検出後、眼の位置を検出する。眼位置検出の手法は、上記と同様に、Ｈａａｒ−ｌｉｋｅ特徴によるアルゴリズムやＦａｃｅＴｒａｃｋｅｒなどのライブラリが利用される。さらに、眼位置については、顔検出結果に対して、人体寸法データベース（河内まき子 特丸正明,2005 AIST人体寸法データベース,産業技術総合研究所 H16PRO 287.）を用いて、顔全体に対する平均的な眼の位置を採用してもよい。 The height detection unit 21 detects the position of the eye after detecting the face. The eye position detection method uses an algorithm based on Haar-like features or a library such as FaceTracker, as described above. Furthermore, with regard to the eye position, the average eye for the entire face is determined using the human body size database (Makiko Kawauchi, Masaaki Tokumaru, 2005 AIST Human Body Size Database, National Institute of Advanced Industrial Science and Technology H16PRO 287.). The position may be adopted.
以上のようにして眼の位置を検出すると高さ検出部２１は、例えば画像下端に対する眼の高さを検出する。図３は、図１に示した高さ検出部２１により検出される眼の高さの一例を示す図である。図３に示すように、画像下端から眼の位置Ｅ１までの距離（すなわち眼の位置Ｅ１から画像下端線への法線の長さ）を検出する。ここで、運転者の姿勢によっては両眼の高さが異なる場合がある。この場合、高さ検出部２１は、高い方又は低い方の眼の高さを検出するようにしてもよいし、利き眼（多くが右眼）の高さを検出するようにしてもよい。 When the eye position is detected as described above, the height detection unit 21 detects, for example, the eye height with respect to the lower end of the image. FIG. 3 is a diagram illustrating an example of the eye height detected by the height detection unit 21 illustrated in FIG. 1. As shown in FIG. 3, the distance from the lower end of the image to the eye position E1 (that is, the length of the normal from the eye position E1 to the lower end line of the image) is detected. Here, the height of both eyes may differ depending on the posture of the driver. In this case, the height detection unit 21 may detect the height of the higher or lower eye, or may detect the height of the dominant eye (mostly the right eye).
再度、図１を参照する。眼間距離検出部２２は、単眼カメラ１０により撮像された画像上における対象者の両眼間の距離（顔の器官の大きさの一例）を検出するものである。この眼間距離検出部２２は、高さ検出部２１と同様にして眼の位置を検出する。図４は、図１に示した眼間距離検出部２２により検出される両眼間の距離の一例を示す図である。本実施形態において眼間距離検出部２２は、内眼角幅Ｌを両眼間の距離として検出する。なお、眼間距離検出部２２は、内眼角幅Ｌに限らず、瞳孔位置間距離や、外眼角幅などを両眼間距離として検出してもよい。 Reference is again made to FIG. The interocular distance detection unit 22 detects the distance (an example of the size of the facial organ) between the eyes of the subject on the image captured by the monocular camera 10. The interocular distance detection unit 22 detects the position of the eye in the same manner as the height detection unit 21. FIG. 4 is a diagram illustrating an example of the distance between both eyes detected by the interocular distance detection unit 22 illustrated in FIG. In the present embodiment, the interocular distance detection unit 22 detects the inner eye angle width L as the distance between both eyes. The interocular distance detection unit 22 may detect not only the inner eye angle width L but also the inter-pupil distance, the outer eye angle width, and the like as the interocular distance.
再度、図１を参照する。記憶部２７は、奥行き方向（単眼カメラ１０から対象者の顔側の方向であって、後述の図６に示すｚ軸方向）及び高さ方向を変数とし、奥行き方向と高さ方向とを含む平面上において複数の位置区分及び複数の距離区分に応じた該当箇所を規定する二次元マップを記憶している。 Reference is again made to FIG. The storage unit 27 includes the depth direction and the height direction, with the depth direction (the direction of the face of the subject from the monocular camera 10 and the z-axis direction shown in FIG. 6 described later) and the height direction as variables. A two-dimensional map that prescribes corresponding portions according to a plurality of position sections and a plurality of distance sections on the plane is stored.
図５は、図１に示した二次元マップを示す図であり、図６及び図７は、二次元マップの規定原理を示す図である。 FIG. 5 is a diagram showing the two-dimensional map shown in FIG. 1, and FIGS. 6 and 7 are diagrams showing the defining principle of the two-dimensional map.
図６に示すように、例えば単眼カメラ１０がメータ下方に設けられているとする。このとき、アイリプス領域は、図６に示す位置となる。ここで、撮像画像において眼の高さが図３に示す位置Ｅ１であったとすると、本来の眼の位置は、図５に示す二次元マップにおいて例えばＨ１に示す直線上に位置することとなる。同様に、撮像画像において眼の高さが図３に示す位置Ｅ１よりも高い位置Ｅ２であるとすると、本来の眼の位置は、図５に示す二次元マップにおいて例えばＨ２に示す直線上に位置することとなる。さらに、撮像画像において眼の高さが図３に示す位置Ｅ１よりも低い位置Ｅ３であるとすると、本来の眼の位置は、図５に示す二次元マップにおいて例えばＨ３に示す直線上に位置することとなる。 As shown in FIG. 6, for example, it is assumed that the monocular camera 10 is provided below the meter. At this time, the iris region is at the position shown in FIG. Here, if the eye height in the captured image is the position E1 shown in FIG. 3, the original eye position is located on, for example, a straight line indicated by H1 in the two-dimensional map shown in FIG. Similarly, assuming that the eye height in the captured image is a position E2 higher than the position E1 shown in FIG. 3, the original eye position is located on a straight line indicated by H2, for example, in the two-dimensional map shown in FIG. Will be. Furthermore, assuming that the eye height in the captured image is a position E3 lower than the position E1 shown in FIG. 3, the original eye position is located on a straight line indicated by H3 in the two-dimensional map shown in FIG. It will be.
二次元マップは、このような理論のもと、高さ方向に４つの位置区分Ａ〜Ｄに区分けされている。 Based on such a theory, the two-dimensional map is divided into four position sections A to D in the height direction.
さらに、対象者の内眼角幅Ｌは、対象者が単眼カメラ１０に近づくほど大きくなり、単眼カメラ１０から離れるほど小さくなる。図７に示すように、アイリプス中心より単眼カメラ１０に近づく方向を負とし離れる方向を正とすると、内眼角幅は個人差があるものの、大凡対象者が単眼カメラ１０に近づくほど大きくなり、単眼カメラ１０から離れるほど小さくなることがわかる。なお、図面上において丸の大きさは頻度を示しており、丸が大きいほど頻度が高いことを示している。すなわち、アイリプス中心−５０ｍｍでは、３０ｐｉｘｅｌの内眼角幅Ｌが最も多くの対象者でみられることとなる。 Furthermore, the inner eye angle width L of the subject increases as the subject approaches the monocular camera 10 and decreases as the subject moves away from the monocular camera 10. As shown in FIG. 7, if the direction approaching the monocular camera 10 from the center of the eyelips is negative and the direction away from the positive is positive, the inner eye angle width varies depending on the individual, but generally increases as the subject approaches the monocular camera 10. It can be seen that the smaller the distance from the camera 10, the smaller. In the drawing, the size of the circle indicates the frequency, and the larger the circle, the higher the frequency. That is, at the eyelips center of −50 mm, the inner eye angle width L of 30 pixels is seen by the largest number of subjects.
二次元マップは、このような理論のもと、図５に示すように奥行き方向に２つの距離区分ａ，ｂに区分けされている。 Based on such a theory, the two-dimensional map is divided into two distance sections a and b in the depth direction as shown in FIG.
再度、図１を参照する。位置区分決定部２３は、高さ検出部２１により検出された眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分Ａ〜Ｄのうち該当する位置区分を決定するものである。具体的に位置区分決定部２３は、５つの閾値を規定しており、以下の表１に示すように該当する位置区分を決定する。すなわち、位置区分決定部２３は、眼の高さが第１閾値（７１ｐｉｘｅｌ）以上第２閾値（１１１ｐｉｘｅｌ）未満である場合、位置区分Ａに該当すると決定する。同様に、位置区分決定部２３は、眼の高さが第２閾値（１１１ｐｉｘｅｌ）以上第３閾値（１４１ｐｉｘｅｌ）未満である場合、位置区分Ｂに該当すると決定し、眼の高さが第３閾値（１４１ｐｉｘｅｌ）以上第４閾値（１７１ｐｉｘｅｌ）未満である場合、位置区分Ｃに該当すると決定する。さらに、位置区分決定部２３は、眼の高さが第４閾値（１７１ｐｉｘｅｌ）以上第５閾値（２２１ｐｉｘｅｌ）未満である場合、位置区分Ｄに該当すると決定する。
なお、ｐｉｘｅｌ数は、例えば画像下端からの値であるが、これに限らず、画像上に特定された画像下端線と平行となる仮想線からの値であってもよい。
Reference is again made to FIG. Based on the eye height detected by the height detection unit 21, the position segment determination unit 23 determines a corresponding position segment from among a plurality of position segments A to D that are segmented in advance in the height direction of the subject. To do. Specifically, the position category determination unit 23 defines five threshold values, and determines the corresponding position category as shown in Table 1 below. That is, the position division determination unit 23 determines that the position corresponds to the position division A when the eye height is equal to or greater than the first threshold (71 pixels) and less than the second threshold (111 pixels). Similarly, when the eye height is equal to or greater than the second threshold value (111 pixels) and less than the third threshold value (141 pixels), the position category determination unit 23 determines that the eye level falls within the position category B, and the eye height is equal to the third threshold value. When it is equal to or greater than (141 pixels) and less than the fourth threshold value (171 pixels), it is determined that the position category C is met. Further, the position division determination unit 23 determines that the eye height falls within the fourth threshold value (171 pixels) and less than the fifth threshold value (221 pixels) and corresponds to the position classification D.
The number of pixels is, for example, a value from the lower end of the image, but is not limited thereto, and may be a value from a virtual line that is parallel to the lower end line of the image specified on the image.
また、位置区分決定部２３は、高さ検出部２１により検出された眼の高さが、第１閾値以上第５閾値未満に該当しない場合、検出された眼の位置がエラーであると判断してもよい。すなわち、そもそも眼の位置を検出できていなかったと判断してもよい。 Further, the position classification determination unit 23 determines that the detected eye position is an error when the eye height detected by the height detection unit 21 does not correspond to the first threshold value or more and less than the fifth threshold value. May be. That is, it may be determined that the eye position has not been detected in the first place.
距離区分決定部２４は、眼間距離検出部２２により検出された両眼間の距離に基づいて、奥行き方向に予め区分けされる複数の距離区分ａ，ｂのうち該当する距離区分を決定するものである。具体的に距離区分決定部２４は、３つの閾値を規定しており、以下の表２に示すように該当する距離区分を決定する。すなわち、距離区分決定部２４は、内眼角幅Ｌが第１閾値（２１ｐｉｘｅｌ）以上第２閾値（３０ｐｉｘｅｌ）未満である場合、距離区分ａに該当すると決定し、第２閾値（３０ｐｉｘｅｌ）以上第３閾値（４６ｐｉｘｅｌ）未満である場合、距離区分ｂに該当すると決定する。
なお、距離区分決定部２４についても位置区分決定部２３と同様に、眼間距離検出部２２により検出された両眼間の距離が、第１閾値以上第３閾値未満に該当しない場合、検出された眼の位置がエラーであると判断してもよい。すなわち、そもそも眼の位置を検出できていなかったと判断してもよい。 Note that, similarly to the position classification determination unit 23, the distance classification determination unit 24 is also detected when the distance between both eyes detected by the interocular distance detection unit 22 does not fall between the first threshold and the third threshold. It may be determined that the position of the eye is an error. That is, it may be determined that the eye position has not been detected in the first place.
推定部２５は、位置区分決定部２３により決定された位置区分、及び距離区分決定部２４により決定された距離区分に基づいて、対象者の顔の存在領域を推定するものである。より詳細には、推定部２５は、位置区分決定部２３により決定された位置区分、及び距離区分決定部２４により決定された距離区分の二次元マップ上における該当箇所を対象者の顔の存在領域と推定する。 The estimation unit 25 estimates the presence area of the target person's face based on the position segment determined by the position segment determination unit 23 and the distance segment determined by the distance segment determination unit 24. More specifically, the estimation unit 25 determines the corresponding area on the two-dimensional map of the position segment determined by the position segment determination unit 23 and the distance segment determined by the distance segment determination unit 24 as the presence area of the target person's face. Estimated.
この推定にあたり、推定部２５は、二次元マップ上における該当箇所の重心位置を対象者の眼の存在位置と推定する。 In this estimation, the estimation unit 25 estimates the position of the center of gravity of the corresponding location on the two-dimensional map as the presence position of the subject's eyes.
図８は、二次元マップ上における該当箇所と眼の存在位置とを示す図であり、（ａ）は該当箇所を示し、（ｂ）は眼の存在位置を示している。図８（ａ）に示すように、上記の区分から領域１〜８が特定される。そして、図８（ｂ）に示すように、これらの領域１〜８の重心位置が眼の存在位置であると推定される。 FIGS. 8A and 8B are diagrams showing a corresponding part and an eye location on the two-dimensional map, where FIG. 8A shows the corresponding part and FIG. 8B shows the eye location. As shown to Fig.8 (a), the area | regions 1-8 are specified from said division. And as shown in FIG.8 (b), it is estimated that the gravity center position of these area | regions 1-8 is an eye presence position.
再度、図１を参照する。投影位置調整部２６は、上記の如く推定された眼の存在位置に基づいて、投影部３０を駆動制御するものである。ここで、対象者の眼の位置の違いによる視線方向の視角誤差について説明する。 Reference is again made to FIG. The projection position adjustment unit 26 drives and controls the projection unit 30 based on the eye presence position estimated as described above. Here, the visual angle error in the visual line direction due to the difference in the position of the eye of the subject will be described.
図９及び図１０は、眼の位置の違いによる視角誤差を示す図であって、図９は上面図を示し、図１０はグラフを示している。 9 and 10 are diagrams showing viewing angle errors due to differences in eye positions. FIG. 9 shows a top view and FIG. 10 shows a graph.
図９に示すように、アイリプス中心に内眼角の中心が位置しており、アイリプス中心から対象面までの距離が２０００ｍｍであるとする。そして、視角２０°の位置に画像を投影したとする。そして、このときの投影位置を誤差０の位置ｘとする。誤差０の位置ｘは、三角比により計算でき、対象面上のアイリプス中心相当位置から約７２８ｍｍの位置となる。 As shown in FIG. 9, it is assumed that the center of the inner eye angle is located at the center of the iris and the distance from the center of the iris to the target surface is 2000 mm. Assume that an image is projected at a position with a viewing angle of 20 °. The projection position at this time is defined as a position x with zero error. The position x with an error of 0 can be calculated from the trigonometric ratio, and is about 728 mm from the position corresponding to the center of the eyelips on the target surface.
このような状態において、実は対象者の内眼角の中心がアイリプス中心から１３０ｍｍ前にいたとすると、対象者が視角２０°で誤差０の位置にある画像を視認することができず、実際には視角２１．３°となってしまう。すなわち、誤差は１．３°となる。なお、対象者の内眼角の中心がアイリプス中心から１３０ｍｍ前にいた場合において、視角２０°の位置ｘ’は、アイリプス中心相当位置から約６８１ｍｍの位置となる。すなわち、位置ｘと位置ｘ’との差Δｘは約４７ｍｍとなる。 In such a state, if the center of the subject's inner eye angle is 130 mm before the center of the eyelips, the subject cannot visually recognize an image at a viewing angle of 20 ° and an error of 0. The viewing angle is 21.3 °. That is, the error is 1.3 °. When the center of the subject's inner eye angle is 130 mm in front of the eyelips center, the position x ′ at the viewing angle of 20 ° is about 681 mm from the position corresponding to the eyelips center. That is, the difference Δx between the position x and the position x ′ is about 47 mm.
以上のようにして誤差計算した結果を図１０に示している。なお、図１０に示す誤差は、いずれも対象者の内眼角の中心がアイリプス中心から１３０ｍｍ前にいた場合を示している。また、グラフにおいて横軸は、アイリプス中心からの投影画像への視角（対象者の内眼角の中心がアイリプス中心にある場合の視角）を示しており、縦軸は誤差を示している。さらに、アイリプス中心から対象面までの距離は、５００ｍｍ、２０００ｍｍ、及び５０００ｍｍの３条件とした。 FIG. 10 shows the result of error calculation as described above. The error shown in FIG. 10 indicates a case where the center of the subject's inner eye angle is 130 mm before the center of the eyelips. In the graph, the horizontal axis indicates the viewing angle from the center of the eyelips to the projected image (the viewing angle when the center of the subject's inner eye angle is at the eyelips center), and the vertical axis indicates the error. Further, the distance from the center of the eyelips to the target surface was set to three conditions of 500 mm, 2000 mm, and 5000 mm.
図１０に示すように、アイリプス中心から対象面までの距離が５００ｍｍである場合、視角１０°における誤差は約３．５°となり、視角２０°における誤差は約６．２°となり、視角３０°における誤差は約８．０°となり、視角４０°における誤差は約８．５°となり、視角５０°における誤差は約８．２°となった。 As shown in FIG. 10, when the distance from the center of the eyelips to the target surface is 500 mm, the error at a viewing angle of 10 ° is about 3.5 °, the error at a viewing angle of 20 ° is about 6.2 °, and the viewing angle is 30 °. The error at the viewing angle was about 8.0 °, the error at the viewing angle of 40 ° was about 8.5 °, and the error at the viewing angle of 50 ° was about 8.2 °.
また、アイリプス中心から対象面までの距離が２０００ｍｍである場合、視角１０°における誤差は約０．７°となり、視角２０°における誤差は約１．３°となり、視角３０°における誤差は約１．８°となり、視角４０°における誤差は約２．０°となり、視角５０°における誤差は約１．９°となった。 When the distance from the center of the eyelips to the target surface is 2000 mm, the error at a viewing angle of 10 ° is about 0.7 °, the error at a viewing angle of 20 ° is about 1.3 °, and the error at a viewing angle of 30 ° is about 1. The error at a viewing angle of 40 ° was approximately 2.0 °, and the error at a viewing angle of 50 ° was approximately 1.9 °.
さらに、アイリプス中心から対象面までの距離が５０００ｍｍである場合、視角１０°における誤差は約０．２°となり、視角２０°における誤差は約０．５°となり、視角３０°における誤差は約０．６°となり、視角４０°における誤差は約０．７°となり、視角５０°における誤差は約０．６°となった。 Further, when the distance from the center of the eyelips to the target surface is 5000 mm, the error at a viewing angle of 10 ° is about 0.2 °, the error at a viewing angle of 20 ° is about 0.5 °, and the error at a viewing angle of 30 ° is about 0. The error at a viewing angle of 40 ° was approximately 0.7 °, and the error at a viewing angle of 50 ° was approximately 0.6 °.
再度、図１を参照する。投影位置調整部２６は、上記のような誤差が発生しないように、推定部２５により推定された眼の位置に基づいて、投影部３０による投影位置を調整する。これにより、車両に接近してくる歩行者等に対して画像を重ね合わせるなどの適切な表示を行うことができる。 Reference is again made to FIG. The projection position adjustment unit 26 adjusts the projection position by the projection unit 30 based on the eye position estimated by the estimation unit 25 so that the above error does not occur. Thereby, it is possible to perform appropriate display such as superimposing images on a pedestrian or the like approaching the vehicle.
次に、本実施形態に係る対象者存在範囲推定方法を説明する。図１１は、本実施形態に係る対象者存在範囲推定方法を示すフローチャートである。図１１に示すように、制御部２０は、まず単眼カメラ１０により撮像された顔画像を取得する（Ｓ１）。 Next, the subject presence range estimation method according to the present embodiment will be described. FIG. 11 is a flowchart showing a subject presence range estimation method according to the present embodiment. As shown in FIG. 11, the control unit 20 first acquires a face image captured by the monocular camera 10 (S1).
次に、高さ検出部２１及び眼間距離検出部２２は、上記したようにして、顔画像上における眼の高さ、及び内眼角幅Ｌを検出する（Ｓ２）。その後、位置区分決定部２３は、表１に従って、複数の位置区分Ａ〜Ｄから該当する位置区分を決定する（Ｓ３）。次いで、距離区分決定部２４は、表２に従って、複数の距離区分ａ，ｂから該当する距離区分を決定する（Ｓ４）。 Next, the height detection unit 21 and the interocular distance detection unit 22 detect the eye height and the inner eye angle width L on the face image as described above (S2). Thereafter, the position segment determining unit 23 determines a corresponding position segment from the plurality of position segments A to D according to Table 1 (S3). Next, the distance segment determination unit 24 determines a corresponding distance segment from the plurality of distance segments a and b according to Table 2 (S4).
次に、推定部２５は、上記した二次元マップに基づいて、眼の存在領域を決定すると共に、存在領域の重心位置を眼の位置と推定する（Ｓ５）。そして、図１１に示す処理は終了する。 Next, the estimation unit 25 determines the presence area of the eye based on the above-described two-dimensional map, and estimates the center of gravity position of the existence area as the eye position (S5). Then, the process shown in FIG. 11 ends.
図１１に示す処理の終了後、投影位置調整部２６は、推定した眼の位置に基づいて、画像投影箇所を調整することとなる。 After completion of the processing shown in FIG. 11, the projection position adjustment unit 26 adjusts the image projection location based on the estimated eye position.
次に、従来の眼の位置の検出方法の一例を説明する。 Next, an example of a conventional eye position detection method will be described.
まず従来の眼の位置検出方法では、カメラ座標系、アイリプス座標系、及び二次元座標系の３つの座標系が必要となる。図１２は、カメラ座標系、アイリプス座標系、及び二次元座標系を示す図である。カメラ座標系（Ｘ，Ｙ，Ｚ）は、カメラ位置を原点とした座標系であり、Ｘ軸は車両横方向に伸びており、Ｙ軸は高さ方向に伸びており、Ｚ軸は車両前後方向（上記奥行き方向）に伸びている。また、アイリプス座標系（Ｘｅ，Ｙｅ，Ｚｅ）は、アイリプス中心を原点とした座標系であって、カメラ座標系と同様にＸｅ軸、Ｙｅ軸及びＺｅ軸が伸びている。二次元座標系（ｘ，ｙ）は撮像画像の座標系であって、Ｘ軸が車両横方向に伸びており、Ｙ軸が高さ方向に伸びている。 First, the conventional eye position detection method requires three coordinate systems: a camera coordinate system, an iris coordinate system, and a two-dimensional coordinate system. FIG. 12 is a diagram illustrating a camera coordinate system, an iris coordinate system, and a two-dimensional coordinate system. The camera coordinate system (X, Y, Z) is a coordinate system with the camera position as the origin. The X-axis extends in the lateral direction of the vehicle, the Y-axis extends in the height direction, and the Z-axis extends in the longitudinal direction of the vehicle. It extends in the direction (the depth direction). The iris coordinate system (Xe, Ye, Ze) is a coordinate system having the origin of the iris center, and the Xe axis, the Ye axis, and the Ze axis extend like the camera coordinate system. The two-dimensional coordinate system (x, y) is a coordinate system for captured images, in which the X axis extends in the vehicle lateral direction and the Y axis extends in the height direction.
また、アイリプス座標系の原点は、カメラ座標系において点（Ｘ０，Ｙ０，Ｚ０）の位置にある。さらに、アイリプス座標系における眼の位置（Ｘｅｉ，Ｙｅｉ，Ｚｅｉ）は、カメラ座標系における点（Ｘｉ，Ｙｉ，Ｚｉ）にあり、二次元座標系における点（ｘｉ，ｙｉ）にある。 The origin of the iris coordinate system is at the position of the point (X 0 , Y 0 , Z 0 ) in the camera coordinate system. Further, the eye position (Xei, Yei, Zei) in the Ilipus coordinate system is at the point (Xi, Yi, Zi) in the camera coordinate system, and is at the point (xi, yi) in the two-dimensional coordinate system.
ここで、アイリプス座標系における眼の位置（Ｘｅｉ，Ｙｅｉ，Ｚｅｉ）と、カメラ座標系における点（Ｘｉ，Ｙｉ，Ｚｉ）との対応関係は、以下の式で表わすことができる。
上記Ｒはカメラ座標系における回転を表わすものであり、Ｘ軸における回転角がψであり、Ｙ軸における回転角がθであり、Ｚ軸における回転角がφであるとすると、Ｒは、
なる式で表わすことができる。
R represents rotation in the camera coordinate system, and the rotation angle on the X axis is ψ, the rotation angle on the Y axis is θ, and the rotation angle on the Z axis is φ, R is
It can be expressed by the following formula.
また、カメラによる物体の二次元画像上への投影は、弱透視投影モデルが適用される。図１３は、弱透視投影モデルを示す図である。弱透視投影モデルを用いた場合、カメラ座標系における点（Ｘｉ，Ｙｉ，Ｚｉ）と、二次元座標系における点（ｘｉ，ｙｉ）との対応関係は以下の式により表わすことができる。なお、ｆはカメラの焦点距離を表わす。
以上より、二次元座標系における点（ｘｉ，ｙｉ）と、アイリプス座標系における眼の位置（Ｘｅｉ，Ｙｅｉ，Ｚｅｉ）との対応関係は、以下の通りとなる。
以上より、カメラと物体（対象者の眼の位置）までの距離（奥行き方向距離）Ｚｕ（図１３参照）がわかれば、撮像画像から三次元的な眼の位置を検出することができる。 As described above, if the distance (depth direction distance) Zu (see FIG. 13) between the camera and the object (the position of the eye of the subject) is known, the three-dimensional eye position can be detected from the captured image.
従って、従来の眼の位置検出方法を実行するためには、距離センサやステレオカメラ（対象物を複数の異なる方向から同時に撮影するもの）が必要となってしまう。従って、コストアップを招くこととなる。さらに、上記式からも明らかなように、その演算負荷は決して軽いものではない。そこで、カメラと物体までの距離Ｚｕを固定値としたとすると、図１０に示した誤差が発生することとなり、適切な画像表示を行うものとはいえない。 Therefore, in order to execute the conventional eye position detection method, a distance sensor or a stereo camera (one that captures an object simultaneously from a plurality of different directions) is required. Therefore, the cost increases. Further, as is clear from the above formula, the calculation load is not light. Therefore, if the distance Zu between the camera and the object is a fixed value, the error shown in FIG. 10 occurs, and it cannot be said that appropriate image display is performed.
これに対して、本実施形態に係る対象者存在範囲推定装置及び方法では、距離センサやステレオカメラを備えることなく、且つ、演算負荷も従来より軽くしたうえで、眼の位置を推定することができる。 On the other hand, in the subject presence range estimation apparatus and method according to the present embodiment, it is possible to estimate the eye position without providing a distance sensor or a stereo camera and with a lighter calculation load than before. it can.
図１４は、実際の対象者の眼の位置と、推定された眼の位置との比較を示す第１の図であり、（ａ）は従来の眼の位置の検出方法でありカメラと物体までの距離Ｚｕをアイリプス中心で固定としたときの例を示し、（ｂ）は本実施形態に係る例を示している。 FIG. 14 is a first diagram showing a comparison between the actual eye position of the target person and the estimated eye position. FIG. 14A shows a conventional eye position detection method, from the camera to the object. An example when the distance Zu is fixed at the center of the iris is shown, and (b) shows an example according to the present embodiment.
図１４（ａ）及び（ｂ）に示すように、ＨＵＤ投影装置１には、ＨＵＤ光軸を中心としたアイボックスという帯状の領域が存在する。このアイボックス内に眼が位置している場合、ドライバはＨＵＤへの投影画像を適正に視認することができる。 As shown in FIGS. 14A and 14B, the HUD projection apparatus 1 has a band-like region called an eye box centered on the HUD optical axis. When the eyes are located in the eye box, the driver can appropriately visually recognize the image projected on the HUD.
ここで、図１４（ａ）に示すように、実際の眼の位置がアイリプス領域の前端位置Ｐ１にある場合、カメラと物体までの距離Ｚｕをアイリプス中心とした場合の推定方法では、眼の位置がＰ２と推定されてしまう。この位置Ｐ２は、カメラからの距離がＺｕであり、且つ、位置Ｐ１に対してカメラ光軸に沿って高さ方向にもズレた位置となる。 Here, as shown in FIG. 14A, when the actual eye position is at the front end position P1 of the iris region, the estimation method when the distance Zu between the camera and the object is the center of the iris is used. Is estimated to be P2. The position P2 is a position where the distance from the camera is Zu and is also shifted in the height direction along the camera optical axis with respect to the position P1.
ＨＵＤ投影装置１は、推定された眼の位置Ｐ２にＨＵＤ光軸中心が通過するように制御を行う関係上、カメラと物体までの距離Ｚｕを固定とした眼の位置の推定方法では、実際の眼の位置Ｐ１がアイボックス外となってしまうことがある。このような場合、ドライバは、ＨＵＤ投影装置１の操作部（図示せず）を操作してＨＵＤ光軸の調整を行い、自己が投影画像を視認できるようにしなければならない。 Since the HUD projection apparatus 1 performs control so that the center of the HUD optical axis passes through the estimated eye position P2, the eye position estimation method in which the distance Zu between the camera and the object is fixed is an actual method. The eye position P1 may be outside the eye box. In such a case, the driver must operate the operation unit (not shown) of the HUD projection device 1 to adjust the HUD optical axis so that the driver can visually recognize the projected image.
これに対して、図１４（ｂ）に示すように、本実施形態では眼の存在領域の重心位置を眼の位置と推定するため、仮に実際の眼の位置がアイリプス領域の前端位置Ｐ１にあったとしても、眼の位置はＰ３と推定される。ここで、本実施形態ではカメラからの距離が固定とされておらず重心位置を眼の位置とする関係上、位置Ｐ３は、高さ方向のズレ量は図１４（ａ）に示す例よりも小さくなる。 On the other hand, as shown in FIG. 14B, in this embodiment, since the center of gravity of the eye existing area is estimated as the eye position, the actual eye position is assumed to be at the front end position P1 of the iris area. Even so, the eye position is estimated to be P3. Here, in the present embodiment, the distance from the camera is not fixed and the position of the center of gravity is the eye position, so the position P3 has a higher amount of deviation in the height direction than the example shown in FIG. Get smaller.
よって、ＨＵＤ投影装置１は、推定された眼の位置Ｐ３にＨＵＤ光軸が通過するように制御を行ったとしても、実際の眼の位置Ｐ１はアイボックス内に収まり易くなる。この結果、ドライバは、ＨＵＤ投影装置１の操作部（図示せず）を操作する必要が無くなり、ドライバの手間を軽減することができる。 Therefore, even if the HUD projection apparatus 1 performs control so that the HUD optical axis passes through the estimated eye position P3, the actual eye position P1 is likely to be within the eye box. As a result, it is not necessary for the driver to operate an operation unit (not shown) of the HUD projection device 1, and the driver's labor can be reduced.
図１５は、実際の対象者の眼の位置と、推定された眼の位置との比較を示す第２の図である。図１５に示すように、実際の眼の位置がアイリプス領域の前端にある場合、カメラと物体までの距離Ｚｕをアイリプス中心とした場合の推定方法では、奥行き方向の距離Ｌ１のズレが生じてしまう。このため、図９及び図１０を参照して説明した誤差が大きくなる傾向にある。 FIG. 15 is a second diagram illustrating a comparison between the actual eye position of the subject and the estimated eye position. As shown in FIG. 15, when the actual eye position is at the front end of the iris region, the estimation method in the case where the distance Zu between the camera and the object is the center of the iris causes a shift in the distance L1 in the depth direction. . For this reason, the error described with reference to FIGS. 9 and 10 tends to increase.
これに対して、本実施形態では眼の存在領域の重心位置を眼の位置と推定するため、仮に実際の眼の位置がアイリプス領域の前端にあったとしても、奥行き方向には距離Ｌ２（＜Ｌ１）しかズレないとなる。 On the other hand, in this embodiment, since the center of gravity position of the eye presence area is estimated as the eye position, even if the actual eye position is at the front end of the eyelip area, the distance L2 (< L1) only shifts.
この結果、図１０を参照して説明した誤差は、本実施形態では図１６に示すようになる。図１６は、本実施形態に係る視線方向の視角誤差を示すグラフである。図１５に示すように、本実施形態では従来よりも実際の眼の位置と推定された眼の位置との距離差が小さくなる関係上、誤差も小さくなった。 As a result, the error described with reference to FIG. 10 is as shown in FIG. 16 in the present embodiment. FIG. 16 is a graph showing the viewing angle error in the viewing direction according to the present embodiment. As shown in FIG. 15, in the present embodiment, the error is also reduced because the distance difference between the actual eye position and the estimated eye position is smaller than in the prior art.
すなわち、図１６に示すように、アイリプス中心から対象面までの距離が５００ｍｍである場合、視角１０°における誤差は約１．５°となり、視角２０°における誤差は約２．７°となり、視角３０°における誤差は約３．５°となり、視角４０°における誤差は約４．０°となり、視角５０°における誤差は約３．９°となった。 That is, as shown in FIG. 16, when the distance from the center of the eyelips to the target surface is 500 mm, the error at a viewing angle of 10 ° is about 1.5 °, the error at a viewing angle of 20 ° is about 2.7 °, and the viewing angle The error at 30 ° was about 3.5 °, the error at 40 ° viewing angle was about 4.0 °, and the error at 50 ° viewing angle was about 3.9 °.
また、アイリプス中心から対象面までの距離が２０００ｍｍである場合、視角１０°における誤差は約０．４°となり、視角２０°における誤差は約０．６°となり、視角３０°における誤差は約０．８°となり、視角４０°における誤差は約１．０°となり、視角５０°における誤差は約０．９°となった。 Further, when the distance from the center of the eyelips to the target surface is 2000 mm, the error at a viewing angle of 10 ° is about 0.4 °, the error at a viewing angle of 20 ° is about 0.6 °, and the error at a viewing angle of 30 ° is about 0. The error at a viewing angle of 40 ° was approximately 1.0 °, and the error at a viewing angle of 50 ° was approximately 0.9 °.
さらに、アイリプス中心から対象面までの距離が５０００ｍｍである場合、視角１０°における誤差は約０．１°となり、視角２０°における誤差は約０．２°となり、視角３０°における誤差は約０．２°となり、視角４０°における誤差は約０．４°となり、視角５０°における誤差は約０．３°となった。 Further, when the distance from the center of the eyelips to the target surface is 5000 mm, the error at a viewing angle of 10 ° is about 0.1 °, the error at a viewing angle of 20 ° is about 0.2 °, and the error at a viewing angle of 30 ° is about 0. The error at a viewing angle of 40 ° was approximately 0.4 °, and the error at a viewing angle of 50 ° was approximately 0.3 °.
このようにして、本実施形態に係る対象者存在範囲推定装置及び方法によれば、内眼角幅Ｌに基づいて奥行き方向に予め区分けされる複数の距離区分ａ，ｂのうち該当する距離区分を決定するため、対象者が単眼カメラ１０に近づくほど内眼角幅Ｌが大きくなるという前提のもと、単眼カメラ１０から対象者までの大凡の距離を決定することができる。また、眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分Ａ〜Ｄのうち該当する位置区分を決定するため、二次元画像において不明となる奥行き成分があるものの、対象者の眼の高さ（例えば画像下端から眼の位置までの距離）から、対象者の眼の大凡の高さを検出することができる。そして、これらに基づいて対象者の顔の存在領域を推定するため、単眼カメラ１０から対象者までの大凡の距離と、対象者の眼の大凡の高さとから、対象者の顔の存在位置を特定でき、コストアップを抑制しつつも処理量を軽減することができる。 Thus, according to the target person presence range estimation apparatus and method according to the present embodiment, the corresponding distance classification is selected from the plurality of distance classifications a and b that are previously classified in the depth direction based on the inner eye angle width L. Therefore, the approximate distance from the monocular camera 10 to the subject can be determined on the assumption that the inner eye angle width L increases as the subject approaches the monocular camera 10. In addition, since a corresponding position section is determined from among a plurality of position sections A to D that are previously divided in the height direction of the subject based on the eye height, there is a depth component that is unknown in the two-dimensional image. However, the approximate height of the eye of the subject can be detected from the height of the eye of the subject (for example, the distance from the lower end of the image to the position of the eye). Then, in order to estimate the presence area of the subject's face based on these, the position of the subject's face is determined from the approximate distance from the monocular camera 10 to the subject and the approximate height of the subject's eye. It can be specified, and the processing amount can be reduced while suppressing an increase in cost.
また、検出された内眼角幅Ｌが大きくなるほど、複数の距離区分ａ，ｂのうち単眼カメラ１０に近い側の距離区分ａ，ｂを決定するため、眼の高さ検出に用いた処理と一部共通化でき、簡易に単眼カメラ１０から対象者までの大凡の距離を決定することができる。 In addition, as the detected inner eye angle width L increases, the distance sections a and b closer to the monocular camera 10 among the plurality of distance sections a and b are determined, which is identical to the processing used for eye height detection. The common distance can be easily determined, and the approximate distance from the monocular camera 10 to the subject can be easily determined.
また、奥行き方向及び高さ方向を変数とし、奥行き方向と高さ方向とを含む平面上において複数の位置区分Ａ〜Ｄ及び複数の距離区分ａ，ｂに応じた該当箇所を規定する二次元マップを記憶しているため、対象者の顔の位置を推定するにあたり、それぞれ決定された区分に基づく二次元マップ上の該当箇所を選択するだけでよく、一層処理負荷を軽減させることができる。 Also, a two-dimensional map that defines the corresponding locations according to a plurality of position sections A to D and a plurality of distance sections a and b on a plane including the depth direction and the height direction, with the depth direction and the height direction as variables. Therefore, when estimating the position of the face of the subject person, it is only necessary to select the corresponding part on the two-dimensional map based on the determined divisions, and the processing load can be further reduced.
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。 As described above, the present invention has been described based on the embodiment, but the present invention is not limited to the above embodiment, and may be modified without departing from the gist of the present invention.
例えば、本実施形態においては存在領域を８つ有していたが、これに限らず、装置１の推定精度に応じて４つ以上であればその数を問うものではない。また、上記した閾値の値についても適宜変更可能である。 For example, in the present embodiment, there are eight existing areas, but the present invention is not limited to this, and the number is not limited as long as the number is four or more according to the estimation accuracy of the device 1. Further, the above-described threshold value can be changed as appropriate.
また、本実施形態では、対象者の内眼角幅Ｌを検出して、該当する距離区分を決定しているが、対象者の内眼角幅Ｌに限らず、顔の大きさ、又は、顔の他の器官（鼻、口、人中、鼻孔間、両耳間など）の大きさ（距離）を検出して該当する距離区分を決定してもよい。さらに、内眼角幅Ｌのように距離を大きさとして採用しているが、これに限らず、面積を大きさとして採用するようにしてもよい。 In this embodiment, the subject's inner eye angle width L is detected and the corresponding distance category is determined. However, the present invention is not limited to the subject's inner eye angle width L. The distance category may be determined by detecting the size (distance) of other organs (nose, mouth, man, between nostrils, between both ears, etc.). Furthermore, although the distance is adopted as the size like the inner-eye angle width L, the present invention is not limited to this, and the area may be adopted as the size.
さらに、本実施形態では存在領域の重心位置を眼の位置と推定したが、これに限らず、存在領域の中心位置であってもよいし、場合によっては前端の上端位置や、後端の下端位置など、適宜他の位置を採用可能である。 Furthermore, in the present embodiment, the center of gravity position of the existence area is estimated as the eye position, but the present invention is not limited to this, and may be the center position of the existence area. Other positions, such as a position, can be used as appropriate.
加えて、本実施形態では眼の位置を推定する例を説明したが、これに限らず、単に顔の存在領域を推定するものであってもよい。特に、本実施形態のようにして顔の存在領域を推定した後に、この存在領域のみに限って従来の眼の位置の推定方法を行うようにしてもよい。すなわち、従来の眼の位置の推定方法の処理負荷を軽減させるために、前段階として本実施形態を用いるようにしてもよい。 In addition, although an example in which the position of the eye is estimated has been described in the present embodiment, the present invention is not limited thereto, and the face existing area may be simply estimated. In particular, after estimating the face existing area as in the present embodiment, the conventional eye position estimation method may be performed only for this existing area. That is, in order to reduce the processing load of the conventional eye position estimation method, this embodiment may be used as a previous step.
さらに、上記実施形態において二次元マップの存在領域の重心位置を眼の位置と推定したが、この眼の位置には、マップ奥行き方向（すなわち、対象者の左右方向の位置）の情報を備えていてもよい。これにより、二次元マップにおける存在領域から、対象者の眼の三次元上における位置を推定することができるからである。さらに、対象者の左右方向における眼の位置は、二次元画像上における眼の左右位置から演算によって求めるようにしてもよい。この際、上記した眼の位置の推定結果を用いることにより、演算負荷を軽減したまま、対象者の眼の三次元上における位置を推定することができる。 Further, in the above embodiment, the center of gravity position of the existence area of the two-dimensional map is estimated as the eye position. This eye position includes information on the map depth direction (that is, the position of the subject in the left-right direction). May be. This is because the position of the subject's eye in three dimensions can be estimated from the existence area in the two-dimensional map. Furthermore, the eye position of the subject in the left-right direction may be obtained by calculation from the left-right position of the eye on the two-dimensional image. At this time, by using the above-described estimation result of the eye position, it is possible to estimate the three-dimensional position of the eye of the subject while reducing the calculation load.
また、上記の如く、対象者の三次元上における眼の位置を推定できることから、これに基づくＨＵＤの投影位置を調整することが望ましいが、これに限らず、対象者の眼の左右位置を含むことなく、ＨＵＤの投影位置を調整するようにしてもよい。 In addition, as described above, since the position of the eye of the subject in three dimensions can be estimated, it is desirable to adjust the projection position of the HUD based on this, but the present invention is not limited to this, and includes the left and right positions of the subject's eye. Without limitation, the projection position of the HUD may be adjusted.
１ ：ＨＵＤ投影装置
１０ ：単眼カメラ（撮像手段）
２０ ：制御部
２１ ：高さ検出部（高さ検出手段）
２２ ：眼間距離検出部（顔器官検出手段）
２３ ：位置区分決定部（位置区分決定手段）
２４ ：距離区分決定部（距離区分決定手段）
２５ ：推定部（推定手段）
２６ ：投影位置調整部
２７ ：記憶部（記憶手段）
３０ ：投影部
1: HUD projection apparatus 10: Monocular camera (imaging means)
20: Control unit 21: Height detection unit (height detection means)
22: Interocular distance detection unit (face organ detection means)
23: Position classification determination unit (position classification determination means)
24: Distance classification determination unit (distance classification determination means)
25: Estimator (estimator)
26: Projection position adjustment unit 27: Storage unit (storage unit)
30: Projection unit
Claims (4)
対象者の顔を含み縦軸が高さ方向となり横軸が車幅方向となる二次元画像を撮像する単一の撮像手段と、
前記撮像手段により撮像された１つの二次元画像上における対象者の眼の高さを検出する高さ検出手段と、
前記撮像手段により撮像された１つの二次元画像上における対象者の顔又は顔の器官の大きさを検出する顔器官検出手段と、
前記高さ検出手段により検出された眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定する位置区分決定手段と、
前記顔器官検出手段により検出された大きさに基づいて、前記撮像手段から前記対象者の顔側の方向である奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定する距離区分決定手段と、
前記位置区分決定手段により決定された位置区分、及び前記距離区分決定手段により決定された距離区分に基づいて、対象者の顔の存在領域を推定する推定手段と、
を備えることを特徴とする対象者存在範囲推定装置。 A target person existence range estimation device for estimating a presence area of a face of a target person of a vehicle occupant,
And a single imaging means horizontal axis to image the two-dimensional image as a vehicle width direction becomes the face of the subject and unrealized vertical axis the height direction,
Height detection means for detecting the eye height of the subject on one two-dimensional image captured by the imaging means;
A facial organ detection means for detecting the size of the face of the subject or the facial organ on one two-dimensional image captured by the imaging means;
Based on the eye height detected by the height detection means, position classification determination means for determining a corresponding position classification among a plurality of position classifications preliminarily classified in the height direction of the subject person;
Based on the size detected by the facial organ detection means, a distance for determining a corresponding distance classification from among a plurality of distance classifications that are preliminarily classified from the imaging means in a depth direction that is a face side direction of the subject. Classification determination means,
Estimating means for estimating the presence area of the face of the subject based on the position section determined by the position section determining means and the distance section determined by the distance section determining means;
A target person existence range estimation device comprising:
前記距離区分決定手段は、前記顔器官検出手段により検出された両眼間の距離が大きくなるほど、前記複数の距離区分のうち前記撮像手段に近い側の距離区分を決定する
ことを特徴とする請求項１に記載の対象者存在範囲推定装置。 The facial organ detection means detects a distance between both eyes of the subject;
The distance section determining means determines a distance section closer to the imaging means among the plurality of distance sections as the distance between both eyes detected by the face organ detecting means increases. Item 1. The subject existence range estimation device according to Item 1.
前記推定手段は、前記位置区分決定手段により決定された位置区分、及び前記距離区分決定手段により決定された距離区分の前記二次元マップ上における該当箇所を対象者の顔の存在領域と推定する
ことを特徴とする請求項１又は請求項２のいずれかに記載の対象者存在範囲推定装置。 Stores a two-dimensional map that defines the corresponding locations according to the plurality of position sections and the plurality of distance sections on a plane including the depth direction and the height direction, with the depth direction and the height direction as variables. Further comprising storage means
The estimation means estimates the corresponding location on the two-dimensional map of the position section determined by the position section determination means and the distance section determined by the distance section determination means as the existence area of the face of the subject. The subject presence range estimation apparatus according to claim 1, wherein:
対象者の顔を含み縦軸が高さ方向となり横軸が車幅方向となる二次元画像を単一の撮像手段により撮像する撮像工程と、
前記撮像工程において撮像された１つの二次元画像上における対象者の眼の高さを検出する高さ検出工程と、
前記撮像工程において撮像された１つの二次元画像上における対象者の顔又は顔の器官の大きさを検出する顔器官検出工程と、
前記高さ検出工程において検出された眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定する位置区分決定工程と、
前記顔器官検出工程において検出された両眼間の距離に基づいて、前記撮像手段から前記対象者の顔の方向に伸びる奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定する距離区分決定工程と、
前記位置区分決定工程において決定された位置区分、及び前記距離区分決定工程において決定された距離区分に基づいて、対象者の顔の存在領域を推定する推定工程と、
を備えることを特徴とする対象者存在範囲推定方法。 A target person existence range estimation method for estimating a presence area of a face of a target person of a vehicle occupant,
An imaging step of imaging a two-dimensional image horizontal axis is the vehicle width direction becomes the face of the subject and unrealized vertical axis the height direction by a single imaging means,
A height detection step of detecting the eye height of the subject on one two-dimensional image captured in the imaging step;
A facial organ detection step of detecting the size of the face of the subject or the facial organ on one two-dimensional image imaged in the imaging step;
Based on the eye height detected in the height detection step, a position division determination step for determining a corresponding position division among a plurality of position divisions divided in advance in the height direction of the subject person;
Based on the distance between both eyes detected in the face organ detection step, a corresponding distance category is determined from among a plurality of distance categories previously divided in the depth direction extending in the direction of the subject's face from the imaging means. A distance classification determination process,
An estimation step for estimating the presence area of the face of the subject based on the position division determined in the position division determination step and the distance division determined in the distance division determination step;
A target person existence range estimation method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014089138A JP6359866B2 (en) | 2014-04-23 | 2014-04-23 | Subject presence range estimation device and subject presence range estimation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014089138A JP6359866B2 (en) | 2014-04-23 | 2014-04-23 | Subject presence range estimation device and subject presence range estimation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015206764A JP2015206764A (en) | 2015-11-19 |
| JP6359866B2 true JP6359866B2 (en) | 2018-07-18 |
Family
ID=54603645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014089138A Active JP6359866B2 (en) | 2014-04-23 | 2014-04-23 | Subject presence range estimation device and subject presence range estimation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6359866B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018105737A (en) | 2016-12-27 | 2018-07-05 | トヨタ紡織株式会社 | Eye point measuring apparatus and eye point measuring method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3293308B2 (en) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | Person state detection device |
| JP2004125636A (en) * | 2002-10-03 | 2004-04-22 | Omron Corp | On-vehicle laser radar device |
| US20060149426A1 (en) * | 2005-01-04 | 2006-07-06 | Unkrich Mark A | Detecting an eye of a user and determining location and blinking state of the user |
| JP5391951B2 (en) * | 2009-09-10 | 2014-01-15 | 大日本印刷株式会社 | Face detection result analysis system, face detection result analysis apparatus, and computer program |
| JP5401440B2 (en) * | 2010-12-14 | 2014-01-29 | 本田技研工業株式会社 | Crew head detection device |
-
2014
- 2014-04-23 JP JP2014089138A patent/JP6359866B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015206764A (en) | 2015-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5137833B2 (en) | Gaze direction detection device and gaze direction detection method | |
| JP7003612B2 (en) | Anomaly detection device and anomaly detection program | |
| JP5230748B2 (en) | Gaze direction determination device and gaze direction determination method | |
| CN111566612A (en) | Visual data acquisition system based on posture and sight line | |
| JP4355341B2 (en) | Visual tracking using depth data | |
| JP2019527448A (en) | Method and system for monitoring the status of a vehicle driver | |
| US20120062749A1 (en) | Human body identification method using range image camera and human body identification apparatus | |
| EP3716145A1 (en) | Object detection device and method | |
| JPWO2009091029A1 (en) | Face posture estimation device, face posture estimation method, and face posture estimation program | |
| WO2016027627A1 (en) | Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program | |
| US11455810B2 (en) | Driver attention state estimation | |
| US11079840B2 (en) | Operation determination device and operation determination method | |
| WO2018173314A1 (en) | Face recognition device | |
| WO2019163124A1 (en) | Three-dimensional position estimation device and three-dimensional position estimation method | |
| CN102713975B (en) | Image clearing system, image method for sorting and computer program | |
| JP2019168954A (en) | Visual line direction estimation device, visual line direction estimation method, and visual line direction estimation program | |
| JP6043933B2 (en) | Sleepiness level estimation device, sleepiness level estimation method, and sleepiness level estimation processing program | |
| JP2010191793A (en) | Alarm display and alarm display method | |
| JP7180445B2 (en) | object detector | |
| JP2018151930A (en) | Driver state estimation device and driver state estimation method | |
| US10997861B2 (en) | Luminance control device, luminance control system, and luminance control method | |
| JP6785723B2 (en) | Line-of-sight measuring device | |
| JP6572538B2 (en) | Downward view determination device and downward view determination method | |
| JP6359866B2 (en) | Subject presence range estimation device and subject presence range estimation method | |
| WO2018051836A1 (en) | Iris detection device, iris detection method, iris detection program, and recording medium onto which iris detection program is recorded |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180612 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180621 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6359866 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |