JP4742695B2 - Gaze recognition apparatus and gaze recognition method - Google Patents

Gaze recognition apparatus and gaze recognition method Download PDF

Info

Publication number
JP4742695B2
JP4742695B2 JP2005186518A JP2005186518A JP4742695B2 JP 4742695 B2 JP4742695 B2 JP 4742695B2 JP 2005186518 A JP2005186518 A JP 2005186518A JP 2005186518 A JP2005186518 A JP 2005186518A JP 4742695 B2 JP4742695 B2 JP 4742695B2
Authority
JP
Japan
Prior art keywords
image data
line
sight
field image
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005186518A
Other languages
Japanese (ja)
Other versions
JP2007003462A (en
Inventor
大樹 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2005186518A priority Critical patent/JP4742695B2/en
Publication of JP2007003462A publication Critical patent/JP2007003462A/en
Application granted granted Critical
Publication of JP4742695B2 publication Critical patent/JP4742695B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Description

本発明は、視線挙動や注目対象などを認識するための視線認識装置、及び視線認識方法に関する。   The present invention relates to a line-of-sight recognition apparatus and a line-of-sight recognition method for recognizing line-of-sight behavior, a target of attention, and the like.

特許文献１に係る装置では、計測対象者の傍に、計測対象者の視野領域を撮像する固定カメラと、計測対象者の眼球運動を検出するセンサと、が設置されており、計測対象者の眼球運動に基づいて、撮像画像における計測対象者の視線の挙動を認識していた。
特開平６−５９８０４号公報 In the apparatus according to Patent Literature 1, a fixed camera that captures an image of the visual field of the measurement target person and a sensor that detects the eye movement of the measurement target person are installed beside the measurement target person. Based on the eye movement, the gaze behavior of the measurement subject in the captured image was recognized.
JP-A-6-59804

上記の特許文献１に係る装置では、計測対象者の視線挙動（視線位置、注目状態など）の検出精度が低いという問題がある。例えば、計測対象者が姿勢を変えつつ同じ位置を注目する状況では、計測対象者の眼球は運動する。よって、上記装置では、計測対象者が同じ位置を注目しているにも拘らず、計測対象者の眼球の変化に応じて計測対象者の視線位置が変化しているものと判定されてしまう。   The apparatus according to Patent Document 1 has a problem that the detection accuracy of the gaze behavior (gaze position, attention state, etc.) of the measurement subject is low. For example, in a situation in which the measurement subject pays attention to the same position while changing the posture, the eyeball of the measurement subject moves. Therefore, in the above apparatus, it is determined that the line-of-sight position of the measurement target changes according to the change of the eyeball of the measurement target, even though the measurement target pays attention to the same position.

そこで、本発明は、視線認識装置において、計測対象者の視線挙動の検出精度を向上することを目的とする。   Accordingly, an object of the present invention is to improve the detection accuracy of the gaze behavior of the measurement subject in the gaze recognition device.

上述した目的を達成するために、本発明に係る視線認識装置によれば、計測対象者の頭部運動及び眼球運動を検出する検出手段と、頭部運動及び眼球運動の検出値に基づいて計測対象者の視線軸を演算する演算手段と、計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する撮像手段と、撮像画像データを、視線軸を基準とする視野画像データに射影変換する変換手段と、視野画像データに基づいて、計測対象者の視線の挙動を認識する認識手段と、を備えたことを特徴とする。   In order to achieve the above-described object, according to the gaze recognition apparatus according to the present invention, the detection means for detecting the head movement and the eye movement of the measurement subject, and the measurement based on the detected values of the head movement and the eye movement. Calculation means for calculating the visual axis of the subject, imaging means for imaging the visual field of the measurement subject and generating captured image data based on the imaging axis, and the captured image data based on the visual axis It is characterized by comprising conversion means for projective conversion to field image data and recognition means for recognizing the behavior of the line of sight of the measurement subject based on the field image data.

上述した構成の視線認識装置によれば、頭部運動及び眼球運動の検出値に基づいて計測対象者の視線軸が算出されるため、計測対象者の姿勢変化に対応した視線軸が算出される。そして、視線認識装置は、撮像手段の撮像軸を基準とする撮像画像データを、計測対象者の視線軸を基準とする視野画像データに射影変換してから、この視野画像データに基づいて計測対象者の視線の挙動を認識する。よって、計測対象者の姿勢変化によって検出精度を低下させることなく、計測対象者の視線挙動を認識することができる。なお、視線の挙動とは、例えば、視線の位置、視線の注目状態などである。   According to the gaze recognition apparatus having the above-described configuration, the gaze axis of the measurement target person is calculated based on the detected values of the head movement and the eye movement, and thus the gaze axis corresponding to the posture change of the measurement target person is calculated. . Then, the line-of-sight recognition apparatus projects and converts the captured image data based on the imaging axis of the imaging unit into visual field image data based on the visual axis of the measurement target person, and then the measurement target based on the visual field image data Recognize the behavior of the person's gaze. Therefore, it is possible to recognize the gaze behavior of the measurement target person without lowering the detection accuracy due to the posture change of the measurement target person. Note that the behavior of the line of sight includes, for example, the position of the line of sight and the attention state of the line of sight.

上述した視線認識装置において、認識手段は、異なる時刻に生成された２つの視野画像データの位置ずれに基づいて、視線が注目状態にあるか否かを判定することが好ましい。この構成によれば、撮像画像データを視野画像データに射影変換しているため、異なる時刻に生成された２つの視野画像データの位置ずれを求めることにより、計測対象者の視線の位置が移動しているか否かを判定する。よって、計測対象者の姿勢変化により検出精度を低下させることなく、計測対象者が注目状態にあるか否かを判定することができる。   In the above-described line-of-sight recognition apparatus, it is preferable that the recognition unit determines whether or not the line of sight is in an attention state based on a positional shift between two pieces of visual field image data generated at different times. According to this configuration, since the captured image data is projectively converted to the visual field image data, the position of the line of sight of the measurement subject moves by obtaining the positional deviation between the two visual field image data generated at different times. It is determined whether or not. Therefore, it is possible to determine whether or not the measurement target person is in an attention state without lowering the detection accuracy due to a change in the posture of the measurement target person.

上述した視線認識装置において、認識手段は、視野画像データにおいて、視線軸に対応する画素の対象物を、計測対象者の視線の位置にある対象物として認識することが好ましい。この構成によれば、計測対象者の姿勢変化により検出精度を低下させることなく、計測対象者の視線の位置にある対象物を認識することができる。また、視線軸を基準とした視野画像データを用いることで、計測対象者からの奥行きを考慮することなく、計測対象者の視線の位置にある対象物を認識することができる。   In the above-described line-of-sight recognition apparatus, the recognition unit preferably recognizes the object of the pixel corresponding to the line-of-sight axis as the object at the position of the line of sight of the measurement subject in the visual field image data. According to this configuration, it is possible to recognize an object at the position of the line of sight of the measurement target person without reducing detection accuracy due to a change in the posture of the measurement target person. Further, by using the visual field image data based on the visual axis, it is possible to recognize the object at the position of the visual line of the measurement target without considering the depth from the measurement target.

ここで、認識手段が対象物を認識するための一つの方法としては、上述した視線認識装置において、対象物の位置情報に基づいて対象物を視野画像データの画素に関連付ける関連付け手段をさらに備え、認識手段は、視野画像データにおいて、視線軸に対応する画素に関連付けられた対象物を、計測対象者の視線の位置にある対象物として認識してもよい。また、認識手段が対象物を認識するための別の方法としては、視野画像データの特徴量を演算し、特徴量に基づいて計測対象者の視線の位置にある対象物を認識してもよい。   Here, as one method for the recognition means to recognize the object, the above-described line-of-sight recognition apparatus further includes an association means for associating the object with the pixel of the visual field image data based on the position information of the object, The recognizing unit may recognize the object associated with the pixel corresponding to the visual axis in the visual field image data as an object at the position of the visual line of the measurement target person. As another method for the recognition means to recognize the object, the feature amount of the visual field image data may be calculated, and the object at the position of the line of sight of the measurement subject may be recognized based on the feature amount. .

上述した目的を達成するために、本発明に係る視線認識方法によれば、計測対象者の頭部運動及び眼球運動を検出する検出ステップと、頭部運動及び眼球運動の検出値に基づいて計測対象者の視線軸を演算する演算ステップと、計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する撮像ステップと、撮像画像データを、視線軸を基準とする視野画像データに射影変換する変換ステップと、視野画像データに基づいて、計測対象者の視線の挙動を認識する認識ステップと、を備えたことを特徴とする。   In order to achieve the above-described object, according to the gaze recognition method according to the present invention, the detection step of detecting the head movement and eye movement of the measurement subject and the measurement based on the detected values of the head movement and eye movement. A calculation step for calculating the visual axis of the subject, an imaging step for imaging the visual field of the measurement subject and generating captured image data based on the imaging axis, and the captured image data based on the visual axis It is characterized by comprising a conversion step for projective conversion to visual field image data, and a recognition step for recognizing the behavior of the line of sight of the measurement subject based on the visual field image data.

本発明に係る視線認識装置によれば、計測対象者の視線挙動の検出精度を向上することができる。   According to the gaze recognition apparatus according to the present invention, it is possible to improve the detection accuracy of the gaze behavior of the measurement subject.

以下、図面を参照して、本発明の実施形態に係る視線認識装置について詳細に説明する。本実施形態に係る視線認識装置は、車両に搭載され、計測対象者である運転者の視線の挙動を認識する。なお、以下の説明で、車両中心を原点として、車両の前後方向Ｘ、左右方向Ｙ及び上下方向Ｚに延びる３軸からなる３次元座標系を、視線の挙動の計測における基準座標系としている。   Hereinafter, a line-of-sight recognition apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings. The line-of-sight recognition apparatus according to this embodiment is mounted on a vehicle and recognizes the behavior of the line of sight of a driver who is a measurement target. In the following description, a three-dimensional coordinate system including three axes extending in the longitudinal direction X, the lateral direction Y, and the vertical direction Z with the vehicle center as the origin is used as a reference coordinate system for measuring the behavior of the line of sight.

図１には、視線認識装置１の全体構成が示されている。視線認識装置１は、物理的には、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ、画像データを生成するカメラ等を組み合わせて構成されている。また、視線認識装置１は、機能的には、頭部／眼球運動を検出するための頭部／眼球運動検出処理部１０と、車両前方の環境を撮像するための環境撮影カメラ１６と、カメラ１６により生成された画像データを射影変換してから蓄積する第一処理部２０と、射影変換後の画像データに外部環境にある対象物を関連付ける第二処理部３０と、射影変換後の画像データに基づいて運転者の視線挙動を認識する第三処理部４０と、で構成される。   FIG. 1 shows the overall configuration of the line-of-sight recognition apparatus 1. The line-of-sight recognition device 1 physically generates a microprocessor that performs calculations, a ROM that stores programs for causing the microprocessor to execute each process, a RAM that stores various data such as calculation results, and image data. It is configured by combining cameras. The line-of-sight recognition device 1 functionally includes a head / eyeball movement detection processing unit 10 for detecting head / eyeball movement, an environment photographing camera 16 for imaging an environment in front of the vehicle, and a camera. The first processing unit 20 that stores the image data generated by the projective transformation after the projective transformation, the second processing unit 30 that associates the object in the external environment with the image data after the projective transformation, and the image data after the projective transformation And a third processing unit 40 that recognizes the driver's line-of-sight behavior.

頭部／眼球運動検出処理部１０は、車室内に設置されて運転者の頭部周辺を撮像する１台のカメラ（検出手段）１２と、カメラ１２により生成された画像データを処理する１台の演算装置１４とで構成される。基準座標系におけるカメラ１２の位置は予めキャリブレーションされており、カメラ１２の位置の座標値は、演算装置が有するメモリに格納されている。演算装置１４は、カメラ１２により生成された画像データを取り込んで、画像データを処理することで、運転者の頭部中心位置の座標値と、左右眼球中心位置の座標値とを算出する。また、演算装置１４は、運転者の視線の方向のベクトル、即ち、頭部中心位置から左右眼球中心位置の方向に延びる方向ベクトル（以下、視線ベクトルと呼ぶ）を算出する。これらのデータ（以下、視線データと呼ぶ）は、後段の処理で、左右眼球中心位置を始点として視線ベクトルの方向に延びる視線軸を規定するために利用される。頭部／眼球運動検出処理部１０は、上述した処理を所定時間ごとに繰り返して、視線データを計測時刻情報と共に第一処理部２０に繰り返し送信する。   The head / eye movement detection processing unit 10 is installed in the vehicle interior and has one camera (detection means) 12 that images the periphery of the driver's head and one unit that processes image data generated by the camera 12. And the arithmetic unit 14. The position of the camera 12 in the reference coordinate system is calibrated in advance, and the coordinate value of the position of the camera 12 is stored in a memory included in the arithmetic device. The arithmetic device 14 takes in the image data generated by the camera 12 and processes the image data, thereby calculating the coordinate value of the driver's head center position and the coordinate values of the left and right eyeball center positions. The computing device 14 also calculates a vector of the direction of the driver's line of sight, that is, a direction vector extending from the head center position to the left and right eyeball center position (hereinafter referred to as the line-of-sight vector). These data (hereinafter referred to as line-of-sight data) are used to define the line-of-sight axis extending in the direction of the line-of-sight vector starting from the center position of the left and right eyeballs in the subsequent processing. The head / eye movement detection processing unit 10 repeats the above-described processing every predetermined time, and repeatedly transmits the line-of-sight data to the first processing unit 20 together with the measurement time information.

環境撮影カメラ１６（撮像手段）は、車両のフロントウィンドウ上部に前方を向いて設置された１台のカメラであり、例えばＣＣＤカメラ、赤外線カメラなどである。基準座標系における環境撮影カメラ１６の位置は予めキャリブレーションされており、環境撮影カメラ１６の位置の座標値は、射影変換部２２が有するメモリに格納されている。環境撮影カメラ１６により撮像される車両前方の領域は、通常の運転状態で運転者の視野にある領域であるため、環境撮影カメラ１６により運転者の視野領域の画像データが生成される。画像撮像カメラは、画像データ、カメラパラメータ（カメラの焦点距離、レンズの歪み係数、画像中心、空間中のカメラの位置と方向を決める回転行列、平行移動ベクトルなど）、計測時刻情報を第一処理部２０に送信する。なお、以下の説明では、撮像画像データ及びカメラパラメータをまとめて撮影データと呼ぶ。   The environment photographing camera 16 (imaging means) is a single camera installed in the upper part of the front window of the vehicle facing forward, and is, for example, a CCD camera or an infrared camera. The position of the environment photographing camera 16 in the reference coordinate system is calibrated in advance, and the coordinate value of the position of the environment photographing camera 16 is stored in a memory included in the projection conversion unit 22. Since the area in front of the vehicle imaged by the environment photographing camera 16 is an area in the driver's field of view in a normal driving state, the environment photographing camera 16 generates image data of the driver's field of view. The imaging camera performs first processing of image data, camera parameters (camera focal length, lens distortion coefficient, image center, rotation matrix that determines camera position and direction in space, translation vector, etc.), and measurement time information To the unit 20. In the following description, captured image data and camera parameters are collectively referred to as shooting data.

次に、第一処理部２０について説明する。第一処理部２０は、撮像画像データを射影変換する射影変換部２２と、射影変換後の画像データを記憶する視野画像蓄積部２４とで構成される。   Next, the first processing unit 20 will be described. The first processing unit 20 includes a projective conversion unit 22 that performs projective conversion of captured image data, and a visual field image storage unit 24 that stores image data after the projective conversion.

射影変換部２２では、視線データ及び撮影データを取り込むと、両データに付随する計測時刻情報を比較して、両データが同じタイミングで計測されたことを確認する。そして、射影変換部２２は、撮像画像データを、運転者の視線で見た画像データ（以下、視野画像データと呼ぶ）に変換する処理を行う。この変換処理を、図２を参照して説明する。   When the projection conversion unit 22 captures the line-of-sight data and the photographing data, it compares the measurement time information attached to both data and confirms that both data are measured at the same timing. Then, the projective conversion unit 22 performs a process of converting the captured image data into image data viewed from the driver's line of sight (hereinafter referred to as visual field image data). This conversion process will be described with reference to FIG.

環境撮影カメラ１６により撮像された撮像画像データＰＣは、環境撮影カメラ１６から前方に延びる撮像軸ＡＣを中心とした領域を撮像した画像データである。射影変換部２２は、カメラパラメータに基づいて撮像軸ＡＣを表す直線を算出する。次に、射影変換部２２は、視線データに基づいて視線軸ＡＧを表す直線を算出する。そして、射影変換部２２は、撮像軸ＡＣを基準とする撮像画像データＰＣを、視線軸ＡＧを基準とする視野画像データＰＧに射影変換するための変換行列を求め、この変換行列を用いて撮像画像データＰＣを構成する各画素を処理して、視野画像データＰＧを得る。この処理により、環境撮影カメラ１６により撮像された対象物Ｏは、視野画像データＰＧにおいて運転者の視線で見た形状に変換される。射影変換部２２は、視野画像データＰＧを計測時刻情報と共に視野画像蓄積部２４へ送信する。 Environmental photographing camera 16 captured the image data P C captured by the is image data obtained by capturing an area around the imaging axis A C extending forward from the environment photographing camera 16. Projective transformation section 22 calculates the straight line representing the imaging axis A C based on the camera parameters. Next, the projective transformation unit 22 calculates a straight line representing the line of sight axis AG based on the line of sight data. The projective transformation section 22, the captured image data P C relative to the imaging axis A C, obtains a transformation matrix for projective transformation into field image data P G relative to the line of sight axis A G, the transformation matrix processing the pixels constituting the captured image data P C is used to obtain a field of view image data P G. This process, object O captured by environmental photographing camera 16 is converted into the shape as viewed in the driver's line of sight in viewing the image data P G. Projective transformation unit 22 transmits to the viewing image storage unit 24 the field image data P G with measurement time information.

視野画像蓄積部２４は、視野画像データを取り込むたびに、視野画像データを計測時刻情報と共にメモリに記憶し、続いて、現計測時刻における視野画像データ及びその計測時刻情報を、視線変化検出部４２及び対象存在マップ生成部３６に送信する。また、視野画像蓄積部２４は、視線変化検出部４２から送信要求があったときには、要求された計測時刻の視野画像データを視線変化検出部４２に送信する。   The visual field image storage unit 24 stores the visual field image data in the memory together with the measurement time information every time the visual field image data is fetched, and subsequently, the visual field image data and the measurement time information at the current measurement time are stored in the visual line change detection unit 42. And to the target presence map generator 36. The visual field image storage unit 24 transmits visual field image data at the requested measurement time to the visual line change detection unit 42 when there is a transmission request from the visual line change detection unit 42.

次に、第二処理部３０について説明する。第二処理部３０は、車両周辺にある対象物の種別及び位置の情報を有する環境情報学習部３２及び環境情報獲得センサ３４と、対象物を視野画像に関連付けた対象存在マップを生成する対象存在マップ生成部３６とで構成される。   Next, the second processing unit 30 will be described. The second processing unit 30 includes an environment information learning unit 32 and an environment information acquisition sensor 34 having information on the type and position of the object around the vehicle, and an object existence that generates an object existence map in which the object is associated with the visual field image. The map generation unit 36 is configured.

環境情報学習部３２は、視野画像蓄積部２４に蓄積された視野画像データを取り込んで、視野画像データを処理することにより、視野画像データの各領域について特徴量を演算する。そして、環境情報学習部３２は、各領域の特徴量に基づいて特定の対象物（路面、レーンマーク、信号機、構造物など）の存在確率、及び対象物の存在位置を算出する。また、環境情報学習部３２は、車両前方の空間を基準座標系の各方向に一定間隔ごとに区切って、多数の立方空間のブロックＢｎ（ｎ＝１，２，３，・・，ｋ，・・，ｎ）として把握している。環境情報学習部３２は、多数のブロックＢｎのそれぞれについて、当該ブロックＢｎに存在する対象物の存在確率を関連付ける。例えば、環境情報学習部３２は、いずれか１つのブロックＢｋについて、路面ｒｄの存在確率Ｐ（ｒｄ|Ｂｋ）、レーンマークｌｍの存在確率Ｐ（ｌｍ|Ｂｋ）、信号機ｔｓの存在確率Ｐ（ｔｓ|Ｂｋ）を関連付ける。環境情報学習部３２が、このような処理を行うことで、各ブロックＢｎごとに各種対象物の存在確率Ｐを表したデータ集合が得られる。環境情報学習部３２は、このデータ集合を対象存在マップ生成部３６に送信する。   The environment information learning unit 32 takes in the field image data stored in the field image storage unit 24 and processes the field image data, thereby calculating a feature amount for each region of the field image data. Then, the environment information learning unit 32 calculates the existence probability of a specific object (road surface, lane mark, traffic light, structure, etc.) and the existence position of the object based on the feature amount of each region. In addition, the environment information learning unit 32 divides the space ahead of the vehicle into each direction of the reference coordinate system at regular intervals, and blocks Bn (n = 1, 2, 3,..., K,.・ As n) The environment information learning unit 32 associates the existence probability of the target object existing in the block Bn with respect to each of the large number of blocks Bn. For example, the environment information learning unit 32, for any one block Bk, the existence probability P (rd | Bk) of the road surface rd, the existence probability P (lm | Bk) of the lane mark lm, and the existence probability P (ts) of the traffic light ts. | Bk). By performing such processing, the environment information learning unit 32 can obtain a data set representing the existence probabilities P of various objects for each block Bn. The environment information learning unit 32 transmits this data set to the target presence map generation unit 36.

環境情報獲得センサ３４では、ＧＰＳ（GlobalPositioning System）受信装置、地図データベース、レーダ装置などで構成されている。環境情報獲得センサ３４は、ＧＰＳ受信装置により現在地情報が演算されると、地図データベースから現在地周辺の地図情報を抽出する。これにより、環境情報獲得センサ３４は、現在地周辺に存在する対象物（路面、レーンマーク、信号機、構造物など）の種別情報と、当該対象物の存在位置情報を取得する。また、環境情報獲得センサ３４は、レーダ装置を用いて前方障害物（対象物）の存在位置を算出する。環境情報獲得センサ３４は、各対象物の種別情報と存在位置情報を、対象存在マップ生成部３６に送信する。   The environment information acquisition sensor 34 includes a GPS (Global Positioning System) receiving device, a map database, a radar device, and the like. When the current location information is calculated by the GPS receiver, the environmental information acquisition sensor 34 extracts map information around the current location from the map database. Thereby, the environment information acquisition sensor 34 acquires the type information of the target object (road surface, lane mark, traffic signal, structure, etc.) existing around the current location, and the position information of the target object. Moreover, the environment information acquisition sensor 34 calculates the presence position of a front obstacle (target object) using a radar apparatus. The environment information acquisition sensor 34 transmits the type information and presence position information of each target object to the target presence map generation unit 36.

対象存在マップ生成部３６は、環境情報学習部３２から対象物の存在確率のデータ集合を取り込み、さらに環境情報獲得センサ３４から対象物の種別情報及び位置情報を取り込むと、次の処理を行う。対象存在マップ生成部３６は、視野画像データを格子状に区切って、視野画像データを多数の正方形領域Ｒｎの集合として把握している。また、対象存在マップ生成部３６は、前述した多数の立方空間のブロックＢｎのそれぞれについて、ブロックＢｎが投影される視野画像上の正方形領域Ｒｎを把握している。対象存在マップ生成部３６は、環境情報学習部３２からのデータ集合を参照して、各ブロックＢｎが投影される関係にある正方形領域Ｒｎに、各ブロックＢｎの対象物の種別情報及び存在確率情報を関連付ける。   The target presence map generation unit 36 performs the following processing when the target information on the presence probability of the target object is acquired from the environment information learning unit 32 and the type information and position information of the target object are further acquired from the environment information acquisition sensor 34. The object existence map generation unit 36 grasps the field image data as a set of many square regions Rn by dividing the field image data into a lattice shape. Further, the target presence map generation unit 36 grasps the square region Rn on the field-of-view image on which the block Bn is projected for each of the numerous cubic space blocks Bn described above. The target presence map generation unit 36 refers to the data set from the environment information learning unit 32, and in the square area Rn in which each block Bn is projected, the type information and presence probability information of the target of each block Bn. Associate.

次に、対象存在マップ生成部３６は、環境情報獲得センサ３４からの対象物の種別情報及び位置情報に基づいて、視野画像データの各正方形領域Ｒｎに各対象物を投影する。ここで、対象物の存在確率が割り当てられた正方形領域Ｒｎに、同種の対象物が投影された場合には、対象存在マップ生成部３６は、その対象物が確実に存在するものと判断し、当該正方形領域Ｒｎにおける存在確率を１に更新する。一方、対象物の存在確率が割り当てられた正方形領域Ｒｎに、同種の対象物が投影されない場合には、対象存在マップ生成部３６は、その対象物が存在しないものと判断し、当該正方形領域における存在確率を０に更新する。以上の処理により、対象存在マップが生成される。対象存在マップ生成部３６は、対象存在マップを、注目対象判定部４８に送信する。   Next, the target presence map generation unit 36 projects each target object on each square area Rn of the visual field image data based on the target object type information and position information from the environment information acquisition sensor 34. Here, when the same kind of object is projected on the square region Rn to which the existence probability of the object is assigned, the object existence map generation unit 36 determines that the object is surely present, The existence probability in the square area Rn is updated to 1. On the other hand, when the same kind of object is not projected on the square area Rn to which the existence probability of the object is assigned, the object existence map generation unit 36 determines that the object does not exist, and Update the existence probability to 0. The target presence map is generated by the above processing. The target presence map generation unit 36 transmits the target presence map to the attention target determination unit 48.

次に、第三処理部４０について説明する。第三処理部４０は、運転者の視線位置の変化を認識する視線変化検出部４２と、視線位置変化の認識結果に基づいて注目状態であるか否かを判定する注目状態判定部４６と、時間計測タイマ４４と、運転者が注目する対象物を判定する注目対象判定部４８とで構成される。   Next, the third processing unit 40 will be described. The third processing unit 40 includes a line-of-sight change detection unit 42 that recognizes a change in the driver's line-of-sight position, an attention state determination unit 46 that determines whether or not the state of attention is based on the recognition result of the line-of-sight position change, The time measurement timer 44 and an attention object determination unit 48 that determines an object of interest by the driver.

視線変化検出部４２は、視野画像蓄積部２４から、現在の計測時刻における視野画像データ及び計測時刻情報を取り込むと、続いて、時間計測タイマ４４に設定されている比較用計測時刻を読み出して、比較用計測時刻の情報を視野画像蓄積部２４に送信する。ここで、時間計測タイマ４４には、比較用計測時刻として、現在の時刻より一定時間前の時刻が設定されている。視野画像蓄積部２４は、比較用計測時刻の情報を取り込むと、当該比較用計測時刻と共に格納された視野画像データ（以下、比較用視野画像データと呼ぶ）を読み出して、視線変化検出部４２に送信する。視線変化検出部４２は、現計測時刻の視野画像データと比較用視野画像データとを比較して、両画像データの位置ずれ量ｄを算出する。画像データの位置ずれ量ｄの算出方法について、図３及び図４を参照して説明する。   The line-of-sight change detection unit 42 reads the visual field image data and the measurement time information at the current measurement time from the visual field image storage unit 24, and subsequently reads the comparison measurement time set in the time measurement timer 44, Information on the measurement time for comparison is transmitted to the visual field image storage unit 24. Here, in the time measurement timer 44, a time before the current time is set as the comparison measurement time. When the visual field image storage unit 24 takes in the information of the comparison measurement time, the visual field image storage unit 24 reads out the visual field image data (hereinafter referred to as comparative visual field image data) stored together with the comparison measurement time, and sends it to the visual line change detection unit 42. Send. The line-of-sight change detection unit 42 compares the visual field image data at the current measurement time with the comparative visual field image data, and calculates a positional deviation amount d between the two image data. A method for calculating the positional deviation amount d of the image data will be described with reference to FIGS.

視線変化検出部４２は、現計測時刻における視野画像データＰｎを処理することで、基準座標系における３次元位置が既知かつ不変な対象物Ｏ（例えば、車体の一部）を検出し、現計測時刻における視野画像データＰｎにおいて対象物Ｏに対応する画素ｍｎを特徴点として抽出する。また、視線変化検出部４２は、比較用視野画像データＰｎ−１を同様に処理することで、同じ対象物Ｏを検出し、比較用視野画像データＰｎ−１において対象物Ｏに対応する画素ｍｎ−１を特徴点として抽出する。そして、視線変化検出部４２は、特徴点ｍｎの画素位置と特徴点ｍｎ−１の画素位置との差分を求め、その差分を現計測時刻の視野画像データと比較用視野画像データのずれ量ｄとする。ここで、運転者が視線軸ＡＧを変化させたときには、視線軸ＡＧの変化に応じて対象物Ｏの画素位置が変化するため、ずれ量ｄは視線軸ＡＧの変化量に応じた値となる。次に、視線変化検出部４２は、両画像データのずれ量ｄを、現計測時刻と比較用計測時刻との時間差分ｔｎ−ｔｎ−１で除算することで、運転者の視線軸ＡＧの移動速度ｖを算出する。視線変化検出部４２は、視線軸ＡＧの移動速度ｖを、計測時刻情報ｔｎ及び時間差分ｔｎ−ｔｎ−１と共に注目状態判定部４６に送信する。 The line-of-sight change detection unit 42 processes the field-of-view image data P n at the current measurement time to detect an object O (for example, a part of the vehicle body) whose known three-dimensional position in the reference coordinate system is invariant. In the visual field image data P n at the measurement time, the pixel mn corresponding to the object O is extracted as a feature point. The line-of-sight change detection unit 42 detects the same object O by processing the comparison visual field image data P n-1 in the same manner, and corresponds to the target object O in the comparison visual field image data P n-1 . Pixel mn−1 is extracted as a feature point. The line-of-sight change detection unit 42 calculates a difference between the pixel position and the pixel position of the feature point m n-1 of the feature point m n, the deviation of the comparison field image data and the difference between the field of view image data of the current measurement time Let the amount be d. Here, when the driver has changed the line of sight axis A G, in order to change the pixel position of the object O in accordance with a change in the line of sight axis A G, the deviation amount d is in accordance with the variation of the line of sight axis A G Value. Next, the line-of-sight change detection unit 42 divides the shift amount d between the two image data by the time difference t n −t n−1 between the current measurement time and the comparison measurement time, so that the driver's line of sight axis A The moving speed v of G is calculated. The line-of-sight change detection unit 42 transmits the moving speed v of the line-of-sight axis AG to the attention state determination unit 46 together with the measurement time information t n and the time difference t n −t n−1 .

注目状態判定部４６は、視線変化検出部４２から、視線移動速度ｖ、計測時刻情報ｔｎ及び時間差分ｔｎ−ｔｎ−１を取り込むと、これらに基づいて運転者が対象物Ｏを注目しているか否かを判定する処理を行う。注目状態判定部４６は、この処理によって、運転者が注目状態にあるか否かを示す注目状態フラグＦＧ、及び注目継続時間Ｔｄを取得する。そして、注目状態判定部４６は、計測時刻ｔ、注目状態フラグＦＧ、注目継続時間Ｔｄを、注目対象判定部４８に送信する。 Attention state determination unit 46, the line-of-sight change detecting unit 42, eye movement velocity v, attention when measurement time information t n and the time take in the difference t n -t n-1, the driver based on these objects O The process which determines whether it is doing is performed. The attention state determination unit 46 acquires an attention state flag F G indicating whether or not the driver is in the attention state and attention duration time Td by this process. Then, the attention state determination unit 46 transmits the measurement time t, the attention state flag F G , and the attention continuation time Td to the attention object determination unit 48.

注目対象判定部４８は、注目状態判定部４６から、計測時刻情報ｔ、注目状態フラグＦＧ、持続時間Ｔｄを取り込み、さらに対象存在マップ生成部３６から対象存在マップを取り込むと、これらの情報に基づいて運転者が注目している対象物を判定する処理を行う。具体的には、注目対象判定部４８は、注目状態フラグが１である場合に、対象存在マップにおいて視線軸に対応する中央の正方形領域Ｒｎにおいて存在確率が１である対象物を、運転者が注目する対象物であると判定する。 The target object determination unit 48 captures the measurement time information t, the target state flag F G , and the duration Td from the target state determination unit 46, and further captures the target presence map from the target presence map generation unit 36. The process which determines the target object which the driver is paying attention based on is performed. Specifically, when the attention state flag is 1, the attention object determination unit 48 selects an object having an existence probability of 1 in the central square area Rn corresponding to the visual axis in the object existence map. It determines with it being the target object to notice.

本実施形態の視線認識装置１によれば、頭部運動及び眼球運動の検出値に基づいて運転者の視線軸が算出されるため、運転者の姿勢変化に対応した視線軸が算出される。そして、撮像手段の撮像軸を基準とする撮像画像データを、運転者の視線軸を基準とする視野画像データに射影変換し、この視野画像データに基づいて運転者の視線の挙動を認識する。よって、運転者の姿勢変化により検出精度を低下させることなく、運転者の視線位置や注目状態などを判定することができる。さらには、運転者の姿勢変化により検出精度を低下させることなく、運転者の注目する対象物を判定することができる。   According to the line-of-sight recognition apparatus 1 of the present embodiment, the driver's line-of-sight axis is calculated based on the detected values of head movement and eye movement, and therefore the line-of-sight axis corresponding to the driver's posture change is calculated. Then, the captured image data based on the imaging axis of the imaging means is projectively transformed into visual field image data based on the driver's visual axis, and the behavior of the driver's visual axis is recognized based on the visual field image data. Therefore, it is possible to determine the driver's line-of-sight position, attention state, and the like without lowering the detection accuracy due to a change in the driver's posture. Furthermore, it is possible to determine the target object of the driver's attention without reducing the detection accuracy due to the change in the driver's posture.

また、本実施形態の視線認識装置１では、運転者の視線軸を基準とした視野画像データを用いることで、運転者からの奥行きを考慮することなく、運転者の視線の位置にある対象物を認識することを可能としている。仮に、従来技術のように撮像画像データを用いて運転者の視線の位置にある対象物を認識しようとすると、運転者から対象物までの奥行きを考慮して、撮像画像データにおいて運転者の視線位置に対応する画素領域を特定する必要がある。これに対して、本実施形態のように、運転者の視線軸を基準とした視野画像データを求めれば、視野画像データにおいて視線軸に対応する画素領域を特定することで、運転者からの奥行きを考慮することなく、運転者の視線位置にある対象物を認識することができる。   Further, in the line-of-sight recognition apparatus 1 of the present embodiment, the object located at the position of the driver's line of sight without considering the depth from the driver by using the field-of-view image data based on the driver's line-of-sight axis. It is possible to recognize. If it is attempted to recognize an object at the position of the driver's line of sight using the captured image data as in the prior art, the driver's line of sight in the captured image data in consideration of the depth from the driver to the object. It is necessary to specify the pixel region corresponding to the position. On the other hand, if the field-of-view image data based on the driver's line of sight is obtained as in this embodiment, the depth from the driver can be determined by specifying the pixel region corresponding to the line-of-sight axis in the field-of-view image data. The object in the driver's line-of-sight position can be recognized without considering the above.

図５を参照して、上述した視線認識装置１が行う処理の流れについて説明する。視線認識装置１は、頭部運動及び眼球運動の検出値から視線データを算出する（Ｓ５０１）と共に、車両前方の撮像画像データを生成する（Ｓ５０２）。次に、視線認識装置１は、撮像軸を基準とする撮像画像データを、視線軸を基準とする視野画像データに射影変換してから、メモリに記憶する（Ｓ５０３）。次に、視線認識装置１は、特徴点のずれ量を求め、運転者が注目状態にあるか否かを判定する（Ｓ５０４）。また同時に、視線認識装置１は、対象存在マップを生成する（Ｓ５０５）。そして、視線認識装置１は、運転者が注目している対象物を認識して、処理を終了する（Ｓ５０６）。なお、上述したステップ５０１〜ステップ５０５の処理は、車両の走行中に所定時間ごとに繰り返し行われる。   With reference to FIG. 5, the flow of processing performed by the above-described line-of-sight recognition apparatus 1 will be described. The line-of-sight recognition apparatus 1 calculates line-of-sight data from detected values of head movement and eye movement (S501) and generates captured image data in front of the vehicle (S502). Next, the line-of-sight recognition apparatus 1 projects and converts the captured image data based on the imaging axis into field-of-view image data based on the visual axis, and stores it in the memory (S503). Next, the line-of-sight recognition device 1 obtains a deviation amount of the feature points and determines whether or not the driver is in an attention state (S504). At the same time, the line-of-sight recognition apparatus 1 generates a target presence map (S505). Then, the line-of-sight recognition device 1 recognizes the object that the driver is paying attention to and ends the processing (S506). In addition, the process of step 501-step 505 mentioned above is repeatedly performed for every predetermined time during driving | running | working of a vehicle.

上述したステップ５０４の処理において、視線挙動を判定する処理について、図６を参照して詳しく説明する。なお、図６に示される視線挙動判定処理は、注目状態判定部４６により行われる処理である。   In the process of step 504 described above, the process of determining the line-of-sight behavior will be described in detail with reference to FIG. Note that the gaze behavior determination process shown in FIG. 6 is a process performed by the attention state determination unit 46.

注目状態判定部４６は、特徴点移動速度ｖが視線位置停止判定用の閾値ｔｈｄｖを下回っているか否かを判定する（Ｓ６０１）。ここで、特徴点移動速度ｖが閾値ｔｈｄｖを下回っている場合には、運転者の視線位置がほぼ変化しない状態にあることを判定し、注目状態判定部４６は、視線位置の停止時間を表す変数Ｔａに時間差分ｄｔを加算する（Ｓ６０２）。一方、特徴点移動速度ｖが閾値ｔｈｄｖを上回っている場合には、運転者の視線位置が変化している状態にあることを判定し、注目状態判定部４６は、視線位置の停止時間を表す変数Ｔａを０にリセットする（Ｓ６０３）。   The attention state determination unit 46 determines whether or not the feature point moving speed v is lower than the threshold thdv for determining the line-of-sight position stop (S601). Here, when the feature point moving speed v is lower than the threshold thdv, it is determined that the driver's line-of-sight position is substantially unchanged, and the attention state determination unit 46 represents the stop time of the line-of-sight position. The time difference dt is added to the variable Ta (S602). On the other hand, when the feature point moving speed v exceeds the threshold thdv, it is determined that the driver's line-of-sight position is changing, and the attention state determination unit 46 represents the stop time of the line-of-sight position. The variable Ta is reset to 0 (S603).

次に、注目状態判定部４６は、視線位置の停止時間を表す変数Ｔａが、注目状態判定用の閾値ｔｈｄＴａを上回っているか否かを判定する（Ｓ６０４）。ここで、変数Ｔａが閾値ｔｈｄＴａを上回っている場合には、運転者がいずれかの対象物を注目している状態にあることを判定して、注目状態フラグＦＧ（ｔ）に１を設定すると共に、注目継続時間を表す変数Ｔｄ（ｔ）に、視線位置が停止する時間を表す変数Ｔａの値を格納する（Ｓ６０５）。一方、視線位置の停止時間を表す変数Ｔａが閾値ｔｈｄＴａを下回っている場合には、運転者が注目状態にないことを判定して、注目状態フラグＦＧ（ｔ）に０を設定すると共に、注目継続時間を表す変数Ｔｄ（ｔ）に０を設定する（Ｓ６０６）。そして、注目状態判定部４６は、計測時刻ｔ、注目状態フラグＦＧ（ｔ）、注目継続時間Ｔｄ（ｔ）を、注目対象判定部４８に送信する（Ｓ６０７）。 Next, the attention state determination unit 46 determines whether or not the variable Ta representing the stop time of the line-of-sight position exceeds the attention state determination threshold thdTa (S604). Here, when the variable Ta exceeds the threshold thdTa, it is determined that the driver is in a state of paying attention to any object, and the attention state flag F G (t) is set to 1. In addition, the value of the variable Ta representing the time when the line-of-sight position stops is stored in the variable Td (t) representing the attention duration (S605). On the other hand, if the variable Ta representing the stop time of the line-of-sight position is below the threshold thdTa, it is determined that the driver is not in the attention state, and the attention state flag F G (t) is set to 0, A variable Td (t) representing attention duration is set to 0 (S606). Then, the attention state determination unit 46 transmits the measurement time t, the attention state flag F G (t), and the attention continuation time Td (t) to the attention object determination unit 48 (S607).

また、図５のフローチャートのステップ５０６の処理において、注目対象を判定する処理について、図７を参照して詳しく説明する。なお、図７に示される注目対象判定処理は、注目対象判定部により行われる処理である。   Further, in the processing of step 506 in the flowchart of FIG. 5, the processing for determining the target of attention will be described in detail with reference to FIG. Note that the attention target determination process illustrated in FIG. 7 is a process performed by the attention object determination unit.

注目対象判定部は、注目状態フラグＦＧ（ｔ）が１であるか否かを判定する（Ｓ７０１）。ここで、注目状態フラグＦＧ（ｔ）が１である場合には、運転者がいずれかの対象物を注目している状態にあると判定して、運転者が注目する対象物を認識すべくステップ７０２の処理に進む。ステップ７０２では、注目対象判定部は、対象存在マップ画像Ｉ（ｔ）の中央及びその周囲の領域を、運転者が注目する注目領域として決定する（Ｓ７０３）。次に、注目対象判定部は、注目領域において存在確率Ｐ（ｏｂｊ）が１である対象物ｏｂｊを、運転者が注目する対象物Ｏａｔｎ（ｔ）であると判定する（Ｓ７０３）。 The attention object determination unit determines whether or not the attention state flag F G (t) is 1 (S701). Here, when the attention state flag F G (t) is 1, it is determined that the driver is in a state of paying attention to any target object, and the target object that the driver pays attention is recognized. Accordingly, the process proceeds to step 702. In step 702, the target object determination unit determines the center of the target presence map image I (t) and the surrounding area as the target area of interest to the driver (S703). Next, the attention object determination unit determines that the object obj having the existence probability P (obj) of 1 in the attention area is the object O atn (t) to which the driver pays attention (S703).

次に、注目対象判定部４８は、現計測時刻ｔにおける注目対象物Ｏａｔｎ（ｔ）と、前計測時刻ｔｐｒｖにおける注目対象物Ｏａｔｎ（ｔｐｒｖ）が同一であるか否かを判定する（Ｓ７０４）。ここで、注目対象物Ｏａｔｎ（ｔ），Ｏａｔｎ（ｔｐｒｖ）が同一である場合には、注目状態が依然として継続しているため、前計測時刻における注目継続時間Ｔａｔｎ（ｔｐｒｖ）に時間差ｔ−ｔｐｒｖを加算した値を、現計測時刻における注目継続時間Ｔａｔｎ（ｔ）とする（Ｓ７０５）。一方、注目対象物Ｏａｔｎ（ｔ），Ｏａｔｎ（ｔｐｒｖ）が異なる場合には、注目対象物Ｏａｔｎ（ｔ）が変化しているため、現計測時刻における注目継続時間Ｔａｔｎ（ｔ）を０にリセットする（Ｓ７０６）。そして、注目対象判定部４８は、注目対象物と注目継続時間の情報を外部に出力する（Ｓ７０７）。 Next, the target object determination unit 48 determines whether or not the target object O atn (t) at the current measurement time t is the same as the target object O atn (t prv ) at the previous measurement time t prv . (S704). Here, when the attention objects O atn (t) and O atn (t prv ) are the same, the attention state is still continuing, so that the attention continuation time T atn (t prv ) at the previous measurement time is reached. A value obtained by adding the time difference t−t prv is set as the attention duration T atn (t) at the current measurement time (S705). On the other hand, when the target objects O atn (t) and O atn (t prv ) are different, since the target object O atn (t) is changed, the target duration T atn (t) at the current measurement time is changed. Is reset to 0 (S706). Then, the target object determination unit 48 outputs information on the target object and the target duration time to the outside (S707).

ステップ７０１の処理で、注目状態フラグＦＧ（ｔ）が１でないと判定された場合には、運転者はいずれの対象物も注目していない状態にあると判定して、注目対象物にＮＵＬＬを設定し、注目継続時間に０を設定する（Ｓ７０８）。そして、注目対象判定部４８は、注目対象物と注目継続時間の情報を外部に出力する（Ｓ７０７）。 If it is determined in the process of step 701 that the attention state flag F G (t) is not 1, the driver determines that no object is in focus, and sets the attention object to NULL. And the attention duration is set to 0 (S708). Then, the target object determination unit 48 outputs information on the target object and the target duration time to the outside (S707).

なお、上述した実施形態の視線認識装置１では、環境撮影カメラ１６は１つであるが、他の実施形態では、環境撮影カメラ１６を２台以上としてもよい。この場合、射影変換部２２は、複数の環境撮影カメラ１６のうち、視線軸と撮像軸の内積が最小となる環境撮影カメラ１６を選択して、上述した視線挙動を認識する処理を行えばよい。   In the line-of-sight recognition apparatus 1 of the above-described embodiment, there is one environment shooting camera 16, but in other embodiments, two or more environment shooting cameras 16 may be provided. In this case, the projective transformation unit 22 may select the environmental photographing camera 16 that minimizes the inner product of the visual axis and the imaging axis from among the plurality of environmental photographing cameras 16 and perform the above-described processing for recognizing the visual line behavior. .

また、上述した実施形態の視線認識装置１では、頭部／眼球運動検出処理部１０が有する画像撮像装置を１台としたが、他の実施形態では、画像撮像装置を２台以上としてもよい。この場合、頭部運動及び眼球運動を最もよく撮像した画像撮像装置を選択すればよい。   Further, in the line-of-sight recognition apparatus 1 of the above-described embodiment, one image imaging device included in the head / eye movement detection processing unit 10 is used. However, in other embodiments, two or more image imaging devices may be used. . In this case, an image pickup apparatus that best picks up the head movement and the eye movement may be selected.

視線判定装置の概略構成を示す機能ブロック図である。It is a functional block diagram which shows schematic structure of a gaze determination apparatus. 撮像画像データの射影変換を説明するための模式図である。It is a schematic diagram for demonstrating projective transformation of captured image data. 視線変化の検出を説明するための模式図である。It is a schematic diagram for demonstrating the detection of a gaze change. 視線変化の検出を説明するための模式図である。It is a schematic diagram for demonstrating the detection of a gaze change. 視線認識装置による処理を示すフローチャートである。It is a flowchart which shows the process by a gaze recognition apparatus. 注目状態判定部による処理を示すフローチャートである。It is a flowchart which shows the process by an attention state determination part. 注目対象認識部による処理を示すフローチャートである。It is a flowchart which shows the process by an attention object recognition part.

符号の説明Explanation of symbols

１…視線認識装置、１０…眼球運動検出処理部、１２…カメラ（検出手段）、１４…演算装置（演算手段）、１６…環境撮影カメラ（撮像手段）、２０…第一処理部、２２…射影変換部（変換手段）、２４…視野画像蓄積部、３０…第二処理部（関連付け手段）、３２…環境情報学習部、３４…環境情報獲得センサ、３６…対象物存在マップ生成部、４０…第三処理部（認識手段）、４２…視線変化検出部、４４…時間計測タイマ、４６…注目状態判定部、４８…注目対象判定部。   DESCRIPTION OF SYMBOLS 1 ... Line-of-sight recognition apparatus, 10 ... Eye movement detection process part, 12 ... Camera (detection means), 14 ... Calculation apparatus (calculation means), 16 ... Environmental imaging | photography camera (imaging means), 20 ... 1st process part, 22 ... Projection conversion unit (conversion unit), 24 ... visual field image storage unit, 30 ... second processing unit (association unit), 32 ... environmental information learning unit, 34 ... environmental information acquisition sensor, 36 ... target object existence map generation unit, 40 ... 3rd process part (recognition means), 42 ... Gaze change detection part, 44 ... Time measurement timer, 46 ... Attention state determination part, 48 ... Attention object determination part.

Claims (2)

計測対象者の頭部運動及び眼球運動を検出する検出手段と、
前記頭部運動及び眼球運動の検出値に基づいて前記計測対象者の視線軸を演算する演算手段と、
前記計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する撮像手段と、
前記撮像画像データを、前記視線軸を基準とする視野画像データに射影変換する変換手段と、
前記視野画像データに基づいて、前記計測対象者の視線の挙動を認識する認識手段と、
ＧＰＳ受信装置および地図データベースを含み、前記ＧＰＳ受信装置により演算される現在地の周辺の地図情報を前記地図データベースから抽出し、当該現在地周辺の地図情報から得られる対象物の位置情報に基づいて前記対象物を前記視野画像データの画素に関連付ける関連付け手段と、
を備え、
前記認識手段は、異なる時刻に生成された２つの視野画像データの位置ずれに基づいて前記計測対象者視線が注目状態にあるか否かを判定するとともに、前記計測対象者の視線が注目状態にあると判定した場合に、前記視野画像データにおいて、前記視線軸に対応する画素に関連付けられた対象物を、前記計測対象者の視線の位置にある対象物として認識することを特徴とする視線認識装置。 Detection means for detecting the head movement and eye movement of the measurement target person;
An arithmetic means for calculating the visual axis of the measurement subject based on the detected values of the head movement and eye movement;
Imaging means for imaging the visual field of the measurement subject and generating captured image data based on the imaging axis;
Conversion means for projectively converting the captured image data into visual field image data based on the visual axis;
Recognition means for recognizing the behavior of the line of sight of the measurement subject based on the visual field image data;
Including a GPS receiver and a map database, extracting map information around the current location calculated by the GPS receiver from the map database, and based on the position information of the object obtained from the map information around the current location Associating means for associating an object with a pixel of the visual field image data;
With
The recognizing unit determines whether or not the measurement subject's line of sight is in an attention state based on a positional shift between two visual field image data generated at different times, and the measurement subject's sight line is in an attention state. If it is determined that the in-field image data, a subject associated with the pixels corresponding to the line of sight axis, the line of sight recognition and recognizes as an object at the position of the line of sight of the measured person apparatus. 計測対象者の頭部運動及び眼球運動を検出する検出ステップと、
前記頭部運動及び眼球運動の検出値に基づいて前記計測対象者の視線軸を演算する演算ステップと、
前記計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する撮像ステップと、
前記撮像画像データを、前記視線軸を基準とする視野画像データに射影変換する変換ステップと、
ＧＰＳ受信装置により演算される現在地の周辺の地図情報を地図データベースから抽出し、当該現在地周辺の地図情報から得られる対象物の位置情報に基づいて前記対象物を前記視野画像データの画素に関連付ける関連付けステップと、
異なる時刻に生成された２つの視野画像データの位置ずれに基づいて前記計測対象者の視線が注目状態にあるか否かを判定するとともに、前記計測対象者の視線が注目状態にあると判定した場合に、前記視野画像データにおいて、前記視線軸に対応する画素に関連付けられた対象物を、前記計測対象者の視線の位置にある対象物として認識する認識ステップと、
を備えたことを特徴とする視線認識方法。 A detection step of detecting the head movement and eye movement of the measurement subject;
A calculation step for calculating the visual axis of the measurement subject based on the detected values of the head movement and eye movement;
An imaging step of imaging the field of view of the measurement subject and generating captured image data based on the imaging axis;
A conversion step of projectively converting the captured image data into field-of-view image data based on the visual axis;
A map information around the current location calculated by the GPS receiver is extracted from the map database, and the object is associated with the pixel of the visual field image data based on the position information of the target obtained from the map information around the current location. Steps,
It determined that with the line of sight of the previous SL-measured person based on a positional deviation of the two field image data generated at different times to determine whether or not the attention state, the line of sight of the measured person is in a state of interest In this case, in the visual field image data, a recognition step of recognizing an object associated with a pixel corresponding to the visual axis as an object at the position of the visual line of the measurement target person;
A line-of-sight recognition method comprising:
JP2005186518A 2005-06-27 2005-06-27 Gaze recognition apparatus and gaze recognition method Expired - Fee Related JP4742695B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005186518A JP4742695B2 (en) 2005-06-27 2005-06-27 Gaze recognition apparatus and gaze recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005186518A JP4742695B2 (en) 2005-06-27 2005-06-27 Gaze recognition apparatus and gaze recognition method

Publications (2)

Publication Number Publication Date
JP2007003462A JP2007003462A (en) 2007-01-11
JP4742695B2 true JP4742695B2 (en) 2011-08-10

Family

ID=37689230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005186518A Expired - Fee Related JP4742695B2 (en) 2005-06-27 2005-06-27 Gaze recognition apparatus and gaze recognition method

Country Status (1)

Country Link
JP (1) JP4742695B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009136551A (en) 2007-12-07 2009-06-25 Denso Corp Face feature quantity detector for vehicle and face feature quantity detecting method
EP2642425A1 (en) * 2012-03-22 2013-09-25 SensoMotoric Instruments GmbH Method and device for evaluating the results of eye tracking
US9832437B2 (en) * 2015-01-13 2017-11-28 Magic Leap, Inc. Color sequential display

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796803A (en) * 1993-08-04 1995-04-11 Nissan Motor Co Ltd Interface for vehicle
JPH10222679A (en) * 1997-02-04 1998-08-21 Toyota Motor Corp Vehicle image processor
JP2001330450A (en) * 2000-03-13 2001-11-30 Alpine Electronics Inc Automobile navigation system
JP2003256874A (en) * 2002-03-04 2003-09-12 Matsushita Electric Ind Co Ltd Image synthesis and conversion device
JP2003333590A (en) * 2002-05-16 2003-11-21 Komatsu Ltd System for generating image at site
JP2005063105A (en) * 2003-08-11 2005-03-10 Toyota Motor Corp Device for determining inattentive driving

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4328136B2 (en) * 2003-06-19 2009-09-09 国立大学法人 奈良先端科学技術大学院大学 Interest level estimation device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796803A (en) * 1993-08-04 1995-04-11 Nissan Motor Co Ltd Interface for vehicle
JPH10222679A (en) * 1997-02-04 1998-08-21 Toyota Motor Corp Vehicle image processor
JP2001330450A (en) * 2000-03-13 2001-11-30 Alpine Electronics Inc Automobile navigation system
JP2003256874A (en) * 2002-03-04 2003-09-12 Matsushita Electric Ind Co Ltd Image synthesis and conversion device
JP2003333590A (en) * 2002-05-16 2003-11-21 Komatsu Ltd System for generating image at site
JP2005063105A (en) * 2003-08-11 2005-03-10 Toyota Motor Corp Device for determining inattentive driving

Also Published As

Publication number Publication date
JP2007003462A (en) 2007-01-11

Similar Documents

Publication Publication Date Title
US20210365750A1 (en) Systems and methods for estimating future paths
JP7157054B2 (en) Vehicle navigation based on aligned images and LIDAR information
JP6682833B2 (en) Database construction system for machine learning of object recognition algorithm
JP5337905B2 (en) Speed measurement system, speed measurement method and program
JP5663352B2 (en) Image processing apparatus, image processing method, and image processing program
JP4876118B2 (en) Three-dimensional object appearance detection device
US9659497B2 (en) Lane departure warning system and lane departure warning method
WO2017051480A1 (en) Image processing device and image processing method
KR101880437B1 (en) Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image
JP5278108B2 (en) Moving object detection system and moving object detection method
JP6552448B2 (en) Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection
JP2017138660A (en) Object detection method, object detection device and program
JP2018048949A (en) Object recognition device
JP2015194397A (en) Vehicle location detection device, vehicle location detection method, vehicle location detection computer program and vehicle location detection system
JP6410231B2 (en) Alignment apparatus, alignment method, and computer program for alignment
JP2010026601A (en) Vehicle periphery monitoring device
JP2008310440A (en) Pedestrian detection device
JP2000293693A (en) Obstacle detecting method and device
JP2007011994A (en) Road recognition device
KR101455236B1 (en) Mobile apparatus for providing augmented reality and method thereof
CN107430821B (en) Image processing apparatus
JP4742695B2 (en) Gaze recognition apparatus and gaze recognition method
JP2009139324A (en) Travel road surface detecting apparatus for vehicle
KR20160125803A (en) Apparatus for defining an area in interest, apparatus for detecting object in an area in interest and method for defining an area in interest
JP4752319B2 (en) Image recognition apparatus and image recognition method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110425

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees