JP7269617B2 - Face image processing device, image observation system, and pupil detection system - Google Patents
Face image processing device, image observation system, and pupil detection system Download PDFInfo
- Publication number
- JP7269617B2 JP7269617B2 JP2018225770A JP2018225770A JP7269617B2 JP 7269617 B2 JP7269617 B2 JP 7269617B2 JP 2018225770 A JP2018225770 A JP 2018225770A JP 2018225770 A JP2018225770 A JP 2018225770A JP 7269617 B2 JP7269617 B2 JP 7269617B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- face image
- image processing
- subject
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Description
本発明は、顔画像を処理する顔画像処理装置、画像観察システム、及び瞳孔検出システムに関する。 The present invention relates to a face image processing device, an image observation system, and a pupil detection system for processing face images.
近年、ビデオカメラを使用して得られた顔画像を処理する顔画像処理装置が普及しつつある(例えば、下記特許文献1,2参照)。例えば、このような顔画像処理装置では、顔画像を処理することによって、瞳孔の三次元座標、及びカメラから瞳孔中心を結ぶ直線に対する視線の角度を求め、これらを基に視線を検出している。これらの装置では、2台以上のカメラの画像に対象者の眼が映っていれば、瞳孔の三次元座標を求めることが可能である。
2. Description of the Related Art In recent years, facial image processing apparatuses that process facial images obtained using a video camera have become popular (see, for example,
しかしながら、上述した特許文献1,2に記載の装置では、対象者が急にあるいは広範囲に移動する場合、あるいは、対象者の姿勢が急にあるいは広範囲で変化する場合に、それに対応して対象者の顔画像をカメラで捉えることが困難である。カメラとして広視野のカメラを用いることも考えられるが、その場合はカメラの分解能を高くする必要がある等の制約が生じる。また、カメラの光学中心の3自由度の位置、あるいはカメラの光軸の方向とカメラの光軸周りの回転角度とで表現されるカメラの姿勢を、対象者の動きあるいは姿勢に対応して制御することも考えられるが、その場合にカメラの画像を対象にしたカメラの位置あるいは姿勢に基づいた画像処理を精度よく行うことができない傾向にある。また、カメラを自動車のハンドル等の可動物体に取り付ける場合にも、カメラの画像を対象にしたカメラの位置に基づいた画像処理を精度よく行うことができない傾向にある。
However, in the devices described in
本発明は、上記課題に鑑みて為されたものであり、カメラの位置あるいは姿勢が変化する場合であっても、対象者の画像を対象にカメラの位置あるいは姿勢に基づいて高精度に画像処理を行うことが可能な顔画像処理装置、画像観察システム、及び瞳孔検出システムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems. It is an object of the present invention to provide a face image processing device, an image observation system, and a pupil detection system capable of performing
上記課題を解決するため、本発明の一形態に係る顔画像処理装置は、対象者の顔及び顔とは独立した固定点を撮像することで顔画像を取得する少なくとも1台のカメラと、顔画像を対象に画像処理を実行する算出部と、を備え、算出部は、顔画像上における固定点の位置を基にカメラの位置あるいは姿勢を検出し、カメラの位置あるいは姿勢を基に画像処理を実行する。 In order to solve the above problems, a face image processing apparatus according to one aspect of the present invention includes at least one camera that acquires a face image by capturing a subject's face and a fixed point independent of the face; a calculation unit that performs image processing on an image, the calculation unit detects the position or orientation of the camera based on the position of the fixed point on the face image, and performs image processing based on the position or orientation of the camera. to run.
上記形態の顔画像処理装置によれば、対象者の顔とそれとは独立した固定点を撮像した顔画像を用いてカメラの位置あるいは姿勢を検出することにより、顔画像を取得した際のカメラの位置あるいは姿勢をズレが生じることなく検出することができる。そして、検出したカメラの位置あるいは姿勢を基に画像処理を実行することにより、カメラの位置あるいは姿勢が変化する場合であっても、対象者の画像を対象に、カメラの位置あるいは姿勢に基づいて高精度に画像処理を施すことができる。 According to the face image processing device of the above embodiment, the position or orientation of the camera is detected using the face image obtained by imaging the subject's face and a fixed point independent of the face. The position or orientation can be detected without deviation. By executing image processing based on the detected position or orientation of the camera, even if the position or orientation of the camera changes, the image of the subject is processed based on the position or orientation of the camera. Image processing can be performed with high accuracy.
ここで、カメラの位置あるいは姿勢を制御する駆動系をさらに備える、こととしてもよい。かかる構成においては、カメラの位置あるいは姿勢を駆動系を用いて制御する場合に、対象者の画像を対象に、カメラの位置あるいは姿勢に基づいて高精度に画像処理を施すことができる。 Here, a drive system for controlling the position or orientation of the camera may be further provided. In such a configuration, when the position or orientation of the camera is controlled using the drive system, the image of the subject can be subjected to highly accurate image processing based on the position or orientation of the camera.
また、前記カメラは、3箇所以上の前記固定点を撮像する、こととしてもよい。この場合、顔画像を取得した際のカメラの位置あるいは姿勢を精度よく検出することができる。 Also, the camera may capture images of three or more fixed points. In this case, it is possible to accurately detect the position or orientation of the camera when the face image was acquired.
また、算出部は、固定点の位置を基にカメラの位置及び姿勢を検出し、カメラの位置及び姿勢を用いて画像処理を実行する、こととしてもよい。こうすれば、カメラの位置と姿勢の両方が変化する場合であっても、対象者の画像を対象に、カメラの位置及び姿勢に基づいて高精度に画像処理を施すことができる。 Further, the calculation unit may detect the position and orientation of the camera based on the positions of the fixed points, and perform image processing using the position and orientation of the camera. In this way, even if both the position and orientation of the camera change, the image of the subject can be subjected to highly accurate image processing based on the position and orientation of the camera.
また、算出部は、画像処理を用いて、対象者の瞳孔のカメラから見た方向あるいは距離を算出する、こととしてもよい。この場合、対象者の画像をカメラの位置あるいは姿勢に基づいて画像処理することにより、高精度に対象者の瞳孔の方向あるいは距離を算出することができる。 Further, the calculation unit may use image processing to calculate the direction or distance of the subject's pupils viewed from the camera. In this case, the direction or distance of the pupil of the subject can be calculated with high accuracy by processing the image of the subject based on the position or posture of the camera.
また、算出部は、画像処理を用いて、対象者の瞳孔の三次元位置を算出する、こととしてもよい。この場合にも、対象者の画像をカメラの位置あるいは姿勢に基づいて画像処理することにより、高精度に対象者の瞳孔の三次元位置を算出することができる。 Further, the calculation unit may use image processing to calculate the three-dimensional position of the subject's pupil. In this case as well, the three-dimensional position of the subject's pupil can be calculated with high accuracy by performing image processing on the subject's image based on the position or orientation of the camera.
また、算出部は、カメラの位置あるいは姿勢の変化を反映した異なる時間での複数の顔画像の位置補正を行うことによって対象者の瞳孔の顔画像上の位置を検出する、こととしてもよい。この場合には、対象者の画像をカメラの位置あるいは姿勢に基づいて位置補正処理することにより、高精度に対象者の顔画像上の位置を検出することができる。 Further, the calculation unit may detect the positions of the subject's pupils on the face image by correcting the positions of a plurality of face images at different times reflecting changes in camera position or posture. In this case, by subjecting the image of the subject to position correction processing based on the position or orientation of the camera, the position of the subject on the facial image can be detected with high accuracy.
また、 算出部は、カメラの位置及び/又は姿勢を基に顔画像のブレを補正する、こととしてもいてもよい。この場合には、対象者の画像をカメラの位置及び/又は姿勢に基づいてブレ補正処理することにより、高精度に対象者の画像上のブレを補正することができる。 Further, the calculation unit may correct blurring of the face image based on the position and/or orientation of the camera. In this case, by subjecting the image of the subject to blur correction processing based on the position and/or orientation of the camera, blurring in the image of the subject can be corrected with high accuracy.
あるいは、本発明の他の形態に係る画像観察システムは、上記形態の顔画像処理装置と、対象者とは別の観察者の頭部の位置及び姿勢を検出する光学系と、観察者に対して顔画像を表示する表示装置とを備え、駆動系は、頭部の位置及び姿勢に基づいてカメラの位置及び姿勢を制御し、算出部は、ブレが補正された顔画像を表示装置に表示させる。 Alternatively, an image observation system according to another aspect of the present invention includes the face image processing device of the aspect described above, an optical system for detecting the position and orientation of the head of an observer other than the subject, and the driving system controls the position and orientation of the camera based on the position and orientation of the head; and the calculation unit displays the blur-corrected face image on the display device. Let
上記形態の画像観察システムによれば、観察者の頭部の位置及び姿勢に応じてカメラの位置及び姿勢が制御され、そのカメラによって取得された対象者の顔画像が表示装置に表示される。この際、顔画像処理装置によって、カメラの位置あるいは姿勢が検出され、そのカメラの位置あるいは姿勢を基に顔画像のブレが補正される。その結果、ブレが安定的に補正された対象者の顔を表示装置に表示することができる。 According to the image observation system of the above configuration, the position and orientation of the camera are controlled according to the position and orientation of the observer's head, and the face image of the subject acquired by the camera is displayed on the display device. At this time, the position or orientation of the camera is detected by the face image processing device, and blurring of the face image is corrected based on the position or orientation of the camera. As a result, it is possible to display on the display device the subject's face whose blur has been stably corrected.
ここで、算出部は、カメラの位置あるいは姿勢を基に顔画像を拡大あるいは縮小を行ってから表示装置に表示させる、こととしてもよい。かかる構成によれば、対象者の顔をカメラの位置あるいは姿勢に応じた好適なサイズで表示装置に表示させることができる。 Here, the calculation unit may enlarge or reduce the face image based on the position or orientation of the camera, and then display it on the display device. According to such a configuration, the face of the subject can be displayed on the display device in a suitable size according to the position or posture of the camera.
あるいは、本発明の他の形態に係る瞳孔検出システムは、上記形態の顔画像処理装置を備え、カメラは、対象者が操作する可動物体に取り付けられ、対象者の顔及び固定点を撮像し、算出部は、対象者の瞳孔を検出する。 Alternatively, a pupil detection system according to another aspect of the present invention includes the face image processing device of the above aspect, the camera is attached to a movable object operated by the subject, images the subject's face and fixed points, The calculator detects pupils of the subject.
上記形態の瞳孔検出システムによれば、カメラの位置が可動物体の操作により変化する場合であっても、対象者の顔画像を対象に、カメラの位置に基づいて画像処理を施すことにより、高精度に対象者の瞳孔を検出することができる。 According to the pupil detection system of the above configuration, even if the position of the camera changes due to the operation of the movable object, by performing image processing on the face image of the subject based on the position of the camera, a high degree of accuracy can be achieved. A subject's pupil can be detected with accuracy.
ここで、算出部は、カメラの位置あるいは姿勢の変化を反映した異なる時間での複数の顔画像の位置補正を行うことによって対象者の瞳孔の顔画像上の位置あるいは形状を検出する、こととしてもよい。この場合、対象者の顔画像を対象に、カメラの位置あるいは姿勢に基づいて位置補正処理を施すことにより、高精度に対象者の瞳孔の顔画像上の位置あるいは形状を検出することができる。 Here, the calculation unit detects the position or shape of the subject's pupils on the face image by correcting the positions of a plurality of face images at different times reflecting changes in the position or posture of the camera. good too. In this case, the position or shape of the subject's pupils on the face image can be detected with high accuracy by performing position correction processing on the subject's face image based on the position or posture of the camera.
本発明によれば、カメラの位置あるいは姿勢が変化する場合であっても、対象者の画像を対象にカメラの位置あるいは姿勢に基づいて高精度に画像処理を行うことができる。 According to the present invention, even if the position or orientation of the camera changes, it is possible to perform highly accurate image processing on the image of the subject based on the position or orientation of the camera.
以下、図面を参照しつつ本発明に係る顔画像処理装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。 Preferred embodiments of the face image processing apparatus according to the present invention will be described in detail below with reference to the drawings. In the description of the drawings, the same or corresponding parts are denoted by the same reference numerals, and overlapping descriptions are omitted.
[第1実施形態に係る顔画像処理装置の構成]
まず、図1~3を用いて、実施形態に係る顔画像処理装置1の全体構成を説明する。図1は、顔画像処理装置1の側面図、図2は、顔画像処理装置1の正面図、図3は、顔画像処理装置1の平面図である。顔画像処理装置1は、対象者Spを撮像することにより顔画像を取得し、その顔画像を対象に画像処理を実行する装置群である。一例として、対象者Spがガラス板等の透明な物体又は電子基板等の不透明な物体である検査対象物So等を目視検査する際に、対象者Spの検査対象物So上の注視点を検出する装置として説明する。ここでは、顔画像処理装置1を対象者Spの瞳孔および角膜反射の検出結果を基に視線を検出する装置として例示しているが、対象者Spの顔自体の検出のほか、対象者Spの鼻孔、口、耳、眉、鼻先、頭部等の顔上の様々な部位、あるいは、眼鏡、ゴーグル、イヤホン等の対象者Spの顔に付属する物体を検出する装置であってもよい。顔画像処理装置1は、マーカー検出用カメラ3、顔画像取得用ステレオカメラ5、カメラ駆動系7、及び、コンピュータ(算出部)9を含んで構成されている。以下、顔画像処理装置1の各構成要素について説明する。なお、検査対象物Soとして、電子基板等不透明な物体を対象とする場合には、検査対象物Soが顔画像取得用ステレオカメラ5による対象者Spの撮像の邪魔にならないようにその位置が調整される。
[Configuration of face image processing device according to first embodiment]
First, the overall configuration of a face
マーカー検出用カメラ3は、対象者Spに向けて固定されたカメラであり、対象者Sp、及び、対象者Spの後方に対象者Spと独立して固定された複数のマーカー(固定点)を撮像することにより画像情報を生成し、その画像情報に画素毎の被写体までの距離に関する情報を含めることができるTOF(Time of Flight)カメラである。このマーカー検出用カメラ3は、カメラ駆動系7を制御するための情報を生成するために用いられ、後述する顔画像取得用ステレオカメラ5に比較して広い範囲を撮影可能な広角カメラである。マーカー検出用カメラ3は、コンピュータ9からの命令に応じて画像情報を生成し、その画像情報をコンピュータ9に出力する。ここで、後述するコンピュータ9の機能により、顔画像取得用ステレオカメラ5により取得される顔画像を基に複数のマーカーの三次元座標を算出可能な場合には、マーカー検出用カメラ3は省略されてもよい。
The
顔画像取得用ステレオカメラ5は、対象者Spに向けられた2台のカメラ5a,5bを含み、それぞれのカメラ5a,5bは、カメラ駆動系7に搭載されてから予めカメラ較正がされており、対象者Spの顔を複数のマーカーと同時に撮像し、顔画像を取得および出力する。本実施形態では、カメラ5a,5bは、インターレーススキャン方式の一つであるNTSC方式のビデオカメラであり、各カメラ5a,5bには、対象者Spの瞳孔、角膜反射、あるいは鼻孔等の特徴点を検出するために特許第4500992号に記載の構成の近赤外光源11a,11bが取り付けられているが、マーカーが顔画像上で検出できるのであれば近赤外光源11a,11bは省かれていてもよい。カメラ5a,5bは、コンピュータ9からの命令に応じて対象者Sp及びマーカーを撮像し、顔画像のデータをコンピュータ9に出力する。
The facial image
カメラ駆動系7は、カメラ5a,5bを搭載する台座7a、台座7aを垂直方向に移動可能に支持する支持部7c、支持部7cを水平方向に移動可能に支持する支持部7bを備えている。カメラ駆動系7は、コンピュータ9からの命令に応じて、台座7aに載置されたカメラ5a、5bの位置を、対象者Spに対するそれらの姿勢を保ったまま垂直面に沿って垂直方向および水平方向に移動させるように駆動する。このようなカメラ駆動系7としては、IAI社製のロボシリンダ(登録商標)を使用することができる。なお、カメラ駆動系7の駆動方向は、垂直面に沿ったものには限定されず、垂直面に対して傾いた面に沿った方向であってもよい。カメラ駆動系7は、例えば、1m/1秒の速度でカメラ5a,5bを移動させることができる。
The
上記の顔画像処理装置1を用いる際には、マーカー検出用カメラ3及び顔画像取得用ステレオカメラ5の前方において、暗幕、壁等の垂直面Sv上に固定された複数のマーカーを用意し、垂直面Svと顔画像取得用ステレオカメラ5の間にカメラ5a,5bの光軸に対して斜めに傾くように検査対象物Soを固定する。マーカーとしては、白色等のカメラ画像上で目立つ色彩のマーカーが好ましく、LED等の発光体をマーカーとして用いてもよく、発光体を用いる場合はカメラの画像において中心精度が高まるような形状に映るように、発光部の高さが低く指向性が弱いLEDを用いる。また、マーカー検出用カメラ3及び顔画像取得用ステレオカメラ5として近赤外線カメラを使用する場合には、再帰(再帰性)反射材料のマーカーを用いることが好ましく、マーカー検出用カメラ3及び顔画像取得用ステレオカメラ5としてカラーカメラを使用する場合には、背景に対して目立つ色(例えば、青色)のマーカーMを用いてもよい。さらに、対象者Spには、垂直面Svと検査対象物Soの間で顔画像取得用ステレオカメラ5側を向かせた状態で、検査対象物Soの任意の位置を目視で検査させる。
When using the face
図4には、垂直面Sv上におけるマーカーMの配置状態を示している。このように、複数のマーカーMは、例えば、垂直面Sv上で垂直方法及び水平方向に沿って等間隔で二次元的に配列されている。複数のマーカーM間の距離は、カメラ5a,5bが動いた場合に、対象者Spによって一部のマーカーMが隠れたとしても、カメラ5a,5bによって取得されるそれぞれの顔画像上に最低1個のマーカーMが映るように調整されている。このように調整されることで、カメラ5a,5bが大きく動いた場合であっても、それらによって取得される顔画像上に常にマーカーMを捉えることができる。
FIG. 4 shows how the markers M are arranged on the vertical plane Sv. In this way, the plurality of markers M are arranged two-dimensionally at regular intervals along the vertical and horizontal directions on the vertical plane Sv, for example. Even if some of the markers M are hidden by the subject Sp when the
ただし、マーカーMの配置は、二次元的に等間隔の状態に限定されるものではなく、マーカーM間の距離が不均一であってもよいし、複数のマーカーMを結ぶ線が斜めを向いていてもよいし、カメラ5a,5bが動いた場合に1個のマーカーMが確実に顔画像上に映るのであればマーカーMは1つであってもよい。また、マーカーMは垂直面Sv上に配置されるものには限定されず、垂直面に対して斜めな面に対して配置されてもよい。また、複数のマーカーMは互いに独立したものである必要もなく、例えば、枠状の物体の隅部を複数のマーカーMとして用いてもよい。つまり、マーカーMは、任意の形状の物体であってよく、カメラ5a,5bによって撮影可能であって物体上の相対位置が分かり得るような物体の一部であってもよい。その場合は、物体の特定の位置にマーカーMが仮想的に存在していると考えることができる。さらに、顔画像の取得に2台以上のカメラを使用する場合には、マーカーMが含まれる対象の物体は、立体的な物体でもよい。その場合は、コンピュータ9にて、画像を用いて物体の3次元構造を推定し、その構造中で位置推定精度の低下しにくい位置(例えば、突起部分)に仮想的なマーカーMを設定して,そのマーカーMを利用しても良い。
However, the arrangement of the markers M is not limited to being two-dimensionally equidistant. Alternatively, the number of markers M may be one as long as one marker M is reliably captured on the face image when the
図1に戻って、コンピュータ9は、マーカー検出用カメラ3、顔画像取得用ステレオカメラ5、及びカメラ駆動系7の制御と、顔画像取得用ステレオカメラ5によって取得された顔画像を対象にした画像処理とを実行するデータ処理装置である。コンピュータ9は、据置型または携帯型のパーソナルコンピュータ(PC)により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、コンピュータ9は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続されうる。
Returning to FIG. 1, the
コンピュータ9の一般的なハードウェア構成を図5に示す。コンピュータ9は、オペレーティングシステムやアプリケーション・プログラムなどを実行するCPU(プロセッサ)101と、ROMおよびRAMで構成される主記憶部102と、ハードディスクやフラッシュメモリなどで構成される補助記憶部103と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部104と、キーボードやマウスなどの入力装置105と、ディスプレイやプリンタなどの出力装置106とを備える。
A general hardware configuration of the
後述するコンピュータ9の各機能要素は、CPU101または主記憶部102の上に所定のソフトウェアを読み込ませ、CPU101の制御の下で通信制御部104や入力装置105、出力装置106などを動作させ、主記憶部102または補助記憶部103におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部102または補助記憶部103内に格納される。
Each functional element of the
図6に示すように、コンピュータ9は、機能的構成要素として、カメラ駆動系制御部21、撮像制御部23、カメラ位置検出部25、及び画像処理部27を備える。以下、コンピュータ9の各構成要素の機能を説明する。
As shown in FIG. 6, the
カメラ駆動系制御部21は、対象者Spの視線検出処理が開始された後に、マーカー検出用カメラ3によって取得された画像情報を基に、カメラ駆動系7による顔画像取得用ステレオカメラ5の駆動を制御する。すなわち、カメラ駆動系制御部21は、画像情報を参照して対象者Spの頭部の三次元位置を算出し、その三次元位置に対向する位置にカメラ5a,5bが位置するように駆動を制御する。加えて、カメラ駆動系制御部21は、画像情報を基に複数のマーカーMの三次元座標も算出し、複数のマーカーMの三次元座標の情報をカメラ位置検出部25に引き渡す。一般に、検査対象物Soを目視検査する際には、対象者Spは、特に検査対象物Soの面積が大きい場合は、足腰を動かしながら検査対象物Soに対して上下左右に頭部および視線を動かすことによって、検査対象物Soを隅から隅まで観察および検査する。このような場合であっても、カメラ駆動系制御部21の制御により、顔画像取得用ステレオカメラ5によって取得される顔画像上に対象者Spの顔を捉えることができる。
The camera drive
撮像制御部23は、対象者Spの視線検出処理が開始された後に、顔画像取得用ステレオカメラ5による撮像を制御する。その際、撮像制御部23は、特許第4500992号に記載のように、顔画像取得用ステレオカメラ5による撮像タイミングに応じて、顔画像取得用ステレオカメラ5に取り付けられた近赤外光源11a,11bの点灯タイミングを制御する。このような撮像制御部23の制御により、各カメラ5a,5bにおいては、1秒間に30枚得られる1フレームの顔画像として、奇数番目の水平画素ラインで構成される奇数フィールドの画像と、偶数番目の水平画素ラインで構成される偶数フィールドの画像とが得られ、奇数フィールドの画像と偶数フィールドの画像とが、瞳孔が比較的明るく写る顔画像(明瞳孔画像)及び瞳孔が比較的暗く写る顔画像(暗瞳孔画像)として、1/60秒の間隔で交互に撮影されることで生成される。また、これらの顔画像はそれらの画像上にマーカーMの像も映った状態で得られる。なお、マーカーMの像のブレを防止してマーカーMの画像上の位置を正確に検出するためには、各カメラ5a,5bの露光時間をできるだけ短く(例えば、500μ秒)に設定することが好ましい。また、マーカーMと瞳孔との位置検出の同時性を高めるために、各カメラ5a,5bのシャッタータイミングと、近赤外光源11a,11bの点灯タイミングとを同期させることも好ましく、マーカーMとしてLED等の発光体を用いる場合は近赤外光源11a,11bの点灯タイミングと同期させてマーカーMを点灯させるように制御することが好ましい。
The
カメラ位置検出部25は、顔画像取得用ステレオカメラ5の各カメラ5a,5bによって取得された顔画像上のマーカーMの位置を基に、各カメラ5a,5bの位置を検出する。ここでは、各カメラ5a,5bのカメラモデルをピンホールモデルと仮定されており、各カメラ5a,5bのピンホール(光学中心)とマーカーMの位置する垂直面Svとの距離Lが既知であり、コンピュータ9内にその距離Lが設定されている。この距離Lは、カメラ5a,5bを用いてステレオ計測によって求めることもできるし、予めマニュアルで計測して設定しておいてもよい。カメラ位置検出部25は、この距離Lと、顔画像上のマーカーMの位置と、そのマーカーMの三次元座標の情報とを基に、各カメラ5a,5bのピンホールの位置(三次元座標)Ciを算出することができる。詳細には、ピンホールモデルを利用することにより、顔画像上のマーカーMの位置を基に各カメラ5a,5bのピンホールからマーカーMへ向かう方向ベクトルが算出され、その方向ベクトルとマーカーMの三次元座標と距離Lとから各カメラ5a,5bのピンホールの位置Ciが導出される。そして、カメラ位置検出部25は、各カメラ5a,5bの顔画像毎に検出したピンホールの位置Ciを画像処理部27に引き渡す。
The camera
このとき、カメラ位置検出部25は、顔画像上に映るマーカーMを区別するために、2台のカメラ5a,5bの顔画像を用いてステレオマッチングを行ってもよい。例えば、2台のカメラの5a,5bの並び方向(水平方向)に交わる方向に2つ以上のマーカーMが存在していれば、特許第6083761号に記載の手法を用いて、ステレオマッチングしたマーカーMが同一のマーカーであるか否かを判定することができる。また、カメラ位置検出部25は、カメラ駆動系7から出力される台座7aの位置を示す信号、あるいは、カメラ駆動系制御部21から出力されるカメラ駆動系7を制御する信号を基に、おおよそのカメラ5a,5bの位置を推定し、カメラ5a,5bの画像に映っているはずのマーカーMを判断し、そのマーカーMを複数のマーカーMの中から特定してもよい。
At this time, the camera
なお、カメラ位置検出部25は、各カメラ5a,5bで同時に得られた顔画像を基に検出された各カメラ5a,5bの位置Ciを対象に、それぞれの位置の変化の平均値を求め、その平均値を反映した位置を各カメラ5a,5bの位置として検出してもよい。また、カメラ位置検出部25は、カメラ5a,5bで得られた顔画像にひずみ等がある場合には、ピンホールからマーカーMへ向かう方向ベクトルを、カメラ較正時に得られたカメラパラメータを用いて補正することが好ましい。
Note that the camera
画像処理部27は、カメラ5a,5bで得られたそれぞれの顔画像を対象に、それぞれの顔画像に対応してカメラ位置検出部25によって検出されたカメラ5a,5bの位置を基に画像処理を実行する。すなわち、画像処理部27は、顔画像の取得タイミングにおける対象者Spの視線方向、あるいは検査対象物So上の注視点を検出し、視線方向あるいは注視点の情報を、画像あるいはデータとして出力装置106に時系列に出力する。
The
より具体的には、画像処理部27は、顔画像上で検出された瞳孔の位置を基に、ピンホールモデルを用いてカメラ5a,5bのピンホールから瞳孔に向かう単位方向ベクトルVnを算出し、その単位方向ベクトルVnと、カメラ5a,5bのピンホールの位置Ciとを基に、瞳孔位置(三次元座標)Pを、下記式;
P=Ci+k×Vn
により、計算する(上記式中、kは未定定数)。この未定定数kは、マーカー検出用カメラ3等のTOFカメラによる検出結果を用いて計算された対象者Spまでの距離を用いて求めてもよいし、特許第4431749号に記載されたように瞳孔及び鼻孔を検出して瞳孔の三次元座標を計測する手法を用いて求めてもよい。ここでも、顔画像にひずみ等がある場合には、ピンホールから瞳孔へ向かう単位方向ベクトルを、カメラ較正時に得られたカメラパラメータを用いて補正することが好ましい。一方で、画像処理部27は、2台のカメラ5a,5bの顔画像を基にピンホールの位置から瞳孔に向かうベクトルを求め、それらの2つのベクトルの交点を求めることで、瞳孔位置Pを検出することもできる。また、画像処理部27は、国際公開WO2015/190204号に記載の手法を用いて、2本のベクトルの最近点を瞳孔位置Pとして検出することもできる。この場合には、誤差のため2つのベクトルの交点が存在しない場合にも瞳孔位置Pを求めることができる。
More specifically, the
P = Ci + k x Vn
(where k is an undetermined constant). This undetermined constant k may be obtained using the distance to the subject Sp calculated using the detection result of the TOF camera such as the
さらに、画像処理部27は、顔画像を基に算出した瞳孔位置Pと、顔画像を基に検出した顔画像上の瞳孔及び角膜反射の位置を基に、特許第4500992号に記載の手法を用いて、対象者Spの視線ベクトル及び検査対象物So上の注視点を算出する。ここで、視線とは、瞳孔と注視点とを結ぶ直線であり、注視点とは、視対称面と視線との交点である。
Furthermore, the
上記の瞳孔位置Pの検出時には、画像処理部27は、明瞳孔画像と暗瞳孔画像とを差分して得た差分画像を対象に、顔画像上の瞳孔の位置を検出する。この差分画像の取得時には、差分する前に少なくとも一方の画像に対して位置補正(位置合わせ)の処理を加えてもよい。このような差分位置補正により、対象者Spが眩しくて瞳孔が小さくなった場合等に、検出のロバスト性および瞳孔位置の検出精度を高めることができる。具体的には、画像処理部27は、特許第4452832号に記載の手法を用いて、異なる時間で得られた明瞳孔画像と暗瞳孔画像にそれぞれにおいて鼻孔を検出し、フレーム間の鼻孔の移動量に応じて小ウィンドウ中の画像をずらしてから差分処理してもよいし、特許第4452836に記載の手法を用いて、フレーム間の角膜反射の移動量に応じて位置補正してから差分処理してもよいし、特許第5429885号に記載の手法を用いて、2個の瞳孔と鼻孔間中点の3点を1つの塊として捉えてそれらの位置を推定してその推定結果を基に位置補正してから差分処理してもよい。また、画像処理部27は、特許第6083761号に記載の手法を用いて、2個の瞳孔を三次元追跡してその結果を基に位置補正してから差分処理してもよいし、特開2016-095584号公報に記載の手法を用いて、角膜反射を2次元座標上で追跡してその結果を基に位置補正してから差分処理してもよい。ただし、本実施形態では、カメラ5a,5bの位置が比較的高速で移動するため、その位置の変化を反映させない場合には、瞳孔、鼻孔、角膜反射等の運動が正しく推定できないため顔画像上の瞳孔の位置を正確に検出できない。そのため、本実施形態の画像処理部27は、次のようにして、差分位置補正を行う。
When detecting the pupil position P described above, the
すなわち、画像処理部27は、過去のフレームの顔画像を対象に検出された瞳孔位置(三次元座標)Pと、処理対象のフレームの顔画像に対応して検出されたカメラ5a,5bの位置Ciとを用いて、処理対象のフレームにおける瞳孔位置(三次元座標)Pを推定する。より詳細には、画像処理部27は、処理対象のフレームの1つ前のフレームの瞳孔位置Pi-1と、さらに1つ前のフレームの瞳孔位置Pi-2とを基に、等速モデルを用いて、処理対象のフレームにおける瞳孔位置Piを、下記式により算出する。
Pi=Pi-1+(Pi-1-Pi-2)
この場合、等速モデルの代わりに線形カルマンフィルターを用いてもよい。そして、画像処理部27は、処理対象のフレームに対応するカメラ5a,5bの位置Ciと、計算した瞳孔位置Piとから、ピンホールモデルを用いて、処理対象の顔画像中の瞳孔の位置PCiを推測する。そして、画像処理部27は、差分位置補正の際に、対象のフレームの1つ前のフレームにおける瞳孔の位置PC(i-1)が対象のフレームでの瞳孔の位置PCiに位置するように画像の位置補正を行う。この際に、画像処理部27は、前のフレームで角膜反射が検出されている場合には、対象のフレームで瞳孔の位置PCiを中心とした小ウィンドウ中から角膜反射を検出し、前のフレームにおける角膜反射が対象のフレームにおける角膜反射に一致するように前のフレームの同サイズの小ウィンドウをずらした上で、対象フレームの小ウィンドウ内の画像と差分して差分画像を生成する。さらに、画像処理部27は、差分画像を対象に瞳孔を抽出し対象のフレームの顔画像上における瞳孔の位置(中心位置)を検出する。このような処理を繰り返すことにより、画像処理部27は、毎フレームにおける顔画像上の瞳孔の位置を検出する。
That is, the
P i =P i-1 +(P i-1 -P i-2 )
In this case, a linear Kalman filter may be used instead of the constant velocity model. Then, the
ここで、画像処理部27は、差分位置補正時に、上述したように、瞳孔間距離が一定であると仮定して両瞳孔を1つの塊として追尾してもよいし、角膜球中心を瞳孔の代わりに追尾してもよいし、瞳孔のみでなく鼻孔も検出して、頭部姿勢のフレーム間での等速変動を仮定して瞳孔を追尾してもよい。さらには、特開2018-099174号公報に記載の手法を用いて、各眼球の眼球回転中心が等速運動することを仮定して、それを追尾してもよいし、両眼球の回転中心間距離を一定と仮定して追尾してもよい。また、画像処理部27は、瞳孔の位置を検出する際には、位置補正後の画像を差分する以外に、特許5145555号に記載のように、画像を除算あるいは乗算等の他の演算により瞳孔位置を検出してもよい。
Here, when correcting the position of the difference, the
以上説明した第1実施形態に係る顔画像処理装置1によれば、対象者Spの顔とそれとは独立したマーカーMを撮像した顔画像を用いてカメラ5a,5bの位置を検出することにより、顔画像を取得した際のカメラ5a,5bの位置をズレが生じることなく検出することができる。そして、検出したカメラ5a,5bの位置を基に画像処理を実行することにより、カメラ5a,5bの位置が変化する場合であっても、対象者Spの画像を対象に、カメラ5a,5bの位置に基づいて高精度に画像処理を施すことができる。これは、顔画像を取得するカメラ自体によって、画像処理を行う対象である瞳孔、角膜反射等の特徴点と、マーカーとを同時に撮像することによって、完全な同時性が得られるからである。
According to the face
特に、顔画像処理装置1は、カメラ5a,5bの位置を制御するカメラ駆動系7をさらに備えている。かかる構成においては、対象者Spの動き或いは姿勢に応じて顔画像上に対象者の顔を確実に捉えることができる。さらに、対象者Spの位置あるいは姿勢に応じてカメラ5a,5bの位置を制御する場合に、対象者Spの画像を対象に、カメラ5a,5bの位置に基づいて高精度に画像処理を施すことができる。本実施形態のように、検査対象物Soの面積が大きく、対象者Spの動きが大きい場合において対象者Spの視線を確実に検出したい場合には、カメラに取り付けた光源の指向性を弱くし、広角カメラを用いることも考えられる。しかし、その場合、光源の指向性を弱くした分、光源のパワーが必要となり、カメラの視野角を広げれば広げるほど、小さな角膜反射等の特徴点を検出するために、カメラの分解能を高くしなければならず、制約が多くなる。ここで、カメラの視野角を広げるために、横に並べるカメラの台数を3台以上に増やして配置することも考えられるが、その場合でもカメラの撮影範囲は広がりにくい。特にカメラの近い距離では、2台のカメラで撮影できる範囲は得られにくい。3台のカメラを近づけて配置しても、一般に奥行き方向の三次元計測の精度が低下する結果、視線あるいは注視点の検出精度が大きく低下してしまう。これに対して、本実施形態では、そのような制約は生じない。
In particular, the face
また、顔画像処理装置1のコンピュータ9により、高精度に対象者Spの瞳孔の方向、距離、及び三次元位置を算出することができる。特に、コンピュータ9により、顔画像を対象にカメラの位置に基づいて差分位置補正の処理を行うことにより、高精度に対象者Spの特徴点の顔画像上の位置を検出することができる。例えば、カメラの位置が特に加速度を持って移動する場合は、顔画像に映る瞳孔画像が対象者Spの頭部の動きとはずれて撮影されるため、顔画像の各フレームでのカメラの位置あるいはカメラの台座の位置が把握できなければ、瞳孔の位置もしくは方向が正確にわからない。本実施形態では、カメラの動きに関わらず、瞳孔の位置あるいは方向を正確に検出でき、その結果、視線及び注視点を正確に検出することができる。
Further, the
本発明は、上述した実施形態に限定されるものではない。以下に、第1実施形態の変形例および他の実施形態の構成について説明する。 The invention is not limited to the embodiments described above. Modifications of the first embodiment and configurations of other embodiments will be described below.
[第1実施形態の変形例]
第1実施形態に係るコンピュータ9においては、画像処理部27が画像処理として対象者Spの視線および注視点を検出していたが、このような画像処理には限定されず、瞳孔の三次元位置から対象者Spの頭部の動きを検出するようにしてもよいし、鼻孔の検出結果も併せて頭部姿勢を検出するようにしてもよい。この場合、画像処理部27は、特許第4765008号、あるいは、特許第4431749号に記載の手法を実行する機能を有する。
[Modification of First Embodiment]
In the
また、第1実施形態に係る顔画像処理装置1は、対象者Spの顔画像をステレオカメラを用いて取得し、視線検出、瞳孔検出、あるいは頭部姿勢検出等を実行しているが、1台のカメラによって顔画像を取得してこれらの検出処理を実行するように構成されていてもよい。例えば、1台のカメラの画像を基に頭部姿勢を検出する手法は特許第4431749号に記載の手法を採用できる。
Further, the face
また、第1実施形態に係る顔画像処理装置1は、カメラ駆動系7を用いてカメラ5a,5bの位置を変更するように構成されていたが、カメラ5a,5bの姿勢を変更するように構成されていてもよい。このような構成を採用すれば、対象者Spがカメラ5a,5bに対して大きく横方向を向いた場合に、顔画像で捉えられる角膜反射が白目における反射になって角膜反射の検出が不可能となる、あるいは、顔画像における瞳孔の形状が変形して視線検出精度が低下することを防止できる。
Further, the face
図7には、変形例に係るカメラ駆動系207の構成を示している。このように、カメラ駆動系207は、台座7aを、台座7a上の2台のカメラ5a,5bの中間点に設けられた回転軸207aを中心に回転駆動するように構成されている。つまり、カメラ駆動系207は、カメラ5a,5bの姿勢を水平面に沿って回転させるように駆動する。このような構成の場合には、コンピュータ9のカメラ位置検出部25は、次のようにして各カメラ5a,5bの位置Ci及び姿勢を検出する。すなわち、台座7aの回転中心からカメラ5a,5bの位置がずれていることから、カメラ位置検出部25は、カメラ較正時に特定された回転軸207aからカメラピンホールまでの相対位置を利用して、台座7aの回転角度および各カメラ5a,5bのピンホールの位置Ciを計算する。より具体的には、カメラ5a,5bのピンホールを通る光軸は回転円の接線となっており、回転円の接線の方程式を用いることで台座7aの回転角度が計算できる。水平方向にx軸及びz軸を仮定した場合に、半径dpの回転円の式は、下記式;
x2+z2=dp
2
によって与えられ、回転円上にある点C(xc,zc)を通る接線の方程式は、下記式;
xxc+zzc=dp
2
によって与えられる。カメラ位置検出部25は、各カメラ5a,5bからマーカーMへ向かう方向ベクトルが既知であるので、その方向ベクトルと顔画像上のマーカーMの位置を基に各カメラ5a,5bの光軸の方向ベクトルを計算し、光軸の方向ベクトルと上記式で与えられる接線とが一致するという条件から点Cの座標を求め、その座標を各カメラ5a,5bのピンホールの位置Ciとして得ることができる。さらに、カメラ位置検出部25は、ピンホールの位置Ciを基に、各カメラ5a,5bの回転角度を得ることができ、その回転角度から、各カメラ5a,5bの姿勢を取得することができる。
FIG. 7 shows the configuration of the
x2 + z2 = dp2
and passing through a point C(x c , z c ) on the circle of revolution is given by the following equation:
xxc + zzc = dp2
given by Since the direction vector from each
この変形例では、コンピュータ9の画像処理部27が、カメラ5a,5bの位置及び姿勢を用いて画像処理を実行することで、高精度の画像処理が実現できる。具体的には、カメラ5a,5bの位置及び姿勢の変化を反映した差分位置補正を行うことにより、カメラ5a,5bが高速で回転駆動される場合であっても、瞳孔の顔画像上の位置を高精度に検出できる。
In this modified example, the
図8には、別の変形例に係るカメラ駆動系257の構成を示している。このように、カメラ駆動系257は、台座7a上において各カメラ5a,5bに設けられた回転軸257a,257bを中心に各カメラ5a,5bを独立に回転駆動するように構成されている。つまり、カメラ駆動系257は、カメラ5a,5bの姿勢を水平面に沿って回転させるように駆動することにより、その位置を変化させることなく姿勢のみ変化させる。このような構成の場合には、コンピュータ9のカメラ位置検出部25は、各カメラ5a,5bからマーカーMへ向かう方向ベクトルが既知であるので、その方向ベクトルと顔画像上のマーカーMの位置を基に各カメラ5a,5bの光軸の方向ベクトルを計算し、その光軸の方向ベクトルを基に各カメラ5a,5bの姿勢を検出することができる。そして、コンピュータ9の画像処理部27は、カメラ5a,5bの姿勢を用いて差分位置補正等の画像処理を実行することで、高精度の画像処理が実現できる。ただし、カメラ5a,5bのピンホールと回転軸257a,257bにずれがある場合には、図7に示した変形例の場合と同様にして、カメラ5a,5bの位置及び姿勢を検出し、それらを基に画像処理を実行することもできる。この変形例では、カメラ駆動系257を含む装置の奥行きが小さく構成できるという利点がある。
FIG. 8 shows the configuration of a
[第2実施形態に係る画像観察システムの構成]
図9には、第2実施形態に係る画像観察システム300の構成を示している。この画像観察システム300は、観察者が遠隔地から観察者とは別の対象者の顔を観察するための画像処理システムである。この画像処理システムは、互いに遠隔地に存在する観察者と対象者との間のコミュニケーションシステムとしての用途が考えられる。図9に示すように、画像観察システム300は、観察者Sp1側に配置される観察者検出用カメラ(光学系)305a、コンピュータ309a、及びディスプレイ装置(表示装置)311と、観察対象である対象者Sp2側に配置される顔画像処理装置301とを含んで構成される。顔画像処理装置301は、顔画像取得用カメラ305b、カメラ駆動系307、及びコンピュータ(算出部)309bを含んでいる。これらのコンピュータ309a,309bは、図5に示したハードウェア構成と同様なハードウェア構成を有し、図示しない通信ネットワークを介して互いに画像データ等のデータを送受信可能に構成される。
[Configuration of Image Observation System According to Second Embodiment]
FIG. 9 shows the configuration of an
観察者検出用カメラ305aは、カメラ5a,5bと同様な構成を有する固定配置されたビデオカメラであり、コンピュータ309aからの命令に応じて、観察者Sp1の顔(頭部)を撮像して顔画像を出力する。コンピュータ309aは、観察者検出用カメラ305aから出力された顔画像を用いて、コンピュータ9と同様にして、フレーム毎に観察者Sp1の左右の瞳孔の位置(三次元座標)の中点座標及び観察者Sp1の顔姿勢を検出し、中点座標及び顔姿勢に関する情報をコンピュータ309bに送信する。加えて、コンピュータ309aは、コンピュータ309bから受信された対象者Sp2が映った顔画像をディスプレイ装置311に表示させる機能も有する。このとき、コンピュータ309aは、特開2017-026893号公報に記載の手法を用いて、対象者Sp2が映った顔画像を、観察者Sp1の顔姿勢に応じて、斜めから見ても正面から見たように映る画像に変換してからディスプレイ装置311に表示させてもよい。
The
顔画像取得用カメラ305bは、対象者Sp2と対象者Sp2の背後の垂直面Sv上に二次元的に配置された複数のマーカーMとを同時に撮影するビデオカメラである。顔画像取得用カメラ305bは、コンピュータ309bからの命令に応じて対象者Sp2及びマーカーMを撮像し、その結果得られた顔画像をコンピュータ309bに出力する。
The facial
カメラ駆動系307は、顔画像取得用カメラ305bをパンチルト可能に支持するパンチルト台319、顔画像取得用カメラ305bをパンチルト台319と一体に移動可能に支持するアクチュエータ313,315,317により構成される。このアクチュエータ313は、顔画像取得用カメラ305bを対象者Sp2側から見て左右方向に駆動し、アクチュエータ315は、顔画像取得用カメラ305bを対象者Sp2側から見て上下方向に駆動し、アクチュエータ317は、顔画像取得用カメラ305bを対象者Sp2側から見て前後方向に駆動する。パンチルト台319、及びアクチュエータ313,315,317は、コンピュータ309bからの命令に応じて、顔画像取得用カメラ305bの三次元位置及び姿勢を変化させるように駆動する。
The
図10に示すように、コンピュータ309bは、機能的構成要素として、カメラ駆動系制御部321、撮像制御部323、カメラ位置/姿勢検出部325、及び画像処理部327を備える。以下、コンピュータ309bの各構成要素の機能を説明する。
As shown in FIG. 10, the
カメラ駆動系制御部321は、対象者Sp2の顔画像の取得処理が開始されたことに応じて、コンピュータ309aから受信された観察者Sp1の位置及び顔姿勢に関する情報を基に、顔画像取得用カメラ305bの三次元位置及び姿勢をそれらに対応するように、カメラ駆動系307の駆動を制御する。これにより、観察者Sp1があたかも対象者Sp2に対面しているような状態を仮想的に作り出してその状態に応じた顔画像を取得できる。具体的には、観察者Sp1が、頭部を動かすことによってディスプレイ装置311上に表示される対象者Sp2を別の距離及び角度で見ようとすると、それに相当する位置及び姿勢に変更されるようにカメラが制御される。
In response to the start of the facial image acquisition process of the subject Sp2, the camera driving
撮像制御部323は、対象者Sp2の顔画像の取得処理が開始されたことに応じて、顔画像取得用カメラ305bによる対象者Sp2の顔画像の取得を開始するように制御する。また、撮像制御部323は、顔画像取得用カメラ305bによって取得されたフレーム毎の顔画像を、カメラ位置/姿勢検出部325及び画像処理部327に引き渡す。
The
カメラ位置/姿勢検出部325は、顔画像取得用カメラ305bによって取得された顔画像上のマーカーMの位置を基に、顔画像取得用カメラ305bの位置(三次元座標)及び姿勢をフレーム毎に検出する。具体的には、顔画像上において3個以上のマーカーMの位置を検出し、それらのマーカーMの間の距離が既知であることを利用して、特許第4431749号に記載の手法を応用して、顔画像取得用カメラ305bの位置及び姿勢を検出する。すなわち、上記特許に記載の手法では、カメラ座標系における互いの距離が既知の点の三次元座標を計算したが、この手法を応用して、三次元座標が既知の3個のマーカーMの顔画像上の位置から、顔画像取得用カメラ305bの位置及び姿勢を導出することができる。
The camera position/
画像処理部327は、カメラ位置/姿勢検出部325によって検出されたフレーム毎の顔画像取得用カメラ305bの位置及び姿勢を基に、顔画像取得用カメラ305bによって取得されたフレーム毎の顔画像に対して画像処理を施し、画像処理後の顔画像をコンピュータ309aに送信する。具体的には、画像処理部327は、フレーム毎に次のような処理を実行する。すなわち、予め、顔画像上に検出される3点のマーカーMの三次元座標を基に、対象者Sp2の中心及び向きを規定する三次元座標である視対象座標系が定義されている。そして、画像処理部327は、顔画像取得用カメラ305bの位置及び姿勢を基に、顔画像取得用カメラ305bの光軸の位置及び方向を基準にした三次元座標であるカメラ座標系を規定し、カメラ座標系における視対象座標系の位置及び姿勢を取得する。さらに、画像処理部327は、フレーム毎の顔画像を、顔画像取得用カメラ305bの光学中心から視対象座標系の中心に向かうベクトルがその顔画像取得用カメラ305bの光軸に一致したときの画像になるように変換することにより、その顔画像のブレを補正する。これにより、顔画像において対象者Sp2(視対象)の中心が画像の中心と一致し、視対象の像が歪んでいない顔画像が得られる。ここでは、顔画像取得用カメラ305bの光学中心から視対象座標系の中心に向かうベクトルを法線ベクトルとする平面を理想的な撮像面(理想画像面)と設定し、射影変換により顔画像を理想画像面に投影することにより、ブレが補正された顔画像が得られる。
Based on the position and orientation of the face
加えて、画像処理部327は、顔画像に次のような画像処理を加えてもよい。すなわち、理想画像面の中心座標と視対象座標系の中心座標とを基に、顔画像の拡大あるいは縮小の処理を行ってもよい。例えば、顔画像取得用カメラ305bの光学中心から理想画像面の中心までの距離をZI、顔画像取得用カメラ305bの光学中心から視対象座標系の中心までの距離をZVとした場合に、透視投影モデルを適用して、顔画像をZV/ZI倍に拡大あるいは縮小することにより顔画像を加工する。
In addition, the
図11には、コンピュータ309bの画像処理部327による処理前の顔画像と処理後の顔画像のイメージを示している。このように、顔画像取得用カメラ305bの駆動によって顔画像において対象者Sp2の像の大きさ、位置、姿勢などがブレて小さく写っていても、画像処理によってブレが補正されて適切な大きさの像を反映した画像に加工することができる。
FIG. 11 shows images of a face image before and after processing by the
上記の画像観察システム300によれば、観察者Sp1の頭部の位置及び姿勢に応じて顔画像取得用カメラ305bの位置及び姿勢が制御され、顔画像取得用カメラ305bによって取得された対象者Sp2の顔画像がディスプレイ装置311に表示される。この際、顔画像処理装置301によって、顔画像取得用カメラ305bの位置あるいは姿勢が検出され、顔画像取得用カメラ305bの位置あるいは姿勢を基に顔画像のブレが補正される。その結果、ブレが安定的に補正された対象者の顔を表示させることができる。
According to the
また、顔画像処理装置301においては、顔画像取得用カメラ305bの位置あるいは姿勢を基に顔画像を拡大あるいは縮小を行ってからディスプレイ装置311に表示させている。このような構成により、対象者Sp2の顔を顔画像取得用カメラ305bの位置あるいは姿勢に応じた好適なサイズでディスプレイ装置311に表示させることができる。
Further, in the face
なお、上記第2実施形態の画像観察システム300における視対象は、人の顔には限定されず、美術品を代表とする鑑賞物、商品等の様々な有体物であってもよい。図12には、第2実施形態に係る画像観察システム300における観察対象を美術品等の有体物Sp3に変更した場合の使用形態を示している。
Note that the visual target in the
また、上記第2実施形態の画像観察システム300においては、コンピュータ309aが観察者検出用カメラ305aから出力された顔画像を用いて観察者Sp1の視線ベクトルあるいはディスプレイ装置311上の注視点を検出し、その結果得られた検出情報をコンピュータ309bに送信してもよい。コンピュータ309bは、その検出情報を用いて顔画像取得用カメラ305bの三次元位置及び姿勢を制御してもよい。その結果、例えば、観察者Sp1がディスプレイ装置311上に表示された対象者Sp2の顔のある部分に視線を向けると、顔画像取得用カメラ305bが観察者Sp1の顔姿勢と対応するように制御される。その結果、顔画像取得用カメラ305bが観察者Sp1の視線あるいは注視点に対応した撮影方向で撮影した顔画像を観察者Sp1側に送信でき、観察者Sp1側では実際に実物を覗き込んだような対象者Sp2の顔画像を観察できる。この場合に、観察時に観察者Sp1の視線が頻繁に動いて、顔画像取得用カメラ305bが頻繁に動いても、本実施形態によればマーカーを利用してディスプレイ装置311の表示画像がぶれるのを抑えることができる。
In the
[第3実施形態に係る自動車用監視システムの構成]
図13には、第3実施形態に係る瞳孔検出システムである自動車用監視システムを構成する顔画像処理装置400の構成を示し、図14には、顔画像処理装置400に含まれる顔画像取得用ステレオカメラ405の配置状態を示している。この顔画像処理装置400は、自動車の車内に設けられ、自動車のドライバーである対象者Spの視線、顔姿勢、又は眼の開閉状態を検出する装置群である。
[Configuration of Vehicle Monitoring System According to Third Embodiment]
FIG. 13 shows the configuration of a face
図13に示すように、顔画像処理装置400は、顔画像取得用ステレオカメラ405と、コンピュータ(算出部)409とを備える。顔画像取得用ステレオカメラ405は、第1実施形態の顔画像取得用ステレオカメラ5と同様な構成を有し、2台のカメラ405a,405bを備え、それらのカメラ405a,405bが、それらの光軸を対象者Spに向けるように、対象者Spが操作する可動物体であるステアリングホイール(ハンドル)Hの中央部に埋め込んで設けられる。コンピュータ409は、自動車内に設けられた図5に示すハードウェア構成を有するコンピュータであり、第2実施形態に係る撮像制御部323、カメラ位置/姿勢検出部325、及び第1実施形態に係る画像処理部27と同様な機能部を有する。また、自動車の社内の天井あるいは座席のヘッドレスト等のカメラ405a,405bの視野に常に収まるような位置には複数のマーカーMが設けられる。このマーカーMは1つであってもよいが、画像処理の精度の観点からは複数設けられることが好ましい。
As shown in FIG. 13 , the face
コンピュータ409は、ステアリングホイールの回転に伴って変化する各カメラ405a,405bの位置及び姿勢を、得られた顔画像上のマーカーMの位置に基づいて検出し、その検出結果を利用して各カメラ405a,405bで得られた顔画像に差分位置補正を施すことによって、対象者Spの瞳孔位置あるいは瞳孔形状を取得する。これは、自動車においてステアリングホイールHが回転すると、各カメラ405a,405bにおいて回転と並進移動が生じ、それに応じて各カメラ405a,405bに映る顔画像に回転と並進移動が生じるために、正しい瞳孔位置あるいは瞳孔形状を得るためにはそれを反映する必要があるからである。また、各カメラ405a,405bにおいて回転と並進移動が生じると、顔画像上で角膜反射と瞳孔中心とを結ぶベクトルrの位置及び方向にも変化が生じる。例えば、コンピュータ409は、差分位置補正を行う際には、第1実施形態と同様にして、現在のフレームの顔画像中の瞳孔位置を予測して小ウィンドウを設定し、その小ウィンドウ内で角膜反射を検出し、前のフレームでの角膜反射位置が現在のフレームでの角膜反射位置と一致するように、顔画像上のベクトルrの回転角度に相当する角度で前のフレームの小ウィンドウ内の画像の所定の一部を回転させながらずらした後に、その所定の一部の画像について前のフレームと現在のフレームとで差分する。一方、コンピュータ409は、第1実施形態と同様にして、鼻孔(鼻孔間中点)あるいは頭部姿勢を利用して差分位置補正を行ってもよい。
The
上記形態の自動車用監視システムによれば、カメラ405a,405bの位置がステアリングホイールの回転により変化する場合であっても、対象者Spの顔画像を対象に、カメラ405a,405bの位置及び姿勢に基づいて画像処理を施すことにより、高精度にドライバーの瞳孔位置、視線、顔姿勢、あるいは瞳孔形状を基にした眼の開閉状態等を検出することができる。
According to the vehicle monitoring system of the above embodiment, even when the positions of the
特に、自動車用監視システムのコンピュータ409は、カメラ405a,405bの位置及び姿勢の変化を反映した顔画像の差分処理によって対象者の瞳孔の顔画像上の位置あるいは形状を検出している。この場合、対象者Spの顔画像を対象に、高精度に対象者Spの瞳孔の顔画像上の位置あるいは形状を検出することができる。
In particular, the
また、自動車用監視システムの顔画像取得用ステレオカメラ405は、ステアリングホイールに設けられているので、ハンドルコラム、コンソール等に設ける場合と比較して計測できる内容の可能性を広げることができる。特に、ステアリングホイールの向こう側のコンソールなどにカメラを取り付けた場合は、カメラと対象者の瞳孔の間に、運転者がステアリングホイールを回した際など、ハンドルコラムあるいは運転者の腕などが介在することになり、例えば、ハンドルコラムに顔が隠れたり、光源の光が反射して画像を乱す等が生じ、連続的に乱れのない理想的な顔画像を取得する妨げになると課題がある。本実施例では、例えば、ハンドルコラムよりも低い位置から対象者Spを見上げるような位置にカメラ405a,405bを設けることができ、対象者Spの鼻孔の検出が容易になり、鼻孔が検出できると、2個の瞳孔と鼻孔間中点を1つの塊として追跡できるために、動きの速い頭部運動に対してもロバストに顔姿勢を追跡することができる。結果的に、ロバストな瞳孔検出、さらには、正確な視線検出も可能となる。特に、カメラ405a,405bのビデオレートが遅い場合にはこのような効果が大きくなる。一方で、自動車内のステアリングホイールに設けられるカメラの位置及び姿勢を検出するには、自動車内の制御装置から出力される操舵角度を示すステアリング信号を利用することも考えられるが、このような信号にはノイズが含まれていたり遅延が生じるため、画像処理の精度が低くなる。これに対して、本実施形態では、顔画像で同時検出されるマーカーMを利用しているので、そのような問題も解決できる。
Moreover, since the face image
ここで、第3実施形態に係る瞳孔検出システムは、自動車での用途には限定されず、対象者が操作する可動物体を備える装置におけるシステムとしても応用できる。例えば、他の種類の乗り物、操作シミュレータ、遊技機、ゲーム機器、遠隔操作卓等の機器に応用できる。 Here, the pupil detection system according to the third embodiment is not limited to use in automobiles, and can also be applied as a system in a device provided with a movable object operated by a subject. For example, it can be applied to devices such as other types of vehicles, operation simulators, game machines, game machines, and remote consoles.
なお、上記第1~第3実施形態で撮像するマーカーMとしては、実際に個別に設置されたマーカーである必要はない。例えば、顔画像に含まれる背景画像からマーカーとみなせるような特徴点を抽出して、それをマーカーとして認識してもよい。 Note that the markers M to be imaged in the first to third embodiments do not have to be markers that are actually individually set. For example, a feature point that can be regarded as a marker may be extracted from the background image included in the face image and recognized as the marker.
1,301,400…顔画像処理装置、5,405…顔画像取得用ステレオカメラ、305b…顔画像取得用カメラ、5a,5b,405a,405b…カメラ、7,207,257,307…カメラ駆動系、9,309b,409…コンピュータ(算出部)、300…画像観察システム、305a…観察者検出用カメラ(光学系)、311…ディスプレイ装置(表示装置)、H…ステアリングホイール(ハンドル)、Sp,Sp2…対象者、Sp1…観察者。
1,301,400 Face image processing device 5405 Face image
Claims (10)
前記顔画像を対象に画像処理を実行する算出部と、を備え、
前記算出部は、前記顔画像上における前記固定点の位置を基に前記カメラの位置あるいは姿勢を検出し、前記カメラの位置あるいは姿勢を基に前記画像処理を実行し、
前記画像処理として、前記顔画像の複数のフレームを対象として、前記対象者の瞳孔の三次元位置を算出する位置算出処理を連続して実行し、
処理対象のフレームを対象にした前記位置算出処理は、
前のフレームを対象にした前記位置算出処理によって算出された前記瞳孔の三次元位置を基に、前記処理対象のフレームにおける前記瞳孔の三次元位置を予測する処理と、
予測した前記瞳孔の三次元位置と、前記処理対象のフレームにおいて検出された前記カメラの位置とを基に、前記処理対象のフレームの前記顔画像上の前記瞳孔の位置を推測する処理と、
前記前のフレームの前記顔画像上の前記瞳孔の位置と、推測した前記処理対象のフレームの前記顔画像上の前記瞳孔の位置とを基に、前記顔画像の位置補正を行ってから前記前のフレームと前記処理対象のフレームとの間で処理した画像を生成することによって前記対象者の瞳孔の前記処理対象のフレームの前記顔画像上の位置を検出する処理と、
当該位置を基に前記処理対象のフレームにおける前記瞳孔の三次元位置を算出する処理と、を含む
顔画像処理装置。 at least one camera that acquires facial images by imaging a subject's face and fixed points independent of the face;
A calculation unit that performs image processing on the face image,
The calculation unit detects the position or orientation of the camera based on the position of the fixed point on the face image, and executes the image processing based on the position or orientation of the camera,
Continuously executing a position calculation process for calculating the three-dimensional position of the pupil of the subject for a plurality of frames of the face image as the image processing,
The position calculation processing for the frame to be processed includes:
A process of predicting the three-dimensional position of the pupil in the frame to be processed based on the three-dimensional position of the pupil calculated by the position calculation process for the previous frame;
a process of estimating the position of the pupil on the face image of the processing target frame based on the predicted three-dimensional position of the pupil and the position of the camera detected in the processing target frame ;
Based on the positions of the pupils on the face image of the previous frame and the estimated positions of the pupils on the face image of the processing target frame, after correcting the position of the face image, A process of detecting the position of the subject's pupils on the face image in the frame to be processed by generating a processed image between the previous frame and the frame to be processed;
and calculating the three-dimensional position of the pupil in the frame to be processed based on the position.
Face image processing device.
請求項1記載の顔画像処理装置。 further comprising a drive system for controlling the position or orientation of the camera,
The face image processing device according to claim 1.
請求項1又は2に記載の顔画像処理装置。 The camera captures images of the fixed points at three or more locations,
The face image processing device according to claim 1 or 2.
請求項1~3のいずれか1項に記載の顔画像処理装置。 The calculation unit detects the position and orientation of the camera based on the positions of the fixed points, and executes the image processing using the position and orientation of the camera.
The facial image processing device according to any one of claims 1 to 3.
請求項1~4のいずれか1項に記載の顔画像処理装置。 The calculation unit uses the image processing to calculate the direction or distance of the subject's pupil as viewed from the camera,
The facial image processing device according to any one of claims 1 to 4.
請求項2記載の顔画像処理装置。 The calculation unit corrects blurring of the face image based on the position and/or orientation of the camera.
3. The face image processing device according to claim 2.
前記対象者とは別の観察者の頭部の位置及び姿勢を検出する光学系と、
前記観察者に対して前記顔画像を表示する表示装置とを備え、
前記駆動系は、前記頭部の位置及び姿勢に基づいて前記カメラの位置及び姿勢を制御し、
前記算出部は、ブレが補正された前記顔画像を前記表示装置に表示させる、
画像観察システム。 a face image processing device according to claim 6;
an optical system for detecting the position and orientation of the head of an observer different from the subject;
A display device for displaying the face image to the observer,
the drive system controls the position and orientation of the camera based on the position and orientation of the head;
The calculation unit causes the display device to display the face image whose blur has been corrected.
Image observation system.
請求項7に記載の画像観察システム。 The calculation unit enlarges or reduces the facial image based on the position and orientation of the camera, and then causes the display device to display the facial image.
The image observation system according to claim 7.
前記カメラは、前記対象者が操作する可動物体に取り付けられ、前記対象者の顔及び前記固定点を撮像し、
前記算出部は、前記対象者の瞳孔を検出する、
瞳孔検出システム。 Equipped with the face image processing device according to claim 1,
The camera is attached to a movable object operated by the subject, and images the subject's face and the fixed point,
The calculation unit detects a pupil of the subject.
Pupil detection system.
請求項9記載の瞳孔検出システム。 The calculation unit detects the position or shape of the subject's pupils on the face image by correcting the positions of the plurality of face images at different times reflecting changes in the position or posture of the camera.
10. Pupil detection system according to claim 9.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018225770A JP7269617B2 (en) | 2018-11-30 | 2018-11-30 | Face image processing device, image observation system, and pupil detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018225770A JP7269617B2 (en) | 2018-11-30 | 2018-11-30 | Face image processing device, image observation system, and pupil detection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020081756A JP2020081756A (en) | 2020-06-04 |
JP7269617B2 true JP7269617B2 (en) | 2023-05-09 |
Family
ID=70905242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018225770A Active JP7269617B2 (en) | 2018-11-30 | 2018-11-30 | Face image processing device, image observation system, and pupil detection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7269617B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7441417B2 (en) | 2020-03-13 | 2024-03-01 | マツダ株式会社 | Driver state estimation device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016502165A (en) | 2012-10-19 | 2016-01-21 | オートリブ ディベロップメント エービー | Driver attention detection method and apparatus |
JP2017102731A (en) | 2015-12-02 | 2017-06-08 | 国立大学法人静岡大学 | Gaze detection device and gaze detection method |
JP2017111746A (en) | 2015-12-18 | 2017-06-22 | 国立大学法人静岡大学 | Sight line detection device and sight line detection method |
JP2017188766A (en) | 2016-04-05 | 2017-10-12 | レノボ・シンガポール・プライベート・リミテッド | Electronic apparatus with camera, correction method for picked-up video image, and storage medium |
WO2018078857A1 (en) | 2016-10-31 | 2018-05-03 | 日本電気株式会社 | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0895429A4 (en) * | 1996-12-26 | 2002-05-02 | Sony Corp | Device and method for synthesizing image |
-
2018
- 2018-11-30 JP JP2018225770A patent/JP7269617B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016502165A (en) | 2012-10-19 | 2016-01-21 | オートリブ ディベロップメント エービー | Driver attention detection method and apparatus |
JP2017102731A (en) | 2015-12-02 | 2017-06-08 | 国立大学法人静岡大学 | Gaze detection device and gaze detection method |
JP2017111746A (en) | 2015-12-18 | 2017-06-22 | 国立大学法人静岡大学 | Sight line detection device and sight line detection method |
JP2017188766A (en) | 2016-04-05 | 2017-10-12 | レノボ・シンガポール・プライベート・リミテッド | Electronic apparatus with camera, correction method for picked-up video image, and storage medium |
WO2018078857A1 (en) | 2016-10-31 | 2018-05-03 | 日本電気株式会社 | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2020081756A (en) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI489969B (en) | Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable recording medium | |
JP6860488B2 (en) | Mixed reality system | |
US11068056B2 (en) | Wearable eye tracking system with slippage detection and correction | |
CN109804220B (en) | Apparatus and method for tracking head movement | |
JP2020034919A (en) | Eye tracking using structured light | |
US6578962B1 (en) | Calibration-free eye gaze tracking | |
WO2005063114A1 (en) | Sight-line detection method and device, and three- dimensional view-point measurement device | |
JP6631951B2 (en) | Eye gaze detection device and eye gaze detection method | |
JP2016173313A (en) | Visual line direction estimation system, visual line direction estimation method and visual line direction estimation program | |
EP3542308B1 (en) | Method and device for eye metric acquisition | |
JP2018099174A (en) | Pupil detector and pupil detection method | |
CN108369744A (en) | It is detected by the 3D blinkpunkts of binocular homography | |
JP2016099759A (en) | Face detection method, face detection device, and face detection program | |
JP2002143094A (en) | Visual axis detector | |
JP7269617B2 (en) | Face image processing device, image observation system, and pupil detection system | |
JPH0449943A (en) | Eye ball motion analyzer | |
JP7046347B2 (en) | Image processing device and image processing method | |
Kohlbecher et al. | Low-latency combined eye and head tracking system for teleoperating a robotic head in real-time | |
WO2021117606A1 (en) | Image processing device, system, image processing method and image processing program | |
JP6430813B2 (en) | Position detection apparatus, position detection method, gazing point detection apparatus, and image generation apparatus | |
JP2016057906A (en) | Measurement method and system of viewpoint position | |
Santini et al. | Depth perception in an anthropomorphic robot that replicates human eye movements | |
Schneider et al. | Vision system for wearable and robotic uses | |
JP2020177066A (en) | Observation state display system, observation state display method and program | |
JP2012170546A (en) | Visual line position-estimating system and program for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7269617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |