JP5092120B2 - Eye movement measurement device - Google Patents

Eye movement measurement device Download PDF

Info

Publication number
JP5092120B2
JP5092120B2 JP2006282082A JP2006282082A JP5092120B2 JP 5092120 B2 JP5092120 B2 JP 5092120B2 JP 2006282082 A JP2006282082 A JP 2006282082A JP 2006282082 A JP2006282082 A JP 2006282082A JP 5092120 B2 JP5092120 B2 JP 5092120B2
Authority
JP
Japan
Prior art keywords
eye movement
eyeball
image
imaging
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006282082A
Other languages
Japanese (ja)
Other versions
JP2008099716A (en
Inventor
暁林 張
則俊 宮下
佐藤  誠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2006282082A priority Critical patent/JP5092120B2/en
Publication of JP2008099716A publication Critical patent/JP2008099716A/en
Application granted granted Critical
Publication of JP5092120B2 publication Critical patent/JP5092120B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は眼球の運動を計測するための眼球運動計測装置に関し、特に、眼球の結膜及び/又は強膜の血管模様を撮像することで眼球の運動を計測可能な眼球運動計測装置に関する。   The present invention relates to an eye movement measuring apparatus for measuring eye movement, and more particularly to an eye movement measuring apparatus capable of measuring eye movement by imaging a conjunctival and / or scleral blood vessel pattern of the eye.

従来の眼球の運動を計測する手法としては、眼筋筋電測定法、角膜反射測定法、瞳孔中心位置測定法、虹彩位置測定法等があった。眼筋筋電計測法は、眼球の回転速度、相対回転位置等の測定を中心とするものであり、眼球の絶対位置の測定には累積誤差が生じてしまうため、測定精度は低かった。角膜反射測定法は、角膜の表面状態による個人差等の影響を受けやすく、これも測定精度は低かった。瞳孔中心位置測定法では、精度の問題だけでなく、測定時に視線の一部を妨げる問題もあった。また、虹彩位置測定法を除く従来の眼球運動計測装置は、眼球の視軸周りの回転角度を測定することができなかった。さらに、虹彩位置測定法では、光の強弱や精神状態により瞳孔の大きさが異なるため、これが測定精度に影響を及ぼす問題があった。さらに、現在の市販装置における測定誤差は、最も良い状態でも約0.5°程ある。したがって、例えば視線の位置を測定するのに用いられる場合には、遠くの視標になるほど誤差が大きいものとなっていた。   Conventional methods for measuring eye movement include an ocular myoelectric measurement method, a corneal reflection measurement method, a pupil center position measurement method, and an iris position measurement method. The ocular myoelectric measurement method is centered on the measurement of the rotation speed, relative rotation position, and the like of the eyeball, and the measurement accuracy is low because an accumulation error occurs in the measurement of the absolute position of the eyeball. The corneal reflection measurement method is easily affected by individual differences depending on the surface condition of the cornea, which also has a low measurement accuracy. The pupil center position measurement method has not only a problem of accuracy but also a problem of obstructing a part of the line of sight during measurement. In addition, conventional eye movement measurement devices other than the iris position measurement method cannot measure the rotation angle of the eyeball around the visual axis. Furthermore, in the iris position measurement method, the pupil size differs depending on the intensity of light and mental state, and this has a problem of affecting measurement accuracy. Furthermore, the measurement error in the current commercial apparatus is about 0.5 ° even in the best state. Therefore, for example, when it is used to measure the position of the line of sight, the error becomes larger as the target becomes farther away.

また、眼底像を撮像し、眼球に提示されたパターンを眼底像から抽出して眼球回転角を演算して眼球運動を測定しているものも存在する(特許文献1)。   In addition, there is a technique that takes a fundus image, extracts a pattern presented on the eyeball from the fundus image, calculates an eyeball rotation angle, and measures eye movement (Patent Document 1).

特開平4−156818JP-A-4-156818

しかしながら、従来の眼球運動測定装置は、上述のように測定精度が低いものであり、また、3自由度回転運動を計測することも難しかった。   However, the conventional eye movement measuring device has a low measurement accuracy as described above, and it has been difficult to measure a three-degree-of-freedom rotational movement.

また、眼球は固視微動という肉眼では見えないほど微小な運動をしていることが知られている。固視微動は、眼球が視標を固視している間にも常に高周波数(最高90Hz)で振動するものである。このように眼球の固視微動の運動速度が速いため、上述の種々の測定法や特許文献1に開示の技術を用いても、固視微動の計測まで行えるものは存在しなかった。そのため、より正確な眼球の位置を計測することは不可能であった。カメラを用いる従来の眼球運動測定装置は、30フレーム/秒から60フレーム/秒で撮像するカメラを用いるものが殆どであるため、運動速度の速い固視微動は捉えることができなかった。したがって、固視微動のような高速且つ運動距離が極めて短い眼球運動を正確に測定可能な装置は存在しなかった。   In addition, it is known that the eyeball is moving so fine that it cannot be seen with the naked eye, such as involuntary eye movement. Fixation micromotion always vibrates at a high frequency (up to 90 Hz) even while the eyeball is fixing the target. As described above, since the movement speed of eye movement of the eyeball is fast, there is no apparatus that can measure the eye movement even when using the various measurement methods described above and the technique disclosed in Patent Document 1. For this reason, it has been impossible to measure the position of the eyeball more accurately. Since most conventional eye movement measurement devices using a camera use a camera that captures images at 30 to 60 frames / second, it has been impossible to capture fixation micromotion with a high movement speed. Therefore, there has been no apparatus capable of accurately measuring eye movements such as fixation micromotion at a high speed and an extremely short movement distance.

さらに、このように眼球では固視微動が常に存在するため、眼球の結膜や強膜の血管を認識することもできなかった。   Furthermore, since eye movements always exist in this way, the conjunctiva of the eyeball and the blood vessels of the sclera cannot be recognized.

また、特許文献1の技術については、眼底像を撮影するとき、視線の一部を妨げる問題や、リアルタイム計測の問題、任意視標注視時の眼球位置測定の問題等があり、実用化するのは難しいものであった。   In addition, the technique disclosed in Patent Document 1 has a problem of obstructing a part of the line of sight when photographing a fundus image, a problem of real-time measurement, a problem of measuring an eyeball position when gazing at an arbitrary target, and the like. Was difficult.

本発明は、斯かる実情に鑑み、眼球の結膜及び/又は強膜の血管模様を撮像することで眼球の運動を計測可能な眼球運動計測装置を提供しようとするものである。   In view of such circumstances, the present invention intends to provide an eye movement measurement device capable of measuring the movement of the eyeball by imaging the blood vessel pattern of the conjunctiva and / or sclera of the eyeball.

上述した本発明の目的を達成するために、本発明による眼球運動計測装置は、眼球の固視微動を撮像可能なように、少なくとも200μm〜5000μm四方の撮像エリアを分解能1μm〜10μmで、0.01秒又はこれより速いシャッタ速度及び/又は100フレーム/秒以上で撮像可能な撮像手段と、撮像手段の撮像エリアの位置を調節する調節手段と、眼球の結膜及び/又は強膜の血管模様を認識及び追跡可能なように撮像手段により撮像される画像を画像処理する画像処理手段と、画像処理手段により画像処理される画像を用いて眼球の運動を計測する計測手段と、撮像手段により撮像される画像又は画像処理手段により画像処理される画像又は計測手段による計測結果を表示する表示手段とを具備するものである。   In order to achieve the above-described object of the present invention, an eye movement measuring apparatus according to the present invention is configured to capture an imaging area of at least 200 μm to 5000 μm square with a resolution of 1 μm to 10 μm, so as to be able to image the fixation eye movement of the eyeball. An imaging means capable of imaging at a shutter speed of 01 seconds or faster and / or 100 frames / second or more; an adjusting means for adjusting the position of the imaging area of the imaging means; and a blood vessel pattern of the conjunctiva and / or sclera of the eyeball An image processing unit that performs image processing on an image captured by the imaging unit so that the image can be recognized and tracked, a measuring unit that measures eye movement using the image processed by the image processing unit, and an image captured by the imaging unit Display means for displaying an image to be processed or an image processed by the image processing means or a measurement result by the measuring means.

ここで、計測手段は、画像処理される画像から結膜及び/又は強膜の血管模様のパターンを抽出し、結膜及び/又は強膜の血管模様のパターンの移動位置から眼球の回転角度を算出するものであれば良い。   Here, the measuring means extracts the conjunctival and / or scleral blood vessel pattern from the image to be processed, and calculates the rotation angle of the eyeball from the movement position of the conjunctival and / or scleral blood vessel pattern. Anything is fine.

また、眼球運動計測装置を同期を取って少なくとも2台用い、片方の眼球に対して異なる領域を撮像して眼球の運動を計測することで、眼球の3自由度回転位置を算出するものであっても良い。   In addition, at least two eye movement measuring devices are used in synchronization, and a three-degree-of-freedom rotational position of the eyeball is calculated by measuring a movement of the eyeball by imaging a different area with respect to one eyeball. May be.

さらに、眼球全体を撮像可能な広角撮像手段を有し、画像処理手段は眼球の結膜及び/又は強膜の位置を探索可能なように広角撮像手段により撮像される広角画像を画像処理し、調節手段は画像処理手段により画像処理される広角画像を用いて結膜及び/又は強膜の位置に合わせて撮像エリアの位置を手動で又は自動的に調整するものであっても良い。   Furthermore, it has wide-angle imaging means capable of imaging the entire eyeball, and the image processing means performs image processing and adjustment of the wide-angle image captured by the wide-angle imaging means so that the position of the conjunctiva and / or sclera of the eyeball can be searched. The means may be one that manually or automatically adjusts the position of the imaging area according to the position of the conjunctiva and / or sclera using a wide-angle image processed by the image processing means.

また、表示手段は、広角撮像手段により撮像される広角画像に、撮像手段の撮像エリアを示すマーク手段を表示するようにしても良い。   The display means may display mark means indicating the imaging area of the imaging means on the wide-angle image captured by the wide-angle imaging means.

また、調節手段は眼球の結膜及び/又は強膜の各部位を順次撮像可能なように撮像手段の撮像エリアの位置を順次移動させ、画像処理手段は順次撮像される画像をつなぎ合わせるように構成しても良い。   Further, the adjusting means is configured to sequentially move the position of the imaging area of the imaging means so that each part of the conjunctiva and / or sclera of the eyeball can be sequentially imaged, and the image processing means is configured to connect the sequentially captured images. You may do it.

また、画像処理手段は順次撮像される画像の特徴領域抽出を行い続く画像内の同じ特徴領域を探索し、同じ特徴領域が無い場合には他の新たな特徴領域抽出を行い続く画像内の同じ特徴領域を探索し、計測手段は探索された特徴領域に基づき眼球の回転を計測するように構成しても良い。   In addition, the image processing means sequentially extracts feature areas of images that are picked up sequentially, searches for the same feature area in the subsequent image, and if there is no same feature area, extracts another new feature area and performs the same in the subsequent image. The feature area may be searched, and the measuring unit may be configured to measure the rotation of the eyeball based on the searched feature area.

さらに、過去の画像と現在の画像を比較して認証する認証手段を有するようにしても良い。   Furthermore, an authentication unit that compares and authenticates a past image and a current image may be provided.

また、眼球運動計測装置を同期を取って少なくとも2台用いて両方の眼球を計測し、計測手段は、既知の位置の視標を注視するときの両方の眼球の回転角度を基準角度として算出し、未知の位置を注視するときの両方の眼球の回転角度と基準角度との差異から視線の位置を計測するように構成しても良い。   In addition, the eye movement measuring device is synchronized to measure both eyeballs by using at least two, and the measuring means calculates the rotation angle of both eyeballs when gazing at the target at a known position as a reference angle. The position of the line of sight may be measured from the difference between the rotation angle of both eyeballs and the reference angle when gazing at the unknown position.

さらに、撮像手段と眼球との間に配置されるミラーを有するようにしても良い。   Furthermore, you may make it have a mirror arrange | positioned between an imaging means and an eyeball.

またさらに、撮像手段と眼球との間に配置される光ファイバを有するようにしても良い。   Furthermore, you may make it have an optical fiber arrange | positioned between an imaging means and an eyeball.

また、眼球へ入射する撮像手段の視線と撮像エリア中心点の眼球の法線とのなす角が10°以内となるように構成すれば良い。   Further, the angle formed by the line of sight of the imaging means incident on the eyeball and the normal of the eyeball at the center of the imaging area may be configured to be within 10 °.

さらに、歯及び前頭部を固定する固定具を有するようにしても良い。   Furthermore, you may make it have a fixing tool which fixes a tooth | gear and a forehead.

本発明の眼球運動計測装置には、眼球の結膜及び/又は強膜の血管模様を撮像することで眼球の運動を正確に計測できるという利点がある。   The eye movement measurement apparatus of the present invention has an advantage that the movement of the eyeball can be accurately measured by imaging the blood vessel pattern of the conjunctiva and / or sclera of the eyeball.

以下、本発明を実施するための最良の形態を図示例と共に説明する。図1は、本発明の眼球運動計測装置を説明するための概略図である。図1に示されるように、本発明の眼球運動計測装置は、カメラ1とレンズ2からなる撮像装置3、調節機構4、画像処理部5、計測部6及びモニタ7から主に構成されている。また、必要により眼球を照らす光源8を設けても良い。   The best mode for carrying out the present invention will be described below with reference to the drawings. FIG. 1 is a schematic diagram for explaining an eye movement measuring apparatus of the present invention. As shown in FIG. 1, the eye movement measuring device of the present invention mainly includes an imaging device 3 including a camera 1 and a lens 2, an adjustment mechanism 4, an image processing unit 5, a measuring unit 6, and a monitor 7. . Moreover, you may provide the light source 8 which illuminates an eyeball as needed.

カメラ1は、高速撮影可能なカメラであり、好ましくは高速撮影可能なデジタルカメラである。また、レンズ2は高倍率なレンズである。そして、撮像装置3は、眼球の固視微動を撮像可能なように、撮像エリアや分解能、シャッタ速度、フレーム速度等が適宜設定される。具体的には、少なくとも200μm〜5000μm四方の撮像エリアを分解能1μm〜10μmで、0.01秒又はこれより速いシャッタ速度及び/又は100フレーム/秒以上で撮像可能となるように、カメラ1とレンズ2が選択される。より具体的には、カメラ1は、例えば株式会社フォトロンのFASTCAM(登録商標)を用いることが可能である。例えば1000フレーム/秒で撮像可能な100万画素のFASTCAM(登録商標)を用いた場合、レンズ2が10倍の光学倍率を有するものであれば、約2μm/ピクセルの解像度が実現可能となる。なお、この条件では、固視微動のうちトレモア(tremor)を精密に測定するには不十分であるが、他のフリック(flick)やドリフト(drift)を測定するには十分な空間分解能を有している。   The camera 1 is a camera capable of high-speed photography, and is preferably a digital camera capable of high-speed photography. The lens 2 is a high magnification lens. Then, the imaging device 3 is appropriately set with an imaging area, resolution, shutter speed, frame speed, and the like so as to be able to capture eye movements. Specifically, the camera 1 and the lens so that an imaging area of at least 200 μm to 5000 μm square can be imaged at a resolution of 1 μm to 10 μm at a shutter speed of 0.01 seconds or faster and / or 100 frames / second or more. 2 is selected. More specifically, the camera 1 can use, for example, FASTCAM (registered trademark) manufactured by Photoron Corporation. For example, when a 1 million pixel FASTCAM (registered trademark) capable of imaging at 1000 frames / second is used, if the lens 2 has an optical magnification of 10 times, a resolution of about 2 μm / pixel can be realized. Under these conditions, tremor is not sufficient for precise measurement of fixation microtremors, but sufficient spatial resolution is available for measuring other flicks and drifts. doing.

調節機構4は、撮像装置3の撮像エリアの位置を調整することで、撮像装置の撮像エリアの位置を任意に調節できるものである。具体的には、前後左右2自由度を有する調節台であれば良い。なお、調節機構は物理的なものではなく、ソフトウェア的に調節するものであっても良い。すなわち、広い撮像エリア内から所望の枠内を選択し、この枠の位置をソフトウェア的に調節するようなものであっても良い。調節機構4により、撮像エリアの位置を例えば眼球の中心と同じ高さの強膜表面となるように調整する。また、調節をより正確に行い頭部の動きを止めるために、必要により被測定者の頭部を固定する固定具を用いても良い。これは、より正確に眼球運動を計測しようとした場合、頭部を固定していないと眼球の回転なのか頭部の回転なのかが不明確となってしまうためである。具体的な固定具としては、歯で噛み締める棒状の部材や額の部分を押し付ける板状の部材等を組み合わせたものが挙げられる。固定具により頭部をしっかり固定することで、頭部の回転を無くすることが可能となり、正確な眼球運動の計測が可能となる。   The adjustment mechanism 4 can arbitrarily adjust the position of the imaging area of the imaging device by adjusting the position of the imaging area of the imaging device 3. Specifically, any adjustment base having two degrees of freedom in the front, rear, left, and right may be used. Note that the adjusting mechanism is not physical, and may be adjusted by software. That is, a desired frame may be selected from a wide imaging area, and the position of this frame may be adjusted by software. The position of the imaging area is adjusted by the adjustment mechanism 4 so that the sclera surface has the same height as the center of the eyeball, for example. Moreover, in order to adjust more accurately and stop the movement of the head, a fixture for fixing the head of the person to be measured may be used as necessary. This is because, when trying to measure the eye movement more accurately, it is unclear whether the eyeball is rotating or the head is rotating unless the head is fixed. Specific examples of the fixture include a combination of a rod-like member that is bitten with teeth and a plate-like member that presses a forehead portion. By firmly fixing the head with the fixing tool, it is possible to eliminate the rotation of the head and to accurately measure the eye movement.

また、調節機構はアクチュエータ等を用いて撮像装置の位置を自由に自動的に設定するように構成することも可能である。なお、眼角等も同時に撮像しておき、この位置を基準に、頭部の動きを補償することも可能である。   Further, the adjustment mechanism can be configured to automatically and freely set the position of the imaging device using an actuator or the like. It is also possible to take an image of an eye angle or the like at the same time and compensate for the movement of the head based on this position.

画像処理部5は、パーソナルコンピュータ等の電子計算機から構成されるものであり、種々の画像処理を行うものである。すなわち、画像処理部5は、眼球の結膜や強膜の血管模様を認識して追跡できるように、撮像装置3により撮像された画像を画像処理する。具体的には、画像処理部5は、撮像された画像に対して前処理としてノイズ除去処理をまず行う。通常の高速度カメラの撮影では、露光時間が非常に短くなるため適正露出とするためには十分な光量での照明が必要になる。しかしながら、眼球に対しては強い光を当てて撮像することが困難であるため、弱い光量での撮像となるので、高感度ノイズ等のランダムノイズが画像に乗ってしまう。したがって、このようなノイズを除去するために、ノイズ除去処理、例えばメディアンフィルタ処理を行う。また、レンズ2の特性等により、撮像された画像に、ケラレやビネッティングと呼ばれる周辺光量の低下が現れる場合等もある。また、眼球を照らす光源8の照射斑による明度の偏りが起こる場合もある。したがって、このような偏りを補正するように、必要によりビネッティング補正や照射斑補正を行っても良い。なお、このような補正は、例えば眼球を撮像した画像に対して、事前に白紙を撮影した画像で除算することで可能となる。   The image processing unit 5 is composed of an electronic computer such as a personal computer, and performs various image processing. That is, the image processing unit 5 performs image processing on the image captured by the imaging device 3 so that the conjunctiva of the eyeball or the blood vessel pattern of the sclera can be recognized and tracked. Specifically, the image processing unit 5 first performs noise removal processing as preprocessing on the captured image. In normal high-speed camera shooting, the exposure time is very short, so illumination with a sufficient amount of light is necessary to achieve proper exposure. However, since it is difficult to pick up an image by applying strong light to the eyeball, an image is picked up with a low light quantity, and therefore random noise such as high-sensitivity noise gets on the image. Therefore, in order to remove such noise, noise removal processing, for example, median filter processing is performed. Further, due to the characteristics of the lens 2 or the like, there may be a case where a decrease in peripheral light amount called vignetting or vignetting appears in the captured image. In addition, there may be a deviation in brightness due to irradiation spots of the light source 8 that illuminate the eyeball. Therefore, vignetting correction and irradiation spot correction may be performed as necessary so as to correct such bias. Such correction can be performed by dividing an image obtained by capturing an eyeball by an image obtained by photographing a blank sheet in advance.

また、画像処理部5では、必要により瞬きの瞬間の画像は利用しないようにすることも可能である。具体的には、順次撮像される画像が前後で大きく異なる場合には、その間の画像は省くように処理しても良い。さらに、必要により睫や瞼等の影響、影の影響等を画像から除去する処理を行っても良い。   Further, the image processing unit 5 may be configured not to use the image at the moment of blinking if necessary. Specifically, when images that are sequentially picked up are largely different from each other, processing may be performed so as to omit the images between them. Further, if necessary, the process of removing the influence of wrinkles and wrinkles, the influence of shadows, and the like from the image may be performed.

このようにして画像処理部5にて所定の処理が加えられた画像に対して、次に、計測部6で眼球の移動量を算出する。計測部6は、パーソナルコンピュータ等の電子計算機から構成されれば良く、また、画像処理部の電子計算機と共通のものであっても構わない。まず、計測部6では、基準フレームの設定を行う。基準フレームとは、撮像された画像内の所定のパターンとのマッチングを行うベースとなる予め指定された1つのフレーム画像をいう。マッチングにおいては、対応付けは連続する2つのフレーム間で行うのではなく、予め選択された基準フレームとのマッチングを行う。これは、眼球の移動量が画像上ではサブピクセル(1ピクセル以下)となる場合があるため、連続フレーム間で移動量を計算していくと累積誤差が生じてしまうからである。したがって、基準フレームを例えば視認により予め決定しておき、これを用いて各フレームとのマッチングを行い、移動量を算出する。   Next, the moving amount of the eyeball is calculated by the measuring unit 6 with respect to the image to which the predetermined processing is added in the image processing unit 5 in this way. The measuring unit 6 may be composed of an electronic computer such as a personal computer, and may be the same as the electronic computer of the image processing unit. First, the measurement unit 6 sets a reference frame. The reference frame refers to one frame image designated in advance as a base for performing matching with a predetermined pattern in a captured image. In matching, matching is not performed between two consecutive frames, but matching with a preselected reference frame is performed. This is because the amount of movement of the eyeball may be a sub-pixel (1 pixel or less) on the image, and therefore, if the amount of movement is calculated between successive frames, an accumulated error occurs. Accordingly, the reference frame is determined in advance by visual recognition, for example, and is used for matching with each frame to calculate the movement amount.

所定のパターンとしては、眼球の結膜及び/又は強膜の血管模様を用いることが可能である。従来の眼球運動測定装置では、眼球の結膜及び/又は強膜の血管模様を撮像することは不可能であったが、本発明の眼球運動測定装置では、眼球の固視微動を撮像可能な条件で撮像しているため、結膜及び/又は強膜の血管模様まで撮像可能である。したがって、これをマッチングを行うときの所定のパターンとすれば良い。   As the predetermined pattern, it is possible to use an eyeball conjunctiva and / or a scleral blood vessel pattern. In the conventional eye movement measurement device, it was impossible to image the conjunctiva and / or sclera blood vessel pattern of the eyeball. However, in the eye movement measurement device of the present invention, the conditions under which the eye movement of the eyeball can be imaged are fixed. Therefore, it is possible to image even the blood vessel pattern of the conjunctiva and / or sclera. Therefore, this may be a predetermined pattern for matching.

ここで、基準フレームと任意の注目フレームとの間のマッチングについて説明する。マッチング法は、パターン認識において理想的なパターンと観測されたパターンとを重ね合わせることにより、観測されたパターンが何であるか判断する手法として良く知られている。本発明では、基準フレームの画像内の所定のパターンと注目フレームとのマッチングを行い、同一パターンの移動量をピクセル単位で算出する。ここで、マッチング法には、主にテンプレートマッチング法と構造マッチング法が存在する。テンプレートマッチング法では、パターンをそのまま注目フレームに重ね合わせ、各要素(各画素)を比較することで類似度を決定している。構造マッチング法では、基準フレームと注目フレームのパターンから特徴点を抽出し、その各特徴点の位置関係を比較することで類似度を決定している。本発明の眼球運動計測装置では、何れのマッチング法を用いても良いが、撮像される画像に輪郭等が少なく明確な特徴量の抽出が難しい場合には、テンプレートマッチング法を採用するのが好ましい。テンプレートマッチング法としては、相関係数を用いる方法、SSDA(Sequential Similarity Detection Algorism)法、最小2乗マッチング法等が知られている。眼球は略平行・回転運動しかなく、また、実際に試した結果から、この中でもSSDA法が最も好ましい。   Here, matching between a reference frame and an arbitrary frame of interest will be described. The matching method is well known as a method for judging what an observed pattern is by superimposing an ideal pattern and an observed pattern in pattern recognition. In the present invention, a predetermined pattern in the image of the reference frame is matched with the target frame, and the movement amount of the same pattern is calculated in units of pixels. Here, the matching method mainly includes a template matching method and a structure matching method. In the template matching method, the similarity is determined by superimposing the pattern on the frame of interest as it is and comparing each element (each pixel). In the structure matching method, feature points are extracted from patterns of a reference frame and a target frame, and the degree of similarity is determined by comparing the positional relationship between the feature points. In the eye movement measurement apparatus of the present invention, any matching method may be used. However, when it is difficult to extract a clear feature amount with a small outline or the like in a captured image, it is preferable to employ a template matching method. . As a template matching method, a method using a correlation coefficient, an SSDA (Sequential Similarity Detection Algorithm) method, a least square matching method, and the like are known. The eyeball has only approximately parallel / rotational motion, and the SSDA method is the most preferable among them from the results of actual trials.

が与えられたとする。すなわち、探索画像が例えば注目フレームであり、参照画像が基準フレーム内の選択された一部領域とする。このとき、注目フレーム内の探索窓と基準フレ
上式で与えられる探索窓の位置が、参照画像と最も類似していることになる。すなわち、
Is given. That is, the search image is, for example, a frame of interest, and the reference image is a selected partial region in the standard frame. At this time, the search window and the reference frame in the frame of interest
The position of the search window given by the above equation is most similar to the reference image. That is,

なお、上述のSSDA法によるマッチング法では、参照画像が注目フレーム内で平行移動した場合のみ検出が可能であり、注目フレーム内の領域が幾何学変形した場合には対応できず、眼球の回転運動については基本的に2自由度しか算出することができない。これでも問題はないが、SSDA法に替わって最小2乗マッチング法を用いれば、眼球の3自由度回転も算出可能となり、幾何学変形にも対応可能となる。   Note that the above-mentioned matching method based on the SSDA method can detect only when the reference image is translated within the frame of interest, and cannot detect when the region within the frame of interest is geometrically deformed. Basically, only two degrees of freedom can be calculated. Although there is no problem with this, if the least square matching method is used instead of the SSDA method, it is possible to calculate the three-degree-of-freedom rotation of the eyeball, and it is possible to deal with geometric deformation.

フレームごとの処理の最後に、基準フレームと注目フレームを用いて眼球の相対回転角を計算する。図2を用いて、回転角と撮像部位の関係を説明する。図2は、眼球の回転角と撮像部位の関係を説明するための図である。なお、撮影の前提としては、撮像装置3は眼球の中心に向いていることが好ましい。すなわち、理論的にはカメラの光軸(視軸)は撮像エリアの中心点の法線と重なるときが最も好ましく、ずれるほどピントが合わなくなる領域が出てきてしまう。高倍率レンズの被写界深度は非常に浅いため、カメラの視線が撮像エリア中心の眼球の法線とずれてしまうと、眼球表面からカメラの結像面までの距離が離れてしまい被写界深度内に納まらずにぼけてしまうためである。したがって、これを避ける意味でも、眼球へ入射する前記撮像手段の視線と撮像エリア中心点の眼球の法線とのなす角が約10°以内程度であることが好ましい。   At the end of the processing for each frame, the relative rotation angle of the eyeball is calculated using the reference frame and the target frame. The relationship between the rotation angle and the imaging region will be described with reference to FIG. FIG. 2 is a diagram for explaining the relationship between the rotation angle of the eyeball and the imaging region. As a premise for photographing, it is preferable that the imaging device 3 is oriented toward the center of the eyeball. That is, theoretically, it is most preferable that the optical axis (visual axis) of the camera overlaps with the normal line of the center point of the imaging area, and an area that is out of focus will come out as it deviates. Since the depth of field of the high-magnification lens is very shallow, if the line of sight of the camera deviates from the normal of the eyeball at the center of the imaging area, the distance from the eyeball surface to the imaging plane of the camera will be increased. This is because it will be out of focus and will be blurred. Therefore, in order to avoid this, it is preferable that the angle formed by the line of sight of the imaging unit incident on the eyeball and the normal of the eyeball at the center of the imaging area is about 10 ° or less.

さて、フレーム間の移動量から眼球回転角を算出するに当たり、mピクセルだけ画像上で注目フレームが移動したとき、眼球の相対回転角を図2に示されるようにθとすれば、その近似値θ’は、以下の式で示される。
但し、rは眼球の半径(眼球を真球と仮定)、λは1画素の一辺に対応する焦点面(ピント面)の長さ、lは見かけ上の眼球表面の移動距離であり、l=m×λである。なお、θ’は、撮像された画像における眼球表面を球面ではなく平面として捉えて近似した値である。眼球の大きさに対して撮像エリアが微小なのでこのような近似が可能となる。
Now, in calculating the eyeball rotation angle from the amount of movement between frames, when the frame of interest moves on the image by m pixels, if the relative rotation angle of the eyeball is θ as shown in FIG. θ ′ is expressed by the following equation.
Where r is the radius of the eyeball (assuming the eyeball is a true sphere), λ is the length of the focal plane (focus plane) corresponding to one side of one pixel, l is the apparent distance of movement of the eyeball surface, and l = m × λ. Note that θ ′ is a value obtained by approximating the surface of the eyeball in the captured image as a plane instead of a spherical surface. Such an approximation is possible because the imaging area is small relative to the size of the eyeball.

ここで、基準フレームにおける中心点は、他のすべてのフレームにおいても存在する点を選択する必要がある。これによって、θ’は所定値以下に抑えられる。このときの誤差を具体的に説明する。焦点面における正方撮影範囲の一辺の長さを2s、撮像装置の撮像面から焦点面までの距離をwdとする。また、図2において、Oは眼球の中心、Lは撮像
の限界点である。このとき、ΔLBCとΔLDEの相似性に着目すると、以下の式が導ける。
ここで、光学倍率が5倍の対物レンズを用いたときのr、s、wd、λの実測値(r=11.5mm、s=0.98mm、wd=64mm、λ=3.8μm/ピクセル)を上記の式に代入すると、誤差θ’―θは図3のグラフに示されるようになる。最も誤差が発生する撮影範囲の端でも誤差は0.000159ラジアンである。例えばカメラの撮像素子の一辺の分解能が512ピクセルの場合、この誤差の影響は画像上で1/3ピクセルずれる程度であり、無視できると考えられる。
Here, as the center point in the reference frame, it is necessary to select a point that exists in all other frames. Thereby, θ ′ is suppressed to a predetermined value or less. The error at this time will be specifically described. The length of one side of the square imaging range on the focal plane is 2 s, and the distance from the imaging plane of the imaging apparatus to the focal plane is wd. In FIG. 2, O is the center of the eyeball, and L is the image.
This is the limit point. At this time, focusing on the similarity between ΔLBC and ΔLDE, the following equation can be derived.
Here, measured values of r, s, wd, and λ when using an objective lens having an optical magnification of 5 (r = 11.5 mm, s = 0.98 mm, wd = 64 mm, λ = 3.8 μm / pixel) ) Is substituted into the above equation, the error θ′−θ is as shown in the graph of FIG. The error is 0.000159 radians even at the end of the imaging range where the error occurs most. For example, when the resolution of one side of the image sensor of the camera is 512 pixels, the influence of this error is about 1/3 pixel shift on the image, and can be ignored.

このように、フレームごとに基準フレームからの相対眼球回転角を算出し、必要により連続するフレーム間の眼球回転角を求めて、一連の眼球回転運動を計測することが可能となる。そして、計測された回転運動は、モニタ7にて表示される。図4に、表示される眼球の固視微動の様子の一例を示す。このように高解像度で正確な眼球の固視微動の軌跡をトレースすることが可能となる。なお、モニタ7は必要によりカメラ1や画像処理部5に接続され、撮像される画像や画像処理される画像の目視によるチェックにも用いることが可能である。   As described above, it is possible to calculate a relative eyeball rotation angle from the reference frame for each frame, obtain an eyeball rotation angle between successive frames as necessary, and measure a series of eyeball rotation motions. The measured rotational motion is displayed on the monitor 7. FIG. 4 shows an example of the state of the fixation eye movement of the displayed eyeball. In this way, it is possible to trace the trajectory of eye movements with high resolution and accuracy. Note that the monitor 7 is connected to the camera 1 and the image processing unit 5 as necessary, and can be used for visual check of a captured image and an image processed image.

ここで、上述の図示例では、撮像対象である眼球に直接撮像装置を向けて眼球運動を計測するものを示していたが、本発明はこれに限定されず、以下に説明するように、撮像装置の位置を任意の場所に設置して、間接的に眼球運動を計測するように構成しても良い。すなわち、撮像装置と眼球との間にミラーを配置し、ミラーにより撮像装置の視線を屈折させて、撮像装置を例えば眼球の視線を遮らない位置に設置するように構成することが可能となる。直接撮像装置を眼球に向ける場合には、撮像装置自体の大きさ等のために、眼球の視線を遮ったり視野を狭めたりする場合がある。しかしながら、上述のようにミラーを間に設置することにより、撮像装置自体による視野の遮りという問題を回避することが可能となる。   Here, in the above-described illustrated example, the eyeball that measures the eyeball movement by directing the imaging device directly toward the eyeball to be imaged is shown. However, the present invention is not limited to this, and as described below, imaging is performed. You may comprise so that the position of an apparatus may be installed in arbitrary places and an eye movement may be measured indirectly. In other words, it is possible to arrange the mirror between the imaging device and the eyeball so that the line of sight of the imaging device is refracted by the mirror so that the imaging device is installed at a position that does not block the line of sight of the eyeball, for example. When the imaging device is directly directed to the eyeball, the line of sight of the eyeball may be blocked or the field of view may be narrowed due to the size of the imaging device itself. However, by providing the mirror in between as described above, it is possible to avoid the problem of obstructing the field of view due to the imaging device itself.

また、ミラーの代わりに、例えば光ファイバを眼球と撮像装置との間に配置して任意の位置から撮像装置の視線を眼球まで導くように構成しても良い。光ファイバを用いた場合には、撮像装置から眼球までの距離も調整可能である。ミラーの場合、撮像装置の設置位置は眼球の位置とレンズの焦点距離によって決まるため、ミラーを間に設置したとしても眼球から撮像装置までのトータルの距離はミラーを設けない場合と同じである。しかしながら、光ファイバの場合には、トータルの距離も任意に設定可能であるため、撮像装置を任意のところに設置することが可能となる。   Further, instead of the mirror, for example, an optical fiber may be disposed between the eyeball and the imaging device so that the line of sight of the imaging device is guided from an arbitrary position to the eyeball. When an optical fiber is used, the distance from the imaging device to the eyeball can also be adjusted. In the case of a mirror, the installation position of the imaging device is determined by the position of the eyeball and the focal length of the lens. Therefore, even if a mirror is installed, the total distance from the eyeball to the imaging device is the same as when no mirror is provided. However, in the case of an optical fiber, the total distance can also be set arbitrarily, so that the imaging device can be installed at an arbitrary location.

なお、上述の説明では片方の眼球に対して1つの眼球運動計測装置を用いる例を説明したが、本発明はこれに限定されず、眼球運動計測装置を同期を取って少なくとも2つ用い、片方の眼球に対して異なる領域を撮像して眼球の運動を計測することで、眼球の3自由度回転位置を高精度に算出するように構成しても良い。1つの眼球運動計測装置であっても3自由度の回転位置を計測可能ではあるが、撮像エリアが非常に小さいため、回転角の精度を高めるために、例えば眼球の両側の領域を同時に撮像して計測することで、眼球の3自由度の回転位置を高精度に計測可能となる。なお、眼球運動計測装置を複数用いる場合には、撮像装置は複数でも、以降の画像処理や計測部、モニタ等は1つのものを共通で用いるように構成しても勿論構わない。   In the above description, an example in which one eye movement measurement device is used for one eyeball has been described. However, the present invention is not limited to this, and at least two eye movement measurement devices are used in synchronization. It may be configured to calculate the three-degree-of-freedom rotation position of the eyeball with high accuracy by imaging different areas with respect to the eyeball and measuring the movement of the eyeball. Even with a single eye movement measurement device, it is possible to measure a rotational position with three degrees of freedom, but since the imaging area is very small, for example, the areas on both sides of the eyeball are imaged simultaneously in order to increase the accuracy of the rotation angle. This makes it possible to measure the rotational position of the three degrees of freedom of the eyeball with high accuracy. When a plurality of eye movement measurement devices are used, it is of course possible to use a plurality of imaging devices, or to use a single image processing device, a measurement unit, a monitor, etc. in common.

さらに、眼球運動計測装置を少なくとも2つ用いて両方の眼球を計測するように構成しても構わない。この場合、例えば、予め既知の位置の視標を注視するときの両方の眼球の回転角度を基準角度として計測部で算出しておき、この基準角度と未知の位置を注視するときの両方の眼球の回転角度との差異から、被測定者の視線の位置を計測することも可能となる。なお、この場合にも、撮像装置は複数でも、以降の画像処理や計測部、モニタ等は1つのものを共通で用いるように構成しても勿論構わない。従来の装置では、誤差が約0.5°あったが、本願発明の装置の場合には、誤差は0.0002°程度以上に抑えることが可能であるため、非常に高精度に視線位置の計測が可能となる。   Furthermore, you may comprise so that both eyeballs may be measured using at least two eye movement measuring devices. In this case, for example, the measurement unit calculates in advance the rotation angle of both eyeballs when gazing at the target at a known position as a reference angle, and both eyeballs when gazing at the reference angle and the unknown position It is also possible to measure the position of the line of sight of the person being measured from the difference from the rotation angle. In this case as well, a plurality of imaging devices may be used, and the following image processing, measurement unit, monitor, and the like may be configured to use one in common. In the conventional apparatus, the error was about 0.5 °. However, in the case of the apparatus of the present invention, the error can be suppressed to about 0.0002 ° or more, so the line-of-sight position can be very accurately detected. Measurement is possible.

また、眼球の結膜及び/又は強膜の位置をすばやく検出可能となるように、眼球全体を撮像可能な広角レンズを有するカメラをさらに設けても良い。なお、カメラは共通で高倍率レンズと広角レンズを切り替えて撮像可能なように構成された撮像装置を用いても良い。この場合、画像処理部5では、最初に広角レンズにより撮像された広角画像を画像処理して結膜及び/又は強膜の位置を探索可能とする。そして、調節機構4を用いて結膜及び/又は強膜の位置に合わせて撮像エリアの位置を手動又は自動的に調整し、その後高倍率レンズに切り替えて結膜及び/又は強膜の血管模様を撮像する。手動で位置の調整を行う場合には、モニタ7に撮像されている画像を表示させ、これを参照しながら調節機構4で調節すれば良い。自動的に位置を調節する場合には、例えば広角画像の中から虹彩や眼角等の特徴パターンを探索し、それらの位置を基準に予め決定される結膜及び/又は強膜の位置に、高倍率レンズの視線を合わせるように調節機構4を自動で調節しても良いし、ズームレンズでズームイン動作するようにしても良い。モニタには、必要により広角画像に高倍率レンズによる撮像エリアを示すマークを表示しても良い。マークは撮像エリアを囲む枠でも良いし、四角い撮像エリアの角の位置を示すマークでも良い。   Further, a camera having a wide-angle lens that can image the entire eyeball may be further provided so that the position of the conjunctiva and / or sclera of the eyeball can be quickly detected. In addition, you may use the imaging device comprised so that a common camera can switch and image by switching a high magnification lens and a wide angle lens. In this case, the image processing unit 5 performs image processing on the wide-angle image first picked up by the wide-angle lens so that the position of the conjunctiva and / or sclera can be searched. The adjustment mechanism 4 is used to manually or automatically adjust the position of the imaging area according to the position of the conjunctiva and / or sclera, and then switch to a high-magnification lens to image the blood vessel pattern of the conjunctiva and / or sclera. To do. When the position is adjusted manually, the image picked up on the monitor 7 is displayed and adjusted by the adjusting mechanism 4 while referring to this image. When the position is automatically adjusted, for example, a feature pattern such as an iris or an eye angle is searched from a wide-angle image, and a high magnification is applied to the position of the conjunctiva and / or sclera determined in advance based on the position. The adjustment mechanism 4 may be automatically adjusted so as to match the line of sight of the lens, or a zoom-in operation may be performed with a zoom lens. If necessary, a mark indicating an imaging area by a high-power lens may be displayed on a wide-angle image on the monitor. The mark may be a frame surrounding the imaging area, or a mark indicating the corner position of a square imaging area.

さらに、基準フレームの設定は、連続撮像しながら設定することも可能である。例えば、眼球運動により現在の撮像領域が基準フレームの撮像範囲を超えてしまう場合、これまで取り込んだ画像から、所定の画像を基準フレームとし、新しい基準フレームを基準として設定した眼球の移動量を計測することができる。新旧両基準フレーム画像が表す眼球回転角度を追加することによって、眼球の任意回転角度を計測することができる。   Furthermore, the reference frame can be set while continuously capturing images. For example, when the current imaging area exceeds the imaging range of the reference frame due to eye movements, the movement amount of the eyeball set based on the new reference frame is measured from the previously captured image as the reference frame can do. An arbitrary rotation angle of the eyeball can be measured by adding the eyeball rotation angle represented by the old and new reference frame images.

また、調節機構4を用いて、眼球の結膜及び/又は強膜の各部位を順次撮像可能なように撮像装置の撮像エリアの位置を順次移動していき、画像処理部5で順次撮像された画像をつなぎ合わせるように構成しても良い。これにより、より広いエリアの結膜及び/又は強膜の血管模様の撮像が可能となる。   Further, the adjustment mechanism 4 is used to sequentially move the position of the imaging area of the imaging device so that each part of the conjunctiva and / or sclera of the eyeball can be sequentially imaged, and the image processing unit 5 sequentially captures images. You may comprise so that an image may be joined. This enables imaging of a conjunctival and / or scleral blood vessel pattern in a wider area.

なお、計測部6において、順次撮像された画像を用いて上記のようにパターン認識でマッチングを行い、調節機構4と連動させて眼球の回転に追従するようにすることも可能である。具体的には、まず画像処理部5にて撮像される画像の1つから特徴部分の特徴領域抽出を行い、順次撮像される続く画像内で、この特徴部分と同じ領域を探索し、計測部6にて眼球の回転角度を計測する。そしてその角度に合わせて調節機構4により撮像装置3の撮像エリアの位置を調節する。このように構成することで、眼球の回転に追従して広い範囲での眼球運動の計測が可能となる。なお、必要により上記のように順次撮像された画像をつなぎ合わせるように構成しても良い。   Note that the measurement unit 6 can perform matching by pattern recognition as described above using sequentially captured images, and can follow the rotation of the eyeball in conjunction with the adjustment mechanism 4. Specifically, first, the feature region of the feature portion is extracted from one of the images picked up by the image processing unit 5, and the same region as the feature portion is searched in the subsequent images picked up sequentially, and the measurement portion At 6, the rotation angle of the eyeball is measured. Then, the position of the imaging area of the imaging device 3 is adjusted by the adjusting mechanism 4 according to the angle. With this configuration, it is possible to measure the eye movement in a wide range following the rotation of the eyeball. Note that, if necessary, the images sequentially captured as described above may be connected.

なお、本発明の眼球運動計測装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。   Note that the eye movement measurement device of the present invention is not limited to the above-described illustrated examples, and it is needless to say that various modifications can be made without departing from the gist of the present invention.

例えば、本発明の眼球運動計測装置では、眼球の結膜及び/又は強膜の血管模様を測定することが可能となるため、予め撮像された過去の画像のうちの結膜及び/又は強膜血管模様と、現在の画像とを比較して、動物や人間等の認証に用いることも可能である。結膜及び/又は強膜の血管模様は一人一人異なる固有の模様であるため、個人認証等の認証に用いることが可能となる。また、血流も見て取れるため、工学的に模型等を用いて模倣することは容易でないので信頼性も高い。さらに、毛細血管は年齢により変化していくものであるため、一定期間のみ有効な生体認証方式として利用することも可能である。さらに、眼底や虹彩等を用いた認証方式を組み合わせたり、他の認証方式、例えば指紋や声紋、音声、静脈等を用いた認証方式を別途組み合わせることも勿論可能である。   For example, in the eye movement measurement apparatus of the present invention, it is possible to measure the conjunctiva and / or scleral blood vessel pattern of the eyeball. Therefore, the conjunctival and / or scleral blood vessel pattern in the past images captured in advance. And the current image can be used for authentication of animals and humans. Since the blood vessel pattern of the conjunctiva and / or sclera is a unique pattern that differs from person to person, it can be used for authentication such as personal authentication. In addition, since the blood flow can also be seen, it is not easy to imitate it using a model or the like in engineering, so it is highly reliable. Furthermore, since capillaries change with age, they can be used as a biometric authentication method that is effective only for a certain period. Furthermore, it is of course possible to combine authentication methods using the fundus, iris, etc., or to combine other authentication methods, such as authentication methods using fingerprints, voiceprints, voices, veins, etc., separately.

図1は、本発明の眼球運動計測装置を説明するための概略図である。FIG. 1 is a schematic diagram for explaining an eye movement measuring apparatus of the present invention. 図2は、眼球の回転角と撮像部位の関係を説明するための図である。FIG. 2 is a diagram for explaining the relationship between the rotation angle of the eyeball and the imaging region. 図3は、誤差θ’―θを表わすグラフである。FIG. 3 is a graph showing the error θ′−θ. 図4は、表示される眼球の固視微動の様子の一例である。FIG. 4 is an example of a state of microscopic eye movements of the displayed eyeball.

符号の説明Explanation of symbols

1 カメラ
2 レンズ
3 撮像装置
4 調節機構
5 画像処理部
6 計測部
7 モニタ
8 光源
DESCRIPTION OF SYMBOLS 1 Camera 2 Lens 3 Imaging device 4 Adjustment mechanism 5 Image processing part 6 Measuring part 7 Monitor 8 Light source

Claims (13)

眼球の運動を計測する眼球運動計測装置であって、該装置は、
眼球の固視微動を撮像可能なように、少なくとも200μm〜5000μm四方の撮像エリアを分解能1μm〜10μmで、0.01秒又はこれより速いシャッタ速度及び/又は100フレーム/秒以上で撮像可能な撮像手段と、
前記撮像手段の撮像エリアの位置を調節する調節手段と、
眼球の結膜及び強膜の血管模様を認識及び追跡可能なように前記撮像手段により撮像される画像を画像処理する画像処理手段と、
前記画像処理手段により画像処理される画像を用いて眼球の運動を計測する計測手段と、
前記撮像手段により撮像される画像又は画像処理手段により画像処理される画像又は計測手段による計測結果を表示する表示手段と、
を具備することを特徴とする眼球運動計測装置。
An eye movement measuring device for measuring eye movement, the device comprising:
Imaging capable of imaging an imaging area of at least 200 μm to 5000 μm square with a resolution of 1 μm to 10 μm at a shutter speed of 0.01 seconds or faster and / or 100 frames / second or more so as to be able to image fixation eye movements of the eyeball. Means,
Adjusting means for adjusting the position of the imaging area of the imaging means;
Image processing means for image processing an image picked up by the image pickup means so as to be able to recognize and track a blood vessel pattern of the conjunctiva and sclera of the eyeball;
Measuring means for measuring eye movement using an image processed by the image processing means;
Display means for displaying an image captured by the imaging means or an image processed by the image processing means or a measurement result by the measurement means;
An eye movement measuring device comprising:
請求項1に記載の眼球運動計測装置において、前記計測手段は、前記画像処理される画像から結膜及び/又は強膜の血管模様のパターンを抽出し、結膜及び/又は強膜の血管模様のパターンの移動位置から眼球の回転角度を算出することを特徴とする眼球運動計測装置。   2. The eye movement measurement apparatus according to claim 1, wherein the measurement unit extracts a conjunctival and / or scleral blood vessel pattern from the image processed image, and the conjunctival and / or scleral blood vessel pattern. An eye movement measuring device that calculates a rotation angle of an eyeball from a moving position of the eyeball. 請求項2に記載の眼球運動計測装置において、前記眼球運動計測装置を同期を取って少なくとも2台用い、片方の眼球に対して異なる領域を撮像して眼球の運動を計測することで、眼球の3自由度回転位置を算出することを特徴とする眼球運動計測装置。   3. The eye movement measurement device according to claim 2, wherein at least two eye movement measurement devices are used in synchronization with each other, and images of different regions of one eyeball are imaged to measure the movement of the eyeball. An eye movement measuring device characterized by calculating a rotational position with three degrees of freedom. 請求項1乃至請求項3の何れかに記載の眼球運動計測装置であって、さらに、眼球全体を撮像可能な広角撮像手段を有し、前記画像処理手段は眼球の結膜及び/又は強膜の位置を探索可能なように前記広角撮像手段により撮像される広角画像を画像処理し、前記調節手段は前記画像処理手段により画像処理される広角画像を用いて結膜及び/又は強膜の位置に合わせて前記撮像エリアの位置を手動で又は自動的に調整することを特徴とする眼球運動計測装置。   4. The eye movement measurement device according to claim 1, further comprising a wide-angle imaging unit capable of imaging the entire eyeball, wherein the image processing unit is an eyeball conjunctiva and / or sclera. The wide-angle image picked up by the wide-angle image pickup means is subjected to image processing so that the position can be searched, and the adjusting means uses the wide-angle image processed by the image processing means to match the position of the conjunctiva and / or sclera. The eye movement measuring device is characterized in that the position of the imaging area is adjusted manually or automatically. 請求項4に記載の眼球運動計測装置において、前記表示手段は、前記広角撮像手段により撮像される広角画像に、前記撮像手段の撮像エリアを示すマーク手段を表示することを特徴とする眼球運動計測装置。   5. The eye movement measurement apparatus according to claim 4, wherein the display means displays mark means indicating an imaging area of the imaging means on a wide angle image picked up by the wide angle imaging means. apparatus. 請求項1乃至請求項5の何れかに記載の眼球運動計測装置において、前記調節手段は眼球の結膜及び/又は強膜の各部位を順次撮像可能なように前記撮像手段の撮像エリアの位置を順次移動させ、前記画像処理手段は順次撮像される画像をつなぎ合わせることを特徴とする眼球運動計測装置。   6. The eye movement measuring apparatus according to claim 1, wherein the adjusting means positions an imaging area of the imaging means so that each part of the conjunctiva and / or sclera of the eyeball can be sequentially imaged. An eye movement measuring device characterized by being sequentially moved, and the image processing means stitches images sequentially picked up. 請求項1乃至請求項6の何れかに記載の眼球運動計測装置において、前記画像処理手段は順次撮像される画像の特徴領域抽出を行い続く画像内の同じ特徴領域を探索し、同じ特徴領域が無い場合には他の新たな特徴領域抽出を行い続く画像内の同じ特徴領域を探索し、前記計測手段は探索された前記特徴領域に基づき眼球の回転を計測することを特徴とする眼球運動計測装置。   7. The eye movement measurement device according to claim 1, wherein the image processing means performs feature region extraction of sequentially captured images, searches for the same feature region in the subsequent image, and the same feature region is detected. If not, another new feature region is extracted to search for the same feature region in the subsequent image, and the measuring means measures the rotation of the eyeball based on the searched feature region. apparatus. 請求項1乃至請求項7の何れかに記載の眼球運動計測装置であって、さらに、過去の画像と現在の画像を比較して認証する認証手段を有することを特徴とする眼球運動計測装置。   The eye movement measuring apparatus according to claim 1, further comprising an authentication unit that compares and authenticates a past image and a current image. 請求項2に記載の眼球運動計測装置において、前記眼球運動計測装置を同期を取って少なくとも2台用いて両方の眼球を計測し、前記計測手段は、既知の位置の視標を注視するときの両方の眼球の回転角度を基準角度として算出し、未知の位置を注視するときの両方の眼球の回転角度と基準角度との差異から視線の位置を計測することを特徴とする眼球運動計測装置。   3. The eye movement measurement device according to claim 2, wherein both eyeballs are measured using at least two of the eye movement measurement devices in synchronism with each other, and the measurement means is used for gazing at a target at a known position. An eye movement measuring apparatus that calculates the rotation angle of both eyeballs as a reference angle and measures the position of the line of sight from the difference between the rotation angle of both eyeballs and the reference angle when gazing at an unknown position. 請求項1乃至請求項9の何れかに記載の眼球運動計測装置であって、さらに、前記撮像手段と眼球との間に配置されるミラーを有することを特徴とする眼球運動計測装置。   The eye movement measurement apparatus according to claim 1, further comprising a mirror disposed between the imaging unit and the eyeball. 請求項1乃至請求項10の何れかに記載の眼球運動計測装置であって、さらに、前記撮像手段と眼球との間に配置される光ファイバを有することを特徴とする眼球運動計測装置。   The eye movement measurement apparatus according to claim 1, further comprising an optical fiber disposed between the imaging unit and the eyeball. 請求項1乃至請求項11の何れかに記載の眼球運動計測装置において、眼球へ入射する前記撮像手段の視線と撮像エリア中心点の眼球の法線とのなす角が10°以内であることを特徴とする眼球運動計測装置。   12. The eye movement measurement device according to claim 1, wherein an angle formed between a line of sight of the imaging unit incident on the eyeball and a normal of the eyeball at the center point of the imaging area is within 10 °. A characteristic eye movement measurement device. 請求項1乃至請求項12の何れかに記載の眼球運動計測装置であって、さらに、歯及び前頭部を固定する固定具を有することを特徴とする眼球運動計測装置。   The eye movement measurement apparatus according to claim 1, further comprising a fixture for fixing a tooth and a forehead.
JP2006282082A 2006-10-17 2006-10-17 Eye movement measurement device Active JP5092120B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006282082A JP5092120B2 (en) 2006-10-17 2006-10-17 Eye movement measurement device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006282082A JP5092120B2 (en) 2006-10-17 2006-10-17 Eye movement measurement device

Publications (2)

Publication Number Publication Date
JP2008099716A JP2008099716A (en) 2008-05-01
JP5092120B2 true JP5092120B2 (en) 2012-12-05

Family

ID=39434529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006282082A Active JP5092120B2 (en) 2006-10-17 2006-10-17 Eye movement measurement device

Country Status (1)

Country Link
JP (1) JP5092120B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5072553B2 (en) 2007-11-29 2012-11-14 浜松ホトニクス株式会社 Eye movement measurement device
JP5635898B2 (en) * 2010-12-17 2014-12-03 キヤノン株式会社 Fundus imaging apparatus and control method thereof
JP6010903B2 (en) * 2011-12-09 2016-10-19 富士通株式会社 Wireless communication apparatus, wireless communication method, and wireless communication program
JP6048844B2 (en) 2012-02-24 2016-12-27 国立大学法人 筑波大学 Ocular rotation measurement device, ocular rotation measurement method, and ocular rotation measurement program
EP3111421A1 (en) * 2014-02-25 2017-01-04 EyeVerify Inc. Eye gaze tracking
US10311583B2 (en) 2015-06-05 2019-06-04 Kiyoshi Hoshino Eye motion detection method, program, program storage medium, and eye motion detection device
JP6734642B2 (en) * 2015-12-18 2020-08-05 株式会社トプコン Ophthalmic equipment
JP6728699B2 (en) 2016-01-15 2020-07-22 富士通株式会社 Biometric authentication device, biometric authentication method, and biometric authentication program

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2739331B2 (en) * 1988-11-16 1998-04-15 株式会社エイ・ティ・アール通信システム研究所 Non-contact gaze detection device
JPH02164335A (en) * 1988-12-16 1990-06-25 Konan Camera Kenkyusho:Kk Eyeball motion analyzing device
JP2987450B2 (en) * 1990-05-08 1999-12-06 八木 聰明 Eye movement measurement device
JPH066112B2 (en) * 1990-10-19 1994-01-26 株式会社エイ・ティ・アール視聴覚機構研究所 Eye movement measuring device
JPH0821949A (en) * 1994-07-11 1996-01-23 Canon Inc Camera with line-of-sight detecting device
JPH0880284A (en) * 1994-09-13 1996-03-26 Tomey:Kk Ocular movement inspection instrument
JP3724524B2 (en) * 1996-06-05 2005-12-07 ソニー株式会社 Eyeball control system information detection apparatus and eyeball control system analysis method
DE10351928A1 (en) * 2003-11-07 2005-06-16 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Eyeball monitoring device for vision inspection, has eyeball coil device with eyeball coil movable relative to eyeball, and visual-field coil device of size smaller than head of subject, that are provided in transmitter/receiver
JP4322693B2 (en) * 2004-01-29 2009-09-02 浜松ホトニクス株式会社 Eye movement measurement device

Also Published As

Publication number Publication date
JP2008099716A (en) 2008-05-01

Similar Documents

Publication Publication Date Title
JP7196224B2 (en) Tilt-shift iris imaging
JP5092120B2 (en) Eye movement measurement device
US6296358B1 (en) Ocular fundus auto imager
US8644562B2 (en) Multimodal ocular biometric system and methods
US7025459B2 (en) Ocular fundus auto imager
JP2008104628A (en) Conjunctiva and sclera imaging apparatus
US8052674B2 (en) Laser system for vision correction
US20120194784A1 (en) Iris image definition estimation system using the astigmatism of the corneal reflection of a non-coaxial light source
CN106175801B (en) Blink measurement method, blink measurement device, and blink measurement program
JP2015013031A5 (en)
JP3453911B2 (en) Gaze recognition device
US20040263784A1 (en) Simplified ocular fundus auto imager
JP2003319907A (en) Eye ball movement analysis system and eye ball imaging apparatus
JP2002000567A (en) Method of measuring pupil center position and method of detecting view point position
JP5152758B2 (en) Mobile tracking camera system
JPH06319701A (en) Glance recognizing device
KR102504865B1 (en) Binocular fundus camera
JPH05199995A (en) Pupil photographing device and visual line detector
JP2021027876A (en) Ophthalmologic apparatus
JP2021000342A (en) Visual inspection apparatus and visual inspection method
JPH11150678A (en) Image pickup device and image pick up method
JP2000254100A (en) Ophthalmographic device
JPH0513660B2 (en)
JP2004097728A (en) Ophthalmological instrument
JP2006087831A (en) Pupil detection apparatus and pupil detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Ref document number: 5092120

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250