JP6214047B2 - Signal transmission device by gaze detection - Google Patents
Signal transmission device by gaze detection Download PDFInfo
- Publication number
- JP6214047B2 JP6214047B2 JP2014119317A JP2014119317A JP6214047B2 JP 6214047 B2 JP6214047 B2 JP 6214047B2 JP 2014119317 A JP2014119317 A JP 2014119317A JP 2014119317 A JP2014119317 A JP 2014119317A JP 6214047 B2 JP6214047 B2 JP 6214047B2
- Authority
- JP
- Japan
- Prior art keywords
- rectangle
- detection
- line
- signal
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 101
- 230000008054 signal transmission Effects 0.000 title claims description 51
- 210000001508 eye Anatomy 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 33
- 210000004087 cornea Anatomy 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 30
- 239000000758 substrate Substances 0.000 description 12
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
Landscapes
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Description
本発明は、被検者の視線を検出して信号を発信する装置に関する。 The present invention relates to an apparatus for detecting a line of sight of a subject and transmitting a signal.
例えば筋萎縮性側索硬化症（ＡＬＳ）の患者など、四肢の不自由な患者の介護を支援する介護支援装置において、患者が意思を伝達する手段として、患者の視線を検出する視線検出の技術が要求されている。視線検出では、例えば、患者（被検者と呼ぶ）の目（眼球）を撮像し、眼球の位置を解析することで視線の向きを検出する。しかし、被検者と撮像装置との間の距離等の検出条件が変わると検出誤差が生じるため、適宜、眼球の位置と視線の向きとの関係を再調整（キャリブレーション）する必要がある（例えば特許文献１参照）。 For example, a gaze detection technique for detecting a patient's gaze as a means for the patient to communicate his / her intention in a care support device that supports the care of a patient with a limb disorder such as a patient with amyotrophic lateral sclerosis (ALS) Is required. In the gaze detection, for example, the eye (eyeball) of a patient (referred to as a subject) is imaged, and the direction of the gaze is detected by analyzing the position of the eyeball. However, since a detection error occurs when a detection condition such as a distance between the subject and the imaging apparatus changes, it is necessary to readjust (calibrate) the relationship between the position of the eyeball and the direction of the line of sight as appropriate (calibration). For example, see Patent Document 1).
視線検出によって伝達される患者の意思としては、各種のものがある。単純なナースコール、テレビジョンの操作（オン／オフ、チャネル選択）、キーボードに替わるテキスト入力等が考えられる。このうち、キーボードに替わるテキスト入力については、画面上にキーボードを表示し、視線の向きの微差を検出する必要があるため、キャリブレーションの必要性が高かった。一方、他のものについては、視線の向きの検出に誤差を許容するような設計も可能であるが、かかる設計の視線検出による信号発信装置は開示されていなかった。 There are various types of patient's intentions transmitted by eye gaze detection. A simple nurse call, television operation (on / off, channel selection), text input instead of a keyboard, etc. can be considered. Among these, for text input instead of the keyboard, it is necessary to calibrate because it is necessary to display the keyboard on the screen and detect a slight difference in the direction of the line of sight. On the other hand, other devices can be designed so as to allow an error in the detection of the direction of the line of sight, but a signal transmission device based on the line-of-sight detection of such a design has not been disclosed.
また、キーボードに替わるテキスト入力においては、視線を向ける対象を画面に表示するため画面の明かりが発生し、同室の他の患者の睡眠を妨げる。すなわち、夜間の消灯時には使用困難である。昼間にテキスト入力を行う場合には患者が明かりを許容すると考えられるが、例えば一つのキーをナースコールに割り当ててテキスト入力装置にナースコール機能を持たせる場合には、ナースコールに備えて常に画面を表示して夜間に明かりを発生させることとなり、現実的でない。 In addition, in text input instead of a keyboard, a screen light is generated because an object to be looked at is displayed on the screen, which disturbs sleep of other patients in the same room. That is, it is difficult to use at night when the lights are turned off. When entering text in the daytime, the patient is likely to allow light, but for example, if a key is assigned to a nurse call and the text input device has a nurse call function, the screen is always ready for the nurse call. Is displayed and light is generated at night, which is not realistic.
本発明は、キャリブレーションを要することなく被検者の視線を検出して信号を発信する視線検出による信号発信装置を提供することを課題とする。 It is an object of the present invention to provide a signal transmission device based on visual line detection that detects a visual line of a subject and transmits a signal without requiring calibration.
本発明の視線検出による信号発信装置は、
被検者の目を撮像する撮像部と、
前記撮像部により撮像された撮像結果から、前記被検者の一方の目を内部に含む第１長方形と該第１長方形の四辺にそれぞれ平行な四辺から構成され前記目の角膜（黒目）に外接する第２長方形とを検出し、前記第１長方形に対する前記第２長方形の相対位置を表す指標を検出する検出部と、
前記検出部により検出された前記指標が予め定められた範囲内に含まれることを判定し、該判定結果に従って信号を発信する発信部を備えることを特徴とする。
The signal transmission device according to the gaze detection of the present invention,
An imaging unit that images the eyes of the subject;
From the imaging result captured by the imaging unit, the first rectangle including one eye of the subject and four sides parallel to the four sides of the first rectangle are circumscribed on the cornea (black eye) of the eye. Detecting a second rectangle, and detecting an index representing a relative position of the second rectangle with respect to the first rectangle;
It is determined that the index detected by the detection unit is included in a predetermined range, and a transmission unit that transmits a signal according to the determination result is provided.
これによれば、被検者の一方の目を内部に含む第１長方形に対する目の角膜に外接する第２長方形の相対位置を正規化することにより得られる指標を用いることで、被検者の視線の向きを検出することができる。 According to this, by using the index obtained by normalizing the relative position of the second rectangle circumscribing the cornea of the eye with respect to the first rectangle including one eye of the subject inside, The direction of the line of sight can be detected.
本発明の視線検出による信号発信装置は、
前記指標は、前記第１長方形の四辺のうちの第１辺と前記第２長方形の四辺のうち該第１辺に対応する第２辺との離間距離を前記第１長方形の前記第１辺に直交する辺の長さに基づいて正規化した距離と、前記第１長方形の前記第１辺の二端点のいずれかの第１頂点と前記第２長方形の四頂点のうち該第１頂点に対応する第２頂点とを結ぶ線が前記第１辺との間で構成する角度と、であることを特徴とする。
The signal transmission device according to the gaze detection of the present invention,
The index is a distance between a first side of the four sides of the first rectangle and a second side corresponding to the first side of the four sides of the second rectangle to the first side of the first rectangle. Corresponding to the first vertex of the distance normalized based on the length of the orthogonal sides, and the first vertex of the two end points of the first side of the first rectangle and the four vertices of the second rectangle A line connecting the second vertex is an angle formed with the first side.
これによれば、指標として、第１辺と第２辺との離間距離を正規化した距離と第１頂点と第２頂点とを結ぶ線の角度とを使用することで、被検者の視線の向きを検出することができる。
出願人の実験によれば、第１辺として縦方向（頭と首を結ぶ方向）の辺を用い、第１頂点として第１辺の上端（頭の側）の頂点を用いることで、精度よく視線の向きを検出することができる。
According to this, by using the distance obtained by normalizing the separation distance between the first side and the second side and the angle of the line connecting the first vertex and the second vertex as an index, the line of sight of the subject can be obtained. Can be detected.
According to the applicant's experiment, by using the side in the vertical direction (the direction connecting the head and neck) as the first side and using the vertex at the upper end (head side) of the first side as the first vertex, The direction of the line of sight can be detected.
本発明の視線検出による信号発信装置は、
前記範囲は、該範囲に対応する方向に視線を向けた被検者の目を撮像して得られる撮像結果を用いて定められることを特徴とする。
The signal transmission device according to the gaze detection of the present invention,
The range is defined using an imaging result obtained by imaging the eyes of a subject whose line of sight is directed in a direction corresponding to the range.
これによれば、一度の撮像によって範囲を定めることができ、キャリブレーションを行わずに繰り返して使用することができる。 According to this, a range can be defined by one imaging, and it can be used repeatedly without performing calibration.
本発明の視線検出による信号発信装置は、
前記検出部は、前記指標の検出を所定の周期で繰り返し、
前記発信部は、前記指標が前記範囲内に含まれることが所定の回数以上連続して判定された場合に前記信号を発信することを特徴とする。
The signal transmission device according to the gaze detection of the present invention,
The detection unit repeats the detection of the index at a predetermined cycle,
The transmission unit transmits the signal when it is determined that the index is included in the range continuously for a predetermined number of times or more.
これによれば、被検者が偶発的に範囲に対応する方向に視線を向けることによる信号の誤発信を回避することができる。 According to this, it is possible to avoid erroneous transmission of a signal due to the examinee accidentally turning his / her line of sight in a direction corresponding to the range.
本発明の視線検出による信号発信装置は、
前記所定の周期に前記所定の回数から１を減じた値を乗算した値が１秒以上であることを特徴とする。
The signal transmission device according to the gaze detection of the present invention,
A value obtained by multiplying the predetermined period by a value obtained by subtracting 1 from the predetermined number of times is 1 second or more.
これによれば、被検者が範囲に対応する方向に１秒以上視線を向け続けることによってのみ信号が発信される。信号の誤発信を確実に回避することができる。一方、ナースコール等の場合に１秒以上視線を向け続けることは被検者にとって容易である。設計により、１秒よりも長い時間、例えば２秒、とすることもできる。 According to this, a signal is transmitted only when the subject keeps his / her line of sight for one second or more in a direction corresponding to the range. It is possible to reliably avoid erroneous transmission of signals. On the other hand, in the case of a nurse call or the like, it is easy for the subject to keep his line of sight for more than 1 second. Depending on the design, it may be longer than 1 second, for example 2 seconds.
本発明の視線検出による信号発信装置は、
前記発信部は、前記指標が前記範囲内に含まれることが連続して判定された回数に応じて前記信号と異なる信号を発信することを特徴とする。
The signal transmission device according to the gaze detection of the present invention,
The transmitting unit transmits a signal different from the signal according to the number of times that the index is continuously determined to be included in the range.
これによれば、被検者は、視線を向け続ける時間によって信号を出し分けることができる。 According to this, the subject can separately output signals according to the time during which the line of sight is continuously directed.
本発明の視線検出による信号発信装置は、
前記発信部は、さらに、前記信号が発信された旨を前記被検者に対して表示することを特徴とする。
The signal transmission device according to the gaze detection of the present invention,
The transmitting unit further displays to the subject that the signal has been transmitted.
これによれば、被検者に信号が発信されたことを知らせることができる。被検者は、信号の発信を知り、安心感を持つことができる。 According to this, it is possible to notify the subject that a signal has been transmitted. The subject can know the transmission of the signal and have a sense of security.
本発明の視線検出による信号発信装置は、
前記撮像部は、赤外線カメラを用いて前記被検者の目を撮像することを特徴とする。
The signal transmission device according to the gaze detection of the present invention,
The imaging unit images the eyes of the subject using an infrared camera.
これによれば、夜間でも、点灯せずに作動することができる。 According to this, it is possible to operate without lighting even at night.
本発明の視線検出による信号発信装置によれば、キャリブレーションを要することなく被検者の視線を検出することが可能となる。 According to the signal transmission device for line-of-sight detection of the present invention, it is possible to detect the line of sight of the subject without requiring calibration.
以下、視線検出による信号発信装置１について説明する。 Hereinafter, the signal transmission device 1 based on line-of-sight detection will be described.
本実施例は、視線検出による信号発信装置１の基本的な構成を示すものである。 A present Example shows the basic composition of the signal transmitter 1 by a gaze detection.
図１に、本実施形態に係る視線検出による信号発信装置１の構成を示す。視線検出による信号発信装置１は、積層された３つの基板２，３，４から構成される。ただし、図１では、説明の為、これらを積層せず、分解してそれぞれの構成を示している。また、図中の点線は、マイクロチップ４ａが回路的に接続していることを示す。 In FIG. 1, the structure of the signal transmission apparatus 1 by the gaze detection which concerns on this embodiment is shown. A signal transmission device 1 based on line-of-sight detection is composed of three stacked substrates 2, 3, and 4. However, in FIG. 1, for the sake of explanation, these are not stacked but are disassembled to show the respective configurations. A dotted line in the drawing indicates that the microchip 4a is connected in a circuit.
１つめの基板２は、約５ｃｍ四方の正方形状を有し、中央に円形の開口２ｄが形成され、その左右に２つの光源２ａ、右側の光源２ａの上側にスイッチ２ｂ及び下側にランプ２ｃが固定されている。また、左側に信号出力端子２ｅが設けられている。２つの光源２ａは、一例として赤外線ＬＥＤであり、後述する撮像装置３ａを用いて被検者の目を撮像する際に赤外線を放射して被検者を照明する。それにより、夜間でも被検者の目を撮像することが可能となる。なお、光源２ａは２つでなくてもよく、１つ又は３つ以上でもよい。スイッチ２ｂは、視線検出による信号発信装置１に外部からの指示を与える。ランプ２ｃは、一例としてＬＥＤランプであり、視線検出による信号発信装置１の作動状態を被検者（或いは使用者）に表示する。信号出力端子２ｅは、外部に向けて電気信号を出力する。なお、複数種類の信号を出力する場合には、複数の信号出力端子２ｅを設けてもよいし、１の信号出力端子２ｅが複数の信号（例えば異なる周波数の電波）を出し分けてもよいし、これらを併用してもよい。 The first substrate 2 has a square shape of about 5 cm square, a circular opening 2d is formed at the center, two light sources 2a on the left and right, a switch 2b on the upper side of the right light source 2a, and a lamp 2c on the lower side. Is fixed. A signal output terminal 2e is provided on the left side. The two light sources 2a are, for example, infrared LEDs, and illuminate the subject by emitting infrared rays when the subject's eyes are imaged using the imaging device 3a described later. Thereby, it becomes possible to image the eyes of the subject even at night. Note that the number of the light sources 2a may not be two, but may be one or three or more. The switch 2b gives an instruction from the outside to the signal transmission device 1 by visual line detection. The lamp 2c is an LED lamp as an example, and displays an operating state of the signal transmission device 1 by line-of-sight detection to a subject (or a user). The signal output terminal 2e outputs an electric signal toward the outside. When outputting a plurality of types of signals, a plurality of signal output terminals 2e may be provided, or one signal output terminal 2e may separately output a plurality of signals (for example, radio waves having different frequencies). These may be used in combination.
２つめの基板３は、１つめの基板２と同じ大きさ及び形状を有し、その中央に撮像装置３ａが固定され、１つめの基板２の開口２ｄにおいて受光することで被検者の目を撮像する。撮像装置３ａは、一例としてＣＣＤカメラであり、光源２ａ（が放射する赤外線）を用いて被検者を照明し、それにより発生する反射光を、撮像結果（画像）として、ＣＣＤカメラの解像度（画素数）に応じた画素値の集合が得られる。得られた結像結果（画像）は、後述するマイクロチップ４ａに送信される。 The second substrate 3 has the same size and shape as the first substrate 2. The imaging device 3 a is fixed at the center of the second substrate 3, and light is received at the opening 2 d of the first substrate 2, so that the eyes of the subject are obtained. Image. The imaging device 3a is a CCD camera as an example, illuminates the subject using the light source 2a (infrared rays emitted by the light source 2a), and uses the reflected light generated thereby as an imaging result (image). A set of pixel values corresponding to the number of pixels) is obtained. The obtained imaging result (image) is transmitted to the microchip 4a described later.
３つめの基板４も、１つめの基板２と同じ大きさ及び形状を有し、マイクロチップ４ａ及びＤＣ入力端子４ｂが設けられている。マイクロチップ４ａは、ＣＰＵ、メモリ（それぞれ不図示）等を有する。メモリには、起動プログラムが記録されている。視線検出による信号発信装置１が起動すると、それに伴って稼働するＣＰＵがメモリから起動プログラムを読み出して実行することで視線検出による信号発信装置１の構成各部（光源２ａ、ランプ２ｃ、撮像装置３ａ）を統括制御する制御装置として機能する。なお、起動プログラムは、メモリに記録するに限らず、ＣＤＲＯＭ、ＵＳＢメモリ等の記録媒体に記録し、読み取り装置を用いて読み取ることとしてもよい。ＤＣ入力端子４ｂは、外部電源から電力を供給する電源ケーブルが接続される端子であり、基板２，３，４の表面に配設された配線（不図示）を介して光源２ａ、スイッチ２ｂ、ランプ２ｃ、信号出力端子２ｅ、撮像装置３ａ、及びマイクロチップ４ａに接続されている。 The third substrate 4 also has the same size and shape as the first substrate 2, and is provided with a microchip 4a and a DC input terminal 4b. The microchip 4a has a CPU, a memory (not shown) and the like. A startup program is recorded in the memory. When the signal transmission device 1 based on line-of-sight detection is activated, the CPU operating in association with the read-out program reads out the activation program from the memory and executes it, whereby the components of the signal transmission device 1 based on line-of-sight detection (light source 2a, lamp 2c, imaging device 3a) It functions as a control device that performs overall control. Note that the activation program is not limited to being recorded in the memory, but may be recorded on a recording medium such as a CDROM or a USB memory and read using a reading device. The DC input terminal 4b is a terminal to which a power cable for supplying power from an external power supply is connected, and the light source 2a, the switch 2b, and the like are connected via wiring (not shown) disposed on the surfaces of the substrates 2, 3, and 4. The lamp 2c, the signal output terminal 2e, the imaging device 3a, and the microchip 4a are connected.
上述の構成の視線検出による信号発信装置１の動作、すなわちマイクロチップ４ａにより実行される視線検出方法について説明する。図２のフローチャートに視線検出の手順１００を示す。 An operation of the signal transmission device 1 by the visual line detection having the above-described configuration, that is, a visual line detection method executed by the microchip 4a will be described. The gaze detection procedure 100 is shown in the flowchart of FIG.
視線検出を開始するに先だって、視線検出による信号発信装置１を、被検者に対向して、撮像装置３ａの視野内に被検者の正面顔（少なくとも一方の目及びその周囲１０（図４参照））が含まれるように設置し、視線検出による信号発信装置１を起動する。それに伴い、マイクロチップ４ａが稼働し、メモリから起動プログラムを読み出して実行する。それにより、視線検出の手順１００が開始する。なお、検出の時間間隔ｔ、及び視線検出の連続回数Ｎｉは、予め設定されているものとする。ただし、スイッチ２ｂの操作等によって設定された値を変更できることも可能とすることが好ましい。 Prior to starting the gaze detection, the signal transmission device 1 by gaze detection is opposed to the subject and the front face of the subject (at least one eye and its surroundings 10 (FIG. 4) in the field of view of the imaging device 3a. Reference)) is included, and the signal transmission device 1 by line-of-sight detection is activated. Along with this, the microchip 4a operates and reads and executes the startup program from the memory. Thereby, the gaze detection procedure 100 starts. It is assumed that the detection time interval t and the visual line detection continuous number Ni are set in advance. However, it is preferable to be able to change the value set by operating the switch 2b or the like.
ステップＳ１０２では、マイクロチップ４ａは、インデックスｎをゼロにリセットする。 In step S102, the microchip 4a resets the index n to zero.
ステップＳ１０４では、被検者の目を撮像する。マイクロチップ４ａは、２つの光源２ａを用いて被検者を照明し、撮像装置３ａを用いて被検者の正面顔（少なくとも一方の目及びその周囲１０（図４参照））を撮像する。撮像結果（画像）は、マイクロチップ４ａに送信される。 In step S104, the eye of the subject is imaged. The microchip 4a illuminates the subject using the two light sources 2a, and images the front face (at least one eye and its surroundings 10 (see FIG. 4)) using the imaging device 3a. The imaging result (image) is transmitted to the microchip 4a.
ステップＳ１０６では、撮像結果（画像）を解析する。 In step S106, the imaging result (image) is analyzed.
まず、マイクロチップ４ａは、図４（Ａ）に示すように、撮像結果（画像）から被検者の一方の目１０ａを内部に含む第１長方形２０を検出する。顔画像から目を検出する手法としては、目の特徴である白黒エッジがはっきりした部分を検出することにより、目の位置を特定する手法（例えばＨａａｒ−ｌｉｋｅ特徴量を用いる手法）が公知である。非特許文献１に示されるように、多くのソフトウエアが公開されておりこれらのうちの適宜なものを用いることができる。 First, as shown in FIG. 4A, the microchip 4a detects the first rectangle 20 including one eye 10a of the subject from the imaging result (image). As a method for detecting eyes from a face image, a method for specifying the position of an eye by detecting a portion with a distinct black and white edge that is a feature of the eye (for example, a method using a Haar-like feature) is known. . As shown in Non-Patent Document 1, a lot of software is disclosed, and an appropriate one of them can be used.
公開ソフトウエアを用いずとも、画像の中で肌色の皮膚の中で白色の白目の部分を検出することは容易である。検出された白目の部分は横方向に長いので、その横方向の両端にその方向に直交する２辺を定め、横方向に平行な他の２辺と横方向に直交する２辺を検出された目に接する箇所に定めることで目１０ａに外接し目１０ａを内部に含む第１長方形２０を検出することができる。 Even without using public software, it is easy to detect a white-white portion in a skin-colored skin in an image. Since the detected white-eye portion is long in the horizontal direction, two sides orthogonal to the direction are defined at both ends of the horizontal direction, and two sides that are orthogonal to the other two sides parallel to the horizontal direction are detected. The first rectangle 20 circumscribing the eye 10a and including the eye 10a inside can be detected by determining the position in contact with the eye.
いずれの場合においても、第１長方形２０の位置及び大きさは、目１０ａの位置及び大きさを代表する。 In any case, the position and size of the first rectangle 20 represent the position and size of the eye 10a.
次に、マイクロチップ４ａは、撮像結果（画像）から被検者の一方の目１０ａの角膜１０ｂに外接する第２長方形２２を検出する。なお、第２長方形２２は、２次元配列された複数の画素により区画される矩形状の領域の外枠であり、第１長方形２０の四辺にそれぞれ平行な四辺から構成される。画像において、円形又は楕円形の角膜が略黒色に表され、その周縁は略白色である。したがって、円形又は楕円形の角膜が容易に検出され、該円形又は楕円形の接線のうち第１長方形２０の四辺に平行なものを求めることで、第２長方形２２を検出することができる。したがって、第２長方形２２の位置及び大きさは、角膜１０ｂの位置及び大きさを代表する。 Next, the microchip 4a detects the second rectangle 22 circumscribing the cornea 10b of one eye 10a of the subject from the imaging result (image). The second rectangle 22 is an outer frame of a rectangular area defined by a plurality of pixels arranged two-dimensionally, and is composed of four sides parallel to the four sides of the first rectangle 20. In the image, a circular or elliptical cornea is represented in a substantially black color, and its periphery is substantially white. Therefore, a circular or elliptical cornea is easily detected, and the second rectangle 22 can be detected by obtaining a circular or elliptical tangent that is parallel to the four sides of the first rectangle 20. Therefore, the position and size of the second rectangle 22 represent the position and size of the cornea 10b.
次に、マイクロチップ４ａは、第１長方形２０に対する第２長方形２２の相対位置を求める。なお、目１０ａに対する角膜１０ｂの大きさは個人それぞれについて一定であるため、第１長方形２０に対する第２長方形２２の相対位置は、目１０ａに対する角膜１０ｂの位置、すなわち視線の向きを表す。 Next, the microchip 4 a obtains the relative position of the second rectangle 22 with respect to the first rectangle 20. Since the size of the cornea 10b with respect to the eye 10a is constant for each individual, the relative position of the second rectangle 22 with respect to the first rectangle 20 represents the position of the cornea 10b with respect to the eye 10a, that is, the direction of the line of sight.
相対位置を定める指標として、一例として、第１長方形２０の左辺と第２長方形２２の左辺との離間距離ｘを第１長方形２０の上辺の長さＷを用いて正規化した距離（距離比）ｒ＝ｘ／Ｗと、第１長方形２０の左上頂点と第２長方形の左上頂点とを結ぶ線の第１長方形の上辺に対する角度θと、を選択する。なお、第１及び第２長方形２０，２２の左辺に限らず、その他の対応する辺或いは第１及び第２長方形２０，２２の中心の離間距離を指標としてもよい。また、第１長方形２０の上辺の長さＷを用いて正規化するに限らず、その他の辺の長さ或いは第２長方形のいずれの辺の長さ或いは第１及び第２長方形２０，２２の大きさを表す量を用いて正規化してもよい。また、第１及び第２長方形２０，２２の左上頂点を結ぶ線の角度に限らず、他の頂点を結ぶ線或いは第１及び第２長方形２０，２２の中心を結ぶ線の角度を指標としてもよい。 As an index for determining the relative position, as an example, a distance (distance ratio) obtained by normalizing the separation distance x between the left side of the first rectangle 20 and the left side of the second rectangle 22 using the length W of the upper side of the first rectangle 20. r = x / W and an angle θ with respect to the upper side of the first rectangle of the line connecting the upper left vertex of the first rectangle 20 and the upper left vertex of the second rectangle are selected. In addition, it is good also considering not only the left side of the 1st and 2nd rectangles 20 and 22 but the separation distance of the other corresponding side or the center of the 1st and 2nd rectangles 20 and 22. FIG. Further, not only normalization using the length W of the upper side of the first rectangle 20, the length of other sides, the length of any side of the second rectangle, or the first and second rectangles 20, 22 You may normalize using the quantity showing a magnitude | size. Further, not only the angle of the line connecting the upper left vertices of the first and second rectangles 20 and 22, but also the angle of the line connecting the other vertices or the line connecting the centers of the first and second rectangles 20 and 22 is used as an index. Good.
ステップＳ１０８では、指標の値が所定の視線検出の範囲内にあるか判定する。マイクロチップ４ａは、ステップＳ１０６にて求めた指標ｒ，θが、それぞれ、視線検出の範囲に対応するそれらの指標の範囲（ｒｍｉｎ＜ｒ＜ｒｍａｘ，θｍｉｎ＜θ＜θｍａｘ）に含まれるか否か判定する。判定が否定されると、マイクロチップ４ａはステップＳ１２０に手順を進める。 In step S108, it is determined whether the index value is within a predetermined line-of-sight detection range. In the microchip 4a, the indices r and θ obtained in step S106 are included in the respective index ranges (r min <r <r max , θ min <θ <θ max ) corresponding to the line-of-sight detection range. It is determined whether or not. If the determination is negative, the microchip 4a advances the procedure to step S120.
指標の範囲（ｒｍｉｎ、ｒｍａｘ、θｍｉｎ及びθｍａｘ）は、予め、視線検出の方向に被検者が視線を向けた上で、上述のステップＳ１０４、Ｓ１０６を実行することで定めることができる。例えばスイッチ２ａを押すことで、ステップＳ１０４、Ｓ１０６を実行してｘ及びθを求める。このｘ及びθをｘ０、θ０とする。その後、範囲設定ステップ（非図示）により、図４（Ｂ）に示すように、ｘ０、θ０に対して誤検出を避ける程度の広すぎない一定の幅を設けるようにｘｍｉｎ、ｘｍａｘ、θｍｉｎ及びθｍａｘを定める。Ｗが一定の値であるので、ｒｍｉｎ＝ｘｍｉｎ／Ｗ、ｒｍａｘ＝ｘｍａｘ／Ｗが自動的に求まる。 The index ranges (r min , r max , θ min, and θ max ) can be determined in advance by executing the above-described steps S104 and S106 after the subject turns his / her line of sight in the direction of line-of-sight detection. it can. For example, by pressing the switch 2a, steps S104 and S106 are executed to obtain x and θ. Let x and θ be x 0 and θ 0 . Thereafter, by a range setting step (not shown), as shown in FIG. 4B, x min and x max are set so as to provide constant widths that are not too wide to avoid false detection with respect to x 0 and θ 0 . , Θ min and θ max are defined. Since W is a constant value, r min = x min / W and r max = x max / W are automatically obtained.
ここで「一定の幅」は、視線検出による信号発信装置１の用途等によって定められる設計事項である。誤検出と検出漏れのいずれを防止したいかに依存して定めればよい。例えば、ｘ０、θ０に対して５％の幅とする（ｘｍｉｎ＝０．９５ｘ０等）ことができる。スイッチ２ａの操作（例えば２度押し）によって一定の幅を変更するようにしてもよい。また、２以上の視線検出の範囲を設定する場合（例えばナースコールとテレビジョンの操作を行う場合）には、視線検出の範囲毎に異なる「一定の幅」としてもよい。 Here, the “constant width” is a design matter determined by the use of the signal transmission device 1 by visual line detection. It may be determined depending on whether to prevent false detection or detection omission. For example, the width can be 5% with respect to x 0 and θ 0 (x min = 0.95x 0, etc.). You may make it change a fixed width | variety by operation (for example, pushing twice) of switch 2a. Further, when two or more gaze detection ranges are set (for example, when a nurse call and a television operation are performed), the “fixed width” may be different for each gaze detection range.
ステップＳ１２０では、マイクロチップ４ａは、インデックスｎをゼロにリセットし、撮像から時間ｔが経過した時に、ステップＳ１０４に手順を戻す。マイクロチップ４ａは、予め定めた検出の時間間隔ｔで、ステップＳ１０４以降の手順を繰り返すこととなる。 In step S120, the microchip 4a resets the index n to zero, and returns the procedure to step S104 when the time t has elapsed since imaging. The microchip 4a repeats the procedure after step S104 at a predetermined detection time interval t.
被検者が視線検出の範囲内に視線を向けると、ステップＳ１０８における判定が肯定される。判定が肯定されると、マイクロチップ４ａは、ステップＳ１１０に手順を進める。ステップＳ１１０では、マイクロチップ４ａは、インデックスｎをインクリメントする（インデックスｎの値を１増やす）。 When the subject turns his gaze within the gaze detection range, the determination in step S108 is affirmed. If the determination is positive, the microchip 4a advances the procedure to step S110. In step S110, the microchip 4a increments the index n (increases the value of the index n by 1).
ステップＳ１１２では、インデックスｎの値が予め定めた信号ｉに対する視線検出の連続回数Ｎｉであるか否かを判定する。マイクロチップ４ａは、インデックスｎの値がＮｉでない場合、ステップＳ１０４に手順を戻し、再びステップＳ１０４以上の手順を繰り返す。インデックスｎの値がＮｉである場合、ステップＳ１１４に手順を進める。 In step S112, it determines whether the number of consecutive N i of the line-of-sight detection for the signal i the value of the index n is determined in advance. Microchip 4a, when the value of the index n is not N i, returns the procedure to step S104, and repeats again steps S104 above procedure. If the value of the index n is N i, proceeding to step S114.
ステップＳ１１４では、信号ｉを発信する。マイクロチップ４ａは、信号出力装置２ｅを介して、信号ｉに対応する出力を行う。例えば、視線検出による信号発信装置１から離れて設置されたブザー（不図示）を鳴らす、或いはランプ（不図示）を点灯する。それにより、例えば、被検者を介護する介護者が被検者の異常を知ることができる。それとともに、マイクロチップ４ａは、ランプ２ｃを点灯する。それにより、被検者が、視線検出による信号発信装置１が作動し、信号を発信したことを知ることができる。 In step S114, signal i is transmitted. The microchip 4a performs output corresponding to the signal i through the signal output device 2e. For example, a buzzer (not shown) installed away from the signal transmission device 1 by line of sight detection is sounded or a lamp (not shown) is turned on. Thereby, for example, a caregiver who cares for the subject can know the abnormality of the subject. At the same time, the microchip 4a lights the lamp 2c. Thereby, the subject can know that the signal transmission device 1 by line-of-sight detection is activated and transmits a signal.
信号を発信すると、マイクロチップ４ａは、ステップＳ１１６においてｉをインクリメントし、ステップＳ１０４に手順を戻し、再びステップＳ１０４以下の手順を繰り返す。Ｎｉの値の設定により、２種以上の信号を発信することができる。むろん、Ｎ１のみを設定し（Ｎ２、Ｎ３・・・を設定せず）１種のみの信号を発信することとしてもよい。 When the signal is transmitted, the microchip 4a increments i in step S116, returns the procedure to step S104, and repeats the procedure after step S104 again. By setting the value of N i, it is possible to transmit the two or more signals. Of course, only N 1 may be set (N 2 , N 3 ... Are not set), and only one type of signal may be transmitted.
図３のフローチャートに視線検出の別手順１０１を示す。手順１００と同様であるが、ステップ１０８における判定が肯定された場合のパスにおけるステップ１１２、１１４及び１１６に替えて、ステップ１０８における判定が否定された場合のパスにステップ１１４ａが設けられている。すなわち、被検者が予め定めた時間だけ視線を向け続けた後、視線を他方向に移動させた時に信号が発せられる。 The flowchart 101 of FIG. 3 shows another procedure 101 for eye gaze detection. Although it is the same as that of the procedure 100, it replaces with step 112, 114, and 116 in the path | pass when the determination in step 108 is affirmed, and step 114a is provided in the path | pass when the determination in step 108 is denied. That is, a signal is generated when the subject moves his / her line of sight in a different direction after the examinee keeps turning his / her line of sight for a predetermined time.
ステップ１１４ａの動作について説明する。ｎがＮｉ以上Ｎｉ＋１未満の場合に信号ｉを発信する。したがって、ｎ＝０の場合（被検者が視線を向けなかった場合）には信号が発信されず、視線を向けていた場合に信号が発信される。視線を向けていた場合には、視線を他方向に移動させた時に、視線を向けていた時間によって定まる１つだけの信号ｉを発信することとなる。 The operation of step 114a will be described. The signal i is transmitted when n is N i or more and less than N i + 1 . Therefore, when n = 0 (when the subject does not turn his / her line of sight), no signal is transmitted, and when the line of sight is turned, a signal is transmitted. In the case where the line of sight is directed, when the line of sight is moved in the other direction, only one signal i determined by the time during which the line of sight is directed is transmitted.
手順１００と別手順１０１の動作は、ｉが２以上の場合に顕著である。手順１００では、例えば信号２（ｉ＝２）が発せられる前に必ず信号１（ｉ＝１）が発せられる。これに対し、手順１０１では信号２（ｉ＝２）のみが発せられる。信号３，４．．．についても同様である。いずれの手順が好ましいかは、各信号がもたらす結果に依存する。例えば、所定の方向に３秒視線を向けるとテレビジョンのオン／オフの信号を発信し、５秒以上視線を向けると室内の照明のオン／オフの信号を発信する場合には、室内の照明の操作でテレビジョンが操作されてしまわないようにするため、手順１０１が好ましい。一方、後述する実施例３のテレビジョンのチャネルを切替える場合には、複数の信号が順次に発信されてチャネルが順次に切り替わるようになる手順１００を好む被検者も多いと考えられる。手順１００と手順１０１とを設計により選択することができる。 The operations of the procedure 100 and the separate procedure 101 are remarkable when i is 2 or more. In the procedure 100, for example, the signal 1 (i = 1) is always emitted before the signal 2 (i = 2) is emitted. In contrast, in procedure 101, only signal 2 (i = 2) is emitted. Signals 3 and 4. . . The same applies to. Which procedure is preferred depends on the result each signal produces. For example, when a line of sight is directed for 3 seconds in a predetermined direction, a television on / off signal is transmitted. When a line of sight is directed for 5 seconds or more, an indoor illumination on / off signal is transmitted, In order to prevent the television from being operated by this operation, the procedure 101 is preferable. On the other hand, when switching the channel of the television of Example 3 to be described later, it is considered that there are many subjects who prefer the procedure 100 in which a plurality of signals are sequentially transmitted and the channels are sequentially switched. Procedure 100 and procedure 101 can be selected by design.
以上詳細に説明したように、本実施例の視線検出による信号発信装置１では、撮像結果から、被検者の一方の目１０ａに外接する第１長方形２０と、第１長方形２０の四辺にそれぞれ平行な四辺から構成され、目１０ａの角膜１０ｂに外接する第２長方形２２と、を検出し、第１長方形２０に対する第２長方形２２の相対位置を第１及び第２長方形２０，２２のいずれの大きさを用いて正規化して指標ｒ，θを求め、これらの指標を用いて被検者の視線の向きを検出する。目１０ａに対する角膜１０ｂの大きさは個人それぞれについて一定であるため、指標ｒ，θを用いることで、視線検出による信号発信装置１と被検者の距離が変わった場合、位置がずれた場合などにおいてもキャリブレーションを要することなく、被検者の視線（の向き）を検出することができる。 As described in detail above, in the signal transmission device 1 by line-of-sight detection of the present embodiment, from the imaging result, the first rectangle 20 circumscribing one eye 10a of the subject and the four sides of the first rectangle 20 respectively. A second rectangle 22 that is composed of four parallel sides and circumscribes the cornea 10b of the eye 10a, and the relative position of the second rectangle 22 with respect to the first rectangle 20 is determined by any of the first and second rectangles 20 and 22. The indices r and θ are obtained by normalization using the magnitude, and the direction of the line of sight of the subject is detected using these indices. Since the size of the cornea 10b with respect to the eye 10a is constant for each individual, when the distance between the signal transmission device 1 and the subject by gaze detection is changed or the position is shifted by using the indices r and θ, etc. In FIG. 5, the line of sight (or direction) of the subject can be detected without requiring calibration.
また、本実施例の視線検出による信号発信装置１は、視線検出の手順を繰り返し、視線の向きが所定の視線検出の範囲内に含まれることが連続して複数回（Ｎ回）判定された場合に信号を発信する。それにより、被検者が偶発的に視線検出の範囲に対応する方向に視線を向けることによる誤検出を回避することができる。なお、連続回数Ｎに応じて、例えばランプの色を変える、点滅頻度を変える、ブザーの音を変える等、異なる信号を発信することとしてもよい。それにより、被検者の意思で、複数の信号を発信することが可能となる。 In addition, the signal transmission device 1 based on the line-of-sight detection according to the present embodiment repeats the line-of-sight detection procedure, and it is continuously determined a plurality of times (N times) that the direction of the line of sight is within the predetermined line-of-sight detection range. Signal in case. Thereby, it is possible to avoid erroneous detection due to the subject's eyes turning in his / her direction in a direction corresponding to the range of eye-gaze detection. Depending on the number of consecutive times N, for example, different signals such as changing the color of the lamp, changing the blinking frequency, changing the sound of the buzzer, etc. may be transmitted. Thereby, it becomes possible to transmit a plurality of signals with the intention of the subject.
さらに、本実施例の視線検出による信号発信装置１は、約５ｃｍ立方のサイズである。病院、介護施設等においてベッドサイドに設置することができる。 Furthermore, the signal transmission device 1 by line-of-sight detection according to the present embodiment has a size of about 5 cm cubic. It can be installed at the bedside in hospitals, nursing homes, etc.
本実施例は、視線検出による信号発信装置１を利用してナースコールを行うものである。視線検出による信号発信装置１の構成は実施例１と同様であり、詳細な説明を省略する。 In the present embodiment, a nurse call is performed using the signal transmission device 1 based on line-of-sight detection. The configuration of the signal transmission device 1 based on line-of-sight detection is the same as that of the first embodiment, and detailed description thereof is omitted.
検出の時間間隔ｔが０．５秒に、視線検出の連続回数Ｎ１が５回に設定されている。被検者（患者）が２秒（ｔ（Ｎ１−１））以上視線を向け続けることによってのみ信号が発信される。信号は、中継器（非図示）によってナースステーションに伝達され、ナースステーションにおいてランプが点灯する。なお、患者が視線を向けた時点と撮影の周期との関係により、視線を向け続ける時間が２秒〜２．５秒で信号が発信される。確実に信号を発信するためには２．５秒が必要である。 Time interval t is 0.5 seconds of the detection, the continuous number N 1 of the sight line detection is set to 5 times. A signal is transmitted only when the subject (patient) keeps his line of sight for 2 seconds (t (N 1 -1)) or more. The signal is transmitted to the nurse station by a repeater (not shown), and the lamp is turned on at the nurse station. Note that, depending on the relationship between the point in time when the patient turns the line of sight and the imaging cycle, the signal is transmitted in a period of 2 seconds to 2.5 seconds in which the line of sight is continuously directed. It takes 2.5 seconds to reliably send a signal.
視線検出による信号発信装置１は、病院の病室に設置されている。検出する視線の方向は、患者が非常口を表示する表示板を見る場合の向きとする。表示板は、夜間の避難に備えて点灯されている。患者にとって、ナースコールのために視線を向ける方向が夜間でも明らかである。 A signal transmission device 1 based on gaze detection is installed in a hospital room. The direction of the line of sight to be detected is the direction when the patient looks at the display board displaying the emergency exit. The display board is lit in preparation for night evacuation. For the patient, the direction of gaze for the nurse call is also apparent at night.
患者は、日常生活において表示板の方向に視線を向けることは少ない。また、表示板の周辺にも患者が視線を向ける物は存在しない。したがって、視線を検出する範囲を広く設定しても誤検出（信号の誤発信）は少ない。患者が２秒以上視線を向け続ける場合にのみ検出され、かかる検出が偶発的に発生してしまうことは極めてまれである。なお、ナースコール（患者からの異常の通知）においては誤検出よりも検出漏れをなくすべきであり、視線を検出する向きを広く設定することが好ましい。誤検出をさらに防止するならば、視線を向け続ける時間を長く、例えば５秒、に設定すればよい。 The patient rarely turns his gaze toward the display board in daily life. In addition, there is no object around which the patient looks at the display board. Therefore, even if the range for detecting the line of sight is set wide, there are few false detections (mistransmission of signals). It is detected only when the patient keeps his gaze for more than 2 seconds, and it is extremely rare for such detection to occur accidentally. In the nurse call (notification of abnormality from the patient), the detection omission should be eliminated rather than the erroneous detection, and it is preferable to set the direction in which the line of sight is detected widely. In order to further prevent erroneous detection, the time during which the line of sight is directed may be set longer, for example, 5 seconds.
ランプ２ｃは赤外線ＬＥＤであり、撮像装置３ａは赤外線画像の撮像を行う。夜間の照明のない時間帯においてもナースコールを行うことができる。 The lamp 2c is an infrared LED, and the imaging device 3a captures an infrared image. Nurse calls can be made even during night time without lighting.
病室を訪問したナースが、患者の姿勢が変化したことに気付いたとする。ナースは、患者に表示板を見るように告げ、スイッチ２ａを押すことで、視線を検出する方向を修正することができる。 Suppose a nurse visiting a hospital room notices that the patient's posture has changed. The nurse can correct the direction in which the line of sight is detected by telling the patient to look at the display board and pressing the switch 2a.
以上詳細に説明したように、本実施例の視線検出による信号発信装置１は、夜間においても確実にナースコールを行うことができる。 As described above in detail, the signal transmission device 1 by line-of-sight detection according to the present embodiment can reliably perform a nurse call even at night.
本実施例は、視線検出による信号発信装置１を利用してテレビジョンの操作を行うものである。視線検出による信号発信装置１の構成は実施例１と同様であり、詳細な説明を省略する。 In this embodiment, the television is operated by using the signal transmission device 1 based on line-of-sight detection. The configuration of the signal transmission device 1 based on line-of-sight detection is the same as that of the first embodiment, and detailed description thereof is omitted.
テレビジョンの操作として、オン／オフ及びチャネル変更を行うものとする。オン／オフ操作のために検出する視線の方向及びチャネル変更のために検出する視線の方向は別々の方向であるが、１台の視線検出による信号発信装置１によって処理することができる。図２においてステップＳ１０８〜ステップＳ１１６の処理を２つの視線を向ける方向のそれぞれについて並列する（並行して処理する）ようにすればよい。 As a television operation, on / off and channel change are performed. The direction of the line of sight detected for the on / off operation and the direction of the line of sight detected for the channel change are different directions, but can be processed by the signal transmission device 1 by one line of sight detection. In FIG. 2, the processes in steps S <b> 108 to S <b> 116 may be performed in parallel for each of the directions in which two lines of sight are directed (processed in parallel).
オン／オフ操作のために検出する視線の方向は、患者がテレビジョンを見ている方向とは別の方向とする。テレビジョンを見ている時にオフとする信号を発しないためである。 The direction of the line of sight detected for the on / off operation is different from the direction in which the patient is watching the television. This is because no signal is turned off when watching television.
検出の時間間隔ｔが０．５秒に、視線検出の連続回数Ｎ１が５回に設定されている。被検者（患者）が２秒（ｔ（Ｎ１−１））以上視線を向け続けることによって信号が発信され、テレビジョンに伝達されてオン／オフが行われる。 Time interval t is 0.5 seconds of the detection, the continuous number N 1 of the sight line detection is set to 5 times. When the subject (patient) keeps his gaze for 2 seconds (t (N 1 -1)) or more, a signal is transmitted and transmitted to the television to be turned on / off.
チャネル変更操作のために検出する視線の方向は、患者がテレビジョンを見ている方向とは別の方向とするが、誤検出がない範囲において患者がテレビジョンを見ている方向に近いことが好ましい。視線の方向を変更せずに変更されたチャネルの番組をみることができるようにするためである。 The direction of the line of sight detected for the channel change operation is different from the direction in which the patient is watching the television, but may be close to the direction in which the patient is watching the television in the range where there is no false detection. preferable. This is because the program of the changed channel can be viewed without changing the direction of the line of sight.
チャネルは８つあるものとし、チャネル変更操作のための検出の時間間隔ｔが０．５秒に、視線検出の連続回数Ｎ１が６回に、Ｎ２が１２回に、以下６回毎に次のｉとなるように設定されている。信号ｉは、ｉ番目のチャネルを選択するものである。患者は、所定の方向に視線を向け続けることで、３秒につき１回の割合でチャネルを変更することができる。希望するチャネルになった時に視線の方向を変化させれば、そのチャネルに固定される。なお、チャネル変更の時間間隔は３秒でなくてもよく、適宜に設定できる。 It is assumed that there are eight channels, the detection time interval t for the channel change operation is 0.5 seconds, the number of continuous line-of-sight detections N 1 is 6 times, N 2 is 12 times, and every 6 times thereafter. The following i is set. The signal i selects the i-th channel. The patient can change the channel at a rate of once every 3 seconds by keeping the line of sight in a predetermined direction. If the direction of the line of sight is changed when the desired channel is reached, the channel is fixed. The channel change time interval does not have to be 3 seconds, and can be set as appropriate.
以上詳細に説明したように、本実施例の視線検出による信号発信装置１は、１台のみで患者にとってわかりやすいテレビジョン操作を提供することができる。 As described above in detail, the signal transmission device 1 by line-of-sight detection according to the present embodiment can provide a television operation that is easy for the patient to understand by using only one device.
本発明の視線検出による信号発信装置は、キャリブレーションを要することなく被検者の視線を検出するのに好適である。多くの病院、介護施設における利用が期待される。 The signal transmission device by line-of-sight detection of the present invention is suitable for detecting the line of sight of a subject without requiring calibration. Use in many hospitals and nursing homes is expected.
１ 視線検出による信号発信装置
２ 基板
２ａ 光源
２ｂ スイッチ
２ｃ ランプ
２ｄ 開口
２ｅ 信号出力端子
３ 基板
３ａ 撮像装置
４ 基板
４ａ マイクロチップ
４ｂ ＤＣ入力端子
１０ 目
１０ａ 目
１０ｂ 角膜
２０ 第１長方形
２２ 第２長方形
１００ 視線検出の手順
１０１ 視線検出の別手順
DESCRIPTION OF SYMBOLS 1 Signal transmission apparatus by gaze detection 2 Board | substrate 2a Light source 2b Switch 2c Lamp 2d Aperture 2e Signal output terminal 3 Board | substrate 3a Imaging device 4 Board | substrate 4a Microchip 4b DC input terminal 10th 10a
10b cornea 20 first rectangle 22 second rectangle 100 eye-gaze detection procedure 101 another eye-gaze detection procedure
Claims (7)
被検者の目を撮像する撮像部と、
前記撮像部により撮像された撮像結果から、前記被検者の一方の目を内部に含む第１長方形と該第１長方形の四辺にそれぞれ平行な四辺から構成され前記目の角膜に外接する第２長方形とを検出し、前記第１長方形に対する前記第２長方形の相対位置を表す指標を検出する検出部と、
前記検出部により検出された前記指標が予め定められた範囲内に含まれることを判定し、該判定結果に従って信号を発信する発信部を備え、
前記指標は、前記第１長方形の四辺のうちの第１辺と前記第２長方形の四辺のうち該第１辺に対応する第２辺との離間距離を前記第１長方形の前記第１辺に直交する辺の長さに基づいて正規化した距離と、前記第１長方形の前記第１辺の二端点のいずれかの第１頂点と前記第２長方形の四頂点のうち該第１頂点に対応する第２頂点とを結ぶ線が前記第１辺との間で構成する角度と、であることを特徴とする、視線検出による信号発信装置。 A signal transmission device by gaze detection that detects the gaze of the subject,
An imaging unit that images the eyes of the subject;
From the imaging result imaged by the imaging unit, the first rectangle including one eye of the subject inside and four sides parallel to the four sides of the first rectangle, respectively, the second circumscribing the cornea of the eye A detection unit that detects a rectangle and detects an index representing a relative position of the second rectangle with respect to the first rectangle;
It is determined that the index detected by the detection unit is included in a predetermined range, and includes a transmission unit that transmits a signal according to the determination result,
The index is a distance between a first side of the four sides of the first rectangle and a second side corresponding to the first side of the four sides of the second rectangle to the first side of the first rectangle. Corresponding to the first vertex of the distance normalized based on the length of the orthogonal sides, and the first vertex of the two end points of the first side of the first rectangle and the four vertices of the second rectangle A signal transmission device based on line-of-sight detection, characterized in that a line connecting the second vertex is an angle formed with the first side .
前記発信部は、前記指標が前記範囲内に含まれることが所定の回数以上連続して判定された場合に前記信号を発信することを特徴とする、請求項２に記載の視線検出による信号発信装置。 The detection unit repeats the detection of the index at a predetermined cycle,
The signal transmission according to claim 2 , wherein the transmission unit transmits the signal when it is determined that the index is included in the range continuously for a predetermined number of times or more. apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014119317A JP6214047B2 (en) | 2014-06-10 | 2014-06-10 | Signal transmission device by gaze detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014119317A JP6214047B2 (en) | 2014-06-10 | 2014-06-10 | Signal transmission device by gaze detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015231458A JP2015231458A (en) | 2015-12-24 |
| JP6214047B2 true JP6214047B2 (en) | 2017-10-18 |
Family
ID=54933354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014119317A Expired - Fee Related JP6214047B2 (en) | 2014-06-10 | 2014-06-10 | Signal transmission device by gaze detection |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6214047B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862304B (en) * | 2017-11-30 | 2021-11-26 | 西安科锐盛创新科技有限公司 | Eye state judging method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2719463B1 (en) * | 1994-05-03 | 1996-07-26 | Essilor Int | Optical metrology process. |
| JPH1099278A (en) * | 1996-10-02 | 1998-04-21 | Canon Inc | Visual axis detecting device and optical instrument |
| JP4729188B2 (en) * | 2001-03-27 | 2011-07-20 | 独立行政法人科学技術振興機構 | Gaze detection device |
-
2014
- 2014-06-10 JP JP2014119317A patent/JP6214047B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015231458A (en) | 2015-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2753123T3 (en) | Vision assistive devices and user interfaces | |
| US20130267873A1 (en) | Systems and methods for monitoring patients with real-time video | |
| US20140357963A1 (en) | Portable electronic apparatus | |
| US20170210010A1 (en) | System and method of controlling robot by brain electrical signals | |
| BR112014015170B1 (en) | Display device, display control method of a display device, and memory | |
| US9763565B2 (en) | Capsule endoscope device | |
| US11804120B2 (en) | Baby monitor system with multiple audio feature | |
| JP6214047B2 (en) | Signal transmission device by gaze detection | |
| US20200068098A1 (en) | Shooting apparatus | |
| WO2015170720A1 (en) | Image recognition device and image recognition method | |
| JP2015144635A (en) | detection device and detection method | |
| JP2023548886A (en) | Apparatus and method for controlling a camera | |
| JPH04322649A (en) | Hospital room monitoring apparatus | |
| JP2016059704A (en) | Nurse call system | |
| JP2015138474A (en) | Bar code reading device | |
| JP2015159460A (en) | Projection system, projection device, photographing device, method for generating guide frame, and program | |
| JP2006013938A (en) | Display device | |
| JP2018159835A (en) | Projection device | |
| EP4391727A1 (en) | Light pollution reduction techniques for medical environments | |
| JP2019192991A (en) | Viewing distance guidance device and program | |
| US20240115216A1 (en) | Positional non-contact baby monitoring | |
| TWI671507B (en) | Inspection device | |
| CN111294464B (en) | Method and device for realizing flashlight mode, intelligent equipment and storage medium | |
| JP2023051147A (en) | Nurse call system and state determination system | |
| JP2023051151A (en) | nurse call system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170321 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170914 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170914 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6214047 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |