JP4277301B2 - Communication system, method and program - Google Patents

Communication system, method and program Download PDF

Info

Publication number
JP4277301B2
JP4277301B2 JP2003431220A JP2003431220A JP4277301B2 JP 4277301 B2 JP4277301 B2 JP 4277301B2 JP 2003431220 A JP2003431220 A JP 2003431220A JP 2003431220 A JP2003431220 A JP 2003431220A JP 4277301 B2 JP4277301 B2 JP 4277301B2
Authority
JP
Japan
Prior art keywords
user
use candidate
candidate
image
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003431220A
Other languages
Japanese (ja)
Other versions
JP2005190205A (en
Inventor
亨 山口
康史 高間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency, National Institute of Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Priority to JP2003431220A priority Critical patent/JP4277301B2/en
Publication of JP2005190205A publication Critical patent/JP2005190205A/en
Application granted granted Critical
Publication of JP4277301B2 publication Critical patent/JP4277301B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

本発明は、使用者の視線を検出することにより使用者が利用する機器とのアイコンタクトの有無を判別するコミュニケーションシステム、方法及びプログラムに関する。 The present invention, Turkey Myunikeshon system to determine the presence or absence of eye contact with the device for the user to use by detecting a user's line of sight, to a method and a program.

従来、視線を検出することにより使用者たる人間と機械との情報通信を行う視線認識コミュニケーション装置としては、例えば特開平６−５１９０１号公報（特許文献１）や、特公昭６０−１７１２５号公報（特許文献２）がある。これら特許文献１及び２に示されているように、眼球の方向に基づき使用者の視線を検出するものが知られている。
特開平６−５１９０１号公報 特公昭６０−１７１２５号公報 Conventionally, as a line-of-sight recognition communication device for performing information communication between a human being and a machine by detecting a line of sight, for example, Japanese Patent Laid-Open No. 6-51901 (Patent Document 1) and Japanese Patent Publication No. 60-17125 ( There is a patent document 2). As shown in these Patent Documents 1 and 2, there are known devices that detect a user's line of sight based on the direction of the eyeball.
JP-A-6-51901 Japanese Patent Publication No. 60-17125

上記技術では、マウスなどのポインティングデバイスの代替として視線による注視を用いることを目的としたものであり、高精度な視線検出を考慮している反面、眼球に近い位置に検出装置を設置する必要がある。したがって、特殊な眼鏡を必要としたり、頭部と表示装置の正確な位置関係を保つため、表示装置を使用者の頭部に設置する必要があるなどの問題点がある。   The above technique is intended to use gaze by gaze as an alternative to a pointing device such as a mouse, and while considering high-precision gaze detection, it is necessary to install a detection device at a position close to the eyeball. is there. Therefore, there are problems such as requiring special glasses or installing the display device on the user's head in order to maintain the correct positional relationship between the head and the display device.

しかしながら、視線認識を機械とのコミュニケーションに用いる実際の状況を考えてみると、表示装置上の正確な画素単位の位置を指定する前に、使用者が機器とのコミュニケーションや操作を開始する時点を検出することが必要である。また、現在では、複数の機械、複数の使用者が同一場所に存在する状況が多く存在する。この場合に使用者がどの機器を操作するつもりであるか、あるいは複数の使用者のうち操作権を持つのは誰かを特定したいといった用途においては、使用者と機器とのアイコンタクトにより使用者がどの機器を注視しているのか、反対に機器を注視しているのはどの使用者であるのかを同定する必要がある。 However, considering the actual situation where gaze recognition is used for communication with the machine, before specifying the exact pixel unit position on the display device, the time when the user starts communication and operation with the device is determined. It is necessary to detect. At present, there are many situations where a plurality of machines and a plurality of users exist in the same place. In this case, in an application where the user intends to operate which device or who wants to identify who has the operation right among multiple users, the user is in contact with the user through the eye contact between the user and the device. It is necessary to identify which user is watching, and on the contrary, which user is watching the device.

本発明は上記課題を解決するためになされたもので、その目的とするところは、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断するコミュニケーションシステム、方法及びプログラムを提供することにある。 The present invention has been made to solve the above problems, it is an object of providing a Turkey Myunikeshon system, method and program to determine the presence or absence of eye contact between the user and the device with a simple apparatus configuration There is to do.

本発明のある観点によれば、使用者の視野を撮像して第１の画像データを出力する第１のカメラ（視野画像取得カメラ）と、前記使用者が利用する機器に搭載され、該機器を操作可能な位置の映像を撮像して第２の画像データを出力する第２のカメラ（使用者画像取得カメラ）と、前記第１の画像データに基づき前記使用者の視野内における前記機器の有無を認識して機器認識結果を得る機器認識手段と、前記第２の画像データに基づき前記機器を操作可能な位置に前記使用者が存在するか否かを認識して使用者認識結果を得る使用者認識手段と、前記機器認識結果が前記使用者の視野内に前記機器が存在することを示し、かつ前記使用者認識結果が前記機器を操作可能な位置に使用者が存在することを示す状態が閾値以上の時間経過したか否かを判定する判定手段とを具備してなることを特徴とするコミュニケーションシステムが提供される。 According to an aspect of the present invention, a first camera that outputs a first image data by imaging a field of view of the user (field image obtaining camera) mounted on equipment that the user is available, the instrument the second camera that outputs a second image data by imaging the image of the operable position (user image acquisition camera), the equipment in the user in the field of view based on the first image data Device recognition means for recognizing presence / absence and obtaining a device recognition result, and obtaining a user recognition result by recognizing whether or not the user exists at a position where the device can be operated based on the second image data. User recognition means, and the device recognition result indicates that the device exists within the user's field of view, and the user recognition result indicates that the user exists at a position where the device can be operated. Whether the status has exceeded the threshold Or wherein the to Turkey Myunikeshon system to become comprises a determination means for determining is provided.

この発明によれば、使用者画像取得カメラで撮影した画像内に使用者が写っているだけでは、使用者が機器の方向を向いているかどうか判断できないが、視野画像取得カメラで撮影した画像も利用することにより、アイコンタクトの有無を簡便かつ容易に判断することができる。   According to the present invention, it is not possible to determine whether the user is facing the direction of the device simply by showing the user in the image captured by the user image acquisition camera. By using it, the presence or absence of eye contact can be easily and easily determined.

望ましくは、前記機器認識手段、使用者認識手段及び判定手段は、前記使用者により携帯されるか又は前記機器に搭載された１台の情報処理装置に設けられており、前記第１のカメラと前記第２のカメラ及び前記情報処理装置はネットワーク接続可能に構成されていることにより、画像処理を行うための機器認識手段、使用者認識手段及び判定手段として機能する情報処理装置を１台で実現できる。 Preferably, the device recognition unit, the user recognition unit, and the determination unit are provided in one information processing device that is carried by the user or mounted on the device, and the first camera and by the second camera and the information processing apparatus that is configured to be a network connection, device recognition unit for performing image processing, an information processing apparatus that functions as a user recognition unit及beauty-size constant means one Can be realized.

また望ましくは、前記視野画像取得カメラを使用者の頭部に取り付ける固定装置を備える。   Preferably, a fixing device for attaching the visual field image acquisition camera to the user's head is provided.

また望ましくは、前記機器に設けられ、機器を認識するためのマーカを表示する表示装置と、使用者により携帯され、前記機器認識手段で認識された機器の前記表示装置のうち、使用者が注視した部分の画像を表示する携帯表示部とをさらに備え、前記機器認識手段は、前記視野画像データに含まれる前記マーカの撮像画像に基づき機器及び使用者の注視部分を認識する。これにより、使用者が注視している部分の表示画像を使用者側で確認できる。 Preferably, the display device of the apparatus provided on the device and displaying a marker for recognizing the device and the display device of the device carried by the user and recognized by the device recognition means are watched by the user. And a portable display unit for displaying the image of the portion, and the device recognition means recognizes the device and the user's gaze portion based on the captured image of the marker included in the visual field image data. Thereby, the display image of the part which the user is gazing at can be confirmed on the user side.

また望ましくは、前記使用者が複数の前記機器を利用する場合に、前記視野画像取得カメラは前記複数の機器の各々に設けられ、前記機器認識手段は、前記使用者の視野内における前記複数の機器の有無を認識する。これにより、複数の使用者あるいは機器を含むコミュニケーションシステムにおける複数の使用者を識別し、また複数の機器を識別することができる。 Preferably, when the user uses a plurality of the devices, the field-of-view image acquisition camera is provided in each of the plurality of devices, and the device recognition means includes the plurality of devices in the field of view of the user. to recognize the presence or absence of equipment. Thereby, a plurality of users in a communication system including a plurality of users or devices can be identified, and a plurality of devices can be identified.

また、上記本発明は、上記コミュニケーションシステムを用いて実現されるコミュニケーション方法、該方法を実現するためのコミュニケーションプログラムとしても成立する。   The present invention is also established as a communication method realized using the communication system and a communication program for realizing the method.

本発明によれば、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断することができる。   According to the present invention, it is possible to determine the presence or absence of eye contact between a user and a device with a simple device configuration.

以下、図面を参照しながら本発明の実施形態を説明する。
（第１実施形態）
図１は本発明の第１実施形態に係るアイコンタクトコミュニケーションシステム１００の全体構成を示す図である。図１に示すように、視野画像取得カメラ１と、情報処理装置２と、操作の対象とする機器３と、使用者画像取得カメラ４と、情報処理装置５とから構成される。情報処理装置２と５は通信ネットワーク６で接続されている。通信ネットワーク６は有線でも無線でもよく、例えばイーサネット、無線ＬＡＮなど、既知の情報通信手段が用いられる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram showing an overall configuration of an eye contact communication system 100 according to the first embodiment of the present invention. As shown in FIG. 1, the camera includes a field-of-view image acquisition camera 1, an information processing device 2, a device 3 to be operated, a user image acquisition camera 4, and an information processing device 5. The information processing apparatuses 2 and 5 are connected by a communication network 6. The communication network 6 may be wired or wireless, and known information communication means such as Ethernet or wireless LAN is used.

視野画像取得カメラ１は、機器３の使用者１０である人間の頭部に設置される。設置の際に、使用者１０の顔が向いている方向の映像を視野画像として撮像する。撮像された画像は情報処理装置２に出力される。使用者画像取得カメラ４は機器３に搭載され、機器３を操作可能な位置の映像を撮像する。撮像された画像は情報処理装置５に出力される。   The field-of-view image acquisition camera 1 is installed on the head of a person who is the user 10 of the device 3. At the time of installation, an image in a direction in which the face of the user 10 is facing is captured as a visual field image. The captured image is output to the information processing apparatus 2. The user image acquisition camera 4 is mounted on the device 3 and captures an image of a position where the device 3 can be operated. The captured image is output to the information processing device 5.

図２は使用者１０に対する視野画像取得カメラ１の固定手法例を示す図である。図２（ａ）の場合、視野画像取得カメラ１をカメラ固定バンド１１に通した上でカメラ固定バンド１１を頭に巻き付ける。また、図２（ｂ）の場合、視野画像取得カメラ１をカメラ固定バンド１２に通した上で首の下で止める。このように、視野画像取得カメラ１を固定する固定装置としてカメラ固定バンド１１や１２を用いて視野画像取得カメラ１の撮像方向を使用者１０の視野にあわせて固定することにより、視野画像取得カメラ１が使用者１０の動きにあわせてその使用者１０の顔が向いている方向、すなわち使用者１０の視野を撮像することができる。   FIG. 2 is a diagram illustrating an example of a fixing method of the field-of-view image acquisition camera 1 for the user 10. In the case of FIG. 2A, the camera fixing band 11 is wound around the head after the visual field image acquisition camera 1 is passed through the camera fixing band 11. In the case of FIG. 2B, the visual field image acquisition camera 1 is passed through the camera fixing band 12 and stopped under the neck. Thus, by fixing the imaging direction of the visual field image acquisition camera 1 according to the visual field of the user 10 using the camera fixing bands 11 and 12 as a fixing device for fixing the visual field image acquisition camera 1, the visual field image acquisition camera is fixed. The direction in which the face of the user 10 is facing in accordance with the movement of the user 10, that is, the visual field of the user 10 can be imaged.

図３は情報処理装置２及び５の詳細な構成を示す図である。情報処理装置２は、視野画像取得カメラ１と同様に使用者が携帯可能に構成されている。情報処理装置２は、例えば携帯電話端末、携帯情報端末などで実現される。情報処理装置５は、使用者画像取得カメラ４に接続されて機器３に搭載されている。   FIG. 3 is a diagram showing a detailed configuration of the information processing apparatuses 2 and 5. The information processing device 2 is configured to be portable by the user, similar to the view image acquisition camera 1. The information processing apparatus 2 is realized by, for example, a mobile phone terminal, a mobile information terminal, or the like. The information processing apparatus 5 is connected to the user image acquisition camera 4 and mounted on the device 3.

情報処理装置２は、プロセッサ２１と、データベース２２と、表示部２３からなる。   The information processing apparatus 2 includes a processor 21, a database 22, and a display unit 23.

プロセッサ２１は、データベース２２からプログラムを読み出すことにより画像管理手段２１ａ、機器認識手段２１ｂ、アイコンタクト判定手段２１ｃ、通信制御手段２１ｄ及び使用者用アプリケーション２１ｅとして機能する。   The processor 21 functions as an image management unit 21a, a device recognition unit 21b, an eye contact determination unit 21c, a communication control unit 21d, and a user application 21e by reading a program from the database 22.

視野画像取得カメラ１で撮像された視野画像信号はプロセッサ２１に入力される。画像管理手段２１ａは、視野画像取得カメラ１からの視野画像信号を視野画像データとしてデータベース２２に格納する。機器認識手段２１ｂは、データベース２２に格納された視野画像データに基づき視野に機器が存在するか否かを判定し、機器認識結果を得る。機器認識手段２１ｂにおける認識処理は、周知の画像認識処理を用いる。機器認識結果は、機器認識可と、機器認識不可の２つの状態からなる。認識すべき機器が複数ある場合には、機器認識手段２１ｂは、どの機器であるかを識別する。機器認識手段２１ｂは、機器認識可と、機器認識不可の２つの状態のいずれかに識別した機器の機器ＩＤを対応付けてこの機器認識結果を得る。   The visual field image signal captured by the visual field image acquisition camera 1 is input to the processor 21. The image management means 21a stores the field image signal from the field image acquisition camera 1 in the database 22 as field image data. The device recognition unit 21b determines whether or not a device exists in the field of view based on the field-of-view image data stored in the database 22, and obtains a device recognition result. The recognition processing in the device recognition means 21b uses a well-known image recognition process. The device recognition result consists of two states: device recognition is possible and device recognition is not possible. When there are a plurality of devices to be recognized, the device recognition means 21b identifies which device it is. The device recognition unit 21b obtains the device recognition result by associating the device ID of the device identified as one of two states of device recognition enabled and device recognition disabled.

アイコンタクト判定手段２１ｃは、機器認識手段２１ｂで得られた機器認識結果と、情報処理装置５から受信した使用者認識結果とに基づき、アイコンタクトの有無を判定する。判定結果は、アイコンタクト有り、アイコンタクト無しの２つの状態からなる。得られた判定結果は、通信制御手段２１ｄを介して情報処理装置５に送信される。なお、認識すべき使用者又は機器が複数の場合、判定結果も、判定の対象とする機器を識別する機器ＩＤ又は判定の対象とする使用者を識別する使用者ＩＤに対応付けて得られる。   The eye contact determination unit 21 c determines the presence or absence of eye contact based on the device recognition result obtained by the device recognition unit 21 b and the user recognition result received from the information processing apparatus 5. The determination result consists of two states with eye contact and without eye contact. The obtained determination result is transmitted to the information processing apparatus 5 via the communication control means 21d. When there are a plurality of users or devices to be recognized, the determination result is also obtained in association with a device ID for identifying a device to be determined or a user ID for identifying a user to be determined.

使用者用アプリケーション２１ｅは、アイコンタクト判定手段２１ｃで得られた判定結果における機器に関する機器データをデータベース２２から読み出し表示部２３に表示する。認識される機器が複数ある場合には、データベース２２の機器データは機器ＩＤに対応付けられて機器毎に格納される。使用者用アプリケーション２１ｅは、判定結果に含まれる機器ＩＤに基づき、その機器ＩＤに対応付けられた機器データをデータベース２２から読み出し表示する。   The user application 21e reads out device data relating to the device in the determination result obtained by the eye contact determination means 21c from the database 22 and displays it on the display unit 23. When there are a plurality of recognized devices, the device data in the database 22 is stored for each device in association with the device ID. Based on the device ID included in the determination result, the user application 21e reads out the device data associated with the device ID from the database 22 and displays it.

また、使用者用アプリケーション２１ｅは、情報処理装置５から受信した機器部分表示データを表示部２３に表示する。さらに望ましくは、使用者用アプリケーション２１ｅは、画像管理手段２１ａで得られた視野画像データを表示部２３に表示する。この場合、機器認識手段２１ｂにおける機器認識結果をあわせて表示するのが望ましい。図４は表示部２３に表示された視野画像の一例を示す図である。図４（ａ）は機器３が含まれる視野画像７ａであり、視野認識結果は機器認識可である。図４（ｂ）は機器３が含まれない視野画像７ｂであり、視野認識結果は機器認識不可である。   In addition, the user application 21 e displays the device partial display data received from the information processing apparatus 5 on the display unit 23. More preferably, the user application 21e displays the visual field image data obtained by the image management unit 21a on the display unit 23. In this case, it is desirable to display the device recognition result in the device recognition means 21b together. FIG. 4 is a diagram illustrating an example of a visual field image displayed on the display unit 23. FIG. 4A shows a visual field image 7a including the device 3, and the visual field recognition result can be recognized by the device. FIG. 4B shows a visual field image 7b that does not include the device 3, and the visual field recognition result is that the device cannot be recognized.

通信制御手段２１ｄは、使用者認識結果及び機器部分表示データを情報処理装置５から受信する。   The communication control unit 21 d receives the user recognition result and the device partial display data from the information processing device 5.

情報処理装置５は、プロセッサ５１と、データベース５２と、表示部５３からなる。   The information processing apparatus 5 includes a processor 51, a database 52, and a display unit 53.

プロセッサ５１は、データベース５２からプログラムを読み出すことにより画像管理手段５１ａ、使用者認識手段５１ｂ、通信制御手段５１ｃ及び機器用アプリケーション５１ｄとして機能する。   The processor 51 functions as an image management unit 51a, a user recognition unit 51b, a communication control unit 51c, and a device application 51d by reading a program from the database 52.

使用者画像取得カメラ４で撮像された使用者画像信号はプロセッサ５１に入力される。画像管理手段５１ａは、使用者画像取得カメラ４からの使用者画像信号を視野画像データとしてデータベース５２に格納する。使用者認識手段５１ｂは、データベース５２に格納された使用者画像データに基づき機器３の操作位置、すなわち機器３の視野内に使用者が存在するか否かを判定し、使用者認識結果を得る。使用者認識手段５１ｂにおける認識処理は、周知の顔画像認識処理を用いる。使用者認識結果は、使用者認識可と、使用者認識不可の２つの状態からなる。認識すべき使用者が複数ある場合には、使用者認識手段５１ｂは、どの使用者であるかを識別する。使用者認識手段５１ｂは、使用者認識可と、使用者認識不可の２つの状態のいずれかに識別した使用者の使用者ＩＤを対応付けてこの使用者認識結果を得る。   A user image signal captured by the user image acquisition camera 4 is input to the processor 51. The image management means 51a stores the user image signal from the user image acquisition camera 4 in the database 52 as visual field image data. The user recognition means 51b determines whether or not the user is present in the operation position of the device 3, that is, the visual field of the device 3, based on the user image data stored in the database 52, and obtains the user recognition result. . As the recognition process in the user recognition means 51b, a well-known face image recognition process is used. The user recognition result consists of two states: user recognition is possible and user recognition is not possible. When there are a plurality of users to be recognized, the user recognition means 51b identifies which user it is. The user recognizing means 51b obtains the user recognition result by associating the user ID of the user identified as one of two states of user recognizable and user recognizable.

図５は、画像管理手段５１ａで得られた使用者画像データの一例を示す図である。図５（ａ）は使用者１０が含まれる使用者画像８ａであり、使用者認識結果は使用者認識可である。図５（ｂ）は使用者１０が含まれない使用者画像８ｂであり、使用者認識結果は使用者認識不可である。この図５に示される使用者画像８ａ，８ｂは、必要に応じて機器用アプリケーション５１ｄにより表示装置５３に表示されてもよいし、情報処理装置２に通信制御手段５１ｃを介して送信され、使用者用アプリケーション２１ｅにより表示部２３に表示されてもよい。   FIG. 5 is a diagram showing an example of user image data obtained by the image management means 51a. FIG. 5A shows a user image 8a including the user 10, and the user recognition result can be recognized by the user. FIG. 5B shows a user image 8b in which the user 10 is not included, and the user recognition result cannot be recognized by the user. The user images 8a and 8b shown in FIG. 5 may be displayed on the display device 53 by the device application 51d as needed, or transmitted to the information processing device 2 via the communication control means 51c and used. It may be displayed on the display unit 23 by the user application 21e.

通信制御手段５１ｃは、使用者認識手段５１ｂで得られた使用者認識結果を情報処理装置２に送信する。また、通信制御手段５１ｃは、情報処理装置２から判定結果を受信し、機器用アプリケーション５１ｄで得られた機器部分表示データを情報処理装置２に送信する。   The communication control unit 51 c transmits the user recognition result obtained by the user recognition unit 51 b to the information processing apparatus 2. Further, the communication control unit 51 c receives the determination result from the information processing device 2 and transmits the device partial display data obtained by the device application 51 d to the information processing device 2.

機器用アプリケーション５１ｄは、情報処理装置２から受信した判定結果に含まれる機器と、その判定結果に含まれる視野画像中の機器３の位置に基づき、機器表示データから機器部分表示データを抽出する。得られた機器部分表示データは通信制御手段５１ｃを介して情報処理装置２に送信される。機器用アプリケーション５１ｄは、例えばその機器３での作業内容などの機器表示データを表示装置５３に表示する。   The device application 51d extracts device partial display data from the device display data based on the device included in the determination result received from the information processing device 2 and the position of the device 3 in the visual field image included in the determination result. The obtained device partial display data is transmitted to the information processing apparatus 2 via the communication control means 51c. The device application 51d displays device display data such as work contents in the device 3 on the display device 53, for example.

望ましくは、機器用アプリケーション５１ｄは、機器表示データとともに、マーカデータを含めて表示装置５３に表示する。マーカデータを表示する場合、機器認識手段２１ｂは、視野画像データにマーカ画像が含まれるか否かを機器認識結果に反映させてもよい。すなわち、視野画像データにマーカ画像が含まれる場合には機器認識可、マーカ画像が含まれない場合には機器認識不可と判定されるようにしてもよい。また、認識されるべき機器が複数ある場合には、各機器３は、表示装置５３に異なるマーカ画像を表示すればよい。この場合、機器認識手段２１ｂは、視野画像データに含まれるマーカ画像の種別を判別することにより、複数の機器を識別できる。データベース２２には、予め各マーカ画像の特徴データを格納しておき、この特徴データと視野画像データに含まれるマーカ画像とを比較することにより、マーカ画像の種別を判別できる。   Desirably, the device application 51d displays the marker data together with the device display data on the display device 53. When displaying the marker data, the device recognition unit 21b may reflect whether or not the marker image is included in the visual field image data in the device recognition result. That is, it may be determined that device recognition is possible when the marker image is included in the visual field image data, and device recognition is not possible when the marker image is not included. If there are a plurality of devices to be recognized, each device 3 may display a different marker image on the display device 53. In this case, the device recognition unit 21b can identify a plurality of devices by determining the type of the marker image included in the visual field image data. The database 22 stores feature data of each marker image in advance, and the type of the marker image can be determined by comparing the feature data with the marker image included in the visual field image data.

図６はこのマーカ画像を含めた機器認識を行う場合の機器３側の構成例である。図６の例では、機器３が情報処理装置５そのものである場合を示す例である。プロセッサ５１と、このプロセッサ５１に接続された表示装置５３を備え、この表示装置５３上には使用者画像取得カメラ４が設置されている。表示装置５３に表示される機器の作業内容などの機器表示画像３０に加えて、マーカ画像３５が表示装置５３中央近傍に位置するように表示されている。機器表示画像３０として、マーカ画像３５に対して左上、右上、左下、右下の領域にそれぞれ部分表示画像３１乃至３４が表示される。   FIG. 6 is a configuration example on the device 3 side when device recognition including this marker image is performed. The example of FIG. 6 is an example in which the device 3 is the information processing apparatus 5 itself. A processor 51 and a display device 53 connected to the processor 51 are provided, and the user image acquisition camera 4 is installed on the display device 53. In addition to the device display image 30 such as the work contents of the device displayed on the display device 53, the marker image 35 is displayed so as to be positioned near the center of the display device 53. As the device display image 30, partial display images 31 to 34 are displayed in the upper left, upper right, lower left, and lower right areas of the marker image 35, respectively.

図７は機器認識を行う場合のマーカ画像を含む視野画像７の一例を示す図である。図７（ａ）はマーカ画像３５が含まれる視野画像７ｃの一例を示し、視野認識結果は機器認識可である。さらに使用者認識結果が使用者認識可である場合、判定結果はアイコンタクト有りとなる。したがって、図３において説明した通り、当該機器に関する機器部分表示データが抽出される。この機器部分表示データは、機器表示データのうち、視野画像７ｃのうち、視野の比較的中心にある部分を抽出するのが望ましい。そこで、例えば図７（ａ）の場合、マーカ画像３５が視野画像７ｃの右下に表示されていることから、この視野画像７ｃのうちの左上に表示されている機器表示データを部分的に抽出すればよい。   FIG. 7 is a diagram illustrating an example of a visual field image 7 including a marker image when device recognition is performed. FIG. 7A shows an example of the visual field image 7c including the marker image 35, and the visual field recognition result is device recognition possible. Further, when the user recognition result is user recognizable, the determination result is that there is an eye contact. Therefore, as described with reference to FIG. 3, device partial display data relating to the device is extracted. It is desirable to extract the device partial display data from the device display data from the visual field image 7c. Therefore, for example, in the case of FIG. 7A, since the marker image 35 is displayed at the lower right of the visual field image 7c, the device display data displayed at the upper left of the visual field image 7c is partially extracted. do it.

具体的には、表示装置５３の部分表示画像３１に表示されている画像データを、部分表示画像３１の画像データを機器部分表示データとして通信制御手段５１ｃを介して情報処理装置２に送信する。この機器部分表示データの抽出を行うため、機器認識結果には、マーカ画像３５の視野画像７ｃ内の位置を含めておけばよい。このマーカ画像の視野画像中の位置は、機器認識結果とともに情報処理装置５に送信され、機器用アプリケーション５１ｄがそのマーカ画像位置に基づき抽出すべき機器部分表示データを抽出する。例えば視野画像７ｃが右上、左上、左下、右下の順に領域１１１、１１２、１１３及び１１４に分割して判定される場合には、次のように抽出処理を行う。すなわち、領域１１４にマーカ画像位置が検出される場合には部分表示画像３１に対応する表示データが、領域１１３にマーカ画像位置が検出される場合には部分表示画像３２に対応する表示データが、領域１１２にマーカ画像位置が検出される場合には部分表示画像３３に対応する表示データが、領域１１１にマーカ画像位置が検出される場合には部分表示画像３４に対応する表示データが抽出される。   Specifically, the image data displayed on the partial display image 31 of the display device 53 is transmitted to the information processing device 2 via the communication control means 51c as the image data of the partial display image 31 as device partial display data. In order to extract the device partial display data, the device recognition result may include the position of the marker image 35 in the visual field image 7c. The position of the marker image in the visual field image is transmitted to the information processing apparatus 5 together with the device recognition result, and the device application 51d extracts device partial display data to be extracted based on the marker image position. For example, when the visual field image 7c is determined by being divided into regions 111, 112, 113, and 114 in the order of upper right, upper left, lower left, and lower right, the extraction process is performed as follows. That is, when the marker image position is detected in the area 114, the display data corresponding to the partial display image 31 is displayed. When the marker image position is detected in the area 113, the display data corresponding to the partial display image 32 is displayed. When the marker image position is detected in the area 112, display data corresponding to the partial display image 33 is extracted. When the marker image position is detected in the area 111, display data corresponding to the partial display image 34 is extracted. .

使用者用アプリケーション２１ｅは、通信制御手段２１ｄを介して受信したこの機器部分表示データを表示部２３に表示する。図７（ａ）の３７は表示部２３の表示画面である。表示画面３７には、機器部分表示データ３８が表示されている。   The user application 21e displays the device partial display data received via the communication control unit 21d on the display unit 23. Reference numeral 37 in FIG. 7A denotes a display screen of the display unit 23. On the display screen 37, device part display data 38 is displayed.

なお、この使用者１０の注視する部分のデータ抽出は、情報処理装置５のデータベース５２から抽出する場合に限られない。例えば、上記機器用アプリケーション５１ｄで行われた判定手法に基づき、情報処理装置２の使用者用アプリケーション２１ｅが対応する領域の視野画像データを部分的に抽出し、その抽出画像を表示部２３に表示してもよい。注視部分の判定は、上記機器用アプリケーション５１ｄで行われる判定手法と共通する。   Note that the data extraction of the portion that the user 10 is watching is not limited to extraction from the database 52 of the information processing device 5. For example, based on the determination method performed by the device application 51d, the user application 21e of the information processing apparatus 2 partially extracts the field image data of the corresponding region and displays the extracted image on the display unit 23. May be. The determination of the gaze portion is common to the determination method performed by the device application 51d.

図７（ｂ）はマーカ画像３５が含まれない視野画像７ｄの一例を示す。この場合、機器３の一部である表示装置５３が視野画像７ｄに一部含まれているが、マーカ画像３５が含まれていないため、認識処理結果は機器認識不可である。   FIG. 7B shows an example of a visual field image 7 d that does not include the marker image 35. In this case, the display device 53 that is a part of the device 3 is partially included in the visual field image 7d, but since the marker image 35 is not included, the recognition processing result cannot be recognized by the device.

上記実施形態に係るコミュニケーションシステム１００のアイコンタクトの判定の詳細を図８のフローチャートに沿って説明する。   Details of the eye contact determination of the communication system 100 according to the embodiment will be described with reference to the flowchart of FIG.

まず、使用者１０の頭部に取り付けられた視野画像取得カメラ１により、視野画像を撮像する（ｓ１）。一方、機器３に搭載された使用者画像取得カメラ４により、機器３の操作位置に映る使用者画像を撮像する（ｓ２）。使用者１０側の情報処理装置２内の機器認識手段２１ｂは、得られた視野画像データに基づき機器認識処理を行い機器認識結果を得る（ｓ３）。一方、機器３側の情報処理装置５内の使用者認識手段５１ｂは、得られた使用者画像データに基づき使用者認識処理を行い使用者認識結果を得る（ｓ４）。使用者１０側の情報処理装置２内のアイコンタクト判定手段２１ｃは、これら機器認識結果及び使用者認識結果に基づきアイコンタクトの成立の可否を判定する（ｓ５）。アイコンタクトの成立は、機器認識結果が機器認識可で、使用者認識結果が使用者認識可の場合であって、その状態の経過時間Ｔが閾値Ｔｔｈ以上になるか否かで判定される（ｓ６）。 First, a visual field image is captured by the visual field image acquisition camera 1 attached to the head of the user 10 (s1). On the other hand, a user image captured at the operation position of the device 3 is captured by the user image acquisition camera 4 mounted on the device 3 (s2). The device recognition means 21b in the information processing device 2 on the user 10 side performs device recognition processing based on the obtained visual field image data to obtain a device recognition result (s3). On the other hand, the user recognition means 51b in the information processing apparatus 5 on the device 3 side performs a user recognition process based on the obtained user image data to obtain a user recognition result (s4). The eye contact determination means 21c in the information processing device 2 on the user 10 side determines whether or not the eye contact can be established based on the device recognition result and the user recognition result (s5). The establishment of the eye contact is determined by whether the device recognition result is device recognition and the user recognition result is user recognition, and whether or not the elapsed time T in that state is equal to or greater than the threshold value Tth. (S6).

具体的には、機器認識手段２１ｂで得られた機器認識結果が機器認識不可、あるいは使用者認識手段５１ｂで得られた使用者認識結果が使用者認識不可のいずれかである場合には、アイコンタクト判定手段２１ｃはアイコンタクト不成立と判定する（ｓ８）。   Specifically, if the device recognition result obtained by the device recognition means 21b is either device recognition impossible or the user recognition result obtained by the user recognition means 51b is either user recognition impossible, The contact determination means 21c determines that the eye contact is not established (s8).

機器認識手段２１ｂで得られた機器認識結果が機器認識可で、かつ使用者認識手段５１ｂで得られた使用者認識結果が使用者認識可の場合、アイコンタクト判定手段２１ｃは、機器認識可で使用者認識可である時間が閾値Ｔｔｈを超えたか否かを判定する。閾値Ｔｔｈを超えた場合、アイコンタクト判定手段２１ｃはアイコンタクト成立と判定し（ｓ７）、閾値Ｔｔｈを超えない場合、アイコンタクト不成立と判定する（ｓ８）。 When the device recognition result obtained by the device recognition means 21b is device recognition possible and the user recognition result obtained by the user recognition means 51b is user recognition possible, the eye contact determination means 21c is capable of device recognition. It is determined whether the time during which the user can be recognized exceeds a threshold value Tth . When the threshold value Tth is exceeded, the eye contact determination means 21c determines that eye contact is established (s7), and when the threshold value Tth is not exceeded, it is determined that eye contact is not established (s8).

アイコンタクト成立と判定された場合、例えば使用者用アプリケーション２１ｅや機器用アプリケーション５１ｄのうちの機器使用時のアプリケーションが起動し、機器３の通常の使用が開始される（ｓ９）。   When it is determined that the eye contact is established, for example, an application at the time of use of the device among the user application 21e and the device application 51d is activated, and normal use of the device 3 is started (s9).

このように本実施形態によれば、使用者画像取得カメラ４で撮影した画像内に使用者１０が写っているだけでは使用者１０が機器３の方向を向いているかどうかを判断できないが、視野画像取得カメラ１の画像をあわせて利用することにより、アイコンタクトの成立の可否を容易に判断することができる。すなわち、機器３が使用者１０の視野内に検出され、かつ使用者１０が機器３の操作可能な位置を含む視野内に検出されている状態がある一定時間継続していることに基づきアイコンタクトの有無を判別できる。これにより、機器に近づき操作するなどの手間を必要とせず、アイコンタクトで機器の選択や、操作の開始を行うことができる。   As described above, according to the present embodiment, it is not possible to determine whether the user 10 is facing the direction of the device 3 simply by showing the user 10 in the image captured by the user image acquisition camera 4. By using the images of the image acquisition camera 1 together, it is possible to easily determine whether or not the eye contact can be established. That is, the eye contact is based on the fact that the device 3 is detected in the field of view of the user 10 and the user 10 is detected in the field of view including the position where the device 3 can be operated. Can be determined. Accordingly, it is possible to select a device or start an operation by eye contact without requiring the trouble of approaching the device and operating it.

また、機器を認識するためのマーカを表示装置５３に表示させることにより、携帯情報端末などの情報処理装置２側にそのマーカの使用者画像中の位置に基づき使用者が注視している部分を特定することができるため、注視している部分の情報を選択して情報処理装置２側、すなわち使用者１０の手元で表示することができる。これにより、表示装置５３に近づくことなく、見たい部分を拡大して手元で確認することができる。   In addition, by displaying a marker for recognizing the device on the display device 53, a portion that the user is gazing at based on the position of the marker in the user image on the information processing device 2 side such as a portable information terminal is displayed. Since the information can be specified, the information of the portion being watched can be selected and displayed on the information processing apparatus 2 side, that is, at the user's 10 hand. Thereby, without approaching the display device 53, it is possible to enlarge and confirm at a hand a portion to be seen.

また、本発明は、複数の機器、複数人の使用者が存在する環境においても、機器に近づけたり、使用者間で機器を交換することなく、ある程度遠隔から使用したい機器を選択し、操作可能とすることができる。   In addition, even in an environment where there are multiple devices and multiple users, the present invention can select and operate a device to be used remotely to some extent without approaching the device or exchanging devices between users. It can be.

なお、本実施形態では、アイコンタクト判定手段２１ｃを情報処理装置２側に配置する場合を示したが、これに限定されない。情報処理装置５側に配置してもよい。   In the present embodiment, the case where the eye contact determination unit 21c is arranged on the information processing apparatus 2 side is shown, but the present invention is not limited to this. You may arrange | position to the information processing apparatus 5 side.

図９は情報処理装置５側にアイコンタクト判定手段５１ｅの配置構成例を示す図である。アイコンタクト判定手段５１ｅの機能はアイコンタクト判定手段２１ｃと共通する。また、他の構成は上記図３に示される構成と共通し、同一構成は同一符号を付している。   FIG. 9 is a diagram illustrating an arrangement configuration example of the eye contact determination unit 51e on the information processing apparatus 5 side. The function of the eye contact determination unit 51e is the same as that of the eye contact determination unit 21c. Other configurations are common to the configuration shown in FIG. 3, and the same configurations are denoted by the same reference numerals.

図９に示す構成の場合、画像管理手段２１ａが視野画像データをデータベース２２に格納し、機器認識手段２１ｂが機器認識結果を生成する点は共通する。この機器認識結果は通信制御手段２１ｄを介して情報処理装置５に送信される。   In the configuration shown in FIG. 9, the image management means 21a stores the field image data in the database 22, and the device recognition means 21b generates a device recognition result. The device recognition result is transmitted to the information processing apparatus 5 via the communication control unit 21d.

情報処理装置５側では、画像管理手段５１ａが使用者画像データを得てデータベース５２に格納する点、使用者認識手段５１ｂが使用者認識結果を生成する点は共通する。   On the information processing device 5 side, the point that the image management unit 51a obtains the user image data and stores it in the database 52, and the point that the user recognition unit 51b generates the user recognition result are common.

情報処理装置５側では、情報処理装置２から送信された機器認識結果と使用者認識手段５１ｂで得られた使用者認識結果に基づきアイコンタクト成立の可否を図３の場合と同様に判定する。得られた判定結果は通信制御手段５１ｃを介して情報処理装置２に送信される。情報処理装置２の使用者用アプリケーション２１ｅは、通信制御手段２１ｄを介して受信された判定結果を表示部２３に表示する。また、情報処理装置５側の機器用アプリケーション５１ｄは、アイコンタクト判定手段５１ｅで得られた判定結果と情報処理装置２から送信された機器認識結果に基づき機器表示データ５２から機器部分表示データを抽出し、通信制御手段５１ｃを介して情報処理装置２に送信する。情報処理装置２の使用者用アプリケーション２１ｅは、通信制御手段２１ｄを介して受信した機器部分表示データを表示部２３に表示する。   On the information processing device 5 side, whether or not the eye contact is established is determined based on the device recognition result transmitted from the information processing device 2 and the user recognition result obtained by the user recognition means 51b as in the case of FIG. The obtained determination result is transmitted to the information processing apparatus 2 via the communication control means 51c. The user application 21e of the information processing apparatus 2 displays the determination result received via the communication control unit 21d on the display unit 23. The device application 51d on the information processing device 5 side extracts device partial display data from the device display data 52 based on the determination result obtained by the eye contact determination unit 51e and the device recognition result transmitted from the information processing device 2. Then, the data is transmitted to the information processing apparatus 2 via the communication control unit 51c. The user application 21e of the information processing apparatus 2 displays the device partial display data received via the communication control unit 21d on the display unit 23.

アイコンタクト判定処理のための各処理内容は図８に示したものと共通する。また、上記で特に言及していない処理については、図３に基づき説明した処理と共通する。   Each processing content for the eye contact determination processing is the same as that shown in FIG. Further, the processing not particularly mentioned above is common to the processing described based on FIG.

このように、アイコンタクト判定手段５１ｅを情報処理装置５側に配置しても、上記実施形態と同様に、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断することができる。   As described above, even if the eye contact determination unit 51e is arranged on the information processing device 5 side, it is possible to determine the presence or absence of eye contact between the user and the device with a simple device configuration as in the above embodiment.

（第２実施形態）
本実施形態は第１実施形態の変形例に係わる。本実施形態は、視野画像取得カメラ１及び使用者画像取得カメラ４に替えてネットワーク接続可能な視野画像取得カメラ６０及び使用者画像取得カメラ７０を用いる。この場合、機器３側に情報処理装置５を設ける必要がないため、使用者１０側の情報処理装置８０が１台でアイコンタクトの成立を判定できる。 (Second Embodiment)
This embodiment relates to a modification of the first embodiment. In the present embodiment, a visual field image acquisition camera 60 and a user image acquisition camera 70 that can be connected to a network are used instead of the visual field image acquisition camera 1 and the user image acquisition camera 4. In this case, since it is not necessary to provide the information processing device 5 on the device 3 side, the information processing device 80 on the user 10 side can determine whether eye contact is established.

図１０は本実施形態に係るアイコンタクトコミュニケーションシステム２００の構成を示す図である。図１０に示すように、視野画像取得カメラ６０で取得された視野画像信号と、使用者画像取得カメラ７０で取得された使用者画像信号のいずれも無線通信などにより情報処理装置８０に送信される。   FIG. 10 is a diagram showing a configuration of the eye contact communication system 200 according to the present embodiment. As shown in FIG. 10, both the visual field image signal acquired by the visual field image acquisition camera 60 and the user image signal acquired by the user image acquisition camera 70 are transmitted to the information processing apparatus 80 by wireless communication or the like. .

図１１は視野画像取得カメラ６０、使用者画像取得カメラ７０及び情報処理装置８０の詳細な構成を示す図である。視野画像取得カメラ６０及び使用者画像取得カメラ７０は、情報処理装置８０と無線により通信可能とするために通信制御手段６１ｂ及び７１ｂをそれぞれ備える。また、情報処理装置８０の各構成は機器認識手段２１ｂの代わりに認識手段２１０ｂを備える以外ほぼ同じであるが、各構成の処理内容が若干異なる。   FIG. 11 is a diagram illustrating detailed configurations of the field-of-view image acquisition camera 60, the user image acquisition camera 70, and the information processing apparatus 80. The field-of-view image acquisition camera 60 and the user image acquisition camera 70 include communication control means 61b and 71b, respectively, in order to enable wireless communication with the information processing apparatus 80. Each configuration of the information processing apparatus 80 is substantially the same except that the recognition unit 210b is provided instead of the device recognition unit 21b, but the processing content of each configuration is slightly different.

視野画像取得カメラ６０では、画像取得手段６１ａで取得された視野画像信号は、通信制御手段６１ｂを介して情報処理装置８０に無線により送信される。   In the visual field image acquisition camera 60, the visual field image signal acquired by the image acquisition unit 61a is wirelessly transmitted to the information processing apparatus 80 via the communication control unit 61b.

使用者画像取得カメラ７０では、画像取得手段７１ａで取得された使用者画像信号は、通信制御手段７１ｂを介して情報処理装置８０に無線により送信される。   In the user image acquisition camera 70, the user image signal acquired by the image acquisition means 71a is wirelessly transmitted to the information processing apparatus 80 via the communication control means 71b.

情報処理装置８０の通信制御手段２１ｄは、視野画像取得カメラ６０から視野画像信号を受信し、使用者画像取得カメラ７０から使用者画像信号を受信する。画像管理手段２１ａは、これら視野画像信号と使用者画像信号を視野画像データ及び使用者画像データとしてデータベース２２に格納する。認識手段２１０ｂは、図３に示す機器認識手段２１ｂと使用者認識手段５１ｂとをあわせた機能を備える。すなわち、認識手段２１０ｂは、データベース２２に格納された視野画像データに基づき機器認識を行い、機器認識結果を得るとともに、データベース２２に格納された使用者画像データに基づき使用者認識を行い、使用者認識結果を得る。アイコンタクト判定手段２１ｃは、認識手段２１０ｂで得られた機器認識結果及び使用者認識結果に基づきアイコンタクトの有無を判定する。使用者用アプリケーション２１ｅは、アイコンタクト判定手段２１ｃで得られた判定結果に基づき機器データ２２を取得し、あるいは視野画像データの一部を含む機器部分表示データを生成して表示部２３に表示する。機器部分表示データの生成は、上記第１実施形態と共通する。   The communication control unit 21 d of the information processing apparatus 80 receives a field image signal from the field image acquisition camera 60 and receives a user image signal from the user image acquisition camera 70. The image management means 21a stores these visual field image signals and user image signals in the database 22 as visual field image data and user image data. The recognition unit 210b has a function that combines the device recognition unit 21b and the user recognition unit 51b shown in FIG. That is, the recognizing unit 210b performs device recognition based on the visual field image data stored in the database 22, obtains a device recognition result, and performs user recognition based on the user image data stored in the database 22, so that the user Get recognition result. The eye contact determination means 21c determines the presence or absence of eye contact based on the device recognition result and the user recognition result obtained by the recognition means 210b. The user application 21e acquires the device data 22 based on the determination result obtained by the eye contact determination unit 21c, or generates device partial display data including a part of the visual field image data and displays it on the display unit 23. . The generation of the device partial display data is common to the first embodiment.

このように本実施形態によれば、第１実施形態のアイコンタクトコミュニケーションシステム１００と同様の作用効果を奏するのみならず、情報処理装置８０が１台のみでアイコンタクトコミュニケーションシステム２００が実現可能である。   As described above, according to the present embodiment, not only the same effects as the eye contact communication system 100 of the first embodiment can be achieved, but also the eye contact communication system 200 can be realized with only one information processing device 80. .

本発明は上記実施形態に限定されない。   The present invention is not limited to the above embodiment.

上記実施形態では、各プログラムがデータベース２２及び５２から読み出されてプロセッサ２１及び５１で実行される例として示したが、これら各プログラムはプロセッサ２１又は５１に接続された不図示の記録媒体読取装置から、記録媒体に記録されたプログラムを読み出すことにより実行されてもよい。   In the above-described embodiment, each program is read from the databases 22 and 52 and executed by the processors 21 and 51. However, each program is not shown and is connected to the processor 21 or 51. Then, the program may be executed by reading the program recorded on the recording medium.

また、上記実施形態では使用者１０を認識する使用者認識結果を得る処理については特に詳細に言及しなかったが、図６や図７を用いて説明したマーカを用いた機器３を認識する処理を使用者１０の認識に適用してもよい。この場合、使用者１０にマーカを付す必要があるが、例えばカメラ固定バンド１１，１２の一部や、視野画像取得カメラ１や６０の一部をマーカとしたり、視野画像取得カメラ１にマーカを付してもよい。マーカは、他の部分に比して画像処理で顕著に相違が生じるようなもの、すなわち他の部分とは異なる部材などで構成すればよい。また、機器３でも同様に、他の部分とは異なる部材で構成されたマーカを用いれば、表示装置５３にマーカ画像を表示する必要がない。   In the above embodiment, the process for obtaining the user recognition result for recognizing the user 10 is not particularly described in detail, but the process for recognizing the device 3 using the marker described with reference to FIGS. May be applied to the recognition of the user 10. In this case, it is necessary to attach a marker to the user 10. For example, a part of the camera fixing bands 11 and 12, a part of the visual field image acquisition camera 1 or 60 is used as a marker, or a marker is attached to the visual field image acquisition camera 1. You may attach. The marker may be made of a material that causes a significant difference in image processing compared to other parts, that is, a member that is different from the other parts. Similarly, the device 3 does not need to display a marker image on the display device 53 by using a marker made of a member different from other parts.

また、認識されるべき使用者１０が複数ある場合にマーカを用いるためには、各使用者１０は、異なるマーカを用いればよい。この場合、使用者認識手段５１ｂ又は認識手段２１０ｂは、使用者画像データに含まれるマーカ画像の種別を判別することにより、複数の使用者を識別できる。データベース５２又は２２には、予め各マーカ画像の特徴データを格納しておき、この特徴データと使用者画像データに含まれるマーカ画像とを比較することにより、マーカ画像の種別を判別できる。   Moreover, in order to use a marker when there are a plurality of users 10 to be recognized, each user 10 may use a different marker. In this case, the user recognizing unit 51b or the recognizing unit 210b can identify a plurality of users by determining the type of the marker image included in the user image data. The database 52 or 22 stores feature data of each marker image in advance, and the type of the marker image can be determined by comparing the feature data with the marker image included in the user image data.

また、第２実施形態では、使用者１０側に情報処理装置８０を設けることにより一括処理する形態を示したが、これに限定されない。情報処理装置８０に相当する構成を機器３側に設置してもよい。   Moreover, in 2nd Embodiment, although the form which batch-processes by providing the information processing apparatus 80 in the user 10 side was shown, it is not limited to this. A configuration corresponding to the information processing apparatus 80 may be installed on the device 3 side.

また、機器認識手段２１ｂ、使用者認識手段５１ｂ、認識手段２１０ｂは、機器認識結果と使用者認識結果を２値、すなわち機器や使用者を認識できたか否かのみを判定する場合を示したが、これに限定されない。例えば認識の程度に応じてこれら機器認識結果と使用者認識結果を多値化し、アイコンタクトの判定に用いてもよい。   In addition, the device recognition unit 21b, the user recognition unit 51b, and the recognition unit 210b show the case where only the device recognition result and the user recognition result are determined as binary values, that is, whether or not the device or the user can be recognized. However, the present invention is not limited to this. For example, the device recognition result and the user recognition result may be multi-valued according to the degree of recognition and used for eye contact determination.

また、使用者画像取得カメラ４及び情報処理装置５は機器３側に搭載され、固定される場合を示しているが、機器３が移動する構成である場合には、この移動する機器３にあわせて使用者画像取得カメラ４及び情報処理装置５が移動するように構成してもよい。   In addition, the user image acquisition camera 4 and the information processing apparatus 5 are mounted and fixed on the device 3 side. However, when the device 3 is configured to move, the user image acquisition camera 4 and the information processing device 5 are matched to the moving device 3. The user image acquisition camera 4 and the information processing apparatus 5 may be configured to move.

また、使用者１０と機器３との間でのアイコンタクトを例に説明したが、使用者１０同士のアイコンタクトに用いてもよい。この場合、例えば第１実施形態では使用者画像取得カメラ４の代わりに視野画像取得カメラ１を用い、２つの視野画像取得カメラ１を２人の使用者１０にそれぞれ固定すればよい。   Moreover, although the eye contact between the user 10 and the device 3 has been described as an example, the eye contact between the users 10 may be used. In this case, for example, in the first embodiment, the field-of-view image acquisition camera 1 may be used instead of the user image-acquisition camera 4, and the two field-of-view image acquisition cameras 1 may be fixed to two users 10, respectively.

以上説明したようにこの発明は、使用者の視線を検出することにより使用者が利用する機器とのアイコンタクトの有無を判別するアイコンタクトコミュニケーションシステムの技術分野に有効である。   As described above, the present invention is effective in the technical field of an eye contact communication system that determines the presence or absence of eye contact with a device used by a user by detecting the user's line of sight.

本発明の第１実施形態に係るアイコンタクトコミュニケーションシステムの全体構成を示す図。The figure which shows the whole structure of the eye contact communication system which concerns on 1st Embodiment of this invention. 同実施形態に係る使用者に対する視野画像カメラの固定手法を示す図。The figure which shows the fixation method of the visual field image camera with respect to the user which concerns on the embodiment. 同実施形態に係る情報処理装置の詳細な構成を示す図。The figure which shows the detailed structure of the information processing apparatus which concerns on the embodiment. 同実施形態に係る表示部に表示された視野画像の一例を示す図。The figure which shows an example of the visual field image displayed on the display part which concerns on the embodiment. 同実施形態に係る画像管理手段で得られた使用者画像データの一例を示す図。The figure which shows an example of the user image data obtained by the image management means concerning the embodiment. 同実施形態に係るマーカ画像を含めた機器認識を行う場合の機器側の構成例を示す図。The figure which shows the structural example by the side of the apparatus at the time of performing apparatus recognition including the marker image which concerns on the same embodiment. 同実施形態に係るマーカ画像を含めた機器認識を行う場合の視野画像の一例を示す図。The figure which shows an example of the visual field image in the case of performing apparatus recognition including the marker image which concerns on the embodiment. 同実施形態に係るアイコンタクト判定までのフローチャートを示す図。The figure which shows the flowchart until the eye contact determination which concerns on the same embodiment. 同実施形態に係るアイコンタクト判定を機器側で行う場合の情報処理装置の詳細な構成を示す図。The figure which shows the detailed structure of the information processing apparatus in the case of performing the eye contact determination which concerns on the embodiment on the apparatus side. 本発明の第２実施形態に係るアイコンタクトコミュニケーションシステムの構成を示す図。The figure which shows the structure of the eye contact communication system which concerns on 2nd Embodiment of this invention. 同実施形態に係る視野画像取得カメラ、使用者画像取得カメラ及び情報処理装置の詳細な構成を示す図。The figure which shows the detailed structure of the visual field image acquisition camera which concerns on the embodiment, a user image acquisition camera, and information processing apparatus.

符号の説明Explanation of symbols

１…視野画像取得カメラ、２…情報処理装置、３…機器、４…使用者画像取得カメラ、５…情報処理装置、６…通信ネットワーク、１０…使用者、１１，１２…カメラ固定バンド、１００…アイコンタクトシミュレーションシステム DESCRIPTION OF SYMBOLS 1 ... Visual field image acquisition camera, 2 ... Information processing apparatus, 3 ... Apparatus, 4 ... User image acquisition camera, 5 ... Information processing apparatus, 6 ... Communication network, 10 ... User, 11, 12 ... Camera fixed band, 100 ... Eye contact simulation system

Claims (8)

複数の使用候補者の視野をそれぞれ撮像して第１の画像データを出力する複数の第１のカメラと、
複数の利用候補機器にそれぞれ搭載され、該利用候補機器を操作可能な位置の映像を撮像して第２の画像データを出力する複数の第２のカメラと、
前記第１の画像データに基づき少なくとも一人の使用候補者の視野内に、第１のデータベースに設定された、前記複数の利用候補機器のうちの特定の利用候補機器、が存在するか否かを認識して機器認識結果を得る機器認識手段と、
前記第２の画像データに基づき少なくとも一つの利用候補機器を操作可能な位置に、第２のデータベースに設定された、前記複数の使用候補者のうちの、前記特定の利用候補機器を使用する特定の使用候補者、が存在するか否かを認識して使用者認識結果を得る使用者認識手段と、
前記機器認識結果が前記少なくとも一人の使用候補者の視野内に前記特定の利用候補機器が存在することを示し、かつ前記使用者認識結果が前記少なくとも一つの利用候補機器を使用可能な位置に前記特定の使用候補者が存在することを示す状態が閾値以上の時間経過したか否かを判定する判定手段と
を具備してなることを特徴とするコミュニケーションシステム。 A plurality of first camera that outputs a first image data by imaging a plurality of use candidates viewing respectively,
Each is mounted on a plurality of available candidate device, a plurality of second camera that outputs a second image data by imaging the image of the operable position the utilization apparatus candidates,
Whether or not there is a specific use candidate device among the plurality of use candidate devices set in the first database within the field of view of at least one use candidate based on the first image data. Device recognition means for recognizing and obtaining device recognition results;
Identification using the specific usage candidate device among the plurality of usage candidates set in the second database at a position where at least one usage candidate device can be operated based on the second image data User recognition means for recognizing whether or not there is a use candidate, and obtaining a user recognition result;
Wherein said indicating that the particular use candidate devices exist, and that can use the user recognition result is at least one available apparatus candidates positioned in the device recognition result within the field of view of said at least one of the use candidate A communication system comprising: determination means for determining whether or not a state indicating that there is a specific use candidate has passed a time equal to or greater than a threshold value. 前記機器認識手段、使用者認識手段及び判定手段は、前記使用候補者により携帯されるか又は前記利用候補機器に搭載された１台の情報処理装置に設けられており、前記第１のカメラと前記第２のカメラ及び前記情報処理装置はネットワーク接続可能に構成されていることを特徴とする請求項１に記載のコミュニケーションシステム。 The device recognition unit, user recognition means and determination means, wherein provided on one information processing apparatus mounted on or the use candidate device is carried by using candidates, said first camera The communication system according to claim 1, wherein the second camera and the information processing apparatus are configured to be connected to a network. 前記第１のカメラを前記使用候補者の頭部に取り付ける固定装置をさらに備えることを特徴とする請求項１又は２に記載のコミュニケーションシステム。 The communication system according to claim 1, further comprising: a fixing device that attaches the first camera to the use candidate 's head. 前記利用候補機器に設けられ、前記利用候補機器を認識するためのマーカを表示する表示装置と、
使用候補者により携帯され、前記機器認識手段で認識された前記特定の利用候補機器に設けられた前記表示装置のうち、使用候補者の注視部分の画像を表示する携帯表示部とをさらに備え、
前記機器認識手段は、前記視野画像データに含まれる前記マーカの撮像画像に基づき前記利用候補機器及び前記使用候補者の注視部分を認識することを特徴とする請求項１又は２に記載のコミュニケーションシステム。 Provided the use candidate device, a display device for displaying a marker for recognizing the use candidate device,
A portable display unit that displays an image of a gaze portion of the use candidate among the display devices provided in the specific use candidate device that is carried by the use candidate and recognized by the device recognition unit,
The device recognition unit, communication system according to claim 1 or 2, characterized in that to recognize the use candidate device and gazing portion of the use candidate based on the captured image of the marker contained in the visual field image data . 前記利用候補機器を複数の使用候補者が共有する場合に、前記使用者認識手段は、前記利用候補機器を操作可能な位置に前記複数の使用候補者が存在するか否かを認識することを特徴とする請求項１又は２に記載のコミュニケーションシステム。 When the use candidate device has multiple uses candidates sharing, the user recognition means to recognize whether said utilization apparatus candidates a plurality of use candidates operable position exists The communication system according to claim 1 or 2, wherein the communication system is characterized. 前記使用候補者が複数の前記利用候補機器を利用する場合に、前記第２のカメラは前記複数の利用候補機器の各々に搭載され、前記機器認識手段は、前記使用候補者の視野内における前記複数の利用候補機器の有無を認識することを特徴とする請求項１、２及び５のいずれか１項に記載のコミュニケーションシステム。 When the use candidate uses a plurality of use candidate devices, the second camera is mounted on each of the plurality of use candidate devices, and the device recognition means is within the field of view of the use candidate . 6. The communication system according to claim 1, wherein presence / absence of the plurality of use candidate devices is recognized. 複数の第１のカメラが、複数の使用候補者の視野をそれぞれ撮像して第１の画像データを出力するステップと、
複数の利用候補機器にそれぞれ搭載された複数の第２のカメラが、該利用候補機器を操作可能な位置の映像を撮像して第２の画像データを出力するステップと、
機器認識手段が、前記第１の画像データに基づき少なくとも一人の使用候補者の視野内に、第１のデータベースに設定された、前記複数の利用候補機器のうちの特定の利用候補機器、が存在するか否かを認識して機器認識結果を得るステップと、
使用者認識手段が、前記第２の画像データに基づき少なくとも一つの利用候補機器を操作可能な位置に、第２のデータベースに設定された、前記複数の使用候補者のうちの、前記特定の利用候補機器を使用する特定の使用候補者、が存在するか否かを認識して使用者認識結果を得るステップと、
判定手段が、前記機器認識結果が前記少なくとも一人の使用候補者の視野内に前記特定の利用候補機器が存在することを示し、かつ前記使用者認識結果が前記少なくとも一つの利用候補機器を使用可能な位置に前記特定の使用候補者が存在することを示す状態が閾値以上の時間経過したか否かを判定するステップと
を具備してなることを特徴とするコミュニケーション方法。 A step in which a plurality of first camera outputs the first image data by imaging a plurality of use candidates viewing respectively,
A plurality of second cameras respectively mounted on a plurality of use candidate devices, taking images of positions where the use candidate devices can be operated and outputting second image data;
The device recognition means has a specific use candidate device among the plurality of use candidate devices set in the first database within the field of view of at least one use candidate based on the first image data. Recognizing whether or not to obtain a device recognition result; and
The specific use of the plurality of use candidates set in the second database at a position where the user recognition means can operate at least one use candidate device based on the second image data. Recognizing whether a specific use candidate using the candidate device exists and obtaining a user recognition result;
The determination unit indicates that the device recognition result indicates that the specific use candidate device exists within the field of view of the at least one use candidate , and the user recognition result can use the at least one use candidate device. Communication method characterized by state indicating said that a particular use candidates present in Do position is by and a step of determining whether elapsed threshold over time. コンピュータを、
複数の第１のカメラが複数の使用候補者の視野をそれぞれ撮像して得られる第１の画像データに基づき、少なくとも一人の使用候補者の視野内に、第１のデータベースに設定された、複数の利用候補機器のうちの特定の利用候補機器、が存在するか否かを認識して機器認識結果を得る機器認識手段と、
前記複数の利用候補機器にそれぞれ搭載された複数の第２のカメラが該利用候補機器を操作可能な位置の映像を撮像して得られる第２の画像データに基づき、少なくとも一つの利用候補機器を操作可能な位置に、第２のデータベースに設定された、前記複数の使用候補者のうちの、前記特定の利用候補機器を使用する特定の使用候補者、が存在するか否かを認識して使用者認識結果を得る使用者認識手段と、
前記機器認識結果が前記少なくとも一人の使用候補者の視野内に前記特定の利用候補機器が存在することを示し、かつ前記使用者認識結果が前記少なくとも一つの利用候補機器を使用可能な位置に前記特定の使用候補者が存在することを示す状態が閾値以上の時間経過したか否かを判定する判定手段と
として機能させるためのプログラム。 Computer
The plurality of first cameras set in the first database in the field of view of at least one use candidate based on the first image data obtained by imaging the fields of view of the plurality of use candidates by the plurality of first cameras, respectively. Device recognition means for recognizing whether there is a specific use candidate device among the use candidate devices, and obtaining a device recognition result;
Based on the second image data obtained by capturing images of positions where the plurality of second cameras respectively mounted on the plurality of use candidate devices can operate the use candidate devices , at least one use candidate device is selected. Recognizing whether there is a specific use candidate that uses the specific use candidate device among the plurality of use candidates set in the second database at an operable position A user recognition means for obtaining a user recognition result;
Wherein said indicating that the particular use candidate devices exist, and that can use the user recognition result is at least one available apparatus candidates positioned in the device recognition result within the field of view of said at least one of the use candidate A program for functioning as a determination means for determining whether or not a state indicating that a specific use candidate exists has passed a time equal to or greater than a threshold value.
JP2003431220A 2003-12-25 2003-12-25 Communication system, method and program Expired - Fee Related JP4277301B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003431220A JP4277301B2 (en) 2003-12-25 2003-12-25 Communication system, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003431220A JP4277301B2 (en) 2003-12-25 2003-12-25 Communication system, method and program

Publications (2)

Publication Number Publication Date
JP2005190205A JP2005190205A (en) 2005-07-14
JP4277301B2 true JP4277301B2 (en) 2009-06-10

Family

ID=34789356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003431220A Expired - Fee Related JP4277301B2 (en) 2003-12-25 2003-12-25 Communication system, method and program

Country Status (1)

Country Link
JP (1) JP4277301B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5928551B2 (en) * 2014-04-01 2016-06-01 カシオ計算機株式会社 Information processing system, information device, wearable information device, information device function execution method, wearable information device information notification method, wearable information device information device control method, wearable information device image transmission method, and program

Also Published As

Publication number Publication date
JP2005190205A (en) 2005-07-14

Similar Documents

Publication Publication Date Title
JP4751776B2 (en) Electronic imaging device and personal identification system
KR20150055543A (en) Gesture recognition device and gesture recognition device control method
JP5004845B2 (en) Monitoring terminal device and display processing method thereof, program, memory
CN101911670A (en) Digital camera focusing using stored object recognition
US10127424B2 (en) Image processing apparatus, image processing method, and image processing system
KR20140114832A (en) Method and apparatus for user recognition
EP2533533A1 (en) Display Control Device, Display Control Method, Program, and Recording Medium
JP2019153920A (en) Information processing apparatus, control method thereof, subject detection system, and program
WO2015111655A1 (en) Head-mounted display device
EP3576419A1 (en) Image processing apparatus, information processing apparatus, information processing method, and program
JP2010218039A (en) System and method for authenticating face
JP2008209306A (en) Camera
JP2007172378A (en) Apparatus for specifying object to be gazed at
JP2022003526A (en) Information processor, detection system, method for processing information, and program
JP4277301B2 (en) Communication system, method and program
US9076031B2 (en) Image capture apparatus, control method of image capture apparatus, and recording medium
JP2011259384A (en) Imaging apparatus, display device, program, and recording media
JP5376689B2 (en) Information processing apparatus, apparatus search method, apparatus search support method, and recording medium
JP2005033682A (en) Video display system
US10609231B2 (en) Image processing apparatus acquiring biological information and associating same with operating state
JP2018045271A (en) Portable terminal for maintenance work and display control method of portable terminal for maintenance work
JP7094759B2 (en) System, information processing method and program
US20200186766A1 (en) Information processing apparatus, image capturing apparatus, and information processing method
JP2019101783A (en) Information processing device and method
CN104205799A (en) Information processing device, information processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080909

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081106

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4277301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees