JPH10207615A - Network system - Google Patents

Network system

Info

Publication number
JPH10207615A
JPH10207615A JP9009219A JP921997A JPH10207615A JP H10207615 A JPH10207615 A JP H10207615A JP 9009219 A JP9009219 A JP 9009219A JP 921997 A JP921997 A JP 921997A JP H10207615 A JPH10207615 A JP H10207615A
Authority
JP
Japan
Prior art keywords
terminal device
host computer
image information
operator
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9009219A
Other languages
Japanese (ja)
Inventor
Hiroki Mochizuki
啓希 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TEC CORP
Original Assignee
TEC CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TEC CORP filed Critical TEC CORP
Priority to JP9009219A priority Critical patent/JPH10207615A/en
Publication of JPH10207615A publication Critical patent/JPH10207615A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To construct a further excellent man-machine interface by capturing the reaction of an operator to a transmitted picture at a host computer side in a real time. SOLUTION: A host computer 11 is connected with a network 14, a terminal equipment 181 is connected through an interface device 151 with an image pickup device 191 , and picture information is transmitted and displayed from the host computer 11 through the network 14 and the interface device 151 to the terminal equipment 181 . The expression of an operator is image picked-up by the image pickup device 191 , and a line of sight position and an interest level and understanding and acceptance level corresponding to those are detected in the same timing by the interface device 151 from the image picked-up facial expression, and communicated to the host computer 11. Then, the host computer 11 captures the reaction of the terminal equipment operator to the transmitted picture from the detected line of sight position and interest level and understanding and acceptance level corresponding to those.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、ネットワークを介
してホストコンピュータと端末装置の操作者とのコミュ
ニケーションを図るマンマシンインターフェースを実現
したネットワークシステムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a network system realizing a man-machine interface for communicating between a host computer and an operator of a terminal device via a network.

【0002】[0002]

【従来の技術】インターネット等に代表されるように、
ネットワークを介した通信網が急速に整備され、利用者
も増加している。また、ネットワークを使用した新しい
サービスやコンテンツも提供されている。さらに、商業
活動分野に関してもオンラインショッピングはもとよ
り、最近ではEC(Electronic Commerce;電子商取引)
も提唱されているこのような通信ネットワークシステム
の発展とともに人とコンピュータとのコミュニケーショ
ンを図るマンマシンインターフェースの開発も進められ
ている。
2. Description of the Related Art As represented by the Internet and the like,
Communication networks via networks have been rapidly developed, and users are increasing. In addition, new services and contents using networks have been provided. Furthermore, in the field of commercial activities, in addition to online shopping, recently EC (Electronic Commerce)
With the development of such a communication network system, a human-machine interface for communication between a person and a computer is also being developed.

【0003】従来、マンマシンインターフェースとして
は、例えば、特開平6−266497号公報に見られる
ものが知られている。これは、図22の(a) に示すよう
に、マイクロコンピュータ本体1にテレビカメラ2、デ
ィスプレイ3、キーボード4、マウス5を接続し、マイ
クロコンピュータ本体1の上にディスプレイ3を載置す
るとともにディスプレイ3の上部中心にテレビカメラ2
を載置している。そして、図22の(b) に示すように、
テレビカメラ2からの画像信号を画像信号取込みボード
6にてA/D変換した後、画像処理ボード7に入力す
る。この画像処理ボード7は入力データをメモリに一旦
格納した後、このメモリ内のデータを用いて必要な画像
データを抽出する。図22の(c) のOP1を参照する
と、不安そうな表情が目、眉、口で分かる。そこで、画
像処理ボード7では、例えばエッジ検出を行って人の顔
の表情に関する目、眉、口などの形を抽出する。
[0003] Conventionally, as a man-machine interface, for example, the one found in Japanese Patent Application Laid-Open No. 6-266497 is known. As shown in FIG. 22 (a), a television camera 2, a display 3, a keyboard 4 and a mouse 5 are connected to a microcomputer main body 1, and the display 3 is placed on the microcomputer main body 1 and the display is mounted. TV camera 2 in the upper center of 3
Is placed. Then, as shown in FIG.
The image signal from the television camera 2 is A / D-converted by the image signal acquisition board 6 and then input to the image processing board 7. After temporarily storing input data in a memory, the image processing board 7 extracts necessary image data using the data in the memory. Referring to OP1 of FIG. 22 (c), an uneasy expression can be recognized by eyes, eyebrows, and mouth. Therefore, the image processing board 7 performs, for example, edge detection to extract the shapes of the eyes, eyebrows, mouth, and the like related to the facial expression of a person.

【0004】画像処理ボード7からの画像データをニュ
ーラルネットワークボード8に供給し、このニューラル
ネットワークボード8で与えられる画像データに基づい
て表情、そして感情を認識し、その結果を出力する。例
えば、図22の(c) のOP2に示すように、あせってい
るか否かを判定する。ニューラルネットワークボード8
の出力を制御演算ボード9に供給し、この制御演算ボー
ド9で図22の(c) のOP3に示すように、入力に従っ
てメモリの各種の説明データの中から適当なものを引出
してディスプレイ3を表示制御する。例えば、OP2で
あせっていると判定されると、OP3では易しい説明を
選択し、OP4にてディスプレイ3は易しい説明を表示
する。
[0004] The image data from the image processing board 7 is supplied to a neural network board 8, the facial expression and the emotion are recognized based on the image data given by the neural network board 8, and the result is output. For example, as shown in OP2 of FIG. Neural network board 8
Is supplied to the control operation board 9, and as shown in OP3 of FIG. 22 (c), the control operation board 9 draws out appropriate data from the various explanation data in the memory according to the input, and causes the display 3 to operate. Display control. For example, if it is determined that the display is OP2, a brief description is selected in OP3, and the display 3 displays a brief description in OP4.

【0005】このように、この公報記載のものは、カメ
ラ2を使用してコンピュータ操作者の顔を映し、その画
像を解析して表情を読み取ることで操作者の感情を類推
し、その情報を手掛かりに最適なヘルプ情報を選択して
提供している。また、映し出した顔画像から視線関連情
報を抽出し、それに基づきポインタ位置を視線に合わせ
て自動で移動することも行っている。
[0005] As described above, according to the publication, the face of a computer operator is projected using the camera 2, the image is analyzed and the expression is read to infer the operator's emotion, and the information is obtained. Select and provide the best help information for the clues. In addition, gaze-related information is extracted from the projected face image, and the pointer is automatically moved in accordance with the gaze based on the extracted gaze-related information.

【0006】[0006]

【発明が解決しようとする課題】しかし、この従来装置
は、単に顔をカメラで映して解析し表情を読み取ってデ
ィスプレイ3に表示する説明文を選択するだけのもので
あって、例えば、ホストコンピュータからネットワーク
を介して各家庭の端末装置に商品情報等を画像情報とし
て提供し、各家庭では端末装置の表示装置を介して画像
情報を確認するようなシステムにおいて、顧客になり得
る各家庭の端末装置の操作者の興味の度合いなどをホス
トコンピュータ側で把握するような使い方ができなかっ
た。
However, this conventional apparatus merely reflects a face with a camera, analyzes the face, reads a facial expression, and selects a description to be displayed on the display 3. In a system that provides merchandise information and the like as image information to terminal devices in each home via a network, and confirms image information through a display device of the terminal device in each home, a terminal in each home that can be a customer It was not possible to use the system to grasp the degree of interest of the operator of the apparatus on the host computer side.

【0007】そこで請求項1記載の発明は、ホストコン
ピュータからネットワークを介して端末装置に画像情報
を送信して表示し、そのときの端末装置操作者の送信画
像に対する反応をホストコンピュータ側でリアルタイム
で把握することができ、より優れたマンマシンインター
フェースを構築できるネットワークシステムを提供す
る。
Therefore, according to the first aspect of the present invention, image information is transmitted from a host computer to a terminal device via a network and displayed, and a response to the transmitted image of the terminal device operator at that time is made in real time on the host computer side. Provide a network system that can be grasped and can construct a better man-machine interface.

【0008】請求項2記載の発明は、ホストコンピュー
タからネットワークを介して複数の端末装置に画像情報
を送信して表示し、そのときの各端末装置操作者の送信
画像に対する個別反応又は平均的反応をホストコンピュ
ータ側でリアルタイムで把握することができ、より優れ
たマンマシンインターフェースを構築できるネットワー
クシステムを提供する。
According to a second aspect of the present invention, image information is transmitted from a host computer to a plurality of terminal devices via a network and displayed, and an individual response or an average response to the transmitted image of each terminal device operator at that time. Is provided in the host computer side in real time to provide a network system capable of constructing a better man-machine interface.

【0009】請求項3記載の発明は、ホストコンピュー
タからネットワークを介して端末装置に複数の商品画像
情報を送信して表示し、そのときの端末装置操作者がど
の商品画像に興味を持ったかをホストコンピュータ側で
リアルタイムで把握し、端末装置に興味を持った商品画
像の詳細な画像情報を表示することにより、より優れた
マンマシンインターフェースを構築できるネットワーク
システムを提供する。
According to a third aspect of the present invention, a plurality of product image information is transmitted from a host computer to a terminal device via a network and displayed, and it is possible to determine which product image the terminal device operator was interested in at that time. Provided is a network system capable of constructing a more excellent man-machine interface by grasping in real time on a host computer side and displaying detailed image information of a product image of interest on a terminal device.

【0010】請求項4記載の発明は、ホストコンピュー
タからネットワークを介して端末装置に商品画像情報及
び注目画像情報又は緊急画像情報を送信して表示し、そ
のとき端末装置操作者が注目画像情報又は緊急画像情報
の到来を認知したか判断し、到来を認知していないと判
断したときには注目画像情報又は緊急画像情報をより目
立つ画像に変更して送信することで、より優れたマンマ
シンインターフェースを構築できるネットワークシステ
ムを提供する。
According to a fourth aspect of the present invention, the host computer transmits the merchandise image information and the attention image information or the emergency image information to the terminal device via the network, and displays the image information. Judgment of the arrival of the emergency image information is judged, and when it is judged that the arrival is not recognized, the noticed image information or the emergency image information is changed to a more prominent image and transmitted, thereby constructing a better man-machine interface. Provide a network system that can be used.

【0011】[0011]

【課題を解決するための手段】請求項1記載の発明は、
ネットワークにホストコンピュータを接続するとともに
インターフェース装置を介して端末装置及び撮像装置を
接続し、ホストコンピュータはネットワーク及びインタ
ーフェース装置を介して端末装置に画像情報を送信し、
端末装置は表示装置でその画像情報を表示し、撮像装置
は端末装置操作者の表情を撮像するネットワークシステ
ムからなり、撮像装置が撮像した端末装置操作者の表情
情報から、視線位置とこれに対応した興味度、理解・受
容度を検知する手段を設け、ホストコンピュータは、検
知した視線位置とこれに対応した興味度、理解・受容度
から端末装置操作者の送信画像に対する反応を把握する
ことにある。
According to the first aspect of the present invention,
Connecting a host computer to the network and connecting the terminal device and the imaging device via the interface device, the host computer transmits image information to the terminal device via the network and the interface device,
The terminal device displays the image information on a display device, and the imaging device comprises a network system that captures the facial expression of the terminal device operator. Means for detecting the degree of interest, understanding / acceptance, and the host computer can determine the response to the transmitted image of the terminal device operator from the detected gaze position and the degree of interest / understanding / acceptance corresponding thereto. is there.

【0012】請求項2記載の発明は、ネットワークにホ
ストコンピュータを接続するとともにそれぞれインター
フェース装置を介して端末装置及び撮像装置をそれぞれ
接続し、ホストコンピュータはネットワーク及び各イン
ターフェース装置を介して各端末装置に画像情報を送信
し、各端末装置はそれぞれ表示装置でその画像情報を表
示し、各撮像装置はそれぞれ端末装置操作者の表情を撮
像するネットワークシステムからなり、各撮像装置が撮
像した個々の端末装置操作者の表情情報から、視線位置
とこれに対応した興味度、理解・受容度を検知する手段
を設け、前記ホストコンピュータは、検知した個々の端
末装置操作者の視線位置とこれに対応した興味度、理解
・受容度から各端末装置操作者の送信画像に対する個別
反応又は平均的反応を把握することを特徴とするネット
ワークシステム。
According to a second aspect of the present invention, a host computer is connected to a network and a terminal device and an imaging device are respectively connected via interface devices, and the host computer is connected to each terminal device via the network and each interface device. Each terminal device transmits image information, each terminal device displays the image information on a display device, and each imaging device includes a network system that captures a facial expression of a terminal device operator, and each terminal device captures an image of each terminal device. Means for detecting the gaze position, the degree of interest corresponding to the gaze position, and the degree of understanding / acceptance from the expression information of the operator is provided, and the host computer detects the gaze position of each detected terminal device operator and the interest corresponding to the gaze position. Individual response to the transmitted image of each terminal device operator or average Network system, characterized in that to grasp the.

【0013】請求項3記載の発明は、ネットワークにホ
ストコンピュータを接続するとともにインターフェース
装置を介して端末装置及び撮像装置を接続し、ホストコ
ンピュータは前記ネットワーク及びインターフェース装
置を介して端末装置に複数の商品画像情報を送信し、端
末装置は表示装置でその各商品画像情報を表示し、撮像
装置は端末装置操作者の表情を撮像するネットワークシ
ステムからなり、撮像装置が撮像した端末装置操作者の
表情情報から、視線位置とこれに対応した興味度、理解
・受容度を検知する手段を設け、ホストコンピュータ
は、検知した視線位置とこれに対応した興味度、理解・
受容度から端末装置操作者が興味を持った商品画像を把
握し、対応する商品の詳細な画像情報を端末装置に送信
し、端末装置は表示装置でその詳細な商品画像情報を表
示することにある。
According to a third aspect of the present invention, a host computer is connected to a network and a terminal device and an imaging device are connected via an interface device, and the host computer connects a plurality of products to the terminal device via the network and the interface device. The terminal device transmits image information, the terminal device displays each product image information on the display device, and the imaging device includes a network system that captures the facial expression of the terminal device operator, and the facial information of the terminal device operator captured by the imaging device. A means for detecting the gaze position and the degree of interest and understanding / acceptance corresponding to the gaze position are provided, and the host computer detects the detected gaze position and the degree of interest, understanding /
The terminal device operator grasps the product image of interest from the acceptance level, transmits detailed image information of the corresponding product to the terminal device, and the terminal device displays the detailed product image information on the display device. is there.

【0014】請求項4記載の発明は、ネットワークにホ
ストコンピュータを接続するとともにインターフェース
装置を介して端末装置及び撮像装置を接続し、ホストコ
ンピュータはネットワーク及びインターフェース装置を
介して端末装置に商品画像情報を送信し、端末装置は表
示装置でその商品画像情報を表示し、撮影装置は端末装
置操作者の表情を撮像するネットワークシステムからな
り、撮像装置が撮像した端末装置操作者の表情情報か
ら、視線位置とこれに対応した興味度、理解・受容度を
検知する手段を設け、ホストコンピュータは端末装置に
さらに注目画像情報又は緊急画像情報を送信し、端末装
置は表示装置でその注目画像情報又は緊急画像情報を表
示し、ホストコンピュータは、検知した視線位置とこれ
に対応した興味度、理解・受容度から端末装置操作者が
注目画像情報又は緊急画像情報の到来を認知したか否か
を判断し、到来を認知していないと判断したときには注
目画像情報又は緊急画像情報をより目立つ画像に変更し
て送信し、端末装置はこの変更画像を表示装置で表示す
ることにある。
According to a fourth aspect of the present invention, a host computer is connected to a network and a terminal device and an imaging device are connected via an interface device, and the host computer transmits product image information to the terminal device via the network and the interface device. The terminal device displays the product image information on the display device, the photographing device comprises a network system for capturing the facial expression of the terminal device operator, and the gaze position is obtained from the facial expression information of the terminal device operator captured by the image capturing device. And a means for detecting the degree of interest and understanding / acceptance corresponding thereto, the host computer further transmits attention image information or emergency image information to the terminal device, and the terminal device displays the attention image information or emergency image on the display device. The host computer displays the information and the detected gaze position and the degree of interest corresponding to the detected gaze position, Determine whether the terminal device operator has recognized the arrival of the attention image information or the emergency image information from the solution / acceptance degree, and if it is determined that the arrival has not been recognized, the image of the attention image information or the emergency image information is more prominent. And the terminal device displays the changed image on the display device.

【0015】[0015]

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。 (第1の実施の形態)図1はネットワークシステム全体
の構成を示すブロック図で、ホストコンピュータ11を
通信回線12に接続し、この通信回線12をゲートウエ
イ13を介してインターネットからなるネットワーク1
4に接続している。また、インターフェース装置151
,152 ,…を通信回線16に接続し、この通信回線
16をゲートウエイ17を介して前記ネットワーク14
に接続している。前記インターフェース装置151 ,1
52 ,…にそれぞれ端末装置181 ,182 ,…及び撮
像装置191 ,192 ,…を接続している。
Embodiments of the present invention will be described below with reference to the drawings. (First Embodiment) FIG. 1 is a block diagram showing the configuration of the entire network system. A host computer 11 is connected to a communication line 12, and this communication line 12 is connected to a network 1 comprising the Internet via a gateway 13.
4 is connected. Also, the interface device 151
, 152,... Are connected to a communication line 16, and this communication line 16 is connected to the network 14 through a gateway 17.
Connected to The interface device 151,1
, And terminal devices 181, 182,... And imaging devices 191, 192,.

【0016】前記インターフェース装置151 ,152
,…、端末装置181 ,182 ,…及び撮像装置191
,192 ,…は、図2に示すように、端末装置181
,182 ,…の外側面にユニット化したインターフェ
ース装置151 ,152 ,…及び撮像装置191 ,19
2 ,…を取り付けて一体化している。前記インターフェ
ース装置151 ,152 ,…には必要に応じてマウス2
0を取り付けるようになっている。前記端末装置181
,182 ,…は、端末装置本体21の上にディスプレ
イ22を載置し、端末装置本体21の手前にキーボード
23を配置した構成になっている。前記撮像装置191
,192 ,…は自動焦点機能を持ったカメラシステム
からなり、端末装置181 ,182 ,…の操作者の顔を
撮像して、多階調画像の顔画像を出力するようになって
いる。
The interface devices 151, 152
,..., Terminal devices 181, 182,.
, 192,..., As shown in FIG.
, 18 2,... And the imaging devices 19 1, 19
2, ... are integrated. The interface devices 151, 152,...
0 is attached. The terminal device 181
, 182,... Have a display 22 mounted on the terminal device main body 21 and a keyboard 23 disposed in front of the terminal device main body 21. The imaging device 191
, 192,... Comprise a camera system having an automatic focusing function, which captures the operator's face of the terminal device 181, 182,.

【0017】図3は前記ホストコンピュータ11、イン
ターフェース装置151 、端末装置181 及び撮像装置
191 の回路構成を示すブロック図で、ホストコンピュ
ータ11は、制御部本体を構成するマイクロプロセッサ
31、RAM等からなる内部メモリ32、フロッピディ
スクやハードディスク等からなる外部記憶装置33、キ
ーボード等の入力装置34、CRTディスプレイ等の表
示装置35、インターフェース36を備え、マイクロプ
ロセッサ31はプログラムに基づいて内部メモリ32、
外部記憶装置33、入力装置34、表示装置35及びイ
ンターフェース36をそれぞれ制御するようになってい
る。
FIG. 3 is a block diagram showing a circuit configuration of the host computer 11, the interface device 151, the terminal device 181, and the imaging device 191, and the host computer 11 comprises a microprocessor 31, a RAM, and the like, which constitute a control unit main body. The microprocessor 31 includes an internal memory 32, an external storage device 33 such as a floppy disk or a hard disk, an input device 34 such as a keyboard, a display device 35 such as a CRT display, and an interface 36.
The external storage device 33, the input device 34, the display device 35, and the interface 36 are respectively controlled.

【0018】前記インターフェース装置151 は、前記
撮像装置191 に接続した画像入力部41、前処理部4
2、判断・処理アルゴリズム部43及びデータ通信部4
4からなり、前記画像入力部41は画像信号取込部41
1を備え、前記撮像装置191 からの多階調画像をフレ
ームメモリに蓄えて画像データを作成し前記前処理部4
2に供給している。
The interface device 151 includes an image input unit 41 and a preprocessing unit 4 connected to the imaging device 191.
2. Judgment / processing algorithm unit 43 and data communication unit 4
And the image input unit 41 includes an image signal capturing unit 41
1. The multi-tone image from the imaging device 191 is stored in a frame memory to generate image data, and the pre-processing unit 4
2

【0019】前記前処理部42は、顔領域の抽出部42
1、表情解析部422、眼部領域抽出部423、視線解
析部424、標準パターンデータベース425、瞬目検
知/解析部426、瞳孔径検知/解析部427、眼部運
動検知/解析部428を備え、前記顔領域の抽出部42
1は、前記画像信号取込部411からの画像データであ
る各フレームデータから例えば肌色領域を抽出して顔領
域を取り出すようになっている。
The pre-processing unit 42 includes a face area extraction unit 42
1. An expression analysis unit 422, an eye region extraction unit 423, a line-of-sight analysis unit 424, a standard pattern database 425, a blink detection / analysis unit 426, a pupil diameter detection / analysis unit 427, and an eye movement detection / analysis unit 428. , The face area extraction unit 42
Reference numeral 1 indicates that a face area is extracted by extracting, for example, a skin color area from each frame data which is image data from the image signal acquisition unit 411.

【0020】前記表情解析部422は、標準パターンデ
ータベース425の標準パターンデータを使用して顔領
域の抽出部421が出力する顔領域のデータから表情を
解析し、前記眼部領域抽出部423は、例えば、顔領域
の抽出部421が出力する顔領域のデータを適当なしき
い値で2値化した後、残った領域に対してペア度の高い
部分を抽出し、それらの部分について形や重心座標を比
較して目らしさを判定することで眼部領域を抽出する。
前記視線解析部424は、顔領域の抽出部421が出力
する顔領域のデータから視線を解析する。
The facial expression analysis unit 422 analyzes the facial expression from the face area data output by the face area extraction unit 421 using the standard pattern data of the standard pattern database 425, and the eye area extraction unit 423 For example, after the face area data output by the face area extraction unit 421 is binarized with an appropriate threshold value, portions having a high pair degree are extracted from the remaining area, and the shape and barycentric coordinates of those parts are extracted. The eye region is extracted by determining eye-openness by comparing.
The line-of-sight analysis unit 424 analyzes the line of sight from the data of the face area output from the face area extraction unit 421.

【0021】前記眼部領域抽出部423が抽出した眼部
領域データを瞬目検知/解析部426、瞳孔径検知/解
析部427、眼部運動検知/解析部428にそれぞれ供
給し、前記瞬目検知/解析部426で瞬目の検知と解析
を行い、前記瞳孔径検知/解析部427で瞳孔径の検知
と解析を行い、前記眼部運動検知/解析部428で眼部
運動の検知と解析を行っている。
The eye region data extracted by the eye region extraction unit 423 is supplied to a blink detection / analysis unit 426, a pupil diameter detection / analysis unit 427, and an eye movement detection / analysis unit 428, respectively. The detection / analysis unit 426 performs blink detection and analysis, the pupil diameter detection / analysis unit 427 performs pupil diameter detection and analysis, and the eye movement detection / analysis unit 428 detects and analyzes eye movement. It is carried out.

【0022】前記表情解析部422が解析した表情情
報、前記視線解析部424が解析した視線情報、前記瞬
目検知/解析部426が解析した瞬目情報、前記瞳孔径
検知/解析部427が解析した瞳孔径情報及び前記眼部
運動検知/解析部428が解析した眼部運動情報をそれ
ぞれ前記判断・処理アルゴリズム部43に供給してい
る。
The facial expression information analyzed by the facial expression analyzing unit 422, the visual line information analyzed by the visual line analyzing unit 424, the blink information analyzed by the blink detecting / analyzing unit 426, and the pupil diameter detecting / analyzing unit 427 analyze. The obtained pupil diameter information and the eye movement information analyzed by the eye movement detection / analysis section 428 are supplied to the determination / processing algorithm section 43, respectively.

【0023】前記判断・処理アルゴリズム部43は、前
記前処理部42からの表情情報、視線情報、瞬目情報、
瞳孔径情報及び眼部運動情報と学習用データベース43
1からのデータをもとに、注視度・視線位置、興味度、
理解・受容度を同一タイミングでそれぞれ検知し、その
検知結果を前記データ通信部44のインターフェース4
41に供給している。
The judgment / processing algorithm unit 43 includes the expression information, the line-of-sight information, the blink information,
Pupil diameter information and eye movement information and learning database 43
Based on the data from 1, gaze degree / gaze position, interest degree,
The comprehension / acceptance is detected at the same timing, and the detection result is transmitted to the interface 4 of the data communication unit 44.
41.

【0024】前記データ通信部44のインターフェース
441は、前記端末装置181 がホストコンピュータ1
1とやり取りする通常のデータに前記判断・処理アルゴ
リズム部43からの注視度・視線位置、興味度、理解・
受容度のデータをリンクして送信するようになってい
る。また、前記データ通信部44は、通信プロトコルに
従った送受信制御やデータパケットの作成等も行うよう
になっている。
The interface 441 of the data communication unit 44 is connected to the terminal device 181 by the host computer 1.
The gaze degree / gaze position, interest degree, understanding /
Acceptance data is linked and transmitted. The data communication unit 44 also performs transmission / reception control according to a communication protocol, creation of data packets, and the like.

【0025】前記端末装置181 は、制御部本体を構成
するマイクロプロセッサ51を備え、このマイクロプロ
セッサ51で記憶部52、外部記憶装置53、前記ディ
スプレイ22及びキーボード23をそれぞれ制御するよ
うになっている。前記端末装置181 のマイクロプロセ
ッサ51は、前記インターフェース装置151 のインタ
ーフェース441に接続している。以上は、インターフ
ェース装置151 、端末装置181 、撮像装置191 の
構成について説明したが、他のインターフェース装置1
52 ,…、端末装置182,…、撮像装置192 ,…に
ついても同一の構成になっている。
The terminal device 181 is provided with a microprocessor 51 constituting a control unit main body, and the microprocessor 51 controls the storage unit 52, the external storage device 53, the display 22, and the keyboard 23, respectively. . The microprocessor 51 of the terminal device 181 is connected to the interface 441 of the interface device 151. The configuration of the interface device 151, the terminal device 181, and the imaging device 191 has been described above.
,..., Terminal devices 182,..., Imaging devices 192,.

【0026】前記前処理部42の検知処理をさらに詳し
く述べると、前記表情解析部422が行う表情解析処理
は、図4に示すように、先ず、S1にて、取り込んだフ
レームデータの画像2値化を行い、S2にて、特徴点抽
出を行う。これは、例えば、眉の位置座標や目の細さ、
目尻のしわや口元の形などの表情に関する特徴点の抽出
を行う。続いて、S3にて、標準表情パターンの検出を
行う。これは、抽出した特徴点データを前記標準パター
ンデータベース425の標準パターンデータと順次比較
する。そして、S4にて、一致する表情パターンを検出
すると、S5にて、表情認識結果を出力してこの処理を
終了する。
The detection process of the pre-processing unit 42 will be described in more detail. The expression analysis process performed by the expression analysis unit 422 is, as shown in FIG. Then, in S2, feature points are extracted. This includes, for example, eyebrow position coordinates and eye thinness,
Extract feature points related to facial expressions such as wrinkles in the corners of the eyes and the shape of the mouth. Subsequently, in S3, a standard expression pattern is detected. In this case, the extracted feature point data is sequentially compared with the standard pattern data of the standard pattern database 425. Then, when a matching expression pattern is detected in S4, the expression recognition result is output in S5, and this processing ends.

【0027】前記瞬目検知/解析部426が行う瞬目検
知・解析処理は、図5に示すように、先ず、S11に
て、n番目のフレームメモリの眼部画像を取り込み、S
12にて、n+1番目のフレームメモリの眼部画像を取
り込み、S13にて、眼部開口量変化の検出を行い、S
14にて、平均瞬目回数を算出し、これを一定時間が経
過するまで繰り返し、S15にて、一定時間が経過する
と、S16にて、瞬目解析結果を出力してこの処理を終
了する。すなわち、この処理では複数のフレームメモリ
間での眼部画像の変化を検出して単位時間当たりの変化
回数を瞬目量として検知している。
In the blink detection / analysis processing performed by the blink detection / analysis unit 426, as shown in FIG. 5, first, at S11, an eye image of the n-th frame memory is fetched.
At 12, the eye image of the (n + 1) th frame memory is fetched, and at S13, a change in the eye opening amount is detected.
At 14, the average number of blinks is calculated, and this is repeated until a certain time elapses. At S15, when the certain time elapses, a blink analysis result is output at S16, and this processing ends. That is, in this process, a change in the eye image between a plurality of frame memories is detected, and the number of changes per unit time is detected as the blink amount.

【0028】前記瞳孔径検知/解析部427が行う瞳孔
径検知・解析処理は、図6に示すように、先ず、S21
にて、眼部領域の画像を入力し、S22にて、円に近い
領域の検出を行い、S23にて、濃度の違いを検出し、
S24にて、直径を計測して平均化し、これを一定時間
が経過するまで繰り返し、S25にて、一定時間が経過
すると、S26にて、瞳孔計解析結果を出力してこの処
理を終了する。すなわち、この処理では眼部画像領域の
中から円形に近い領域を抽出して先ず虹彩(黒目)の部
分を検出し、その後、色の濃度の違いを調べて黒目の中
の瞳孔を検出し、その座標データから直径を計測する。
そして、これを一定時間繰り返したときの直径の平均値
を求め瞳孔径としている。
The pupil diameter detection / analysis processing performed by the pupil diameter detection / analysis unit 427 is as shown in FIG.
At, an image of the eye region is input, and at S22, a region close to a circle is detected. At S23, a difference in density is detected.
In S24, the diameter is measured and averaged, and this is repeated until a certain time elapses. After a certain time elapses in S25, the pupil meter analysis result is output in S26, and this processing ends. In other words, in this process, an area close to a circle is extracted from the eye image area, the iris (black eye) part is first detected, and then the difference in color density is examined to detect the pupil in the black eye, The diameter is measured from the coordinate data.
Then, the average value of the diameters when this is repeated for a certain period of time is obtained, and is set as the pupil diameter.

【0029】前記眼部運動検知/解析部428が行う眼
部運動検知・解析処理は、図7に示すように、先ず、S
31にて、眼部領域の画像を入力し、S32にて、黒目
部分の検出を行い、S33にて、両目の白目と黒目の比
を抽出し、S34にて、眼球の向きを算出し、S35に
て、時間内の運動変化の判定を行い、これを一定時間が
経過するまで繰り返し、S36にて、一定時間が経過す
ると、S37にて、瞳孔計解析結果を出力してこの処理
を終了する。すなわち、この処理では目の検出後に黒目
の部分を検出し、目の中心を通る縦横の軸上の黒目と白
目の領域の分布、すなわち、割合を調べて目の向きを算
出し一定時間内の眼球の運動を検出することになる。
The eye movement detecting / analyzing process performed by the eye movement detecting / analyzing section 428, as shown in FIG.
At 31, an image of the eye region is input, at S32, the iris portion is detected, at S33, the ratio of the iris and iris of both eyes is extracted, and at S34, the direction of the eyeball is calculated, At S35, a change in the movement within the time is determined, and this is repeated until a certain time elapses. At S36, when the certain time elapses, a pupilometer analysis result is output at S37, and this processing ends. I do. In other words, in this process, the iris portion is detected after the detection of the eyes, and the distribution of the iris and white regions on the vertical and horizontal axes passing through the center of the eye, that is, the ratio is checked to calculate the direction of the eyes, and within a certain time, The eye movement will be detected.

【0030】前記視線解析部424が行う視線位置解析
処理は、図8に示すように、先ず、S41にて、撮像装
置191 の焦点により距離の算出を行い、S42にて、
視線書記位置を入力し、S43にて、黒目・白目の比を
算出し、S44にて、画面上の視線移動量を算出し、S
45にて、顔の回転量分の補正を行い、S46にて、新
しい座標位置を算出し、S47にて、視線位置の解析結
果を出力してこの処理を終了する。すなわち、この処理
では、先ず、撮像装置191 に内蔵されているオートフ
ォーカス用の距離測定手段により画面と顔との間の距離
を測定する。次に視線位置の初期値を入力する。これ
は、例えば、画面上の基準位置を見つめてもらい、その
ときの眼球の白目と黒目の割合を記憶し、これを初期値
とする。そして、操作者の視線位置が変化すると、眼球
部分の白目と黒目の比率が目の中心を原点として左右と
上下、すなわち、x軸とy軸で異なってくるため、これ
を検出して眼球移動量を求める。この眼球移動量と画面
の顔との距離から、画面上での視線移動量を算出する。
そして、顔の回転量を読取り補正する。こうすることで
新しい視線座標位置が決まる。
As shown in FIG. 8, the eye-gaze position analyzing process performed by the eye-gaze analyzing unit 424 first calculates a distance based on the focal point of the imaging device 191 in S41, and in S42,
The gaze writing position is input, the ratio of the iris / white of the eyes is calculated in S43, and the amount of gaze movement on the screen is calculated in S44.
At 45, a correction is made for the amount of rotation of the face. At S46, a new coordinate position is calculated. At S47, the analysis result of the line-of-sight position is output, and this process ends. That is, in this process, first, the distance between the screen and the face is measured by the distance measuring means for autofocus built in the imaging device 191. Next, an initial value of the line-of-sight position is input. In this case, for example, the user looks at the reference position on the screen, stores the ratio of the white eye and the black eye of the eyeball at that time, and sets this as an initial value. When the gaze position of the operator changes, the ratio of the white and black eyes of the eyeball portion becomes different between left and right and up and down, that is, the x-axis and the y-axis with the center of the eye as the origin. Find the quantity. From the distance between the eyeball movement and the face on the screen, the gaze movement on the screen is calculated.
Then, the rotation amount of the face is read and corrected. In this way, a new line-of-sight coordinate position is determined.

【0031】前記判断・処理アルゴリズム部43が行う
興味度検知処理は、図9に示すように、先ず、S51に
て、瞬目検知結果を入力する。そして、S52にて、瞬
目回数をチェックし、平均回数以上でなければ、S53
にて、瞬目回数を記憶し、S54にて、瞳孔径検知結果
を入力する。そして、S55にて、瞳孔が散瞳している
か否かをチェックし、散瞳していれば、S56にて、開
き度合いをメモリに保存し、S57にて、眼部運動検知
結果を入力する。そして、S58にて、眼部運動が注視
又は跳躍運動になっているか否かをチェックし、注視又
は跳躍運動になっていれば、S59にて、運動状態をメ
モリに記憶し、S60にて、興味度レベルを算出し、S
61にて、算出した結果を出力してこの処理を終了す
る。また、S52のチェックにおいて瞬目回数が平均以
上であったり、S55のチェックにおいて散瞳していな
かったり、S58のチェックにおいて注視又は跳躍運動
になっていなければ、S62にて、意識的注視でないこ
とを判定してこの処理を終了する。
As shown in FIG. 9, in the interest detection process performed by the judgment / processing algorithm unit 43, first, in S51, a blink detection result is input. Then, in S52, the number of blinks is checked.
At, the number of blinks is stored, and at S54, a pupil diameter detection result is input. Then, in S55, it is checked whether or not the pupil is mydriatic. If the pupil is mydriatic, the degree of opening is stored in a memory in S56, and the eye movement detection result is input in S57. . Then, in S58, it is checked whether or not the eye movement is gaze or jumping movement. If it is gaze or jumping movement, the movement state is stored in the memory in S59, and in S60, Calculate the interest level, S
At 61, the calculated result is output and the process ends. If the number of blinks is not more than the average in the check in S52, the pupil is not mydriatic in the check in S55, or if the subject is not gazing or jumping in the check in S58, the user must not be consciously gazing in S62. Is determined, and this process ends.

【0032】すなわち、人が興味を持って画像情報をみ
つめる時、一般的な特徴として瞬目の回数が減り、瞳孔
が散瞳することが知られている。また、画像の特徴を捕
らえようとして眼球は画像の周囲を見回すような跳躍運
動をする。勿論、注視状態では眼球運動は停止する。こ
の処理はこのような特徴をとらえて行う処理で、先ず瞬
目の時間平均回数が平常時より低下しているかをチェッ
クし、次に瞳孔が平常時よりも散瞳しているか否か瞳孔
の開き具合から検知する。さらに、主観的興味の強い画
像を見た時に起こる注視や跳躍運動の有無を検知する。
そして、これらの情報を総合的に判断して興味度レベル
を算出する。
That is, it is known that when a person looks at image information with interest, the number of blinks is reduced as a general feature, and the pupil is dilated. Also, the eyeball makes a jumping motion to look around the image in an attempt to capture the features of the image. Of course, the eye movement stops in the gaze state. This process is a process that captures such characteristics. First, it is checked whether the average number of times of blinking is lower than normal, and then whether the pupil is mydriatic than normal is determined. It is detected from the degree of opening. Furthermore, it detects the presence or absence of gaze or jumping motion that occurs when viewing an image having a strong subjective interest.
Then, the degree of interest is calculated by comprehensively determining these pieces of information.

【0033】前記判断・処理アルゴリズム部43が行う
理解・受容検知処理は、図10に示すように、先ず、S
71にて、瞬目検知結果を入力する。そして、S72に
て、瞬目の時間平均回数を記憶し、S73にて、眼部運
動検知結果を入力する。そして、S74にて、視線が停
留しているか否かをチェックし、視線が停留していれ
ば、S75にて、表情検知結果を入力し、続いて、S7
6にて、理解・受容レベルを算出し、最後に、S77に
て、算出した結果を出力してこの処理を終了する。ま
た、S74のチェックにおいて視線が停留していなけれ
ば、S78にて、表情検知結果を入力し、続いて、S7
9にて、困惑レベルを算出し、最後に、S77にて、算
出した結果を出力してこの処理を終了する。
The understanding / acceptance detection processing performed by the determination / processing algorithm unit 43 is, as shown in FIG.
At 71, a blink detection result is input. Then, in S72, the average number of blink times is stored, and in S73, the eye movement detection result is input. Then, in S74, it is checked whether or not the line of sight is stopped. If the line of sight is stopped, the expression detection result is input in S75, and then in S7.
At 6, the comprehension / acceptance level is calculated, and finally, at S77, the calculated result is output, and this processing ends. If the gaze is not stopped at S74, the facial expression detection result is input at S78.
At S9, the confusion level is calculated, and finally, at S77, the calculated result is output, and the process ends.

【0034】すなわち、人は、一般的に、画像情報を理
解・受容したときは、眼球運動が一時停留し、逆に、理
解できないときは、不安や緊張により瞬目回数が増加す
ることが知られている。また、表情を検知すれば困惑の
表情などに特徴を見出だすことができる。この処理はこ
のような特徴をとらえて行う処理で、先ず、瞬目の検知
を行い、その時間平均回数が平常時に対して変化してい
るか否かを検知する。その後、眼部運動を検知し、さら
に視線停留を検知後に表情検知を行い、理解・受容や困
惑を判断する。最後に総合判断によってそれらのレベル
を算出する。
That is, when a person generally understands and receives image information, his or her eye movements are temporarily stopped. Conversely, when the person cannot understand the image information, the number of blinks increases due to anxiety or tension. Have been. In addition, if a facial expression is detected, a feature can be found in a confused expression or the like. This process is a process that captures such characteristics. First, a blink is detected, and it is detected whether or not the average number of times has changed with respect to normal times. After that, the eye movement is detected, and after the gaze stop is detected, the facial expression is detected to judge understanding, acceptance, and confusion. Finally, those levels are calculated by comprehensive judgment.

【0035】以上の処理により、前記判断・処理アルゴ
リズム部43は、注視度・視線位置、興味度、理解・受
容度を同一タイミングでそれぞれ検知し、その検知結果
を前記データ通信部44のインターフェース441に供
給するが、前記インターフェース441は、この注視度
・視線位置、興味度、理解・受容度の結果を前記端末装
置181 から前記ホストコンピュータ11に送信するデ
ータパケットに乗せて送信するようになっている。
With the above processing, the determination / processing algorithm unit 43 detects the gaze / gaze position, the interest, and the understanding / acceptance at the same timing, and the detection result is the interface 441 of the data communication unit 44. The interface 441 transmits the result of the gaze / gaze position, interest, and understanding / acceptance on a data packet transmitted from the terminal device 181 to the host computer 11. I have.

【0036】これを模式的に示すと、図11に示すよう
に、前記端末装置181 から前記インターフェース44
1を介して前記ホストコンピュータ11に送信するデー
タパケットは通信プロトコルに応じてヘッダ部、アドレ
ス部、データ部、CRC(エラー検出部)からなるが、
このデータパケットの例えばデータ部の後に注視度・視
線位置、興味度、理解・受容度のデータを検知フラグデ
ータとして付加して送信している。また、前記ホストコ
ンピュータ11から前記インターフェース441を介し
て前記端末装置181 に送信するデータパケットは通信
プロトコルに応じてヘッダ部、アドレス部、データ部、
CRC(エラー検出部)からなる。以上は、インターフ
ェース装置151 、端末装置181 及び撮像装置191
の場合について述べたが、他のインターフェース装置1
52 ,…、端末装置182,…及び撮像装置192 ,…
についても同様の構成で同様の処理を行うものである。
This is schematically shown in FIG. 11, as shown in FIG.
1, a data packet transmitted to the host computer 11 through the host 1 includes a header part, an address part, a data part, and a CRC (error detection part) according to a communication protocol.
For example, after the data portion of the data packet, gaze / gaze position, interest, and understanding / acceptance data are added and transmitted as detection flag data. A data packet transmitted from the host computer 11 to the terminal device 181 via the interface 441 includes a header portion, an address portion, a data portion,
It consists of a CRC (error detection unit). The above is the description of the interface device 151, the terminal device 181, and the imaging device 191.
Has been described, but other interface devices 1
,.., Terminal device 182,.
And the same processing is performed with the same configuration.

【0037】このようにして、端末装置181 ,182
,…のディスプレイ22を見ている操作者の注視度・
視線位置、興味度、理解・受容度をホストコンピュータ
11に送信できるので、ホストコンピュータ11から端
末装置に画像を送信し、端末装置にて操作者がディスプ
レイ22によりホストコンピュータ11からの送信画像
を見たときの操作者の注視度・視線位置、興味度、理解
・受容度をホストコンピュータ11にてリアルタイムに
知ることができる。従って、端末装置操作者の画像を見
ているときの表情を適切に判断し、画像を操作者がより
興味を示すような画像に切換えたり、操作者がより理解
を示すような画像に切換えたりなどの処置ができ、より
優れたマンマシンインターフェースを構築できる。
In this manner, the terminal devices 181 and 182
..,...
Since the gaze position, the degree of interest, and the degree of understanding / acceptance can be transmitted to the host computer 11, the image is transmitted from the host computer 11 to the terminal device, and the operator views the transmitted image from the host computer 11 on the display 22 at the terminal device. The degree of gaze / gaze position, degree of interest, understanding / acceptance of the operator at the time of the occurrence can be known by the host computer 11 in real time. Therefore, it is possible to appropriately judge the facial expression when viewing the image of the terminal device operator and to switch the image to an image that shows more interest to the operator or to an image that shows more understanding to the operator. And so on, and a better man-machine interface can be constructed.

【0038】また、インターフェース装置151 ,15
2 ,…は、それぞれ端末装置181,182 ,…とは独
立してユニット化し、この端末装置181 ,182 ,…
の外側面に取り付ける構成としているので、インターフ
ェース装置を従来からある端末装置に取り付けるのみで
システムを安価に構築できる。なお、インターフェース
装置をボードに組み込み、このボードを従来からある端
末装置に内蔵させる構成であってもよい。
Further, the interface devices 151, 15
Are unitized independently of the terminal devices 181, 182,..., Respectively, and these terminal devices 181, 182,.
The system can be constructed at low cost simply by attaching the interface device to a conventional terminal device. The interface device may be incorporated in a board, and the board may be built in a conventional terminal device.

【0039】(第2の実施の形態)なお、前述した第1
の実施の形態と同一の部分には同一の符号を付し、異な
る部分について説明する。図12に示すように、第1の
実施の形態におけるインターフェース装置を分割し、ホ
ストコンピュータ111に、判断・処理アルゴリズム部
312及びデータ通信部313を設け、インターフェー
ス装置1511 に、画像入力部41、前処理部42及び
データ通信部64を設けている。そして、前記ホストコ
ンピュータ111のデータ通信部313と前記インター
フェース装置1511 のデータ通信部64をネットワー
ク14を介して接続している。
(Second Embodiment) The first embodiment described above
The same reference numerals are given to the same portions as those in the embodiment, and different portions will be described. As shown in FIG. 12, the interface device according to the first embodiment is divided, a determination / processing algorithm unit 312 and a data communication unit 313 are provided in the host computer 111, and the image input unit 41 is provided in the interface device 1511. A processing unit 42 and a data communication unit 64 are provided. The data communication unit 313 of the host computer 111 and the data communication unit 64 of the interface device 1511 are connected via the network 14.

【0040】このネットワークシステムでは、前記イン
ターフェース装置1511 の前処理部42からデータ通
信部64を介して前記ホストコンピュータ111にデー
タパケットが送信される。このときのデータパケットの
フォーマットは、図13に示すようにヘッダ部、アドレ
ス部、データ部、CRC(エラー検出部)からなり、こ
のデータパケットに対して前処理部42からの表情解析
データd1 、視線位置データd2 、瞬目解析データd3
、眼球運動解析データd4 、瞳孔径解析データd5 を
データ部の後に付加して前記ホストコンピュータ111
に送信する。
In this network system, a data packet is transmitted from the pre-processing unit 42 of the interface device 1511 to the host computer 111 via the data communication unit 64. At this time, the format of the data packet includes a header section, an address section, a data section, and a CRC (error detection section) as shown in FIG. 13, and the expression analysis data d1 and Eye position data d2, blink analysis data d3
The eye movement analysis data d4 and the pupil diameter analysis data d5 are added after the data part to the host computer 111.
Send to

【0041】前記ホストコンピュータ111は、インタ
ーフェース装置1511 からのデータパケットから表情
解析データd1 、視線位置データd2 、瞬目解析データ
d3、眼球運動解析データd4 、瞳孔径解析データd5
をデータ通信部313を介して受取り、内部の判断・処
理アルゴリズム部312にて図14に示す判断・処理ア
ルゴリズムの選択処理を行う。
The host computer 111 extracts the facial expression analysis data d1, the gaze position data d2, the blink analysis data d3, the eye movement analysis data d4, and the pupil diameter analysis data d5 from the data packet from the interface device 1511.
Is received via the data communication unit 313, and an internal judgment / processing algorithm unit 312 performs a selection process of a judgment / processing algorithm shown in FIG.

【0042】この処理は、先ず、S81〜S84にて、
瞬目解析データd3 、瞳孔径解析データd5 、眼球運動
解析データd4 、視線位置データd2 を順次取込み、こ
の状態で、興味度抽出であれば、S85にて興味度検出
アルゴリズムを実行して図9に示す興味度検知処理と同
様の処理を行い、理解・受容度抽出であれば、S86に
て理解・受容度検出アルゴリズムを実行して図10に示
す理解・受容度検知処理と同様の処理を行い、ストレス
・疲労度抽出であれば、S87にてストレス・疲労度検
出アルゴリズムを実行してストレス・疲労度検知処理を
行い、その他の抽出であればその他の抽出に基づく処理
を行う。そして、S88にて、処理の終了をチェック
し、終了であればS89にて、結果を出力して一連の処
理を終了する。
In this processing, first, in S81 to S84,
The blink analysis data d3, the pupil diameter analysis data d5, the eye movement analysis data d4, and the gaze position data d2 are sequentially acquired. In this state, if the degree of interest is extracted, the degree of interest detection algorithm is executed in S85 to execute FIG. When the understanding / acceptance level is extracted, the same processing as the understanding / acceptance level detection processing shown in FIG. 10 is executed by executing the understanding / acceptance level detection algorithm in S86. If it is determined that the degree of stress / fatigue is to be extracted, a stress / fatigue degree detection algorithm is executed in step S87 to perform a stress / fatigue degree detection process. Then, in S88, the end of the process is checked, and if it is, the result is output in S89, and the series of processes is ended.

【0043】従って、この実施の形態においても、端末
装置181 のディスプレイ22を見ている操作者の注視
度・視線位置、興味度、理解・受容度をリアルタイムで
知ることができ、端末装置操作者の画像を見ているとき
の表情を適切に判断し、画像を操作者がより興味を示す
ような画像に切換えたり、操作者がより理解を示すよう
な画像に切換えたりなどの処置ができ、より優れたマン
マシンインターフェースを構築できる。
Therefore, also in this embodiment, it is possible to know in real time the degree of gaze / gaze position, interest, and understanding / acceptance of the operator who is looking at the display 22 of the terminal device 181. It is possible to appropriately judge the facial expression when looking at the image of the image, switch the image to an image that the operator is more interested in, or switch to an image that the operator shows more understanding, etc. A better man-machine interface can be constructed.

【0044】また、判断・処理アルゴリズム部312を
ホストコンピュータ111に内蔵させることで判断・処
理アルゴリズム部312の判断・処理アルゴリズムを自
由に変更することが可能となり、判断・処理の自由度を
高めることができる。また、判断・処理アルゴリズムが
複雑になった場合には、ホストコンピュータ111のマ
シンパワーを利用できるため、高速処理が可能になり、
また、端末装置側のインターフェース装置の負担やコス
トを軽減できる。
Further, by incorporating the judgment / processing algorithm unit 312 in the host computer 111, the judgment / processing algorithm of the judgment / processing algorithm unit 312 can be freely changed, and the degree of freedom of judgment / processing can be increased. Can be. Further, when the determination / processing algorithm becomes complicated, the machine power of the host computer 111 can be used, so that high-speed processing becomes possible.
In addition, the burden and cost of the interface device on the terminal device side can be reduced.

【0045】(第3の実施の形態)これは、図15に示
すように、ホストコンピュータ71を通信回線72に接
続し、この通信回線72をゲートウエイ73を介してイ
ンターネットからなるネットワーク74に接続してい
る。また、インターフェース装置751 ,…を通信回線
76に接続し、この通信回線76をゲートウエイ77を
介して前記ネットワーク74に接続している。また、イ
ンターフェース装置781 ,…を通信回線79に接続
し、この通信回線79をゲートウエイ80を介して前記
ネットワーク74に接続している。また、インターフェ
ース装置811 ,…を通信回線82に接続し、この通信
回線82をゲートウエイ83を介して前記ネットワーク
74に接続している。
(Third Embodiment) As shown in FIG. 15, a host computer 71 is connected to a communication line 72, and this communication line 72 is connected to a network 74 composed of the Internet via a gateway 73. ing. Are connected to a communication line 76, and the communication line 76 is connected to the network 74 via a gateway 77. Are connected to a communication line 79, and this communication line 79 is connected to the network 74 via a gateway 80. Are connected to a communication line 82, and the communication line 82 is connected to the network 74 via a gateway 83.

【0046】前記インターフェース装置751 ,…、7
81 ,…、811 ,…にそれぞれ端末装置841 ,…、
851 ,…、861 ,…及び撮像装置871 ,…、88
1 ,…、891 、…を接続している。前記インターフェ
ース装置751 ,…、781,…、811 ,…の構成
は、第1の実施の形態におけるホストコンピュータ1
1、インターフェース装置151 ,152 ,…の構成と
同じ構成になっている。
The interface devices 751,..., 7
,..., 811,.
, 861,... And imaging devices 871,.
1, ..., 891, ... are connected. The structure of the interface devices 751,..., 781,.
1. The configuration is the same as that of the interface devices 151, 152,...

【0047】前記ホストコンピュータ71は、例えば、
図16に示すように、S91にて、各端末装置841 ,
…、851 ,…、861 ,…に画像情報を送信し、S9
2にて、端末装置841 、インターフェース装置751
から興味度の結果を受信し、S93にて、端末装置85
1 、インターフェース装置781 から興味度の結果を受
信し、S94にて、端末装置861 、インターフェース
装置811 から興味度の結果を受信する。これにより、
各端末装置841 、851 、861 の操作者に対する送
信画像に対する個別の興味度を検知できる。そして、S
95にて、送信画像に対する平均興味度を算出する。こ
れにより、各端末装置841 、851 、861 の操作者
に対する送信画像に対する平均の興味度を検知できる。
また、他の反応の抽出があればその受信、算出を行う。
例えば、理解・受容度を各端末装置841 、851 、8
61 及びインターフェース装置751 、781、811
から受信し、送信画像に対する平均理解・受容度を算出
する。
The host computer 71 is, for example,
As shown in FIG. 16, in S91, each terminal device 841,.
, 851,..., 861,.
At 2, the terminal device 841 and the interface device 751
From the terminal device 85 in step S93.
1. The result of the degree of interest is received from the interface device 781, and the result of the degree of interest is received from the terminal device 861 and the interface device 811 in S94. This allows
It is possible to detect the degree of individual interest in the transmission image for the operator of each of the terminal devices 841, 851, and 861. And S
At 95, the average degree of interest for the transmission image is calculated. As a result, the average degree of interest in the transmission image for the operator of each of the terminal devices 841, 851, and 861 can be detected.
If there is another reaction extracted, the reception and calculation are performed.
For example, the degree of understanding / acceptance is determined for each terminal device 841, 851, 8
61 and interface devices 751, 781, 811
And the average understanding / acceptance of the transmitted image is calculated.

【0048】このように、ホストコンピュータ71はネ
ットワーク74を介して複数の端末装置に対して同時に
同じ画像情報を送信し、各端末装置にて操作者がディス
プレイによりホストコンピュータ71からの送信画像を
見たときの各操作者の注視度・視線位置、興味度、理解
・受容度をホストコンピュータ71にてリアルタイムに
知ることができる。そして、ホストコンピュータ71
は、各端末装置を操作している操作者の興味度や理解・
受容度等についての個別反応を知ることができるととも
に平均的反応も知ることができる。
As described above, the host computer 71 simultaneously transmits the same image information to a plurality of terminal devices via the network 74, and at each terminal device, the operator views the transmitted image from the host computer 71 on the display. The gaze degree / line-of-sight position, interest degree, understanding / acceptance degree of each operator can be known by the host computer 71 in real time. Then, the host computer 71
Is the degree of interest and understanding of the operator operating each terminal device.
It is possible to know the individual response for the degree of acceptance and the average response.

【0049】従って、この処理をネットワーク74に接
続している全ての端末装置を対象に行えば、例えば、商
品情報を送信画像情報として送信してその反応を認識す
るなど、このシステムを情報の収集やリサーチの手段と
して使用することができる。
Therefore, if this processing is performed for all terminal devices connected to the network 74, the system can collect information by transmitting product information as transmission image information and recognizing the reaction. Or as a means of research.

【0050】また、このシステムでは、端末装置操作者
が注視している画像の部分を徐々に拡大して表示させる
ハイパーリンク機能を備えている。例えば、ホストコン
ピュータ71から端末装置841 に対して商品サンプル
の画像を送信し、端末装置841 のディスプレイに図1
7に画面A1として示すように、皿にりんご、かき、バ
ナナを載せた画像を表示させる。そして、端末装置84
1 から注視度・視線位置、興味度、理解・受容度の結果
を受信してホストコンピュータ71は、操作者がりんご
aに興味を持っていることを判断し、次にリンゴの部分
のみを拡大した画像を送信し、端末装置841 のディス
プレイに図17に画面A2として示すように、りんごの
拡大画像を表示させる。そして、端末装置841 から注
視度・視線位置、興味度、理解・受容度の結果を受信し
てホストコンピュータ71は、操作者がりんごの一部に
興味を持っていることを判断し、次にリンゴの部分拡大
と商品説明の画像を送信し、端末装置841 のディスプ
レイに図17に画面A3として示すように、りんごの部
分拡大及び商品説明の画像を表示させる。
Further, this system has a hyperlink function for gradually enlarging and displaying an image portion that the terminal device operator is watching. For example, an image of a product sample is transmitted from the host computer 71 to the terminal device 841, and the display of the terminal device 841 shown in FIG.
7, an image in which apples, oysters, and bananas are placed on a plate is displayed as shown as a screen A1. Then, the terminal device 84
The host computer 71 receives the gaze / gaze position, interest, and understanding / acceptance results from 1 and determines that the operator is interested in apple a, and then enlarges only the apple part. The transmitted image is transmitted, and an enlarged image of the apple is displayed on the display of the terminal device 841 as shown as a screen A2 in FIG. The host computer 71 receives the gaze / gaze position, interest, and understanding / acceptance results from the terminal device 841, and determines that the operator is interested in a part of the apple. The image of the partial enlargement of the apple and the image of the product description are transmitted, and the image of the partial enlargement of the apple and the product description are displayed on the display of the terminal device 841 as shown as a screen A3 in FIG.

【0051】このように、操作者が興味を持って見てい
る画像を徐々に拡大する画像をハイパーリンク形式で表
示させて最後に商品説明も追加させることで商品の宣伝
効果をより一層高めることができる。また、このシステ
ムを利用すれば、メーカによる新商品に対する消費者の
反応をつかみ有効なマーケットリサーチとしての利用効
果を高めることができる。
As described above, the image which is gradually enlarged from the image which the operator is interested in is displayed in the hyperlink form, and the description of the product is added at the end, thereby further enhancing the advertising effect of the product. Can be. Further, if this system is used, it is possible to grasp the reaction of the consumer to the new product by the manufacturer and to enhance the use effect as effective market research.

【0052】例えば、ホストコンピュータ71に外部記
憶装置に予めメーカが開発した新商品の画像情報をハイ
パーリンク形式で徐々に拡大できる構成で格納してお
き、ホストコンピュータ71から各端末装置841 ,
…、851 ,…、861 ,…に新商品の画像情報を送信
してそれぞれディスプレイに表示させる。そして、各端
末装置の操作者の新商品に対する興味度や理解・受容度
をインターフェース装置751 ,…、781 ,…、81
1 ,…を介してホストコンピュータ71が受信してその
平均的反応を把握し、もし興味度が低ければ興味度が高
くなるような画面に切替えたり、理解・受容度が低けれ
ば画面中の説明文などを易しく分かりやすい内容に変更
させる。
For example, image information of a new product developed by a maker is stored in advance in an external storage device in the host computer 71 in a configuration that can be gradually expanded in a hyperlink format, and the terminal device 84 1,.
, 851,..., 861,. Then, the degree of interest or understanding / acceptance of the operator of each terminal device with respect to the new product is determined by the interface devices 751,..., 781,.
The host computer 71 receives the information via 1,..., And grasps the average response. If the degree of interest is low, the screen is switched to a screen that increases the degree of interest. Change sentences etc. into easy-to-understand contents.

【0053】図18に示すように、ホストコンピュータ
71から各端末装置に画像情報B1を送信して表示させ
た結果、理解度レベルが低いという結果が出ると、ホス
トコンピュータ71は理解度を高めるために各端末装置
に例えば画像を拡大するなど内容がより明確になる画像
情報B2 を送信して表示させる。そして各端末装置から
の反応が多少理解に変化すると、さらに理解度を高める
画面に切替える画像情報B3 を送信して表示させる。こ
のときの画面の変化を模式的に示すと、図19に示すよ
うになる。このように表示画面を各端末装置の操作者の
反応を検知して変化させることで、例えば、新商品の宣
伝を行う場合にはきわめて有効なシステムとなる。
As shown in FIG. 18, when the image information B1 is transmitted from the host computer 71 to each terminal device and displayed, a low understanding level is obtained. Then, image information B2 for clearing the content such as enlarging the image is transmitted to each terminal device and displayed. Then, when the response from each terminal device changes to a little understanding, the image information B3 for switching to a screen for further enhancing the understanding is transmitted and displayed. FIG. 19 schematically shows the change of the screen at this time. Thus, by detecting and changing the reaction of the operator of each terminal device on the display screen, for example, it becomes a very effective system when advertising a new product.

【0054】また、このシステムをEC(電子商取引)
やオンラインショッピングに適用することもできる。
Also, this system is called EC (Electronic Commerce).
And it can be applied to online shopping.

【0055】例えば、通常画像情報以外に注目画像情報
Dが発生したとすると、図20に示すように、ホストコ
ンピュータ71から各端末装置841 ,…、851 ,
…、861 ,…に通常画像情報C他に注目画像情報Dを
送信する。これを受信した各端末装置841 ,…、85
1 ,…、861 ,…は図21の(a) に示すように通常画
像C1 と注目画像D1 の表示を行う。そして、ホストコ
ンピュータ71は各端末装置841 ,…、851 ,…、
861 ,…からの注視度・視線位置、興味度、理解・受
容度の結果を受信し、操作者が注目画像情報D1 の到来
を注目し認知したか否かを確認する。そして、もし、注
目画像情報D1 の到来を認知していないと判断したとき
には、ホストコンピュータ71は、注目画像情報Dの内
容を変更して、例えば、図21の(b) に示すように、注
目画像D1 を点滅させたり、図21の(c) に示すよう
に、通常画像C1 を右下に移動し、かつ注目画像D1 を
点滅させるとともに中央部に移動させるなどして操作者
に注目画像D2 の到来に注目するよう促す。なお、ここ
では注目画像情報の場合について述べたが緊急画像情報
であってもよい。
For example, if attention image information D is generated in addition to the normal image information, the terminal devices 841,..., 851,.
, 861, ..., the normal image information C and the noticed image information D are transmitted. Each of the terminal devices 841,.
.., 861,... Display the normal image C1 and the target image D1 as shown in FIG. .., 851,...,.
861,..., The degree of gaze, the degree of interest, the degree of understanding, the degree of understanding / acceptance, and whether or not the operator has noticed and recognized the arrival of the noted image information D1. Then, if it is determined that the arrival of the attention image information D1 has not been recognized, the host computer 71 changes the contents of the attention image information D and, for example, as shown in FIG. As shown in FIG. 21C, the operator blinks the image D1 or moves the normal image C1 to the lower right, and blinks and moves the image of interest D1 to the center. Encourage them to pay attention to the coming. Here, the case of attention image information has been described, but emergency image information may be used.

【0056】このように通常画像情報に注目画像情報や
緊急画像情報を割込ませ、さらに、この注目画像情報や
緊急画像情報を操作者が確実に認知するように操作者の
表情を検知して表示内容を変更することができる。これ
により、さらに優れたマンマシンインターフェースを構
築できる。
As described above, the noticed image information and the emergency image information are inserted into the normal image information, and the expression of the operator is detected so that the operator can surely recognize the noticed image information and the emergency image information. The display contents can be changed. Thereby, a more excellent man-machine interface can be constructed.

【0057】[0057]

【発明の効果】請求項1記載の発明によれば、ホストコ
ンピュータからネットワークを介して端末装置に画像情
報を送信して表示し、そのときの端末装置操作者の送信
画像に対する反応をホストコンピュータ側でリアルタイ
ムで把握することができ、より優れたマンマシンインタ
ーフェースを構築できる。請求項2記載の発明によれ
ば、ホストコンピュータからネットワークを介して複数
の端末装置に画像情報を送信して表示し、そのときの各
端末装置操作者の送信画像に対する個別反応又は平均的
反応をホストコンピュータ側でリアルタイムで把握する
ことができ、より優れたマンマシンインターフェースを
構築できる。
According to the first aspect of the present invention, image information is transmitted from the host computer to the terminal device via the network and displayed, and the response to the transmitted image of the terminal device operator at that time is transmitted to the host computer. Can be grasped in real time, and a better man-machine interface can be constructed. According to the invention described in claim 2, image information is transmitted from the host computer to the plurality of terminal devices via the network and displayed, and the individual response or the average response to the transmitted image of each terminal device operator at that time is displayed. It can be grasped in real time on the host computer side, and a better man-machine interface can be constructed.

【0058】請求項3記載の発明によれば、ホストコン
ピュータからネットワークを介して端末装置に複数の商
品画像情報を送信して表示し、そのときの端末装置操作
者がどの商品画像に興味を持ったかをホストコンピュー
タ側でリアルタイムで把握し、端末装置に興味を持った
商品画像の詳細な画像情報を表示することにより、より
優れたマンマシンインターフェースを構築できる。請求
項4記載の発明によれば、ホストコンピュータからネッ
トワークを介して端末装置に商品画像情報及び注目画像
情報又は緊急画像情報を送信して表示し、そのとき端末
装置操作者が注目画像情報又は緊急画像情報の到来を認
知したか判断し、到来を認知していないと判断したとき
には注目画像情報又は緊急画像情報をより目立つ画像に
変更して送信することで、より優れたマンマシンインタ
ーフェースを構築できる。
According to the third aspect of the present invention, a plurality of product image information is transmitted from the host computer to the terminal device via the network and displayed, and the terminal device operator at that time is interested in any product image. By ascertaining in real time on the host computer side and displaying detailed image information of the product image of interest on the terminal device, a more excellent man-machine interface can be constructed. According to the invention described in claim 4, the product image information and the attention image information or the emergency image information are transmitted from the host computer to the terminal device via the network and displayed, and at this time, the terminal device operator operates the attention image information or the emergency image information. It is determined whether or not the arrival of the image information has been recognized. If it is determined that the arrival has not been recognized, the image information of interest or the emergency image information is changed to a more prominent image and transmitted, whereby a more excellent man-machine interface can be constructed. .

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施の形態を示すもので、ネッ
トワークシステム全体の構成を示すブロック図。
FIG. 1 is a block diagram showing a first embodiment of the present invention and showing a configuration of an entire network system.

【図2】同実施の形態における端末装置に対するインタ
ーフェース装置及び撮像装置の配置関係を示す斜視図。
FIG. 2 is an exemplary perspective view showing an arrangement relationship of an interface device and an imaging device with respect to the terminal device according to the embodiment;

【図3】同実施の形態におけるホストコンピュータ、イ
ンターフェース装置及び端末装置の内部構成を示すブロ
ック図。
FIG. 3 is an exemplary block diagram showing the internal configuration of a host computer, an interface device, and a terminal device according to the embodiment;

【図4】同実施の形態におけるインターフェース装置の
表情解析部による表情解析処理を示す流れ図。
FIG. 4 is a flowchart showing a facial expression analysis process performed by a facial expression analysis unit of the interface device according to the embodiment;

【図5】同実施の形態におけるインターフェース装置の
瞬目検知/解析部による瞬目検知・解析処理を示す流れ
図。
FIG. 5 is a flowchart showing blink detection / analysis processing by a blink detection / analysis unit of the interface device according to the embodiment;

【図6】同実施の形態におけるインターフェース装置の
瞳孔径検知/解析部による瞳孔径検知・解析処理を示す
流れ図。
FIG. 6 is a flowchart showing pupil diameter detection / analysis processing by a pupil diameter detection / analysis unit of the interface device according to the embodiment;

【図7】同実施の形態におけるインターフェース装置の
眼部運動検知/解析部による眼部運動検知・解析処理を
示す流れ図。
FIG. 7 is a flowchart showing eye movement detection / analysis processing by an eye movement detection / analysis unit of the interface device according to the embodiment;

【図8】同実施の形態におけるインターフェース装置の
視線解析部による視線位置解析処理を示す流れ図。
FIG. 8 is a flowchart showing gaze position analysis processing by a gaze analysis unit of the interface device according to the embodiment;

【図9】同実施の形態におけるインターフェース装置の
判断・処理アルゴリズム部による興味度検知処理を示す
流れ図。
FIG. 9 is a flowchart showing an interest level detection process by the determination / processing algorithm unit of the interface device according to the embodiment;

【図10】同実施の形態におけるインターフェース装置
の判断・処理アルゴリズム部による理解・受容検知処理
を示す流れ図。
FIG. 10 is a flowchart showing understanding / acceptance detection processing by the determination / processing algorithm unit of the interface device according to the embodiment;

【図11】同実施の形態におけるインターフェース装置
が送受信するデータパケットのフォーマットを示す図。
FIG. 11 is a diagram showing a format of a data packet transmitted and received by the interface device according to the embodiment.

【図12】本発明の第2の実施の形態を示すもので、ネ
ットワークシステム全体の構成を示すブロック図。
FIG. 12 is a block diagram illustrating a configuration of an entire network system according to a second embodiment of the present invention.

【図13】同実施の形態におけるインターフェース装置
が送信するデータパケットのフォーマットを示す図。
FIG. 13 is a diagram showing a format of a data packet transmitted by the interface device according to the embodiment.

【図14】同実施の形態におけるホストコンピュータの
判断・処理アルゴリズム部による判断・処理アルゴリズ
ムの選択処理を示す流れ図。
FIG. 14 is a flowchart showing a determination / processing algorithm selection process by a determination / processing algorithm unit of the host computer in the embodiment;

【図15】本発明の第3の実施の形態を示すもので、ネ
ットワークシステム全体の構成を示すブロック図。
FIG. 15 is a block diagram showing a third embodiment of the present invention and showing the configuration of the entire network system.

【図16】同実施の形態におけるホストコンピュータに
よる個別興味度及び平均興味度の検知処理を示す流れ
図。
FIG. 16 is a flowchart showing detection processing of an individual degree of interest and an average degree of interest by the host computer in the embodiment.

【図17】同実施の形態においてホストコンピュータが
端末装置の表示を操作者の興味に応じて変更するときの
表示画面の変化を示す図。
FIG. 17 is a diagram showing a change in the display screen when the host computer changes the display of the terminal device according to the interest of the operator in the embodiment.

【図18】同実施の形態においてホストコンピュータが
端末装置の表示を操作者の理解度に応じて変更するとき
の情報のやり取りを示す図。
FIG. 18 is a diagram showing exchange of information when the host computer changes the display of the terminal device according to the degree of understanding of the operator in the embodiment.

【図19】同実施の形態においてホストコンピュータが
端末装置の表示を操作者の理解度に応じて変更するとき
の表示画面の変化を示す図。
FIG. 19 is a diagram showing a change in the display screen when the host computer changes the display of the terminal device according to the operator's understanding in the embodiment.

【図20】同実施の形態においてホストコンピュータが
端末装置に通常画像の他に注目画像を表示するときの情
報のやり取りを示す図。
FIG. 20 is an exemplary diagram showing exchange of information when the host computer displays a target image in addition to the normal image on the terminal device in the embodiment.

【図21】同実施の形態においてホストコンピュータが
端末装置に通常画像の他に注目画像を表示するときの注
目画像表示の変化例を示す図。
FIG. 21 is an exemplary view showing an example of a change in display of an image of interest when the host computer displays an image of interest in addition to a normal image on a terminal device in the embodiment.

【図22】従来例を説明するための図。FIG. 22 is a view for explaining a conventional example.

【符号の説明】[Explanation of symbols]

11…ホストコンピュータ 14…ネットワーク 151 ,152 …インターフェース装置 181 ,182 …端末装置 191 ,192 …撮像装置 422…表情解析部 424…視線解析部 426…瞬目検知/解析部 427…瞳孔径検知/解析部 428…眼部運動検知/解析部 43…判断・処理アルゴリズム部 Reference Signs List 11 host computer 14 network 151, 152 interface device 181, 182 terminal device 191, 192 imaging device 422 facial expression analysis unit 424 visual axis analysis unit 426 blink detection / analysis unit 427 pupil diameter detection / analysis Unit 428: Eye movement detection / analysis unit 43: Judgment / processing algorithm unit

フロントページの続き (51)Int.Cl.6 識別記号 FI G06F 15/62 380 Continued on the front page (51) Int.Cl. 6 Identification code FI G06F 15/62 380

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 ネットワークにホストコンピュータを接
続するとともにインターフェース装置を介して端末装置
及び撮像装置を接続し、前記ホストコンピュータは前記
ネットワーク及びインターフェース装置を介して前記端
末装置に画像情報を送信し、前記端末装置は表示装置で
その画像情報を表示し、前記撮像装置は端末装置操作者
の表情を撮像するネットワークシステムからなり、 前記撮像装置が撮像した端末装置操作者の表情情報か
ら、視線位置とこれに対応した興味度、理解・受容度を
検知する手段を設け、前記ホストコンピュータは、検知
した視線位置とこれに対応した興味度、理解・受容度か
ら端末装置操作者の送信画像に対する反応を把握するこ
とを特徴とするネットワークシステム。
1. A host computer is connected to a network and a terminal device and an imaging device are connected via an interface device. The host computer transmits image information to the terminal device via the network and the interface device, The terminal device displays the image information on a display device, and the imaging device includes a network system that captures the facial expression of the terminal device operator. From the facial expression information of the terminal device operator captured by the imaging device, Means for detecting the degree of interest, understanding / acceptance corresponding to the user, and the host computer grasps the response to the transmission image of the terminal device operator from the detected gaze position and the degree of interest / understanding / acceptance corresponding thereto. A network system characterized by:
【請求項2】 ネットワークにホストコンピュータを接
続するとともにそれぞれインターフェース装置を介して
端末装置及び撮像装置をそれぞれ接続し、前記ホストコ
ンピュータは前記ネットワーク及び各インターフェース
装置を介して前記各端末装置に画像情報を送信し、前記
各端末装置はそれぞれ表示装置でその画像情報を表示
し、前記各撮像装置はそれぞれ端末装置操作者の表情を
撮像するネットワークシステムからなり、 前記各撮像装置が撮像した個々の端末装置操作者の表情
情報から、視線位置とこれに対応した興味度、理解・受
容度を検知する手段を設け、前記ホストコンピュータ
は、検知した個々の端末装置操作者の視線位置とこれに
対応した興味度、理解・受容度から各端末装置操作者の
送信画像に対する個別反応又は平均的反応を把握するこ
とを特徴とするネットワークシステム。
2. A host computer is connected to the network, and a terminal device and an imaging device are respectively connected via an interface device. The host computer transmits image information to each terminal device via the network and each interface device. Transmitting, each of the terminal devices displays its image information on a display device, and each of the imaging devices includes a network system that captures a facial expression of a terminal device operator, and each of the terminal devices captured by each of the imaging devices. Means for detecting the gaze position, the degree of interest corresponding to the gaze position, and the degree of understanding / acceptance from the expression information of the operator is provided, and the host computer detects the gaze position of each detected terminal device operator and the interest corresponding to the gaze position. Individual response or average to the transmitted image of each terminal device operator based on degree, understanding / acceptance Network system, characterized in that to grasp the reaction.
【請求項3】 ネットワークにホストコンピュータを接
続するとともにインターフェース装置を介して端末装置
及び撮像装置を接続し、前記ホストコンピュータは前記
ネットワーク及びインターフェース装置を介して前記端
末装置に複数の商品画像情報を送信し、前記端末装置は
表示装置でその各商品画像情報を表示し、前記撮像装置
は端末装置操作者の表情を撮像するネットワークシステ
ムからなり、 前記撮像装置が撮像した端末装置操作者の表情情報か
ら、視線位置とこれに対応した興味度、理解・受容度を
検知する手段を設け、前記ホストコンピュータは、検知
した視線位置とこれに対応した興味度、理解・受容度か
ら端末装置操作者が興味を持った商品画像を把握し、対
応する商品の詳細な画像情報を前記端末装置に送信し、
前記端末装置は表示装置でその詳細な商品画像情報を表
示することを特徴とするネットワークシステム。
3. A host computer is connected to the network, and a terminal device and an imaging device are connected via an interface device. The host computer transmits a plurality of product image information to the terminal device via the network and the interface device. The terminal device displays each product image information on a display device, and the imaging device includes a network system that captures a facial expression of the terminal device operator, from the facial expression information of the terminal device operator captured by the imaging device. Means for detecting the gaze position and the degree of interest and understanding / acceptance corresponding to the gaze position, wherein the host computer determines whether the terminal device operator is interested based on the detected gaze position and the degree of interest / understanding / acceptance corresponding thereto. Grasp the product image with, and send detailed image information of the corresponding product to the terminal device,
A network system, wherein the terminal device displays detailed product image information on a display device.
【請求項4】 ネットワークにホストコンピュータを接
続するとともにインターフェース装置を介して端末装置
及び撮像装置を接続し、前記ホストコンピュータは前記
ネットワーク及びインターフェース装置を介して前記端
末装置に商品画像情報を送信し、前記端末装置は表示装
置でその商品画像情報を表示し、前記撮像装置は端末装
置操作者の表情を撮像するネットワークシステムからな
り、 前記撮像装置が撮像した端末装置操作者の表情情報か
ら、視線位置とこれに対応した興味度、理解・受容度を
検知する手段を設け、前記ホストコンピュータは前記端
末装置にさらに注目画像情報又は緊急画像情報を送信
し、前記端末装置は表示装置でその注目画像情報又は緊
急画像情報を表示し、前記ホストコンピュータは、検知
した視線位置とこれに対応した興味度、理解・受容度か
ら端末装置操作者が注目画像情報又は緊急画像情報の到
来を認知したか否かを判断し、到来を認知していないと
判断したときには注目画像情報又は緊急画像情報をより
目立つ画像に変更して送信し、前記端末装置はこの変更
画像を表示装置で表示することを特徴とするネットワー
クシステム。
4. A host computer is connected to the network and a terminal device and an imaging device are connected via an interface device. The host computer transmits product image information to the terminal device via the network and the interface device. The terminal device displays product image information on a display device, the imaging device includes a network system that captures a facial expression of the terminal device operator, and a gaze position from the facial expression information of the terminal device operator captured by the imaging device. And means for detecting the degree of interest and understanding / acceptance corresponding thereto, wherein the host computer further transmits attention image information or emergency image information to the terminal device, and the terminal device displays the attention image information on a display device. Or, it displays emergency image information, and the host computer displays the detected gaze position. It is determined from the degree of interest and understanding / acceptance corresponding to whether the terminal device operator has recognized the arrival of the attention image information or the emergency image information, and if it is determined that the arrival has not been recognized, the attention image information or the emergency A network system wherein image information is changed to a more prominent image and transmitted, and the terminal device displays the changed image on a display device.
JP9009219A 1997-01-22 1997-01-22 Network system Pending JPH10207615A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9009219A JPH10207615A (en) 1997-01-22 1997-01-22 Network system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9009219A JPH10207615A (en) 1997-01-22 1997-01-22 Network system

Publications (1)

Publication Number Publication Date
JPH10207615A true JPH10207615A (en) 1998-08-07

Family

ID=11714336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9009219A Pending JPH10207615A (en) 1997-01-22 1997-01-22 Network system

Country Status (1)

Country Link
JP (1) JPH10207615A (en)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004321621A (en) * 2003-04-25 2004-11-18 Tadahiko Fukuda Method and program for puzzlement detection
JP2005333524A (en) * 2004-05-21 2005-12-02 Nippon Hoso Kyokai <Nhk> Support equipment and support program for program selection
JP2007172378A (en) * 2005-12-22 2007-07-05 Toyota Motor Corp Apparatus for specifying object to be gazed at
JP2008197266A (en) * 2007-02-09 2008-08-28 Sharp Corp Reproduction apparatus, reproduction system, reproduction method and computer program
JP2009054101A (en) * 2007-08-29 2009-03-12 Saga Univ Device, method and program for eye-gaze input
JP2009104426A (en) * 2007-10-24 2009-05-14 Advanced Telecommunication Research Institute International Interactive sign system
JP2010503110A (en) * 2006-09-07 2010-01-28 ザ プロクター アンド ギャンブル カンパニー Methods for measuring emotional responses and preference trends
JP2010511928A (en) * 2006-12-01 2010-04-15 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. Apparatus and method for generating photorealistic image thumbnails
JP2012078461A (en) * 2010-09-30 2012-04-19 Casio Comput Co Ltd Image display device and program
JP2013518316A (en) * 2010-01-21 2013-05-20 トビー・テクノロジー・アーベー Eye tracker based context action
JP2014139755A (en) * 2013-01-21 2014-07-31 Fuji Xerox Co Ltd Display controller and program
US8977076B2 (en) 2008-03-20 2015-03-10 Hewlett-Packard Development Company, L.P. Thumbnail based image quality inspection
JP2017049781A (en) * 2015-09-01 2017-03-09 株式会社東芝 Glasses-type wearable device, control method thereof, and information management server
WO2017060994A1 (en) * 2015-10-07 2017-04-13 株式会社日立製作所 System and method for controlling information presented to user who refers to content
JP2017080516A (en) * 2017-01-17 2017-05-18 エイディシーテクノロジー株式会社 Display device
JPWO2016093096A1 (en) * 2014-12-09 2017-11-30 株式会社ジンズ Program, information processing apparatus, and eyewear
WO2018042709A1 (en) * 2016-09-02 2018-03-08 株式会社日立製作所 Comprehension level calculation device and method for calculating comprehension level
WO2019181537A1 (en) * 2018-03-22 2019-09-26 国立研究開発法人科学技術振興機構 Processing device, processing method, data processing device, data processing system, data processing method, and program
JP2019168837A (en) * 2018-03-22 2019-10-03 国立研究開発法人科学技術振興機構 Processing apparatus, processing method, and program
WO2023181862A1 (en) * 2022-03-25 2023-09-28 ソニーグループ株式会社 Information processing device, information processing method, storage medium

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004321621A (en) * 2003-04-25 2004-11-18 Tadahiko Fukuda Method and program for puzzlement detection
JP2005333524A (en) * 2004-05-21 2005-12-02 Nippon Hoso Kyokai <Nhk> Support equipment and support program for program selection
JP2007172378A (en) * 2005-12-22 2007-07-05 Toyota Motor Corp Apparatus for specifying object to be gazed at
JP2010503110A (en) * 2006-09-07 2010-01-28 ザ プロクター アンド ギャンブル カンパニー Methods for measuring emotional responses and preference trends
JP2010511928A (en) * 2006-12-01 2010-04-15 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. Apparatus and method for generating photorealistic image thumbnails
JP2008197266A (en) * 2007-02-09 2008-08-28 Sharp Corp Reproduction apparatus, reproduction system, reproduction method and computer program
JP2009054101A (en) * 2007-08-29 2009-03-12 Saga Univ Device, method and program for eye-gaze input
JP2009104426A (en) * 2007-10-24 2009-05-14 Advanced Telecommunication Research Institute International Interactive sign system
US8977076B2 (en) 2008-03-20 2015-03-10 Hewlett-Packard Development Company, L.P. Thumbnail based image quality inspection
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
JP2013518316A (en) * 2010-01-21 2013-05-20 トビー・テクノロジー・アーベー Eye tracker based context action
US10353462B2 (en) 2010-01-21 2019-07-16 Tobii Ab Eye tracker based contextual action
JP2012078461A (en) * 2010-09-30 2012-04-19 Casio Comput Co Ltd Image display device and program
JP2014139755A (en) * 2013-01-21 2014-07-31 Fuji Xerox Co Ltd Display controller and program
JPWO2016093096A1 (en) * 2014-12-09 2017-11-30 株式会社ジンズ Program, information processing apparatus, and eyewear
JP2017049781A (en) * 2015-09-01 2017-03-09 株式会社東芝 Glasses-type wearable device, control method thereof, and information management server
WO2017060994A1 (en) * 2015-10-07 2017-04-13 株式会社日立製作所 System and method for controlling information presented to user who refers to content
JPWO2017060994A1 (en) * 2015-10-07 2018-08-02 株式会社日立製作所 System and method for controlling information to be presented to user browsing content
US10699057B2 (en) 2015-10-07 2020-06-30 Hitachi Ltd. System and method for controlling information presented to user referring to contents
WO2018042709A1 (en) * 2016-09-02 2018-03-08 株式会社日立製作所 Comprehension level calculation device and method for calculating comprehension level
JP2017080516A (en) * 2017-01-17 2017-05-18 エイディシーテクノロジー株式会社 Display device
WO2019181537A1 (en) * 2018-03-22 2019-09-26 国立研究開発法人科学技術振興機構 Processing device, processing method, data processing device, data processing system, data processing method, and program
JP2019168837A (en) * 2018-03-22 2019-10-03 国立研究開発法人科学技術振興機構 Processing apparatus, processing method, and program
WO2023181862A1 (en) * 2022-03-25 2023-09-28 ソニーグループ株式会社 Information processing device, information processing method, storage medium

Similar Documents

Publication Publication Date Title
JPH10207615A (en) Network system
JP4377472B2 (en) Face image processing device
US9254081B2 (en) Fitting glasses frames to a user
WO2013018267A1 (en) Presentation control device and presentation control method
CN106557937B (en) Advertisement pushing method and device
US7224834B2 (en) Computer system for relieving fatigue
JPWO2007135796A1 (en) Control device for evaluating user response to content
US9013591B2 (en) Method and system of determing user engagement and sentiment with learned models and user-facing camera images
CN109982124A (en) User&#39;s scene intelligent analysis method, device and storage medium
JP2017522104A (en) Eye state determination system
KR102364929B1 (en) Electronic device, sever, and system for tracking skin changes
Oyekoya et al. Eye tracking as a new interface for image retrieval
CN106650661A (en) Terminal usage state detection method and apparatus
CN109431446A (en) A kind of online eyesight exam method, device, terminal device and storage medium
CN110174937A (en) Watch the implementation method and device of information control operation attentively
CN114190879A (en) Visual function detection system for amblyopia children based on virtual reality technology
CN109044375A (en) A kind of control system and its method of real-time tracking detection eyeball fatigue strength
EP3982331A1 (en) Information processing device, information processing method, and program
US9621847B2 (en) Terminal, system, display method, and recording medium storing a display program
JP6900766B2 (en) Customer service necessity judgment device, customer service necessity judgment method, and program
JP2001128134A (en) Presentation device
JP2012186821A (en) Face image processing device, face image processing method, electronic still camera, digital image processing device and digital image processing method
KR102477231B1 (en) Apparatus and method for detecting interest in gazed objects
CN114740966A (en) Multi-modal image display control method and system and computer equipment
KR20220069355A (en) Smart mirror for managing a body shape