JP5166263B2 - 視覚シーンにおける視覚モチーフの決定のためのデータ処理方法 - Google Patents
視覚シーンにおける視覚モチーフの決定のためのデータ処理方法 Download PDFInfo
- Publication number
- JP5166263B2 JP5166263B2 JP2008523409A JP2008523409A JP5166263B2 JP 5166263 B2 JP5166263 B2 JP 5166263B2 JP 2008523409 A JP2008523409 A JP 2008523409A JP 2008523409 A JP2008523409 A JP 2008523409A JP 5166263 B2 JP5166263 B2 JP 5166263B2
- Authority
- JP
- Japan
- Prior art keywords
- visual
- pilot
- eye movement
- processing
- measurement data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
- Position Input By Displaying (AREA)
- Holo Graphy (AREA)
Description
―操縦者と少なくとも1の仕事環境のインターフェースの構成要素との間に相互作用がある時、仕事環境を構成する視覚シーンの視覚要素に操縦者が視線を注ぐ期間の位置を表わすデータを、眼球運動測定装置を使って取得するステップと、
―視覚要素のシーケンスを含み、前記期間複数回繰り返す、少なくとも1の視覚モチーフを決定するために取得されたデータを処理するステップ。
―乗り物の既存の使用方法(例えば、飛行機の飛行方法)を有効化すること;
―同一モチーフを複数の操縦者(ユーザ)が決定する場合に使用方法を提案すること;
―操縦者(ユーザ)を評価すること;
―インターフェースの構成要素、例えば、ダッシュボードの計器、乗り物、外部視覚シーンに関する情報(タクシー路、道路信号、存在する車両、通行人等)の取得装置の使用方法を発見すること;
―インターフェースと一般車両の環境のユーザ−要素の相互作用の他の評価方法を使って取得した結果を理解すること。
―眼球運動測定データの取得装置(10)。該眼球運動測定データは、ユーザと少なくとも1の仕事環境のインターフェースの構成要素との間に相互作用がある時、所定期間の間の自分の仕事環境の1部分をなす視覚シーンの視覚要素に対するユーザの視線の位置を表わす。
―視覚要素シーケンスを含む少なくとも1の視覚モチーフを決定するために、所定期間に複数回繰り返される取得されたデータの処理手段(17)。
―図1は、本発明によるデータ処理プロセスのアルゴリズムである。
―図2は、本発明によるデータ処理システムの模式図である。
―図3は、図2の眼球運動測定メータの模式図である。
―図4は、図1−4の実施例の基礎となるスクリーンの実例である。
―図5は、図4のディスプレイに表われる現象のタイプに基づく生成数を表わすヒストグラムである。
―図7は、ディスプレイ上で図6上に検知された視覚モチーフを模式的に示す。
―図8は、視覚モチーフの検知を模式的に表わす。
―図9は、図8上で検知された視覚モチーフの図4のディスプレイ上の模式図である。
―図10は、関係する目の動きと共に視覚モチーフ検知を模式的に示す。
―図11は、図10上で検知された視覚モチーフの図4のディスプレイ上の模式図である。
1.統計処理から得られた視覚要素N(N=1,2、3…)を含む視覚モチーフをサー チするステップ;このサーチは単一要素について同時に行われる;
2.これらモチーフが入手されたときに、次の質的処理が行われる。
a)目の動きに関係するデータを考慮するステップ(データベースの拡大)
b)第1ステップで識別されたNの要素を含む視覚モチーフの間で、目の動きを考慮 し、要素N,M,Rからなる関係モチーフだけをサーチするステップ。別のモチ ーフは例えば重要ではないと見做される。
詳細な情報はwebサイトwww.smi.deを参照されたい。
―進路の垂直線、
―進路の終点、
―奥左の山頂、
―進路の地上への投影、
―航空機シンボル。
レベル1:(a,b)
レベル2:(a(b、c))
レベル3:(a(b(c、d)))、
但し、(x、y)はレベル1のモチーフを表わす。
―進路の垂直線、
―進路の終点、
―オウムの梯子(横木)。
これら視覚要素を含む視覚モチーフは、予め行った統計処理の結果から選択されるモチーフ(進路の終点要素を含む)をサーチしたときに、質的処理のプログラムにより見出された。
―進路の垂直線、
―進路の終点、
―オウムの梯子(横木)。
―ズーム−長時間の固定、
―進路の垂直線-走査、
―進路-走査、
―進路-短時間の固定、
―進路の終点-短時間の固定、
―止まり木-走査。
Claims (7)
- パイロット(12)と航空機のコクピット(14)の間の相互作用を表すデータの処理方法であって、
航空機のコクピットの一つ又は複数のインタフェースの構成要素とパイロットとの相互作用があるときにコクピットの一つ又は複数のボード計器を見るパイロットの視線の追従を所定期間中に可能にする眼球運動測定データを眼球運動測定装置(10)によって取得するステップであって、前記眼球運動測定データは、同一のボード機器(14)の種々の視覚要素を見るパイロットの視線位置(26)を表し、前記眼球運動測定データを取得することによって、パイロットの注意をひくとともに事象に対応する視覚シーンの視覚要素を識別することができる、ステップ(E1)と、
そのように取得した眼球運動測定データを処理するステップ(E3)と、
を備える方法において、少なくとも一つの視覚モチーフを決定するために実行される前記眼球運動測定データを処理するステップは、所定の期間中に複数回繰り返される少なくとも一つの視覚モチーフ(124,126;142,144)を前記事象の間でサーチすることを含み、前記少なくとも一つの視覚モチーフは、所定の期間中に連続的に出現する事象のシーケンス(01−05;01−03)であり、取得した眼球運動測定データを統計的に処理する先のステップ(E2)を更に備え、前記少なくとも一つの視覚モチーフを決定するために実行される前記眼球運動測定データを処理するステップは、前記取得した眼球運動測定データを統計的に処理する先のステップの結果に従って実行されることを特徴とする方法。 - 前記少なくとも一つの視覚モチーフの事象の少なくとも一つは、少なくとも一つの所定の基準を満たすことを特徴とする請求項1に記載の方法。
- 前記取得した眼球運動測定データを統計的に処理する先のステップ(E2)は、所定の期間中にパイロットが見る視覚要素又は事象の少なくとも一部の生起数を与えることを特徴とする請求項1に記載の方法。
- 前記少なくとも一つの視覚モチーフを決定するために実行される前記眼球運動測定データを処理するステップ(E1)は、生起数が最も高い事象又は視覚要素に基づいて実行されることを特徴とする請求項3に記載の方法。
- 前記少なくとも一つの視覚モチーフを決定するために実行される前記眼球運動測定データを処理するステップ(E1)は、所定の期間中にパイロットが見る事象又は視覚要素の少なくとも一部に関係するパイロットの目の動きのデータを提供する請求項1から4のうちのいずれか1項に記載の方法。
- 前記少なくとも一つの視覚モチーフを決定するために実行される前記眼球運動測定データを処理するステップ(E1)は、パイロットの仕事環境の使用の所定の手順の展開に関係するシナリオの枠組み内で実行されることを特徴とする請求項1から5のうちのいずれか1項に記載の方法。
- パイロット(12)と航空機のコクピット(14)の間の相互作用を表すデータの処理システムであって、
航空機のコクピットの一つ又は複数のインタフェースの構成要素とパイロットとの相互作用があるときにコクピットの一つ又は複数のボード計器を見るパイロットの視線の追従を所定期間中に行うための眼球運動測定データを取得する装置であって、前記眼球運動測定データは、同一のボード機器(14)の種々の視覚要素を見るパイロットの視線位置(26)を表し、前記眼球運動測定データを取得することによって、パイロットの注意をひくとともに事象に対応する視覚シーンの視覚要素を識別することができる、装置(10)と、
そのように取得した眼球運動測定データを処理する手段(17)と、
を備えるデータ処理システムにおいて、前記眼球運動測定データを処理する手段は、取得した眼球運動測定データの統計的な処理を予め実行し、前記眼球運動測定データを処理する手段は、所定の期間中に複数回繰り返される少なくとも一つの視覚モチーフ(124,126;142,144)を予め統計的に処理された事象の間でサーチすることによって、前記統計的な処理の結果に従って少なくとも一つの視覚モチーフを決定し、前記少なくとも一つの視覚モチーフは、所定の期間中に連続的に出現することを特徴とするデータ処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0507895 | 2005-07-25 | ||
FR0507895A FR2888968B1 (fr) | 2005-07-25 | 2005-07-25 | Procede de traitement de donnees en vue de la determination de motifs visuels dans une scene visuelle |
PCT/FR2006/001808 WO2007012747A1 (fr) | 2005-07-25 | 2006-07-25 | Procede de traitement de donnees en vue de la determination de motifs visuels dans une scene visuelle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009503666A JP2009503666A (ja) | 2009-01-29 |
JP5166263B2 true JP5166263B2 (ja) | 2013-03-21 |
Family
ID=36087811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008523409A Expired - Fee Related JP5166263B2 (ja) | 2005-07-25 | 2006-07-25 | 視覚シーンにおける視覚モチーフの決定のためのデータ処理方法 |
Country Status (9)
Country | Link |
---|---|
EP (1) | EP1915591B1 (ja) |
JP (1) | JP5166263B2 (ja) |
CN (1) | CN101356421B (ja) |
AT (1) | ATE545846T1 (ja) |
BR (1) | BRPI0615546A2 (ja) |
CA (1) | CA2615280C (ja) |
FR (1) | FR2888968B1 (ja) |
RU (1) | RU2425331C2 (ja) |
WO (1) | WO2007012747A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110221881A (zh) * | 2018-03-02 | 2019-09-10 | 北京京东尚科信息技术有限公司 | 一种集群对象在界面的呈现方法和装置 |
JP7455692B2 (ja) | 2020-07-27 | 2024-03-26 | 株式会社ゼンリンデータコム | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0796768A (ja) * | 1993-09-27 | 1995-04-11 | Nissan Motor Co Ltd | 前方注視度検知装置 |
US6021403A (en) * | 1996-07-19 | 2000-02-01 | Microsoft Corporation | Intelligent user assistance facility |
US6106119A (en) * | 1998-10-16 | 2000-08-22 | The Board Of Trustees Of The Leland Stanford Junior University | Method for presenting high level interpretations of eye tracking data correlated to saved display images |
AU2001245834A1 (en) * | 2000-03-23 | 2001-10-03 | Snap-On Technologies, Inc. | Self-calibrating, multi-camera machine vision measuring system |
JP3614346B2 (ja) * | 2000-04-24 | 2005-01-26 | 株式会社ケンウッド | 車載用ナビゲーション装置及び表示装置 |
JP4107006B2 (ja) * | 2002-08-08 | 2008-06-25 | 日産自動車株式会社 | 情報提供装置、情報提供制御プログラム |
FR2852097B1 (fr) * | 2003-03-07 | 2005-05-06 | Procede et dispositif pour construire une image de synthese de l'environnement d'un aeronef et la presenter sur un ecran dudit aeronef | |
CN1308123C (zh) * | 2004-07-22 | 2007-04-04 | 上海交通大学 | 智能移动机器人 |
-
2005
- 2005-07-25 FR FR0507895A patent/FR2888968B1/fr not_active Expired - Fee Related
-
2006
- 2006-07-25 CA CA2615280A patent/CA2615280C/en not_active Expired - Fee Related
- 2006-07-25 BR BRPI0615546-4A patent/BRPI0615546A2/pt not_active IP Right Cessation
- 2006-07-25 CN CN200680027037.7A patent/CN101356421B/zh not_active Expired - Fee Related
- 2006-07-25 EP EP06794208A patent/EP1915591B1/fr not_active Not-in-force
- 2006-07-25 RU RU2008106937/28A patent/RU2425331C2/ru not_active IP Right Cessation
- 2006-07-25 AT AT06794208T patent/ATE545846T1/de active
- 2006-07-25 JP JP2008523409A patent/JP5166263B2/ja not_active Expired - Fee Related
- 2006-07-25 WO PCT/FR2006/001808 patent/WO2007012747A1/fr active Application Filing
Also Published As
Publication number | Publication date |
---|---|
RU2008106937A (ru) | 2009-09-10 |
BRPI0615546A2 (pt) | 2011-05-17 |
FR2888968B1 (fr) | 2008-05-09 |
FR2888968A1 (fr) | 2007-01-26 |
CN101356421B (zh) | 2012-11-28 |
CA2615280C (en) | 2017-01-31 |
EP1915591B1 (fr) | 2012-02-15 |
JP2009503666A (ja) | 2009-01-29 |
RU2425331C2 (ru) | 2011-07-27 |
WO2007012747A1 (fr) | 2007-02-01 |
CA2615280A1 (en) | 2007-02-01 |
ATE545846T1 (de) | 2012-03-15 |
CN101356421A (zh) | 2009-01-28 |
EP1915591A1 (fr) | 2008-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Meister | Human factors testing and evaluation | |
US20070156295A1 (en) | Process and system of modeling of an interface between a user and his environment aboard a vehicle | |
JP5166263B2 (ja) | 視覚シーンにおける視覚モチーフの決定のためのデータ処理方法 | |
US7520610B2 (en) | Process of treatment of data with the aim of the determination of visual motifs in a visual scene | |
RU2423294C2 (ru) | Способ и система моделирования интерфейса между пользователем и окружающей средой на борту транспортного средства | |
Bianconi et al. | Immersive wayfinding: virtual reconstruction and eye-tracking for orientation studies inside complex architecture | |
Lee et al. | An evaluation of the effectiveness of virtual reality in air traffic control | |
Large et al. | Augmenting landmarks during the head-up provision of in-vehicle navigation advice | |
Martins et al. | Evaluation of a tunnel-in-the-sky head-up display design for curved approaches using eye-tracking | |
Fetterolf | Using augmented reality to enhance situational awareness for aircraft towing | |
Casner | General aviation pilots’ attitudes toward advanced cockpit systems | |
KR102419667B1 (ko) | 가상현실(vr)/증강현실(ar) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템 및 그 방법 | |
CN113827239A (zh) | 一种采用视觉追踪设备评估飞行员视觉分配的方法 | |
Blundell et al. | Multivariate Analysis of Gaze Behavior and Task Performance Within Interface Design Evaluation | |
Socha et al. | Design of wearable eye tracker with automatic cockpit areas of interest recognition | |
Fort Knox | Coherence and correspondence decision making in aviation: A study of pilot incident reports | |
Schiefele et al. | Evaluation of required HMD resolution and field of view for a virtual cockpit simulation | |
Kellerer et al. | Panoramic displays: The next generation of fighter aircraft cockpits | |
Hayashi et al. | Hidden Markov models as a tool to measure pilot attention switching during simulated ILS approaches | |
Jenkins | The effect of configural displays on pilot situation awareness in helmet-mounted displays | |
Landry | Human-computer interaction in aerospace | |
Moehlenbrink et al. | Investigating attentional tunneling through a flexible experimentation environment and eye tracking | |
Zheng | Interactive Visual Analytics for Agent-Based Simulation: Street-Crossing Behavior at Signalized Pedestrian Crossing | |
Schulte et al. | Knowledge engineering in the domain of visual behaviour of pilots | |
Schulte et al. | Modeling of pilot's visual behavior for low-level flight |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090702 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120305 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120626 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120921 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121220 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5166263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |