JPWO2017068634A1 - 作業支援システム、作業支援方法および作業支援プログラム - Google Patents

作業支援システム、作業支援方法および作業支援プログラム Download PDF

Info

Publication number
JPWO2017068634A1
JPWO2017068634A1 JP2017546300A JP2017546300A JPWO2017068634A1 JP WO2017068634 A1 JPWO2017068634 A1 JP WO2017068634A1 JP 2017546300 A JP2017546300 A JP 2017546300A JP 2017546300 A JP2017546300 A JP 2017546300A JP WO2017068634 A1 JPWO2017068634 A1 JP WO2017068634A1
Authority
JP
Japan
Prior art keywords
work support
data list
line
state
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017546300A
Other languages
English (en)
Other versions
JP6460255B2 (ja
Inventor
佐藤 輝幸
輝幸 佐藤
三原 基伸
基伸 三原
セバスチャン ピキャー
セバスチャン ピキャー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2017068634A1 publication Critical patent/JPWO2017068634A1/ja
Application granted granted Critical
Publication of JP6460255B2 publication Critical patent/JP6460255B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Technology Law (AREA)
  • Finance (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

データ一覧から所望のデータを特定する作業を支援できる作業支援システム、作業支援方法および作業支援プログラムを提供する。作業支援システム(1)は、表示制御部(131)と、検出部(132)と、強調表示部(133)とを有する。表示制御部(131)は、所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示する。検出部(132)は、表示されたデータ一覧に対する操作者の視線位置の移動方向を検出する。強調表示部(133)は、検出された移動方向が、所定の状態であるか否かに応じて、データ一覧内で強調表示する領域を変化させる。

Description

本発明は、作業支援システム、作業支援方法および作業支援プログラムに関する。
役所や金融機関等において、例えば、申請内容に関するコード番号や、振込先の金融機関を特定するためのコード番号を、帳票に記入または入力する場面がある。これらのコード番号は、帳票に記入するユーザが、例えばコード一覧表を参照し、記入内容に応じたコード番号を探し出すことで特定される。
特開2005−309633号公報 特開2013−037399号公報
しかしながら、ユーザは帳票にコード番号を記入することまでは判っていても、どの様にコード番号を調べればよいか困惑する場合がある。このとき、例えば、帳票の記入例を参照画像として表示したり、入力欄に入力すべき内容について、参照用の画像領域を表示したりしても、ユーザが所望のコード番号をコード一覧表から探し出すことを支援することは困難である。
一つの側面では、本発明は、データ一覧から所望のデータを特定する作業を支援できる作業支援システム、作業支援方法および作業支援プログラムを提供することにある。
一つの態様では、作業支援システムは、表示制御部と、検出部と、強調表示部とを有する。表示制御部は、所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示する。検出部は、表示された前記データ一覧に対する前記操作者の視線位置の移動方向を検出する。強調表示部は、検出された前記移動方向が、所定の状態であるか否かに応じて、前記データ一覧内で強調表示する領域を変化させる。
データ一覧から所望のデータを特定する作業を支援できる。
図1は、実施例1の作業支援システムの構成の一例を示すブロック図である。 図2は、一覧表記憶部の一例を示す図である。 図3は、帳票記入時にデータ一覧を参照する場合の一例を示す図である。 図4は、帳票記入時にデータ一覧を参照する場合の他の一例を示す図である。 図5は、実施例1の作業支援処理の一例を示すフローチャートである。 図6は、実施例2の作業支援システムの構成の一例を示すブロック図である。 図7は、ガイドの表示と視線の移動方向との一例を示す図である。 図8は、実施例2の作業支援処理の一例を示すフローチャートである。 図9は、作業支援プログラムを実行するコンピュータの一例を示す図である。
以下、図面に基づいて、本願の開示する作業支援システム、作業支援方法および作業支援プログラムの実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
まず、ユーザが帳票等に記入する場合に困惑するケースについて説明する。1つ目のケースは、例えば、ユーザが街頭アンケートに記入する場合に、個人情報に関わる記入をするか否かの判断に迷う、すなわち、答えたくないために困惑するケースである。2つ目のケースは、例えば、荷物を送るために住所と宛名とをメモして店舗を訪れたが、電話番号を記入することが必要であると判明し思い出そうと考える、すなわち、覚えていないために困惑するケースである。
3つ目のケースは、例えば、ユーザの氏名等のように書くべき内容は明確であるが、帳票のどこに書くのか分からないために困惑するケースである。4つ目のケースは、例えば、都道府県名をコード番号に変換して記入する場合に、ユーザがコード一覧表の見方がわからない、すなわち、記入の仕方がわからないために困惑するケースである。4つ目のケースでは、一覧表が2次元以上になると、ユーザが一覧表の見方を理解するまでに時間がかかるため、一覧表の読み取り方について困惑せずに参照する手法をガイドとして表示することが有効である。
図1は、実施例1の作業支援システムの構成の一例を示すブロック図である。図1に示す作業支援システム1は、上述の4つ目のケースに対し、ユーザが一覧表を困惑せずに参照する作業を支援するシステムである。すなわち、作業支援システム1は、例えば、ユーザが帳票にコード番号を記入する際に、所望のコード番号をコード一覧表から探し出す作業を支援するシステムである。
図1に示す作業支援システム1は、例えば、ユーザ、すなわち操作者が記入台で帳票に記入をする際に参照するデータの一覧表であるデータ一覧を表示する表示部10と、ユーザの視線を検出するための視線センサ11と、情報処理装置100とを有する。情報処理装置100は、表示部10に所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示させる。情報処理装置100は、視線センサ11の情報に基づいて、表示部10に表示させたデータ一覧に対する操作者の視線位置の移動方向を検出する。情報処理装置100は、検出した移動方向が、所定の状態であるか否かに応じて、データ一覧内で強調表示する領域を変化させる。これにより、作業支援システム1は、データ一覧から所望のデータを特定する作業を支援できる。
表示部10は、各種情報を表示するための表示デバイスである。表示部10は、例えば、表示デバイスとしてプロジェクタ、液晶ディスプレイ等によって実現される。表示部10は、情報処理装置100から入力された参照画面等の各種画面を表示する。表示部10は、例えば、記入台の一部に参照画面が投影可能な位置に配置されたプロジェクタ、または、記入台に組み込まれた液晶ディスプレイである。
視線センサ11は、記入台で帳票に記入を行うユーザの視線を検出するセンサである。視線センサ11は、例えば、赤外線カメラ等によって実現される。視線センサ11は、ユーザの瞳孔と角膜での反射光(プルキニエ像)とを撮像し、撮像画像を情報処理装置100に出力する。
次に、情報処理装置100の構成について説明する。図1に示すように、情報処理装置100は、記憶部120と、制御部130とを有する。なお、情報処理装置100は、図1に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部120は、一覧表記憶部121を有する。また、記憶部120は、制御部130での処理に用いる情報を記憶する。
一覧表記憶部121は、参照対象である一覧表を記憶する。一覧表は、所定の規則に従ってデータが配列されたデータ一覧である。図2は、一覧表記憶部の一例を示す図である。図2に示す一覧表は、例えば、家電リサイクル券のリサイクル料金の一覧表である。図2に示すように、一覧表記憶部121は、「メーカ名(コード)」、「製品(コード)」といった項目を有する。
「メーカ名(コード)」は、家電のメーカ名およびコードを示す情報である。また、「メーカ名(コード)」は、例えば、データ一覧の第1キーデータに対応する。「製品(コード)」は、リサイクル対象の家電製品の品名およびコードを示す情報である。「製品(コード)」は、さらに「エアコン(10)」、「テレビ」、「冷蔵庫(30)」といった項目を有する。「テレビ」は、さらに「ブラウン管式(20)」、「液晶・プラズマ式(50)」といった項目を有する。また、「製品(コード)」は、例えば、データ一覧の第2キーデータに対応する。第1キーデータと第2キーデータとは、例えば、2次元の一覧表において、一覧表が大きく、複数ページに渡って参照することが求められる軸のデータを第1キーデータとし、他方の軸のデータを第2キーデータとすることができる。図2の例では、例えば、メーカ名「AAA(001)」の製品「冷蔵庫(30)」のリサイクル料金は「3,672円」であることを示す。
図1の説明に戻って、制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるようにしてもよい。制御部130は、表示制御部131と、検出部132と、強調表示部133とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図1に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
表示制御部131は、例えば図示しないセンサにより、記入台に帳票が置かれたことを検出すると、一覧表記憶部121を参照し、データ一覧を含む参照画面を表示部10に表示させて参照画面を記入台に投影させる。すなわち、表示制御部131は、データ一覧を操作者であるユーザが視認可能な状態に表示させる。
表示制御部131は、参照画面のデータ一覧上に参照領域ガイドを表示させる。参照領域ガイドは、例えば、データ一覧の縦軸であるメーカ名を枠で囲む表示等である。また、表示制御部131は、強調表示部133から強調表示情報が入力されると、強調表示情報に応じて、ガイド領域を強調表示させる。表示制御部131は、データ一覧および参照領域ガイドを表示させると、検出部132にガイド領域情報および検出開始指示を出力する。なお、表示制御部131は、参照領域ガイドを表示せずに、検出部132にガイド領域情報および検出開始指示を出力してもよい。この場合には、参照領域ガイドの表示を強調表示としてもよい。
検出部132は、表示制御部131からガイド領域情報および検出開始指示が入力されると、視線センサ11から入力される撮像画像に基づいて、ユーザの視線を検出する。すなわち、検出部132は、表示した一覧表に対するユーザの視線位置の移動方向を検出する。
検出部132は、ガイド領域情報と、検出した視線の位置および移動方向とに基づいて、ガイド領域を探索する方向に視線の移動方向が沿っているか、換言すれば、ガイド領域を探索する方向と異なる視線の移動方向を検出したか否かを判定する。検出部132は、ガイド領域を探索する方向と異なる視線の移動方向を検出した場合には、ガイド領域情報と、強調表示指示とを強調表示部133に出力する。検出部132は、ガイド領域を探索する方向と異なる視線の移動方向を検出しない場合には、ユーザの視線の検出を継続する。
強調表示部133は、検出部132からガイド領域情報と、強調表示指示とが入力されると、ガイド領域情報のガイド領域について強調表示を行う旨の強調表示情報を生成し、生成した強調表示情報を表示制御部131に出力する。すなわち、強調表示部133は、検出部132が検出した移動方向が、所定の状態であるか否かに応じて、データ一覧内で強調表示する領域を変化させる。なお、強調表示は、例えば、データ一覧内の他の領域と比較して、輝度を上げる表示、輝度を周期的に変化させる表示、および、色彩を変化させる表示、枠囲みの枠の太さを変化させる表示のうち1つ以上の表示である。
つまり、強調表示部133は、視線位置の移動方向が、第一の状態である場合には強調表示を行わず、第一の状態と異なる状態である場合には、データ一覧内で特定の領域を強調表示する。ここで、第一の状態とは、所定の状態であり、ガイド領域を探索する方向と異なる視線の移動方向を検出しない状態である。すなわち、第一の状態は、データ一覧が従っている所定の規則に応じて決定される状態である。言い換えると、第一の状態は、例えば、ユーザの視線位置がデータ一覧の第1キーデータの領域内を下方向に向かって移動している場合である。なお、データ一覧が従っている所定の規則は、例えば、縦軸に第1キーデータを配置し、横軸に第2キーデータを配置する規則である。
なお、強調表示部133は、表示制御部131において参照領域ガイドを表示しなかった場合には、視線位置の移動方向が、第一の状態と異なる状態である場合に参照領域ガイドを表示するようにしてもよい。また、強調表示部133は、表示制御部131において参照領域ガイドを表示していた場合でも、視線位置の移動方向が、第一の状態と異なる状態である場合に、その視線の先に、参照領域を参照するように新たにガイドを出してもよい。これは、例えば、テキストをポップアップさせる表示、視線を横切るようにテキストをスクロールさせる表示、および、所定の視線位置へ誘導する方向を示す矢印のアイコンを出す表示のうちの1つ以上の表示である。
ここで、図3および図4を用いて実施例1の具体例について説明する。図3は、帳票記入時にデータ一覧を参照する場合の一例を示す図である。図3に示すように、ユーザ20が記入台21に帳票22を置くと、記入台21の参照画面領域23に参照画面24が表示される。記入台21には、視線センサ11が設けられ、ユーザ20の視線が検出される。また、参照画面24では、参照画面24のデータ一覧のうち、メーカ名を示す縦軸の第1キーデータの領域に、参照領域ガイド25が表示される。さらに、参照画面領域23には、ユーザ20に対して、例えば「まずメーカ名を探してください」といった文字によるガイド26が表示される。また、参照画面領域23には、データ一覧が複数の参照画面24に渡る場合にページを移動させる前ページボタン27および次ページボタン28が表示される。図3の状態では、ユーザ20の視線は、第1キーデータの領域を矢印29に示すように、上から順に下方向に向かって移動する。ユーザ20は、第1キーデータであるメーカ名を探し出すと、探し出したメーカ名のコードを読み取り、帳票の記入欄30に記入する。
図4は、帳票記入時にデータ一覧を参照する場合の他の一例を示す図である。図4の状態では、ユーザ20の視線は、参照領域ガイド25が示す第1キーデータの領域を外れて、データ一覧の横軸の第2キーデータ付近に位置する。すなわち、ユーザ20は、どこを参照すればよいか困惑している。この場合には、情報処理装置100は、例えば、メーカ名を示す縦軸の第1キーデータの領域、参照領域ガイド25およびガイド26を点滅させて強調表示を行い、ユーザ20に対して支援を行う。または、情報処理装置100は、参照領域ガイド25の方向に視線を誘導する矢印のアイコンの表示を行い、ユーザ20に対して支援を行う。このように、作業支援システム1は、ユーザがデータ一覧のどこを参照すればよいかについて支援できる。
また、図3および図4では、ユーザ20の視線が第1キーデータの領域にある場合に、視線位置近傍のセルに対する参照領域ガイドが強調表示され、ユーザ20の視線が第1キーデータの領域にない場合に、表示中の第1キーデータの領域全体を含む参照領域ガイド25が強調表示されるようにしてもよい。すなわち、作業支援システム1は、データ一覧内で強調表示する領域を変化させる。
次に、実施例1の作業支援システム1の動作について説明する。図5は、実施例1の作業支援処理の一例を示すフローチャートである。
情報処理装置100の表示制御部131は、例えば図示しないセンサにより、記入台に帳票が置かれたことを検出すると、データ一覧を含む参照画面を表示部10(記入台)に表示させる(ステップS1)。表示制御部131は、参照画面のデータ一覧上に参照領域ガイドを表示する(ステップS2)。表示制御部131は、データ一覧および参照領域ガイドを表示させると、検出部132にガイド領域情報および検出開始指示を出力する。
検出部132は、表示制御部131からガイド領域情報および検出開始指示が入力されると、視線センサ11から入力される撮像画像に基づいて、ユーザの視線を検出する。検出部132は、ガイド領域情報と、検出した視線の位置および移動方向とに基づいて、ガイド領域を探索する方向と異なる視線の移動方向を検出したか否かを判定する(ステップS3)。検出部132は、ガイド領域を探索する方向と異なる視線の移動方向を検出した場合には(ステップS3:肯定)、ガイド領域情報と、強調表示指示とを強調表示部133に出力する。
強調表示部133は、検出部132からガイド領域情報と、強調表示指示とが入力されると、ガイド領域情報のガイド領域について強調表示を行う旨の強調表示情報を生成し、生成した強調表示情報を表示制御部131に出力する。表示制御部131は、強調表示部133から強調表示情報が入力されると、強調表示情報に応じて、ガイド領域を強調表示し(ステップS4)、ユーザによるデータ参照の終了に合わせて処理を終了する。検出部132は、ガイド領域を探索する方向と異なる視線の移動方向を検出しない場合には(ステップS3:否定)、ユーザの視線の検出を継続し、ユーザによるデータ参照の終了に合わせて処理を終了する。これにより、作業支援システム1は、データ一覧から所望のデータを特定する作業を支援できる。
このように、作業支援システム1は、所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示する。また、作業支援システム1は、表示されたデータ一覧に対する操作者の視線位置の移動方向を検出する。また、作業支援システム1は、検出された移動方向が、所定の状態であるか否かに応じて、データ一覧内で強調表示する領域を変化させる。その結果、データ一覧から所望のデータを特定する作業を支援できる。
また、作業支援システム1は、視線位置の移動方向が、第一の状態である場合には強調表示を行わず、第一の状態とは異なる状態である場合には、データ一覧内で特定の領域を強調表示する。その結果、参照対象である特定の領域以外にユーザの視線が向いている場合にのみ、参照対象である特定の領域をユーザに気付かせることができる。
また、作業支援システム1では、第一の状態は、データ一覧が従っている所定の規則に応じて決定される状態である。その結果、データ一覧に応じて所望のデータを特定する作業を支援できる。
また、作業支援システム1では、強調表示は、データ一覧内の他の領域と比較して、輝度を上げる表示、輝度を周期的に変化させる表示、色彩を変化させる表示、および、枠囲みの枠の太さを変化させる表示のうち1つ以上の表示である。また、作業支援システム1は、ユーザの視線の先に、参照領域を参照するように新たにガイドを出してもよい。これは、例えば、テキストをポップアップさせる表示、視線を横切るようにテキストをスクロールさせる表示、および、所定の視線位置へ誘導する方向を示す矢印のアイコンを出す表示のうちの1つ以上の表示である。その結果、参照対象である特定の領域をユーザに気付かせることができる。
また、作業支援システム1では、操作者に対して視認可能な状態への強調表示と同期して、このシステムを設置した側(例えば店舗)にある他の情報処理装置および情報提示画面に操作者の状態の提示を可能とする。その結果、例えば専属の応対者がユーザに対して直接作業を支援できる。
上記実施例1では、ユーザの視線に応じてデータ一覧内の領域を強調表示したが、さらに、データ一覧内のいずれかのデータに対する特定操作を受け付けてもよく、この場合の実施の形態につき、実施例2として説明する。図6は、実施例2の作業支援システムの構成の一例を示すブロック図である。なお、実施例1の作業支援システム1と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。
実施例2の作業支援システム2は、実施例1の作業支援システム1に加え、ペン入力センサ12を有し、ユーザのペン入力による操作を受け付ける。
ペン入力センサ12は、記入台で帳票に記入を行うユーザのペン入力を検出するセンサである。ペン入力センサ12は、例えば、記入台に設置されたデジタイザによって実現される。ペン入力センサ12の入力範囲は、例えば、記入台の表示部10によって表示される参照画面の表示範囲(投影範囲)と、帳票への記入を行う範囲とを含む範囲に設定される。ペン入力センサ12は、ペン先位置を検出してペン先位置に基づく操作情報を生成し、生成した操作情報を情報処理装置200に出力する。すなわち、ペン入力センサ12は、参照画面または帳票上のペン先位置を検出し、検出したペン先位置に基づく操作情報を生成して情報処理装置200に出力する。
作業支援システム2の情報処理装置200は、実施例1の情報処理装置100の表示制御部131、検出部132および強調表示部133に代えて、表示制御部231、検出部232および強調表示部233を有する。また、情報処理装置200は、受付部234および算出部235を有する。なお、以下の説明では、実施例1の対応する構成と異なる点を主に説明し、同様の機能については説明を省略する。
表示制御部231は、例えば図示しないセンサにより、記入台に帳票が置かれたことを検出すると、コード番号の記入に先立って、氏名または住所記入欄に対する記入を促すメッセージを表示部10に表示させる。表示制御部231は、例えば、帳票に設けられたQR(Quick Response)コードを図示しないカメラで撮像して記入台に帳票が置かれたことを検出する。また、表示制御部231は、視線キャリブレーション指示を検出部232および受付部234に出力する。
表示制御部231は、検出部232から視線キャリブレーション完了情報が入力されると、一覧表記憶部121を参照し、データ一覧を含む参照画面を表示部10に表示させ、参照画面を記入台に投影させる。
表示制御部231は、実施例1の表示制御部131と同様に、参照画面のデータ一覧上に参照領域ガイドを表示させる。表示制御部231は、例えば、データ一覧の第1の軸、つまり縦軸に参照領域ガイドを表示させる。表示制御部231は、データ一覧および参照領域ガイドを表示させると、検出部232にガイド領域情報および検出開始指示を出力する。また、表示制御部231は、強調表示部233から強調表示情報または特定表示情報が入力されると、強調表示情報または特定表示情報に応じて、ガイド領域を強調表示、または、特定データをハイライト表示させる。また、表示制御部231は、検出部232から変更指示が入力されると、変更指示に基づいて参照領域ガイドの表示を変更する。
検出部232は、表示制御部231から視線キャリブレーション指示が入力されると、算出部235に検出した視線位置を出力する。検出部232は、算出部235から入力される補正値を利用して、視線センサ11から入力される撮像画像に基づくユーザの視線位置を補正する。すなわち、検出部232は、記入操作を行っているユーザのペン先位置と、ユーザの視線位置とが一致することを利用して、ユーザの視線位置を補正する。検出部232は、ユーザのペン先位置が氏名または住所記入欄から離れると、ユーザの視線位置の補正、つまり視線キャリブレーションを完了する。検出部232は、視線キャリブレーションが完了すると、視線キャリブレーション完了情報を表示制御部231および受付部234に出力する。
検出部232は、表示制御部231からガイド領域情報および検出開始指示が入力されると、視線センサ11から入力される撮像画像に基づいて、ユーザの視線を検出する。検出部232は、ガイド領域情報と、検出した視線の位置および移動方向とに基づいて、ガイド領域を探索する方向と異なる視線の移動方向を検出したか否かを判定する。検出部232は、ガイド領域を探索する方向と異なる視線の移動方向を検出した場合には、ガイド領域情報と、強調表示指示とを強調表示部233に出力する。検出部232は、ガイド領域を探索する方向と異なる視線の移動方向を検出しない場合には、ユーザの視線の検出を継続する。
また、検出部232は、受付部234から特定情報が入力されると、強調表示する領域を変化させる際の判断基準とする第一の状態の内容を変化させる。すなわち、検出部232は、例えば、データ一覧の縦軸である第1キーデータの領域に対応する第一の状態を、特定情報が入力されることで、データ一覧の横軸である第2キーデータの領域に対応する第一の状態に変化させる。つまり、検出部232は、受付部234から特定情報が入力されると、強調表示部233に出力するガイド領域情報のガイド領域を変更する。すなわち、ガイド領域は、例えば、データ一覧の縦軸の第1キーデータの領域から、横軸の第2キーデータの領域へと変化する。また、検出部232は、ガイド領域を変更すると、ガイド領域の変更指示を表示制御部231に出力する。
強調表示部233は、検出部232からガイド領域情報と、強調表示指示とが入力されると、ガイド領域情報のガイド領域について強調表示を行う旨の強調表示情報を生成し、生成した強調表示情報を表示制御部231に出力する。また、強調表示部233は、受付部234から特定情報が入力されると、特定情報に基づいて、特定されたキーデータについて、例えばハイライト表示を行う旨の特定表示情報を生成し、生成した特定表示情報を表示制御部231に出力する。
受付部234は、表示制御部231から視線キャリブレーション指示が入力されると、ペン入力センサ12から入力されたペン先位置を含む操作情報を算出部235に出力する。また、受付部234は、視線キャリブレーション完了指示が検出部232から入力されると、ペン入力センサ12から入力されたペン先位置を含む操作情報に基づいて、表示されたデータ一覧内のいずれかのデータに対する特定操作の受け付けを開始する。受付部234は、特定操作を受け付けると、データを特定する特定情報を検出部232および強調表示部233に出力する。
算出部235は、検出部232から視線位置が入力され、受付部234から操作情報が入力されると、視線位置と操作情報のペン先位置との差分に基づいて補正値を算出し、算出した補正値を検出部232に出力する。すなわち、算出部235は、氏名または住所記入欄への記入操作が行われている間の画面上のペン先位置と、視線位置との関係に基づいて、記入操作を行っているユーザ個人の視線位置検出のための補正値を算出する。
ここで、図7を用いて実施例2の具体例について説明する。図7は、ガイドの表示と視線の移動方向との一例を示す図である。なお、図7では、図3の記入台21上の参照画面24に対応する参照画面31a〜31cを用いて説明する。以下の説明では、メーカ名「BBD」の製品「テレビ」「ブラウン管式」のコードと料金を探す例で説明している。
図7に示すように、参照画面31aでは、ユーザ20の視線は、メーカ名を探すために、第1キーデータの領域32を矢印33に示すように、上から順に下方向に向かって移動する。このとき、第1キーデータの領域32には、ガイド32aが表示される。ユーザ20は、第1キーデータであるメーカ名「BBD」を探し出すと、探し出したメーカ名のコード「103」を読み取り、ペン先でメーカ名「BBD」をタッチして第1キーデータを特定させる。また、ユーザ20は、読み取ったメーカ名のコード「103」を帳票の対応する記入欄に記入する。第1キーデータの探索時には、ユーザの視線が第1キーデータの領域32から外れると、第1キーデータの領域32が強調表示される。
参照画面31bでは、特定された第1キーデータ34に対応する行が、例えばハイライト表示される。参照画面31bでは、ユーザ20の視線は、製品を探すために、特定された第1キーデータ34から第2キーデータの領域35に向けて、矢印36に示すように移動する。このとき、第2キーデータの領域35には、ガイド35aが表示される。なお、ガイド35aは、ユーザ20による第1キーデータ34の特定に応じて、ガイド32aから切り替えて表示される。ユーザ20は、第2キーデータである製品「テレビ」の「ブラウン管式」を探し出すと、探し出した製品のコード「20」を読み取り、ペン先で「ブラウン管式」をタッチして第2キーデータを特定させる。また、ユーザ20は、読み取った製品のコード「20」を帳票の対応する記入欄に記入する。第2キーデータの探索時には、ユーザの視線が第2キーデータの領域35から外れると、第2キーデータの領域35が強調表示される。
参照画面31cでは、参照画面31a,31bで第1キーデータと第2キーデータとが特定されることで、データ一覧の一意のセル、すなわちリサイクル料金の欄38がハイライト表示される。このとき、ユーザ20の視線は、矢印37に示すように移動する。ユーザ20は、リサイクル料金の欄38の金額「1,836円」を読み取り、帳票の対応する記入欄に記入する。このように、作業支援システム2は、データ一覧から所望のデータを特定する作業を支援できる。
次に、実施例2の作業支援システム2の動作について説明する。図8は、実施例2の作業支援処理の一例を示すフローチャートである。
情報処理装置200の表示制御部231は、例えば図示しないセンサにより、記入台に帳票が置かれたことを検出すると、氏名または住所記入欄に対する記入を促すメッセージを表示部10に表示させる。また、表示制御部231は、視線キャリブレーション指示を検出部232および受付部234に出力する。検出部232は、表示制御部231から視線キャリブレーション指示が入力されると、算出部235に検出した視線位置を出力する。また、受付部234は、表示制御部231から視線キャリブレーション指示が入力されると、ペン入力センサ12から入力されたペン先位置を含む操作情報を算出部235に出力する。
算出部235は、検出部232から視線位置が入力され、受付部234から操作情報が入力されると、視線位置と操作情報のペン先位置との差分に基づいて補正値を算出し(ステップS11)、算出した補正値を検出部232に出力する。検出部232は、算出部235から入力される補正値を利用して、視線センサ11から入力される撮像画像に基づくユーザの視線位置を補正する。検出部232は、視線キャリブレーションが完了すると、視線キャリブレーション完了情報を表示制御部231および受付部234に出力する。
表示制御部231は、検出部232から視線キャリブレーション完了情報が入力されると、データ一覧を含む参照画面を表示部10(記入台)に表示させる(ステップS12)。表示制御部231は、データ一覧の第1の軸に参照領域ガイドを表示させる(ステップS13)。表示制御部231は、データ一覧および参照領域ガイドを表示させると、検出部232にガイド領域情報および検出開始指示を出力する。
検出部232は、表示制御部231からガイド領域情報および検出開始指示が入力されると、視線センサ11から入力される撮像画像に基づいて、ユーザの視線を検出する。検出部232は、ガイド領域情報と、検出した視線の位置および移動方向とに基づいて、ガイド領域を探索する方向と異なる視線の移動方向を検出したか否かを判定する(ステップS14)。検出部232は、ガイド領域を探索する方向と異なる視線の移動方向を検出した場合には(ステップS14:肯定)、ガイド領域情報と、強調表示指示とを強調表示部233に出力する。
強調表示部233は、検出部232からガイド領域情報と、強調表示指示とが入力されると、ガイド領域情報のガイド領域について強調表示を行う旨の強調表示情報を生成し、生成した強調表示情報を表示制御部231に出力する。表示制御部231は、強調表示部233から強調表示情報が入力されると、強調表示情報に応じて、ガイド領域を強調表示する(ステップS15)。検出部232は、ガイド領域を探索する方向と異なる視線の移動方向を検出しない場合には(ステップS14:否定)、ユーザの視線の検出を継続する。
受付部234は、ペン入力センサ12から入力されたペン先位置を含む操作情報に基づいて、第1キーデータを特定する特定操作を受け付ける(ステップS16)。受付部234は、特定操作を受け付けると、第1キーデータを特定する特定情報を強調表示部233に出力する。強調表示部233は、受付部234から特定情報が入力されると、特定情報に基づいて、特定された第1キーデータについて特定表示情報を生成し、生成した特定表示情報を表示制御部231に出力する。表示制御部231は、強調表示部233から特定表示情報が入力されると、特定表示情報に応じて、特定された第1キーデータをハイライト表示する。
また、検出部232は、受付部234から特定情報が入力されると、第一の状態を第2キーデータの領域に対応する第一の状態に変化させる。つまり、検出部232は、ガイド領域を第2キーデータの領域に変更する。検出部232は、ガイド領域の変更指示を表示制御部231に出力する。表示制御部231は、検出部232から変更指示が入力されると、データ一覧の第2の軸に参照領域ガイドを表示させる(ステップS17)。
検出部232は、ガイド領域を探索する方向と異なる視線の移動方向を検出したか否かを判定する(ステップS18)。検出部232は、ガイド領域を探索する方向と異なる視線の移動方向を検出した場合には(ステップS18:肯定)、ガイド領域情報と、強調表示指示とを強調表示部233に出力する。
強調表示部233は、検出部232からガイド領域情報と、強調表示指示とが入力されると、ガイド領域情報のガイド領域について強調表示を行う旨の強調表示情報を生成し、生成した強調表示情報を表示制御部231に出力する。表示制御部231は、強調表示部233から強調表示情報が入力されると、強調表示情報に応じて、ガイド領域を強調表示する(ステップS19)。検出部232は、ガイド領域を探索する方向と異なる視線の移動方向を検出しない場合には(ステップS18:否定)、ユーザの視線の検出を継続する。
受付部234は、ペン入力センサ12から入力されたペン先位置を含む操作情報に基づいて、第2キーデータを特定する特定操作を受け付ける(ステップS20)。受付部234は、特定操作を受け付けると、第2キーデータを特定する特定情報を強調表示部233に出力する。強調表示部233は、受付部234から特定情報が入力されると、特定情報に基づいて、特定された第2キーデータについて特定表示情報を生成し、生成した特定表示情報を表示制御部231に出力する。表示制御部231は、強調表示部233から特定表示情報が入力されると、特定された第1キーデータと第2キーデータとの交点の欄をハイライト表示し(ステップS21)、処理を終了する。これにより、作業支援システム2は、データ一覧から所望のデータを特定する作業を支援できる。
このように、作業支援システム2は、表示したデータ一覧内のいずれかのデータに対する特定操作を受け付ける。また、作業支援システム2は、特定操作を受け付けたことに応じて、強調表示する領域を変化させる際の判断基準とする第一の状態の内容を変化させる。その結果、データの項目順にガイドを表示して支援するので、より所望のデータを特定する作業を支援できる。
また、作業支援システム2は、氏名または住所記入欄に対する前記操作者による記入を促し、該記入欄への前記操作者による記入操作が行われている間のペン先位置と、視線位置との関係に基づいて、前記操作者個人の視線位置検出のための補正値を算出する。また、作業支援システム2は、算出した補正値を利用して、表示したデータ一覧に対する操作者の視線位置の移動方向を検出する。その結果、ユーザの視線位置および移動方向をより正確に検出できる。
また、作業支援システム2では、操作者に対して視認可能な状態への強調表示と同期して、このシステムを設置した側(例えば店舗)にある他の情報処理装置および情報提示画面に操作者の状態の提示を可能とする。その結果、例えば専属の応対者がユーザに対して直接作業を支援できる。
なお、上記各実施例では、参照するデータ一覧として2次元の一覧表を用いたが、これに限定されない。例えば、都道府県とそのコード番号の対応表のような1次元の表でもよいし、3次元以上の表であってもよい。
また、上記各実施例では、参照するデータ一覧を1種類としたが、これに限定されない。例えば、複数のコード番号を帳票に記入する場合に、それぞれに対応するコード一覧表をデータ一覧として、複数のコード番号それぞれの記入時に表示するようにしてもよい。
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、検出部232と受付部234とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、CPU(またはMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、CPU(またはMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図9は、作業支援プログラムを実行するコンピュータの一例を示す図である。
図9に示すように、コンピュータ300は、各種演算処理を実行するCPU301と、データ入力を受け付ける入力装置302と、モニタ303とを有する。また、コンピュータ300は、記憶媒体からプログラム等を読み取る媒体読取装置304と、各種装置と接続するためのインタフェース装置305と、他の情報処理装置等と有線または無線により接続するための通信装置306とを有する。また、コンピュータ300は、各種情報を一時記憶するRAM307と、ハードディスク装置308とを有する。また、各装置301〜308は、バス309に接続される。
ハードディスク装置308には、図1に示した表示制御部131、検出部132および強調表示部133の各処理部と同様の機能を有する作業支援プログラムが記憶される。また、ハードディスク装置308には、図6に示した表示制御部231、検出部232、強調表示部233、受付部234および算出部235の各処理部と同様の機能を有する作業支援プログラムが記憶されてもよい。また、ハードディスク装置308には、一覧表記憶部121、および、作業支援プログラムを実現するための各種データが記憶される。
入力装置302は、例えば、図6に示したペン入力センサ12と同様の機能を有し、コンピュータ300のユーザから操作情報等の各種情報の入力を受け付ける。モニタ303は、例えば、図1に示した表示部10と同様の機能を有し、ユーザに対して参照画面等の各種画面を表示する。インタフェース装置305は、例えば、図1または図6に示した視線センサ11が接続される。通信装置306は、例えば、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。
CPU301は、ハードディスク装置308に記憶された各プログラムを読み出して、RAM307に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ300を図1に示した表示制御部131、検出部132および強調表示部133として機能させることができる。また、これらのプログラムは、コンピュータ300を、図6に示した表示制御部231、検出部232、強調表示部233、受付部234および算出部235として機能させてもよい。
なお、上記の作業支援プログラムは、必ずしもハードディスク装置308に記憶されている必要はない。例えば、コンピュータ300が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ300が読み出して実行するようにしてもよい。コンピュータ300が読み取り可能な記憶媒体は、例えば、CD−ROMやDVDディスク、USB(Universal Serial Bus)メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、LAN等に接続された装置にこの作業支援プログラムを記憶させておき、コンピュータ300がこれらから作業支援プログラムを読み出して実行するようにしてもよい。
1,2 作業支援システム
10 表示部
11 視線センサ
12 ペン入力センサ
100,200 情報処理装置
120 記憶部
121 一覧表記憶部
130 制御部
131,231 表示制御部
132,232 検出部
133,233 強調表示部
234 受付部
235 算出部

Claims (18)

  1. 所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示する表示制御部と、
    表示された前記データ一覧に対する前記操作者の視線位置の移動方向を検出する検出部と、
    検出された前記移動方向が、所定の状態であるか否かに応じて、前記データ一覧内で強調表示する領域を変化させる強調表示部と、
    を有することを特徴とする作業支援システム。
  2. 前記強調表示部は、前記視線位置の移動方向が、第一の状態である場合には強調表示を行わず、前記第一の状態とは異なる状態である場合には、前記データ一覧内で特定の領域を強調表示する、ことを特徴とする請求項1に記載の作業支援システム。
  3. 前記第一の状態は、前記データ一覧が従っている所定の規則に応じて決定される状態である、ことを特徴とする請求項2に記載の作業支援システム。
  4. さらに、表示した前記データ一覧内のいずれかのデータに対する特定操作を受け付ける受付部を有し、
    前記強調表示部は、前記特定操作を受け付けたことに応じて、強調表示する領域を変化させる際の判断基準とする前記第一の状態の内容を変化させる、
    ことを特徴とする請求項2または3に記載の作業支援システム。
  5. 前記強調表示は、前記データ一覧内の他の領域と比較して、輝度を上げる表示、輝度を周期的に変化させる表示、色彩を変化させる表示、および、枠囲みの枠の太さを変化させる表示のうち1つ以上の表示である、ことを特徴とする請求項1に記載の作業支援システム。
  6. さらに、氏名または住所記入欄に対する前記操作者による記入を促し、該記入欄への前記操作者による記入操作が行われている間のペン先位置と、視線位置との関係に基づいて、前記操作者個人の視線位置検出のための補正値を算出する算出部を有し、
    前記検出部は、算出した前記補正値を利用して、表示した前記データ一覧に対する前記操作者の前記視線位置の移動方向を検出する、
    ことを特徴とする請求項1に記載の作業支援システム。
  7. 所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示し、
    表示された前記データ一覧に対する前記操作者の視線位置の移動方向を検出し、
    検出された前記移動方向が、所定の状態であるか否かに応じて、前記データ一覧内で強調表示する領域を変化させる、
    処理をコンピュータが実行することを特徴とする作業支援方法。
  8. 前記強調表示する領域を変化させる処理は、前記視線位置の移動方向が、第一の状態である場合には強調表示を行わず、前記第一の状態とは異なる状態である場合には、前記データ一覧内で特定の領域を強調表示する、ことを特徴とする請求項7に記載の作業支援方法。
  9. 前記第一の状態は、前記データ一覧が従っている所定の規則に応じて決定される状態である、ことを特徴とする請求項8に記載の作業支援方法。
  10. さらに、表示した前記データ一覧内のいずれかのデータに対する特定操作を受け付け、
    前記強調表示する領域を変化させる処理は、前記特定操作を受け付けたことに応じて、強調表示する領域を変化させる際の判断基準とする前記第一の状態の内容を変化させる、
    ことを特徴とする請求項8または9に記載の作業支援方法。
  11. 前記強調表示は、前記データ一覧内の他の領域と比較して、輝度を上げる表示、輝度を周期的に変化させる表示、色彩を変化させる表示、および、枠囲みの枠の太さを変化させる表示のうち1つ以上の表示である、ことを特徴とする請求項7に記載の作業支援方法。
  12. さらに、氏名または住所記入欄に対する前記操作者による記入を促し、該記入欄への前記操作者による記入操作が行われている間のペン先位置と、視線位置との関係に基づいて、前記操作者個人の視線位置検出のための補正値を算出し、
    前記検出する処理は、算出した前記補正値を利用して、表示した前記データ一覧に対する前記操作者の前記視線位置の移動方向を検出する、
    ことを特徴とする請求項7に記載の作業支援方法。
  13. 所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示し、
    表示された前記データ一覧に対する前記操作者の視線位置の移動方向を検出し、
    検出された前記移動方向が、所定の状態であるか否かに応じて、前記データ一覧内で強調表示する領域を変化させる、
    処理をコンピュータに実行させることを特徴とする作業支援プログラム。
  14. 前記強調表示する領域を変化させる処理は、前記視線位置の移動方向が、第一の状態である場合には強調表示を行わず、前記第一の状態とは異なる状態である場合には、前記データ一覧内で特定の領域を強調表示する、ことを特徴とする請求項13に記載の作業支援プログラム。
  15. 前記第一の状態は、前記データ一覧が従っている所定の規則に応じて決定される状態である、ことを特徴とする請求項14に記載の作業支援プログラム。
  16. さらに、表示した前記データ一覧内のいずれかのデータに対する特定操作を受け付け、
    前記強調表示する領域を変化させる処理は、前記特定操作を受け付けたことに応じて、強調表示する領域を変化させる際の判断基準とする前記第一の状態の内容を変化させる、
    ことを特徴とする請求項14または15に記載の作業支援プログラム。
  17. 前記強調表示は、前記データ一覧内の他の領域と比較して、輝度を上げる表示、輝度を周期的に変化させる表示、色彩を変化させる表示、および、枠囲みの枠の太さを変化させる表示のうち1つ以上の表示である、ことを特徴とする請求項13に記載の作業支援プログラム。
  18. さらに、氏名または住所記入欄に対する前記操作者による記入を促し、該記入欄への前記操作者による記入操作が行われている間のペン先位置と、視線位置との関係に基づいて、前記操作者個人の視線位置検出のための補正値を算出し、
    前記検出する処理は、算出した前記補正値を利用して、表示した前記データ一覧に対する前記操作者の前記視線位置の移動方向を検出する、
    ことを特徴とする請求項13に記載の作業支援プログラム。
JP2017546300A 2015-10-19 2015-10-19 作業支援システム、作業支援方法および作業支援プログラム Expired - Fee Related JP6460255B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/079473 WO2017068634A1 (ja) 2015-10-19 2015-10-19 作業支援システム、作業支援方法および作業支援プログラム

Publications (2)

Publication Number Publication Date
JPWO2017068634A1 true JPWO2017068634A1 (ja) 2018-07-12
JP6460255B2 JP6460255B2 (ja) 2019-01-30

Family

ID=58558228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017546300A Expired - Fee Related JP6460255B2 (ja) 2015-10-19 2015-10-19 作業支援システム、作業支援方法および作業支援プログラム

Country Status (3)

Country Link
US (1) US11073905B2 (ja)
JP (1) JP6460255B2 (ja)
WO (1) WO2017068634A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3588494B1 (en) * 2017-02-27 2024-04-03 Sony Group Corporation Information processing device, information processing method, and program
WO2019026130A1 (ja) * 2017-07-31 2019-02-07 日本電気株式会社 作業支援装置、作業支援方法、プログラム
CN108520728B (zh) * 2018-04-20 2020-08-04 京东方科技集团股份有限公司 背光调节方法、装置、计算设备、显示设备和存储介质
WO2023074148A1 (ja) * 2021-10-26 2023-05-04 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131599A (ja) * 1998-10-26 2000-05-12 Canon Inc 視線選択機能を有する装置およびカメラ
JP2013008369A (ja) * 2011-06-24 2013-01-10 Sony Corp ユーザインターフェイス及びコンテンツ統合
JP2013196158A (ja) * 2012-03-16 2013-09-30 Sony Corp 制御装置、電子機器、制御方法、及びプログラム
JP2015005056A (ja) * 2013-06-19 2015-01-08 船井電機株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2015069487A (ja) * 2013-09-30 2015-04-13 京セラ株式会社 電子機器、方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456740B1 (en) * 1999-07-26 2002-09-24 International Business Machines Corporation System and method for identifying form type in a handwriting recognition based form completion system
JP2005309633A (ja) 2004-04-20 2005-11-04 Dainippon Printing Co Ltd データ入力支援方法
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US8112701B2 (en) * 2007-08-06 2012-02-07 Apple Inc. Reference adding behavior in formula editing mode
JP5705060B2 (ja) 2011-08-03 2015-04-22 株式会社三菱東京Ufj銀行 入力支援装置の表示装置、入力支援装置、入力支援装置における情報表示方法、入力支援装置における情報表示プログラム
US9619021B2 (en) * 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
JP2015069787A (ja) 2013-09-27 2015-04-13 矢崎総業株式会社 コネクタ
US9727135B2 (en) * 2014-04-30 2017-08-08 Microsoft Technology Licensing, Llc Gaze calibration
WO2016121883A1 (ja) * 2015-01-29 2016-08-04 京セラ株式会社 電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131599A (ja) * 1998-10-26 2000-05-12 Canon Inc 視線選択機能を有する装置およびカメラ
JP2013008369A (ja) * 2011-06-24 2013-01-10 Sony Corp ユーザインターフェイス及びコンテンツ統合
JP2013196158A (ja) * 2012-03-16 2013-09-30 Sony Corp 制御装置、電子機器、制御方法、及びプログラム
JP2015005056A (ja) * 2013-06-19 2015-01-08 船井電機株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2015069487A (ja) * 2013-09-30 2015-04-13 京セラ株式会社 電子機器、方法、及びプログラム

Also Published As

Publication number Publication date
US11073905B2 (en) 2021-07-27
WO2017068634A1 (ja) 2017-04-27
JP6460255B2 (ja) 2019-01-30
US20180210548A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
US10627990B2 (en) Map information display device, map information display method, and map information display program
TWI611338B (zh) 縮放螢幕畫面的方法、電子裝置及電腦程式產品
JP6460255B2 (ja) 作業支援システム、作業支援方法および作業支援プログラム
EP3188034A1 (en) Display terminal-based data processing method
CN103597438B (zh) 信息处理终端及方法和记录介质
US20130033524A1 (en) Method for performing display control in response to eye activities of a user, and associated apparatus
KR20140039209A (ko) 빠른 사이트 액세스 사용자 인터페이스를 갖춘 웹 브라우저
JP6153710B2 (ja) 帳票入出力装置、帳票入出力方法、および、プログラム
CN102681772A (zh) 输入处理设备、输入处理方法和程序
KR102335373B1 (ko) 화면 표시를 제어하는 전자 장치 및 방법
US9372558B2 (en) Setting vibration portions in pieces of electronic data that are displayable on a display device
US20120331417A1 (en) Terminal and method for displaying data thereof
JP5991320B2 (ja) 入力装置、画像表示方法およびプログラム
CN108108417B (zh) 跨平台自适应控制的交互方法、系统、设备及存储介质
US9603020B2 (en) Electronic apparatus and method of executing application program
JPWO2012124279A1 (ja) 入力装置
JP5753642B1 (ja) 入力装置、フォーム入力方法、記録媒体およびプログラム
US10838610B2 (en) Graphical user interface control device and method for controlling graphical user interface
US20180181279A1 (en) Display device and method therefor
JPWO2018179552A1 (ja) タッチパネル装置を備えた分析装置、その表示制御方法、及びプログラム
US11009991B2 (en) Display control apparatus and control method for the display control apparatus
US20150324102A1 (en) Method for Quickly Changing a User Interface and Computer Program Thereof and Electronic Device for Using the Same
CN108965973B (zh) 视频导航菜单的排序方法及装置、计算机可读存储介质
JP5683764B1 (ja) データ入力システム、データ入力方法、データ入力プログラム及びデータ入力装置
US20160132230A1 (en) Touch screen operating method and electronic device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180326

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181217

R150 Certificate of patent or registration of utility model

Ref document number: 6460255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees