JP7294348B2 - 業務効率化装置、業務効率化方法、及びプログラム - Google Patents
業務効率化装置、業務効率化方法、及びプログラム Download PDFInfo
- Publication number
- JP7294348B2 JP7294348B2 JP2020553430A JP2020553430A JP7294348B2 JP 7294348 B2 JP7294348 B2 JP 7294348B2 JP 2020553430 A JP2020553430 A JP 2020553430A JP 2020553430 A JP2020553430 A JP 2020553430A JP 7294348 B2 JP7294348 B2 JP 7294348B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- annotation
- input
- item
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- General Engineering & Computer Science (AREA)
- Educational Technology (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、操作端末に表示されるユーザ操作インタフェース上でユーザが操作を行うための技術に関連するものである。
コンピュータ等を用いて情報の入出力操作を行うユーザに表示するユーザ操作インタフェースに関連する先行技術として、例えば、特許文献１に開示された技術や、特許文献２に開示された技術がある。
特許文献１には、ユーザの習熟度をキーの操作の時間間隔で客観的に判定することにより、ユーザ操作インタフェースにおけるユーザ熟練度を判定する技術が開示されている。また、特許文献２には、ユーザの操作レベルに応じて操作マスク情報を切り替えることで、適切なインタフェースを提供する方法が開示されている。
ユーザの入出力操作は習熟に時間とベテラン担当者による教育稼働がかかり、熟練者であっても入力のミスによるインシデント発生のリスクがある。また、業務効率化の要求からユーザには早く正確な入出力操作が求められている。
上述した特許文献１、２では、操作ログからオペレータに関する知見を得ることとしている。すなわち、特許文献１では、熟練度をキーの操作の時間間隔で判定している。また、特許文献２では、キー入力内容と操作可能キー一覧との比較結果とキー入力ピッチの速度や安定度でオペレータの操作レベルを測定して、操作レベルに応じて操作マスク情報を一意的に切り替える。
しかしながら、特許文献１、２等の従来技術では、熟練度に応じて適切にアノテーションの表示を行うことはできなかった。また、従来技術では、１種類の熟練度を算出するので、熟練度を算出しても、生産性向上を阻害する要因分析等を行うことはできなかった。
本発明は上記の点に鑑みてなされたものであり、ユーザの熟練度に応じて、当該ユーザに対して適切にアノテーション表示を行うことを可能とする技術を提供することを目的とする。また、本発明は、要因分析を可能とするような熟練指数を算出するための技術を提供することを目的とする。
開示の技術によれば、ユーザの操作端末における操作ログに基づいて、当該ユーザの操作に関する熟練度を示す熟練指数を算出する業務効率化装置であって、
前記操作端末から取得した操作ログを記憶する記憶手段と、
前記記憶手段から読み出した前記操作ログに基づいて、複数の因子のそれぞれに対応する熟練指数を算出する算出手段と、
前記ユーザの操作に関する熟練度を示す因子毎の熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定手段と、を備え、
前記判定手段は、
前記ユーザの操作をリアルタイムに監視して、前記ユーザが入力に手間取っていることを示す事象を検知した場合に、リアルタイムにアノテーションを付与することを決定する業務効率化装置であり、
前記判定手段は、
前記因子毎にアノテーションを付与するか否かを、判定対象のユーザの熟練指数と、複数ユーザについての熟練指数を用いる統計量に基づき算出された閾値とを比較することにより判定し、
前記閾値を用いた判定によりアノテーションを付与しないと判定した場合でも、前記ユーザの操作をリアルタイムに監視して、前記ユーザが入力に手間取っていることを示す事象としてマウス移動距離が予め定めた値を超えたことを検知した場合に、リアルタイムにアノテーションを付与することを決定する
業務効率化装置が提供される。
前記操作端末から取得した操作ログを記憶する記憶手段と、
前記記憶手段から読み出した前記操作ログに基づいて、複数の因子のそれぞれに対応する熟練指数を算出する算出手段と、
前記ユーザの操作に関する熟練度を示す因子毎の熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定手段と、を備え、
前記判定手段は、
前記ユーザの操作をリアルタイムに監視して、前記ユーザが入力に手間取っていることを示す事象を検知した場合に、リアルタイムにアノテーションを付与することを決定する業務効率化装置であり、
前記判定手段は、
前記因子毎にアノテーションを付与するか否かを、判定対象のユーザの熟練指数と、複数ユーザについての熟練指数を用いる統計量に基づき算出された閾値とを比較することにより判定し、
前記閾値を用いた判定によりアノテーションを付与しないと判定した場合でも、前記ユーザの操作をリアルタイムに監視して、前記ユーザが入力に手間取っていることを示す事象としてマウス移動距離が予め定めた値を超えたことを検知した場合に、リアルタイムにアノテーションを付与することを決定する
業務効率化装置が提供される。
また、開示の技術によれば、ユーザが操作する操作端末に表示される画面上にアノテーションを付与するためのアノテーション提供装置であって、
前記ユーザの操作ログに基づき算出された、前記ユーザの操作に関する熟練度を示す熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定手段と、
前記操作端末に表示される画面上にアノテーションを付与する表示手段と
を備えることを特徴とするアノテーション提供装置が提供される。
前記ユーザの操作ログに基づき算出された、前記ユーザの操作に関する熟練度を示す熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定手段と、
前記操作端末に表示される画面上にアノテーションを付与する表示手段と
を備えることを特徴とするアノテーション提供装置が提供される。
開示の技術によれば、ユーザの熟練度に応じて、当該ユーザに対して適切にアノテーション表示を行うことを可能とする技術が提供される。また、開示の技術によれば、要因分析を可能とするような熟練指数を算出するための技術が提供される。
以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
（システム構成）
図１に、本実施の形態におけるアノテーション提供装置１００の機能構成を示す。図１におけるアノテーション提供装置１００は、ネットワークを介して操作端末２００から取得されるユーザの操作ログを分析することで、当該ユーザの操作端末２００に表示されるインタフェース画面に適切にアノテーションを表示すること（不要であればアノテーションを表示しないことを含む）を可能とする装置である。なお、図１には操作端末２００が一台だけ示されているが、実際には多数の操作端末が存在する。
図１に、本実施の形態におけるアノテーション提供装置１００の機能構成を示す。図１におけるアノテーション提供装置１００は、ネットワークを介して操作端末２００から取得されるユーザの操作ログを分析することで、当該ユーザの操作端末２００に表示されるインタフェース画面に適切にアノテーションを表示すること（不要であればアノテーションを表示しないことを含む）を可能とする装置である。なお、図１には操作端末２００が一台だけ示されているが、実際には多数の操作端末が存在する。
図１に示すように、本実施の形態に係るアノテーション提供装置１００は、操作ログ取得部１１０、因子データ生成部１２０、アノテーション設定判定部１３０、アノテーション付与部１４０、アノテーション表示部１５０、操作ログ記憶部１６０、因子データ記憶部１７０、アノテーション情報記憶部１８０を有する。各機能部の動作内容については、後述する動作手順のところで説明する。なお、因子データは、ユーザの熟練度を示す指数でもあるので、これを熟練指数と呼んでもよい。
また、因子データ生成部１２０及び操作ログ記憶部１６０を有する構成が単独の装置として備えられてもよい。この場合、当該装置を熟練指数算出装置と称してもよい。この熟練指数算出装置では、因子データ生成部１２０が、操作ログ記憶部１６０から読み出した操作ログに基づいて、複数の因子のそれぞれに対応する熟練指数（因子データ）を算出し、出力する。出力された因子毎の熟練指数に基づき、例えば、操作に関して生産性向上を阻害する要因がどの因子にあるか等の分析を行うことができる。
また、図１に示す装置に関しても、アノテーション提供装置に代えて、熟練指数算出装置と称してもよい。
また、アノテーション提供装置１００が、アノテーション設定判定部１３０、アノテーション付与部１４０、アノテーション表示部１５０、因子データ記憶部１７０、アノテーション情報記憶部１８０を有する構成であってもよい。この場合、例えば、アノテーション提供装置１００は、操作ログ取得部１１０、操作ログ記憶部１６０、因子データ生成部１２０を備える装置から、因子データを取得し、当該因子データを用いてアノテーション付与に関する処理を実行する。
アノテーション提供装置１００及び熟練指数算出装置はいずれも、複数のコンピュータで実現されてもよいし、１つのコンピュータで実現されてもよいし、クラウド上の１つ又は複数の仮想マシンで実現されてもよい。
（ハードウェア構成例）
上述したアノテーション提供装置１００は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。
上述したアノテーション提供装置１００は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。
すなわち、アノテーション提供装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、アノテーション提供装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
図２は、本実施の形態における上記コンピュータのハードウェア構成例を示す図である。図２のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置２５０、補助記憶装置２５２、メモリ装置２５３、ＣＰＵ２５４、インタフェース装置２５５、表示装置２５６、及び入力装置２５７等を有する。
当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体２５１によって提供される。プログラムを記憶した記録媒体２５１がドライブ装置２５０にセットされると、プログラムが記録媒体２５１からドライブ装置２５０を介して補助記憶装置２５２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体２５１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置２５２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置２５３は、プログラムの起動指示があった場合に、補助記憶装置２５２からプログラムを読み出して格納する。ＣＰＵ２５４は、メモリ装置２５３に格納されたプログラムに従って、アノテーション提供装置１００に係る機能を実現する。インタフェース装置２５５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置２５６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置２５７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。
なお、熟練指数算出装置に関しても、アノテーション提供装置１００と同様のハードウェア構成を有する。
（アノテーション提供装置１００の動作例）
以下、図３のフローチャートに示す手順に沿って、アノテーション提供装置１００の動作例を説明する。
以下、図３のフローチャートに示す手順に沿って、アノテーション提供装置１００の動作例を説明する。
下記の動作の前提として、最初に、アノテーション提供装置１００によるアノテーション提供の対象とする複数ユーザ全員のスキルを、初心者のスキルあるいは中級（平均）のスキルとみなし、その情報をメモリ等の記憶手段に格納しておく。あるいは、各ユーザが、自分のスキルレベルを登録することとしてもよい。このスキルの情報は、以下で説明する因子データ（＝熟練指数）の計算により、順次更新されることとしてもよい。
＜Ｓ１０１：操作ログの取得＞
Ｓ１０１において、操作ログ取得部１１０が、ユーザによりｗｅｂアプリケーションの操作がなされている操作端末２００から操作情報を取得し、当該操作情報をそのままあるいは加工して操作ログとして操作ログ記憶部１６０に保存する。操作情報としては、例えば、キーボードのキー操作の情報、マウス操作の情報、フォームオブジェクト操作の情報等がある。
Ｓ１０１において、操作ログ取得部１１０が、ユーザによりｗｅｂアプリケーションの操作がなされている操作端末２００から操作情報を取得し、当該操作情報をそのままあるいは加工して操作ログとして操作ログ記憶部１６０に保存する。操作情報としては、例えば、キーボードのキー操作の情報、マウス操作の情報、フォームオブジェクト操作の情報等がある。
操作ログは操作端末２００には残さないこととしている。また、操作端末２００から、操作ログを格納するアノテーション提供装置１００へのデータ転送中にデータを盗聴されないようにするために通信は暗号化して行う。
操作ログ取得において、より詳細には、ユーザ毎に、ｗｅｂアプリケーションにおける１フィールド毎、１画面毎、１オーダ（処理）毎に、下記の情報（１）～（１１）を算出し、操作ログ記憶部１６０に操作ログとして格納する。なお、下記の情報（１）～（１１）は一例である。また、フィールドを「項目」とも呼ぶ。
下記の情報は、操作端末２００において算出がなされ、操作ログ取得部１１０が算出後の情報を取得することとしてもよいし、操作端末２００から算出に必要な操作情報を取得し、操作ログ取得部１１０において算出を行うこととしてもよい。
（１）インターバルタイム
「現項目のフォーカス時刻－前項目のフォーカスオフ時刻」によってインターバルタイムを算出する。
「現項目のフォーカス時刻－前項目のフォーカスオフ時刻」によってインターバルタイムを算出する。
（２）入力前時間
「現項目への最初の文字入力時刻－現項目のフォーカス時刻」によって入力前時間を算出する。
「現項目への最初の文字入力時刻－現項目のフォーカス時刻」によって入力前時間を算出する。
（３）入力時間
「現項目への最後の文字入力時刻－現項目への最初の文字入力時刻」によって入力時間を算出する。
「現項目への最後の文字入力時刻－現項目への最初の文字入力時刻」によって入力時間を算出する。
（４）打鍵回数
項目に対する打鍵回数を算出する。
項目に対する打鍵回数を算出する。
（５）項目入力の洗練さ
ＤｅｌキーかＢＳキーが押された回数を算出する。
ＤｅｌキーかＢＳキーが押された回数を算出する。
（６）フォーカス回数
（一つの処理において）何回目のフォーカスかを記録する。
（一つの処理において）何回目のフォーカスかを記録する。
（７）前担当者への質問事項
（８）後担当者からの差戻し、問合せ事項
（９）入力順（熟練者の傾向分析）
（１０）入力項目間の相関（必須入力項目）（熟練者の傾向分析）
（１１）マウスの軌跡
＜Ｓ１０２：因子データの生成＞
Ｓ１０２において、因子データ生成部１２０は、操作ログ記憶部１６０に格納されている操作ログから分析に必要な情報を抽出し、抽出した情報から分析が可能な形式に変換・加工を行うことで、因子データを計算する。本実施の形態における因子データとは、アノテーションの設定要否判定及び個々のユーザに対するアノテーションの付与判定を行うために利用する情報である。なお、因子データの利用目的はこれに限られるわけではなく、例えば、生産性向上の阻害要因の分析に利用することとしてもよい。
（８）後担当者からの差戻し、問合せ事項
（９）入力順（熟練者の傾向分析）
（１０）入力項目間の相関（必須入力項目）（熟練者の傾向分析）
（１１）マウスの軌跡
＜Ｓ１０２：因子データの生成＞
Ｓ１０２において、因子データ生成部１２０は、操作ログ記憶部１６０に格納されている操作ログから分析に必要な情報を抽出し、抽出した情報から分析が可能な形式に変換・加工を行うことで、因子データを計算する。本実施の形態における因子データとは、アノテーションの設定要否判定及び個々のユーザに対するアノテーションの付与判定を行うために利用する情報である。なお、因子データの利用目的はこれに限られるわけではなく、例えば、生産性向上の阻害要因の分析に利用することとしてもよい。
より詳細には、因子データ生成部１２０は、項目毎、ユーザ（個人）毎に下記の（１）～（５）の因子データを算出する。算出された因子データは因子データ記憶部１７０に格納される。なお、因子データとして（１）～（５）の種類の因子データを算出することは一例である。例えば、下記の因子データのうちの少なくとも１種類を含む複数種類の因子データを算出することとしてもよい。
（１）インターバルタイム（項目、個人）
項目に対する個人のインターバルタイムの平均値を算出する。なお、項目に対する個人の平均値とは、例えば、項目Ａ及び個人Ｘについて、個人Ｘについての項目Ａに関するインターバルタイムがある期間において複数回得られたとしたら、その複数回の平均値が、項目Ａに対する個人Ｘの平均値になる。以降の「項目に対する個人の」値に関して同様である。
項目に対する個人のインターバルタイムの平均値を算出する。なお、項目に対する個人の平均値とは、例えば、項目Ａ及び個人Ｘについて、個人Ｘについての項目Ａに関するインターバルタイムがある期間において複数回得られたとしたら、その複数回の平均値が、項目Ａに対する個人Ｘの平均値になる。以降の「項目に対する個人の」値に関して同様である。
（２）入力前時間（項目、個人）
項目に対する個人の入力前時間の平均値を算出する。
項目に対する個人の入力前時間の平均値を算出する。
（３）入力時間（項目、個人）
（項目に対する個人の入力時間／打鍵回数）の平均値を算出する。
（項目に対する個人の入力時間／打鍵回数）の平均値を算出する。
（４）項目入力の洗練さ（項目、個人）
項目に対する個人の項目入力の洗練さの平均値。
項目に対する個人の項目入力の洗練さの平均値。
（５）エラー率（項目、個人）
「（項目に対する個人のフォーカス回数２以上のレコード数）／（項目に対する個人の全レコード数）」の平均値
なお、因子データ生成部１２０は、因子データを生成する前に、操作ログから抽出した情報に対して、下記の前処理を実施する。下記の前処理は一例である。
「（項目に対する個人のフォーカス回数２以上のレコード数）／（項目に対する個人の全レコード数）」の平均値
なお、因子データ生成部１２０は、因子データを生成する前に、操作ログから抽出した情報に対して、下記の前処理を実施する。下記の前処理は一例である。
・外れ値データを除外する。外れ値データとは、入力中に日を跨いでいる等の理由により、時間が極端に長くなっているデータである。
・入力時間が無効となる要素の入力時間を０にする。入力時間が無効となる要素とは、他システムから情報連携されるフィールド、別画面を開いて別画面上で操作するフィールド等である。
＜Ｓ１０３：アノテーション設定要否の判定＞
Ｓ１０３において、アノテーション設定判定部１３０は、因子データ記憶部１７０に格納されているユーザ全体の因子データ等を使用して、各項目に対するアノテーション設定要否の判定を実施する。各項目に対するアノテーション設定要否の判定結果はアノテーション情報記憶部１８０に格納される。より詳細には下記のとおりである。以下、まず（１）で判定に使用する情報を説明し、（２）で設定要否判定方法の例を説明する。
Ｓ１０３において、アノテーション設定判定部１３０は、因子データ記憶部１７０に格納されているユーザ全体の因子データ等を使用して、各項目に対するアノテーション設定要否の判定を実施する。各項目に対するアノテーション設定要否の判定結果はアノテーション情報記憶部１８０に格納される。より詳細には下記のとおりである。以下、まず（１）で判定に使用する情報を説明し、（２）で設定要否判定方法の例を説明する。
（１）アノテーション設定要否の判定に使用する情報について
アノテーション設定判定部１３０は、個人毎、項目毎の各因子データ（インターバルタイム（項目）、入力前時間（項目）、入力時間（項目）、項目入力の洗練さ（項目）、エラー率（項目））に対して、統計量を算出することで、アノテーション設定要否判定に使用する情報を生成する。なお、統計量は、個人の平均値を使用して項目毎に算出するものである。例えば、項目毎、因子毎に１００ユーザ分の因子データが得られたとすると、この１００ユーザに対する統計量を項目毎、因子毎に算出する。
アノテーション設定判定部１３０は、個人毎、項目毎の各因子データ（インターバルタイム（項目）、入力前時間（項目）、入力時間（項目）、項目入力の洗練さ（項目）、エラー率（項目））に対して、統計量を算出することで、アノテーション設定要否判定に使用する情報を生成する。なお、統計量は、個人の平均値を使用して項目毎に算出するものである。例えば、項目毎、因子毎に１００ユーザ分の因子データが得られたとすると、この１００ユーザに対する統計量を項目毎、因子毎に算出する。
上記統計量は、例えば、平均、分散、標準偏差、変動係数（標準偏差／平均）、ｔ検定結果（ｐ値）（高スキル集団と普通スキル集団の正規性の検定結果を含む）、正規性の検定結果（シャピロウィルク検定結果ｐ値）、Ｕ検定結果（ｐ値）などである。
（２）アノテーション設定の判定方法について
本実施の形態では、因子データの種類である因子に応じて異なるアノテーションが用意され、因子毎のアノテーションの情報がアノテーション情報記憶部１８０に格納されている。
本実施の形態では、因子データの種類である因子に応じて異なるアノテーションが用意され、因子毎のアノテーションの情報がアノテーション情報記憶部１８０に格納されている。
例えば、エラー率が高いユーザに対してはエラー率が低くなるようなアノテーション（例：入力において間違い易い点を記述した付箋情報等）を用意し、入力時間が長いユーザに対しては入力時間が短くなるようなアノテーションが用意されている。
従って、アノテーション設定判定部１３０は、アノテーション設定要否の判定を各項目の因子毎に実行する。ある因子（例えばエラー率）によってアノテーション設定が必要と判定された項目に対して実際にユーザに対するアノテーション付与を判定する際は、アノテーション設定判定の際の判断基準となった因子（この例ではエラー率）を使用する。同じ項目のアノテーション設定の判定が、複数の因子で必要と判定されることもある。以下、上述した統計量を用いたアノテーション設定判定例（例１）～（例３）を説明する。
（例１：ｔ検定結果（ｐ値）による判定）
例１として、ｔ検定結果（ｐ値）による判定について説明する。ｔ検定結果（ｐ値）による判定において、アノテーション設定判定部１３０は、判定対象の項目及び因子について、そのｔ検定結果（ｐ値）がｋ以下（ｋは因子の種類によって異なる予め定めた閾値）であれば、当該項目に対し、当該因子に対応するアノテーションを設定対象とする。個々のユーザに関する当該項目の当該アノテーション付与判定に際には当該因子を使用する。
例１として、ｔ検定結果（ｐ値）による判定について説明する。ｔ検定結果（ｐ値）による判定において、アノテーション設定判定部１３０は、判定対象の項目及び因子について、そのｔ検定結果（ｐ値）がｋ以下（ｋは因子の種類によって異なる予め定めた閾値）であれば、当該項目に対し、当該因子に対応するアノテーションを設定対象とする。個々のユーザに関する当該項目の当該アノテーション付与判定に際には当該因子を使用する。
ｔ検定結果（ｐ値）による判定においては、正規性が前提となる。従って、正規性に疑問がある場合は、ｔ検定結果（ｐ値）による判定を行わずに、他の判定方法を使用する必要がある。正規性を調べるために、例えば、正規性の検定を高スキル集団と普通スキル手段に対して実施する。
また、他の判定方法を使用するかどうかの判断を行うために、まず各因子の全項目のｐ値の分布を調査し、ｐ値にあまり差が無い場合には、ｔ検定結果（ｐ値）による判定を行わないこととしてもよい。
なお、一例として、優位水準５％で棄却する事を想定する場合、少なくとも半分以上の項目は棄却される必要があると考えられる。また、一例として、最終的に２割程度の項目に対してアノテーションを付けることを想定して棄却率を設定することも考えられる。
（例２：変動係数による判定）
例２として、変動係数によるアノテーション設定判定について説明する。変動係数による判定において、アノテーション設定判定部１３０は、判定対象の項目及び因子について、その変動係数がｋ以下（ｋは因子の種類によって異なる予め定めた閾値）であれば、当該項目に対し、当該因子に対応するアノテーションを設定対象とする。個々のユーザに関する当該項目の当該アノテーション付与判定に際には当該因子を使用する。
例２として、変動係数によるアノテーション設定判定について説明する。変動係数による判定において、アノテーション設定判定部１３０は、判定対象の項目及び因子について、その変動係数がｋ以下（ｋは因子の種類によって異なる予め定めた閾値）であれば、当該項目に対し、当該因子に対応するアノテーションを設定対象とする。個々のユーザに関する当該項目の当該アノテーション付与判定に際には当該因子を使用する。
上記の判定を行う前準備として、各因子について、全項目の変動係数の分布を調査し、例えば、２割程度の項目に対してアノテーションを付けることを想定して、ｋの値を設定する。
（例３：正規性の検定結果（ｐ値）による判定）
例３として、正規性の検定結果（ｐ値）によるアノテーション設定判定について説明する。正規性の検定結果（ｐ値）による判定において、アノテーション設定判定部１３０は、判定対象の項目及び因子について、その正規性の検定結果（ｐ値）がｋ以下（ｋは因子の種類によって異なる予め定めた閾値）であれば、当該項目に対し、当該因子に対応するアノテーションを設定対象とする。個々のユーザに関する当該項目の当該アノテーション付与判定に際には当該因子を使用する。
例３として、正規性の検定結果（ｐ値）によるアノテーション設定判定について説明する。正規性の検定結果（ｐ値）による判定において、アノテーション設定判定部１３０は、判定対象の項目及び因子について、その正規性の検定結果（ｐ値）がｋ以下（ｋは因子の種類によって異なる予め定めた閾値）であれば、当該項目に対し、当該因子に対応するアノテーションを設定対象とする。個々のユーザに関する当該項目の当該アノテーション付与判定に際には当該因子を使用する。
例３は、例１（ｔ検定結果）と同様の考えに基づく。なお、正規性の検定に代えて、ポワソン分布への適合度検定を使用してもよい。ポワソン分布への適合度検定の場合は、適合するようにパラメータを決定したポワソン分布とのχ二乗検定となる。
項目毎、因子毎のアノテーション設定要否判定については、上述した判定方法のうちのいずれか１つを使用してもよいし、いずれか複数の組み合わせを使用してもよいし、上述した判定方法以外の方法で判定を行ってもよい。
（閾値の算出について）
アノテーション設定判定部１３０は、アノテーション設定対象となった項目・因子毎に、各ユーザに対するアノテーション付与を判定する際に使用する閾値を算出する。
アノテーション設定判定部１３０は、アノテーション設定対象となった項目・因子毎に、各ユーザに対するアノテーション付与を判定する際に使用する閾値を算出する。
例えば、「閾値＝高スキル者の四分位数（上位から７５％点）」として閾値を算出する。これは、例えば、項目Ａ・因子Ｘについての閾値が、項目Ａ・因子Ｘについての因子データ（熟練指数）の高スキル者の四分位数として算出されるということである。
また、「閾値＝全体の平均値」として閾値を算出することとしてもよい。これは、例えば、項目Ａ・因子Ｘについての閾値が、項目Ａ・因子Ｘについての因子データの全ユーザの平均値として算出されるということである。
＜Ｓ１０４：ユーザ毎のアノテーション付与要否の判定＞
Ｓ１０４の前提として、アノテーション情報記憶部１８０には、付与の候補となるアノテーションが格納されている。例えば、因子毎のアノテーションを全ての入力項目（フィールド）に対して予め静的に用意し、アノテーション情報記憶部１８０に格納しておく。
Ｓ１０４の前提として、アノテーション情報記憶部１８０には、付与の候補となるアノテーションが格納されている。例えば、因子毎のアノテーションを全ての入力項目（フィールド）に対して予め静的に用意し、アノテーション情報記憶部１８０に格納しておく。
また、アノテーションの中で、蓄積した操作ログから入力ルールが抽出できるものについては、アノテーションを動的に生成することとしてもよい。動的に生成されたものもアノテーション情報記憶部１８０に格納される。また、アノテーションを入力フィールド名、あるいは入力形式（選択式）から生成することとしてもよい。
Ｓ１０４において、アノテーション付与部１４０は、Ｓ１０３において得られた情報（アノテーション設定対象となっている項目、閾値）とユーザの熟練指数（各ユーザの因子データ）とに基づいて、個々のユーザについての項目毎のアノテーション付与の要否を判断し、付与要である場合に、当該項目に当該因子に対応するアノテーションを付与することを示す情報をアノテーション情報記憶部１８０に格納するとともに、付与要であることをアノテーション表示部１５０に通知する。以下、付与判定について詳細に説明する。
アノテーション付与部１４０は、アノテーション設定対象となっている項目において、（１）ユーザの因子データが閾値を下回っていた場合に、当該ユーザに対し、当該因子に対応するアノテーションを付与すると判定する。（２）また、当該ユーザによる当該項目の入力をリアルタイムに監視し、入力に手間取っていることを検知した場合にも、アノテーションを付与することを決定する。以下、（１）、（２）についてより詳細に説明する。なお、ログ分析をせずにアノテーション付与を行う場合もあるので、それを（３）で説明する。
（１）ユーザの因子データが閾値を下回っていた場合のアノテーション付与判断
アノテーション付与部１４０は、ユーザに対するアノテーション付与の要否判断を、当該ユーザに画面が表示される毎に実施する。すなわち、前回までの入力実績を使ってユーザに対するアノテーション付与の要否判断を行うことになる。ある対象項目ついてのアノテーション付与の要否判断は下記の手順（Ｓ１～Ｓ７）で実施する。Ｓ１～Ｓ７に示す手順は一例である。Ｓ２～Ｓ６の順番は下記のとおりでなくてもよい。また、以下で使用する閾値はＳ１０３において算出された閾値である。
アノテーション付与部１４０は、ユーザに対するアノテーション付与の要否判断を、当該ユーザに画面が表示される毎に実施する。すなわち、前回までの入力実績を使ってユーザに対するアノテーション付与の要否判断を行うことになる。ある対象項目ついてのアノテーション付与の要否判断は下記の手順（Ｓ１～Ｓ７）で実施する。Ｓ１～Ｓ７に示す手順は一例である。Ｓ２～Ｓ６の順番は下記のとおりでなくてもよい。また、以下で使用する閾値はＳ１０３において算出された閾値である。
Ｓ１）対象項目に対するユーザの過去ｎ回の各因子データ（エラー率、項目入力の洗練さ、入力時間、入力前時間、インターバルタイム）を因子データ記憶部１７０から取得し、各因子データについての過去ｎ回における平均値を計算し、計算した平均値を、以下で使用するユーザの因子データ（熟練指数）とする。以下のＳ２～Ｓ６の各ステップにおいて、アノテーションを付与するとの決定がなされた場合に、そこで処理を終了する。
Ｓ２）ユーザの因子データ（エラー率）と、対象項目のエラー率に関する閾値とを比較し、ユーザの因子データ（エラー率）の方が閾値よりも高い場合に、エラー率対応アノテーションを付与することを決定する。
Ｓ３）ユーザの因子データ（項目入力の洗練さ）と、対象項目の項目入力の洗練さに関する閾値とを比較し、ユーザの因子データ（項目入力の洗練さ）の方が閾値よりも低い場合、項目入力の洗練さ対応アノテーションを付与すると決定する。
Ｓ４）ユーザの因子データ（入力時間）と、対象項目の入力時間に関する閾値とを比較し、ユーザの因子データ（入力時間）の方が閾値よりも長い場合、入力時間対応アノテーションを付与すると決定する。
Ｓ５）ユーザの因子データ（入力前時間）と、対象項目の入力前時間に関する閾値とを比較し、ユーザの因子データ（入力前時間）の方が閾値よりも長い場合、入力前時間対応アノテーションを付与すると決定する。
Ｓ６）ユーザの因子データ（インターバルタイム）と、対象項目のインターバルタイムに関する閾値とを比較し、ユーザの因子データ（インターバルタイム）の方が閾値よりも長い場合、インターバルタイム対応アノテーションを付与することを決定する。
Ｓ７）ユーザの因子データが全ての因子において閾値を上回っている場合、対象項目に対するアノテーションの付与を行わないことを決定する。
上記の手順では、各項目（入力フィールド）に対して、一つ一つ因子毎にユーザの因子データと閾値とを比較して、１つでもアノテーション付与条件を満たす因子があればそのアノテーションを付与することとしている。
ただし、これは例である。その他の方法として、Ｓ２～Ｓ６の全ての判定を実施し、アノテーション付与条件を満たす因子が複数ある場合は、複数の因子に対して総合的に重み付けをしてアノテーション付与を判断することとしてもよい。
また、ユーザ熟練度（つまり、ユーザの因子データ）を用いたアノテーション付与の判定方法として、予め全項目にアノテーションを付与し、操作回数を重ねていく間に向上することが想定されるユーザ熟練度に応じて、熟練度の高い項目については付与したアノテーションを外していくこととしてもよい。
なお、予め全項目にアノテーションを付与し、熟練度の高い項目については付与したアノテーションを外していくことも、熟練度に基づいてアノテーションを付与する処理の一例である。
（２）入力に手間取っていた場合のアノテーション付与判断
Ｓ７の決定がされてアノテーションが付与されていない場合であっても、アノテーション付与部１４０は、下記の場合（ケース１～４）のいずれかが発生するか否かを、操作ログ取得部１１０が取得した情報を受け取ることによりリアルタイムに監視し、発生したことを検知した場合には、リアルタイムにアノテーションを付与する。
Ｓ７の決定がされてアノテーションが付与されていない場合であっても、アノテーション付与部１４０は、下記の場合（ケース１～４）のいずれかが発生するか否かを、操作ログ取得部１１０が取得した情報を受け取ることによりリアルタイムに監視し、発生したことを検知した場合には、リアルタイムにアノテーションを付与する。
ケース１：インターバルタイムがｍを超えた場合（ｍは項目毎に設定）。
ケース２：入力前時間がｋを超えた場合（ｋは項目毎に設定）。
ケース３：入力時間がｌを超えた場合（ｌは項目毎に設定）。
ケース４：マウス移動距離がｎを超えた場合（ｎは予め設定）。
（３）ログ分析をせずにアノテーション付与を行う例
必須項目をアノテーションする場合や、入力順をアノテーションする場合のように、アノテーションを付与することが予めわかっている場合には、アノテーション付与部１４０は、操作ログの分析を行うことなく、予め決めた方法でアノテーションを付与することができる。予め決めた方法を表す情報は、アノテーション情報記憶部１８０に予め格納しておく。
必須項目をアノテーションする場合や、入力順をアノテーションする場合のように、アノテーションを付与することが予めわかっている場合には、アノテーション付与部１４０は、操作ログの分析を行うことなく、予め決めた方法でアノテーションを付与することができる。予め決めた方法を表す情報は、アノテーション情報記憶部１８０に予め格納しておく。
必須項目をアノテーションする場合、例えば以下のようなアノテーション方法がある。
・必須項目を表示する。
・入力不要項目を、グレーのフィールド塗り潰しで表示する。
・必須、入力不要の条件は、外部テーブル登録し変更可能とする。
・入力項目の状態遷移に応じて、必須、入力不要を変化させる。
また、入力順をアノテーションする場合、例えば以下のような方法がある。
・入力順（次に入力すべき項目）をアノテーションする。
・入力不要項目は、スキップする。
・カーソルを移動させた場合は、移動させた項目からアノテーションを再開する。
＜Ｓ１０５：アノテーションの表示＞
Ｓ１０５において、アノテーション表示部１５０は、アノテーション情報記憶部１８０に格納された情報（Ｓ１０４により得られた情報）を用いて、ユーザの操作端末２００に対して、アノテーションを表示する。例えば、操作ログ取得部１１０により得られた操作ログに基づいて、ある項目に対する操作を検知し、当該項目について、アノテーション付与部１４０がユーザに対してアノテーションを付与することを決定すると、その情報（ユーザ、項目、因子、アノテーションの内容等）がアノテーション情報記憶部１８０に格納されるとともに、アノテーション表示部１５０に対してアノテーション付与要を決定したことが通知される。そして、アノテーション表示部１５０は、アノテーション情報記憶部１８０からアノテーションの情報を読み取ることで、当該ユーザの操作端末２００に表示されている画面の当該項目にアノテーションを表示する。
Ｓ１０５において、アノテーション表示部１５０は、アノテーション情報記憶部１８０に格納された情報（Ｓ１０４により得られた情報）を用いて、ユーザの操作端末２００に対して、アノテーションを表示する。例えば、操作ログ取得部１１０により得られた操作ログに基づいて、ある項目に対する操作を検知し、当該項目について、アノテーション付与部１４０がユーザに対してアノテーションを付与することを決定すると、その情報（ユーザ、項目、因子、アノテーションの内容等）がアノテーション情報記憶部１８０に格納されるとともに、アノテーション表示部１５０に対してアノテーション付与要を決定したことが通知される。そして、アノテーション表示部１５０は、アノテーション情報記憶部１８０からアノテーションの情報を読み取ることで、当該ユーザの操作端末２００に表示されている画面の当該項目にアノテーションを表示する。
アノテーション表示部１５０は、ｗｅｂアプリケーション等の既存システムのフロントエンド側のソースコードに変更をかけずに、ユーザの操作を阻害しない形で、操作端末２００により表示される画面上にアノテーションの表示を行う。
アノテーション表示部１５０が実施するアノテーションの表現方法としては、例えば、付箋表示（背景色設定を含む）、アイコン表示（文字色・アイコン設定、表示タイミング設定を含む）、クロスオーバ表示、ブリンク表示、未入力の必須項目のハイライト又は枠囲み表示、等があるが、これらは例であるので、これら以外の表現方法でアノテーションを表示してもよい。
（実施の形態の効果等）
本実施の形態では、ユーザの操作ログからアノテーションの付与判断を行う際に利用する情報である因子データ（熟練指数に相当）を算出し、各因子データについて、アノテーション付与の要否判定を行い、アノテーション付与の判定基準に基づいて、アノテーション表示を行うこととしたので、熟練度に応じた適切なアノテーション表示を行うことができる。
本実施の形態では、ユーザの操作ログからアノテーションの付与判断を行う際に利用する情報である因子データ（熟練指数に相当）を算出し、各因子データについて、アノテーション付与の要否判定を行い、アノテーション付与の判定基準に基づいて、アノテーション表示を行うこととしたので、熟練度に応じた適切なアノテーション表示を行うことができる。
アノテーション付与により、生産性の向上、習熟期間の短縮、習熟コストの削減等が実現できるとともに、ユーザ個人評価（習熟度合い評価）も行うことができる
また、複数の因子のそれぞれについて因子データ（熟練指数）を算出することにより、ユーザ個人・組織評価（習熟度合い、習熟スピード評価）を行うことができ、更に、生産性向上を阻害する要因分析（オペレータスキルなのかシステム（ＵＩ）構成なのか業務のやり方なのかを判断する等）も行うことができる。
また、複数の因子のそれぞれについて因子データ（熟練指数）を算出することにより、ユーザ個人・組織評価（習熟度合い、習熟スピード評価）を行うことができ、更に、生産性向上を阻害する要因分析（オペレータスキルなのかシステム（ＵＩ）構成なのか業務のやり方なのかを判断する等）も行うことができる。
（実施の形態のまとめ）
本明細書には少なくとも下記の事項が記載されている。
（第１項）
ユーザが操作する操作端末に表示される画面上にアノテーションを付与するためのアノテーション提供装置であって、
前記操作端末から取得した操作ログに基づいて、前記ユーザの操作に関する熟練度を示す熟練指数を算出する算出手段と、
前記熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定手段と、
前記操作端末に表示される画面上にアノテーションを付与する表示手段と
を備えることを特徴とするアノテーション提供装置。
本明細書には少なくとも下記の事項が記載されている。
（第１項）
ユーザが操作する操作端末に表示される画面上にアノテーションを付与するためのアノテーション提供装置であって、
前記操作端末から取得した操作ログに基づいて、前記ユーザの操作に関する熟練度を示す熟練指数を算出する算出手段と、
前記熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定手段と、
前記操作端末に表示される画面上にアノテーションを付与する表示手段と
を備えることを特徴とするアノテーション提供装置。
なお、実施の形態で説明した因子データ生成部１２０は上記算出手段の例であり、アノテーション設定判定部１３０及びアノテーション付与部１４０は上記判定手段の例であり、アノテーション表示部１５０は上記表示手段の例である。
（第２項）
前記算出手段は、複数ユーザについての熟練指数から閾値を算出し、
前記判定手段は、判定対象のユーザの熟練指数と前記閾値とを比較することにより、アノテーションを付与するか否かを判定する
第１項に記載のアノテーション提供装置。
（第３項）
前記算出手段は、画面上に表示される項目毎に、複数ユーザの熟練指数の統計量を算出し、
前記判定手段は、前記統計量に基づいて、項目毎にアノテーションを設定するか否かを判定し、アノテーションを設定すると判定された項目に対して、前記ユーザに対してアノテーションを付与する否かを判定する
第１項又は第２項に記載のアノテーション提供装置。
（第４項）
前記算出手段は、複数の因子のそれぞれに対応する熟練指数を算出し、
前記判定手段は、前記複数の因子のそれぞれについて、因子に対応するアノテーションを付与するか否かを、因子に対応する熟練指数に基づいて判定する
第１項ないし第３項のうちいずれか１項に記載のアノテーション提供装置。
（第５項）
前記複数の因子に対応する熟練指数は、インターバルタイム、入力前時間、入力時間、項目入力の洗練さ、エラー率のうちのいずれか１つを含む
第４項に記載のアノテーション提供装置。
（第６項）
ユーザが操作する操作端末に表示される画面上にアノテーションを付与するためのアノテーション提供装置が実行するアノテーション提供方法であって、
前記操作端末から取得した操作ログに基づいて、前記ユーザの操作に関する熟練度を示す熟練指数を算出する算出ステップと、
前記熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定ステップと、
前記アノテーションを付与する場合に、前記操作端末に表示される画面上にアノテーションを付与する表示ステップと
を備えることを特徴とするアノテーション提供方法。
（第７項）
コンピュータを、第１項ないし第５項のうちいずれか１項に記載のアノテーション提供装置における各手段として機能させるためのプログラム。
（第８項）
ユーザの操作端末における操作ログに基づいて、当該ユーザの操作に関する熟練度を示す熟練指数を算出する熟練指数算出装置であって、
前記操作端末から取得した操作ログを記憶する記憶手段と、
前記記憶手段から読み出した前記操作ログに基づいて、複数の因子のそれぞれに対応する熟練指数を算出する算出手段と
を備えることを特徴とする熟練指数算出装置。
（第９項）
前記複数の因子に対応する熟練指数は、少なくとも、インターバルタイム、入力前時間、入力時間、項目入力の洗練さ、エラー率のうちのいずれか１つを含む
第８項に記載の熟練指数算出装置。
（第１０項）
ユーザが操作する操作端末に表示される画面上にアノテーションを付与するためのアノテーション提供装置であって、
前記ユーザの操作ログに基づき算出された、前記ユーザの操作に関する熟練度を示す熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定手段と、
前記操作端末に表示される画面上にアノテーションを付与する表示手段と
を備えることを特徴とするアノテーション提供装置。
（第１１項）
前記判定手段は、判定対象のユーザの熟練指数と、複数ユーザについての熟練指数から算出された閾値とを比較することにより、アノテーションを付与するか否かを判定する
第１０項に記載のアノテーション提供装置。
（第１２項）
ユーザの操作端末における操作ログに基づいて、当該ユーザの操作に関する熟練度を示す熟練指数を算出する熟練指数算出装置が実行する熟練指数算出方法であって、
前記操作端末から取得した操作ログを記憶する記憶手段から読み出した前記操作ログに基づいて、複数の因子のそれぞれに対応する熟練指数を算出する算出ステップ
を備えることを特徴とする熟練指数算出方法。
（第１３項）
ユーザが操作する操作端末に表示される画面上にアノテーションを付与するためのアノテーション提供装置が実行するアノテーション提供方法であって、
前記ユーザの操作ログに基づき算出された、前記ユーザの操作に関する熟練度を示す熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定ステップと、
前記アノテーションを付与する場合に、前記操作端末に表示される画面上にアノテーションを付与する表示ステップと
を備えることを特徴とするアノテーション提供方法。
（第１４項）
コンピュータを、第８項又は第９項に記載の熟練指数算出装置における各手段として機能させるためのプログラム。
（第１５項）
コンピュータを、第１０項又は第１１項に記載のアノテーション提供装置における各手段として機能させるためのプログラム。
（第２項）
前記算出手段は、複数ユーザについての熟練指数から閾値を算出し、
前記判定手段は、判定対象のユーザの熟練指数と前記閾値とを比較することにより、アノテーションを付与するか否かを判定する
第１項に記載のアノテーション提供装置。
（第３項）
前記算出手段は、画面上に表示される項目毎に、複数ユーザの熟練指数の統計量を算出し、
前記判定手段は、前記統計量に基づいて、項目毎にアノテーションを設定するか否かを判定し、アノテーションを設定すると判定された項目に対して、前記ユーザに対してアノテーションを付与する否かを判定する
第１項又は第２項に記載のアノテーション提供装置。
（第４項）
前記算出手段は、複数の因子のそれぞれに対応する熟練指数を算出し、
前記判定手段は、前記複数の因子のそれぞれについて、因子に対応するアノテーションを付与するか否かを、因子に対応する熟練指数に基づいて判定する
第１項ないし第３項のうちいずれか１項に記載のアノテーション提供装置。
（第５項）
前記複数の因子に対応する熟練指数は、インターバルタイム、入力前時間、入力時間、項目入力の洗練さ、エラー率のうちのいずれか１つを含む
第４項に記載のアノテーション提供装置。
（第６項）
ユーザが操作する操作端末に表示される画面上にアノテーションを付与するためのアノテーション提供装置が実行するアノテーション提供方法であって、
前記操作端末から取得した操作ログに基づいて、前記ユーザの操作に関する熟練度を示す熟練指数を算出する算出ステップと、
前記熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定ステップと、
前記アノテーションを付与する場合に、前記操作端末に表示される画面上にアノテーションを付与する表示ステップと
を備えることを特徴とするアノテーション提供方法。
（第７項）
コンピュータを、第１項ないし第５項のうちいずれか１項に記載のアノテーション提供装置における各手段として機能させるためのプログラム。
（第８項）
ユーザの操作端末における操作ログに基づいて、当該ユーザの操作に関する熟練度を示す熟練指数を算出する熟練指数算出装置であって、
前記操作端末から取得した操作ログを記憶する記憶手段と、
前記記憶手段から読み出した前記操作ログに基づいて、複数の因子のそれぞれに対応する熟練指数を算出する算出手段と
を備えることを特徴とする熟練指数算出装置。
（第９項）
前記複数の因子に対応する熟練指数は、少なくとも、インターバルタイム、入力前時間、入力時間、項目入力の洗練さ、エラー率のうちのいずれか１つを含む
第８項に記載の熟練指数算出装置。
（第１０項）
ユーザが操作する操作端末に表示される画面上にアノテーションを付与するためのアノテーション提供装置であって、
前記ユーザの操作ログに基づき算出された、前記ユーザの操作に関する熟練度を示す熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定手段と、
前記操作端末に表示される画面上にアノテーションを付与する表示手段と
を備えることを特徴とするアノテーション提供装置。
（第１１項）
前記判定手段は、判定対象のユーザの熟練指数と、複数ユーザについての熟練指数から算出された閾値とを比較することにより、アノテーションを付与するか否かを判定する
第１０項に記載のアノテーション提供装置。
（第１２項）
ユーザの操作端末における操作ログに基づいて、当該ユーザの操作に関する熟練度を示す熟練指数を算出する熟練指数算出装置が実行する熟練指数算出方法であって、
前記操作端末から取得した操作ログを記憶する記憶手段から読み出した前記操作ログに基づいて、複数の因子のそれぞれに対応する熟練指数を算出する算出ステップ
を備えることを特徴とする熟練指数算出方法。
（第１３項）
ユーザが操作する操作端末に表示される画面上にアノテーションを付与するためのアノテーション提供装置が実行するアノテーション提供方法であって、
前記ユーザの操作ログに基づき算出された、前記ユーザの操作に関する熟練度を示す熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定ステップと、
前記アノテーションを付与する場合に、前記操作端末に表示される画面上にアノテーションを付与する表示ステップと
を備えることを特徴とするアノテーション提供方法。
（第１４項）
コンピュータを、第８項又は第９項に記載の熟練指数算出装置における各手段として機能させるためのプログラム。
（第１５項）
コンピュータを、第１０項又は第１１項に記載のアノテーション提供装置における各手段として機能させるためのプログラム。
以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本特許出願は２０１８年１０月２４日に出願した日本国特許出願第２０１８－２００３３１号に基づきその優先権を主張するものであり、日本国特許出願第２０１８－２００３３１号の全内容を本願に援用する。
１００ アノテーション提供装置
１１０ 操作ログ取得部
１２０ 因子データ生成部
１３０ アノテーション設定判定部
１４０ アノテーション付与部
１５０ アノテーション表示部
１６０ 操作ログ記憶部
１７０ 因子データ記憶部
１８０ アノテーション情報記憶部
２００ 操作端末
２５０ ドライブ装置
２５１ 記録媒体
２５２ 補助記憶装置
２５３ メモリ装置
２５４ ＣＰＵ
２５５ インターフェース装置
２５６ 表示装置
２５７ 入力装置
１１０ 操作ログ取得部
１２０ 因子データ生成部
１３０ アノテーション設定判定部
１４０ アノテーション付与部
１５０ アノテーション表示部
１６０ 操作ログ記憶部
１７０ 因子データ記憶部
１８０ アノテーション情報記憶部
２００ 操作端末
２５０ ドライブ装置
２５１ 記録媒体
２５２ 補助記憶装置
２５３ メモリ装置
２５４ ＣＰＵ
２５５ インターフェース装置
２５６ 表示装置
２５７ 入力装置
Claims (5)
- ユーザの操作端末における操作ログに基づいて、当該ユーザの操作に関する熟練度を示す熟練指数を算出する業務効率化装置であって、
前記操作端末から取得した操作ログを記憶する記憶手段と、
前記記憶手段から読み出した前記操作ログに基づいて、複数の因子のそれぞれに対応する熟練指数を算出する算出手段と、
前記ユーザの操作に関する熟練度を示す因子毎の熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定手段と、を備え、
前記判定手段は、
前記ユーザの操作をリアルタイムに監視して、前記ユーザが入力に手間取っていることを示す事象を検知した場合に、リアルタイムにアノテーションを付与することを決定する業務効率化装置であり、
前記判定手段は、
前記因子毎にアノテーションを付与するか否かを、判定対象のユーザの熟練指数と、複数ユーザについての熟練指数を用いる統計量に基づき算出された閾値とを比較することにより判定し、
前記閾値を用いた判定によりアノテーションを付与しないと判定した場合でも、前記ユーザの操作をリアルタイムに監視して、前記ユーザが入力に手間取っていることを示す事象としてマウス移動距離が予め定めた値を超えたことを検知した場合に、リアルタイムにアノテーションを付与することを決定する
業務効率化装置。 - 前記複数の因子に対応する熟練指数は、少なくとも、インターバルタイム、入力前時間、入力時間、項目入力の洗練さ、エラー率のうちのいずれか１つを含む
請求項１に記載の業務効率化装置。 - 前記操作ログは、現項目のインターバルタイム、現項目にフォーカスされてから最初の文字の入力がなされるまでの時間、現項目に入力を行っている時間、項目に対する打鍵回数、項目においてＤｅｌキー又はＢＳキーが押された回数、項目におけるフォーカス回数、前担当者への質問事項、後担当者からの差戻し問合せ事項、入力順、入力項目間の相関、及び、マウスの軌跡、のうち少なくともいずれか１つである
請求項１又は２に記載の業務効率化装置。 - ユーザの操作端末における操作ログに基づいて、当該ユーザの操作に関する熟練度を示す熟練指数を算出する業務効率化装置が実行する業務効率化方法であって、
前記操作端末から取得した操作ログを記憶する記憶手段から読み出した前記操作ログに基づいて、複数の因子のそれぞれに対応する熟練指数を算出する算出ステップと、
前記ユーザの操作に関する熟練度を示す因子毎の熟練指数に基づいて、前記操作端末に表示される画面上にアノテーションを付与するか否かを判定する判定ステップと、を備え、
前記判定ステップにおいて、
前記ユーザの操作をリアルタイムに監視して、前記ユーザが入力に手間取っていることを示す事象を検知した場合に、リアルタイムにアノテーションを付与することを決定する業務効率化方法であり、
前記判定ステップにおいて、
前記因子毎にアノテーションを付与するか否かを、判定対象のユーザの熟練指数と、複数ユーザについての熟練指数を用いる統計量に基づき算出された閾値とを比較することにより判定し、
前記閾値を用いた判定によりアノテーションを付与しないと判定した場合でも、前記ユーザの操作をリアルタイムに監視して、前記ユーザが入力に手間取っていることを示す事象としてマウス移動距離が予め定めた値を超えたことを検知した場合に、リアルタイムにアノテーションを付与することを決定する
業務効率化方法。 - コンピュータを、請求項１ないし３のうちいずれか１項に記載の業務効率化装置における各手段として機能させるためのプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018200331 | 2018-10-24 | ||
| JP2018200331 | 2018-10-24 | ||
| PCT/JP2019/041524 WO2020085379A1 (ja) | 2018-10-24 | 2019-10-23 | 熟練指数算出装置、アノテーション提供装置、熟練指数算出方法、アノテーション提供方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020085379A1 JPWO2020085379A1 (ja) | 2021-09-09 |
| JP7294348B2 true JP7294348B2 (ja) | 2023-06-20 |
Family
ID=70331590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020553430A Active JP7294348B2 (ja) | 2018-10-24 | 2019-10-23 | 業務効率化装置、業務効率化方法、及びプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11755980B2 (ja) |
| JP (1) | JP7294348B2 (ja) |
| CN (1) | CN112867983B (ja) |
| WO (1) | WO2020085379A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7245882B1 (ja) | 2021-09-07 | 2023-03-24 | 三菱電機インフォメーションシステムズ株式会社 | スキル診断装置、スキル診断プログラム及びスキル診断方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001359011A (ja) | 1996-02-08 | 2001-12-26 | Matsushita Electric Ind Co Ltd | データ選択及びまたはデータに対する処理を容易とするデータ処理装置並びにデータ処理方法 |
| JP2003345487A (ja) | 2002-05-28 | 2003-12-05 | Sharp Corp | 操作補助方法、操作補助装置、プログラムおよびプログラムを記録した媒体 |
| JP2008257345A (ja) | 2007-04-02 | 2008-10-23 | Fuji Xerox Co Ltd | 情報処理装置、情報処理プログラム、及び、画像処理システム |
| JP2014232377A (ja) | 2013-05-28 | 2014-12-11 | 株式会社エヌ・ティ・ティ・データ | 操作支援装置、操作支援方法、及びプログラム |
| JP2017146958A (ja) | 2016-02-12 | 2017-08-24 | 日本電信電話株式会社 | ユーザインタフェース情報提供装置、ユーザインタフェース変更装置、ユーザインタフェース情報提供方法、ユーザインタフェース変更方法、及びプログラム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7133834B1 (en) * | 1992-08-06 | 2006-11-07 | Ferrara Ethereal Llc | Product value information interchange server |
| JP3367623B2 (ja) | 1994-08-15 | 2003-01-14 | 日本電信電話株式会社 | ユーザ熟練度判定方法 |
| JP2003015798A (ja) | 2001-07-04 | 2003-01-17 | Nec Eng Ltd | 情報入力処理装置 |
| JP2008305339A (ja) * | 2007-06-11 | 2008-12-18 | Nec Corp | 操作時間測定装置及び方法、習熟度判定装置及び方法、プログラム |
| US20140058801A1 (en) * | 2010-06-04 | 2014-02-27 | Sapience Analytics Private Limited | System And Method To Measure, Aggregate And Analyze Exact Effort And Time Productivity |
| US9413891B2 (en) * | 2014-01-08 | 2016-08-09 | Callminer, Inc. | Real-time conversational analytics facility |
| US20150356489A1 (en) * | 2014-06-05 | 2015-12-10 | Microsoft Corporation | Behavior-Based Evaluation Of Crowd Worker Quality |
| US10282356B2 (en) * | 2016-03-07 | 2019-05-07 | International Business Machines Corporation | Evaluating quality of annotation |
| WO2018039418A1 (en) * | 2016-08-25 | 2018-03-01 | Crown Equipment Corporation | Observation based event tracking |
| US10313521B2 (en) * | 2017-08-15 | 2019-06-04 | Genesyc Telecommunications Laboratories, Inc | Automatic quality management of chat agents via chat bots |
-
2019
- 2019-10-23 CN CN201980069062.9A patent/CN112867983B/zh active Active
- 2019-10-23 WO PCT/JP2019/041524 patent/WO2020085379A1/ja active Application Filing
- 2019-10-23 US US17/286,791 patent/US11755980B2/en active Active
- 2019-10-23 JP JP2020553430A patent/JP7294348B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001359011A (ja) | 1996-02-08 | 2001-12-26 | Matsushita Electric Ind Co Ltd | データ選択及びまたはデータに対する処理を容易とするデータ処理装置並びにデータ処理方法 |
| JP2003345487A (ja) | 2002-05-28 | 2003-12-05 | Sharp Corp | 操作補助方法、操作補助装置、プログラムおよびプログラムを記録した媒体 |
| JP2008257345A (ja) | 2007-04-02 | 2008-10-23 | Fuji Xerox Co Ltd | 情報処理装置、情報処理プログラム、及び、画像処理システム |
| JP2014232377A (ja) | 2013-05-28 | 2014-12-11 | 株式会社エヌ・ティ・ティ・データ | 操作支援装置、操作支援方法、及びプログラム |
| JP2017146958A (ja) | 2016-02-12 | 2017-08-24 | 日本電信電話株式会社 | ユーザインタフェース情報提供装置、ユーザインタフェース変更装置、ユーザインタフェース情報提供方法、ユーザインタフェース変更方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020085379A1 (ja) | 2020-04-30 |
| US11755980B2 (en) | 2023-09-12 |
| JPWO2020085379A1 (ja) | 2021-09-09 |
| CN112867983A (zh) | 2021-05-28 |
| CN112867983B (zh) | 2024-06-28 |
| US20210357844A1 (en) | 2021-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110045953B (zh) | 生成业务规则表达式的方法及计算装置 | |
| KR102298395B1 (ko) | 사용자 행위 분석 시스템 및 방법과, 이를 위한 이벤트 수집 에이전트 | |
| JP4822166B2 (ja) | Ｇｕｉ評価システムとそのｇｕｉ評価方法、及びｇｕｉ評価プログラムを記録した記録媒体 | |
| JPWO2017110720A1 (ja) | ログ分析システム、ログ分析方法及びプログラム | |
| US9235423B2 (en) | Availability evaluation device and availability evaluation method | |
| JP2007025497A (ja) | 教育支援プログラムおよび教育支援装置 | |
| CN113609008A (zh) | 测试结果分析方法、装置和电子设备 | |
| JP7294348B2 (ja) | 業務効率化装置、業務効率化方法、及びプログラム | |
| JP2011145996A (ja) | レビューワ評価装置、レビューワ評価方法、及びプログラム | |
| CN109271495A (zh) | 问答识别效果检测方法、装置、设备及可读存储介质 | |
| US10755187B2 (en) | Mood score calculation system | |
| JP7184093B2 (ja) | 熟練指数提供装置、熟練指数提供方法、及びプログラム | |
| WO2013114911A1 (ja) | リスク評価システム、リスク評価方法、及びプログラム | |
| CN114546876A (zh) | 一种在线编程学习辅助方法、装置、设备及存储介质 | |
| JP2017016405A (ja) | 業務分析プログラム、装置および方法 | |
| Kamal et al. | Improving resource allocation in the precision medicine Era: a simulation-based approach using R | |
| CN111936958B (zh) | 自适应式界面提供装置、自适应式界面提供方法、及程序 | |
| Komninos et al. | Mobile text entry behaviour in lab and in-the-wild studies: is it different? | |
| US20240320331A1 (en) | Malware analysis support system and malware analysis support method | |
| CN118505066B (zh) | 基于预录制SaaS软件操作技能的技能测试方法及系统 | |
| JP7452553B2 (ja) | 入力表示システム、補助情報表示方法、及びプログラム | |
| JPWO2019030884A1 (ja) | レビュア管理システムおよび方法 | |
| JP2024108902A (ja) | 分析支援装置、及び分析支援方法 | |
| Salve et al. | Towards proposing an intelligent error limiting user interface for rural indian data entry operators | |
| CN118505066A (zh) | 基于预录制SaaS软件操作技能的技能测试方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20210415 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230522 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7294348 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |