JP6966429B2 - 操作情報収集システム及び操作表示プログラム - Google Patents

操作情報収集システム及び操作表示プログラム Download PDF

Info

Publication number
JP6966429B2
JP6966429B2 JP2018516206A JP2018516206A JP6966429B2 JP 6966429 B2 JP6966429 B2 JP 6966429B2 JP 2018516206 A JP2018516206 A JP 2018516206A JP 2018516206 A JP2018516206 A JP 2018516206A JP 6966429 B2 JP6966429 B2 JP 6966429B2
Authority
JP
Japan
Prior art keywords
software
key
display
operation history
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018516206A
Other languages
English (en)
Other versions
JPWO2018151303A1 (ja
Inventor
健朗 徳留
周作 遠矢
佑 安武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SOUTHERN WISH, INC.
Original Assignee
SOUTHERN WISH, INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SOUTHERN WISH, INC. filed Critical SOUTHERN WISH, INC.
Publication of JPWO2018151303A1 publication Critical patent/JPWO2018151303A1/ja
Application granted granted Critical
Publication of JP6966429B2 publication Critical patent/JP6966429B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ソフトウェアの操作を記録する技術及びソフトウェアの操作を可視化する技術に関する。
文書作成ソフト、表計算ソフト、ＣＡＤソフト、電子メールソフト、プログラミングソフト等、様々なアプリケーションが、企業や組織で利用されている。そのようなアプリケーションは、コンピュータ装置の基本的な制御や管理を司るＯＳ（Operating System）上で実行される。ＯＳ及びＯＳ上で実行される各種アプリケーション（以下、本明細書及び特許請求の範囲ではユーザが操作可能なＯＳ及びアプリケーションを「ソフトウェア」と総称する。）には、多くの機能が実装されているのが通常で、それを使いこなして作業効率を高めるには、使用方法に関する多くの知識と経験に基づく相当な習熟度が求められる。ソフトウェアの使用方法を説明する方法としては、例えば解説本のように、ソフトウェアの実行画面をスクリーンショットして、それに説明文を書き加えるような方法がある。また、オペレータが操作を実演しつつ口頭で説明していく方法もある。
しかしながら、ソフトウェアの実行画面をスクリーンショットして使用方法を説明する方法では、ソフトウェアが持つ機能ごとに説明を作成するのに膨大な手間と時間が必要になる。したがって解説本によりソフトウェアの使用方法を説明するのは、あまり現実的な方法とは言えない。また実演し口頭で説明する方法では、オペレータがキーボードに対するキー入力のスピードを相当落とさないと、口頭による説明が追いつかないことが多い。特に習熟したオペレータは、操作しても実行画面に表示されない修飾キーを使った複合的なキー入力を行っていることが多い。オペレータもその説明を受ける学習者も、実行画面とキーボードへの操作を交互に目で追いながら使用方法を習得するのはとても困難である。しかも、こうしたリアルタイムの説明では、メモを取ることで熟練したオペレータのキー操作の履歴をすべて記録することはできない。そのため、リアルタイムの説明後に、学習者が自ら復習するのはとても困難である。
このように、ユーザがソフトウェア使用時のキー操作の履歴を簡単に記録することはできない。このため、これまでのソフトウェアの使用方法の説明では、手間と時間が掛かり非効率である。したがってその説明方法では、ソフトウェアの効率的、効果的な使用方法に習熟していたならば期待できる作業効率や生産性の向上を実現できていないのが現実である。例えば熟練プログラマーの作業効率の高いプログラミングスキルを習得する場面では、前述のように教え方が難しいことから技能伝承が進まず放置されている現場も多い。また、文書作成ソフト、表計算ソフト、ＣＡＤソフト等の各種アプリケーションでの修飾キーの利用も作業効率や生産性を高める上で有用だが、その習得は個人の努力に委ねられている。
こうした課題を背景として本発明者らは、キーボードによるキー操作の履歴を可視化する技術を提案した（特許文献１）。これによればソフトウェアの実行画面に表示される表示キーのみならず、実行画面に表示されない非表示キーを含むすべてのキー操作からキー入力データを取得し、それを画面に表示できるため、キー操作を習得する上で非常に分かり易く有用である。
特許第５８２８０５０号公報
しかしながら、前述した課題はキーボードによるキー操作だけでなく、マウス、タッチパッド、タッチパネル等のポインティングデバイスを使った操作にも共通する。例えばマウス、タッチパッドは、ソフトウェアの実行画面に表示されるポインタ（カーソルともいう。）により操作を行うものである。また、タッチパネルでは、ユーザがタッチペンや指で表示装置の表示画面に触れて操作を行うものである。ソフトウェアを使いこなすためには、そのようなポインティングデバイスによる操作、例えば実行画面に表示されるボタン又はタブをクリックする画面操作も行わなければならない。しかしながら、前記特許文献１に記載の従来技術では、例えばマウスの右クリック、左クリックの操作履歴を記録することはできるが、画面操作を行った対象、即ちクリックしたボタン又はタブを記録することはできない。
もし、ポインティングデバイスを使った画面操作の履歴を記録することができ、さらにその記録した操作履歴を表示できるようになれば、ソフトウェアの使用方法を習得する上で、とても便利である。また、その操作履歴を記録して保存することができれば、ユーザにおけるソフトウェアの使用状態を管理したり分析することができて、とても有用である。しかしながら本発明者らが知る限り、ポインティングデバイスを使った画面操作の履歴を記録する技術は存在しない。また、画面操作の履歴を表示する技術も存在しない。
以上のようなソフトウェアの使用方法を習得する際の問題は、冒頭で例示した文書作成ソフト、表計算ソフト、ＣＡＤソフト、電子メールソフト、プログラミングソフトの家庭用及び業務用のアプリケーションに限られたことではない。例えばマシニングセンタのような金属加工装置には、表示装置に映し出される操作画面で加工条件を指定する。医療機器でも表示装置に映し出される操作画面で動作条件を指定する。これらの他にも産業機器、医療機器等、画面操作を行う様々な装置が存在する。それらの装置で使用するソフトウェアの操作履歴を記録し、その記録した操作履歴を表示できるようになれば、装置の操作方法を習得する上で便利である。また、当該装置の操作履歴を記録して保存することができれば、当該装置の使用状態を管理したり分析する上でも有用である。
以上のような従来技術を背景になされたのが本発明である。その目的は、ソフトウェアに対する画面操作を可視化する技術を提供することにある。
上記目的を達成すべく本発明は以下の特徴を有するものとして構成される。
本発明は、ソフトウェアの実行画面を操作する入力操作部を備える操作表示装置について、前記入力操作部により前記ソフトウェアに対する画面操作がなされたときに、前記実行画面における前記画面操作の操作点と前記操作点の周囲領域とを前記実行画面から部分的に切り出した操作画像を生成する画像取得部を備えることを特徴とする。
本発明によれば、前記画像取得部が前記操作画像を生成するため、ソフトウェアに対して入力操作部で画面操作を行ったときの操作点とその周囲領域とを、操作画像として記録することができる。これにより入力操作部によるソフトウェアに対する画面操作を可視化することができる。なお、本発明でいう「ソフトウェア」はＯＳと各種アプリケーションを総称する用語である。
前記画像取得部は、前記操作画像は、複数のソフトウェアの実行画面を含むように前記操作画像を生成できる。例えばＯＳのデスクトップ画面上に１つのソフトウェアの実行画面が表示されている場合を想定する。当該ソフトウェアに対する前記操作点が実行画面の外枠近傍である場合には、操作点の前記周辺領域の一部にはＯＳのデスクトップ画面が含まれることがある。こうした場合には、画像取得部は前記周辺領域にＯＳのデスクトップ画面が部分的に含まれるように前記操作画像を生成できる。これと同様に、複数の異なるソフトウェアの実行画面上を跨ぐように操作画像を生成することもできる。このように表示装置の表示画面に表示されている状態のまま、その一部をキャプチャーすることで、画面操作を行った操作点とその周辺領域の状況を中実に再現することができる。
前記本発明は、前記操作画像を記録する操作履歴記憶部を備えるように構成できる。本発明によれば、操作履歴記録部に操作画像を保存することができる。したがって本発明によれば、操作画像の保存後であっても、その操作画像を繰り返し確認することができる。
前記操作履歴記憶部は、ソフトウェアを実行している操作表示装置としてのコンピュータ装置に備える記憶装置として構成できる。また、ソフトウェアを実行している操作表示装置としてのコンピュータ装置と通信ネットワークを介して接続した、１つ以上の他のコンピュータ装置に備える記憶装置として構成することができる。これによれば例えば遠隔地の操作履歴記憶部に、操作画像とキー入力データを保存することができ、さらに遠隔地であっても画面操作とキー操作を、視覚を通じて容易に把握することができる。
前記本発明の前記操作履歴記憶部は、前記操作画像を生成した時刻情報を前記操作画像に付加して記録するように構成できる。本発明によれば、操作画像に時刻情報が関連付けられるので、画面操作の内容のみならず、時刻も合わせて記録することができる。なお「時刻情報」とは年月日及び時、分、秒を含むものである。
前記本発明の前記操作履歴記憶部は、前記操作画像を生成した前記ソフトウェアの識別情報を前記操作画像に付加して記録するように構成できる。本発明によれば、操作画像にソフトウェアの識別情報（例えばソフトウェアの名称、略称）が関連付けられるので、どのようなソフトウェアでどのような画面操作が行われるのかを記録することができる。この場合、操作画像にさらに時刻情報も付加して記録すれば、操作を行ったソフトウェアと、操作内容と、操作時刻をすべて記録することができる。
前記本発明は、前記操作画像を含む操作履歴表示画面を表示する操作履歴表示部を備えるように構成できる。本発明によれば、操作履歴表示画面に操作画像を表示して、画面操作の操作内容を、視覚によって正確に把握することができる。
前記本発明の前記操作履歴表示部は、複数の前記操作画像を、それらが生成された順に並べて前記操作履歴表示画面に表示するように構成できる。本発明によれば、時系列で画面操作の内容を把握することができる。
前記本発明の前記入力操作部はポインティングデバイスとして構成できる。より具体的にはマウス、タッチパッド、タッチパネルの少なくとも何れかとして構成できる。本発明によれば、キーボード入力以外の操作を、画面操作の操作内容を含めて視覚によって正確に把握することができる。なお、入力操作部がマウスとタッチパッドの場合は、ソフトウェアの実行画面に表示されているポインタを操作することで行う画面操作（ポインタ操作）を記録することができる。入力操作部がタッチパネルの場合は、表示装置の表示画面をタッチペンやユーザの指で触れる画面操作（タッチ操作）を記録することができる。
前記本発明は、前記入力操作部による前記ソフトウェアに対するキー操作された操作キーをキー入力データとして取得するキー入力データ取得部を備えるように構成できる。本発明によれば、操作画像のみならず操作キーを取得できるため、キー操作と画面操作の双方を記録することができる。具体的には、ソフトウェアに対するキーボードとポインティングデバイスの両方の操作を記録するとともに表示することができる。
前記本発明の前記操作履歴記憶部は、前記操作画像に加えて前記操作キーを記録するように構成できる。本発明によれば、操作履歴記録部に操作画像と操作キーとを保存することができる。したがって本発明によれば、操作キーの保存後であっても、その操作キーを繰り返し確認することができる。また、前記操作履歴記憶部は、前記キー操作を行った時刻情報を前記操作キーに付加して記録するように構成できる。本発明によれば、操作キーに時刻情報が関連付けられるので、キー操作の操作内容のみならず、操作時刻も合わせて記録することができる。なお、前記操作履歴記憶部は、操作キーごとに時刻情報を付加して記録するように構成できる。これによればより詳細に個々のキー操作ごとの操作時刻を正確に把握することができる。
前記本発明の前記操作履歴表示部は、前記操作履歴表示画面に前記操作キーを含めて表示するように構成できる。本発明によれば、操作履歴表示画面に操作画像と操作キーとを表示して、キー操作と画面操作の操作内容を、すべて視覚によって正確に把握することができる。
前記本発明の前記操作履歴表示部は、前記操作画像と前記操作キーとを、それらが生成された順に並べて前記操作履歴表示画面に表示するように構成できる。本発明によれば、時系列でキー操作と画面操作の内容をすべて把握することができる。つまりソフトウェアに対する操作履歴をすべて保存し、また可視化することができる。
前記本発明の前記操作キーは、前記ソフトウェアの前記実行画面に前記キー操作が表示される表示キーと、前記ソフトウェアの前記実行画面に前記キー操作が表示されない非表示キーとを含むように構成できる。本発明によれば、例えば修飾キー、ファンクションキー、ロックキーのような非表示キーのキー操作も記録し可視化することができる。
前記本発明は、前記ソフトウェアを操作する動画を取得する動画取得部を備えるように構成できる。本発明によれば、操作履歴を動画で記録することができるので、操作の流れをより具体的に把握することができる。
前記本発明は、所定の検索条件にて前記操作履歴記憶部を検索する検索部を備えるように構成できる。本発明によれば、操作履歴記憶部に蓄積した過去の操作履歴データから所定の検索条件での操作履歴を容易に発見できる。この場合、検索条件としては、例えばソフトウェアの名称、任意の文字列、操作画像、時刻情報とすることができる。
また、前記目的を達成する他の本発明は、コンピュータ装置を、ソフトウェアの実行画面を操作可能な入力操作部を備える操作表示装置として機能させる操作表示プログラムについて、前記コンピュータ装置を、前記入力操作部により前記ソフトウェアに対する画面操作がなされたときに、前記画面操作の操作点と前記操作点の周囲領域とを前記実行画面から部分的に切り出した操作画像を生成する画像取得部として機能させることを特徴とする。さらに他の本発明は、コンピュータ装置の入力操作部によりソフトウェアの実行画面に対する画面操作を行う過程と、コンピュータ装置の制御部が前記画面操作を検知する過程と、前記制御部が前記画面操作の操作点（中心座標）とその周囲領域とを前記実行画面から部分的に切り出した操作画像を生成する過程とを含む操作表示方法を提供する。これらの本発明によれば、前記操作表示装置と同様に、画面操作を行うごとに、ソフトウェアに対する画面操作を操作画像によって可視化することができる。
前記本発明は、前記実行画面から切り出す前記操作画像の大きさを設定する画像取得制御部を備えるように構成できる。本発明によれば、ソフトウェアの実行画面の構成等に応じて操作画像を適切に切り出すことができる。
前記本発明の前記画像取得部は、前記実行画面の拡大画面を前記操作画像として取得するように構成できる。本発明によれば、操作対象のボタン又はアイコンの表示が小さかったり、実行画面の構成が複雑であっても、拡大された操作画像によって視覚を通じて容易に把握できる。
前記本発明の前記操作履歴表示画面は、その背景色を有色又は透明に表示するように構成できる。本発明によれば、操作履歴表示画面の背景色を変えることでソフトウェアの実行画面や操作履歴表示画面の視認性を高めることができる。また、ソフトウェアの実行画面や操作履歴表示画面の下に位置するＯＳのデスクトップ画面等の視認性を高めることもできる。
前記本発明の前記操作履歴表示画面は、その背景色が透明であるときに、前記操作履歴表示画面に対するフォーカスを受け付けないように構成できる。本発明によれば、操作履歴表示画面の背景色が透明であれば、操作履歴表示画面の下にあるソフトウェアの実行画面やＯＳのデスクトップ画面等を視認することができる。また、操作履歴表示画面の上から当該実行画面等に対してフォーカスを設定することもできる。よって、操作履歴表示画面がソフトウェア等に対するユーザの操作性を損ねないようにすることができる。なお、ここでいう「透明」とは無色透明と有色透明の双方を含む。
さらに本発明の一態様は、操作情報収集システムであり、複数の操作端末と、管理端末と、端末装置とを備え、前記複数の操作端末と前記管理端末は通信ネットワークを介して前記端末装置に接続され、前記操作端末は、それぞれ、操作履歴データを生成し、前記通信ネットワークを介して前記端末装置に送信可能に構成され、ここで前記操作履歴データとは、複数のキー入力データと複数の操作画像とを含み、さらに前記キー入力データとは、前記操作端末で実行される少なくとも１以上のソフトウェアに対してキー入力されることで生成されるデータであり、前記操作画像とは、前記ソフトウェアの画面操作がなされたときに、その操作点と前記操作点の周囲領域とを前記ソフトウェアの実行画面から部分的にキャプチャーすることで生成されるデータであり、前記端末装置は、前記操作履歴データを用いて操作履歴ファイルを生成し、前記通信ネットワークを介して前記操作端末又は前記管理端末の少なくとも何れかに配信可能であり、ここで前記操作履歴ファイルは、前記操作端末から受信した複数の前記キー入力データと複数の前記操作画像とを入力順に混在させて表示可能に構成される操作情報収集システムである。
本発明によれば、ソフトウェアに対する画面操作を、操作画像として容易に記録することができる。また、本発明によれば、画面操作の操作内容を操作画像によって表示することができる。よって、ソフトウェアを使用する各種装置やサービスでの作業効率や生産性の向上に大きく貢献することができる。
一実施形態による操作表示装置のハードウェア構成を示す説明図。 図１の制御部のハードウェア構成を示す説明図。 一実施形態による操作表示装置の機能構成を示すブロック図。 一実施形態によるデータテーブルを示す説明図。 一実施形態による操作履歴表示画面の説明図。 図５に続く操作履歴表示画面の説明図。 図６に続く操作履歴表示画面の説明図。 図７に続く操作履歴表示画面の説明図。 図８に続く操作履歴表示画面の説明図。 図９に続く操作履歴表示画面の説明図。 一実施形態による操作表示装置の動作を示すフローチャート。 操作表示装置の変形例を示す説明図。
以下、本発明の操作表示装置、操作表示プログラムの一実施形態について図面を参照しつつ説明する。
本実施形態の操作表示装置１は、制御部２と、制御部２に接続され、制御部２から出力される情報を表示する液晶表示装置等の表示画面である表示部３と、制御部２に対して情報を入力するキーボード４ａ、ポインティングデバイス４ｂによる入力操作部４と、ハードディスク装置等の外部記憶装置でなる外部記憶部５とを有している。このような操作表示装置１は、例えばノートブックパソコン、デスクトップパソコン、タブレット端末、スマートフォン等のコンピュータ装置にて構成することができる。
入力操作部４となるキーボード４ａは、キーボード装置としてハードウェアにより構成される。また、キーボード４ａには、例えばスマートフォンやタブレット端末の画面に表示される仮想キーボード画面のようなソフトウェアにより構成されるものも含まれる。これらのキーボード装置や仮想キーボード画面は、いずれもコンピュータ装置の入力装置を構成し、そのキー配列を含む具体的な構成については、キー入力ができる機能を有するものであればどのようなものでもよい。
また、ポインティングデバイス４ｂは、マウス、タッチパッド、タッチパネル、ジョイスティック、ポインティング・スティック、トラックボール、ペンタブレット等により構成することができる。なお、操作表示装置１の構成はこれらの構成に限られるものではない。
図２は、制御部２のハードウェア構成の一例について示す図である。この図に示されるように、制御部２は、主に半導体装置とそれらを接続する配線とからなり、ＣＰＵ（Central Processing Unit）６と、ＲＡＭ（Random Access Memory）である揮発性記憶部７と、ＲＯＭ（Read Only Memory）である不揮発性記憶部８と、ファイヤーウォールやスイッチ等のアクセス中継部やネットワークに接続される通信インターフェース９と、外部接続機器と接続するための外部接続機器インターフェース１０とを有している。外部接続機器インターフェース１０は、表示部３に接続する表示インターフェース１０ａと、入力操作部４に接続する入力インターフェース１０ｂと、外部記憶部５に接続するメモリインターフェース１０ｃとを有する。なお、制御部２の構成はこれに限られるものではない。
操作表示装置１では、制御部２のＣＰＵ６が、ソフトウェア、即ちＯＳとＯＳ上で実行される各種のアプリケーションを実行し、その機能を実現する。アプリケーションとしては、例えば文書作成ソフト、表計算ソフト、プログラミングソフト、ＣＡＤソフト等とすることができる。しかしながら、操作表示装置１によるアプリケーションの入力操作の可視化は、それらの例示したアプリケーションだけでなく、ＯＳやＯＳ上で実行されるあらゆるアプリケーションに適用することができる。操作表示プログラムＰは、それらのアプリケーションのバックグラウンドで動作する。
操作表示装置１、操作表示プログラムＰは、キーボード４ａによるキー操作のみならず、従来技術ではなし得なかったポインティングデバイス４ｂによる画面操作をも記録するとともに可視化する。これにより視覚を通じて効率的で効果的なアプリケーションの操作方法を伝達できるようにする。
制御部２のＣＰＵ６は、外部記憶部５に格納した操作表示プログラムＰを揮発性記憶部７に一時記憶させるとともに、それを実行することにより、操作表示装置１として機能するコンピュータ装置の全体の動作を制御する。また、操作表示プログラムＰを実行することにより、コンピュータ装置を後述する各機能部（操作履歴表示制御部１１、キー操作履歴制御部１２、画面操作履歴制御部１３、操作履歴表示部２３、操作履歴記憶部２４）として機能させるようにする。
外部記憶部５は、ＨＤＤ等の記憶装置にて構成されており、そこには操作表示プログラムＰが格納されている。また、後述するデータテーブルＰＤが格納されている。さらに、外部記憶部５は、操作履歴記憶部２４として機能し、操作表示装置１が取得するキー入力データと操作画像と動画とを含む操作履歴データを蓄積する。
操作履歴表示制御部１１の構成：
図３は、制御部２が操作表示プログラムＰを実行することで実現される操作表示装置１の機能構成を示すブロック図である。制御部２は操作表示プログラムＰを実行することにより操作履歴表示制御部１１として機能する。
操作履歴表示制御部１１は、揮発性記憶部７や不揮発性記憶部８に記憶されたデータや、ＣＰＵ５が生成する各種データの外部記憶部５への記録と表示部３への表示とを制御する。このため操作履歴表示制御部１１は、キーボード４ａのキー操作の記録と表示を制御するキー操作履歴制御部１２と、ポインティングデバイス４ｂの画面操作の記録と表示を制御する画面操作履歴制御部１３とを備える。
制御部２は、キー操作履歴制御部１２のうち、キー入力データ取得部１４、キー種類判定部１５、キー表示設定部１６、操作キー出力部１９を機能部として実行する。
制御部２は、画面操作履歴制御部１３のうち、画像取得部２０、画像取得設定部２１、操作画像出力部２２を機能部として実行する。
また制御部２は、外部記憶部５を、キー操作履歴制御部１２の表示設定記憶部１７、表示データ記憶部１８、さらにキー入力データ取得部１４が取得するキー入力データと画像取得部２０が取得する操作画像とを含む「操作履歴データ」を蓄積する操作履歴記憶部２４として機能させる。この操作履歴記憶部２４は、キー操作履歴制御部１２、画面操作履歴制御部１３から、操作履歴データとなるキー入力データと操作画像を受け取り蓄積する。蓄積される操作履歴データは、キー入力データ及び操作画像に加えて、それらにそれぞれ関連付けられた時刻情報（キー入力データと操作画像の取得時の年月日及び時分秒）とソフトウェアの識別情報（キー入力データ及び操作画像を取得したソフトウェアの名称等）とを少なくとも含む。このほかには操作表示装置１を使用するユーザ情報を含めてもよい。
それらの操作履歴データは、より具体的には、操作表示プログラムＰが生成する「操作履歴ファイル」として操作履歴記憶部２４に保存される。操作履歴ファイルは、例えばリッチテキスト形式やＨＴＭＬ形式等のファイル形式で作成することができる。そのため、操作表示プログラムＰの操作履歴表示部２３が操作履歴表示画面Ｗ３で表示することができる。この他にも、操作表示プログラムＰを使わなくても、文書作成ソフト及びブラウザによっても操作履歴ファイルを表示することができる。したがって、操作表示プログラムＰがインストールされていないコンピュータ装置でも表示することが可能であり、１つの操作表示装置１の操作履歴を複数のコンピュータ装置で共有することができる。
操作履歴ファイルは、操作表示装置１のユーザが任意のタイミングで名前を付けることで保存することができる。例えば操作表示プログラムＰを終了するごとに、保存することができる。なお、操作履歴ファイルの作成は必ずしも操作表示装置１で行う必要はない。例えば、操作表示装置１は通信ネットワーク３０を介して接続された他の端末装置３１に操作履歴データを送信し、この端末装置３１で操作履歴ファイルを作成し、その記憶装置に保存するようにしてもよい（図１２参照）。
さらに制御部２は、表示部３に操作履歴表示画面Ｗ３（図５参照）を表示する操作履歴表示部２３として機能させる。
キー操作履歴制御部１２の構成：
キー入力データ取得部１４は、ＯＳやＯＳ上で実行される各種アプリケーションに対するキー操作により生成されるキー入力データを取得する。ここで「キー入力」とは入力操作部４を操作して行われる入力を意味する。したがって必ずしもキーボードやタッチパネルに表示される仮想キーボードのようなキー配列を有するものに限られない。キー入力データ取得部１４は、キー操作ごとに生成されるキー入力データを取得するごとに、ＣＰＵ６によってＯＳのシステムクロックから時刻情報を受け取り、個々のキー操作とそのキー操作が行われた時刻情報とを関連付けて取得する。また、キー入力データ取得部１４は、キー操作が行われているアプリケーションの名称を、キー操作に関連付けて取得することもできる。これにより各キー操作が行われた年月日と時刻（時分秒）とアプリケーションとを把握して、それを管理することができる。なお、アプリケーションの名称の取得は、当該アプリケーションにフォーカスが設定された際に取得するようにしてもよい。
キー種類判定部１５は、キー入力データを生成したキーの種類を判定する。例えばキーボードを使用する場合、そのまま操作履歴表示画面Ｗ３に表示できるキー（表示キー）と、表示できないキー（非表示キー）とがある。キー種類判定部１５はキー入力データ取得部１４が取得したキー入力データがそのどちらなのかを判定する。
前者は、例えば文書作成ソフトで英文字「Ａ」のキートップを入力操作すると、その文書作成ソフトの実行画面には英文字「Ａ」が表示されることから、操作者でなくても操作したキーをアプリケーションの実行画面から知ることができる。アプリケーションにおける入力操作と入力結果の画面表示とが一致する場合には、操作履歴表示画面Ｗ３には「Ａ」が表示される。これが「表示キー」である。
これに対して、例えば文書作成ソフトで「修飾キー」（シフトキー、コントロールキー等）のキーを入力しても、文書作成ソフトの実行画面には何も表示されない。こうした「非表示キー」の場合、オペレータ以外の者はどのキーが操作されたのか実行画面からは分からず、操作されたことにも気づかない。つまり、入力操作と入力結果の画面表示とが一致しない。しかしながら、熟練者の入力操作は修飾キーを多用することで入力作業を効率的・効果的に行っていることが多く、そこから学ぶべきことは多い。したがって本実施形態では、修飾キーのような「非表示キー」はそれと組み合わせて使用される他のキーとともに操作履歴表示画面Ｗ３に表示する。例えばコントロールキー「ＣＴＲＬ」の後に英文字「Ｃ」のキーが操作された場合には、操作履歴表示画面Ｗ３には「ＣＴＲＬ＋Ｃ」が表示される。
キャピタルロックキー（ＣＡＰＳ）等の「ロックキー」、エスケープキー、半角／全角キー、変換キー、無変換キー、ファンクションキー、カタカナ／ひらがなキー、４方向キー等のような各種の「機能キー」も、修飾キーと同様に入力操作と入力結果の画面表示とが一致しないため、各機能キーが操作履歴表示画面Ｗ３に表示される。例えばカーソルを動かす右方向キーが操作された場合、操作履歴表示画面Ｗ３には「→」が表示される。なお、カーソルはアプリケーションの実行画面に表示されており、方向キーを操作すれば移動して実行画面に表示される。しかしながら分かり難いことから、本実施形態では方向キーについても「非表示キー」として扱うようにしている。
キー表示設定部１６は、操作されるキーと操作履歴表示画面Ｗ３で表示するキー表示との関係付けを行う。これはＯＳ上で実行されるアプリケーションごとに管理される。これには例えば次のような３パターンがある。
第１は、修飾キーや機能キーのような非表示キーについては、その後に続くキー操作を待ち、そのキーと合わせて「一つのキー表示」として設定する。この例としては「ＣＴＲＬ」が長押し操作されて、その後に「Ｃ」が操作されたことを検知して、「ＣＴＲＬ＋Ｃ」を「一つのキー表示」として設定する。このように修飾キー、機能キーと、その後に続くキーとが組み合わされて操作される場合、キー表示設定部１６では、それらに機能説明を加えて「一つのキー表示」として設定することもできる。例えば「ＣＴＲＬ＋Ｃ Ｃｏｐｙ」として表示するよう設定できる（図７参照）。
第２は、アプリケーションで定義されている特定の文字列を「一つのキー表示」として扱うパターンである。例えばプログラミングソフトの場合、Ｃ言語で使われる関数は定義されており、例えば関数“ｆｐｒｉｎｔｆ”の文字列を一文字ごと一行ずつ表示してしまうと却って分かり難くなる。こうした場合には、関数“ｆｐｒｉｎｔｆ”の文字列を「一つのキー表示」として設定する。これはアプリケーションごとに、その特長に応じて設定されることになる。
第３は、一つのキー操作を「一つのキー表示」として設定するパターンである。例えば英文字「Ａ」がキー入力された場合には、そのまま「Ａ」をキー表示とするパターンである。また「ＥＮＴＥＲ」キーについては「ＥＮＴＥＲ」の文字列・ロゴ・記号を「一つのキー表示」として設定する。
また、キー表示設定部１６は、操作履歴表示画面Ｗ３で一行ごとに表示するキー表示を設定する。例えば、第１に、一行につき「一つのキー表示」のみを表示するように設定できる。第２に、一行に表示する「一つのキー表示」の上限数を決めて表示するように設定することも可能である。第３として、操作履歴表示画面Ｗ３の表示画面の幅に応じて一行に表示する「一つのキー表示」の数を設定することもできる。第４として、キー入力操作の停止時間に上限を設定して、それを超えた場合には次行に表示するように設定できる。そして第５として、前述の第２〜第４を任意で組み合わせて表示するように設定することも可能である。但し一行あたりに表示するキー表示の数があまりに多いと、高速で複雑なキー操作を把握することが困難となるため、複数の表示する場合であっても２〜４つ程度のキー表示とするのが好ましい。この一行で表示するキー表示の設定は、アプリケーションごとの特長や必要性に応じてアプリケーションごとに行われる。
表示設定記憶部１７は、キー表示設定部１６で設定した所定のキー操作に対して表示するキー表示の設定が記憶されている。表示設定記憶部１７には、例えば図４で示すようなデータテーブルＰＤが格納されている。データテーブルＰＤには、キー入力に対する「キー表示（キー操作履歴）」と、それが適用されるアプリケーションが対応付けられている。そして同じキー入力であってもアプリケーションごとに異なるキー表示を適用できるようにされている。なお、図４で示すデータテーブルＰＤは、アプリケーションごとに個別に作成してもよい。
表示データ記憶部１８は、キー表示設定部１６でキー入力ごとに表示するキー表示として使用する画像データを格納している。画像データは標準的な文字でも、図案化・装飾化されたロゴでも、図形でも、記号でも良い。
操作キー出力部１９は、操作表示プログラムＰを適用するアプリケーションについて、後述する表示設定のデータテーブルＰＤを参照して、操作キーに対応するキー表示を操作履歴表示部２３に順次出力する制御を行う。なお、すべての操作キーについてキー表示を設定する必要はないので、非表示キー以外はキー入力データ取得部１４で取得したキー入力データをそのまま操作履歴表示部２３に出力し、また操作履歴記憶部２４に記憶することができる。
画面操作履歴制御部１３の構成：
画面操作履歴制御部１３は、画像取得部２０と、画像取得設定部２１と、操作画像出力部２２とを有する。
画像取得部２０は、ＯＳやＯＳ上で実行される各種アプリケーションに対するポインティングデバイスを使った画面操作ごとに、その操作点を含むその操作点の周囲領域とをアプリケーションの実行画面から部分的に切り出した（キャプチャーした）操作画像を生成して取得する。操作画像の切り出しは、表示部３の表示画面３ａで行った操作点（ポインタ操作又はタッチ操作を行った当該表示画面３ａにおける操作位置）を中心座標とし、そこから所定の形状及びサイズで操作点の周囲領域を含むようにして行われる。その形状及びサイズは、画像取得設定部２１で行う。切り出した操作画像はＪＰＥＧ、ＧＩＦ、ＰＮＧ等の画像データとして生成することができる。画像ファイル形式の指定は、後述の画像取得設定部２１で行うことができる。
また、画像取得部２０は、画面操作ごとに生成される操作画像を取得するごとに、ＣＰＵ５によってＯＳのシステムクロックから時刻情報を受け取り、個々の操作画像とその時刻情報とを関連付けて取得する。これにより各画面操作が行われた年月日と時刻を把握して、それを管理することができる。操作画像が生成される画面操作は、例えばマウスで実行画面のボタンを左クリックしたような場合だけでなく、ボタンやその他のコマンドが存在しない実行画面を左クリックしたような場合も含まれる。つまり、画像取得部２０は、ユーザが実行画面の画面上で入力操作部４のクリック操作又はタッチ操作を実行したことを検知することで、操作画像を生成する。それらのクリック操作又はタッチ操作を行うことで、何らかのコマンドが実行されることは、操作画像を生成するための必須条件にはならない。
画像取得設定部２１は、画像取得部２０がアプリケーションの実行画面を部分的に切り出して操作画像を生成する際の各種設定を行う。例えば、実行画面から切り出す操作画像の形状及びサイズを設定したり、切り出した実行画面を拡大する表示倍率を設定したりする。また、生成する操作画像の画像ファイル形式を設定することができる。
操作画像出力部２２は、画像取得部２０が取得した操作画像を操作履歴表示部２３と操作履歴記憶部２４に順次出力する制御を行う。
操作履歴表示部２３は、表示部３の表示画面３ａに操作履歴表示画面Ｗ３を表示する処理を行う。
操作履歴記憶部２４は、操作履歴データ（操作履歴ファイル）を揮発性記憶部７に一時記憶したり、不揮発性の外部記憶部５に保存する処理を行う。
操作表示装置１の表示画面の説明：
図５から図１０は、表示部３における表示画面３ａの一例である。表示画面３ａの全面にはＯＳのデスクトップ画面Ｗ１が表示されている。そして、デスクトップ画面Ｗ１の左側にはテキスト編集を行うアプリケーション「Ｔｅｘｔ Ｅｄｉｔｏｒ」の実行画面Ｗ２が表示されている。その右側には操作履歴表示画面Ｗ３が並んで表示されている。操作履歴表示画面Ｗ３の上部にある「ＭｅｅＣａｐ」は本実施形態による操作表示プログラムＰの名称である。以下の説明ではポインティングデバイス４ｂとしてマウスを使用し、「画面操作」としてポインタ操作を行う実施形態を例示して説明する。
先ず、アプリケーション「Ｔｅｘｔ Ｅｄｉｔｏｒ」にフォーカスを設定する。マウスの操作によりポインタＭを実行画面Ｗ２のテキスト入力欄Ｗ２１の上に移動させてからマウスの左ボタンをクリックする。すると、画面操作履歴制御部１３は、操作履歴表示画面Ｗ３の描画領域Ｗ３１に、フォーカスを設定したアプリケーション名「−−−Ｔｅｘｔ Ｅｄｉｔｏｒ−−−」を表示する。また、画面操作履歴制御部１３の画像取得部２０は、ポインタＭの中心座標から画像取得制御部２１にて設定した範囲で実行画面Ｗ２をスクリーンキャプチャーすることで、実行画面Ｗ２の一部を切り出した操作画像Ｗ３２を生成する。その操作画像Ｗ３２は、操作画像出力部２２によって操作履歴表示画面Ｗ３の描画領域Ｗ３１に出力され、図５で示すように前述のアプリケーション名の下に表示される。なお、操作画像Ｗ３２に時刻情報を並べて表示することもできる。
次に、キーボード４ａで非表示キーである「英数」キーを入力すると、図６で示すように、キー操作履歴制御部１２は、操作履歴表示画面Ｗ３の描画領域Ｗ３１に［Ｅｉｓｕ］の文字列を操作キーとして表示する。続けてキーボード４ａにより「Ｗｈａｔ‘ｓ ＭｅｅＣａｐ？」の入力操作を行う。すると、キー操作によりテキスト入力領域Ｗ２１に入力されたすべての文字列が、図６の操作履歴表示画面Ｗ３の描画領域Ｗ３１に操作キーとして表示される。
図７では、図６のテキスト入力領域Ｗ２１に入力した「Ｗｈａｔ‘ｓ ＭｅｅＣａｐ？」の文字列を選択してコピーして貼り付ける操作を説明する。先ず「ＨＯＭＥ」キーを入力してテキスト入力領域Ｗ２１のカーソルを行頭に移動させる。これにより操作履歴表示画面Ｗ３の描画領域Ｗ３１には、図７で示すように「ＨＯＭＥ」キーのキー表示が操作キーとして表示される。
そして「ＳＨＩＦＴ」キーを押しながら「↓」方向キーを押すことで、「Ｗｈａｔ‘ｓ ＭｅｅＣａｐ？」の文字列が選択される。これにより操作履歴表示画面Ｗ３の描画領域Ｗ３１には「ＳＨＩＦＴ＋↓」のキー表示が操作キーとして表示される。
さらに続けて「ＣＴＲＬ」キーとともに「Ｃ」を押すことで、その文字列がクリップボードにコピーされる。これにより操作履歴表示画面Ｗ３の描画領域Ｗ３１には「コマンド記号＋ｃ」のキー表示が操作キーとして表示される。それとともに、その意味を表す「Ｃｏｐｙ ｓｅｌｅｃｔｅｄ ｔｅｘｔ ｏｒ ｇｒａｐｈｉｃｓ ｔｏ ｔｈｅ Ｃｌｉｐｂｏａｒｄ」の説明書きがキー表示として併記される。こうした機能説明の説明書きの内容は、キー表示設定部１６にて設定することができる。
次に「ＣＴＲＬ」キーとともに「Ｖ」を押すことで、クリップボードにコピーされた文字列が図７で示すようにテキスト入力領域Ｗ２１にペーストされる。これにより操作履歴表示画面Ｗ３には「コマンド記号＋ｖ」のキー表示が操作キーとして表示されるとともに、その意味を表す「Ｐａｓｔｅ ｔｈｅ Ｃｌｉｐｂｏａｒｄ ｃｏｎｔｅｎｔｓ」の説明書きがキー表示として併記される。この説明書きもキー表示設定部１６にて設定できる。
図８では、テキスト入力領域Ｗ２１の２行目の「Ｗｈａｔ‘ｓ ＭｅｅＣａｐ？」の文字列に下線を付して、さらに斜体にするポインタ操作を行う。先ず２行目の文字列が選択された状態からマウスを操作して、ポインタＭによって実行画面Ｗ２の下線ボタンＷ２２をクリックする。これにより操作履歴表示画面Ｗ３の描画領域Ｗ３１には、操作画像Ｗ３２のときと同様にして、その操作画像Ｗ３３が表示される。これに続けてマウスを操作してポインタＭを実行画面Ｗ２の斜体ボタンＷ２３に移動してクリックする。これにより操作履歴表示画面Ｗ３の描画領域Ｗ３１には、その操作画像Ｗ３４が表示される。このようにしてアプリケーションの実行画面Ｗ２の各種操作ボタンＷ２２、Ｗ２３に対するポインタ操作を可視化することができる。
図９は、操作表示プログラムＰの機能を説明する図である。操作表示プログラムＰの操作履歴表示画面Ｗ３の上部には、各種の操作ボタンＢ１〜Ｂ９が配置されている。
キーボード形状の操作ボタンＢ１は、操作履歴表示画面Ｗ３の描画領域Ｗ３１に対する操作キーの表示／非表示を切り替えるボタンである。この操作ボタンＢ１をポインタ操作でクリックして図９で示す斜線が付いた状態になると、操作履歴表示画面Ｗ３の描画領域Ｗ３１にフォーカスが「ＭｅｅＣａｐ」に設定されたことを示す「−−−ＭｅｅＣａｐ−−−」の文字列が表示される。その下には「Ｋｅｙ Ｃａｐｔｕｒｅ ｓｕｓｐｅｎｄｅｄ！」の文字列が表示され、それ以降、操作キーが操作履歴表示画面Ｗ３の描画領域Ｗ３１に表示されなくなる。図９では、描画領域Ｗ３１に操作履歴表示画面Ｗ３から実行画面Ｗ２にフォーカスを設定した際の操作画像Ｗ３５が表示されているが、その後にテキスト入力領域Ｗ２１の３行目に入力された「Ｗｈａｔ‘ｓ ＭｅｅＣａｐ？」の文字列については、それに対応する操作キーは操作画像Ｗ３５の下に表示されていない。これによればアプリケーションに入力するパスワード等の秘密情報を操作履歴表示画面Ｗ３で表示できないようにすることができる。
マウス形状の操作ボタンＢ２は、操作履歴表示画面Ｗ３の描画領域Ｗ３１への操作画像の表示／非表示を切り替えるボタンである。この操作ボタンＢ２をポインタ操作でクリックして斜線が付いた状態になると、操作画像が操作履歴表示画面Ｗ３の描画領域Ｗ３１に表示されなくなる。これによっても秘匿性の高いポインタ操作等を表示しないようにすることができる。
紙図形に「Ｗ」の文字を付した形状の操作ボタンＢ３は、操作履歴表示画面Ｗ３の描画領域Ｗ３１の編集操作の可否を切り替えるボタンである。この操作ボタンＢ３をポインタ操作でクリックすると、操作履歴表示画面Ｗ３の描画領域Ｗ３１へのテキスト編集が行えるようになる。これにより例えば操作画像Ｗ３２〜Ｗ３４に説明書きを付け加えるような編集作業を行うことができる。
円柱形状の操作ボタンＢ４は、操作履歴表示画面Ｗ３の描画領域Ｗ３１に表示されている内容を操作履歴データとして外部記憶部５に保存するためのボタンである。
円の中に四角形を配置した形状の操作ボタンＢ５は、デスクトップ画面Ｗ１の全体を動画として録画する録画ボタンである。図３で示す操作表示装置１は操作履歴表示制御部１１とは別に「動画取得部」を有する。これによればアプリケーションの実行画面Ｗ２と操作履歴表示画面Ｗ３とを含むデスクトップ画面Ｗ１の全体の変化を動画として録画することができる。
画面を前後に重ねて配置した形状の操作ボタンＢ６は、操作履歴表示画面Ｗ３の描画領域Ｗ３１の背景色を有色と無色透明とで切り替えるためのボタンである。この操作ボタンＢ６をポインタ操作でクリックすると、操作履歴表示画面Ｗ３の描画領域Ｗ３１の背景色が、例えば白色から図１０で示すような無色透明に変化する。この無色透明に変化した状態では、操作履歴表示制御部１１は操作履歴表示画面Ｗ３に対するフォーカスを受け付けないように設定する。即ち、図１０で示すように、操作履歴表示画面Ｗ３と重なっているデスクトップ画面Ｗ１にあるアイコンＷ１１、Ｗ１２に対するポインタ操作が可能となる。したがって操作履歴表示画面Ｗ３によってアプリケーションやＯＳに対する操作性を損ねないようにすることができる。
操作ボタンＢ７は、各種の設定画面を表示するためのボタンである。具体的には例えば以下のような設定が行える。
［フォント設定］描画領域Ｗ３１に表示される操作キーのフォントサイズや文字色等の書式や、描画領域Ｗ３１の背景色等のフォント設定が表示される。
［キーキャプチャー設定１］修飾キーや機能キー等の非表示キーのキー表示だけを描画領域Ｗ３１に操作キーとして表示する。
［キーキャプチャー設定２］修飾キーや機能キー等の入力時に意味が併記される（図７参照）。
［キーキャプチャー設定３］操作ボタンＢ１をオフにした場合に（図９）、最後のキーボード操作から例えば５秒経過すると自動で操作ボタンＢ１がオンに戻る。
［マウスキャプチャー設定］操作画像を切り出す大きさを調整する。
操作ボタンＢ８は、描画領域Ｗ３１を検索する検索ボタンである。この操作ボタンＢ８をポインタ操作でクリックすると、検索画面が表示される（図示略）。その検索画面に検索ワードを入力し、検索を実行することで、その検索ワードを含む操作履歴が表示される。検索条件としては、ソフトウェアの名称、任意の文字列、操作画像、時刻情報を利用することができる。
なお、外部記憶部５に保存している過去の操作履歴ファイルを検索する場合には、操作表示プログラムＰで当該ファイルを開いて、上記検索画面で検索することができる。また、過去の操作履歴ファイルがリッチテキスト形式で保存されている場合には、汎用の文書作成ソフトやブラウザで当該ファイルを開いて、それらに実装されている検索機能を使って検索することもできる。
操作ボタンＢ９は、操作履歴表示画面Ｗ３の描画領域Ｗ３１に表示されている内容を全て削除するボタンである。
なお、図５〜図１０の説明では、ＯＳのデスクトップ画面Ｗ１にアプリケーション「Ｔｅｘｔ Ｅｄｉｔｏｒ」の実行画面Ｗ２だけを表示する例を示した。しかしながら、他の１以上のアプリケーションの実行画面を並べて表示してもよい。また、デスクトップ画面Ｗ１に表示せず実行画面を最小化しておいてもよい。
複数のアプリケーションを交互に使用する場合、操作履歴表示画面Ｗ３の描画領域Ｗ３１には、現在操作中のアプリケーションＡのキー表示と操作画像が表示され、フォーカスを他のアプリケーションＢに切り替えると、アプリケーションＡの操作履歴に続けてアプリケーションＢの名称が表示され、アプリケーションＢでのキー表示と操作画像が表示されることになる。つまり、描画領域Ｗ３１には複数のアプリケーションの操作履歴が連続して表示されることになる。このようにすることで、ユーザがどのようなアプリケーションを組み合わせて使用しているか（業務で使用するアプリケーション間の関連性）を知ることができる。なお、描画領域Ｗ３１に表示する操作履歴が多くなった場合には、スクロールして表示することができる。
操作表示装置１の動作フローの説明：
図１１は、操作表示プログラムＰを実行する操作表示装置１の動作フローチャートである。
操作表示プログラムＰが起動されると（Ｓ１）、フォーカスが設定されたアプリケーションについてキー操作又はポインタ操作（画面操作）が行われるのを待機する状態となる（Ｓ３）。即ちキー入力データ取得部１４が入力操作部４のキー入力により生成されるキー入力データの取得を待機する状態となる。また、画像取得部２０が入力操作部４のポインタ操作が行われるのを待機する状態となる。
そしてキー入力データ取得部１４がキー入力データを取得すると（Ｓ５）、キー種類判定部１５は、キー入力データが「一つのキー表示」に対応するキー入力であるか否かを判定する（Ｓ７）。例えば「ＣＴＲＬ」のキー入力によるキー入力データを取得した場合、キー種類判定部１５はそれ単独では「一つのキー表示」と判定せず、次入力を待機する状態となる（Ｓ９）。
他方、例えば英文字「Ａ」のキー入力によるキー入力データを取得した場合、キー種類判定部１５はそれ単独で「一つのキー表示」と判定する（Ｓ７）。すると操作キー出力部１９は、そのキー入力に対応するキー表示「Ａ」を操作履歴表示部２３と操作履歴記憶部２４に出力する処理を実行する（Ｓ１７）。これにより操作履歴表示部２３は操作履歴表示画面Ｗ３にキー表示「Ａ」を操作キーとして表示する。また、操作履歴記憶部２４は、当該キー表示を揮発性記憶部７に一時記憶するか、外部記憶部５に記憶することになる（Ｓ１９）。
ステップを戻って、ステップＳ９で次入力を待機する状態となり、次のキー入力がなされると、キー入力データ取得部１４がキー入力データを取得し（Ｓ１１）、上記と同様にキー種類判定部１５はキー入力データが、その直前のキー入力データと組み合わせて「一つのキー表示」を構成するキー入力に該当するか否かを判定する（Ｓ１３）。ここでは「ＣＴＲＬ」の直後のキー入力であるため、それと組み合わされて入力操作として完結するキーが入力されたか否かを判定する。ここで例えば「Ｃ」又は「Ｖ」がキー入力されていれば、「ＣＴＲＬ＋Ｃ」又は「ＣＴＲＬ＋Ｖ」を「一つのキー表示」として判定する。そして操作キー出力部１９は、それに対応するキー表示「ＣＴＲＬ＋Ｃ」又は「ＣＴＲＬ＋Ｖ」を表示データ記憶部１８から読み出して操作履歴表示部２３と操作履歴記憶部２４に出力する処理を実行する（Ｓ１７）。これにより操作履歴表示部２３は、当該キー表示を「一つのキー表示」及び操作キーとして描画領域Ｗ３１に表示する。また、操作履歴記憶部２４は、当該キー表示を揮発性記憶部７に一時記憶するか、外部記憶部５に記憶することになる（Ｓ１９）。
他方、ステップ１３で、次入力がその直前の「ＣＴＲＬ」と結合して入力操作として完結しないキー入力であると判定された場合には、操作キー出力部１９はそれらのキー入力に対応するキー表示を、その入力順に操作履歴表示部２３と操作履歴記憶部２４に出力する（Ｓ１５）。これにより操作履歴表示部２３は、当該キー表示を「一つのキー表示」として描画領域Ｗ３１に表示する。また、操作履歴記憶部２４は、当該キー表示を揮発性記憶部７に一時記憶するか、外部記憶部５に記憶することになる（Ｓ１９）。
ステップを戻って、ステップＳ３の入力待機の状態からポインタ操作が行われた場合には（Ｓ２１）、画像取得部２０が実行画面２１をキャプチャーした操作画像を取得し（Ｓ２３）、操作画像出力部２２が操作画像を操作履歴表示部２３と操作履歴記憶部２４に出力する（Ｓ２５）。操作履歴表示部２３は、操作画像を描画領域Ｗ３１に表示する。また、操作履歴記憶部２４は、当該操作画像を揮発性記憶部７に一時記憶するか、外部記憶部５に記憶することになる（Ｓ１９）。
以上のような一連のステップは、キー入力ごと及びポインタ操作ごとに処理が実行される。そして操作表示プログラムＰの実行を終了した場合には（Ｓ２７）、操作表示プログラムＰも終了する（Ｓ２９）。
以上のような操作表示装置１、操作表示プログラムＰによれば、アプリケーションに対して行ったすべてのキー操作とポインタ操作を操作履歴表示画面Ｗ３で表示することができる。よって、アプリケーションに対する操作を、視覚を通じて容易に把握することができる。また、アプリケーションに対して行ったすべてのキー操作とポインタ操作の履歴を操作履歴記憶部２４に記憶することができる。よって、操作画像の保存後であっても、その操作画像を繰り返し確認することができる。
以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加などが可能である。
例えば、上記実施形態の操作表示プログラムＰを、コンピュータ装置で読取り可能な記憶媒体として提供することも可能である。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリ等、プログラムを記憶でき、コンピュータ装置で読取れる記憶媒体であれば記憶形式は何れの形態であってもよい。
また、上記実施形態の操作表示プログラムＰを、インターネット等のネットワークに接続されたコンピュータ装置に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
操作履歴表示画面Ｗ３の描画領域Ｗ３１に表示された操作キーと操作画像Ｗ３２〜Ｗ３５を含む一連の操作データや、操作ボタンＢ５の操作により取得した動画データは、操作表示装置１を構成するコンピュータ装置の外部記憶部５に記憶することができる。また、図１２で示すように、操作表示装置１と通信ネットワーク３０を介して接続された端末装置３１に備える記憶装置で記憶するように構成することもできる。これによれば、操作表示装置１での操作内容を、他の操作表示装置１′と共有したり、管理端末３２により管理することができる。
操作表示装置１で操作履歴表示画面Ｗ３を表示することは必須ではない。例えば、操作表示装置１のＯＳ及びアプリケーションのバックグラウンドで操作表示プログラムＰを実行させ、操作表示装置１で生成した操作履歴データ（キー入力データ及び操作画像等）を、通信ネットワーク３０を介して接続された端末装置３１に自動送信し、端末装置３１に備える記憶装置に記憶させるようにしてもよい。このように複数の操作端末（操作表示装置１）と、各操作端末と通信ネットワーク３０を介して接続される操作情報収集サーバ（端末装置３１）とを備えており、各操作端末は生成した操作履歴データを、通信ネットワークを通じて操作情報収集サーバに送信し、操作情報収集サーバは各操作端末から受信した操作履歴データを記憶装置に記憶する「操作情報収集システム」として構成することができる。そして操作情報収集サーバは、受信した操作履歴データから操作履歴ファイルを生成するものとして構成することができる。このような操作情報収集システムによれば、各操作端末での操作履歴を、操作情報収集サーバで記録することできる。操作情報収集サーバで当該操作履歴を表示することもできる。そして操作情報収集サーバに保存する操作履歴データ（操作履歴ファイル）を、１以上の操作端末に配信することで、操作履歴を可視化することができる。各操作端末による操作履歴データの送信は、リアルタイムでも、任意のタイミングとして設定してもよい。また、操作情報収集サーバに記憶した操作履歴データ（操作履歴ファイル）は、操作端末では閲覧制限をかけ、管理端末３２でのみ閲覧できるようにしたり、管理端末３２とアクセス制限が解除された操作端末だけが閲覧できるようにしてもよい。
操作表示装置１の操作履歴データを記憶する端末装置３１は、操作履歴データを分析する分析機能を提供するサーバ（操作履歴分析サーバ３１）として構成することができる。ここで幾つかの分析機能を例示する。
（１）業務処理量の実態調査
操作履歴分析サーバ３１は「アプリケーション別の利用時間」を分析することができる。操作履歴分析サーバ３１は、利用するアプリケーションを個人・グループ・組織単位で集計することができる。これにより収益を生むシステムに労働力を集中できているか、逆に収益を生まない管理系のシステムにどれだけの時間を投入しているか、売上高などのＫＰＩと複合させた場合にどのようなアプリケーションの利用率が好ましいのか等を分析することができる。
操作履歴分析サーバ３１は「時間の使い方」を分析することができる。操作履歴分析サーバ３１は、利用しているアプリケーションの利用順序を可視化する。これにより業務終了間際に翌日に持ち越すような作業を行っていないか等を分析することができる。
（２）業務実施方法の分析・検討
操作履歴分析サーバ３１は「個人別の業務処理方法」を分析できる。操作履歴分析サーバ３１は、業務用のアプリケーションを使用する際の操作画像の変化（画面遷移の回数等）を可視化する。これにより業務スキルの高い人と低い人で業務効率に差が無いかを分析することができる。また、フォルダ体系が複雑であると使用する業務ファイルを探すのにムダな時間がかかってしまう。使用する業務ファイルに到達するまでの操作画像の変化（画面遷移の回数）からフォルダ管理方法の効率性を分析できる。
（３）生産性向上へのアプローチの分析・検討
操作履歴分析サーバ３１は「ＲＰＡ導入・定型業務のシステム化による効果試算」を分析できる。操作履歴分析サーバ３１は、例えば様々な業務で使用する複数のアプリケーションの使用実績（頻度、使用時間等）を可視化する。このため頻度や使用時間の多いアプリケーションでの作業について、ＲＰＡ（Robotic Process Automation）を導入したり、システム化することによる改善効果を定量的に分析することができる。
本発明の操作表示装置１、操作表示プログラムＰ、操作表示方法は、本実施形態の冒頭で述べたパーソナルコンピュータ、タブレット端末のほかにも、スマートフォン、ゲーム機、産業機器、医療機器等、ソフトウェアを使用して画面操作を行うあらゆる装置に適用することができる。
１ 操作表示装置
２ 制御部
３ 表示部
３ａ 表示画面
４ 入力操作部
４ａ キーボード
４ｂ ポインティングデバイス
５ 外部記憶部
６ ＣＰＵ
７ 揮発性記憶部
８ 不揮発性記憶部
９ 通信インターフェース
１０ 外部接続機器インターフェース
１０ａ 表示インターフェース
１０ｂ 入力インターフェース
１０ｃ メモリインターフェース
１１ 操作履歴表示制御部
１２ キー操作履歴制御部
１３ 画面操作履歴制御部
１４ キー入力データ取得部
１５ キー種類判定部
１６ キー表示設定部
１７ 表示設定記憶部
１８ 表示データ記憶部
１９ 操作キー出力部
２０ 画像取得部
２１ 画像取得設定部
２２ 操作画像出力部
２３ 操作履歴表示部
２４ 操作履歴記憶部
３０ 通信ネットワーク
３１ 端末装置
３２ 管理端末
Ｍ ポインタ
Ｗ１ デスクトップ画面
Ｗ１１〜Ｗ１２ アイコン
Ｗ２ アプリケーションの実行画面
Ｗ２１ テキスト入力領域
Ｗ２２ 下線ボタン
Ｗ２３ 斜体ボタン
Ｗ３ 操作履歴表示画面
Ｗ３１ 描画領域
Ｗ３２〜Ｗ３５ 操作画像
Ｂ１〜Ｂ９ 操作ボタン
Ｐ 操作表示プログラム
ＰＤ データテーブル

Claims (10)

  1. 操作情報収集システムであり、
    複数の操作端末と、管理端末と、端末装置とを備え、前記複数の操作端末と前記管理端末は通信ネットワークを介して前記端末装置に接続され、
    前記操作端末は、それぞれ、操作履歴データを生成し、前記通信ネットワークを介して前記端末装置に送信可能に構成され、
    ここで前記操作履歴データとは、複数のキー入力データと複数の操作画像とを含み、
    さらに前記キー入力データとは、前記操作端末で実行される少なくとも１以上のソフトウェアに対してキー入力されることで生成されるデータであり、前記操作画像とは、前記ソフトウェアの画面操作がなされたときに、その操作点と前記操作点の周囲領域とを前記ソフトウェアの実行画面から部分的にキャプチャーすることで生成されるデータであり、
    前記端末装置は、前記操作履歴データを用いて操作履歴ファイルを生成し、前記通信ネットワークを介して前記操作端末又は前記管理端末の少なくとも何れかに配信可能であり、
    ここで前記操作履歴ファイルは、前記操作端末で実行された前記複数のソフトウェアを操作順に時系列で表示し、且つ前記ソフトウェアごとに、前記ソフトウェアの名称に続けて、前記キー入力データとしての複数の操作キーと複数の前記操作画像の画像自体とを取得順に時系列で表示することにより、前記複数のソフトウェアに対するキー操作と画面操作の操作履歴を連続して表示可能に構成される
    操作情報収集システム。
  2. 前記操作履歴データは、前記キー入力データの取得時の時刻情報、前記操作画像の取得時の時刻情報、前記ソフトウェアの識別情報を含む
    請求項１記載の操作情報収集システム。
  3. 請求項１又は２記載の操作情報収集システムであり、
    複数の前記操作端末が送信した前記操作履歴データを記憶する記憶装置を備える
    操作情報収集システム。
  4. 請求項１又は２記載の操作情報収集システムであり、
    前記端末装置は、前記操作履歴データを分析可能な操作履歴分析サーバとして構成され、
    前記操作履歴分析サーバは、前記操作履歴データに基づき前記ソフトウェアごとにそれぞれの使用実績を集計可能である
    操作情報収集システム。
  5. 請求項１又は２記載の操作情報収集システムであり、
    前記端末装置は、前記操作履歴データを分析可能な操作履歴分析サーバとして構成され、
    前記操作履歴分析サーバは、前記操作履歴データに基づき前記ソフトウェアごとにそれぞれの利用時間を個人単位及びグループ単位で集計可能であり、
    ここで前記個人単位とは前記個人が使用する前記操作端末であり、前記グループ単位とは複数の前記操作端末である
    操作情報収集システム。
  6. 請求項１又は２記載の操作情報収集システムであり、
    前記端末装置は、前記操作履歴データを分析可能な操作履歴分析サーバとして構成され、
    前記操作履歴分析サーバは、前記操作履歴データに基づき複数の前記ソフトウェアの利用順序を特定可能である
    操作情報収集システム。
  7. 請求項１又は２記載の操作情報収集システムであり、
    前記操作端末は、前記操作履歴データを分析可能な操作履歴分析サーバとして構成され、
    前記操作履歴分析サーバは、前記操作履歴データに基づき前記操作画像の変化を特定可能である
    操作情報収集システム。
  8. 複数のソフトウェアを実行するコンピュータ装置を、キー入力データ取得部、画像取得部、操作履歴表示部として機能させる操作表示プログラムであり、
    前記キー入力データ取得部は、前記ソフトウェアごとにキー操作された操作キーをキー入力データとして取得可能に構成されており、
    前記画像取得部は、前記ソフトウェアごとに画面操作がされたときに操作点を含む操作画像を生成可能に構成されており、
    前記操作履歴表示部は、前記ソフトウェアごとに、前記ソフトウェアの名称と前記操作キーと前記操作画像とを、操作履歴表示画面に表示可能に構成されており、前記操作履歴表示画面は、前記複数のソフトウェアを操作順に時系列で表示し、且つ前記ソフトウェアごとに、前記ソフトウェアの名称に続けて、前記操作キーと前記操作画像の画像自体とを取得順に時系列で表示することにより、前記複数のソフトウェアに対するキー操作と画面操作の操作履歴を連続して表示可能に構成される
    操作表示プログラム。
  9. 請求項８記載の操作表示プログラムであり、
    前記画像取得部は、前記複数のソフトウェアの実行画面を含むように前記操作画像を生成可能に構成されている
    操作表示プログラム。
  10. 複数のソフトウェアを実行するコンピュータ装置を、操作履歴表示部として機能させる操作表示プログラムであり、
    前記操作履歴表示部は、前記ソフトウェアごとに、前記ソフトウェアの名称と操作キーと操作画像とを、操作履歴表示画面に表示可能に構成されており、
    ここで前記操作キーは、前記ソフトウェアごとにキー操作されたキーであり、
    さらに前記操作画像は、前記ソフトウェアごとに画面操作がされたときに操作点を含むようにスクリーンキャプチャーした画像であり、
    さらに前記操作履歴表示画面は、前記複数のソフトウェアを操作順に時系列で表示し、且つ前記ソフトウェアごとに、前記ソフトウェアの名称に続けて、前記操作キーと前記操作画像の画像自体とを取得順に時系列で表示することにより、前記複数のソフトウェアに対するキー操作と画面操作の操作履歴を連続して表示可能に構成される
    操作表示プログラム。
JP2018516206A 2017-02-20 2018-02-19 操作情報収集システム及び操作表示プログラム Active JP6966429B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017029520 2017-02-20
JP2017029520 2017-02-20
PCT/JP2018/005818 WO2018151303A1 (ja) 2017-02-20 2018-02-19 操作表示装置及び操作表示プログラム

Publications (2)

Publication Number Publication Date
JPWO2018151303A1 JPWO2018151303A1 (ja) 2019-12-12
JP6966429B2 true JP6966429B2 (ja) 2021-11-17

Family

ID=63169428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018516206A Active JP6966429B2 (ja) 2017-02-20 2018-02-19 操作情報収集システム及び操作表示プログラム

Country Status (3)

Country Link
US (1) US20210064397A1 (ja)
JP (1) JP6966429B2 (ja)
WO (1) WO2018151303A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580876B2 (en) * 2018-03-28 2023-02-14 Kalpit Jain Methods and systems for automatic creation of in-application software guides based on machine learning and user tagging
WO2020204144A1 (ja) * 2019-04-02 2020-10-08 株式会社サザンウィッシュ 業務分析方法
JP7349278B2 (ja) * 2019-07-11 2023-09-22 株式会社ディスコ 加工装置
US20240096055A1 (en) * 2021-02-08 2024-03-21 Nippon Telegraph And Telephone Corporation Operation log generation device and operation log generation method
US11900680B2 (en) * 2022-04-11 2024-02-13 Citrix Systems, Inc. Extracting clips of application use from recordings of sessions

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280174A (ja) * 2006-04-10 2007-10-25 Hitachi Electronics Service Co Ltd 操作履歴記録装置
JP2009302985A (ja) * 2008-06-16 2009-12-24 Nippon Telegr & Teleph Corp <Ntt> 映像推薦方法、映像推薦装置、映像推薦プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010049388A (ja) * 2008-08-20 2010-03-04 Fuji Xerox Co Ltd 画像処理装置及び障害解析プログラム
JP2011253476A (ja) * 2010-06-04 2011-12-15 Hitachi High-Tech Control Systems Corp 運転操作履歴収集システム
US9535682B2 (en) * 2013-12-27 2017-01-03 Hitachi, Ltd. Method of determining whether input operation dialogue is displayable and computer system
JP5954369B2 (ja) * 2014-04-30 2016-07-20 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム

Also Published As

Publication number Publication date
US20210064397A1 (en) 2021-03-04
JPWO2018151303A1 (ja) 2019-12-12
WO2018151303A1 (ja) 2018-08-23

Similar Documents

Publication Publication Date Title
JP6966429B2 (ja) 操作情報収集システム及び操作表示プログラム
Horváth et al. Factors contributing to the enhanced performance of the maxwhere 3d vr platform in the distribution of digital information
US10248305B2 (en) Manipulating documents in touch screen file management applications
US10579238B2 (en) Flexible screen layout across multiple platforms
US9836192B2 (en) Identifying and displaying overlay markers for voice command user interface
US7925988B2 (en) System and method for providing sticky applications
US9342493B2 (en) Transient, real-time position tracking interface for user activity in a document editing application
US20130275904A1 (en) Interactive data visualization and manipulation
US20110093819A1 (en) Zeroclick
JP2007304669A (ja) 電子機器の制御方法およびプログラム
US5594847A (en) System and method for selecting free form objects associated with a selection region displayed by a computer
Ziegler et al. Direct manipulation
JP2007257642A (ja) 関連するユーザ・インターフェース・コントロールを強調表示するための装置、方法、およびシステム（関連するユーザ・インターフェース・コントロールを強調表示するための装置および方法）
WO2014197819A2 (en) Financial information management system and user interface
US11194835B2 (en) Communication system and method for providing data visualizations
JP4148721B2 (ja) 会議支援用共用端末、情報処理プログラム、記憶媒体、情報処理方法及び会議支援システム
Billingsley Taking panes: Issues in the design of windowing systems
Derzho et al. Controlling an application via a hybrid interface
US9262060B1 (en) Method and apparatus for performing viewmarking
JP5828050B1 (ja) キー入力表示装置、キー入力表示プログラムおよびキー入力表示方法
Beaudouin-Lafon Human-computer interaction
JP4143913B2 (ja) 窓表示方法、窓表示装置、窓表示プログラム及び窓表示プログラムを記録したコンピュータ読み取り可能な記録媒体
KR102201585B1 (ko) 온라인 콘텐츠 제공 시스템 및 온라인 콘텐츠 제공 방법
JP2019020884A (ja) ブラウザアプリケーションソフトウェア
JP6487309B2 (ja) キー入力表示装置、キー入力表示プログラムおよびキー入力表示方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211021

R150 Certificate of patent or registration of utility model

Ref document number: 6966429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150