JP7248067B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP7248067B2
JP7248067B2 JP2021143158A JP2021143158A JP7248067B2 JP 7248067 B2 JP7248067 B2 JP 7248067B2 JP 2021143158 A JP2021143158 A JP 2021143158A JP 2021143158 A JP2021143158 A JP 2021143158A JP 7248067 B2 JP7248067 B2 JP 7248067B2
Authority
JP
Japan
Prior art keywords
software
screen
display
recording
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021143158A
Other languages
English (en)
Other versions
JP2022002105A (ja
Inventor
篤史 香川
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2021143158A priority Critical patent/JP7248067B2/ja
Publication of JP2022002105A publication Critical patent/JP2022002105A/ja
Priority to JP2022168917A priority patent/JP7384260B2/ja
Application granted granted Critical
Publication of JP7248067B2 publication Critical patent/JP7248067B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Stored Programmes (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
ソフトウェアの操作手順を記録し、その記録された操作手順に従ってソフトウェアを自動的に実行する場合がある。
特許文献1には、ジョブの実行態様をそれぞれ規定する複数の定義階層において、各定義階層に対応する複数の定義情報と、複数の定義情報間の対応関係を保持し、1つの定義階層における定義情報を所定の表示位置に表示させ、その箇所がユーザによって指定された場合、対応関係においてその箇所に対応付けられた別の定義階層における定義情報を更に表示させる装置が開示されている。
特許文献2には、ジョブフロー仕様書解析、プログラム解析、ファイル/テーブル詳細定義解析を行い、ジョブ制御言語文基本情報を作成し、そのジョブ制御言語文基本情報を対話形式にて完成させ、完成したジョブ制御言語文基本情報を基に、ジョブ制御言語文を自動作成する方法が開示されている。
特開2011-118520号公報 特開平11-110202号公報
ところで、ソフトウェアの操作手順が記録されたときの表示環境とは異なる表示環境にてソフトウェアを操作する場合、その環境の差に起因して、記録された操作手順通りにソフトウェアが操作されないことがある。
本発明の目的は、ソフトウェアの操作手順が記録されたときの表示環境とは異なる表示環境にてソフトウェアを操作する場合であっても、その操作手順に従ってソフトウェアが操作されるようにすることにある。
請求項1に記載の発明は、ソフトウェアの操作手順を記録し、前記操作手順に従ってソフトウェアの操作を制御するための制御情報を生成する記録手段と、前記記録手段によって記録された前記操作手順を表示する画面の表示を制御する表示制御手段と、前記表示制御手段によって表示された前記画面上で前記操作手順を編集することで前記制御情報を編集する編集手段と、を有し、前記表示制御手段は、ソフトウェアに紐付く画像を前記操作手順の順番で並べて前記画面上に表示前記画面上の画素数をカウントすることで、操作されたソフトウェアが識別される、情報処理装置である。
請求項2に記載の発明は、前記表示制御手段は、前記ソフトウェアに紐付く画像が指定された場合、前記画像に紐付くソフトウェアに対する操作手順の記録時に行われた操作内容を、前記画面上に表示する、ことを特徴とする請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記ソフトウェアは、前記ソフトウェアがインストールされている装置にて実行可能なソフトウェアである、ことを特徴とする請求項1又は請求項2に記載の情報処理装置である。
請求項に記載の発明は、予め定められた基準画像が指定された場合、各ソフトウェア間の相対的な表示位置関係が定められた領域が表示され、前記領域内にソフトウェアの一覧が表示される、ことを特徴とする請求項1から請求項のいずれか一項に記載の情報処理装置である。
請求項5に記載の発明は、ソフトウェアの操作手順を記録し、前記操作手順に従ってソフトウェアの操作を制御するための制御情報を生成する記録手段と、前記記録手段によって記録された前記操作手順を表示する画面の表示を制御する表示制御手段と、前記表示制御手段によって表示された前記画面上で前記操作手順を編集することで前記制御情報を編集する編集手段と、を有し、前記表示制御手段は、ソフトウェアに紐付く画像を前記操作手順の順番で並べて前記画面上に表示し、予め定められた基準画像が指定された場合、各ソフトウェア間の相対的な表示位置関係が定められた領域が表示され、前記領域内にソフトウェアの一覧が表示される、情報処理装置である。
請求項に記載の発明は、前記各ソフトウェアは互いに異なる機能を有するソフトウェアである、ことを特徴とする請求項4又は請求項5に記載の情報処理装置である。
請求項に記載の発明は、前記操作手順が記録された装置とは異なる装置にて、前記制御情報に従ってソフトウェアの操作が制御される、ことを特徴とする請求項1から請求項のいずれか一項に記載の情報処理装置である。
請求項に記載の発明は、前記制御情報に従ったソフトウェアの実行時に、前記制御情報に従ってソフトウェアの表示位置が指定されてソフトウェアが操作される、ことを特徴とする請求項に記載の情報処理装置である。
請求項に記載の発明は、前記操作手順の記録時の表示環境とソフトウェアの実行時の表示環境との差異に応じて、ソフトウェアの実行時に指定される位置が変更される、ことを特徴とする請求項に記載の情報処理装置である。
請求項1に記載の発明は、前記記録手段は、前記操作手順の記録時の表示環境を示す情報と前記操作手順とを共に記録する、ことを特徴とする請求項に記載の情報処理装置である。
請求項1に記載の発明は、前記表示環境は、画面サイズ及び画面解像度の中の少なくとも1つである、ことを特徴とする請求項又は請求項1に記載の情報処理装置である。
請求項1に記載の発明は、前記記録手段は、前記画面のサイズを予め定められたサイズに固定した状態で前記操作手順を記録する、ことを特徴とする請求項1から請求項1のいずれか一項に記載の情報処理装置である。
請求項1に記載の発明は、前記予め定められたサイズは最大サイズである、ことを特徴とする請求項1に記載の情報処理装置である。
請求項1に記載の発明は、前記表示制御手段は、前記画像が指定された場合、前記画像に紐付くソフトウェアを使って前記操作手順の記録時に行われた操作内容の表示を制御する、ことを特徴とする請求項1から請求項1のいずれか一項に記載の情報処理装置である。
請求項1に記載の発明は、前記確認画面内における前記画像の並び順を変えることで、前記画像に紐付くソフトウェアの操作順が変更される、ことを特徴とする請求項1から請求項1のいずれか一項に記載の情報処理装置である。
請求項1に記載の発明は、コンピュータを、ソフトウェアの操作手順を記録し、前記操作手順に従ってソフトウェアの操作を制御するための制御情報を生成する記録手段、前記記録手段によって記録された前記操作手順を表示する画面の表示を制御する表示制御手段、前記表示制御手段によって表示された前記画面上で前記操作手順を編集することで前記制御情報を編集する編集手段、として機能させ、前記表示制御手段は、ソフトウェアに紐付く画像を前記操作手順の順番で並べて前記画面上に表示前記画面上の画素数をカウントすることで、操作されたソフトウェアが識別される、プログラムである。
請求項17に記載の発明は、コンピュータを、ソフトウェアの操作手順を記録し、前記操作手順に従ってソフトウェアの操作を制御するための制御情報を生成する記録手段、前記記録手段によって記録された前記操作手順を表示する画面の表示を制御する表示制御手段、前記表示制御手段によって表示された前記画面上で前記操作手順を編集することで前記制御情報を編集する編集手段、として機能させ、前記表示制御手段は、ソフトウェアに紐付く画像を前記操作手順の順番で並べて前記画面上に表示し、予め定められた基準画像が指定された場合、各ソフトウェア間の相対的な表示位置関係が定められた領域が表示され、前記領域内にソフトウェアの一覧が表示される、プログラムである。
請求項1-1,16,17に記載の発明によれば、ソフトウェアの操作手順が記録されたときの表示環境とは異なる表示環境にてソフトウェアを操作する場合であっても、その操作手順に従ってソフトウェアを操作することが可能となる。
請求項1-1,16,17に記載の発明によれば、操作手順の確認が可能となる。
請求項1-1,16,17に記載の発明によれば、操作手順が視覚的に分かり易い態様でユーザに提供される。
請求項1に記載の発明によれば、記録された操作内容が視覚的に分かり易い態様でユーザに提供される。
請求項1に記載の発明によれば、簡単な作業で操作手順の編集が可能となる。
本実施形態に係る端末装置を示すブロック図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。
図1を参照して、本実施形態に係る情報処理装置の一例としての端末装置について説明する。図1には、本実施形態に係る端末装置10が示されている。
端末装置10は、例えば、パーソナルコンピュータ(PC)、タブレットPC、スマートフォン、携帯電話、等の装置であり、ソフトウェア(プログラム)を実行する機能、ソフトウェアの操作手順(実行手順)を記録する機能、等を備えている。ソフトウェアは、OS(オペレーティングシステム)等のシステムソフトウェア、特定の処理を実行するアプリケーションソフトウェア等である。端末装置10は、サーバ等の装置であってもよい。以下、端末装置10について詳しく説明する。
通信部12は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部12は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。なお、端末装置10は通信部12を備えていなくてもよい。
記憶部14はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部14には、各種のデータ、各種のソフトウェア(システムソフトウェアやアプリケーションソフトウェア等)等が記憶されている。また、他の装置のアドレスを示す情報が記憶部14に記憶されていてもよい。上記の情報は、それぞれ別々の記憶装置に記憶されてもよいし、同じ記憶装置に記憶されてもよい。
UI部16はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボードやマウス等の入力装置である。表示部と操作部を兼ねたユーザインターフェース(例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む)であってもよい。
制御部18は、端末装置10の各部の動作を制御する機能を備えている。また、制御部18は、表示制御部20と記録部22を含む。
表示制御部20は、各種の情報をUI部16の表示部に表示させる機能を備えている。例えば、表示制御部20は、いわゆるデスクトップ画面(基本となる操作画面)をUI部16の表示部に表示させ、そのデスクトップ画面上に、アプリケーションソフトウェアに紐付く画像(いわゆるアイコン)や、文書データや画像データ等のファイルに紐付く画像(アイコン)や、アプリケーションソフトウェアやファイルが格納されるフォルダに紐付く画像(アイコン)等を表示させる。また、アプリケーションソフトウェアが実行された場合(起動させられた場合)、表示制御部20は、そのアプリケーションソフトウェアの操作画面をUI部16の表示部に表示させる。例えば、文書作成用のアプリケーションソフトウェアが起動させられた場合、文書編集用の画面が表示され、表計算用のアプリケーションソフトウェアが起動させられた場合、表計算用の画面が表示される。その他、画像ビューアや画像処理やWebブラウザ等のアプリケーションソフトウェアが実行されて、画像ビューアや画像処理用画面やWebブラウザ等が表示されてもよい。
また、表示制御部20は、予め定められた基準画像をUI部16の表示部に表示させ、その基準画像がユーザによって指定された場合、ソフトウェア表示領域を表示部に表示させる。ソフトウェア表示領域内には、アプリケーションソフトウェアの一覧(例えば、アプリケーションソフトウェアを識別するためのソフトウェア識別情報の一覧)が表示される。ソフトウェア識別情報は、例えば、アプリケーションソフトウェアに紐付く画像や、アプリケーションソフトウェアの名称やIDを表わす文字列、等である。ソフトウェア表示領域内においては、各アプリケーションソフトウェア間の相対的な表示位置関係が定められている。例えば、ソフトウェア表示領域内においては、各ソフトウェア識別情報の表示位置が固定されていてもよい。ソフトウェア表示領域内に表示されたソフトウェア識別情報がユーザによって指定されると、その指定されたソフトウェア識別情報に紐付くアプリケーションソフトウェアが起動させられる。
また、文書データや画像データ等のファイルを識別するためのファイル識別情報が、ソフトウェア表示領域内に表示されてもよい。ファイル識別情報は、例えば、ファイルに紐付く画像や、ファイルの名称を表わす文字列、等である。ソフトウェア表示領域内に、アプリケーションソフトウェアとファイルの両方が表示されている場合(つまり、ソフトウェア識別情報とファイル識別情報の両方が表示されている場合)、それらの間の相対的な表示位置関係が定められている。ソフトウェア表示領域内に表示されたファイル識別情報がユーザによって指定されると、その指定されたファイル識別情報に紐付くファイルに紐付くアプリケーションソフトウェアが起動させられ、そのアプリケーションソフトウェアによってファイルが表示させられる。もちろん、ソフトウェア表示領域内に、フォルダを識別するためのフォルダ識別情報(例えば、フォルダに紐付く画像や、フォルダの名称を表わす文字列等)が表示されてもよい。
記録部22は、上記のソフトウェア表示領域にて操作されたアプリケーションソフトウェアの操作手順(例えば、アプリケーションソフトウェアが指定されて実行された順番)を記録し、その操作手順に従ってアプリケーションソフトウェアの操作を制御するための制御情報を生成する機能を備えている。その操作手順を記録した端末装置10において、その制御情報に従ってアプリケーションソフトウェアが操作されてもよいし(例えば、アプリケーションソフトウェアが指定されて実行されてもよいし)、その操作手順が記録された端末装置10以外の装置(例えば別のPC等)において、その制御情報に従ってアプリケーションソフトウェアが操作されてもよい。
また、ソフトウェア表示領域内にソフトウェア識別情報とファイル識別情報が表示されている場合において、ソフトウェア表示領域にてアプリケーションソフトウェアとファイルが操作された場合、記録部22は、それらの操作手順を記録し、その操作手順に従ってアプリケーションソフトウェアやファイルの操作を制御するための制御情報を生成してもよい。ソフトウェア表示領域内にフォルダ識別情報が表示されている場合において、ソフトウェア表示領域にてフォルダが操作された場合も、その操作手順が記録されて制御情報が生成されてもよい。
本実施形態では、上記の制御情報が、いわゆるRPA(Robotic Process Automation)を実現するためのソフトウェア(RPAソフトウェア)として用いられることで、RPAが実現されてもよい。例えば、上記の制御情報に従ったアプリケーションソフトウェアが仮想空間上で実行されることでRPAが実現される。RPAにおいては、例えば、データ入力や複数のアプリケーションソフトウェアの組み合わせで実現可能な作業等の定型処理、データの収集や分析等の処理、データに基づいて学習して判断する処理、等が行われてもよい。
以下、端末装置10による処理について更に詳しく説明する。
図2を参照して、UI部16の表示部に表示される画面について説明する。図2は、その画面24を示す図である。画面24は、基本操作画面としてのデスクトップ画面である。例えばOSが起動した場合、表示制御部20は、画面24を表示部に表示させる。画面24は、例えば、主表示領域26とタスクバー領域28を含む。
主表示領域26には、アプリケーションソフトウェアやファイルやフォルダ等に紐付く画像30(例えば、アプリケーションソフトウェアに紐付くアイコン、ファイルに紐付くアイコン、フォルダに紐付くアイコン等)が表示される。また、アプリケーションソフトウェアが実行された場合(起動させられた場合)、そのアプリケーションソフトウェアの操作画面(例えば、文書編集用の画面、表計算用の画面、画像ビューア、画像処理用の画面、Webブラウザ等)が、主表示領域26に表示される。
また、主表示領域26には、操作手順の記録開始の指示を与えるための記録開始ボタン画像32が表示される。例えば、ユーザが記録開始ボタン画像32を指定して記録開始を指示した場合(例えば、ユーザが記録開始ボタン画像32を押した場合)、記録部22は、操作手順の記録を開始し、制御情報を生成する。なお、記録部22の機能がハードウェアとソフトウェアとの協働によって実現される場合において、そのソフトウェア(記録部22用のソフトウェア)が起動している場合、そのソフトウェアに紐付く画像34が主表示領域26に表示されてもよい。画像34は、例えば、記録部22用のソフトウェアの実行の際に表示される画面が最小化した画像である。その画面が最小化することで、主表示領域26がユーザにとって見易くなる。なお、記録部22は、操作手順が記録されているときにユーザが記録開始ボタン画像32を押した場合に、操作手順の記録を終了させてもよいし、ユーザが記録終了ボタン画像(図示しない画像)を押した場合に、操作手順の記録を終了させてもよい。
タスクバー領域28は、画面24の下部の領域に表示される横長の領域である。タスクバー領域28には、例えば、予め定められたアプリケーションソフトウェアやファイルやフォルダに紐付く画像等が表示されてもよい。また、タスクバー領域28には、起動中のアプリケーションソフトウェアに紐付く画像が表示されてもよい。タスクバー領域28は、画面24の下部の領域以外の領域に表示されてもよい。例えば、タスクバー領域28は、画面の上部に表示される横長の領域であってもよいし、画面24の右側部又は左側部のいずれかに表示される縦長の領域であってもよい。
また、タスクバー領域28には基準画像36が表示される。基準画像36は、ソフトウェア表示領域38を表示させるためのボタン画像の一例に相当する。例えば、ユーザが基準画像36を押すと、表示制御部20は、ソフトウェア表示領域38を画面24上に表示させる。基準画像36は、画面24上において予め定められた位置に表示される。図2に示す例では、基準画像36は、画面24の左下の隅に表示されている。なお、基準画像36は、画面24の右上の隅、右下の隅、左上の隅、タスクバー領域28の中心位置、等に表示されてもよい。
ソフトウェア表示領域38内には、アプリケーションソフトウェアの一覧が表示される。ソフトウェア表示領域38内には、端末装置10にインストールされている全てのアプリケーションソフトウェアの一覧が表示されてもよいし、全アプリケーションソフトウェアの中の一部のアプリケーションソフトウェアの一覧が表示されてもよい。図2に示す例では、ソフトウェア表示領域38内に、ソフトウェア識別情報としての画像40,42,44,46,48が並んで表示されている。画像40は、アプリケーションソフトウェア「AAAAA」に紐付く画像である。画像42は、アプリケーションソフトウェア「BBBBB」に紐付く画像である。画像44は、アプリケーションソフトウェア「CCCCC」に紐付く画像である。画像46は、アプリケーションソフトウェア「DDDDD」に紐付く画像である。画像48は、アプリケーションソフトウェア「EEEEE」に紐付く画像である。例えば、ユーザが画像40を押した場合、画像40に紐付くアプリケーションソフトウェア「AAAAA」が起動させられる。その他のアプリケーションソフトウェアについても同様である。なお、各画像には、各アプリケーションソフトウェアを示す文字列が含まれていてもよい。
ソフトウェア表示領域38内に表示されている各アプリケーションソフトウェアは、端末装置10にインストールされているソフトウェア(例えば記憶部14に記憶されているソフトウェア)であり、端末装置10を利用して実行可能なソフトウェアであり、当該各アプリケーションソフトウェアがインストールされている端末装置10以外の装置からはリモートデスクトップ等のリモートログイン機能により間接的に操作することが可能であるが、直接的に操作することができないプログラムである。
ソフトウェア表示領域38内においては、画像40,42,44,46,48の間の相対的な表示位置関係が定められている。例えば、各画像の表示位置が固定されている。図2に示す例では、ソフトウェア表示領域38の上側から下側にかけて、画像40,42,44,46,48の順番で各画像が並んで表示されている。この表示位置関係は、例えば予め定められている。
基準画像36は、例えばWindows(登録商標)のデスクトップ画面に表示されるスタートボタンに相当する。もちろん、OSとしてUNIX(登録商標)やMAC(登録商標)OSやLinux(登録商標)が用いられてもよい。この場合、基準画像36は、それらのOSにおいて、インストールされているアプリケーションソフトウェアの一覧を表示させるためのボタン画像等に相当する。
以下、図2を参照して、記録部22による処理について詳しく説明する。
記録者が記録開始ボタン画像32を押した場合、記録部22は、操作手順の記録を開始する。例えば、記録者は、マウス等を使用することで、画面24に表示されたカーソル50によって記録開始ボタン画像32を押してもよいし、UI部16がタッチパネルによって構成されている場合、記録者は、画面上で記録開始ボタン画像32を押してもよい。以下では、カーソル50を用いて操作を行うものとする。もちろん、カーソル50を用いずに操作が行われてもよい。
記録者がカーソル50によって基準画像36を押すと、表示制御部20は、ソフトウェア表示領域38を画面24上に表示させる。このとき、記録部22は、画面24上でカーソル50が指定した位置を記録する。基準画像36が画面24の左下の隅に表示されている場合、記録部22は、その位置が指定されたことを記録する。
次に、記録者がカーソル50を動かして、ソフトウェア表示領域38内に表示されている画像を指定し、その画像をカーソル50によって押すと、制御部18は、その画像に紐付くアプリケーションソフトウェアを起動させる。ここでは、画像40が押されて、画像40に紐付くアプリケーションソフトウェア「AAAAA」が起動させられたものとする。この場合、表示制御部20は、アプリケーションソフトウェア「AAAAA」の操作画面を画面24上に表示させる。また、記録部22は、画像40に対する操作を記録する。例えば、記録部22は、ソフトウェア表示領域38内における画像40の表示位置に基づいて、操作されたアプリケーションソフトウェア「AAAAA」を識別する。記録部22は、基準画像36の表示位置を基準位置として、操作された画像が基準位置から何番目の画像に該当するのかを判定することで、操作された画像の表示位置を特定する。例えば、記録部22は、基準位置から操作された画像までの画像の個数(操作された画像を含む個数)をカウントすることで、操作された画像が基準画像から何番目の画像に該当するのかを判定する。画像40は、基準画像36の表示位置から5番目の画像に該当するため、記録部22は、5番目の画像が操作されたことを記録する。記録者がアプリケーションソフトウェア「AAAAA」の操作画面上で操作を行った場合、記録部22は、その操作を記録する。また、記録部22は、画面24上におけるカーソル50の動き(例えば、移動方向、移動量、指定位置等)を記録してもよい。
次に、記録者がカーソル50を動かして、ソフトウェア表示領域38内に表示されている別の画像(例えば画像44)を指定し、その画像44をカーソル50によって押すと、制御部18は、その画像44に紐付くアプリケーションソフトウェア「CCCCC」を起動させる。記録部22は、画像44に対する操作を記録する。画像44は、基準画像36の表示位置から3番目の画像に該当するため、記録部22は、3番目の画像が操作されたことを記録する。また、記録部22は、アプリケーションソフトウェア「CCCCC」の操作画面上で行われた操作を記録する。記録部22は、カーソル50の動きを記録してもよい。
ソフトウェア表示領域38内の他の画像が指定された場合も、上記と同様に、記録部22は操作を記録する。そして、記録部22は、操作の記録を示す制御情報(RPAソフトウェアの一例に相当する)を生成する。例えば、記録者によって基準画像36(画面24の左下の隅に表示されている画像)が操作され、次に画像40(基準位置から5番目の画像)が操作され、次に画像44(基準位置から3番目の画像)が操作された場合、記録部22は、その操作の内容を記録する。これにより、最初にソフトウェア表示領域38が表示され、次にアプリケーションソフトウェア「AAAAA」が実行され、次にアプリケーションソフトウェア「CCCCC」が実行されたことが記録されたことになる。
以下、制御情報を用いてアプリケーションソフトウェアを実行する場合について説明する。その実行は、端末装置10にて行われてもよいし、端末装置10以外の装置(例えばPC)にて行われてもよい。ここでは、端末装置10以外の端末装置(以下、「実行用装置」と称する)にて実行されるものとする。この場合、端末装置10から制御情報が取り出され、実行用装置に記憶される。例えば、インターネットやLAN(Local Area Network)等の通信経路を経由して端末装置10から実行用装置に制御情報が送信されてもよいし、Bluetooth(登録商標)等の近距離無線通信によって端末装置10から実行用装置に制御情報が送信されてもよいし、磁気記録媒体やメモリ等の可搬性記録媒体を介して端末装置10から実行用装置に制御情報が送られてもよい。
実行用装置は、例えば端末装置10と同様に、通信部12、記憶部14、UI部16及び制御部18を含む。実行用装置の制御部18は、記録部22を含まなくてもよい。実行用装置には、端末装置10と同様に、アプリケーションソフトウェア「AAAAA」,「BBBBB」,「CCCCC」,「DDDDD」,「EEEEE」がインストールされているものとする。また、実行用装置のUI部16の表示部には、画面24と同様に、主表示領域26とタスクバー領域28が表示され、タスクバー領域28には、予め定められた位置(例えば画面24の左下の隅の位置)に基準画像36が表示される。また、実行用装置にて基準画像36が押されると、ソフトウェア表示領域38が表示され、そのソフトウェア表示領域38には、端末装置10と同様に、上側から下側にかけて、画像40,42,44,46,48の順番で各画像が並んで表示される。この表示位置関係は、予め定められている。つまり、実行用装置にて表示されるソフトウェア表示領域38内の各画像の相対的な表示位置関係は、記録時に端末装置10に表示されるソフトウェア表示領域38内の各画像の相対的な表示位置関係と同一である。
実行用装置にて、実行者(再生者)が、制御情報に従った処理(再生処理)の開始指示を与えた場合、制御部18は、その制御情報に従って各アプリケーションソフトウェアを実行する。上記の例では、記録時に、最初に基準画像36(画面24の左下の隅に表示されている画像)がカーソル50によって操作されているため、実行時(再生時)には、制御部18は、カーソル50を画面24の左下の隅の位置まで移動させ、移動先の位置に表示されている画像(基準画像36)を押す。これにより、ソフトウェア表示領域38が表示される。記録時には、次に、基準画像36の表示位置(基準位置)から5番目の画像(画像40)がカーソル50によって操作されているため、実行時には、制御部18は、基準位置から5番目の画像(画像40)までカーソル50を移動させ、移動先の位置に表示されている画像(画像40)を押す。例えば、制御部18は、ソフトウェア表示領域38内の画像の個数を基準位置からカウントし、基準位置から5番目の画像までカーソル50を移動させる。このように、画像の表示位置に基づいて、記録時に操作されたアプリケーションソフトウェアが識別される。画像40が押されると、画像40に紐付くアプリケーションソフトウェア「AAAAA」が起動し、制御部18は、制御情報に基づいて、アプリケーションソフトウェア「AAAAA」を用いて、記録された操作を実行する。つまり、記録時にアプリケーションソフトウェア「AAAAA」を用いて行われた操作が、実行時に起動したアプリケーションソフトウェア「AAAAA」を用いて実行される。記録時には、次に、基準画像36の表示位置(基準位置)から3番目の画像(画像44)が操作されているため、実行時には、制御部18は、基準位置から3番目の画像(画像44)までカーソル50を移動させ、移動先の位置に表示されている画像(画像44)を押す。これにより、画像44に紐付くアプリケーションソフトウェア「CCCCC」が起動し、制御部18は、制御情報に基づいて、アプリケーションソフトウェア「CCCCC」を用いて、記録された操作を実行する。
以上のように、本実施形態では、操作手順の記録時に、ソフトウェア表示領域38にて操作されたアプリケーションソフトウェアの操作手順が記録される。そのソフトウェア表示領域38においては、各アプリケーションソフトウェア間の相対的な表示位置関係が定められており、アプリケーションソフトウェアに紐付く画像の表示位置に基づいて、記録時に操作されたアプリケーションソフトウェアが識別される。操作手順の実行時において、記録時の表示位置関係と同一の表示位置関係を有するソフトウェア表示領域が用いられる場合、そのソフトウェア表示領域において、記録時に操作された画像の表示位置に従って画像を操作することで、記録された操作手順に従ってアプリケーションソフトウェアが操作される。このように操作手順を記録して実行することで、記録時に用いられる端末装置10の表示環境(例えば画面サイズや画面の解像度)とは異なる表示環境を有する実行用装置においても、記録された操作手順に従ってアプリケーションソフトウェアが操作される。また、プログラミングに関する知識を有さないユーザであっても、表示環境の差異による影響を受けずに、簡単な操作で、制御情報を生成することができる。
ここで、比較例について説明する。比較例では、カーソル50の動き(例えば移動方向、移動量及び指定位置)を記録し、再生時には、その移動方向と移動量に基づいて、記録時に操作されたアプリケーションソフトウェアを識別して実行する。比較例について、図2を参照して詳しく説明する。例えば、記録者がカーソル50を移動させて、複数の画像30(アイコン)の中の特定の画像(アイコン)を押して、その画像に紐付くアプリケーションソフトウェアを実行させたものとする。このとき、カーソル50の動きが記録される。実行時には、例えば、記録時の動きに従ってカーソル50が自動的に移動させられる。記録時の画面サイズや画面解像度と、実行時の画面サイズや画面解像度が同一であれば、記録されたカーソル50の動きに基づいて、記録時に指定された画像が押されて、その画像に紐付くアプリケーションソフトウェアが実行される。しかし、記録時の画面サイズや画面解像度と、再生時の画面サイズや画面解像度が同一ではない場合、実行時には、記録時に指定された画像は、画面上にて、記録時に表示されていた位置とは異なる位置に表示される。この場合、実行時に、記録時に指定された画像が指定されず、その画像に紐付くアプリケーションソフトウェアは実行されない。
上記の比較例に対して本実施形態によれば、各アプリケーションソフトウェア間の相対的な表示位置関係が定められており、その表示位置関係によって、記録時に指定されたアプリケーションソフトウェアが識別されるので、実行時の画面サイズや画面解像度が、記録時の画面サイズや画面解像度と異なる場合であっても、制御情報に従って、記録時に実行されたアプリケーションソフトウェアが実行時に操作される。
また、本実施形態では、ソフトウェア表示領域38を表示させるための基準画像36が、予め定められた位置(例えば画面の左下の隅)に表示されるので、実行時の画面サイズや画像の解像度が、記録時の画面サイズや画面の解像度と異なる場合であっても、実行時には、制御情報に従って基準画像36が指定される。つまり、画面サイズや画面の解像度が変更された場合であっても、画面の隅の位置は、その変更の影響を受けずに固定されているため、実行時には、制御情報に従って基準画像36が指定される。
また、ソフトウェア表示領域38内に表示される各アプリケーションソフトウェアは、互いに異なる機能を有するアプリケーションソフトウェアであってもよい。記録時に、互いに異なる機能を有する複数のアプリケーションソフトウェアが操作されてその操作が記録された場合、実行時には、互いに異なる機能を有する複数のアプリケーションソフトウェアが、記録された操作手順に従って実行される。この場合、互いに異なる機能を有する複数のアプリケーションソフトウェアが繋げられたように実行される。
以下、変形例について説明する。
(変形例1)
図3を参照して変形例1について説明する。図3は、変形例1に係る画面24を示す図である。
変形例1では、タスクバー領域28に、アプリケーションソフトに紐付く画像(例えばアイコン)が表示される。例えば、画像52,54,56,58が表示されている。画像52,54,56,58の間の相対的な表示位置関係が定められている。例えば、各画像の表示位置が固定されている。図3に示す例では、基準画像36の表示位置から近い順に、画像52,54,56,58の順番で各画像が並んで表示されている。この表示位置関係は、例えば予め定められている。
記録部22は、タスクバー領域28内において操作された画像の表示位置に基づいて、操作されたアプリケーションソフトウェアを識別してその操作を記録する。上述した実施形態と同様に、記録部22は、基準画像36の表示位置を基準として、操作された画像が基準位置から何番目の画像に該当するのかを判定することで、操作された画像の表示位置を特定する。例えば、記録部22は、基準位置から操作された画像までの画像の個数(操作された画像を含む個数)をカウントすることで、操作された画像が基準画像から何番目の画像に該当するのかを判定する。例えば、画像52が記録者によって操作された場合、画像52は、基準画像36の表示位置から1番目の画像に該当するため、記録部22は、その1番面の画像が操作されたことを記録する。以降の操作についても同様であり、記録部22によって制御情報が生成される。
実行用装置に表示される画面には、図3に示されている画面24と同様に、タスクバー領域28内に画像52,54,56,58が表示されており、各画像の表示位置関係は、図3に示されている各画像の表示位置関係と同一であるとする。上述した実施形態と同様に、実行用装置の制御部18は、制御情報に従って、記録時に操作されたアプリケーションソフトウェアを実行する。このとき、制御部18は、タスクバー領域28内の画像の表示位置に基づいて、記録時に実行されたアプリケーションソフトウェアを識別して実行する。
変形例1によれば、上述した実施形態と同様に、実行時の画面サイズや画面解像度が、記録時の画面サイズや画面解像度と異なる場合であっても、記録された操作手順に従ってアプリケーションソフトウェアが実行される。
(変形例2)
記録部22は、記録時に操作されたアプリケーションソフトウェアの識別情報(ソフトウェア識別情報)に基づいて、その操作されたアプリケーションソフトウェアを識別して記録してもよい。変形例2では、ソフトウェア識別情報として、アプリケーションソフトウェアの名称やIDが用いられる。例えば図2に示す例において、画像40が記録者によって指定された場合、記録部22は、その画像40に紐付くアプリケーションソフトウェアの名称やIDを示すソフトウェア識別情報を取得し、そのソフトウェア識別情報を含む制御情報を生成する。実行時には、実行用装置の制御部18は、制御情報に含まれるソフトウェア識別情報を検索キーとして用いて、そのソフトウェア識別情報に紐付くアプリケーションソフトウェアを検索し、検索されたアプリケーションソフトウェアを実行する。
変形例2によれば、ソフトウェア識別情報に基づいて、記録時に実行されたアプリケーションソフトウェアが識別されるので、実行時の画面サイズや画面解像度が、記録時の画面サイズや画面解像度と異なる場合であっても、再生時において、記録時に実行されたアプリケーションソフトウェアが指定されて実行される。
(変形例3)
記録部22は、基準画像36の表示位置(基準位置)から、操作された画像(例えば画像40)までの画素数をカウントすることで、操作されたアプリケーションソフトウェアを識別して記録してもよい。例えば図2に示す例において、画像40が記録者によって指定された場合、記録部22は、基準位置から画像40までの画素数をカウントし、その画素数を含む制御情報を生成する。実行時には、実行用装置の制御部18は、基準位置から制御情報に含まれる画素数の分、カーソル50を移動させ、その移動先の画像を指定する。これにより、その画像に紐付くアプリケーションソフトウェアが実行される。
実行時の画面サイズや画面解像度が、記録時の画面サイズや画面解像度と同一の場合、実行時において、画素数に基づいて、記録時に実行されたアプリケーションソフトウェアが指定されて実行される。
また、記録部22は、記録時の表示環境を示す情報(環境情報)を記録し、その環境情報を含む制御情報を生成してもよい。表示環境は、例えば画面サイズや画面解像度である。実行時には、実行用装置の制御部18は、制御情報に含まれる環境情報が示す表示環境(記録時の画面サイズや画面解像度)と、実行時の表示環境(再生時の画面サイズや画面解像度)と、の差異に基づいて、記録時の画素数を変更し、その変更後の画素数に基づいて、カーソル50を移動させる。例えば、実行時の画面サイズが記録時の画面サイズよりも大きい場合、実行用装置の制御部18は、そのサイズの差の分、記録時の画素数を増大させ、基準位置から増大後の画素数の分、カーソル50を移動させ、その移動先の画像を指定する。実行時の画面サイズが記録時の画面サイズよりも大きい場合、そのサイズの差異の分、ソフトウェア表示領域38内の各画像の位置が変わっている。その差異の分、画素数を増大させ、増大後の画素数に従ってカーソル50を移動させることで、記録時に指定されたアプリケーションソフトウェアが指定されて実行される。実行時の画面サイズが記録時の画面サイズよりも小さい場合や、実行時の画面解像度が記録時の画面解像度と異なる場合についても同様である。
(変形例4)
図4を参照して変形例4について説明する。図4は、変形例4に係る画面が示されている。画面24は記録時の画面であり、画面60は実行時の画面である。例えば、画面60の表示環境(例えば、画面サイズや画面解像度)は、画面24の表示環境とは異なる環境である。
変形例4では、記録部22は、操作手順の記録時に、カーソル50の動き(例えば、移動方向、移動量、指定位置)を記録する。また、記録部22は、操作手順の記録時に、記録時の表示環境(例えば、画面サイズや画面解像度)を記録し、その表示環境を示す情報(環境情報)を含む制御情報を生成する。
実行時には、実行用装置の制御部18は、記録されたカーソル50の動きを再現することで、記録時に実行されたアプリケーションソフトウェアを指定して実行する。このとき、実行用装置の制御部18は、制御情報に含まれる環境情報が示す表示環境(記録時の画面サイズや画面解像度)と、再生時の表示環境(再生時の画面サイズや画面解像度)と、の差異に基づいて、カーソル50の指定位置を変える。例えば、記録時の画面解像度が「1366×768」であり、実行時の画面解像度が「1280×1024」であるとする。この場合、実行用装置の制御部18は、その画面解像度の差の分、カーソル50の指定位置を変えてカーソル50を移動させ、その移動先の画像を指定する。実行時の画面サイズが記録時の画面サイズと異なる場合についても同様である。
変形例4によれば、例えば、ソフトウェア表示領域38内において、上記の実施形態のように画像の数をカウントせずに、カーソル50の動きに従って、記録時に実行されたアプリケーションソフトウェアを指定する場合であっても、記録時に実行されたアプリケーションソフトウェアが指定されて実行される。
なお、上述した実施形態及び変形例1-4において、記録部22は、記録時の画面サイズを予め定められた画面サイズに固定した状態で、操作手順を記録してもよい。その予め定められた画面サイズは、例えば最大サイズである。また、実行時の画面サイズも、その予め定められた画面サイズ(例えば最大サイズ)に固定され、その状態で、制御情報に従ってアプリケーションソフトウェアが指定されて実行される。こうすることで、操作手順の記録に用いられる端末装置10の画面の最大サイズと、実行用装置の画面の最大サイズと、が同一であれば、画面サイズが同一のサイズに設定された状態で操作手順の記録と再生が行われるので、画面サイズの差異に起因する画像の指定ずれの発生を防止できる。
また、記録部22は、端末装置10の表示装置に関する情報(記録時の表示装置に関する情報)を含む制御情報を生成してもよい。操作手順の記録に用いられる端末装置10の表示装置と、実行用装置の表示装置(再生時の表示装置)と、が異なる場合、実行用装置の制御部18は、記録時の表示装置に関する情報と、実行時の表示装置に関する情報と、の差異に応じて、再生時におけるカーソル50の動きを調整してもよい。
(その他の実施形態)
図5を参照して、その他の実施形態として、制御情報の確認機能や編集機能について説明する。図5には、確認画面の一例が示されている。
確認者(例えば記録者、再生者、管理者、その他の者等)がUI部16を用いて制御情報の確認指示を与えると、表示制御部20は、確認画面62をUI部16の表示部に表示させ、その確認画面62内に、確認対象として指定された制御情報を表示させる。
確認画面62は、例えば、ジョブフロー表示領域64と、操作内容表示領域66と、結果表示領域68と、を含む。
ジョブフロー表示領域64には、記録された操作手順を模式的に表すジョブフローが表示される。例えば、記録時に実行されたアプリケーションソフトウェアに紐付く画像が、記録された操作手順の順番に並べて表示されており、この表示がジョブフローに相当する。例えば、画像70,72,74,76,78の順番で各画像が並んで表示されている。各画像はアプリケーションソフトウェアに紐付く画像である。例えば、記録時において、最初に画像70に紐付くアプリケーションソフトウェアが実行され、次に画像72に紐付くアプリケーションソフトウェアが実行され、次に画像74に紐付くアプリケーションソフトウェアが実行され、次に画像76に紐付くアプリケーションソフトウェアが実行され、最後に画像78に紐付くアプリケーションソフトウェアが実行されている。
ジョブフローに含まれる画像が指定された場合、表示制御部20は、その画像に紐付くアプリケーションソフトウェアを使って操作手順の記録時に行われた操作内容を、操作内容表示領域66内に表示させる。操作手順の記録時においては、操作内容が記録されて、その操作内容を示す情報を含む制御情報が生成される。表示制御部20は、その制御情報に基づいて、操作内容を操作内容表示領域66内に表示させる。例えば、画像70に紐付くアプリケーションソフトウェアが表計算用のアプリケーションソフトウェアであり、画像70が確認者によって指定された場合、表計算用のアプリケーションソフトウェアを使って操作手順の記録時に行われた操作内容が、操作内容表示領域66内に表示される。図5に示す例では、表計算に用いられた表が表示され、その表内の一部の領域をカーソルによって指定する様子が動画像で表示される。このように、記録時の操作内容が動画像として表示される。また、表計算で得られた数値や計算結果等が、結果表示領域68に表示される。
また、ジョブフローが編集されてもよい。例えば、確認者がUI部16を用いて、ジョブフローに含まれる各画像の並び順を変えた場合、記録部22は、その変更後の並び順に従って操作手順を変更し、変更後の操作手順を示す制御情報を生成する。例えば、確認者が、画像72と画像74との間に画像70を配置した場合、変更後の並び順は、画像72,70,74,76,78となり、変更後の操作手順は、その並び順に従った順番となる。再生時には、その変更後の操作手順に従ってアプリケーションソフトウェアが実行される。
また、ジョブフローに含まれる画像が確認者によって削除された場合、記録部22は、その削除された画像に紐付くアプリケーションソフトウェアに関する操作内容を示す情報を制御情報から削除してもよい。また、ジョブフローに新たな画像が確認者によって追加された場合、記録部22は、その追加された画像に紐付くアプリケーションソフトウェアに使って行われた操作内容を示す情報を制御情報に追加してもよい。
以上のように、操作手順を模式的に表すジョブフローを表示することで、制御情報として記録された操作手順が視覚的に分かり易い態様でユーザに提供される。また、ジョブフローを編集することで操作手順が編集されるので、簡単な操作で操作手順を編集することができる。
なお、制御情報の確認作業は、端末装置10以外の装置(例えば実行用装置、確認用装置、管理者用装置等)にて行われてもよい。この場合、その装置に確認画面62が表示される。また、端末装置10以外の装置に編集機能を備えさせた場合、その装置にて操作手順の編集が可能となる。
上記の端末装置10は、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置10は、図示しないCPU等の1又は複数のプロセッサを備えている。当該1又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置10の各部の機能が実現される。上記プログラムは、CDやDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置10の各部は、例えばプロセッサや電子回路やASIC(Application Specific Integrated Circuit)等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置10の各部は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等によって実現されてもよい。
10 端末装置、12 通信部、14 記憶部、16 UI部、18 制御部、20 表示制御部、22 記録部。

Claims (17)

  1. ソフトウェアの操作手順を記録し、前記操作手順に従ってソフトウェアの操作を制御するための制御情報を生成する記録手段と、
    前記記録手段によって記録された前記操作手順を表示する画面の表示を制御する表示制御手段と、
    前記表示制御手段によって表示された前記画面上で前記操作手順を編集することで前記制御情報を編集する編集手段と、
    を有し、
    前記表示制御手段は、ソフトウェアに紐付く画像を前記操作手順の順番で並べて前記画面上に表示
    前記画面上の画素数をカウントすることで、操作されたソフトウェアが識別される、
    情報処理装置。
  2. 前記表示制御手段は、前記ソフトウェアに紐付く画像が指定された場合、前記画像に紐付くソフトウェアに対する操作手順の記録時に行われた操作内容を、前記画面上に表示する、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記ソフトウェアは、前記ソフトウェアがインストールされている装置にて実行可能なソフトウェアである、
    ことを特徴とする請求項1又は請求項2に記載の情報処理装置。
  4. 予め定められた基準画像が指定された場合、各ソフトウェア間の相対的な表示位置関係が定められた領域が表示され、前記領域内にソフトウェアの一覧が表示される、
    ことを特徴とする請求項1から請求項のいずれか一項に記載の情報処理装置。
  5. ソフトウェアの操作手順を記録し、前記操作手順に従ってソフトウェアの操作を制御するための制御情報を生成する記録手段と、
    前記記録手段によって記録された前記操作手順を表示する画面の表示を制御する表示制御手段と、
    前記表示制御手段によって表示された前記画面上で前記操作手順を編集することで前記制御情報を編集する編集手段と、
    を有し、
    前記表示制御手段は、ソフトウェアに紐付く画像を前記操作手順の順番で並べて前記画面上に表示し、
    予め定められた基準画像が指定された場合、各ソフトウェア間の相対的な表示位置関係が定められた領域が表示され、前記領域内にソフトウェアの一覧が表示される、
    情報処理装置。
  6. 前記各ソフトウェアは互いに異なる機能を有するソフトウェアである、
    ことを特徴とする請求項4又は請求項5に記載の情報処理装置。
  7. 前記操作手順が記録された装置とは異なる装置にて、前記制御情報に従ってソフトウェアの操作が制御される、
    ことを特徴とする請求項1から請求項のいずれか一項に記載の情報処理装置。
  8. 前記制御情報に従ったソフトウェアの実行時に、前記制御情報に従ってソフトウェアの表示位置が指定されてソフトウェアが操作される、
    ことを特徴とする請求項に記載の情報処理装置。
  9. 前記操作手順の記録時の表示環境とソフトウェアの実行時の表示環境との差異に応じて、ソフトウェアの実行時に指定される位置が変更される、
    ことを特徴とする請求項に記載の情報処理装置。
  10. 前記記録手段は、前記操作手順の記録時の表示環境を示す情報と前記操作手順とを共に記録する、
    ことを特徴とする請求項に記載の情報処理装置。
  11. 前記表示環境は、画面サイズ及び画面解像度の中の少なくとも1つである、
    ことを特徴とする請求項又は請求項1に記載の情報処理装置。
  12. 前記記録手段は、前記画面のサイズを予め定められたサイズに固定した状態で前記操作手順を記録する、
    ことを特徴とする請求項1から請求項1のいずれか一項に記載の情報処理装置。
  13. 前記予め定められたサイズは最大サイズである、
    ことを特徴とする請求項1に記載の情報処理装置。
  14. 前記表示制御手段は、前記画像が指定された場合、前記画像に紐付くソフトウェアを使って前記操作手順の記録時に行われた操作内容の表示を制御する、
    ことを特徴とする請求項1から請求項1のいずれか一項に記載の情報処理装置。
  15. 前記画面内における前記画像の並び順を変えることで、前記画像に紐付くソフトウェアの操作順が変更される、
    ことを特徴とする請求項1から請求項1のいずれか一項に記載の情報処理装置。
  16. コンピュータを、
    ソフトウェアの操作手順を記録し、前記操作手順に従ってソフトウェアの操作を制御するための制御情報を生成する記録手段、
    前記記録手段によって記録された前記操作手順を表示する画面の表示を制御する表示制御手段、
    前記表示制御手段によって表示された前記画面上で前記操作手順を編集することで前記制御情報を編集する編集手段、
    として機能させ、
    前記表示制御手段は、ソフトウェアに紐付く画像を前記操作手順の順番で並べて前記画面上に表示
    前記画面上の画素数をカウントすることで、操作されたソフトウェアが識別される、
    プログラム。
  17. コンピュータを、
    ソフトウェアの操作手順を記録し、前記操作手順に従ってソフトウェアの操作を制御するための制御情報を生成する記録手段、
    前記記録手段によって記録された前記操作手順を表示する画面の表示を制御する表示制御手段、
    前記表示制御手段によって表示された前記画面上で前記操作手順を編集することで前記制御情報を編集する編集手段、
    として機能させ、
    前記表示制御手段は、ソフトウェアに紐付く画像を前記操作手順の順番で並べて前記画面上に表示し、
    予め定められた基準画像が指定された場合、各ソフトウェア間の相対的な表示位置関係が定められた領域が表示され、前記領域内にソフトウェアの一覧が表示される、
    プログラム。
JP2021143158A 2017-06-09 2021-09-02 情報処理装置及びプログラム Active JP7248067B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021143158A JP7248067B2 (ja) 2017-06-09 2021-09-02 情報処理装置及びプログラム
JP2022168917A JP7384260B2 (ja) 2017-06-09 2022-10-21 情報処理装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017114120A JP6939105B2 (ja) 2017-06-09 2017-06-09 情報処理装置及びプログラム
JP2021143158A JP7248067B2 (ja) 2017-06-09 2021-09-02 情報処理装置及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017114120A Division JP6939105B2 (ja) 2017-06-09 2017-06-09 情報処理装置及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022168917A Division JP7384260B2 (ja) 2017-06-09 2022-10-21 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2022002105A JP2022002105A (ja) 2022-01-06
JP7248067B2 true JP7248067B2 (ja) 2023-03-29

Family

ID=64564117

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017114120A Active JP6939105B2 (ja) 2017-06-09 2017-06-09 情報処理装置及びプログラム
JP2021143158A Active JP7248067B2 (ja) 2017-06-09 2021-09-02 情報処理装置及びプログラム
JP2022168917A Active JP7384260B2 (ja) 2017-06-09 2022-10-21 情報処理装置及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017114120A Active JP6939105B2 (ja) 2017-06-09 2017-06-09 情報処理装置及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022168917A Active JP7384260B2 (ja) 2017-06-09 2022-10-21 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US10795696B2 (ja)
JP (3) JP6939105B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936351B2 (en) 2019-07-19 2021-03-02 UiPath, Inc. Multi-anchor based extraction, recognition, and machine learning of user interface (UI)
JP7092364B2 (ja) * 2019-08-19 2022-06-28 Necフィールディング株式会社 業務の自動実行システムおよび方法
US11150882B2 (en) * 2019-10-14 2021-10-19 UiPath Inc. Naming robotic process automation activities according to automatically detected target labels
JP7443724B2 (ja) * 2019-11-12 2024-03-06 日本電気株式会社 操作自動化装置、操作自動化システム、操作自動化方法、及び操作自動化プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084975A (ja) 2001-09-12 2003-03-20 Japan Tobacco Inc 動作設計システム
JP2005063279A (ja) 2003-08-18 2005-03-10 Ricoh Co Ltd コンピュータ操作記録再生方式
JP2010198456A (ja) 2009-02-26 2010-09-09 Nippon Telegr & Teleph Corp <Ntt> シナリオ編集方法、その装置及びプログラム
US20140344780A1 (en) 2013-05-14 2014-11-20 International Business Machines Corporation Declarative configuration and execution of card content management operations for trusted service manager
JP2015005245A (ja) 2013-06-24 2015-01-08 日本電信電話株式会社 画像認識による自動操作装置、その方法及びプログラム
JP2016173619A (ja) 2015-03-16 2016-09-29 三菱電機株式会社 アプリケーション試験装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5343409A (en) * 1991-08-29 1994-08-30 Hewlett-Packard Company System and method for probing object resources in a window server environment
JP3181994B2 (ja) 1992-09-03 2001-07-03 株式会社日立製作所 ジョブフロー仕様書自動作成方法
JPH11110202A (ja) 1997-09-29 1999-04-23 Hitachi Software Eng Co Ltd ジョブ制御言語文自動作成方法
JP2001350653A (ja) * 2000-06-05 2001-12-21 Fuji Xerox Co Ltd 操作履歴記録システム
US7191172B2 (en) * 2003-03-25 2007-03-13 International Business Machines Corporation Fuzzy location of a testable object in a functional testing tool
US8239826B2 (en) * 2004-07-16 2012-08-07 International Business Machines Corporation Automating modular manual tests including framework for test automation
JP2008042706A (ja) * 2006-08-09 2008-02-21 Canon Inc 操作情報処理装置、操作処理方法、記憶媒体、プログラム
US20090132920A1 (en) * 2007-11-20 2009-05-21 Microsoft Corporation Community-based software application help system
JP2011118520A (ja) 2009-12-01 2011-06-16 Nomura Research Institute Ltd 情報管理装置
JP2012018583A (ja) * 2010-07-08 2012-01-26 Canon Inc ソフトウェア開発支援装置及びその処理方法
US8793578B2 (en) * 2011-07-11 2014-07-29 International Business Machines Corporation Automating execution of arbitrary graphical interface applications
CN103379204B (zh) * 2012-04-12 2015-06-24 宇龙计算机通信科技(深圳)有限公司 终端和协同操作指令处理方法
JP2014215788A (ja) * 2013-04-25 2014-11-17 株式会社リコー 情報処理システム、情報処理方法及びプログラム
JP6229476B2 (ja) * 2013-12-17 2017-11-15 コニカミノルタ株式会社 情報機器、ワークフロー動作の制御方法およびコンピュータープログラム
US9424167B2 (en) * 2014-05-21 2016-08-23 Cgi Technologies And Solutions Inc. Automated testing of an application system
EP3314440A4 (en) * 2015-06-26 2019-03-20 Intel Corporation TECHNOLOGIES FOR DEVICE INDEPENDENT AUTOMATED APPLICATION TESTS
JP6797524B2 (ja) * 2015-10-28 2020-12-09 富士通株式会社 操作記録再生プログラム、操作再生プログラム、操作記録再生システム及び操作記録再生方法
US10528327B2 (en) * 2015-11-23 2020-01-07 Microsoft Technology Licensing Llc Workflow development system with ease-of-use features

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084975A (ja) 2001-09-12 2003-03-20 Japan Tobacco Inc 動作設計システム
JP2005063279A (ja) 2003-08-18 2005-03-10 Ricoh Co Ltd コンピュータ操作記録再生方式
JP2010198456A (ja) 2009-02-26 2010-09-09 Nippon Telegr & Teleph Corp <Ntt> シナリオ編集方法、その装置及びプログラム
US20140344780A1 (en) 2013-05-14 2014-11-20 International Business Machines Corporation Declarative configuration and execution of card content management operations for trusted service manager
JP2015005245A (ja) 2013-06-24 2015-01-08 日本電信電話株式会社 画像認識による自動操作装置、その方法及びプログラム
JP2016173619A (ja) 2015-03-16 2016-09-29 三菱電機株式会社 アプリケーション試験装置

Also Published As

Publication number Publication date
JP7384260B2 (ja) 2023-11-21
JP2022002105A (ja) 2022-01-06
JP2018206288A (ja) 2018-12-27
US20180357081A1 (en) 2018-12-13
JP2022183351A (ja) 2022-12-08
US10795696B2 (en) 2020-10-06
JP6939105B2 (ja) 2021-09-22

Similar Documents

Publication Publication Date Title
JP7248067B2 (ja) 情報処理装置及びプログラム
TWI515646B (zh) 擴展螢幕模式下之應用程式運作方法以及使用該方法的平板電腦
US9383903B2 (en) Systems and methods for providing programmable macros
US20050060653A1 (en) Object operation apparatus, object operation method and object operation program
CN101807141B (zh) 图像形成装置的控制装置以及图像形成系统
KR20050061534A (ko) 툴-팁 재생 시스템, 툴-팁 디스플레이 방법 및 머신 판독가능 저장 장치
US20140059491A1 (en) Electronic apparatus to execute application, method thereof, and computer readable recording medium
AU2014208213B2 (en) Information processing apparatus and information processing program
US20120144306A1 (en) Method and system for interacting or collaborating with exploration
JP2009140229A (ja) ヘルプ情報の表示方法およびコンピュータ
JP7433822B2 (ja) アプリケーションビルダ
US20100057770A1 (en) System and method of file management, and recording medium storing file management program
JP6206202B2 (ja) 情報処理装置及び情報処理プログラム
JP2012064207A (ja) ホスト装置及びホスト装置のコンテンツ表示方法
US20110179383A1 (en) Methods, systems, and computer program products for automatically selecting objects in a plurality of objects
US20130162568A1 (en) Setting vibration portions in pieces of electronic data that are displayable on a display device
CN110688190A (zh) 智能交互平板的控制方法和装置
JP2008176479A (ja) 情報処理装置、情報処理方法、情報処理プログラム
JP2016085523A (ja) ノードを表示する方法、並びに、ノードを表示するためのコンピュータ及びそのコンピュータ・プログラム
JP2022133902A (ja) 情報処理装置及び情報処理プログラム
US20180090027A1 (en) Interactive tutorial support for input options at computing devices
US20160162168A1 (en) Interaction sensing and recording of a process to control a computer system
JP6927340B2 (ja) 操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置
JP2017084188A (ja) 操作再生プログラム、操作再生装置及び操作再生方法
JP6790944B2 (ja) 情報処理装置、情報処理システム、管理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210928

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R150 Certificate of patent or registration of utility model

Ref document number: 7248067

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150