JP6683042B2 - データ処理装置、システムおよびプログラム - Google Patents

データ処理装置、システムおよびプログラム Download PDF

Info

Publication number
JP6683042B2
JP6683042B2 JP2016134402A JP2016134402A JP6683042B2 JP 6683042 B2 JP6683042 B2 JP 6683042B2 JP 2016134402 A JP2016134402 A JP 2016134402A JP 2016134402 A JP2016134402 A JP 2016134402A JP 6683042 B2 JP6683042 B2 JP 6683042B2
Authority
JP
Japan
Prior art keywords
operation screen
document
know
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016134402A
Other languages
English (en)
Other versions
JP2018005735A (ja
Inventor
慶人 末澤
慶人 末澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2016134402A priority Critical patent/JP6683042B2/ja
Priority to US15/449,374 priority patent/US20180011829A1/en
Priority to CN201710311919.6A priority patent/CN107589882A/zh
Publication of JP2018005735A publication Critical patent/JP2018005735A/ja
Application granted granted Critical
Publication of JP6683042B2 publication Critical patent/JP6683042B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/134Hyperlinking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/14Tree-structured documents
    • G06F40/143Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Information Transfer Between Computers (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、データ処理装置、システムおよびプログラムに関する。
特許文献1には、複数のユーザから閲覧可能なネットワーク上の共有記事の未読・既読管理システムにおいて、サーバー1に、既読管理データベース5とユーザデータベース6を操作するサブシステムとして、ユーザデータベース6に登録されているユーザによって、既読管理データベース5に前回の記事閲覧時間である参照時間が既に保存されている記事を再度閲覧したとき、参照時間を用いて閲覧記事の既読状態の変化を判別し、判別された閲覧記事の既読状態の変化に応じ、ユーザ端末2に表示される閲覧記事の表示形態を視覚と聴覚の少なくとも一方に訴えて差別化することが記載されている。特許文献2には、ネットワークを経由してユーザからの問い合わせを受信し、回答を電子ファイルとしてユーザに送信し、ユーザ側で組み込みの操作をすることによってその内容が複数拠点のオンラインヘルプに反映されるしくみが開示されている。特許文献3には、完成したWebアプリケーションから操作手順書の雛形を自動生成する技術が提案されている。
特開2008−181376号公報 特開2000−311161号公報 特開2010−079342号公報
本発明は、ネットワークを介して接続された他の装置における処理の操作画面の入力作業についてのノウハウを共有することを目的とする。
本発明の請求項1に係るデータ処理装置は、ネットワークを介して接続された他の装置における処理の操作画面を表示手段に表示する表示制御手段と、前記操作画面の画像を取得する第1取得手段と、前記操作画面において受け付けられた複数の情報を取得する第2取得手段と、前記取得された情報の各々を表す注釈画像を、前記操作画面を表す画像に合成する合成手段とを有することを特徴とする。
本発明の請求項2に係るデータ処理装置は、請求項1に記載の構成において、前記第2取得手段は、前記情報の各々について、各情報が受け付けられた前記操作画面における位置を取得し、前記合成手段は、前記注釈画像を、前記情報が取得された位置に対応する前記画像内の位置に合成することを特徴とする。
本発明の請求項3に係るデータ処理装置は、請求項1または2に記載の構成において、前記合成手段は、前記操作画面に対応するアドレスを前記画像に付与し、付与されたアドレスが共通する画像をまとめてひとつの文書ファイルとすることを特徴とする。
本発明の請求項4に係るデータ処理装置は、請求項1乃至3のいずれか1項に記載の構成において、前記操作画面の画面遷移の履歴を記憶手段に記憶する記憶制御手段を更に有し、前記合成手段は、前記履歴に従って、前記操作画面の画像の各々に、遷移先の操作画面を示す情報を付与することを特徴とする。
本発明の請求項5に係るデータ処理装置は、請求項1乃至4のいずれか1項に記載の構成において、前記合成手段は、複数の前記画像を含む文書ファイルを生成し、前記文書ファイルに含まれる複数の前記画像のうち、前記表示手段に表示されている操作画面との類似度が予め定められた条件を満たす画像を含むページを前記表示手段に表示する第2表示制御手段を更に有することを特徴とする。
本発明の請求項6に係るシステムは、データ処理装置とサーバとを備え、前記データ処理装置は、ネットワークを介して接続された他の装置における処理の操作画面を表示手段に表示する表示制御手段と、前記操作画面の画像を取得する第1取得手段と、前記操作画面において受け付けられた複数の情報を取得する第2取得手段と、前記取得された情報の各々を表す注釈画像を、前記操作画面を表す画像に合成し、該注釈画像が合成された画像を文書ファイルに追加する合成手段とを有し、前記サーバは、ネットワークを介して接続された他の装置の中から、前記画像が追加された文書ファイルに対応する識別子が割り当てられた装置に対して該文書ファイルを送信する送信手段を有することを特徴とする。
本発明の請求項7に係るプログラムは、コンピュータに、ネットワークを介して接続された他の装置における処理の操作画面を表示手段に表示するステップと、前記操作画面の画像を取得するステップと、前記操作画面において受け付けられた複数の情報を取得するステップと、前記取得された情報の各々を表す注釈画像を、前記操作画面を表す画像に合成するステップとを実行させるためのプログラムであることを特徴とする。
請求項1および7に係る発明によれば、ネットワークを介して接続された他の装置における処理の操作画面の入力作業についてのノウハウを共有することができる。
請求項2に係る発明によれば、操作画面の入力作業のノウハウをユーザが視覚的に把握し易くすることができる。
請求項3に係る発明によれば、ひとつの操作画面について複数の参考画像をユーザが把握し易くすることができる。
請求項4に係る発明によれば、画面遷移の順序をユーザが把握し易くすることができる。
請求項5に係る発明によれば、ユーザが操作画面の入力作業を行い易くすることができる。
請求項6に係る発明によれば、操作画面の入力作業についてのノウハウを共有することができる。
システム1の構成を示す図 クライアント装置10の機能構成を示す図 クライアント装置10のハードウェア構成を示す図 クライアント装置10のソフトウェア構成の一例を示す図 ストレージサーバ30のソフトウェア構成の一例を示す図 ノウハウ文書IDと作業用フォルダIDとの対応関係の一例を示す図 連携システムIDとノウハウ文書IDとの対応関係の一例を示す図 作業用フォルダの生成処理の流れを示すフローチャート ノウハウ文書の生成処理の流れを示すフローチャート システム操作画面の一例を示す図 リンクアノテーションが貼り付けられたスクリーンショットの一例を示す図 テキストアノテーションが貼り付けられたスクリーンショットの一例を示す図 バインド処理の流れを示すフローチャート ノウハウ文書の同期処理の流れを示すフローチャート ノウハウ文書の同期処理の流れを示すフローチャート リンクアノテーションが貼られたスクリーンショットの一例を示す図
[1]構成
図1は、本実施形態に係るシステム1の構成を示すブロック図である。システム1は、クライアント装置10a、10b、10c、…と、サーバ20と、ストレージサーバ30とを備える。クライアント装置10a、10b、10c、…は、利用者によって操作される装置であり、例えばパーソナルコンピュータである。クライアント装置10a、10b、10c、…を各々区別する必要がない場合には、これらを「クライアント装置10」と称する。サーバ20は電子決済やプロジェクトの進捗管理などの各種のサービスを提供する。なお、図1には1台のサーバ20が示されているが、複数台のサーバにより上記サービスが提供されてもよい。以下の説明では、サーバ20が提供するサービスを「連携システム」と呼ぶ。ストレージサーバ30は、データを保存するサービスを提供するサーバであり、各種の設定ファイルや文書ファイルを格納するストレージを有する。サーバ20やストレージサーバ30はいわゆるクラウドサーバであってもよい。通信回線2は、例えばインターネットや移動体通信網、電話回線などのうちの少なくとも1つ以上を含む。通信回線2には、クライアント装置10とサーバ20が接続されている。
この実施形態では、ストレージサーバ30には、ユーザが連携システムの操作画面を用いて作業する際の、作業のマニュアルとなる文書ファイルが記憶される。この文書ファイルには、連携システムの操作画面において入力するデータの例や操作手順の例が記載されている。以下の説明では、説明の便宜上、作業のマニュアルとなる文書ファイルを「ノウハウ文書」と呼ぶ。
ノウハウ文書は、クライアント装置10からの要求などに応じてクライアント装置10に配布される。配布されたノウハウ文書やストレージサーバ30に記憶されたノウハウ文書は、予め定められたタイミングにおいて、後述する同期処理が行われる。
図2は、クライアント装置10(データ処理装置の一例)とストレージサーバ30の機能構成の一例を示す図である。クライアント装置10は、表示制御手段11と、第1取得手段12と、第2取得手段13と、合成手段14と、記憶制御手段15と、第2表示制御手段16とを有する。表示制御手段11は、ネットワークを介して接続された他の装置における処理の操作画面を表示手段18に表示する。第1取得手段12は操作画面の画像を取得する。第2取得手段13は操作画面において受け付けられた複数の情報を取得する。合成手段14は、取得された情報の各々を表す注釈画像を、操作画面を表す画像に合成する。
記憶制御手段15は、操作画面の画面遷移の履歴を記憶手段に記憶する。第2表示制御手段16は、操作画面の画像を複数含む文書ファイルが開かれた際に、文書ファイルに含まれる複数の画像の中から、表示手段18に表示されている操作画面との類似度が予め定められた条件を満たす画像を含むページを表示手段18に表示する。ストレージサーバ30の送信手段31は、ネットワークを介して接続された他の装置の中から、操作画面の画像が追加された文書ファイルに対応する識別子が割り当てられた装置に対して文書ファイルを送信する。
図3は、クライアント装置10のハードウェア構成を例示する図である。クライアント装置10は、CPU(Central Processing Unit)151と、ROM(Read Only Memory)152と、RAM(Random Access Memory)153と、ストレージ154と、通信IF155と、UI部156とを備える。CPU151は、クライアント装置10の各部を制御する制御装置(プロセッサ)である。ROM152は、プログラム及びデータを記憶する不揮発性の記憶装置である。RAM153は、CPU151がプログラムを実行する際の作業領域として機能する揮発性の主記憶装置である。ストレージ154は、プログラム及びデータを記憶する不揮発性の補助記憶装置である。通信IF155は、通信回線2を介した通信を行うためのインターフェースであり、この例では特に、サーバ20と通信を行うためのインターフェースである。UI部156は、例えばタッチスクリーンとキーとを備える。
この例で、ストレージ154に記憶されているプログラムをCPU151が実行することにより、図2に示される機能が実装される。プログラムを実行しているCPU151は、表示制御手段11、第1取得手段12、第2取得手段13、合成手段14、記憶制御手段15および第2表示制御手段16の一例である。UI部156は表示手段18の一例である。また、ストレージサーバ30のCPUは、本発明に係る送信手段31の一例である。
図4は、クライアント装置10のソフトウェア構成の一例を示す図である。図において、連携システムクライアント101とドキュメントハンドリングシステム102とは、クライアント装置10に予めインストールされているアプリケーションであり、OS(Operating System)120上で動作する。連携システムクライアント101は、連携システムの操作画面(サーバ20における処理の操作画面)をUI部156に表示するアプリケーションであり、例えばブラウザである。ドキュメントハンドリングシステム102は、ファイルやフォルダを管理するアプリケーションである。ドキュメントハンドリングシステム102は、作業用フォルダ103と、電子文書変換部105と、通知表示部110とを備える。作業用フォルダ103は、ファイルやツールが格納されるフォルダである。作業用フォルダ103には、ファイルやフォルダが格納されるとともに、ファイルやフォルダに対する処理(例えば、ファイル形式の変換処理や文字認識処理)を行うツールが格納される。作業用フォルダ103には、設定ファイル104が格納される。設定ファイル104は、作業用フォルダ103に関する設定値が記述されたファイルである。設定ファイル104は、作業用フォルダ103のUUID(Universally Unique Identifier)、URL(Uniform Resource Locator)やパス、作業用フォルダ103から起動される連携システムを識別する連携システムIDなどが記述される。設定ファイル104は例えばXML(Extensible Markup Language)で記述される。
電子文書変換部105は、連携システムの画面のスクリーンショットを電子文書化する処理を行うコンポーネントである。電子文書変換部105は、テキスト抽出部106と、リンク先抽出部107と、スクリーンショット生成部108と、アノテーション生成部109とを備える。テキスト抽出部106は、連携システムの操作画面において入力が受け付けられたテキストを抽出する。リンク先抽出部107は、連携システムの画面に対するリンク先(URLなど)を抽出する処理を行う。スクリーンショット生成部108は、連携システムの操作画面のスクリーンショットを生成する。アノテーション生成部109は、電子文書に対するアノテーションを生成する。通知表示部110は、作業用フォルダ103内のノウハウ文書が更新された場合、その旨をUI部156に表示してユーザに通知する機能を有する。
図5は、ストレージサーバ30のソフトウェア構成の一例を示す図である。図において、設定ファイル303は、ストレージサーバ30に格納されたファイルやデータに関する設定値が記述されたファイルである。設定ファイル303は例えばXMLで記述される。この実施形態では、設定ファイル303には、ノウハウ文書の更新日時を示す情報、ノウハウ文書を識別するノウハウ文書IDと作業用フォルダを識別する作業用フォルダIDとの対応関係、および連携システムIDとノウハウ文書IDとの対応関係が記述されている。
図6は、ノウハウ文書IDと作業用フォルダIDとの対応関係の一例を示す図である。設定ファイル303において、ノウハウ文書を識別するノウハウ文書IDと、そのノウハウ文書が格納されている作業用フォルダを識別する作業用フォルダIDとが紐付けられる。図6に示す例は、ノウハウ文書IDとして「文書01」が割り当てられたノウハウ文書が、「001」、「002」、「003」の作業用フォルダIDが割り当てられた作業用フォルダに格納されている旨を示す。
図7は、連携システムIDとノウハウ文書IDとの対応関係の一例を示す図である。設定ファイル303において、連携システムを識別する連携システムIDと、その連携システムの手引きとなるノウハウ文書とが紐付けられる。また、これ以外にも、設定ファイル303には、作業用フォルダIDと連携システムIDとの対応関係などが記述される。
同期処理部301は、設定ファイル303の記述内容に従って、ノウハウ文書の同期処理を行うコンポーネントである。この実施形態では、同期処理部301は、クライアント装置10から同期処理の依頼を受け付けた際に、同期処理の対象であるノウハウ文書に紐付けられた作業用フォルダIDを特定し、特定した作業用フォルダIDの示す作業用フォルダが格納されたクライアント装置10へ、同期処理の対象であるノウハウ文書を送信する。通知処理部302は、設定ファイル303に記述された通知先の作業用フォルダ103に対して、通知処理を行うコンポーネントである。
[2]動作
ユーザはクライアント装置10を用いて連携システムを利用する。まず、ユーザはUI部156を用いてドキュメントハンドリングシステム102を起動するための操作を行う。CPU151によって実現されるOS120は、UI部156から出力される情報に応じてドキュメントハンドリングシステム102を起動する。ドキュメントハンドリングシステム102は、ドキュメントハンドリングシステム102の操作画面をUI部156に表示させる。ドキュメントハンドリングシステム102の操作画面において、ユーザは、まず、作業用フォルダを作成するための操作を行う。この操作は、例えば、ドキュメントハンドリングシステム102の操作画面において、「作業用フォルダの新規作成」のボタンを押下する操作であってもよい。
[2−1]作業用フォルダの生成動作
図8はドキュメントハンドリングシステム102が行う、作業用フォルダの生成処理の流れを示すフローチャートである。図8に示される処理は、ユーザによって作業用フォルダを作成するための操作が行われることを契機として開始される。まず、ステップS101において、ドキュメントハンドリングシステム102は、作業用フォルダとその作業用フォルダに対応する設定ファイルとを新規生成し、ストレージ154の予め定められた記憶領域に記憶する。ステップS102において、ドキュメントハンドリングシステム102は、生成した作業用フォルダを識別する作業用フォルダIDを発行し、発行した作業用フォルダIDを作業用フォルダ103内の設定ファイル104に記述することによって、作業用フォルダIDを設定ファイル104に保存する。
ステップS103において、ドキュメントハンドリングシステム102は、設定ファイル303の格納場所を示す情報をストレージサーバ30から取得し、取得した情報を作業用フォルダ103内の設定ファイル104に記述することによって、取得した情報を保存する。
ステップS104において、ドキュメントハンドリングシステム102は、生成された作業用フォルダの作業用フォルダIDを、起動中の連携システムの連携システムIDに紐付ける旨をストレージサーバ30に依頼する。ストレージサーバ30は、ドキュメントハンドリングシステム102からの依頼に従って、作業用フォルダIDと連携システムIDとの紐付けを設定ファイル303において行う。
ステップS105において、ドキュメントハンドリングシステム102は、連携システムIDに紐付けられているノウハウ文書IDが存在するかを判定する。存在しないと判定された場合、ドキュメントハンドリングシステム102はそのまま処理を終了する。一方、存在すると判定された場合、ドキュメントハンドリングシステム102は、ステップS106の処理に進む。
ステップS106において、ドキュメントハンドリングシステム102は、ノウハウ文書IDを作業用フォルダ103内の設定ファイル104に追記することによってノウハウ文書IDを保存する。ステップS107において、ドキュメントハンドリングシステム102は、保存したノウハウ文書IDと自装置内の作業用フォルダを識別する作業用フォルダIDとの紐付けを、ストレージサーバ30へ依頼する。ストレージサーバ30は、クライアント装置10からの依頼に従い、設定ファイル303に、受け付けたノウハウ文書IDと作業用フォルダIDとの対を追加することによって紐付けを行う。
[2−2]ノウハウ文書の生成動作
図9は、ノウハウ文書の生成処理の流れを示すフローチャートである。ドキュメントハンドリングシステム102の操作画面には連携システムの操作画面にアクセスするための画像(例えば、アイコンなど)が含まれており、ユーザがこの画像を選択して連携システムを起動するための操作を行うことを契機として、図9に示される処理が開始される。ステップS200において、ドキュメントハンドリングシステム102は、連携システムの操作画面(ストレージサーバ30における処理の操作画面)を表示する。具体的には、この実施形態では、ユーザによって連携システムを起動するための操作が行われると、ドキュメントハンドリングシステム102は、連携システムクライアント101の起動と連携システムへのアクセスをOS120に依頼する。OS120は、ドキュメントハンドリングシステム102からの依頼に従い、連携システムクライアント101を起動する。連携システムクライアント101は、連携システムのアドレスにアクセスし、連携システムの操作画面をUI部156に表示する。以下の説明では、説明の便宜上、連携システムの操作画面を「システム操作画面」と呼ぶ。
図10は、システム操作画面の一例を示す図である。図10に示すシステム操作画面G11には、ユーザがテキストを入力するためのテキストボックスT1、T2…や、ユーザが複数の項目からいずれかを選択するためのラジオボタンR1などが含まれる。ユーザはUI部156を用いてこのシステム操作画面においてテキストを入力したり項目の選択を行ったりする。この実施形態では、テキストの入力や項目の選択、画面遷移などによりシステム操作画面が更新される毎に、その旨がOS120を経由してドキュメントハンドリングシステム102に通知される。
図9の説明に戻る。ユーザによってノウハウ文書を生成するための操作が行われると、ドキュメントハンドリングシステム102は、ステップS201において、システム操作画面の画像であるスクリーンショット(以下、単に「スクリーンショット」という)を取得する。この実施形態では、ドキュメントハンドリングシステム102は、自身が起動した連携システムクライアント101の操作画面の表示領域に関する情報を、OS120から取得し、取得した情報に従って、システム操作画面の表示領域のスクリーンショットの取得をOS120に依頼する。OS120はドキュメントハンドリングシステム102からの依頼に従ってシステム画面のスクリーンショットを生成し、ドキュメントハンドリングシステム102に引き渡す。
ステップS202において、ドキュメントハンドリングシステム102は、ノウハウ文書(ファイル)を生成し、生成したスクリーンショットをノウハウ文書に貼り付けることによって電子文書化する。ステップS203において、ドキュメントハンドリングシステム102は、システム操作画面に対応するアドレス(URLなど)を取得する。ステップS204において、ドキュメントハンドリングシステム102は、リンク先にジャンプするためのアノテーションであるリンクアノテーションを生成し、生成したリンクアノテーションをスクリーンショットに合成する。このリンクは、連携システムの画面のURLや、連携システムの画面を開くためのコマンドパスである。
図11は、リンクアノテーションが合成されたスクリーンショットの一例を示す図である。図11に示されるスクリーンショットG12において、リンクアノテーションA121がユーザにより押下されると、このリンクアノテーションに対応するURLから取得されるシステム操作画面がUI部156に表示される。
図9の説明に戻る。ステップS205において、ドキュメントハンドリングシステム102は、システム操作画面がHTML(HyperText Markup Language)文書であるかを判定する。HTML文書である場合、ドキュメントハンドリングシステム102はステップS206の処理に進む。一方、HTML文書でない場合、ドキュメントハンドリングシステム102は、ステップS208の処理に進む。
ステップS206において、ドキュメントハンドリングシステム102は、HTML属性から文字列を取得することによって、システム操作画面において受け付けられた複数の情報を取得する。このHTML属性は、例えば<input>タグのtype="text"属性や、<textarea>タグの属性である。ステップS207において、ドキュメントハンドリングシステム102は、ステップS206で取得された文字列をもとに、取得された文字列の各々について、システム操作画面において各文字列が受け付けられた位置を取得する。ステップS207の処理を終えると、ドキュメントハンドリングシステム102はステップS209の処理に進む。
一方、システム操作画面がHTML文書でない場合、ステップS208において、ドキュメントハンドリングシステム102は、電子文書から文字列を取得することによってシステム操作画面において受け付けられた複数の情報を取得する。文字列を取得する手法としては、例えば、ドキュメントハンドリングシステム102は、その電子文書に対し文字認識処理を施し、予め定められた形状の矩形図形で囲まれた文字列を取得してもよい。また、他の例として、例えば、ドキュメントハンドリングシステム102は、予め定められたフォントサイズやフォント色の文字列を取得してもよい。また、ドキュメントハンドリングシステム102は、取得される情報の各々について、システム操作画面において各情報が受け付けられた位置を取得する。ステップS208の処理を終えると、ドキュメントハンドリングシステム102はステップS209の処理に進む。
ステップS209において、ドキュメントハンドリングシステム102は、ステップS206またはステップS208で取得された、文字列を示すアノテーションであるテキストアノテーションを生成し、生成したテキストアノテーションを電子文書に貼り付ける。テキストアノテーションは、ステップS206またはステップS208で取得された情報を表す注釈画像の一例である。すなわち、ドキュメントハンドリングシステム102は、取得された情報の各々を表すテキストアノテーションを、システム操作画面のスクリーンショットに合成する処理を行う。このとき、ドキュメントハンドリングシステム102は、生成されたテキストアノテーションを、各情報が取得された位置に対応するスクリーンショット内の位置に合成する。この実施形態では、ドキュメントハンドリングシステム102は、各情報の表示位置とテキストアノテーションの表示位置とが重なるようにテキストアノテーションをスクリーンショットに合成する。
図12は、テキストアノテーションが付されたスクリーンショットの一例を示す図である。図12に示す例では、「テスト」という文字列を表すテキストアノテーションA131が、スクリーンショットG13内の「テキスト」という文字列に重なる位置に貼り付けられている。以上の処理により、注釈画像(リンクアノテーションやテキストアノテーション)が合成されたスクリーンショットが、システム操作画面のURL毎に作成されたノウハウ文書に含められる。
図9の説明に戻る。ステップS210において、ドキュメントハンドリングシステム102は、システム操作画面のスクリーンショットを含む電子文書を連携システムの種別毎にバインダと呼ばれるフォルダまたはひとつのアーカイブファイルにまとめる処理(バインド処理)を行う。
図13は、図9のステップS210のバインド処理の流れを示すフローチャートである。ステップS301において、ドキュメントハンドリングシステム102は、作業用フォルダ103の設定ファイル104から連携システムIDを取得する。ステップS302において、ドキュメントハンドリングシステム102は、取得された連携システムIDに対応する他のノウハウ文書IDがあるかを判定する。他のノウハウ文書IDがないと判定された場合、ドキュメントハンドリングシステム102はステップS303の処理に進む。一方、他のノウハウ文書IDがあると判定された場合、ドキュメントハンドリングシステム102はステップS303乃至ステップS305の処理をスキップしてステップS306の処理に進む。
ステップS303において、ドキュメントハンドリングシステム102は、処理対象であるノウハウ文書に対応する連携システム用のバインダを生成する。ステップS305において、ドキュメントハンドリングシステム102は、処理対象であるノウハウ文書のノウハウ文書IDを発行し、作業用フォルダ103内の設定ファイル104に、発行したノウハウ文書IDと連携システムIDとを紐付けて記述する。
ステップS306において、ドキュメントハンドリングシステム102は、処理対象であるノウハウ文書に含まれるスクリーンショットのURLに対応するスクリーンショットを含む他のノウハウ文書、すなわちURLリンクが共通するノウハウ文書が存在するかを判定する。他のノウハウ文書が存在すると判定された場合、ドキュメントハンドリングシステム102はステップS307の処理に進む。一方、他のノウハウ文書が存在しないと判定された場合、ドキュメントハンドリングシステム102はステップS307の処理をスキップしてステップS308の処理に進む。
ステップS307において、ドキュメントハンドリングシステム102は、URLリンクが共通する複数のノウハウ文書を結合してひとつのノウハウ文書とする処理を行う。すなわち、この実施形態では、ひとつのシステム操作画面についてのスクリーンショットが複数ある場合、それらの複数のスクリーンショットはひとつのノウハウ文書にまとめて含められる。
ステップS308において、ドキュメントハンドリングシステム102は、ノウハウ文書に更新日時を示す情報を付与する。ステップS309において、ドキュメントハンドリングシステム102はバインダにノウハウ文書を挿入する。ステップS310において、ドキュメントハンドリングシステム102は、設定ファイル303に登録されているノウハウ文書の更新日時の更新をストレージサーバ30に依頼する。ストレージサーバ30は、クライアント装置10からの依頼に従って、依頼されたノウハウ文書の更新日時を更新する。
[2−3]ノウハウ文書の同期動作
図14は、ストレージサーバ30が行う、ノウハウ文書の更新の通知処理の流れを示すフローチャートである。ストレージサーバ30は、上述したように、クライアント装置10からの依頼によりノウハウ文書の更新日時を示す情報を更新する。ステップS401において、ストレージサーバ30は設定ファイル303の更新を検知する。ステップS402において、ストレージサーバ30は更新が検知されたノウハウ文書の文書IDに対応付けられた作業用フォルダIDを取得する。ステップS403において、ストレージサーバ30は、取得された作業用フォルダIDに対応するクライアント装置10に対して、ノウハウ文書が更新された旨を通知する。すなわち、ストレージサーバ30は、ノウハウ文書IDに対応する作業用フォルダIDを特定し、特定した作業用フォルダIDに対応するクライアント装置10に対して、ノウハウ文書が更新された旨を通知する。
図15は、更新が通知されたクライアント装置で実行される、ノウハウ文書の同期処理の流れを示すフローチャートである。図15に示される処理は、ストレージサーバ30からノウハウ文書の更新が通知されることを契機として開始される。ステップS404において、ドキュメントハンドリングシステム102は、通知が届いたことを確認し、更新内容をユーザに通知する。この通知は、例えばUI部156に更新内容を表示させることによってなされてもよい。
ステップS405において、ドキュメントハンドリングシステム102は、ノウハウ文書の更新日時をストレージサーバ30に問い合わせることによって、ストレージサーバ30の設定ファイルからノウハウ文書の更新日時を取得する。ステップS406において、ドキュメントハンドリングシステム102は、取得された更新日時が自装置の作業用フォルダ103内にあるノウハウ文書の更新日時より新しいかを判定する。取得された更新日時のほうが新しいと判定された場合、ドキュメントハンドリングシステム102はステップS407の処理に進む。一方、取得された更新日時のほうが古いと判定された場合、ドキュメントハンドリングシステム102はステップS407の処理をスキップしてそのまま処理を終了する。
ステップS407において、ドキュメントハンドリングシステム102は、ストレージサーバ30からノウハウ文書を取得し、取得されたノウハウ文書で作業用フォルダ103に記憶されているノウハウ文書を更新する。
[2−4]ノウハウ文書の表示動作
次いで、ノウハウ文書がユーザによって参照される場合の動作を説明する。ユーザによって作業用フォルダを開く操作が行われると、ドキュメントハンドリングシステム102は、ドキュメントハンドリングシステム102の操作画面をUI部156に表示させるとともに、ノウハウ文書をUI部156に表示させる。
ユーザは、ノウハウ文書に含まれる、システム操作画面のスクリーンショットを参考にして作業を行う。表示されるスクリーンショットには、そのシステム操作画面に対して以前の作業で入力されたテキストがテキストアノテーションとして表示されるから、ユーザはそのシステム操作画面においてどの項目に何が入力されたかを把握し易い。また、ユーザは、連携システムにアクセスするには、そのノウハウ文書のURLリンク(リンクアノテーション)をクリックすればよく、連携システムに係る作業効率が向上する。また、この実施形態では、ひとつのシステム操作画面についてのスクリーンショットが複数ある場合、それらの複数のスクリーンショットはひとつのノウハウ文書にまとめられる。そのため、ユーザによる過去の入力履歴の確認が容易になる。
[3]変形例
上述した実施形態は、本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、上述した実施形態及び以下に示す各変形例は、必要に応じて組み合わせて実施してもよい。
(1)上述の実施形態では、ユーザによってノウハウ文書を生成するための操作が行われることを契機として、ノウハウ文書の生成処理が行われたが、ノウハウ文書の生成処理を行うタイミングはこれに限られない。例えば、予め定められたタイミング毎に定期的にノウハウ文書の生成処理または更新処理が行われてもよい。また、例えば、システム操作画面において、テキストの入力や項目の選択、画面遷移などによりシステム操作画面が更新される毎に、ノウハウ文書の生成処理または更新処理が行われてもよい。また、例えばシステム操作画面が遷移する毎に、ノウハウ文書の生成処理または更新処理が行われてもよい。また、例えば、システム操作画面が閉じられたタイミングで、ノウハウ文書の生成処理または更新処理が行われてもよい。
(2)上述の実施形態では、ノウハウ文書の同期処理(図14に示される処理)は、ストレージサーバ30からノウハウ文書の更新が通知されることを契機として開始された。ノウハウ文書の同期処理が行われるタイミングはこれに限られない。例えば、ドキュメントハンドリングシステム102が予め定められたタイミング毎に定期的にストレージサーバ30に問い合わせを行ってノウハウ文書の更新の有無を問い合わせるようにしてもよい。
(3)上述の実施形態において、ドキュメントハンドリングシステム102が、システム操作画面の遷移順を記録しておき、スクリーンショットに遷移先を示す情報をアノテーションとして貼り付けてもよい。この例では、ドキュメントハンドリングシステム102は、ノウハウ文書を作成する際に、ユーザによる操作に応じたシステム操作画面の画面遷移の履歴を記憶しておく。ドキュメントハンドリングシステム102は、ノウハウ文書を作成する際に、記憶された履歴に従って、システム操作画面のスクリーンショットの各々に、遷移先のシステム操作画面を示す情報(例えば、リンクアノテーション)を付与する。
図16は、リンクアノテーションが合成されたスクリーンショットの一例を示す図である。図16に示す例では、スクリーンショットG14に、次の遷移先であるスクリーンショットG15のページにとぶためのリンクアノテーションA141が合成されている。また、スクリーンショットG15には、次の遷移先であるスクリーンショットG16のページにとぶためのリンクアノテーションA151が合成されている。また、スクリーンショットG16には、次の遷移先であるスクリーンショットのページにとぶためのリンクアノテーションA151が合成されている。
この場合、ノウハウ文書が表示されることによりシステム操作画面の画面遷移が再現されるため、ユーザはノウハウ文書の各ページをどういった順序で見ればよいかが直観的に把握し易い。
(4)上述の実施形態において、ユーザによってシステム操作画面が参照される際に、ドキュメントハンドリングシステム102が、ノウハウ文書に含まれる複数のスクリーンショットのうち、UI部156に表示されているシステム操作画面との類似度が予め定められた条件を満たすスクリーンショットを含むページをUI部156に表示してもよい。この場合、ドキュメントハンドリングシステム102は、ノウハウ文書に含まれる複数のスクリーンショットの中から、類似度が最も高いものを選択して表示してもよく、また、例えば、類似度が予め定められた閾値以上であるものを選択して表示してもよい。
連携システムに関する作業は、ユーザが属する部署やユーザの属性によって異なるため、作業を行う際に参照したい電子文書はユーザ毎に異なる。例えば、勤怠管理システムにおいては事業所毎に稼働日が異なる場合があったり、一つの操作画面でも表示される内容が事業所毎に異なったりする場合がある。また、例えば、部内議案システムにおいては、部門の種別や予算名によって表示される内容が異なる場合がある。この態様では、ユーザによってシステム操作画面が参照される際に、そのシステム操作画面に類似するノウハウ文書のページが表示される。これにより、ユーザが、ノウハウ文書の中から必要なページを探す手間が軽減される。
(5)上述の実施形態では、ドキュメントハンドリングシステム102は、ユーザによって作業用フォルダを開く操作が行われた際に、ドキュメントハンドリングシステム102の操作画面とともにノウハウ文書をUI部156に表示したが、ノウハウ文書を表示するタイミングはこれに限られない。例えば、ドキュメントハンドリングシステム102が、ノウハウ文書を開くための操作がユーザによって行われた場合にノウハウ文書をUI部156に表示してもよい。また、例えば、ドキュメントハンドリングシステム102が、システム操作画面を開くための操作が行われた場合に、システム操作画面に併せてノウハウ文書をUI部156に表示してもよい。
(6)上述の実施形態では、1台のサーバ20によりサービスが提供されたが、複数台のサーバが協働することによりサービスが提供されてもよい。
(7)上述の実施形態では、システム操作画面において受け付けられた情報を表す注釈画像として、テキストアノテーションやリンクアノテーションが例示されたが、注釈画像はこれらに限られない。例えば、吹き出し画像やエクスクラメーションマーク、またこれらとテキスト文字列との組み合わせが注釈画像として用いられてもよい。
(8)上述の実施形態では、ドキュメントハンドリングシステム102は、システム操作画面で受け付けられた情報を表す注釈画像を、スクリーンショット内において情報が取得された位置に合成したが、注釈画像が合成される位置はこれに限られない。注釈画像は、システム操作画面において情報が取得された位置に対応するスクリーンショット内の他の位置に合成されてもよい。また、例えば、スクリーンショット内において情報が取得された位置を指し示す吹き出し画像が、スクリーンショット内において情報が取得された位置と異なる位置に合成されてもよい。
(9)上述した実施形態において、クライアント装置10のCPU151により実行されるプログラムおよびストレージサーバ30のCPUにより実行されるプログラムは、インターネットなどの通信回線を介してダウンロードされてもよい。また、これらのプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。
1…システム、2…通信回線、10…クライアント装置、11…表示制御手段、12…第1取得手段、13…第2取得手段、14…合成手段、15…記憶制御手段、16…第2表示制御手段、18…表示手段、20…サーバ、30…ストレージサーバ、31…送信手段、151…CPU、152…ROM、153…RAM、154…ストレージ、155…通信IF、156…UI部。

Claims (7)

  1. ネットワークを介して接続された他の装置における処理の操作画面を表示手段に表示する表示制御手段と、
    前記操作画面の画像を取得する第1取得手段と、
    前記操作画面において受け付けられた複数の情報を取得する第2取得手段と、
    前記取得された情報の各々を表す注釈画像を、前記操作画面を表す画像に合成する合成手段と
    を有するデータ処理装置。
  2. 前記第2取得手段は、前記情報の各々について、各情報が受け付けられた前記操作画面における位置を取得し、
    前記合成手段は、前記注釈画像を、前記情報が取得された位置に対応する前記画像内の位置に合成する
    請求項1に記載のデータ処理装置。
  3. 前記合成手段は、前記操作画面に対応するアドレスを前記画像に付与し、付与されたアドレスが共通する画像をまとめてひとつの文書ファイルとする
    請求項1または2に記載のデータ処理装置。
  4. 前記操作画面の画面遷移の履歴を記憶手段に記憶する記憶制御手段
    を更に有し、
    前記合成手段は、前記履歴に従って、前記操作画面の画像の各々に、遷移先の操作画面を示す情報を付与する
    請求項1乃至3のいずれか1項に記載のデータ処理装置。
  5. 前記合成手段は、複数の前記画像を含む文書ファイルを生成し、
    前記文書ファイルに含まれる複数の前記画像のうち、前記表示手段に表示されている操作画面との類似度が予め定められた条件を満たす画像を含むページを前記表示手段に表示する第2表示制御手段
    を更に有する請求項1乃至4のいずれか1項に記載のデータ処理装置。
  6. データ処理装置とサーバとを備え、
    前記データ処理装置は、
    ネットワークを介して接続された他の装置における処理の操作画面を表示手段に表示する表示制御手段と、
    前記操作画面の画像を取得する第1取得手段と、
    前記操作画面において受け付けられた複数の情報を取得する第2取得手段と、
    前記取得された情報の各々を表す注釈画像を、前記操作画面を表す画像に合成し、該注釈画像が合成された画像を文書ファイルに追加する合成手段と
    を有し、
    前記サーバは、
    ネットワークを介して接続された他の装置の中から、前記画像が追加された文書ファイルに対応する識別子が割り当てられた装置に対して該文書ファイルを送信する送信手段
    を有するシステム。
  7. コンピュータに、
    ネットワークを介して接続された他の装置における処理の操作画面を表示手段に表示するステップと、
    前記操作画面の画像を取得するステップと、
    前記操作画面において受け付けられた複数の情報を取得するステップと、
    前記取得された情報の各々を表す注釈画像を、前記操作画面を表す画像に合成するステップと
    を実行させるためのプログラム。
JP2016134402A 2016-07-06 2016-07-06 データ処理装置、システムおよびプログラム Active JP6683042B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016134402A JP6683042B2 (ja) 2016-07-06 2016-07-06 データ処理装置、システムおよびプログラム
US15/449,374 US20180011829A1 (en) 2016-07-06 2017-03-03 Data processing apparatus, system, data processing method, and non-transitory computer readable medium
CN201710311919.6A CN107589882A (zh) 2016-07-06 2017-05-05 数据处理设备、系统和数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016134402A JP6683042B2 (ja) 2016-07-06 2016-07-06 データ処理装置、システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2018005735A JP2018005735A (ja) 2018-01-11
JP6683042B2 true JP6683042B2 (ja) 2020-04-15

Family

ID=60910847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016134402A Active JP6683042B2 (ja) 2016-07-06 2016-07-06 データ処理装置、システムおよびプログラム

Country Status (3)

Country Link
US (1) US20180011829A1 (ja)
JP (1) JP6683042B2 (ja)
CN (1) CN107589882A (ja)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004110096A (ja) * 2002-09-13 2004-04-08 Nippon Telegr & Teleph Corp <Ntt> ユーザ操作ログ可視化方法、ユーザ操作ログ可視化装置、プログラム及びその記録媒体
CN1869973A (zh) * 2005-05-27 2006-11-29 国际商业机器公司 生成文档的方法和系统
JP4872482B2 (ja) * 2006-06-23 2012-02-08 富士ゼロックス株式会社 遠隔支援装置、遠隔支援システム及び遠隔支援方法
JP5066499B2 (ja) * 2008-09-24 2012-11-07 株式会社日立ソリューションズ Webアプリケーションの操作手順書生成システム
CN102257502B (zh) * 2008-12-18 2015-11-25 皇家飞利浦电子股份有限公司 软件错误和性能缺陷报告系统
US9342231B2 (en) * 2008-12-29 2016-05-17 Apple Inc. Remote control of a presentation
US8887052B1 (en) * 2009-01-09 2014-11-11 Google Inc. Presentation remote control
US9448815B2 (en) * 2009-04-15 2016-09-20 Wyse Technology L.L.C. Server-side computing from a remote client device
JP5617233B2 (ja) * 2009-11-30 2014-11-05 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP2011145918A (ja) * 2010-01-15 2011-07-28 Hitachi Solutions Ltd Webアプリケーション表示制御システム
US20120066715A1 (en) * 2010-09-10 2012-03-15 Jain Shashi K Remote Control of Television Displays
US9645986B2 (en) * 2011-02-24 2017-05-09 Google Inc. Method, medium, and system for creating an electronic book with an umbrella policy
US20150199308A1 (en) * 2011-10-17 2015-07-16 Google Inc. Systems and methods for controlling the display of online documents
JP6091137B2 (ja) * 2011-12-26 2017-03-08 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP5984215B2 (ja) * 2013-02-26 2016-09-06 日本電信電話株式会社 動的マニュアル作成装置及びその方法並びにコンピュータプログラム
JP5936138B2 (ja) * 2013-06-19 2016-06-15 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 操作手順書を生成する装置及び方法
JP6232940B2 (ja) * 2013-11-01 2017-11-22 富士ゼロックス株式会社 画像情報処理装置及びプログラム
US20160054906A1 (en) * 2014-08-25 2016-02-25 Fuji Xerox Co., Ltd. Terminal apparatus and analysis system
CN105573702A (zh) * 2015-12-16 2016-05-11 广州视睿电子科技有限公司 远程批注移动、缩放的同步方法与系统

Also Published As

Publication number Publication date
US20180011829A1 (en) 2018-01-11
JP2018005735A (ja) 2018-01-11
CN107589882A (zh) 2018-01-16

Similar Documents

Publication Publication Date Title
US11341191B2 (en) Method and system for document retrieval with selective document comparison
CN106682219B (zh) 关联文档获取方法及装置
US9864736B2 (en) Information processing apparatus, control method, and recording medium
US10572546B2 (en) Information processing apparatus, document display method, document display system, and medium
JP2016511883A (ja) コンテンツキュレーションのためのアプリケーションプログラミングインタフェース
US20120050793A1 (en) Network printing system, client terminal, and printing method
JP4935413B2 (ja) アップロード用アドインプログラム、アップロード用補助プログラム及びアップロード方法
CN107408242B (zh) 提供对通信内的内容的交互式预览
JP7076471B2 (ja) 即時通信アプリケーションにおけるファイル送信
JP6032138B2 (ja) プログラム、文書提供装置及び文書表示システム
US20200233878A1 (en) Card-based information management method and system
JP2020522043A5 (ja)
JP2007156624A (ja) 文書処理装置及びその制御方法、文書管理システム、並びに制御プログラム
JP6668953B2 (ja) データ処理装置及びプログラム
KR101712138B1 (ko) 사용자 서버를 이용한 파일 제어 시스템 및 방법
WO2017221445A1 (ja) 管理装置、管理方法および管理プログラム
JP5224839B2 (ja) 文書管理システム、文書管理装置、文書管理方法及びプログラム
JP6683042B2 (ja) データ処理装置、システムおよびプログラム
JP2011022856A (ja) Webアプリケーションの連携方法、連携装置、および連携プログラム
JP2019128859A (ja) 情報処理装置
JP6158949B2 (ja) 情報処理装置、ウェブサーバ及びコンピュータプログラム
JP2017220104A (ja) クライアント装置、情報処理システム及びプログラム
JP5088269B2 (ja) 画面情報管理方法
JP2010061200A (ja) 文書管理システム及び操作履歴表示方法
JP2015143975A (ja) ワークフローシステム、ワークフロー管理装置、ワークフロー管理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200309

R150 Certificate of patent or registration of utility model

Ref document number: 6683042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350