JP6817253B2 - 表示制御装置、表示制御方法、および表示制御プログラム - Google Patents

表示制御装置、表示制御方法、および表示制御プログラム Download PDF

Info

Publication number
JP6817253B2
JP6817253B2 JP2018125360A JP2018125360A JP6817253B2 JP 6817253 B2 JP6817253 B2 JP 6817253B2 JP 2018125360 A JP2018125360 A JP 2018125360A JP 2018125360 A JP2018125360 A JP 2018125360A JP 6817253 B2 JP6817253 B2 JP 6817253B2
Authority
JP
Japan
Prior art keywords
context
state
rule
display control
web page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018125360A
Other languages
English (en)
Other versions
JP2020004280A (ja
Inventor
増田 健
健 増田
明 片岡
明 片岡
中島 一
中島  一
真実 小宮山
真実 小宮山
英毅 小矢
英毅 小矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018125360A priority Critical patent/JP6817253B2/ja
Priority to PCT/JP2019/024168 priority patent/WO2020004156A1/ja
Priority to CN201980042737.0A priority patent/CN112352214A/zh
Priority to EP19826909.4A priority patent/EP3805909B1/en
Priority to US17/254,980 priority patent/US11385772B2/en
Publication of JP2020004280A publication Critical patent/JP2020004280A/ja
Application granted granted Critical
Publication of JP6817253B2 publication Critical patent/JP6817253B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/986Document structures and storage, e.g. HTML extensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/38Creation or generation of source code for implementing user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、表示制御装置、表示制御方法、および表示制御プログラムに関する。
従来、既存システムのアプリケーションに手を加えずに、操作画面上に電子的な付箋紙を貼り付けて、アプリケーションのユーザが必要とする情報を表示するアノテーション技術が知られている(非特許文献1〜5参照)。
「Web Annotation Working Group」、[online]、2014年、W3C Web Annotation Working Group、[2018年4月25日検索]、インターネット<URL:http://www.w3.org/annotation/> 伊藤禎宣, et al.,"SmartCourier: アノテーションを介した適応的情報共有環境",人工知能学会論文誌 17巻3号(2002),pp.301-312,2002年 加藤直孝,et al.,"ホームページ上の電子メモを用いた情報共有システムの開発",石川県工業試験場平成17年度研究報告 55(2005),2005年 西川健一, et al.,「Webベースの業務システムのユーザインタフェース拡張方式」,信学技報,vol.116,no.124,ICM2016-19,pp.63-68,2016年7月 川端祐人,et al.,「操作画面上に業務ノウハウを直接表示するアノテーション表示・編集技術」,NTT技術ジャーナル 27(7),pp36-39, 2015年7月
しかしながら、従来のアノテーション技術では、固定的なレイアウトの操作画面にしか対応していなかった。そのため、WebページのリロードがなくDOM(Document Object Model)構造が変化するようなレイアウトの場合には、各業務シーンにおいてアノテーション表示の強制的な自動更新ができず、適切にアノテーション情報が更新されない場合があった。また、アノテーション表示を行う実用的な業務シーンの定義は複雑になるため、プログラミングスキルを有しない一般ユーザが定義を作成することは困難であった。
本発明は、上記に鑑みてなされたものであって、アノテーション表示を行う業務シーンの定義を容易に行い、業務シーンの変化に応じて適切にアノテーション表示を更新することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、所定のWebページのDOM要素の有無または属性値で表される該DOM要素の状態の組み合わせで特定される業務シーンごとに、表示する付加情報を指定するルールを記憶する記憶部と、WebページのDOM要素の状態を監視して、該状態を文脈ボードとして前記記憶部に記憶させる監視部と、前記記憶部に記憶された文脈ボードの状態と合致する前記業務シーンの状態において、前記ルールで指定された前記付加情報を表示する表示制御部と、を備えることを特徴とする。
本発明によれば、アノテーション表示を行う業務シーンの定義を容易に行い、業務シーンの変化に応じて適切にアノテーション表示を更新することができる。
図1は、本実施形態に係る表示制御装置の概略構成を例示する模式図である。 図2は、ルールのデータ構成を説明するための説明図である。 図3は、ルールのデータ構成を説明するための説明図である。 図4は、ルールの実装例を示す図である。 図5は、文脈ボードについて説明するための説明図である。 図6は、文脈ボードについて説明するための説明図である。 図7は、文脈ボードについて説明するための説明図である。 図8は、編集部の処理を説明するための説明図である。 図9は、編集部の処理を説明するための説明図である。 図10は、編集部の処理を説明するための説明図である。 図11は、編集部の処理を説明するための説明図である。 図12は、編集部の処理を説明するための説明図である。 図13は、表示制御処理手順を例示するフローチャートである。 図14は、表示制御処理手順を例示するシーケンス図である。 図15は、表示制御処理手順を例示するシーケンス図である。 図16は、表示制御処理手順を例示するシーケンス図である。 図17は、表示制御装置による表示制御処理の実施例を説明するための説明図である。 図18は、表示制御装置による表示制御処理の実施例を説明するための説明図である。 図19は、表示制御装置による表示制御処理の実施例を説明するための説明図である。 図20は、表示制御装置による表示制御処理の実施例を説明するための説明図である。 図21は、表示制御装置による表示制御処理の実施例を説明するための説明図である。 図22は、表示制御装置による表示制御処理の実施例を説明するための説明図である。 図23は、表示制御装置による表示制御処理の実施例を説明するための説明図である。 図24は、表示制御装置による表示制御処理の実施例を説明するための説明図である。 図25は、表示制御装置による表示制御処理の実施例を説明するための説明図である。 図26は、表示制御装置による表示制御処理の実施例を説明するための説明図である。 図27は、表示制御プログラムを実行するコンピュータを例示する図である。
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
[表示制御装置の構成]
図1は、表示制御装置10の概略構成を例示する模式図である。図2に例示するように、本実施形態の表示制御装置10は、ワークステーションやパソコン等の汎用コンピュータで実現され、入力部11、出力部12、通信制御部13、記憶部14、および制御部15を備える。
入力部11は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部15に対して処理開始などの各種指示情報を入力する。出力部12は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置、情報通信装置等によって実現される。通信制御部13は、LAN(Local Area Network)やインターネットなどの電気通信回線を介したネットワーク装置等の外部の装置との通信を制御する。
記憶部14は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。なお、記憶部14は、LANやインターネット等の電気通信回線を介して制御部15と通信する構成でもよい。本実施形態において、記憶部14には、ルール14aおよび文脈ボード14bが記憶されている。
ルール14aは、所定のWebページのDOM要素の有無または属性値で表される該DOM要素の状態の組み合わせで特定される業務シーンごとに、表示する付加情報を指定する情報である。すなわち、ルール14aは、所定のWebページのDOM要素の状態を組み合わせて特定された業務シーンにおいて、所定のDOM要素の近傍位置に表示する付加情報を指定する情報である。
ここで、本実施形態において、DOM要素の状態は、DOM要素の有無または属性値で表される。また、業務シーンは、DOM要素の状態の組み合わせで特定される。例えば、あるパネル上のテーブル要素に「廃止申込」等の所定のラベルが存在するという業務シーンや、その後さらに、サービスを指定するフィールドに「サービスA」等の属性値が入力されたという業務シーン等が特定される。
図2および図3は、ルール14aのデータ構成を説明するための説明図である。図3に例示するように、ルール14aは、図2に例示するアノテーションルールをノードとするツリー構造で表される。
まず、図2に示すように、ルール14aにおけるノードであるアノテーションルールは、画面条件部、GUI(Graphical User Interface)条件部、付加情報部、自己ID、参照IDおよび文脈IDを含む。画面条件部は、ルールの対象となるWebページを特定する条件を表す。例えば、WebページのURLについて、指定文字列と完全一致、部分一致、あるいは正規表現一致等の条件が設定される。ここには、Webページのタイトルや公開時期等の情報が含められてもよい。
GUI条件部は、ルールで指定される付加情報の対象となるDOM要素の状態を特定する条件を表す。ここには、DOM要素を指定するセレクタ(selector)指定に加え、DOM要素の属性値が所定値であることを条件として含めることができる。
付加情報部は、GUI条件部で特定されたDOM要素に対して表示する付加情報(以下、アノテーションとも記す。)のプレゼンテーション設定を指定する情報である。例えば、Webページに対応するDOM要素が存在する場合に、当該DOM要素の画面上の近傍位置に付加情報をオーバレイ表示することを指定する。
ここには、アノテーションアイコンやティップスの表示要素や、インタラクション(対話操作)等の表示制御を記述したJavaScript(登録商標)コード等が含まれてもよい。インタラクションとは、例えば、ユーザがアノテーションアイコンをマウスクリックした際に、アノテーションティップスを出現させる等のGUIの振る舞いを意味する。
自己IDとは、アノテーションルールを識別する情報である。文脈IDとは、アノテーションルールのGUI条件部で特定されるDOM要素を識別する情報である。参照IDとは、図3に示すように、各アノテーションルールをノードとしたツリー構造のルール14aを構築する際の親ノードの自己IDを示す。
また、図3に示すように、ルール14aは、各アノテーションルール間の親子関係を用いて、多様に分岐する条件を、論理式(AND/OR)や制約条件(N項間制約)等の単純な関係を組み合わせて具体化することにより、業務シーン(以下、コンテキストと記す場合もある。)を特定している。
例えば、ルール14aにより、あるパネル上のテーブル要素に「廃止申込」等の所定のラベルが存在するパネル上で、サービスを指定するフィールドに「サービスA」等の属性値が入力されたという業務シーンが特定される。また、その場合に表示すべき付加情報を指定するルール14aを設定することができる。これにより、ルール14aは、多様な業務シーンのそれぞれにおいて表示する付加情報を指定することが可能となる。
なお、図3において、アノテーションルールとしては、付加情報部を持つ通常表示ルールと、付加情報部を持たない画面状態ルールと、付加情報部およびGUI条件部を持たない外部状態ルールとが例示されている。画面状態ルールの付加情報部と、外部状態ルールの付加情報部およびGUI条件部は網掛けで表記されている。
外部状態ルールとは、ルールの対象となるWebページのみを特定する条件を表すアノテーションルールである。また、画面状態ルールとは、ルールの対象となるWebページのDOM要素の状態のみを特定するアノテーションルールである。
図3において、ルールのツリー構造の葉にあたるアノテーションルールにのみ、付加情報部が設定されている。これにより、ルール14aで特定された業務シーンにおいて表示する付加情報が指定されている。
図4は、ルール14aの実装例を示す図である。図4において、“conditions”は、条件ルール、すなわち画面状態ルール、外部状態ルール、通常表示ルールの全種を保持している。“windownodes”は、複数の通常表示ルールの付加情報部を保持している。これら情報全体がアノテーションルールに相当する。部分Aは、画面状態ルール、外部状態ルール等の付加情報部を持たない条件ルールに分類される。すなわち、部分Aは“annotation”から参照されていない。なお、部分Aには“selector”指定があることから、具体的には画面状態ルールに相当する。また、部分Bは、付加情報部を持つ通常表示ルールに相当する。ここで、“parentids”は他のルールの参照を意味する。これにより条件ルール間のツリー構造が表現されている。
なお、図4において、図2および図3に例示した構成とは、アノテーションルールのうち付加情報部が分離されていること、“parentids”が複数の要素を保持すること、また、DOM要素を特定するセレクタ指定が“selector”と“option”とに分離されていることが異なる。その他の点については、図2および図3に例示した構成と同様である。
ルール14aは、業務シーンにさらにWebページの外部の状態を含んでもよい。すなわち、ルール14aには、Webページの外部についての所定の属性値を条件として指定するアノテーションルールが含まれてもよい。これにより、後述するように、例えば、Webページの外部から取得した時間が所定の時間になったことを条件とすることにより、スケジュールされた時間にアノテーションを表示することが可能となる。
図1の説明に戻る。文脈ボード14bは、後述するように、ユーザに対して表示しているWebページのDOM要素の状態を表す情報であり、後述する監視部としてのルール解釈実行部15cが、記憶部14に記憶させる。
制御部15は、CPU(Central Processing Unit)等で実現され、メモリに記憶された処理プログラムを実行し、図2に示すように、ターゲット取得部15a、コネクション部15b、ルール解釈実行部15c、および編集部15dとして機能する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。
ターゲット取得部15aは、処理対象のWebページを取得する。具体的には、ターゲット取得部15aは、PC端末のOSのAPIからWebブラウザのWebページのリストを取得する。すなわち、ターゲット取得部15aは、ポーリングによりWebページのリストを取得して、ルール14aを構成する各アノテーションルールの画面条件部に合致するWebページを特定した場合に、コネクション部15bに通知する。
コネクション部15bは、ターゲット取得部15aが特定したWebページ内に、該当のルール14aと後述するルール解釈実行部15cとをインジェクトする。また、ルール解釈実行部15cと制御部15のその他の機能部であるアノテーションエンジンとの間の通信を制御する。
例えば、WebブラウザがWindows(登録商標)上のIE(Internet Explorer、登録商標)である場合において、JavaScriptからC#への通信には、MSHTMLを利用して、IE内のJavaScript内の名前空間にC#内のinterfaceを登録すればよい。JavaScriptからは、C#内のinterfaceを、JavaScript関数を呼び出すように実行することができる。
また、C#からJavaScriptへの通信においては、C#内からはIE内のJavaScript関数を呼び出すことができる。この場合には、基本的に非同期通信となるため、処理結果は非同期に、JavaScriptからのコールバック機能で取得できる。
ルール解釈実行部15cは、Webページに対する監視部として機能する。すなわち、ルール解釈実行部15cは、WebページのDOM要素の状態を監視して、該状態を文脈ボード14bとして記憶部14に記憶させる。具体的には、ルール解釈実行部15cは、Webページ内に常駐するJavaScriptで実現され、WebページのDOM構造の変化イベントを監視して、文脈ボード14bを更新する。
ここで、図5〜図7は、文脈ボード14bについて説明するための説明図である。まず、図5に例示するように、ルール解釈実行部15cは、文脈ボード14bに、ルール14aを構成する各アノテーションルールのGUI条件部で特定されるDOM要素のそれぞれについて、その状態を表すオブジェクトを生成する。各オブジェクトは前述の文脈IDで識別される。
文脈ボード14bでは、DOM要素の状態は、各アノテーションルールに対する評価結果で表される。DOM要素の状態の評価とは、該当のアノテーションルールで特定されている状態と比較することを意味する。すなわち、各アノテーションルールのGUI条件部で特定されている状態と合致している場合には「True」、合致していない場合には「False」が設定される。
また、ルール解釈実行部15cは、WebページのDOM要素の状態が変化した場合には、このDOM要素の状態を、該当のアノテーションルールで特定されている状態と比較する評価を行う。そして、ルール解釈実行部15cは、必要な場合には該当のオブジェクトの「True」または「False」の設定値を変更する更新を行う。
なお、ルール14aの業務シーンにWebページの外部の状態が含まれている場合には、制御部15は、ターゲット取得部15aとは別の監視部として、Webページの外部の状態をさらに監視する。すなわち、ルール解釈実行部15cは、ルール14aにおいてWebページの外部の状態に割り当てられる文脈IDを用いて、Webページの外部の状態を表すオブジェクトを文脈ボード14bに生成する。また、ルール解釈実行部15cは、Webページの外部の所定の属性値を条件として指定するアノテーションルールに対する評価結果を設定する。
このように、文脈ボード14bは、WebページのDOM要素の状態の監視に加え、Webページの外部の情報の状態の監視にも利用できる。例えば、図6には、文脈ボード14bの利用例が示されている。図6において、ローカルコンテキストとは、WebページのDOM要素の状態を監視するための文脈ボード14bを意味し、「文脈ボード(DOM)」と表記されている。この「文脈ボード(DOM)」は、Webページごとに存在する。
また、図6には、グローバルコンテキストとして、Webページの外部の情報の監視に利用される文脈ボード14bが例示されている。例えば、文脈ボード(業務コンテキスト切替)とは、ユーザに明示的に業務を選択させてアノテーションを切り替える場合に用いられる文脈ボード14bを表す。
この場合に、アノテーションエンジンがGUIを用いてユーザによる業務の選択を受け付ける。ルール解釈実行部15cは、ユーザによる業務の選択の状態を表すオブジェクトを文脈ボード(業務コンテキスト切替)に生成し、所定の業務を条件として指定するアノテーションルールに対する評価結果を設定する。なお、文脈ボード(業務コンテキスト切替)は、評価結果が更新される場合に、更新前の評価結果が履歴として永続ファイルに蓄積される。
文脈ボード(利用実績集計)とは、アノテーションの表示実績を集計する場合に用いられる文脈ボード14bを表す。この場合に、ルール解釈実行部15cは、アイコンや付箋紙の表示状態を表すオブジェクトを文脈ボード(利用実績集計)に生成し、表示/非表示を設定する。なお、文脈ボード(利用実績集計)は、表示/非表示が変更される場合に、変更前の設定が履歴として永続ファイルに蓄積される。
文脈ボード(仮想チェック)とは、時系列上で離れた時点の状態に応じてアノテーションを切り替える場合に用いられる文脈ボード14bを表す。例えば、アノテーションエンジンが、チェックボックスつきのアノテーションを仮想チェックシートとして用いて、時系列上で離れた時点の状態を確認済みの旨のユーザの入力を受け付ける。例えば、複数の項目の入力が行われたことを確認済みの旨のユーザの入力を受け付ける。
ルール解釈実行部15cは、仮想チェックシートのチェック項目のチェック状態を表すオブジェクトを文脈ボード(仮想チェック)に生成し、仮想チェックシートの所定のチェック状態を条件として指定するアノテーションルールに対する評価結果を設定する。
文脈ボード(スケジュール)とは、上記した外部のシステムの状態として、例えばPCの時刻を監視して、スケジュール登録された時間帯にアノテーションを表示する場合に用いられる文脈ボード14bを表す。この場合に、ルール解釈実行部15cは、PC内部の時刻を表すオブジェクトを生成し、所定の時刻を条件として指定するアノテーションルールに対する評価結果を設定する。
文脈ボード(非表示チェック)とは、ユーザに対して2回目以降のアノテーション表示を非表示に切り替える場合に用いられる文脈ボード14bを表す。例えば、アノテーションエンジンが、「以後は表示しない」ことを指定するチェックボックスつきのアノテーションを用いて、2回目以降のアノテーションを非表示にするユーザの指示入力を受け付ける。
この場合に、監視部としてのルール解釈実行部15cは、このアノテーションのチェック状態を表すオブジェクトを文脈ボード(非表示チェック)に生成し、チェックボックスがチェック済みであることを条件として指定するアノテーションルールに対する評価結果を設定する。なお、文脈ボード(非表示チェック)は、評価結果が更新される場合に、更新前の評価結果が履歴として永続ファイルに蓄積される。これにより、次回起動時以降もユーザの「以後は表示しない」ことを指示入力したことによる評価結果を継承できる。
図7には、上記した各種の文脈ボード14bを分類したクラス階層図が例示されている。図7に示すように、文脈ボード14bは、ローカルコンテキストとグローバルコンテキストとの2つの抽象クラスに分類される。ローカルコンテキストには、上記したように、文脈ボード(DOM)が含まれる。
グローバルコンテキストは、さらに、永続ファイルの有無で分類される。図6に示した例では、永続ファイルが生成される文脈ボード14bである文脈ボード(永続ファイルあり)には、上記したように、文脈ボード(業務コンテキスト切替)、文脈ボード(利用実績集計)、文脈ボード(非表示チェック)が含まれる。また、永続ファイルが生成されない文脈ボード14bである文脈ボード(永続ファイルなし)には、文脈ボード(仮想チェック)、文脈ボード(スケジュール)が含まれる。
なお、これらの文脈ボードは全て、update(string)、read(string)、subscribe(string)の3つのメソッドを持つ。update(string)とは、文脈ボードへの状態値の書き込み(更新通知あり)を意味する。read(string)とは、文脈ボードからの状態値の読み込みを意味する。subscribe(string)とは、文脈ボードの状態値の更新購読を意味する。
グローバルコンテキストの文脈ボードは、多様な機能を具備する様々な種類のモジュールとしての役割を兼ねさせることも可能である。例えば、文脈ボード(スケジュール)は、上記した制御部15による監視部の役割に依存せず、Webページの外部の状態を自身で監視してもよい。具体的にはPC端末の時刻情報を読み取る機能を、文脈ボード(スケジュール)内部で定期的に呼び出す。また、文脈ボード(永続ファイルあり)は自身が保持する情報を適切なタイミングでファイルに書き込む機能を既に持っている。このように文脈ボードは記憶部14にありながらも、自律的に自身が担当する情報範囲の監視・永続化などを行うことも可能である。これによって、グローバルコンテキストとして扱う情報範囲を本発明の構成に対して新たに追加しようとする場合に、制御部15に改造を加えるのではなく、対応する情報範囲の機能を具備した文脈ボードをモジュールとして追加開発するだけですむ、という利点がある。
図1の説明に戻る。ルール解釈実行部15cは、表示制御部として機能する。すなわち、ルール解釈実行部15cは、記憶部14に記憶された文脈ボード14bの状態と合致するルール14aの業務シーンの状態において、ルール14aで指定された付加情報を表示する。ここで、ルール解釈実行部15cは、監視するDOM要素の状態が変化した際に、文脈ボード14bの状態と合致する業務シーンの状態において、ルール14aで指定された付加情報を表示する。
具体的には、ルール解釈実行部15cは、文脈ボード14bを参照し、ツリー構造のルール14aで親ノードとして連なる各アノテーションルールに対する評価結果が全て「True」となった際に、ルール14aで指定された付加情報を表示する。その場合に、ルール解釈実行部15cは、基本的にツリーの葉に相当するアノテーションルールである通常表示ルールで指定される付加情報を、Webページに表示する。ただし、機能構成上は、通常表示ルールがツリーの枝に位置していても動作は可能である。
なお、ルール解釈実行部15cは、文脈ボード14bと合致する業務シーンにおいて、ルール14aで指定された付加情報を表示する処理を、DOM要素の状態が変化した際に直ちに行わなくてもよい。例えば、図6を参照して上記したように、時系列上で離れた時点の状態に応じてアノテーションを切り替えたり、2回目以降のアノテーション表示を非表示に切り替えたりすることもできる。
編集部15dは、業務シーンを視覚化したGUIを用いてルール14aの作成または編集を行う。ここで、図8〜図12は、編集部15dの処理を説明するための説明図である。編集部15dは、図8に例示する編集画面を用いて、ユーザによるルール14aの作成または編集を受け付ける。図8に示すように、編集画面は、ルール選択パネル、条件設定パネル、DOM要素選択パネル、プレビューパネル、およびコンテキスト指定パネル等を含む。
図8において、ユーザがキャプチャボタンを選択すると、編集部15dは、Webページの内部のDOM構造をキャプチャし、DOM要素選択パネルに表示する。
DOM要素選択パネルは、各アノテーションルールに関連づけるDOM要素を指定するために用いられる。DOM要素選択パネルでは、例えば、DOM要素のx.y.w.hの矩形図形が表示され、背景に当該ページの画像イメージが表示され、視覚的にWebページ上の領域とDOM要素の対応を確認できる。
ユーザは、マウスを用いてDOM要素を選択することができる。このパネルは、IEの開発者ツール画面と同様の形式でもよい。さらにユーザは、所定の操作を通じてアノテーションルールを作成することができる。このパネル上で作成された複数のアノテーションルールは、ルール選択パネルに追加表示される。
ルール選択パネルには、保存ファイルから編集画面にロードされたアノテーションルールの集合が表示される。このパネルには、リスト形式、テーブル形式あるいは、内部情報に基づいたツリー形式等で表示される。例えば、編集部15dは、画面条件部の内容が同じであるアノテーションルールのグループや、GUI条件部の内容が同じであるアノテーションルールのグループをまとめて、グループごとにサブツリー化して表示してもよい。
また、編集部15dは、検索条件の指定を受け付けて、検索条件に適合するアノテーションルールをフィルタ表示してもよい。編集部15dは、さらに優先基準の指定を受け付けて、指定された優先基準に基づく順序でソート表示してもよい。このパネル上で選択されたアノテーションルールは、DOM要素選択パネルにおいて強調表示されるとともに、条件設定パネルおよびプレビューパネルに表示もしくは強調表示される。
条件設定パネルは、選択されたアノテーションルールの画面条件部、GUI条件部、付加情報部等を編集するために用いられる。また、プレビューパネルには、アノテーションルールの付加情報部に基づいたアノテーション表示を視覚化したプレビュー画像が表示される。
なお、プレビューパネルは、DOM要素選択パネルと融合して表示されてもよい。例えば、PowerPoint(登録商標)等の図形エディタを模して、色、大きさなどのプレゼンテーション設定を、マウスを用いて編集可能にしてもよい。また、対象のDOM要素からのアイコンや付箋等のアノテーションの相対位置を、マウスを用いた操作で移動可能にしてもよい。
コンテキスト指定パネルには、特殊なGUI条件の複合条件として構成されるコンテキスト(業務シーン)が表示される。コンテキスト情報は、ファイルを格納・配置するフォルダ階層のメタファにより表示される。例えば、複雑化を避けるようにフォルダを1階層に限定してもよいし、階層的なコンテキストをフォルダ階層としてもよい。
コンテキストとルールとの関連付けは、ファイルをフォルダに格納・配置する操作を模した編集操作で実現される。例えば、ルール選択パネルからノードをドラッグし、コンテキスト指定パネル上の所定のフォルダにドロップする操作により行う。あるいは、キーボードショートカット操作(所謂コピー・アンド・ペースト操作)と同様の操作により行えるようにしてもよい。
ここで、コンテキスト指定パネルでは、コンテキストの種類ごとにタブパネルに分けてもよいし、コンテキストのフォルダ表示を色分けしてもよい。また、コンテキスト指定パネルでは、Webページの外部の状態とルールとの関連付けも可能である。その場合に、編集部15dは、外部の状態の種類に応じて、外部のどのような状態を監視するかを設定してもよい。具体的には、右クリックメニューからサブダイアログウィンドウを開いてその中で設定してもよいし、条件設定パネルにタブパネルを設け、それをユーザが切り替えてその中で設定してもよい。
また、編集部15dは、図3に例示したアノテーションルールの組み合わせからなる複合条件を、1つのサブダイアログウィンドウで設定してもよいし、条件設定パネルに1つのタブパネルを設けて設定してもよい。
コンテキスト指定パネルに作成されたノードは、例えば、ショートカットの修飾が表現されたアイコンで表示される。あるいは、オリジナルとエイリアスとの関係を把握できるように、一方を選択した場合に他方がハイライト表示されるように表示してもよい。
また、オリジナルのノードを、コンテキスト付きを示す小さいフラグの絵等の修飾が表現されたアイコンで表示して、エイリアスが関連付いていることを把握できるようにしてもよい。また、1つのノードが複数のコンテキストに関連付けられる場合に、対応するコンテキストごとにフラグの色を変えたり、バルーンや右クリックにより、関連するコンテキストのリストを表示するようにしたりしてもよい。
このようにして、編集部15dは、ユーザにわかりやすいように、コンテキスト指定パネルでは、ルール選択パネルとは異なる編集メタファでルール14aを編集可能としている。
また、編集部15dは、インラインフレームを含むGUIに対するルール14aの編集を行うこともできる。この場合に、各インラインフレームがURLの異なるWebページとして識別されている。これにより、編集部15dは、ルール解釈実行部15cがそのまま用いることが可能なルール14aを作成できる。
ここで、図9には、インラインフレームを含むGUIが例示されている。図9に示す例では、インラインフレームごとに複数のDOM要素選択パネルに分けて表示される。各パネルにおいて網掛けされた領域は、当該パネルが表示するインラインフレーム以外の他のインラインフレームが背景画像として表示されており、DOM要素選択はできないようになっている。複数のパネルは、タブパネルにより重ねた形式で編集ウィンドウ上に表示されてもよい。ユーザが網掛けされたインラインフレームの内部を選択すると、インラインフレーム構成ツリーがトラバースされ、当該タブパネルに切り替わってもよい。
この場合に、例えば、図10に示したように、タブA内のフレーム1は、トップページのURL「http://test.test/top.html」とは異なるURL「http://test.test/child.html」を持つWebページとして識別されている。そのため、フレーム1がユーザに選択された場合に、トップページの構造に依存しない独立したWebページとして、タブBに表示される。編集部15dは、このようなGUIの編集画面を用いることにより、トップページの構造に依存しないルール14aを作成することができる。
編集部15dは、ルール14aの対象のDOM要素が選択された際に、図8に示した条件設定パネルに該DOM要素のデフォルト値が表示されるUIを用いてもよい。例えば、編集部15dは、図8に示した編集画面の各パネル上で、図11(a)に例示したUIを用いる。図11(a)は、アノテーションルールのGUI条件部を設定するためのUIパネルを例示している。
ユーザがルールの対象のDOM要素の状態を設定する場合に、編集部15dは、図11(a)に示すUIパネルを表示して、ユーザの入力を受け付ける。ここで、ユーザがDOM要素を選択すると、図11(a)に例示するように、このDOM要素が持つ属性値のデフォルト値が表示される。
また、DOM要素タグに応じて、所定の属性について有効/無効のデフォルト値が設定され、無効の属性の入力が受け付けられないようになっている。ユーザは、表示されているデフォルト値をそのまま用いることにより、容易にアノテーションルールのGUI条件部を設定できる。
なお、図11(a)において、動的属性とは、ユーザ操作により変化する属性値を意味している。また、静的属性とは、動的属性以外の属性を意味している。このようなUIパネルのデフォルト値の設定は、図11(b)に例示した制御に従うUI部品を用いることで実現される。図11(b)において、有効なUI部品が○で表され、無効なUI部品が×で表されている。
また、編集部15dは、1つのDOM要素に対して属性値の異なる複数の条件を一括して設定できるUIを用いてもよい。例えば、編集部15dは、図8に示した編集画面の各パネル上で、図12に例示したUIを用いる。図12(a)に示したUIパネルは、例えば、図11(a)に示したUIパネルで「Text」属性を持つ値を指定して「編集」ボタンを選択した場合に表示される。
図12(a)のGUIパネル上で「CSVファイル指定」を指定するラジオボタンを選択すると、図12(b)に示すように、属性値とアノテーションメッセージとの複数の組み合わせを一括して指定することができる。
図12(b)には、例えば「302ER」、「102ER」、「201ER」等の複数のエラーコードに対して、表示する複数のアノテーションメッセージを一括して指定する場合が例示されている。このように、例えば100通りのエラーコードに対するアノテーションルールの設定を、100個のアノテーションルールの定義に代えて、1つのアノテーションルールにおいて100行のCSVデータを用いることにより、高効率に行うことができる。
[表示制御処理]
次に、図13は、表示制御処理手順を例示するフローチャートである。図13は、ルール14aに基づいてアノテーションを表示する場合の処理手順を例示している。図13のフローチャートは、例えば、文脈ボード14bの変化があったタイミングで開始される。
まず、ルール解釈実行部15cは、ルール14aを構成するアノテーションルールの画面条件部が、対象の文脈ボード14bのWebページと合致するかの評価を行う(ステップS1)。評価の結果、合致しない場合(ステップS1,False)には、ルール解釈実行部15cは、ステップS4に処理を進める。
一方、評価の結果、合致する場合(ステップS1,True)には、ルール解釈実行部15cは、アノテーションルールの参照IDで特定される親ノードのアノテーションルールの文脈IDを参照し、文脈ボード14bにおける、この親ノードの文脈IDの評価結果を確認する(ステップS2)。親ノードの文脈IDの評価結果がFalseの場合には、ルール解釈実行部15cは、ステップS4に処理を進める。
一方、親ノードの文脈IDの評価結果がTrueの場合には、ルール解釈実行部15cは、アノテーションルールのGUI条件部と、文脈IDのDOM要素の状態とを比較する評価を行う(ステップS3)。
ステップS4の処理では、ルール解釈実行部15cは、文脈IDのDOMの状態の評価結果が、文脈ボード14bの評価結果と異なるか否かを確認する。異ならない場合には(ステップS4、No)、ルール解釈実行部15cは、一連の表示制御処理を終了させる。一方、異なる場合には(ステップS4,Yes)、ルール解釈実行部15cは、文脈ボード14bを更新する(ステップS5)。
また、ルール解釈実行部15cは、ルール14aの他のアノテーションルールについて、ステップS1〜ステップS5の処理を実行する。そして、ルール解釈実行部15cは、各アノテーションルールに対する評価結果が全て「True」となった際に、ルール14aで指定されたアノテーションに表示を更新する(ステップS6)。これにより、一連の表示制御処理が終了する。
また、図14〜図16は、表示制御処理手順を示すシーケンス図である。図14〜図16には、文脈ボード14bの監視に関する処理手順が例示されている。まず、図14には、文脈ボード14bの初期化および終了の処理手順が例示されている。図14(a)に示すように、制御部15は、常時、Webブラウザとの間でポーリング監視を行っている(ステップS10)。
そして、制御部15が、新規のWebページを検知した場合に(ステップS11)、当該Webページのルール14aおよびルール解釈実行部15cを送付する(ステップS12、S14)。また、制御部15は、対応する文脈ボード14bを生成・初期化して、文脈IDを割り当てる(ステップS13、S15)。その際に、制御部15は、対応する文脈ボード14bと対応するWebページのルール解釈実行部15cとを関連付ける。
また、制御部15は、Webページの消滅を検知した場合には(ステップS16)、対応する文脈ボード14bに対する後処理を行って解放する(ステップS17)。
また、制御部15は、図14(b)に示すように、図7に示したグローバルコンテキストに分類される文脈ボードについては、起動時に生成・初期化して、文脈IDを割り当てる(ステップS18)。初期化の際には、制御部15は、永続化ファイルがあれば読み込む。
また、制御部15は、終了にともなって、文脈ボードに対する後処理を行って解放する(ステップS19)。後処理の際に、制御部15は、永続化ファイルがある文脈ボードについては、永続化ファイルに履歴の書き込みを行う。
次に、図15および図16には、文脈ボード14bの更新に関する処理手順が例示されている。まず、図15に示すように、ルール解釈実行部15cは、WebページのDOM構造の変化イベントを監視して、文脈ボード14bを購読することにより、DOM要素の状態を監視している(ステップS20)。ルール解釈実行部15cは、DOM要素の状態の変化を検出した場合、DOM要素の状態を、該当のアノテーションルールで特定されている状態と比較する評価を行う(ステップS21)。
また、ルール解釈実行部15cは、必要な場合には、文脈ボード14bの該当の文脈IDで指定されるオブジェクトの評価結果である「True」または「False」の設定値を変更する更新を行う(ステップS22)。ルール解釈実行部15cは、文脈ボードの更新を行った場合には、更新の通知を行って、文脈ボード14bの最新の状態を読み出す(ステップS23)。
そして、ルール解釈実行部15cは、文脈ボード14bの更新の通知を受信した場合には、図13に示した表示制御処理を実行し、アノテーション表示を更新する(ステップS24)。
なお、図16には、図6に一点鎖線で示したように、ルール解釈実行部15cが他の文脈ボード14bを参照する場合が例示されている。図16の処理は、図15の処理とは、ステップS25の処理が追加されている点が異なる。その他の点については、図15の処理と同様であるので、説明を省略する。
ステップS25の処理では、文脈ボードの更新を行った場合には、ルール解釈実行部15cが、監視対象の文脈IDのオブジェクトに対応する他の文脈ボードと関連付けられている他のWebページのルール解釈実行部15cに、更新を通知する。
更新を通知された他のWebページのルール解釈実行部15cは、上記と同様に、自身に関連付けされている文脈ボード14bの最新の状態を読み出して、図13に示した表示制御処理を実行し、アノテーション表示を更新する(ステップS24)。
なお、ルール解釈実行部15cが文脈IDを用いて文脈ボード14bを参照する際に、関連付けられている文脈ボード14bを最優先として、所定の優先度で探索を行って、存在する文脈ボード14b内の文脈IDを採用すればよい。例えば、まず生成順序の早いグローバルコンテキストから探索を行えばよい。次に、生成時刻の新しいローカルコンテキストから探索を行えばよい。
以上、説明したように、本実施形態の表示制御装置10では、記憶部14が、所定のWebページのDOM要素の有無または属性値で表される該DOM要素の状態の組み合わせで特定される業務シーンごとに、表示する付加情報を指定するルール14aを記憶する。また、監視部として、ルール解釈実行部15cが、WebページのDOM要素の状態を監視して、該状態を文脈ボード14bとして記憶部14に記憶させる。また、表示制御部として、ルール解釈実行部15cが、記憶部14に記憶された文脈ボード14bの状態と合致する業務シーンの状態において、ルール14aで指定された付加情報を表示する。
これにより、表示制御装置10では、アノテーションの適用対象のDOM要素の変化に応じて、Webページのリロードがなくてもアノテーションが動的に更新され適切に表示される。また、実用的な業務シーンをカバーする複雑な複合条件を、高い自由度で定義できる。例えば、スケジューリング、業務メニュー、画面状態、非表示指定等を組み合わせて複雑な複合条件を定義できる。また、特に、ウィンドウやタブパネル(Webコンンテント)やインラインフレームが複数存在する場合にも、画面またがりの複合条件を高い自由度で定義できる。
このように、表示制御装置10では、DOM要素の状態を特定するアノテーションルールの単純な関係を組み合わせて詳細な業務シーンを特定できる。ここで、単純な関係とは、例えば、論理式(AND/OR)や制約条件(N項間制約)からなる関係、複数画面にまたがった状態集合からなる関係、時間系列の離れた時点の状態集合からなる関係、Webページの外部から取得される状態を含む関係を含む。
また、イベントのフック設定、ハンドラ呼び出し等が共通機能として統一して実装されるため、アノテーション表示の更新の漏れ、遅れ等が発生しない。例えば、対象Web画面のフレーム構成や読込タイミングに依存した例外処理がユーザ操作によらず自動的に行われる。また、外部システム等のWebページの外部の状態を文脈ボードのサブクラス分類により追加できるため、アノテーション表示の更新の漏れ、遅れ等が発生しない。例えば、状態更新の影響により文脈ボードを参照しルール14aを再評価する処理がユーザ操作によらず自動的に行われる。
このように、表示制御装置10は、アノテーション表示を行う業務シーンの定義を容易に行い、業務シーンの変化に応じて適切にアノテーション表示を更新することができる。
また、編集部15dが、業務シーンを視覚化したGUIを用いてルール14aの作成または編集を行う。例えば、セレクタ指定で利用可能な属性値の編集を行うGUIを提示するため、ユーザが容易にルール14aの設定を行える。
特に、編集GUIをユーザが選択したDOM要素タグに応じてデフォルト値で初期化するため、ユーザが容易にルール14aを設定できる。例えば、ユーザが検索フォーム要素を選択すると、タグが「INPUT」、value属性が「×××」等となり、ユーザはそのデフォルト値をそのまま用いてルール14aを設定できる。このように、プログラミングスキルを持たない一般ユーザでも、容易に実用的な業務シーンを定義してアノテーション表示を指定することができる。
[実施例]
次に、図17〜図26は、表示制御装置10による表示制御処理の実施例を説明するための説明図である。まず、図17には、ある業務画面としてWebページのパネル上のtable要素に「解約申込」等の所定のラベルが存在する場合に、アノテーションを表示する場合が例示されている。図17には、ある業務案件が1つ以上のサブ案件で構成されている場合の業務画面が例示されている。図17(a)には、画面ウィンドウ内のスクロール機能によりユーザに見える領域に3つのサブ案件が表示されている。
オペレータは、この業務画面を用いて、サブ案件のそれぞれの表示を確認し、必要に応じてデータを入力する。そして、図17(b)に例示する、スクロールの最下段において、コミットを意味する「OK」ボタンを押下することにより、1つの業務案件の作業が完了する。また、複数種類のサブ案件のうち、例えば、「解約申込」等の慎重な入力を要するサブ案件の入力については、入力データが正しいかを確認するために、他のシステムの別の観点からの業務情報の参照が必要となる場合がある。そこで、図17(c)に例示するように、他のシステムを参照できる「サービス監視画面を開く」ボタンが左側パネルに提供されている。
ここで、オペレータの習熟度が低く、サブ案件に「解約申込」が含まれていても入力データの確認が不十分なままコミットしてしまうと、業務上の多大な損失が生じるリスクがある。そこで、表示制御装置10は、図17(d)に例示するように、サブ案件「解約申込」の入力欄(コンボボックス)の近傍に、コンボボックスの選択状態に応じて、アノテーションを強制的に表示することができる。
また、習熟したオペレータであっても、長いスクロールで多数のサブ案件の作業を行っている間に忘れてしまうリスクもある。そこで、表示制御装置10は、図17(e)に例示するように、コンボボックスの選択状態が「解約申込」である箇所が業務画面上に1つ以上存在する場合に、まとめて注意喚起することもできる。図17(e)には、コミットする際の「OK」ボタンの近傍に「上位サービス終了日を別途確認してください」とのアノテーションが表示されている。同時に、離れた位置にある「外部システム」ボタンの近傍に、関連する内容の「要注意:上位サービス終了日」とのアノテーションが表示されている。
このように、表示制御装置10は、利用方法を前提として、強制的にアノテーションを表示することができる。また、表示制御装置10によるアノテーションの表示の条件や振る舞いは、局所的あるいは個別的ではない。すなわち、表示制御装置10は、画面上の複数個所、あるいはスクロールで離れた箇所の状態に応じて、大域的かつ複合的に、画面上の複数個所や離れた箇所にアノテーションを表示することができる。つまり、表示制御装置10は、業務画面の構成や業務作業上の個々の問題等に応じて自由にアノテーションの表示ルールを定義して、高度にアノテーション表示の振る舞いを制御できる。
表示制御装置10によれば、何も選択されていない初期画面のコンボボックスに対して、オペレータが「解約申込」を選択した場合に、その場ですぐにアノテーションが表示される。また、その後、他の「新規サービスA」等に選択を変えた場合には、その場ですぐにアノテーションが消える。また、業務画面のスクロールの最下段のアノテーションは、業務画面上の全ての「解約申込」が存在しなくなった場合にのみ消える。また、「外部システムを開く」ボタンも「解約申込」の有無に連動して消える。このように、表示制御装置10は、オペレータが選択操作を行った時点で、対象システム画面の状態に応じてアノテーション表示が動的に制御される。
さらに、オペレータがオーダ記録から、過去に投入した申込内容を検索してこの業務画面で閲覧する、という業務シーンでは、当初から「解約申込」が含まれることが想定される。したがって、この業務シーンでは、表示制御装置10は、オペレータのコンボボックス操作を待たずに、当初から漏れなく必要なアノテーションを表示させることができる。
このように、表示制御装置10では、ルール14aの定義を、DOM要素の属性値に応じて自由に記述して、GUIを用いて編集できる。これにより、特定の操作を契機にするのではなく、多様で多岐にわたるトリガを漏れなく考慮することができる。このように表示制御装置10によれば、リアルタイム領域においても、対象画面の状態に応じて動的に、アノテーション表示の更新を制御して、オペレータが意識しなくても強制的にアノテーションを表示できる。
また、図18には、図17に例示した場合におけるルール14aの定義例が例示されている。図18に示すように、画面状態ルールB0の子ノードに当たる通常表示ルールC0では、GUI条件部に『セレクト要素&属性「解約申込」』、また付加情報部に『アノテーション「要確認:上位サービス終了日」を表示』が設定されている。
通常表示ルールC0には、通常表示ルールC1および通常表示ルールC2の2つの子ノードが設定され、2つに条件分岐している。通常表示ルールC1では、GUI条件部に『ボタン要素&属性「OK」』、また付加情報部に『アノテーション「上位サービス終了日を別途確認してください」を表示』が設定されている。また、通常表示ルールC2では、GUI条件部に『ボタン要素&属性「サービス監視画面を開く」』、また付加情報部に『アノテーション「要確認:上位サービス終了日」を表示』が設定されている。
また、図18に示すルール14aには、外部状態ルールA0が追加されている。この外部状態ルールA0では、文脈ボード(スケジュール)を参照するための文脈IDが設定されている。これにより、アノテーション表示が例えば「7月1日〜7月31日」に表示され、それ以外の期間には表示されないようにすることができる。すなわち、外部状態としてPCのカレンダー情報を監視する文脈ボード(スケジュール)のサブツリー配下に、上記のオブジェクト群を配置することにより、実現している。
同様に、ルール追加を組み合わせることにより、より複雑な表示制御を定義することができる。例えば、以上の表示制御を、さらにユーザの選択によりOn/Off切替をしたい場合には、後述する図21の実施例において「初心者ユーザ用アノテーションを表示する」メニューを配置し、「文脈ボード(業務コンテキスト切替)」を参照するアノテーションルールを追加すればよい。このように、多種多様な制御を組み合わせ、全体として複雑な制御を構成できる。
図19には、必須項目であるテキストフィールドへの入力が未入力の場合に、必須データである旨のアノテーションメッセージを表示する場合が例示されている。図19には、2種類以上の業務案件が多数の入力項目で構成され、コンボボックスでどの種類の業務についての処理かを指定する場合が例示されている。業務システムは、開発上の都合で、全ての入力項目が常に編集可能になっているが、業務案件の種類に応じて、入力が必須の項目や編集禁止の項目が運用で細かく指定されている。オペレータは、本来、それらを全て把握して作業を行わなければならない。
通常、業務案件を起票する際には、全ての入力項目は空白である。オペレータは、適切かつ効率よくデータを入力するために、入力が必須である項目を迅速かつ的確に知りたい。表示制御装置10は、GUI要素の状態に応じて、自動的にアノテーションを切り替えるので、コンボボックスを変更した時点で、リアルタイムに必須である旨のアノテーション表示を切り替えることができる。
例えば、図19(a)に示す例では、「サービスA」での必須項目と「サービスB」での必須項目の集合が異なっている。表示制御装置10によれば、「サービスA」または「サービスB」を選択した時点で、あるいは選択を変更した時点で、必須項目の集合パターンが自動的に切り替わる。なお、集合パターンは2つに限定されず、3つ以上にも適用できる。例えば、3つ以上のサービスについても、同様に、必須項目の集合パターンを切り替えることができる。
また、図19(b)には、過去に入力されたデータをオペレータが変更する場合において、安易に変更されたくない項目を、強制的に「さわるな」とのアノテーションで覆う場合が例示されている。この場合には、オペレータがアノテーションの表示/非表示を操作できないように、ルール14aで指定できる。また、アノテーションの背後に存在する入力欄は、マウスのクリックイベントが遮られて編集状態にはならない。
このように、表示制御装置10によれば、オペレータには、値が見えないだけでなく、変更することもできないようにできる。オペレータが業務上のリスクに自覚がない場合にも、アノテーションが強制的に表示されることにより、リスクを回避することができる。
また、表示制御装置10は、図19(c)に示すように、ユーザとの対話性を提供することも可能である。図19(c)には、入力済みになった項目のアノテーション表示が消える場合が例示されている。図19(c)では、入力項目1および入力項目2について、入力が済んでいるため「必須」のアノテーションが消えている。これにより、未入力でオペレータの注意喚起が必要な項目への注意が散漫になるのを防止できる。表示制御装置10では、DOM要素のvalue属性値が空きもしくは“”の場合をルール14aで指定することにより、これを実現する。
また、図20には、図19に例示した場合におけるルール14aの定義例が例示されている。図20に示すように、画面状態ルールA1には、画面状態ルールD0および画面状態ルールE0の2つの子ノードが設定され、2つに条件分岐している。画面状態ルールD0では、GUI条件部に『セレクト要素&属性「サービスA」』が設定されている。また画面状態ルールE0では、GUI条件部に『セレクト要素&属性「サービスB」』が設定されている。
画面状態ルールD0には、通常表示ルールD1、通常表示ルールD2、通常表示ルールD3および通常表示ルールD4の4つの子ノードが設定され、4つに条件分岐している。通常表示ルールD1では、GUI条件部に『テキスト要素「入力項目1」&属性「」(空文字)』、また付加情報部に『アノテーション「必須」を表示』が設定されている。
また、通常表示ルールD2では、GUI条件部に『テキスト要素「入力項目2」&属性「」(空文字)』、また付加情報部に『アノテーション「必須」を表示』が設定されている。また、通常表示ルールD3では、GUI条件部に『テキスト要素「入力項目4」&属性「」(空文字)』、また付加情報部に『アノテーション「必須」を表示』が設定されている。また、通常表示ルールD4では、GUI条件部に『テキスト要素「入力項目Z」&属性「」(空文字)』、また付加情報部に『アノテーション「必須」を表示』が設定されている。
画面状態ルールE0には、通常表示ルールE1、通常表示ルールE2、通常表示ルールE3および通常表示ルールE4の4つの子ノードが設定され、4つに条件分岐している。通常表示ルールE1では、GUI条件部に『テキスト要素「入力項目1」&属性「」(空文字)』、また付加情報部に『アノテーション「必須」を表示』が設定されている。
また、通常表示ルールE2では、GUI条件部に『テキスト要素「入力項目3」&属性「」(空文字)』、また付加情報部に『アノテーション「必須」を表示』が設定されている。また、通常表示ルールE3では、GUI条件部に『テキスト要素「入力項目4」&属性「」(空文字)』、また付加情報部に『アノテーション「必須」を表示』が設定されている。また、通常表示ルールE4では、GUI条件部に『テキスト要素「入力項目Y」&属性「」(空文字)』、また付加情報部に『アノテーション「必須」を表示』が設定されている。
図21には、ユーザに明示的に業務を選択させてアノテーションを切り替える場合が例示されている。例えば、図21(a)に示すように、表示制御装置10は、ユーザが「新規」「変更」「削除」等の業務の中から選択する入力を行った場合に、それぞれの業務に応じたアノテーションを表示する。
この場合には、図21(b)に示すように、制御部15は、GUIを用いてユーザによる業務の選択を受け付けて、ユーザによる業務の選択の状態を業務シーンに含めたルール14aを作成する。また、ルール解釈実行部15cは、ユーザによる業務の選択の状態を表すオブジェクトを文脈ボード(業務コンテキスト切替)に生成し、所定の業務を条件として指定するアノテーションルールに対する評価結果を設定する。これにより、表示制御装置10は、ユーザに明示的に業務を選択させてアノテーションを切り替えることが可能となる。
図22には、アノテーションの表示実績を集計する場合が例示されている。表示制御装置10は、図22(b)に例示するように、アイコンや付箋紙の表示状態を検知した場合に、ルール解釈実行部15cは、アイコンや付箋紙の表示状態を表すオブジェクトを文脈ボード(利用実績集計)に生成し、表示/非表示を設定する。表示制御装置10は、例えば、既読機能や、「ふせんがピン留めされた」、「ふせんが開かれた」等の閲覧操作により明示的に、あるいはふせん表示により暗黙的に、表示状態を検知して集計する。
この場合には、制御部15は、図22(a)に例示するように、文脈ボード(利用実績集計)を利用して、例えば時刻や付箋内容等をCSVファイルに出力する。集計された利用実績情報は、管理者が、アノテーションコンテンツの効果の定量化や、画面レイアウト変更に対するアンケート等の業務フロー・プロセス改善施策の定量化等に利用できる。
図23には、時系列上で離れた時点の状態に応じてアノテーションを切り替える場合が例示されている。表示制御装置10は、例えば、図23(a)に示すように、決定ボタンをチェックボックスつきのアノテーションで隠して、ユーザがチェックを入力した後に決定ボタンの押下を可能とする。
この場合には、制御部15は、図23(b)に例示するように、チェックボックスつきのアノテーションを仮想チェックシートとして用いて、複数の項目の入力等、時系列上で離れた時点の状態を確認済みの旨のユーザの入力を受け付ける。また、制御部15は、仮想チェックシートのチェック項目のチェック状態を業務シーンに含めたルール14aを作成する。
そして、ルール解釈実行部15cは、仮想チェックシートのチェック項目のチェック状態を表すオブジェクトを文脈ボード(仮想チェック)に生成し、仮想チェックシートの所定のチェック状態を条件として指定するアノテーションルールに対する評価結果を設定する。これにより、表示制御装置10は、時系列上で離れた時点の状態に応じてアノテーションを切り替えることが可能となる。
図24には、スケジュール登録された時間帯にアノテーションを表示する場合が例示されている。表示制御装置10は、例えば、図24(a)に示すように、月末業務等の定期業務の支援のため、特定日時にアノテーションを表示することができる。例えば、ユーザが離席中であっても、スケジューリングされた時刻に強制的かつ自動的にアノテーションを表示することができる。
この場合には、制御部15は、図24(b)に例示するように、PCの時刻が所定の時刻になったことを業務シーンに含めたルール14aを作成する。また、ルール解釈実行部15cは、PC内部の時刻を表すオブジェクトを生成し、所定の時刻を条件として指定するアノテーションルールに対する評価結果を設定する。これにより、表示制御装置10は、スケジュール登録された時間帯にアノテーションを表示することが可能となる。
図25には、ユーザに対して2回目以降のアノテーション表示を非表示に切り替える場合が例示されている。表示制御装置10は、図25(a)に例示するように、ユーザが以後は表示しない」ことを指定するチェックボックスつきのアノテーションを用いて、このユーザに対して2回目以降のアノテーション表示を非表示に切り替えることができる。
この場合に、制御部15は、「以後は表示しない」ことを指定するチェックボックスつきのアノテーションを用いて、2回目以降のアノテーションを非表示にするユーザの指示入力を受け付ける。また、制御部15は、このアノテーションのチェックボックスがチェック済みであることを業務シーンに含めたルール14aを作成する。
また、図25(b)に例示するように、ルール解釈実行部15cは、このアノテーションのチェック状態を表すオブジェクトを文脈ボード(非表示チェック)に生成し、チェック済みを条件として指定するアノテーションルールに対する評価結果を設定する。これにより、表示制御装置10は、ユーザに対する2回目以降のアノテーション表示を、永続的に非表示に切り替えることが可能となる。
図26は、あるウィンドウに「サーバ負荷逼迫中」のラベルが存在する場合におけるアノテーション表示を例示している。この場合は、システム運用状況をモニタするウィンドウと、別の検索ウィンドウで作業する、という業務シーンに相当する。
この場合に、表示制御装置10によれば、検索ウィンドウの検索ボタンの横に「使用を控えて下さい」というアノテーションを表示することができる。このように、表示制御装置10は、システムの運用状況を判定する参照元のウィンドウと判定結果を参照する検索ウィンドウというように、参照元と参照先が異なるウィンドウの間でコンテキストを共有できる。
[プログラム]
上記実施形態に係る表示制御装置10が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、表示制御装置10は、パッケージソフトウェアやオンラインソフトウェアとして上記の表示制御処理を実行する表示制御プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の表示制御プログラムを情報処理装置に実行させることにより、情報処理装置を表示制御装置10として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistants)等のスレート端末等がその範疇に含まれる。
また、表示制御装置10は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の表示制御処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、表示制御装置10は、Webページを入力とし、付加情報の表示を出力する表示制御処理サービスを提供するサーバ装置として実装される。この場合、表示制御装置10は、Webサーバとして実装することとしてもよいし、アウトソーシングによって上記の表示制御処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、表示制御装置10と同様の機能を実現する表示制御プログラムを実行するコンピュータの一例を説明する。
図27は、表示制御プログラムを実行するコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010と、CPU1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011およびRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1031に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1041に接続される。ディスクドライブ1041には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース1050には、例えば、マウス1051およびキーボード1052が接続される。ビデオアダプタ1060には、例えば、ディスプレイ1061が接続される。
ここで、ハードディスクドライブ1031は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093およびプログラムデータ1094を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ1031やメモリ1010に記憶される。
また、表示制御プログラムは、例えば、コンピュータ1000によって実行される指令が記述されたプログラムモジュール1093として、ハードディスクドライブ1031に記憶される。具体的には、上記実施形態で説明した表示制御装置10が実行する各処理が記述されたプログラムモジュール1093が、ハードディスクドライブ1031に記憶される。
また、表示制御プログラムによる情報処理に用いられるデータは、プログラムデータ1094として、例えば、ハードディスクドライブ1031に記憶される。そして、CPU1020が、ハードディスクドライブ1031に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した各手順を実行する。
なお、表示制御プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1031に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ1041等を介してCPU1020によって読み出されてもよい。あるいは、表示制御プログラムに係るプログラムモジュール1093やプログラムデータ1094は、LAN(Local Area Network)やWAN(Wide Area Network)等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
10 表示制御装置
11 入力部
12 出力部
13 通信制御部
14 記憶部
14a ルール
14b 文脈ボード
15 制御部
15a ターゲット取得部
15b コネクション部
15c ルール解釈実行部
15d 編集部

Claims (8)

  1. 所定のWebページのDOM要素の有無または属性値で表される該DOM要素の状態の組み合わせで特定される業務シーンであって、さらに前記Webページの外部の状態を含んだ業務シーンごとに、表示する付加情報を指定するルールを記憶する記憶部と、
    WebページのDOM要素の状態を監視して、該状態を文脈ボードとして前記記憶部に記憶させる監視部と、
    前記記憶部に記憶された文脈ボードの状態と合致する前記業務シーンの状態において、前記ルールで指定された前記付加情報を表示する表示制御部と、
    を備え、
    前記ルールは、それぞれルールの対象となるWebページを特定する条件を表す画面条件部を少なくとも含む複数のアノテーションルールをノードとするツリー構造を有し、
    前記文脈ボードは、前記WebページのDOM要素の状態を監視するためのローカルコンテキストと前記Webページの外部の情報の監視するためのグローバルコンテキストからなり、
    前記グローバルコンテキストは、自身が保持する情報を書き込んだ永続ファイルを生成する永続ファイルあり文脈ボード、および永続ファイルを生成しない永続ファイルなし文脈ボードの少なくとも一つを含み、
    前記監視部は、前記Webページの外部の状態をさらに監視して、該状態を前記グローバルコンテキストに含まれる文脈ボードとして前記記憶部に記憶させることを特徴とする表示制御装置。
  2. 前記表示制御部は、前記監視部が監視する前記DOM要素の状態が変化した際に、前記文脈ボードの状態と合致する前記業務シーンの状態において、前記ルールで指定された前記付加情報を表示することを特徴とする請求項1に記載の表示制御装置。
  3. 前記永続ファイルあり文脈ボードは、ユーザに業務を選択させて前記付加情報を切り替える場合に用いられる業務コンテキスト切替文脈ボード、前記付加情報の表示実績を集計する場合に用いられる利用実績集計文脈ボード、および2回目以降の前記付加情報の表示を非表示に切り替える場合に用いられる非表示チェック文脈ボードの少なくとも一つを含み、
    前記永続ファイルなし文脈ボードは、時系列上で離れた時点の状態に応じて前記付加情報を切り替える場合に用いられる仮想チェック文脈ボード、およびスケジュール登録された時間帯に前記付加情報を表示する場合に用いられるスケジュール文脈ボードの少なくとも一つを含むことを特徴とする請求項に記載の表示制御装置。
  4. 前記業務シーンを視覚化したGUIを用いて前記ルールの作成または編集を行う編集部を、さらに備えることを特徴とする請求項1に記載の表示制御装置。
  5. 前記編集部は、インラインフレームを含み、各インラインフレームがURLの異なるWebページとして識別される前記GUIを用いることを特徴とする請求項に記載の表示制御装置。
  6. 前記編集部は、前記ルールの対象のDOM要素が選択された際に、該DOM要素のデフォルト値が表示される前記GUIを用いることを特徴とする請求項に記載の表示制御装置。
  7. 所定のWebページのDOM要素の有無または属性値で表される該DOM要素の状態の組み合わせで特定される業務シーンであって、さらに前記Webページの外部の状態を含んだ業務シーンごとに、表示する付加情報を指定するルールを記憶する記憶部を備えた表示制御装置において実行される表示制御方法であって、
    WebページのDOM要素の状態を監視して、該状態を文脈ボードとして前記記憶部に記憶させる監視工程と、
    前記記憶部に記憶された文脈ボードの状態と合致する前記業務シーンの状態において、前記ルールで指定された前記付加情報を表示する表示制御工程と、
    を含み、
    前記ルールは、それぞれルールの対象となるWebページを特定する条件を表す画面条件部を少なくとも含む複数のアノテーションルールをノードとするツリー構造を有し、
    前記文脈ボードは、前記WebページのDOM要素の状態を監視するためのローカルコンテキストと前記Webページの外部の情報の監視するためのグローバルコンテキストからなり、
    前記グローバルコンテキストは、自身が保持する情報を書き込んだ永続ファイルを生成する永続ファイルあり文脈ボード、および永続ファイルを生成しない永続ファイルなし文脈ボードの少なくとも一つを含み、
    前記監視工程では、前記Webページの外部の状態をさらに監視して、該状態を前記グローバルコンテキストに含まれる文脈ボードとして前記記憶部に記憶させることを特徴とする表示制御方法。
  8. 所定のWebページのDOM要素の有無または属性値で表される該DOM要素の状態の組み合わせで特定される業務シーンであって、さらに前記Webページの外部の状態を含んだ業務シーンごとに、表示する付加情報を指定するルールを記憶する記憶部を参照し、
    WebページのDOM要素の状態を監視して、該状態を文脈ボードとして前記記憶部に記憶させる監視ステップと、
    前記記憶部に記憶された文脈ボードの状態と合致する前記業務シーンの状態において、前記ルールで指定された前記付加情報を表示する表示制御ステップと、
    をコンピュータに実行させ、
    前記ルールは、それぞれルールの対象となるWebページを特定する条件を表す画面条件部を少なくとも含む複数のアノテーションルールをノードとするツリー構造を有し、
    前記文脈ボードは、前記WebページのDOM要素の状態を監視するためのローカルコンテキストと前記Webページの外部の情報の監視するためのグローバルコンテキストからなり、
    前記グローバルコンテキストは、自身が保持する情報を書き込んだ永続ファイルを生成する永続ファイルあり文脈ボード、および永続ファイルを生成しない永続ファイルなし文脈ボードの少なくとも一つを含み、
    前記監視ステップでは、前記Webページの外部の状態をさらに監視して、該状態を前記グローバルコンテキストに含まれる文脈ボードとして前記記憶部に記憶させることを特徴とする表示制御プログラム。
JP2018125360A 2018-06-29 2018-06-29 表示制御装置、表示制御方法、および表示制御プログラム Active JP6817253B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018125360A JP6817253B2 (ja) 2018-06-29 2018-06-29 表示制御装置、表示制御方法、および表示制御プログラム
PCT/JP2019/024168 WO2020004156A1 (ja) 2018-06-29 2019-06-18 表示制御装置、表示制御方法、および表示制御プログラム
CN201980042737.0A CN112352214A (zh) 2018-06-29 2019-06-18 显示控制装置、显示控制方法和显示控制程序
EP19826909.4A EP3805909B1 (en) 2018-06-29 2019-06-18 Display control device, display control method, and display control program
US17/254,980 US11385772B2 (en) 2018-06-29 2019-06-18 Attribute-based rules for displaying additional information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018125360A JP6817253B2 (ja) 2018-06-29 2018-06-29 表示制御装置、表示制御方法、および表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2020004280A JP2020004280A (ja) 2020-01-09
JP6817253B2 true JP6817253B2 (ja) 2021-01-20

Family

ID=68984899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018125360A Active JP6817253B2 (ja) 2018-06-29 2018-06-29 表示制御装置、表示制御方法、および表示制御プログラム

Country Status (5)

Country Link
US (1) US11385772B2 (ja)
EP (1) EP3805909B1 (ja)
JP (1) JP6817253B2 (ja)
CN (1) CN112352214A (ja)
WO (1) WO2020004156A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023066895A (ja) * 2021-10-29 2023-05-16 ビッグローブ株式会社 発声状態認識システム、発声状態認識装置、発声状態認識方法及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7316060B2 (ja) * 2019-02-26 2023-07-27 株式会社日立製作所 アプリケーション画面表示プログラム実装方法
US11514129B1 (en) 2020-10-13 2022-11-29 Cisco Technology, Inc. Customizable redaptor extensions for single-page web applications
WO2022107228A1 (ja) * 2020-11-17 2022-05-27 日本電信電話株式会社 操作支援装置、操作支援方法および操作支援プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030149799A1 (en) * 2001-05-03 2003-08-07 Scott Shattuck System supporting unified event handling in ECMAScript
US7386835B1 (en) * 2002-03-22 2008-06-10 Emc Corporation Technique for graphical user interface modification
US7296017B2 (en) * 2003-03-28 2007-11-13 Microsoft Corporation Validation of XML data files
US7913159B2 (en) * 2003-03-28 2011-03-22 Microsoft Corporation System and method for real-time validation of structured data files
JP4581404B2 (ja) * 2004-01-06 2010-11-17 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US20060004729A1 (en) * 2004-06-30 2006-01-05 Reactivity, Inc. Accelerated schema-based validation
US20090083617A1 (en) * 2005-05-02 2009-03-26 Masakazu Hironiwa Input form design device and input form design method
JP2008146586A (ja) * 2006-12-13 2008-06-26 Fujitsu Ltd アノテーション管理プログラム、アノテーション管理装置及びアノテーション管理方法
JP4460620B2 (ja) * 2008-03-17 2010-05-12 株式会社ショーケース・ティービー 情報サービス提供方法およびサーバ
JP2011100200A (ja) * 2009-11-04 2011-05-19 Nec Corp 作業支援装置、方法、及び、プログラム
US8938668B2 (en) * 2011-08-30 2015-01-20 Oracle International Corporation Validation based on decentralized schemas
US8464148B1 (en) * 2011-06-29 2013-06-11 Google Inc. Intelligent editing of web pages in a web browser
GB201205117D0 (en) * 2012-03-23 2012-05-09 Saasid Ltd Dynamic rendering of a document object model
US9715396B2 (en) * 2012-06-29 2017-07-25 Nippon Telegraph And Telephone Corporation Terminal device, annotation method, computer system, and computer program
JP6291961B2 (ja) 2014-03-28 2018-03-14 富士通株式会社 情報処理システム、情報処理端末、コンテンツ管理装置、及び情報処理方法
WO2016007154A1 (en) * 2014-07-09 2016-01-14 Hewlett Packard Development Company, L.P. Web browser policy for http-based application
WO2016022693A1 (en) * 2014-08-05 2016-02-11 Moxie Software, Inc. Systems and methods for client-side contextual engagement
WO2016094534A1 (en) * 2014-12-09 2016-06-16 Moxie Software, Inc. Element mapping and rule building systems and methods for contextual site visitor engagement
US10324828B2 (en) 2016-03-28 2019-06-18 Dropbox, Inc. Generating annotated screenshots based on automated tests
US20190303269A1 (en) * 2018-03-28 2019-10-03 Layout.io Ltd Methods and systems for testing visual aspects of a web page

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023066895A (ja) * 2021-10-29 2023-05-16 ビッグローブ株式会社 発声状態認識システム、発声状態認識装置、発声状態認識方法及びプログラム
JP7398416B2 (ja) 2021-10-29 2023-12-14 ビッグローブ株式会社 発声状態認識システム、発声状態認識装置、発声状態認識方法及びプログラム

Also Published As

Publication number Publication date
JP2020004280A (ja) 2020-01-09
WO2020004156A1 (ja) 2020-01-02
EP3805909B1 (en) 2023-08-09
CN112352214A (zh) 2021-02-09
EP3805909A1 (en) 2021-04-14
US11385772B2 (en) 2022-07-12
US20210271355A1 (en) 2021-09-02
EP3805909A4 (en) 2022-02-23

Similar Documents

Publication Publication Date Title
JP6817253B2 (ja) 表示制御装置、表示制御方法、および表示制御プログラム
US20170329483A1 (en) Viewport for multi application user interface
US8954857B2 (en) Sections of a presentation having user-definable properties
Paterno et al. One model, many interfaces
US8042110B1 (en) Dynamic grouping of application components
EP3822828A2 (en) Method, apparatus, device and storage medium for determining page theme and computer program product
US20130191767A1 (en) Semantic Zooming of Data Object Representations in a User Interface
Paternò et al. A unified method for designing interactive systems adaptable to mobile and stationary platforms
US20080209390A1 (en) Pluggable model elements
US8914397B2 (en) Rich-context tagging of resources
CN101004755A (zh) 用于提供文件搜索的用户界面的装置和方法
CN1711521A (zh) 用于多媒体文件的工具提示
US8230357B2 (en) Visually processing instance data
US7546317B1 (en) Low-overhead integrated support for personal project management
US8707196B2 (en) Dynamic, set driven, ribbon, supporting deep merge
US10289388B2 (en) Process visualization toolkit
US8091016B2 (en) Visually manipulating instance collections
US20070266337A1 (en) Contextual link display in a user interface
CN115617441A (zh) 绑定模型和图元的方法、装置、存储介质及计算机设备
US11237850B2 (en) Method and electronic device for automatically managing activities of application
US9268560B2 (en) Displaying dependent files for computer code in a tabbed-application user interface
Rice Prima Power Analytics Application: Using React. js
CN116149653A (zh) 构建列表页面的方法、装置、存储介质及计算机设备
WO2024081073A1 (en) Visualization of application capabilities
CN116932845A (zh) 管理应用编程接口功能的呈现模式

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201224

R150 Certificate of patent or registration of utility model

Ref document number: 6817253

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150