JP7287486B2 - 可視化データへの付箋の付与及び復元 - Google Patents

可視化データへの付箋の付与及び復元 Download PDF

Info

Publication number
JP7287486B2
JP7287486B2 JP2021554053A JP2021554053A JP7287486B2 JP 7287486 B2 JP7287486 B2 JP 7287486B2 JP 2021554053 A JP2021554053 A JP 2021554053A JP 2021554053 A JP2021554053 A JP 2021554053A JP 7287486 B2 JP7287486 B2 JP 7287486B2
Authority
JP
Japan
Prior art keywords
electronic sticky
sticky note
event data
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021554053A
Other languages
English (en)
Other versions
JPWO2021084769A1 (ja
Inventor
健 増田
晴夫 大石
明 片岡
公雄 土川
史拓 横瀬
有記 卜部
真実 小宮山
佐也香 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021084769A1 publication Critical patent/JPWO2021084769A1/ja
Application granted granted Critical
Publication of JP7287486B2 publication Critical patent/JP7287486B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示制御装置および表示制御方法に関する。
従来、データを可視化・グラフ化して表示するツールは「BI(Business Intelligence)ツール」と呼ばれ世の中に広く普及している(例えば、非特許文献1参照)。BIツールにおいては、視覚的に分かりやすいグラフの生成をサポートするが、分析する過程や分析した結果において気付いた事や理解のポイントとなる情報・コメントを電子的な付箋(以下、電子付箋という)として付与したくなることが多々ある。
このような場合には、従来においては、非特許文献1のようにBIツール自体に電子付箋機能を持つものもあったが、日付に対して付与できる程度の貧弱なものであり、複数種類のグラフに対して柔軟に電子付箋を付与するようなことはできなかった。より柔軟に電子付箋を付与したい場合は、BIツールの画面をキャプチャし、プレゼンテーションソフトウェアなどに貼り付けたうえで、その画像上に吹き出しマークなどを載せてコメントを付与する方法が行われていた。
Yellowfin Guide 8"レポートの注釈"機能解説ページ、[online]、[2019年10月17日検索]、インターネット<https://wiki.yellowfin.co.jp/pages/viewpage.action?pageId=10945739>
従来の方法では、BIツールとは別のソフトウェアを操作する必要があり、データを可視化した画像に対して電子付箋を効率的に付与することができなかった。また、電子付箋を付与した画像を確認した後、BIツール上で同じ画像の状態を再度吟味したいという状況において、電子付箋を付与した画像からBIツールの画面を直接的に復元できないという課題があった。
上述した課題を解決し、目的を達成するために、本発明の表示制御装置は、一定のデータ単位の集合として表現されるデータであるイベントデータを取得する取得部と、前記取得部によって取得されたイベントデータを用いて、所定の可視化手法で可視化されたイベントデータの画像を表示する表示部と、前記表示部によって表示された画像に電子付箋を付与する操作を受け付けた場合には、前記電子付箋の情報と前記イベントデータと前記電子付箋を付与した際の画像に関する設定情報とを対応付けて記憶部に格納する格納部と、前記記憶部に記憶された電子付箋のなかから復元対象の電子付箋の指定を受け付けた場合に、該電子付箋のデータと該電子付箋に対応付けられた前記イベントデータおよび前記設定情報とを前記記憶部から取得し、前記電子付箋が付与された画像を復元する復元部とを有することを特徴とする。
本発明によれば、イベントデータを可視化した画像に対して電子付箋を効率的に付与することができ、電子付箋を付与した状態を容易に復元することができるという効果を奏する。
図1は、第1の実施形態に係る表示制御装置の構成の一例を示す図である。 図2は、イベントデータの一例を示す図である。 図3は、イベントデータテーブルの一例を示す図である。 図4は、付箋情報テーブルの一例を示す図である。 図5は、イベントデータ紐付けテーブルの一例を示す図である。 図6は、付与時可視化設定テーブルの一例を示す図である。 図7は、アクティブウィンドウ履歴データの可視化表現の一例を示す図である。 図8は、アクティブウィンドウ履歴データの可視化表現の一例を示す図である。 図9は、アクティブウィンドウ履歴データの可視化表現の一例を示す図である。 図10は、アクティブウィンドウ履歴データの可視化表現の一例を示す図である。 図11は、画像に電子付箋を付与する際の画面の一例を示す図である。 図12は、付箋一覧画面と復元画像の一例を示す図である。 図13は、別表現間での付箋表示について説明する図である。 図14は、第1の実施形態に係る表示制御装置における電子付箋付与処理の流れの一例を示すフローチャートである。 図15は、第1の実施形態に係る表示制御装置における画像復元処理の流れの一例を示すフローチャートである。 図16は、付箋の表示例について説明する図である。 図17は、判定基準について説明する図である。 図18は、付箋の表示例について説明する図である。 図19は、タグ情報のカラムが追加されたイベントデータテーブルの一例を示す図である。 図20は、表示条件設定画面の一例を示す図である。 図21は、変形例に係る表示制御システムの構成の一例を示す図である。 図22は、図の内容全体に関連付けて付箋を表示する場合の表示例について説明する図である。 図23は、実施例2-1-2に係る表示制御装置の構成の一例を示す図である。 図24は、実施例2-1-2に係る表示制御装置における画像復元処理の流れの一例を示すフローチャートである。 図25は、表示制御プログラムを実行するコンピュータを示す図である。
以下に、本願に係る表示制御装置および表示制御方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る表示制御装置および表示制御方法が限定されるものではない。
[第1の実施形態]
以下の実施の形態では、第1の実施形態に係る表示制御装置10の構成、表示制御装置10の処理の流れを順に説明し、最後に第1の実施形態による効果を説明する。
[表示制御装置の構成]
まず、図1を用いて、表示制御装置10の構成について説明する。図1は、第1の実施形態に係る表示制御装置の構成の一例を示す図である。表示制御装置10は、一つまたは複数個の値の組を一単位(イベント)として、そのイベントの集合として表現されたイベントデータを可視化するシステムにおいて、イベントデータの可視化表現に紐づけられた電子付箋を追加・表示することでデータ分析を支援する装置である。
図1に示すように、表示制御装置10は、入力部11、出力部12、通信制御部13、制御部14及び記憶部15を有する。以下では、各部について説明する。
入力部11は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部14に対して処理開始などの各種指示情報を入力する。出力部12は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。例えば、出力部12には、イベントデータを所定の表現で可視化した画像を出力する。
通信制御部13は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信制御部13は、NIC(Network Interface
Card)等で実現され、LAN(Local Area Network)やインターネットなどの電気通信回線を介した他の装置と制御部14との間の通信を行う。例えば、通信制御部13は、ネットワークなどを介して入力されたイベントデータを、制御部14に入力する。
ここで、図2を用いて、イベントデータのデータ構成例について説明する。図2は、イベントデータの一例を示す図である。図2の例は、操作の「開始時刻」と、操作の「終了時刻」と、操作対象の「ウィンドウタイトル」と、「アプリケーション(アプリケーションを識別する名称)」とを含むイベントデータである。
図2に例示するイベントデータは、Windows(登録商標)などのウィンドウの仕組みを持つコンピュータにおいて、アクティブなウィンドウ(アクティブウィンドウ)の履歴を記録したものである。アクティブウィンドウとは、マウスやキーボード等のユーザ入力を受け付けている状態のウィンドウのことである。なお、一つの画面上では同時に一つのアクティブウィンドウしか存在しない。
図2に例示するイベントデータの一行一行がイベントを構成する値の組で、それらの全ての行の集合としてイベントデータが表現されている。また、アクティブウィンドウの履歴は時刻情報を持つが、イベントデータは必ずしも時刻情報を含まなくてもよい。例えば、ある年の国別GDP情報は時刻情報を含まないが本実施形態の定義におけるイベントデータある。本イベントデータの例では、CSV(Comma Separated Value)ファイルに情報が保存されているが、CSVファイル以外にも、別の形式のファイルやデータベースなどに保存されていてもよい。
記憶部15は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現され、表示制御装置10を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが記憶される。例えば、記憶部15は、イベントデータテーブル記憶部15a、付箋情報テーブル記憶部15b、イベントデータ紐付けテーブル記憶部15cおよび付与時可視化設定テーブル記憶部15dを有する。
イベントデータテーブル記憶部15aは、後述する取得部14aによって取得されたイベントデータに関する情報を含むイベントデータテーブルを記憶する。例えば、イベントデータテーブル記憶部15aは、図3に例示するように、「通し番号」と、「読込元ファイルパス」と、「行番号」と、「開始時刻」と、「終了時刻」と、「ウィンドウタイトル」と、「アプリケーション」とが対応付けられたイベントデータテーブルを記憶する。図3は、イベントデータテーブルの一例を示す図である。
「通し番号」は、イベントデータ一つ一つを識別するためのユニークなIDである。各行を識別可能であれば別の方法を用いてもよい。また、「読込元ファイルパス」および「行番号」は、イベントデータがどこから読み込まれたかを表す情報である。なお、この例ではCSVのタイトル行を除き、データ行から行番号を数えているものとする。また、読込元がCSVではない場合は、イベントの読込元のタイプに合わせて適切な項目を選ぶ必要がある。また、「開始時刻」、「終了時刻」、「ウィンドウタイトル」、「アプリケーション」はCSVの内容をそのまま保持したものである。
また、図3に例示するイベントデータテーブルは、取得部14aによって複数のCSVが同時に読み込まれた場合のデータ例を表している。なお、取得部14aは、単体のCSVを読み込んでもよいし、複数のCSVを読み込んでもよい。また、取得部14aは、読み込むときにフィルタをかけて、一部のイベントのみを読み込んでもよい。また、イベントデータはCSVに限定されるものではなく、他の形式のファイルやデータなどでもよい。
付箋情報テーブル記憶部15bは、所定の可視化手法で可視化されたイベントデータの画像に付与された電子付箋に関する情報を含む付箋情報テーブルを記憶する。具体的には、付箋情報テーブル記憶部15bは、電子付箋を付与した日時、電子付箋に表示するコメント、電子付箋の位置を示す情報、電子付箋が付与された画像上の要素に対応するイベントデータと紐付ける情報、および、電子付箋を付与した際の画像の可視化表現に関わる設定情報と紐付ける情報を記憶する。
ここで、図4を用いて、付箋情報テーブルのデータ構造例について説明する。図4は、付箋情報テーブルの一例を示す図である。例えば、付箋情報テーブル記憶部15bは、図4に例示するように、「付箋番号」と、「付与日時」と、「コメント」と、「相対座標」と、「イベントデータ紐付けID」と、「付与時可視化設定ID」とを対応付けて記憶する。
「付箋番号」は、電子付箋を管理するためのユニークなIDである。また、「付与日時」は、電子付箋を付与した日付と時刻の情報である。なお、日時でなくても電子付箋を付与したタイミングを保持できる情報であればよい。「コメント」は、電子付箋に表示するコメントである。ユーザが自由に変更できる。コメント以外にも、電子付箋を付与したユーザ名などをデータに含めてもよい。
「相対座標」は、電子付箋を付与した可視化表現を構成する各部分要素の中心からどの位置に電子付箋を表示するかの情報である。本実施形態では、簡単のため全ての可視化表現で同じ相対座標を使うものとしているが、通常は可視化表現ごとに電子付箋の表示位置はユーザにより自由に変更できた方が望ましい場合が多い。付箋の表示位置は、ユーザによる変更をできないようにして、常に自動決定するようにしてもよい。付箋と可視化表現上の要素を結んで表示する線は、本実施形態では自動的に決定するものとしているが、これをユーザが自由に変更できるようにしてもよい。
「イベントデータ紐付けID」は、電子付箋が読み込まれたイベントデータのどのイベントと関連しているかを管理するIDである。「付与時可視化設定ID」は、電子付箋が付与されたタイミングにおける可視化表現の状態を再現するための設定を管理するIDである。
イベントデータ紐付けテーブル記憶部15cは、電子付箋の情報とイベントデータとの対応関係を含むイベントデータ紐付けテーブルを記憶する。例えば、イベントデータ紐付けテーブル記憶部15cは、図5に例示するように、「イベントデータ紐付けID」と「イベントデータ通し番号」とを対応付けて記憶する。図5は、イベントデータ紐付けテーブルの一例を示す図である。
「イベントデータ紐付けID」は、付箋情報テーブルから参照されるIDである。また、「イベントデータ通し番号」は、イベントデータテーブルの中で関連するイベントの通し番号である。イベントデータ紐付けIDに対して複数のイベントが紐づけられてもよい。
付与時可視化設定テーブル記憶部15dは、電子付箋を付与した時における可視化表現の設定に関する情報を記憶する。具体的には、付与時可視化設定テーブル記憶部15dは、可視化表現の設定に関する情報として、電子付箋を付与する操作を行った画像における可視化手法の種別、および、画像の表示態様に関する情報を記憶する。なお、表示部14bにより表示される可視化表現は、色指定、拡大率、スクロール、各部分要素の位置などを所定の制約の範囲内でユーザが自由に変更することができる。
ここで、図6を用いて、付与時可視化設定テーブルのデータ構造例について説明する。図6は、付与時可視化設定テーブルの一例を示す図である。例えば、付与時可視化設定テーブル記憶部15dは、図6に例示するように、「付与時可視化設定ID」と、「可視化種別」と、「可視化設定文字列」とを対応付けて記憶する。
「イベントデータ紐づけID」は、付箋情報テーブルから参照されるIDである。「可視化種別」は、可視化の手法を識別する情報である。図6の例では可視化種別の名称をそのまま格納している。「可視化設定文字列」は、電子付箋を付与する操作を行った際の可視化表現の状態を復元するための情報である。この情報は、可視化種別により設定可能な内容が変わるため、図6の例では全ての可視化種別で設定情報を文字列に変換して保存するものとしている。
制御部14は、各種の処理手順などを規定したプログラム及び所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。例えば、制御部14は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などの電子回路である。制御部14は、取得部14a、表示部14b、格納部14cおよび復元部14dを有する。
取得部14aは、一定のデータ単位の集合として表現されるデータであるイベントデータを取得する。例えば、取得部14aは、CSVファイルなどの形式で保存されているイベントデータを取得する。例えば、取得部14aは、入力部11あるいは通信制御部13を介してイベントデータを取得し、取得したイベントデータをイベントデータテーブル記憶部15aに格納する。
表示部14bは、取得部14aによって取得されたイベントデータを用いて、所定の可視化手法で可視化されたイベントデータの画像を表示する。例えば、表示部14bは、イベントデータテーブル記憶部15aからイベントデータテーブルを読み出し、イベントデータとユーザが設定した可視化設定とを基に、可視化されたイベントデータの画像を出力部12に表示する。このように表示された画像に対して、ユーザは、所定の操作を行うことにより、電子付箋を付与することが可能である。例えば、表示部14bは、表示した画像に電子付箋を付与する操作を受け付けた場合には、電子付箋を付与した画像を表示する。
ここで、図7~図10の例を用いて、可視化表現の例について説明する。図7~図10は、アクティブウィンドウ履歴データの可視化表現の一例を示す図である。図7に例示するように、例えば、表示部14bは、ユーザがアクティブウィンドウの時間的な変化を確認できるように、タイムライン表示でアクティブウィンドウ履歴データを可視化してもよい。
また、例えば、表示部14bは、タイムライン表示の別の例として、図8に例示するように、同じアプリケーションの種類ごとに別々の行で表示することで、アクティブウィンドウの時間的な変化を表現してもよい。このように可視化表現はイベントデータから一意に決まるわけではなく、より見やすくするために種々の設定を行うことができる。なお、「各アプリケーションにどの模様を割り当てるか」「特定のアプリケーションに絞って表示する」「時間軸のスケール(単位時間と横方向のピクセル数の比)」なども設定対象として設定を変更することが可能である。
また、例えば、図9に例示するように、表示部14bは、ユーザがアプリケーション間の関連性を確認できるように、アプリケーションの遷移関係を、ノードとリンクのグラフとして可視化してもよい。図9の画面例では、リンクが太いものがより高頻度に発生している遷移を表現している。また、図9の画面例では、同じアプリケーションノードから出て自身に戻るリンクがあるのは、同じアプリケーションが複数のウィンドウを持つ場合があるためである。なお、各ノードやリンクの位置は自由に設定を変更可能である。
また、図10に例示するように、例えば、表示部14bは、ユーザが各アプリケーションの時間利用割合を確認できるように、円グラフでアクティブウィンドウ履歴データを可視化してもよい。
格納部14cは、表示部14bによって表示された画像に電子付箋を付与する操作を受け付けた場合には、電子付箋の情報とイベントデータと電子付箋を付与した際の画像に関する設定情報とを対応付けて記憶部15に格納する。
具体的には、格納部14cは、電子付箋の情報として、電子付箋を付与した日時、電子付箋に表示するコメント、電子付箋の相対位置を示す情報、電子付箋が付与された画像上の要素に対応するイベントデータと紐付ける情報、および、電子付箋を付与した際の設定情報と紐付ける情報を付箋情報テーブル記憶部15bに格納する。
また、具体的には、格納部14cは、設定情報として、電子付箋が付与された画像におけるイベントデータの可視化手法の種別、および、画像の表示態様に関する情報を付与時可視化設定テーブル記憶部15dに格納する。
例えば、格納部14cは、表示部14bによって表示された画像に電子付箋を付与する操作を受け付けた場合には、電子付箋のデータを付箋情報テーブル記憶部15bに格納する。また、例えば、格納部14cは、電子付箋が付与された画像内の要素に対応するイベントデータを特定し、電子付箋とイベントデータとの対応付けをイベントデータ紐付けテーブル記憶部15cに格納する。また、例えば、格納部14cは、電子付箋を付与した際の可視化手法の設定情報を付与時可視化設定テーブル記憶部15dに格納する。
ここで、図11の例を用いて、画像に電子付箋を付与する際の操作例について説明する。図11は、画像に電子付箋を付与する際の画面の一例を示す図である。図11に例示するように、例えば、格納部14cは、ユーザの操作として、電子付箋を付与したいタイムライン表示上の要素を指定する操作(例えば、右クリックで表示されるコンテキストメニューなど)を受け付けることで、タイムライン表示の画像上に電子付箋を付与する。
そして、格納部14cは、付与した電子付箋と電子付箋が付与された画像内の要素に対応するイベントデータとを対応付ける。なお、電子付箋は、付箋本体と付箋がどの要素と結びついているかを示す要素(本例では線)で構成される。また、電子付箋本体は自由に移動でき、コメントを記入可能で自由に変更できる。また、電子付箋は、自由に削除できる。
復元部14dは、記憶部15に記憶された電子付箋のなかから復元対象の電子付箋の指定を受け付けた場合に、該電子付箋のデータと該電子付箋に対応付けられたイベントデータおよび設定情報とを記憶部15から取得し、電子付箋が付与された画像を復元する。この時、復元された画像は、画面上に新たな画像として表示させてもよいし、既存の画像を更新する形で表示してもよい。
例えば、復元部14dは、記憶部15に記憶された電子付箋の一覧を表示し、該電子付箋の一覧から復元対象の電子付箋の指定を受け付けた場合に、該電子付箋のデータと該電子付箋に対応付けられたイベントデータおよび設定情報とを記憶部15から取得し、電子付箋が付与された際の可視化表現の状態を復元する。
ここで、図12を用いて、復元する際の処理の流れを説明する。図12は、付箋一覧画面と復元画像の一例を示す図である。例えば、復元部14dは、復元可能な電子付箋の一覧を表示する操作を受け付けると、図12に例示するような付箋一覧を表示する。図12の例では、復元部14dは、電子付箋の一覧として、電子付箋の付与日時を基準に復元可能な電子付箋を並べているが、他の基準で並べてもよいし、適時フィルタリングをかけてもよい。可視化表現の状態を復元する機能の呼び出しは、付箋一覧画面上の操作だけでなく、可視化された画像に表示された電子付箋に対する操作(例えば、右クリックメニューで表示されるコンテキストメニュー)としてもよい。
そして、復元部14dは、電子付箋の一覧を表示した後に、ダブルクリック等の操作で復元する電子付箋が選択されると、電子付箋を付与した時の画像を復元する。例えば、復元部14dは、電子付箋の一覧から選択された電子付箋の情報を付箋情報テーブル記憶部15bから読み出す。そして、復元部14dは、付箋情報テーブル記憶部15bから読み出した情報のうちのイベントデータ紐づけIDに対応するイベントデータ通し番号をイベントデータ紐付けテーブル記憶部15cから読み出す。
そして、復元部14dは、イベントデータ通し番号に対応するイベントデータをイベントデータテーブル記憶部15aから読み出す。また、復元部14dは、付箋情報テーブル記憶部15bから読み出した情報のうちの付与時可視化設定IDに対応する可視化表現の設定情報(可視化種別、可視化設定文字列)を付与時可視化設定テーブル記憶部15dから読み出す。
そして、復元部14dは、記憶部15から読み出した電子付箋の情報、イベントデータおよび可視化表現の設定情報を用いて電子付箋を付与した時の画面を再現し、再現した画面を出力部12に表示する。なお、付与した電子付箋はイベントデータに紐づいているため、別種の可視化表示間で同じイベントデータを反映させた要素があれば、可視化表示間でコメントを共有して表示することができる。例えば、図13に例示するように、遷移表示の画面表示と、アプリケーションの利用割合の画面表示とで同じコメント2を共有して表示してもよい。このような場合に、全く同じイベント(一つでも複数のイベントの組でもよい)に関連づく場合に共通して表示することとしてもよいし、必要に応じて部分的にイベントが共通している要素間で表示してもよい。
[表示制御装置の処理手順]
次に、図14および図15を用いて、第1の実施形態に係る表示制御装置10による処理手順の例を説明する。図14は、第1の実施形態に係る表示制御装置における電子付箋付与処理の流れの一例を示すフローチャートである。図15は、第1の実施形態に係る表示制御装置における画像復元処理の流れの一例を示すフローチャートである。
まず、図14を用いて、電子付箋付与処理の流れを説明する。図14に例示するように、表示制御装置10の取得部14aは、イベントデータを取得する(ステップS101)。そして、表示部14bは、取得部14aによって取得されたイベントデータを用いて、付箋を含んだ画像を表示・更新する(ステップS102)。例えば、表示部14bは、イベントデータテーブル記憶部15aからイベントデータテーブルを読み出し、イベントデータとユーザが設定した可視化設定とを基に、可視化されたイベントデータの画像を出力部12に表示する。
続いて、表示部14bは、ユーザ操作を受け付ける(ステップS103)と、受け付けたユーザ操作が画像に電子付箋を付与する操作であるか判定する(ステップS104)。
この結果、画像に電子付箋を付与する操作であると判定された場合には(ステップS104肯定)、格納部14cは、付箋情報テーブル、イベントデータ紐づけテーブル、付与時可視化設定テーブルにデータを格納する(ステップS105)。具体的には、格納部14cは、電子付箋とイベントデータと電子付箋を付与した際の画像に関する設定情報とを対応付けて記憶部15に格納し、ステップS102に戻る。例えば、格納部14cは、表示部14bによって表示された画像に電子付箋を付与する操作を受け付けた場合には、電子付箋のデータを付箋情報テーブル記憶部15bに格納する。また、例えば、格納部14cは、電子付箋が付与された画像内の要素に対応するイベントデータを特定し、電子付箋とイベントデータとの対応付けをイベントデータ紐付けテーブル記憶部15cに格納する。また、例えば、格納部14cは、電子付箋を付与した際の可視化手法の設定情報を付与時可視化設定テーブル記憶部15dに格納する。
また、ステップS104の説明に戻って、表示部14bは、画像に電子付箋を付与する操作でないと判定した場合には(ステップS104否定)、画像を閉じる操作であるか判定する(ステップS106)。この結果、表示部14bは、画像を閉じる操作でないと判定した場合には(ステップS106否定)、ユーザ操作に合わせた各種処理(例えば、可視化表現の状態変更など)を行い(ステップS107)、ステップS103に戻る。また、表示部14bは、画像を閉じる操作であると判定した場合には(ステップS106肯定)、画像を閉じて(ステップS108)、処理を終了する。
次に、図15を用いて、画像復元処理の流れを説明する。図15に例示するように、表示制御装置10の復元部14dは、復元可能な電子付箋の一覧を表示する操作を受け付けると、電子付箋の一覧を表示する(ステップS201)。そして、復元部14dは、ユーザ操作を受け付けると(ステップS202)、電子付箋付与時状態を復元する操作であるか判定する(ステップS203)。この結果、復元部14dは、電子付箋付与時状態を復元する操作であると判定した場合には(ステップS203肯定)、電子付箋付与時の画像を復元するためのデータを記憶部15から取得する(ステップS204)。
例えば、復元部14dは、電子付箋の一覧から選択された電子付箋の情報を付箋情報テーブル記憶部15bから読み出す。そして、復元部14dは、付箋情報テーブル記憶部15bから読み出した情報のうちのイベントデータ紐づけIDに対応するイベントデータ通し番号をイベントデータ紐付けテーブル記憶部15cから読み出す。そして、復元部14dは、イベントデータ通し番号に対応するイベントデータをイベントデータテーブル記憶部15aから読み出す。また、付箋情報テーブル記憶部15bから読み出した情報のうちの付与時可視化設定IDに対応する可視化表現の設定情報(可視化種別、可視化設定文字列)を付与時可視化設定テーブル記憶部15dから読み出す。
そして、復元部14dは、記憶部15から読み出した電子付箋の情報、イベントデータおよび可視化表現の設定情報を用いて電子付箋を付与した時の画像を復元して表示し(ステップS205)、ステップS202に戻る。
また、ステップS203の説明に戻って、復元部14dは、電子付箋付与時状態を復元する操作でないと判定した場合には(ステップS203否定)、電子付箋の一覧を閉じる操作であるか判定する(ステップS206)。この結果、復元部14dは、電子付箋の一覧を閉じる操作でないと判定した場合には(ステップS206否定)、ユーザ操作に合わせた各種処理(例えば、スクロール、並び替えなど)を行い(ステップS207)、ステップS202に戻る。また、復元部14dは、電子付箋の一覧を閉じる操作であると判定した場合には(ステップS206肯定)、電子付箋の一覧を閉じて(ステップS208)、処理を終了する。
[第1の実施形態の効果]
このように、表示制御装置10は、一定のデータ単位の集合として表現されるデータであるイベントデータを取得し、取得したイベントデータを用いて、所定の可視化手法で可視化されたイベントデータの画像を表示する。そして、表示制御装置10は、表示した画像に電子付箋を付与する操作を受け付けた場合には、電子付箋の情報とイベントデータと電子付箋を付与した際の画像に関する設定情報とを対応付けて記憶部15に格納する。また、表示制御装置10は、電子付箋のなかから復元対象の電子付箋の指定を受け付けた場合に、該電子付箋のデータと該電子付箋に対応付けられたイベントデータおよび設定情報とを記憶部15から取得し、電子付箋が付与された画像を復元する。このため、表示制御装置10は、イベントデータを可視化した画像に対して電子付箋を効率的に付与することができ、電子付箋を付与した画像を容易に表示することが可能である。
また、表示制御装置10は、イベントデータを可視化した様々な表現に対して、電子付箋を貼り付けることが可能となり、イベントデータの分析作業において大小さまざまな気付きを効率的に記録することが可能である。また、表示制御装置10は、電子付箋を記録した時間順に管理し、電子付箋が付与された状態を再現する機能を持つため、電子付箋から分析作業の流れを効率的に追うことが可能である。
また、表示制御装置10は、付箋は内部でイベントデータと紐づけられているため、時間軸を持たないような種々の可視化表現間で共通して電子付箋を表示させることが可能である。このため、表示制御装置10では、電子付箋を介して複数の可視化表現を見比べることが容易となる。
[実施例1-1]
従来、可視化表現において、抽象化やグループ化がユーザにより任意に行いつつ、試行錯誤的に可視化過程を確認しながら高度な分析を行う支援技術が実現されてきた。後述の参考文献1-1の「6.まとめと今後の予定~可視化結果上で分析者が複数のノードを1つのノードとして可視化できるようグループ化する機能を提供することで、操作ログデータの中身を整形することなく、可視化過程を確認しながら操作ログの整形作業を実行する方法を検討した」、や参考文献1-2の「1.はじめに~本手法ではユーザが分析目的に合わせて,システムやウィンドウ等の任意の粒度でデータをグルーピング可能にすることで、必要な要素を一覧表示し,ユーザの多角的な分析を支援する」や参考文献1-3「4.3.モデリング手法と開発環境アーキテクチャ~単純なプロセス定義からインクリメンタルに全体のプロセス定義を作成することで、冗長な記述を防ぎ、体系的なモデルを作成できることがわかる」がその例である。ここで高度な分析とは、主に大規模で複雑なデータを柔軟かつ多様な観点で比較することである。以下の実施例では、実施例1を拡張することで、このような高度な分析の、複数の可視化表示において付箋を横断的に表示し、見比べることができるようにする場合を説明する。
例えば、前述の図13のバリエーションとして、図16のように観点を少し変えた可視化表現においても、付箋を表示することができると、ユーザの比較作業の幅が広がり効率が向上する。このような場合に、全く同じイベント(一つでも複数のイベントの組でもよい)に関連づく場合に共通して表示することとしてもよいし、必要に応じて部分的にイベントが共通している要素間で表示してもよい。
必要に応じて部分的にイベントが共通している場合とは、例えば、次のような場合が考えられる。ある可視化表現におけるイベントデータ紐づけのもと集合Aに付箋が付与されていて、それとは別の可視化種別の表現において、前記紐づけされたイベントデータ集合を含む、粒度の大きい集合Bが一単位として表示される場合である。図16はその事例である。この場合、当該の大きい集合Bに付箋を表示しており、表示の要否の判定基準は「AがBに含まれる」である。
判定基準については他の設定を用いてもよく、より一般化した考え方は以下のようになる。付箋作成で紐づけた集合Aと、判定対象の集合Bの関係は、(1) AとBが同じ場合(2)AがBに含まれる場合(3)BがAに含まれる場合(4)何らかの交わりを持つ場合、(5)何も交わりを持たない場合、に分類できる。ここで(1)~(4)の分類は複数同時に該当する場合があり、図17に例示するような包含関係がある。
付箋を作成した当該の可視化種別においては、(1)か(5)のいずれか1つの分類となり、他の分類に該当する集合は発生しないはずなので、付箋を表示する条件として(1)を採用することは自明であり、そのほかの条件を考慮する必要がない。しかし、付箋を作成したときとは別の可視化種別においては、(1)~(4)の分類が発生しうるので、意図した集合に付箋を表示するため、適切に条件を指定する必要がある。可視化種別として、もと指定した集合を含む、粒度の大きい集合が一単位として表示される場合、当該の大きい集合に付箋を表示することが基本の設定として考えられる。この場合、条件として(2)を指定するのが適切である。これは図16に示した事例に相当する。一方、可視化種別として、もと指定した集合の細分にあたる、粒度の小さい集合が一単位として表示される場合、当該の小さい集合に付箋を表示することが考えられる。この場合、条件として(3)を指定するのが適切である。これは図18に示した事例に相当する。
ここでユーザにとって(2)で表示された付箋は(1)で表示された付箋と解釈上の意味が違う場合がある。(1)が表示される可視化表現に対し、別の可視化表現において、同じ付箋が表示されない場合もある。そこで、付箋を明度が低い色で表示する、あるいは付箋の一部に小さいアイコンを表示する、など修飾的な表現でユーザに(2)による表示であることを伝える。
一方、1つの付箋が複数個所に表示されるときの個数については、(2)による表示は1個もしくは0個であるが、(3)は1~N個である。ここでNは集合Aの要素数になる。Nが大きいと、可視化表現において付箋が大量に表示される問題がある。ユーザが可視化表現を把握しやすくする目的で、付箋のかわりにアノテーションを表示してもよい。アノテーションは、小さいアイコンにより面積を占有しないようにして、アイコンにマウスポインタがホバーあるいはクリックすると付箋が表示されるようにする。ユーザに同時に提示する情報量を適切に絞ることにより前記問題を解消できる。また、アイコンの種類を付箋ごとに異なるものとし、凡例を示し、凡例上でユーザが選択するとアイコンを大きく表示するあるいは付箋を表示するようにしてもよい。
前記実施例では単純な場合を扱っており、集合の元であるイベントを識別する情報がアプリケーション種類であった。粒度の大きい集合や小さい集合にイベントを紐づけするにあたっては、暗黙的にアプリケーションのグループ(OFFICEシリーズ)やウィンドウのインスタンス(タイトル)を用いている。複雑な場合を扱うためには、多様な可視化種別や可視化設定に広げて、明示的にイベントを識別する情報として、所定のタグを割り振る考え方とすればよい。粒度の大きい集合にイベントを紐づけすることは、要素をグループ化することであり、小さい集合に紐づけすることは、その逆操作に相当する。
図19はイベント行にタグ情報のカラムを追加したものである。タグカラムの値は、アプリケーション名やウィンドウタイトル名や開始・終了の時刻の時間帯による分類など、所定の判定ロジックで割り振ればよい。行の属性カラムがさらに多種類存在すれば、タグも様々な種類が導入できる。例えば、ユーザが任意の観点で手動によりタグカラムの値を割り振ってもよい。これは表示部14bの画像に電子付箋を付与する操作により行うようにしてもよい。あるいは別の構成として参考文献1-1「3.2提案手法の処理手順」や参考文献1-2「3.2.2.要素のグルーピング」により行うようにしてもよい。さらには参考文献1-3「4.2.プロセスの内部表現方法」の内部表現である多次元配列を一旦定義し、そこから間接的にタグカラムの値を割り振るようにしてもよい。
このような状況(特に参考文献1-3)においては、単純にもとの集合の粒度を大きくするか小さくするかの場合だけではなくなる。図19において、基本の分類(アプリケーション)に対してタグ1は粒度を大きくしたものであるが、タグ2は粒度を小さくしたものであり、さらにタグ3~5はいずれでもない。ここでは、粗くとらえる観点で紐づけすることを抽象化とし、細かくとらえる観点で紐づけすることをその逆操作とする。
このような集合間の関係はグループ化よりも複雑な場合が発生する。例えば、条件として新たに(4)の分類に相当する場合が発生する。また前記「(2)は0~1個、(3)は1~N個」といった単純な場合(1つの付箋が0になる可能性/複数になる可能性、どちらか一方しかとりえない)が成り立たなくなる。さらにデータの全体的な内容によってある部分は複雑な関係になるが、ある部分は単純な関係におさまる場合がある。一般的に、複雑な部分に条件(4)を指定するとあらゆる要素に付箋が表示されてしまい関係がわかりにくくなるが、このようなときは、条件(1)を指定して同じ集合が対応するときだけ表示し、対応関係が単純な部分は条件(2)か(3)を指定して表示できるとよい。また、個々の可視化表現上でそれを見る人に何を伝えるかというユーザの意図によっては、複雑な場合でもあえて条件(4)で表示させたい場合もあり、選択的に指定して表示できるとよい。以上のように、ユーザの意図によって可視化表現を通じた伝え方は適宜に指定可能であることが望ましい。したがって、基本的な設定として、(1)~(4)のいずれを条件とするかをユーザに適切に選択させる必要がある。そして、このときの選択は、図17の関係にもとづいてユーザにわかりやすく指定可能にする必要がある。
図20は条件選択のGUIの実施例である。左のラジオボタンをユーザが選択することにより、右の(1)~(4)のアイコンの中の該当するものがハイライト表示される。アイコンは、図形要素(円グラフの扇型)と付箋が所定の条件においてどのように対応するかを直感的に表現するものである。例えば、図20は1項目目「その図形が付箋先と完全一致する場合のみ表示する」を選択した場面である。このとき右側のアイコンは(1)のみがハイライト表示される。ユーザが2項目目を選択すると、右側のアイコンは(1)と(2)が同時にハイライト表示される。3項目目は(1)と(3)が、4項目目は(1)~(4)の全部が同時にハイライト表示される。ここで、右側のアイコン毎に選択/非選択を個別に設定すれば、論理的に全ての条件を網羅した設定手段となることは自明である。しかしながら、(3)のみを設定して(1)を設定しないと、(1)を除外してしまうことが直感的にわかりにくく、意図と違う設定をしてしまう危険性がある。つまり(3)のアイコンだけ見るとその意味するところが部分集合か真部分集合かが明確でないことや、(1)と(3)の両方の設定の関係を見なければならないことが問題である。そこで、典型的な設定意図を箇条書きの文章で表現しその中から選択する手段(左側のラジオボタンに相当)を提供しながら、同時にその選択がどのような表示事例に相当するかを一覧して確認する手段(右側のハイライト表示に相当)を提供することで、問題を解消する。このGUIの設定は、可視化表示全体に共通の設定として適用されるようにしてもよいし、付箋ごとに選択内容が個別に保持されるようにしてもよい。復元部14dは、設定画面により指定された表示条件に基づいて電子付箋が付与された画像を復元する。
[1-1の実施形態の効果]
このように、本実施例では、表示制御装置が、複雑な抽象化・グループ化を行った多様なデータに対して電子付箋を付与し、複数の可視化表示において付箋を横断的に表示し、見比べることができるという効果を奏する。
[実施例2]
複数の表示制御装置10A、10B間でイベントデータと電子付箋データ(付箋情報テーブル、イベントデータ紐づけテーブル、付与時可視化設定テーブル)を共有することで、複数の表示制御装置10A、10B上で付箋が付与された可視化表現画像を同じように表示できるようにしてもよい。以下では、サーバ・クライアント方式をとることで、複数の表示制御装置10A、10B間でイベントデータと電子付箋データを共有する場合について説明する。なお、変形例に係る表示制御システムについて、第1の実施形態と同様の構成や処理の説明は省略する。
図16は、変形例に係る表示制御システムの構成の一例を示す図である。例えば、図16に例示するように、表示制御システム100は、表示制御装置10A、10Bと、サーバ20を有する。
サーバ20は、複数の表示制御装置10A、10Bで共有するイベントデータと、電子付箋データとを管理する。表示制御装置10A、10Bは、サーバ20からイベントデータと電子付箋データを取得し、前述同様の処理を行い、電子付箋が付与された画像を復元し、復元した画像を表示する。ここで、電子付箋データとは、付箋情報テーブル記憶部15b、イベントデータ紐づけテーブル記憶部15cおよび付与時可視化設定テーブル記憶部15dに記憶された各テーブルのデータに相当する。なお、表示制御システム100は、サーバを用意せずに、表示制御装置10A、10Bが共通のファイルを読みに行くような仕組みとしてもよい。
このように、表示制御システム100は、複数の表示制御装置10A、10B間で情報を共有することで、複数ユーザ間で協力して分析を進めることを容易にすることが可能である。
[実施例2-1]
続いて、複数ユーザが協力して分析作業を行う際の問題を解消するための実施例を示す。従来では、可視化表現の設定情報がサーバ等を介して共有され、複数ユーザで協力して分析を進める場合、どのユーザがどの意図で作成した可視化設定かがわからなくなるという問題があった。例えば、これを避けるため別途手段(表ドキュメントやデータベースやファイル管理ツールなど)で可視化意図を管理することが考えられるが、従来の技術では別の手段を立ち上げUIを開いたり、管理情報を記入・転記したり、可視化表現を特定して管理情報を引き出すなど、本来の分析・可視化の作業とは関係ない操作や判断が多数割り込むため、比較分析を妨げるという問題があった。
以下の実施例2-1-1~2-1-3では、本来の分析・可視化の作業と関係のある同じ操作や判断によって、可視化意図を管理でき、比較分析を妨げることなく複数ユーザで協力して分析を進めることができる場合を説明する。
[実施例2-1-1]
可視化表現そのものに付箋を付与する手段として、図22に示すように、可視化表現の中の要素ではなく、図の内容全体に関連付けて付箋を表示する。例えば、表示部14bは、表示した画像に電子付箋を付与する操作を受け付けた場合には、電子付箋を付与した画像を表示するようにしてもよい。これは、図3に例示したイベントデータテーブルにダミーのデータとして、分析の文脈の情報を含む便宜的なイベント行を追加することで実現する。本実施例では、ユーザが可視化表現設定を実施したときのユーザ名など主体者をあらわす分析の文脈の情報になる。ダミーイベント行には、これら情報を格納するタグカラムを必要に応じて設定する。またダミーイベント行を通常のイベント行と区別するため、その区別情報を格納するタグカラムが設定される。通常のイベント行の場合、このタグカラムの値は空欄としてもよいし、「NA」などのダミー値を設定してもよい。
格納部14cは、表示部14bによって表示された画像全体に電子付箋を付与する操作を受け付けた場合には、ダミーイベントデータを生成し、電子付箋の情報とダミーイベントデータと電子付箋を付与した際の画像に関する設定情報とを対応付けて記憶部15に格納する。
例えば、格納部14cは、ユーザが可視化設定の保存を行った場合、当該ユーザ名を付箋「作成者:P1」として自動的に付与する。具体的には、格納部14cは、ダミーイベント行を生成し、イベントデータ紐づけテーブルに行を生成し、付箋情報テーブルに行を生成し、これらを関連付ける。前記ダミーイベント行のタグカラムには「P1」が設定される。
復元部14dは、ダミーイベントデータに割り当てられたタグを基にグルーピングされた複数の画像を復元する。例えば、復元部14dは、当該ユーザ名の付箋が選択されると、前記の可視化表現の表示を復元する。このときダミーイベント行に「P1」が含まれていれば、条件(1)を満たすことから付箋「作成者:P1」を全体付箋として表示する。これらの動作・構成は、実施例1-1と基本的に同じであり、付箋が要素に付与されるか図に付与されるか、だけが異なる。
なお、当該ユーザが複数の可視化設定を行っていた場合は、それら可視化表示が複数表示される必要がある。このような動作を実現するため、表示部14bは新たな表示種別として、複数の図を同時表示する機能を具備する必要がある。
複数同時表示の具体的な動作構成としては、ウィンドウを複数開く方法、タブパネルに複数表示をまとめる方法、が考えられ、これらのバリエーションとして複数ビューを一覧するためのサムネイルなどの従来手法を適用できる。ただしこれら動作構成のいずれをとるにせよ、本発明の動作構成がもたらす効果とは本質的な関係はなく、複数の図(可視化表現)を同時に表示する機能であればよい。
[実施例2-1-2]
例えば、ユーザが1か月以上にわたって分析作業をすると、1週間あるいはそれより短い期間で、分析観点が変わっていくのが普通である。複数のユーザで所定の期間にわたって分担協力して分析作業を行う場合、自分と他者をあわせて分析観点ごとの可視化表現(の集合)を、効率的に閲覧・変更できることが望ましい。
これらの要求は、ダミーイベント行に可視化表現設定を保存した時刻(終了時刻)を記録し、これをもとに対応する分析観点名を判定し、図19の所定タグカラムに割り当てることにより満たすことができる。あとは先の実施例と同じく、分析観点名(タグ値)をもとに紐づけテーブルを作成していき、ユーザが必要なときに可視化表現をまとめて同時表示できれば有用である。
本実施例における構成を図23に示す。ここでは柔軟にタグを付与するため、分析支援部16が追加されている。分析支援部16は、判定部16c、イベントデータ判定基準テーブル16b、基準編集部16aから構成される。判定部16cは、ダミーイベントデータを基に、該ダミーイベントデータに割り合てるタグを判定する。例えば、判定部16cは、ダミーイベントデータの終了時刻をもとにタグカラムの値としてタグを割り当てる。イベントデータ判定基準テーブル16bには分析観点ごとの作業期間が記憶され、判定部16cから参照される。最初はテーブルが空の状態からスタートし、判定ができないときのデフォルトのタグ値は「NA」になる。基準編集部16aは、イベントデータ判定基準テーブル16bの表示・編集をユーザに提供するため、入力部11・出力部12を使用する。また、実際の可視化設定のダミーイベントデータから必要な情報を表示してユーザが基準を指定しやすくする。また、ユーザが可視化設定を保存したときに、分析における現在の文脈情報をダミーイベントデータとして追加するよう制御部14に依頼する。
本実施例におけるユーザの作業手順を図24に示す。図24に例示するように、表示制御装置10cは、復元可能な電子付箋の一覧や可視化設定画面を表示・更新する操作を受け付けると、電子付箋の一覧や可視化設定画面を表示・更新する(ステップS301)。そして、表示制御装置10cは、ユーザ操作を受け付けると(ステップS302)、電子付箋・可視化設定の操作であるか判定する(ステップS303)。この結果、表示制御装置10cは、電子付箋・可視化設定の操作であると判定した場合には(ステップS303肯定)、電子付箋の作成・表示ならびに可視化表現の設定・保存を行う(ステップS304)。そして、表示制御装置10cは、現在の分析観点名を紐付けて(ステップS305)、ステップS301の処理に戻る。
また、表示制御装置10cは、電子付箋・可視化設定の操作でないと判定した場合には(ステップS303否定)、ユーザが観点の変更を指定したか判定する(ステップS306)。この結果、表示制御装置10cは、ユーザが観点の変更を指定したと判定した場合には(ステップS306肯定)、過去の観点の変更であるか判定する(ステップS307)。
この結果、表示制御装置10cは、過去の観点の変更であると判定した場合には(ステップS307肯定)、イベントデータテーブルのダミーイベントを変更することで、過去の期間を分割・統合し、期間の観点を設定・変更して(ステップS308)、ステップS301の処理に戻る。また、表示制御装置10cは、過去の観点の変更でないと判定した場合には(ステップS307否定)、イベントデータテーブルを更新して、新規期間を開始し観点を設定し(ステップS309)、ステップS301の処理に戻る。
また、ステップS306において、表示制御装置10cは、ユーザが観点の変更を指定していないと判定した場合には(ステップS306否定)、終了の操作であるかは判定する(ステップS310)。この結果、表示制御装置10cは、終了の操作でないと判定した場合には(ステップS310否定)、ステップS301の処理に戻る。また、表示制御装置10cは、終了の操作であると判定した場合には(ステップS310肯定)、電子付箋一覧または可視化設定画面を閉じる(ステップS311)。
このように、ユーザは第1の実施形態と同じく電子付箋一覧と可視化設定画面を参照し操作を行う。ユーザが観点の変更を指定すると、過去の観点を変更する場合は、ダミーイベントデータの修正やイベントデータ判定基準テーブルの修正を行うことになる。これらの手段は基準編集部16aによって提供される。
実施例1-1では明示していないが、アプリケーションのグループ(OFFICEシリーズ)やウィンドウのインスタンス(タイトル)からタグ値を割り振る動作構成として、分析支援部16を採用・適用してもよい。実施例1-1と本実施例の動作・構成は、基本的に同じであり、判定部から参照する情報が、離散値か連続値か、だけが異なる。
以上のように分析支援部16と制御部14の内部連携は、終了時刻に関する分析支援だけではなく、そのほかのイベントデータ情報からタグを割り振る処理全般に共通するものである。このため、制御部14が複数種類の分析支援部と接続する変形例や、分析支援部16をプラグインモジュールとして追加可能にする変形例を採用してもよい。
[実施例2-1-3]
前記実施例のユーザ名にかえて、分析の文脈の情報として、当該の可視化表現の作成を始めるときの目的や動機、あるいは作成を終わったときの発見や結論をキーワードとして指定するようにしてもよい。表示全体に付箋が付与されることで、備考欄のように自由な観点での情報を記入・閲覧できる。
複数のキーワードの関連が強い場合に、それらを自動抽出あるいは手動選択しグループ化・抽象化する新たなキーワードを指定することで、プロジェクトにおける上位の目標・動機、分析観点における抽象概念の発見や結論、を扱うことができる。この場合、判定部16cは、イベントデータに割り当てられたタグを基に該イベントデータの別の観点での新たなタグを割り当てる。具体的には、分析支援部16の変形例として、イベント行における他のタグ値から新しいタグ値を自動的に判定して割り振るプラグインモジュールを導入すればよい。あるいは参考文献1-1~1-3の構成によりユーザが手動で指定してもよい。前記実施例と本実施例の動作・構成は、基本的に同じであり、通常カラムから直接的にタグカラムを振るか、他のタグカラムから二次的に振るか、だけが異なる。
さらに、この操作を繰り返し適用することで、階層的なグループ化・抽象化もできる。参考文献1-1:卜部ら「操作ログを入力とした業務プロセス可視化手法の検討」、信学技報、vol. 118, no. 483, ICM2018-64, pp. 83-88, 2019年3月.
参考文献1-2:八木ら「業務実態把握を目的とした複数ウィンドウ併用状況の可視化手法の検討」、信学技報、vol. 118, no. 303, ICM2018-29, pp. 27-32, 2018年11月.
参考文献1-3:増田ら「柔軟な業務プロセス実行方式におけるモデリング手法の提案」、(報告が合併号のため以下併記)
情報処理学会研究報告. DSM, [分散システム/インターネット運用技術] 45, 115-120, 2007-05-10
電子情報通信学会技術研究報告. TM, テレコミュニケーションマネジメント 107(30),
115-120, 2007-05-03
[2-1-1~2-1-3の実施形態の効果]
実施例2-1-1では、可視化設定をユーザが保存したときにそれに対応するダミーイベントデータを生成し保存し、可視化表示そのものの付箋表示に使用している。これは、本可視化表示ツール上でのユーザ操作ログを対象としてメタな観点で分析・可視化できるという効果を奏する。
具体的には実施例2-1-2の分析支援部16による自動的なタグ付けのほか、実施例2-1-3の階層的なグループ化・抽象化によって指定・変更する。このとき、複数同時表示の具体的な動作構成としては、複数の図を階層的に表示する機能となる。例えば、下位の複数の図を集めたものを単純に上位の複数の図として表示してもよいし、代表となる図を所定のアルゴリズムで抽出して表示してもよいし、前記2つの表示を組み合わせた表示にしてもよいし、下位の図の情報を集約して別途の可視化表現に変換して表示してもよい。
図19で示したように、多様な可視化表現に横断的に付箋を付与した場合、グループ化・抽象化が複雑だと当該の可視化表示以外と比較する際に付箋が表示されない。これは実施例2-1-3のように階層的なグループ化・抽象化ではさらに顕著である。実施例1-1の図20の表示条件設定をユーザに提供することによりこれら課題が解消され、実施例2-1-3の効果が阻害されることなく有効に働くことになる。
以上のように実施例1-1と実施例2-1-1~2-1-3を通して、データインスタンス(対象イベント)のグループ化・抽象化と分析メタデータ(ダミーイベント行)のグループ化・抽象化が混在した階層を、同じ画面操作・同じ処理方式で実現できることがわかる。これにより、ユーザが対象イベント集合をどう解釈するか、と、分析観点ごとの可視化表現設定集合をどう総括するか、を同一の概念上での試行錯誤として効率的に扱うことができるという効果を奏する。
[システム構成等]
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
[プログラム]
図17は、表示制御プログラムを実行するコンピュータを示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011及びRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1051、キーボード1052に接続される。ビデオアダプタ1060は、例えばディスプレイ1061に接続される。
ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、表示制御装置10の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、装置における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSD(Solid State Drive)により代替されてもよい。
また、上述した実施の形態の処理で用いられるデータは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して実行する。
なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093及びプログラムデータ1094は、ネットワーク、WANを介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093及びプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
10、10A、10B 表示制御装置
11 入力部
12 出力部
13 通信制御部
14 制御部
14a 取得部
14b 表示部
14c 格納部
14d 復元部
15 記憶部
15a イベントデータテーブル記憶部
15b 付箋情報テーブル記憶部
15c イベントデータ紐付けテーブル記憶部
15d 付与時可視化設定テーブル記憶部
20 サーバ
100 表示制御システム

Claims (10)

  1. 一定のデータ単位の集合として表現されるデータであるイベントデータを取得する取得部と、
    前記取得部によって取得されたイベントデータを用いて、所定の可視化手法で可視化されたイベントデータの画像を表示する表示部と、
    前記表示部によって表示された画像に電子付箋を付与する操作を受け付けた場合には、前記電子付箋の情報と前記イベントデータと前記電子付箋を付与した際の画像に関する設定情報とを対応付けて記憶部に格納する格納部と、
    前記記憶部に記憶された電子付箋のなかから復元対象の電子付箋の指定を受け付けた場合に、該電子付箋のデータと該電子付箋に対応付けられた前記イベントデータおよび前記設定情報とを前記記憶部から取得し、前記電子付箋が付与された画像を復元する復元部と
    を有することを特徴とする表示制御装置。
  2. 前記格納部は、前記電子付箋の情報として、前記電子付箋を付与した日時、前記電子付箋に表示するコメント、前記電子付箋の位置を示す情報、前記電子付箋が付与された画像上の要素に対応するイベントデータと紐付ける情報、および、前記電子付箋を付与した際の前記設定情報と紐付ける情報を前記記憶部に格納することを特徴とする請求項1に記載の表示制御装置。
  3. 前記格納部は、前記設定情報として、前記電子付箋が付与された画像におけるイベントデータの可視化手法の種別、および、画像の表示態様に関する情報を前記記憶部に格納することを特徴とする請求項1に記載の表示制御装置。
  4. 前記復元部は、前記記憶部に記憶された電子付箋の一覧を表示し、該電子付箋の一覧から復元対象の電子付箋の指定を受け付けた場合に、該電子付箋のデータと該電子付箋に対応付けられた前記イベントデータおよび前記設定情報とを前記記憶部から取得し、前記電子付箋が付与された画像を復元することを特徴とする請求項1に記載の表示制御装置。
  5. 前記復元部は、設定画面により指定された表示条件に基づいて前記電子付箋が付与された画像を復元することを特徴とする請求項1に記載の表示制御装置。
  6. 前記格納部は、前記表示部によって表示された画像全体に電子付箋を付与する操作を受け付けた場合には、ダミーイベントデータを生成し、前記電子付箋の情報と前記ダミーイベントデータと前記電子付箋を付与した際の画像に関する設定情報とを対応付けて前記記憶部に格納することを特徴とする請求項1に記載の表示制御装置。
  7. 前記イベントデータを基に、該イベントデータに割り合てるタグを判定する判定部をさらに有することを特徴とする請求項1に記載の表示制御装置。
  8. 前記表示部は、前記画像上の要素を手動でグルーピングする操作を受け付けることを特徴とする請求項1に記載の表示制御装置。
  9. 前記判定部は、前記イベントデータに割り当てられたタグを基に該イベントデータの別の観点での新たなタグを割り当てることを特徴とする請求項7に記載の表示制御装置。
  10. 表示制御装置によって実行される表示制御方法であって、
    一定のデータ単位の集合として表現されるデータであるイベントデータを取得する取得工程と、
    前記取得工程によって取得されたイベントデータを用いて、所定の可視化手法で可視化されたイベントデータの画像を表示する表示工程と、
    前記表示工程によって表示された画像に電子付箋を付与する操作を受け付けた場合には、前記電子付箋の情報と前記イベントデータと前記電子付箋を付与した際の画像に関する設定情報とを対応付けて記憶部に格納する格納工程と、
    前記記憶部に記憶された電子付箋のなかから復元対象の電子付箋の指定を受け付けた場合に、該電子付箋のデータと該電子付箋に対応付けられた前記イベントデータおよび前記設定情報とを前記記憶部から取得し、前記電子付箋が付与された画像を復元する復元工程と
    を含むことを特徴とする表示制御方法。
JP2021554053A 2019-10-30 2020-02-26 可視化データへの付箋の付与及び復元 Active JP7287486B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPPCT/JP2019/042692 2019-10-30
PCT/JP2019/042692 WO2021084667A1 (ja) 2019-10-30 2019-10-30 可視化データへの付箋の付与及び復元
PCT/JP2020/007883 WO2021084769A1 (ja) 2019-10-30 2020-02-26 可視化データへの付箋の付与及び復元

Publications (2)

Publication Number Publication Date
JPWO2021084769A1 JPWO2021084769A1 (ja) 2021-05-06
JP7287486B2 true JP7287486B2 (ja) 2023-06-06

Family

ID=75715010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021554053A Active JP7287486B2 (ja) 2019-10-30 2020-02-26 可視化データへの付箋の付与及び復元

Country Status (3)

Country Link
US (1) US11797163B2 (ja)
JP (1) JP7287486B2 (ja)
WO (2) WO2021084667A1 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7292244B2 (en) * 2004-10-18 2007-11-06 Microsoft Corporation System and method for automatic label placement on charts
JP2007041987A (ja) * 2005-08-05 2007-02-15 Sony Corp 画像処理装置および方法、並びにプログラム
US8520000B2 (en) * 2008-07-02 2013-08-27 Icharts, Inc. Creation, sharing and embedding of interactive charts
US9037600B1 (en) * 2011-01-28 2015-05-19 Yahoo! Inc. Any-image labeling engine
US9996241B2 (en) * 2011-10-11 2018-06-12 Microsoft Technology Licensing, Llc Interactive visualization of multiple software functionality content items
US10198485B2 (en) * 2011-10-13 2019-02-05 Microsoft Technology Licensing, Llc Authoring of data visualizations and maps
US9928646B2 (en) * 2013-07-31 2018-03-27 Longsand Limited Rendering hierarchical visualizations of data sets
US10748312B2 (en) * 2016-02-12 2020-08-18 Microsoft Technology Licensing, Llc Tagging utilizations for selectively preserving chart elements during visualization optimizations
US11308365B2 (en) * 2019-06-13 2022-04-19 Expedia, Inc. Image classification system
US11194450B2 (en) * 2019-10-19 2021-12-07 Salesforce.Com, Inc. Definition of a graphical user interface dashboard created with manually input code and user selections

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ELIAS, Micheline BEZERIANOS, Anastasia,Annotating BI Visualization Dashboards: Needs & Challenges,Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,2012年05月05日,pp.1641-1650

Also Published As

Publication number Publication date
WO2021084667A1 (ja) 2021-05-06
US11797163B2 (en) 2023-10-24
WO2021084769A1 (ja) 2021-05-06
JPWO2021084769A1 (ja) 2021-05-06
US20220398007A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
US10853383B2 (en) Interactive parallel coordinates visualizations
US10459938B1 (en) Punchcard chart visualization for machine data search and analysis system
JP6185127B2 (ja) 電子文書の検索方法及び電子文書検索のグラフィカル表示方法
US8743122B2 (en) Interactive visualization for exploring multi-modal, multi-relational, and multivariate graph data
US11037342B1 (en) Visualization modules for use within a framework for displaying interactive visualizations of event data
US9348581B2 (en) Systems, method and computer program products for tracking and viewing changes to information stored in a data structure
JP4828220B2 (ja) データのタイムラインベース表現を使用するファイル管理システム
KR101169093B1 (ko) 데이터의 타임 라인 기반 시각화를 위한 아키텍쳐 및 엔진
US10853380B1 (en) Framework for displaying interactive visualizations of event data
EP1615145A2 (en) System and method for graphically illustrating external data source information in the form of a visual hierarchy in an electronic workspace
US20110113386A1 (en) System, method and computer program for creating and manipulating data structures using an interactive graphical interface
US10861202B1 (en) Sankey graph visualization for machine data search and analysis system
US20220164526A1 (en) Method And Apparatus For Structured Documents
US8229967B2 (en) Space efficient visualization of pedigree data
CN102067117B (zh) 显示和操作表的方法
EP4327260A1 (en) Dynamic graphical containers
Elias Enhancing User Interaction with Business Intelligence Dashboards
JP7287486B2 (ja) 可視化データへの付箋の付与及び復元
JP6948492B2 (ja) 情報管理装置並びにファイル管理方法
Kang et al. Exploring personal media: A spatial interface supporting user-defined semantic regions
US20070055928A1 (en) User workflow lists to organize multimedia files
WO2021025091A2 (ja) 情報管理装置並びにファイル管理方法
Storey Characterizing Interactive Visualizations
Heer et al. Origraph: Interactive Network Wrangling
CA2603490A1 (en) Systems, methods and computer program products for tracking and viewing changes to information stored in a data structure

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230508

R150 Certificate of patent or registration of utility model

Ref document number: 7287486

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150