JP7351877B2 - グラフィカルユーザインターフェースプロトタイプの提供方法および装置 - Google Patents

グラフィカルユーザインターフェースプロトタイプの提供方法および装置 Download PDF

Info

Publication number
JP7351877B2
JP7351877B2 JP2021131488A JP2021131488A JP7351877B2 JP 7351877 B2 JP7351877 B2 JP 7351877B2 JP 2021131488 A JP2021131488 A JP 2021131488A JP 2021131488 A JP2021131488 A JP 2021131488A JP 7351877 B2 JP7351877 B2 JP 7351877B2
Authority
JP
Japan
Prior art keywords
prototype
interaction scenario
version
trigger
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021131488A
Other languages
English (en)
Other versions
JP2021176113A (ja
Inventor
キム ス
ウォン ソン ジェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Studio XID Korea Inc
Original Assignee
Studio XID Korea Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190173728A external-priority patent/KR102144433B1/ko
Priority claimed from KR1020200099116A external-priority patent/KR102392886B1/ko
Application filed by Studio XID Korea Inc filed Critical Studio XID Korea Inc
Publication of JP2021176113A publication Critical patent/JP2021176113A/ja
Application granted granted Critical
Publication of JP7351877B2 publication Critical patent/JP7351877B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、グラフィックユーザインターフェース(Graphic User Interface:GUI)のプロトタイプを提供する方法および装置に関する。より詳しく、グラフィックユーザインターフェースのプロトタイプを対象にするインタラクションシナリオを生成して再現する方法および装置に関する。
端末製造会社、アプリケーション製造会社、およびオンラインサービス提供者はユーザの使用便宜性の増大のためにグラフィックユーザインターフェースのデザインに多くの努力を傾けている。このようなグラフィックユーザインターフェースのデザイン過程で、グラフィックユーザインターフェースのプロトタイプを製作するための多様なツールが利用される。グラフィックユーザインターフェース製作者は、端末、アプリケーション、またはオンラインサービス(以下、区分せず「アプリケーション」という)にグラフィックユーザインターフェースを適用する前に、製作されたグラフィックユーザインターフェースのプロトタイプによりユーザ便宜性、ユーザインタラクション、および多様な視覚的効果を確認することができる。また、グラフィックユーザインターフェース製作者は、グラフィックユーザインターフェースのプロトタイプをアプリケーションのプランナーおよび開発者など第三者にプロトタイプを共有して互いに意見を交換することができる。グラフィックユーザインターフェース製作者が製作したグラフィックユーザインターフェースは、試作品、すなわちプロトタイプの形態でアプリケーション開発者に提供され、開発者によってプログラミングされてアプリケーション上に具現される。
グラフィックユーザインターフェースは、ディスプレイに表示される視覚的オブジェクトだけでなく、前記オブジェクトとユーザとの間の多様な相互作用、すなわちインタラクションで構成されることが一般的である。タッチスクリーンを備えた装置が広く普及され始めてから、ユーザ便宜性の増大のためにグラフィックユーザインターフェース上でますます多様な類型の豊富なインタラクションが提供されている。グラフィックユーザインターフェースは多様なオブジェクトに関連する多様なインタラクションを含み得、インタラクションの間に前後関係および/または従属関係などが存在し得る。したがって、グラフィックユーザインターフェース製作者が作ったプロトタイプのみを開発者に伝達する場合、開発者としてはグラフィックユーザインターフェースのプロトタイプにいかなるインタラクションが含まれているのかを識別し、その動作原理を明確に理解することが難しい。プロトタイプに含まれた多様なインタラクションを開発者に明確に伝達するために、グラフィックユーザインターフェースの製作者はプロトタイプに含まれたインタラクションを記述する文書を別に作成してプロトタイプと共に開発者に伝達する場合が多い。この過程で多くの時間とコストが浪費される。
韓国登録特許第10-1818544号公報 韓国公開特許第10-2017-0118576号公報
本発明が解決しようとする技術的課題は、グラフィックユーザインターフェースのプロトタイプを提供する方法および装置を提供することにある。
本発明が解決しようとするまた他の技術的課題は、グラフィックユーザインターフェースのプロトタイプを対象にするインタラクションシナリオを生成する方法および装置を提供することにある。
本発明が解決しようとするまた他の技術的課題は、グラフィックユーザインターフェースのプロトタイプを対象にするインタラクションシナリオを再現する方法および装置を提供することにある。
本発明が解決しようとするまた他の技術的課題は、グラフィックユーザインターフェースのプロトタイプに含まれたインタラクションの細部事項を効果的に伝達するための方法および装置を提供することにある。
本発明が解決しようとするまた他の技術的課題は、グラフィックユーザインターフェースのプロトタイプに発生した変更事項を効果的に伝達するための方法および装置を提供することにある。
本発明が解決しようとするまた他の技術的課題は、グラフィックユーザインターフェースのプロトタイプに発生した変更事項を既に製作されたインタラクションシナリオに反映する方法および装置を提供することにある。
本発明の技術的課題は、以上で言及した技術的課題に制限されず、言及されていないまた他の技術的課題は、以下の記載から本発明の技術分野における通常の技術者に明確に理解されるであろう。
前記技術的課題を解決するための本発明の一実施形態によるグラフィックユーザインターフェース(GUI)のプロトタイプを提供する方法は、インタラクションシナリオの記録開始命令に応答し、プロトタイプ著作装置上でGUIプロトタイプに対するユーザの試演の入力を受ける段階と、前記試演中に発生した第1トリガーを感知する段階と、前記第1トリガーに関する情報を含む前記インタラクションシナリオを生成する段階と、前記プロトタイプ著作装置によって、前記インタラクションシナリオを送信する段階とを含む。この時、前記プロトタイプは、前記トリガーおよび前記トリガーによって誘発されるレスポンスに関する情報を含み得、前記トリガーはユーザ入力イベントを含み得、前記レスポンスは前記プロトタイプ上のオブジェクトの表示属性の変化を含み得る。
一実施形態で、前記インタラクションシナリオは、前記第1トリガーによって誘発される第1レスポンスに関する情報をさらに含む。いくつかの実施形態で、前記インタラクションシナリオは、前記第1レスポンスがトリガーとして作用して自動的に誘発される第2レスポンスに関する情報をさらに含む。
一実施形態で、前記プロトタイプ提供方法は、前記インタラクションシナリオの記録開始命令に応答し、前記試演中に発生した第2トリガーを感知する段階をさらに含み、前記インタラクションシナリオは、前記第1トリガーおよび第2トリガーそれぞれの発生時点を表す情報をさらに含む。
一実施形態で、前記インタラクションシナリオを生成する段階は、前記インタラクションシナリオを前記プロトタイプと別個のファイルとして保存する段階を含む。
一実施形態で、前記トリガーはセンサ感知イベントを含む。
前記技術的課題を解決するための本発明の他の一実施形態によるグラフィックユーザインターフェース(GUI)のプロトタイプを提供する方法は、プロトタイプ閲覧装置によって、GUIプロトタイプ上で発生するトリガーに関する情報を含むインタラクションシナリオを取得する段階と、前記プロトタイプ閲覧装置によって、前記インタラクションシナリオに含まれたトリガーによって自動的に誘発されるレスポンスを出力することで、前記プロトタイプを対象に前記インタラクションシナリオを再現する段階とを含む。この時、前記プロトタイプは、トリガーおよび前記トリガーによって誘発されるレスポンスに関する情報を含み得、前記トリガーはユーザ入力イベントを含み得、前記レスポンスは前記プロトタイプ上のオブジェクトの表示属性の変化を含み得る。
一実施形態で、前記プロトタイプを対象に前記インタラクションシナリオを再現する段階は、前記プロトタイプ上で、前記インタラクションシナリオに含まれた前記トリガーの発生を視覚化する段階を含む。いくつかの実施形態で、前記トリガーは第1類型のトリガーおよび第2類型のトリガーを含み、前記トリガーの発生を視覚化する段階は、前記第1類型のトリガーの発生を第1表示属性で視覚化し、前記第2類型のトリガーの発生を第2表示属性で視覚化する段階を含む。
一実施形態で、前記プロトタイプ提供方法は、前記インタラクションシナリオに含まれた前記トリガーの属性をディスプレイする段階をさらに含む。
一実施形態で、前記プロトタイプ提供方法は、前記レスポンスの属性をディスプレイする段階をさらに含む。
一実施形態で、前記プロトタイプを対象に前記インタラクションシナリオを再現する段階は、時間の経過に伴う前記プロトタイプに含まれたオブジェクトの表示属性値の変化をディスプレイする段階を含む。
一実施形態で、前記プロトタイプを対象に前記インタラクションシナリオを再現する段階は、前記インタラクションシナリオの一部を選択するユーザの入力を取得する段階と、前記選択されたインタラクションシナリオの一部を再現する段階を含む。この時、前記インタラクションシナリオの一部を選択するユーザの入力は、前記インタラクションシナリオに含まれた一つ以上のトリガーのうち一部を選択する入力または前記一つ以上のトリガーによって誘発される一つ以上のレスポンスのうち一部を選択する入力であり得る。
一実施形態で、前記プロトタイプを対象に前記インタラクションシナリオを再現する段階は、第1画面で前記レスポンスの出力結果をディスプレイし、第2画面で前記インタラクションシナリオに含まれたトリガーおよびレスポンスをディスプレイし、前記レスポンスは前記トリガー発生および第1条件満足時に出力される第1レスポンスおよび前記トリガー発生および前記第1条件不満足時に出力される第2レスポンスを含む、段階と、前記試演途中に前記トリガー発生時点の前記第1条件満足時、前記第1レスポンスを出力し、前記第1レスポンスを示すGUIオブジェクトと前記第2レスポンスを示すGUIオブジェクトを視覚的に区分されるようにディスプレイする段階をさらに含む。
いくつかの実施形態で、前記プロトタイプを対象に前記インタラクションシナリオを再現する段階は、前記第1条件満足状況で前記第2レスポンスを強制的に出力させるためのユーザインターフェースを介した条件変更試演入力が提供される場合、前記第2レスポンスを出力する段階をさらに含む
いくつかの実施形態で、前記第2レスポンスを出力する段階は、前記第2レスポンスを示すGUIオブジェクトが強制出力中であることを示す表示を、前記第2レスポンスを示すGUIオブジェクトにオーバーレイしてディスプレイしたり、前記第2レスポンスを示すGUIオブジェクトに隣接してディスプレイする段階を含む。
一実施形態で、前記インタラクションシナリオは、コメントおよび前記コメントのターゲットに関するデータを含み、前記コメントのターゲットは、前記プロトタイプの一部分、前記インタラクションシナリオの一部区間、前記インタラクションシナリオに含まれたトリガー、および前記トリガーによって誘発されるレスポンスのうち少なくとも一つであり、前記プロトタイプを対象に前記インタラクションシナリオを再現する段階は、前記コメントのターゲットに関するデータに前記コメントをディスプレイする段階を含む。
一実施形態で、前記プロトタイプ提供方法は、前記レスポンスの開始時点および持続時間を表すGUIオブジェクトをディスプレイする段階をさらに含む。
一実施形態で、前記インタラクションシナリオおよび前記プロトタイプは、ウェブブラウザで閲覧可能な電子文書として提供され得る。
前記技術的課題を解決するための本発明のまた他の一実施形態によるグラフィックユーザインターフェース(GUI)のプロトタイプを提供する方法は、インタラクションシナリオの記録開始命令に応答し、プロトタイプ著作装置上でGUIプロトタイプに対するユーザの試演の入力を受ける段階と、前記試演中に発生した第1トリガーを感知する段階と、前記第1トリガーに関する情報を含む前記インタラクションシナリオを生成する段階と、前記プロトタイプ著作装置によって、前記インタラクションシナリオを送信する段階と、プロトタイプ閲覧装置によって、前記インタラクションシナリオを取得する段階と、前記プロトタイプ閲覧装置によって、前記インタラクションシナリオに含まれたトリガーによって自動的に誘発されるレスポンスを出力することで、前記プロトタイプを対象に前記インタラクションシナリオを再現する段階とを含む。この時、前記プロトタイプは、トリガーおよび前記トリガーによって誘発されるレスポンスに関する情報を含み得、前記トリガーはユーザ入力イベントを含み得、前記レスポンスは前記プロトタイプ上のオブジェクトの表示属性の変化を含み得る。
前記技術的課題を解決するための本発明のまた他の一実施形態によるグラフィックユーザインターフェース(GUI)のプロトタイプに対するインタラクションシナリオの提供方法は、プロトタイプ著作装置によって、前記プロトタイプの第1バージョンと第2バージョンの差異点を識別する段階と、前記プロトタイプ著作装置によって、前記差異点に基づいて、前記プロトタイプの前記第1バージョンに対して既に生成されたインタラクションシナリオの第1バージョンを更新し、前記インタラクションシナリオの第2バージョンを生成する段階とを含み、前記プロトタイプは、前記トリガーおよび前記トリガーによって誘発されるレスポンスに関する情報を含み、前記第1バージョンに対して既に生成されたインタラクションシナリオは、前記プロトタイプの前記第1バージョンに対するユーザの試演中に感知された複数のトリガーに関する情報を含む。
一実施形態で、前記差異点を識別する段階は、前記プロトタイプの前記第2バージョンに追加されたトリガーを識別する段階を含み、前記インタラクションシナリオの前記第2バージョンを生成する段階は、前記追加されたトリガーが挿入される位置に対するユーザ入力を取得する段階を含み得る。
一実施形態で、前記追加されたトリガーが挿入される位置に対するユーザ入力を取得する段階は、前記インタラクションシナリオの前記第1バージョンに含まれたトリガーのいずれか一つのトリガーを選択するユーザ入力を取得する段階と、前記いずれか一つのトリガーの直前または直後に前記追加されたトリガーを挿入する段階を含み得る。
一実施形態で、前記追加されたトリガーが挿入される位置に対するユーザ入力を取得する段階は、前記インタラクションシナリオの前記第1バージョンのタイムラインをディスプレイする段階と、前記タイムライン上の特定位置を選択するユーザ入力を取得する段階を含み得る。
一実施形態で、前記差異点を識別する段階は、前記プロトタイプの前記第1バージョンで削除されたトリガーおよび前記プロトタイプの前記第2バージョンに追加されたトリガーを識別する段階を含み、前記インタラクションシナリオの前記第2バージョンを生成する段階は、前記削除されたトリガーと前記追加されたトリガーの類似度を判定する段階を含み得る。
一実施形態で、前記インタラクションシナリオの前記第2バージョンを生成する段階は、前記類似度が臨界値以上であるという判定に基づいて、前記インタラクションシナリオの前記第1バージョンで前記削除されたトリガーを前記追加されたトリガーに代替し、前記インタラクションシナリオの前記第2バージョンを生成する段階をさらに含み得る。
一実施形態で、前記削除されたトリガーと前記追加されたトリガーの類似度を判定する段階は、前記削除されたトリガーおよび前記追加されたトリガーそれぞれによって誘発されるレスポンスが互いに重複する比率を判定する段階を含み得る。
一実施形態で、前記削除されたトリガーと前記追加されたトリガーの類似度を判定する段階は、前記削除されたトリガーによって表示属性の変化が誘発される第1GUIオブジェクトと、前記追加されたトリガーによって表示属性の変化が誘発される第2GUIオブジェクトが互いに同じであるか否かを判定する段階を含み得る。
一実施形態で、前記インタラクションシナリオは、前記ユーザの試演中に感知された前記複数のトリガーによって誘発される複数のレスポンスに関する情報をさらに含み得る。
一実施形態で、前記インタラクションシナリオは、前記複数のレスポンスのうち少なくとも一つがトリガーとして作用して自動的に誘発されるレスポンスに関する情報をさらに含み得る。
前記技術的課題を解決するための本発明のまた他の一実施形態によるグラフィックユーザインターフェース(GUI)のプロトタイプ提供方法は、プロトタイプ閲覧装置によって、GUIプロトタイプ上で発生するトリガーに関する情報を含むインタラクションシナリオを取得する段階と、前記プロトタイプ閲覧装置によって、前記インタラクションシナリオに含まれたトリガーによって自動的に誘発されるレスポンスを出力することで、前記プロトタイプを対象に前記インタラクションシナリオの第1バージョンおよび第2バージョンを再現する段階とを含み、前記プロトタイプは、トリガーおよび前記トリガーによって誘発されるレスポンスに関する情報を含む。
一実施形態で、前記インタラクションシナリオの前記第1バージョンに含まれたトリガーと前記第2バージョンに含まれたトリガーのうち少なくとも一部は互いに異なったり、前記インタラクションシナリオの前記第1バージョンに含まれたレスポンスと前記第2バージョンに含まれたレスポンスのうち少なくとも一部はそれぞれ異なり得る。
一実施形態で、前記インタラクションシナリオの第1バージョンおよび第2バージョンを再現する段階は、前記インタラクションシナリオの前記第1バージョンを第1ディスプレイ領域で再現する段階と、前記インタラクションシナリオの前記第2バージョンを第2ディスプレイ領域で再現する段階を含み、前記第1バージョンおよび前記第2バージョンは互いに同期化されて再現され得る。
一実施形態で、前記インタラクションシナリオの第1バージョンおよび第2バージョンを再現する段階は、前記インタラクションシナリオの前記第1バージョンに含まれた複数のトリガーのうち第1トリガーに対するユーザの選択に応答し、前記第1トリガーに指定された属性をディスプレイする段階と、前記インタラクションシナリオの前記第2バージョンに含まれた複数のトリガーのうち前記第1トリガーに対応する第2トリガーに指定された属性をディスプレイする段階とを含み得る。
一実施形態で、前記インタラクションシナリオの第1バージョンおよび第2バージョンを再現する段階は、前記インタラクションシナリオの前記第1バージョンに含まれた複数のレスポンスのうち第1レスポンスに対するユーザの選択に応答し、前記第1レスポンスに指定された属性をディスプレイする段階と、前記インタラクションシナリオの前記第2バージョンに含まれた複数のレスポンスのうち前記第1レスポンスに対応する第2レスポンスに指定された属性をディスプレイする段階を含み得る。
一実施形態で、前記インタラクションシナリオの第1バージョンおよび第2バージョンを再現する段階は、前記インタラクションシナリオの前記第1バージョンと前記第2バージョンの差異点を識別する段階と、前記差異点に基づいて、前記インタラクションシナリオの前記第1バージョンまたは前記第2バージョンの少なくとも一部のオブジェクトを半透明にディスプレイする段階とを含み得る。
一実施形態で、前記インタラクションシナリオの第1バージョンおよび第2バージョンを再現する段階は、前記インタラクションシナリオの第1バージョンの再現を開始する段階と、前記インタラクションシナリオの第2バージョンの再現を要請するユーザ入力を取得する段階と、前記ユーザ入力に応答し、前記再現中の前記インタラクションシナリオの第1バージョンの第1レスポンスに対応する前記インタラクションシナリオの第2バージョンの第2レスポンスを識別する段階と、前記インタラクションシナリオの前記第2バージョンの第2レスポンスを出力する段階とを含み得る。
前記技術的課題を解決するための本発明のまた他の一実施形態によるコンピュータ読み取り可能な非一時的記録媒体は、プロトタイプ著作装置によって、前記プロトタイプの第1バージョンと第2バージョンの差異点を識別する段階と、前記プロトタイプ著作装置によって、前記差異点に基づいて、前記プロトタイプの前記第1バージョンに対して既に生成されたインタラクションシナリオの第1バージョンを更新し、前記インタラクションシナリオの第2バージョンを生成する段階を含む方法を行うようにするコンピュータプログラムが保存される。
本発明の一実施形態によるグラフィックユーザインターフェースプロトタイプの提供システムの構成図である。 本発明の他の一実施形態によりグラフィックユーザインターフェースのプロトタイプを提供する方法を行うプロセスを示すフローチャートである。 図2を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを記録する過程を説明するための図である。 図2を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを記録する過程を説明するための図である。 図2を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを記録する過程を説明するための図である。 図2を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを記録する過程を説明するための図である。 図2を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを記録する過程を説明するための図である。 本発明のまた他の一実施形態によりグラフィックユーザインターフェースのプロトタイプを提供する方法を行うプロセスを示すフローチャートである。 図6を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを再現する過程を説明するための図である。 図6を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを再現する過程を説明するための図である。 図6を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを再現する過程を説明するための図である。 図6を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを再現する過程を説明するための図である。 図6を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを再現する過程を説明するための図である。 図6を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを再現する過程を説明するための図である。 図6を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを再現する過程を説明するための図である。 図6を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオを再現する過程を説明するための図である。 本発明のまた他の一実施形態により、グラフィックユーザインターフェースのプロトタイプのインタラクションシナリオを提供する方法を行うプロセスを示すフローチャートである。 図13を参照して説明した方法の一部段階をより具体的に説明するための図である。 図13を参照して説明した方法の一部段階をより具体的に説明するための図である。 本発明のまた他の一実施形態により、グラフィックユーザインターフェースのプロトタイプを提供する方法を行うプロセスを示すフローチャートである。 図16を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオの第1バージョンと第2バージョンを再現する過程を説明するための図である。 図16を参照して説明した実施形態によりグラフィックユーザインターフェースプロトタイプのインタラクションシナリオの第1バージョンと第2バージョンを再現する過程を説明するための図である。 本発明の多様な実施形態を具現できる例示的なコンピューティング装置を示す図である。
以下、添付する図面を参照して本発明の好ましい実施形態を詳細に説明する。本発明の利点および特徴、並びにこれらを達成する方法は添付する図面と共に詳細に後述されている実施形態を参照すると明確になる。しかし、本発明は、以下で開示する実施形態に限定されるものではなく、互いに異なる多様な形態で具現することができ、本実施形態は、単に本発明の開示を完全にし、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供するものであり、本発明は請求項の範疇によってのみ定義される。
各図面の構成要素に参照符号を付けることにおいて、同じ構成要素に対してはたとえ他の図面上に表示されてもできるだけ同じ符号を有するようにしていることに留意しなければならない。また、本発明を説明するにあって、関連する公知構成または機能に対する具体的な説明が本発明の要旨を曖昧にすると判断される場合はその詳細な説明は省略する。
他に定義のない限り、本明細書で使われるすべての用語(技術的および科学的用語を含む)は、本発明が属する技術分野における通常の知識を有する者に共通して理解される意味を有する。また、一般に使われる辞典に定義されている用語は明白に特に定義されていない限り理想的にまたは過度に解釈されない。本明細書で使われた用語は実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書における単数形は文面で特記しない限り複数形も含む。
また、本発明の構成要素を説明するにあたって、第1、第2、A、B、(a)、(b)等の用語を使うことができる。このような用語はその構成要素を他の構成要素と区別するためのものであり、その用語によって該当構成要素の本質や手順または順序などが限定されない。ある構成要素が異なる構成要素に「連結」、「結合」または「接続」されると記載された場合、その構成要素はその他の構成要素に直接的に連結されたりまたは接続され得るが、各構成要素の間にまた他の構成要素が「連結」、「結合」または「接続」され得ると理解されなければならない。
明細書で使われる「含む(comprises)」および/または「含み(comprising)」は、言及された構成要素、段階、動作および/または素子は一つ以上の他の構成要素、段階、動作および/または素子の存在または追加を排除しない。
以下、本発明のいくつかの実施形態について添付する図面により詳細に説明する。
先に、本明細書で使われる用語の意味について説明する。
まず「著作者」はグラフィックユーザインターフェースのプロトタイプを作る者、例えばデザイナーである。「著作装置」はグラフィックユーザインターフェースプロトタイプを著作し、プロトタイプに具現されたインタラクションを試演するシナリオを生成するために用いられる装置である。
次に「閲覧者」は著作者が著作したプロトタイプの提供を受けて閲覧し、プロトタイプから抽出された情報を使う者、例えば開発者、プランナー、および/または意志決定権者などである。「閲覧装置」はプロトタイプの閲覧のために閲覧者が使う装置である。閲覧装置はプロトタイプを実行する装置、またはプロトタイプに対するインタラクションシナリオを再現または再生する装置として理解されることもできる。閲覧装置は著作対象グラフィックユーザインターフェースが窮極的に実行されるターゲット装置と同じ類型の装置であり得る。
本明細書で「トリガー」はグラフィックユーザインターフェース上の視覚的変化および/またはグラフィックユーザインターフェースが具現された装置の任意の反応(reaction)ないしフィードバック(feedback)を誘発するイベントである。トリガーは、グラフィックユーザインターフェース上でのユーザ入力、センサなどその他外部入力、またはグラフィックユーザインターフェース上に発生した他のイベントであり得る。トリガーは、グラフィックユーザインターフェースが適用された装置に備えられたタッチスクリーンに対するタッチ入力またはジェスチャ、マウスやキーボードなどの装置によるユーザ入力、前記装置に備えられたセンサ(例えば、カメラ、マイク、加速度センサ、ジャイロセンサ、近接センサ、地磁気センサなど)や前記装置外部で前記装置にデータを提供するセンサ(例えば、照度センサ、温度センサ、人体感知センサなど)により測定されたデータによって発生するイベントであり得る。
本明細書で「レスポンス」はトリガーによって誘発される反応を意味する。一例として、レスポンスはグラフィックユーザインターフェースのオブジェクトの表示属性(位置、大きさ、透明度、色相、方位角など)の変化であり得る。この場合、レスポンスの出力とは、オブジェクトの表示属性を変更するオペレーションの実行を意味する。他の例として、レスポンスはグラフィックユーザインターフェースが具現された装置のハプティックフィードバックやサウンドフィードバックであり得る。一方、レスポンスは他のレスポンスを誘発するトリガーとして作用することができる。
一方、トリガーは、トリガーの発生条件により互いに異なるレスポンスを誘発するように定義されることもできる。
「インタラクションセット」は、トリガーおよび前記トリガーによって誘発されるレスポンスの集まり(collection)を示す用語である。
「インタラクション」は、グラフィックユーザインターフェース上で感知されるイベントの発生およびこれに対して応答した一連の反応の過程を包括的に示す用語である。グラフィックユーザインターフェースはGUIオブジェクトおよび一連のインタラクションで構成されることができる。
「インタラクションシナリオ」はグラフィックユーザインターフェースのプロトタイプに適用されたインタラクションの少なくとも一部を順次または順序なしで再現するためのデータである。
図1は本発明の一実施形態によるグラフィックユーザインターフェースプロトタイプの提供システムの構成図である。
図1を参照すると、前記プロトタイプ提供システムは、プロトタイプ著作装置110、プロトタイプ閲覧装置120、およびプロトタイプ提供サーバ130で構成されることができる。
プロトタイプ著作装置110は、グラフィックユーザインターフェースのプロトタイプを著作し、プロトタイプに対するインタラクションシナリオを生成する装置である。プロトタイプ著作装置110は著作されたプロトタイプをプロトタイプ提供サーバ130またはプロトタイプ閲覧装置120に提供することができる。プロトタイプ著作装置110は、著作対象グラフィックユーザインターフェースが適用されるターゲット装置と同じ類型の装置であり得、相異する類型の装置でもあり得る。プロトタイプの著作および/または試演過程で、ターゲット装置がプロトタイプ著作装置110に有線または無線に連結され、プロトタイプに含まれるトリガーを入力または定義したり、トリガーによって誘発されるレスポンスを確認するために利用され得る。
プロトタイプ閲覧装置120は、グラフィックユーザインターフェースのプロトタイプを閲覧または実行する装置である。本明細書で「プロトタイプの閲覧」と「プロトタイプの実行」は同じ意味で使われる。また、プロトタイプ閲覧装置120は、グラフィックユーザインターフェースのプロトタイプに対するインタラクションシナリオを再現または再生する装置であり得る。プロトタイプ閲覧装置120は、プロトタイプ著作装置110またはプロトタイプ提供サーバ130から、プロトタイプおよび/またはインタラクションシナリオを取得し得る。
プロトタイプ閲覧装置120は、著作対象グラフィックユーザインターフェースが適用されるターゲット装置と同じ類型の装置であり得、相異する類型の装置でもあり得る。プロトタイプ閲覧装置120がターゲット装置と相異する類型の装置である場合、プロトタイプ閲覧装置120のユーザインターフェース内にディスプレイされた、前記ターゲット装置のスクリーンを模写したグラフィックオブジェクト内に前記プロトタイプがディスプレイされて実行され得る。
一実施形態によれば、プロトタイプ著作装置110およびプロトタイプ閲覧装置120は、ネットワークを通じて互いに連結できるコンピューティング装置を含んで構成されることができる。例えば、プロトタイプ著作装置110およびプロトタイプ閲覧装置120は、一つ以上のプロセッサを含んで構成されるサーバ、デスクトップPC、ノートブック、スマートフォンのような装置を含んで構成されることができる。プロトタイプ著作装置110およびプロトタイプ閲覧装置120は、例えば図13に示されたコンピューティング装置1500であり得る。
プロトタイプ提供サーバ130は、プロトタイプ著作装置110からプロトタイプおよび/またはインタラクションシナリオを受信し、プロトタイプ閲覧装置120に提供することができる。プロトタイプ提供サーバ130はファイルサーバ、ウェブサーバなど多様なプロトコルによりデータを送受信して交換する任意のサーバであり得る。
以下では、図2ないし図5を参照して、本発明の他の一実施形態によるグラフィックユーザインターフェースのプロトタイプ提供方法についてより詳しく説明する。特に、プロトタイプを対象にするインタラクションシナリオを生成する方法について説明する。本実施形態のプロトタイプ提供方法はプロトタイプ著作装置110により行われ得る。
図2は本実施形態によりグラフィックユーザインターフェースのプロトタイプを提供する方法を行うプロセスを示すフローチャートである。
先に段階S210で、プロトタイプ著作装置110によりグラフィックユーザインターフェースプロトタイプ200が著作される。プロトタイプの著作には、グラフィックユーザインターフェースのプロトタイピングのための従来の多様なツールと技法が利用され得る。プロトタイプ200は、一つ以上のグラフィックユーザインターフェースオブジェクトおよび少なくとも一部のオブジェクトと関連するインタラクションセット(すなわち、トリガーおよびレスポンスの集まり)を含むものであり得る。
いくつかの実施形態では、プロトタイプの著作段階S210で、著作対象グラフィックユーザインターフェースが適用されるターゲット装置がプロトタイプ著作装置110に有線または無線に連結され、プロトタイプに含まれるトリガーを入力または定義したり、トリガーによって誘発されるレスポンスを確認するために利用され得る。
段階S220では、プロトタイプ著作装置110が、前記プロトタイプのインタラクションシナリオを生成するためのユーザインターフェース300をディスプレイし、インタラクションシナリオの記録開始命令を受信する。
図3は、プロトタイプ著作装置110に、段階S210で著作されたプロトタイプ200を対象にインタラクションシナリオを生成するためのユーザインターフェース300がディスプレイされた場合を例示的に示す図である。図3を参照すると、前記インターフェース300は、著作されたプロトタイプ200をディスプレイする領域と、インタラクションシナリオの生成に関するGUIオブジェクト304,306,308を提供する領域302を含む。プロトタイプ著作装置110のユーザは、前記インターフェース300上にディスプレイされたプロトタイプ200を試演(demonstrate)または操作し得る。
段階S220では、例えば前記ユーザインターフェース300のインタラクションシナリオ記録開始ボタン304を選択するユーザの入力310が受信されることによって、プロトタイプ200を対象にするインタラクションシナリオの記録が始まる。いくつかの実施形態で、インタラクションシナリオの記録が始まると、インタラクションシナリオ記録開始ボタン304の表示属性が変更され、インタラクションシナリオが記録されていることが視覚的に表現され得る。
段階S230ないし段階S250では、プロトタイプ200に対するユーザの試演が入力され、試演が行われる途中に発生したインタラクションが記録される。この時、プロトタイプ200を対象にユーザの試演中に発生した一連のインタラクションを録画した動画が記録されるのではなく、プロトタイプに含まれたオブジェクトの変化を誘発するトリガーの識別子およびトリガーの発生時点などが記録されることに留意する。
段階S230ないし段階S250については図4aないし図4cを参照して説明する。
段階S230では、プロトタイプ著作装置110がプロトタイプ200に対するユーザの試演入力を受信する。ユーザは、プロトタイプ著作装置110のインターフェース300上でプロトタイプ200に含まれたオブジェクトとインタラクションすることによって、前記プロトタイプ200を試演することができ、プロトタイプ著作装置110はユーザの試演によって発生したデータを受信することができる。
図4aないし図4cはプロトタイプ200に対するユーザの試演が行われる途中のプロトタイプ200を例示的に示す図である。図4aはユーザがプロトタイプ200に含まれたオブジェクト420をタッチすることを示し、図4bは前記タッチの結果、プロトタイプ200のオブジェクト420,430,440の表示属性が変化したことを示す。具体的には、図4bを参照すると、オブジェクト420に対するタッチ入力により、オブジェクト420の大きさ属性の変化、オブジェクト430およびオブジェクト440の透明度の変化が誘発された。すなわち、オブジェクト420の大きさが拡大され、図4aに示された状態では隠されていたオブジェクト430およびオブジェクト440が視覚的に表示された。この点で、オブジェクト420に対して発生したタッチイベントはトリガーであり、オブジェクト420の大きさ属性変化、オブジェクト430およびオブジェクト440の透明度変化は前記トリガーによって誘発されたレスポンスである。一方、プロトタイプ著作装置110のユーザは、プロトタイプ200の試演中に、前記オブジェクト420をタッチする代わりに、例えばマウスなどのポインティング装置でオブジェクト420をクリックする動作を行うことによって、前記オブジェクト420をタッチするイベントを前記トリガーと定義することもできることに留意する。
いくつかの実施形態では、段階S230で、ターゲット装置(図示せず)がプロトタイプ著作装置110に連結され、プロトタイプ200の試演に利用され得る。ユーザはターゲット装置上でプロトタイプ200を操作して試演し、プロトタイプ著作装置110はターゲット装置からユーザの試演に関するデータを受信し得る。
段階S240では、ユーザの試演中に感知されたトリガーが記録される。例えば、図4aおよび図4bを参照して説明した、オブジェクト420に対するタッチイベントがトリガーとして記録され得る。いくつかの実施形態では、前記トリガーによって誘発されたレスポンスもまた記録され得る。例えば、図4bに例示的に示されたオブジェクト(420,430,440)の表示属性変化がレスポンスとして記録され得る。他のいくつかの実施形態で、前記トリガーによって誘発された第1レスポンスが、第1レスポンスと区別される第2レスポンスを連鎖的に誘発した場合、第1レスポンスは第2レスポンスを誘発したトリガーとして記録され得る。
段階S250では、インタラクションシナリオの記録が終了したかどうかを判定する。例えば、ユーザからインタラクションシナリオ記録終了命令が受信されたかどうかが判定される。もしインタラクションシナリオ記録が終了していなかったら、段階S230に戻って、ユーザの試演入力受信(S230)、ユーザの試演中に感知されたトリガーおよびレスポンスを記録(S240)する過程が繰り返される。例えば、図4cに示されたものとユーザの続く試演中にプロトタイプ200に含まれたオブジェクト441に対するタッチイベントが感知され、前記タッチ(すなわち、トリガー)により誘発されたレスポンスがプロトタイプ200上に出力され、前記トリガーとレスポンスが記録され得る。
段階S260では、ユーザの試演中に感知されたトリガーとレスポンスに基づいて、インタラクションシナリオが生成され得る。本発明の実施形態で、インタラクションシナリオは、プロトタイプ200を対象にユーザの試演中に発生した一連のインタラクションを録画した動画でないことに留意する。
いくつかの実施形態で、インタラクションシナリオは、ユーザの試演中に感知されたトリガーに関する情報を含み、トリガーによって誘発されたレスポンスに関する情報は含まなくてもよい。この場合、プロトタイプ閲覧装置112上でのインタラクションシナリオの再現のために、インタラクションシナリオとプロトタイプが共に提供されるべきであり、インタラクションシナリオはプロトタイプにトリガーを発生させるデータとして機能する。他のいくつかの実施形態で、インタラクションシナリオは、トリガーおよびレスポンスに関する情報をすべて含み得る。
いくつかの実施形態で、インタラクションシナリオは、ユーザの試演中に感知されたトリガーの発生時点に関する情報を含み得る。例えば、インタラクションシナリオは、ユーザの試演中に感知された第1トリガーおよび第2トリガーの発生順序に関する情報を含み得る。他の例として、インタラクションシナリオは、ユーザの試演が開示された以後に第1トリガーおよび第2トリガーがそれぞれ感知された時まで経過した時間に関する情報を含み得る。
いくつかの実施形態で、インタラクションシナリオを記述するデータはプロトタイプを記述するデータと統合されて提供されることができる。
他のいくつかの実施形態で、インタラクションシナリオを記述するデータはプロトタイプを記述するデータと統合されず、別個のファイルとして保存されてプロトタイプ閲覧装置120または閲覧者に提供されることもできる。一つのプロトタイプに対する複数のインタラクションシナリオが製作されたり、インタラクションシナリオが何度も修正されて順次提供される場合が頻繁に発生する場合には、インタラクションシナリオデータとプロトタイプデータを分離することが効率的であり得る。
段階S270では、ユーザからコメント入力が受信され、インタラクションシナリオに前記コメントに関する情報が付加され得る。これについては図5を参照して説明する。
図5を参照すると、例えば前記ユーザインターフェース300のコメント入力開始ボタン306を選択するユーザの入力310が受信されることによって、ユーザのコメント入力が開始される。前記コメントは、プロトタイプ200の一部分を対象にしたコメントであるか、インタラクションシナリオの一部区間を対象にしたコメントであるか、インタラクションシナリオに含まれた一部トリガーを対象にしたコメントであるか、一部レスポンスを対象にしたコメントであり得る。後述するが、コメントの対象によって、プロトタイプ閲覧装置120によるインタラクションシナリオの再現中にコメントがディスプレイされる位置、時点などが異なる。
図5に例示的に示すように、プロトタイプの特定部分を指定するユーザの入力510を受信することによって、前記プロトタイプの特定部分が前記コメントの対象として指定され得る。また、コメントの対象を指定するユーザの入力510が受信されると、前記ユーザインターフェース300上にコメント入力のためのレイヤ520が表示され、ユーザからコメントの内容の入力を受けるようになる。
段階S280では、インタラクションシナリオが保存され、プロトタイプ提供サーバ130に送信されたりプロトタイプ閲覧装置120に提供され得る。
図2ないし図5を参照した本実施形態の説明では、インタラクションシナリオに含まれるトリガーの例示として、グラフィックユーザインターフェースプロトタイプ200上でのユーザ入力を説明したが、本発明はこのような実施形態に限定されるものではない。先立って説明したように、トリガーはセンサによって測定されたデータなど外部の入力によって発生したイベントを含む。プロトタイプ著作装置110上に提供されるインタラクションシナリオを生成するためのユーザインターフェース300には、センサなど外部入力によって発生したイベントをトリガーとして指定してインタラクションシナリオに含ませるための機能が提供され得ることを理解するであろう。
ここまでは図2ないし図5を参照して、本発明の一実施形態によりプロトタイプを対象にするインタラクションシナリオを生成する方法について説明した。以下では図6ないし図12を参照して、本発明の他の一実施形態によりプロトタイプを対象にしたインタラクションシナリオを再現する方法について説明する。本実施形態によるインタラクションシナリオを再現方法は、プロトタイプ閲覧装置120により行われ得る。
図6は、本発明の一実施形態により、グラフィックユーザインターフェースのプロトタイプを提供する方法を行うプロセスを示すフローチャートである。
先に段階S610で、プロトタイプ閲覧装置120はインタラクションシナリオを取得する。インタラクションシナリオはプロトタイプ提供サーバ130またはプロトタイプ著作装置110から取得し得る。グラフィックユーザインターフェースプロトタイプとインタラクションシナリオが別個のデータとして提供される実施形態では、段階S610でグラフィックユーザインターフェースのプロトタイプもまた取得し得る。いくつかの実施形態で、グラフィックユーザインターフェースプロトタイプとインタラクションシナリオは、プロトタイプ提供サーバ130上に保存される電子文書であり得る。この場合、グラフィックユーザインターフェースプロトタイプとインタラクションシナリオは、プロトタイプ閲覧装置120のウェブブラウザ等を介して前記電子文書を示すURLにアクセスすることによって取得し得る。
先立って説明したように、インタラクションシナリオは、プロトタイプ著作装置110でユーザの試演中に感知されたトリガーに関する情報を含む。いくつかの実施形態で、インタラクションシナリオは、前記感知されたトリガーによって誘発されるレスポンスに関する情報をさらに含む。いくつかの実施形態で、インタラクションシナリオはトリガーの発生時点に関する情報を含み得る。本発明の実施形態で、インタラクションシナリオは、プロトタイプ200を対象にした試演中に発生した一連のインタラクションを録画した動画でないことに留意する。
段階S620で、プロトタイプ閲覧装置120が、プロトタイプに対するインタラクションシナリオを再現するためのユーザインターフェース700をディスプレイし得る。
図7を参照すると、インタラクションシナリオを再現するためのユーザインターフェース700はプロトタイプ200をディスプレイするための第1領域710およびインタラクションシナリオの再現を制御してインタラクションシナリオおよびプロトタイプ200の細部事項をディスプレイするための第2領域720を含む。段階S620では、プロトタイプ200が第1領域710にディスプレイされる。
図7を参照すると、第2領域720には、プロトタイプに関連する一つ以上のインタラクションシナリオのうちいずれか一つを選択するためのGUIオブジェクト730、選択されたインタラクションシナリオに含まれた一つ以上のトリガーのうち一部を選択するためのGUIオブジェクト740、選択されたトリガーによって誘発される一つ以上のレスポンスに対応するGUIオブジェクト750、インタラクションシナリオの再現または再生を制御するためのオブジェクト760、インタラクションシナリオのタイムラインを表すためのプログレスバー770、レスポンスの開始時点および持続時間を表すGUIオブジェクトなどがディスプレイされ得る。
段階S630で、インタラクションシナリオの再現開始命令が受信される。例えば、インタラクションシナリオの再現を制御するためのGUIオブジェクト760のうち再現開始ボタンを選択するユーザの入力が受信され得る。
段階S640ないし段階S660では、プロトタイプ200に対するインタラクションシナリオが再現され、再現が行われる間にインタラクションシナリオに含まれたトリガーの発生が視覚化され、トリガーによって誘発されるレスポンスがプロトタイプ200上に出力される。段階S640ないし段階S660については、図8aないし図11を参照して説明する。
段階S640では、インタラクションシナリオに対する再現が開始され、インタラクションシナリオに含まれたトリガーの発生が視覚化される。図9は、プロトタイプ200上のオブジェクト420に対するタッチイベントが視覚化910されたことを例示的に示す。インタラクションシナリオに含まれたトリガーは、前記プロトタイプに含まれたGUIオブジェクトの視覚的な変化でもあるが、前記プロトタイプを対象にしたユーザのアクション、またはセンサなど外部装置の入力など、非視覚的なイベントであり得る。したがって、段階S640ではインタラクションシナリオに含まれたトリガーの発生を視覚化することによって、プロトタイプ閲覧装置120を介してプロトタイプのインタラクションシナリオを再現するユーザ(例えば開発者など)が、トリガーの発生事実とトリガーの属性を認知できるようにする。一方、段階S640では、プロトタイプ上で行われるユーザのアクション、センサなど外部装置の入力など互いに異なる類型のトリガーの発生が互いに異なる方式で視覚化され得る。例えば、プロトタイプ200上でのタップジェスチャとダブルタップジェスチャは互いに異なる方式で視覚化され得る。さらに、図面に示していないが、多様な類型のセンサのセンサ感知イベントをユーザインターフェース700上で視覚化するための従来の多様な技法が活用されることができる。
段階S650では、プロトタイプ200上で、前記トリガーによって誘発されるレスポンスが出力される。前記トリガーによって誘発されるレスポンスがプロトタイプに含まれたGUIオブジェクトの表示属性の変化の場合、レスポンスの出力とは、オブジェクトの表示属性を変更するオペレーションが実行される動作を意味する。前記レスポンスがハプティックフィードバックやサウンドフィードバックである場合、プロトタイプ閲覧装置120の振動装置またはスピーカーによってハプティックまたはサウンドフィードバックが出力され得る。一方、前記トリガーによって誘発される前記レスポンスが、第2レスポンスを誘発するトリガーとして作用する場合、前記第2レスポンスも連鎖的に出力される。
段階S650で、レスポンスが出力される間に、インターフェース700上でそれぞれのレスポンスを表すオブジェクト750のうち、現在出力中のレスポンスに対応するオブジェクトが視覚的に強調されて表示され得る。
図8aないし図8cは、プロトタイプ200上のオブジェクト420に対するタッチイベントによって誘発されるプロトタイプ200上のGUIオブジェクトの表示属性の変化過程およびユーザインターフェース700の変化過程を順次に示す例示的な図である。プロトタイプ200上のGUIオブジェクトの表示属性の変化はレスポンスの一例である。図8aないし図8cの第1領域710を参照すると、オブジェクト420に対するタッチイベント発生により、時間の経過に伴いオブジェクト420の大きさ属性の変化、オブジェクト430およびオブジェクト440の透明度の変化が誘発された。一方、図8aないし図8cの第2領域720を参照すると、前記トリガーによって誘発されるレスポンスが実行されるタイムラインが視覚的に表示され得る。
段階S660では、インタラクションシナリオの再現中に、プロトタイプ200に含まれたオブジェクトの属性値の変化がディスプレイされ得る。図10は、インタラクションシナリオが再現される途中のある瞬間に、ユーザが選択したオブジェクト1010の属性値がディスプレイ1020されたことを例示的に示す図である。本実施形態では、インタラクションシナリオの再現途中にユーザが選択したオブジェクト1010の位置座標、大きさ、透明度などの属性が、インタラクションシナリオの再現中にどのように変化するのかがディスプレイされ得る。いくつかの実施形態では、レスポンスを表すオブジェクト750のうち、現在前記オブジェクトの属性変化を起こすレスポンスに対応するオブジェクトがインターフェース700上で強調表示され得る。
段階S670では、インタラクションシナリオの再現が終了したかどうかを判断し得る。例えば、インタラクションシナリオに含まれた一つ以上のトリガーによるインタラクションがすべて再現されたかどうかを判定し得る。もしインタラクションシナリオの再現が終了していなかったら段階S640に戻って、後続トリガーの発生の視覚化、前記後続トリガーによって誘発されるレスポンス出力、オブジェクトの属性値変化ディスプレイなどの一連の動作が行われ得る。
一方、本実施形態によれば、インタラクションシナリオに含まれた一つ以上のトリガーのうち選択されたトリガーの属性がインターフェース700上にディスプレイされ得る。図9は、インタラクションシナリオに含まれた複数のトリガー(Trigger#1,Trigger#2)のうち選択されたトリガー(Trigger#1)の細部事項がインターフェース上にディスプレイ920されたことを例示的に示す図である。本実施形態では、複数のトリガーに対応するGUIオブジェクト740の少なくとも一つを選択するユーザの選択に応答し、インタラクションシナリオの再現途中または再現前後に、選択されたトリガーの類型、発生位置、発生条件などの細部属性がディスプレイされ得る。
また、本実施形態によれば、インタラクションシナリオに含まれた一つ以上のレスポンスのうち選択されたレスポンスの属性がインターフェース700上にディスプレイされ得る。図11は、インタラクションシナリオに含まれた複数のレスポンスのうち選択されたレスポンス(Response#1)の細部事項がインターフェース上にディスプレイ1120されたことを例示的に示す図である。本実施形態では、複数のレスポンスに対応するGUIオブジェクト750の少なくとも一つを選択するユーザの選択に応答し、選択されたレスポンスの類型、程度(degree)、レスポンスのターゲットになるオブジェクト、開始時点、持続時間などの細部属性がディスプレイされ得る。
また、本実施形態によれば、インタラクションシナリオに付加されたコメントがインターフェース700上にディスプレイされ得る。例えばプロトタイプ著作装置110のユーザである著作者がインタラクションシナリオに付加したコメントが、インタラクションシナリオの再現途中または再現前後にインターフェース700上にディスプレイされ得る。
前述したように、前記コメントは、プロトタイプ200の一部分を対象にしたコメントであるか、インタラクションシナリオのタイムライン上の一部区間を対象にしたコメントであるか、インタラクションシナリオに含まれた一部トリガーを対象にしたコメントであるか、一部レスポンスを対象にしたコメントであり得る。
前記コメントがプロトタイプ200の特定オブジェクトをターゲットにしたコメントである場合、インタラクションシナリオの再現途中にターゲットオブジェクトの隣接する領域にコメントがディスプレイされ得、さらに前記ターゲットオブジェクトと前記コメントの関連関係が視覚的に表現され得る。
前記コメントがインタラクションシナリオの一部区間を対象にしたコメントである場合、インタラクションシナリオの再現途中の該当区間にのみ前記コメントがディスプレイされることもできる。
前記コメントがインタラクションシナリオに含まれた一部トリガーをターゲットにしたコメントである場合、インタラクションシナリオの再現中のターゲットトリガーが発生する時点に前記コメントがディスプレイされ得る。さらに前記ターゲットトリガーと前記コメントの関連関係が視覚的に表現され得る。
前記コメントがインタラクションシナリオに含まれた一部レスポンスをターゲットにしたコメントである場合、インタラクションシナリオの再現中のターゲットレスポンスが出力される時点に前記コメントがディスプレイされ得る。さらに前記ターゲットレスポンスと前記コメントの関連関係が視覚的に表現され得る。
前述したように、本実施形態によれば、インタラクションシナリオの閲覧時に、プロトタイプ閲覧装置120のユーザ(例えばアプリケーション開発者)がプロトタイプに含まれたトリガーおよびレスポンスの細部事項およびインタラクションによるプロトタイプ内オブジェクトの表示属性の変化を容易に確認することができる。また本実施形態によれば、インタラクションシナリオの閲覧時に、プロトタイプ閲覧装置120のユーザ(例えばアプリケーション開発者)がインタラクションシナリオに付加された著作者のコメントを容易に確認することができる。これによって、プロトタイプの著作者が意図したインタラクションの内容が開発者などに効果的に伝達され得る。
本実施形態の段階S640ないしS660によりインタラクションシナリオが再現される過程は、ユーザの選択によってインタラクションシナリオの一部を対象に部分的に行われ得る。この場合、段階S640に先立って、インタラクションシナリオの一部を選択するユーザの入力を取得し、選択された一部を対象にインタラクションシナリオの再現が行われ得る。インタラクションシナリオの一部は、インタラクションシナリオのタイムライン上の一部区間、インタラクションシナリオに含まれた一つ以上のトリガーのうち一部トリガー、インタラクションシナリオに含まれたトリガーによって誘発される一つ以上のレスポンスのうち一部レスポンス、プロトタイプ200に含まれた一つ以上のオブジェクトの一部のオブジェクトであり得る。ユーザはインターフェース700上にディスプレイされたオブジェクト740,750,770またはプロトタイプ200に含まれたオブジェクトの一部を選別的に指定することによって、段階S640ないしS660により再現しようとするインタラクションシナリオの一部が選択的に再現されるようにすることができる。
一方、本発明のいくつかの実施形態によれば、トリガーは、トリガーの発生条件によって互いに異なるレスポンスを誘発するように定義することもできる。すなわち、プロトタイプは、条件による分岐を有するインタラクションセットを含み得る。プロトタイプは、例えばトリガー発生と共に第1条件が満足される場合、第1レスポンスが誘発され、トリガー発生と共に第1条件が満足されない場合、第2レスポンスが誘発されるインタラクションセットを含み得る。図12は、このように条件を有するトリガーおよび条件により誘発されるレスポンスが、インターフェース700にディスプレイされたことを例示的に示す図である。
図12を参照すると、オブジェクト1210はトリガーを表し、オブジェクト1220は前記トリガー発生時満足する可能性がある第1条件を表し、オブジェクト1230は前記トリガー発生時満足する可能性がある、第1条件と相異する第2条件を表す。オブジェクト1225はトリガー発生時前記第1条件が満足される場合に誘発される第1レスポンスを表し、オブジェクト1235はトリガー発生時前記第2条件が満足される場合に誘発される第2レスポンスを表す。より具体的に、Trigger#1が発生した時点に満たされた条件が第1条件(Rectangle 1のX座標が0)であるかまたは第2条件(Rectangle 1のX座標が275)であるかによって、互いに異なるレスポンス1225,1235が誘発されるインタラクションセットの例が図12に示された。
先立って図6を参照して説明した実施形態の段階S640ないしS660により、プロトタイプ200に対するインタラクションシナリオが再現される途中に、条件による分岐を有するインタラクションセットがプロトタイプ200上で再現される場合、トリガーの発生時満足された条件と満足されなかった条件が視覚的に区分されてインターフェース700上にディスプレイされ得る。例えば、トリガーの発生時に第1条件が満足され、第2条件が満足されていない場合、図12に示すように第2条件に関連するオブジェクト1230,1235は非活性化された状態でディスプレイされ得る。
本発明のいくつかの実施形態では、インタラクションシナリオの再現中の第1条件が満足された状況で、第2条件に対応する第2レスポンスが強制的に出力されるようにする機能が提供され得る。さらに、第1条件が満足された状況で第2条件に対応する第2レスポンスが強制的に出力される場合、第2レスポンスを表すオブジェクト1235上にまたはオブジェクト1235に隣接し、強制出力を表す視覚的表示がディスプレイされ得る。本発明のいくつかの実施形態では、インタラクションシナリオの再現中に満足されなかった第2条件に対応する第2レスポンスを強制的に出力できるようにする機能を提供することによって、プロトタイプ著作者によるインタラクションシナリオ生成時に試演されていない状況に対してもプロトタイプ閲覧者が再現してみることができるようになる。
ここまでは図6ないし図12を参照して、本発明の一実施形態によりプロトタイプを対象にしたインタラクションシナリオを再現する方法について説明した。以下では図13ないし図15を参照して、グラフィックユーザインターフェースのプロトタイプに発生した変更事項を効果的に伝達するために利用され得る方法について説明する。
グラフィックユーザインターフェースのプロトタイプを製作する過程で、プロトタイプは頻繁で持続的に修正される。グラフィックユーザインターフェース製作者が既存バージョンのプロトタイプを修正した場合、修正された事項が何であるかアプリケーションプランナーおよび/または開発者に伝達する必要がある。これのために、プロトタイプ製作者はプロトタイプに含まれたインタラクションの修正事項を記述する文書を作成して開発者などに伝達したり、修正されたプロトタイプに対するインタラクションシナリオを最初から再生成して伝達しなければならない状況が発生し得る。その過程で多くの時間とコストが浪費される。
本実施形態は、グラフィックユーザインターフェースのプロトタイプに発生した変更事項を既存に製作されたインタラクションシナリオに自動的に反映することによって、グラフィックユーザインターフェースのプロトタイプに発生した変更事項を効果的に伝達する方法に関するものである。本実施形態によるインタラクションシナリオの提供方法は、プロトタイプ著作装置110により行われ得る。
図13を参照すると、本方法はプロトタイプの第1バージョンと第2バージョンの差異点を識別する段階S1310およびプロトタイプに対するインタラクションシナリオの第1バージョンを更新し、プロトタイプに対するインタラクションシナリオの第2バージョンを自動的に生成する段階S1320を含む。
本実施形態で、グラフィックユーザインターフェースのプロトタイプの第2バージョンはプロトタイプの第1バージョンに修正を加えた結果物であり得る。グラフィックユーザインターフェースのプロトタイプを修正する過程は、プロトタイプに含まれたトリガー、レスポンス、および/またはオブジェクトの追加、削除、属性値変更などを含み得る。すなわち、プロトタイプの第1バージョンと第2バージョンの差異点は、プロトタイプに含まれたトリガー、レスポンス、および/またはオブジェクトの追加、削除、属性値変更などを含み得る。
本実施形態で、プロトタイプに対するインタラクションシナリオの第1バージョンは、プロトタイプの第1バージョンを説明するために、例えば図2ないし図5を参照して説明した実施形態による方法によって、既存に生成したインタラクションシナリオをいう。また、プロトタイプに対するインタラクションシナリオの第2バージョンは、プロトタイプに対するインタラクションシナリオの第1バージョンに基づいて、プロトタイプの第2バージョンに対して自動的に生成されるインタラクションシナリオをいう。
段階S1310ではプロトタイプの第1バージョンと第2バージョンを比較して、プロトタイプに含まれたトリガー、レスポンス、および/またはオブジェクトの追加、削除、および属性値の変更事項が識別される。
段階S1320ではインタラクションシナリオの第1バージョンに、前記識別されたトリガー、レスポンス、および/またはオブジェクトの追加、削除、および属性値の変更事項が反映される。
具体的には、プロトタイプに新たなレスポンスまたはオブジェクトが追加された場合、インタラクションシナリオの第1バージョンに前記レスポンスまたはオブジェクトを追加することによって、インタラクションシナリオの第2バージョンが生成され得る。また、プロトタイプに既存に含まれていたレスポンスまたはオブジェクトが削除された場合、インタラクションシナリオの第1バージョンから前記レスポンスまたはオブジェクトを削除することによって、インタラクションシナリオの第2バージョンが生成され得る。同様に、プロトタイプに含まれたレスポンスまたはオブジェクトの既存属性値が変更された場合、前記変更された属性値をインタラクションシナリオの第1バージョンで修正することによって、インタラクションシナリオの第2バージョンが生成され得る。
同様に、プロトタイプの第1バージョンに既存に含まれていたトリガーが削除されたりまたはトリガーの属性値が変更された場合、インタラクションシナリオの第1バージョンから前記トリガーを削除したり、変更されたトリガー属性値をインタラクションシナリオの第1バージョンで修正することによって、インタラクションシナリオの第2バージョンが生成され得る。
以下では図14および図15を参照して、プロトタイプの第1バージョンに含まれていたトリガーが新たなトリガーに代替されたり、プロトタイプの第1バージョンには含まれていない新たなトリガーがプロトタイプの第2バージョンに追加された場合、これをインタラクションシナリオに自動的に反映するための方法について説明する。
図14を参照すると、段階S1311でプロトタイプの第1バージョンから削除されたトリガーが識別され、段階S1312ではプロトタイプの第2バージョンに新たに追加されたトリガーが識別される。段階S1311および段階S1312は図13を参照して説明した段階S1310の一部として理解されることができる。
段階S1321では第1バージョンから削除されたトリガーが存在するかどうかを判定する。もし削除されたトリガーがない場合、段階S1331に進み、削除されたトリガーが存在する場合、段階S1341に進む。
段階S1331ではプロトタイプの第2バージョンに新たに追加されたトリガーが、インタラクションシナリオ上で挿入されなければならない位置に関するユーザの入力が取得される。次いで段階S1335では、前記追加されたトリガーがインタラクションシナリオに挿入される。この時、段階S1331で取得されたユーザ入力に基づいて決定された位置に前記トリガーが挿入される。
以下では図15を参照して、段階S1331でトリガーの挿入位置に関するユーザ入力の取得過程についてより詳しく説明する。
図15を参照すると、段階S1332でインタラクションシナリオのタイムラインがディスプレイされる。インタラクションシナリオのタイムラインは、例えば図7に示されたインタラクションシナリオに含まれたトリガーを表すGUIオブジェクト740、プログレスバー770、レスポンスの開始時点および持続時間を表すGUIオブジェクト780等によってディスプレイされ得る。
一実施形態で、段階S1333では、インタラクションシナリオに含まれたトリガーのいずれか一つを選択するユーザの入力が取得され得る。例えば図7に示されたGUIオブジェクト740のいずれか一つを選択するユーザの入力が取得され得る。次いで段階S1334では、前記選択されたトリガーの直前または直後の位置が、新たなトリガーが挿入される位置として決定され得る。いくつかの実施形態では、選択されたトリガーの直前に新たなトリガーが挿入されるかどうかまたは選択されたトリガーの直後に新たなトリガーが挿入されるかどうかに関するユーザの入力が追加で取得され得る。
他の一実施形態で、段階S1333では、インタラクションシナリオの進行中の特定時点を表すタイムライン上の特定位置を選択するユーザの入力が取得され得る。例えば、図7に示されたプログレスバー770上の特定位置またはレスポンスの開始時点および持続時間を表すGUIオブジェクト780上の特定位置を選択するユーザ入力が取得され得る。次いで、段階S1334では、前記選択されたタイムライン上の位置が、新たなトリガーが挿入される位置として決定され得る。
再び図14を参照して説明する。プロトタイプの第2バージョンに新たに追加されたトリガーが、図15を参照して説明した段階により決定された位置に挿入され(段階S1335)、インタラクションシナリオの第2バージョンが生成され得る(段階S1351)。
一方、図14に示された段階S1321で第1バージョンから削除されたトリガーが存在すると判定された場合、段階S1341に進む。
段階S1341では、プロトタイプの第1バージョンから削除されたトリガーと、プロトタイプの第2バージョンに追加されたトリガーの間の類似度が判定され、段階S1343では前記類似度が臨界値を超えるかどうかを判定する。
一実施形態で、前記削除されたトリガーと前記追加されたトリガーの間の類似度は、それぞれのトリガーによって誘発されるレスポンスの類似度または重畳度によって決定され得る。削除されたトリガーによって誘発されるレスポンスと追加されたトリガーによって誘発されるレスポンスが互いに一定比率以上重複する場合、段階S1343で前記類似度が臨界値を超えると判定することができる。
反面、削除されたトリガーによって誘発されるレスポンスと追加されたトリガーによって誘発されるレスポンスが互いに関連がない場合、段階S1343で前記類似度が臨界値以下であると判定することができる。
他の一実施形態で、前記削除されたトリガーと前記追加されたトリガーの間の類似度は、それぞれのトリガーによって表示属性の変化が誘発されるGUIオブジェクトが互いに同じであるか否かに基づいて決定され得る。すなわち、前記削除されたトリガーと前記追加されたトリガーが同じGUIオブジェクトに対する変化を誘発する場合、前記削除されたトリガーと前記追加されたトリガーの類似度が高く評価される反面、前記削除されたトリガーと前記追加されたトリガーが互いに異なるGUIオブジェクトに対する変化を誘発するトリガーである場合、二つのトリガーの間の類似度が低く評価され得る。
段階S1343で前記類似度が臨界値以下の場合、段階S1331に進む。段階S1343で前記類似度が臨界値を超えると判定される場合、これはプロトタイプの第2バージョンに追加されたトリガーが、プロトタイプの第1バージョンから削除されたトリガーを代替するものとして処理されることが好ましい。この場合段階S1345に進む。
段階S1345ではインタラクションシナリオで、前記削除されたトリガーが前記追加されたトリガーに代替される。すなわち、インタラクションシナリオの第1バージョンで前記削除されたトリガーがあった位置に、前記インタラクションシナリオの第2バージョンに追加されたトリガーが挿入する。このようなトリガーの代替を反映してインタラクションシナリオの第2バージョンが自動的に生成され得る(段階S1351)。
ここまでは図13ないし図15を参照して、グラフィックユーザインターフェースのプロトタイプに発生した変更事項を既存に製作されたインタラクションシナリオに反映することによって、変更事項が反映されたインタラクションシナリオの新たなバージョンを自動的に生成する方法について説明した。本実施形態によれば、プロトタイプから削除されたトリガー、レスポンス、およびオブジェクトや修正された属性値がインタラクションシナリオにも自動的に反映され、新たに追加されたトリガー、レスポンス、およびオブジェクトがインタラクションシナリオの適切な位置に自動的に挿入される。これにより、グラフィックユーザインターフェースのプロトタイプに発生した変更事項を別に説明したり、変更事項を反映したインタラクションシナリオの新たなバージョンを製作する必要なく、プロトタイプの変更事項に対して第三者に効果的に伝達できるようになる。
以下では、図16ないし図18を参照して、グラフィックユーザインターフェースのプロトタイプの変更事項が反映されたインタラクションシナリオを再現する方法について説明する。特に、インタラクションシナリオの第1バージョンと第2バージョンを共に再現することによって、グラフィックユーザインターフェースのプロトタイプに発生した変更事項をディスプレイする方法について説明する。本実施形態によるインタラクションシナリオの再現方法は、プロトタイプ閲覧装置120により行われ得る。
図16は、本発明の一実施形態により、グラフィックユーザインターフェースのプロトタイプを提供する方法を行うプロセスを示すフローチャートである。
先に段階S1610で、プロトタイプ閲覧装置120はインタラクションシナリオを取得する。インタラクションシナリオはプロトタイプ提供サーバ130またはプロトタイプ著作装置110から取得され得る。グラフィックユーザインターフェースプロトタイプとインタラクションシナリオが別個のデータとして提供される実施形態では、インタラクションシナリオの他にグラフィックユーザインターフェースのプロトタイプもまた、段階S1610で取得され得る。
段階S1610で、プロトタイプ閲覧装置120はインタラクションシナリオの第1バージョンおよび第2バージョンを取得し得る。インタラクションシナリオの第1バージョンはプロトタイプの第1バージョンに対して生成されたインタラクションシナリオであり、インタラクションシナリオの第2バージョンはプロトタイプの第2バージョンに対して生成されたインタラクションシナリオであり得る。インタラクションシナリオの第1バージョンと第2バージョンの少なくとも一部分は互いに異なる。例えばインタラクションシナリオの第1バージョンに含まれたトリガーとインタラクションシナリオの第2バージョンに含まれたトリガーは互いに異なる。また、インタラクションシナリオの第1バージョンに含まれたレスポンスとインタラクションシナリオの第2バージョンに含まれたレスポンスは互いに異なる。
段階S1620で、プロトタイプ閲覧装置120が、プロトタイプに対するインタラクションシナリオの第1バージョンおよび第2バージョンを再現するためのユーザインターフェースをディスプレイし得る。
図17は本発明の一実施形態によりプロトタイプに対するインタラクションシナリオの第1バージョンおよび第2バージョンを再現するための例示的なユーザインターフェースであり、図18は本発明の他の一実施形態によりプロトタイプに対するインタラクションシナリオの第1バージョンおよび第2バージョンを再現するための例示的なユーザインターフェースである。
先に図17に示された実施形態で、ユーザインターフェースは、インタラクションシナリオの第1バージョンを再現するための第1領域1701およびインタラクションシナリオの第2バージョンを再現するための第2領域1751を含む。第1領域1701および第2領域1751は、プロトタイプをディスプレイするための細部領域1710,1760、インタラクションシナリオの再現を制御してインタラクションシナリオの細部事項とタイムラインをディスプレイするための細部領域1720,1770、プロトタイプに含まれたトリガー、レスポンス、オブジェクトなどに指定された属性値をディスプレイするための細部領域1730,1780等をそれぞれ含む。段階S1620ではプロトタイプがそれぞれ細部領域1710,1760にディスプレイされる。
段階S1630で、インタラクションシナリオの再現開始命令が受信される。例えば、インタラクションシナリオの再現を制御するためのGUIオブジェクト1726のうち再現開始ボタンを選択するユーザの入力が受信され得る。
段階S1640では、プロトタイプに対するインタラクションシナリオの第1バージョンおよび第2バージョンが再現され、再現が行われる間にインタラクションシナリオに含まれたトリガーの発生が視覚化され、トリガーによって誘発されるレスポンスがそれぞれ細部領域1710,1760にディスプレイされたプロトタイプ上に出力される。
いくつか実施形態で、段階S1640では、インタラクションシナリオの第1バージョンおよび第2バージョンは互いに同期化されて共に再現され得る。
インタラクションシナリオの第1バージョンおよび第2バージョンの同期化された再現は、インタラクションシナリオの再現開始命令に応答して第1バージョンと第2バージョンの同時再現を含む。具体的には、第1バージョンは第1領域1701で第2バージョンは第2領域1702で同時に再現され得る。
インタラクションシナリオの第1バージョンおよび第2バージョンの同期化された再現は、インタラクションシナリオの第1バージョンおよび第2バージョンの差異点を容易に把握できるようにする。例えば、インタラクションシナリオの第1バージョンに含まれた複数のトリガー1724のうちいずれか一つのトリガーをユーザが選択すると、選択されたトリガーによって誘発されるレスポンス1725が領域1720内にディスプレイされ、選択されたトリガーに指定された細部属性が領域1730内にディスプレイされることができる。さらに、インタラクションシナリオの第2バージョンに含まれた複数のトリガーのうち前記選択されたトリガーに対応するトリガーが識別され、識別されたトリガーによって誘発されるレスポンスが領域1770内にディスプレイされ、識別されたトリガーに指定された細部属性が領域1780内にディスプレイされ得る。同様に、インタラクションシナリオの第1バージョンに含まれた複数のレスポンス1725のうちいずれか一つのレスポンスをユーザが選択すると、選択されたレスポンスに指定された細部属性が領域1730内にディスプレイされる一方、インタラクションシナリオの第2バージョンに含まれた複数のレスポンスのうち前記選択されたレスポンスに対応するレスポンスが識別され、識別されたレスポンスに指定された細部属性が領域1780内にディスプレイされ得る。このように、インタラクションシナリオの第1バージョンおよび第2バージョンが領域1701,1751内で互いに同期化して再現されることによって、第1バージョンおよび第2バージョンの間の差異点ないし変更事項をユーザが簡単に把握することができる。
一方図18に示された実施形態の場合、インタラクションシナリオの第1バージョンと第2バージョンが一つのディスプレイ領域内で再現され得る。これは第1バージョンと第2バージョンが互いに異なる領域1701,1751内で並んで再現される図17に示された実施形態とは差がある。
図18を参照すると、ユーザインターフェースはプロトタイプをディスプレイするための細部領域1810、インタラクションシナリオの再現を制御してインタラクションシナリオの細部事項とタイムラインをディスプレイするための細部領域1820、プロトタイプに含まれたトリガー、レスポンス、オブジェクトなどに指定された属性値をディスプレイするための細部領域1831,1832等を含む。
図18に示された実施形態では、段階S1640でインタラクションシナリオの第1バージョンおよび第2バージョンが同期化されて共に再現されるが、一つの領域に同時に再現され得る。具体的には、インタラクションシナリオの第1バージョンまたは第2バージョンが同じ部分は通常ディスプレイされ、インタラクションシナリオの第1バージョンと第2バージョンとの間に差がある部分は、第1バージョンの該当部分の上に第2バージョンの該当部分が半透明に重なってディスプレイされることによって、一つの領域1810内に第1バージョンおよび第2バージョンが同期化されて共に再現され得る。
例えば、図18はGUIプロトタイプの第1バージョンと第2バージョンとの間に、GUI要素1811,1812の移動距離に変更事項が発生した場合を例示的に示している。図18を参照すると、GUI要素1812がGUI要素1811の上に半透明に重なってディスプレイされることによって、GUI要素1811,1812の移動距離変化が一つの領域1810内に同時にディスプレイされ得る。
一方、他のいくつかの実施形態で、インタラクションシナリオの第1バージョンおよび第2バージョンのうちユーザが選択したいずれか一つのバージョンが領域1810内で再現され得る。そして選択されたバージョンの再現途中にユーザによって他のバージョンが選択されると、選択された他のバージョンが領域1810内で引き続き再現され得る。
例えば、ユーザの選択によってインタラクションシナリオの第1バージョンが領域1810内で再現され、第2バージョンの再現を要請するユーザの入力が取得され得る。この場合、再現中のインタラクションシナリオの第1バージョンで現在出力中の第1レスポンスが識別され、第1レスポンスの出力が中断され得る。そして、インタラクションシナリオの第2バージョンで第2レスポンスが識別され得る。インタラクションシナリオの第2バージョンの第2レスポンスが識別されると、前記第2レスポンスが同じ領域1810内に出力され、同じ領域1810でインタラクションシナリオの第2バージョンの再現が開始され得る。
この時、前記第2レスポンスは、インタラクションシナリオの第2バージョンに含まれたレスポンスのうち、インタラクションシナリオの第1バージョンに含まれた第1レスポンスに対応するレスポンスである。例えば、第1バージョンに含まれた第1レスポンスと第2バージョンに含まれた第2レスポンスはそれぞれのバージョンのタイムライン上での位置が同一であるかまたは対応するレスポンスであり得る。
このように本発明のいくつかの実施形態では、インタラクションシナリオの第1バージョンが再現される途中にユーザによって第2バージョンの再現が要請される場合、現在再現中のインタラクションシナリオ上のタイムラインをそのまま維持し、現在ユーザが閲覧している画面を離脱しないまま、同じ領域1810内で第2バージョンを引き続き再現することができる。その結果、ユーザはインタラクションシナリオの第1バージョンと第2バージョンをそれぞれ別に再現してみるわずらわしさなく、第1バージョンと第2バージョンとの間の差異点を一つの画面上で容易に確認することができる。
ここまでは図16ないし図18を参照して、グラフィックユーザインターフェースのプロトタイプに対するインタラクションシナリオの第1バージョンと第2バージョンを共に再現することによってグラフィックユーザインターフェースのプロトタイプに発生した変更事項をディスプレイする方法について説明した。本方法のいくつかの実施形態によれば、インタラクションシナリオの第1バージョンおよび第2バージョンが一つのユーザインターフェース画面内で互いに並んでまたは互いに重なってディスプレイされながら同時に再現されることによって、第1バージョンと第2バージョンとの間の差異点ないし変更事項をユーザが容易に把握することができる。本方法の他のいくつかの実施形態によれば、ユーザに、インタラクションシナリオの第1バージョンと第2バージョンを一つの領域内で互いに交差して再現してみることができるようにするインターフェースを提供することによって、ユーザが、第1バージョンと第2バージョンをそれぞれ別に再現してみるわずらわしさなく、両者間の差異点を一つの画面上で容易に確認することができる。
ここまでは図2ないし図18を参照して、本発明の様々な実施形態によるグラフィックユーザインターフェースのプロトタイプ提供方法を説明した。以下では、図19を参照して本発明の多様な実施形態で説明された方法を具現できる例示的なコンピューティング装置1500について説明する。
図19はコンピューティング装置1500を表す例示的なハードウェア構成図である。
図19に示すように、コンピューティング装置1500は、一つ以上のプロセッサ1510、バス1550、通信インターフェース1570、プロセッサ1510によって行われるコンピュータプログラム1591をロード(load)するメモリ1530と、コンピュータプログラム1591を保存するストレージ1590を含み得る。ただし、図19には本発明の実施形態と関連する構成要素のみが示されている。したがって、本発明が属する技術分野の通常の技術者であれば、図19に示された構成要素他に他の汎用的な構成要素がさらに含まれ得ることがわかる。図19に示されたコンピューティング装置1500は、IaaS(Infrastructure-as-a-Service)方式のクラウドサービスを提供するサーバファーム(server farm)に所属する物理サーバのいずれか一つを指す。
プロセッサ1510はコンピューティング装置1500の各構成の全般的な動作を制御する。プロセッサ1510は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、MCU(Micro Controller Unit)、GPU(Graphic Processing Unit)または本発明の技術分野に良く知られている任意の形態のプロセッサのうち少なくとも一つを含んで構成されることができる。また、プロセッサ1510は本発明の多様な実施形態による方法/動作を実行するための少なくとも一つのアプリケーションまたはプログラムに対する演算を遂行することができる。コンピューティング装置1500は一つ以上のプロセッサを備え得る。
メモリ1530は各種データ、命令および/または情報を保存する。メモリ1530は本発明の多様な実施形態による方法/動作を実行するためにストレージ1590から一つ以上のプログラム1591をロード(load)し得る。メモリ1530の例示はRAMであり得るが、これに限定されるものではない。
バス1550はコンピューティング装置1500の構成要素間の通信機能を提供する。バス1550は、住所バス(Address Bus)、データバス(Data Bus)および制御バス(Control Bus)等多様な形態のバスに具現されることができる。
通信インターフェース1570はコンピューティング装置1500の有無線インターネット通信を支援する。通信インターフェース1570はインターネット通信以外の多様な通信方式を支援することもできる。このために、通信インターフェース1570は本発明の技術分野に良く知られている通信モジュールを含んで構成されることができる。
ストレージ1590は一つ以上のコンピュータプログラム1591を非臨時的に保存し得る。ストレージ1590はフラッシュメモリなどのような不揮発性メモリ、ハードディスク、着脱型ディスク、または本発明が属する技術分野で良く知られている任意の形態のコンピュータで読み取り可能な記録媒体を含んで構成されることができる。
コンピュータプログラム1591は本発明の多様な実施形態による方法/動作が具現された一つ以上のインストラクションを含み得る。コンピュータプログラム1591がメモリ1530にロードされると、プロセッサ1510は前記一つ以上のインストラクションを実行させることによって本発明の多様な実施形態による方法/動作を遂行し得る。
ここまでは図1ないし図19を参照して本発明のいくつかの実施形態およびそれによる効果を言及した。本発明の効果は以上で言及した効果に制限されず、言及されていないまた他の効果は本明細書の記載から通常の技術者に明確に理解されるであろう。
ここまで図1ないし図19を参照して説明された本発明の概念はコンピュータ読み取り可能な媒体上にコンピュータ読み取り可能なコードに具現されることができる。前記コンピュータ読み取り可能な記録媒体は、例えば、移動型記録媒体(CD,DVD、ブルーレイディスク、USBストレージデバイス、リムーバブルハードディスク)であるか、固定式記録媒体(ROM、RAM、コンピュータ内蔵型ハードディスク)であり得る。前記コンピュータで読み取り可能な記録媒体に記録された前記コンピュータプログラムはインターネットなどのネットワークを通じて他のコンピューティング装置に転送されて前記他のコンピューティング装置に設置されることができ、これにより前記他のコンピューティング装置で使われ得る。
以上で、本発明の実施形態を構成するすべての構成要素が一つに結合されたり結合されて動作することを説明したが、本発明は必ずしもこのような実施形態に限定されるものではない。すなわち、本発明の目的範囲の内で、そのすべての構成要素が一つ以上に選択的に結合して動作することもできる。
図面では動作が特定の順序により示されているが、必ずしも動作が示された特定の順序にまたは順次的順序に実行されるべきであるかまたはすべて示された動作が実行された場合のみ所望する結果が得られると理解されてはならない。特定状況では、マルチタスキングおよび並列処理が有利であり得る。さらに、上記説明した実施形態で多様な構成の分離はこのような分離が必ず必要であると理解されてはならず、説明されたプログラムコンポーネントおよびシステムは一般に単一ソフトウェア製品に一緒に統合されるか多数のソフトウェア製品にパッケージされ得ることを理解しなければならない。
以上添付する図面を参照して本発明の実施形態について説明したが、本発明が属する技術分野における通常の知識を有する者は、本発明がその技術的思想や必須の特徴を変更せず他の具体的な形態に実施できることを理解することができる。したがって、上記実施形態はすべての面で例示的なものであり、限定的なものではないと理解しなければならない。本発明の保護範囲は下記の請求範囲によって解釈されるべきであり、それと同等な範囲内にあるすべての技術思想は本発明の権利範囲に含まれると解釈されなければならない。

Claims (13)

  1. グラフィックユーザインターフェース(GUI)のプロトタイプに対するインタラクションシナリオを提供する方法であって、
    前記インタラクションシナリオの記録開始命令に応答し、
    プロトタイプ著作装置上でGUIプロトタイプに対するユーザの試演の入力を受ける段階と、
    前記試演中に発生したトリガーを感知する段階と、
    感知された前記トリガーに関する情報を含む前記インタラクションシナリオを生成する段階と、
    を含み、
    前記プロトタイプは、前記トリガーおよび前記トリガーによって誘発されるレスポンスに関する情報を含み、
    前記インタラクションシナリオは、
    第1トリガーによって誘発される第1レスポンスに関する情報と、
    前記第1レスポンスが前記トリガーとして作用して自動的に誘発される第2レスポンスに関する情報と、
    をさらに含む、GUIプロトタイプに対するインタラクションシナリオの提供方法。
  2. 前記インタラクションシナリオを生成する段階は、
    前記インタラクションシナリオを前記プロトタイプと別個のファイルとして保存する段階を含む、請求項1に記載のGUIプロトタイプに対するインタラクションシナリオの提供方法。
  3. グラフィックユーザインターフェース(GUI)のプロトタイプに対するインタラクションシナリオを提供する方法であって、
    プロトタイプ著作装置によって、前記プロトタイプの第1バージョンと第2バージョンの差異点を識別する段階と、
    前記プロトタイプ著作装置によって、前記差異点に基づいて、前記プロトタイプの前記第1バージョンに対して既に生成された前記インタラクションシナリオの第1バージョンを更新し、前記インタラクションシナリオの第2バージョンを生成する段階と、
    を含み、
    前記プロトタイプは、
    トリガーおよび前記トリガーによって誘発されるレスポンスに関する情報を含み、
    前記第1バージョンに対して既に生成された前記インタラクションシナリオは、
    前記プロトタイプの前記第1バージョンに対するユーザの試演中に感知された複数の前記トリガーに関する情報を含むものである、GUIプロトタイプに対するインタラクションシナリオの提供方法。
  4. 前記差異点を識別する段階は、
    前記プロトタイプの前記第2バージョンに追加された前記トリガーを識別する段階を含み、
    前記インタラクションシナリオの前記第2バージョンを生成する段階は、
    前記追加されたトリガーが挿入される位置に対するユーザ入力を取得する段階を含む、請求項に記載のGUIプロトタイプに対するインタラクションシナリオの提供方法。
  5. 前記追加されたトリガーが挿入される位置に対するユーザ入力を取得する段階は、
    前記インタラクションシナリオの前記第1バージョンに含まれた前記トリガーのいずれか一つの前記トリガーを選択するユーザ入力を取得する段階と、
    いずれか一つの前記トリガーの直前または直後に前記追加されたトリガーを挿入する段階と、
    を含む、請求項に記載のGUIプロトタイプに対するインタラクションシナリオの提供方法。
  6. 前記差異点を識別する段階は、
    前記プロトタイプの前記第1バージョンで削除された前記トリガーおよび前記プロトタイプの前記第2バージョンに追加された前記トリガーを識別する段階を含み、
    前記インタラクションシナリオの前記第2バージョンを生成する段階は、
    前記削除されたトリガーと前記追加されたトリガーの類似度を判定する段階と、
    を含む、請求項に記載のGUIプロトタイプに対するインタラクションシナリオの提供方法。
  7. 前記インタラクションシナリオの前記第2バージョンを生成する段階は、
    前記類似度が臨界値以上であるという判定に基づいて、前記インタラクションシナリオの前記第1バージョンで前記削除されたトリガーを前記追加されたトリガーに代替し、前記インタラクションシナリオの前記第2バージョンを生成する段階
    をさらに含む、請求項に記載のGUIプロトタイプに対するインタラクションシナリオの提供方法。
  8. 前記削除されたトリガーと前記追加されたトリガーの類似度を判定する段階は、
    前記削除されたトリガーおよび前記追加されたトリガーそれぞれによって誘発されるレスポンスが互いに重複する比率を判定する段階を含む、請求項に記載のGUIプロトタイプに対するインタラクションシナリオの提供方法。
  9. グラフィックユーザインターフェース(GUI)のプロトタイプを提供する方法であって、
    プロトタイプ閲覧装置によって、GUIプロトタイプ上で発生するトリガーに関する情報を含むインタラクションシナリオを取得する段階と、
    前記プロトタイプ閲覧装置によって、前記インタラクションシナリオに含まれた前記トリガーによって自動的に誘発されるレスポンスを出力することで、前記プロトタイプを対象に前記インタラクションシナリオを再現する段階と、
    を含み、
    前記プロトタイプは、前記トリガーおよび前記トリガーによって誘発されるレスポンスに関する情報を含み、
    前記インタラクションシナリオは、
    第1トリガーによって誘発される第1レスポンスに関する情報と、
    前記第1レスポンスが前記トリガーとして作用して自動的に誘発される第2レスポンスに関する情報と、
    をさらに含む、GUIプロトタイプの提供方法。
  10. 前記インタラクションシナリオを再現する段階は、
    前記インタラクションシナリオの第1バージョンを第1ディスプレイ領域で再現する段階と、
    前記インタラクションシナリオの第2バージョンを第2ディスプレイ領域で再現する段階と、
    を含み、
    前記第1バージョンおよび前記第2バージョンは互いに同期化されて再現される、請求項に記載のGUIプロトタイプの提供方法。
  11. 前記インタラクションシナリオを再現する段階は、
    前記インタラクションシナリオの第1バージョンに含まれた複数の前記トリガーのうち第1トリガーに対するユーザの選択に応答し、
    前記第1トリガーに指定された属性をディスプレイする段階と、
    前記インタラクションシナリオの第2バージョンに含まれた複数の前記トリガーのうち前記第1トリガーに対応する第2トリガーに指定された属性をディスプレイする段階と、
    を含む、請求項に記載のGUIプロトタイプの提供方法。
  12. 前記インタラクションシナリオを再現する段階は、
    前記インタラクションシナリオの第1バージョンと第2バージョンの差異点を識別する段階と、
    前記差異点に基づいて、前記インタラクションシナリオの前記第1バージョンまたは前記第2バージョンの少なくとも一部のオブジェクトを半透明にディスプレイする段階と、
    を含む、請求項に記載のGUIプロトタイプの提供方法。
  13. 前記インタラクションシナリオを再現する段階は、
    前記インタラクションシナリオの第1バージョンの再現を開始する段階と、
    前記インタラクションシナリオの第2バージョンの再現を要請するユーザ入力を取得する段階と、
    前記ユーザ入力に応答し、前記再現中の前記インタラクションシナリオの前記第1バージョンの第1レスポンスに対応する前記インタラクションシナリオの前記第2バージョンの第2レスポンスを識別する段階と、
    前記インタラクションシナリオの前記第2バージョンの第2レスポンスを出力する段階と、
    を含む、請求項に記載のGUIプロトタイプの提供方法。
JP2021131488A 2019-12-24 2021-08-11 グラフィカルユーザインターフェースプロトタイプの提供方法および装置 Active JP7351877B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2019-0173728 2019-12-24
KR1020190173728A KR102144433B1 (ko) 2019-12-24 2019-12-24 그래픽 사용자 인터페이스 프로토타입 제공 방법 및 장치
KR1020200099116A KR102392886B1 (ko) 2020-08-07 2020-08-07 그래픽 사용자 인터페이스 프로토타입 제공 방법 및 장치
KR10-2020-0099116 2020-08-07
JP2020169920A JP6931116B2 (ja) 2019-12-24 2020-10-07 グラフィカルユーザインターフェースプロトタイプの提供方法および装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020169920A Division JP6931116B2 (ja) 2019-12-24 2020-10-07 グラフィカルユーザインターフェースプロトタイプの提供方法および装置

Publications (2)

Publication Number Publication Date
JP2021176113A JP2021176113A (ja) 2021-11-04
JP7351877B2 true JP7351877B2 (ja) 2023-09-27

Family

ID=73949284

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020169920A Active JP6931116B2 (ja) 2019-12-24 2020-10-07 グラフィカルユーザインターフェースプロトタイプの提供方法および装置
JP2021131488A Active JP7351877B2 (ja) 2019-12-24 2021-08-11 グラフィカルユーザインターフェースプロトタイプの提供方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020169920A Active JP6931116B2 (ja) 2019-12-24 2020-10-07 グラフィカルユーザインターフェースプロトタイプの提供方法および装置

Country Status (3)

Country Link
US (2) US11320954B2 (ja)
JP (2) JP6931116B2 (ja)
CN (2) CN115129412A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153352A (zh) * 2021-12-08 2022-03-08 中山大学 一种移动应用图形用户界面变更的识别方法、系统及装置
US11803396B2 (en) * 2021-12-31 2023-10-31 Accenture Global Solutions Limited Intelligent automation of UI interactions
KR102576664B1 (ko) * 2023-03-08 2023-09-13 스튜디오씨드코리아 주식회사 그래픽 사용자 인터페이스의 프로토타입 제작 방법 및 그 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109941A (ja) 2016-12-30 2018-07-12 スタジオ シード コリア インク インタラクティブコンテンツに対するコメント方法及びコメントシナリオ再演方法
JP2019204493A (ja) 2018-05-21 2019-11-28 スタジオ シード コリア インクStudio Xid Korea,Inc. プロトタイプの保存方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7412658B2 (en) * 2002-11-14 2008-08-12 Sap Ag Modeling system for graphic user interface
US7339598B2 (en) * 2003-07-11 2008-03-04 Vistaprint Technologies Limited System and method for automated product design
US8392890B2 (en) * 2007-10-15 2013-03-05 Software Research, Inc. Method and system for testing websites
US8434066B2 (en) * 2008-06-12 2013-04-30 Oracle International Corporation Enabling a business entity to validate support for specific activities in a CRM system before migration from earlier versions
US8943467B2 (en) * 2009-01-26 2015-01-27 GM Global Technology Operations LLC On-target rapid control prototyping
US8762873B2 (en) * 2009-10-26 2014-06-24 Hewlett-Packard Development Company, L.P. Graphical user interface component identification
US8645912B2 (en) * 2010-08-31 2014-02-04 General Electric Company System and method for use in replaying software application events
US8881022B2 (en) * 2010-09-30 2014-11-04 Mathworks, Inc. Method and system for binding graphical interfaces to textual code
US9141346B2 (en) * 2011-05-12 2015-09-22 Google Inc. Layout management in a rapid application development tool
US8799866B2 (en) * 2011-05-31 2014-08-05 International Business Machines Corporation Automatic generation of user interfaces
US9405664B2 (en) * 2011-08-31 2016-08-02 Hewlett Packard Enterprise Development Lp Automating software testing
US20130212487A1 (en) * 2012-01-09 2013-08-15 Visa International Service Association Dynamic Page Content and Layouts Apparatuses, Methods and Systems
US9501140B2 (en) * 2012-11-05 2016-11-22 Onysus Software Ltd Method and apparatus for developing and playing natural user interface applications
KR101511668B1 (ko) 2014-01-22 2015-04-13 박세규 앱이 설치된 스마트 폰으로 필드스코어 카드의 오시알(ocr) 처리하여 생성된 데이터를 중앙센터에서 집중 관리하는 골프 스코어 관리 시스템
US20150234571A1 (en) * 2014-02-17 2015-08-20 Microsoft Corporation Re-performing demonstrations during live presentations
US10073553B2 (en) * 2014-09-22 2018-09-11 Google Llc Scripting cross-device wearable interaction
CN111651159A (zh) 2014-11-21 2020-09-11 习得智交互软件开发公司 提供原型设计工具的方法及非暂时性计算机可解读的媒介
KR101653795B1 (ko) 2015-05-22 2016-09-07 스튜디오씨드코리아 주식회사 평면 요소의 속성을 표시하는 방법 및 그 장치
US9870062B2 (en) * 2015-11-11 2018-01-16 Facebook, Inc. Methods and systems for defining gestures for a user interface
KR101640377B1 (ko) 2016-01-06 2016-07-18 스튜디오씨드코리아 주식회사 그래픽 사용자 인터페이스의 프로토타입 제작 방법 및 그 시스템
KR101653797B1 (ko) 2016-04-15 2016-09-09 스튜디오씨드코리아 주식회사 프로토타입 제작 방법 및 그 장치
KR102301291B1 (ko) 2016-04-15 2021-09-13 스튜디오씨드코리아 주식회사 프로토타입 제작 방법 및 그 장치
KR101701822B1 (ko) 2016-05-17 2017-02-02 스튜디오씨드코리아 주식회사 프로토타입 제작 방법
US11461689B2 (en) * 2017-01-06 2022-10-04 Sigurdur Runar Petursson Techniques for automatically testing/learning the behavior of a system under test (SUT)
KR102005288B1 (ko) 2017-09-14 2019-07-31 스튜디오씨드코리아 주식회사 기존의 어플리케이션에 연동되는 프로토타입의 테스트 방법
KR20180079235A (ko) 2018-01-09 2018-07-10 스튜디오씨드코리아 주식회사 인터랙티브 컨텐츠에 대한 코멘트 방법 및 코멘트 시나리오 재연 방법
KR102221683B1 (ko) 2018-10-16 2021-03-03 스튜디오씨드코리아 주식회사 디지털 컨텐츠 저작 툴의 작업 화면 자동 모드 전환 방법
US10831634B1 (en) * 2019-05-10 2020-11-10 Sap Se Replication of user interface events
US11093118B2 (en) * 2019-06-05 2021-08-17 International Business Machines Corporation Generating user interface previews

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109941A (ja) 2016-12-30 2018-07-12 スタジオ シード コリア インク インタラクティブコンテンツに対するコメント方法及びコメントシナリオ再演方法
JP2019204493A (ja) 2018-05-21 2019-11-28 スタジオ シード コリア インクStudio Xid Korea,Inc. プロトタイプの保存方法

Also Published As

Publication number Publication date
JP6931116B2 (ja) 2021-09-01
CN112181579A (zh) 2021-01-05
JP2021176113A (ja) 2021-11-04
CN115129412A (zh) 2022-09-30
US20220229505A1 (en) 2022-07-21
US11320954B2 (en) 2022-05-03
JP2021103513A (ja) 2021-07-15
US20210191543A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
JP7351877B2 (ja) グラフィカルユーザインターフェースプロトタイプの提供方法および装置
US10701129B2 (en) Media platform for adding synchronized content to media with a duration
US20090083710A1 (en) Systems and methods for creating, collaborating, and presenting software demonstrations, and methods of marketing of the same
US20130124980A1 (en) Framework for creating interactive digital content
KR20130086138A (ko) 크로스―플랫폼 어플리케이션 프레임워크
CN112817790A (zh) 模拟用户行为的方法
US20200396315A1 (en) Delivery of apps in a media stream
US20180088791A1 (en) Method and apparatus for producing virtual reality content for at least one sequence
US20160359932A1 (en) Display device and method of controlling the same
JP6359738B2 (ja) インタラクティブコンテンツに対するコメント方法及びコメントシナリオ再演方法
Hawkes Simulation technologies
JP2019532385A (ja) 仮想現実シーケンスを構成又は修正するためのシステム、構成方法、及びそのシーケンスを読み取るためのシステム
JP7176806B1 (ja) プログラム学習装置
KR102668652B1 (ko) 그래픽 사용자 인터페이스 프로토타입 제공 방법 및 장치
US10902179B2 (en) Modification of file graphic appearance within a collection canvas
KR102497475B1 (ko) 그래픽 사용자 인터페이스 프로토타입 제공 방법 및 장치
Dorabjee et al. Back to the future: identifying interface trends from the past, present and future in immersive applications
KR102144433B1 (ko) 그래픽 사용자 인터페이스 프로토타입 제공 방법 및 장치
KR101445222B1 (ko) 멀티미디어 컨텐츠 저작 시스템 및 저작 도구가 기록된 컴퓨터로 읽을 수 있는 기록매체
WO2016053264A1 (en) Executable code in a media file
US10585974B2 (en) UI producing apparatus, UI producing method, and storage medium
Di Geronimo et al. End-user web development tool for tilting interactions
Chin et al. Pro Android Flash
KR20220168972A (ko) 애플리케이션 화면을 탐색하는 전자 장치 및 그 동작 방법
KR20200117140A (ko) 웹 상에서의 가상 입력 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230914

R150 Certificate of patent or registration of utility model

Ref document number: 7351877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150