JP6505322B2 - ユーザインタフェース装置 - Google Patents

Description

本発明は、ユーザインタフェース装置に関し、特に、表示装置に表示する複数の画面を、アニメーションによって遷移可能なユーザインタフェース装置に関する。

ユーザインタフェース装置において、表示すべき複数の画面をアニメーションによって遷移させることによって、ユーザに直観的な表示内容の分かりやすさや質の高いユーザエクスペリエンスを提供する方法がある。このように、複数の画面を遷移させるアニメーションを画面遷移アニメーションとよぶ。画面遷移アニメーションの多くは、遷移元の画面が左側に移動しながら消えていくとともに遷移先の画面が右側から出現する、または、遷移元の画面が分割して上下に消えていくとともに背面から遷移先の画面が出現する、というように、遷移前後の画面全体に効果を及ぼすアニメーションとなる。このようなアニメーションを実行する際、画面に表示されている各コンポーネントに対して同じ効果を与えて、描画タイミング毎に一つ一つのコンポーネントを描画する構成では、処理に時間がかかる。そのため、遷移前後の画面のキャプチャ画像を取得し、キャプチャ画像にアニメーションを実行することで高速なアニメーションを実現する方法がある。

しかしながら、遷移元画面及び遷移先画面をキャプチャしようとすると、遷移元画面のキャプチャ、遷移先画面の画面モデル構築、遷移先画面の描画内容作成、及び、遷移先画面のキャプチャといった工程を踏まなければならない。前述した工程はどれも比較的時間がかかる処理であるため、遷移が実行されるタイミングから、画面遷移アニメーションが開始されるタイミングまでに長い時間がかかってしまうおそれがある。

このような問題を解決するために、一度表示した画面のキャプチャ画像を保存しておき、次回以降の画面遷移アニメーションに活用する方法がある。例えば、特許文献１では、ウェブブラウザ上で一度訪れたことのあるウェブページのキャプチャ画像を保存しておき、ウェブページを切り替える際に保存していたキャプチャ画像を用いて画面遷移アニメーションする方法が開示されている。また、特許文献２では、画面の重要度を算出し、算出した重要度が閾値を超えた場合のみキャプチャ画像を取得する方法が開示されている。このような方法を併用することによって、ある程度効率的な画面遷移アニメーションを実現することが可能である。

特開２００６−１３９６１４号公報 特開２０１３−１２６１５３号公報

しかしながら、キャプチャ画像はその保存に大量の記憶容量を必要とする場合が多く、特に組み込み機器のように記憶容量が大きく制限される機器では、複数のキャプチャ画像を保存することが難しい場合がある。また、特許文献１及び２の技術を組み合わせた技術であっても、重要度が低い画面に遷移する場合には、その画面に対応するキャプチャ画像が保存されない。このため、重要度が低い画面に遷移する場合には、従来と同様の処理を行う必要があり、高速な画面遷移アニメーションが実現できないおそれがある。

そこで、本発明は、上記のような問題点を鑑みてなされたものであり、使用する記憶容量を抑制可能にするとともに、アニメーションの実行速度の低下を抑制可能な技術を提供することを目的とする。

本発明に係るユーザインタフェース装置は、アニメーションによって、遷移元の画面である遷移元画面の表示から、遷移先の画面である遷移先画面の表示への遷移が可能なユーザインタフェース装置であって、前記遷移元画面の遷移に関する遷移情報に基づいて、前記遷移元画面の画面情報を保存する必要性を計算する保存必要性計算部と、それぞれが前記遷移元画面のキャプチャ画像を取得する候補となる複数の取得段階のうち、前記必要性に基づく一つの取得段階に対応する前記遷移元画面の情報を取得する遷移元画面情報取得部と、前記遷移元画面情報取得部で取得された前記遷移元画面の情報を、前記画面情報として保存する画面情報保存部と、前記画面情報に基づいて、前記画面情報が保存された後の遷移における前記遷移先画面のキャプチャ画像を取得する画面キャプチャ部とを備える。

本発明によれば、遷移元画面の遷移に関する遷移情報に基づいて、遷移元画面の画面情報を保存する必要性を計算し、当該計算された必要性に基づいて一つの取得段階に対応する遷移元画面の情報を取得し、取得された遷移元画面の情報を画面情報として保存する。これにより、遷移に使用する記憶容量を抑制することができるとともに、アニメーションの実行速度の低下を抑制することができる。

本発明の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係るユーザインタフェース装置の構成を示すブロック図である。 実施の形態１に係るユーザインタフェース装置のハードウェア構成の一例を示すブロック図である。 実施の形態１に係るユーザインタフェース装置における保存必要性計算処理を示すフローチャートである。 実施の形態１に係るユーザインタフェース装置における取得段階判断処理を示すフローチャートである。 実施の形態１に係るユーザインタフェース装置に用いられる判断基準の一例を示す図である。 実施の形態１に係るユーザインタフェース装置における画面情報保存処理を示すフローチャートである。 実施の形態１に係るユーザインタフェース装置における遷移先画面の画面情報取得処理を示すフローチャートである。 実施の形態１に係るユーザインタフェース装置における画面キャプチャ実行処理を示すフローチャートである。 実施の形態２に係るユーザインタフェース装置の構成を示すブロック図である。 実施の形態２に係るユーザインタフェース装置における画面情報保存処理を示すフローチャートである。 実施の形態２に係るユーザインタフェース装置における保存可能画面情報数の格納処理を示すフローチャートである。 実施の形態２の変形例１に係るユーザインタフェース装置における保存可能画面情報数の格納処理を示すフローチャートである。 実施の形態２の変形例２に係るユーザインタフェース装置における画面情報の削除処理を示すフローチャートである。 実施の形態３に係るユーザインタフェース装置の構成を示すブロック図である。 実施の形態３に係るユーザインタフェース装置における保存必要性計算処理を示すフローチャートである。 実施の形態３に係るユーザインタフェース装置における重みの格納処理を示すフローチャートである。 実施の形態４に係るユーザインタフェース装置の構成を示すブロック図である。 実施の形態４に係るユーザインタフェース装置における学習処理を示すフローチャートである。 実施の形態４に係るユーザインタフェース装置における学習結果データのイメージ例を示す図である。 実施の形態４に係るユーザインタフェース装置における学習処理を示すフローチャートである。 実施の形態４に係るユーザインタフェース装置における保存必要性計算処理を示すフローチャートである。 実施の形態５に係るユーザインタフェース装置の構成を示すブロック図である。 画面遷移アニメーションの一例を示す図である。 部分画面の一例を示す図である。 実施の形態５に係るユーザインタフェース装置における保存必要性計算処理を示すフローチャートである。 実施の形態６に係るユーザインタフェース装置が表示するユーザ設定用画面の一例を示す図である。 実施の形態７に係るユーザインタフェース装置の構成を示すブロック図である。 実施の形態７に係るユーザインタフェース装置における画面情報の削除処理を示すフローチャートである。 実施の形態７に係るユーザインタフェース装置における優先度計算処理を示すフローチャートである。

以下、添付の図面を参照しながら本発明に係る各実施の形態について説明する。なお、図面は模式的に示されるものであり、異なる図面にそれぞれ示されている画像のサイズ及び位置の相互関係は、必ずしも正確に記載されるものではなく、適宜変更され得る。また、以下の説明では、同様の構成要素には同じ符号を付して図示し、それらの名称及び機能も同様のものとする。よって、それらについての詳細な説明を省略する場合がある。

また、以下の説明では、「上」または「下」などの特定の位置及び方向を意味する用語が用いられる場合があるが、これらの用語は、実施の形態の内容を理解することを容易にするため便宜上用いられているものであり、実際に実施される際の方向とは関係しない。

＜実施の形態１＞
＜構成＞
図１は、本発明の実施の形態１におけるユーザインタフェース装置の構成を示すブロック図である。なお、以下の説明ではユーザインタフェース装置を「ＵＩ装置」と略記することもあり、ユーザインタフェース装置に搭載されたユーザインタフェースシステムを「ＵＩシステム」と略記することもある。

図１に示すＵＩ装置は、入力装置１０１、画面遷移実行部１０２、保存必要性計算部１０３、取得段階判断部１０４、画面情報取得部１０５、画面情報保存部１０７、保存画面情報取得部１０８、画面キャプチャ実行部１０９、アニメーション実行部１１１、及び、表示装置１１２を備える。なお、取得段階判断部１０４及び画面情報取得部１０５は、遷移元画面情報取得部１０６に備えられ、保存画面情報取得部１０８及び画面キャプチャ実行部１０９は、画面キャプチャ部１１０に備えられる。

このように構成されたＵＩ装置は、アニメーションによって、遷移元の画面である遷移元画面の表示から、遷移先の画面である遷移先画面の表示への遷移が可能となっている。つまり、ＵＩ装置は、画面遷移アニメーションの実行及び表示が可能となっている。

次に、ＵＩ装置の各構成要素について詳細に説明する。

入力装置１０１は、表示装置１１２ひいては図１のＵＩ装置に対して、ユーザが操作を行うための装置である。入力装置１０１には、例えば、マウス、タッチパネル、トラックボール、データグローブ、スタイラスといったポインティングデバイスまたはキーボードのような情報入力装置、本体に取り付けられたボタンまたはスイッチ類、マイクなどの音声入力装置、カメラなどの画像または映像入力装置、脳波などの生体情報による入力装置、モーションセンサなどのセンサ類などが適用される。

画面遷移実行部１０２は、入力装置１０１から入力された入力情報、または、ＵＩシステムの図示しないタイマの時間などの何らかのイベントをトリガとして、画面遷移を実行開始する。画面遷移の実行開始の際、画面遷移実行部１０２は、遷移元画面及び遷移先画面を決定する。なお、画面遷移が実行開始されるまでに、遷移元画面はすでに表示装置１１２に表示されているので、遷移元画面は描画可能となっている。

保存必要性計算部１０３は、画面遷移実行部１０２において画面遷移が実行開始された際に、遷移元画面の遷移に関する遷移情報に基づいて、遷移元画面の画面情報を保存する必要性を計算する。なお、以下の説明では、遷移元画面の画面情報を保存する必要性を「保存必要性」と記すこともある。

ここで、本実施の形態１では、遷移元画面の遷移に関する遷移情報は、遷移元画面に対応する遷移先画面の表示要素及び設計情報などであるものとして説明する。例えば、遷移先画面の表示要素に、遷移元画面に戻るような表示要素が含まれている場合に、保存必要性計算部１０３は、上述の必要性を高くすることなどが想定される。ただし、遷移情報は、これらの情報に限ったものではない。

取得段階判断部１０４は、それぞれが遷移元画面のキャプチャ画像を取得する候補となる複数の取得段階のうち、保存必要性計算部１０３で計算された必要性に基づいて一つの取得段階を判断する。

複数の取得段階には、例えば、遷移元画面のキャプチャ画像、遷移元画面の描画内容を記録したディスプレイリスト、遷移元画面の表示要素や処理を含む画面モデルまたは画面内の各表示要素の位置や色などを表すプロパティ値などが適用される。ただし、取得段階は、これらに限定されるものではない。

また、取得段階の数は、ＵＩ装置またはＵＩシステム全体で同じであっても良いし、画面遷移毎に異なっていても構わない。また、判断する基準に関しても、ＵＩ装置またはＵＩシステム全体で同じであっても良いし、画面遷移毎に異なっていても構わない。

画面情報取得部１０５は、取得段階判断部１０４において判断した一つの取得段階に対応する遷移元画面の情報を遷移元画面から取得し、当該取得した遷移元画面の情報を、画面情報として画面情報保存部１０７に保存する。

遷移元画面情報取得部１０６は、以上のような取得段階判断部１０４及び画面情報取得部１０５を備える。このため、遷移元画面情報取得部１０６は、それぞれが遷移元画面のキャプチャ画像を取得可能な複数の取得段階のうち、必要性に基づく一つの取得段階に対応する遷移元画面の情報を取得することが可能となっている。なお、以下の説明では、必要性に基づく一つの取得段階に対応する遷移元画面の情報を「段階画面情報」と記すこともある。

画面情報保存部１０７は、遷移元画面情報取得部１０６の画面情報取得部１０５で取得された段階画面情報を、画面情報として保存する。

保存画面情報取得部１０８は、画面遷移実行部１０２において画面遷移を実行開始した際に、今回の遷移における遷移先画面の画面情報が画面情報保存部１０７に保存されているか否かを判断する。例えば、今回の遷移より前の過去の遷移における遷移元画面が、今回の遷移における遷移先画面と同じである場合などには、保存画面情報取得部１０８は、今回の遷移における遷移先画面の画面情報が画面情報保存部１０７に保存されていると判断する。保存画面情報取得部１０８は、今回の遷移における遷移先画面の画面情報が画面情報保存部１０７に保存されていると判断した場合には、画面情報保存部１０７に保存されている当該遷移元画面の画面情報を、今回の遷移における遷移先画面の画面情報として取得する。

画面キャプチャ実行部１０９は、今回の遷移における遷移元画面のキャプチャと、今回の遷移における遷移先画面のキャプチャとを実行する。ただし、保存画面情報取得部１０８で取得できた画面情報が、今回の遷移における遷移先画面のキャプチャ画像そのものであった場合には、画面キャプチャ実行部１０９は、遷移先画面のキャプチャを実行する必要は無い。一方、保存画面情報取得部１０８で取得できた画面情報が、今回の遷移における遷移先画面のキャプチャ画像でない場合には、画面キャプチャ実行部１０９は、保存画面情報取得部１０８で取得した画面情報に基づいて遷移先画面を構築した後に、当該遷移先画面のキャプチャを実行する。なお、遷移元画面はすでに表示されているので、画面キャプチャ実行部１０９は、遷移元画面を構築しなくても、当該遷移元画面のキャプチャを実行することが可能である。

以上により得られるキャプチャ画像は、複数の処理を経て生成される通常の画像よりも画面遷移アニメーションの実行に適している。

画面キャプチャ部１１０は、以上のような保存画面情報取得部１０８及び画面キャプチャ実行部１０９を備える。このため、画面キャプチャ部１１０は、画面情報に基づいて、画面情報が保存された後の遷移における遷移先画面のキャプチャ画像を取得するように構成されている。

アニメーション実行部１１１は、画面キャプチャ部１１０の画面キャプチャ実行部１０９によって取得された、遷移元画面のキャプチャ画像、及び、遷移先画面のキャプチャ画像に基づいて画面遷移アニメーションを実行する。

表示装置１１２は、各種画面、及び、アニメーション実行部１１１で実行された画面遷移アニメーションなどを出力するための装置である。この表示装置１１２には、例えば、各種ディスプレイまたはタッチパネルなどが該当する。

図２は、本実施の形態１に係るＵＩ装置を実現するハードウェア構成の一例を示すブロック図である。ここでは、図２のハードウェア構成は、コンピュータ１５１に備えられた処理装置１５２及び記憶装置１５３と、コンピュータ１５１に接続されたディスプレイ１５４、マウス１５５及びキーボード１５６とを備えている。ただし、本実施の形態１に係るＵＩ装置を実現するハードウェア構成は図２の構成に限ったものではない。

画面情報保存部１０７は、例えばＲＡＭ（Random Access Memory）などのメモリまたはハードディスクといった記憶装置１５３によって実現される。画面遷移実行部１０２、保存必要性計算部１０３、取得段階判断部１０４、画面情報取得部１０５、保存画面情報取得部１０８、画面キャプチャ実行部１０９、及び、アニメーション実行部１１１は、ＣＰＵ（Central Processing Unit）を含むプロセッサなどの処理装置１５２でプログラムを実行することで実現される。処理装置１５２には実際に処理を実行するコアが複数内包している場合がある。

ＵＩ装置において画面遷移のトリガとなり得るユーザからの入力はマウス１５５及びキーボード１５６によって行われる。つまり図２の例では、入力装置１０１は、マウス１５５及びキーボード１５６によって実現される。表示装置１１２は、画面や画面遷移アニメーションを表示するディスプレイ１５４によって実現される。なお、入力装置１０１、及び、表示装置１１２は、同一装置、例えば、入力／出力のどちらも行えるタッチパネルなどによって実現されても良い。

＜動作＞
次に、本実施の形態１に係るユーザインタフェース装置における画面遷移アニメーション実行の流れについて、以下に説明する。

まず、入力装置１０１から受け取ったユーザの入力、または、ＵＩシステムの図示しないタイマの時間などのイベントをトリガとして、画面遷移実行部１０２が画面遷移を開始する。画面遷移の開始後の処理としては、概ね二つの処理があり、具体的には、保存必要性計算部１０３から画面情報保存部１０７までの処理と、保存画面情報取得部１０８から画面キャプチャ実行部１０９までの処理とがある。

以降の説明では、これらの処理を説明していくが、保存必要性計算部１０３から画面情報保存部１０７までの処理が、画面遷移が完了して遷移元画面の情報が破棄されるまでに完了し、かつ、保存画面情報取得部１０８から画面キャプチャ実行部１０９までの処理が、アニメーション実行までに完了するのであれば、実際に処理を行う順番は説明の順番に限定されない。例えば、保存画面情報取得部１０８及び画面キャプチャ実行部１０９は、画面情報がなくても処理可能に構成されていることから、保存必要性計算部１０３から画面情報保存部１０７までの処理の前に、保存画面情報取得部１０８から画面キャプチャ実行部１０９までの処理が行われても良い。また例えば、遷移元画面の情報が破棄されていなければ、アニメーション実行部１１１によるアニメーション実行後に保存必要性計算部１０３から画面情報保存部１０７までの処理が行われても良いし、これらの処理が複数のＣＰＵを用いて並行または並列に行われても良い。

保存必要性計算部１０３は、遷移先画面の表示要素及び設計情報などに基づいて保存必要性を計算する。計算方法としては、例えば、保存必要性計算部１０３は、表示要素を取得し、当該表示要素に、画面内に左向きの矢印など遷移元画面に戻ることを想起させる画像が含まれている場合は保存必要性を「１」増加させ、「戻る」「return」といった文字列を表示する表示要素が含まれている場合は保存必要性を「２」増加させ、それらの表示要素を示すボタンが含まれている場合は保存必要性を「３」増加させる、というように表示要素によって保存必要性を決定しても良い。また、その他の方法としては、保存必要性計算部１０３は、設計情報を取得し、当該設計情報において遷移元画面への遷移が設計されている場合は保存必要性を「１」増加させ、その遷移のトリガが複数設計されている場合は、保存必要性をトリガの数だけ増加させる、または、ユーザ入力の種類及びＵＩシステムからのイベントなどのトリガの種類に応じて保存必要性を変動させる、というように画面の設計情報によって保存必要性を決定しても良い。

また、保存必要性計算部１０３は、これらの方法を組み合わせて保存必要性を計算しても良いし、設計者が規定した遷移に対して予め設定した値で重みづけして保存必要性を計算しても良い。また、これらの保存必要性の計算方法は一例であり、前述の方法に限定されない。例えば、設計者が設定した文字列または画像、独自の表示要素に関して保存必要性を高く設定することも可能であるし、表示要素、設計情報またはその他情報の組み合わせを、保存必要性の計算に使用しても良い。また、計算結果となる値についても前述の例に限定されず、百分率で表現しても良いし、真偽値または文字列であっても良い。

図３は、本実施の形態１の保存必要性計算部１０３における、保存必要性を計算する処理の流れを示すフローチャートである。図３では、一例として、遷移先画面の設計情報に含まれる、遷移先画面の画面内容、及び、遷移先画面の遷移詳細情報に基づいて保存必要性を計算する場合を示している。ここで、遷移詳細情報は、例えば、どのような画面に遷移するのか、どのようなイベントをトリガとして遷移するのか、どのような処理を伴って遷移するのか、などを含んだ情報である。

まず、ステップＳ１にて、保存必要性計算部１０３は、遷移先画面の設計情報などから遷移先画面の画面内容を取得する。

次に、ステップＳ２にて、保存必要性計算部１０３は、ステップＳ１と同じように設計情報などから遷移先画面の遷移詳細情報を取得する。

次に、ステップＳ３にて、保存必要性計算部１０３は、取得した遷移先画面の画面内容と遷移先画面の遷移詳細情報とに基づいて、保存必要性を計算する。計算方法は、どのような方法であっても構わない。例えば、保存必要性計算部１０３は、遷移元画面に戻る可能性を表す確率を保存必要性として計算しても良いし、遷移元画面の画面内容を取得し、遷移元画面の表示要素数を保存必要性として計算しても良い。また、計算結果である保存必要性は、上述したように、どのような値または形式であっても構わない。例えば、保存必要性は、確率のように０から１００の範囲で値として計算されても良いし、１００を超える値、または負の値として計算される場合があっても良いし、大、中、小の三段階のうち得られた値に対応する一つの段階として計算されても良い。つまり、保存必要性計算部１０３で計算される必要性は、大、中、小の三段階のいずれかであってもよい。

最後に、ステップＳ４にて、保存必要性計算部１０３は、計算した保存必要性を取得段階判断部１０４に出力する。

図４は、本実施の形態１の取得段階判断部１０４における、取得段階を判断する処理の流れを示すフローチャートである。

まず、ステップＳ１１にて、取得段階判断部１０４は、保存必要性計算部１０３で計算された保存必要性を取得する。

次に、ステップＳ１２にて、取得段階判断部１０４は、ステップＳ１１で取得した保存必要性に基づいて一の取得段階を決定するための判断基準を、ＵＩ装置などの記憶装置１５３などから取得する。ここでは、判断基準とは、例えば設計者によって予め定められているものとする。

図５は、本実施の形態１の取得段階判断部１０４に用いられる判断基準の例を示す図であり、具体的には対比表形式で表現された判断基準を示す図である。この例では、保存必要性は０から１００％までの値で表現することを想定している。そして、この例では、保存必要性が表の左列に記載された値の複数の範囲いずれかに含まれる場合に、取得段階判断部１０４は、表の右列に記載された複数の取得段階のうち対応する一の取得段階を決定する。判断基準は前述の例に限定されるものではなく、保存必要性の値によって取得段階が一意に定まる基準であれば、どのようなものであっても構わない。

次に、ステップＳ１３にて、取得段階判断部１０４は、ステップＳ１１で取得した保存必要性に基づいて、複数の取得段階のうち、ステップＳ１２で取得した判断基準に従った取得段階を決定する。図５に示した例の場合、取得段階判断部１０４は、保存必要性が９０％であればキャプチャ画像を取得段階として決定し、保存必要性が５０％であればディスプレイリストを取得段階として決定する。

ステップＳ１４にて、取得段階判断部１０４は、ステップＳ１３で決定した取得段階を画面情報取得部１０５に出力する。

図６は、本実施の形態１の画面情報取得部１０５における、画面情報保存部１０７に画面情報を保存する処理の流れを示すフローチャートである。

まず、ステップＳ２１にて、画面情報取得部１０５は、取得段階判断部１０４の判断結果、つまり取得段階の決定結果を取得する。

次に、ステップＳ２２にて、画面情報取得部１０５は、ステップＳ２１で取得した取得段階に対応する遷移元画面の情報を遷移元画面から取得する。つまり、画面情報取得部１０５は段階画面情報を取得する。なお、ある取得段階に対応する遷移元画面の情報は、当該取得段階よりも低い別の取得段階に対応する遷移元画面の情報に比べて、画面キャプチャ高速化への寄与率が大きいという条件、及び、保存する際にメモリ使用量が少ないという条件、の少なくともいずれか一方を満たすものとする。判断基準は設計者が予め設定しておいても構わないし、ユーザが入力装置１０１に別途入力するなどの何らかの方法で設定できるものであっても構わない。

段階画面情報の取得方法は、取得段階によって異なる場合がある。例えば、画面情報取得部１０５は、取得段階がキャプチャ画像であれば、遷移元画面にキャプチャを行うことによって得られる遷移元画面のキャプチャ画像を段階画面情報として取得し、取得段階がディスプレイリストであれば、遷移元画面の描画に用いられていたディスプレイリストを段階画面情報として取得する。

次に、ステップＳ２３にて、画面情報取得部１０５は、段階画面情報として取得された遷移元画面の情報が、既に画面情報保存部１０７に画面情報として保存されているか否かを判断する。保存対象の遷移元画面の情報が画面情報として既に保存されていると判断した場合には処理がステップＳ２４に進み、保存対象の遷移元画面の情報が画面情報としてまだ保存されていないと判断した場合には処理がステップＳ２５に進む。

ステップＳ２３からステップＳ２４に進んだ場合、画面情報取得部１０５は、既に画面情報保存部１０７に保存されていた画面情報を、今回取得した段階画面情報である新規の画面情報で上書き保存する。

ステップＳ２３からステップＳ２５に進んだ場合、画面情報取得部１０５は、今回取得した段階画面情報である新規の画面情報を画面情報保存部１０７に新規保存する。

図７は、本実施の形態１の保存画面情報取得部１０８における、遷移先画面の画面情報を取得する処理の流れを示すフローチャートである。

まず、ステップＳ３１にて、保存画面情報取得部１０８は、今回の遷移における遷移先画面の画面情報が画面情報保存部１０７に保存されているか否かを判断する。例えば、今回の遷移より前の過去の遷移における遷移元画面が、今回の遷移における遷移先画面と同じである場合などには、保存画面情報取得部１０８は、今回の遷移における遷移先画面の画面情報が画面情報保存部１０７に保存されていると判断する。

今回の遷移における遷移先画面の画面情報が画面情報保存部１０７に保存されていると判断した場合には処理がステップＳ３２に進んで、保存画面情報取得部１０８は、画面情報保存部１０７から、今回の遷移における遷移先画面の画面情報を取得する。今回の遷移における遷移先画面の画面情報が画面情報保存部１０７に保存されていないと判断した場合には図７の処理が終了する。

図８は、本実施の形態１の画面キャプチャ実行部１０９における、遷移先画面のキャプチャを行う処理の流れを示すフローチャートである。図８には、取得段階が、キャプチャ画像、ディスプレイリスト、画面モデルという三種類である場合のフローチャートが示されている。

まず、ステップＳ４１にて、画面キャプチャ実行部１０９は、保存画面情報取得部１０８が、今回の遷移における遷移先画面の画面情報を取得できたか否かを判断する。遷移先画面の画面情報が取得できていないと判断した場合には処理がステップＳ４２に進み、遷移先画面の画面情報が取得できていると判断した場合には処理がステップＳ４３に進む。なお、以下、保存画面情報取得部１０８で取得された画面情報を「取得画面情報」と記すこともある。

ステップＳ４１からステップＳ４２に進んだ場合、画面キャプチャ実行部１０９は、通常の画面描画と同様に、遷移先画面の設計情報から画面モデルを作成する。作成した後は、処理がステップＳ４５に進む。

ステップＳ４１からステップＳ４３に進んだ場合、画面キャプチャ実行部１０９は、取得画面情報が遷移先画面のキャプチャ画像であるか否かを判断する。取得画面情報が遷移先画面のキャプチャ画像であると判断した場合には、画面キャプチャ実行部１０９は、遷移先画面のキャプチャ画像を取得して、図８の処理が終了する。取得画面情報が遷移先画面のキャプチャ画像でないと判断した場合には処理がステップＳ４４に進む。

ステップＳ４４にて、画面キャプチャ実行部１０９は、取得画面情報が遷移先画面のディスプレイリストであるか否かを判断する。取得画面情報が遷移先画面のディスプレイリストであると判断した場合には処理がステップＳ４６に進む。取得画面情報が遷移先画面のディスプレイリストでないと判断した場合、つまり取得画面情報が遷移先画面の画面モデルであると判断した場合には処理がステップＳ４５に進む。

ステップＳ４５にて、画面キャプチャ実行部１０９は、保存画面情報取得部１０８で取得された画面モデル、または、ステップＳ４２で作成された画面モデルから、遷移先画面のディスプレイリストを作成する。作成した後は、処理がステップＳ４６に進む。

ステップＳ４６にて、画面キャプチャ実行部１０９は、保存画面情報取得部１０８で取得されたディスプレイリスト、または、ステップＳ４５で作成されたディスプレイリストから、遷移先画面のキャプチャ画像を作成する。作成した後は、図８の処理が終了する。

なお、画面キャプチャ実行部１０９における図８の処理は、取得段階の種別によって変更されても良い。例えば、取得段階が、キャプチャ画像とディスプレイリストという二種類である場合には、上述のステップＳ４４では必ず処理がステップＳ４６に進むので、ステップＳ４４は省略されても良い。また、取得段階が、キャプチャ画像、ディスプレイリスト、画面モデル、表示要素のプロパティ値という四種類である場合には、ステップＳ４４とステップＳ４５との間に、「取得画面情報が画面モデルであったか否かを判断するステップ」を追加するとともに、そのステップとステップＳ４５との間に、「取得画面情報が表示要素のプロパティ値であった場合に、表示要素のプロパティ値と設計情報とから画面モデルを構成するステップ」を追加してもよい。

また、遷移元画面情報取得部１０６は、保存必要性計算部１０３で計算された必要性が大であった場合に、当該必要性に基づく一つの取得段階に対応する遷移元画面の情報として、遷移元画面を描画するためのディスプレイリストを取得してもよい。遷移元画面情報取得部１０６は、保存必要性計算部１０３で計算された必要性が中であった場合に、当該必要性に基づく一つの取得段階に対応する遷移元画面の情報として、遷移元画面の画面モデルを取得してもよい。遷移元画面情報取得部１０６は、保存必要性計算部１０３で計算された必要性が小であった場合に、当該必要性に基づく一つの取得段階に対応する遷移元画面の情報として、遷移元画面を構成する表示要素のプロパティ値を取得してもよい。

以上のような本実施の形態１によれば、保存必要性に基づく取得段階に対応する遷移元画面の情報を、画面情報として保存する。これにより、重要度が低い画面について、キャプチャ画像を保存する可能性を低減することができるので、画面遷移アニメーションに使用するメモリ使用量を削減することが可能である。このことは、特に、複数の画面情報を保存する必要がある場合に有効である。また、上記のように保存することにより、重要度が低い画面へ遷移する場合であっても、比較的容易にキャプチャ画像を取得することができるので、画面遷移アニメーションの実行速度の低下を抑制することができる。

＜実施の形態２＞
実施の形態１においては、図６に示される画面情報取得部１０５におけるステップＳ２３及びＳ２５の処理において、保存しようとする画面情報がまだ保存されていない場合には新規保存するようにしていた。しかし本発明はこれに限ったものではなく、以下で説明する本発明の実施の形態２に係るユーザインタフェース装置のように、保存可能な画面情報の数、つまり保存可能な画面数が制限されても構わない。

図９は、本実施の形態２に係るＵＩ装置の構成を示すブロック図である。なお、図９に示されるＵＩ装置の構成のうち、図１に示されたＵＩ装置の構成と同様であるものについては同一の符号を付し、ここではその説明は省略する。

本実施の形態２に係るＵＩ装置は、図１の構成に加えて、画面情報保存部１０７で保存可能な画面情報の数である保存可能画面情報数を格納する保存可能画面情報数格納部２０１を備える。なお、保存可能画面情報数格納部２０１は、例えば、コンピュータ１５１における処理装置１５２がプログラムを実行して記憶装置１５３を制御することによって実現される。

遷移元画面情報取得部１０６の画面情報取得部１０５は、画面情報を保存する際に、保存可能画面情報数格納部２０１から保存可能画面情報数を取得する。そして、画面情報保存部１０７で保存されている画面情報の数が保存可能画面情報数以上である場合に、画面情報取得部１０５は、画面情報保存部１０７で保存されている１以上の画面情報を削除して、新規の画面情報を画面情報保存部１０７に保存する。

図１０は、本実施の形態２の画面情報取得部１０５における、画面情報保存部１０７に画面情報を保存する処理の流れを示すフローチャートである。なお、図１０において、図６の処理と同一の符号が付された処理は、図６の処理と同一またはこれに類似する処理であるので、以下の説明では図１０の処理のうち図６にない処理を中心に説明する。

ステップＳ２１及びＳ２２を経たステップＳ２３にて、段階画面情報として取得された遷移元画面の情報が、画面情報保存部１０７に保存されていないと判断された場合に処理がステップＳ５１に進む。

ステップＳ５１にて、画面情報取得部１０５は、保存可能画面情報数格納部２０１から保存可能画面情報数を取得する。

次に、ステップＳ５２にて、画面情報取得部１０５は、画面情報保存部１０７に保存されている画面情報の数と、ステップＳ５１で取得した保存可能画面情報数とを比較する。この二つの数が等しいと判断した場合には処理がステップＳ５３に進み、この二つの数が等しくないと判断した場合には処理がステップＳ２５に進む。

なお、画面情報保存部１０７に保存されている画面情報の数が、ステップＳ５１で取得した保存可能画面情報数以上であると判断した場合には処理がステップＳ５３に進んでもよい。そして、画面情報保存部１０７に保存されている画面情報の数が、ステップＳ５１で取得した保存可能画面情報数より小さいと判断した場合には処理がステップＳ２５に進んでもよい。

ステップＳ５３にて、画面情報取得部１０５は、今回取得した新規の画面情報を画面情報保存部１０７に保存するために、画面情報保存部１０７に現在保存されている画面情報のうち不要な一つの画面情報を削除する。その後、処理がステップＳ２５に進む。なお、削除される画面情報は、後述する変形例のように優先度に基づいて決定されてもよい。

ステップＳ２５にて、画面情報取得部１０５は、今回取得した段階画面情報である新規の画面情報を画面情報保存部１０７に新規保存する。

なお、保存可能画面情報数となる値を保存可能画面情報数格納部２０１に格納する方法及び利用方法は、どのようなものであっても構わない。例えば、設計者により予め格納された値が、本実施の形態２に係るＵＩ装置の実行中に保存可能画面情報数として常に用いられてもよいし、ユーザによって適宜変更されてもよい。また、格納された値がそのまま利用されても良いし、演算した結果で得られた値が利用されても良い。また、格納する情報は値、文字列、リスト、バイナリなど、利用する際に解釈可能であればどのような形式でも構わない。なお、ここでは、ＵＩ装置のユーザには、設計者以外の者を想定しているが、もちろんＵＩ装置のユーザには、設計者が含まれてもよい。

以下、保存可能画面情報数格納部２０１が、ＵＩ装置のユーザにより設定された値を保存可能画面情報数として格納する方法、及び、保存可能画面情報数格納部２０１に格納された値の利用方法に関する具体例を説明する。

図１１は、本実施の形態２において、ユーザが設定した保存可能画面情報数を保存可能画面情報数格納部２０１に格納する処理の流れを示すフローチャートである。

まず、ステップＳ６１にて、ユーザが、保存可能画面情報数となる値を設定する。ユーザが値を設定する方法としては、例えば、ユーザが設定ファイルをＵＩ装置に読み込ませる方法、ユーザがＵＩ装置に表示される画面を見ながら入力装置１０１に入力操作を行うことにより設定する方法、及び、その他の方法のいずれであっても構わない。

次にステップＳ６２にて、保存可能画面情報数格納部２０１は、設定された値を保存可能画面情報数として格納する。

以上のような本実施の形態２によれば、画面情報保存部１０７に保存する画面情報の数を制限することができる。このため、画面遷移アニメーションに使用しない画面情報、及び、不要な画面情報を必要以上に蓄積してしまうことを抑制することが可能となるので、より効率的にメモリ使用量を抑制することが可能となる。

また本実施の形態２によれば、保存可能画面情報数格納部２０１に格納される保存可能画面情報数は、ユーザにより設定される。これにより、ユーザが、自身の使用環境や好みに合わせて保存可能画面情報数を設定したり、画面遷移アニメーションの高速化とメモリ使用量の抑制化とのバランスを調整して保存可能画面情報数を設定したりすることができる。

＜実施の形態２の変形例１＞
以下の説明では、ＵＩ装置の状態、及び、ＵＩシステムの状態の少なくともいずれか１つを、「ＵＩ装置の状態など」と記すこともある。

実施の形態２の変形例１では、保存可能画面情報数格納部２０１に格納される保存可能画面情報数が、ＵＩ装置の状態などに基づいて求められるように構成されている。この構成の例として、予め設定された複数の値の中から、ＵＩ装置の状態などに基づいて自動的に決定または選択される一つの値が保存可能画面情報数として格納されてもよいし、ＵＩ装置の状態などに基づいて自動的に算出される値が保存可能画面情報数として格納されてもよい。このような構成によれば、格納される保存可能画面情報数を動的に変更することができる。

なお、ＵＩ装置の状態などとしては、表示中の画面もしくは画面内の表示要素、起動しているアプリケーションの種類、ＵＩ装置に搭載されているメモリ量、処理装置のコア数、あるタイミングにおける使用可能なメモリ量、あるタイミングにおける処理装置のコアの使用率、画面情報保存部１０７に保存可能な段階画面情報の数もしくは組み合わせ、または、あるタイミングにおける画面情報保存部１０７に保存されている画面情報のメモリ量などの状態が該当する。ここで、上記の状態は一例であり、もちろん上記以外の状態を、ＵＩ装置の状態などとして利用しても構わない。

図１２は、本変形例１において、ＵＩ装置の状態などに基づく保存可能画面情報数を保存可能画面情報数格納部２０１に格納する処理の流れを示すフローチャートである。ここでは、ＵＩ装置の状態などとして、使用可能なメモリ量が適用された例について説明する。また、図１２において、図１１の処理と同一の符号が付された処理は、図１１の処理と同一またはこれに類似する処理であるので、以下の説明では図１２の処理のうち図１１の処理にない処理を中心に説明する。

まず、ステップＳ７１にて、保存可能画面情報数格納部２０１は、使用可能なメモリ量を取得する。

次に、ステップＳ７２にて、保存可能画面情報数格納部２０１は、使用可能なメモリ量が２メガバイト以上確保できるか否かを判断する。使用可能なメモリ量が２メガバイト以上確保できる場合には処理がステップＳ７３に進み、使用可能なメモリ量が２メガバイト以上確保できない場合には処理がステップＳ７４に進む。

ステップＳ７２からＳ７３に進んだ場合、保存可能画面情報数格納部２０１は、保存可能画面情報数となる値を「５」に設定し、ステップＳ６２にて、保存可能画面情報数格納部２０１は、設定された「５」を保存可能画面情報数として格納する。

ステップＳ７２からＳ７４に進んだ場合、保存可能画面情報数格納部２０１は、保存可能画面情報数となる値を「３」に設定し、ステップＳ６２にて、保存可能画面情報数格納部２０１は、設定された「３」を保存可能画面情報数として格納する。

なお、上記の例で記載した具体的な各種数値、すなわち閾値となるメモリ量である２メガバイト、保存可能画面情報数の設定値である「３」または「５」は、飽くまでも一例であり、これらの値に限ったものではない。また、上記の例では、一つの閾値を用いて二つの設定値が選択的に用いられるが、複数の閾値を用いてさらに多くの設定値が選択的に用いられてもよいし、複雑な計算により算出される設定値が用いられてもよい。

以上のような本変形例１によれば、保存可能画面情報数格納部２０１に格納される保存可能画面情報数が、ＵＩ装置の状態などによって自動的に求められる。このため、保存可能画面情報数を、対象の画面、段階画面情報または使用可能なメモリ量などに動的に適応させることができる。

＜実施の形態２の変形例２＞
図１０のステップＳ５３における不要な画面情報の削除処理において、削除すべき不要な画面情報はどのような方法で決定されても良い。例えば、保存可能画面情報数格納部２０１は、最も以前に保存された画面情報を削除しても良いし、設計者が画面情報保存部１０７で保存される複数の遷移元画面に予め設定した優先度に従って画面情報を削除しても良いし、場合によっては現在保存しようとしている画面情報を削除する、すなわち保存処理そのものをキャンセルしても良い。保存処理をキャンセルする場合は、図１０のステップＳ５３の後のステップＳ２５が省略される。また、削除する画面情報の数については一つでも良いし、複数でも構わない。また、画面情報に優先度などの情報を設定する場合、設計者が予め設定していても良いし、ユーザなど設計者以外の者が設定しても良いし、ＵＩ装置の状態などに基づいて動的に変更されても良い。さらに、優先度が低い画面情報ほど、保存を維持すべき画面情報であると決定されてもよいし、これとは逆に、優先度が低い画面情報ほど、削除すべき画面情報であると決定されてもよい。

以下、遷移元画面情報取得部１０６の画面情報取得部１０５が、優先度に基づいて画面情報保存部１０７から削除すべき一つの画面情報を決定して、当該一つの画面情報を削除する例について具体的に説明する。なお、ここでは、優先度が低い画面情報ほど、削除すべき画面情報であると決定されるものとする。

図１３は、本変形例２の画面情報取得部１０５における、画面情報の削除処理の流れを示すフローチャートである。

まず、ステップＳ８１にて、画面情報取得部１０５は、画面情報保存部１０７から格納されている画面情報を一つ取得する。

次に、ステップＳ８２にて、画面情報取得部１０５は、ステップＳ８１で取得した画面情報を削除対象に設定する。なお、ここでの削除対象の設定は暫定的な設定であり、以下の説明で明らかとなるように、ステップＳ８７に進んだ時点で削除対象に設定されている画面情報が、削除されることになる。

ステップＳ８３にて、画面情報取得部１０５は、画面情報保存部１０７から別の画面情報を取得する。

次に、ステップＳ８４にて、画面情報取得部１０５は、ステップＳ８３で取得した別の画面情報の優先度と、削除対象の画面情報の優先度とを比較する。ステップＳ８３で取得した別の画面情報の優先度が、削除対象の画面情報の優先度より低いと判断した場合には処理がステップＳ８５に進む。ステップＳ８３で取得した別の画面情報の優先度が、削除対象の画面情報の優先度以上であると判断した場合には処理がステップＳ８６に進む。

ステップＳ８５にて、画面情報取得部１０５は、削除対象を、ステップＳ８３で取得した別の画面情報に変更する。これにより、別の画面情報が削除対象に設定される。その後、処理がステップＳ８６に進む。

ステップＳ８６にて、画面情報取得部１０５は、画面情報保存部１０７に格納されている全ての画面情報を、ステップＳ８１またはＳ８３で取得したか否かを判断する。全てを取得したと判断した場合には、処理がステップＳ８７に進む。全てを取得していないと判断した場合には、処理がステップＳ８３に戻る。

ステップＳ８７にて、画面情報取得部１０５は、削除対象に設定されている画面情報を画面情報保存部１０７から削除する。

以上のような本変形例２によれば、優先度に基づいて、画面情報保存部１０７から削除すべき画面情報が決定される。これにより、優先度を適切に設定すれば、必要な画面情報を優先的に保存しつつ、不要な画面情報を優先的に削除することが可能となるので、より効率的にメモリ使用量を抑制することが可能となる。

＜実施の形態３＞
実施の形態１においては、保存必要性計算部１０３は、遷移先の画面の表示要素または設計情報などから保存必要性を計算していた。しかし本発明はこれに限ったものではなく、以下で説明する本発明の実施の形態３に係るユーザインタフェース装置のように、保存必要性の計算に用いられる要素、または、計算が実施される対象の画面などに対して重み付けを行った上で、当該重みを考慮した保存必要性の計算を行っても構わない。なお、保存必要性の計算に用いられる要素としては、表示要素もしくは設計情報などが想定され、計算が実施される対象の画面としては、計算を行う遷移元画面もしくは遷移先画面などが想定される。

図１４は、本実施の形態３に係るＵＩ装置の構成を示すブロック図である。なお、図１４に示されるＵＩ装置の構成のうち、図１に示されたＵＩ装置の構成と同様であるものについては同一の符号を付し、ここではその説明は省略する。

本実施の形態３に係るＵＩ装置は、図１の構成に加えて、遷移情報に含まれる各情報に対する重みを格納する重み格納部３０１を備える。例えば、重み格納部３０１は、保存必要性の計算に用いられる要素、及び、計算が実施される対象の画面の少なくともいずれか１つに対する重みを格納している。なお、重み格納部３０１は、例えば、コンピュータ１５１における処理装置１５２がプログラムを実行して記憶装置１５３を制御することによって実現される。

保存必要性計算部１０３は、遷移情報と、重み格納部３０１に格納された重みとに基づいて、保存必要性を計算する。

図１５は、本実施の形態３の保存必要性計算部１０３における、保存必要性を計算する処理の流れを示すフローチャートである。なお、図１５において、図３の処理と同一の符号が付された処理は、図３の処理と同一またはこれに類似する処理であるので、以下の説明では図１５の処理のうち図３にない処理を中心に説明する。

ステップＳ１及びＳ２を経たステップＳ９１にて、保存必要性計算部１０３は、重み格納部３０１から、遷移先画面の画面内容や遷移先画面の設計詳細情報などに対する重みを取得する。

次に、ステップＳ９２にて、保存必要性計算部１０３は、ステップＳ１で取得した遷移先画面の画面内容と、ステップＳ２で取得した遷移先画面の遷移詳細情報と、ステップＳ９３で取得した重みとに基づいて保存必要性を計算する。その後、ステップＳ４を行う。

重みの付け方は、計算結果全体に対するものであっても構わないし、計算に使用する個々の要素に対して重み付けを行い、その結果を計算しても良い。例えば、計算方法が画面の表示要素の数を数え上げる方法であり、その方法によって数え上げた結果が「５０」であった場合、計算結果の半分である「２５」を最終的な保存必要性とするような重み付けでも良いし、表示要素を数え上げる際に画像要素の数を数えずに、文字列要素の数を２倍して数えるような重み付けでも良い。

なお、重み格納部３０１に重みとなる値を格納する方法はどのようなものであっても構わない。例えば、設計者からの値を予め格納しておき、当該値が、本実施の形態３に係るＵＩ装置の実行中に重みとして常に用いられてもよいし、ユーザによって適宜変更されてもよい。以下、重み格納部３０１に格納される重みが、ユーザにより設定される例について説明する。

図１６は、本実施の形態３において、ユーザが設定した重みを重み格納部３０１に格納する処理の流れを示すフローチャートである。

まず、ステップＳ１０１にて、ユーザが、重みとなる値を設定する。ユーザが値を設定する方法としては、例えば、ユーザが設定ファイルをＵＩ装置に読み込ませる方法、ユーザがＵＩ装置に表示される画面を見ながら入力装置１０１に入力操作を行うことにより設定する方法、及び、その他の方法のいずれであっても構わない。また、重みは画面ごとまたは表示要素ごとなど、任意の単位で設定されても構わない。

次にステップＳ１０２にて、重み格納部３０１は、設定された値を重みとして格納する。

以上のような実施の形態３によれば、遷移情報と、遷移情報に含まれる各情報に対する重みとに基づいて、保存必要性が計算される。これにより、設計者の知見またはノウハウなどを基に保存必要性計算、ひいては保存する段階画面情報をある程度調整することが可能となるため、より効率的にメモリ使用量を抑制することが可能となる。

また本実施の形態３によれば、重み格納部３０１に格納される重みは、ユーザにより設定される。これにより、ユーザの知見またはノウハウなどを基に保存必要性計算、ひいては保存する段階画面情報をある程度調整することが可能となるため、より効率的にメモリ使用量を抑制することが可能となる。

＜実施の形態４＞
実施の形態１においては、保存必要性計算部１０３は、遷移先画面の画面内容及び遷移先画面の設計情報などの予め設定された情報に基づいて、保存必要性を計算していた。しかし本発明はこれに限ったものではなく、以下で説明する本発明の実施の形態４に係るユーザインタフェース装置のように、ユーザの操作履歴または画面遷移履歴などに基づいて保存必要性を計算してもよい。

図１７は、本実施の形態４に係るＵＩ装置の構成を示すブロック図である。なお、図１７に示されるＵＩ装置の構成のうち、図１に示されたＵＩ装置の構成と同様であるものについては同一の符号を付し、ここではその説明は省略する。

本実施の形態４に係るＵＩ装置は、図１の構成に加えて、ユーザの操作、及び、画面遷移の少なくともいずれか１つを学習する学習部４０１と、学習部４０１の学習結果を格納する学習結果格納部４０２とを備える。なお、学習部４０１は、例えば、コンピュータ１５１における、処理装置１５２でプログラムを実行することによって実現される。学習結果格納部４０２は、例えば、コンピュータ１５１における記憶装置１５３によって実現されても良いし、外部の記憶媒体によって実現されていても良い。

図１８は、学習部４０１における基本的な学習処理の流れを示すフローチャートである。

まず、ステップＳ１１１にて、学習部４０１は、学習結果格納部４０２からこれまでの学習内容、つまり学習結果を取得する。

次に、ステップＳ１１２にて、学習部４０１は、ステップＳ１１１で取得した学習結果に関して学習を実施する。

最後に、ステップＳ１１３にて、学習部４０１は、ステップＳ１１２で学習した学習結果を学習結果格納部４０２に格納する。

ここで、ステップＳ１１２における学習方法はいかなる方法であっても構わない。例えば、学習部４０１は、ユーザ操作の回数、画面遷移の遷移回数、特定の画面への遷移回数などを学習しても構わないし、サポートベクターマシン、ニューラルネットワーク、遺伝的アルゴリズムまたはベイジアンネットワークといった一般的な機械学習手法を用いて学習しても構わない。

以下では、図１８の学習処理の具体例として、画面遷移の遷移回数を学習及び記録していく学習方法について説明する。

図１９は、学習結果格納部４０２に格納されている学習結果データのイメージ例を示す図である。この例では、遷移元画面のＩＤと遷移先画面のＩＤとの組み合わせについて遷移回数を記録するデータ構造となっている。

図２０は、画面遷移の遷移回数を記録していく学習方法の処理の流れを示すフローチャートである。

まず、ステップＳ１２１にて、学習部４０１は、画面遷移する際の遷移元画面のＩＤを取得する。

次に、ステップＳ１２２にて、学習部４０１は、画面遷移する際の遷移先画面のＩＤを取得する。

次に、ステップＳ１２３にて、学習部４０１は、学習結果格納部４０２からステップＳ１２１で取得した遷移元画面のＩＤとステップＳ１２２で取得した遷移先画面のＩＤとを持つレコードを検索する。

次に、ステップＳ１２４にて、学習部４０１は、ステップＳ１２３の検索結果に基づいて、検索したレコードを取得することができるか否かを判断する。ここで、一度も遷移したことがない組み合わせのレコードは、学習結果格納部４０２に存在せず、取得できないと判断されるものとしている。レコードが取得できると判断した場合には処理がステップＳ１２５に進み、レコードが取得できないと判断した場合には処理がステップＳ１２６に進む。

ステップＳ１２４からステップＳ１２５に進んだ場合、学習部４０１は、取得したレコードについて、学習結果格納部４０２に格納された遷移回数をインクリメントする。

ステップＳ１２４からステップＳ１２６に進んだ場合、学習部４０１は、ステップＳ１２１で取得した遷移元画面のＩＤとステップＳ１２２で取得した遷移先画面のＩＤとを持つレコードを学習結果格納部４０２に作成する。この時、遷移回数は「１」としておく。

以上、学習部４０１の学習などについて説明した。ここで、本実施の形態４に係る保存必要性計算部１０３は、学習部４０１の学習結果を、保存必要性を計算するための上記遷移情報として用いる。

図２１は、本実施の形態４の保存必要性計算部１０３における、学習結果を用いた保存必要性を計算する処理の流れを示すフローチャートである。

まず、ステップＳ１３１にて、保存必要性計算部１０３は、変数Ｘ，Ｙを初期化して変数Ｘ，Ｙに「０」を設定する。

次に、ステップＳ１３２にて、保存必要性計算部１０３は、変数Ａに画面遷移する際の遷移元画面のＩＤを代入する。

次に、ステップＳ１３３にて、保存必要性計算部１０３は、変数Ｂに画面遷移する際の遷移先画面のＩＤを代入する。

次に、ステップＳ１３４にて、保存必要性計算部１０３は、学習結果格納部４０２からレコードを一つ取得する。この時、取得するレコードを決定する方法はどのようなものであっても構わない。ただし、この図２１のフローチャートが示す処理が完了するまでに、保存必要性計算部１０３が、取得したレコードを再度取得することがないように、取得するレコードが決定される必要がある。

次に、ステップＳ１３５にて、保存必要性計算部１０３は、取得したレコードの遷移元画面ＩＤの項目が変数Ｂと等しいか否かを判断する。等しいと判断した場合には処理がステップＳ１３６に進み、等しくないと判断した場合には処理がステップＳ１３９に進む。

ステップＳ１３５からステップＳ１３６に進んだ場合、保存必要性計算部１０３は、変数Ｘに、変数Ｘ自身と取得したレコードの遷移回数との和を代入する。すなわち、変数Ｘには、遷移先画面から遷移可能な任意の画面へ遷移した回数の合計が格納されることになる。

次に、ステップＳ１３７にて、保存必要性計算部１０３は、取得したレコードの遷移先画面ＩＤの項目が変数Ａと等しいか否かを判断する。等しいと判断した場合には処理がステップＳ１３８に進み、等しくないと判断した場合には処理がステップＳ１３９に進む。

ステップＳ１３７からステップＳ１３８に進んだ場合、保存必要性計算部１０３は、変数Ｙに、取得したレコードの遷移回数を代入する。すなわち、変数Ｙには、遷移先画面から遷移元画面に戻る遷移の回数が格納されることになる。

ステップＳ１３９にて、保存必要性計算部１０３は、学習結果格納部４０２から全てのレコードを取得したか否かを判断する。全て取得していたと判断した場合には処理がステップＳ１４０に進み、全て取得していないと判断した場合には処理がステップＳ１３４に戻る。

最後に、ステップＳ１４０にて、保存必要性計算部１０３は、保存必要性の計算結果として変数Ｙを変数Ｘで除算した値を出力する。

以上のような実施の形態４によれば、ユーザの操作または画面遷移を学習し、その学習結果を保存必要性の計算に用いる。このような構成によれば、ユーザの使用傾向に適応することができるので、より効率的にメモリ使用量を抑制することが可能となる。

＜実施の形態５＞
実施の形態１においては、画面情報取得部１０５で保存する画面情報は、遷移元画面全体の画面情報であった。しかし本発明はこれに限ったものではなく、以下で説明する本発明の実施の形態５に係るユーザインタフェース装置のように、遷移元画面を区分してなる部分画面について画面情報を保存しても良い。

図２２は、本実施の形態５に係るＵＩ装置の構成を示すブロック図である。なお、図２２に示されるＵＩ装置の構成のうち、図１に示されたＵＩ装置の構成と同様であるものについては同一の符号を付し、ここではその説明は省略する。

本実施の形態５に係るＵＩ装置は、図１の構成に加えて、保存対象領域格納部５０１を備える。この保存対象領域格納部５０１は、遷移元画面を区分してなる複数の部分画面の情報を格納している。複数の部分画面の情報には、例えば、複数の部分画面の領域に関する情報も含まれる。なお、保存対象領域格納部５０１は、例えば、コンピュータ１５１における記憶装置１５３によって実現されても良いし、外部の記憶媒体によって実現されていても良い。

図２３は、画面遷移アニメーションの一例を示す図である。図２３では、遷移元画面である画面Ａ１から、遷移中の画面Ａ２，Ａ３を順に経て、遷移先画面である画面Ａ４に遷移するアニメーションが実行される例が示されている。この例では、画面Ａ１は、遷移が進むにつれて、中央部で左右に分割され、分割された画面が左右にスライドしながら消えていく。画面Ａ４は、遷移が進むにつれて、画面Ａ１の下に存在しているかのように徐々に現れ、最後には完全に現れる。なお、遷移元画面が画面Ａ４であり、遷移先画面が画面Ａ１である場合にも、同じように遷移するアニメーションが実行される。

以上のようなアニメーションにおいては、まず遷移先画面の中央部分のみが表示され、その後しばらくしてから、遷移先画面の全体が表示される。このため、遷移先画面の中央部分は、比較的早い段階で表示される必要性は高いが、遷移先画面の端部分は、比較的早い段階で表示される必要性は低い。

図２４は、部分画面の一例を示す図である。画面Ａ１は、点線部によって三つの部分画面ＰＡ１，ＰＡ２，ＰＡ３に分割されている。

ここで本実施の形態５では、保存必要性計算部１０３は、遷移情報と、保存対象領域格納部５０１に格納された複数の部分画面の情報とに基づいて、保存必要性を部分画面について計算する。遷移元画面情報取得部１０６は、部分画面について計算された保存必要性に基づいて、一つの取得段階に対応する遷移元画面の情報を部分画面について取得する。画面情報保存部１０７は、遷移元画面情報取得部１０６で部分画面について取得された遷移元画面の情報を、画面情報として保存する。

このように構成された本実施の形態５によれば、例えば、早く表示される必要性が高い部分画面ＰＡ２については、キャプチャ画像を画面情報として画面情報保存部１０７に保存し、早く表示される必要性が低い部分画面ＰＡ１，ＰＡ３については、ディスプレイリストを画面情報として画面情報保存部１０７に保存することが可能となる。つまり、部分画面に応じて取得段階が異なる遷移元画面の情報を、画面情報保存部１０７に保存することが可能となる。

図２５は、本実施の形態５の保存必要性計算部１０３における、保存必要性を計算する処理の流れを示すフローチャートである。なお、図２５において、図３の処理と同一の符号が付された処理は、図３の処理と同一またはこれに類似する処理であるので、以下の説明では図２５の処理のうち図３にない処理を中心に説明する。

ステップＳ１及びＳ２を経たステップＳ１５１にて、保存必要性計算部１０３は、保存対象領域格納部５０１から複数の部分画面の情報を取得する。

次に、ステップＳ１５２にて、保存必要性計算部１０３は、遷移情報と、複数の部分画面の情報とに基づいて複数の部分画面のそれぞれについて保存必要性を計算する。その後、ステップＳ４を行う。

なお、図示しないがこれと同様に、複数の部分画面のそれぞれについて、取得段階判断部１０４による取得段階判断処理、及び、画面情報取得部１０５及び画面情報保存部１０７による画面情報保存処理などが行われる。

また、保存対象領域格納部５０１に複数の部分画面の情報を設定及び格納する方法はどのような方法であっても構わない。設計者が、複数の部分画面の情報を予め設定しておいても構わない。また、保存対象領域格納部５０１に格納される複数の部分画面の情報は、ユーザにより設定されてもよい。ユーザによる設定としては、例えば、ユーザが設定ファイルをＵＩ装置に読み込ませる方法、ユーザがＵＩ装置に表示される画面を見ながら入力装置１０１に入力操作を行うことにより設定する方法、及び、その他の方法のいずれであっても構わない。また、複数の部分画面の情報は、画面内容またはアニメーション内容に応じて自動的に変更されても構わない。また、特定の部分画面についてのみ、保存必要性計算部１０３による保存必要性計算処理、取得段階判断部１０４による取得段階判断処理、及び、画面情報取得部１０５及び画面情報保存部１０７による画面情報保存処理などが行われてもよい。

以上のような本実施の形態５によれば、遷移元画面を区分してなる部分画面について保存必要性の計算などを行なう。これにより、部分画面に応じて取得段階が異なる遷移元画面の情報を、画面情報保存部１０７に保存することが可能となるので、より効率的にメモリ使用量を抑制することが可能となる。

なお上述したように、保存対象領域格納部５０１に格納される複数の部分画面の情報は、ユーザにより設定されてもよい。これにより、ユーザの知見またはノウハウなどを基に部分画面を変更することが可能となるため、より効率的にメモリ使用量を抑制することが可能となる。

＜実施の形態６＞
本発明の実施の形態６に係るＵＩ装置は、取得段階判断部１０４において使用する判断基準、及び、保存可能画面情報数格納部２０１に格納された保存可能画面情報数などについて、ユーザが設定を行うための画面を表示可能に構成されている。なお、以下の説明では、この画面を「ユーザ設定用画面」と記す。

図２６は、ユーザ設定用画面の一例である。図２６のユーザ設定用画面は、ドロップダウンリスト６０１，６０２，６０３と、テキストボックス６０４，６０５，６０６，６０９と、スライダー６０８を有するスライダーバー６０７とを含んでいる。

ドロップダウンリスト６０１，６０２，６０３では、取得段階判断部１０４で用いられる判断基準の対象となる取得段階が選択される。この例では、ドロップダウンリスト６０１，６０２，６０３のそれぞれにおいて、下向きの矢じりボタンが操作された場合に表示される取得段階のリストから一つの取得段階を選択することが可能となっている。

テキストボックス６０４，６０５，６０６では、上記判断基準において基準となる保存必要性の閾値が入力される。この例では、入力は数値のみ許可されている。例えば、図２６のように取得段階の判断基準が設定された場合、保存必要性が８０％から１００％の場合はキャプチャ画像を、保存必要性が５０％から８０％の場合はディスプレイリストを、保存必要性が２０％から５０％の場合は画面モデルを画面情報として保存し、保存必要性が０％から２０％の場合は画面情報を保存しないという設定になる。

スライダーバー６０７及びテキストボックス６０９では、保存可能画面情報数が設定される。この例では、スライダーバー６０７及びテキストボックス６０９は連動しており、スライダーバー６０７の目盛上が操作されたり、スライダー６０８がドラッグ操作されたりすると、テキストボックス６０９に対応する数値が自動的に入力され、逆に、テキストボックス６０９に数値が入力されると、スライダー６０８がスライダーバー６０７の目盛に自動的に移動する。図２６の例では、保存可能画面情報数が「２」に設定されている。

なお、図２６及び上記説明は飽くまでも一例であり、本発明の効果を限定するものではない。他にも保存必要性計算に使用する重みをユーザが設定するための項目が追加されても良いし、ユーザが設定する必要のない項目については削除されても良い。また、設定するための表示内容についても、ドロップダウンリスト、テキストボックス、スライダーバーだけでなく、チェックボックス、ラジオボタン、スピンボタンなど一般的な表示部品を適宜組み合わせても構わない。

以上のような本実施の形態６によれば、ユーザは簡単にＵＩ装置の設定を行うことができる。

＜実施の形態７＞
実施の形態２の変形例２では、図１０のステップＳ５３、つまり不要な画面情報の削除処理において、優先度に基づいて削除すべき画面情報が決定された。本発明の実施の形態７では、優先度を決定するより具体的な一例について説明する。

図２７は、本実施の形態７に係るＵＩ装置の構成を示すブロック図である。なお、図２７に示されるＵＩ装置の構成のうち、図９に示されたＵＩ装置の構成と同様であるものについては同一の符号を付し、ここではその説明は省略する。

本実施の形態７に係るＵＩ装置は、図９の構成に加えて、画面情報取得部１０５における不要な画面情報の削除処理において、遷移先画面の画面内容を含む遷移情報と画面情報保存部１０７で保存されている画面情報とに基づいて、画面情報の優先度を計算する優先度計算部７０１を備える。

図２８は、本実施の形態７における不要な画面情報の削除処理の流れを示すフローチャートである。なお、図２８の処理は、図１０のステップＳ５３の処理に相当し、図１３の処理に類似する。図２８において、図１３の処理と同一の符号が付された処理は、図１３の処理と同一またはこれに類似する処理であるので、以下の説明では図２８の処理のうち図１３にない処理を中心に説明する。

ステップＳ８１を経たステップＳ１６１にて、優先度計算部７０１は、ステップＳ８１で取得した画面情報に関して、遷移情報と当該画面情報とに基づいて優先度を計算する。

同様に、ステップＳ８３を経たステップＳ１６２にて、優先度計算部７０１は、ステップＳ８３で取得した画面情報に関して、遷移情報と当該画面情報とに基づいて優先度を計算する。ステップＳ８４では、ステップＳ１６１及びステップＳ１６２で計算した優先度に基づいて削除対象の画面情報を決定する。

図２９は優先度計算部７０１における優先度計算処理の流れを示すフローチャートである。なお、図２９の処理は、図２８のステップＳ１６１及びステップＳ１６２のそれぞれの処理に相当する。

まず、ステップＳ１７１にて、優先度計算部７０１は、遷移先画面の遷移情報を取得する。

次に、ステップＳ１７２にて、優先度計算部７０１は、画面情報取得部１０５で取得した画面情報、つまり優先度計算を行う対象の画面情報を取得する。

ステップＳ１７３にて、優先度計算部７０１は、ステップＳ１７１及びステップＳ１７２で取得した情報に基づいて優先度を計算する。計算方法はどのような方法でも構わない。例えば、遷移先画面から取得した画面情報を持つ画面へ遷移する可能性が高い場合は高優先度であると計算し、遷移先画面から取得した画面情報を持つ画面へ遷移する可能性が低い場合は低優先度であると計算するような方法でも構わない。

最後に、ステップＳ１７４にて計算した優先度を画面情報取得部１０５に出力する。以上のような本実施の形態７によれば、遷移先画面の遷移情報に基づいて動的に優先度を決定することが可能である。これにより保存しておくべき画面情報を遷移先画面に応じて変更することが可能となるので、より効率的にメモリ使用量を抑制することが可能となる。

＜実施の形態１〜７の変形例＞
上記実施の形態では、各構成要素の寸法、形状、相対的配置関係または実施の条件などについても記載している場合があるが、これらはすべての局面において例示であって、本明細書に記載されたものに限られることはない。よって、例示されていない無数の変形例が、本技術の範囲内において想定される。例えば、任意の構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも一つの実施の形態における少なくとも一つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれる。

また、矛盾が生じない限り、上記実施の形態において「１つ」備えられるものとして記載された構成要素は、「１つ以上」備えられていてもよい。さらに、各構成要素は概念的な単位であって、一つの構成要素が複数の構造物から成る場合及び一つの構成要素がある構造物の一部に対応する場合、さらには、複数の構成要素が一つの構造物に備えられる場合を含む。また、各構成要素には、同一の機能を発揮する限り、他の構造または形状を有する構造物が含まれる。

また、本明細書における説明は、本技術のすべての目的のために参照され、いずれも、従来技術であると認めるものではない。

上記実施の形態で記載された各構成要素による作用は、少なくとも一つの、処理回路または電気回路において実施することができる。処理回路及び電気回路には、プログラムされた演算処理装置を含み、その場合、処理回路または電気回路が予め設定されたプログラムにしたがって動作することによって、上記実施の形態で記載された各構成要素による作用が実現される。また、各構成要素による作用を実現するプログラムは、ハードディスクまたはメモリなどの記憶媒体に記憶される。また、処理回路には、集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、すなわちＡＳＩＣ）または上記実施の形態で記載された作用を実現するように変更された従来の回路要素などを含む。

また、上述したＵＩ装置の複数の構成要素は、一つの装置に備えられてもよいし、システムの態様のように複数の装置に分散して備えられてもよい。例えば、ＵＩ装置におけるコンピュータとディスプレイとが分散して備えられた状態で、コンピュータを用いてディスプレイの表示を遠隔的に制御するように構成されてもよい。

なお、本発明は、その発明の範囲内において、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

１０３ 保存必要性計算部、１０６ 遷移元画面情報取得部、１０７ 画面情報保存部、１１０ 画面キャプチャ部、２０１ 保存可能画面情報数格納部、３０１ 重み格納部、４０１ 学習部、５０１ 保存対象領域格納部。

Claims (19)

1. アニメーションによって、遷移元の画面である遷移元画面の表示から、遷移先の画面である遷移先画面の表示への遷移が可能なユーザインタフェース装置であって、
   前記遷移元画面の遷移に関する遷移情報に基づいて、前記遷移元画面の画面情報を保存する必要性を計算する保存必要性計算部と、
   それぞれが前記遷移元画面のキャプチャ画像を取得する候補となる複数の取得段階のうち、前記必要性に基づく一つの取得段階に対応する前記遷移元画面の情報を取得する遷移元画面情報取得部と、
   前記遷移元画面情報取得部で取得された前記遷移元画面の情報を、前記画面情報として保存する画面情報保存部と、
   前記画面情報に基づいて、前記画面情報が保存された後の遷移における前記遷移先画面のキャプチャ画像を取得する画面キャプチャ部と
   を備える、ユーザインタフェース装置。
2. 請求項１に記載のユーザインタフェース装置であって、
   前記画面情報保存部で保存可能な前記画面情報の数である保存可能画面情報数を格納する保存可能画面情報数格納部をさらに備え、
   前記遷移元画面情報取得部は、
   前記画面情報保存部で保存されている前記画面情報の数が、前記保存可能画面情報数以上である場合に、前記画面情報保存部で保存されている１以上の前記画面情報を削除して、新規の前記画面情報を前記画面情報保存部に保存する、ユーザインタフェース装置。
3. 請求項２に記載のユーザインタフェース装置であって、
   前記保存可能画面情報数格納部に格納される前記保存可能画面情報数は、ユーザにより設定される、ユーザインタフェース装置。
4. 請求項２に記載のユーザインタフェース装置であって、
   前記保存可能画面情報数格納部に格納される前記保存可能画面情報数は、前記ユーザインタフェース装置の状態、及び、前記ユーザインタフェース装置に搭載されたシステムの状態の少なくともいずれか１つに基づいて求められる、ユーザインタフェース装置。
5. 請求項２に記載のユーザインタフェース装置であって、
   前記画面情報保存部で保存される前記画面情報には優先度が予め設定され、
   前記遷移元画面情報取得部は、
   前記優先度に基づいて、前記画面情報保存部から削除すべき前記画面情報を決定する、ユーザインタフェース装置。
6. 請求項１から請求項５のうちのいずれか１項に記載のユーザインタフェース装置であって、
   前記遷移情報に含まれる各情報に対する重みを格納する重み格納部をさらに備え、
   前記保存必要性計算部は、
   前記遷移情報と、前記重み格納部に格納された重みとに基づいて、前記必要性を計算する、ユーザインタフェース装置。
7. 請求項６に記載のユーザインタフェース装置であって、
   前記重み格納部に格納される前記重みは、ユーザにより設定される、ユーザインタフェース装置。
8. 請求項１から請求項５のうちのいずれか１項に記載のユーザインタフェース装置であって、
   ユーザの操作、及び、画面遷移の少なくともいずれか１つを学習する学習部をさらに備え、
   前記保存必要性計算部は、前記学習部の学習結果を、前記必要性を計算するための前記遷移情報として用いる、ユーザインタフェース装置。
9. 請求項１から請求項５のうちのいずれか１項に記載のユーザインタフェース装置であって、
   前記遷移元画面を区分してなる複数の部分画面の情報を格納する保存対象領域格納部をさらに備え、
   前記保存必要性計算部は、前記遷移情報と前記複数の部分画面の情報とに基づいて、前記必要性を前記部分画面について計算し、
   前記遷移元画面情報取得部は、前記部分画面について計算された前記必要性に基づいて、前記一つの取得段階に対応する前記遷移元画面の情報を前記部分画面について取得し、
   前記画面情報保存部は、前記遷移元画面情報取得部で前記部分画面について取得された前記遷移元画面の情報を、前記画面情報として保存する、ユーザインタフェース装置。
10. 請求項９に記載のユーザインタフェース装置であって、
    前記保存対象領域格納部に格納される前記複数の部分画面の情報は、ユーザにより設定される、ユーザインタフェース装置。
11. 請求項３，７または１０に記載のユーザインタフェース装置であって、
    ユーザが前記設定を行うための画面を表示可能な、ユーザインタフェース装置。
12. 請求項２に記載のユーザインタフェース装置であって、
    前記遷移情報と前記画面情報保存部で保存されている前記画面情報とに基づいて、前記画面情報の優先度を計算する優先度計算部をさらに備え、
    前記遷移元画面情報取得部は、
    前記優先度計算部で計算された前記優先度に基づいて、前記画面情報保存部から削除すべき前記画面情報を決定する、ユーザインタフェース装置。
13. 請求項１に記載のユーザインタフェース装置であって、
    前記遷移元画面情報取得部は、
    前記一つの取得段階に対応する前記遷移元画面の情報として、前記遷移元画面を描画するためのディスプレイリストを取得する、ユーザインタフェース装置。
14. 請求項１に記載のユーザインタフェース装置であって、
    前記遷移元画面情報取得部は、
    前記一つの取得段階に対応する前記遷移元画面の情報として、前記遷移元画面の画面モデルを取得する、ユーザインタフェース装置。
15. 請求項１に記載のユーザインタフェース装置であって、
    前記遷移元画面情報取得部は、
    前記一つの取得段階に対応する前記遷移元画面の情報として、前記遷移元画面を構成する表示要素のプロパティ値を取得する、ユーザインタフェース装置。
16. 請求項１に記載のユーザインタフェース装置であって、
    前記保存必要性計算部で計算される前記必要性は、大、中、小の三段階のいずれかである、ユーザインタフェース装置。
17. 請求項１６に記載のユーザインタフェース装置であって、
    前記遷移元画面情報取得部は、
    前記保存必要性計算部で計算された前記必要性が大であった場合に、当該必要性に基づく前記一つの取得段階に対応する前記遷移元画面の情報として、前記遷移元画面を描画するためのディスプレイリストを取得する、ユーザインタフェース装置。
18. 請求項１６に記載のユーザインタフェース装置であって、
    前記遷移元画面情報取得部は、
    前記保存必要性計算部で計算された前記必要性が中であった場合に、当該必要性に基づく前記一つの取得段階に対応する前記遷移元画面の情報として、前記遷移元画面の画面モデルを取得する、ユーザインタフェース装置。
19. 請求項１６に記載のユーザインタフェース装置であって、
    前記遷移元画面情報取得部は、
    前記保存必要性計算部で計算された前記必要性が小であった場合に、当該必要性に基づく前記一つの取得段階に対応する前記遷移元画面の情報として、前記遷移元画面を構成する表示要素のプロパティ値を取得する、ユーザインタフェース装置。

Images