JP6076864B2 - GUI conversion program, apparatus and GUI conversion method based on operability evaluation scale - Google Patents

GUI conversion program, apparatus and GUI conversion method based on operability evaluation scale Download PDF

Info

Publication number
JP6076864B2
JP6076864B2 JP2013180488A JP2013180488A JP6076864B2 JP 6076864 B2 JP6076864 B2 JP 6076864B2 JP 2013180488 A JP2013180488 A JP 2013180488A JP 2013180488 A JP2013180488 A JP 2013180488A JP 6076864 B2 JP6076864 B2 JP 6076864B2
Authority
JP
Japan
Prior art keywords
gui
conversion
destination
operation object
conversion source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013180488A
Other languages
Japanese (ja)
Other versions
JP2015049661A (en
Inventor
俊晃 上向
俊晃 上向
加藤 恒夫
恒夫 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2013180488A priority Critical patent/JP6076864B2/en
Publication of JP2015049661A publication Critical patent/JP2015049661A/en
Application granted granted Critical
Publication of JP6076864B2 publication Critical patent/JP6076864B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、情報機器に搭載されたアプリケーションのグラフィカルユーザインタフェース(GUI)を構築する技術に関する。   The present invention relates to a technique for constructing a graphical user interface (GUI) of an application installed in an information device.

近年、情報機器の多種多様化に伴い、1つの機器に搭載されたアプリケーションを他の機器においても使用したいとのニーズが高まっている。この際、多くの場合において搭載先の機器に応じてGUIを構築し直さなければならない。しかしながら、情報機器の入力デバイス間および出力デバイス間での仕様(スペック)の相違がこの構築を困難にしている。   In recent years, with the diversification of information devices, there is an increasing need to use applications installed in one device in other devices. At this time, in many cases, it is necessary to reconstruct the GUI in accordance with the installation destination device. However, the difference in specifications between the input devices and the output devices of the information equipment makes this construction difficult.

このGUIの再構築に関して、例えば、特許文献1は、異なる入出力デバイスを備えた情報端末について、各端末に応じたユーザインタフェース画面を簡便に生成する技術を開示している。具体的には、端末に備えられたデバイスの数や大きさなどの情報をまとめたハードウェア情報を準備し、さらに、アプリケーションソフトウェア内でメニューボタンに関する情報を取得する。次いで、これらの情報に基づいて各メニューボタンに機能を割り当てている。   Regarding the GUI reconstruction, for example, Patent Document 1 discloses a technique for easily generating a user interface screen corresponding to each terminal for an information terminal having different input / output devices. Specifically, hardware information in which information such as the number and size of devices provided in the terminal is collected is prepared, and information on menu buttons is acquired in the application software. Next, a function is assigned to each menu button based on these pieces of information.

特開2010−267168号公報JP 2010-267168 A

現在、情報機器の入力デバイス及び出力デバイスとして、物理的なハードウェアボタンを用いたもののみならず、タッチセンサやタッチパネル、さらには赤外線等による近距離無線通信を利用した操作端末といった種々のデバイスが使用されている。また、タッチパネル・ディスプレイのように入出力が一体となったデバイスも普及している。   Currently, various devices such as input devices and output devices of information equipment are not only those that use physical hardware buttons, but also touch sensors, touch panels, and operation terminals that use short-range wireless communication such as infrared rays. It is used. Devices that integrate input and output, such as touch panels and displays, are also popular.

しかしながら、特許文献1に記載の技術のような従来技術では、ハードウェアボタンを用いた入力デバイスを備え、その入力デバイスとディスプレイ等の出力デバイスとが分離している端末を想定したGUIの構築が前提となっている。従って、例えば、ハードウェアボタンとディスプレイとを主要な入出力デバイスとした従来の携帯電話機の間でのGUIの再構築は可能であるが、タッチパネル・ディスプレイを備えたスマートフォンやタブレット型コンピュータの間ではこの再構築は困難である。   However, in the conventional technology such as the technology described in Patent Document 1, a GUI is constructed assuming a terminal that includes an input device using hardware buttons and that separates the input device from an output device such as a display. It is a premise. Therefore, for example, it is possible to reconstruct the GUI between conventional mobile phones using hardware buttons and a display as main input / output devices, but between smartphones and tablet computers equipped with a touch panel display. This reconstruction is difficult.

さらに、近距離無線通信を利用して入力信号を出力デバイスに伝送する操作端末についても、この操作端末とディスプレイ等の出力デバイスとに合わせたGUIの再構築は、従来技術では非常に困難となる。   Furthermore, with respect to an operation terminal that transmits an input signal to an output device using short-range wireless communication, it is very difficult to reconstruct a GUI according to the operation terminal and an output device such as a display. .

そこで、本発明は、入力デバイス及び出力デバイスの種類及びスペックが異なる情報機器間において、搭載されたアプリケーションのGUIを変換することができるプログラム、装置及び変換方法を提供することを目的とする。   Accordingly, an object of the present invention is to provide a program, an apparatus, and a conversion method that can convert a GUI of an installed application between information devices having different types and specifications of input devices and output devices.

本発明によれば、操作オブジェクトを表示可能な情報機器に搭載されたアプリケーションのGUIを変換するGUI変換プログラムであって、
変換元の操作オブジェクトに係る情報である変換元GUI情報に基づいて、操作オブジェクト毎に、当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換元操作性評価尺度を算出する変換元GUI特徴量算出手段と、
操作オブジェクト毎に、変換先のGUIにおける操作方法に従って実行される当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換先操作性評価尺度を算出する変換先GUI特徴量算出手段と、
変換元のGUIにおける操作オブジェクトの互いの位置関係に基づいて操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含むGUI領域を設定するGUI領域設定手段と、
設定されたGUI領域に含まれる操作オブジェクトについて算出された変換元操作性評価尺度と変換先操作性評価尺度との相違の度合いに基づいて、変換元のGUIを分割するか否かを判定する操作体系判定手段と、
操作体系判定手段によって分割すると判定された変換元のGUIを分割して変換先のGUIを決定する変換先GUI生成手段と
してコンピュータを機能させるGUI変換プログラムが提供される。
According to the present invention, there is provided a GUI conversion program for converting a GUI of an application mounted on an information device capable of displaying an operation object,
A conversion source that calculates, for each operation object, a conversion source operability evaluation scale corresponding to the time required to complete the operation task for the operation object based on conversion source GUI information that is information related to the conversion source operation object GUI feature amount calculation means;
A conversion-destination GUI feature quantity calculation unit that calculates a conversion-destination operability evaluation scale corresponding to the time required to complete the operation task for the operation object executed according to the operation method in the conversion-destination GUI for each operation object;
GUI area setting means for classifying operation objects into a plurality of groups based on the mutual positional relationship of the operation objects in the conversion source GUI, and setting a GUI area including only the operation objects belonging to the group for each group;
An operation for determining whether to divide the conversion source GUI based on the degree of difference between the conversion source operability evaluation scale and the conversion destination operability evaluation scale calculated for the operation objects included in the set GUI area System determination means;
There is provided a GUI conversion program that causes a computer to function as a conversion destination GUI generation unit that divides a conversion source GUI determined to be divided by the operation system determination unit and determines a conversion destination GUI.

この本発明のGUI変換プログラムでは、一実施形態として、所定の操作タスクを完了させるために操作が必要となる操作オブジェクトを含むGUI領域に対し、この所定の操作タスクに応じた重要度を付与する重要度設定手段としてコンピュータを更に機能させ、
操作体系判定手段は、算出された変換元操作性評価尺度及び変換先操作性評価尺度と、付与された重要度とに基づいて、変換元のGUIを分割するか否かを判定することも好ましい。
In the GUI conversion program of the present invention, as one embodiment, the importance corresponding to the predetermined operation task is given to the GUI area including the operation object that requires an operation to complete the predetermined operation task. Let the computer further function as an importance setting means,
It is also preferable that the operation system determination unit determines whether or not to divide the conversion source GUI based on the calculated conversion source operability evaluation scale and conversion destination operability evaluation scale, and the assigned importance. .

さらに、上記の実施形態において、操作体系判定手段は、設定されたGUI領域に含まれる操作オブジェクトについて、変換先操作性評価尺度の合計と変換元操作性評価尺度の合計との差もしくは比が所定の尺度閾値以上である場合、及び/又はGUI領域の重要度が所定の重要度閾値以上である場合、GUI領域を独立させて変換元のGUIを分割することも好ましい。   Furthermore, in the above-described embodiment, the operation system determination unit has a predetermined difference or ratio between the total of the conversion destination operability evaluation scales and the total of the conversion operability evaluation scales for the operation objects included in the set GUI area. It is also preferable to divide the GUI of the conversion source by making the GUI area independent, when the scale threshold is greater than or equal to the scale threshold and / or when the importance of the GUI area is greater than or equal to the predetermined importance threshold.

また、本発明に係る変換元操作性評価尺度及び変換先操作性評価尺度は、対応する操作オブジェクトの表示位置、対応する操作オブジェクトの大きさ、対応する操作オブジェクトに対する操作タスクを完了させるために必要な操作数、及び変換元のGUIにおける操作オブジェクトの配置に係る情報のうちの複数の組合せに基づいて算出されることも好ましい。   The conversion source operability evaluation scale and the conversion destination operability evaluation scale according to the present invention are necessary for completing the operation task for the corresponding operation object, the display position of the corresponding operation object, the size of the corresponding operation object, and the corresponding operation object. It is also preferable that the number of operations is calculated based on a plurality of combinations of information related to the arrangement of operation objects in the conversion source GUI.

さらに、本発明のGUI変換プログラムの他の実施形態として、変換元GUI特徴量算出手段は、開始点から操作オブジェクトの中心までの距離Dと操作動作の方向でのこの操作オブジェクトの幅Wとに基づきフィッツの法則(Fitts's Law)を用いて算出した操作時間を、操作オブジェクトの変換元操作性評価尺度とすることも好ましい。   Furthermore, as another embodiment of the GUI conversion program of the present invention, the conversion source GUI feature value calculation means calculates the distance D from the start point to the center of the operation object and the width W of the operation object in the direction of the operation action. It is also preferable that the operation time calculated based on Fitts's Law based on Fitzs's Law is used as the conversion operability evaluation scale of the operation object.

また、本発明のGUI変換プログラムの更なる他の実施形態として、変換先GUI特徴量算出手段は、
操作オブジェクトを変換先操作方法で決定又は選択するのに要する操作回数と、
この操作オブジェクトを変換先操作方法で決定又は選択する際に設定されたGUI領域間の境界を跨ぐ回数mとこの操作オブジェクトの属していないGUI領域での操作回数nとに基づいて算出される複雑度と
に基づいて算出した操作時間を、操作オブジェクトの変換先操作性評価尺度とすることも好ましい。
Further, as yet another embodiment of the GUI conversion program of the present invention, the conversion destination GUI feature value calculating means includes:
The number of operations required to determine or select an operation object with the conversion destination operation method, and
Complexity calculated based on the number m of crossing the boundary between the GUI areas set when the operation object is determined or selected by the conversion destination operation method and the number n of operations in the GUI area to which the operation object does not belong It is also preferable to use the operation time calculated based on the degree as a conversion destination operability evaluation scale of the operation object.

さらに、本発明のGUI変換プログラムの更なる他の実施形態として、GUI領域設定手段は、各操作オブジェクトについて操作オブジェクトの大きさに応じた広さを有する外周領域を設定し、設定された外周領域が互いに重畳する操作オブジェクト同士を同一のグループに属するものとして操作オブジェクトを複数のグループに分類することも好ましい。   Furthermore, as still another embodiment of the GUI conversion program of the present invention, the GUI area setting means sets an outer peripheral area having a size corresponding to the size of the operation object for each operation object, and sets the outer peripheral area. It is also preferable to classify the operation objects into a plurality of groups, assuming that the operation objects overlapping each other belong to the same group.

また、上述した重要度設定手段を機能させる実施形態において、1つのGUI領域の重要度は、変換元の当該アプリケーションの所定期間での操作履歴における、当該GUI領域内のいずれかの操作オブジェクトが操作された回数の全操作回数に対する割合に基づいて算出されることも好ましい。   In the embodiment in which the importance level setting unit described above functions, the importance level of one GUI area is determined by any operation object in the GUI area in the operation history in the predetermined period of the conversion source application. It is also preferable to calculate based on the ratio of the number of performed times to the total number of operations.

本発明によれば、また、操作オブジェクトを表示可能な情報機器に搭載されたアプリケーションのGUIを変換する装置であって、
変換元の操作オブジェクトに係る情報である変換元GUI情報に基づいて、操作オブジェクト毎に、操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換元操作性評価尺度を算出する変換元GUI特徴量算出手段と、
操作オブジェクト毎に、変換先のGUIにおける操作方法に従って実行される操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換先操作性評価尺度を算出する変換先GUI特徴量算出手段と、
変換元のGUIにおける操作オブジェクトの互いの位置関係に基づいて操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含むGUI領域を設定するGUI領域設定手段と、
設定されたGUI領域に含まれる操作オブジェクトについて算出された変換元操作性評価尺度と変換先操作性評価尺度との相違の度合いに基づいて、変換元のGUIを分割するか否かを判定する操作体系判定手段と、
操作体系判定手段によって分割すると判定された変換元のGUIを分割して変換先のGUIを決定する変換先GUI生成手段と
を有する装置が提供される。
According to the present invention, there is also provided an apparatus for converting a GUI of an application installed in an information device capable of displaying an operation object,
A conversion source GUI that calculates a conversion source operability evaluation scale corresponding to the time required to complete the operation task for the operation object for each operation object, based on conversion source GUI information that is information related to the conversion source operation object A feature amount calculating means;
A conversion-destination GUI feature quantity calculating unit that calculates a conversion-destination operability evaluation scale corresponding to the time required to complete the operation task for the operation object executed according to the operation method in the conversion-destination GUI for each operation object;
GUI area setting means for classifying operation objects into a plurality of groups based on the mutual positional relationship of the operation objects in the conversion source GUI, and setting a GUI area including only the operation objects belonging to the group for each group;
An operation for determining whether to divide the conversion source GUI based on the degree of difference between the conversion source operability evaluation scale and the conversion destination operability evaluation scale calculated for the operation objects included in the set GUI area System determination means;
There is provided an apparatus having a conversion destination GUI generation means for dividing a conversion source GUI determined to be divided by the operation system determination means and determining a conversion destination GUI.

本発明によれば、さらに、操作オブジェクトを表示可能な情報機器に搭載されたアプリケーションのGUIを変換するGUI変換方法であって、
変換元の操作オブジェクトに係る情報である変換元GUI情報に基づいて、操作オブジェクト毎に、当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換元操作性評価尺度を算出する第1のステップと、
操作オブジェクト毎に、変換先のGUIにおける操作方法に従って実行される当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換先操作性評価尺度を算出する第2のステップと、
変換元のGUIにおける操作オブジェクトの互いの位置関係に基づいて操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含むGUI領域を設定する第3のステップと、
設定されたGUI領域に含まれる操作オブジェクトについて算出された変換元操作性評価尺度と変換先操作性評価尺度との相違の度合いに基づいて、変換元のGUIを分割するか否かを判定する第4のステップと、
第4のステップで分割すると判定された変換元のGUIを分割して変換先のGUIを決定する第5のステップと
を有するGUI変換方法が提供される。
According to the present invention, there is further provided a GUI conversion method for converting a GUI of an application mounted on an information device capable of displaying an operation object,
A conversion source operability evaluation scale corresponding to the time required to complete the operation task for the operation object is calculated for each operation object based on the conversion source GUI information that is information related to the conversion source operation object. And the steps
A second step of calculating, for each operation object, a conversion destination operability evaluation scale corresponding to a time required to complete the operation task for the operation object executed according to the operation method in the conversion destination GUI;
A third step of classifying the operation objects into a plurality of groups based on the mutual positional relationship of the operation objects in the conversion source GUI, and setting, for each group, a GUI area including only the operation objects belonging to the group;
Whether to divide the conversion-source GUI is determined based on the degree of difference between the conversion-source operability evaluation scale calculated for the operation objects included in the set GUI area and the conversion-destination operability evaluation scale. 4 steps,
There is provided a GUI conversion method including a fifth step of determining a conversion destination GUI by dividing a conversion source GUI determined to be divided in the fourth step.

本発明のGUI変換プログラム、GUI変換装置及びGUI変換方法によれば、入力デバイス及び出力デバイスの種類及びスペックが異なる情報機器間において、搭載されたアプリケーションのGUIを変換することができる。   According to the GUI conversion program, GUI conversion apparatus, and GUI conversion method of the present invention, it is possible to convert the GUI of an installed application between information devices having different types and specifications of input devices and output devices.

本発明によるGUI変換の一実施例を説明するための模式図である。It is a schematic diagram for demonstrating one Example of the GUI conversion by this invention. 本発明によるGUI変換装置の一実施形態としてのSTBの機能構成図である。It is a functional block diagram of STB as one Embodiment of the GUI converter by this invention. 変換元GUI情報及び変換元端末・操作情報の一実施例を示す模式図である。It is a schematic diagram which shows one Example of conversion origin GUI information and conversion origin terminal and operation information. GUI領域設定の一実施例を示す模式図である。It is a schematic diagram which shows one Example of GUI area | region setting. 変換先操作性評価尺度の算出方法の一実施例を示す模式図である。It is a schematic diagram which shows one Example of the calculation method of a conversion destination operativity evaluation scale. 本発明によるGUI変換方法の一実施形態を示すフローチャートである。4 is a flowchart illustrating an embodiment of a GUI conversion method according to the present invention.

以下では、本発明の実施形態について、図面を用いて詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本発明によるGUI変換の一実施例を説明するための模式図である。   FIG. 1 is a schematic diagram for explaining an embodiment of GUI conversion according to the present invention.

図1(A)によれば、情報機器であるスマートフォン2は、所定のアプリケーションを起動しており、タッチパネル・ディスプレイの表示画面に、このアプリケーションのGUIとしてアイコン1〜8を表示している。アイコン1〜8は、ユーザによる操作を受け付ける仮想ボタンとしての操作オブジェクトである。さらに、同表示画面には、画像を表示するエリアであるIMG及びテキストを表示するエリアであるTXTも表示されている。IMG及びTXTはユーザによる操作を受け付けない非操作オブジェクトである。   According to FIG. 1 (A), the smartphone 2 which is an information device has started a predetermined application, and displays icons 1 to 8 as a GUI of this application on the display screen of the touch panel display. Icons 1 to 8 are operation objects as virtual buttons for receiving an operation by the user. Further, the display screen also displays IMG, which is an area for displaying images, and TXT, which is an area for displaying text. IMG and TXT are non-operation objects that do not accept user operations.

ここで、アイコン1〜8のうちの1つを指でタップすることによって、予めそのアイコンに対応付けられた機能を発動させることができる。特に、本実施例では、アイコン5を指でタップすることによって、例えばアイコン1〜4を用いて選択した又は移動させた何らかの表示されたオブジェクトの選択・位置を決定することができる。さらに、アイコン6〜8は、例えば起動しているアプリケーションにおける3つの機能モードにそれぞれ対応しており、アイコン6〜8のうちの1つをタップすることによって、3つの機能モードのうちの1つを選択することができる。   Here, by tapping one of the icons 1 to 8 with a finger, a function associated with the icon in advance can be activated. In particular, in this embodiment, by tapping the icon 5 with a finger, for example, the selection / position of any displayed object selected or moved using the icons 1 to 4 can be determined. Further, the icons 6 to 8 correspond to, for example, three function modes in the activated application, respectively, and by tapping one of the icons 6 to 8, one of the three function modes. Can be selected.

また、スマートフォン2は、このようなアイコン1〜8を表示しその機能を発動させるためのGUI情報(「変換元GUI情報」)を有している。   The smartphone 2 also has GUI information (“conversion source GUI information”) for displaying such icons 1 to 8 and activating the function.

図1(B)によれば、情報機器であって本発明によるGUI変換装置であるセットトップボックス(STB)1は、スマートフォン2で起動している図1(A)で示したアプリケーションを起動させることができる。この際、STB1にとって、入力デバイスは物理的な十字配置ボタン(上下左右及び決定ボタン)を備えた操作端末(リモコン)となる。リモコンは、赤外線等を利用した無線通信方法によって、十字配置ボタンに対しユーザによって実行された操作情報をSTB1の本体に伝送する。さらに、STB1にとって、出力デバイスはSTB1と接続されたテレビのディスプレイとなる。   According to FIG. 1 (B), the set-top box (STB) 1 which is an information device and is a GUI conversion device according to the present invention activates the application shown in FIG. be able to. At this time, for the STB 1, the input device is an operation terminal (remote control) having physical cross-arrangement buttons (up / down / left / right and a determination button). The remote control transmits operation information executed by the user to the cross-shaped button to the main body of the STB 1 by a wireless communication method using infrared rays or the like. Furthermore, for STB1, the output device is a television display connected to STB1.

ここで、本発明のGUI変換装置でもあるSTB1は、図1(A)で示したアプリケーションを起動させる際、変換先となるSTB1の入出力デバイス(リモコン及びテレビのディスプレイ)に適合したGUIを生成する。具体的には、
(a)最初に、変換元であるスマートフォン2で表示されたアイコン1〜8に係る情報である「変換元GUI情報」を取得する。
(b)次いで、取得した「変換元GUI情報」に基づいて、アイコン毎に、当該アイコンに対する(タップによる)操作タスクを完了させるのに要する時間に対応する「変換元操作性評価尺度」を算出する。
(c)次いで、アイコン毎に、変換先であるSTB1のGUIにおける操作方法(十字配置ボタンを使った操作法)に従って実行されるアイコンに対する操作タスクを完了させるのに要する時間に対応する「変換先操作性評価尺度」を算出する。
Here, when the application shown in FIG. 1A is activated, the STB1, which is also the GUI conversion apparatus of the present invention, generates a GUI suitable for the input / output device (remote control and television display) of the STB1 that is the conversion destination. To do. In particular,
(A) First, “conversion source GUI information” that is information related to the icons 1 to 8 displayed on the smartphone 2 that is the conversion source is acquired.
(B) Next, based on the acquired “conversion source GUI information”, for each icon, a “conversion source operability evaluation scale” corresponding to the time required to complete the operation task (by tapping) for the icon is calculated. To do.
(C) Next, for each icon, the “conversion destination” corresponding to the time required to complete the operation task for the icon executed in accordance with the operation method (operation method using the cross-shaped button) in the GUI of the conversion destination STB1 The “operability evaluation scale” is calculated.

(d)次いで、変換元であるスマートフォン2のGUIにおけるアイコン1〜8の互いの位置関係に基づいてアイコン1〜8を複数のグループに分類し、グループ毎に、当該グループに属するアイコンのみを含む「GUI領域」を設定する。
(e)次いで、所定の操作タスクを完了させるために操作が必要となるアイコンを含む「GUI領域」に対し、この所定の操作タスクに応じた「重要度」を付与する。
(D) Next, the icons 1 to 8 are classified into a plurality of groups based on the mutual positional relationship of the icons 1 to 8 in the GUI of the smartphone 2 that is the conversion source, and only icons belonging to the group are included for each group. Set “GUI area”.
(E) Next, an “importance” corresponding to the predetermined operation task is assigned to the “GUI area” including an icon that requires an operation to complete the predetermined operation task.

(f)次いで、設定された「GUI領域」に含まれるアイコンについて算出された「変換元操作性評価尺度」と「変換先操作性評価尺度」との相違の度合いに基づいて、変換元のGUIを分割するか否かを判定する。ここで、これらの尺度間の相違の度合いに加えて付与された「重要度」にも基づいて判定することも好ましい。
(g)最後に、分割すると判定された変換元のGUIを分割して変換先のGUIを決定する。
(F) Next, based on the degree of difference between the “conversion source operability evaluation scale” and the “conversion destination operability evaluation scale” calculated for the icons included in the set “GUI area”, the conversion source GUI It is determined whether or not to divide. Here, it is also preferable to make a determination based on the “importance” given in addition to the degree of difference between these scales.
(G) Finally, the conversion source GUI determined to be divided is divided to determine the conversion destination GUI.

図1(B)に示された変換先のGUIは、以上に述べた(a)〜(g)のプロセスによって生成されたGUIである。具体的には、上記(d)で、それぞれアイコン1〜4、アイコン5及びアイコン6〜8を含む3つの「GUI領域」が設定される。ここで、後に詳細に説明する「変換元操作性評価尺度」及び「変換先操作性評価尺度」(及び「重要度」)に基づいて、図1(A)に示した変換元(スマートフォン2)のGUIを、これら3つの「GUI領域」に対応した形で分割するとの判定を行う。次いで、変換元(スマートフォン2)のGUIを分割して、これら3つの「GUI領域」のそれぞれに対応する、図1(B)に示したような3つの画面画像に分割された変換先のGUIが決定される。   The conversion destination GUI shown in FIG. 1B is a GUI generated by the processes (a) to (g) described above. Specifically, in the above (d), three “GUI areas” including icons 1 to 4, icons 5, and icons 6 to 8 are set. Here, based on the “conversion source operability evaluation scale” and “conversion destination operability evaluation scale” (and “importance”) described in detail later, the conversion source (smart phone 2) shown in FIG. Is determined to be divided in a form corresponding to these three “GUI areas”. Next, the GUI of the conversion source (smart phone 2) is divided, and the GUI of the conversion destination divided into three screen images as shown in FIG. 1B corresponding to each of these three “GUI areas”. Is determined.

図1(B)において、第1の画面画像は、3つの「GUI領域」のうちアイコン5を含む「GUI領域」に対応する画像である。ここでは、アイコン5が表示されるとともに、新たな操作オブジェクトであるアイコンa及びアイコンbが追加されている。   In FIG. 1B, the first screen image is an image corresponding to a “GUI region” including the icon 5 among the three “GUI regions”. Here, an icon 5 is displayed, and icons a and b, which are new operation objects, are added.

このうち、アイコンaは、タップされることによって、画面画像を第2の画面画像に遷移させるために設置された操作オブジェクトである。遷移先の第2の画面画像は、アイコン1〜4を含む「GUI領域」に対応する画像であり、アイコン1〜4を表示している。一方、アイコンbは、タップされることによって、画面画像を第3の画面画像に遷移させるために設置された操作オブジェクトである。遷移先の第3の画面画像は、アイコン6〜8を含む「GUI領域」に対応する画像であり、アイコン6〜8を表示している。   Among these, the icon a is an operation object that is installed to transition the screen image to the second screen image when tapped. The second screen image of the transition destination is an image corresponding to the “GUI area” including the icons 1 to 4 and displays the icons 1 to 4. On the other hand, the icon b is an operation object that is set to transition the screen image to the third screen image when tapped. The third screen image of the transition destination is an image corresponding to the “GUI area” including the icons 6 to 8, and displays the icons 6 to 8.

第2の画面画像においては、アイコン1〜4が画面縦方向一列に配列しており、リモコンの「上」ボタン及び「下」ボタンによって、アイコン1〜4のいずれかの選択(フォーカス)状態を、隣接したアイコンのフォーカス状態に遷移させることができる。例えば、アイコン3がフォーカスされた状態で「下」ボタンを押下すると、アイコン4がフォーカスされた状態に移行する。   In the second screen image, the icons 1 to 4 are arranged in a line in the vertical direction of the screen, and the selection (focus) state of any of the icons 1 to 4 is changed by the “up” button and the “down” button of the remote control. , Transition to the focus state of the adjacent icon can be made. For example, when the “down” button is pressed while the icon 3 is focused, the icon 4 shifts to the focused state.

さらに、アイコン4が選択された状態で「決定」ボタンを押下すると、画面画像が第1の画面画像に戻る。これは、図1(A)に示した変換元のアイコン4をタップしたことに相当する。ここで、さらに「決定」ボタンを押下すると、アイコン5を指でタップすることに相当し、例えば何らかの表示されたオブジェクトを決定することができる。   Furthermore, when the “OK” button is pressed while the icon 4 is selected, the screen image returns to the first screen image. This is equivalent to tapping the conversion source icon 4 shown in FIG. Here, further pressing the “determine” button corresponds to tapping the icon 5 with a finger, and for example, some displayed object can be determined.

ここで、図1(A)に示したGUIは、スマートフォン2のタッチパネル・ディスプレイの比較的小さい画面内にアイコン1〜8を密に並べており、1つの画面画像でユーザの指によって種々の操作をするのに適している。これに対し、本発明のGUI変換装置であるSTB1で変換されたGUIは、複数の(本実施例では3つの)画面画像にわたるものであり、各画面画像ではリモコンの比較的簡素なハードウェアボタンでも容易に選択可能なように、比較的単純なアイコン配置をとっている。   Here, the GUI shown in FIG. 1 (A) arranges icons 1-8 closely in a relatively small screen of the touch panel display of the smartphone 2, and various operations can be performed by a user's finger on one screen image. Suitable for doing. On the other hand, the GUI converted by the STB 1 that is the GUI conversion apparatus of the present invention covers a plurality of (three in this embodiment) screen images, and each screen image has a relatively simple hardware button of the remote controller. However, it has a relatively simple icon arrangement so that it can be easily selected.

その結果、スマートフォン2の入出力デバイスであるタッチパネル・ディスプレイに適したGUIで操作されるアプリケーションを、リモコン及びテレビディスプレイという入出力デバイスに適したGUIで操作して簡便に使用することができる。   As a result, an application operated with a GUI suitable for a touch panel display that is an input / output device of the smartphone 2 can be easily used by operating with a GUI suitable for an input / output device such as a remote control and a television display.

以上に説明したように、本発明のGUI変換装置であるSTB1において、変換元であるスマートフォン2で起動しているアプリケーションのGUIを、変換先であるSTB1についての入出力デバイスに適したGUIに変換することができる。すなわち、本発明によれば、入力デバイス及び出力デバイスの種類及びスペックが異なる情報機器間において、搭載されたアプリケーションのGUIを変換することが可能となることが理解される。   As described above, in the STB1, which is the GUI conversion apparatus of the present invention, the GUI of the application running on the conversion source smartphone 2 is converted into a GUI suitable for the input / output device for the conversion destination STB1. can do. That is, according to the present invention, it is understood that the GUI of an installed application can be converted between information devices having different types and specifications of input devices and output devices.

図2は、本発明によるGUI変換装置の一実施形態としてのSTB1の機能構成図である。   FIG. 2 is a functional configuration diagram of the STB 1 as an embodiment of the GUI conversion apparatus according to the present invention.

図2によれば、STB1は、入出力インタフェース101と、表示・入力部102と、変換元GUI情報蓄積部111と、変換元端末・操作情報蓄積部112と、変換先端末・操作情報蓄積部113と、変換先GUI情報蓄積部114と、プロセッサ・メモリとしての機能構成部とを備えている。ここで、機能構成部(プロセッサ・メモリ)は、STB1に搭載されたコンピュータを機能させるプログラムを実行することによって、その機能を実現する。   2, the STB 1 includes an input / output interface 101, a display / input unit 102, a conversion source GUI information storage unit 111, a conversion source terminal / operation information storage unit 112, and a conversion destination terminal / operation information storage unit. 113, a conversion destination GUI information storage unit 114, and a functional configuration unit as a processor memory. Here, the function configuration unit (processor memory) realizes its function by executing a program that causes the computer mounted on the STB 1 to function.

この機能構成部(プロセッサ・メモリ)は、変換元GUI特徴量算出部121と、変換先GUI特徴量算出部122と、GUI領域設定部123と、重要度設定部124と、操作体系判定部125と、変換先GUI生成部126と、入出力制御部131と、表示・入力制御部132と、アプリケーション処理部133とを有している。   The functional configuration unit (processor / memory) includes a conversion source GUI feature amount calculation unit 121, a conversion destination GUI feature amount calculation unit 122, a GUI area setting unit 123, an importance level setting unit 124, and an operation system determination unit 125. A conversion destination GUI generation unit 126, an input / output control unit 131, a display / input control unit 132, and an application processing unit 133.

[変換元・変換先情報]
入出力インタフェース101(図2)は、外部(例えばアプリケーション配信サーバ又はスマートフォン2)から変換元GUI情報及び変換元端末・操作情報を取得し、それぞれ変換元GUI情報蓄積部111及び変換元端末・操作情報蓄積部112に蓄積する。
[Conversion source / Destination information]
The input / output interface 101 (FIG. 2) acquires the conversion source GUI information and the conversion source terminal / operation information from the outside (for example, the application distribution server or the smartphone 2), and converts the conversion source GUI information storage unit 111 and the conversion source terminal / operation, respectively. The information is stored in the information storage unit 112.

図3は、変換元GUI情報及び変換元端末・操作情報の一実施例を示す模式図である。   FIG. 3 is a schematic diagram illustrating an example of conversion source GUI information and conversion source terminal / operation information.

図3(A)によれば、変換元であるスマートフォン2でのGUIは、図1(A)で示したように、操作オブジェクトであるアイコン1〜8と非操作オブジェクトであるIMG及びTXTとを有している。図3(B)によれば、変換元GUI情報は、これらのアイコン又は非操作オブジェクトの位置や大きさ(表示位置範囲)等を規定したものである。図3(A)では、変換元GUIについて1つの画面画像のみを示しているが、複数の画面画像を有する場合、変換元GUI情報は各画面画像について操作オブジェクト及び非操作オブジェクトについての表示位置範囲情報等を規定する。さらに、図3(C)によれば、変換元端末情報は、入力デバイス(タッチパネル、ハードウェアボタン)及び出力デバイス(ディスプレイ)のサイズや方式、機能を規定したものである。   According to FIG. 3A, the GUI of the smartphone 2 that is the conversion source includes icons 1 to 8 that are operation objects and IMG and TXT that are non-operation objects, as shown in FIG. Have. According to FIG. 3B, the conversion source GUI information defines the positions and sizes (display position ranges) of these icons or non-operation objects. In FIG. 3A, only one screen image is shown for the conversion source GUI, but when there are a plurality of screen images, the conversion source GUI information is the display position range for the operation object and the non-operation object for each screen image. Specify information. Furthermore, according to FIG. 3C, the conversion source terminal information defines the size, method, and function of the input device (touch panel, hardware button) and output device (display).

変換先端末・操作情報蓄積部113(図2)は、変換先であるSTB1の入力デバイス(リモコン)及び出力デバイス(テレビディスプレイ)のサイズや方式、機能を規定したものである。また、変換先GUI情報蓄積部114は、本発明によるGUI変換方法(プログラム)によって、変換先(STB1)に適合した形に変換されたGUIを保存する。   The conversion destination terminal / operation information storage unit 113 (FIG. 2) defines the size, method, and function of the input device (remote control) and output device (television display) of the STB 1 that is the conversion destination. Further, the conversion destination GUI information storage unit 114 stores the GUI converted into a form suitable for the conversion destination (STB1) by the GUI conversion method (program) according to the present invention.

[変換元操作性評価尺度]
変換元GUI特徴量算出部121(図2)は、変換元の操作オブジェクトに係る情報である(例えば図3(B)の)変換元GUI情報に基づいて、操作オブジェクト毎に「変換元操作性評価尺度」を算出する。「変換元操作性評価尺度」は、操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する操作性の指標である。「変換元操作性評価尺度」は、(a)対応する操作オブジェクトの表示位置、(b)対応する操作オブジェクトの大きさ、(c)対応する操作オブジェクトに対する操作タスクを完了させるために必要な操作数、及び(d)変換元のGUIにおける操作オブジェクトの配置に係る情報のうちの複数の組合せに基づいて算出可能である。
[Conversion operability evaluation scale]
The conversion-source GUI feature value calculation unit 121 (FIG. 2) performs “conversion-source operability” for each operation object based on the conversion-source GUI information (for example, FIG. 3B) that is information related to the conversion-source operation object. "Evaluation scale" is calculated. The “conversion source operability evaluation scale” is an operability index corresponding to the time required to complete the operation task for the operation object. The “conversion source operability evaluation scale” includes (a) the display position of the corresponding operation object, (b) the size of the corresponding operation object, and (c) the operation necessary for completing the operation task for the corresponding operation object. It is possible to calculate based on the number and (d) a plurality of combinations of the information related to the arrangement of the operation objects in the conversion source GUI.

1つのアイコン(操作オブジェクト)に対する「変換元操作性評価尺度」算出の一実施例として、フィッツの法則(Fitts's Law)を用いることができる。フィッツの法則は、マンマシンインタフェースにおける人間の動作をモデル化し、対象の領域にまで移動するのに要する時間が対象までの距離と対象の大きさとの関数となると推測するものである。   As an example of calculating the “conversion source operability evaluation scale” for one icon (operation object), Fitts's Law can be used. Fitz's law models human behavior in the man-machine interface, and estimates that the time required to move to the target area is a function of the distance to the target and the size of the target.

本実施例では、1つのアイコンの「変換元操作性評価尺度」は、このフィッツの法則で算出される、ユーザの指が開始点からこのアイコンに対する操作を完了するまでの平均所用時間Tに一致するものとする。この平均所用時間Tは、
(1) T=a+blog2(1+D/W)
として算出される。ここで、aは装置の開始・停止時間であり、bはデバイスの速度に依存した係数である。また、Dは開始点からアイコンの中心までの距離であり、Wは操作動作の方向でのアイコンの幅Wである。(1)式から、T値そのものである「変換元操作性評価尺度」は、アイコンが(画面内で)遠い位置にあったり小さかったりした場合により多くの操作時間がかかる事情を勘案して操作性の尺度を導出したものであることが理解される。
In this embodiment, the “conversion source operability evaluation scale” of one icon matches the average required time T from the start point to the completion of the operation on this icon calculated by Fitz's law. It shall be. This average required time T is
(1) T = a + blog 2 (1 + D / W)
Is calculated as Here, a is the start / stop time of the apparatus, and b is a coefficient depending on the speed of the device. D is the distance from the starting point to the center of the icon, and W is the width W of the icon in the direction of the operation. From equation (1), the “conversion source operability evaluation scale”, which is the T value itself, is operated in consideration of the fact that it takes more operation time if the icon is far away (in the screen) or small. It is understood that this is a measure of gender.

ここで、アイコン5(図1(A))の「変換元操作性評価尺度」を算出する。アイコン5の場合、(1)式における距離Dは60(mm)であって幅Wは20(mm)であり、a=0及びb=0.15秒(sec)とすると、「変換元操作性評価尺度」(平均所用時間T)は、0+0.15×log2(1+600/200)=0.3(sec)となる。 Here, the “conversion source operability evaluation scale” of the icon 5 (FIG. 1A) is calculated. In the case of the icon 5, if the distance D in the equation (1) is 60 (mm), the width W is 20 (mm), and a = 0 and b = 0.15 seconds (sec), “conversion source operation” The “sex evaluation scale” (average time T) is 0 + 0.15 × log 2 (1 + 600/200) = 0.3 (sec).

[GUI領域設定]
GUI領域設定部123(図2)は、変換元であるスマートフォン2のGUIにおける操作オブジェクトの互いの位置関係に基づいて操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含む「GUI領域」を設定する。
[GUI area setting]
The GUI area setting unit 123 (FIG. 2) classifies the operation objects into a plurality of groups based on the mutual positional relationship of the operation objects in the GUI of the smartphone 2 that is the conversion source, and the operation objects belonging to the group for each group. “GUI area” including only “.” Is set.

図4は、GUI領域設定の一実施例を示す模式図である。   FIG. 4 is a schematic diagram showing an embodiment of GUI area setting.

「GUI領域」設定にあたり、最初に、図4(A)に示すアイコン1〜8同士の位置関係に基づいてアイコン1〜8を複数のグループに分類する。ここで、まず、アイコン(操作オブジェクト)1〜8の各々について当該アイコンの大きさに応じた広さを有する外周領域を設定する。図4(B)では、高さがt4であって幅がw4であるアイコン4の外周領域として、アイコン4を中央に据えており高さが3t4であって幅が3w4である領域が設定されている。 In setting the “GUI area”, first, the icons 1 to 8 are classified into a plurality of groups based on the positional relationship between the icons 1 to 8 shown in FIG. Here, first, for each of the icons (operation objects) 1 to 8, an outer peripheral area having a size corresponding to the size of the icon is set. In FIG. 4 (B), the as outer peripheral area of the icon 4 is the width height A t 4 is w 4, the height and laid the icon 4 in the center width a 3t 4 is a 3w 4 The area is set.

次いで、設定された外周領域が互いに重畳するアイコン同士を同一のグループに属するものとしてアイコン1〜8を複数のグループに分類する。具体的に図4(B)に示した外周領域を採用すると、アイコン1〜4の各外周領域はアイコン1〜4の中で隣接するアイコンの外周領域と互いに重畳し、アイコン5の外周領域はいずれのアイコンの外周領域とも重畳せず、アイコン6〜8の各外周領域はアイコン6〜8の中で隣接するアイコンの外周領域と互いに重畳する。このことから、図4(C)に示すように、アイコン1〜4のみを含む「GUI領域」1と、アイコン5のみを含む「GUI領域」2と、アイコン6〜8のみを含む「GUI領域」3とが設定される。   Next, the icons 1 to 8 are classified into a plurality of groups, assuming that the icons in which the set outer peripheral areas overlap each other belong to the same group. Specifically, when the outer peripheral area shown in FIG. 4B is adopted, each outer peripheral area of icons 1 to 4 overlaps with an outer peripheral area of an adjacent icon in icons 1 to 4, and the outer peripheral area of icon 5 is The outer peripheral areas of the icons 6 to 8 do not overlap with the outer peripheral area of any icon, and the outer peripheral areas of the icons 6 to 8 overlap with the outer peripheral areas of the adjacent icons. Therefore, as shown in FIG. 4 (C), “GUI area” 1 including only icons 1 to 4, “GUI area” 2 including only icon 5, and “GUI area including only icons 6 to 8”. "3" is set.

尚、IMGやTXT等の非操作オブジェクトについても同様に外周領域を設定し、操作オブジェクトと合わせて「GUI領域」に所属させてもよい。また、外周領域内にフレーム分割境界が存在する場合、このフレーム分割境界を境にしてグループを更に分けて別グループとすることも好ましい。ここで、フレーム分割境界は、HTMLでのFrameタグで区切られた境界や、AndroidでのFrameRayoutなどのタグで区切られた境界を指す。
[変換先操作性評価尺度]
変換先GUI特徴量算出部122(図2)は、操作オブジェクト毎に「変換先操作性評価尺度」を算出する。「変換先操作性評価尺度」は、変換先のGUIにおける操作方法に従って実行される操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する操作性の指標である。この「変換先操作性評価尺度」は、(a)対応する操作オブジェクトの表示位置、(b)対応する操作オブジェクトの大きさ、(c)対応する操作オブジェクトに対する操作タスクを完了させるために必要な操作数、及び(d)変換元のGUIにおける操作オブジェクトの配置に係る情報のうちの複数の組合せに基づいて算出可能である。
Note that a non-operation object such as IMG or TXT may be set in the same manner as an outer peripheral area and may belong to the “GUI area” together with the operation object. In addition, when a frame division boundary exists in the outer peripheral region, it is also preferable to further divide the group into another group with this frame division boundary as a boundary. Here, the frame division boundary indicates a boundary delimited by a frame tag in HTML or a boundary delimited by a tag such as FrameRayout in Android.
[Conversion destination operability evaluation scale]
The conversion destination GUI feature quantity calculation unit 122 (FIG. 2) calculates a “conversion destination operability evaluation scale” for each operation object. The “conversion destination operability evaluation scale” is an operability index corresponding to the time required to complete the operation task for the operation object executed according to the operation method in the conversion destination GUI. This “conversion destination operability evaluation scale” is necessary for completing (a) the display position of the corresponding operation object, (b) the size of the corresponding operation object, and (c) the operation task for the corresponding operation object. The number of operations can be calculated based on a plurality of combinations of the number of operations and (d) information related to the arrangement of operation objects in the conversion source GUI.

ここで、1つのアイコン(操作オブジェクト)についての「変換先操作性評価尺度」算出の一実施例として、
(α)このアイコンを変換先操作方法で決定又は選択するのに要する操作回数Nと、
(β)このアイコンを変換先操作方法で決定又は選択する際に、設定された「GUI領域」間の境界を跨ぐ回数mと、このアイコンの属していない「GUI領域」での操作回数nとに基づいて算出される操作複雑度Cと
に基づいて算出した操作時間を、このアイコンの「変換先操作性評価尺度」とする。例えば、
(2) (変換先操作性評価尺度)=c×(N+C),C=m×n
とすることができる。ここで、cは変換先のデバイスに依存した係数であり、1回当たりの操作に要する時間を示す量である。
Here, as an example of calculating the “conversion destination operability evaluation scale” for one icon (operation object),
(Α) The number of operations N required to determine or select this icon by the conversion destination operation method;
(Β) When this icon is determined or selected by the conversion destination operation method, the number m of crossing the boundary between the set “GUI regions”, and the number of operations n in the “GUI region” to which this icon does not belong, The operation time calculated based on the operation complexity C calculated based on the above is used as the “conversion destination operability evaluation scale” of this icon. For example,
(2) (Conversion destination operability evaluation scale) = c × (N + C), C = m × n
It can be. Here, c is a coefficient depending on the conversion destination device, and is an amount indicating the time required for one operation.

図5は、変換先操作性評価尺度の算出方法の一実施例を示す模式図である。   FIG. 5 is a schematic diagram illustrating an example of a method for calculating a conversion destination operability evaluation scale.

以下、アイコン5(図1(A))の「変換先操作性評価尺度」の算出を説明する。図5(A)によれば、上記(α)操作回数N及び上記(β)操作複雑度Cを算出するのに使用される変換先操作方法は、リモコン(図1(B))における上下左右ボタン及び決定ボタンの押下である。この変換先操作方法をもってアイコン5を決定するのに要する操作回数Nは、図5(B)に示したように、フォーカスが「下」ボタンの押下によってアイコン1から順次移動してアイコン5に至り次いで「決定」ボタンが押下される一連の操作での押下回数であって5である(N=5)。尚、アイコンのフォーカス移動と決定とを同時に行うためのショートカットアイコンが割り当てられている場合、操作回数Nは1となる。   Hereinafter, calculation of the “conversion destination operability evaluation scale” of the icon 5 (FIG. 1A) will be described. According to FIG. 5 (A), the conversion destination operation method used to calculate the (α) number of operations N and the (β) operation complexity C is up / down / left / right in the remote control (FIG. 1 (B)). The button and the enter button are pressed. As shown in FIG. 5B, the number N of operations required to determine the icon 5 by this conversion destination operation method is as follows. Next, the number of times of pressing in the series of operations in which the “OK” button is pressed is 5 (N = 5). It should be noted that the number of operations N is 1 when a shortcut icon for simultaneously performing focus movement and determination of the icon is assigned.

また、リモコン(図1(B))における変換先操作方法をもって、変換元のGUIのアイコン5を決定する際に設定された「GUI領域」間の境界を跨ぐ回数mは、アイコン4からアイコン5への移動の際に「GUI領域」1と「GUI領域」2との境界を跨ぐときの1(回)である(m=1)。さらに、アイコン5の属していない「GUI領域」での操作回数nは、アイコン1〜4でのタップの回数であって4となる(n=4)。従って、操作複雑度C(=m×n)は、1×4であって4となる(C=4)。   The number m of crossing the boundary between the “GUI areas” set when the conversion source GUI icon 5 is determined by the conversion destination operation method in the remote controller (FIG. 1B) is set from the icon 4 to the icon 5. 1 (times) when crossing the boundary between the “GUI area” 1 and the “GUI area” 2 when moving to (m = 1). Further, the number of operations n in the “GUI region” to which the icon 5 does not belong is the number of taps on the icons 1 to 4 and is 4 (n = 4). Therefore, the operation complexity C (= m × n) is 1 × 4 and 4 (C = 4).

これらの結果を式(2)に代入し、係数c=1.1(sec)とすると、アイコン5の「変換先操作性評価尺度」は、1.1×(5+4)=9.9(sec)と算出される。   By substituting these results into equation (2) and assuming the coefficient c = 1.1 (sec), the “conversion destination operability evaluation scale” of icon 5 is 1.1 × (5 + 4) = 9.9 (sec) ) Is calculated.

尚、操作回数N、跨ぐ回数m及び操作回数nは、対象アプリケーションを実際に操作した際のログを分析して取得したり、対象アプリケーションのソースコードを解析して取得したりすることができる。   The operation count N, the stride count m, and the operation count n can be acquired by analyzing a log when the target application is actually operated, or by analyzing the source code of the target application.

[重要度]
重要度設定部124(図2)は、所定の操作タスクを完了させるために操作が必要となる操作オブジェクトを含む「GUI領域」に対し、この所定の操作タスクに応じた「重要度」を付与する。具体的には、全ての「GUI領域」の「重要度」の合計を1とし、各「GUI領域」に「重要度」を所定の取り決めによって割り振る。
[importance]
The importance level setting unit 124 (FIG. 2) assigns an “importance level” corresponding to the predetermined operation task to the “GUI area” including an operation object that requires an operation to complete the predetermined operation task. To do. Specifically, the sum of “importance” of all “GUI areas” is set to 1, and “importance” is allocated to each “GUI area” according to a predetermined agreement.

本実施例では、所定の操作タスクは上下左右ボタン及び決定ボタンの押下である。ここで、図5(B)の「GUI領域」1、2及び3にそれぞれ変数p1、p2及びp3を対応付け、「GUI領域」1、2及び3の「重要度」を、それぞれ
p1/(p1+p2+p3)、p2/(p1+p2+p3)及びp3/(p1+p2+p3)
と定義する。
In this embodiment, the predetermined operation task is pressing the up / down / left / right button and the enter button. Here, the variables p1, p2, and p3 are associated with the “GUI areas” 1, 2 and 3 in FIG. 5B, respectively, and the “importance” of the “GUI areas” 1, 2 and 3 is set as follows.
p1 / (p1 + p2 + p3), p2 / (p1 + p2 + p3) and p3 / (p1 + p2 + p3)
It is defined as

これらの変数p1、p2及びp3の値は、以下の通りに決定することができる。即ち、所定期間における変換元のアプリケーションでの操作履歴(ログ)において、「GUI領域」毎に、当該「GUI領域」内のいずれかのアイコンが選択(操作)された回数(選択回数)を集計する。次いで、「GUI領域」1〜3での選択回数を、それぞれ変数p1、p2及びp3の値とする。ここで、例えば、変数p1、p2及びp3の値(「GUI領域」1〜3での選択回数)がそれぞれ10(回)、35(回)及び5(回)であったとすると、「GUI領域」1、2及び3の「重要度」はそれぞれ0.2、0.7及び0.1に設定される。   The values of these variables p1, p2 and p3 can be determined as follows. That is, in the operation history (log) of the conversion source application in a predetermined period, for each “GUI area”, the number of times that any icon in the “GUI area” is selected (operated) (the number of selections) is totaled. To do. Next, the number of selections in the “GUI area” 1 to 3 is set as the values of the variables p1, p2, and p3, respectively. Here, for example, if the values of the variables p1, p2, and p3 (the number of selections in the “GUI area” 1 to 3) are 10 (times), 35 (times), and 5 (times), respectively, “GUI area "Importance" of 1, 2 and 3 is set to 0.2, 0.7 and 0.1, respectively.

尚、「重要度」の設定は本実施例に限定されるものではなく、例えば、変数p1、p2及びp3の値として、それぞれ「GUI領域」1〜3の面積を採用することも可能である。また、「GUI領域」1〜3での選択回数及び面積をともに考慮して「重要度」を設定することもできる。この場合、例えば、「GUI領域」1〜3での(選択回数)×(面積)の計算結果をそれぞれ変数p1、p2及びp3の値としてもよい。さらに、例えば、左上に位置する「GUI領域」に対して所定の「重要度」分を加点する取り決めをしてもよい。   Note that the setting of “importance” is not limited to the present embodiment. For example, the areas of “GUI regions” 1 to 3 can be adopted as the values of variables p1, p2, and p3, respectively. . Also, the “importance” can be set in consideration of both the number of selections and the area in the “GUI regions” 1 to 3. In this case, for example, the calculation results of (number of selections) × (area) in the “GUI regions” 1 to 3 may be the values of the variables p1, p2, and p3, respectively. Furthermore, for example, an arrangement may be made in which a predetermined “importance” is added to the “GUI area” located in the upper left.

[変換先GUI生成]
操作体系判定部125(図2)は、設定された「GUI領域」に含まれる操作オブジェクトについて算出された「変換元操作性評価尺度」と「変換先操作性評価尺度」との相違の度合いに基づいて、変換元のGUIを分割するか否かを判定する。ここで、「変換元操作性評価尺度」及び「変換先操作性評価尺度」に加えて、各「GUI領域」に付与された「重要度」にも基づいて、変換元のGUIを分割するか否かを判定することも好ましい。
[Conversion destination GUI generation]
The operation system determination unit 125 (FIG. 2) determines the degree of difference between the “conversion source operability evaluation scale” and “conversion destination operability evaluation scale” calculated for the operation objects included in the set “GUI area”. Based on this, it is determined whether or not to divide the conversion source GUI. Here, in addition to the “conversion source operability evaluation scale” and the “conversion destination operability evaluation scale”, whether to convert the conversion source GUI based on the “importance” assigned to each “GUI area” It is also preferable to determine whether or not.

具体的には、操作体系判定部125は、
(a)設定された「GUI領域」に含まれる操作オブジェクトについて、「変換先操作性評価尺度」の合計と「変換元操作性評価尺度」の合計との差もしくは比が所定の尺度閾値Sth以上である場合、及び/又は
(b)「GUI領域」の「重要度」が所定の重要度閾値Ith以上である場合、
この「GUI領域」を独立させて変換元のGUIを分割することが好ましい。
Specifically, the operation system determination unit 125
(A) For the operation objects included in the set “GUI area”, the difference or ratio between the total of the “conversion destination operability evaluation scale” and the total of the “conversion source operability evaluation scale” is a predetermined scale threshold value S th And / or (b) if the “importance” of the “GUI area” is greater than or equal to a predetermined importance threshold I th ,
It is preferable to divide the GUI of the conversion source by making this “GUI area” independent.

本実施例においては、例えば「GUI領域」2では、「変換先操作性評価尺度」の合計は、アイコン5の「変換先操作性評価尺度」に相当し、上述した計算結果より0.3(sec)である。一方、「変換先操作性評価尺度」の合計は、アイコン5の「変換先操作性評価尺度」に相当し、上述した計算結果より9.9(sec)である。ここで、尺度の差に関する尺度閾値Sthが3(sec)とすると、「変換先操作性評価尺度」の合計と「変換元操作性評価尺度」の合計との差(9.6(sec))は尺度閾値Sth(3(sec))以上であるから、「GUI領域」2を独立させて変換元のGUIを分割することが判定される。また、本実施例では、同様にして、「GUI領域」1も独立させて分割することが判定される。 In the present embodiment, for example, in the “GUI area” 2, the total of the “conversion destination operability evaluation scale” corresponds to the “conversion destination operability evaluation scale” of the icon 5, and is 0.3 (sec) from the calculation result described above. It is. On the other hand, the total of the “conversion destination operability evaluation scale” corresponds to the “conversion destination operability evaluation scale” of the icon 5, and is 9.9 (sec) from the calculation result described above. Here, when the scale threshold S th regarding the scale difference is 3 (sec), the difference between the total of the “conversion destination operability evaluation scale” and the total of the “conversion operability evaluation scale” (9.6 (sec) ) Is equal to or greater than the scale threshold value S th (3 (sec)), it is determined that the “GUI area” 2 is made independent to divide the conversion source GUI. In the present embodiment, similarly, it is determined that the “GUI area” 1 is also divided independently.

さらに、本実施例において、所定の重要度閾値Ithが0.15であるとすると、「GUI領域」1の重要度(0.2)及び「GUI領域」2の重要度(0.7)はいずれもこの重要度閾値Ith(0.15)以上であるので、「GUI領域」1及び「GUI領域」2を独立させて変換元のGUIを分割することを判定してもよい。この際、「変換先操作性評価尺度」の合計と「変換元操作性評価尺度」の合計との差が所定の尺度閾値Sth以上であることに加えて、「重要度」が重要度閾値Ith以上であることを、分割するとの判定を行う条件とすることもできる。 Furthermore, in this embodiment, when the predetermined importance threshold I th is 0.15, the importance (0.2) of the “GUI area” 1 and the importance (0.7) of the “GUI area” 2 Are both equal to or greater than the importance level threshold I th (0.15), it may be determined that the “GUI area” 1 and the “GUI area” 2 are made independent to divide the conversion source GUI. At this time, in addition to the difference between the total of the “conversion destination operability evaluation scale” and the “conversion source operability evaluation scale” being equal to or greater than a predetermined scale threshold S th , the “importance” is the importance threshold It can be set as a condition for determining to be divided that it is I th or more.

変換先GUI生成部126(図2)は、操作体系判定部125によって分割すると判定された変換元のGUIを分割して変換先のGUIを決定する。本実施例では、「GUI領域」1及び「GUI領域」2を独立させて分割すると判定されているので、結局、変換先のGUIは、図1(B)に示した第1の画面画像、第2の画面画像及び第3の画面画像の3つに決定される。   The conversion destination GUI generation unit 126 (FIG. 2) determines the conversion destination GUI by dividing the conversion source GUI determined to be divided by the operation system determination unit 125. In the present embodiment, since it is determined that the “GUI area” 1 and the “GUI area” 2 are divided independently, the conversion destination GUI is eventually the first screen image shown in FIG. The second screen image and the third screen image are determined.

尚、分割された各画面画像をつなぐために、例えば、画面画像下部に、図1(B)に示した「a」及び「b」アイコンや、「次へ」とキャプション表示したアイコンを追加することも好ましい。また、画面画像の遷移前のGUIでの操作オブジェクトに対する操作完了後、自動的に遷移先の画面画像(GUI)に遷移する機能を付与することも好ましい。さらには、画面画像の総数のうち、何画像目かを示すための「パンくずリスト」(breadcrumb list)機能を付与してもよい。また、それまでの操作オブジェクトによって完了した操作内容を、完了した次以降の画面画像や最終画面画像に表示し、確認させる機能や前の画面画像に戻れる機能を付与することも好ましい。   In order to connect the divided screen images, for example, the “a” and “b” icons shown in FIG. 1B and an icon captioned “Next” are added to the lower part of the screen image. It is also preferable. It is also preferable to provide a function of automatically transitioning to the transition destination screen image (GUI) after completion of the operation on the manipulation object in the GUI before transition of the screen image. Further, a “breadcrumb list” function may be added to indicate the number of images in the total number of screen images. It is also preferable to provide a function for displaying the operation content completed by the operation object up to that time on the next screen image and the final screen image that have been completed, and for confirming or returning to the previous screen image.

入出力制御部131(図2)は、入出力インタフェース101を介した、STB機能に係る情報の受信又は送信を制御する。表示・入力部102(図2)は、例えばディスプレイ及びハードウェアボタン又はタッチパネル・ディスプレイであり、STB機能に係る情報を表示し、STBに対する入力操作を受け付ける。また、表示・入力制御部132(図2)は、表示・入力部102の動作を制御する。アプリケーション処理部133(図2)は、STBの機能に係るアプリケーションの動作を制御する。   The input / output control unit 131 (FIG. 2) controls reception or transmission of information related to the STB function via the input / output interface 101. The display / input unit 102 (FIG. 2) is, for example, a display and hardware buttons or a touch panel display, displays information related to the STB function, and accepts an input operation on the STB. The display / input control unit 132 (FIG. 2) controls the operation of the display / input unit 102. The application processing unit 133 (FIG. 2) controls the operation of the application related to the STB function.

尚、変換先GUI生成部126で新たに変換されたGUIを、テレビディスプレイ(図1(B))に表示する代わりに表示・入力制御部132(図2)に表示して、リモコンで操作してもよい。この場合、GUIの変換は、表示・入力部102の変換先端末・操作情報を考慮して実行される。   The GUI newly converted by the conversion destination GUI generation unit 126 is displayed on the display / input control unit 132 (FIG. 2) instead of being displayed on the television display (FIG. 1B), and is operated by the remote controller. May be. In this case, the GUI conversion is executed in consideration of the conversion destination terminal / operation information of the display / input unit 102.

図6は、本発明によるGUI変換方法の一実施形態を示すフローチャートである。   FIG. 6 is a flowchart showing an embodiment of a GUI conversion method according to the present invention.

以下、本発明のGUI変換装置としてのSTB1におけるGUI変換を説明する。
(S601)変換元GUI情報蓄積部111(図2)から「変換元GUI情報」を読み込む。
(S602)変換元端末・操作情報蓄積部112(図2)から変換元端末情報を読み込む。
(S603)変換先端末・操作情報蓄積部113(図2)から変換先端末情報を読み込む。
Hereinafter, GUI conversion in the STB 1 as the GUI conversion apparatus of the present invention will be described.
(S601) “Conversion source GUI information” is read from the conversion source GUI information storage unit 111 (FIG. 2).
(S602) The conversion source terminal information is read from the conversion source terminal / operation information storage unit 112 (FIG. 2).
(S603) The conversion destination terminal information is read from the conversion destination terminal / operation information storage unit 113 (FIG. 2).

(S604)「変換元GUI情報」を変換テンプレートと照合する。ここで、変換テンプレートは、変換元端末情報と変換先端末情報との対応毎に、過去の変換事例として、変換の頻度の高いGUI情報をGUI情報パターンして記録したものである。 (S604) The “conversion source GUI information” is checked against the conversion template. Here, the conversion template is obtained by recording GUI information having a high conversion frequency as a GUI information pattern as a past conversion example for each correspondence between the conversion source terminal information and the conversion destination terminal information.

(S605)「変換元GUI情報」と一致する変換テンプレートが存在するか否かを判定する。ここで、「変換元GUI情報」の操作オブジェクトと、変換テンプレートのGUI情報における対応する操作オブジェクトとの位置関係に関する類似度を算出し、この類似度が所定閾値を超える場合、「変換元GUI情報」と変換テンプレートとが一致すると判定してもよい。この類似度としては、「変換元GUI情報」の操作オブジェクトの表示位置範囲と、変換テンプレートのGUI情報における対応する操作オブジェクト表示位置範囲の重畳部分の、画面全体に対する割合とすることができる。 (S605) It is determined whether or not there is a conversion template that matches the “conversion source GUI information”. Here, the degree of similarity regarding the positional relationship between the operation object of “conversion source GUI information” and the corresponding operation object in the GUI information of the conversion template is calculated, and if this similarity exceeds a predetermined threshold, “conversion source GUI information” ”And the conversion template may be determined to match. The similarity may be a ratio of the overlapping portion of the operation object display position range of “conversion source GUI information” and the corresponding operation object display position range of the conversion template GUI information to the entire screen.

ステップS605で真の判定(一致する変換テンプレートが存在するとの判定)を行った場合、この変換テンプレートに基づいて変換先GUI情報を作成し(ステップS621)、本GUI変換のフローを終了する。一方、ステップS605で偽の判定(一致する変換テンプレートが存在しないとの判定)を行った場合、ステップS606に移行する。   If true determination is made in step S605 (determination that a matching conversion template exists), conversion destination GUI information is created based on this conversion template (step S621), and the flow of this GUI conversion ends. On the other hand, if a false determination is made in step S605 (determination that there is no matching conversion template), the process proceeds to step S606.

(S606)「変換元GUI情報」に基づいて「変換元操作性評価尺度」を算出する。
(S607)「変換元GUI情報」から「GUI領域」を設定する。
(S608)変換先操作方法に基づいて「変換先操作性評価尺度」を算出する。
(S609)「GUI領域」毎の「重要度」を設定する。
(S606) A “conversion source operability evaluation scale” is calculated based on “conversion source GUI information”.
(S607) “GUI area” is set from “conversion source GUI information”.
(S608) A “conversion destination operability evaluation scale” is calculated based on the conversion destination operation method.
(S609) The “importance” for each “GUI area” is set.

(S610)「変換元操作性評価尺度」と「変換先操作性評価尺度」と「重要度」とに基づいて、設定した「GUI領域」を独立させてGUIを分割するか否かを判定する
(S611)判定結果に基づいてGUIを分割しつつ変換先GUI情報を作成する。
(S612)作成した変換先GUI情報を出力する。
(S610) Based on the “conversion source operability evaluation scale”, “conversion destination operability evaluation scale”, and “importance”, it is determined whether or not the GUI is divided by setting the set “GUI area” independently. (S611) The conversion destination GUI information is created while dividing the GUI based on the determination result.
(S612) The created conversion destination GUI information is output.

以上、詳細に説明したように、本発明によれば、入力デバイス及び出力デバイスの種類及びスペックが異なる情報機器間において、搭載されたアプリケーションのGUIを変換することができる。この際、「変換元操作性評価尺度」及び「変換先操作性評価尺度」の間の相違(さらには「重要度」)に基づき、設定した「GUI領域」に沿って分割した変換先のGUIを実現する。従って、入出力デバイスの変化に伴う操作性の低下を抑制して十分な操作性を確保した、且つ変換先の入出力デバイスに適合したGUIが提供される。   As described above in detail, according to the present invention, the GUI of an installed application can be converted between information devices having different types and specifications of input devices and output devices. At this time, based on the difference (and “importance”) between the “conversion source operability evaluation scale” and the “conversion destination operability evaluation scale”, the conversion destination GUI divided along the set “GUI area” To realize. Therefore, it is possible to provide a GUI that suppresses a decrease in operability due to a change in the input / output device, ensures sufficient operability, and is compatible with the input / output device of the conversion destination.

これにより、例えば、入出力デバイスがタッチパネル・ディスプレイであって1つの画面画像で種々の操作を受け入れるGUIを、入出力デバイスがリモコン(ハードボタン)及びディスプレイであって複数の画面画像を切り換えて各画面で比較的単純な操作を受け入れるGUIに変換することができる。   Thus, for example, the input / output device is a touch panel display and a GUI that accepts various operations in one screen image, and the input / output device is a remote control (hard button) and a display and a plurality of screen images are switched to each other. It can be converted to a GUI that accepts relatively simple operations on the screen.

尚、本発明のGUI変換プログラムは、STB1のような変換先の装置のみならず、スマートフォン2のような変換元の装置や、全く別に設けられたGUI変換装置でも搭載可能である。   The GUI conversion program of the present invention can be mounted not only on the conversion destination device such as STB 1 but also on the conversion source device such as the smartphone 2 or a GUI conversion device provided completely separately.

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例であって、何ら発明の範囲を制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。   Various changes, modifications, and omissions of the various embodiments of the present invention described above within the scope of the technical idea and the viewpoint of the present invention can be easily made by those skilled in the art. The above description is merely an example and is not intended to limit the scope of the invention. The invention is limited only as defined in the following claims and the equivalents thereto.

1 STB(情報機器)
101 入出力インタフェース
102 表示・入力部
111 変換元GUI情報蓄積部
112 変換元端末・操作情報蓄積部
113 変換先端末・操作情報蓄積部
114 変換先GUI情報蓄積部
121 変換元GUI特徴量算出部
122 変換先GUI特徴量算出部
123 GUI領域設定部
124 重要度設定部
125 操作体系判定部
126 変換先GUI生成部
131 入出力制御部
132 表示・入力制御部
133 アプリケーション処理部
2 スマートフォン(情報機器)
1 STB (information equipment)
101 Input / Output Interface 102 Display / Input Unit 111 Conversion Source GUI Information Storage Unit 112 Conversion Source Terminal / Operation Information Storage Unit 113 Conversion Destination Terminal / Operation Information Storage Unit 114 Conversion Destination GUI Information Storage Unit 121 Conversion Source GUI Feature Amount Calculation Unit 122 Conversion destination GUI feature value calculation unit 123 GUI area setting unit 124 Importance level setting unit 125 Operation system determination unit 126 Conversion destination GUI generation unit 131 Input / output control unit 132 Display / input control unit 133 Application processing unit 2 Smartphone (information device)

Claims (10)

操作オブジェクトを表示可能な情報機器に搭載されたアプリケーションのグラフィカルユーザインタフェース(GUI)を変換するGUI変換プログラムであって、
変換元の操作オブジェクトに係る情報である変換元GUI情報に基づいて、操作オブジェクト毎に、当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換元操作性評価尺度を算出する変換元GUI特徴量算出手段と、
操作オブジェクト毎に、変換先のGUIにおける操作方法に従って実行される当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換先操作性評価尺度を算出する変換先GUI特徴量算出手段と、
変換元のGUIにおける当該操作オブジェクトの互いの位置関係に基づいて当該操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含むGUI領域を設定するGUI領域設定手段と、
設定されたGUI領域に含まれる操作オブジェクトについて算出された当該変換元操作性評価尺度と当該変換先操作性評価尺度との相違の度合いに基づいて、変換元のGUIを分割するか否かを判定する操作体系判定手段と、
前記操作体系判定手段によって分割すると判定された変換元のGUIを分割して変換先のGUIを決定する変換先GUI生成手段と
してコンピュータを機能させることを特徴とするGUI変換プログラム。
A GUI conversion program for converting a graphical user interface (GUI) of an application mounted on an information device capable of displaying an operation object,
A conversion source that calculates, for each operation object, a conversion source operability evaluation scale corresponding to the time required to complete the operation task for the operation object based on conversion source GUI information that is information related to the conversion source operation object GUI feature amount calculation means;
A conversion-destination GUI feature quantity calculation unit that calculates a conversion-destination operability evaluation scale corresponding to the time required to complete the operation task for the operation object executed according to the operation method in the conversion-destination GUI for each operation object;
GUI area setting means for classifying the operation objects into a plurality of groups based on the mutual positional relationship of the operation objects in the conversion source GUI, and setting a GUI area including only the operation objects belonging to the group for each group; ,
It is determined whether or not to divide the conversion source GUI based on the degree of difference between the conversion source operability evaluation scale calculated for the operation object included in the set GUI area and the conversion destination operability evaluation scale. An operation system determination means to perform,
A GUI conversion program that causes a computer to function as a conversion destination GUI generation unit that determines a conversion destination GUI by dividing a conversion source GUI determined to be divided by the operation system determination unit.
所定の操作タスクを完了させるために操作が必要となる操作オブジェクトを含むGUI領域に対し、該所定の操作タスクに応じた重要度を付与する重要度設定手段としてコンピュータを更に機能させ、
前記操作体系判定手段は、算出された当該変換元操作性評価尺度及び当該変換先操作性評価尺度と、付与された当該重要度とに基づいて、変換元のGUIを分割するか否かを判定する
ことを特徴とする請求項1に記載のGUI変換プログラム。
Causing the computer to further function as an importance setting means for assigning an importance according to the predetermined operation task to a GUI area including an operation object that requires an operation to complete the predetermined operation task;
The operation system determination unit determines whether to divide the conversion source GUI based on the calculated conversion source operability evaluation scale, the conversion destination operability evaluation scale, and the assigned importance. The GUI conversion program according to claim 1, wherein:
前記操作体系判定手段は、設定されたGUI領域に含まれる操作オブジェクトについて、当該変換先操作性評価尺度の合計と当該変換元操作性評価尺度の合計との差もしくは比が所定の尺度閾値以上である場合、及び/又は該GUI領域の重要度が所定の重要度閾値以上である場合、該GUI領域を独立させて変換元のGUIを分割する
ことを特徴とする請求項2に記載のGUI変換プログラム。
The operation system determination means has a difference or ratio between a total of the conversion destination operability evaluation scales and a total of the conversion source operability evaluation scales equal to or greater than a predetermined scale threshold for the operation objects included in the set GUI area. 3. The GUI conversion according to claim 2, wherein when the importance of the GUI area is greater than or equal to a predetermined importance threshold, the GUI of the conversion source is divided by making the GUI area independent. program.
当該変換元操作性評価尺度及び当該変換先操作性評価尺度は、対応する操作オブジェクトの表示位置、対応する操作オブジェクトの大きさ、対応する操作オブジェクトに対する操作タスクを完了させるために必要な操作数、及び変換元のGUIにおける操作オブジェクトの配置に係る情報のうちの複数の組合せに基づいて算出される
ことを特徴とする請求項1から3のいずれか1項に記載のGUI変換プログラム。
The conversion source operability evaluation scale and the conversion destination operability evaluation scale include the display position of the corresponding operation object, the size of the corresponding operation object, the number of operations necessary to complete the operation task for the corresponding operation object, 4. The GUI conversion program according to claim 1, wherein the GUI conversion program is calculated based on a plurality of combinations of information relating to the arrangement of the operation objects in the conversion source GUI. 5.
前記変換元GUI特徴量算出手段は、開始点から操作オブジェクトの中心までの距離Dと操作動作の方向での該操作オブジェクトの幅Wとに基づきフィッツの法則(Fitts's Law)を用いて算出した操作時間を、該操作オブジェクトの変換元操作性評価尺度とすることを特徴とする請求項1から4のいずれか1項に記載のGUI変換プログラム。   The conversion source GUI feature amount calculating means calculates the operation using Fitzs's Law based on the distance D from the start point to the center of the operation object and the width W of the operation object in the direction of the operation action. 5. The GUI conversion program according to claim 1, wherein the time is used as a conversion source operability evaluation scale of the operation object. 前記変換先GUI特徴量算出手段は、
操作オブジェクトを変換先操作方法で決定又は選択するのに要する操作回数と、
該操作オブジェクトを変換先操作方法で決定又は選択する際に設定されたGUI領域間の境界を跨ぐ回数mと該操作オブジェクトの属していないGUI領域での操作回数nとに基づいて算出される複雑度と
に基づいて算出した操作時間を、該操作オブジェクトの変換先操作性評価尺度とすることを特徴とする請求項1から5のいずれか1項に記載のGUI変換プログラム。
The conversion destination GUI feature value calculating means includes:
The number of operations required to determine or select an operation object with the conversion destination operation method, and
Complexity calculated based on the number m of crossing the boundary between GUI areas set when the operation object is determined or selected by the conversion destination operation method and the number n of operations in the GUI area to which the operation object does not belong 6. The GUI conversion program according to claim 1, wherein the operation time calculated based on the degree is used as a conversion destination operability evaluation scale for the operation object.
前記GUI領域設定手段は、各操作オブジェクトについて当該操作オブジェクトの大きさに応じた広さを有する外周領域を設定し、設定された外周領域が互いに重畳する操作オブジェクト同士を同一のグループに属するものとして当該操作オブジェクトを複数のグループに分類することを特徴とする請求項1から6のいずれか1項に記載のGUI変換プログラム。   The GUI area setting means sets an outer peripheral area having a size corresponding to the size of the operation object for each operation object, and sets the operation objects in which the set outer peripheral areas overlap each other as belonging to the same group. 7. The GUI conversion program according to claim 1, wherein the operation objects are classified into a plurality of groups. 1つのGUI領域の重要度は、変換元の当該アプリケーションの所定期間での操作履歴における、当該GUI領域内のいずれかの操作オブジェクトが操作された回数の全操作回数に対する割合に基づいて算出されることを特徴とする請求項2又は3に記載のGUI変換プログラム。   The degree of importance of one GUI area is calculated based on the ratio of the number of times one of the operation objects in the GUI area is operated to the total number of operations in the operation history of the conversion source application for a predetermined period. The GUI conversion program according to claim 2 or 3, wherein 操作オブジェクトを表示可能な情報機器に搭載されたアプリケーションのGUIを変換する装置であって、
変換元の操作オブジェクトに係る情報である変換元GUI情報に基づいて、操作オブジェクト毎に、当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換元操作性評価尺度を算出する変換元GUI特徴量算出手段と、
操作オブジェクト毎に、変換先のGUIにおける操作方法に従って実行される当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換先操作性評価尺度を算出する変換先GUI特徴量算出手段と、
変換元のGUIにおける当該操作オブジェクトの互いの位置関係に基づいて当該操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含むGUI領域を設定するGUI領域設定手段と、
設定されたGUI領域に含まれる操作オブジェクトについて算出された当該変換元操作性評価尺度と当該変換先操作性評価尺度との相違の度合いに基づいて、変換元のGUIを分割するか否かを判定する操作体系判定手段と、
前記操作体系判定手段によって分割すると判定された変換元のGUIを分割して変換先のGUIを決定する変換先GUI生成手段と
を有することを特徴とする装置。
An apparatus for converting a GUI of an application installed in an information device capable of displaying an operation object,
A conversion source that calculates, for each operation object, a conversion source operability evaluation scale corresponding to the time required to complete the operation task for the operation object based on conversion source GUI information that is information related to the conversion source operation object GUI feature amount calculation means;
A conversion-destination GUI feature quantity calculation unit that calculates a conversion-destination operability evaluation scale corresponding to the time required to complete the operation task for the operation object executed according to the operation method in the conversion-destination GUI for each operation object;
GUI area setting means for classifying the operation objects into a plurality of groups based on the mutual positional relationship of the operation objects in the conversion source GUI, and setting a GUI area including only the operation objects belonging to the group for each group; ,
It is determined whether or not to divide the conversion source GUI based on the degree of difference between the conversion source operability evaluation scale calculated for the operation object included in the set GUI area and the conversion destination operability evaluation scale. An operation system determination means to perform,
A conversion destination GUI generation unit configured to divide a conversion source GUI determined to be divided by the operation system determination unit and determine a conversion destination GUI;
操作オブジェクトを表示可能な情報機器に搭載されたアプリケーションのGUIを変換するGUI変換方法であって、
変換元の操作オブジェクトに係る情報である変換元GUI情報に基づいて、操作オブジェクト毎に、当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換元操作性評価尺度を算出する第1のステップと、
操作オブジェクト毎に、変換先のGUIにおける操作方法に従って実行される当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換先操作性評価尺度を算出する第2のステップと、
変換元のGUIにおける当該操作オブジェクトの互いの位置関係に基づいて当該操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含むGUI領域を設定する第3のステップと、
設定されたGUI領域に含まれる操作オブジェクトについて算出された当該変換元操作性評価尺度と当該変換先操作性評価尺度との相違の度合いに基づいて、変換元のGUIを分割するか否かを判定する第4のステップと、
第4のステップで分割すると判定された変換元のGUIを分割して変換先のGUIを決定する第5のステップと
を有することを特徴とするGUI変換方法。
A GUI conversion method for converting a GUI of an application installed in an information device capable of displaying an operation object,
A conversion source operability evaluation scale corresponding to the time required to complete the operation task for the operation object is calculated for each operation object based on the conversion source GUI information that is information related to the conversion source operation object. And the steps
A second step of calculating, for each operation object, a conversion destination operability evaluation scale corresponding to a time required to complete the operation task for the operation object executed according to the operation method in the conversion destination GUI;
A third step of classifying the operation objects into a plurality of groups based on the mutual positional relationship of the operation objects in the conversion source GUI, and setting a GUI area including only the operation objects belonging to the group for each group; ,
It is determined whether or not to divide the conversion source GUI based on the degree of difference between the conversion source operability evaluation scale calculated for the operation object included in the set GUI area and the conversion destination operability evaluation scale. A fourth step to:
And a fifth step of determining a conversion destination GUI by dividing the conversion source GUI determined to be divided in the fourth step.
JP2013180488A 2013-08-30 2013-08-30 GUI conversion program, apparatus and GUI conversion method based on operability evaluation scale Active JP6076864B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013180488A JP6076864B2 (en) 2013-08-30 2013-08-30 GUI conversion program, apparatus and GUI conversion method based on operability evaluation scale

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013180488A JP6076864B2 (en) 2013-08-30 2013-08-30 GUI conversion program, apparatus and GUI conversion method based on operability evaluation scale

Publications (2)

Publication Number Publication Date
JP2015049661A JP2015049661A (en) 2015-03-16
JP6076864B2 true JP6076864B2 (en) 2017-02-08

Family

ID=52699643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013180488A Active JP6076864B2 (en) 2013-08-30 2013-08-30 GUI conversion program, apparatus and GUI conversion method based on operability evaluation scale

Country Status (1)

Country Link
JP (1) JP6076864B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102225356B1 (en) * 2019-01-04 2021-03-09 울산과학기술원 Method and apparatus of providing feedback on design of graphic user interface(gui)
JP7334649B2 (en) 2020-02-17 2023-08-29 富士通株式会社 Information processing device, information processing program, and information processing system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212324A (en) * 1996-02-07 1997-08-15 Fujitsu General Ltd Information display terminal
JP2000312391A (en) * 1999-04-27 2000-11-07 Matsushita Electric Ind Co Ltd Device controller, controller, two-way remote commander and device to be controlled
US7895522B2 (en) * 2001-09-28 2011-02-22 Ntt Docomo, Inc. Layout of platform specific graphical user interface widgets migrated between heterogeneous device platforms
JP4262619B2 (en) * 2004-03-19 2009-05-13 クラリオン株式会社 Information processing apparatus, control method thereof, and program
JP4857406B1 (en) * 2010-06-25 2012-01-18 パナソニック株式会社 Control device and script conversion method
JP5477201B2 (en) * 2010-07-01 2014-04-23 日本電気株式会社 GUI analysis apparatus, method, and program

Also Published As

Publication number Publication date
JP2015049661A (en) 2015-03-16

Similar Documents

Publication Publication Date Title
US9389779B2 (en) Depth-based user interface gesture control
US9317131B2 (en) System and method for generating a representative computerized display of a user'S interactions with a touchscreen based hand held device on a gazed-at screen
EP3690624B1 (en) Display device and method of controlling the same
KR102059648B1 (en) Display apparatus and method for controlling thereof
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
US9753547B2 (en) Interactive displaying method, control method and system for achieving displaying of a holographic image
KR102102157B1 (en) Display apparatus for executing plurality of applications and method for controlling thereof
KR102143584B1 (en) Display apparatus and method for controlling thereof
AU2013356799A1 (en) Display device and method of controlling the same
KR102301053B1 (en) Display apparatus and method for controlling thereof
KR20140003149A (en) User customizable interface system and implementing method thereof
CN103294371A (en) Electronic apparatus, and method for controlling the same
JP6076864B2 (en) GUI conversion program, apparatus and GUI conversion method based on operability evaluation scale
KR20110013076A (en) Ring input device for gestural and touch interface use camera system
KR20140103631A (en) Apparatus and method for processing input through user interface
KR101922426B1 (en) System and method for providing information with stages
KR101491648B1 (en) System and Method for remote control using camera
KR20160139376A (en) Display apparatus and Method for controlling the display apparatus thereof
WO2018136029A1 (en) Input device with touch sensitive surface
KR20160097392A (en) Display apparatus and Method for providing user interface thereof
KR101262018B1 (en) Apparauts for setting relation graph of input and output
CN115469786A (en) Display apparatus and drawing object selection method
KR20200047284A (en) Augmented Reality Information Providing the Method and the Server
KR20180026843A (en) Display apparatus, display system and control method thereof
KR20220123128A (en) Phased information providing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170111

R150 Certificate of patent or registration of utility model

Ref document number: 6076864

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150