JP6158743B2 - User interface component control apparatus and user interface component control program - Google Patents

User interface component control apparatus and user interface component control program Download PDF

Info

Publication number
JP6158743B2
JP6158743B2 JP2014085249A JP2014085249A JP6158743B2 JP 6158743 B2 JP6158743 B2 JP 6158743B2 JP 2014085249 A JP2014085249 A JP 2014085249A JP 2014085249 A JP2014085249 A JP 2014085249A JP 6158743 B2 JP6158743 B2 JP 6158743B2
Authority
JP
Japan
Prior art keywords
component
data
user interface
data signal
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014085249A
Other languages
Japanese (ja)
Other versions
JP2015207036A (en
Inventor
孔希 草野
孔希 草野
広夢 宮下
広夢 宮下
睦裕 中茂
睦裕 中茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014085249A priority Critical patent/JP6158743B2/en
Publication of JP2015207036A publication Critical patent/JP2015207036A/en
Application granted granted Critical
Publication of JP6158743B2 publication Critical patent/JP6158743B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ユーザインタフェース部品を変形する技術に関する。   The present invention relates to a technique for deforming a user interface component.

ソフトウェアプログラムの設計者は、ユーザインタフェース部品(以下、UI部品)を設計する際、当該UI部品が操作可能であることをユーザに伝えることが求められる。また、UI部品を操作したことにより、次にどのような事象が起こるのかを予測できるようすることも重要である。   When designing a user interface component (hereinafter, UI component), a software program designer is required to inform the user that the UI component is operable. It is also important to be able to predict what event will occur next when the UI component is operated.

例えば、GUI上に四角形のUI部品を単に表示するのみでは、当該UI部品がボタンであることを直感的に認識させることは難しい。そこで、当該UI部品に影を付与することにより、ボタンとして機能しそうであることを予測可能となる。また、動作内容を示したラベルを更に付与することにより、次に何が起こるのかを予測可能となる。   For example, simply displaying a square UI component on the GUI makes it difficult to intuitively recognize that the UI component is a button. Therefore, by adding a shadow to the UI component, it is possible to predict that the UI component is likely to function as a button. In addition, it is possible to predict what will happen next by adding a label indicating the operation content.

このように、現実世界の事象に模してUI部品を設計することにより、ユーザに対してUI部品に関する操作上の理解を向上することができる。しかし、現実世界の事象を模すことにより、デザインの表現方法に対して現実世界に限るという制約が生じてしまう。これにより、例えばタッチ画面上で指をスライドさせるスワイプなど、現実世界にはない動作を持つようなUI部品を設計することができない。   In this way, by designing a UI component that mimics a real world event, it is possible to improve the user's understanding of the operation regarding the UI component. However, imitating real-world events creates a restriction that the design expression method is limited to the real world. As a result, it is not possible to design a UI component that has an operation that does not exist in the real world, such as a swipe of sliding a finger on the touch screen.

そこで、現実世界にはない動作を前提としたフラットUIというUI部品の設計方法がある。シンプルなUI部品のみでGUIを構成することにより、現実世界の事象との乖離を小さくし、ユーザに与える操作上の違和感を抑えることができる(非特許文献1)。   Therefore, there is a UI component design method called a flat UI based on an operation that does not exist in the real world. By configuring the GUI with only simple UI components, it is possible to reduce a deviation from an event in the real world and to suppress an operational discomfort given to the user (Non-Patent Document 1).

また、UI部品を操作する動作やUI部品を操作するための予備動作(例えばマウスカーソルをUI部品の上に重ねるマウスオーバ)を検知し、操作対象のUI部品の形状や色を変更することにより、ユーザに対して操作可能性のフィードバックを与える方法もある(非特許文献2)。   In addition, by detecting an operation for operating a UI component or a preliminary operation for operating a UI component (for example, mouse over the mouse cursor on the UI component), the shape or color of the UI component to be operated is changed. There is also a method of giving feedback of operability to the user (Non-Patent Document 2).

“iOS 7 Design Resources”、Apple、[online]、[平成26年4月4日検索]、<URL: https://developer.apple.com/library/ios/design/index.html#//apple_ref/doc/uid/TP40013289>“IOS 7 Design Resources”, Apple, [online], [Search April 4, 2014], <URL: https://developer.apple.com/library/ios/design/index.html#//apple_ref / doc / uid / TP40013289> “Crossing the bridge over Norman’s Gulf of Execution: revealing feedforward’s true identity”、ACM、[online]、[平成26年4月4日検索]、<URL: http://dl.acm.org/citation.cfm?id=2466255>“Crossing the bridge over Norman's Gulf of Execution: revealing feedforward's true identity”, ACM, [online], [April 4, 2014 search], <URL: http://dl.acm.org/citation.cfm? id = 2466255>

しかしながら、非特許文献1の技術では、シンプルなUI部品のみを用いているため、デザインの表現方法に大きな制約が課され、UI部品の操作可能性や操作方法を判別することが難しい。また、非特許文献2の技術では、ユーザがUI部品を操作する動作やその予備動作を意図的に行わなければ、操作可能性等のフィードバックを与えることができない。   However, since the technique of Non-Patent Document 1 uses only simple UI parts, a great restriction is imposed on the design expression method, and it is difficult to determine the operability and operation method of UI parts. Further, according to the technique of Non-Patent Document 2, feedback such as operability cannot be given unless the user intentionally performs the operation of operating the UI component or its preliminary operation.

他方、ゲームのようにコントローラによって仮想空間を操作する場合、例えばどれがアイテムを取得できる操作かなど、どのUI部品が目的の操作に用いられるかを判別することは難しい。そのため、アイテムを常に光らせたり、デフォルメしたり、アニメーション表示をすることにより、アイテムの操作可能性を演出する処理が施されている。このように、仮想空間上でUI部品を設計する場合であっても、デザインの表現方法に著しい制約が課せられてしまい、ユーザにとっては画面が見づらくなる、違和感があるなどの問題も発生する。   On the other hand, when a virtual space is operated by a controller as in a game, it is difficult to determine which UI component is used for a target operation, for example, which operation can acquire an item. For this reason, a process for producing the operability of the item is performed by always making the item shine, deforming, or displaying an animation. As described above, even when UI parts are designed in a virtual space, a significant restriction is imposed on the design expression method, which causes problems such as difficulty in viewing the screen and a sense of incongruity for the user.

本発明は、上記事情を鑑みてなされたものであり、UI部品の操作可能性の表出度合いを改善することを第1の目的とし、UI部品の操作による機能の表出度合いを改善することを第2の目的とする。   The present invention has been made in view of the above circumstances, and has as its first object to improve the degree of expression of operability of UI parts, and to improve the degree of expression of functions by operating UI parts. Is the second purpose.

以上の課題を解決するため、請求項1に記載のユーザインタフェース部品制御装置は、UI部品の変化方法をデータ信号の種別に応じて記憶しておく記憶手段と、UI部品データを入力し、前記UI部品データの操作に関係のないデータ信号を更に入力する入力手段と、前記入力されたデータ信号の種別に対応するUI部品の変化方法を前記記憶手段から読み出して、前記UI部品データに割り付ける割付手段と、前記UI部品データに割り付けられたUI部品の変化方法を出力し、前記UI部品データを当該UI部品の変化方法で変化させて表示させる出力手段と、を有することを要旨とする。   In order to solve the above problems, the user interface component control device according to claim 1 inputs a UI component data, storage means for storing a UI component change method according to the type of the data signal, and Input means for further inputting a data signal not related to the operation of the UI part data, and allocation for reading the UI part changing method corresponding to the type of the input data signal from the storage means and assigning the UI part data to the UI part data And a means for outputting a UI component change method assigned to the UI component data, and outputting the UI component data by changing the UI component data.

本発明によれば、UI部品の変化方法をデータ信号の種別に応じて記憶手段に記憶しておき、UI部品データを入力し、当該UI部品データの操作に関係のないデータ信号を更に入力し、入力されたデータ信号の種別に対応するUI部品の変化方法を上記記憶手段から読み出してUI部品データに割り付け、当該UI部品データに割り付けられたUI部品の変化方法を出力し、該当のUI部品データを当該UI部品の変化方法で変化させて表示させるため、UI部品の操作可能性の表出度合いを向上することができる。   According to the present invention, the UI component changing method is stored in the storage unit according to the type of the data signal, the UI component data is input, and the data signal not related to the operation of the UI component data is further input. The UI part changing method corresponding to the type of the input data signal is read from the storage means and assigned to the UI part data, and the UI part changing method assigned to the UI part data is output, and the corresponding UI part is output. Since the data is changed and displayed by the UI component changing method, the degree of expression of the operability of the UI component can be improved.

請求項2に記載のユーザインタフェース部品制御装置は、請求項1に記載のユーザインタフェース部品制御装置において、前記記憶手段は、前記UI部品の変化方法をUI部品の動作種別に更に応じて記憶しておき、前記割付手段は、前記入力されたUI部品データの動作種別に更に対応するUI部品の変化方法を前記UI部品データに割り付けることを要旨とする。   The user interface component control device according to claim 2 is the user interface component control device according to claim 1, wherein the storage means stores the UI component change method further according to the operation type of the UI component. In another aspect, the assigning means assigns a UI component changing method further corresponding to the operation type of the input UI component data to the UI component data.

請求項3に記載のユーザインタフェース部品制御装置は、請求項1又は2に記載のユーザインタフェース部品制御装置において、前記出力手段は、前記UI部品データの機能情報を更に出力し、前記UI部品データに関連付けて表示させることを要旨とする。   The user interface component control device according to claim 3 is the user interface component control device according to claim 1 or 2, wherein the output means further outputs function information of the UI component data, and the UI component data is included in the UI component data. The gist is to display them in association.

本発明によれば、UI部品データの機能情報を更に出力し、UI部品データに関連付けて表示させるため、UI部品の操作による機能の表出度合いを向上することができる。   According to the present invention, the function information of the UI component data is further output and displayed in association with the UI component data. Therefore, the degree of function display by operating the UI component can be improved.

請求項4に記載のユーザインタフェース部品制御装置は、請求項1乃至3のいずれかに記載のユーザインタフェース部品制御装置において、前記割付手段は、前記UI部品データに対して設定された優先度に応じて前記UI部品データの変化度合いをそれぞれ調整することを要旨とする。   The user interface component control device according to claim 4 is the user interface component control device according to any one of claims 1 to 3, wherein the assigning unit is configured according to a priority set for the UI component data. The gist is to adjust the degree of change of the UI component data.

請求項5に記載のユーザインタフェース部品制御装置は、請求項1乃至4のいずれかに記載のユーザインタフェース部品制御装置において、前記割付手段は、前記データ信号の種別に対して設定された優先度に応じて前記UI部品データの変化度合いを調整することを要旨とする。   The user interface component control device according to claim 5 is the user interface component control device according to any one of claims 1 to 4, wherein the allocating unit sets the priority set for the type of the data signal. The gist is to adjust the change degree of the UI component data accordingly.

請求項6に記載のユーザインタフェース部品制御装置は、請求項1乃至5のいずれかに記載のユーザインタフェース部品制御装置において、前記データ信号は、前記UI部品データが表示される表示装置の画面若しくは前記表示装置に対するユーザ操作に基づくデータ信号、前記表示装置で計測されるデータ信号、1つ以上の他の装置から前記表示装置に入力されるデータ信号、又は1人以上のユーザの生体情報であることを要旨とする。   The user interface component control device according to claim 6 is the user interface component control device according to any one of claims 1 to 5, wherein the data signal is a screen of a display device on which the UI component data is displayed, or the A data signal based on a user operation on the display device, a data signal measured by the display device, a data signal input to the display device from one or more other devices, or biological information of one or more users Is the gist.

請求項7に記載のユーザインタフェース部品制御プログラムは、コンピュータを請求項1乃至6のいずれかに記載のユーザインタフェース部品制御装置として機能させることを要旨とする。   A gist of a user interface component control program according to a seventh aspect is to cause a computer to function as the user interface component control device according to any one of the first to sixth aspects.

本発明によれば、UI部品の操作可能性の表出度合いやUI部品の操作による機能の表出度合いを向上することができる。   ADVANTAGE OF THE INVENTION According to this invention, the expression degree of the operativity of UI components and the expression degree of the function by operation of UI components can be improved.

UI部品制御装置の機能ブロック構成を示す図である。It is a figure which shows the functional block structure of UI component control apparatus. データ入力部の処理フローを示す図である。It is a figure which shows the processing flow of a data input part. UI部品の属性情報例を示す図である。It is a figure which shows the example of attribute information of UI components. データ信号例を示す図である。It is a figure which shows the example of a data signal. 変形方法割付部の処理フローを示す図である。It is a figure which shows the processing flow of a deformation | transformation method allocation part. 変形方法例を示す図である。It is a figure which shows the example of a deformation | transformation method. 変形方法出力部の処理フローを示す図である。It is a figure which shows the processing flow of a deformation | transformation method output part. UI部品の変形表示例を示す図である。It is a figure which shows the example of a deformation | transformation display of UI components. UI部品の変形表示例を示す図である。It is a figure which shows the example of a deformation | transformation display of UI components. UI部品制御装置のプログラムコード例を示す図である。It is a figure which shows the example of a program code of UI component control apparatus.

以下、本発明を実施する一実施の形態について図面を用いて説明する。   Hereinafter, an embodiment for carrying out the present invention will be described with reference to the drawings.

図1は、本実施の形態に係るUI部品制御装置1の機能ブロック構成を示す図である。UI部品制御装置1は、データ入力部11と、変形方法割付部12と、変形方法出力部13と、変形方法記憶部14と、を備えて構成される。例えばタブレット端末などの装置内部で動作し、当該装置(以下、実装装置)の画面に表示されているUI部品データを変形させる。   FIG. 1 is a diagram showing a functional block configuration of a UI component control apparatus 1 according to the present embodiment. The UI component control device 1 includes a data input unit 11, a deformation method allocation unit 12, a deformation method output unit 13, and a deformation method storage unit 14. For example, it operates inside a device such as a tablet terminal, and deforms UI component data displayed on the screen of the device (hereinafter referred to as a mounting device).

データ入力部11は、変形対象のUI部品データを入力し、当該UI部品データの操作に直接関係しないデータ信号を更に入力する機能を備えている。データ信号については後で詳述する。   The data input unit 11 has a function of inputting UI component data to be deformed and further inputting a data signal not directly related to the operation of the UI component data. The data signal will be described in detail later.

変形方法割付部12は、入力されたデータ信号の種別に対応し、入力されたUI部品データの動作種別に更に対応するUI部品の変形方法を変形方法記憶部14から取得して、入力されたUI部品データに割り付ける機能を備えている。   The deformation method allocating unit 12 obtains a UI component deformation method corresponding to the input data signal type and further corresponds to the operation type of the input UI component data from the deformation method storage unit 14 and is input. A function for assigning to UI component data is provided.

変形方法出力部13は、UI部品データに割り付けられたUI部品の変形方法を実装装置へ出力し、変形対象のUI部品データを当該UI部品の変形方法で一時的に変形させて画面に表示させる機能を備えている。   The deformation method output unit 13 outputs the deformation method of the UI component assigned to the UI component data to the mounting apparatus, and temporarily deforms the UI component data to be deformed by the deformation method of the UI component and displays it on the screen. It has a function.

変形方法記憶部14は、UI部品の変形方法をUI部品データの動作種別とデータ信号の種別に応じて記憶しておく機能を備えている。   The deformation method storage unit 14 has a function of storing UI component deformation methods according to the operation type of UI component data and the type of data signal.

次に、UI部品制御装置1で行うUI部品の変形方法について説明する。最初に、データ入力部11の動作を説明する。図2は、データ入力部11の処理フローを示す図である。   Next, a UI component deformation method performed by the UI component control apparatus 1 will be described. First, the operation of the data input unit 11 will be described. FIG. 2 is a diagram illustrating a processing flow of the data input unit 11.

まず、ステップS101において、データ入力部11は、変形対象のUI部品データを入力し、入力された当該UI部品データの属性情報を更に入力する。   First, in step S101, the data input unit 11 inputs UI component data to be deformed, and further inputs attribute information of the input UI component data.

UI部品データとは、ユーザが何かしらの操作を行うことが可能な部品データである。例えば、ボタン、アイコン、スクロールバーなどのGUI部品データ、ゲームの宝箱など仮想空間上に表示される操作可能なオブジェクトデータ、現実空間に存在する操作可能な部品データである。   The UI component data is component data that allows the user to perform some operation. For example, GUI part data such as buttons, icons, and scroll bars, operable object data displayed in a virtual space such as a game treasure box, and operable part data existing in a real space.

また、UI部品データの属性情報とは、UI部品の属性を表した情報であり、UI部品の名前、種別、動作、機能によって構成される。例えば、図3のような表形式の属性情報が入力される。その他、CSV(Comma-Separated Values)形式やXML(Extensible Markup Language)形式でもよい。   The UI component data attribute information is information representing the attributes of the UI component, and is configured by the name, type, operation, and function of the UI component. For example, tabular attribute information as shown in FIG. 3 is input. In addition, a CSV (Comma-Separated Values) format or an XML (Extensible Markup Language) format may be used.

次に、ステップS102において、データ入力部11は、ステップS101で入力されたUI部品データの操作に関係のないデータ信号を入力する。   Next, in step S102, the data input unit 11 inputs a data signal unrelated to the operation of the UI part data input in step S101.

ここで入力されるデータ信号とは、入力されたUI部品データを変形するために用いる信号である。このデータ信号に基づきUI部品データを変形することにより、当該UI部品データが直接操作されていない状況において、当該UI部品データの操作可能性を表出することができる。   The data signal input here is a signal used to transform the input UI component data. By deforming the UI part data based on this data signal, it is possible to express the operability of the UI part data in a situation where the UI part data is not directly operated.

具体的には、データ種別と実測値で構成される。例えば、図4のようなデータ信号が入力される。(1)クリック、タップ、スクロール、叩くなど、入力されたUI部品データ以外のUI部品データに対する実装装置画面上での操作に基づくデータ信号、(2)実装装置全体に与えられ又は実装装置で計測される実装装置の傾き、振動、音、位置情報などの外的要因に基づくデータ信号、(3)脈拍数、筋電位、体温、心拍数などの生体情報、(4)実装装置での操作に関係しない他の装置から入力される上記(1)〜(3)のようなデータ信号である。これらのデータ信号を計測する場合、実装装置に搭載されている各種センサを用いて計測してもよいし、実装装置に無線又は有線で接続された計測装置を用いて計測してもよい。また、上記他の装置は複数であってもよいし、上記生体情報は複数種、複数ユーザのものであってもよい。   Specifically, it consists of a data type and an actual measurement value. For example, a data signal as shown in FIG. 4 is input. (1) Data signal based on operation on mounting device screen for UI component data other than input UI component data, such as click, tap, scroll, hit, etc., (2) given to the entire mounting device or measured by the mounting device Data signals based on external factors such as tilt, vibration, sound, position information, etc., (3) biological information such as pulse rate, myoelectric potential, body temperature, heart rate, and (4) operation on the mounting device It is a data signal as in the above (1) to (3) that is input from another unrelated device. When these data signals are measured, they may be measured using various sensors mounted on the mounting device, or may be measured using a measuring device connected to the mounting device wirelessly or by wire. In addition, there may be a plurality of other devices, and the biological information may be of a plurality of types and a plurality of users.

次に、ステップS103において、データ入力部11は、ステップS102で入力されたデータ信号の種別に対して設定されている優先度を取得する。なお、入力されるデータ信号の種別は予め把握可能であるため、UI部品制御装置1によって、データ信号の種別に対して優先度が事前に設定され、内部に記憶されている。優先度の設定基準については任意である。   Next, in step S103, the data input unit 11 acquires the priority set for the type of the data signal input in step S102. Since the type of the data signal to be input can be grasped in advance, the UI component control device 1 sets the priority for the type of the data signal in advance and stores it in the inside. The priority setting standard is arbitrary.

次に、ステップS104において、データ入力部11は、全てのデータ信号を入力したか否かを判定する。全てのデータ信号が入力されていない場合にはステップS102へ戻り、未入力のデータ信号についてステップS102,S103を行う。一方、全てのデータ信号が入力されている場合には、次のステップS105へ進む。   Next, in step S104, the data input unit 11 determines whether all data signals have been input. If all the data signals are not input, the process returns to step S102, and steps S102 and S103 are performed on the uninput data signal. On the other hand, if all the data signals are input, the process proceeds to the next step S105.

最後に、ステップS105において、データ入力部11は、ステップS101で入力されたUI部品データに対して設定されている優先度を取得する。なお、入力されるUI部品データは予め把握可能であるため、UI部品制御装置1によって、各UI部品データに対して優先度が事前に設定され、内部に記憶されている。この優先度の設定基準についても任意である。   Finally, in step S105, the data input unit 11 acquires the priority set for the UI component data input in step S101. Since the UI component data that can be input can be grasped in advance, the UI component control device 1 sets a priority for each UI component data in advance and stores it therein. This priority setting criterion is also arbitrary.

次に、変形方法割付部12の動作を説明する。図5は、変形方法割付部12の処理フローを示す図である。   Next, the operation of the deformation method assignment unit 12 will be described. FIG. 5 is a diagram illustrating a processing flow of the deformation method assigning unit 12.

まず、ステップS201において、変形方法割付部12は、データ入力部11から変形対象のUI部品データと当該UI部品データの属性情報を受け取り、当該属性情報を参照して当該UI部品データの動作を特定する。   First, in step S201, the deformation method assigning unit 12 receives UI component data to be deformed and attribute information of the UI component data from the data input unit 11, and specifies the operation of the UI component data with reference to the attribute information. To do.

次に、ステップS202において、変形方法割付部12は、データ入力部11からデータ信号を受け取り、当該データ信号に含まれるデータ種別から当該データ信号の種別を特定する。   Next, in step S202, the deformation method allocation unit 12 receives the data signal from the data input unit 11, and specifies the type of the data signal from the data type included in the data signal.

次に、ステップS203において、変形方法割付部12は、変形方法記憶部14を参照し、ステップ201で特定されたUI部品データの動作種別と、ステップS202で特定されたデータ信号の種別とに対応する変形方法を特定し、特定した変形方法を当該UI部品データに割り付ける。   Next, in step S203, the deformation method allocation unit 12 refers to the deformation method storage unit 14, and corresponds to the operation type of the UI component data specified in step 201 and the type of the data signal specified in step S202. The deformation method to be specified is specified, and the specified deformation method is assigned to the UI component data.

例えば、図6のような変形方法データが変形方法記憶部14に記憶されており、UI部品データの動作種別が「押下」、データ信号の種別が「装置利用者の心拍」の場合、『「心拍数が閾値以上」であればUI部品に「影を表示」』という変形方法が特定され、入力されたUI部品データに割り付けられる。   For example, when deformation method data as shown in FIG. 6 is stored in the deformation method storage unit 14, the operation type of the UI component data is “press” and the data signal type is “device user's heart rate”, “ If the heart rate is equal to or greater than the threshold value, a deformation method of “display shadow” on the UI component is specified and assigned to the input UI component data.

より具体的には、変形方法記憶部14の変形方法データからUI部品データの動作種別及びデータ信号の種別に対応する変形方法を特定し、データ信号に含まれる実測値が動作の発動条件を満たしているかを判定して、当該発動条件を満たしている場合には、特定した変形方法でUI部品データの変形方法を決定し、実測値に基づき変形量を決定し、UI部品データに割り付ける。   More specifically, a deformation method corresponding to the operation type of UI component data and the type of data signal is specified from the deformation method data in the deformation method storage unit 14, and the actual measurement value included in the data signal satisfies the operation trigger condition. When the activation condition is satisfied, the deformation method of the UI part data is determined by the specified deformation method, the deformation amount is determined based on the actually measured value, and assigned to the UI part data.

発動条件や変形量としては、例えば、変形対象のUI部品データ以外のUI部品データに対する操作であれば、当該変形対象のUI部品データから一定距離以内で操作された場合にのみ発動し、その距離が近いほど変化量を大きくする。また、前述の外的要因や生体情報であれば、それらの実測値の大きさが一定以上である場合にのみ発動し、その実測値が大きいほど変化量を大きくする。その他にも、位置情報については、特定位置から一定距離以内に入った場合にのみ一時的に変形させる、といった発動条件や変形量も考えられる。   As the activation condition and the deformation amount, for example, if the operation is performed on UI component data other than the UI component data to be deformed, it is activated only when operated within a certain distance from the UI component data to be deformed. The closer the is, the larger the amount of change. Further, in the case of the above-described external factors and biological information, it is activated only when the actual measurement value is greater than or equal to a certain value, and the change amount is increased as the actual measurement value increases. In addition, for the position information, there may be an activation condition and a deformation amount such that the position information is temporarily deformed only within a certain distance from the specific position.

なお、図6のような変形方法データは、UI部品データの動作種別とデータ信号の種別を検索クエリとして変形方法を特定可能な形式であればどのような形式でもよい。また、図6の変形方法や動作の発動条件は例であり、UI部品が操作可能であることを示す変形方法であれば任意の変形方式等を登録してもよいし、動作の発動条件を任意に設定してもよい。   The deformation method data as shown in FIG. 6 may be in any format as long as the deformation method can be specified using the operation type of UI component data and the type of data signal as a search query. Also, the deformation method and operation trigger conditions in FIG. 6 are examples, and any deformation method or the like may be registered as long as the UI method can be operated. It may be set arbitrarily.

次に、ステップS204において、変形方法割付部12は、データ入力部11からデータ信号の種別に対する優先度を受け取り、当該優先度の大きさに応じて、ステップS203で特定・割り付けされた変形方法の変形量を変更する。例えば、優先度が高い場合にはUI部品から影までの距離を大きくする。これにより、UI部品の変形量がデータ信号の種別毎に調整されることになる。   Next, in step S204, the deformation method allocating unit 12 receives the priority with respect to the type of the data signal from the data input unit 11, and according to the magnitude of the priority, the deformation method allocating unit 12 Change the amount of deformation. For example, when the priority is high, the distance from the UI component to the shadow is increased. As a result, the deformation amount of the UI component is adjusted for each type of data signal.

次に、ステップS205において、変形方法割付部12は、データ入力部11から全てのデータ信号を受け取ったか否かを判定する。全てのデータ信号を受け取っていない場合にはステップS202へ戻り、残りのデータ信号についてステップS202〜S204を行う。一方、全てのデータ信号を受け取っている場合には、次のステップS206へ進む。   Next, in step S <b> 205, the deformation method allocation unit 12 determines whether all data signals have been received from the data input unit 11. If all the data signals have not been received, the process returns to step S202, and steps S202 to S204 are performed for the remaining data signals. On the other hand, if all data signals have been received, the process proceeds to the next step S206.

最後に、ステップS206において、変形方法割付部12は、データ入力部11からUI部品データに対する優先度を受け取り、当該優先度の大きさに応じて、各変形方法の変形量を更に変更する。これにより、UI部品の変形量がUI部品毎に調整されることなる。   Finally, in step S206, the deformation method assigning unit 12 receives the priority for the UI component data from the data input unit 11, and further changes the deformation amount of each deformation method in accordance with the magnitude of the priority. As a result, the deformation amount of the UI component is adjusted for each UI component.

次に、変形方法出力部13の動作を説明する。図7は、変形方法出力部13の処理フローを示す図である。   Next, the operation of the deformation method output unit 13 will be described. FIG. 7 is a diagram illustrating a processing flow of the deformation method output unit 13.

ステップS301において、変形方法出力部13は、変形対象のUI部品データに割り付けられた変形方法とその変形量を実装装置に出力し、当該実装装置に表示されている該当のUI部品データを一時的に変形させる。このとき、UI部品制御装置1に入力されたUI部品データを併せて出力してもよい。   In step S301, the deformation method output unit 13 outputs the deformation method assigned to the UI component data to be deformed and the amount of deformation to the mounting device, and temporarily outputs the corresponding UI component data displayed on the mounting device. To deform. At this time, UI component data input to the UI component control apparatus 1 may be output together.

UI部品データの変形表示例を図8に示す。データ信号の種別に対する優先度やUI部品データに対する優先度に応じて、データ信号の種別毎・UI部品データ毎に該当のUI部品データの変形量が調整される。なお、図8では1つのUI部品データに対して1つの変形方法を適用する場合を例示しているが、1つのUI部品データに対して複数の変形方法を重畳して適用してもよい。例えば、「加速度」というデータ信号の種別に対する「影を表示」という変形方法と、「音」に対する「揺らめかせる」という変形方法とが割り付けられている場合、該当のUI部品は「影を表示しながら揺らめかせる」というように表示される。   FIG. 8 shows a modified display example of UI part data. The amount of deformation of the corresponding UI component data is adjusted for each type of data signal and for each UI component data in accordance with the priority with respect to the type of data signal and the priority with respect to UI component data. Although FIG. 8 illustrates a case where one deformation method is applied to one UI component data, a plurality of deformation methods may be applied to one UI component data in a superimposed manner. For example, when a deformation method of “display shadow” for the data signal type “acceleration” and a deformation method of “sway” to “sound” are assigned, the corresponding UI component displays “shadow display”. It is displayed as “Sway.

更に、ステップS301において、変形方法出力部13は、変形対象のUI部品データの機能情報を実装装置に更に出力し、当該実装装置に表示されている該当のUI部品データに当該UI部品データの機能を表示させる。   Further, in step S301, the deformation method output unit 13 further outputs the function information of the UI component data to be deformed to the mounting device, and adds the function of the UI component data to the corresponding UI component data displayed on the mounting device. Is displayed.

UI部品データの機能情報の表示例を図9に示す。このように、UI部品データの属性情報として与えられる機能に基づき当該機能情報を併せて表示することにより、ユーザに対してUI部品の機能を示唆することができ、単に操作可能であるだけでなく、その後に何か起こるのかを提示することができる。   A display example of the function information of the UI component data is shown in FIG. Thus, by displaying the function information based on the function given as the attribute information of the UI part data, the function of the UI part can be suggested to the user, and it is not only operable. Then you can show what happens.

最後に、UI部品の変形方法を特定して表示するためのプログラムコードの例を提示する。例えば、UI部品制御装置1に対して、「partA」=UI部品データ、「in_array」=partAの操作に関係しないデータ信号の配列(例えば、in_array=[in_加速度,in_傾き,…])、「db」=変形方法記憶部、といった入力情報が与えられた場合、図10のプログラムコードを用いてUI部品データ(partA)に対する変形方法を検出することができる。なお、partA.nameは名前、partA.typeは種別、partA.actは動作、partA.funcは機能である。   Finally, an example of a program code for specifying and displaying a UI component deformation method is presented. For example, with respect to the UI part control apparatus 1, an arrangement of data signals not related to the operation of “part A” = UI part data, “in_array” = part A (for example, in_array = [in_acceleration, in_tilt,...]), “ When input information such as “db” = deformation method storage unit is given, it is possible to detect the deformation method for the UI component data (partA) using the program code of FIG. In addition, partA. name is the name, partA. type is the type, partA. act is operation, partA. func is a function.

なお、本実施の形態では、説明の簡単化のためにUI部品データの“形状”を変形する場合を中心に説明したがUI部品データの“動作”や“色”を変化させてもよい。その場合には、これまでに記述した“変形”を“変化”と読み替え、“変形方法”を“変化方法”と読み替えることができる。また、データ信号を用いてUI部品が操作可能であることを一時的に表出可能であれば、視覚に関する変形を行う以外に、触覚、音、匂い、味覚、電気信号などの手段を用いて変形を表現してもよい。   In the present embodiment, the case where the “shape” of the UI component data is deformed is mainly described for the sake of simplification. However, the “operation” and “color” of the UI component data may be changed. In that case, “deformation” described so far can be read as “change”, and “deformation method” can be read as “change method”. If it is possible to temporarily express that a UI component can be operated using a data signal, in addition to visual deformation, other means such as tactile sensation, sound, smell, taste, and electrical signal may be used. A deformation may be expressed.

以上より、本実施の形態によれば、UI部品の変化方法をデータ信号の種別に応じて変形方法記憶部14に記憶しておき、データ入力部11は、UI部品データを入力し、当該UI部品データの操作に関係のないデータ信号を更に入力し、変形方法割付部12は、入力されたデータ信号の種別に対応するUI部品の変化方法を変形方法記憶部14から読み出してUI部品データに割り付け、変形方法出力部13は、当該UI部品データに割り付けられたUI部品の変化方法を出力し、該当のUI部品データを当該UI部品の変化方法で変化させて表示させるので、UI部品を操作することなく利用可能なUI部品を認識でき、当該UI部品の操作可能性の表出度合いを向上することができる。   As described above, according to the present embodiment, the UI component changing method is stored in the deformation method storage unit 14 according to the type of the data signal, and the data input unit 11 inputs the UI component data, and The data signal not related to the operation of the component data is further input, and the deformation method assigning unit 12 reads the UI component change method corresponding to the type of the input data signal from the deformation method storage unit 14 and converts it into the UI component data. The allocation / deformation method output unit 13 outputs a UI component change method assigned to the UI component data and displays the corresponding UI component data by changing the UI component change method. It is possible to recognize a usable UI component without doing so, and to improve the degree of expression of the operability of the UI component.

また、本実施の形態によれば、変形方法出力部13は、UI部品データの機能情報を更に出力し、UI部品データに関連付けて表示させるので、UI部品を操作することによって次に何が起こるのかを予測させることができ、UI部品の操作による機能の表出度合いを向上することができる。   Further, according to the present embodiment, the deformation method output unit 13 further outputs the function information of the UI part data and displays the function information in association with the UI part data, so what happens next by operating the UI part. Can be predicted, and the degree of function expression by the operation of UI parts can be improved.

すなわち、UI部品の設計に対してデザイン上の制約を与えることなく、当該UI部品が操作可能であることや、操作することでどのような機能が実行されるかを予測させることが可能となる。本実施の形態で説明したUI部品制御装置1は、例えば、利便性の高いウェブサイトのグラフィカルユーザインタフェースのデザインに利用できる。   In other words, it is possible to predict that the UI component can be operated and what functions are executed by the operation without giving design restrictions to the design of the UI component. . The UI component control apparatus 1 described in the present embodiment can be used, for example, for designing a graphical user interface of a highly convenient website.

1…UI部品制御装置
11…データ入力部
12…変形方法割付部
13…変形方法出力部
14…変形方法記憶部
S101〜S105、S201〜S206、S301…ステップ
DESCRIPTION OF SYMBOLS 1 ... UI component control apparatus 11 ... Data input part 12 ... Deformation method allocation part 13 ... Deformation method output part 14 ... Deformation method storage part S101-S105, S201-S206, S301 ... Step

Claims (7)

UI部品の変化方法をデータ信号の種別に応じて記憶しておく記憶手段と、
UI部品データを入力し、前記UI部品データの操作に関係のないデータ信号を更に入力する入力手段と、
前記入力されたデータ信号の種別に対応するUI部品の変化方法を前記記憶手段から読み出して、前記UI部品データに割り付ける割付手段と、
前記UI部品データに割り付けられたUI部品の変化方法を出力し、前記UI部品データを当該UI部品の変化方法で変化させて表示させる出力手段と、
を有することを特徴とするユーザインタフェース部品制御装置。
Storage means for storing the UI component changing method according to the type of the data signal;
Input means for inputting UI component data and further inputting a data signal not related to the operation of the UI component data;
An assignment means for reading a UI component change method corresponding to the type of the input data signal from the storage means and assigning the UI component data to the UI part data;
An output means for outputting a UI component change method assigned to the UI component data, and causing the UI component data to be changed and displayed by the UI component change method;
A user interface component control apparatus comprising:
前記記憶手段は、前記UI部品の変化方法をUI部品の動作種別に更に応じて記憶しておき、
前記割付手段は、
前記入力されたUI部品データの動作種別に更に対応するUI部品の変化方法を前記UI部品データに割り付けることを特徴とする請求項1に記載のユーザインタフェース部品制御装置。
The storage means stores the UI component changing method further according to the operation type of the UI component,
The assigning means is
2. The user interface component control apparatus according to claim 1, wherein a UI component changing method further corresponding to an operation type of the input UI component data is assigned to the UI component data.
前記出力手段は、
前記UI部品データの機能情報を更に出力し、前記UI部品データに関連付けて表示させることを特徴とする請求項1又は2に記載のユーザインタフェース部品制御装置。
The output means includes
3. The user interface component control apparatus according to claim 1, wherein function information of the UI component data is further output and displayed in association with the UI component data. 4.
前記割付手段は、
前記UI部品データに対して設定された優先度に応じて前記UI部品データの変化度合いをそれぞれ調整することを特徴とする請求項1乃至3のいずれかに記載のユーザインタフェース部品制御装置。
The assigning means is
4. The user interface component control apparatus according to claim 1, wherein a degree of change of the UI component data is adjusted in accordance with a priority set for the UI component data. 5.
前記割付手段は、
前記データ信号の種別に対して設定された優先度に応じて前記UI部品データの変化度合いを調整することを特徴とする請求項1乃至4のいずれかに記載のユーザインタフェース部品制御装置。
The assigning means is
5. The user interface component control apparatus according to claim 1, wherein a change degree of the UI component data is adjusted in accordance with a priority set for the type of the data signal.
前記データ信号は、
前記UI部品データが表示される表示装置の画面若しくは前記表示装置に対するユーザ操作に基づくデータ信号、前記表示装置で計測されるデータ信号、1つ以上の他の装置から前記表示装置に入力されるデータ信号、又は1人以上のユーザの生体情報であることを特徴とする請求項1乃至5のいずれかに記載のユーザインタフェース部品制御装置。
The data signal is
A screen of the display device on which the UI component data is displayed or a data signal based on a user operation on the display device, a data signal measured by the display device, and data input to the display device from one or more other devices 6. The user interface component control device according to claim 1, wherein the user interface component control device is a signal or biometric information of one or more users.
コンピュータを請求項1乃至6のいずれかに記載のユーザインタフェース部品制御装置として機能させるためのユーザインタフェース部品制御プログラム。   A user interface component control program for causing a computer to function as the user interface component control device according to any one of claims 1 to 6.
JP2014085249A 2014-04-17 2014-04-17 User interface component control apparatus and user interface component control program Active JP6158743B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014085249A JP6158743B2 (en) 2014-04-17 2014-04-17 User interface component control apparatus and user interface component control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014085249A JP6158743B2 (en) 2014-04-17 2014-04-17 User interface component control apparatus and user interface component control program

Publications (2)

Publication Number Publication Date
JP2015207036A JP2015207036A (en) 2015-11-19
JP6158743B2 true JP6158743B2 (en) 2017-07-05

Family

ID=54603827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014085249A Active JP6158743B2 (en) 2014-04-17 2014-04-17 User interface component control apparatus and user interface component control program

Country Status (1)

Country Link
JP (1) JP6158743B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3977910B2 (en) * 1997-12-19 2007-09-19 松下電器産業株式会社 User interface screen display device and user interface screen display method
JP2003295994A (en) * 2002-03-29 2003-10-17 Casio Comput Co Ltd Information equipment, control program and control method
JP2009026155A (en) * 2007-07-20 2009-02-05 Toshiba Corp Input display apparatus and mobile wireless terminal apparatus
JP5742187B2 (en) * 2010-11-26 2015-07-01 ソニー株式会社 Information processing apparatus, information processing method, and program
JP2014174926A (en) * 2013-03-12 2014-09-22 Sharp Corp Information processor and control method
JP2014063541A (en) * 2014-01-15 2014-04-10 Nikon Corp Display device

Also Published As

Publication number Publication date
JP2015207036A (en) 2015-11-19

Similar Documents

Publication Publication Date Title
JP6598915B2 (en) Context-sensitive haptic confirmation system
KR102297330B1 (en) Method for controlling display and an electronic device thereof
KR20130127349A (en) System and control method for character make-up
US10572017B2 (en) Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
US9310890B2 (en) Shake-based functions on a computing device
US8572508B2 (en) Application displaying method for touch-controlled device and touch-controlled device thereof
JP2018524736A (en) Circular user interface
US9684738B2 (en) Text-based command generation
KR102161159B1 (en) Electronic apparatus and method for extracting color in electronic apparatus
CN104024991A (en) Supporting different event models using single input source
JP6158743B2 (en) User interface component control apparatus and user interface component control program
EP2711805A1 (en) Method for handling a gesture-based user interface
CN107092392B (en) Pressure touch method and terminal
JP6083825B2 (en) Interfacing method for user feedback
EP2711804A1 (en) Method for providing a gesture-based user interface
JP2017004545A5 (en) Program, computer and method
US20180196889A1 (en) Techniques for designing interactive objects with integrated smart devices
Deshayes A domain-specific modeling approach for gestural interaction
CN114237807A (en) Associated control interaction method and device
JP5866085B1 (en) User interface device and screen display method for user interface device
TW201508558A (en) System and method for changing the setting parameter of keyboard/pointing device with handheld device
Becker Interacting with Smart Devices-Advancements in Gesture Recognition and Augmented Reality
US10416842B1 (en) Clarity in model-based design
KR101588372B1 (en) Method providing gesture data for development of multi-touch applications, and system thereof
KR101513807B1 (en) Method for Improving Accuracy of User Input in Touch Panel and Touch Panel Using The Same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160913

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170608

R150 Certificate of patent or registration of utility model

Ref document number: 6158743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150