JP4213008B2 - Information terminal device, operation support method, and operation support program - Google Patents

Information terminal device, operation support method, and operation support program Download PDF

Info

Publication number
JP4213008B2
JP4213008B2 JP2003344935A JP2003344935A JP4213008B2 JP 4213008 B2 JP4213008 B2 JP 4213008B2 JP 2003344935 A JP2003344935 A JP 2003344935A JP 2003344935 A JP2003344935 A JP 2003344935A JP 4213008 B2 JP4213008 B2 JP 4213008B2
Authority
JP
Japan
Prior art keywords
input
unit
information
terminal device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2003344935A
Other languages
Japanese (ja)
Other versions
JP2004152276A (en
Inventor
一臣 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2002296230 priority Critical
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2003344935A priority patent/JP4213008B2/en
Publication of JP2004152276A publication Critical patent/JP2004152276A/en
Application granted granted Critical
Publication of JP4213008B2 publication Critical patent/JP4213008B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報端末装置、操作支援方法及び操作支援プログラムに関し、より特定的には、ユーザが実行した操作履歴の情報からユーザが実行する操作の傾向を学習して、ユーザによる操作を予測して支援する情報端末装置、及び当該装置が行う操作支援方法並びに当該方法を実行するためのプログラムに関する。   The present invention relates to an information terminal device, an operation support method, and an operation support program, and more specifically, learns a tendency of an operation performed by a user from information on an operation history performed by the user, and predicts an operation by the user. The present invention relates to an information terminal device to be supported, an operation support method performed by the device, and a program for executing the method.

近年、携帯電話やPDA等の情報端末装置は多機能化し、全ての機能を使いこなすには様々な操作手順を覚える必要がある。この多くの機能のうち、ユーザが頻繁に使用する機能は一部でしかなく、その一部の機能を繰り返し実行するために同じ操作が繰り返し行われるのが現状である。よって、ユーザがよく行う固有の操作手順や習慣的な操作手順を情報端末装置自身が把握して、次に行うのに適した操作を予測して自動的に実行したり、教えてくれたりすれば便利である。しかし、発明者の知る限りでは、情報端末装置が操作を予測して自動的に実行したり、教えてくれたりするような従来の技術は存在しない。すなわち、ユーザの操作に関する個性や癖を自動で設定してくれる、ユーザ仕様の情報端末装置は存在しなかった。   In recent years, information terminal devices such as mobile phones and PDAs have become multifunctional, and it is necessary to learn various operation procedures in order to use all functions. Of these many functions, only a part of functions are frequently used by the user, and the same operation is repeatedly performed in order to repeatedly execute some of the functions. Therefore, the information terminal device itself grasps the specific operation procedures and customary operation procedures that are often performed by the user, and predicts the operation suitable for the next operation and automatically executes it or teaches it. Is convenient. However, as far as the inventor knows, there is no conventional technique in which an information terminal device predicts an operation and automatically executes it or teaches it. In other words, there is no user-specific information terminal device that automatically sets personality and habits related to user operations.

直接的な技術ではないが関連する従来技術としては、特許文献1及び特許文献2に開示されている技術が存在する。特許文献1には、個性化された情報端末装置を実現するために、接続したサーバシステムに記憶される情報の中から、利用者が必要とする情報のみを選択して情報端末装置に格納する技術が記載されている。特許文献2には、他の情報端末装置から受信したメッセージからユーザの現在時間、現在位置及び嗜好を学習する情報端末装置が開示されている。
特開2002−135461号公報 特開2001−265809号公報
As related arts that are not direct techniques, there are techniques disclosed in Patent Documents 1 and 2. In Patent Document 1, in order to realize an individualized information terminal device, only information required by a user is selected from information stored in a connected server system and stored in the information terminal device. The technology is described. Patent Document 2 discloses an information terminal device that learns a user's current time, current position, and preference from a message received from another information terminal device.
JP 2002-135461 A JP 2001-265809 A

しかしながら、特許文献1に記載の技術では、ユーザが自ら望む設定をサーバシステムから選択する必要があり、情報端末装置が自動的に次の操作を行うわけではない。   However, in the technique described in Patent Literature 1, it is necessary to select a setting desired by the user from the server system, and the information terminal device does not automatically perform the next operation.

また、特許文献2に記載の技術では、位置情報と説明内容とからなるレストランや観光地等のスポット情報から、ユーザの嗜好を学習するものであり、ユーザの操作を学習するわけではない。また、特許文献2に記載の技術の使用目的は他ユーザの嗜好との照合であり、自動的に情報端末装置の操作や設定を行うものではない。   Moreover, in the technique described in Patent Document 2, the user's preference is learned from spot information such as a restaurant or a sightseeing spot composed of position information and explanation contents, and the user's operation is not learned. In addition, the purpose of using the technique described in Patent Document 2 is to collate with other users' preferences, and does not automatically operate or set the information terminal device.

上記のように、従来の情報端末装置では、同一機能の実行や設定を繰り返し行うために同じ操作を繰り返し行う必要があった。特に、携帯可能な小型の情報端末装置は、携帯性を重視して操作性を犠牲にしているため、ユーザにとって操作が複雑かつ煩雑であるという問題がある。   As described above, in the conventional information terminal device, it is necessary to repeatedly perform the same operation in order to repeatedly execute and set the same function. In particular, a portable information terminal device has a problem that the operation is complicated and complicated for the user because the operability is sacrificed with emphasis on portability.

それ故に、本発明の目的は、ユーザが行った以前の操作履歴に基づいてユーザが入力した特定操作の次に適した操作を予測し、この予測に従ってユーザによる操作入力を支援して操作性の向上を図った情報端末装置、操作支援方法及び操作支援プログラムを提供することである。   Therefore, an object of the present invention is to predict a suitable operation next to a specific operation input by the user based on a previous operation history performed by the user, and to support the operation input by the user according to this prediction. To provide an improved information terminal device, operation support method, and operation support program.

本発明は、ユーザによる操作入力に基づいてその操作に対応した機能を実行する情報端末装置に向けられている。そして、上記目的を達成させるために、本発明の情報端末装置は、入力部、操作履歴記憶部、操作予測部及び予測操作支援部を備えている。   The present invention is directed to an information terminal device that executes a function corresponding to an operation based on an operation input by a user. And in order to achieve the said objective, the information terminal device of this invention is provided with the input part, the operation history memory | storage part, the operation prediction part, and the prediction operation assistance part.

入力部は、ユーザが要求する操作を入力する。操作履歴記憶部は、入力部に入力された操作及びこの操作が入力された時間に関する情報を、操作履歴として記憶する。操作予測部は、入力部に操作が入力された時に、操作履歴記憶部に記憶されている操作履歴情報に基づいて、入力された操作に続いてユーザが入力するであろう次の操作を時間に従って連鎖操作であると判断される操作の中から予測する。予測操作支援部は、操作予測部で予測された次の操作に対応した機能の実行を支援する。 The input unit inputs an operation requested by the user. The operation history storage unit stores information related to an operation input to the input unit and a time when the operation is input as an operation history. Operation prediction unit, when an operation is input to the input unit, the operation history based on the operation history information stored in the storage unit, the time for the next operation that would user inputs following the input operation To predict from the operations that are determined to be chain operations . The prediction operation support unit supports execution of a function corresponding to the next operation predicted by the operation prediction unit.

この予測操作支援部の支援内容としては、操作予測部で予測された次の操作に対応した機能を自動的に実行し、実行した次の操作に関する情報を操作履歴として操作履歴記憶部に記憶することが考えられる。又は、入力部に新たな操作が入力された時に、新たな操作の前に入力された操作に基づいて操作予測部で予測された次の操作と新たな操作とを比較し、双方の操作が異なる場合にユーザへ通知することも考えられる。   As the support content of the prediction operation support unit, a function corresponding to the next operation predicted by the operation prediction unit is automatically executed, and information on the next operation executed is stored in the operation history storage unit as an operation history. It is possible. Or, when a new operation is input to the input unit, the next operation predicted by the operation prediction unit based on the operation input before the new operation is compared with the new operation. It is also conceivable to notify the user when they are different.

また、操作履歴記憶部には、操作に関する情報をユーザが操作した順序で記述した操作履歴情報が記憶されることが好ましい。さらに、操作履歴記憶部には、操作に関する情報をユーザが連続して操作した内容に区分して統計的に記述した操作履歴情報が記憶されてもよい。   The operation history storage section preferably stores operation history information describing information related to operations in the order in which the user operated them. Further, the operation history storage unit may store operation history information that is statistically described by classifying information related to operations into contents continuously operated by the user.

典型的な操作予測部は、以前に入力部に入力された操作に連続して行われた次の操作に関する発生頻度を操作履歴情報に基づいて算出し、この発生頻度から得られる連続実行される確率が最も高い次の操作を、ユーザが入力するであろう次の操作として予測する。ここで、操作予測部は、入力部に入力された操作の前に連続して実行された少なくとも1つ以上の操作を考慮して、発生頻度を算出することが望ましい。また、発生頻度の算出は、入力部に操作が入力される毎に操作履歴情報に基づいて行われることが望ましい。   The typical operation predicting unit calculates the occurrence frequency related to the next operation performed continuously after the operation previously input to the input unit based on the operation history information, and is continuously executed obtained from the occurrence frequency. The next operation with the highest probability is predicted as the next operation that the user will input. Here, it is desirable that the operation prediction unit calculates the occurrence frequency in consideration of at least one operation continuously executed before the operation input to the input unit. The occurrence frequency is preferably calculated based on operation history information every time an operation is input to the input unit.

操作予測をよりユーザに適した精度の高いものとするために、操作予測部において、最新の前記操作履歴情報から算出した発生頻度に基づいて次の操作を予測するのか、又は過去に算出した発生頻度に基づいて次の操作を予測するのかは、ユーザによって選択可能としてもよい。また、操作履歴記憶部の操作履歴情報が次の操作を予測するのに統計的に不十分な場合には、操作予測部で次の操作を予測しないようにしてもよい。また、予測操作支援部が自動的に実行する機能は、操作予測部で予測され得る次の操作毎に予め対応付けられていてもよい。   In order to make the operation prediction more accurate suitable for the user, the operation prediction unit predicts the next operation based on the occurrence frequency calculated from the latest operation history information, or the occurrence calculated in the past Whether to predict the next operation based on the frequency may be selectable by the user. Further, when the operation history information in the operation history storage unit is statistically insufficient to predict the next operation, the operation prediction unit may not predict the next operation. Moreover, the function which a prediction operation assistance part performs automatically may be matched beforehand for every next operation which can be estimated by the operation prediction part.

さらに、操作予測部に、入力部に入力された操作に連続して行われた次の操作のうち、入力部に入力された操作に相反する又は矛盾する関係にある次の操作を予測の対象から除外させることが効果的である。また、操作予測部に、自動的に実行した次の操作とその後に入力部に入力された新たな操作とを比較し、双方の操作が相反する又は矛盾する関係にある場合は、次の操作が自動実行される原因となった連鎖操作の履歴に関して統計量を下げることで、次の操作が自動実行される可能性を下げることも有効な手法である。

Further, the operation predicting unit predicts the next operation that has been performed in succession to the operation input to the input unit and that is contradictory or contradictory to the operation input to the input unit. It is effective to make it excluded from. Also, the operation predicting unit compares the next operation automatically executed with a new operation input to the input unit thereafter, and if both operations are in conflict or contradictory, the next operation It is also an effective technique to reduce the possibility that the next operation will be automatically executed by lowering the statistic regarding the history of the chain operation that caused the automatic execution .

また、本発明の情報端末装置は、入力部に入力された操作が所定の操作であるか否かを判断する操作検知部を、上記構成にさらに加えることもできる。この構成では、操作予測部が、操作検知部で所定の操作であると判断された操作についてのみ、ユーザが入力するであろう次の操作を予測することが可能となる。   In addition, the information terminal device of the present invention may further include an operation detection unit that determines whether or not the operation input to the input unit is a predetermined operation, in the above configuration. In this configuration, the operation prediction unit can predict the next operation that the user will input only for the operation that is determined to be the predetermined operation by the operation detection unit.

また、本発明の情報端末装置は、入力部に入力された操作に関する特殊情報を管理する情報管理部を、上記構成にさらに加えることもできる。この構成では、操作履歴記憶部が、入力部に入力された操作に関する情報を、情報管理部から与えられる特殊情報と共に操作履歴情報として記憶し、操作予測部が、操作履歴記憶部に記憶されている特殊情報を含む操作履歴情報に基づいて、ユーザが入力するであろう次の操作を予測するすることが可能となる。この特殊情報としては、入力部に操作の入力を行った日付、時刻、曜日、ユーザ種別、地域又は移動状態等の情報が考えられる。   In addition, the information terminal device of the present invention may further include an information management unit that manages special information related to an operation input to the input unit, in the above configuration. In this configuration, the operation history storage unit stores information related to the operation input to the input unit as operation history information together with special information provided from the information management unit, and the operation prediction unit is stored in the operation history storage unit. It is possible to predict the next operation that the user will input based on the operation history information including the special information. As this special information, information such as date, time, day of the week, user type, area, or movement state when an operation is input to the input unit can be considered.

一方、本発明の情報端末装置は、操作履歴記憶処理及び操作予測処理を機能的に外部のサーバ装置上に独立させた構成とすることも可能である。例えば、ユーザが要求する操作を入力するための入力部と、入力部に入力された操作に関する情報を操作履歴としてサーバ装置に送信する送信部と、サーバ装置で予測された入力部に入力された操作に続いてユーザが入力するであろう次の操作に関する情報を、サーバ装置から受信する受信部と、受信部で受信された次の操作に対応した機能の実行を支援する予測操作支援部とを備えた、情報端末装置である。   On the other hand, the information terminal device of the present invention can be configured such that the operation history storage processing and the operation prediction processing are functionally independent on an external server device. For example, an input unit for inputting an operation requested by a user, a transmission unit that transmits information about an operation input to the input unit as an operation history to the server device, and an input unit predicted by the server device A receiving unit that receives information about the next operation that the user will input following the operation from the server device, and a predictive operation support unit that supports execution of a function corresponding to the next operation received by the receiving unit; Is an information terminal device.

あるいは、本発明の情報端末装置は、操作履歴情報を記録媒体に書き込ませる構成とすることも可能である。例えば、ユーザが要求する操作を入力するための入力部と、入力部に入力された操作に関する情報を操作履歴として記録媒体に記憶する記録部と、入力部に操作が入力された時に、記録媒体に記憶されている操作履歴情報を取得する取得部と、取得部が取得した操作履歴情報に基づいて、入力部に入力された操作に続いてユーザが入力するであろう次の操作を予測する操作予測部と、操作予測部で予測された次の操作に対応した機能の実行を支援する予測操作支援部とを備えた、情報端末装置である。   Alternatively, the information terminal device of the present invention can be configured to write the operation history information on a recording medium. For example, an input unit for inputting an operation requested by a user, a recording unit that stores information related to an operation input to the input unit as an operation history in a recording medium, and a recording medium when an operation is input to the input unit An operation unit that acquires operation history information stored in the storage unit, and predicts a next operation that the user will input following the operation input to the input unit based on the operation history information acquired by the acquisition unit The information terminal device includes an operation prediction unit and a prediction operation support unit that supports execution of a function corresponding to the next operation predicted by the operation prediction unit.

上述した情報端末装置の入力部、操作履歴記憶部、操作予測部及び操作支援部が行うそれぞれの処理は、一連の処理手順を与える操作支援方法として捉えることができる。すなわち、情報端末装置において、ユーザが要求する操作を入力し、入力された操作に関する情報を操作履歴として所定の記憶部に記憶し、ユーザが要求する操作が入力された時に、記憶部に記憶されている操作履歴情報に基づいて、入力された操作に続いてユーザが入力するであろう次の操作を予測し、予測された次の操作に対応した機能の実行を支援する、操作支援方法である。   Each process performed by the input unit, the operation history storage unit, the operation prediction unit, and the operation support unit of the information terminal device described above can be regarded as an operation support method that provides a series of processing procedures. That is, in the information terminal device, an operation requested by the user is input, information regarding the input operation is stored as an operation history in a predetermined storage unit, and stored in the storage unit when an operation requested by the user is input. An operation support method that predicts a next operation that a user will input following an input operation based on the operation history information that is input, and supports execution of a function corresponding to the predicted next operation. is there.

好ましくは、この操作支援方法は、一連の処理手順を情報端末装置に実行させるためのプログラムの形式で提供される。このプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。   Preferably, this operation support method is provided in the form of a program for causing an information terminal device to execute a series of processing procedures. This program may be recorded on a computer-readable recording medium.

上述した本発明によれば、ユーザが以前に行った操作履歴に基づいて入力された操作の次に適した操作を予測するので、装置を使用するユーザ向けに機能が特化された情報端末装置を構築することができる。また、予測された操作は、自動的に実行されるか、次に入力された操作と一致しない場合にユーザに通知されるので、ユーザによる操作入力の操作性向上を図ることができる。また、特定の操作に関してだけ操作予測を行うことができるので、情報端末装置の処理能力が限られている場合や操作履歴記憶部の記憶容量が限られている場合等でも、本発明の利用が可能となる。さらに、ユーザ操作に関する情報と共に時刻等の特殊情報も合わせて操作履歴情報として記憶し、特殊情報を考慮した操作予測モデルを作成することができるので、さらにユーザの行動パターンに適した情報端末装置を構築することができる。   According to the present invention described above, an operation suitable for the user who uses the device is predicted because an operation suitable for the next operation after the operation input based on the operation history performed by the user previously is predicted. Can be built. Also, since the predicted operation is automatically executed or notified to the user when it does not coincide with the next input operation, the operability of the operation input by the user can be improved. In addition, since operation prediction can be performed only for a specific operation, the present invention can be used even when the processing capability of the information terminal device is limited or the storage capacity of the operation history storage unit is limited. It becomes possible. Further, special information such as time is also stored as operation history information together with information related to user operations, and an operation prediction model considering special information can be created. Can be built.

以下、図1〜図13を用いて本発明の実施形態を説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る情報端末装置の構成を示すブロック図である。図1において、第1の実施形態に係る情報端末装置は、入力部11と、操作履歴記憶部12と、操作予測部13と、操作支援部14とを備えている。操作支援部14は、予測操作実行部15と、ユーザ通知部16とを含んでいる。
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
(First embodiment)
FIG. 1 is a block diagram showing a configuration of an information terminal device according to the first embodiment of the present invention. In FIG. 1, the information terminal device according to the first embodiment includes an input unit 11, an operation history storage unit 12, an operation prediction unit 13, and an operation support unit 14. The operation support unit 14 includes a prediction operation execution unit 15 and a user notification unit 16.

まず、第1の実施形態に係る情報端末装置の各構成の概要を説明する。
入力部11は、ユーザが要求する操作を入力し、操作履歴記憶部12に通知する。操作履歴記憶部12は、入力部11から通知された入力操作に関する情報を、操作履歴として一時的又は長期的に保存する。操作予測部13は、操作履歴記憶部12に記憶されている操作履歴情報に基づいて、ユーザが次に実行する可能性の高い操作を予測する。操作支援部14は、操作予測部13で予測された操作に対応した機能の実行を支援するための構成であり、典型的には、予測操作実行部15又はユーザ通知部16のいずれかで実現される。なお、図1のように両方の構成を含むことも可能であるが、この場合には機能選択等によっていずれかの構成だけが動作することとなる。予測操作実行部15は、操作予測部13が予測した操作を自動的に実行する。この予測操作実行部15によって自動的に実行された操作に関する情報は、自動で実行したことが分かる記録形式で操作履歴記憶部12の操作履歴情報に記憶される。ユーザ通知部16は、操作予測部13が予測した操作と、ユーザによって次に入力部11に入力された操作とを比較して、予測した操作をユーザが操作していない場合に、予測に合った操作を行っていない旨をユーザに通知する。
First, the outline | summary of each structure of the information terminal device which concerns on 1st Embodiment is demonstrated.
The input unit 11 inputs an operation requested by the user and notifies the operation history storage unit 12 of the operation. The operation history storage unit 12 stores information related to the input operation notified from the input unit 11 temporarily or in the long term as an operation history. Based on the operation history information stored in the operation history storage unit 12, the operation prediction unit 13 predicts an operation that is likely to be performed next by the user. The operation support unit 14 is configured to support execution of a function corresponding to the operation predicted by the operation prediction unit 13 and is typically realized by either the prediction operation execution unit 15 or the user notification unit 16. Is done. It is possible to include both configurations as shown in FIG. 1, but in this case, only one of the configurations operates by function selection or the like. The prediction operation execution unit 15 automatically executes the operation predicted by the operation prediction unit 13. Information related to the operation automatically executed by the prediction operation execution unit 15 is stored in the operation history information of the operation history storage unit 12 in a recording format that shows that the operation is automatically executed. The user notification unit 16 compares the operation predicted by the operation prediction unit 13 with the operation input to the input unit 11 next by the user, and when the predicted operation is not operated by the user, the user notification unit 16 matches the prediction. The user is notified that the operation has not been performed.

次に、以上の構成による第1の実施形態に係る情報端末装置の詳細な動作を説明する。
入力部11は、情報端末装置に要求する操作をユーザが入力するためのインタフェースであり、装置に付随するテンキー、ボタン、ジョグダイヤル等が該当する。また、入力部11には、情報端末装置の画面に触れることで操作を指定するタッチパネルや、音やユーザの声を認識する音声認識装置や、画像や映像を取り込んで認識する画像認識装置等を用いることも可能である。さらに、他の機器から所定の操作信号を有線又は無線で受信する装置を用いることも可能である。
Next, detailed operation of the information terminal device according to the first embodiment having the above-described configuration will be described.
The input unit 11 is an interface for a user to input an operation requested to the information terminal device, and corresponds to a numeric keypad, a button, a jog dial, or the like attached to the device. In addition, the input unit 11 includes a touch panel for designating an operation by touching the screen of the information terminal device, a voice recognition device for recognizing sound or a user's voice, an image recognition device for capturing and recognizing an image or video, and the like. It is also possible to use it. Furthermore, it is possible to use a device that receives a predetermined operation signal from another device in a wired or wireless manner.

入力部11に入力される操作の一例を図2に示す。それぞれの具体的な操作内容(機能)202には、その操作を一意に特定するための固有の識別ID(操作ID)201が予め割り当てられている。図2において、例えば「game01」はゲームAを立ち上げるための操作IDであり、「mannerOn」はマナーモードを設定するための操作IDである。この操作ID201及び操作内容202の割り当て方等は、情報端末装置が備える機能に依存し、図2に示すものに限られない。また、操作を一意に特定することができれば、図2のように各操作内容202に操作ID201を対応付ける必要はない。入力部11に操作が入力されると、その操作に対応した操作IDが操作履歴記憶部12に通知される。   An example of the operation input to the input unit 11 is shown in FIG. Each specific operation content (function) 202 is assigned in advance a unique identification ID (operation ID) 201 for uniquely specifying the operation. In FIG. 2, for example, “game01” is an operation ID for starting up the game A, and “mannerOn” is an operation ID for setting the manner mode. The method of assigning the operation ID 201 and the operation content 202 depends on the function of the information terminal device and is not limited to that shown in FIG. If the operation can be uniquely identified, it is not necessary to associate the operation ID 201 with each operation content 202 as shown in FIG. When an operation is input to the input unit 11, an operation ID corresponding to the operation is notified to the operation history storage unit 12.

操作履歴記憶部12は、入力部11に入力された操作に関する情報、すなわち操作IDを受け取って、所定の記憶領域に順番に記憶する。これにより、操作履歴記憶部12には、情報端末装置で実行された操作の履歴情報が時系列で記憶されることになる。その操作履歴情報の一例を図3に示す。図3において、実行番号301は、実行した操作ID302の順序を管理するためのシリアルナンバーである。但し、操作の実行順序を管理できる仕組みが他に存在するのならば、実行番号301の項目は特に必要ではない。この操作履歴情報には、後述する予測操作実行部15において自動的に実行された操作の情報も、履歴として記憶される(図3中で自動操作と記述)。なお、操作履歴記憶部12が記憶する操作履歴情報は、ユーザが全て消去できることが好ましい。このようにすれば、古い操作履歴情報を全て消去して新たな操作履歴情報に基づいて操作を予測することが可能となる。また、操作履歴記憶部12は、入力部11に入力された操作に関する操作IDを操作履歴情報に追記するたびに、この操作IDを操作予測部13に通知する。   The operation history storage unit 12 receives information related to operations input to the input unit 11, that is, operation IDs, and sequentially stores them in a predetermined storage area. Thereby, the operation history storage unit 12 stores the history information of operations executed by the information terminal device in time series. An example of the operation history information is shown in FIG. In FIG. 3, an execution number 301 is a serial number for managing the order of executed operation IDs 302. However, if there is another mechanism that can manage the execution order of operations, the item of the execution number 301 is not particularly necessary. In this operation history information, information on operations automatically executed by the prediction operation execution unit 15 described later is also stored as a history (described as automatic operation in FIG. 3). In addition, it is preferable that the user can erase all the operation history information stored in the operation history storage unit 12. In this way, it is possible to delete all old operation history information and predict an operation based on new operation history information. The operation history storage unit 12 notifies the operation prediction unit 13 of the operation ID every time an operation ID related to the operation input to the input unit 11 is added to the operation history information.

操作予測部13は、操作履歴記憶部12に記憶された操作履歴情報に基づいて、所定の操作予測モデルを作成する。操作予測モデルとは、過去にユーザが連続して行った操作の発生回数(頻度)に基づいて、ある操作の発生に対してその次に行われるであろう操作の確率を求めたものである。操作予測モデルは、全ての操作履歴情報に基づいて作成されても、一部の操作履歴情報(例えば最新の操作履歴情報だけ)に基づいて作成されてもよく、ユーザが選択できるのが好ましい。また、操作予測モデルは、入力部11に操作が入力される毎に作成されてもよいし、一定期間毎に定期的に更新されるようにしてもよい。この操作予測モデルの作成手法は様々に考えられるが、典型的な一例を以下に説明する。なお、以下の説明ではユーザが2連続で行った操作を「2連鎖操作」と、3連続で行った操作を「3連鎖操作」というように表記する。   The operation prediction unit 13 creates a predetermined operation prediction model based on the operation history information stored in the operation history storage unit 12. The operation prediction model is obtained by determining the probability of an operation that will be performed next to the occurrence of a certain operation based on the number of occurrences (frequency) of operations performed continuously by the user in the past. . The operation prediction model may be created based on all the operation history information or may be created based on a part of the operation history information (for example, only the latest operation history information), and is preferably selectable by the user. In addition, the operation prediction model may be created every time an operation is input to the input unit 11 or may be periodically updated every certain period. There are various methods for creating the operation prediction model. A typical example will be described below. In the following description, an operation performed by the user for two consecutive times is expressed as “two-chain operation”, and an operation performed for three consecutive times is expressed as “three-chain operation”.

操作予測モデルを作成するにあたり、操作予測部13は、まず操作履歴記憶部12に記憶された操作履歴情報から図4に示すような統計情報を作成する。図4に示す統計情報は、操作に関する情報をユーザが連続して操作した内容に区分して統計的に記述したものである。図4において、操作内容401には、全単操作の発生回数の合計に関する項目411、以前の操作及び自動操作の有無の項目412、各操作の単独発生に関する項目413と、及び連鎖操作の発生に関する項目414が設定されている。発生回数402には、操作内容401の各項目について発生した回数が示されている。この統計情報から次のような内容が読み取れる。ユーザは、今まで2944回の操作を実行しており、「game01」は32回操作している。この「game01」を実行した32回のうち、続いて「game02」を実行したのは2回、続いて「volume00」を実行したのは28回、続いて「mannerOn」を実行したのは2回である。さらに、「game01」に続いて「volume00」を実行した28回のうち、続いて「mannerOn」を実行したのは10回、「dialLockOn」を実行したのは8回である。これらの統計情報は、図3に示した操作履歴情報から全て求めることが可能である。なお、統計情報は、上述したように操作予測部13で作成されてもよいし、操作履歴記憶部12で予め作成されていてもよい。   In creating the operation prediction model, the operation prediction unit 13 first creates statistical information as shown in FIG. 4 from the operation history information stored in the operation history storage unit 12. The statistical information shown in FIG. 4 is statistically described by dividing information related to operations into contents that are continuously operated by the user. In FIG. 4, the operation content 401 includes an item 411 relating to the total number of occurrences of all single operations, an item 412 indicating whether previous operations and automatic operations are present, an item 413 relating to the single occurrence of each operation, and the occurrence of a chain operation. Item 414 is set. The number of occurrences 402 indicates the number of occurrences for each item of the operation content 401. The following contents can be read from this statistical information. The user has performed 2944 operations so far, and “game01” has been operated 32 times. Of the 32 times this “game01” was executed, “game02” was executed twice, followed by “volume00” was executed 28 times, and “mannerOn” was executed twice. It is. Further, out of 28 times “volume00” executed after “game01”, “mannerOn” was executed 10 times, and “dialLockOn” was executed 8 times. These pieces of statistical information can all be obtained from the operation history information shown in FIG. Note that the statistical information may be created by the operation prediction unit 13 as described above, or may be created in advance by the operation history storage unit 12.

そして、操作予測部13は、上述した統計情報を利用して、操作履歴情報から図5のような操作予測モデルを作成する。図5において、操作予測モデルは、過去にユーザが連鎖操作したモデル501について発生の確率値502を求めたものである。図5では、操作a、操作b…操作nが連続して実行された後に操作xが行われる確率をP(x|a b … n)で表現している。例えば、P(game02|game01)は、「game01」を実行した後に「game02」が実行される確率を表現しており、その確率値は0.0625である。この確率値は、統計情報の発生頻度402から求められ、ある操作について連鎖操作が行われた全ての発生回数で特定の2連鎖操作の発生回数を割れば求めることができる。例えば「game01」を最初に2連鎖操作が行われた全回数(=32)で、「game01」→「game02」が行われた回数(=2)を割れば、確率P(game02|game01)=0.0625(=2/32)が求まる。操作予測モデルとしては、図5のように全ての連鎖操作モデルについて確率値を求めておく必要はなく、各操作について最も確率値が高い連鎖操作モデルだけを求めておけばよい。   Then, the operation prediction unit 13 creates an operation prediction model as shown in FIG. 5 from the operation history information using the statistical information described above. In FIG. 5, the operation prediction model is a probability value 502 of occurrence for a model 501 that has been chain-operated by the user in the past. In FIG. 5, the probability that the operation x is performed after the operation a, the operation b... The operation n is continuously executed is expressed by P (x | a b... N). For example, P (game02 | game01) expresses the probability that “game02” will be executed after executing “game01”, and the probability value is 0.0625. This probability value is obtained from the statistical information occurrence frequency 402, and can be obtained by dividing the number of occurrences of a specific two-chain operation by the total number of occurrences of the chain operation for a certain operation. For example, if “game01” is first performed by the total number of times two chain operations are performed (= 32) and the number of times “game01” → “game02” is performed (= 2), the probability P (game02 | game01) = 0.0625 (= 2/32) is obtained. As the operation prediction model, it is not necessary to obtain probability values for all the chain operation models as shown in FIG. 5, and only the chain operation model having the highest probability value may be obtained for each operation.

操作予測モデルとして生成する連鎖操作の連鎖数は、自由に設定可能であるが、後段の操作予測部13で予測に用いられる連鎖数に依存する。操作予測部13では、いくつの連鎖数で操作を予測するかを固定的に設定するので、基本的には設定された連鎖数だけの操作予測モデルがあれば足りる。なお、連鎖操作の数を大きく取った方が、予測操作をユーザが所望する操作に限りなく近づけることができるが、操作履歴のサンプル数が少量である場合には確率値の信頼性が低くなる可能性がある。また、連鎖操作の数を大きく取ると、各操作の組み合わせも膨大な数になるため、大きな記憶容量が必要となる。   The number of chain operations to be generated as an operation prediction model can be set freely, but depends on the number of chains used for prediction in the operation prediction unit 13 in the subsequent stage. Since the operation prediction unit 13 fixedly sets the number of chains to be predicted for operation, basically, an operation prediction model having only the set number of chains is sufficient. Note that the larger the number of chain operations, the closer the prediction operation can be to the operation desired by the user, but the reliability of the probability value becomes lower when the number of operation history samples is small. there is a possibility. Also, if the number of chain operations is increased, the number of combinations of operations becomes enormous, and a large storage capacity is required.

なお、操作予測モデルを作成するために十分な操作履歴情報が操作履歴記憶部12に蓄積されていない場合には、作成する操作予測モデルの精度が低くなるため、操作予測部13は、操作予測モデルを作成しないか、又は作成しても操作の予測を行わないようにすることが好ましい。操作履歴情報が十分ではない場合を2通り例示する。1つは、全単操作の発生回数の合計(項目43)が一定のしきい値未満の場合である。このしきい値は、操作の種類数や確率の推定を行う操作の連鎖数に依存する。例えば、操作が10種類、予測する操作が3連鎖であり、操作a→操作bの発生頻度を平均的に20回以上確保したい場合には、しきい値は2000(=10×10×20)回となる。もう1つは、操作を予測するために判断する直前の操作連鎖の発生回数が一定のしきい値未満の場合である。例えば、確率P(x|a b)を推定する上で、操作a→操作bの発生頻度がしきい値20未満であれば連鎖確率を求めるのに不十分と判断する。この場合には、不十分と判断した操作連鎖に関してだけ、操作予測モデルを作成しないようにすればよい。   Note that if the operation history information sufficient to create the operation prediction model is not accumulated in the operation history storage unit 12, the operation prediction model to be created has low accuracy. It is preferable not to create a model or to predict operation even if it is created. Two examples of cases where the operation history information is insufficient are shown. One is a case where the total number of occurrences of all single operations (item 43) is less than a certain threshold value. This threshold value depends on the number of operation types and the number of chained operations for estimating the probability. For example, when there are 10 types of operations and there are 3 predicted operations and it is desired to secure an average of occurrence frequency of operation a → operation b 20 times or more, the threshold value is 2000 (= 10 × 10 × 20). Times. The other is a case where the number of occurrences of the operation chain immediately before the determination for predicting the operation is less than a certain threshold value. For example, in estimating the probability P (x | ab), if the occurrence frequency of the operation a → the operation b is less than the threshold value 20, it is determined that it is insufficient to obtain the chain probability. In this case, it is only necessary not to create the operation prediction model only for the operation chain determined to be insufficient.

次に、図6を参照して、操作予測部13が行う操作予測処理を説明する。図6は、操作予測部13で行われる処理手順を示すフローチャートである。操作予測部13は、操作履歴記憶部12から操作IDの通知を受けることで、入力部11にユーザ操作が新たに入力されたことを確認する(ステップS601)。新たな操作xが入力されると、操作予測部13は、上述のように作成した操作予測モデルから、この操作xに続いてユーザが行うであろう次の操作を予測する(ステップS602)。   Next, operation prediction processing performed by the operation prediction unit 13 will be described with reference to FIG. FIG. 6 is a flowchart illustrating a processing procedure performed by the operation prediction unit 13. The operation prediction unit 13 receives a notification of the operation ID from the operation history storage unit 12 to confirm that a user operation is newly input to the input unit 11 (step S601). When a new operation x is input, the operation prediction unit 13 predicts the next operation that the user will perform following the operation x from the operation prediction model created as described above (step S602).

この予測は、予めユーザ等によって設定された操作の連鎖数に基づいて行われる。2連鎖操作の確率で操作を予測するという設定がされている場合、操作予測部13は、操作予測モデルにおける複数のP(?|x)の中から(?は、いずれかの操作)、確率値が最も高いP(y|x)の操作yをユーザが行うであろう次の操作として予測する。図4において、例えば操作xが「game01」であれば、確率値が最も高いP(volume00|game01)に基づいて、「volume00」がユーザが実行するであろう次の操作として予測される。また、3連鎖操作の確率で操作を予測するという設定がされている場合、操作予測部13は、操作xの直前に行われた操作wも考慮し、操作予測モデルにおける複数のP(?|w x)の中から、確率値が最も高いP(z|w x)の操作zをユーザが行うであろう次の操作として予測する。図4において、例えば操作wが「game01」で操作xが「volume00」であれば、確率値が最も高いP(mannerOn|game01 volume00)に基づいて、「mannerOn」がユーザが実行するであろう次の操作として予測される。   This prediction is performed based on the number of chained operations set in advance by the user or the like. When the setting is made to predict an operation with the probability of a two-chain operation, the operation prediction unit 13 selects a probability from among a plurality of P (? | X) in the operation prediction model (? Is any operation). The operation y of P (y | x) having the highest value is predicted as the next operation that the user will perform. In FIG. 4, for example, if the operation x is “game01”, “volume00” is predicted as the next operation that the user will perform based on P (volume00 | game01) having the highest probability value. When the setting is made to predict an operation with the probability of a three-chain operation, the operation prediction unit 13 also considers the operation w performed immediately before the operation x, and a plurality of P (? | The operation z of P (z | w x) having the highest probability value is predicted as the next operation that the user will perform from w x). In FIG. 4, for example, if the operation w is “game01” and the operation x is “volume00”, “mannerOn” will be executed by the user on the basis of P (mannerOn | game01 volume00) having the highest probability value. It is predicted as an operation.

操作予測部13は、予測した次の操作(以下、予測操作と記す)を一時的に保存する(ステップS603,S604)。なお、次の操作を予測できなかった場合には、ステップS601に戻って次のユーザ操作を待つことになる。予測操作を保存すると、次に、操作予測部13は、予めユーザ等によって設定されている支援方法を判断する(ステップS605)。支援方法が自動実行である場合には、操作予測部13は、予測操作の操作IDを予測操作実行部15に通知する(ステップS606)。支援方法がユーザ通知である場合には、操作予測部13は、今回ユーザによって入力された操作と、前回ユーザによって入力された操作から予測して一時的に保存している前回の予測操作とを比較する(ステップS607)。2つの操作が一致する場合には、ステップS601に戻って次のユーザ操作を待つ。2つの操作が一致しない場合には、操作予測部13は、一致しない旨をユーザ通知部16に通知する(ステップS608)。   The operation prediction unit 13 temporarily stores the predicted next operation (hereinafter referred to as a prediction operation) (steps S603 and S604). If the next operation cannot be predicted, the process returns to step S601 to wait for the next user operation. After saving the prediction operation, the operation prediction unit 13 next determines a support method set in advance by the user or the like (step S605). When the support method is automatic execution, the operation prediction unit 13 notifies the prediction operation execution unit 15 of the operation ID of the prediction operation (step S606). When the support method is a user notification, the operation prediction unit 13 performs an operation input by the user this time and a previous prediction operation that is temporarily stored by predicting from the operation input by the previous user. Compare (step S607). If the two operations match, the process returns to step S601 to wait for the next user operation. If the two operations do not match, the operation prediction unit 13 notifies the user notification unit 16 that the two operations do not match (step S608).

予測操作実行部15は、操作予測部13から予測操作の操作IDの通知を受けて、この操作IDに対応する操作内容(機能)を自動的に実行する。この予測によって自動実行する操作内容は、図2に示したように、通常時において各操作IDに予め定義付けされている操作内容に限られるものではない。例えば、図7のように予測時について自由に定義付けすることも可能である。図7の例では、操作ID「mailSend」について、本来定義されている操作内容「メーラーを立ち上げてメールを送信する」を独自に定義する操作内容「メール送信フォームを表示する」に変えている。また、操作ID「call」について、本来定義されている操作内容「発信する」を無くしている。このような操作内容の変更により、自動実行によりユーザが意図しない時に勝手にメール送信や発信がされること等を防止することができる。なお、後者の場合、操作が予測されるが、実行する実態がないこととなる。なお、図7のような操作内容の情報は、操作予測部13が有していてもよい。この場合、操作予測部13から予測操作実行部15へは、予測した操作に対応する独自の操作内容が伝えられる。   The prediction operation execution unit 15 receives the notification of the operation ID of the prediction operation from the operation prediction unit 13 and automatically executes the operation content (function) corresponding to this operation ID. The operation content automatically executed by this prediction is not limited to the operation content defined in advance for each operation ID in normal time as shown in FIG. For example, as shown in FIG. 7, it is possible to freely define the prediction time. In the example of FIG. 7, for the operation ID “mailSend”, the originally defined operation content “launch mailer and send mail” is changed to the operation content “display mail transmission form” uniquely defined. . Further, the operation content “send” which is originally defined for the operation ID “call” is eliminated. Such a change in the operation content can prevent an email from being transmitted or transmitted without permission when the user does not intend to perform it automatically. In the latter case, the operation is predicted, but there is no actual state of execution. Note that the operation prediction unit 13 may have information on the operation content as shown in FIG. In this case, a unique operation content corresponding to the predicted operation is transmitted from the operation prediction unit 13 to the prediction operation execution unit 15.

ユーザ通知部16は、操作予測部13から2つの操作が一致しないとの通知を受けて、操作が一致しないことをユーザに知らせる。知らせる方法としては、情報端末装置から音楽、音声又は効果音等をスピーカから発生させてユーザの聴覚に訴えたり、情報端末装置に付属している表示画面を通じて文字や画像を表示したり又は発光することでユーザの視覚に訴えたりすること等が考えられる。これにより、操作予測部13で予測した予測操作をユーザが行わなかった場合に、ユーザに声で知らせたり警告音をメロディで流したりすることが可能となる。また、必要な操作を実行していない可能性がある旨の文を表示したり、ユーザの設定したキャラクタが警告したりすることが可能となる。また、振動する等の情報端末装置自身が動くことによりユーザに通知したり、情報端末装置が通信機能を備えていて他の機器へ有線や無線を通じて情報を発信したりすることも可能である。   Upon receiving notification from the operation prediction unit 13 that the two operations do not match, the user notification unit 16 notifies the user that the operations do not match. As a notification method, music, voice, or sound effects are generated from the information terminal device through the speaker to appeal to the user's hearing, characters or images are displayed through the display screen attached to the information terminal device, or light is emitted. It is conceivable to appeal to the user's vision. As a result, when the user does not perform the prediction operation predicted by the operation prediction unit 13, it is possible to notify the user with a voice or play a warning sound with a melody. In addition, it is possible to display a statement that there is a possibility that a necessary operation has not been executed, or to warn a character set by the user. It is also possible to notify the user when the information terminal device itself vibrates or the like, or to send information to other devices via wired or wireless communication, since the information terminal device has a communication function.

なお、ユーザ通知部16では、操作予測部13によって予測された操作をユーザに通知するだけではなく、ユーザがすぐにその操作を実行し易いような環境を提供することも可能である。例えば、ユーザがユーザ通知部16に通知されて予測操作を実行する際に、情報端末装置では予測操作を実行する準備が整っていて、ユーザは実行するかしないかの選択を、ボタン入力やその他の入力で行えばよい。   The user notification unit 16 can not only notify the user of the operation predicted by the operation prediction unit 13 but also provide an environment in which the user can easily execute the operation. For example, when the user is notified to the user notification unit 16 and executes the prediction operation, the information terminal device is ready to execute the prediction operation, and the user selects whether to execute the button input or other You can do this by entering

以上のように、本発明の第1の実施形態に係る情報端末装置及び操作支援方法によれば、ユーザが以前に行った操作履歴に基づいてユーザによって入力された操作の次に適した操作を予測する。よって、装置を使用するユーザ向けに機能が特化された情報端末装置を構築することができる。また、予測された操作は、自動的に実行されるか、次に入力された操作と一致しない場合にユーザに通知されるので、ユーザによる操作入力の操作性向上を図ることができる。   As described above, according to the information terminal device and the operation support method according to the first embodiment of the present invention, an operation suitable for the next operation input by the user based on the operation history performed by the user previously is performed. Predict. Therefore, it is possible to construct an information terminal device whose function is specialized for a user who uses the device. Also, since the predicted operation is automatically executed or notified to the user when it does not coincide with the next input operation, the operability of the operation input by the user can be improved.

なお、操作予測部13で操作予測モデルを作成する際には、相反する動作の連鎖操作を許さないように作成することもできる。例えば、キー無効の操作が行われた後にキー有効の操作が行われても意味がないので、このような操作が連続している操作履歴情報が操作履歴記憶部12中に存在していても、この情報に基づいた操作予測モデルを作成しないようにする。さらに、同じ系統の操作をクラスタ化して操作履歴に使用することにより、少ない操作履歴情報でも質の高い操作予測モデルを作成することができる。   In addition, when the operation prediction model is generated by the operation prediction unit 13, it can be generated so as not to allow a chain operation of conflicting operations. For example, it is meaningless if a key-valid operation is performed after a key-invalid operation has been performed. Therefore, even if operation history information in which such operations are continued exists in the operation history storage unit 12. Do not create an operation prediction model based on this information. Further, by clustering operations of the same system and using them in the operation history, a high-quality operation prediction model can be created with a small amount of operation history information.

また、上述したように、予測操作実行部15で自動的に実行された操作も操作履歴記憶部12に操作履歴情報として記憶される。この記憶処理によって、ユーザの意図と異なって自動で操作が実行されてしまった場合に対処できる。例えば、ユーザは、意図しない操作を取り消すために、自動で操作された内容と正反対の操作をすぐに行う可能性が高い。そこで、操作予測部13で操作予測モデルを作成する際は、自動実行を行う原因となった連鎖操作の履歴に関して統計量を人為的に下げることで、自動操作をされる可能性を下げる等の手法が考えられる。   Further, as described above, the operation automatically executed by the prediction operation execution unit 15 is also stored as operation history information in the operation history storage unit 12. This storage process can cope with a case where an operation is automatically executed unlike the user's intention. For example, in order to cancel an unintended operation, the user is likely to immediately perform an operation that is the opposite of the automatically operated content. Therefore, when the operation prediction model is created by the operation prediction unit 13, the possibility of automatic operation is reduced by artificially lowering the statistic regarding the history of chain operations that caused automatic execution. A method can be considered.

(第2の実施形態)
図8は、本発明の第2の実施形態に係る情報端末装置の構成を示すブロック図である。図8において、第2の実施形態に係る情報端末装置は、入力部11と、操作検知部21と、操作履歴記憶部12と、操作予測部13と、操作支援部14とを備えている。操作支援部14は、予測操作実行部15と、ユーザ通知部16とを含んでいる。図8に示すように、第2の実施形態に係る情報端末装置は、上記第1の実施形態に係る情報端末装置に対して操作検知部21の構成が異なる。以下、この異なる構成を中心に第2の実施形態に係る情報端末装置を説明する。
(Second Embodiment)
FIG. 8 is a block diagram showing a configuration of an information terminal device according to the second embodiment of the present invention. In FIG. 8, the information terminal device according to the second embodiment includes an input unit 11, an operation detection unit 21, an operation history storage unit 12, an operation prediction unit 13, and an operation support unit 14. The operation support unit 14 includes a prediction operation execution unit 15 and a user notification unit 16. As shown in FIG. 8, the information terminal device according to the second embodiment is different in the configuration of the operation detection unit 21 from the information terminal device according to the first embodiment. Hereinafter, the information terminal device according to the second embodiment will be described focusing on this different configuration.

入力部11は、ユーザが要求する操作を入力し、操作検知部21に通知する。操作検知部21は、入力部11から通知された入力操作のうち、予め定めた特定の操作だけを操作履歴記憶部12に通知する。この操作検知部21が操作履歴記憶部12に通知する特定の操作は、開発者やユーザ等によって、情報端末装置が備える全操作の中から希望する操作だけが選択されることで予め設定される。この設定によって、情報端末装置全体の設定や動作に関わる操作、すなわち情報端末装置のアプリケーション起動や動作の設定、携帯情報端末の操作内容の中で待機状態から実行して確定することができる操作だけに関して、操作予測を行うことが可能となる。操作履歴記憶部12は、操作検知部21から通知された操作に関する情報を、操作履歴として一時的又は長期的に保存する。   The input unit 11 inputs an operation requested by the user and notifies the operation detection unit 21 of the operation. The operation detection unit 21 notifies the operation history storage unit 12 of a predetermined specific operation among the input operations notified from the input unit 11. The specific operation notified by the operation detection unit 21 to the operation history storage unit 12 is set in advance by selecting only a desired operation from among all the operations included in the information terminal device by a developer, a user, or the like. . With this setting, only the operations related to the settings and operations of the entire information terminal device, that is, operations that can be executed and confirmed from the standby state among the application activation and operation settings of the information terminal device and the operation content of the portable information terminal It becomes possible to perform operation prediction. The operation history storage unit 12 stores information about the operation notified from the operation detection unit 21 temporarily or for a long time as an operation history.

以上のように、本発明の第2の実施形態に係る情報端末装置及び操作支援方法によれば、特定の操作に関してだけ操作予測を行うことができる。よって、情報端末装置の処理能力が限られている場合や操作履歴記憶部12の記憶容量が限られている場合等でも、本発明の操作予測を行うことが可能となる。   As described above, according to the information terminal device and the operation support method according to the second embodiment of the present invention, operation prediction can be performed only for a specific operation. Therefore, even when the processing capability of the information terminal device is limited or when the storage capacity of the operation history storage unit 12 is limited, the operation prediction of the present invention can be performed.

(第3の実施形態)
図9は、本発明の第3の実施形態に係る情報端末装置の構成を示すブロック図である。図9において、第3の実施形態に係る情報端末装置は、入力部11と、情報管理部31と、操作履歴記憶部32と、操作予測部33と、操作支援部14とを備えている。操作支援部14は、予測操作実行部15と、ユーザ通知部16とを含んでいる。図9に示すように、第3の実施形態に係る情報端末装置は、上記第1の実施形態に係る情報端末装置に対して情報管理部31、操作履歴記憶部32及び操作予測部33の構成が異なる。以下、この異なる構成を中心に第3の実施形態に係る情報端末装置を説明する。
(Third embodiment)
FIG. 9 is a block diagram showing a configuration of an information terminal apparatus according to the third embodiment of the present invention. In FIG. 9, the information terminal device according to the third embodiment includes an input unit 11, an information management unit 31, an operation history storage unit 32, an operation prediction unit 33, and an operation support unit 14. The operation support unit 14 includes a prediction operation execution unit 15 and a user notification unit 16. As illustrated in FIG. 9, the information terminal device according to the third embodiment includes the information management unit 31, the operation history storage unit 32, and the operation prediction unit 33 with respect to the information terminal device according to the first embodiment. Is different. Hereinafter, the information terminal device according to the third embodiment will be described focusing on this different configuration.

入力部11は、ユーザが要求する操作を入力し、情報管理部31及び操作履歴記憶部32に通知する。情報管理部31は、操作に関連する特殊情報の管理を行っており、入力部11から通知された入力操作に対する特殊情報を、操作履歴記憶部32に通知する。この特殊情報とは、日付、時刻、曜日、ユーザ種別、地域又は移動状態等であり、これらのいずれか又は組み合わせで使用される。日付、時刻及び曜日の時間情報は、情報端末装置内部の時計機能(図示せず)等を利用して管理される。ユーザ種別の情報は、ユーザが情報端末装置にログオンする際の識別番号等で管理される。地域及び移動状態の情報は、情報端末装置内部のGPSを用いた位置検索機能(図示せず)等を利用して管理される。また、情報管理部31は、西暦から特定の国の年号へ変換する機能や、基準時刻からの経過時間から年月日と曜日とを算出する機能等の、各種データ変換機能を備えている。   The input unit 11 inputs an operation requested by the user and notifies the information management unit 31 and the operation history storage unit 32. The information management unit 31 manages special information related to the operation, and notifies the operation history storage unit 32 of the special information for the input operation notified from the input unit 11. The special information includes date, time, day of the week, user type, region, movement state, and the like, and is used in any one or combination thereof. Date, time, and time information of the day of the week are managed using a clock function (not shown) or the like inside the information terminal device. The user type information is managed by an identification number or the like when the user logs on to the information terminal device. The information on the area and the movement state is managed using a position search function (not shown) using GPS in the information terminal device. In addition, the information management unit 31 has various data conversion functions such as a function for converting the year to the year of a specific country and a function for calculating the date and day of the week from the elapsed time from the reference time. .

操作履歴記憶部32は、入力部11に入力された操作に関する情報を情報管理部31から通知される特殊情報と共に、操作履歴として一時的又は長期的に保存する。図10に、操作履歴記憶部32に記憶される時間情報を用いた操作履歴情報の一例を示す。図10において、操作日1001は、操作を実行した年月日の情報を示している。曜日1002は、操作を実行した曜日の情報を示している。時刻1003は、操作を実行した時分秒を示している。なお、操作ID1004に各特殊情報が対応付けられていれば、図10に示したデータ構造以外であっても構わない。   The operation history storage unit 32 stores information related to the operation input to the input unit 11 together with special information notified from the information management unit 31 as an operation history temporarily or for a long term. FIG. 10 shows an example of operation history information using time information stored in the operation history storage unit 32. In FIG. 10, an operation date 1001 indicates information on the date on which the operation was performed. The day of the week 1002 indicates information on the day of the week on which the operation was executed. A time 1003 indicates the hour, minute, and second when the operation is executed. In addition, as long as each special information is matched with operation ID1004, it may be other than the data structure shown in FIG.

操作予測部33は、操作履歴記憶部32に記憶されている操作履歴情報に基づいて、ユーザが次に実行する可能性の高い操作を予測する。次の操作を予測するにあたり、操作予測部33は、操作履歴記憶部32に記憶された操作履歴情報に基づいて、所定の操作予測モデルを作成する。操作予測モデルの基本概念は、上述したとおりであるが、第3の実施形態の操作予測部33と第1の実施形態の操作予測部13とでは、次の点が異なる。   Based on the operation history information stored in the operation history storage unit 32, the operation prediction unit 33 predicts an operation that is likely to be performed next by the user. In predicting the next operation, the operation prediction unit 33 creates a predetermined operation prediction model based on the operation history information stored in the operation history storage unit 32. The basic concept of the operation prediction model is as described above, but the operation prediction unit 33 of the third embodiment and the operation prediction unit 13 of the first embodiment differ in the following points.

まず、上記第1の実施形態の操作履歴記憶部12には、時間間隔を考慮せず連続した操作履歴が記憶される。例えば、ある操作が行われた7時間後に次の操作が行われた場合でも、操作履歴記憶部12には連続した操作として記録が残る。このため、第1の実施形態では、関連性のないこの2つの操作を2連鎖操作として捉えてしまい、操作予測モデルを作成してしまう恐れがある。そこで、第3の実施形態では、時間情報を用いて関連性のある連鎖操作だけを操作予測モデルの作成に反映させることで、より精度が高い操作予測を実現することを行う。例えば、図10において、第3の実施形態では、7月1日22時25分30秒に行われた「alarm02」と7月2日9時1分58秒に行われた「mannerOn」とを、2連鎖操作として捉えない。なお、どれだけの時間間隔が空けば連鎖操作として捉えないかは、所望する操作予測の精度等に鑑みて決定すればよい。   First, the operation history storage unit 12 of the first embodiment stores a continuous operation history without considering the time interval. For example, even when the next operation is performed 7 hours after a certain operation is performed, the operation history storage unit 12 records the operation as a continuous operation. For this reason, in the first embodiment, these two unrelated operations may be regarded as a two-chain operation, and an operation prediction model may be created. Therefore, in the third embodiment, the operation prediction with higher accuracy is realized by reflecting only the related chain operation in the creation of the operation prediction model using the time information. For example, in FIG. 10, in the third embodiment, “alarm02” performed at 22:25:30 on July 1 and “mannerOn” performed at 9: 1: 58 on July 2 Not considered as a two-chain operation. In addition, what time interval is not considered as a chain operation may be determined in view of the accuracy of operation prediction desired.

また、ユーザによって行われる連鎖操作には、ある時間帯やある曜日に限って集中的に行われる操作もあり得る。しかし、上記第1の実施形態の操作履歴記憶部12に記憶された操作履歴情報は時間情報を持たないため、このような判断は不可能である。そこで、第3の実施形態では、時間情報を用いて時間の関連性を考慮して連鎖操作を区分した操作予測モデルを作成することで、より精度が高い操作予測を実現することを行う。この手法で作成された操作予測モデルの一例を、図11に示す。図11では、「game01」を実行した後に行われる操作の確率値は、22時〜18時の時間帯では「volume00」が最も高く、18時〜22時の時間帯では「mannerOn」が最も高いことが分かる。従って、この場合、操作予測部33は、ユーザが「game01」の操作を入力した時間帯に従って「volume00」又は「mannerOn」のいずれかを、ユーザが行うであろう次の操作として予測する。   In addition, the chain operation performed by the user may be an operation performed intensively only during a certain time zone or a certain day of the week. However, since the operation history information stored in the operation history storage unit 12 of the first embodiment does not have time information, such a determination is impossible. Thus, in the third embodiment, operation prediction with higher accuracy is realized by creating an operation prediction model in which chain operations are classified in consideration of time relevance using time information. An example of the operation prediction model created by this method is shown in FIG. In FIG. 11, the probability value of the operation performed after executing “game01” is highest in “volume00” in the time zone from 22:00 to 18:00, and “mannerOn” is highest in the time zone from 18:00 to 22:00. I understand that. Therefore, in this case, the operation predicting unit 33 predicts either “volume00” or “mannerOn” as the next operation that the user will perform according to the time zone in which the user inputs the operation “game01”.

以上のように、本発明の第3の実施形態に係る情報端末装置及び操作支援方法によれば、ユーザ操作に関する情報と共に時刻等の特殊情報も合わせて操作履歴情報として記憶する。これにより、特殊情報を考慮した操作予測モデルを作成することができるので、上記第1の実施形態よりもさらにユーザの行動パターンに適した情報端末装置を構築することができる。なお、この第3の実施形態に係る情報端末装置においても、上記第2の実施形態で説明した操作検知部21を含めた構成が実現可能であることは言うまでもない。   As described above, according to the information terminal device and operation support method according to the third embodiment of the present invention, special information such as time is stored together with information related to user operation as operation history information. Thereby, since the operation prediction model which considered special information can be created, the information terminal device more suitable for a user's action pattern than the said 1st Embodiment can be constructed | assembled. Needless to say, the information terminal device according to the third embodiment can also be configured to include the operation detection unit 21 described in the second embodiment.

(第4の実施形態)
上記第1〜第3の実施形態では、情報端末装置内で操作履歴情報の記憶及び操作予測を全て行う場合を説明した。これら記憶や予測の処理は、情報端末装置の外部で行うことも可能である。以下、この実施形態について説明する。
(Fourth embodiment)
In the first to third embodiments, a case has been described in which operation history information is stored and operation prediction is all performed in the information terminal device. These storage and prediction processes can also be performed outside the information terminal device. Hereinafter, this embodiment will be described.

図12は、本発明の第4の実施形態に係る情報端末装置を含めた通信システムの構成図である。図12の通信システムは、情報端末装置121とサーバ装置122とで構成される。情報端末装置121とサーバ装置122とは、有線又は無線の伝送路で接続される。情報端末装置121は、上述した入力部及び操作支援部(必要に応じて、さらに情報管理部及び/又は操作検知部)と、サーバ装置122との間でデータ送受信を行う送受信部とで構成される(全て図示せず)。サーバ装置122は、上述した操作履歴記憶部及び操作予測部と、情報端末装置121との間でデータ送受信を行う送受信部とで構成される(全て図示せず)。   FIG. 12 is a configuration diagram of a communication system including an information terminal device according to the fourth embodiment of the present invention. The communication system in FIG. 12 includes an information terminal device 121 and a server device 122. The information terminal device 121 and the server device 122 are connected by a wired or wireless transmission path. The information terminal device 121 includes the above-described input unit and operation support unit (if necessary, an information management unit and / or an operation detection unit) and a transmission / reception unit that transmits and receives data to and from the server device 122. (All not shown). The server device 122 includes the above-described operation history storage unit and operation prediction unit, and a transmission / reception unit that transmits / receives data to / from the information terminal device 121 (all not shown).

ユーザが入力した操作に関する情報は、情報端末装置121からサーバ装置122へデータ送信される。このサーバ装置122は、情報端末装置121よりも大容量かつ高速で処理を行うことが可能である。サーバ装置122は、情報端末装置121から受信した入力操作に関する情報を、所定の記憶領域に記憶する。そして、サーバ装置122は、この記憶内容に従って次の操作の予測を行い、予測結果を情報端末装置121へ送信する。情報端末装置121は、サーバ装置122から受信する予測結果に基づいて、予測操作に関する操作支援を実行する。   Information regarding the operation input by the user is transmitted from the information terminal device 121 to the server device 122. The server device 122 can perform processing with a larger capacity and higher speed than the information terminal device 121. The server device 122 stores information related to the input operation received from the information terminal device 121 in a predetermined storage area. Then, the server device 122 predicts the next operation according to the stored contents, and transmits the prediction result to the information terminal device 121. Based on the prediction result received from the server device 122, the information terminal device 121 performs operation support related to the prediction operation.

(第5の実施形態)
図13は、本発明の第5の実施形態に係る情報端末装置を含めた通信システムの構成図である。図13の通信システムは、情報端末装置131と記録媒体132とで構成される。情報端末装置131は、上述した入力部、操作予測部、操作履歴記憶部の一部及び操作支援部(必要に応じて、さらに情報管理部及び/又は操作検知部)と、記録媒体132にデータを書き込むドライブ装置とで構成される(全て図示せず)。なお、ドライブ装置は、情報端末装置131に内蔵されずに外部接続であってもよい。記録媒体132は、上述した操作履歴情報を記録するためのメディア(SDカード等)である。
(Fifth embodiment)
FIG. 13 is a configuration diagram of a communication system including an information terminal device according to the fifth embodiment of the present invention. The communication system of FIG. 13 includes an information terminal device 131 and a recording medium 132. The information terminal device 131 stores data in the input unit, the operation prediction unit, a part of the operation history storage unit, an operation support unit (an information management unit and / or an operation detection unit, if necessary), and a recording medium 132. And a drive device for writing (all not shown). The drive device may be externally connected without being built in the information terminal device 131. The recording medium 132 is a medium (SD card or the like) for recording the operation history information described above.

情報端末装置131にユーザが入力した操作に関する情報は、ドライブ装置によって記録媒体132に書き込まれる。次の操作を予測する際、情報端末装置131は、記録媒体132から操作に関する情報を読み出して、読み出した情報に基づいて次の操作の予測を行う。そして、情報端末装置131は、予測操作に基づいて操作支援を実行する。   Information regarding the operation input by the user to the information terminal device 131 is written to the recording medium 132 by the drive device. When predicting the next operation, the information terminal device 131 reads information about the operation from the recording medium 132 and predicts the next operation based on the read information. Then, the information terminal device 131 performs operation support based on the prediction operation.

以上のように、本発明の第4及び第5の実施形態に係る情報端末装置及び操作支援方法によれば、情報端末装置よりも大容量の記憶領域を有し、また高速処理が可能な外部構成にデータを送信して処理を行わせることが可能となる。   As described above, according to the information terminal device and the operation support method according to the fourth and fifth embodiments of the present invention, an external device that has a larger storage area than the information terminal device and can perform high-speed processing. It is possible to send data to the configuration for processing.

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。   Although the present invention has been described in detail above, the above description is merely illustrative of the present invention in all respects and is not intended to limit the scope thereof. It goes without saying that various improvements and modifications can be made without departing from the scope of the present invention.

本発明の情報端末装置及び操作支援方法は、ユーザによる操作入力を支援して操作性の向上を図る場合に有用であり、特にユーザが行った操作からその次に行われるであろう操作を予測して自動的に実行する場合等に適している。   INDUSTRIAL APPLICABILITY The information terminal device and the operation support method of the present invention are useful for improving the operability by supporting the operation input by the user, and in particular, predicting the operation that will be performed next from the operation performed by the user It is suitable for automatic execution.

本発明の第1の実施形態に係る情報端末装置の構成を示すブロック図The block diagram which shows the structure of the information terminal device which concerns on the 1st Embodiment of this invention 入力部11に入力される操作の一例を示す図The figure which shows an example of operation input into the input part 11 操作履歴記憶部12に記憶される操作履歴情報の一例を示す図The figure which shows an example of the operation history information memorize | stored in the operation history memory | storage part 12. 操作履歴記憶部12に記憶された操作履歴情報から作成される統計情報の一例を示す図The figure which shows an example of the statistical information created from the operation history information memorize | stored in the operation history memory | storage part 12 操作予測部13で生成される操作予測モデルの一例を示す図The figure which shows an example of the operation prediction model produced | generated by the operation prediction part 13 操作予測部13で行われる処置手順を示すフローチャートThe flowchart which shows the treatment procedure performed in the operation prediction part 13 予測操作に対して定義付けられた操作内容の一例を示す図The figure which shows an example of the operation content defined with respect to prediction operation 本発明の第2の実施形態に係る情報端末装置の構成を示すブロック図The block diagram which shows the structure of the information terminal device which concerns on the 2nd Embodiment of this invention. 本発明の第3の実施形態に係る情報端末装置の構成を示すブロック図The block diagram which shows the structure of the information terminal device which concerns on the 3rd Embodiment of this invention. 操作履歴記憶部32に記憶される操作履歴情報の一例を示す図The figure which shows an example of the operation history information memorize | stored in the operation history memory | storage part 32 操作予測部33で生成される操作予測モデルの一例を示す図The figure which shows an example of the operation prediction model produced | generated by the operation prediction part 33 本発明の第4の実施形態に係る情報端末装置を含めた通信システムの構成図The block diagram of the communication system containing the information terminal device which concerns on the 4th Embodiment of this invention 本発明の第5の実施形態に係る情報端末装置を含めた通信システムの構成図Configuration diagram of a communication system including an information terminal device according to a fifth embodiment of the present invention

符号の説明Explanation of symbols

11 入力部
12、32 操作履歴記憶部
13、33 操作予測部
14 操作支援部
15 予測操作実行部
16 ユーザ通知部
21 操作検知部
31 情報管理部
121、131 情報端末装置
122 サーバ装置
132 記録媒体

11 Input unit 12, 32 Operation history storage unit 13, 33 Operation prediction unit 14 Operation support unit 15 Prediction operation execution unit 16 User notification unit 21 Operation detection unit 31 Information management unit 121, 131 Information terminal device 122 Server device 132 Recording medium

Claims (20)

ユーザによる操作入力に基づいて、その操作に対応した機能を実行する情報端末装置であって、
ユーザが要求する操作を入力するための入力部と、
前記入力部に入力された操作及び当該操作が入力された時間に関する情報を、操作履歴として記憶する操作履歴記憶部と、
前記入力部に操作が入力された時に、前記操作履歴記憶部に記憶されている操作履歴情報に基づいて、当該入力された操作に続いてユーザが入力するであろう次の操作を前記時間に従って連鎖操作であると判断される操作の中から予測する操作予測部と、
前記操作予測部で予測された次の操作に対応した機能を自動的に実行し、当該実行した次の操作に関する情報を操作履歴として前記操作履歴記憶部に記憶する予測操作支援部とを備え
前記操作予測部は、前記自動的に実行した次の操作とその後に前記入力部に入力された新たな操作とを比較し、双方の操作が相反する又は矛盾する関係にある場合は、前記次の操作が自動実行される原因となった連鎖操作の履歴に関して統計量を下げることで、前記次の操作が自動実行される可能性を下げることを特徴とする、情報端末装置。
An information terminal device that executes a function corresponding to an operation based on an operation input by a user,
An input unit for inputting an operation requested by the user;
An operation history storage unit for storing information about an operation input to the input unit and a time when the operation is input as an operation history;
When an operation is input to the input unit, based on the operation history information stored in the operation history storage unit, the next operation that the user will input following the input operation is performed according to the time. An operation prediction unit for predicting from operations determined to be chain operations ;
A function corresponding to the next operation predicted by the operation prediction unit is automatically executed, and a prediction operation support unit that stores information related to the executed next operation in the operation history storage unit as an operation history is provided .
The operation predicting unit compares the automatically executed next operation with a new operation input to the input unit thereafter, and if both operations are in conflict or contradictory, operations that lowers the statistics regarding the history of the chain operation that caused to be automatically executed, characterized by lowering the possibility of the following actions is automatically performed, the information terminal device.
前記予測操作支援部は、前記入力部に新たな操作が入力された時に、当該新たな操作の前に入力された操作に基づいて前記操作予測部で予測された次の操作と当該新たな操作とを比較し、双方の操作が異なる場合にユーザへ通知することを特徴とする、請求項1に記載の情報端末装置。   The prediction operation support unit, when a new operation is input to the input unit, the next operation predicted by the operation prediction unit based on the operation input before the new operation and the new operation The information terminal device according to claim 1, wherein a user is notified when both operations are different. 前記操作履歴記憶部は、操作に関する情報をユーザが操作した順序で記述した操作履歴情報を記憶することを特徴とする、請求項1に記載の情報端末装置。   The information terminal device according to claim 1, wherein the operation history storage unit stores operation history information in which information related to an operation is described in an operation order by a user. 前記操作履歴記憶部は、操作に関する情報をユーザが連続して操作した内容に区分して統計的に記述した操作履歴情報を記憶することを特徴とする、請求項1に記載の情報端末装置。   The information terminal device according to claim 1, wherein the operation history storage unit stores operation history information statistically described by dividing information related to operations into contents continuously operated by a user. 前記操作予測部は、以前に前記入力部に入力された操作に連続して行われた次の操作に関する発生頻度を、前記操作履歴情報に基づいて算出し、当該発生頻度から得られる連続実行される確率が最も高い次の操作を、ユーザが入力するであろう次の操作として予測することを特徴とする、請求項に記載の情報端末装置。 The operation prediction unit calculates an occurrence frequency related to a next operation that has been performed continuously after the operation previously input to the input unit based on the operation history information, and is continuously executed obtained from the occurrence frequency. The information terminal device according to claim 3 , wherein the next operation with the highest probability of being predicted is predicted as the next operation that the user will input. 前記操作予測部は、以前に前記入力部に入力された操作に連続して行われた次の操作に関する発生頻度を、前記操作履歴情報に基づいて算出し、当該発生頻度から得られる連続実行される確率が最も高い次の操作を、ユーザが入力するであろう次の操作として予測することを特徴とする、請求項に記載の情報端末装置。 The operation prediction unit calculates an occurrence frequency related to a next operation that has been performed continuously after the operation previously input to the input unit based on the operation history information, and is continuously executed obtained from the occurrence frequency. The information terminal device according to claim 4 , wherein the next operation with the highest probability of being predicted is predicted as the next operation that the user will input. 前記操作予測部は、前記入力部に入力された操作の前に連続して実行された少なくとも1つ以上の操作を考慮して、前記発生頻度を算出することを特徴とする、請求項に記載の情報端末装置。 The operation prediction unit, the taking into account at least one or more operations were performed in succession in front of the input operation to the input unit, and calculates the occurrence frequency, in claim 5 The information terminal device described. 前記操作予測部は、前記入力部に入力された操作の前に連続して実行された少なくとも1つ以上の操作を考慮して、前記発生頻度を算出することを特徴とする、請求項に記載の情報端末装置。 The operation prediction unit, the taking into account at least one or more operations were performed in succession in front of the input operation to the input unit, and calculates the occurrence frequency, in claim 6 The information terminal device described. 前記操作予測部は、前記入力部に操作が入力される毎に、前記操作履歴情報に基づいて前記発生頻度を算出することを特徴とする、請求項に記載の情報端末装置。 The information terminal device according to claim 5 , wherein the operation prediction unit calculates the occurrence frequency based on the operation history information every time an operation is input to the input unit. 前記操作予測部は、前記入力部に操作が入力される毎に、前記操作履歴情報に基づいて前記発生頻度を算出することを特徴とする、請求項に記載の情報端末装置。 The information terminal device according to claim 6 , wherein the operation prediction unit calculates the occurrence frequency based on the operation history information every time an operation is input to the input unit. 前記操作予測部は、前記操作履歴記憶部の操作履歴情報が次の操作を予測するのに統計的に不十分な場合には、次の操作を予測しないことを特徴とする、請求項に記載の情報端末装置。 The operation prediction unit, the operation when the operation history information in the history storage unit is statistically insufficient to predict the next operation, characterized in that it does not predict the next operation, in claim 5 The information terminal device described. 前記操作予測部は、前記操作履歴記憶部の操作履歴情報が次の操作を予測するのに統計的に不十分な場合には、次の操作を予測しないことを特徴とする、請求項に記載の情報端末装置。 The operation prediction unit, the operation when the operation history information in the history storage unit is statistically insufficient to predict the next operation, characterized in that it does not predict the next operation, in claim 6 The information terminal device described. 前記操作予測部は、前記入力部に入力された操作に連続して行われた次の操作のうち、前記入力部に入力された操作に相反する又は矛盾する関係にある次の操作を予測の対象から除外することを特徴とする、請求項に記載の情報端末装置。 The operation predicting unit predicts a next operation that is performed in succession to the operation input to the input unit and that is in conflict with or contradicting the operation input to the input unit. The information terminal device according to claim 5 , wherein the information terminal device is excluded from a target. 前記操作予測部は、前記入力部に入力された操作に連続して行われた次の操作のうち、前記入力部に入力された操作に相反する又は矛盾する関係にある次の操作を予測の対象から除外することを特徴とする、請求項に記載の情報端末装置。 The operation predicting unit predicts a next operation that is performed in succession to the operation input to the input unit and that is in conflict with or contradicting the operation input to the input unit. The information terminal device according to claim 6 , wherein the information terminal device is excluded from a target. 前記入力部に入力された操作が所定の操作であるか否かを判断する操作検知部をさらに備え、
前記操作予測部は、前記操作検知部で所定の操作であると判断された操作についてのみ、ユーザが入力するであろう次の操作を予測することを特徴とする、請求項1に記載の情報端末装置。
An operation detection unit that determines whether the operation input to the input unit is a predetermined operation;
The information according to claim 1, wherein the operation prediction unit predicts a next operation that a user will input only for an operation that is determined to be a predetermined operation by the operation detection unit. Terminal device.
前記入力部に入力された操作に関する特殊情報を管理する情報管理部をさらに備え、
前記操作履歴記憶部は、前記入力部に入力された操作に関する情報を、前記情報管理部から与えられる特殊情報と共に操作履歴情報として記憶し、
前記操作予測部は、前記操作履歴記憶部に記憶されている特殊情報を含む操作履歴情報に基づいて、ユーザが入力するであろう次の操作を予測することを特徴とする、請求項1に記載の情報端末装置。
An information management unit that manages special information related to the operation input to the input unit;
The operation history storage unit stores information on the operation input to the input unit as operation history information together with special information given from the information management unit,
The operation prediction unit predicts a next operation that a user will input based on operation history information including special information stored in the operation history storage unit. The information terminal device described.
前記特殊情報は、前記入力部に操作の入力を行った日付、時刻、曜日、ユーザ種別、地域又は移動状態の少なくとも1つの情報であることを特徴とする、請求項16に記載の情報端末装置。 The information terminal device according to claim 16 , wherein the special information is at least one information of a date, a time, a day of the week, a user type, a region, or a movement state when an operation is input to the input unit. . ユーザによる操作入力に基づいて、その操作に対応した機能を実行する情報端末装置であって、
ユーザが要求する操作を入力するための入力部と、
前記入力部に入力された操作及び当該操作が入力された時間に関する情報を、操作履歴として記録媒体に記憶する記録部と、
前記入力部に操作が入力された時に、前記記録媒体に記憶されている操作履歴情報を取得する取得部と、
前記取得部が取得した操作履歴情報に基づいて、前記入力部に入力された操作に続いてユーザが入力するであろう次の操作を前記時間に従って連鎖操作であると判断される操作の中から予測する操作予測部と、
前記操作予測部で予測された次の操作に対応した機能を自動的に実行し、当該実行した次の操作に関する情報を操作履歴として前記操作履歴記憶部に記憶する予測操作支援部とを備え
前記操作予測部は、前記自動的に実行した次の操作とその後に前記入力部に入力された新たな操作とを比較し、双方の操作が相反する又は矛盾する関係にある場合は、前記次の操作が自動実行される原因となった連鎖操作の履歴に関して統計量を下げることで、前記次の操作が自動実行される可能性を下げることを特徴とする、情報端末装置。
An information terminal device that executes a function corresponding to an operation based on an operation input by a user,
An input unit for inputting an operation requested by the user;
A recording unit that stores information related to an operation input to the input unit and a time when the operation is input in a recording medium as an operation history;
An acquisition unit that acquires operation history information stored in the recording medium when an operation is input to the input unit;
Based on the operation history information acquired by the acquisition unit, the next operation that the user will input following the operation input to the input unit is determined as a chain operation according to the time. An operation prediction unit to predict;
A function corresponding to the next operation predicted by the operation prediction unit is automatically executed, and a prediction operation support unit that stores information related to the executed next operation in the operation history storage unit as an operation history is provided .
The operation predicting unit compares the automatically executed next operation with a new operation input to the input unit thereafter, and if both operations are in conflict or contradictory, operations that lowers the statistics regarding the history of the chain operation that caused to be automatically executed, characterized by lowering the possibility of the following actions is automatically performed, the information terminal device.
ユーザによる操作入力に基づいてその操作に対応した機能を実行する情報端末装置が行う操作支援方法であって、
ユーザが要求する操作を入力するステップと、
前記入力するステップで入力された操作及び当該操作が入力された時間に関する情報を、操作履歴として所定の記憶部に記憶するステップと、
前記入力するステップで操作が入力された時に、前記記憶部に記憶されている操作履歴情報に基づいて、当該入力された操作に続いてユーザが入力するであろう次の操作を前記時間に従って連鎖操作であると判断される操作の中から予測するステップと、
前記予測するステップで予測された次の操作に対応した機能を自動的に実行し、当該実行した次の操作に関する情報を操作履歴として前記所定の記憶部に記憶するステップと
前記自動的に実行した次の操作とその後に前記入力部に入力された新たな操作とを比較し、双方の操作が相反する又は矛盾する関係にある場合は、前記次の操作が自動実行される原因となった連鎖操作の履歴に関して統計量を下げることで、前記次の操作が自動実行される可能性を下げるステップとを備える、操作支援方法。
An operation support method performed by an information terminal device that executes a function corresponding to an operation based on an operation input by a user,
Inputting an operation requested by the user;
Storing the operation input in the input step and information on the time when the operation was input in a predetermined storage unit as an operation history;
When an operation is input in the input step, based on the operation history information stored in the storage unit, the next operation that the user will input following the input operation is chained according to the time. Predicting from operations determined to be operations ,
Automatically executing a function corresponding to the next operation predicted in the step of predicting , and storing information related to the executed next operation in the predetermined storage unit as an operation history ;
The next operation automatically executed is compared with a new operation input to the input unit thereafter, and if both operations are in conflict or contradictory, the next operation is automatically executed. And a step of reducing the possibility that the next operation is automatically executed by lowering the statistic regarding the history of the chain operation that caused the operation .
ユーザによる操作入力に基づいてその操作に対応した機能を実行する情報端末装置が実行するプログラムであって、
前記情報端末装置に、
ユーザが要求する操作を入力するステップと、
前記入力するステップで入力された操作及び当該操作が入力された時間に関する情報を、操作履歴として所定の記憶部に記憶するステップと、
前記入力するステップで操作が入力された時に、前記記憶部に記憶されている操作履歴情報に基づいて、当該入力された操作に続いてユーザが入力するであろう次の操作を前記時間に従って連鎖操作であると判断される操作の中から予測するステップと、
前記予測するステップで予測された次の操作に対応した機能を自動的に実行し、当該実行した次の操作に関する情報を操作履歴として前記所定の記憶部に記憶するステップと
前記自動的に実行した次の操作とその後に前記入力部に入力された新たな操作とを比較し、双方の操作が相反する又は矛盾する関係にある場合は、前記次の操作が自動実行される原因となった連鎖操作の履歴に関して統計量を下げることで、前記次の操作が自動実行される可能性を下げるステップとを実行させるための、プログラム。
A program executed by an information terminal device that executes a function corresponding to an operation based on an operation input by a user,
In the information terminal device,
Inputting an operation requested by the user;
Storing the operation input in the input step and information on the time when the operation was input in a predetermined storage unit as an operation history;
When an operation is input in the input step, based on the operation history information stored in the storage unit, the next operation that the user will input following the input operation is chained according to the time. Predicting from operations determined to be operations ,
Automatically executing a function corresponding to the next operation predicted in the step of predicting , and storing information related to the executed next operation in the predetermined storage unit as an operation history ;
The next operation automatically executed is compared with a new operation input to the input unit thereafter, and if both operations are in conflict or contradictory, the next operation is automatically executed. A program for executing a step of lowering a possibility that the next operation is automatically executed by lowering a statistic regarding the history of chain operations that caused the operation .
JP2003344935A 2002-10-09 2003-10-02 Information terminal device, operation support method, and operation support program Active JP4213008B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002296230 2002-10-09
JP2003344935A JP4213008B2 (en) 2002-10-09 2003-10-02 Information terminal device, operation support method, and operation support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003344935A JP4213008B2 (en) 2002-10-09 2003-10-02 Information terminal device, operation support method, and operation support program

Publications (2)

Publication Number Publication Date
JP2004152276A JP2004152276A (en) 2004-05-27
JP4213008B2 true JP4213008B2 (en) 2009-01-21

Family

ID=32473529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003344935A Active JP4213008B2 (en) 2002-10-09 2003-10-02 Information terminal device, operation support method, and operation support program

Country Status (1)

Country Link
JP (1) JP4213008B2 (en)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483692B2 (en) * 2004-12-28 2009-01-27 Sony Ericsson Mobile Communications Ab System and method of predicting user input to a mobile terminal
EP1855186A3 (en) * 2006-05-10 2012-12-19 Samsung Electronics Co., Ltd. System and method for intelligent user interface
WO2008062552A1 (en) * 2006-11-20 2008-05-29 Access Co., Ltd. Information display device, information display program and information display system
JP4813392B2 (en) * 2007-02-06 2011-11-09 三菱電機株式会社 Programmable display
JP5003302B2 (en) * 2007-06-21 2012-08-15 ソニー株式会社 Information signal processing apparatus, information signal processing method, and program
JP5509522B2 (en) * 2007-11-28 2014-06-04 日本電気株式会社 Mobile communication terminal and method for displaying menu of mobile communication terminal
JP5082819B2 (en) * 2007-12-18 2012-11-28 日本電気株式会社 Operation support apparatus, operation support method, and operation support program
JP2009175942A (en) * 2008-01-23 2009-08-06 Sharp Corp Information apparatus, display method for character in information apparatus, and program for functioning computer as information apparatus
US8381117B2 (en) * 2008-04-09 2013-02-19 Mitsubishi Electric Corporation On a graphical user interface providing guidance of operations in an industrial plant
JP5299625B2 (en) * 2009-02-13 2013-09-25 日本電気株式会社 Operation support apparatus, operation support method, and program
JP5640573B2 (en) * 2010-09-01 2014-12-17 株式会社リコー Image processing apparatus, image processing system, setting control method, setting control program, and recording medium
JP5615128B2 (en) * 2010-10-21 2014-10-29 株式会社Nttドコモ Information processing apparatus and operation support method
JP5504135B2 (en) * 2010-11-02 2014-05-28 日本電信電話株式会社 Equipment state estimation device
US9880604B2 (en) 2011-04-20 2018-01-30 Microsoft Technology Licensing, Llc Energy efficient location detection
US20130054945A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Adaptive sensing for early booting of devices
JP2013077134A (en) * 2011-09-30 2013-04-25 Mitsubishi Electric Corp State display/instruction input device
JP5454544B2 (en) 2011-10-12 2014-03-26 富士ゼロックス株式会社 Image processing apparatus, information providing system, and program
US9189252B2 (en) * 2011-12-30 2015-11-17 Microsoft Technology Licensing, Llc Context-based device action prediction
WO2013114830A1 (en) * 2012-02-02 2013-08-08 日本電気株式会社 Process prediction execution device and process prediction execution method
JP5929399B2 (en) 2012-03-26 2016-06-08 富士ゼロックス株式会社 Information providing apparatus, information providing system, and program
US9510141B2 (en) 2012-06-04 2016-11-29 Apple Inc. App recommendation using crowd-sourced localized app usage data
CN104395843B (en) * 2012-06-19 2017-06-23 三菱电机株式会社 Automatic operation system and operation automation method
US9820231B2 (en) 2013-06-14 2017-11-14 Microsoft Technology Licensing, Llc Coalescing geo-fence events
US9998866B2 (en) 2013-06-14 2018-06-12 Microsoft Technology Licensing, Llc Detecting geo-fence events using varying confidence levels
JP6181542B2 (en) * 2013-12-18 2017-08-16 東芝メディカルシステムズ株式会社 Ultrasonic diagnostic apparatus, medical image diagnostic apparatus, and inspection procedure generation program
US9913100B2 (en) 2014-05-30 2018-03-06 Apple Inc. Techniques for generating maps of venues including buildings and floors
US9402161B2 (en) 2014-07-23 2016-07-26 Apple Inc. Providing personalized content based on historical interaction with a mobile device
JP6357993B2 (en) * 2014-09-10 2018-07-18 富士通株式会社 Electronic device and display program
JP6394335B2 (en) * 2014-12-03 2018-09-26 日本電気株式会社 Input prediction apparatus, input prediction method, and input prediction program
US10331399B2 (en) 2015-06-05 2019-06-25 Apple Inc. Smart audio playback when connecting to an audio output system
US9529500B1 (en) * 2015-06-05 2016-12-27 Apple Inc. Application recommendation based on detected triggering events
US11237696B2 (en) * 2016-12-19 2022-02-01 Google Llc Smart assist for repeated actions
JP6577542B2 (en) 2017-09-05 2019-09-18 ファナック株式会社 Control device
JPWO2021024594A1 (en) * 2019-08-06 2021-02-11
KR102386817B1 (en) * 2020-04-21 2022-04-14 (주)드림어스컴퍼니 Apparatus for music sorting based on User preference and device applied to the same

Also Published As

Publication number Publication date
JP2004152276A (en) 2004-05-27

Similar Documents

Publication Publication Date Title
JP4213008B2 (en) Information terminal device, operation support method, and operation support program
US7478072B2 (en) Information terminal device, operation supporting method, and operation supporting program
JP6811758B2 (en) Voice interaction methods, devices, devices and storage media
US9626355B2 (en) Contextual prediction of user words and user actions
US20110106736A1 (en) System and method for intuitive user interaction
EP1874013B1 (en) Mobile terminal and method for displaying standby screen according to analysis result of user's behaviour
KR101542136B1 (en) Method for inputting character message and mobile terminal using the same
US8483675B2 (en) System, method, and medium for managing conversational user interface according to usage pattern for portable operation
CN101076166B (en) Device having display buttons and display method and medium for the device
US20110154193A1 (en) Method and Apparatus for Text Input
US7136676B2 (en) Mobile terminal for displaying a variable auxiliary display area and method thereof
JP2013539579A (en) Method for recognizing user gesture and operating mobile device and mobile device
JP2008134949A (en) Portable terminal device and method for displaying schedule preparation screen
JP5208393B2 (en) Character input device and program
US9244906B2 (en) Text entry at electronic communication device
JP2007109114A (en) Function operating screen display control method
WO2008120033A1 (en) Prioritizing words based on content of input
CN110830368A (en) Instant messaging message sending method and electronic equipment
JP5089140B2 (en) Information processing apparatus, information processing method, and program
JP4819718B2 (en) Information processing apparatus, information processing method, and information processing program
JP5353346B2 (en) Schedule management apparatus and schedule management program
JP5187954B2 (en) Character input device, character input learning method, and program
KR20180109631A (en) Electronic device and method for executing function of electronic device
JP2008141421A (en) Mobile terminal, mobile terminal control device, mobile terminal control method, and mobile terminal control program
KR20150072397A (en) Method for inputting character message and mobile terminal using the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4213008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131107

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350