JP5343876B2 - Electronic device, electronic device control method, and computer program - Google Patents
Electronic device, electronic device control method, and computer program Download PDFInfo
- Publication number
- JP5343876B2 JP5343876B2 JP2010017181A JP2010017181A JP5343876B2 JP 5343876 B2 JP5343876 B2 JP 5343876B2 JP 2010017181 A JP2010017181 A JP 2010017181A JP 2010017181 A JP2010017181 A JP 2010017181A JP 5343876 B2 JP5343876 B2 JP 5343876B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- state
- information
- rule
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、ユーザの状態に応じて操作手法を切り替える電子機器、電子機器の制御方法及びコンピュータプログラムに関する。 The present invention relates to an electronic device that switches an operation method according to a user's state, a method for controlling the electronic device, and a computer program.
近年、携帯型の端末装置に加速度センサなどのモーションセンサが搭載され、ジェスチャによる入力操作が可能な端末装置が存在する。このような端末装置では、ユーザの行動状態(例えば、オフィスで座っている、駅に向かって歩いている、電車に乗っている等の状態)に応じて認識精度に差が生じるため、操作性が低下することがある。 In recent years, there is a terminal device in which a motion sensor such as an acceleration sensor is mounted on a portable terminal device and an input operation by a gesture is possible. In such a terminal device, the recognition accuracy varies depending on the user's action state (for example, sitting in the office, walking toward the station, riding on a train, etc.). May decrease.
例えば、ユーザが座った状態で端末装置を操作する場合、端末装置をしっかりと保持しながら操作することができ、しかも端末装置がユーザから受ける揺れの影響は少ないため、ジェスチャの認識精度は高い。
一方、ユーザが立っている状態で端末装置を操作する場合、ユーザによる揺れの影響が大きくなるため、ジェスチャの認識精度が低下する。また、ユーザが端末装置を保持しながら、移動、離着席などの行動を行った場合、その行動時に発生する揺れをジェスチャとして誤認識するおそれがある。これらの場合、誤認識によって受付けた操作をキャンセルする必要があり、操作が却って面倒となる。
For example, when operating the terminal device while the user is sitting, the operation can be performed while holding the terminal device firmly, and since the influence of the shaking that the terminal device receives from the user is small, the gesture recognition accuracy is high.
On the other hand, when the terminal device is operated while the user is standing, the influence of shaking by the user is increased, and the gesture recognition accuracy is reduced. In addition, when the user performs an action such as moving or taking a seat while holding the terminal device, there is a possibility that the shaking generated during the action may be erroneously recognized as a gesture. In these cases, it is necessary to cancel the operation accepted due to misrecognition, and the operation is troublesome.
ユーザの行動変化に伴う操作性の劣化を改善するための技術として、複数のセンサを利用してユーザの状態を検知し、ユーザの状態が変化した場合、変化後のユーザの状態に応じて端末装置を制御する技術が開示されている(例えば、特許文献1を参照)。 As a technique for improving deterioration in operability due to a change in user behavior, a user's state is detected using a plurality of sensors, and when the user's state changes, the terminal according to the changed user's state A technique for controlling the apparatus is disclosed (for example, see Patent Document 1).
特許文献1に開示されている技術では、ユーザの状態に変化が生じたと判定した際、変化後の状態に応じた制御を即時的に適用する構成としているため、変化前の装置の状態を引き継ぐことができない。このため、座りながら端末装置を操作しているユーザが立ち上がったときのように、操作継続中にも関わらず行動の変化が検知される場合、特許文献1では、状態変化後(立ち上がった状態)に応じた制御が即時的に実行されるため、状態変化前(座っている状態)に行っていた操作が破棄されたり、停止したりするおそれがあるという問題点を有している。 In the technique disclosed in Patent Literature 1, when it is determined that a change has occurred in the user's state, the control according to the state after the change is immediately applied, and thus the state of the device before the change is taken over. I can't. For this reason, in the case where a change in behavior is detected despite the operation being continued, such as when a user who is operating the terminal device while sitting is standing up, in Patent Document 1, after a state change (a standing state) Therefore, there is a problem that an operation performed before the state change (sitting state) may be discarded or stopped.
本願は、上記の課題を解決するため、ユーザの行動状態に変化が生じた場合であっても、直前の装置状態を引き継ぐことができる電子機器、電子機器の制御方法及びコンピュータプログラムを提供することを目的とする。 In order to solve the above-described problem, the present application provides an electronic device, a control method for the electronic device, and a computer program that can take over the previous device state even when a change occurs in the user's behavior state. With the goal.
本願に開示する電子機器は、ユーザによる操作を受付ける受付部と、ユーザの状態に応じた情報を収集する情報収集部と、ユーザの状態に応じて規定してあり、前記受付部により受付ける操作内容と実行すべき処理内容との関係を示す操作ルールを記憶する記憶部と、前記情報収集部が収集した情報に基づき、ユーザの状態が変化したか否かを判定する第1判定部と、前記受付部により受付ける操作の連続性を判定する第2判定部と、前記受付部にてユーザによる操作を受付けた際に適用する操作ルールの適用タイミングを、前記第1及び第2判定部による判定結果に従って制御する制御部と、前記受付部にてユーザによる操作を受付けた場合、前記制御部により制御される適用タイミングに従って適用する操作ルールに基づき、実行すべき処理内容を決定する処理内容決定部と、該処理内容決定部が決定した処理内容に従って処理を実行する実行部とを備えることを特徴とする。 The electronic device disclosed in the present application includes an accepting unit that accepts an operation by a user, an information collecting unit that collects information according to the user's state, and an operation content that is accepted by the accepting unit And a storage unit that stores an operation rule indicating a relationship between processing contents to be executed and a first determination unit that determines whether or not a user's state has changed based on information collected by the information collection unit, A determination result by the first and second determination units indicating the application timing of the second determination unit that determines the continuity of the operation received by the reception unit and the operation rule applied when the operation by the user is received by the reception unit. And when the user accepts an operation by the receiving unit, it should be executed based on the operation rule applied according to the application timing controlled by the control unit. A processing content determination unit that determines the physical contents, characterized by comprising an execution unit for executing processing according to the processing contents the processing content determination unit has determined.
本願によれば、ユーザの操作から操作の継続状態を推定し、ユーザの行動状態が変わった際に操作が連続している場合には直前の操作ルールを引き継ぐことが可能となる。このため、ユーザの行動状態が変わった場合であっても、ユーザによる操作が連続している場合には、同様の操作体系での操作が可能となる。また、ユーザが利用していたアプリケーションや遷移前後のユーザの行動状態を考慮することで、正確なユーザの操作の継続状態の推定が可能となり、よりよい操作環境を実現することができる。 According to the present application, it is possible to estimate the continuation state of the operation from the user's operation, and to take over the previous operation rule when the operation is continued when the user's action state is changed. For this reason, even if a user's action state changes, operation by the same operation system is attained when operation by a user is continuing. In addition, by considering the application used by the user and the user's action state before and after the transition, it is possible to accurately estimate the continuation state of the user's operation and realize a better operating environment.
以下、本願の電子機器を、通話機能、ウェブ閲覧機能、音楽再生機能、カレンダ表示機能、ドキュメント表示機能などの機能を有する携帯型の端末装置に適用した形態について、図面を用いて具体的に説明する。 Hereinafter, embodiments in which the electronic device of the present application is applied to a portable terminal device having functions such as a call function, a web browsing function, a music playback function, a calendar display function, and a document display function will be specifically described with reference to the drawings. To do.
実施の形態1.
図1は本実施の形態に係る端末装置の内部構成を示す模式図である。本実施の形態に係る端末装置は、入力モジュール1、情報収集モジュール2、操作認識モジュール3、状態認識モジュール4、ルール制御モジュール5、操作ルールデータベース6、アプリ制御モジュール7、アプリケーション群8を備える。
また、端末装置は、図に示していない時計手段を備えており、各モジュールが時計手段から出力される時刻を参照できるものとする。
Embodiment 1 FIG.
FIG. 1 is a schematic diagram showing an internal configuration of a terminal device according to the present embodiment. The terminal device according to the present embodiment includes an input module 1, an
Further, the terminal device includes clock means (not shown), and each module can refer to the time output from the clock means.
入力モジュール1は、スイッチ、ボタン、キーボードなどの少なくとも1つの入力手段を備え、ユーザによる操作を受付ける受付部として機能する。入力モジュール1にて入力された情報は、操作認識モジュール3へ送出される。
情報収集モジュール2は、加速度センサのような検出手段を備え、ユーザの行動状態に応じた情報を収集するための情報収集部として機能する。情報収集モジュール2にて収集された情報は、操作認識モジュール3及び状態認識モジュール4へ送出される。
The input module 1 includes at least one input unit such as a switch, a button, and a keyboard, and functions as a reception unit that receives an operation by a user. Information input by the input module 1 is sent to the operation recognition module 3.
The
操作認識モジュール3は、入力モジュール1又は情報収集モジュール2から通知される情報に基づき、ユーザが端末装置に対して行った操作を認識する。具体的には、入力モジュール1から送出される情報に基づいて、何れのボタン(スイッチ、キーボード)が押下操作されたのかを認識する。以下の説明では、入力モジュール1から通知される情報に基づいて認識する操作をボタン操作と称する。
The operation recognition module 3 recognizes an operation performed on the terminal device by the user based on information notified from the input module 1 or the
また、操作認識モジュール3は、情報収集モジュール2から送出される情報に基づいて、端末装置を傾ける操作、端末装置を振る操作、端末装置を叩く操作など、端末装置自体の動きを伴った操作を認識する。例えば、加速度の時間変化、加速度の方向等の加速度のパターンを解析することにより、端末装置を傾ける操作、端末装置を振る操作、端末装置を叩く操作等の操作を認識することができる。加速度のパターンを解析し、操作を認識する手法は、既知の手法を採用することができる。以下の説明では、情報収集モジュール2から通知される情報に基づいて認識する操作をジェスチャ操作と称する。
Further, the operation recognition module 3 performs an operation accompanied by the movement of the terminal device itself, such as an operation of tilting the terminal device, an operation of shaking the terminal device, or an operation of hitting the terminal device based on the information transmitted from the
操作認識モジュール3は、認識したボタン操作又はジェスチャ操作の操作名及び操作された時刻の情報を、ルール制御モジュール5へ通知する。
The operation recognition module 3 notifies the
状態認識モジュール4は、情報収集モジュール2から送出される情報に基づき、ユーザの行動状態を認識する。具体的には、ユーザが座った状態であるのか、立った状態であるのかを、加速度のパターンを解析することによって認識する。ジェスチャ操作の認識と同様に、既知の手法を用いてユーザの行動状態を認識することができる。
The
操作ルールデータベース6(以下、操作ルールDB6という)は、操作認識モジュール3において認識する操作(ボタン操作及びジェスチャ操作)と、操作を受付けた際に端末装置が実行すべき処理との対応付けを規定する操作ルールを蓄積したデータベースである。操作ルールは、ユーザの行動状態毎に定められている。 The operation rule database 6 (hereinafter referred to as the operation rule DB 6) defines associations between operations recognized by the operation recognition module 3 (button operations and gesture operations) and processes to be executed by the terminal device when an operation is received. This is a database in which operation rules to be stored are accumulated. The operation rule is defined for each user action state.
図2は操作ルールDB6の一例を示す概念図である。図2(a)は、ユーザが座った状態における操作ルールを示しており、各ジェスチャ操作と各アプリケーションで実行される処理内容との対応付けが規定されている。例えば、ユーザが座っている状態で、端末装置を「傾ける」というジェスチャ操作を行った場合、ブラウザではスクロール処理を実行し、音楽アプリでは曲送りを実行し、カレンダアプリでは月送りを実行することを示している。他のジェスチャ操作についても同様であり、各アプリケーションに対して、実行すべき処理内容が規定されている。 FIG. 2 is a conceptual diagram showing an example of the operation rule DB 6. FIG. 2A shows the operation rules when the user is sitting, and the association between each gesture operation and the processing content executed by each application is defined. For example, when the user is sitting and performing a gesture operation of “tilting” the terminal device, the browser performs scroll processing, the music app performs song feed, and the calendar app performs month feed. Is shown. The same applies to other gesture operations, and processing contents to be executed are defined for each application.
一方、図2(b)は、ユーザが立っている状態における操作ルールを示しており、各ジェスチャ操作と各アプリケーションで実行される処理内容との対応付けが規定されている。図2(b)の例では、ユーザが立っている状態においては、ジェスチャ操作そのものが無効になることが規定されている。
なお、図2では、ジェスチャ操作における操作ルールを示したが、操作ルールDB6では、ボタン操作についてもアプリケーション毎に実行すべき処理内容が規定されているものとする。ただし、ボタン操作に関しては、ユーザの行動状態毎に操作ルールを用意する必要はなく、ユーザの行動状態に依らず同一の操作ルールを適用する構成としてもよい。
On the other hand, FIG. 2B shows an operation rule in a state where the user is standing, and the association between each gesture operation and the processing content executed by each application is defined. In the example of FIG. 2B, it is defined that the gesture operation itself is invalid when the user is standing.
Although FIG. 2 shows the operation rules for the gesture operation, the operation rule DB 6 prescribes the processing content to be executed for each application for the button operation. However, regarding the button operation, it is not necessary to prepare an operation rule for each user behavior state, and the same operation rule may be applied regardless of the user behavior state.
このような操作ルールDB6に従い、ルール制御モジュール5は、実行すべき処理内容を決定する。このため、ルール制御モジュール5は、操作状況やユーザの行動状態に応じた操作ルールを操作ルールDB6から取得し、取得した操作ルールを適用することで実行すべき処理内容を決定する。操作ルールを適用する際、ルール制御モジュール5は、操作認識モジュール3から通知される操作名、及び現在起動中のアプリケーションの情報を基に検索処理を行い、検索結果として処理内容の情報を取得する。ルール制御モジュール5は、決定した処理内容の情報を、アプリ制御モジュール7へ通知する。
In accordance with such an operation rule DB 6, the
また、ルール制御モジュール5は、操作ルールの適用タイミングを制御する処理も行う。上述したように、ルール制御モジュール5は、ユーザの行動状態に応じた操作ルールを取得するようにしているが、ユーザの行動状態が変化した際に、ユーザによる何らかの操作が継続中であれば、新たに取得した操作ルールを即時的に適用することなく、ユーザの操作が途切れるまで遅延させる。一方、ユーザの行動状態が変化した際、ユーザの操作が継続中でなければ、新たに取得した操作ルールを即時的に適用する。
Further, the
アプリ制御モジュール7は、ルール制御モジュール5から通知される処理内容の情報に基づき、該当するアプリケーションでの処理を実行する。端末装置に記憶されているアプリケーション群8には、端末装置が備える機能を実現するための、ブラウザアプリ、音楽アプリ、カレンダアプリの他、端末装置の全体的な機能を実現するためのシステムアプリが含まれる。
The
以下、端末装置が実行する処理について説明する。 Hereinafter, the process which a terminal device performs is demonstrated.
図3は操作認識モジュール3が実行する処理の手順を説明するフローチャートである。操作認識モジュール3は、まず、入力モジュール1又は情報収集モジュール2から送出される情報を取得したか否かを判断する(ステップS11)。
FIG. 3 is a flowchart for explaining a procedure of processing executed by the operation recognition module 3. The operation recognition module 3 first determines whether or not the information sent from the input module 1 or the
操作認識モジュール3は、入力モジュール1から送出される情報を取得した場合(S11:YES)、取得した情報からボタン操作を抽出する処理を行う(ステップS12)。また、操作認識モジュール3は、情報収集モジュール2から送出される情報を取得した場合(S11:YES)、取得した情報として含まれる加速度パターンを解析することにより、ジェスチャ操作を抽出する処理を行う(ステップS13)。 When the operation recognition module 3 acquires information sent from the input module 1 (S11: YES), the operation recognition module 3 performs a process of extracting a button operation from the acquired information (step S12). In addition, when the operation recognition module 3 acquires information sent from the information collection module 2 (S11: YES), the operation recognition module 3 performs a process of extracting a gesture operation by analyzing an acceleration pattern included as the acquired information ( Step S13).
操作認識モジュール3は、ステップS12又はステップS13における抽出処理で、特定の操作として認識したか否かを判断する(ステップS14)。操作として認識した場合(S14:YES)、操作認識モジュール3は、認識した操作の操作名及び操作時刻を対にした情報(操作情報)を記憶すると共に(ステップS15)、操作情報をルール制御モジュール5へ通知する(ステップS16)。 The operation recognition module 3 determines whether or not it has been recognized as a specific operation in the extraction process in step S12 or step S13 (step S14). When the operation is recognized as an operation (S14: YES), the operation recognition module 3 stores information (operation information) in which the operation name and operation time of the recognized operation are paired (step S15), and the operation information is stored in the rule control module. 5 is notified (step S16).
次いで、操作認識モジュール3は、操作の連続性について判定する。例えば、操作認識モジュール3は、最新の操作として記憶された操作の操作時刻と現在時刻とを比較し(ステップS17)、操作時刻と現在時刻との差が所定時間(例えば30秒)以上であるか否かを判断する(ステップS18)。 Next, the operation recognition module 3 determines the continuity of the operation. For example, the operation recognition module 3 compares the operation time of the operation stored as the latest operation with the current time (step S17), and the difference between the operation time and the current time is a predetermined time (for example, 30 seconds) or more. Whether or not (step S18).
2つの時刻の差が所定時間未満である場合には(S18:NO)、操作認識モジュール3は、操作が連続していると判定し、操作が連続している旨の通知をルール制御モジュール5へ送出する(ステップS19)。一方、2つの操作時刻の差分が所定時間以上である場合には(S18:YES)、操作認識モジュール3は、操作が連続していないと判定し、操作が不連続である旨の通知をルール制御モジュール5へ送出する(ステップS20)。
When the difference between the two times is less than the predetermined time (S18: NO), the operation recognition module 3 determines that the operation is continuous, and notifies the
なお、ステップS17以降の処理は、ステップS11で情報を取得していないと判断した場合(S11:NO)、及びステップS14で特定の操作として認識しなかった場合(S14:NO)においても実行される。
また、操作認識モジュール3は、操作の連続性を随時判定する必要があるので、ステップS11〜S20の処理を随時繰り返して実行する。
Note that the processing after step S17 is also executed when it is determined that information has not been acquired at step S11 (S11: NO) and when it is not recognized as a specific operation at step S14 (S14: NO). The
Further, since the operation recognition module 3 needs to determine the continuity of the operation at any time, the processing of steps S11 to S20 is repeatedly performed as needed.
図4は状態認識モジュール4が実行する処理の手順を説明するフローチャートである。状態認識モジュール4は、まず、情報収集モジュール2から送出される情報を取得したか否かを判断する(ステップS21)。
FIG. 4 is a flowchart for explaining a procedure of processing executed by the
情報収集モジュール2から送出される情報を取得したと判断した場合(S21:YES)、状態認識モジュール4は、取得した情報に含まれる加速度パターンを解析することにより、ユーザの行動状態を抽出する処理を行う(ステップS22)。
When it is determined that the information sent from the
状態認識モジュール4は、ステップS22の行動状態を抽出する処理によって、ユーザが座っている状態、ユーザが立っている状態などの特定の行動状態を認識したか否かを判断する(ステップS23)。特定の行動状態を認識したと判断した場合(S23:YES)、認識した行動状態の情報をルール制御モジュール5に通知する(ステップS24)。
The
なお、上述したような状態認識モジュール4による処理は、適宜繰り返して実行される。
Note that the processing by the
図5及び図6はルール制御モジュール5が実行する処理の手順を示すフローチャートである。ルール制御モジュール5は、操作認識モジュール3から通知される操作情報を受信したか否かを判断する(ステップS31)。操作情報を受信したと判断した場合(S31:YES)、操作内容をアプリ制御モジュール7へ通知する(ステップS32)。
5 and 6 are flowcharts showing a procedure of processing executed by the
操作情報を受信していないと判断した場合(S31:NO)、ルール制御モジュール5は、操作の連続性に係る情報を、操作認識モジュール3から受信したか否かを判断する(ステップS33)。操作の連続性に係る情報を受信したと判断した場合(S33:YES)、ルール制御モジュール5は、受信した情報を現在の操作継続状態として記憶する(ステップS34)。
When it is determined that the operation information has not been received (S31: NO), the
操作の連続性に係る情報を受信していないと判断した場合(S33:NO)、ルール制御モジュール5は、状態認識モジュール4から通知される行動状態の情報を受信したか否かを判断する(ステップS35)。行動状態の情報を受信したと判断した場合(S35:YES)、ルール制御モジュール5は、受信した情報を最新のユーザ行動状態として記憶する(ステップS36)。
When it is determined that the information related to the continuity of the operation has not been received (S33: NO), the
次いで、ルール制御モジュール5は、既に記憶されている前回のユーザ行動状態が存在するか否かを判断する(ステップS37)。既に記憶されている前回のユーザ行動状態が存在しないと判断した場合(S37:NO)、最新のユーザ行動状態の情報を、便宜的に前回の行動状態として記憶する(ステップS38)。
Next, the
ステップS37で既に記憶されている前回の行動状態が存在すると判断した場合(S37:YES)、又はステップS38で過去の行動状態を記憶した場合(S38)、ルール制御モジュール5は、最新の行動状態と過去の行動状態とを比較し(ステップS39)、ユーザの行動状態が一致するか否かを判断する(ステップS40)。
When it is determined that there is a previous action state that is already stored in step S37 (S37: YES), or when a past action state is stored in step S38 (S38), the
ユーザの行動状態が一致する場合(S40:YES)、ルール制御モジュール5は、本フローチャートによる処理を終了する。この場合、ユーザの行動状態には変化がなく、現在使用中の操作ルールを引き継いで適用することができるため、新たに操作ルールを取得する必要はない。
When a user's action state corresponds (S40: YES), the
ユーザの行動状態が一致しないと判断した場合(S40:NO)、ルール制御モジュール5は、記憶してある操作継続状態の情報を参照することにより、現在の操作継続状態は連続であるか否かを判断する(ステップS41)。現在の操作継続状態が連続である場合には(S41:YES)、ルール制御モジュール5は、前回の行動状態を検索キーとして操作ルールDB6から操作ルールを取得し(ステップS42)、取得した操作ルールをアプリ制御モジュール7へ通知する(ステップS44)。
If it is determined that the user's action state does not match (S40: NO), the
一方、現在の操作継続状態が連続でない場合には(S41:NO)、ルール制御モジュール5は、最新の行動状態を検索キーとして操作ルールDB6から操作ルールを取得し(ステップS43)、取得した操作ルールをアプリ制御モジュール7へ通知する(ステップS44)。
On the other hand, when the current operation continuation state is not continuous (S41: NO), the
なお、上述したようなルール制御モジュール5による処理は、適宜繰り返して実行される。
Note that the processing by the
図7はアプリ制御モジュール7が実行する処理の手順を示すフローチャートである。アプリ制御モジュール7は、まず、ルール制御モジュール5から通知される操作内容を受信したか否かを判断する(ステップS51)。操作内容を受信していない場合(S51:NO)、ルール制御モジュール5から通知される操作ルールを受信したか否かを判断する(ステップS55)。操作ルールを受信した場合(S55:YES)、アプリ制御モジュール7は、受信した操作ルールを適用すべき操作ルールとして記憶する(ステップS56)。
FIG. 7 is a flowchart showing a procedure of processing executed by the
一方、ステップS51で操作内容を受信した場合(S51:YES)、適用すべき操作ルールが存在するか否かを判断する(ステップS52)。すなわち、アプリ制御モジュール7は、既にルール制御モジュール5から通知される操作ルールを受信して、適用すべき操作ルールとして記憶しているか否かを判断する。
On the other hand, when the operation content is received in step S51 (S51: YES), it is determined whether or not there is an operation rule to be applied (step S52). That is, the
適用すべき操作ルールが存在する場合には(S52:YES)、受信した操作ルールを適用し、操作情報内の操作名を、実行中のアプリケーションに対する制御命令に変換する(ステップS53)。そして、アプリ制御モジュール7は、操作名を変換して得られる制御命令を実行中のアプリケーションへ通知する(ステップS54)。
アプリケーションは、アプリ制御モジュールから通知される制御命令に基づき、当該制御命令が指定する処理を実行することにより、ユーザの操作に応じた処理を実現する。
If there is an operation rule to be applied (S52: YES), the received operation rule is applied, and the operation name in the operation information is converted into a control command for the application being executed (step S53). Then, the
Based on the control command notified from the application control module, the application implements the process according to the user operation by executing the process specified by the control command.
なお、上述したようなアプリ制御モジュール7による処理は、適宜繰り返して実行される。
Note that the processing by the
以上のように、本実施の形態では、ユーザの行動状態が変わった際に操作が連続している場合には、直前の操作ルールを引き継ぐ構成としている。このため、ユーザの行動状態が変わった場合であっても、ユーザによる操作が連続している場合には、これまでと同様の操作体系で操作が可能となる。 As described above, in this embodiment, when the user's behavior changes, when the operation is continued, the immediately preceding operation rule is taken over. For this reason, even if a user's action state changes, if operation by a user is continuing, operation will be possible with the same operation system as before.
なお、本実施の形態では、情報収集モジュール2においてユーザの行動状態に応じた情報を収集するための手段の一例として加速度センサを挙げたが、加速度センサに限定されるものではない。例えば、光センサ、地磁気センサ、温度センサなどユーザの周辺状況を検知し得る適宜のセンサ、映像データを取得するカメラ、音声データを取得するマイクロフォン等を用いることが可能である。また、ユーザの行動状態に応じた情報を収集するために、センサ、カメラ、及びマイクロフォンを端末装置が内蔵している必要はなく、外部で得られた情報を通信手段を利用して取得するものであってもよい。
In the present embodiment, the acceleration sensor is described as an example of the means for collecting information according to the user's action state in the
また、本実施の形態では、ユーザの行動状態に応じた操作例として、ブラウザアプリ、音楽アプリ、カレンダアプリについての操作を説明したが(図2を参照)、操作対象はこれらのアプリケーションに限定されるものではない。他のアプリケーションが含まれていてもよく、端末装置上で直接動作するシステムアプリケーション上に付属するタスクの切り替えや設定の変更機能であってもよい。 In the present embodiment, the operations for the browser application, the music application, and the calendar application have been described as examples of operations according to the user's action state (see FIG. 2), but the operation target is limited to these applications. It is not something. Other applications may be included, and a task switching or setting changing function attached to a system application that directly operates on the terminal device may be used.
また、本実施の形態では、操作の連続性を判定するための基準(操作間隔に対する閾値)が予め記憶されているものとしたが、入力モジュール1を用いてユーザが任意の閾値を入力するものとし、ユーザによって設定された閾値に基づいて操作の連続性を判定する構成としてもよい。 Further, in this embodiment, a reference (threshold for the operation interval) for determining the continuity of the operation is stored in advance, but the user inputs an arbitrary threshold using the input module 1. The operation continuity may be determined based on a threshold set by the user.
実施の形態2.
実施の形態1では、最新の操作と前回の操作との時間間隔が所定時間内であるか否かにより、操作の連続性を判定する構成としたが、操作頻度に基づいて操作の連続性を判定する構成としてもよい。
In the first embodiment, the continuity of the operation is determined based on whether or not the time interval between the latest operation and the previous operation is within a predetermined time. However, the continuity of the operation is determined based on the operation frequency. It is good also as a structure to determine.
本実施の形態では、操作認識モジュール3が入力モジュール1及び情報収集モジュール2から入力される情報を基に操作履歴31を作成し、記憶する。図8は操作履歴31の一例を示す模式図である。図8に示すように、操作認識モジュール3に記憶される操作履歴31は、操作時刻と操作内容とを対応付けて記憶したものである。
In the present embodiment, the operation recognition module 3 creates and stores an
操作認識モジュール3は、図8に示すような操作履歴31を参照し、操作の連続性を判定する。図9は実施の形態2において操作認識モジュール3が実行する処理の内容を示すフローチャートである。操作認識モジュール3は、実施の形態1と同様にして、入力モジュール1又は情報収集モジュール2から送出される情報に基づいて、操作を認識する(ステップS61〜S64)。
The operation recognition module 3 refers to the
操作認識モジュール3は、ステップS62又はステップS63における抽出処理で、操作として認識した場合、操作認識モジュール3は、認識した操作の操作名及び操作時刻を対にした情報(操作情報)を最新の操作として記憶すると共に(ステップS65)、操作情報を操作履歴31に記憶する(ステップS66)。
また、操作認識モジュール3は、操作情報をルール制御モジュール5へ送信する(ステップS67)。
When the operation recognition module 3 recognizes as an operation in the extraction process in step S62 or step S63, the operation recognition module 3 uses information (operation information) paired with the operation name and operation time of the recognized operation as the latest operation. (Step S65) and the operation information is stored in the operation history 31 (step S66).
Further, the operation recognition module 3 transmits operation information to the rule control module 5 (step S67).
次いで、操作認識モジュール3は、操作履歴31より操作頻度を算出する(ステップS68)。操作頻度は、例えば、現在時刻を起点とした所定時間範囲内において、操作認識モジュール3が認識した操作の回数を計数することにより算出する。 Next, the operation recognition module 3 calculates the operation frequency from the operation history 31 (step S68). The operation frequency is calculated, for example, by counting the number of operations recognized by the operation recognition module 3 within a predetermined time range starting from the current time.
次いで、操作認識モジュール3は、算出した操作頻度を予め記憶された閾値(例えば、5回)と比較し(ステップS69)、現在の操作頻度が閾値以上であるか否かを判断する(ステップS70)。 Next, the operation recognition module 3 compares the calculated operation frequency with a threshold value stored in advance (for example, 5 times) (step S69), and determines whether or not the current operation frequency is equal to or greater than the threshold value (step S70). ).
操作頻度が閾値以上である場合には(S70:YES)、操作が連続していると判定し、操作認識モジュール3は、操作が連続している旨の通知をルール制御モジュール5へ送出する(ステップS71)。操作頻度が閾値未満である場合には(S70:NO)、操作が連続していないと判定し、操作認識モジュール3は、操作が不連続である旨の通知をルール制御モジュール5へ送出する(ステップS72)。 When the operation frequency is equal to or higher than the threshold (S70: YES), it is determined that the operation is continuous, and the operation recognition module 3 sends a notification that the operation is continuous to the rule control module 5 ( Step S71). When the operation frequency is less than the threshold (S70: NO), it is determined that the operation is not continuous, and the operation recognition module 3 sends a notification that the operation is discontinuous to the rule control module 5 ( Step S72).
なお、ステップS69以降の処理は、ステップS61で情報を取得していないと判断した場合(S61:NO)、及びステップS64で特定の操作として認識しなかった場合(S64:NO)においても実行される。
また、操作認識モジュール3は、操作の連続性を随時判定する必要があるので、ステップS61〜S72の処理を随時繰り返して実行する。
Note that the processing after step S69 is also executed when it is determined that information has not been acquired at step S61 (S61: NO) and when it is not recognized as a specific operation at step S64 (S64: NO). The
Moreover, since the operation recognition module 3 needs to determine the continuity of operation at any time, the process of steps S61-S72 is repeatedly performed as needed.
実施の形態3.
実施の形態1では、最新の操作と前回の操作との時間間隔が所定時間内であるか否かの判定を、アプリケーションに依らずに実行する構成としたが、使用中のアプリケーションに応じて判定基準を変更する構成としてもよい。
実施の形態3では、使用中のアプリケーションに応じて操作の連続性を判定する構成について説明する。
Embodiment 3 FIG.
In the first embodiment, the determination whether or not the time interval between the latest operation and the previous operation is within a predetermined time is performed without depending on the application. However, the determination is made according to the application in use. It is good also as a structure which changes a reference | standard.
In the third embodiment, a configuration for determining continuity of operation according to an application in use will be described.
実施の形態3に係る端末装置は、アプリケーション毎に操作間隔の閾値が規定された操作間隔テーブル32を備える。図10は操作間隔テーブル32の一例を示す概念図である。図10に示す操作間隔テーブル32は、ウェブブラウザに対する操作間隔は10秒に設定され、文書閲覧アプリについては操作間隔が30秒に設定されている。例えば、ウェブブラウザのように頻繁に操作するようなアプリケーションについては操作間隔を比較的短く設定し、文書閲覧アプリのように頻繁に操作することなく利用することが多いアプリケーションについては操作間隔を比較的長く設定する。 The terminal device according to Embodiment 3 includes an operation interval table 32 in which an operation interval threshold is defined for each application. FIG. 10 is a conceptual diagram showing an example of the operation interval table 32. In the operation interval table 32 shown in FIG. 10, the operation interval for the web browser is set to 10 seconds, and the operation interval for the document browsing application is set to 30 seconds. For example, for an application that is frequently operated such as a web browser, the operation interval is set to be relatively short, and for an application that is frequently used without frequent operation such as a document browsing application, the operation interval is relatively set. Set longer.
操作認識モジュール3は、図10に示すような操作間隔テーブル32を参照し、操作の連続性を判定する。図11は実施の形態3において操作認識モジュール3が実行する処理の内容を示すフローチャートである。操作認識モジュール3は、実施の形態1と同様にして、入力モジュール1又は情報収集モジュール2から送出される情報に基づいて、ボタン操作及びジェスチャ操作を抽出する(ステップS91〜S93)。
また、操作認識モジュール3は、使用中アプリケーションのアプリケーション名を抽出する(ステップS94)。
The operation recognition module 3 refers to the operation interval table 32 as shown in FIG. 10 and determines the continuity of the operation. FIG. 11 is a flowchart showing the contents of processing executed by the operation recognition module 3 in the third embodiment. The operation recognition module 3 extracts the button operation and the gesture operation based on the information sent from the input module 1 or the
Further, the operation recognition module 3 extracts the application name of the application in use (step S94).
次いで、操作認識モジュール3は、ステップS92及びS93の抽出処理により、操作を認識したか否かを判断する(ステップS95)。操作を認識したと判断した場合(S95:YES)、ステップS94で抽出したアプリケーション名を記憶する(ステップS96)。 Next, the operation recognition module 3 determines whether or not the operation has been recognized by the extraction processing in steps S92 and S93 (step S95). If it is determined that the operation has been recognized (S95: YES), the application name extracted in step S94 is stored (step S96).
また、操作認識モジュール3は、ステップS92又はステップS93における抽出処理により、操作として認識した場合(S95:YES)、操作認識モジュール3は、認識した操作の操作名及び操作時刻を対にした情報(操作情報)を最新の操作として記憶すると共に(ステップS97)、操作情報をルール制御モジュール5へ送信する(ステップS98)。 In addition, when the operation recognition module 3 recognizes as an operation by the extraction process in step S92 or step S93 (S95: YES), the operation recognition module 3 sets the information (the operation name and operation time of the recognized operation as a pair ( (Operation information) is stored as the latest operation (step S97), and the operation information is transmitted to the rule control module 5 (step S98).
次いで、操作認識モジュール3は、操作間隔テーブル32を参照し、使用中アプリケーションに対して規定されている操作間隔(閾値)を取得する(ステップS99)。 Next, the operation recognition module 3 refers to the operation interval table 32 and acquires an operation interval (threshold value) defined for the application in use (step S99).
操作認識モジュール3は、実施の形態1と同様にして、最新の操作として記憶された操作の操作時刻と現在時刻とを比較し(ステップS100)、操作時刻と現在時刻との差がステップS99で取得した閾値以上であるか否かを判断する(ステップS101)。 The operation recognition module 3 compares the operation time of the operation stored as the latest operation with the current time in the same manner as in the first embodiment (step S100), and the difference between the operation time and the current time is determined in step S99. It is determined whether or not the acquired threshold value is exceeded (step S101).
操作時刻と現在時刻との差が閾値未満である場合には(S101:NO)、操作認識モジュール3は、操作が連続していると判定し、操作が連続している旨の通知をルール制御モジュール5へ送出する(ステップS102)。一方、操作時刻と現在時刻との差が閾値以上である場合には(S101:YES)、操作認識モジュール3は、操作が連続していないと判定し、操作が不連続である旨の通知をルール制御モジュール5へ送出する(ステップS103)。 When the difference between the operation time and the current time is less than the threshold (S101: NO), the operation recognition module 3 determines that the operation is continuous, and performs rule control to notify that the operation is continuous. The data is sent to the module 5 (step S102). On the other hand, when the difference between the operation time and the current time is equal to or greater than the threshold (S101: YES), the operation recognition module 3 determines that the operation is not continuous and notifies that the operation is discontinuous. It is sent to the rule control module 5 (step S103).
なお、ステップS100以降の処理は、ステップS91で情報を取得していないと判断した場合(S91:NO)、及びステップS95で特定の操作として認識しなかった場合(S95:NO)においても実行される。
また、操作認識モジュール3では、操作の連続性を随時判定する必要があるので、ステップS91〜S103の処理を随時繰り返して実行する。
Note that the processing after step S100 is also executed when it is determined that information has not been acquired at step S91 (S91: NO) and when it is not recognized as a specific operation at step S95 (S95: NO). The
Further, since the operation recognition module 3 needs to determine the continuity of the operation at any time, the processing of steps S91 to S103 is repeatedly performed as needed.
本実施の形態では、ユーザが使用中のアプリケーションを考慮して、操作の継続状態を判定するため、操作中であるにも関わらず操作が途切れていると判定される可能性が少なくなる。このため、ユーザの操作の正確な継続状態を推定することが可能となり、よりよい操作環境を実現することができる。 In the present embodiment, since the operation continuation state is determined in consideration of the application being used by the user, the possibility that the operation is determined to be interrupted despite the operation is reduced. For this reason, it becomes possible to estimate the exact continuation state of a user's operation, and a better operating environment can be realized.
なお、本実施の形態では、操作間隔テーブル32を端末装置の内部に備える構成としたが、端末装置の外部に操作間隔テーブルを用意しておき、判定時に端末装置がこの操作間隔テーブルにアクセスし、操作の連続性を判定する構成としてもよい。
また、本実施の形態では、操作間隔テーブル32に操作時間についての閾値を設定する構成について説明したが、実施の形態2と同様にして、アプリケーション毎に操作頻度を設定する構成としてもよい。
In this embodiment, the operation interval table 32 is provided inside the terminal device. However, an operation interval table is prepared outside the terminal device, and the terminal device accesses the operation interval table at the time of determination. The continuity of operation may be determined.
Further, in the present embodiment, the configuration in which the threshold value for the operation time is set in the operation interval table 32 has been described. However, as in the second embodiment, the operation frequency may be set for each application.
実施の形態4.
実施の形態1では、最新の操作と前回の操作との時間間隔が所定時間内であるか否かの判定を、操作の種類に依らずに実行する構成としたが、実行される操作の種類に応じて判定基準を変更する構成としてもよい。
In the first embodiment, the determination as to whether or not the time interval between the latest operation and the previous operation is within a predetermined time is performed regardless of the type of operation. It is good also as a structure which changes a determination reference | standard according to.
実施の形態4に係る端末装置は、操作内容と操作種類との関係を規定した操作種類マッピングテーブル33、及び操作種類毎に操作間隔の閾値が規定された操作間隔テーブル34を備える。
The terminal device according to
図12は操作種類マッピングテーブル33の一例を示す概念図である。操作種類マッピングテーブル33では、操作内容と操作種類との関係が規定されている。例えば、メニュー選択という操作、ツールバーにおける戻る又は進むという操作は、メニューに関する操作種類に属していることを示している。他の操作内容についても同様であり、操作種類マッピングテーブル33は、各操作種類に対して1又は複数の操作内容が規定されている。 FIG. 12 is a conceptual diagram showing an example of the operation type mapping table 33. The operation type mapping table 33 defines the relationship between the operation content and the operation type. For example, an operation of selecting a menu and an operation of returning or moving forward on a tool bar indicate that they belong to an operation type related to a menu. The same applies to other operation contents, and the operation type mapping table 33 defines one or more operation contents for each operation type.
図13は操作間隔テーブル34の一例を示す概念図である。操作間隔テーブル34では、操作種類毎に操作間隔に対する閾値が規定されている。例えば、プレイリスト・タグ編集という操作種類に対して操作間隔が15秒に設定されている。楽曲検索、曲操作の操作種類についても同様であり、それぞれ30秒、90秒に設定されている。
プレイリスト・タグ編集では、曲名の選択やタグの入力のためにボタン操作が頻繁に行われることが予想される。このように頻繁に操作されるような操作種類については、操作間隔を比較的短く設定する。一方、曲操作のように頻繁に操作が行われないような操作種類については、操作間隔を比較的長く設定する。
FIG. 13 is a conceptual diagram showing an example of the operation interval table 34. In the operation interval table 34, a threshold for the operation interval is defined for each operation type. For example, the operation interval is set to 15 seconds for the operation type of playlist / tag editing. The same applies to the operation types of music search and music operation, which are set to 30 seconds and 90 seconds, respectively.
In playlist / tag editing, it is expected that button operations are frequently performed for selecting a song name and inputting a tag. For such operation types that are frequently operated, the operation interval is set to be relatively short. On the other hand, for operation types that are not frequently operated, such as music operations, the operation interval is set to be relatively long.
操作認識モジュール3は、図12に示すような操作種類マッピングテーブル33、及び図13に示すような操作間隔テーブル34を参照し、操作の連続性を判定する。図14は実施の形態4において操作認識モジュール3が実行する処理の内容を示すフローチャートである。操作認識モジュール3は、実施の形態1と同様にして、入力モジュール1又は情報収集モジュール2から送出される情報に基づいて、ボタン操作及びジェスチャ操作を抽出し、認識される操作を最新の操作として記憶する(ステップS111〜S115)。
The operation recognition module 3 refers to the operation type mapping table 33 as shown in FIG. 12 and the operation interval table 34 as shown in FIG. 13 to determine the continuity of the operation. FIG. 14 is a flowchart showing the contents of processing executed by the operation recognition module 3 in the fourth embodiment. As in the first embodiment, the operation recognition module 3 extracts button operations and gesture operations based on information sent from the input module 1 or the
次いで、操作認識モジュール3は、操作種類マッピングテーブル33を参照し、現在の操作が示す操作種類を特定する(ステップS116)。また、操作認識モジュール3は、ステップS114で認識した操作の操作情報(すなわち、認識した操作の操作名及び操作時刻を対にした情報)をルール制御モジュール5へ送信する(ステップS117)。 Next, the operation recognition module 3 refers to the operation type mapping table 33 and identifies the operation type indicated by the current operation (step S116). Further, the operation recognition module 3 transmits the operation information of the operation recognized in step S114 (that is, information in which the operation name and operation time of the recognized operation are paired) to the rule control module 5 (step S117).
次いで、操作認識モジュール3は、操作間隔テーブル34を参照し、認識した操作の操作種類に対して規定されている操作間隔(閾値)を取得する(ステップS118)。 Next, the operation recognition module 3 refers to the operation interval table 34 and acquires an operation interval (threshold value) defined for the operation type of the recognized operation (step S118).
次いで、操作認識モジュール3は、操作の連続性について判定する。操作認識モジュール3は、最新の操作として記憶された操作の操作時刻と現在時刻とを比較し(ステップS119)、操作時刻と現在時刻との差が、ステップS118で取得した閾値以上であるか否かを判断する(ステップS120)。 Next, the operation recognition module 3 determines the continuity of the operation. The operation recognition module 3 compares the operation time of the operation stored as the latest operation with the current time (step S119), and whether or not the difference between the operation time and the current time is greater than or equal to the threshold acquired in step S118. Is determined (step S120).
2つの時刻の差が閾値未満である場合には(S120:NO)、操作認識モジュール3は、操作が連続していると判定し、操作が連続している旨の通知をルール制御モジュール5へ送出する(ステップS121)。一方、2つの操作時刻の差分が閾値以上である場合には(S120:YES)、操作認識モジュール3は、操作が連続していないと判定し、操作が不連続である旨の通知をルール制御モジュール5へ送出する(ステップS122)。
When the difference between the two times is less than the threshold (S120: NO), the operation recognition module 3 determines that the operation is continuous and notifies the
なお、ステップS119以降の処理は、ステップS111で情報を取得していないと判断した場合(S111:NO)、及びステップS114で特定の操作として認識しなかった場合(S114:NO)においても実行される。
また、操作認識モジュール3では、操作の連続性を随時判定する必要があるので、ステップS111〜S122の処理が随時繰り返して実行される。
Note that the processing after step S119 is also executed when it is determined that information has not been acquired at step S111 (S111: NO) and when it is not recognized as a specific operation at step S114 (S114: NO). The
Further, since the operation recognition module 3 needs to determine the continuity of the operation as needed, the processes of steps S111 to S122 are repeatedly performed as needed.
以上のように、本実施の形態では、操作種類に応じた操作間隔が設定されているため、操作中であるにも関わらず操作が途切れていると判定される可能性が少なくなる。このため、ユーザの操作の正確な継続状態を推定することが可能となり、よりよい操作環境を実現することができる。 As described above, in the present embodiment, since the operation interval according to the operation type is set, there is less possibility that the operation is determined to be interrupted even though the operation is being performed. For this reason, it becomes possible to estimate the exact continuation state of a user's operation, and a better operating environment can be realized.
なお、本実施の形態では、操作間隔テーブル34を端末装置の内部に備える構成としたが、端末装置に用意されたテーブルを参照し、操作の連続性を判定する構成としてもよい。 In the present embodiment, the operation interval table 34 is provided inside the terminal device. However, the operation continuity may be determined with reference to a table prepared in the terminal device.
また、本実施の形態では、最新操作の操作種類に応じた閾値を操作間隔テーブル34から取得する構成としたが、実施の形態2と同様にして、操作履歴を記憶しておき、現在時刻を起点とした所定時間範囲内における最頻出の操作を特定し、最頻出の操作の操作種類に応じて操作間隔テーブル34から閾値を取得し、操作の連続性を判定する構成としてもよい。 In the present embodiment, the threshold according to the operation type of the latest operation is acquired from the operation interval table 34. However, as in the second embodiment, the operation history is stored and the current time is set. The most frequent operation within a predetermined time range as a starting point may be specified, a threshold value may be acquired from the operation interval table 34 according to the operation type of the most frequent operation, and the continuity of the operation may be determined.
実施の形態5.
実施の形態1では、最新の操作と前回の操作との時間間隔が所定時間内であるか否かを判定し、操作の連続性を判定する構成としたが、行動状態の遷移(すなわち、ユーザの状態の組合わせ)に応じて異なる判定基準を用いる構成としてもよい。
実施の形態5では、行動状態の遷移に応じて設定された判定基準を用いて操作の連続性を判定する構成について説明する。
In the first embodiment, it is determined whether or not the time interval between the latest operation and the previous operation is within a predetermined time, and the continuity of the operation is determined. It is good also as a structure which uses a different criterion according to the combination of the state of ().
In the fifth embodiment, a configuration for determining the continuity of an operation using a determination criterion set according to the transition of the behavior state will be described.
本実施の形態に係る端末装置は、ユーザの行動状態の遷移を特定するために、最新の行動状態と前回の行動状態とが記憶される行動状態記憶テーブル35を備える。図15は行動状態記憶テーブル35の一例を示す概念図である。図15に示した例では、前回のユーザの行動状態が「立っている」状態であったこと、最新のユーザの行動状態が「座っている」状態であったことを示している。
この行動状態記憶テーブル35は、状態認識モジュール4でユーザの行動状態が認識される都度、更新されるものである。
The terminal device according to the present embodiment includes a behavior state storage table 35 in which the latest behavior state and the previous behavior state are stored in order to identify the transition of the behavior state of the user. FIG. 15 is a conceptual diagram showing an example of the behavior state storage table 35. In the example illustrated in FIG. 15, the previous user behavior state is “standing”, and the latest user behavior state is “sitting”.
The behavior state storage table 35 is updated each time the behavior recognition state of the user is recognized by the
また、本実施の形態に係る端末装置は、ユーザの行動状態の遷移(行動状態の組)に応じて操作間隔の閾値を規定した操作間隔テーブル36を備える。図16は操作間隔テーブル36の一例を示す概念図である。図16に示す操作間隔テーブル36では、行動状態の組に応じて操作間隔の閾値が規定されている。例えば、立っている状態から座っている状態への遷移に対し、操作間隔の閾値として20秒を用いることが規定されており、座っている状態から立っている状態への遷移に対し、操作間隔の閾値として40秒を用いることが規定されている。 In addition, the terminal device according to the present embodiment includes an operation interval table 36 that defines an operation interval threshold according to a transition of a user's behavior state (a set of behavior states). FIG. 16 is a conceptual diagram showing an example of the operation interval table 36. In the operation interval table 36 shown in FIG. 16, the threshold value of the operation interval is defined according to the set of action states. For example, it is stipulated that 20 seconds is used as an operation interval threshold for a transition from a standing state to a sitting state, and an operation interval is set for a transition from a sitting state to a standing state. It is specified that 40 seconds is used as the threshold value.
操作認識モジュール3は、図16に示すような操作間隔テーブル36を参照し、操作の連続性を判定する。図17及び図18は実施の形態5において操作認識モジュール3が実行する処理の内容を示すフローチャートである。操作認識モジュール3は、実施の形態1と同様にして、入力モジュール1又は情報収集モジュール2から送出される情報に基づいて、ボタン操作及びジェスチャ操作を抽出し、認識される操作を最新の操作として記憶する(ステップS131〜S135)。
The operation recognition module 3 refers to the operation interval table 36 as shown in FIG. 16 and determines the continuity of the operation. 17 and 18 are flowcharts showing the contents of processing executed by the operation recognition module 3 in the fifth embodiment. As in the first embodiment, the operation recognition module 3 extracts button operations and gesture operations based on information sent from the input module 1 or the
次いで、操作認識モジュール3は、状態認識モジュール4からユーザの行動状態についての通知を受信したか否かを判断する(ステップS136)。ユーザの行動状態の通知を受信したと判断した場合(S136:YES)、受信した行動状態と最新の行動状態とが一致するか否かを判断する(ステップS137)。 Next, the operation recognition module 3 determines whether a notification about the user's action state is received from the state recognition module 4 (step S136). When it is determined that the user behavior state notification has been received (S136: YES), it is determined whether or not the received behavior state matches the latest behavior state (step S137).
受信した行動状態と最新の行動状態とが一致しないと判断した場合(S137:NO)、操作認識モジュール3は、行動状態記憶テーブル35に記憶されている最新の行動状態を、前回の行動状態に上書きすると共に(ステップS138)、状態認識モジュール4から通知された行動状態を最新の行動状態に上書きし(ステップS139)、行動状態記憶テーブル35を更新する。
When it is determined that the received behavior state does not match the latest behavior state (S137: NO), the operation recognition module 3 changes the latest behavior state stored in the behavior state storage table 35 to the previous behavior state. Overwriting (step S138), the behavior state notified from the
次いで、操作認識モジュール3は、ステップS134で認識した操作の操作情報(すなわち、認識した操作の操作名及び操作時刻を対にした情報)をルール制御モジュール5へ送信する(ステップS140)。 Next, the operation recognition module 3 transmits the operation information of the operation recognized in step S134 (that is, information in which the operation name and operation time of the recognized operation are paired) to the rule control module 5 (step S140).
次いで、操作認識モジュール3は、行動状態記憶テーブル35を参照し、前回の行動状態及び最新の行動状態の組に対して設定されている操作間隔(閾値)を操作間隔テーブル36から取得する(ステップS141)。 Next, the operation recognition module 3 refers to the behavior state storage table 35 and obtains an operation interval (threshold value) set for the set of the previous behavior state and the latest behavior state from the operation interval table 36 (step) S141).
次いで、操作認識モジュール3は、操作の連続性について判定する。操作認識モジュール3は、最新の操作として記憶された操作の操作時刻と現在時刻とを比較し(ステップS142)、操作時刻と現在時刻との差が、ステップS141で取得した閾値以上であるか否かを判断する(ステップS143)。 Next, the operation recognition module 3 determines the continuity of the operation. The operation recognition module 3 compares the operation time of the operation stored as the latest operation with the current time (step S142), and whether or not the difference between the operation time and the current time is greater than or equal to the threshold acquired in step S141. Is determined (step S143).
2つの時刻の差が閾値未満である場合には(S143:NO)、操作認識モジュール3は、操作が連続していると判定し、操作が連続している旨の通知をルール制御モジュール5へ送出する(ステップS144)。一方、2つの操作時刻の差分が閾値以上である場合、すなわち閾値以上である場合には(S143:YES)、操作認識モジュール3は、操作が連続していないと判定し、操作が不連続である旨の通知をルール制御モジュール5へ送出する(ステップS145)。
If the difference between the two times is less than the threshold (S143: NO), the operation recognition module 3 determines that the operation is continuous, and notifies the
なお、ステップS142以降の処理は、ステップS131で情報を取得していないと判断した場合(S131:NO)、ステップS134で特定の操作として認識しなかった場合(S134:NO)、ステップS136でユーザの行動状態についての通知がないと判断した場合(S136:NO)、及びステップS137において受信した行動状態と最新の行動状態とが一致すると判断した場合(S137:YES)においても実行される。
また、操作認識モジュール3では、操作の連続性を随時判定する必要があるので、ステップS131〜S145の処理が随時繰り返して実行される。
If it is determined in step S131 that information has not been acquired in step S131 (S131: NO), or if it is not recognized as a specific operation in step S134 (S134: NO), the process in step S136 is performed by the user. It is also executed when it is determined that there is no notification of the behavior state (S136: NO), and when it is determined that the behavior state received in step S137 matches the latest behavior state (S137: YES).
Further, in the operation recognition module 3, since it is necessary to determine the continuity of the operation at any time, the processes of steps S131 to S145 are repeatedly executed as needed.
以上のように、本実施の形態では、行動状態の遷移に応じた操作間隔が設定されているため、操作中であるにも関わらず操作が途切れていると判定される可能性が少なくなる。このため、ユーザの操作の正確な継続状態を推定することが可能となり、よりよい操作環境を実現することができる。 As described above, in the present embodiment, since the operation interval corresponding to the transition of the behavior state is set, the possibility that the operation is determined to be interrupted despite the operation is reduced. For this reason, it becomes possible to estimate the exact continuation state of a user's operation, and a better operating environment can be realized.
なお、本実施の形態では、操作間隔テーブル36を端末装置の内部に備える構成としたが、端末装置に用意されたテーブルを参照し、操作の連続性を判定する構成としてもよい。 In the present embodiment, the operation interval table 36 is provided inside the terminal device. However, the operation continuity may be determined by referring to a table prepared in the terminal device.
以上の実施の形態に関し、更に以下の付記を開示する。 Regarding the above embodiment, the following additional notes are disclosed.
(付記1)
ユーザによる操作を受付ける受付部と、
ユーザの状態に応じた情報を収集する情報収集部と、
ユーザの状態に応じて規定してあり、前記受付部により受付ける操作内容と実行すべき処理内容との関係を示す操作ルールを記憶する記憶部と、
前記情報収集部が収集した情報に基づき、ユーザの状態が変化したか否かを判定する第1判定部と、
前記受付部により受付ける操作の連続性を判定する第2判定部と、
前記受付部にてユーザによる操作を受付けた際に適用する操作ルールの適用タイミングを、前記第1及び第2判定部による判定結果に従って制御する制御部と、
前記受付部にてユーザによる操作を受付けた場合、前記制御部により制御される適用タイミングに従って適用する操作ルールに基づき、実行すべき処理内容を決定する処理内容決定部と、
該処理内容決定部が決定した処理内容に従って処理を実行する実行部と
を備えることを特徴とする電子機器。
(Appendix 1)
A reception unit that accepts user operations;
An information collection unit that collects information according to the user's condition;
A storage unit that stores the operation rules that are defined according to the user's state and that indicates the relationship between the operation content received by the reception unit and the processing content to be executed;
A first determination unit that determines whether or not a user's state has changed based on the information collected by the information collection unit;
A second determination unit that determines continuity of operations received by the reception unit;
A control unit that controls application timing of an operation rule to be applied when an operation by a user is received at the reception unit according to a determination result by the first and second determination units;
A process content determination unit for determining a process content to be executed based on an operation rule to be applied according to an application timing controlled by the control unit when an operation by a user is received by the reception unit;
An electronic device comprising: an execution unit that executes processing according to the processing content determined by the processing content determination unit.
(付記2)
前記第1判定部がユーザの状態が変化したと判定し、かつ前記第2判定部が操作が連続していると判定した場合、前記制御部は、変化前のユーザの状態に応じた操作ルールを維持するようにしてあり、
前記第1判定部がユーザの状態が変化したと判定し、かつ前記第2判定部が操作が連続していないと判定した場合、前記制御部は、変化前のユーザの状態に応じた操作ルールを、変化後のユーザの状態に応じた操作ルールに切り替えるようにしてある
ことを特徴とする付記1に記載の電子機器。
(Appendix 2)
When the first determination unit determines that the user's state has changed and the second determination unit determines that the operation is continuous, the control unit determines an operation rule according to the user's state before the change. To keep
When the first determination unit determines that the user's state has changed and the second determination unit determines that the operation is not continuous, the control unit determines an operation rule according to the user's state before the change. The electronic device according to appendix 1, wherein the electronic device is switched to an operation rule according to a user state after the change.
(付記3)
前記受付部により受付ける操作の操作間隔を計測する計測部と、
閾値を記憶する閾値記憶部と
を備え、
前記第2判定部は、前記計測部が計測する操作間隔と前記閾値記憶部に記憶されている閾値との長短により、操作の連続性を判定するようにしてあることを特徴とする付記1又は付記2に記載の電子機器。
(Appendix 3)
A measurement unit that measures an operation interval of operations received by the reception unit;
A threshold storage unit for storing the threshold,
The second determination unit is configured to determine the continuity of the operation based on the length of the operation interval measured by the measurement unit and the threshold value stored in the threshold value storage unit. The electronic device according to
(付記4)
前記受付部により受付ける操作により実行される複数のアプリケーションを記憶するアプリケーション記憶部を備え、
前記閾値記憶部は、アプリケーション毎に閾値を記憶してあることを特徴とする付記3に記載の電子機器。
(Appendix 4)
An application storage unit that stores a plurality of applications executed by an operation received by the reception unit;
The electronic device according to appendix 3, wherein the threshold storage unit stores a threshold for each application.
(付記5)
前記閾値記憶部は、1又は複数の操作内容を含む操作種類に応じて閾値を記憶してあることを特徴とする付記3に記載の電子機器。
(Appendix 5)
The electronic device according to appendix 3, wherein the threshold storage unit stores a threshold according to an operation type including one or more operation contents.
(付記6)
前記受付部により受付ける操作の履歴を記憶する操作履歴記憶部を備え、
前記第2判定部は、所定時間内における最頻出の操作を含んだ操作種類に対して定められている閾値を用いて、操作の連続性を判定するようにしてあることを特徴とする付記5に記載の電子機器。
(Appendix 6)
An operation history storage unit that stores a history of operations received by the reception unit;
The second determination unit is configured to determine operation continuity using a threshold value determined for an operation type including the most frequent operation within a predetermined time. The electronic device as described in.
(付記7)
前記閾値記憶部は、ユーザの複数の状態の組み合わせに応じて閾値を記憶してあることを特徴とする付記3に記載の電子機器。
(Appendix 7)
The electronic device according to appendix 3, wherein the threshold storage unit stores a threshold according to a combination of a plurality of states of the user.
(付記8)
操作間隔に対する閾値を設定する設定部を備え、
前記設定部により設定した閾値を前記閾値記憶部に記憶するようにしてあることを特徴とする付記3に記載の電子機器。
(Appendix 8)
A setting unit for setting a threshold for the operation interval;
The electronic device according to appendix 3, wherein the threshold set by the setting unit is stored in the threshold storage unit.
(付記9)
前記計測部は、所定時間内に操作された回数を計測するようにしてあることを特徴とする付記3から付記8の何れか1つに記載の電子機器。
(Appendix 9)
The electronic device according to any one of appendix 3 to
(付記10)
ユーザによる操作を受付け、
受付けた操作の連続性を判定し、
ユーザの状態に応じた情報を収集し、
収集した情報に基づいてユーザの状態が変化したか否かを判定し、
ユーザの状態に応じて規定してあり、操作内容と実行すべき処理内容との関係を示す操作ルールの適用タイミングを、ユーザによる操作の連続性及びユーザの状態変化の判定結果に従って制御し、
ユーザによる操作を受付けた場合、前記判定結果に従って制御される適用タイミングにて適用される操作ルールに基づいて実行すべき処理内容を決定し、
決定した処理内容に従って処理を実行することを特徴とする電子機器の制御方法。
(Appendix 10)
Accept user operations,
Determine the continuity of accepted operations,
Collect information according to the user status,
Based on the collected information, determine whether the user's status has changed,
It is defined according to the user's state, and controls the application timing of the operation rule indicating the relationship between the operation content and the processing content to be executed according to the determination result of the user's operation continuity and the user's state change,
When the operation by the user is accepted, the processing content to be executed is determined based on the operation rule applied at the application timing controlled according to the determination result,
A control method for an electronic device, characterized in that processing is executed in accordance with the determined processing content.
(付記11)
コンピュータに、受付けた操作の連続性を判定させるステップと、
コンピュータに、外部から取得した情報に基づいてユーザの状態が変化したか否かを判定させるステップと、
コンピュータに、ユーザの状態に応じて規定してあり、操作内容と実行すべき処理内容との関係を示す操作ルールの適用タイミングを、ユーザによる操作の連続性及びユーザの状態変化の判定結果に従って制御させるステップと、
コンピュータに、ユーザによる操作を受付けた場合、前記判定結果に従って制御される適用タイミングにて適用される操作ルールに基づいて実行すべき処理内容を決定させるステップと、
コンピュータに、決定させた処理内容に従って処理を実行させるステップと
を実行させることを特徴とするコンピュータプログラム。
(Appendix 11)
Causing the computer to determine the continuity of the accepted operations;
Causing the computer to determine whether or not the user's state has changed based on information acquired from outside;
Controls the application timing of operation rules that are defined in the computer according to the user's status and indicate the relationship between the operation content and the processing content to be executed according to the determination result of the continuity of the user's operation and the user's state change. Step to
When the computer accepts the operation by the user, the step of determining the processing content to be executed based on the operation rule applied at the application timing controlled according to the determination result;
And causing the computer to execute a process according to the determined processing content.
1 入力モジュール(受付部)
2 情報収集モジュール(情報収集部)
3 操作認識モジュール(第2判定部)
4 状態認識モジュール(第1判定部)
5 ルール制御モジュール(処理内容決定部)
6 操作ルールデータベース(記憶部)
7 アプリ制御モジュール(実行部)
8 アプリケーション群
1 Input module (reception part)
2 Information collection module (information collection unit)
3 Operation recognition module (second determination unit)
4 State recognition module (first determination unit)
5 Rule control module (Processing content decision unit)
6 Operation rule database (storage)
7 Application control module (execution unit)
8 applications
Claims (5)
ユーザの状態に応じた情報を収集する情報収集部と、
ユーザの状態に応じて規定してあり、前記受付部により受付ける操作内容と実行すべき処理内容との関係を示す操作ルールを記憶する記憶部と、
前記情報収集部が収集した情報に基づき、ユーザの状態が変化したか否かを判定する第1判定部と、
前記受付部により受付ける操作の連続性を判定する第2判定部と、
前記受付部にてユーザによる操作を受付けた際に適用する操作ルールの適用タイミングを、前記第1及び第2判定部による判定結果に従って制御する制御部と、
前記受付部にてユーザによる操作を受付けた場合、前記制御部により制御される適用タイミングに従って適用する操作ルールに基づき、実行すべき処理内容を決定する処理内容決定部と、
該処理内容決定部が決定した処理内容に従って処理を実行する実行部と
を備えることを特徴とする電子機器。 A reception unit that accepts user operations;
An information collection unit that collects information according to the user's condition;
A storage unit that stores the operation rules that are defined according to the user's state and that indicates the relationship between the operation content received by the reception unit and the processing content to be executed;
A first determination unit that determines whether or not a user's state has changed based on the information collected by the information collection unit;
A second determination unit that determines continuity of operations received by the reception unit;
A control unit that controls application timing of an operation rule to be applied when an operation by a user is received at the reception unit according to a determination result by the first and second determination units;
A process content determination unit for determining a process content to be executed based on an operation rule to be applied according to an application timing controlled by the control unit when an operation by a user is received by the reception unit;
An electronic device comprising: an execution unit that executes processing according to the processing content determined by the processing content determination unit.
前記第1判定部がユーザの状態が変化したと判定し、かつ前記第2判定部が操作が連続していないと判定した場合、前記制御部は、変化前のユーザの状態に応じた操作ルールを、変化後のユーザの状態に応じた操作ルールに切り替えるようにしてある
ことを特徴とする請求項1に記載の電子機器。 When the first determination unit determines that the user's state has changed and the second determination unit determines that the operation is continuous, the control unit determines an operation rule according to the user's state before the change. To keep
When the first determination unit determines that the user's state has changed and the second determination unit determines that the operation is not continuous, the control unit determines an operation rule according to the user's state before the change. The electronic device according to claim 1, wherein the electronic device is switched to an operation rule corresponding to a user state after the change.
閾値を記憶する閾値記憶部と
を備え、
前記第2判定部は、前記計測部が計測する操作間隔と前記閾値記憶部に記憶されている閾値との長短により、操作の連続性を判定するようにしてあることを特徴とする請求項1又は請求項2に記載の電子機器。 A measurement unit that measures an operation interval of operations received by the reception unit;
A threshold storage unit for storing the threshold,
2. The second determination unit is configured to determine continuity of an operation based on a length between an operation interval measured by the measurement unit and a threshold value stored in the threshold value storage unit. Or the electronic device of Claim 2.
受付けた操作の連続性を判定し、
ユーザの状態に応じた情報を収集し、
収集した情報に基づいてユーザの状態が変化したか否かを判定し、
ユーザの状態に応じて規定してあり、操作内容と実行すべき処理内容との関係を示す操作ルールの適用タイミングを、ユーザによる操作の連続性及びユーザの状態変化の判定結果に従って制御し、
ユーザによる操作を受付けた場合、前記判定結果に従って制御される適用タイミングにて適用される操作ルールに基づいて実行すべき処理内容を決定し、
決定した処理内容に従って処理を実行することを特徴とする電子機器の制御方法。 Accept user operations,
Determine the continuity of accepted operations,
Collect information according to the user status,
Based on the collected information, determine whether the user's status has changed,
It is defined according to the user's state, and controls the application timing of the operation rule indicating the relationship between the operation content and the processing content to be executed according to the determination result of the user's operation continuity and the user's state change,
When the operation by the user is accepted, the processing content to be executed is determined based on the operation rule applied at the application timing controlled according to the determination result,
A control method for an electronic device, characterized in that processing is executed in accordance with the determined processing content.
コンピュータに、外部から取得した情報に基づいてユーザの状態が変化したか否かを判定させるステップと、
コンピュータに、ユーザの状態に応じて規定してあり、操作内容と実行すべき処理内容との関係を示す操作ルールの適用タイミングを、ユーザによる操作の連続性及びユーザの状態変化の判定結果に従って制御させるステップと、
コンピュータに、ユーザによる操作を受付けた場合、前記判定結果に従って制御される適用タイミングにて適用される操作ルールに基づいて実行すべき処理内容を決定させるステップと、
コンピュータに、決定させた処理内容に従って処理を実行させるステップと
を実行させることを特徴とするコンピュータプログラム。 Causing the computer to determine the continuity of the accepted operations;
Causing the computer to determine whether or not the user's state has changed based on information acquired from outside;
Controls the application timing of operation rules that are defined in the computer according to the user's status and indicate the relationship between the operation content and the processing content to be executed according to the determination result of the continuity of the user's operation and the user's state change. Step to
When the computer accepts the operation by the user, the step of determining the processing content to be executed based on the operation rule applied at the application timing controlled according to the determination result;
And causing the computer to execute a process according to the determined processing content.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010017181A JP5343876B2 (en) | 2010-01-28 | 2010-01-28 | Electronic device, electronic device control method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010017181A JP5343876B2 (en) | 2010-01-28 | 2010-01-28 | Electronic device, electronic device control method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011154647A JP2011154647A (en) | 2011-08-11 |
JP5343876B2 true JP5343876B2 (en) | 2013-11-13 |
Family
ID=44540539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010017181A Expired - Fee Related JP5343876B2 (en) | 2010-01-28 | 2010-01-28 | Electronic device, electronic device control method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5343876B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5966665B2 (en) * | 2012-06-26 | 2016-08-10 | ソニー株式会社 | Information processing apparatus, information processing method, and recording medium |
JP6492993B2 (en) * | 2015-06-12 | 2019-04-03 | コニカミノルタ株式会社 | Electronic device, instruction reception method and operation reception program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4990753B2 (en) * | 2007-12-28 | 2012-08-01 | パナソニック株式会社 | Electronic device input device, input operation processing method, and input control program |
JP5537044B2 (en) * | 2008-05-30 | 2014-07-02 | キヤノン株式会社 | Image display apparatus, control method therefor, and computer program |
JP5471137B2 (en) * | 2009-08-05 | 2014-04-16 | ソニー株式会社 | Display device, display method, and program |
-
2010
- 2010-01-28 JP JP2010017181A patent/JP5343876B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011154647A (en) | 2011-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2019203727B2 (en) | Intelligent device identification | |
TWI489397B (en) | Method, apparatus and computer program product for providing adaptive gesture analysis | |
CN106713767B (en) | A kind of smart phone, tablet computer or net book | |
US10296141B2 (en) | Device, and adjustable parameter adjustment method for device | |
WO2017032016A1 (en) | Interface operating method and electronic terminal | |
CN103210366A (en) | Apparatus and method for proximity based input | |
CN110674801B (en) | Method and device for identifying user motion mode based on accelerometer and electronic equipment | |
JP2015153325A (en) | information processing apparatus, operation support method and operation support program | |
JP2014038527A (en) | Input device, input method and program | |
JP2012247911A (en) | Information processing apparatus, information processing method, and program | |
CN108900941B (en) | Earphone volume control method and device | |
US20160179239A1 (en) | Information processing apparatus, input method and program | |
CN108920055A (en) | touch operation method, device, storage medium and electronic equipment | |
CN105765532A (en) | Information process method and intelligent wrist ring | |
JP5343876B2 (en) | Electronic device, electronic device control method, and computer program | |
US20150193068A1 (en) | Method and apparatus for sensing touch pressure of touch panel and touch sensing apparatus using the same | |
JP6060501B2 (en) | Handwriting management program and recording display device | |
KR102319530B1 (en) | Method and apparatus for processing user input | |
JP5254147B2 (en) | Communication equipment and portable electronic equipment | |
JP5254137B2 (en) | Mobile communication device and communication device | |
WO2016082215A1 (en) | Method and terminal for moving screen interface | |
US20160343370A1 (en) | Speech feedback system | |
CN109618234A (en) | Video playing control method, device, mobile terminal and storage medium | |
JP2019057237A (en) | Pedometer measurement device, method for counting steps, and program | |
CN105528134A (en) | Hand-held apparatus, motion operation method and medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130716 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130729 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |