JP6458507B2

JP6458507B2 - Wearable computer, command setting method and command setting program

Info

Publication number: JP6458507B2
Application number: JP2015009224A
Authority: JP
Inventors: 松井　徹; 徹松井
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2015-01-21
Filing date: 2015-01-21
Publication date: 2019-01-30
Anticipated expiration: 2035-01-21
Also published as: JP2016134063A

Description

本発明は、ウェアラブルコンピューター、コマンド設定方法およびコマンド設定プログラムに関する。 The present invention relates to a wearable computer, a command setting method, and a command setting program.

従来、ジェスチャーをコマンドとして設定する技術が開発されている。例えば、特許文献１においては、ユーザーが、自身の特定のジェスチャーをコマンドとしてプログラム可能であることが開示されている（特許文献１、００２５段落）。 Conventionally, techniques for setting gestures as commands have been developed. For example, Patent Literature 1 discloses that a user can program a specific gesture as a command (Patent Literature 1, paragraph 0025).

特開２０１２−５１５９６８号公報JP 2012-515968 A

従来の技術においては、ユーザーが特定のジェスチャーを特定のコマンドに割り当てる必要がある。しかし、ユーザー自身が特定のジェスチャーを特定のコマンドとして選択し、登録する構成であると、ジェスチャーによるコマンド入力を行うために特定のジェスチャーと特定のコマンドとの関係をユーザーが常に記憶しておく必要があるなど、ユーザーにとっての負担が大きい。
本発明は、ユーザーの負担を増やすことなく操作性を向上させることが可能な技術を提供することを目的とする。 In the prior art, a user needs to assign a specific gesture to a specific command. However, if the user himself selects a specific gesture as a specific command and registers it, the user must always remember the relationship between the specific gesture and the specific command in order to input a command using the gesture. There is a heavy burden on users.
An object of this invention is to provide the technique which can improve operativity, without increasing a user's burden.

上記目的を達成するためのウェアラブルコンピューターは、例えば、センサーと、複数の機能を実行可能な制御部とを備え、センサーの出力を取得するセンサー出力取得部と、機能に関する操作を受け付ける操作受付部と、所定の操作が行われた前後の所定期間内に所定パターンの出力が発生していた場合、所定パターンの出力を所定の操作に関するコマンドに割り当てるコマンド割当部と、を備える。 A wearable computer for achieving the above object includes, for example, a sensor and a control unit capable of executing a plurality of functions, a sensor output acquisition unit that acquires the output of the sensor, and an operation reception unit that receives an operation related to the function. A command assigning unit that assigns the output of the predetermined pattern to a command related to the predetermined operation when the output of the predetermined pattern occurs within a predetermined period before and after the predetermined operation is performed.

すなわち、ウェアラブルコンピューターはセンサーを備えており、ウェアラブルコンピューターに対して何らかのアクション、例えば、ウェアラブルコンピューターに対する接触やジェスチャー、ウェアラブルコンピューターを装着した利用者の動作等が行われると、これらのアクションに応じて各センサーから検出値が出力される。一方、ウェアラブルコンピューターが備える制御部においては、複数の機能を実行可能であり、操作受付部は当該機能に関する操作を受け付けることができる。 That is, the wearable computer includes a sensor, and when an action is performed on the wearable computer, for example, when a contact or gesture with the wearable computer or a user wearing the wearable computer performs an action, The detection value is output from the sensor. On the other hand, the control unit included in the wearable computer can execute a plurality of functions, and the operation receiving unit can receive an operation related to the function.

このような構成において、利用者がウェアラブルコンピューターを操作する際には、その前後に定型のアクションを行っている場合がある。例えば、眼鏡型のウェアラブルコンピューターにおいて、スリープ状態ではウェアラブルコンピューターが装着されておらず、ウェアラブルコンピューターが装着されてからスリープ状態からの復帰操作が行われる場合、ウェアラブルコンピューターを装着する際の利用者のアクションは、定型のアクションであるといえる。このような定型のアクションが行われた場合、センサーからの出力は定型的なパターン（所定パターン）となる。 In such a configuration, when the user operates the wearable computer, there are cases where a routine action is performed before and after that. For example, in a glasses-type wearable computer, if the wearable computer is not attached in the sleep state, and the operation for returning from the sleep state is performed after the wearable computer is attached, the user action when wearing the wearable computer Is a standard action. When such a fixed action is performed, the output from the sensor becomes a fixed pattern (predetermined pattern).

そこで、コマンド割当部においては、所定の操作が行われた前後の所定期間内に所定パターンの出力が発生していた場合、所定パターンの出力を所定の操作に関するコマンドに割り当てる。この構成によれば、所定の操作が行われた前後の定型のアクションに起因するセンサーの出力を、当該操作に関するコマンドとすることができる。従って、利用者が意識していなくても、所定の操作が行われた場合の定型のアクションに対してコマンドを割り当てることができる。また、当該コマンドは、所定の操作が行われる際の定型のアクションであるため、利用者は、通常行うアクションを行うのみでコマンドを発生させることができ、アクションとコマンドとの関係を意識して記憶している必要はない。従って、ユーザーの負担を増やすことなく操作性を向上させることが可能である。 Therefore, the command assigning unit assigns the output of the predetermined pattern to the command related to the predetermined operation when the output of the predetermined pattern is generated within a predetermined period before and after the predetermined operation is performed. According to this configuration, the output of the sensor resulting from the fixed actions before and after the predetermined operation is performed can be used as a command related to the operation. Therefore, even if the user is not conscious, a command can be assigned to a fixed action when a predetermined operation is performed. In addition, since the command is a standard action when a predetermined operation is performed, the user can generate the command only by performing the usual action, and is aware of the relationship between the action and the command. There is no need to remember. Therefore, operability can be improved without increasing the burden on the user.

ここで、センサーは、ウェアラブルコンピューターに対する何らかのアクションを検出可能なセンサーであればよい。例えば、モーションセンサー（加速度センサー、角速度センサー、地磁気センサーのいずれかまたは組み合わせ等）、光学センサー（可視光、非可視光を含む）、超音波センサー、マイク、カメラ、タッチセンサーなど、各種の検出対象を検出するセンサーの少なくとも１種類以上がウェアラブルコンピューターに備えられていればよい。なお、ウェアラブルコンピューターには、少なくとも１種類のセンサーが１個備えられていればよいが、センサーの種類や数が多いほど多様な出力パターンを定義することができ、多様なコマンドを割り当てることができる。 Here, the sensor may be any sensor that can detect any action on the wearable computer. For example, various detection targets such as motion sensors (acceleration sensors, angular velocity sensors, geomagnetic sensors, or combinations thereof), optical sensors (including visible light and invisible light), ultrasonic sensors, microphones, cameras, touch sensors, etc. It is only necessary that the wearable computer has at least one type of sensor for detecting the detection. The wearable computer only needs to have at least one type of sensor, but the more types and the number of sensors, the more various output patterns can be defined and various commands can be assigned. .

制御部は、複数の機能を実行可能であればよく、制御部がプログラムによって機能を実現してもよいし、他の装置、例えば、センサーやボタン等と制御部が協働して機能を実現してもよい。なお、センサー出力部、操作受付部、コマンド割当部が制御部によって実現されてもよい。 The control unit only needs to be able to execute a plurality of functions. The control unit may realize the function by a program, or the function may be realized in cooperation with another device such as a sensor or a button. May be. The sensor output unit, the operation receiving unit, and the command assigning unit may be realized by the control unit.

センサー出力取得部は、センサーの出力を取得することができればよい。すなわち、センサー出力取得部は、センサーが検出対象の検出結果を示す情報を出力すると、当該情報を取得することができればよい。また、センサー出力取得部は、センサーの出力が所定パターンであるか否かを判定できるようにセンサーの出力を取得する。従って、センサー出力取得部は、例えば、時系列の出力の履歴を保持するなどして、センサーの出力を時系列に特定可能に当該出力を取得する。 The sensor output acquisition unit only needs to acquire the output of the sensor. That is, the sensor output acquisition unit only needs to be able to acquire the information when the sensor outputs information indicating the detection result of the detection target. The sensor output acquisition unit acquires the output of the sensor so that it can be determined whether or not the output of the sensor is a predetermined pattern. Therefore, the sensor output acquisition unit acquires the output so that the output of the sensor can be specified in time series, for example, by holding a history of output in time series.

操作受付部は、機能に関する操作を受け付けることができればよい。すなわち、利用者がウェアラブルコンピューターに対して行う、機能に関する操作を受け付けることができればよい。利用者が行う操作は、種々の対象に対する操作を想定可能であり、ボタン等の操作子に対する操作やタッチパネル等に対するタッチ操作であってもよいし、各種のセンサーで検出可能な任意の操作（ジェスチャー等）であってもよい。操作は、機能に関連していればよく、例えば、機能の実行を指示する操作や、機能の中断（終了を含む）を指示する操作、機能を利用するための操作（例えば、アプリケーションプログラムで提供される機能の１つを利用するための操作等）など、種々の操作が想定される。 The operation reception part should just be able to receive the operation regarding a function. That is, it suffices if the user can accept an operation related to a function performed on the wearable computer. The operation performed by the user can be assumed to be an operation on various objects, and may be an operation on an operator such as a button or a touch operation on a touch panel, or any operation (gesture that can be detected by various sensors). Etc.). The operation only needs to be related to the function. For example, an operation for instructing execution of the function, an operation for instructing interruption (including termination) of the function, and an operation for using the function (for example, provided by an application program) Various operations, such as an operation for using one of the functions to be performed).

コマンド割当部は、所定の操作が行われた前後の所定期間内に所定パターンの出力が発生していた場合、所定パターンの出力を所定の操作に関するコマンドに割り当てることができればよい。すなわち、コマンド割当部は、所定の操作とセンサーにおける所定パターンの出力とがセットで発生していた場合に、当該所定パターンの出力を所定の操作に関するコマンドに割り当てる。従って、この後、利用者は、所定の操作を行わなくても、所定パターンの出力を発生させるようなアクションを行うことにより、所定の操作によって実現される機能と同一の機能を利用することが可能になる。 The command assigning unit only needs to be able to assign the output of the predetermined pattern to the command related to the predetermined operation when the output of the predetermined pattern is generated within a predetermined period before and after the predetermined operation is performed. That is, when the predetermined operation and the output of the predetermined pattern in the sensor are generated as a set, the command allocation unit allocates the output of the predetermined pattern to the command related to the predetermined operation. Therefore, after this, the user can use the same function as the function realized by the predetermined operation by performing an action that generates the output of the predetermined pattern without performing the predetermined operation. It becomes possible.

所定期間は、操作が行われた前後の期間の少なくとも一部として予め決められていればよく、操作より前の期間であってもよいし、操作より後の期間であってもよいし、操作より前の時点から操作より後の時点を含む期間であってもよい。所定パターンは、センサーからの特徴的な時系列の出力であり、所定の操作の前後でウェアラブルコンピューターに対して行われたアクションに起因して発生するパターンであればよい。また、所定パターンは、異なる時刻において当該パターンが再現したと判断できるように定義されていればよい。この意味で、出力が厳密に再現することは必要とされず、出力の特徴に対してある程度のマージンを設けて所定パターンを定義してよい。 The predetermined period may be determined in advance as at least a part of the period before and after the operation is performed, may be a period before the operation, may be a period after the operation, It may be a period including a time point before the operation from an earlier time point. The predetermined pattern is a characteristic time-series output from the sensor and may be a pattern generated due to an action performed on the wearable computer before and after the predetermined operation. The predetermined pattern may be defined so that it can be determined that the pattern has been reproduced at different times. In this sense, it is not necessary for the output to be strictly reproduced, and a predetermined pattern may be defined with a certain margin for the output feature.

コマンドは、センサーの出力が所定パターンであった場合における所定の操作に関連していればよい。例えば、コマンドは、所定の操作と同等の意味を有するコマンドであってもよいし、所定の操作と同等の動作を実施すべきか否かを利用者に問い合わせる処理の実行を指示するコマンドであってもよい。前者であれば、センサーの出力が所定パターンである場合に、制御部が、所定の操作に関する機能を実行する構成となる。この構成によれば、利用者は、通常行うアクションを行うのみで所定の操作による機能と同一の機能を実行させることができる。 The command may be related to a predetermined operation when the output of the sensor has a predetermined pattern. For example, the command may be a command having a meaning equivalent to a predetermined operation, or a command instructing execution of a process for inquiring a user whether or not an operation equivalent to the predetermined operation should be performed. Also good. In the former case, when the output of the sensor has a predetermined pattern, the control unit performs a function related to a predetermined operation. According to this configuration, the user can execute the same function as a function by a predetermined operation only by performing a normal action.

さらに、コマンド割当部が、所定の操作が行われた前後の所定期間内に所定パターンの出力が所定閾値以上の頻度で発生していた場合に、所定パターンの出力を所定の操作に関するコマンドに割り当てる構成を採用してもよい。すなわち、所定の操作とともに所定パターンが発生することが統計的に信頼し得る場合に、所定パターンの出力を所定の操作に関するコマンドに割り当てる。この構成によれば、所定の操作との関連性が低いパターンの出力がコマンドに割り当てられることを防止することができる。 Further, the command assigning unit assigns the output of the predetermined pattern to the command related to the predetermined operation when the output of the predetermined pattern occurs at a frequency equal to or higher than the predetermined threshold within a predetermined period before and after the predetermined operation is performed. A configuration may be adopted. That is, when it is statistically reliable that a predetermined pattern is generated together with a predetermined operation, the output of the predetermined pattern is assigned to a command related to the predetermined operation. According to this configuration, it is possible to prevent a pattern output having a low relevance to a predetermined operation from being assigned to a command.

さらに、コマンド割当部が、所定の操作が制御部に対する所定の機能の実行開始指示である場合、所定の操作より前の期間に所定パターンの出力が発生していた場合に、所定パターンの出力を所定の操作に関するコマンドに割り当てる構成であってもよい。すなわち、所定の機能の実行開始前において、利用者は、当該機能を利用するための準備を行う可能性が高い。従って、当該準備が定型のアクションとなってセンサーから所定パターンの出力が行われる可能性が高い。そこで、所定の操作が制御部に対する所定の機能の実行開始指示である場合、コマンド割当部が、所定の操作より前の期間における所定パターンの出力を所定の操作に関するコマンドに割り当てる構成とすれば、所定の機能の実行を開始する前の準備アクションをコマンドに割り当てることができる。 Furthermore, when the predetermined operation is an instruction to start execution of the predetermined function for the control unit, the command allocation unit outputs the predetermined pattern when the output of the predetermined pattern has occurred in a period before the predetermined operation. The configuration may be assigned to a command related to a predetermined operation. That is, before the execution of a predetermined function is started, the user is highly likely to prepare for using the function. Therefore, there is a high possibility that the preparation becomes a standard action and a predetermined pattern is output from the sensor. Therefore, if the predetermined operation is an instruction to start execution of a predetermined function for the control unit, the command allocation unit is configured to allocate an output of a predetermined pattern in a period before the predetermined operation to a command related to the predetermined operation. A preparatory action before starting execution of a predetermined function can be assigned to a command.

例えば、眼鏡型のウェアラブルコンピューターにおいて、スリープ状態からの復帰操作が行われる前にウェアラブルコンピューターを装着するアクションが行われた場合においては、当該装着するアクションによってセンサーから出力される所定パターンをコマンドに割り当てることができる。また、例えば、腕時計型のウェアラブルコンピューターにおいて、スリープ状態からの復帰操作が行われる前に腕を動かしてウェアラブルコンピューターを視野内に配置するアクションが行われた場合においては、当該装着するアクションによってセンサーから出力される所定パターンをコマンドに割り当てることができる。 For example, in an eyeglass-type wearable computer, when an action for wearing the wearable computer is performed before the operation for returning from the sleep state is performed, a predetermined pattern output from the sensor by the wearing action is assigned to a command. be able to. Also, for example, in the case of a wristwatch-type wearable computer, when an action is performed to move the arm and place the wearable computer in the field of view before the return operation from the sleep state is performed, the sensor is activated by the wearing action. A predetermined pattern to be output can be assigned to a command.

さらに、コマンド割当部が、所定の操作が制御部に対する所定の機能の中断指示である場合、所定の操作より後の期間に所定パターンの出力が発生していた場合に、所定パターンの出力を所定の操作に関するコマンドに割り当てる構成であってもよい。すなわち、所定の機能の中断後において、利用者は、当該機能の中断に伴うアクションを行う可能性が高い。従って、当該アクションが定型的であればセンサーから所定パターンの出力が行われる可能性が高い。そこで、所定の操作が制御部に対する所定の機能の中断指示である場合、コマンド割当部が、所定の操作より後の期間における所定パターンの出力を所定の操作に関するコマンドに割り当てる構成とすれば、所定の機能を中断した後のアクションをコマンドに割り当てることができる。 Furthermore, when the predetermined operation is an instruction to interrupt the predetermined function to the control unit, the command assigning unit outputs the predetermined pattern when the output of the predetermined pattern occurs in a period after the predetermined operation. The configuration may be assigned to commands related to the operations. That is, after interruption of a predetermined function, the user is highly likely to perform an action associated with the interruption of the function. Therefore, if the action is typical, there is a high possibility that a predetermined pattern is output from the sensor. Therefore, when the predetermined operation is an instruction to interrupt the predetermined function to the control unit, the command assigning unit assigns the output of the predetermined pattern in the period after the predetermined operation to the command related to the predetermined operation. You can assign an action to the command after interrupting the function.

例えば、眼鏡型のウェアラブルコンピューターにおいて、動画の再生機能を中断した後にウェアラブルコンピューターを装着している利用者が立ち上がるアクションや、ウェアラブルコンピューターを外すアクションや机等に置くアクション等が行われた場合においては、これらのアクションによってセンサーから出力される所定パターンをコマンドに割り当てることができる。また、例えば、腕時計型のウェアラブルコンピューターにおいて、動画の再生機能を中断した後に腕を動かしてウェアラブルコンピューターを視野内から視野外に配置するアクションが行われた場合においては、当該アクションによってセンサーから出力される所定パターンをコマンドに割り当てることができる。なお、所定の機能の中断は、機能の実行が止められることを意味し、機能の一時停止や機能の終了を含む。 For example, in the case of a glasses-type wearable computer, when the user wearing the wearable computer starts up after interrupting the movie playback function, or the action of removing the wearable computer or placing it on a desk, etc. The predetermined pattern output from the sensor by these actions can be assigned to the command. Also, for example, in the case of a watch-type wearable computer, if the action of placing the wearable computer out of the field of view is performed by moving the arm after interrupting the movie playback function, the action is output from the sensor. Predetermined patterns can be assigned to commands. Note that the interruption of a predetermined function means that the execution of the function is stopped, and includes the temporary stop of the function and the end of the function.

さらに、本発明のように、所定の操作が行われた前後の所定期間内に所定パターンの出力が発生していた場合、所定パターンの出力を所定操作に関するコマンドに割り当てる手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、複合的な機能を有する装置において共有の部品を利用して実現される場合もあり、各種の態様を含むものである。 Further, as in the present invention, when the output of the predetermined pattern occurs within a predetermined period before and after the predetermined operation is performed, the method of assigning the output of the predetermined pattern to the command related to the predetermined operation is a program or a method. Is also applicable. In addition, the apparatus, program, and method as described above may be realized as a single apparatus, or may be realized using a shared component in an apparatus having multiple functions. Is included.

本発明の実施形態にかかるウェアラブルコンピューターの使用状態を示す図である。It is a figure which shows the use condition of the wearable computer concerning embodiment of this invention. 本発明の実施形態にかかるウェアラブルコンピューターのブロック図である。1 is a block diagram of a wearable computer according to an embodiment of the present invention. コマンド割当処理のフローチャートである。It is a flowchart of command allocation processing. ９軸センサーからの出力およびボタンの操作例を示す図である。It is a figure which shows the output from a 9-axis sensor, and the operation example of a button. ９軸センサーからの出力およびボタンの操作例を示す図である。It is a figure which shows the output from a 9-axis sensor, and the operation example of a button.

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）ウェアラブルコンピューターの構成：
（２）コマンド割当処理：
（３）他の実施形態： Here, embodiments of the present invention will be described in the following order.
(1) Wearable computer configuration:
(2) Command assignment processing:
(3) Other embodiments:

（１）ウェアラブルコンピューターの構成：
図１は、本発明の実施形態にかかるウェアラブルコンピューターの使用状態を示す図であり、図２は、本発明の実施形態にかかるウェアラブルコンピューターのブロック図である。本実施形態において、ウェアラブルコンピューターは、制御装置１０と表示装置５０とによって構成される。表示装置５０は、眼鏡型の装置であり、利用者の鼻と耳を支点にして利用者の眼前に配置されて利用される。表示装置５０は、利用者が装着した状態において左目ＥＬの眼前に位置する導光部５１と右目ＥＲの眼前に位置する導光部５２とを備えている。本実施形態において、導光部５１，５２は可視光を透過する樹脂で形成されており、利用者は、視野から導光部５１，５２を介して入力する可視光によって視野内の風景を視認することができる。 (1) Wearable computer configuration:
FIG. 1 is a diagram showing a use state of a wearable computer according to an embodiment of the present invention, and FIG. 2 is a block diagram of the wearable computer according to an embodiment of the present invention. In the present embodiment, the wearable computer includes the control device 10 and the display device 50. The display device 50 is a glasses-type device, and is used by being placed in front of the user's eyes with the user's nose and ears as fulcrums. The display device 50 includes a light guide unit 51 positioned in front of the left eye EL and a light guide unit 52 positioned in front of the right eye ER when the user is wearing the display device 50. In the present embodiment, the light guides 51 and 52 are formed of a resin that transmits visible light, and the user visually recognizes the scenery in the field of view through the visible light that is input through the light guides 51 and 52 from the field of view. can do.

本実施形態においては、さらに、導光部５１，５２の内部に、一部の光を透過し、一部の光を反射する表示部８１，８２が備えられている。表示部８１，８２は、利用者の左目ＥＬ、右目ＥＲにおいて正面を見た場合の視線方向に対して傾斜するように配置されているハーフミラーである。この結果、図２において破線の矢印で示すように、視野からの可視光が表示部８１，８２を透過して左目ＥＬ、右目ＥＲに到達する。また、図２において一点鎖線の矢印で示すように、左目画像投影部６１、右目画像投影部６２が出力する可視光が表示部８１，８２で反射されて左目ＥＬ、右目ＥＲに到達する。従って、表示部８１，８２は、利用者の視野から入力する光を透過するとともに画像を表示可能なスクリーンであり、当該表示部８１，８２により、利用者は、表示装置５０の外部（視野）からの可視光と、左目画像投影部６１、右目画像投影部６２が出力する可視光とが重畳された状態で、双方の光が形成する像を同時に視認することができる。 In the present embodiment, the light guides 51 and 52 are further provided with display units 81 and 82 that transmit part of light and reflect part of light. The display units 81 and 82 are half mirrors arranged so as to be inclined with respect to the line-of-sight direction when the front is viewed with the user's left eye EL and right eye ER. As a result, as shown by the dashed arrows in FIG. 2, visible light from the visual field passes through the display portions 81 and 82 and reaches the left eye EL and the right eye ER. In addition, as indicated by a dashed line arrow in FIG. 2, visible light output from the left eye image projection unit 61 and the right eye image projection unit 62 is reflected by the display units 81 and 82 and reaches the left eye EL and the right eye ER. Therefore, the display units 81 and 82 are screens that can transmit light input from the user's field of view and can display an image. The display units 81 and 82 allow the user to outside the display device 50 (field of view). In the state where the visible light from the light and the visible light output from the left-eye image projection unit 61 and the right-eye image projection unit 62 are superimposed, the images formed by the two lights can be simultaneously viewed.

表示装置５０は、左目画像投影部６１、右目画像投影部６２以外に、インターフェイス６０ａ，６０ｂ、９軸センサー７０を備えている。左目画像投影部６１および右目画像投影部６２は、図示しない光源、光変調装置、光学系等を備えており、光源から出力される可視光の透過量を光変調装置によって画素毎に制御し、光学系を介して表示部８１，８２に出力することができる。 The display device 50 includes interfaces 60 a and 60 b and a nine-axis sensor 70 in addition to the left eye image projection unit 61 and the right eye image projection unit 62. The left-eye image projection unit 61 and the right-eye image projection unit 62 include a light source, a light modulation device, an optical system, and the like (not shown), control the transmission amount of visible light output from the light source for each pixel by the light modulation device, The data can be output to the display units 81 and 82 through the optical system.

また、左目画像投影部６１、右目画像投影部６２のそれぞれには、インターフェイス６０ａ，６０ｂが接続されている。インターフェイス６０ａ，６０ｂには制御装置１０のインターフェイス４０から延びる配線が接続され、制御装置１０および表示装置５０は、当該配線を介して通信を行うことができる。本実施形態において、左目画像投影部６１、右目画像投影部６２は、インターフェイス６０ａ，６０ｂが出力する画像情報に基づいて画像を表示する。すなわち、左目画像投影部６１、右目画像投影部６２は、インターフェイス６０ａ，６０ｂが出力する画像情報に基づいて各画素の透過量を制御することにより、表示部８１，８２に画像を投影する。 Interfaces 60a and 60b are connected to the left eye image projection unit 61 and the right eye image projection unit 62, respectively. A wiring extending from the interface 40 of the control device 10 is connected to the interfaces 60a and 60b, and the control device 10 and the display device 50 can communicate via the wiring. In the present embodiment, the left eye image projection unit 61 and the right eye image projection unit 62 display images based on the image information output from the interfaces 60a and 60b. That is, the left eye image projection unit 61 and the right eye image projection unit 62 project images on the display units 81 and 82 by controlling the transmission amount of each pixel based on the image information output from the interfaces 60a and 60b.

９軸センサー７０は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー７０は表示装置５０に内蔵されているため、９軸センサー７０は、表示装置５０に作用する加速度、角速度、地磁気を検出し、検出結果を示す信号を出力することができる。従って、９軸センサー７０は、利用者が表示装置５０を持ち上げた後、自身の頭部に装着する過程で表示装置５０に作用する加速度等や、利用者の頭部に表示装置５０が装着された状態で表示装置５０に作用する加速度等、利用者が表示装置５０を頭部から取り外して机等に置く過程で表示装置５０に作用する加速度等を検出することができる。 The 9-axis sensor 70 is a motion sensor that detects acceleration (3 axes), angular velocity (3 axes), and geomagnetism (3 axes). Since the 9-axis sensor 70 is built in the display device 50, the 9-axis sensor 70 can detect acceleration, angular velocity, and geomagnetism acting on the display device 50, and can output a signal indicating the detection result. Therefore, the 9-axis sensor 70 is mounted on the user's head, such as acceleration acting on the display device 50 in the process of being mounted on the user's head after the user lifts the display device 50. It is possible to detect the acceleration acting on the display device 50 while the user removes the display device 50 from the head and placing it on a desk or the like.

なお、９軸センサー７０には、インターフェイス６０ａから延びる配線が接続されており、９軸センサー７０は当該配線を介して送信される制御信号によって制御される。また、９軸センサー７０の検出結果を示す出力は当該配線およびインターフェイス６０ａを介して制御装置１０に送信される。図２においては、インターフェイス６０ａと９軸センサー７０を結ぶ配線を、簡単のために表示装置５０の外部を通る矢印で表現しているが、本実施形態において当該配線は表示装置５０の内部を通っている。 The 9-axis sensor 70 is connected to a wiring extending from the interface 60a, and the 9-axis sensor 70 is controlled by a control signal transmitted via the wiring. Further, an output indicating the detection result of the 9-axis sensor 70 is transmitted to the control device 10 via the wiring and the interface 60a. In FIG. 2, the wiring connecting the interface 60 a and the 9-axis sensor 70 is represented by an arrow passing outside the display device 50 for simplicity. In this embodiment, the wiring passes through the display device 50. ing.

制御装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０と記録媒体３０とインターフェイス４０とボタン４１とディスプレイ４２とを備えており、制御部２０は、ＲＯＭや記録媒体３０等に記録されたプログラムを実行することができる。 The control device 10 includes a control unit 20, a recording medium 30, an interface 40, a button 41, and a display 42 including a CPU, a RAM, a ROM, etc., and the control unit 20 is recorded in the ROM, the recording medium 30 and the like. The program can be executed.

ボタン４１は、直方体の制御装置１０の表面に押し込み可能に設けられ、制御部２０は当該ボタン４１に対する押し込み操作が行われたことを検出することができる。利用者は当該ボタン４１に対して押し込み操作を行うことで、所定の機能の実行開始指示や所定の機能の中断指示など、各種の指示や選択等の操作を行うことができる。なお、図１においては、制御装置１０の表面に設けられた複数のボタンの中の１個に引き出し線を付して示している。 The button 41 is provided so as to be able to be pushed into the surface of the rectangular parallelepiped control device 10, and the control unit 20 can detect that the pushing operation on the button 41 has been performed. The user can perform various instructions and operations such as a predetermined function execution start instruction and a predetermined function interruption instruction by performing a push-down operation on the button 41. In FIG. 1, one of a plurality of buttons provided on the surface of the control device 10 is shown with a lead line.

ディスプレイ４２は、任意の画像を表示するディスプレイと、当該ディスプレイ上における任意の複数の位置に対するタッチを検出するセンサーとを備えた装置である。制御部２０は、当該ディスプレイ４２に対して制御信号を出力することでディスプレイ４２に任意の画像を表示させることができる。また、制御部２０は、ディスプレイ４２からの出力信号に基づいて、利用者がディスプレイ４２に触れることによる指示等を取得することができる。インターフェイス４０には表示装置５０のインターフェイス６０ａ，６０ｂから延びる配線が接続される。 The display 42 is a device that includes a display that displays an arbitrary image and a sensor that detects touches on a plurality of arbitrary positions on the display. The control unit 20 can display an arbitrary image on the display 42 by outputting a control signal to the display 42. Further, the control unit 20 can acquire an instruction or the like when the user touches the display 42 based on an output signal from the display 42. Wires extending from the interfaces 60 a and 60 b of the display device 50 are connected to the interface 40.

本実施形態において制御部２０は、ＲＯＭや記録媒体３０等に記録された図示しない各種のプログラムを実行することが可能である。本実施形態においては、これらのプログラムとして、オペレーティングシステムプログラムや動画の再生プログラム等の各種アプリケーションプログラム、センサー出力をコマンドに割り当てるコマンド割当プログラム２１が含まれている。制御部２０は、これらのオペレーティングシステムプログラムやアプリケーションプログラムの処理により、各種の機能を実行することができる。例えば、オペレーティングシステムプログラムにより、制御部２０は、上述のボタン４１に対する操作や各ボタンによる操作の受付を行うことが可能である。本実施形態においては、制御部２０がオペレーティングシステムプログラムを実行することにより、利用者はボタン４１を操作して制御装置１０および表示装置５０における機能の一部を停止させるスリープやスリープ状態からの復帰等を実行することができる。 In the present embodiment, the control unit 20 can execute various programs (not shown) recorded in the ROM, the recording medium 30 or the like. In the present embodiment, these programs include various application programs such as an operating system program and a moving image reproduction program, and a command assignment program 21 that assigns sensor outputs to commands. The control unit 20 can execute various functions by the processing of these operating system programs and application programs. For example, with the operating system program, the control unit 20 can receive an operation on the button 41 and an operation by each button. In the present embodiment, when the control unit 20 executes the operating system program, the user operates the button 41 to stop a part of the functions of the control device 10 and the display device 50 and return from the sleep state. Etc. can be executed.

また、アプリケーションプログラムにより制御部２０は、各種の機能を実行することができる。例えば、動画の再生プログラムにより、制御部２０は、フレーム毎の左目用の画像と右目用の画像を生成し、生成された画像を順次インターフェイス４０，６０ａ，６０ｂを介して左目画像投影部６１、右目画像投影部６２に出力する。この結果、表示装置５０の表示部８１，８２においてはフレーム毎の画像が表示され、利用者は、視野内のオブジェクトとともに再生された動画を視認することができる。 Further, the control unit 20 can execute various functions by the application program. For example, the control unit 20 generates a left-eye image and a right-eye image for each frame according to a moving image reproduction program, and sequentially outputs the generated images to the left-eye image projecting unit 61, via the interfaces 40, 60a, and 60b. The image is output to the right eye image projection unit 62. As a result, an image for each frame is displayed on the display units 81 and 82 of the display device 50, and the user can visually recognize the moving image reproduced together with the object in the field of view.

本実施形態において利用者は、ボタン４１によってアプリケーションプログラムやオペレーティングシステムプログラムが提供する各種の機能を利用することが可能であるとともに、表示装置５０に対するアクションをコマンドに割り当て、当該コマンドによって各種の機能を利用することも可能である。このような、機能のコマンドへの割り当ては、コマンド割当プログラム２１によって行われる。当該割り当てを行うため、コマンド割当プログラム２１は、センサー出力取得部２１ａと操作受付部２１ｂとコマンド割当部２１ｃとを備えている。 In the present embodiment, the user can use various functions provided by the application program and the operating system program by using the button 41, assign actions to the display device 50 to commands, and perform various functions by the commands. It can also be used. Such assignment of functions to commands is performed by the command assignment program 21. In order to perform the allocation, the command allocation program 21 includes a sensor output acquisition unit 21a, an operation reception unit 21b, and a command allocation unit 21c.

センサー出力取得部２１ａは、センサーの出力を取得する機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、センサー出力取得部２１ａの処理により、インターフェイス４０，６０ａを介して９軸センサー７０に制御信号を出力して当該９軸センサー７０を制御する。９軸センサー７０が加速度等を検出すると、当該加速度等を示す信号を出力する。制御部２０は、インターフェイス４０，６０ａを介して当該信号を取得することでセンサーの出力を取得する。制御部２０がセンサーの出力を取得すると、制御部２０は、時系列の出力の履歴を示す履歴情報３０ａを記録媒体３０に記録する。 The sensor output acquisition unit 21a is a program module that causes the control unit 20 to realize a function of acquiring a sensor output. That is, the control unit 20 controls the 9-axis sensor 70 by outputting a control signal to the 9-axis sensor 70 via the interfaces 40 and 60a by the processing of the sensor output acquisition unit 21a. When the 9-axis sensor 70 detects acceleration or the like, it outputs a signal indicating the acceleration or the like. The control unit 20 acquires the output of the sensor by acquiring the signal via the interfaces 40 and 60a. When the control unit 20 acquires the output of the sensor, the control unit 20 records history information 30 a indicating a history of time-series output on the recording medium 30.

操作受付部２１ｂは、制御部２０において実行可能な機能に関する操作を受け付ける処理を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、操作受付部２１ｂの処理により、利用者がウェアラブルコンピューターに対して行う操作を受け付け、操作に応じた機能を実行または中断する。本実施形態において、当該操作は、ボタン４１による操作と、表示装置５０に対するアクションとの少なくとも一方によって実現される。 The operation receiving unit 21b is a program module that causes the control unit 20 to implement a process of receiving an operation related to a function that can be executed by the control unit 20. That is, the control unit 20 receives an operation performed by the user on the wearable computer by the process of the operation receiving unit 21b, and executes or interrupts a function corresponding to the operation. In the present embodiment, the operation is realized by at least one of an operation using the button 41 and an action on the display device 50.

すなわち、ボタン４１に対する操作と、当該操作によって実行または中断される機能とは予め対応づけられており、利用者がボタン４１を操作すると制御部２０は操作されたボタン４１を特定するとともに操作されたボタン４１に対応づけられた機能の実行を開始し、または、機能を中断する。さらに、表示装置５０に対するアクションによる９軸センサー７０からの所定パターンの出力に対してコマンドが割り当てられている場合、制御部２０は、当該所定パターンの出力が取得された場合に、当該コマンドに応じた機能を実行（または中断）する。 That is, an operation on the button 41 is associated with a function executed or interrupted by the operation in advance, and when the user operates the button 41, the control unit 20 identifies and operates the operated button 41. The execution of the function associated with the button 41 is started or the function is interrupted. Further, when a command is assigned to the output of the predetermined pattern from the 9-axis sensor 70 by the action on the display device 50, the control unit 20 responds to the command when the output of the predetermined pattern is acquired. Execute (or suspend) the function.

コマンド割当部２１ｃは、所定の操作が行われた前後の所定期間内に所定パターンの出力が発生していた場合、所定パターンの出力を所定の操作に関するコマンドに割り当てる機能を制御部２０に実現させるプログラムモジュールである。すなわち、利用者が表示装置５０での機能を利用するために制御装置１０を操作する際には、その前後に定型のアクションを行っている場合がある。例えば、スリープ状態では表示装置５０が装着されておらず、表示装置５０が装着されてからスリープ状態からの復帰操作が行われる場合、表示装置５０を装着する際の利用者のアクションは、定型のアクションであるといえる。このような定型のアクションが行われた場合、センサーからの出力は所定パターンとなる。そこで、本実施形態において、制御部２０は、コマンド割当部２１ｃの処理により、ボタン４１による所定の操作と９軸センサー７０からの所定パターンの出力とがセットで発生していた場合に、当該所定パターンの出力を所定の操作に関するコマンドに割り当てる。 The command allocation unit 21c causes the control unit 20 to implement a function of allocating the output of the predetermined pattern to the command related to the predetermined operation when the output of the predetermined pattern occurs within a predetermined period before and after the predetermined operation is performed. It is a program module. That is, when the user operates the control device 10 in order to use the function of the display device 50, there are cases where a routine action is performed before and after the operation. For example, when the display device 50 is not attached in the sleep state and a return operation from the sleep state is performed after the display device 50 is attached, the user's action when attaching the display device 50 is a standard action It can be said that it is an action. When such a standard action is performed, the output from the sensor has a predetermined pattern. Therefore, in the present embodiment, the control unit 20 performs the predetermined processing when the predetermined operation by the button 41 and the output of the predetermined pattern from the 9-axis sensor 70 are generated as a set by the processing of the command allocation unit 21c. The pattern output is assigned to a command related to a predetermined operation.

より具体的には、ボタン４１による操作が制御部２０に対する所定の機能の実行開始指示である場合、当該操作より前の期間に所定パターンの出力が発生していた場合に、９軸センサー７０からの所定パターンの出力を当該操作に関するコマンドに割り当てる。すなわち、所定の機能の実行開始前において、利用者は、当該機能を利用するための準備を行う可能性が高い。従って、当該準備が定型のアクションとなって９軸センサー７０から所定パターンの出力が行われる可能性が高い。そこで、ボタン４１による操作が制御部２０に対する所定の機能の実行開始指示である場合、制御部２０が、当該操作より前の期間における所定パターンの出力を所定の操作に関するコマンドに割り当てる。所定の機能としては、種々の機能を想定可能であるが、例えば、ボタン４１によってスリープ状態からの復帰操作が行われる前に表示装置５０を装着するアクションが所定閾値以上の頻度で行われた場合、制御部２０は、当該装着するアクションによって９軸センサー７０から出力される所定パターンをスリープ状態からの復帰コマンドに割り当てる More specifically, when the operation by the button 41 is an instruction to start execution of a predetermined function to the control unit 20, when an output of a predetermined pattern is generated in a period before the operation, the 9-axis sensor 70 Are assigned to commands related to the operation. That is, before the execution of a predetermined function is started, the user is highly likely to prepare for using the function. Therefore, it is highly possible that the preparation becomes a standard action and a predetermined pattern is output from the 9-axis sensor 70. Therefore, when the operation by the button 41 is an instruction to start execution of a predetermined function to the control unit 20, the control unit 20 assigns an output of a predetermined pattern in a period before the operation to a command related to the predetermined operation. Various functions can be assumed as the predetermined function. For example, when the action of mounting the display device 50 is performed at a frequency equal to or higher than a predetermined threshold before the operation of returning from the sleep state is performed by the button 41. The control unit 20 assigns a predetermined pattern output from the 9-axis sensor 70 to the return command from the sleep state by the action to be mounted.

一方、ボタン４１による操作が制御部２０に対する所定の機能の中断指示である場合、当該操作より後の期間に所定パターンの出力が発生していた場合に、９軸センサー７０からの所定パターンの出力を当該操作に関するコマンドに割り当てる。すなわち、所定の機能の中断後において、利用者は、当該機能の中断に伴うアクションを行う可能性が高い。従って、当該アクションが定型的であれば９軸センサー７０から所定パターンの出力が行われる可能性が高い。そこで、ボタン４１による操作が制御部２０に対する所定の機能の中断指示である場合、制御部２０が、当該操作より後の期間における所定パターンの出力を所定の操作に関するコマンドに割り当てる。所定の機能としては、種々の機能を想定可能であるが、例えば、ボタン４１によって動画の再生機能を中断した後に表示装置５０を装着している利用者が立ち上がるアクションや、表示装置５０を外すアクションや机等に置くアクションが所定閾値以上の頻度で行われた場合、制御部２０は、これらのアクションによって９軸センサー７０から出力される所定パターンを動画再生中断コマンドに割り当てる。 On the other hand, when the operation by the button 41 is an instruction to interrupt the predetermined function to the control unit 20, the output of the predetermined pattern from the 9-axis sensor 70 occurs when the output of the predetermined pattern has occurred in the period after the operation. Is assigned to the command related to the operation. That is, after interruption of a predetermined function, the user is highly likely to perform an action associated with the interruption of the function. Therefore, if the action is fixed, there is a high possibility that a predetermined pattern is output from the 9-axis sensor 70. Therefore, when the operation by the button 41 is an instruction to interrupt the predetermined function to the control unit 20, the control unit 20 assigns an output of a predetermined pattern in a period after the operation to a command related to the predetermined operation. As the predetermined function, various functions can be assumed. For example, an action in which the user wearing the display device 50 starts up after the video playback function is interrupted by the button 41, or an action to remove the display device 50. When the action placed on the desk or the like is performed at a frequency equal to or higher than a predetermined threshold, the control unit 20 assigns a predetermined pattern output from the 9-axis sensor 70 by these actions to the moving image reproduction interruption command.

いずれにしても、９軸センサー７０からの出力パターンに対してコマンドが割り当てられると、コマンド情報３０ｂとして記録媒体３０に記録された状態になる。この構成によれば、所定の操作が行われた前後の定型のアクションに起因する、センサーの所定パターンでの出力を、当該操作に関するコマンドとすることができる。従って、利用者が意識していなくても、所定の操作が行われた場合の定型のアクションに対してコマンドを割り当てることができる。 In any case, when a command is assigned to the output pattern from the 9-axis sensor 70, the command information 30b is recorded on the recording medium 30. According to this configuration, an output in a predetermined pattern of the sensor resulting from a fixed action before and after a predetermined operation is performed can be used as a command related to the operation. Therefore, even if the user is not conscious, a command can be assigned to a fixed action when a predetermined operation is performed.

この場合において、９軸センサー７０からコマンド情報３０ｂとして記録された所定パターンの出力が発生すると、制御部２０は、センサー出力取得部２１ａの処理により９軸センサー７０からの当該所定パターンの出力を取得し、操作受付部２１ｂの処理により当該所定パターンに対応づけられたコマンドを実行する。従って、コマンド情報３０ｂが記録媒体３０に記録された状態において、利用者は、ボタン４１による操作を行わなくても、所定パターンの出力を発生させるようなアクションを行うことにより、ボタン４１による操作によって実現される機能と同一の機能を利用することが可能になる。この場合、利用者は、アクションとコマンドとの関係を意識して記憶していることは必須ではない。すなわち、コマンドは定型のアクションに対応づけられるため、本実施形態においては、所定の機能を利用する際に通常行われるアクションでコマンドが実行される。従って、ユーザーの負担を増やすことなく操作性を向上させることが可能である。 In this case, when the output of the predetermined pattern recorded as the command information 30b is generated from the 9-axis sensor 70, the control unit 20 acquires the output of the predetermined pattern from the 9-axis sensor 70 by the processing of the sensor output acquisition unit 21a. Then, the command associated with the predetermined pattern is executed by the processing of the operation receiving unit 21b. Accordingly, in a state where the command information 30b is recorded on the recording medium 30, the user can perform an action that generates an output of a predetermined pattern without performing an operation with the button 41, thereby performing an operation with the button 41. It becomes possible to use the same function as the realized function. In this case, it is not essential for the user to remember and memorize the relationship between the action and the command. That is, since a command is associated with a fixed action, in the present embodiment, the command is executed with an action that is normally performed when a predetermined function is used. Therefore, operability can be improved without increasing the burden on the user.

（２）コマンド割当処理：
次に、制御部２０が実行するコマンド割当処理を図３に示すフローチャートに沿って詳細に説明する。本実施形態において、制御部２０は、オペレーティングシステムプログラムの実行下において、所定の期間毎にコマンド割当プログラム２１によって図３に示すコマンド割当処理を実行する。制御部２０は、当該コマンド割当処理と並行して任意の処理を実行可能である。 (2) Command assignment processing:
Next, command assignment processing executed by the control unit 20 will be described in detail with reference to the flowchart shown in FIG. In the present embodiment, the control unit 20 executes the command allocation process shown in FIG. 3 by the command allocation program 21 every predetermined period under the execution of the operating system program. The control unit 20 can execute an arbitrary process in parallel with the command allocation process.

コマンド割当処理が開始されると、制御部２０は、センサー出力取得部２１ａの処理により、９軸センサー７０からの出力が発生したか否かを判定する（ステップＳ１００）。すなわち、表示装置５０に対して利用者が何らかのアクションを行って９軸センサー７０が当該アクションに起因する加速度等を検出した場合、９軸センサー７０からこれらの加速度等を示す信号が出力される。このように９軸センサー７０から信号が出力された場合、制御部２０は、インターフェイス４０を介してこれらの出力を取得し、９軸センサー７０からの出力が発生したと判定する。 When the command allocation process is started, the control unit 20 determines whether or not an output from the 9-axis sensor 70 is generated by the process of the sensor output acquisition unit 21a (step S100). That is, when the user performs some action on the display device 50 and the 9-axis sensor 70 detects an acceleration or the like due to the action, a signal indicating the acceleration or the like is output from the 9-axis sensor 70. When signals are thus output from the 9-axis sensor 70, the control unit 20 acquires these outputs via the interface 40 and determines that the output from the 9-axis sensor 70 has occurred.

ステップＳ１００において、９軸センサー７０からの出力が発生したと判定された場合、制御部２０は、センサー出力取得部２１ａの処理により、センサーの出力の履歴を記録する（ステップＳ１０５）。すなわち、制御部２０は、９軸センサー７０からの出力の時系列的な履歴を時刻に対応づけて履歴情報３０ａとして記録部３０に記録する。図４のグラフ（Ａ）〜グラフ（Ｃ）および図５のグラフ（Ａ）〜グラフ（Ｃ）は、９軸センサー７０における加速度センサー、角速度センサー、地磁気センサーの出力例を示す図であり、実線、破線、一点鎖線によって直交３軸（ｘ，ｙ，ｚ）のそれぞれの出力を示している。なお、ステップＳ１００において、９軸センサー７０からの出力が発生したと判定されない場合、制御部２０は、ステップＳ１０５〜Ｓ１２５をスキップする。 If it is determined in step S100 that an output from the 9-axis sensor 70 has been generated, the control unit 20 records a sensor output history by the process of the sensor output acquisition unit 21a (step S105). That is, the control unit 20 records the time series history of the output from the 9-axis sensor 70 in the recording unit 30 as the history information 30a in association with the time. Graphs (A) to (C) in FIG. 4 and graphs (A) to (C) in FIG. 5 are diagrams showing output examples of the acceleration sensor, the angular velocity sensor, and the geomagnetic sensor in the nine-axis sensor 70, and are shown by solid lines. The broken line and the alternate long and short dash line indicate the outputs of the three orthogonal axes (x, y, z). If it is not determined in step S100 that the output from the 9-axis sensor 70 has occurred, the control unit 20 skips steps S105 to S125.

次に、制御部２０は、操作受付部２１ｂの処理により、所定の操作が行われたか否かを判定する（ステップＳ１１０）。すなわち、制御部２０は、操作受付部２１ｂの処理により、ボタン４１による操作が行われたか否か判定し、制御部２０による機能の実行開始指示または機能の実行中断を意味するボタン４１の操作が行われていた場合に、制御部２０は、所定の操作が行われたと判定する。 Next, the control part 20 determines whether predetermined operation was performed by the process of the operation reception part 21b (step S110). In other words, the control unit 20 determines whether or not an operation with the button 41 has been performed by the process of the operation receiving unit 21b, and the operation of the button 41 indicating an instruction to start or stop function execution by the control unit 20 is performed. If it has been performed, the control unit 20 determines that a predetermined operation has been performed.

ステップＳ１１０において、所定の操作が行われたと判定された場合、制御部２０は、操作受付部２１ｂの処理により、所定の操作の履歴を記録する（ステップＳ１１５）。すなわち、制御部２０は、操作されたボタン４１の時系列的な履歴を時刻に対応づけて履歴情報３０ａとして記録部３０に記録する。図４のグラフ（Ｄ）および図５のグラフ（Ｄ）は、ボタン４１の操作履歴を示す図であり、実線によってボタン４１の操作がなされた（オンにされた）タイミングの例を示している。なお、ステップＳ１１０において、所定の操作が行われたと判定されない場合、制御部２０は、ステップＳ１１５〜Ｓ１２５をスキップする。 When it is determined in step S110 that the predetermined operation has been performed, the control unit 20 records a history of the predetermined operation through the process of the operation receiving unit 21b (step S115). That is, the control unit 20 records the time-series history of the operated button 41 in the recording unit 30 as history information 30a in association with the time. The graph (D) in FIG. 4 and the graph (D) in FIG. 5 are diagrams showing the operation history of the button 41, and show an example of timing when the button 41 is operated (turned on) by a solid line. . If it is not determined in step S110 that the predetermined operation has been performed, the control unit 20 skips steps S115 to S125.

次に、制御部２０は、コマンド割当部２１ｃの処理により、コマンド割当可能な所定パターンが存在するか否かを判定する（ステップＳ１２０）。すなわち、制御部２０は、履歴情報３０ａを参照し、ボタン４１に対する複数回の操作履歴が存在するか否かを判定する。複数回の操作履歴が存在する場合、さらに、制御部２０は、ステップＳ１１５において履歴が記録された所定の操作が、制御部２０における機能の実行開始指示であるか否かを判定する。ステップＳ１１５において履歴が記録された所定の操作が機能の実行開始指示である場合、さらに、制御部２０は、複数回の操作履歴のそれぞれから、ボタン４１による操作が行われたタイミングＴｏより前の期間Ｔr₁（図４参照）のセンサー出力の履歴を取得する。さらに、制御部２０は、複数回の操作履歴のそれぞれについて、期間Ｔr₁における９軸センサー７０の出力を比較する。比較の際には、例えば、９軸センサー７０の場合には、９つ出力値のピークの大小関係および／またはピーク時点の先後関係を上記複数回に亘って比較してよい。その際、出力値に代えて、または出力値と併せて、その微分値および／または積分値が利用されてもよい。そして、制御部２０は、当該期間Ｔr₁に同一のパターンの出力が所定閾値以上の回数で発生していた場合、制御部２０は、コマンド割当可能な所定パターンが存在すると判定する。 Next, the control unit 20 determines whether there is a predetermined pattern to which a command can be allocated by the process of the command allocation unit 21c (step S120). That is, the control unit 20 refers to the history information 30a and determines whether or not there are a plurality of operation histories for the button 41. When there are a plurality of operation histories, the control unit 20 further determines whether or not the predetermined operation whose history is recorded in step S115 is a function execution start instruction in the control unit 20. When the predetermined operation whose history is recorded in step S115 is a function execution start instruction, the control unit 20 further includes a timing before the timing To when the operation with the button 41 is performed from each of the plurality of operation histories. The sensor output history for the period Tr ₁ (see FIG. 4) is acquired. Further, the control unit 20 compares the outputs of the 9-axis sensor 70 in the period Tr ₁ for each of the plurality of operation histories. At the time of comparison, for example, in the case of the 9-axis sensor 70, the magnitude relationship between the peaks of the nine output values and / or the prior relationship between the peak points may be compared over the plurality of times. At that time, the differential value and / or the integral value may be used instead of the output value or in combination with the output value. Then, the control unit 20 determines that the output of the same pattern in the period Tr ₁ may have occurred in the number of more than a predetermined threshold value, the control unit 20, there are commands assignable predetermined pattern.

一方、ステップＳ１１５において履歴が記録された所定の操作が機能の実行開始指示でない場合、制御部２０は、ステップＳ１１５において履歴が記録された所定の操作が、制御部２０における機能の中断指示であるか否かを判定する。ステップＳ１１５において履歴が記録された所定の操作が中断指示である場合、制御部２０は、複数回の操作履歴のそれぞれから、ボタン４１による操作が行われたタイミングＴｃより後の期間Ｔr₂（図５参照）のセンサー出力の履歴を取得する。さらに、制御部２０は、複数回の操作履歴のそれぞれについて、期間Ｔr₂における９軸センサー７０の出力を比較する。そして、当該期間Ｔr₂に同一のパターンの出力が所定閾値以上の回数で発生していた場合、制御部２０は、コマンド割当可能な所定パターンが存在すると判定する。 On the other hand, when the predetermined operation whose history is recorded in step S115 is not a function execution start instruction, the control unit 20 indicates that the predetermined operation whose history is recorded in step S115 is a function interruption instruction in the control unit 20. It is determined whether or not. When the predetermined operation in which the history is recorded in step S115 is an interruption instruction, the control unit 20 determines a period Tr ₂ after the timing Tc when the operation with the button 41 is performed from each of the plurality of operation histories (see FIG. 5) is obtained. Further, the control unit 20 compares the outputs of the 9-axis sensor 70 in the period Tr ₂ for each of the plurality of operation histories. Then, it is determined that the output of the same pattern in the period Tr ₂ may have occurred in the number of more than a predetermined threshold value, the control unit 20, there are commands assignable predetermined pattern.

ステップＳ１２０において、コマンド割当可能な所定パターンが存在すると判定された場合、制御部２０は、ステップＳ１１５にて履歴が記録されたボタン４１による操作に対応づけられたコマンド（機能の実行開始または中断）を特定する。そして、制御部２０は、当該コマンドと履歴情報３０ａが示す９軸センサー７０の出力パターンとを対応づけ、コマンド情報３０ｂとして記録媒体に記録する。例えば、ステップＳ１１５において履歴が記録された所定の操作が、制御部２０における機能の実行開始指示である場合、制御部２０は、タイミングＴｏより前の期間Ｔr₁（図４参照）のセンサー出力の履歴を所定パターンと見なし、機能の実行開始指示を示すコマンドと対応づける。一方、ステップＳ１１５において履歴が記録された所定の操作が、制御部２０における機能の中断指示である場合、制御部２０は、タイミングＴｃより後の期間Ｔr₂（図５参照）のセンサー出力の履歴を所定パターンと見なし、機能の中断指示を示すコマンドと対応づける。 If it is determined in step S120 that there is a predetermined pattern to which a command can be allocated, the control unit 20 executes a command (function execution start or interruption) associated with the operation by the button 41 in which the history is recorded in step S115. Is identified. Then, the control unit 20 associates the command with the output pattern of the 9-axis sensor 70 indicated by the history information 30a, and records the command information 30b on the recording medium. For example, when the predetermined operation whose history is recorded in step S115 is a function execution start instruction in the control unit 20, the control unit 20 outputs the sensor output in the period Tr ₁ (see FIG. 4) before the timing To. The history is regarded as a predetermined pattern and is associated with a command indicating a function execution start instruction. On the other hand, when the predetermined operation whose history is recorded in step S115 is a function interruption instruction in the control unit 20, the control unit 20 records the sensor output history in the period Tr ₂ (see FIG. 5) after the timing Tc. Is associated with a command indicating a function interruption instruction.

ステップＳ１２０において、コマンド割当可能な所定パターンが存在すると判定されない場合、制御部２０は、ステップＳ１２５をスキップする。ステップＳ１２５が実行された後、または、ステップＳ１００，Ｓ１１０，Ｓ１２０で否定判定（図３に示すＮの判定）が行われた場合、制御部２０は、センサー出力取得部２１ａの処理により、所定パターンが発生したか否かを判定する（ステップＳ１３０）。すなわち、９軸センサー７０が加速度等を検出した場合、９軸センサー７０からこれらの加速度等を示す信号が出力され、制御部２０は、インターフェイス４０を介してこれらの出力を取得する。そして、制御部２０は、操作受付部２１ｂの処理によりコマンド情報３０ｂを参照し、当該出力がコマンド情報３０ｂに記録されたパターンに合致する場合、所定パターンが発生したと判定する。 If it is not determined in step S120 that there is a predetermined pattern to which a command can be assigned, the control unit 20 skips step S125. After step S125 is executed or when a negative determination (determination of N shown in FIG. 3) is made in steps S100, S110, and S120, the control unit 20 performs a predetermined pattern by the process of the sensor output acquisition unit 21a. Whether or not has occurred is determined (step S130). That is, when the 9-axis sensor 70 detects acceleration and the like, signals indicating these accelerations and the like are output from the 9-axis sensor 70, and the control unit 20 acquires these outputs via the interface 40. Then, the control unit 20 refers to the command information 30b by the processing of the operation receiving unit 21b, and determines that a predetermined pattern has occurred when the output matches the pattern recorded in the command information 30b.

ステップＳ１３０において、所定パターンが発生したと判定された場合、制御部２０は、操作受付部２１ｂの処理により、所定パターンに割り当てられたコマンドを実行する（ステップＳ１３５）。すなわち、制御部２０は、コマンド情報３０ｂを参照し、所定パターンに対応するコマンドを実行する。この結果、利用者が表示装置５０に対して行ったアクションによって制御部２０がコマンドを実行することになる。一方、ステップＳ１３０において、所定パターンが発生したと判定されない場合、制御部２０は、ステップＳ１３５をスキップする。 If it is determined in step S130 that the predetermined pattern has occurred, the control unit 20 executes a command assigned to the predetermined pattern by the process of the operation receiving unit 21b (step S135). That is, the control unit 20 refers to the command information 30b and executes a command corresponding to a predetermined pattern. As a result, the control unit 20 executes the command by an action performed by the user on the display device 50. On the other hand, when it is not determined in step S130 that the predetermined pattern has occurred, the control unit 20 skips step S135.

ステップＳ１３５が実行された後、または、スキップされた後、制御部２０は、電源オフまたは９軸センサー７０からの出力の履歴の記録が中止されたか否かを判定する（ステップＳ１４０）。すなわち、制御部２０は、操作受付部２１ｂの処理により、電源制御に割り当てられた電源オフのためのボタン４１が操作された場合に、電源オフがなされたと判定する。また、制御部２０は、操作受付部２１ｂの処理により、９軸センサー７０からの出力の履歴の記録を中止するためのボタン４１が操作された場合に、履歴記録が中止されたと判定する。そして、ステップＳ１４０において、電源オフまたは９軸センサー７０からの出力の履歴の記録が中止されたと判定されない場合、制御部２０は、ステップＳ１００以降を繰り返す。一方、ステップＳ１４０において、電源オフまたは９軸センサー７０からの出力の履歴の記録が中止された場合、制御部２０は、コマンド割当処理を終了する。 After step S135 is executed or skipped, the control unit 20 determines whether or not the power-off or the recording of the output history from the 9-axis sensor 70 is stopped (step S140). In other words, the control unit 20 determines that the power is turned off when the power-off button 41 assigned to the power control is operated by the process of the operation reception unit 21b. Further, the control unit 20 determines that the history recording is stopped when the button 41 for stopping the recording of the output history from the 9-axis sensor 70 is operated by the processing of the operation receiving unit 21b. If it is not determined in step S140 that the power is turned off or the recording of the output history from the 9-axis sensor 70 is stopped, the control unit 20 repeats step S100 and subsequent steps. On the other hand, when the recording of the output history from the 9-axis sensor 70 is stopped in step S140, the control unit 20 ends the command assignment process.

（３）他の実施形態：
以上の実施形態は所定の操作が行われた前後の所定期間内に所定パターンの出力が発生していた場合、所定パターンの出力を所定操作に関するコマンドに割り当てる限りにおいて、他にも種々の実施形態を採用可能である。例えば、所定パターンに割り当てられるコマンド（所定の操作によって実行されるコマンド）は、スリープ状態からの復帰や、動画再生の中断に限定されず、アプリケーションプログラムの起動、切換え、停止、若しくは終了、又はアプリケーション上で提供される機能の起動、切換え、停止、若しくは終了など、制御部２０で実行可能な各種の機能に関する各種の操作によるコマンドに所定パターンを割り当てるように構成可能である。アプリケーションブログラムは、利用者の眼に対する画像の表示位置を調整するキャリブレーションプログラムを含む。 (3) Other embodiments:
In the above embodiment, when output of a predetermined pattern is generated within a predetermined period before and after the predetermined operation is performed, various other embodiments can be used as long as the output of the predetermined pattern is assigned to a command related to the predetermined operation. Can be adopted. For example, a command assigned to a predetermined pattern (a command executed by a predetermined operation) is not limited to returning from a sleep state or interrupting moving image playback, but can start, switch, stop or end an application program, or an application A predetermined pattern can be assigned to commands by various operations related to various functions that can be executed by the control unit 20, such as activation, switching, stop, or termination of the functions provided above. The application program includes a calibration program for adjusting the display position of the image with respect to the user's eyes.

さらに、制御装置１０と表示装置５０とは一体であってもよいし、より多数の装置に分かれていてもよい。また、制御部２０の一部が表示装置５０に備えられていてもよいし、表示装置５０の一部が制御装置１０に備えられていてもよい。さらに、表示装置５０の態様は眼鏡型に限定されず、例えば、腕時計型など、各種のウェアラブルコンピューターであってよい。 Furthermore, the control device 10 and the display device 50 may be integrated, or may be divided into a larger number of devices. Further, a part of the control unit 20 may be provided in the display device 50, or a part of the display device 50 may be provided in the control device 10. Furthermore, the aspect of the display device 50 is not limited to the eyeglass type, and may be various wearable computers such as a wristwatch type.

１０…制御装置、２０…制御部、２１…コマンド割当プログラム、２１ａ…センサー出力取得部、２１ｂ…操作受付部、２１ｃ…コマンド割当部、３０…記録媒体、３０…記録部、３０ａ…履歴情報、３０ｂ…コマンド情報、４０，６０ａ，６０ｂ…インターフェイス、４１…ボタン、４２…ディスプレイ、５０…表示装置、５１，５２…導光部、６１…左目画像投影部、６２…右目画像投影部、７０…９軸センサー、８１，８２…表示部 DESCRIPTION OF SYMBOLS 10 ... Control apparatus, 20 ... Control part, 21 ... Command allocation program, 21a ... Sensor output acquisition part, 21b ... Operation reception part, 21c ... Command allocation part, 30 ... Recording medium, 30 ... Recording part, 30a ... History information, 30b ... Command information, 40, 60a, 60b ... Interface, 41 ... Button, 42 ... Display, 50 ... Display device, 51, 52 ... Light guide unit, 61 ... Left eye image projection unit, 62 ... Right eye image projection unit, 70 ... 9-axis sensor, 81, 82 ... display section

Claims

A wearable computer including a sensor and a control unit capable of executing a plurality of functions,
A sensor output acquisition unit for acquiring the output of the sensor;
An operation accepting unit for accepting an operation related to the function;
If the output of the predetermined pattern has occurred within a predetermined time period before and after the predetermined said operation is performed, Bei example and a command assignment section that assigns the command related to the outputs predetermined the operation of the predetermined pattern,
The command allocation unit
When the predetermined operation is an instruction to start execution of the predetermined function with respect to the control unit, the output of the predetermined pattern occurs when the output of the predetermined pattern is generated in a period before the predetermined operation. Assigning the output to a command related to the predetermined operation;
Wearable computer.

A wearable computer including a sensor and a control unit capable of executing a plurality of functions,
A sensor output acquisition unit for acquiring the output of the sensor;
An operation accepting unit for accepting an operation related to the function;
If the output of the predetermined pattern has occurred within a predetermined time period before and after the predetermined said operation is performed, Bei example and a command assignment unit that assigns the command related to the outputs predetermined the operation of the predetermined pattern,
The command allocation unit
When the predetermined operation is an instruction to interrupt the predetermined function to the control unit, the output of the predetermined pattern occurs when the output of the predetermined pattern is generated in a period after the predetermined operation. Assign the output to a command for a given said operation,
Wearable computer.

The controller is
When the output of the sensor is the predetermined pattern, the function related to the predetermined operation is executed.
The wearable computer according to claim 1.

The command allocation unit
When the output of the predetermined pattern occurs at a frequency equal to or higher than a predetermined threshold within the predetermined period before and after the predetermined operation is performed, the output of the predetermined pattern is assigned to a command related to the predetermined operation. ,
The wearable computer according to claim 1 or 2.

A command setting method in a wearable computer comprising a sensor and a control unit capable of executing a plurality of functions,
A sensor output acquisition step for acquiring the output of the sensor;
An operation receiving step for receiving an operation related to the function;
A command allocating step of assigning the output of the predetermined pattern to a command related to the predetermined operation when the output of the predetermined pattern has occurred within a predetermined period before and after the predetermined operation is performed ; When the operation is an instruction to start execution of the predetermined function to the control unit, the output of the predetermined pattern is generated when the output of the predetermined pattern is generated in a period before the predetermined operation. Assigning a command to a command related to the predetermined operation ,
Command setting method including

A command setting method in a wearable computer comprising a sensor and a control unit capable of executing a plurality of functions,
A sensor output acquisition step for acquiring the output of the sensor;
An operation receiving step for receiving an operation related to the function;
A command allocating step of assigning the output of the predetermined pattern to a command related to the predetermined operation when the output of the predetermined pattern has occurred within a predetermined period before and after the predetermined operation is performed ; When the operation is an instruction to interrupt the predetermined function to the control unit, when the output of the predetermined pattern is generated in a period after the predetermined operation, the output of the predetermined pattern is A command assigning step for assigning commands related to the operation ;
Command setting method including

A command setting program for executing a function for setting a command in a wearable computer including a sensor and a control unit capable of executing a plurality of functions,
A sensor output acquisition function for acquiring the output of the sensor;
An operation reception function for receiving an operation related to the function;
A command allocation function for allocating the output of the predetermined pattern to a command related to the predetermined operation when the output of the predetermined pattern is generated within a predetermined period before and after the predetermined operation is performed ; When the operation is an instruction to start execution of the predetermined function to the control unit, the output of the predetermined pattern is generated when the output of the predetermined pattern is generated in a period before the predetermined operation. Assigning a command to a command related to the predetermined operation ,
Command setting program that causes a wearable computer to execute

A command setting program for executing a function for setting a command in a wearable computer including a sensor and a control unit capable of executing a plurality of functions,
A sensor output acquisition function for acquiring the output of the sensor;
An operation reception function for receiving an operation related to the function;
A command allocation function for allocating the output of the predetermined pattern to a command related to the predetermined operation when the output of the predetermined pattern is generated within a predetermined period before and after the predetermined operation is performed ; When the operation is an instruction to interrupt the predetermined function to the control unit, the output of the predetermined pattern is generated when the output of the predetermined pattern is generated in a period after the predetermined operation. A command assignment function assigned to a command related to the predetermined operation ;
Command setting program that causes a wearable computer to execute