JP6293372B2 - Information processing apparatus and interlock control method - Google Patents
Information processing apparatus and interlock control method Download PDFInfo
- Publication number
- JP6293372B2 JP6293372B2 JP2017518688A JP2017518688A JP6293372B2 JP 6293372 B2 JP6293372 B2 JP 6293372B2 JP 2017518688 A JP2017518688 A JP 2017518688A JP 2017518688 A JP2017518688 A JP 2017518688A JP 6293372 B2 JP6293372 B2 JP 6293372B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- operator
- specific
- interlock
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Description
本発明は、情報処理装置に対する特定の操作を制限するインタロック技術に関する。 The present invention relates to an interlock technique for restricting a specific operation on an information processing apparatus.
インタロックは、装置の設計者や運用責任者が意図していない動作が生じることを防止する安全機構やその仕組みをいう。インタロックの作動中は、装置に対する特定の操作(たとえば、機器の動作開始ボタンの押下)が無効化される。ユーザは、その特定の操作入力を無効にする状態(以下「インタロック状態」という。)を、予め決められた一定の手順に従って装置を操作することにより解除することができる。インタロック状態の解除の例としては、操作盤上の2個の操作ボタンが略同時に押下された場合にインタロック状態を解除する機構、及び、複数個の操作ボタンが予め決められた手順に従って順番に押下された場合にインタロック状態を解除する機構が挙げられる。 Interlock refers to a safety mechanism and a mechanism for preventing an operation that is not intended by a device designer or an operation manager. During the operation of the interlock, a specific operation on the device (for example, pressing of the operation start button of the device) is invalidated. The user can cancel the state in which the specific operation input is invalidated (hereinafter referred to as “interlock state”) by operating the apparatus according to a predetermined procedure. Examples of releasing the interlock state include a mechanism for releasing the interlock state when two operation buttons on the operation panel are pressed almost simultaneously, and a plurality of operation buttons in order according to a predetermined procedure. And a mechanism for releasing the interlock state when the button is pressed.
一方、人の身振りや手振りといったジェスチャを自動認識するためのモーション・キャプチャ技術が知られている。この種のモーション・キャプチャ技術を利用すれば、操作盤などの入力装置に依存しない非接触での情報入力が可能である。モーション・キャプチャ技術は、たとえば、特許文献1(特開2006−40271号公報)、特許文献2(特表2007−538318号公報)、特許文献3(特開2001−216069号公報)、特許文献4(特開2011−248606号公報)、特許文献5(特開2008−52590号公報)及び特許文献6(特開2011−81469号公報)に開示されている。 On the other hand, motion capture technology for automatically recognizing gestures such as human gestures and hand gestures is known. By using this kind of motion capture technology, it is possible to input information without contact with an input device such as an operation panel. For example, Patent Document 1 (Japanese Patent Laid-Open No. 2006-40271), Patent Document 2 (Japanese Patent Publication No. 2007-538318), Patent Document 3 (Japanese Patent Laid-Open No. 2001-216069), and Patent Document 4 include motion capture techniques. (Japanese Unexamined Patent Application Publication No. 2011-248606), Japanese Unexamined Patent Application Publication No. 2008-52590, and Japanese Unexamined Patent Application Publication No. 2011-81469.
インタロック技術については、装置のインタロック状態を解除する操作手順が複雑であればあるほど、装置の設計者や運用責任者が意図しない動作を防止する点でより有効であるが、当該操作手順が複雑過ぎると、ユーザの操作負担の増大により作業効率が低下するという課題がある。 As for interlock technology, the more complicated the operation procedure for releasing the interlock state of the device is, the more effective it is to prevent unintended operations by the device designer or the person in charge of operation. Is too complicated, there is a problem that work efficiency decreases due to an increase in the operation burden on the user.
また、従来のインタロック技術では、ユーザが不正にインタロック状態を解除する操作違反を防止することが難しいという課題がある。特に、近年のディジタル化された計装制御システム及びFA(ファクトリ・オートメーション:Factory Automation)制御システムにおいては、ユーザの操作違反の防止が難しい。たとえば、マウスなどのポインティング・デバイスを有する操作盤やタッチパネル型ディスプレイを備えた制御システムの場合、ユーザは、ポインティング・デバイスを操作してディスプレイ画面に現れる操作ボタンを選択したり、タッチパネルに指を触れたりすることで簡便に操作を行うことができる。しかしながら、インタロック状態の解除操作をも簡便に行うことができるので、ユーザの意図的な操作違反を防止することが難しい。また、操作が簡便になる反面、誤操作によりインタロック状態が解除されるおそれもある。 Further, in the conventional interlock technology, there is a problem that it is difficult to prevent an operation violation in which the user illegally releases the interlock state. In particular, in recent digital instrumentation control systems and FA (factory automation) control systems, it is difficult to prevent user operation violations. For example, in the case of a control system having an operation panel having a pointing device such as a mouse or a touch panel display, the user selects an operation button that appears on the display screen by operating the pointing device, or touches the touch panel with a finger. The operation can be easily performed. However, it is difficult to prevent a user's intentional operation violation because the interlock state can be easily released. In addition, although the operation is simple, there is a possibility that the interlock state is canceled due to an erroneous operation.
なお、上記モーション・キャプチャ技術のインタロック技術への適用が考えられる。しかしながら、単純にモーション・キャプチャ技術をインタロック技術に適用しただけでは、人が意識的に行うジェスチャのみならず、人が無意識に行うジェスチャをも自動認識し、その認識結果に応じて誤ってインタロック状態を解除するという信頼性の低いシステムが作り出されるおそれがある。 Note that the motion capture technology can be applied to an interlock technology. However, simply applying the motion capture technology to the interlock technology automatically recognizes not only gestures that humans consciously perform, but also gestures that humans unconsciously perform, and inadvertently performs interfacing according to the recognition results. There is a risk that an unreliable system for releasing the locked state may be created.
上記に鑑みて本発明の目的は、インタロック状態の解除操作を簡便に行うことができ、信頼性が高く、且つユーザの操作違反をも抑制することができる情報処理装置及びインタロック制御方法を提供する点にある。 In view of the above, an object of the present invention is to provide an information processing device and an interlock control method that can easily perform an operation of releasing an interlock state, have high reliability, and can suppress a user's operation violation. The point is to provide.
本発明の一態様による情報処理装置は、操作者の身体を空間的に検出するセンサデバイス、操作入力部及び表示装置と接続される情報処理装置であって、当該情報処理装置の動作状態を、前記操作入力部への操作入力を無効にするインタロック状態に設定するインタロック制御部と、人体の特定の動作パターンを示すガイド画像を前記表示装置に表示させることにより前記操作者に対して動作を指示する動作指示部と、前記センサデバイスの検出出力に基づいて、前記操作者の身体の特定部位を認識する操作者認識部と、当該認識された特定部位の動作を認識する動作認識部とを備え、前記インタロック制御部は、前記動作認識部により認識された動作が前記特定の動作パターンと合致するときに前記インタロック状態を解除し、当該認識された動作が前記特定の動作パターンと合致している間だけ前記インタロック状態の解除を継続させることを特徴とする。 An information processing apparatus according to an aspect of the present invention is an information processing apparatus connected to a sensor device that spatially detects an operator's body, an operation input unit, and a display device, and the operation state of the information processing apparatus is An interlock control unit for setting an interlock state to invalidate an operation input to the operation input unit, and an operation for the operator by displaying a guide image indicating a specific motion pattern of a human body on the display device An operation recognizing unit for recognizing a specific part of the body of the operator based on a detection output of the sensor device, and an operation recognizing unit for recognizing the operation of the recognized specific part wherein the interlock control unit releases the interlock state when recognized operation by the operation recognition portion matches with the specific operation pattern, the recognition of Operation is characterized in that to continue only release of the interlocking while consistent with the specific operation pattern.
本発明の他の態様によるインタロック制御方法は、操作者の身体を空間的に検出するセンサデバイス、操作入力部及び表示装置と接続される情報処理装置において行われるインタロック制御方法であって、前記情報処理装置の動作状態を、前記操作入力部への特定の操作入力を無効にするインタロック状態に設定するステップと、人体の特定の動作パターンを示すガイド画像を前記表示装置に表示させることにより前記操作者に対して動作を指示するステップと、前記センサデバイスの検出出力に基づいて、前記操作者の身体の特定部位を認識するステップと、当該認識された特定部位の動作を認識するステップと、当該認識された動作が前記特定の動作パターンと合致するときに、前記インタロック状態を解除するステップと、当該認識された動作が前記特定の動作パターンと合致している間だけ前記インタロック状態の解除を継続させるステップとを備えることを特徴とする。 An interlock control method according to another aspect of the present invention is an interlock control method performed in an information processing apparatus connected to a sensor device that spatially detects an operator's body, an operation input unit, and a display device, A step of setting an operation state of the information processing apparatus to an interlock state in which a specific operation input to the operation input unit is disabled, and a guide image indicating a specific operation pattern of the human body is displayed on the display device Instructing the operator to perform an operation, recognizing a specific part of the operator's body based on the detection output of the sensor device, and recognizing the action of the recognized specific part If, when the recognized operation is consistent with the specific operation pattern, and releasing the interlocking, the recognition of Operation is characterized in that it comprises a step of continuing the only release of the interlocking while consistent with the specific operation pattern.
本発明によれば、操作者は、表示装置に表示された動作パターンに従って自己の身体部位を動かすことでインタロック状態を解除させることができる。したがって、インタロック状態の解除操作を簡便に行うことができ、誤操作によりインタロック状態が解除されることを防止することができる。また、操作者の身体部位を使う動作は目立つことから、操作違反をも抑制することができる。 According to the present invention, the operator can release the interlock state by moving his / her body part according to the operation pattern displayed on the display device. Therefore, the interlock state can be easily released, and the interlock state can be prevented from being released due to an erroneous operation. Moreover, since the operation | movement which uses an operator's body part is conspicuous, an operation violation can also be suppressed.
以下、図面を参照しつつ、本発明に係る種々の実施の形態について詳細に説明する。なお、図面において同一符号を付された構成要素は、同一構成を有するものとする。 Hereinafter, various embodiments according to the present invention will be described in detail with reference to the drawings. In addition, the component which attached | subjected the same code | symbol in drawing shall have the same structure.
実施の形態1.
図1は、本発明に係る実施の形態1の機器制御システム1の概略構成を示す機能ブロック図である。機器制御システム1は、LAN(Local Area Network)などの制御ネットワークまたは広域ネットワークからなる通信ライン40を介して、計測機器、監視機器または製造装置などの被制御機器411,…,41Nと接続されている。この機器制御システム1は、被制御機器411,…,41Nの動作を個別に監視し且つ制御できるように構成され、計装制御システム及びFA(Factory Automation)制御システムとして利用可能なものである。
FIG. 1 is a functional block diagram showing a schematic configuration of a
図1に示されるように、機器制御システム1は、情報処理装置10A、操作入力部11、タッチパネル12T付きの表示装置12及びセンサデバイス13を備えている。情報処理装置10Aは、動き判定部20A、パターン記憶部25、入出力インタフェース部(入出力I/F部)30、システム制御部31及び通信制御部32を有する。
As shown in FIG. 1, the
情報処理装置10Aは、たとえば、PC(Personal Computer)やワークステーションなどのコンピュータで構成されればよい。動き判定部20A及びシステム制御部31の機能は、コンピュータ・プログラムを用いて実現することができる。具体的には、CPU(Central Processing Unit)を含むプロセッサと、このプロセッサに動き判定部20A及びシステム制御部31の機能を実行させる一群のコンピュータ・プログラムと、この一群のコンピュータ・プログラムを格納するコンピュータ読み取り可能な記録媒体とを備えたコンピュータによって動き判定部20A及びシステム制御部31の機能を実現することができる。パターン記憶部25は、不揮発性メモリやHDD(Hard Disk Drive)により構成されればよい。
The
操作入力部11、表示装置12、タッチパネル12T及びセンサデバイス13は、入出力インタフェース部30を介してシステム制御部31及び動き判定部20Aと接続されている。本実施の形態の操作入力部11は、マウスなどのポインティング・デバイス及びキー入力デバイスを含んで構成される。操作者OPは、操作入力部11を操作してシステム制御部31及び動き判定部20Aに情報を入力することができる。また、表示装置12にはタッチパネル12Tが組み込まれているので、操作者OPは、たとえば指などの自己の身体の一部位または補助具を表示装置12の画面に触れさせることでシステム制御部31及び動き判定部20Aに情報を入力することもできる。本発明の操作入力部は、これら操作入力部11及びタッチパネル12Tにより実現可能である。
The
表示装置12は、液晶ディスプレイや有機ELディスプレイなどの映像表示装置で構成されればよい。システム制御部31及び動き判定部20Aは、入出力インタフェース部30を介して表示装置12に映像信号を供給して画像を表示させることができる。
The
システム制御部31は、通信制御部32を介して被制御機器411,…,41Nとの間でデータの送受信を行うことにより被制御機器411,…,41Nの動作を制御することができる。また、システム制御部31は、たとえば、機器制御システム1の動作状況を示す画像、被制御機器411,…,41Nの稼働状態を示す画像、並びに、被制御機器411,…,41Nを遠隔操作するための操作画像を表示装置12に表示させることができる。操作者OPは、表示装置12の表示内容を視認し、操作入力部11またはタッチパネル12Tを操作してシステム制御部31に情報を入力することが可能である。The
一方、センサデバイス13は、検出範囲内にある操作者OPの身体の各部位を空間的に検出し、その検出結果を入出力インタフェース部30を介して動き判定部20Aに供給することができる空間認識デバイスである。センサデバイス13は、検出範囲内の操作者OPの身体を撮像して撮像データを出力する撮像部13Aと、空間的なパターンを有する電磁波(たとえば赤外線)を検出波として当該操作者OPに照射する検出波照射部13Bと、当該検出波に対する反射波を受信する反射波受信部13Cと、演算部13Pとを備えている。
On the other hand, the
演算部13Pは、操作者OPからの反射波に基づき、公知のパターン照射方式(「Light Coding方式」とも呼ばれている。)により操作者OPに対する距離情報(depth information)をリアルタイムに検出する機能を有する。ここで、距離情報は、センサデバイス13から操作者OPの身体表面の各部までの距離(depth)を示す情報である。また、演算部13Pは、当該距離情報と撮像部13Aで得られた撮像データとに基づいて、画素単位の距離情報を有する距離画像を生成する。更に、演算部13Pは、距離画像に基づいて操作者OPの身体の各部位(たとえば、左手、頭部または右手)を識別することもできる。その識別結果及び距離画像は、センサデバイス13の検出出力として、入出力インタフェース部30を介して動き判定部20Aに供給される。なお、前述のパターン照射方式に代えて、公知のTOF(Time Of Flight)方式により距離情報を検出してもよい。
The
動き判定部20Aは、図1に示されるように、操作者認識部21、動作認識部22、動作指示部23A及びインタロック制御部24を有する。操作者認識部21は、センサデバイス13の検出出力に基づいて、操作者OPの身体の特定部位及びこの特定部位の形状をリアルタイムに認識することができる。パターン記憶部25には、たとえば手などの身体の特定部位の種々の形状及び肌色などに関するライブラリ情報が予め記憶されているので、操作者認識部21は、センサデバイス13の検出出力に基づき、そのライブラリ情報を参照して操作者OPの身体の特定部位及びこの特定部位の形状を認識することができる。
As illustrated in FIG. 1, the
なお、本実施の形態では、センサデバイス13の演算部13Pが操作者OPの身体の各部位をリアルタイムに検出しているが、これに限定されるものではない。動き判定部20Aが演算部13Pと同じ機能を有することで、センサデバイス13の検出出力を基に操作者OPの身体の各部位をリアルタイムに検出してもよい。
In addition, in this Embodiment, although the calculating
動作認識部22は、操作者認識部21で認識された特定部位の動作を認識する機能を有する。具体的には、パターン記憶部25には、たとえば手などの身体の部位のジェスチャを示す動作パターンが予め記憶されているので、動作認識部22は、当該認識された特定部位の動作を、パターン記憶部25に記憶されている動作パターンと比較する。動作認識部22は、その特定部位の動作が、パターン記憶部25に記憶されている動作パターンと合致するか否かを示す情報をインタロック制御部24に供給する。
The
動作指示部23Aは、パターン記憶部25に記憶されている動作パターンを示す動画像(以下「ガイド画像」という。)を表示装置12に表示させる機能を有する。
The operation instruction unit 23 </ b> A has a function of causing the
インタロック制御部24は、情報処理装置10Aの動作状態を、操作入力部11に対する特定の操作入力を無効にするインタロック状態に設定する機能を有する。インタロック制御部24は、たとえば、入出力インタフェース部30を制御して、操作入力部11またはタッチパネル12Tへの特定の操作入力が入出力インタフェース部30で受け付けられないようにすることで、当該特定の操作入力を無効にすることができる。
The
次に、図2を参照しつつ、上記動き判定部20Aにより実行されるインターロック制御を以下に説明する。図2は、実施の形態1に係るインタロック制御の処理手順の一例を概略的に示すフローチャートである。
Next, the interlock control executed by the
情報処理装置10Aの動作状態がインタロック状態に設定されている場合にインタロック制御が実行される。まず、操作者認識部21は、操作者認識処理を開始する(ステップST11)。すなわち、操作者認識部21は、センサデバイス13の検出出力をリアルタイムに監視し、上述したように、この検出出力に基づいて操作者OPの身体の特定部位及びこの特定部位の形状を認識することを試みる。操作者認識部21が身体の特定部位(たとえば、左手または右手)を認識しないとき(ステップST12のNO)、次のステップには進行しない。
Interlock control is executed when the operation state of the
図3は、インタロック状態時における表示装置12の表示画面12Sの一例を示す図である。表示画面12Sには、A群の操作ボタンA1,A2と、B群の操作ボタンB1,B2と、C群の操作ボタンC1,C2と、マウスカーソルCrとが表示されている。操作者OPは、右手OPRを使ってポインティング・デバイス11Mを操作することによりマウスカーソルCrを移動させることができる。ただし、操作ボタンA1,A2,B1,B2,C1,C2をクリックして選択する操作は、インタロック制御部24によって無効化されている。また、センサデバイス13が検出波DWを放射している。操作者OPが自己の身体の特定部位をセンサデバイス13の検出範囲内に置くと、操作者認識部21は、当該特定部位及びその形状を認識する。
FIG. 3 is a diagram illustrating an example of the
操作者認識部21が操作者OPの身体の特定部位を認識したとき(ステップST12のYES)、動作指示部23Aは、パターン記憶部25に記憶されている動作パターンを示すガイド画像の表示を開始する(ステップST13)。続いて、動作認識部22は、操作者認識部21で認識された特定部位の動作を認識するための動作パターン認識処理を開始する(ステップST14)。なお、ステップST13,ST14は、必ずしもこの順番で実行される必要はなく、逆の順番でまたは同時に実行されてもよい。
When the
図4は、図3に示した状態の後のガイド画像の一例を概略的に示す図である。図4に示されるように、操作者OPがセンサデバイス13の検出範囲内に左手OPLを置くと、操作者認識部21は、その左手OPLを認識する(ステップST12のYES)。同時に、その左手OPLの形状も認識される。続いて、動作指示部23Aは、図4のガイド画像G1を表示画面12Sに表示させる(ステップST13)。このガイド画像G1には、文字「A」が付された手画像Haと、文字「B」が付された手画像Hbと、操作者認識部21による認識結果を示す手画像Hdとが表示されている。手画像Haで示される手形状は、A群の操作ボタンA1,A2と対応付けられており、手画像Hbで示される手形状は、B群の操作ボタンB1,B2と対応付けられている。図4の例では、左手OPLの認識形状は、手画像Hbの形状パターンに合致すると認識されている。また、ガイド画像G1には、円弧状の案内線Taと、この案内線Taに沿って時計回りで左手を動かすことを促す光点Pgも表示されている。操作者OPは、このガイド画像G1に従って、光点Pgの動きと同期するように自己の左手OPLを動かすことができる。
FIG. 4 is a diagram schematically showing an example of the guide image after the state shown in FIG. As shown in FIG. 4, when the operator OP places the left hand OPL within the detection range of the
なお、ガイド画像は、図4のガイド画像G1に限定されるものではない。たとえば、図5に示されるように、矩形状の案内線Tbに沿って左手OPLを動かすことを促すガイド画像G2も考えられる。 The guide image is not limited to the guide image G1 in FIG. For example, as shown in FIG. 5, a guide image G2 that prompts the user to move the left hand OPL along the rectangular guide line Tb is also conceivable.
上記ステップST14の後、インタロック制御部24は、操作者OPの特定部位の認識形状が、ガイド画像に表示された特定部位の形状パターン(以下「表示形状パターン」とも呼ぶ。)と合致し、且つ、操作者OPの特定部位の動作が、ガイド画像に表示された動作パターン(以下「表示動作パターン」とも呼ぶ。)と合致しているか否かを判定する(ステップST15)。その特定部位の認識形状が表示形状パターンと合致し、且つ、その特定部位の動作が表示動作パターンと合致すると判定されたとき(ステップST15のYES)、インタロック制御部24は、その判定結果に応じてタイマのカウントを開始させる(ステップST16)。
After step ST14, the
その後、インタロック制御部24は、その特定部位の認識形状が表示形状パターンと合致し、且つ、その特定部位の動作が表示動作パターンと合致する状態が設定時間T1経過するまで待機している(ステップST19のNO)。その特定部位の認識形状が表示形状パターンと合致しない状態、または、その特定部位の動作が表示動作パターンと合致しない状態のいずれか一方が生ずると(ステップST17のNO)、インタロック制御部24は、タイマのカウント値をリセットして(ステップST18)、ステップST17の判定処理を続行させる(ステップST18)。
Thereafter, the
一方、操作者OPの特定部位の認識形状が表示形状パターンと合致し、且つ、操作者OPの特定部位の動作が表示動作パターンと合致する状態が設定時間T1経過すると(ステップST17のYES、及びステップST19のYES)、インタロック制御部24は、インタロック状態を解除する(ステップST20)。その後、インタロック状態の解除は、操作者OPの特定部位の認識形状が表示形状パターンと合致し、且つ、操作者OPの特定部位の動作が表示動作パターンと合致している間(ステップST21のYES)、継続する。
On the other hand, when the set time T1 elapses when the recognized shape of the specific part of the operator OP matches the display shape pattern and the action of the specific part of the operator OP matches the display operation pattern (YES in step ST17, and The
操作者OPの特定部位の認識形状が表示形状パターンと合致しない状態、または、操作者OPの特定部位の動作が表示動作パターンと合致しない状態のいずれか一方が生ずると(ステップST21のNO)、インタロック制御部24は、インタロック状態を再度設定する(ステップST22)。動作認識部22は、そのインタロック状態の再設定を検知すると、動作パターン認識処理を終了する(ステップST23)。
When either one of the state where the recognized shape of the specific part of the operator OP does not match the display shape pattern or the state where the operation of the specific part of the operator OP does not match the display operation pattern occurs (NO in step ST21). The
図6は、図4に示した状態の後にインタロック状態が解除された時の表示装置12の表示画面を示す図である。図6に示されるように、表示画面12Sには、「B群のボタンが有効です」とのメッセージMsg1が表示され、B群の操作ボタンB1,B2を選択する操作が有効となっている。操作者OPは、左手OPLの形状、左手OPLの軌跡及びその移動周期の組み合わせが手画像Hbの形状パターン及び表示動作パターンと合致している間、右手OPRでポインティング・デバイス11Mを操作して操作ボタンB1,B2をクリックして選択することができる。なお、操作者OPは、左手OPLの形状を図4の手画像Haの形状パターンと合致させ、且つ、左手OPLの軌跡及びその移動周期を表示動作パターンと合致させることで、A群の操作ボタンA1,A2を選択する操作が有効となる。
FIG. 6 is a diagram showing a display screen of the
次に、上記した実施の形態1の情報処理装置10Aの効果について説明する。上記したように実施の形態1の情報処理装置10Aでは、操作者OPの身体部位の認識(図2のステップST12のYES)をトリガとして動作パターンが表示される(ステップST13)。操作者OPは、この表示動作パターンに従って自己の身体部位を動かすことでインタロック状態を解除させることができる(ステップST20)。したがって、操作者OPはインタロック状態の解除操作を簡便に行うことができ、且つ、その解除操作を表示動作パターンに従って意識的に行うことから、誤操作によりインタロック状態が解除されることを効果的に防止することができる。また、操作者OPの身体部位を使う動作は目立つことから、操作違反を抑制することもできる。
Next, the effect of the
また、インタロック制御部24は、インタロック状態を解除した後でも、操作者OPの身体部位の認識形状が表示形状パターンと合致しない状態、または、操作者OPの身体部位の動作が表示動作パターンと合致しない状態のいずれか一方が生じたときは(ステップST21のNO)、インタロック状態を再度設定する(ステップST22)。このため、操作者OPは、インタロック状態の解除により有効化された操作を行うためには、表示動作パターンに従って自己の身体部位を常に動かし続ける必要がある。したがって、操作者OPは、秘密裏に操作違反を起こすことが難しい。たとえば、従来は、インタロック状態の解除のための操作ボタンに物を置いた状態で、あるいは、インタロック状態の解除のために肘と掌とで2個の操作ボタンを同時に押した状態で操作違反を行うことができた。これに対し、本実施の形態の情報処理装置10Aでは、操作者OPは、自己の身体部位を動かさずに操作違反を行うことができないので、操作違反を抑制することができる。
Further, the
また、図4に例示したように、操作者認識部21は、操作者OPの身体の特定部位の形状を識別することができる。動作認識部22は、当該形状を有する特定部位の動作パターンを認識している。このため、身体部位の形状と動作パターンとの組み合わせにより、インタロック状態の解除パターンを多数作り出すことができる。
Further, as illustrated in FIG. 4, the
なお、図2のステップST15でNOの場合、処理は進行しないが、これに限定されるものではない。たとえば、その特定部位の動作が表示動作パターンと合致しない状態が一定時間継続した場合にはステップST12に処理が戻るように制御内容を変更してもよい。また、カウント値のリセット(ステップST18)の繰り返し回数が所定回数を超えた場合にもステップST12に処理が戻るように制御内容を変更してもよい。更に、ステップST12に処理が戻る場合には、操作者認識部21が認識した特定部位に関する情報が消去されてもよい。
In the case of NO in step ST15 of FIG. 2, the process does not proceed, but is not limited to this. For example, the control content may be changed so that the process returns to step ST12 when a state where the operation of the specific part does not match the display operation pattern continues for a certain period of time. Further, the control content may be changed so that the process returns to step ST12 even when the number of times of resetting the count value (step ST18) exceeds a predetermined number. Furthermore, when the process returns to step ST12, the information on the specific part recognized by the
実施の形態2.
次に、本発明の実施の形態2について説明する。図7は、実施の形態2の機器制御システム2の概略構成を示す機能ブロック図である。図1及び図7に示した構成要素のうち、同一符号を付された構成要素は、同一構成及び同一機能を有するものとする。
Next, a second embodiment of the present invention will be described. FIG. 7 is a functional block diagram illustrating a schematic configuration of the
図7に示されるように、機器制御システム2は、上記機器制御システム1と同様に、通信ライン40を介して被制御機器411,…,41Nと接続されている。この機器制御システム2は、被制御機器411,…,41Nの動作を個別に監視し且つ制御できるように構成され、計装制御システム及びFA制御システムとして利用可能なものである。As shown in FIG. 7, the
また、機器制御システム2は、情報処理装置10B、操作入力部11、タッチパネル12T付きの表示装置12及びセンサデバイス13を備えている。情報処理装置10Bは、動き判定部20Bを除いて、実施の形態1の情報処理装置10Aと同じ構成を有する。
The
動き判定部20Bは、図7に示されるように、操作検知部26、操作者認識部21、動作認識部22、動作指示部23B及びインタロック制御部24を有している。動き判定部20Bの構成は、操作検知部26及び動作指示部23Bを除いて、実施の形態1の動き判定部20Aの構成と同じである。
As shown in FIG. 7, the motion determination unit 20 </ b> B includes an
操作検知部26は、操作入力部11またはタッチパネル12Tで行われた、インタロック制御を開始させる操作を検知する。この操作の検知に応じて、動作指示部23Bは、パターン記憶部25に記憶されている動作パターンを示すガイド画像を表示装置12に表示させる。
The
図8は、実施の形態2に係るインターロック制御の処理手順の一例を概略的に示すフローチャートである。図8を参照すると、操作検知部26は、操作入力部11またはタッチパネル12Tで特定の操作が行われるまで待機している(ステップST9のNO)。操作検知部26が特定の操作を検知すると(ステップST9のYES)、動作指示部23Bは、パターン記憶部25に記憶されている動作パターンを示すガイド画像の表示を開始する(ステップST10)。
FIG. 8 is a flowchart schematically showing an example of the processing procedure of the interlock control according to the second embodiment. Referring to FIG. 8, the
続いて、操作者認識部21は、操作者認識処理を開始する(ステップST11)。すなわち、操作者認識部21は、センサデバイス13の検出出力をリアルタイムに監視し、この検出出力に基づいて操作者OPの身体の特定部位及びこの特定部位の形状を認識することを試みる。操作者認識部21が身体の特定部位を認識しないとき(ステップST12のNO)、次のステップには進行しない。操作者認識部21が操作者OPの身体の特定部位を認識したとき(ステップST12のYES)、動作認識部22は、操作者認識部21で認識された特定部位の動作を認識するための動作パターン認識処理を開始する(ステップST14)。ステップST14〜ST23は、図2に示したステップST14〜ST23と同じであるので、それらの詳細な説明を省略する。
Subsequently, the
図9は、特定の操作に応じて表示画面12Sに表示されたガイド画像G3の一例を概略的に示す図である。図9に示されるように、表示画面12Sには、被制御機器411,…,41Nのいずれかの電源を投入するための電源ボタンBnが表示されている。この電源ボタンBnを選択する操作は、インタロック制御部24によって無効化されている。操作者OPがポインティング・デバイス11Mを操作してマウスカーソルCrを電源ボタンBnの上に置いた状態でポインティング・デバイス11Mのボタンを押下する操作を行うと、この操作に応じて、動作指示部23Bは、図9のガイド画像G3を表示画面12Sに表示させる(ステップST10)。このガイド画像G3には、円弧状の案内線Tcと、この案内線Tcに沿って時計回りで左手を動かすことを促す光点Pgも表示されている。操作者OPは、このガイド画像G3に従って、光点Pgの動きと同期するように自己の左手OPLを動かすことができる。FIG. 9 is a diagram schematically illustrating an example of the guide image G3 displayed on the
図10は、図9に示した状態の後にインタロック状態が解除された時の表示装置12の表示画面を示す図である。図10に示されるように、操作者OPは、左手OPLの形状、左手OPLの軌跡及びその移動周期の組み合わせが表示動作パターンと合致している間、ポインティング・デバイス11Mを操作してマウスカーソルCrを電源ボタンBn上に移動させ、電源ボタンBnをクリックすることができる。この結果、表示画面12Sには、「電源をONにしました。」とのメッセージMsg2が表示される。
FIG. 10 is a diagram showing a display screen of the
以上に説明したように実施の形態2の情報処理装置10Bでは、操作者OPは、操作入力部11またはタッチパネル12Tを操作してインタロック制御処理を簡単に開始させることができる。したがって、ユーザの操作負担が少ない情報処理装置10Bを提供することができる。
As described above, in the
また、上記実施の形態1,2の情報処理装置10A,10Bの主な機能は、ハードウェア構成に限らず、コンピュータ読み取り可能なソフトウェア・プログラムで実現することもできる。図11は、ソフトウェア・プログラムで実現される場合の情報処理装置10A,10Bの構成を概略的に示す機能ブロック図である。図11の情報処理装置50は、CPUを含むプロセッサ51、RAM(random access memory)52、不揮発性メモリ53、記録媒体54及び入出力インタフェース55を備えている。これら構成要素は、バス56を介して相互に接続される。入出力インタフェース55は、図1及び図7に示した入出力インタフェース部30に相当し、記録媒体54は、図1及び図7に示したパターン記憶部25に相当する。記録媒体54としては、たとえば、ハードディスク(磁気ディスク)、光ディスクまたはフラッシュメモリが挙げられる。プロセッサ61は、不揮発性メモリ53または記録媒体54からソフトウェア・プログラムをロードし、このソフトウェア・プログラムに従って動作することにより、上記したシステム制御部31及び動き判定部20A,20Bの機能を実現することができる。
The main functions of the
以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これら実施の形態は本発明の例示であり、これら実施の形態以外の様々な形態を採用することができる。 Although various embodiments according to the present invention have been described above with reference to the drawings, these embodiments are examples of the present invention, and various forms other than these embodiments can be adopted.
なお、本発明の範囲内において、上記実施の形態1,2の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。 Within the scope of the present invention, the above-described first and second embodiments can be freely combined, any component of each embodiment can be modified, or any component of each embodiment can be omitted.
本発明に係る情報処理装置及びインタロック制御方法は、上述したように計装制御システム及びFA制御システムなどの機器制御システムに用いるのに好適である。 The information processing apparatus and the interlock control method according to the present invention are suitable for use in an instrument control system such as an instrumentation control system and an FA control system as described above.
1,2 機器制御システム、 10A,10B 情報処理装置、 11 操作入力部、 11M ポインティング・デバイス、 12 表示装置、 12T タッチパネル、 12S 表示画面、 13 センサデバイス、 13A 撮像部、 13B 検出波照射部、 13C 反射波受信部、 13P 演算部、 20A,20B 動き判定部、 21 操作者認識部、 22 動作認識部、 23A,23B 動作指示部、 24 インタロック制御部、 25 パターン記憶部、 26 操作検知部、 30 入出力インタフェース部、 31 システム制御部、 32 通信制御部、 40 通信ライン、 411,…,41N 被制御機器。1, 2 device control system, 10A, 10B information processing device, 11 operation input unit, 11M pointing device, 12 display device, 12T touch panel, 12S display screen, 13 sensor device, 13A imaging unit, 13B detection wave irradiation unit, 13C Reflected wave receiving unit, 13P calculating unit, 20A, 20B motion determining unit, 21 operator recognizing unit, 22 motion recognizing unit, 23A, 23B operation instructing unit, 24 interlock control unit, 25 pattern storage unit, 26 operation detecting unit, 30 I / O interface unit, 31 system control unit, 32 communication control unit, 40 communication line, 41 1 ,..., 41 N controlled device.
Claims (11)
当該情報処理装置の動作状態を、前記操作入力部への操作入力を無効にするインタロック状態に設定するインタロック制御部と、
人体の特定の動作パターンを示すガイド画像を前記表示装置に表示させることにより前記操作者に対して動作を指示する動作指示部と、
前記センサデバイスの検出出力に基づいて、前記操作者の身体の特定部位を認識する操作者認識部と、
当該認識された特定部位の動作を認識する動作認識部と
を備え、
前記インタロック制御部は、前記動作認識部により認識された動作が前記特定の動作パターンと合致するときに前記インタロック状態を解除し、当該認識された動作が前記特定の動作パターンと合致している間だけ前記インタロック状態の解除を継続させる、
ことを特徴とする情報処理装置。 An information processing device connected to a sensor device for spatially detecting an operator's body, an operation input unit, and a display device,
An interlock control unit that sets an operation state of the information processing apparatus to an interlock state that disables an operation input to the operation input unit;
An operation instruction unit for instructing the operator to perform an operation by causing the display device to display a guide image indicating a specific operation pattern of the human body;
Based on the detection output of the sensor device, an operator recognition unit that recognizes a specific part of the operator's body;
An action recognition unit for recognizing the action of the recognized specific part,
The interlock control unit releases the interlock state when recognized operation by the operation recognition portion matches with the specific operation pattern, and the recognized operation is consistent with the specific operation pattern The release of the interlock state is continued only while
An information processing apparatus characterized by that.
前記操作者認識部は、前記センサデバイスの検出出力に基づいて前記特定部位の形状を認識し、
前記動作認識部は、当該認識された形状を有する特定部位の動作を認識し、
前記インタロック制御部は、前記操作者認識部により認識された形状が特定の形状パターンと合致し、且つ、前記動作認識部により認識された動作が前記特定の動作パターンと合致するときに前記インタロック状態を解除する、
ことを特徴とする情報処理装置。 The information processing apparatus according to claim 1,
The operator recognition unit recognizes the shape of the specific part based on the detection output of the sensor device,
The motion recognition unit recognizes the motion of a specific part having the recognized shape,
The interlock control unit is configured to detect the interface when the shape recognized by the operator recognition unit matches a specific shape pattern, and when the motion recognized by the motion recognition unit matches the specific motion pattern. To release the lock,
An information processing apparatus characterized by that.
インタロック制御プログラムが格納されているメモリと、
前記メモリから読み出されたインタロック制御プログラムに従って動作するプロセッサと
を備え、
前記インタロック制御プログラムは、
前記情報処理装置の動作状態を、前記操作入力部への特定の操作入力を無効にするインタロック状態に設定するステップと、
人体の特定の動作パターンを示すガイド画像を前記表示装置に表示させることにより前記操作者に対して動作を指示するステップと、
前記センサデバイスの検出出力に基づいて、前記操作者の身体の特定部位を認識するステップと、
当該認識された特定部位の動作を認識するステップと、
当該認識された動作が前記特定の動作パターンと合致するときに、前記インタロック状態を解除するステップと、
当該認識された動作が前記特定の動作パターンと合致している間だけ前記インタロック状態の解除を継続させるステップと
を前記プロセッサに実行させることを特徴とする情報処理装置。 An information processing device connected to a sensor device for spatially detecting an operator's body, an operation input unit, and a display device,
A memory storing an interlock control program; and
A processor that operates according to an interlock control program read from the memory,
The interlock control program is
Setting the operation state of the information processing apparatus to an interlock state that disables a specific operation input to the operation input unit;
Instructing the operator to perform an operation by displaying a guide image indicating a specific movement pattern of the human body on the display device;
Recognizing a specific part of the operator's body based on the detection output of the sensor device;
Recognizing the movement of the recognized specific part;
Releasing the interlock state when the recognized motion matches the specific motion pattern ;
An information processing apparatus that causes the processor to execute the step of continuing to release the interlock state only while the recognized operation matches the specific operation pattern .
前記情報処理装置の動作状態を、前記操作入力部への特定の操作入力を無効にするインタロック状態に設定するステップと、
人体の特定の動作パターンを示すガイド画像を前記表示装置に表示させることにより前記操作者に対して動作を指示するステップと、
前記センサデバイスの検出出力に基づいて、前記操作者の身体の特定部位を認識するステップと、
当該認識された特定部位の動作を認識するステップと、
当該認識された動作が前記特定の動作パターンと合致するときに、前記インタロック状態を解除するステップと、
当該認識された動作が前記特定の動作パターンと合致している間だけ前記インタロック状態の解除を継続させるステップと
を備えることを特徴とするインタロック制御方法。 An interlock control method performed in an information processing device connected to a sensor device for spatially detecting an operator's body, an operation input unit, and a display device,
Setting the operation state of the information processing apparatus to an interlock state that disables a specific operation input to the operation input unit;
Instructing the operator to perform an operation by displaying a guide image indicating a specific movement pattern of the human body on the display device;
Recognizing a specific part of the operator's body based on the detection output of the sensor device;
Recognizing the movement of the recognized specific part;
Releasing the interlock state when the recognized motion matches the specific motion pattern ;
An interlock control method comprising: continuing the release of the interlock state only while the recognized motion matches the specific motion pattern .
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/064493 WO2016185586A1 (en) | 2015-05-20 | 2015-05-20 | Information processing device and interlock control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016185586A1 JPWO2016185586A1 (en) | 2017-08-10 |
JP6293372B2 true JP6293372B2 (en) | 2018-03-14 |
Family
ID=57319551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017518688A Active JP6293372B2 (en) | 2015-05-20 | 2015-05-20 | Information processing apparatus and interlock control method |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6293372B2 (en) |
CN (1) | CN107533359B (en) |
WO (1) | WO2016185586A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190004505A1 (en) * | 2017-06-28 | 2019-01-03 | Fisher-Rosemount Systems, Inc. | Interlock chain visualization |
CN110942055A (en) * | 2019-12-31 | 2020-03-31 | 北京市商汤科技开发有限公司 | State identification method, device and equipment for display area and storage medium |
WO2024013821A1 (en) * | 2022-07-11 | 2024-01-18 | ファナック株式会社 | Input control device and storage medium |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AT10676U1 (en) * | 2008-07-21 | 2009-08-15 | Keba Ag | METHOD FOR OPERATING A MOBILE HAND CONTROL DEVICE FOR DISTRIBUTING OR RELEASING POTENTIALLY DANGEROUS CONTROL COMMANDS AND CORRESPONDING HAND CONTROL DEVICE |
KR20100048090A (en) * | 2008-10-30 | 2010-05-11 | 삼성전자주식회사 | Interface apparatus for generating control command by touch and motion, interface system including the interface apparatus, and interface method using the same |
CN102246268A (en) * | 2008-12-15 | 2011-11-16 | 东京毅力科创株式会社 | System for processing of substrate, method of processing of substrate, and storage medium that stores program |
JP5256109B2 (en) * | 2009-04-23 | 2013-08-07 | 株式会社日立製作所 | Display device |
US9377857B2 (en) * | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
JP5013548B2 (en) * | 2009-07-16 | 2012-08-29 | ソニーモバイルコミュニケーションズ, エービー | Information terminal, information presentation method of information terminal, and information presentation program |
EP2474950B1 (en) * | 2011-01-05 | 2013-08-21 | Softkinetic Software | Natural gesture based user interface methods and systems |
CN102830891A (en) * | 2011-06-15 | 2012-12-19 | 康佳集团股份有限公司 | Non-contact gesture control equipment and locking and unlocking method thereof |
WO2013018099A2 (en) * | 2011-08-04 | 2013-02-07 | Eyesight Mobile Technologies Ltd. | System and method for interfacing with a device via a 3d display |
KR101262700B1 (en) * | 2011-08-05 | 2013-05-08 | 삼성전자주식회사 | Method for Controlling Electronic Apparatus based on Voice Recognition and Motion Recognition, and Electric Apparatus thereof |
KR101242390B1 (en) * | 2011-12-29 | 2013-03-12 | 인텔 코오퍼레이션 | Method, apparatus and computer-readable recording medium for identifying user |
US9141197B2 (en) * | 2012-04-16 | 2015-09-22 | Qualcomm Incorporated | Interacting with a device using gestures |
CN102722239A (en) * | 2012-05-17 | 2012-10-10 | 上海冠勇信息科技有限公司 | Non-contact control method of mobile device |
CN103425419B (en) * | 2012-05-23 | 2018-01-16 | 联想(北京)有限公司 | Method of controlling operation thereof and electronic equipment |
JP2013257686A (en) * | 2012-06-12 | 2013-12-26 | Sony Corp | Projection type image display apparatus, image projecting method, and computer program |
US9032510B2 (en) * | 2012-09-11 | 2015-05-12 | Sony Corporation | Gesture- and expression-based authentication |
JP5782061B2 (en) * | 2013-03-11 | 2015-09-24 | レノボ・シンガポール・プライベート・リミテッド | Method for recognizing movement of moving object and portable computer |
-
2015
- 2015-05-20 CN CN201580079203.7A patent/CN107533359B/en active Active
- 2015-05-20 JP JP2017518688A patent/JP6293372B2/en active Active
- 2015-05-20 WO PCT/JP2015/064493 patent/WO2016185586A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN107533359B (en) | 2019-04-23 |
CN107533359A (en) | 2018-01-02 |
JPWO2016185586A1 (en) | 2017-08-10 |
WO2016185586A1 (en) | 2016-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11755137B2 (en) | Gesture recognition devices and methods | |
US10052147B2 (en) | Touch free operation of ablator workstation by use of depth sensors | |
US10511778B2 (en) | Method and apparatus for push interaction | |
AU2013200054B2 (en) | Touch free operation of devices by use of depth sensors | |
US9626815B2 (en) | Method for unlocking electronic device, and apparatus therefor | |
US8754745B2 (en) | Method and electronic apparatus for creating biological feature data | |
EP2273345A2 (en) | Movement controlled computer | |
Bi et al. | Predicting finger-touch accuracy based on the dual Gaussian distribution model | |
KR20150002786A (en) | Interacting with a device using gestures | |
KR20150032019A (en) | Method and apparatus for providing user interface by using eye tracking | |
JP6293372B2 (en) | Information processing apparatus and interlock control method | |
US20150033328A1 (en) | Information terminal and execution control method | |
US8543942B1 (en) | Method and system for touch-friendly user interfaces | |
JP2015018413A (en) | Portable terminal, image display method, and program | |
US20180059806A1 (en) | Information processing device, input control method for controlling input to information processing device, and computer-readable storage medium storing program for causing information processing device to perform input control method | |
US20150062038A1 (en) | Electronic device, control method, and computer program product | |
WO2012126193A1 (en) | Method and device for generating image keyboard | |
JP2016115310A (en) | Electronic apparatus | |
TW201626168A (en) | Gesture recognition devices and gesture recognition methods | |
JP5575027B2 (en) | Display-integrated coordinate input device and virtual keyboard function activation method | |
JP4901670B2 (en) | Electronic board system | |
CN107305429A (en) | Method and system for switching display contents among multiple screens | |
Rajanna et al. | Can Gaze Beat Touch? A Fitts' Law Evaluation of Gaze, Touch, and Mouse Inputs | |
US20180239528A1 (en) | Display method, display device, and program | |
KR20170075999A (en) | Device, method, and ultrasound system for providing personalized user interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6293372 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |