JP5629766B2 - Marker detection system, the detection method, a program and a computer-readable medium storing the program - Google Patents

Marker detection system, the detection method, a program and a computer-readable medium storing the program Download PDF

Info

Publication number
JP5629766B2
JP5629766B2 JP2012514678A JP2012514678A JP5629766B2 JP 5629766 B2 JP5629766 B2 JP 5629766B2 JP 2012514678 A JP2012514678 A JP 2012514678A JP 2012514678 A JP2012514678 A JP 2012514678A JP 5629766 B2 JP5629766 B2 JP 5629766B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
marker
operation
switch
markers
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012514678A
Other languages
Japanese (ja)
Other versions
JPWO2011142051A1 (en )
Inventor
聡 味香
聡 味香
Original Assignee
日本システムウエア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Description

本発明は、人のマーカー操作を検出するためのマーカー検出システム、これを用いたマーカー検出方法、プログラム及びコンピュータ可読媒体に関する。 The present invention, marker detection system for detecting a marker human manipulation, marker detection method using the same, a program, and a computer readable medium.

様々な機器のリモコン操作において、従来の機器操作検出システムでは、スイッチ、タッチパネル、光遮断センサー等を用い、何らかの配線を必要としていたが、近年これらをマーカーと画像処理によって代替する技術も普及している。 In remote control operation of the various devices, in the conventional apparatus operation detection system, switches, a touch panel, using a light blocking sensor or the like, but has required some wires, these are also popular alternative technologies by the marker and the image processing in recent years there.

特許文献1では、カメラで撮影した手指の形状および動きを検出することによってスイッチ操作の認識を行う技術が開示されている。 Patent Document 1, a technique for recognizing the switch operation has been disclosed by detecting the shape and motion of the fingers captured by the camera.

一方、特許文献2は、操作者が指示したポイントを画像処理により検出し、検出した箇所にカーソルを表示するという発明を開示している。 On the other hand, Patent Document 2, the point at which the operator has instructed is detected through image processing discloses an invention that displays a cursor on the detected position.

さらに、特許文献3では、特定エリアへの移動物体の存否を検出するために、フレーム差分法に基づき得られた画像データを二値化処理するシステムを開示している。 Further, in Patent Document 3, in order to detect the presence or absence of a moving object to a specific area, discloses a system for binarizing the image data obtained on the basis of the frame difference method.

特開2004−171476 Patent 2004-171476 特開平11−345085 JP-A-11-345085 特開2007−164375 Patent 2007-164375

従来の画像処理による検出システムでは、手指の形状及び動きの個人差や、陰などによる操作の誤認識が懸念される。 The detection system according to a conventional image processing, individual difference and the shape and motion of the fingers, misrecognition of the operation due to shade is concerned. 従って、本発明の課題は、安価かつ精度の高いマーカー検出システム、これを用いたマーカー検出方法及びコンピュータ可読媒体を提供することである。 Accordingly, an object of the present invention is to provide inexpensive and accurate marker detection system, the marker detection method, and a computer-readable medium using the same.

前記課題を解決するために創案された本発明のマーカー検出システムは、少なくとも1つのマーカーセットと、マーカーセットを撮像できる位置に配置された少なくとも1つの撮像装置と、撮像装置と同期して点滅する発光装置とから構成されるマーカー検出システムであって、マーカーセットは、(A)マーカーセットの機能と、マーカーセットにおける基準位置を規定する識別マーカーと、(B)識別マーカーから任意の位置に配置され、人の操作の直接の対象となる複数のスイッチマーカーと、(C)スイッチマーカーとの任意の組み合わせによって同時に隠されることで、人の意志による操作のみの検出を補助する補助マーカーとからなり、(A),(B),(C)の各マーカーには、再帰性反射素材を用い、発光装置でマーカーセ Marker detection system of the present invention was invented in order to solve the above problems, blinks in synchronization with at least one marker set, and at least one imaging device arranged at a position capable of imaging the marker set, the imaging apparatus a marker detection system composed of a light emitting device, the marker set, (a) the function of the marker set, the identification marker for defining the reference position in the marker set, arranged in an arbitrary position from the (B) identification marker is a plurality of switches marker of direct target of the operation of the human consists of a (C) that are hidden simultaneously by any combination of switches markers, auxiliary markers to aid the detection of only the operation by a person's will , (a), (B), each marker (C), using a retro-reflective material, Makase light emitting device トを照射した時の画像と、しない時の画像を交互に出現させる時系列画像を、撮像装置で撮像する手段と、撮像装置へ入力した時系列画像を、フレーム差分法により二値化し、得られた二値画像から変化の大きい部分をマーカーとして検出する、識別マーカーを検出する手段と、識別マーカーとの予め決められた相対位置から、スイッチマーカーと、スイッチマーカーに対応する補助マーカーの操作を、予め設定されたスイッチマーカーおよび補助マーカーの操作パターンサンプルと比較し、認識する操作認識手段と、操作認識手段において判定された結果を出力する手段とからなる。 An image when irradiated with bets, the time-series images that the image to appear alternately when not, means for imaging by the imaging device, the time-series images inputted to the image pickup device, is binarized by a frame difference method, resulting detecting as a marker of large portions of the change from the binary image that is a means for detecting the identification marker, from a predetermined relative position between the identification marker, and switches the marker, an operation of the auxiliary marker that corresponds to the switch marker , compared to the operation pattern sample preset switches markers and auxiliary markers consisting recognizing operation recognition means, and means for outputting the result determined in operation recognition means.

また、補助マーカーをスイッチマーカーを囲むように配置してもよく、多方向からの操作を可能とすることができる。 Further, the auxiliary marker may be arranged so as to surround the switch markers, it is possible to enable operation from multiple directions.

更に、スイッチマーカーには、タッチポイントを認識しやすくするために凹凸を付けてもよい。 Further, the switch markers, may be attached irregularities for easier recognition of the touch point.

また、マーカーセットの操作において、一方のマーカーセットのスイッチマーカーおよびそれに対応する補助マーカーの操作と、種類の異なる他方のマーカーセットのスイッチマーカーおよびそれに対応する補助マーカーの操作を組み合わせることにより、認識される操作選択のパターンを増すことができる。 Further, in the operation of the marker set, by combining operations and auxiliary markers corresponding switches markers and that of one of the marker set, different other operations of the switches markers and auxiliary markers corresponding set of markers, recognized operation selection of patterns can be increased that.

更に、マーカーセットの操作において、スイッチマーカーおよびそれに対応する補助マーカーが隠される比率を追跡することにより、操作を認識することができる。 Further, in the operation of the marker set, by tracking the ratio of the auxiliary marker corresponding to the switch marker and it is hidden, it is possible to recognize the operation.

本発明のマーカー検出方法は、マーカーセットを発光手段により照射し、反射光を撮像して、時系列画像を撮像する撮像段階と、撮像段階により撮像された時系列画像をフレーム差分法により二値画像に変換する二値化処理段階と、二値画像から識別マーカーを検出する識別マーカー検出段階と、検出された識別マーカーよりスイッチマーカーの位置を検出し、二値画像からスイッチマーカーに対する操作が行われたかどうかを、予め設定されたスイッチマーカーおよび補助マーカーの操作パターンサンプルと比較し、判断するスイッチマーカー状態確認段階と、スイッチマーカー状態確認段階でスイッチマーカーの操作が検出された場合には、判定された結果を出力し、スイッチマーカーの操作が検出されない場合には、撮像段階に戻る段 Marker detection method of the present invention irradiates the light emitting means to the marker set, by imaging the reflected light, when the imaging step for capturing an image sequence, the frame difference method time-series images captured by the imaging stage binary a binarization step of converting the image, an identification marker detection step of detecting the identification marker from the binary image, detecting the position of the switch the marker from the detected identification marker, the operation line to the switch markers from the binary image whether cracking, as compared to the operation pattern sample preset switches markers and auxiliary markers, and switches the marker status confirmation step of determining, when the operation of the switch marker is detected in the switch marker status check step, determination outputs the result of the, in the case where the operation of the switch marker is not detected, return to the imaging stage stage とを備える。 Provided with a door.

本発明のプログラムは、上記のマーカー検出方法をコンピュータに実行させるプログラムである。 Program of the present invention is a program for executing the above marker detection method on a computer.

本発明のコンピュータ可読媒体は、上記のプログラムを格納したコンピュータ可読媒体である。 The computer readable medium of the present invention is a computer readable medium that stores the program.

本発明によると、再帰性反射素材を用いた識別マーカー、スイッチマーカーおよび補助マーカーからなるマーカーセットの操作を、赤外線ストロボによる照射を利用した画像処理により、配線を必要としないだけでなく、処理量を大幅に削減できる安価かつ精度の高い各種機器のスイッチ操作が可能となる。 According to the present invention, identification marker with retroreflective material, the operation of the marker set of switches markers and auxiliary markers by image processing using irradiation with infrared strobe, not only does not require wiring, throughput inexpensive and switch operation of the precise various devices can be greatly reduced can be realized.

本発明のマーカー検出システムの実施形態の構成を示す概略図である。 It is a schematic diagram showing the structure of an embodiment of a marker detection system of the present invention. スイッチマーカーと補助マーカーの操作例を示す図である。 Is a diagram illustrating an example of the operation of a switch markers and auxiliary markers. スイッチマーカーと補助マーカーの操作例を示す図である。 Is a diagram illustrating an example of the operation of a switch markers and auxiliary markers. 凹凸を付けたスイッチマーカーの断面図である。 Irregularity is a cross-sectional view of the switch marker with a. 2つのマーカーセットを同時に操作する例を示す図である。 Is a diagram illustrating an example of operation at the same time two marker sets. スイッチマーカーと補助マーカーのスライド操作を検出する図である。 It is a diagram for detecting a sliding operation of the switch markers and auxiliary markers.

添付の図面を参照して、以下に本発明に係るマーカー検出システムの一実施形態について説明する。 With reference to the accompanying drawings, an embodiment of a marker detection system according to the present invention will be described below. なお、本発明においてマーカー検出システムとは、撮像装置から、発光装置を用いて撮像したマーカーセットの時系列画像を取り込み、操作の検出を行うシステムである。 Note that the marker detection system in the present invention, the imaging device captures the time-series images of the marker set was captured using a light emitting device, a system for the detection of the operation. また、各マーカーセットは、マーカーセットの機能とマーカーセットにおける基準位置を規定する識別マーカーと、識別マーカーから任意の位置に配置され、人の操作の直接の対象となる複数のスイッチマーカーと、スイッチマーカーとの任意の組み合わせによって同時に隠されることで、人の意志による操作のみの検出を補助する補助マーカーからなる。 Further, each marker set includes identification marker for defining the reference position in the functional and marker set of marker sets, placed at an arbitrary position from the identification markers, and a plurality of switches marker of direct target of human manipulation, the switch by hidden simultaneously by any combination of the marker, an auxiliary marker for assisting the detection of only the operation by human will.

さらに、本発明における撮像装置は、特に赤外線カメラであり、発光装置は、赤外線ストロボである。 Further, the imaging apparatus of the present invention, in particular an infrared camera, the light emitting device is an infrared flash. 赤外線を用いることにより、外乱光の影響が軽減され、特に暗い場所において目的のマーカーのみを検出することが可能となる。 The use of infrared, influence of disturbance light can be reduced, it is possible to detect only markers of interest, particularly in dark places.

図1は、本発明のマーカー検出システム100の構成を示す概略図であり、図2は、スイッチマーカーと補助マーカーの操作例を示す図であり、図3は、スイッチマーカーと補助マーカーのもう一つの操作例を示す図であり、図4は、凹凸を付けたスイッチマーカーの断面図であり、図5は、2つのマーカーセットを同時に操作する例を示す図であり、図6は、スイッチマーカーと補助マーカーのスライド操作を各マーカーが隠される比率により検出する図である。 Figure 1 is a schematic diagram showing the configuration of a marker detection system 100 of the present invention, FIG. 2 is a diagram illustrating an example of the operation of a switch markers and auxiliary markers, Figure 3, another switch markers and auxiliary markers is a diagram showing the one operation example, FIG. 4 is a sectional view of a switch markers with an uneven, FIG. 5 is a diagram showing an example of operating the two markers simultaneously set, FIG. 6, the switch marker the slide operation of the auxiliary marker is a diagram detected by the ratio of each marker is hidden.

まず、図1を参照して、本発明のマーカー検出システム100について説明する。 First, referring to FIG. 1, it will be described marker detection system 100 of the present invention. マーカーセットは赤外線カメラ1で撮像可能な位置に配置され、赤外線ストロボ2でマーカーセットを照射した時の画像と、マーカーセットを照射しない時の画像を交互に出現させる時系列画像を撮像する。 The marker set is located on the imaging position capable of infrared camera 1 captures an image when irradiated with marker set in the infrared flash 2, the time-series images that appear alternately an image when not irradiated with marker set. 赤外線カメラ1から時系列画像入力部10へ入力された時系列画像は、二値画像処理部20においてフレーム差分法により二値化され、得られた二値画像から変化の大きい部分をマーカーとして検出する。 Time-series images that are input to the time-series image input unit 10 from the infrared camera 1 is binarized by the frame difference method in the binary image processing section 20, it detects a large portion of the change from the obtained binary image as a marker to. この際、まず識別マーカー検出部30によりマーカーセットの特徴を規定する識別マーカーが検出される。 At this time, first identification marker that defines the characteristics of the marker set by the identification marker detection unit 30 is detected. 次に、スイッチマーカー及び補助マーカー検出部40にて識別マーカーとの予め決められた相対位置から、それぞれのスイッチマーカー及び補助マーカーが見えているかどうか確認する。 Then, from a predetermined relative position between the identification marker in switches markers and auxiliary marker detection unit 40, the respective switches markers and auxiliary markers to confirm whether visible. その後、操作認識部50において、検出されたスイッチマーカーと補助マーカーの操作を、予め設定されたスイッチマーカーおよび補助マーカーの操作パターンサンプルと比較し、操作を認識する。 Thereafter, the operation recognition section 50, the operation of the detected switch markers and auxiliary markers, compared to the operation pattern sample preset switches markers and auxiliary markers, recognizes the operation. 該操作が操作パターンサンプルと一致していれば、コマンド発行・出力部60にて、判定されたコマンドを出力し、一致しなければ時系列画像入力部10に戻り、工程が繰り返される。 If they match with the manipulation operation pattern sample, by the command issuance and output unit 60, and outputs the determined commands, back to the time-series image input unit 10 to be matched, the process is repeated.

以上の機能要素のうち、時系列画像のフレーム差分法による二値化処理技術は、特許文献3等で公知であるため、これらの詳細な説明は省略する。 Or more of the functional elements, the time-series image binarization processing technique by a frame difference method are the known in the patent document 3, etc., these will not be described in detail.

また、識別マーカー、スイッチマーカー、補助マーカーを含む各マーカーを、公知の再帰性反射素材を用いて作成することにより、比較的弱い赤外線ストロボでも操作検出が可能となる。 The identification markers, switch markers, each marker comprising an auxiliary marker, by prepared using known retroreflective material, it becomes possible to operate detected by relatively weak infrared flash. 赤外線ストロボ2により照射された、再帰性反射素材を用いた各マーカーは、入射角と概ね同じ方向に反射し、赤外線カメラ1と同期して点滅した部分として検出されるが、太陽光などの外乱光源は常時画像又は同期しない画像部分となる。 Irradiated by the infrared strobe 2, each marker using the retroreflective material is reflected generally in the same direction as the angle of incidence, it is detected as flashing portion in synchronization with the infrared camera 1, a disturbance such as sunlight light source is always the image or does not synchronize with the image portion.

以上、本発明のマーカー検出システム100の機能を説明した。 Above, it explains the function of the marker detection system 100 of the present invention. 次に、マーカーセットの配置例および操作例を説明する。 Next, the arrangement example and operation example of marker set.

図2のスイッチマーカーと補助マーカーの操作例を示す図では、スイッチマーカーとそれに対応する補助マーカーがそれぞれA〜Cまで配置され、操作者がBのスイッチマーカーを選択した場合を表している。 In the diagram illustrating an example of the operation of a switch markers and auxiliary markers of FIG. 2, the auxiliary marker and the corresponding switch markers are disposed to the respective A through C, it represents the case where the operator selects the switch marker B. この時、補助マーカーBも同時に隠されることにより、操作が意図的になされたものと判断できる。 At this time, by the auxiliary marker B is also hidden simultaneously, it can be determined that the operation is intentionally performed. 例えば、スイッチマーカーBが隠されていても、補助マーカーA又はCが同時に隠されていたり、あるいは補助マーカーが全く隠されていない場合は、マーカーBが選択されたと判断されない。 For example, even if a hidden switch marker B, or hidden auxiliary marker A or C is simultaneously or when the auxiliary marker is not at all hidden, not determined that the marker B is selected.

図3に示すスイッチマーカーと補助マーカーのもう一つの操作例においては、スイッチマーカーが補助マーカーで囲まれており、例えばテーブルの上などにマーカーセットが配置された際に、多方向からの操作が可能となる。 In another example of operation switches markers and an auxiliary marker shown in FIG. 3, the switch marker is surrounded by the auxiliary marker, for example, when the marker set, etc. on the table is arranged, the operation from multiple directions It can become.

図4に示すスイッチマーカーに凹凸を付けた例では、このように配置することによって、スイッチマーカーの中心部を認識しやすくなり、個人差による操作の誤認識を防ぐことが出来る。 In the example with the uneven switch marker shown in FIG. 4, by arranging like this, it becomes easy to recognize the center of the switch markers, it is possible to prevent erroneous recognition of the operation by the individual differences. 例えば、図3のようにスイッチマーカーを補助マーカーで囲んで配置した場合には、スイッチマーカーが平面であると、意識的な操作であっても、指先がスイッチマーカーを超えて補助マーカーに掛かりやすく、操作が認識されない可能性があるが、凹凸があれば、指先を乗せるべき場所が認識しやすく誤認識の確率が軽減される。 For example, when placed surrounding the switch marker auxiliary markers as in Figure 3, the switch marker is planar, even conscious operation, fingertip easily takes the auxiliary marker beyond the switch marker , there is a possibility that the operation is not recognized, if there is unevenness, the probability of incorrect recognition where to place the finger tip easily recognize can be reduced.

図5の2つのマーカーセットを同時に操作する例では、複数のマーカーセットを配置することにより、マーカーセットAで機能を選択した後、さらにマーカーセットBで別の機能を選択することが可能である。 In the example operating simultaneously two marker sets of Figure 5, by arranging a plurality of markers set, after selecting the function in marker set A, it is possible to select another function further marker set B . この結果、操作選択のパターンを増やすことができる。 As a result, it is possible to increase the pattern of operation selected. 例えば、マーカーセットAでテレビやステレオ等の機器を選択した後、マーカーセットBでチャンネル変更等のさらに細かい機能を選択できる。 For example, after selecting a device such as a television or stereo marker set A, it can be selected even finer features such as channel change in marker set B.

図6に示すスイッチマーカーと補助マーカーのスライド操作を検出する図では、各マーカーが隠される比率を追跡することにより操作を検出する。 In the drawing for detecting a sliding operation of the switch marker and an auxiliary marker shown in FIG. 6, detects an operation by tracking the ratio of each marker is hidden. この場合、スイッチマーカー及び補助マーカーが初めに隠された時点からの履歴を基に、予め設定された変化パターンと比較し、操作認識が行われる。 In this case, based on the history from the time the switch markers and auxiliary markers hidden initially compared with a preset variation pattern, the operation recognition is performed. 図6では、スイッチマーカーとそれに対応する補助マーカーA〜Dが順に隠されることにより、例えば、オーディオ機器のボリュームなどの機能を変化させることが可能となる。 In Figure 6, the auxiliary marker A~D and the corresponding switch marker is hidden in order, for example, it is possible to alter the function, such as audio equipment volume.

さらに、それぞれのマーカーセットは、常に隠されない識別マーカーの形状によって機能が検出されるため、赤外線カメラ1と赤外線ストロボ2によって規定以上の解像度で撮像可能な範囲にある限り、可動部に設置することが可能である。 Further, each of the marker sets, since the function by always hidden not the shape of the identification marker is detected, as long as the imageable range defined higher resolution by the infrared camera 1 and an infrared strobe 2, be placed on the movable portion it is possible.

以上、本発明を図面に示した実施形態を用いて説明したが、これらは例示的なものに過ぎず、本技術分野の当業者ならば、本発明の範囲および趣旨から逸脱しない範囲で多様な変更および変形が可能である。 Although the present invention has been described with reference to embodiments shown in the drawings, these are merely exemplary, one of ordinary skill in the art, a variety without departing from the scope and spirit of the present invention it is possible to change and variations. したがって、本発明の範囲は、説明された実施形態によって定められず、特許請求の範囲に記載された技術的趣旨により定められねばならない。 Accordingly, the scope of the present invention is not defined by the described embodiments must be defined by the technical spirit described in the claims.

1 赤外線カメラ2 赤外線ストロボ10 時系列画像入力部20 二値画像処理部30 識別マーカー検出部40 スイッチマーカーおよび補助マーカー検出部50 操作確認識部60 コマンド発行・出力部100 マーカー検出システム 1 infrared camera 2 IR strobe 10 time series image input unit 20 the binary image processing unit 30 identifies the marker detecting section 40 switches the marker and the auxiliary marker detection unit 50 operation confirmation 識部 60 command issuing and output unit 100 marker detection system

Claims (8)

  1. 少なくとも1つのマーカーセットと、前記マーカーセットを撮像できる位置に配置された少なくとも1つの撮像装置と、前記撮像装置と同期して点滅する発光装置と、から構成されるマーカー検出システムであって、 At least one marker set, said at least one imaging device marker set is arranged at a position capable of imaging, a marker detection system composed of a light emitting device, a flashing synchronously with the imaging device,
    前記マーカーセットは、 The marker set,
    (A)前記マーカーセットの機能と、前記マーカーセットにおける基準位置を規定する識別マーカーと、 (A) the function of the marker set, the identification marker for defining the reference position in the marker set,
    (B)前記識別マーカーから任意の位置に配置され、人の操作の直接の対象となる複数のスイッチマーカーと、 (B) the placed at any position from the identification marker, and a plurality of switches marker of direct target of human manipulation,
    (C)前記スイッチマーカーとの任意の組み合わせによって同時に隠されることで、人の意志による操作のみの検出を補助する補助マーカーと、 (C) said that the hidden simultaneously by any combination of switches marker, an auxiliary marker for assisting the detection of only the operation by a person's will,
    からなり、 It consists of,
    (A),(B),(C)の各マーカーには、再帰性反射素材を用い、 (A), (B), each marker (C), using a retro-reflective material,
    前記発光装置で前記マーカーセットを照射した時の画像と、前記発光装置で前記マーカーセットを照射しない時の画像を交互に出現させる時系列画像を、前記撮像装置で撮像する手段と、 An image when irradiated with the marker set in the light emitting device, the time-series images that appear alternately an image when not irradiated with the marker set in the light emitting device, means for imaging by the imaging device,
    前記撮像装置へ入力した前記時系列画像を、フレーム差分法により二値化し、得られた二値画像から変化の大きい部分をマーカーとして検出する、前記識別マーカーを検出する手段と、 The time-series images input to the image sensing device, is binarized by a frame difference method to detect a large portion of the change from the obtained binary image as a marker, it means for detecting the identification markers,
    前記識別マーカーとの予め決められた相対位置から、前記スイッチマーカーと、前記スイッチマーカーに対応する前記補助マーカーの操作を、予め設定されたスイッチマーカーおよび補助マーカーの操作パターンサンプルと比較し、認識する操作認識手段と、 From a predetermined relative position of the identification marker, compared with the switch markers, the operation of the auxiliary marker corresponding to the switch markers, an operation pattern sample preset switches markers and auxiliary markers recognize and the operation recognition means,
    前記操作認識手段において判定された結果を出力する手段と、 It means for outputting a result determined in the operation recognition means,
    からなることを特徴とするマーカー検出システム。 Marker detection system characterized in that it consists of.
  2. 前記補助マーカーは、前記スイッチマーカーを囲むように配置され、多方向からの操作を可能としたことを特徴とする請求項1に記載のマーカー検出システム。 The auxiliary marker, marker detection system according to claim 1, characterized in that said arranged so as to surround the switch markers, allowed the operation from multiple directions.
  3. 前記スイッチマーカーには、タッチポイントを認識しやすくするために凹凸を付けたことを特徴とする請求項1または請求項2の何れか1項に記載のマーカー検出システム。 Wherein the switch markers, marker detection system according to any one of claims 1 or claim 2, characterized in that with the irregularities for easier recognition of the touch point.
  4. 前記マーカーセットの操作において、 In the operation of the marker set,
    一方のマーカーセットのスイッチマーカーおよび前記スイッチマーカーに対応する補助マーカーの操作と、種類の異なる他方のマーカーセットのスイッチマーカーおよび前記スイッチマーカーに対応する補助マーカーの操作を組み合わせることにより、認識される操作選択のパターンが増すことを特徴とする請求項1乃至請求項3の何れか1項に記載のマーカー検出システム。 Operation and auxiliary markers corresponding to the switch marker and said switch markers of one marker set, by combining the operation of the corresponding auxiliary marker switch marker and said switch markers different other marker sets, recognized operated marker detection system according to any one of claims 1 to 3, characterized in that the selection of the pattern increases.
  5. 前記マーカーセットの操作において、 In the operation of the marker set,
    前記スイッチマーカーおよびそれに対応する前記補助マーカーが隠される比率を追跡することにより、操作を認識することを特徴とする請求項1乃至請求項3の何れか1項に記載のマーカー検出システム。 It said switch marker and said by tracking the ratio of the auxiliary marker is hidden, marker detection system according to any one of claims 1 to 3, characterized in that to recognize the operation corresponding thereto.
  6. 少なくとも1つのマーカーセットであり、(A)前記マーカーセットの機能と、前記マーカーセットにおける基準位置を規定する識別マーカーと、(B)前記識別マーカーから任意の位置に配置され、人の操作の直接の対象となる複数のスイッチマーカーと、(C)前記スイッチマーカーとの任意の組み合わせによって同時に隠されることで、人の意志による操作のみの検出を補助する補助マーカーと、からなり、(A)、(B)、(C)の各マーカーには、再帰性反射素材を用いる前記マーカーセットに対し、発光手段により照射し、前記マーカーセットからの反射光を撮像して、時系列画像を撮像する撮像段階と、 At least one marker set, (A) the function of the marker set, the identification marker for defining the reference position in the marker set, is arranged in an arbitrary position from the (B) the identification marker, direct human manipulation a plurality of switches marker of the subject, (C) by concealed simultaneously by any combination of the switches marker, an auxiliary marker for assisting the detection of only the operation by a person's will consist, (a), (B), each marker (C), imaging with respect to the marker set using retro-reflective material is irradiated by the light emitting means, for imaging a by imaging, time-series images of reflected light from the marker set and the stage,
    前記撮像段階により撮像された時系列画像をフレーム差分法により二値画像に変換する二値化処理段階と、 A binarization step of converting the frame difference method into a binary image time-series images captured by the imaging step,
    前記二値画像から前記識別マーカーを検出する識別マーカー検出段階と、 An identification marker detection step of detecting the identification marker from said binary image,
    検出された前記識別マーカーより前記スイッチマーカーの位置を検出し、前記二値画像から前記スイッチマーカーに対する操作が行われたかどうかを、予め設定されたスイッチマーカーおよび補助マーカーの操作パターンサンプルと比較し、判断するスイッチマーカー状態確認段階と、 Detecting the position of said switch the marker from said detected identification marker, whether the operation for the switch markers from the binary image is performed, compared to the operation pattern sample preset switches markers and auxiliary markers, and the switch marker state confirmation step of determining,
    前記スイッチマーカー状態確認段階で、前記スイッチマーカーの操作が検出された場合には、判定された結果を出力し、前記スイッチマーカーの操作が検出されない場合には、前記撮像段階に戻る段階と、 In the switch marker state check step, if the operation of the switch marker is detected, when outputting the result of the determination, the operation of the switch marker is not detected, the steps of returning to the imaging step,
    を備えることを特徴とするマーカー検出方法。 Marker detection method characterized by comprising a.
  7. 請求項6に記載のマーカー検出方法をコンピュータに実行させるプログラム。 Program for executing the marker detection method according to the computer to claim 6.
  8. 請求項7に記載のプログラムを格納したコンピュータ可読媒体。 Computer readable medium storing a program according to claim 7.
JP2012514678A 2010-05-10 2010-10-29 Marker detection system, the detection method, a program and a computer-readable medium storing the program Active JP5629766B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010107964 2010-05-10
JP2010107964 2010-05-10
PCT/JP2010/069276 WO2011142051A1 (en) 2010-05-10 2010-10-29 Marker detection system, detection method, program and computer-readable medium storing the program
JP2012514678A JP5629766B2 (en) 2010-05-10 2010-10-29 Marker detection system, the detection method, a program and a computer-readable medium storing the program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012514678A JP5629766B2 (en) 2010-05-10 2010-10-29 Marker detection system, the detection method, a program and a computer-readable medium storing the program

Publications (2)

Publication Number Publication Date
JPWO2011142051A1 true JPWO2011142051A1 (en) 2013-07-22
JP5629766B2 true JP5629766B2 (en) 2014-11-26

Family

ID=44914117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012514678A Active JP5629766B2 (en) 2010-05-10 2010-10-29 Marker detection system, the detection method, a program and a computer-readable medium storing the program

Country Status (2)

Country Link
JP (1) JP5629766B2 (en)
WO (1) WO2011142051A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5785876B2 (en) * 2012-01-13 2015-09-30 日本システムウエア株式会社 Switch pressing determining system in the gesture recognition apparatus, method, program, and computer-readable medium storing the program
US9317171B2 (en) * 2013-04-18 2016-04-19 Fuji Xerox Co., Ltd. Systems and methods for implementing and using gesture based user interface widgets with camera input
CN104333412B (en) * 2013-07-22 2017-02-08 深圳光启智能光子技术有限公司 Detection apparatus and method of the optical pulse signal
JP6371115B2 (en) * 2014-05-20 2018-08-08 グリッドマーク株式会社 Content output device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132306A (en) * 1998-10-21 2000-05-12 Sony Corp Device and method for inputting information and game device
US20040113885A1 (en) * 2001-05-31 2004-06-17 Yakup Genc New input devices for augmented reality applications
US7064742B2 (en) * 2001-05-31 2006-06-20 Siemens Corporate Research Inc Input devices using infrared trackers
JP2009245392A (en) * 2008-03-31 2009-10-22 Brother Ind Ltd Head mount display and head mount display system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132306A (en) * 1998-10-21 2000-05-12 Sony Corp Device and method for inputting information and game device
US20040113885A1 (en) * 2001-05-31 2004-06-17 Yakup Genc New input devices for augmented reality applications
US7064742B2 (en) * 2001-05-31 2006-06-20 Siemens Corporate Research Inc Input devices using infrared trackers
JP2009245392A (en) * 2008-03-31 2009-10-22 Brother Ind Ltd Head mount display and head mount display system

Also Published As

Publication number Publication date Type
WO2011142051A1 (en) 2011-11-17 application
JPWO2011142051A1 (en) 2013-07-22 application

Similar Documents

Publication Publication Date Title
US20050244039A1 (en) Methods and apparatus for acquiring a swiped fingerprint image
US20090103780A1 (en) Hand-Gesture Recognition Method
US20100231522A1 (en) Method and apparatus for data entry input
US20090267919A1 (en) Multi-touch position tracking apparatus and interactive system and image processing method using the same
US20110093821A1 (en) Displaying gui elements on natural user interfaces
US20090189858A1 (en) Gesture Identification Using A Structured Light Pattern
US20110221974A1 (en) System and method for hand gesture recognition for remote control of an internet protocol tv
US8180114B2 (en) Gesture recognition interface system with vertical display
US20110090147A1 (en) Touchless pointing device
US20080013826A1 (en) Gesture recognition interface system
US20090066662A1 (en) Method and system for distinguishing multiple touch points
US20120068956A1 (en) Finger-pointing, gesture based human-machine interface for vehicles
US20130257736A1 (en) Gesture sensing apparatus, electronic system having gesture input function, and gesture determining method
WO2011036618A2 (en) Remote control of computer devices
US20120293404A1 (en) Low Cost Embedded Touchless Gesture Sensor
US20150084884A1 (en) Extending the free fingers typing technology and introducing the finger taps language technology
US20090195372A1 (en) Apparatus for extracting operating object and apparatus for projecting operating hand
US20130343601A1 (en) Gesture based human interfaces
JP2005196530A (en) Space input device and space input method
US20120223909A1 (en) 3d interactive input system and method
US20120306815A1 (en) Optical touchpad for touch and gesture recognition
JP2010211399A (en) Information processor, threshold setting method, and its program
US6829502B2 (en) Brain response monitoring apparatus and method
JP2006285487A (en) Biological information detection apparatus and biological authentication apparatus
JP2008071102A (en) Dot diagram display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141006

R150 Certificate of patent or registration of utility model

Ref document number: 5629766

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250