JPWO2016199415A1 - Information input device and verification system - Google Patents
Information input device and verification system Download PDFInfo
- Publication number
- JPWO2016199415A1 JPWO2016199415A1 JP2017523113A JP2017523113A JPWO2016199415A1 JP WO2016199415 A1 JPWO2016199415 A1 JP WO2016199415A1 JP 2017523113 A JP2017523113 A JP 2017523113A JP 2017523113 A JP2017523113 A JP 2017523113A JP WO2016199415 A1 JPWO2016199415 A1 JP WO2016199415A1
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- unit
- input device
- display information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
Abstract
入力された情報の秘密性を向上させるために、複数の表示領域を有する空間変調素子と、複数の発光部を含む光源とを有し、表示情報を操作領域に投射する投射手段と、表示情報に含まれる有効表示情報が操作領域に表示されるタイミングに合わせて開くシャッタ機構と、操作領域上での操作内容を画像情報として取得する撮像手段と、操作領域に表示情報を表示させるためのパターンを空間変調素子の表示部に表示させる表示条件と、複数の発光部を切り替えるタイミングとシャッタ機構を開くタイミングとを合わせる同期条件とを含む制御条件を設定するとともに、撮像手段に取得された画像情報と有効表示情報とを対応させた操作情報を出力する制御手段とを備える情報入力装置とする。In order to improve the confidentiality of the input information, the projector has a spatial modulation element having a plurality of display areas, a light source including a plurality of light emitting units, and projects the display information onto the operation area, and the display information A shutter mechanism that opens in accordance with the timing at which the effective display information included in the operation area is displayed, an imaging unit that acquires operation content on the operation area as image information, and a pattern for displaying display information in the operation area Control conditions including a display condition for displaying the image on the display unit of the spatial modulation element, a synchronization condition for matching a timing for switching the plurality of light emitting units and a timing for opening the shutter mechanism, and image information acquired by the imaging unit And an information input device comprising control means for outputting operation information in which effective display information is associated with each other.
Description
本発明は、情報入力装置および照合システムに関する。特に、認証パスワードなどの情報入力に用いられる情報入力装置および照合システムに関する。 The present invention relates to an information input device and a verification system. In particular, the present invention relates to an information input device and a verification system used for inputting information such as an authentication password.
公共の場に設置されたATM(Automatic Teller Machine)などのシステムには、認証パスワードなどの情報を入力するための入力装置が設置されている。例えば、システムの利用者は、入力装置のタッチパネルに表示されたテンキーに従って情報を入力する。一般的な入力装置では、利用者が入力装置に情報を入力している際に、第三者がその情報を覗き見る危険性がある。 An input device for inputting information such as an authentication password is installed in a system such as an ATM (Automatic Teller Machine) installed in a public place. For example, the system user inputs information according to a numeric keypad displayed on the touch panel of the input device. In a general input device, when a user inputs information to the input device, there is a risk that a third party may look into the information.
特許文献1には、第三者による覗き見を防止する表示システムについて開示されている。特許文献1の表示システムでは、利用者に認識させるべき有効表示情報と、その有効表示情報と同種で内容の異なるダミー表示情報とを高速で切り替えて表示部に表示する。利用者は、高速で切り替わる画像に同期して開閉するシャッタを通して表示部に表示された有効表示情報を認識する。それに対し、第三者は、表示部に表示されたどの表示情報が有効表示情報であるのかを認識することができない。そのため、利用者は、第三者が認識できないように情報を入力装置に入力することができる。
特許文献1のシステムの表示装置に表示できる画像のフレームレートは、360フレーム毎秒(以下、fps:frames per second)程度である。この程度のフレームレートだと、1000fpsクラスの高速度カメラで撮影することによって、シャッタを介さなくても表示部に表示された画像群が認識される可能性がある。そのため、特許文献1のシステムでは、表示部に表示された画像群に含まれる画像と、使用者の指の動きとを高速度カメラを用いて撮影することによって、使用者が入力した情報の候補を絞られる可能性がある。
The frame rate of an image that can be displayed on the display device of the system of
本発明の目的は、上述した課題を解決するため、表示情報を高速で切り替えることによって、入力された情報の秘密性を向上させることを可能とする情報入力装置を提供することにある。 An object of the present invention is to provide an information input device capable of improving the confidentiality of input information by switching display information at high speed in order to solve the above-described problems.
本発明の情報入力装置は、複数の表示領域に区分けされる表示部を有する空間変調素子と、複数の表示領域のそれぞれに対応付けられた複数の発光部を含む光源とを有し、光源から空間変調素子の表示部に照射された光を基に形成される表示情報を操作領域に投射する投射手段と、操作領域の上方に配置され、表示情報に含まれる有効表示情報が操作領域に表示されるタイミングに合わせて開くシャッタ機構と、操作領域上での操作内容を画像情報として取得する撮像手段と、操作領域に表示情報を表示させるためのパターンを空間変調素子の表示部に表示させる表示条件と、複数の発光部を切り替えるタイミングとシャッタ機構を開くタイミングとを合わせる同期条件とを含む制御条件を設定するとともに、撮像手段に取得された画像情報から確定された操作内容と有効表示情報とを対応させた操作情報を出力する制御手段とを備える。 An information input apparatus according to the present invention includes a spatial modulation element having a display section divided into a plurality of display areas, and a light source including a plurality of light emitting sections associated with each of the plurality of display areas. Projection means for projecting display information formed on the display area of the spatial modulation element based on the light to the operation area, and effective display information included in the display information is displayed in the operation area. A shutter mechanism that opens in accordance with the timing to be operated, an imaging means for acquiring the operation content on the operation area as image information, and a display for displaying a pattern for displaying display information in the operation area on the display unit of the spatial modulation element The image information acquired by the imaging unit and the control conditions including the conditions and the synchronization condition for matching the timing for switching the plurality of light emitting units and the timing for opening the shutter mechanism are set. And control means for outputting an operation information associated with the al the determined operation content and effective display information.
本発明の照合システムは、複数の表示領域に区分けされる表示部を有する空間変調素子と、複数の表示領域のそれぞれに対応付けられた複数の発光部を含む光源とを有し、光源から空間変調素子の表示部に照射された光を基に形成される表示情報を操作領域に投射する投射手段と、操作領域の上方に配置され、表示情報に含まれる有効表示情報が操作領域に表示されるタイミングに合わせて開くシャッタ機構と、操作領域上での操作内容を画像情報として取得する撮像手段と、操作領域に表示情報を表示させるためのパターンを空間変調素子の表示部に表示させる表示条件と、複数の発光部を切り替えるタイミングとシャッタ機構を開くタイミングとを合わせる同期条件とを含む制御条件を設定するとともに、撮像手段に取得された画像情報から確定された操作内容と有効表示情報とを対応させた操作情報を出力する制御手段とを備える情報入力装置と、情報入力装置から操作情報をネットワーク経由で取得し、自装置が記憶する認証情報と操作情報とを照合し、操作情報と認証情報との照合結果を上位システムに送信するサーバとを備える。 A collation system of the present invention includes a spatial modulation element having a display section divided into a plurality of display areas, and a light source including a plurality of light emitting sections associated with each of the plurality of display areas. Projection means for projecting display information formed on the light irradiated onto the display section of the modulation element to the operation area, and effective display information included in the display information is displayed in the operation area. A shutter mechanism that opens in accordance with the timing to be operated, an imaging means for acquiring operation contents on the operation area as image information, and a display condition for displaying a pattern for displaying display information in the operation area on the display unit of the spatial modulation element And a control condition including a synchronization condition for matching a timing for switching a plurality of light emitting units and a timing for opening the shutter mechanism, and image information acquired by the imaging unit Information input device provided with a control means for outputting operation information in which the operation content determined from the display is associated with valid display information, and authentication information acquired from the information input device via the network and stored in the device itself And a server that transmits the verification result of the operation information and the authentication information to the host system.
本発明によれば、表示情報を高速で切り替えることによって、入力された情報の秘密性を向上させることを可能とする情報入力装置を提供することが可能になる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to provide the information input device which makes it possible to improve the confidentiality of the input information by switching display information at high speed.
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由が無い限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。 EMBODIMENT OF THE INVENTION Below, the form for implementing this invention is demonstrated using drawing. However, the preferred embodiments described below are technically preferable for carrying out the present invention, but the scope of the invention is not limited to the following. In all the drawings used for the description of the following embodiments, the same reference numerals are given to the same parts unless there is a particular reason. In the following embodiments, repeated description of similar configurations and operations may be omitted.
(実施形態)
図1は、本発明の第1の実施形態に係る情報入力装置10の外観を示す。図1は、ユーザが情報入力装置10に情報を入力しているイメージである。(Embodiment)
FIG. 1 shows an appearance of an
情報入力装置10は、ユーザの操作を受け付ける操作領域12に表示情報を投射するとともに、操作領域12になされた操作を撮像するインターフェース装置11を備える端末である。インターフェース装置11には、内蔵された撮像素子が操作領域12を撮像するためのカメラ窓112と、表示情報を投射するための投射窓113とが設けられている。
The
インターフェース装置11は、位相変調型の空間変調素子と、その空間変調素子の表示部に光を照射する複数の発光部を有する光源とを含む投射手段を備える。インターフェース装置11は、光源から出射した光を空間変調素子の表示部で反射させ、操作領域12に表示情報を投射する。
The
インターフェース装置11の空間変調素子の表示部は、複数の表示領域に区切られており、各表示領域には互いに異なる画像を表示することができる。インターフェース装置11の光源を構成する複数の発光部は、空間変調素子の各表示領域に対応付けて設けられている。インターフェース装置11は、光を出射する発光部を切り替えることによって、光を照射する表示領域を切り替える。すなわち、インターフェース装置11が光源を切り替えるたびに、操作領域12に投射される表示情報が次々に切り替えわることになる。
The display unit of the spatial modulation element of the
また、情報入力装置10は、操作領域12に表示された表示情報を認識するための光シャッタ13(シャッタ機構とも呼ぶ)を備える。光シャッタ13は、操作領域12の上方に配置される。光シャッタ13は、ユーザが操作領域12に操作を行う際に、ユーザと操作領域12との間に位置するように配置される。ユーザは、操作領域12に操作を行う際に、光シャッタ13を通して操作領域12を認識する。
The
光シャッタ13は、インターフェース装置11によってユーザが認識すべき表示情報(以下、有効表示情報)が操作領域12に表示されたタイミングで開き、その他の表示情報が操作領域12に表示されたタイミングでは閉じるように制御される。すなわち、光シャッタ13は、複数の表示情報に含まれる有効表示情報が操作領域12に表示されるタイミングに合わせて開く。そのため、光シャッタ13を通して操作領域12を見ているユーザのみが、操作領域12に表示された有効表示情報を認識することができる。
The
光シャッタ13は、例えば以下の非特許文献1に記載されたようなMEMS(Micro Electro Mechanical Systems)シャッタによって実現できる。MEMSシャッタを用いれば、20マイクロ秒程度の応答も可能である。
(非特許文献1)N.Hagood et.al., “A Direct-View MEMS Display for Mobile Applications,” SID Symposium Digest of Technical Papers, Vol.1(1), May 2007, pp.1278-1281(2007)
また、光シャッタ13は、液晶セルを挟んで互いに交差する一対の偏光子で構成された液晶シャッタによっても実現できる。液晶シャッタでは、駆動電圧を印可して液晶セルに含まれる液晶分子を再配向させ、液晶セルを通過する光の位相差を変化させることによって開閉制御することができる。数十マイクロ秒〜数ミリ秒程度の応答速度でよければ、液晶シャッタを光シャッタ13に適用することができる。The
(Non-Patent Document 1) N. Hagood et.al., “A Direct-View MEMS Display for Mobile Applications,” SID Symposium Digest of Technical Papers, Vol.1 (1), May 2007, pp.1278-1281 (2007 )
The
なお、本実施形態に係る光シャッタ13を実現するものは、MEMSシャッタや液晶シャッタに限らず、目的とする応答速度で動作するシャッタ機構であればよい。
In addition, what implement | achieves the
ここで、ATM(Automatic Teller Machine)などの秘密情報を取り扱うシステムに情報入力装置10を適用する利用シーンを想定する。
Here, a usage scene is assumed in which the
インターフェース装置11は、例えば「0〜1、X、#」の12個の記号からなる行列形式のキー配列(表示情報とも呼ぶ)を操作領域12に投射する。このとき、インターフェース装置11は、ユーザに提示する有効キー配列(有効表示情報とも呼ぶ)とともに、有効キー配列とは異なるダミーのキー配列(ダミー表示情報)を次々に操作領域12に投射する。
For example, the
図2は、操作領域12に投射される表示情報の一例である。光シャッタ13を通さない場合、操作領域12に投射された表示情報は、図2の左図のように多くの記号が重なった意味不明な画像として認識される。一方、光シャッタ13を通して操作領域12を見る場合、図2の左図のような有効キー配列が認識される。そのため、ユーザは、光シャッタ13を通して操作領域12を見ることによって、操作領域12に投射された有効キー配列に対して適切な操作をすることができる。
FIG. 2 is an example of display information projected on the
なお、インターフェース装置11は、キー配列を構成する各記号の並び順に従って、キー配列を構成する各記号を操作領域12の所定の位置に投射する。そのため、有効キー配列が決まれば、操作領域12のどの位置に各記号が配置されているのかを特定できる。
The
例えば、図2の右図においては、左から1列目が「2、5、1、7」、2列目が「#、6、9、3」、3列目が「4、8、0、X」の記号からなるキー配列である。これ以降、行列形式のキー配列は、左から1列目−1行目の記号を起点とし、各列に関して上の行から順番に記号を続けて表記する。そして、各列の右隣に列がある場合は、一番下の行の記号に続けてコンマ「,」を表記し、その後には右隣の列の記号を上から順番に並べて表記する。図2の右図のキー配列は、「2517,#693,480X」と表記する。なお、コンマは省略してもよい。 For example, in the right diagram of FIG. 2, the first column from the left is “2, 5, 1, 7”, the second column is “#, 6, 9, 3”, and the third column is “4, 8, 0”. , X ”. Thereafter, the matrix-type key arrangement starts with the symbols in the first column and the first row from the left, and represents the symbols in order from the upper row for each column. When there is a column to the right of each column, a comma “,” is written after the symbol in the bottom row, and thereafter, the symbols in the column on the right are arranged in order from the top. The key layout in the right diagram of FIG. 2 is expressed as “2517, # 693, 480X”. Note that commas may be omitted.
「2517,#693,480X」が有効キー配列として設定されると、4行×3列の行列形式において、1列目−1行目の位置に「2」、1列目−2行目の位置に「5」、・・・、3列目−4行目の位置に「X」が配置されることになる。すなわち、操作領域12には、見た目では図2の左図のような意味不明な画像が表示されているが、実際には図2の右図のような有効キー配列が配置されていることになる。そのため、光シャッタ13を通して操作領域12を見たユーザによってなされた操作と、操作領域12に配置された有効キー配列とを対応付けることによって、ユーザが入力した情報を特定することができる。
When “2517, # 693, 480X” is set as an effective key array, “2” is placed at the position of the first column to the first row in the 4 × 3 matrix format, and the first column to the second row. “5” at the position,..., “X” is arranged at the position of the third column to the fourth row. That is, in the
図1のように、ユーザは、光シャッタ13を通して操作領域12を見る。そのため、ユーザ以外の人物は、ユーザの操作中に光シャッタ13を直接覗き込むことは不可能である。本実施形態において、操作領域に表示される表示情報は、光源の切り替えに伴って切り替わる。そのため、本実施形態によれば、液晶の応答速度に律速されない高速な画像の切り替えが可能となる。
As shown in FIG. 1, the user views the
図3は、本実施形態の情報入力装置10を含む照合システム1の構成を示す概念図である。照合システム1は、情報入力装置10によって取得されたキー操作情報に基づいてユーザ認証を行う。照合システム1は、ATMなどの上位システムに接続され、上位システムを利用するユーザのユーザ認証を行うシステムである。
FIG. 3 is a conceptual diagram showing a configuration of the
照合システム1は、情報入力装置10と、その情報入力装置10にネットワーク101を介して接続されたサーバ102とを備える。ネットワーク101は、インターネットやイントラネットなどの一般的な通信回線である。サーバ102は、演算機能や制御機能、記憶機能などを有する一般的なサーバである。
The
サーバ102は、情報処理装置10からキー操作情報を取得し、そのキー操作情報とユーザの認証情報とを照合する。そして、照合システム1は、キー操作情報とユーザの認証情報とが一致した際に、そのユーザが上位システムにログインすることを許可する。
The
(構成)
次に、本実施形態に係る情報入力装置10の概略的な構成について図面を参照しながら説明する。(Constitution)
Next, a schematic configuration of the
図4は、情報入力装置10の機能構成を示すブロック図である。
FIG. 4 is a block diagram illustrating a functional configuration of the
情報入力装置10は、撮像手段20、投射手段30、制御手段40および光シャッタ13を備える。撮像手段20、投射手段30および制御手段40は、インターフェース装置11を構成する。また、情報入力装置10には、ユーザの情報の入力を受け付ける操作領域12が設定される。なお、操作領域12は、情報入力装置10の筐体や内部など、インターフェース装置11から表示情報を投射することができる箇所に設定される。操作領域12は、情報入力装置10の外部に設定されてもよい。
The
図5は、インターフェース装置11が、操作領域12に表示情報300を投射し、操作領域12を撮像する様子の概念図である。
FIG. 5 is a conceptual diagram showing how the
制御手段40は、異なる表示情報300を操作領域12に次々に投射するように投射手段30を制御する。また、制御手段40は、有効表示情報が表示情報300として操作領域12に表示されるタイミングで光シャッタ13を開く制御をする。そして、制御手段40は、操作領域12を撮像するように撮像手段20を制御する。
The control means 40 controls the projection means 30 so that
次に、本実施形態に係る情報入力装置10の詳細な構成について図面を参照しながら説明する。
Next, a detailed configuration of the
(撮像手段)
図6は、撮像手段20の構成を示すブロック図である。撮像手段20は、撮像素子21、画像処理プロセッサ23、内部メモリ25およびデータ出力部27を有する。(Imaging means)
FIG. 6 is a block diagram illustrating a configuration of the
撮像素子21は、操作領域12を含む領域を撮像し、画像情報を取得するための素子である。撮像素子21は、半導体部品が集積回路化された光電変換素子である。撮像素子21は、例えば、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide-Semiconductor)などの固体撮像素子によって実現できる。通常、撮像素子21は、可視領域の光を撮像する素子によって構成するが、赤外線や紫外線、X線、ガンマ線、電波、マイクロ波などの電磁波を撮像・検波できる素子によって構成してもよい。
The
画像処理プロセッサ23は、撮像素子21によって撮像された画像情報に対して、暗電流補正や補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、画像圧縮などの画像処理を実行する集積回路である。なお、画像情報を加工せずに出力する場合は、画像処理プロセッサ23を省略してもよい。画像処理プロセッサ23は、本実施形態に係る情報入力装置10が処理を行うように設計されたプロセッサで実現できる。
The
内部メモリ25は、画像処理プロセッサ23によって画像処理を行う際に処理しきれない画像情報や、処理済みの画像情報を一時的に格納する記憶素子である。なお、撮像素子21によって撮像された画像情報を内部メモリ25に一時的に記憶するように構成してもよい。内部メモリ25は、一般的なメモリによって構成すればよい。
The
データ出力部27は、画像処理プロセッサ23によって処理された画像情報を制御手段40に出力する。
The
(投射手段)
図7は、本実施形態に係る投射手段30の構成を示すブロック図である。図8は、本実施形態に係る投射手段30の光学的な構成について説明するための概念図である。(Projection means)
FIG. 7 is a block diagram showing the configuration of the projection means 30 according to this embodiment. FIG. 8 is a conceptual diagram for explaining the optical configuration of the
図7のように、投射手段30は、制御条件取得部31、光源制御部32、光源33、変調素子制御部35、空間変調素子36および投射部38を有する。以下において、投射手段30の各構成要素について詳細に説明する。
As shown in FIG. 7, the
(制御条件取得部)
制御条件取得部31は、光源33および空間変調素子35を制御するための制御条件を取得する。制御条件は、光源33と光シャッタ13の動作を同期させるための同期条件と、空間変調素子35に位相分布を適切なタイミングで表示させるための表示条件とを含む。制御条件取得部31は、同期条件を光源制御部32に出力し、表示条件を変調素子制御部35に出力する。(Control condition acquisition unit)
The control
(光源制御部)
光源制御部32は、同期条件に基づいて、光源33を構成する複数の発光部を所定のタイミングで切り替え、光を出射する発光部を変更させる制御をする。(Light source controller)
The light
(光源)
光源33は、特定波長の光340を発する複数の発光部を有する。通常、光源33は、可視領域の光340を発するように構成する。なお、光源33は、赤外領域や紫外領域などの可視領域以外の光340を発するように構成してもよい。光源33が出射した光は、コリメータ34によってコヒーレントな光340とし、空間変調素子36の表示部に入射させる。(light source)
The
図8のように、本実施形態においては、空間変調素子36の表示部に対して光340の入射角を非垂直にする。すなわち、光源33から出射される光340の出射軸を空間変調素子36の表示部に対して斜めにする。空間変調素子36の表示部に対して光340の出射軸を斜めに設定すれば、ビームスプリッタを用いなくても空間変調素子36の表示部に光340を入射できるため効率を向上させることができる。
As shown in FIG. 8, in the present embodiment, the incident angle of the light 340 is made non-perpendicular with respect to the display unit of the
図9は、光源33に含まれる複数の発光部330の配置例を示す概念図である。図9中の発光部330に示すA1やA2などの記号は、各発光部330の位置を示す。図9においては、行列状に配置した複数の発光部330の各行を上からA、B、Cとし、各列を左から1、2、3、4、5とする。これ以降、各発光部330の個別にあらわす場合、発光部A1、発光部A2、・・・、発光部C5などと表記する。なお、光源33を構成する複数の発光部330は、任意の数の行および列で構成することができる。また、複数の発光部330は、行列状ではなく、同心円状や螺旋状などの配置としてもよい。
FIG. 9 is a conceptual diagram illustrating an arrangement example of a plurality of light emitting
複数の発光部330は、互いに独立したタイミングで発光するように制御される。例えば、発光部330は、発光部A1、発光部A2、・・・、発光部C5といった順番で発光するように制御される。なお、複数の発光部330を発光させるタイミングは、任意の順番に設定できる。例えば、所定の時間間隔で所定の順番で発光部330を切り替えるように制御してもよいし、ランダムな時間間隔で順番を入れ替えて発光部330を切り替えるように制御してもよい。
The plurality of light emitting
図10は、図9の光源33を実現するレーザアレイ331の概念図である。レーザアレイ331は、異なるタイミングで駆動制御される複数の発光部332を有する。レーザアレイ331には、レーザを照射することによって発生した熱を発散するためのヒートシンク333が設けられることが好ましい。また、レーザアレイ331から出射されたレーザをコリメートするために、各発光部332に対応させてコリメータが配置されたコリメートレンズアレイ341をレーザアレイ331の後段に設置することが好ましい。
FIG. 10 is a conceptual diagram of a
レーザアレイ331は、複数の色のレーザを組み合わせて構成してもよい。レーザアレイ331を複数の色の組み合わせで構成すれば、表示情報を多色化することができる。すなわち、光源33は、第1の波長領域の光を出射する第1の発光部と、前記第1の発光部が出射する光とは異なる波長領域の光を出射する第2の発光部とを少なくとも有する構成とすることができる。なお、光源33は、3色以上の色を出射するように構成してもよい。
The
例えば、多色化すれば、通常は緑色の有効キー配列をユーザに認識させ、何かしらの問題がある場合は赤色の有効キー配列をユーザに認識させるというような設定も可能となる。 For example, if the number of colors is increased, it is possible to set the user so that the user normally recognizes the green effective key arrangement, and if there is any problem, the user can recognize the red effective key arrangement.
(空間変調素子)
空間変調素子36は、変調素子制御部35の制御に応じて、操作領域12に投射される表示情報の位相分布を自身の表示部に表示する。空間変調素子36の表示部は複数の表示領域に区分される。各表示領域は、独立したタイミングで表示情報に対応する位相分布を表示する。(Spatial modulation element)
The
空間変調素子36は、位相がそろったコヒーレントな光340の入射を受け、入射された光340の位相を変調する位相変調型の空間変調素子である。空間変調素子36は、変調された変調光370を投射部38に向けて出射する。なお、空間変調素子36は、操作領域12に表示情報を投射できるのであれば、位相変調型とは異なる方式の素子であってもよい。
The
空間変調素子36上の表示領域には、操作領域12に投射される表示情報の位相分布が表示される。空間変調素子36の表示領域で反射された変調光370は、一種の回折格子が集合体を形成したような画像になり、これらの回折格子で回折された光が集まることによって表示情報が形成される。なお、空間変調素子の表示部に表示される位相分布をパターンと記載することもある。
In the display area on the
空間変調素子36は、例えば、強誘電性液晶やホモジーニアス液晶、垂直配向液晶などを用いた空間変調素子によって実現される。空間変調素子36は、具体的には、LCOS(Liquid Crystal on Silicon)によって実現できる。また、空間変調素子36は、例えば、MEMS(Micro Electro Mechanical System)によって実現してもよい。
The
(変調素子制御部)
変調素子制御部35は、空間変調素子36の表示部に各位相分布を適切なタイミングで表示させる。変調素子制御部35は、空間変調素子36の表示領域に照射される光340の位相と、表示領域で反射される変調光370の位相との差分を決定づけるパラメータが変化するように空間変調素子36を制御する。(Modulation element controller)
The modulation
空間変調素子36の表示部に照射される光340の位相と、表示部で反射される変調光370の位相との差分を決定づけるパラメータは、例えば、屈折率や光路長などの光学的特性に関するパラメータである。例えば、変調素子制御部35は、空間変調素子36の表示部に印可する電圧を制御することによって、表示部の屈折率を変化させる。その結果、表示部に照射された光340は、表示部の屈折率に基づいて適宜回折される。
Parameters that determine the difference between the phase of the light 340 applied to the display unit of the
すなわち、空間変調素子36に照射された光340の位相分布は、表示部の光学的特性に応じて変調される。なお、変調素子制御部35による空間変調素子36の制御はここで挙げた限りではない。
That is, the phase distribution of the light 340 applied to the
図11は、空間変調素子36の液晶の応答と、光源33を構成する各発光部330の切り替えタイミングとを対応させた概念図である。液晶の応答タイミングは、変調素子制御部35によって制御される。一方、各発光部330の切り替えタイミングは、光源制御部32によって制御される。
FIG. 11 is a conceptual diagram in which the liquid crystal response of the
本実施形態においては、一回の液晶の応答タイミングにおいて、各発光部330の切り替えを行う。なお、図11の例では、各発光部330をA1〜C5の順番に切り替える例を示しているが、切り替えの順番は任意に設定される。
In the present embodiment, each
(投射部)
投射部38は、光源33から出射された光340を信号光390として投射する。図8のように、投射部38は、フーリエ変換レンズ381、アパーチャ382および投射レンズ383を有する。空間変調素子36で変調された変調光370は、投射部38によって信号光390として操作領域12に投射される。(Projection part)
The
フーリエ変換レンズ381は、空間変調素子36の表示部で反射された変調光370を無限遠に投射した際に形成される像を、近傍の焦点位置に形成させるための光学レンズである。
The
アパーチャ382は、フーリエ変換レンズ381によって集束された光に含まれる高次光を消去し、画像領域を特定する機能を有する。アパーチャ382の開口部は、アパーチャ382の位置における表示情報の画像領域よりも小さく開口され、アパーチャ382の位置における表示情報の周辺領域を遮るように設置される。例えば、アパーチャ382の開口部は、矩形状や円形上になるように形成される。アパーチャ382は、フーリエ変換レンズ381の焦点位置に設置されることが好ましいが、高次光を消去する機能を発揮できれば、焦点位置からずれていても構わない。
The
投射レンズ383は、フーリエ変換レンズ381によって集束された光を拡大して投射する光学レンズである。投射レンズ383は、空間変調素子36に入力された位相分布に対応する目的画像が被投射面上に表示されるように信号光390を投射する。
The
投射部38から投射された信号光380は、操作領域12に均一に投射されるのではなく、表示情報を構成する文字や記号、枠などの部分に集中的に投射される。本実施形態に係る投射手段30が文字や記号、枠などの線画を投射する用途に用いられる場合、光340の照射量を実質的に減らすことができるため、全体的な光出力を抑えることができる。すなわち、光源33は、小型かつ低電力の光源と、その光源を駆動する低出力の電源とで構成できる。
The signal light 380 projected from the
以上が、投射手段30の各構成要素の詳細についての説明である。 This completes the description of the details of each component of the projection means 30.
ここで、図12を用いて、空間変調素子36の表示部に表示されるパターンについて説明する。なお、図12には、空間変調素子36の表示部を3行×5列の表示領域に区分けする例を示す。空間変調素子36の表示領域は、図12とは異なる方法で区分けしてもよい。
Here, a pattern displayed on the display unit of the
図12において、空間変調素子36の表示部を構成する表示領域の各行は、上から順番に、A、B、Cとする。同様に、各列は、左から順番に、1、2、3、4、5とする。そして、各表示領域は、行番号と列番号とを組み合わせて表記する。例えば、上からm行目、左からn列目の表示領域は、「表示領域mn」と表記する。なお、mはA、BまたはCであり、nは1、2、3、4または5である。
In FIG. 12, each row of the display area constituting the display unit of the
図12において、各表示領域には、操作領域12に投射する表示情報の位相分布が表示される。なお、図12においては、位相分布ではなく表示情報そのものを図示している。なお、これ以降の図面においては、説明しやすくするために、位相分布として表示情報そのものを図示する。
In FIG. 12, the phase distribution of display information projected on the
本実施形態においては、空間変調素子36の各表示領域に、光源33の各発光部330を対応させる。例えば、図12の表示領域A1には、図9の発光部A1から出射された光340を照射する。発光部A1と同様に、他の発光部330を各表示領域に対応させる。なお、図9の発光部330の列と、図12の表示領域の列とが反対の位置に図示されているのは、光源33から出射した光340を空間変調素子36の表示部で反射させるためである。
In the present embodiment, each
図13は、空間変調素子36の個々の表示領域に同じパターンをアレイ状に表示する例である。例えば、表示領域A1には、4行×4列のアレイ状のパターンを表示させる。図13の例では、図12の各表示領域のキー配列をアレイ状に表示させることを示す。図13の表示領域A1には、図12の表示領域A1に表示させるキー配列が複数表示される。
FIG. 13 shows an example in which the same pattern is displayed in an array on each display area of the
図13のように区分けすると、例えば表示領域C5に表示された位相分布を投射する際に、図13中の破線の円内に光340の照射領域を絞ることができる。図12のような場合、各表示領域に光340を照射する際には、隣接する表示領域に光340の照射領域が重なり、ノイズが発生する可能性がある。図13のように、個々の表示領域に複数の同じパターンを表示すれば、光340の照射領域が隣接する表示領域に重なることを防ぐことができるため、ノイズの発生を抑制することができる。 When divided as shown in FIG. 13, for example, when projecting the phase distribution displayed in the display area C <b> 5, the irradiation area of the light 340 can be narrowed down within a broken-line circle in FIG. 13. In the case of FIG. 12, when the light 340 is irradiated to each display area, the irradiation area of the light 340 overlaps with an adjacent display area, and noise may be generated. As shown in FIG. 13, if a plurality of the same patterns are displayed in each display area, the irradiation area of the light 340 can be prevented from overlapping with an adjacent display area, so that generation of noise can be suppressed.
(制御手段)
図14は、本実施形態に係る制御手段40の構成を示すブロック図である。制御手段40は、処理部41、撮像制御部42、投射制御部43およびシャッタ制御部44を有する。(Control means)
FIG. 14 is a block diagram showing the configuration of the control means 40 according to this embodiment. The control means 40 includes a
処理部41は、複数のキー配列を含むキー配列情報を取得し、そのキー配列情報を用いて投射手段30に投射させる表示情報の位相分布を設定する。そして、処理部41は、その位相分布を空間変調素子36の表示部に表示させるタイミングを設定する。すなわち、処理部41は、投射手段30に投射させる表示情報の位相分布と、その位相分布を空間変調素子36の表示部に表示させるタイミングとを含む表示条件を設定する。処理部41は、設定した表示条件を投射制御部43に出力する。
The
また、処理部41は、光源33を構成する発光部330の切り替えタイミングを設定する。このとき、処理部41は、発光部330の切り替えタイミングと、光シャッタ13を開くタイミングとを同期させるための同期条件を設定する。処理部41は、設定した同期条件を投射制御部43およびシャッタ制御部44に出力する。
In addition, the
さらに、処理部41は、撮像手段20に操作領域12を撮像させる指示を出す。処理部41は、撮像手段20から操作領域12の画像情報を取得し、その画像情報からユーザのキー操作を認識し、ユーザが行ったキー操作を含むキー操作情報(操作情報とも呼ぶ)を出力する。
Further, the
撮像制御部42は、処理部41の指示に応じて、撮像手段20に操作領域12を撮像させる制御を行う。撮像制御部42は、撮像手段20によって撮像された画像情報を処理部41に出力する。
The
投射制御部43は、処理部41によって出力された表示条件および同期条件を取得し、その表示条件および同期条件を投射手段30に出力する。
The
シャッタ制御部44は、処理部41によって出力された同期条件を取得し、その同期条件を光シャッタ13に出力する。
The
図14においては、撮像制御部42、投射制御部43およびシャッタ制御部44を異なる構成として図示したが、これらの構成はまとめてもよい。
In FIG. 14, the
ここで、光源から出射した光を操作領域に表示し、その表示情報をカメラで撮像する一例を示す。 Here, an example in which the light emitted from the light source is displayed in the operation area and the display information is captured by the camera is shown.
図15は、投射手段30によって操作領域12に表示情報を投射し、撮像手段20であるカメラ200によって撮像領域12を撮像する一例を示す概念図である。光源33から出射された光は、空間変調素子36の表示部で反射され、操作領域12に表示情報として投射される。情報入力装置10は、カメラ200によって操作領域12を撮像し、有効表示情報に対するユーザの操作を取得する。
FIG. 15 is a conceptual diagram illustrating an example in which display information is projected onto the
投射手段30から操作領域12に投射される表示情報は次々に切り替えられるため、カメラ200によって撮像された画像情報のみから表示情報のキー配列とユーザの操作とを対応させることはできない。そのため、制御手段40は、カメラ200によって撮像された画像情報から、ユーザの操作が行われた時刻とその操作が示す位置とを関連付けて取得すればよい。同一時刻において、ユーザの操作が示す位置と、有効キー配列とを対応させればユーザが入力した情報を特定することができる。
Since the display information projected from the
(処理部)
次に、制御手段40に含まれる処理部41の詳細な構成について図面を用いて説明する。(Processing part)
Next, a detailed configuration of the
図16は、処理部41の構成を示すブロック図である。処理部41は、キー配列格納部412、制御条件生成部413および操作情報生成部415を有する。図16の各構成要素については、個別の図面を用いて詳細に説明する。
FIG. 16 is a block diagram illustrating a configuration of the
図17は、キー配列格納部412(表示情報格納部とも呼ぶ)の構成を示すブロック図である。キー配列格納部412は、キー配列受信部421、キー配列記憶部422およびキー配列出力部423を含む。
FIG. 17 is a block diagram illustrating a configuration of the key array storage unit 412 (also referred to as a display information storage unit). The key
キー配列受信部421は、照合システム1を構成するサーバ102から、キー配列やそのキー配列に対応する位相分布に関する情報を含むキー配列情報を受信する。なお、キー配列受信部421は、キー配列に対応する位相分布を受信せず、キー配列のみをキー配列情報として受信するようにしてもよい。
The key
キー配列記憶部422は、キー配列受信部421が受信したキー配列情報を記憶する。キー配列記憶部422は、キー配列のみをキー配列情報として記憶してもよい。
The key
キー配列出力部423は、制御条件生成部413からの要求に応じて、キー配列記憶部422に記憶されたキー配列情報を制御条件生成部413に出力する。
The key
図18は、キー配列記憶部422が記憶するキー配列を格納するキー配列テーブル4221の一例である。キー配列テーブル4221は、複数のキー配列を格納する。なお、キー配列記憶部422は、キー配列テーブル4221とは異なる形式でキー配列を記憶してもよい。また、図18などにおいては、キー配列にコンマ「,」を挿入しているが、実際のキー配列にはコンマを挿入しなくてもよい。
FIG. 18 is an example of a key layout table 4221 that stores the key layout stored in the key
キー配列記憶部422は、できる限り多くのキー配列を記憶しておくことが好ましい。なぜならば、準備しておくキー配列が多いほどダミーのキー配列を増やすことができるため、有効キー配列が判明しにくくなるためである。ただし、キー配列記憶部422の記憶容量にも限りがあるので、キー配列記憶部422は、有効キー配列が判明しにくくなる最低限の数のキー配列を含むように構成してもよい。
The key
図19は、キー配列出力部423が出力するキー配列情報を含むキー配列テーブル4231の一例である。キー配列テーブル4231は、キー配列テーブル4221に含まれる複数のキー配列のうち、制御条件生成部413の要求を満たす数のキー配列を選択したものを含む。なお、キー配列出力部423は、キー配列テーブル4231とは異なる形式でキー配列情報を出力してもよい。
FIG. 19 is an example of a key array table 4231 including key array information output from the key
図20は、制御条件生成部413の構成を示すブロック図である。制御条件生成部413は、キー配列選択部431、有効キー配列出力部432、パターン記憶部433、パターン選択部434、制御条件設定部435および制御条件出力部436を含む。
FIG. 20 is a block diagram illustrating a configuration of the control
キー配列選択部431(表示情報選択部とも呼ぶ)は、キー配列格納部412から複数のキー配列情報(表示情報とも呼ぶ)を取得する。キー配列選択部431は、取得したキー配列情報に含まれるいずれかのキー配列を有効キー配列(有効表示情報とも呼ぶ)として選択する。例えば、図21のように、キー配列選択部431は、選択した有効キー配列にフラグ(以下、有効フラグ)を付けたキー配列情報テーブル4311を生成する。図21の例では、有効キー配列の有効フラグを「1」とし、その他のキー配列の有効フラグは「0」としている。なお、キー配列選択部431は、キー配列情報テーブル4311のようなテーブル形式ではなく、他の方法でそのキー配列が有効キー配列であることを示すようにしてもよい。
A key arrangement selection unit 431 (also referred to as a display information selection unit) acquires a plurality of key arrangement information (also referred to as display information) from the key
キー配列選択部431は、有効キー配列を含むキー配列情報をパターン選択部434に出力するとともに、選択した有効キー配列を有効キー配列出力部432に出力する。なお、キー配列選択部431は、有効キー配列を含むキー配列情報を有効キー配列出力部432に出力するようにしてもよい。
The key
有効キー配列出力部432(有効表示情報出力部とも呼ぶ)は、キー配列選択部431から有効キー配列を取得し、その有効キー配列を操作情報生成部415に出力する。
The effective key array output unit 432 (also referred to as an effective display information output unit) acquires the effective key array from the key
パターン記憶部433は、空間変調素子36の表示面に表示させるパターンを記憶する。本実施形態において、パターン記憶部433は、複数のキー配列に対応する位相分布を記憶する。パターン記憶部433は、事前にサーバ102などから各キー配列に対応する位相分布を取得しておけばよい。パターン記憶部433は、位相分布をデジタルデータとして記憶しておくことが好ましい。
The
例えば、パターン記憶部433は、図22のように、各キー配列に位相分布を対応させた位相分布テーブル4331の形式で位相分布を格納する。なお、図22においては、キー配列に対応する表示情報の位相分布ではなく、表示情報そのものを図示している。また、パターン記憶部433は、位相分布テーブル4331とは異なる形式で位相分布を記憶してもよい。
For example, the
パターン選択部434は、キー配列選択部431から有効キー配列を含むキー配列情報を取得し、取得したキー配列に対応する表示情報に対応する位相分布をパターン記憶部433から取得する。このとき、パターン選択部434は、有効キー配列に対応する位相分布には、その位相分布が有効キー配列に対応するものであることを示す有効フラグを付ける。
The
例えば、パターン選択部434は、図23のように、選択した各キー配列に位相分布を対応させた位相分布テーブル4341を生成する。パターン選択部434は、有効キー配列には有効フラグを付ける。図23の例では、有効キー配列の有効フラグを「1」とし、その他のキー配列の有効フラグは「0」としている。なお、パターン選択部434は、位相分布テーブル4341とは異なる形式で有効キー配列を含む各キー配列に対応付けて選択した位相分布を生成してもよい。
For example, the
パターン選択部434は、有効キー配列を含む各キー配列に対応付けて、選択した位相分布を制御条件設定部435に出力する。例えば、パターン選択部434は、図23のような位相分布テーブル4341を生成する場合、位相分布テーブル4341を出力すればよい。
The
制御条件設定部435は、有効キー配列を含む各キー配列に対応付けられた位相分布をパターン選択部434から取得する。制御条件設定部435は、投射手段30に投射させる表示情報に対応する位相分布と、その位相分布を空間変調素子36の表示部に表示させるタイミングとを含む表示条件を設定する。制御条件設定部435は、表示条件を設定すると、設定した表示条件を制御条件出力部436に出力する。
The control
図24は、制御条件設定部435が設定した表示条件の一例の表示条件テーブル4361である。表示条件テーブル4361は、特定の時刻において、空間変調素子36の表示部の各表示領域に表示する位相分布をまとめたテーブルである。なお、表示条件テーブル4361に示した時刻以外についても、各表示領域に対応させた位相分布を表示条件テーブル4361に格納する。
FIG. 24 is a display condition table 4361 as an example of display conditions set by the control
図25は、制御条件設定部435が設定した表示条件の別の一例の表示条件テーブル4362である。表示条件テーブル4362は、空間変調素子36の表示部の表示領域に関して、各位相分布を表示する時刻をまとめたテーブルである。なお、表示条件テーブル4362に示した表示領域以外についても、各時刻に対応させた位相分布を表示条件テーブル4361に格納する。
FIG. 25 is a display condition table 4362 as another example of display conditions set by the control
表示条件テーブル4361や4362を用いれば、各位相分布を表示タイミングに合わせて適切な表示領域に表示することができる。なお、表示条件テーブル4361や4362にはキー配列そのものを含めているが、キー配列そのものは表示条件テーブル4361や4362に含めなくてもよい。 By using the display condition tables 4361 and 4362, each phase distribution can be displayed in an appropriate display area in accordance with the display timing. Although the display condition tables 4361 and 4362 include the key arrangement itself, the key arrangement itself may not be included in the display condition tables 4361 and 4362.
また、制御条件設定部435は、発光部330の切り替えタイミングと、光シャッタ13を開くタイミングとを同期させるための同期条件を設定する。制御条件設定部435は、同期条件を設定すると、設定した同期条件を制御条件出力部436に出力する。
Further, the control
制御条件設定部435は、有効キーフラグが付けられた位相分布が表示された表示領域に発光部330が光を照射するタイミングに同期させて光シャッタ13を開く同期条件を設定する。制御条件設定部435は、有効キーフラグが付けられた位相分布の位置に発光部330が光を照射する時間帯に含まれる時間範囲において、光シャッタ13を所定の時間だけ開く条件を設定する。
The control
図26は、制御条件設定部435が設定した同期条件の一例の同期条件テーブル4371である。同期条件テーブル4371は、特定の時刻と、その時刻に動作される発光部330と、その時刻に合わせて光シャッタ13を開くか否かを示すシャッタ開フラグとを含む。同期条件テーブル4371においてシャッタ開フラグが「1」の場合、光シャッタ13が開くように制御される。なお、シャッタ開フラグが「1」の場合、光シャッタ13が開いてから所定の時間が経過すると、光シャッタ13を閉じるように設定すればよい。また、シャッタ開フラグが「0」の場合は、光シャッタ13を閉じたままにしておくことを示す。
FIG. 26 is a synchronization condition table 4371 as an example of the synchronization condition set by the control
ここで、図26の同期条件テーブル4371に従って、発光部330および光シャッタ13を制御する例について説明する。なお、同期条件テーブル4371中の時刻は「0.000100」秒ごとに設定されているものとする。
Here, an example of controlling the
まず、時刻「AA:BB:CC.000100」になると、発光部A1が発光するように制御される。このとき、同期条件テーブル4371のシャッタ開フラグは「0」なので、光シャッタ13は閉じたままである。ただし、時刻「AA:BB:CC」はAA時BB分CC秒を示し、ピリオド「.」以下は1秒未満の時間を示す。
First, at time “AA: BB: CC.000100”, the light emitting unit A1 is controlled to emit light. At this time, since the shutter open flag of the synchronization condition table 4371 is “0”, the
同期条件テーブル4371によると、時刻「AA:BB:CC.000400」になると、発光部A4が発光するように制御される。このとき、同期条件テーブル4371のシャッタ開フラグは「1」なので、光シャッタ13が開くように制御される。このとき、時刻「AA:BB:CC.000400」になるのと同時に光シャッタ13を開く制御をしてもよいが、時刻「AA:BB:CC.000410」などのように、所定の時間(第1の時間)が経過してから光シャッタ13を開くように制御してもよい。
According to the synchronization condition table 4371, when the time “AA: BB: CC.000400” is reached, the light emitting unit A4 is controlled to emit light. At this time, since the shutter open flag of the synchronization condition table 4371 is “1”, the
開かれた光シャッタ13は、所定の時間(第2の時間)が経過すると閉じるように設定される。第2の時間は、シャッタ開フラグは「1」が付けられた時刻と、その次の時刻との間に含まれる時間範囲に設定される。同期条件テーブル4371に従う場合、時刻「AA:BB:CC.000400」と、時刻「AA:BB:CC.000500」との間の時間範囲(0.0001秒)に含まれるように第2の時間を設定する。例えば、第1の時間を0.000010秒、第2の時間を0.000080秒に設定する場合、光シャッタ13は、時刻「AA:BB:CC.000410」に開かれ、時刻「AA:BB:CC.000490」に閉じるように制御される。
The opened
図24および図26の例では、時刻「AA:BB:CC.000100」において、空間変調素子36の各表示領域に表示条件テーブル4361の位相分布を表示する。そして、時刻「AA:BB:CC.000100」に合わせて、発光部A1は、空間変調素子36の表示領域A1に光340を照射する。発光部330は、0.0001秒経過するごとに切り替えられる。時刻「AA:BB:CC.000400」になると、発光部A4が表示領域A4に光340を照射する。このとき、光シャッタ13は、時刻「AA:BB:CC.000400」から第1の時間が経過した段階で開かれ、時刻「AA:BB:CC.000400」から第2の時間が経過した段階で閉ざされる。
In the example of FIGS. 24 and 26, the phase distribution of the display condition table 4361 is displayed in each display area of the
すなわち、有効キー配列が操作領域12に表示されているときに、光シャッタ13が開くことになる。そのため、ユーザは、光シャッタ13を通して操作領域12を見ているため、操作領域12に次々に表示される複数のキー配列の中から有効キー配列を認識することができる。
That is, the
図27は、光源33の光照射タイミングと、光シャッタ13のシャッタ開タイミングとを対応させた概念図である。液晶の応答は、空間変調素子36の表示部に位相分布を表示するタイミングに相当する。一回の液晶の応答で、空間変調素子36の表示部の各表示領域に、図12のようにキー配列が表示される。なお、図12の各表示領域に表示される画像は、実際には位相分布である。
FIG. 27 is a conceptual diagram in which the light irradiation timing of the
光源33の複数の発光部330は、光源制御部32の制御に応じて、各発光部330に対応する表示領域に向けて光を出射する。図27では、一回の液晶の応答期間内に、15個の発光部330が次々に切り替えられて発光することを示す。
The plurality of light emitting
液晶のオンオフ、発光部330の切り替え、シャッタ13を開くタイミングは一定となるようにしてもよいし、一定にしなくてもよい。すなわち、所望の画像である有効キー配列が操作領域12に表示されるタイミングでシャッタ13が開くように設定すればよい。
The timing of turning on / off the liquid crystal, switching the
シャッタ制御部44は、15個の発光部330が切り替えられる際に、有効キー配列が空間変調素子36の表示領域に光が照射されているタイミングで光シャッタ13を開く制御をする。シャッタ制御部44は、制御条件生成部413から取得した同期条件に従うことによって、有効キー配列が操作領域12に投射されたタイミングで光シャッタ13を開くことができる。
The
制御条件出力部436は、制御条件設定部435から表示条件および同期条件を取得する。制御条件出力部436は、取得した表示条件および同期条件を含む制御条件を投射手段30に出力する。
The control
図28は、操作情報生成部415の構成を示すブロック図である。操作情報生成部415は、画像情報受信部451、操作内容確定部452、有効キー配列受信部453、有効キー配列記憶部454、操作情報生成部455および操作情報出力部456を有する。
FIG. 28 is a block diagram illustrating a configuration of the operation
画像情報受信部451は、撮像手段20が撮像した操作領域12の画像情報を取得する。画像情報受信部451は、取得した画像情報を操作内容確定部452に出力する。
The image
操作内容確定部452は、取得した画像情報を解析し、ユーザが操作領域12で行った操作内容を確定する。例えば、操作内容確定部452は、ある時刻においてユーザが操作領域12に指し示した操作位置を操作内容として確定し、確定した操作位置に時間情報を関連付けた操作位置情報を生成する。すなわち、操作内容確定部452は、撮像手段20が撮像した画像情報を解析し、ユーザが操作領域12に指示した操作位置を確定し、ユーザがその操作位置を指示した時刻とその操作位置とを関連付けることによって操作位置情報を生成する。
The operation
例えば、図29のように、操作領域12に直交座標系が設定されると、操作内容確定部452は、確定した操作位置を直交座標系の座標に変換することができる。図29の直交座標系の例では、操作領域12の左下角の頂点に原点を設定する。4行×3列の行列形式のキー配列に含まれる各記号は、1〜12の数字を付与した操作位置(破線)に投射される。操作位置1は、(X1、Y5)、(X1、Y4)、(X2、Y4)および(X2、Y5)を頂点とする矩形内に設定される。その他の操作位置も同様に設定される。
For example, as shown in FIG. 29, when an orthogonal coordinate system is set in the
例えば、操作内容確定部452は、ある時刻において、(X3、Y4)、(X3、Y3)、(X4、Y3)および(X4、Y4)を頂点とする矩形内に操作がなされたと認識すると、その時刻に操作位置10が指示されたものと確定する。
For example, when the operation
操作内容確定部452は、ユーザによって指示された操作位置を時間情報に関連付けた操作位置情報を操作情報生成部455に出力する。なお、操作内容確定部452は、操作位置の座標を時間情報に関連付けた操作位置情報を出力するように構成してもよい。
The operation
有効キー配列受信部453は、制御条件生成部413から有効キー配列を受信する。有効キー配列受信部453は、受信した有効キー配列を有効キー配列記憶部454に記憶させる。
The valid key
有効キー配列記憶部454は、受信した有効キー配列を記憶する。
The valid key
操作情報生成部455は、操作内容確定部452によって確定された操作領域12内の操作位置と、有効キー配列記憶部454に記憶された有効キー配列とを対応させて、ユーザが行ったキー操作情報を生成する。すなわち、操作情報生成部455は、操作内容確定部452によって確定された操作位置情報と有効表示情報とを関連付けたキー操作情報を生成する。
The operation
操作情報出力部456は、操作情報生成部455によって生成されたキー操作情報を出力する。例えば、図16のような照合システム1を想定する場合、操作情報出力部456は、操作情報をサーバ102に出力する。
The operation
キー配列に含まれる各記号は、投射手段30によって操作領域12の所定の位置に投射される。例えば、キー配列の1番目の記号は操作位置1に、2番目の記号は操作位置2に、・・・、15番目の記号は操作位置15に投射される。操作情報生成部415は、画像情報に含まれるユーザの操作から操作位置を時系列で特定し、有効キー配列を構成する記号が投射された位置と操作位置とを対応させて、ユーザが入力したキー操作情報を生成する。
Each symbol included in the key array is projected to a predetermined position in the
特許文献1(特許第4911225号公報)には、使用者に認識させるべき有効表示情報を含む複数の表示情報を高速に切り替える表示システムについて開示されている。特許文献1のシステムは、有効表示情報が表示されたタイミングで開く光シャッタを有する。特許文献1のシステムの表示部にはたくさんの表示情報が次々に表示される。そのため、光シャッタを通さずに表示部を見ている人は、図2の左図のように、全ての表示情報が合成された意味のない情報を認識することになる。一方、光シャッタは有効表示情報の表示タイミングで開くため、光シャッタを通して表示部を見ているユーザは、表示部に表示された秘匿情報を認識することができる。
Patent Document 1 (Japanese Patent No. 4911225) discloses a display system that switches a plurality of display information including effective display information to be recognized by a user at high speed. The system of
ところで、特許文献1のシステムで用いられる一般的な表示装置は、液晶に表示された表示情報を切り替えるため、360フレーム毎秒(以下、fps:frames per second)程度でしか表示情報を切り替えられない。現状、一般的に入手可能な高速カメラであれば、1000fps以上の撮影が可能である。そのため、特許文献1のシステムでは、一般的な高速カメラを用いれば、表示部に表示された表示情報を認識される可能性がある。
By the way, since a general display device used in the system of
それに対し、本実施形態では、複数の発光部330を切り替えることによって、空間変調素子36の異なる表示領域に表示された異なる表示情報が操作領域12に次々に投射される。本実施形態によれば、例えば図12のように、一回の液晶の応答で、15種類の位相画像を空間変調素子36の表示部に同時に書き込むことができる。そのため、本実施形態では、操作領域12に投射する表示情報の切り替えが液晶の応答速度に律速されず、特許文献1のシステムと比較して高速で表示情報を切り替えることができる。
On the other hand, in the present embodiment, different display information displayed in different display areas of the
例えば、発光部330にレーザ光源を用いる場合、レーザパルスを例えば20マイクロ秒程度に設定すればよい。また、光シャッタ13にMEMS式のものを用いれば20マイクロ秒の応答も可能である。光シャッタ13の応答速度を40マイクロ秒に設定すれば、見かけ上の動作速度は25000fpsとなる。この動作速度で表示された画像を撮像するには、100000fpsクラスのカメラが必要となる。このクラスの高速カメラは非常に特殊である上に大型であるので、有効表示情報を覗き見る目的に用いることは困難である。
For example, when a laser light source is used for the
また、特許文献1のシステムでは、1フレーム(60ヘルツ)の表示情報の数は6程度であるため、ユーザの指の動きと表示パターンとの組み合わせの数は20〜30程度である。この程度の数の組み合わせでは、ユーザの指の動きと表示パターンとの組み合わせを絞り込むことによって、ユーザが入力した情報を推測することができてしまう。
Further, in the system of
それに対し、本実施形態に係る情報入力装置10では、空間変調素子の表示領域の分割数を増やすことによって表示パターンを増やすことができる。例えば、図12のように、空間変調素子の表示部を15個の表示領域に分割する場合、表示パターンの数は300〜450程度になる。この程度になると、ユーザの指の動きと表示パターンとの組み合わせを絞り込むことは困難になる。
On the other hand, in the
表示領域を5行×6列とすれば、空間変調素子26の表示部に30種類のパターンを同時に表示させることができる。例えば、情報入力装置10は、空間変調素子26の表示部に1フレーム当たり3回の書き込みを行うと、1フレーム当たり90種類のパターンを表示することができる。全てを異なるパターンとすると、情報入力装置10は、1秒間に5400種類のパターン、10秒間では54000種類のパターンを操作領域12に投射することができる。有効表示情報を含めて複数回発生するパターンを1000個程度作っておけば、仮に全てのパターンが記録されたとしても、ユーザの指の動きとパターンとの対応を検討するのに非常に多くの組み合わせを試さなければならない。
If the display area is 5 rows × 6 columns, 30 types of patterns can be simultaneously displayed on the display unit of the spatial modulation element 26. For example, the
以上のように、本実施形態の情報入力装置によれば、操作領域に投射する表示情報を高速で切り替えることによって、表示情報をカメラで撮像することを困難にし、入力された情報の秘密性を向上させることが可能になる。また、本実施形態に係る情報入力装置によれば、1サイクルあたりの表示パターンが大幅に増えるため、ユーザの操作と表示パターンとの組み合わせの数が飛躍的に増大し、ユーザの操作を推測することが困難になる。 As described above, according to the information input device of the present embodiment, it is difficult to capture the display information with the camera by switching the display information projected onto the operation area at high speed, and the confidentiality of the input information is improved. It becomes possible to improve. In addition, according to the information input device according to the present embodiment, the number of display patterns per cycle is significantly increased, so the number of combinations of user operations and display patterns is dramatically increased, and user operations are estimated. It becomes difficult.
(変形例)
図30は、本実施形態の変形例に係る情報入力装置10−1の概略図である。情報入力装置10−1は、表示情報を投射する投射装置381を操作領域12の裏側に配置する。投射装置381は、ユーザが見る方向の裏側から操作領域12に表示情報を投射する。本変形例のように、裏側から操作領域12に表示情報を投射する場合、操作領域12にはリア型スクリーンを用いればよい。なお、投射装置381と操作領域12との間に鏡面を配置し、投射装置381による表示情報の投射方向を鏡面によって操作領域12に導くように構成してもよい。(Modification)
FIG. 30 is a schematic diagram of an information input device 10-1 according to a modification of the present embodiment. The information input device 10-1 arranges a
(第2の実施形態)
次に、本発明の第2の実施形態に係る情報入力装置について説明する。本実施形態においては、制御条件生成部413のパターン記憶部433に記憶するキー配列(表示情報ともよぶ)の位相分布をキー配列ごとではなく、キー配列を構成する記号ごとに記憶する。なお、本実施形態に係る情報入力装置は、第1の実施形態に係る情報入力装置10と同様の構成でよい。(Second Embodiment)
Next, an information input device according to a second embodiment of the present invention will be described. In the present embodiment, the phase distribution of the key arrangement (also referred to as display information) stored in the
図31は、本実施形態に係る情報入力装置が記憶する位相分布テーブル4342の一例である。位相分布テーブル4342は、キー配列に含まれる各記号を操作領域12の各操作位置に対応させた画像の位相分布を格納する。位相分布テーブル4342では、各位相分布に識別記号を付けている。なお、位相分布テーブル4342では、「X」と「#」の位置を右下の操作位置に固定している。これ以降、位相分布テーブル4342の位相分布に対応するキー配列を部分キー配列と呼び、部分キー配列に対応する位相分布を部分パターンと呼ぶことがある。
FIG. 31 is an example of a phase distribution table 4342 stored in the information input device according to this embodiment. The phase distribution table 4342 stores a phase distribution of an image in which each symbol included in the key array is associated with each operation position in the
位相分布テーブル4342には、0〜9の10個の記号のそれぞれに関して、10個の操作位置に対応させた10通りの部分パターンが格納される。すなわち、位相分布テーブル4342は、100個の部分パターンを格納する。
In the phase distribution table 4342, 10 partial patterns corresponding to 10 operation positions are stored for each of 10
一方、図22のように、10個の記号を全て配置させたキー配列の位相分布を全ての記号の組み合わせに対して用意すると、10!個(3628800個)の位相分布が必要となる。そのため、本実施形態によれば、パターン記憶部433の容量を飛躍的に削減することができる。
On the other hand, as shown in FIG. 22, if a phase distribution of a key arrangement in which all 10 symbols are arranged is prepared for all combinations of symbols, 10! (3628800) phase distributions are required. Therefore, according to the present embodiment, the capacity of the
例えば、本実施形態においては、空間変調素子26の各表示領域に各部分パターンをランダムに表示すればよい。なお、空間変調素子26は、ランダムではなく所定の規則に従って部分パターンを表示してもよい。 For example, in this embodiment, each partial pattern may be displayed randomly in each display area of the spatial modulation element 26. The spatial modulation element 26 may display the partial pattern according to a predetermined rule instead of random.
図32は、本実施形態において、光源33の光照射タイミングと、光シャッタ13のシャッタを開くタイミングとを対応させた概念図である。本実施形態においては、空間変調素子26の表示部に表示する位相分布のうち、0〜9の各記号を形成する部分キー配列を一つずつ選択してキー配列を構成する。そのため、本実施形態においては、図32のように、空間変調素子26に対する1回の書き込みタイミングで光シャッタ13を複数回開くこともある。
FIG. 32 is a conceptual diagram in which the light irradiation timing of the
例えば、空間変調素子26に対する1回の書き込みタイミングで30パターンを書き込む場合、4回の書き込みで120パターンを書き込むことができる。0〜9の10個の記号によってキー配列を構成する場合、書き込んだ120パターンから0〜9の記号を一つずつ含む10個のパターンを選択して有効キー配列を形成すればよい。この場合、パターンに含まれる記号が規則的に並んでいたとしても、光シャッタ13を開くタイミングが知られなければ第3者が有効キー配列を知ることはない。
For example, when 30 patterns are written in one write timing to the spatial modulation element 26, 120 patterns can be written in four writes. When the key arrangement is constituted by 10
すなわち、本実施形態において、パターン記憶部433は、行列形式で配置された複数の記号のうち少なくとも一つの記号が配置された部分キー配列が操作領域12に表示される部分パターンを記憶する。パターン選択部434は、パターン記憶部433から複数の部分パターンを選択する。制御条件設定部435は、複数の部分パターンを空間変調素子36の表示面に表示させることによって、操作領域12にキー配列が表示される条件を表示条件として設定する。このとき、制御条件設定部435は、有効キー配列を構成する部分キー配列の部分パターンが表示された表示領域に光を照射する発光部330の動作タイミングに合わせて、光シャッタ13を開く条件を同期条件として設定する。
That is, in the present embodiment, the
本実施形態に係る情報入力装置によれば、記憶しておく表示情報の位相分布の数を飛躍的に少なくすることができる。そのため、情報入力装置が位相分布を記憶するための記憶領域を削減することが可能となる。 With the information input device according to the present embodiment, the number of phase distributions of display information to be stored can be drastically reduced. Therefore, it is possible to reduce the storage area for the information input device to store the phase distribution.
(第3の実施形態)
次に、本発明の第3の実施形態に係る情報入力装置について説明する。本実施形態においては、キー配列を自装置内で生成する。なお、本実施形態に係る情報入力装置は、以下で説明する構成以外は、第1の実施形態に係る情報入力装置10と同様の構成である。(Third embodiment)
Next, an information input device according to a third embodiment of the present invention will be described. In the present embodiment, the key arrangement is generated in the own device. The information input device according to the present embodiment has the same configuration as that of the
図33は、本実施形態に係る情報入力装置のキー配列格納部412−2の構成を示すブロック図である。本実施形態のキー配列格納部412−2は、第1の実施形態のキー配列格納部412にキー配列生成部425を追加した構成をもつ。
FIG. 33 is a block diagram showing the configuration of the key array storage unit 412-2 of the information input device according to this embodiment. The key array storage unit 412-2 of this embodiment has a configuration in which a key
キー配列生成部425は、操作領域12に表示させるキー配列を生成する。例えば、キー配列生成部425は、制御条件生成部413の要求に応じた数のキー配列を生成する。なお、キー配列生成部425は、投射するキー配列の数だけキー配列を生成してもよいし、投射するキー配列の数よりも余分な数のキー配列を生成してもよい。キー配列生成部425は、生成したキー配列をキー配列受信部421に出力する。
The key
キー配列受信部421は、キー配列生成部425が生成したキー配列をサーバ102に送信し、それらのキー配列に対応する位相分布を要求する。キー配列受信部421は、要求したキー配列に対応する位相分布を受信すると、それらの位相分布をキー配列に対応付けて制御条件生成部413に送信する。
The key
制御条件生成部413は、受信した位相分布をキー配列に対応付けて位相分布記憶手段433に記憶する。
The control
本実施形態に係る情報入力装置においては、投射するキー配列の数に応じた数の位相分布をパターン記憶部433に記憶しておけばよい。そのため、本実施形態に係る情報入力装置によれば、キー配列記憶部422やパターン記憶部433の記憶容量を減らすことができる。
In the information input device according to the present embodiment, the number of phase distributions corresponding to the number of key arrays to be projected may be stored in the
(第4の実施形態)
次に、本発明の第4の実施形態に係る情報入力装置について説明する。(Fourth embodiment)
Next, an information input device according to a fourth embodiment of the present invention will be described.
図34のように、本実施形態に係る情報入力装置10−3は照合手段50を備える。照合手段50は、情報入力装置10−3の上位システムを利用するユーザの認証情報を照合する手段である。
As shown in FIG. 34, the information input device 10-3 according to this embodiment includes a
図35は、本実施形態に係る照合手段50の構成を示すブロック図である。照合手段50は、操作情報取得部501、操作情報照合部502、認証情報記憶部503および照合結果出力部504を有する。
FIG. 35 is a block diagram showing the configuration of the collation means 50 according to this embodiment. The
操作情報取得部501は、処理部41からキー操作情報を取得する。操作情報取得部501は、取得したキー操作情報を操作情報照合部502に出力する。
The operation
操作情報照合部502は、操作情報取得部501からキー操作情報を受信し、受信したキー操作情報を入力したユーザの認証情報を認証情報記憶部503から取得する。
The operation
認証情報記憶部503は、情報入力装置10−3の上位システムを利用するユーザの認証情報を記憶する。
The authentication
操作情報照合部502は、入力されたキー操作情報に含まれるユーザのキー操作と、認証情報記憶部503から取得したそのユーザの認証情報とを照合する。操作情報照合部502は、照合した結果を照合結果出力部504に出力する。
The operation
照合結果出力部504は、照合結果を上位システムに送信する。
The collation
本実施形態に係る情報入力装置によれば、自装置内でユーザ認証を完結することができるため、ネットワークを原因とする遅延や障害を回避することができる。ただし、情報入力装置の記憶装置には限りがあるため、ユーザ数が限られた用途に向いている。例えば、本実施形態に係る情報入力装置は、登録された少人数のユーザが特定の施設に入場する際に用いる認証などに適している。 According to the information input device according to the present embodiment, user authentication can be completed within the device itself, so that delays and failures caused by the network can be avoided. However, since the storage device of the information input device is limited, it is suitable for applications where the number of users is limited. For example, the information input device according to the present embodiment is suitable for authentication or the like used when a registered small number of users enter a specific facility.
(ハードウェア構成)
次に、本発明の各実施形態に係る情報入力装置を可能とするためのハードウェア構成について、図36のコンピュータ90を一例として挙げて説明する。なお、図36のコンピュータ90は、各実施形態に係る情報入力装置を可能とするための一構成例であって、本発明の範囲を限定するものではない。また、各実施形態に係る情報入力装置は、図3のようなインターフェース装置11の形態とする場合、図36のコンピュータ90の機能を有するマイクロコンピュータとしてもよい。(Hardware configuration)
Next, a hardware configuration for enabling the information input device according to each embodiment of the present invention will be described using the
図36のように、コンピュータ90は、プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95、通信インターフェース96を備える。プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95および通信インターフェース96は、バス99を介して互いにデータ授受可能に接続される。また、プロセッサ91、主記憶装置92、補助記憶装置93および入出力インターフェース95は、通信インターフェース96を介して、インターネットやイントラネットなどのネットワークと接続する。コンピュータ90は、ネットワークを介して上位システムのサーバやコンピュータに接続され、キー配列情報などを上位システムから受信する。
As shown in FIG. 36, the
プロセッサ91は、補助記憶装置93等に格納されたプログラムを主記憶装置92に展開し、展開されたプログラムを実行する。本実施形態においては、コンピュータ90にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ91は、本実施形態に係る情報入力装置の演算処理や制御処理を実行する。
The
主記憶装置92は、プログラムが展開される領域を有する。主記憶装置92は、例えばDRAM(Dynamic Random Access Memory)などの揮発性メモリとすればよい。また、MRAM(Magnetoresistive Random Access Memory)などの不揮発性メモリを主記憶装置92として構成・追加してもよい。
The
補助記憶装置93は、表示情報の位相分布やキー配列などのデータを記憶する手段である。補助記憶装置93は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、表示情報の位相分布を主記憶装置92に記憶させる構成とし、補助記憶装置93を省略することも可能である。
The
入出力インターフェース95は、コンピュータ90と周辺機器との接続規格に基づいて、コンピュータ90と周辺機器とを接続する装置である。通信インターフェース96は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークに接続するためのインターフェースである。なお、図36においては、インターフェースをI/F(Interface)と略して表記している。入出力インターフェース95および通信インターフェース96は、外部機器と接続するインターフェースとして共通化してもよい。
The input /
コンピュータ90には、必要に応じて、キーボードやマウス、タッチパネルなどといった入力機器を接続できるように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示部が入力機器の入力部を兼ねる構成とすればよい。プロセッサ91と入力機器との間のデータ授受は、入力インターフェース95に仲介させればよい。
You may comprise the
通信インターフェース96は、ネットワークを通じて、別のコンピュータやサーバなどの上位システムに接続される。上位システムは、通信インターフェース96を介して、本発明の各実施形態で用いる表示情報の位相分布やキー配列を含むキー配列情報をコンピュータ90に送信する。上位システムは、本発明の各実施形態で用いる表示情報の位相分布を自装置で生成してもよいし、別の装置から取得してもよい。
The
また、コンピュータ90は、各種の情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、コンピュータ90には、表示機器の表示を制御するための表示制御装置(図示しない)を備えることが好ましい。表示機器は、入力インターフェース95を介してコンピュータ90に接続すればよい。
The
また、コンピュータ90には、必要に応じて、リーダライタを備え付けてもよい。リーダライタは、バス99に接続され、プロセッサ91と図示しない記録媒体(プログラム記録媒体)との間で、記録媒体からのデータ・プログラムの読み出し、コンピュータ90の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えばSD(Secure Digital)カードやUSB(Universal Serial Bus)メモリなどの半導体記録媒体などで実現できる。また、記録媒体516は、フレキシブルディスクなどの磁気記録媒体、CD(Compact Disk)やDVD(Digital Versatile Disc)などの光学記録媒体やその他の記録媒体によって実現してもよい。
The
以上が、本発明の各実施形態に係る情報入力装置を可能とするためのハードウェア構成の一例である。本発明の各実施形態に係る情報入力装置の構成要素は、図36のようなハードウェアの一機能として実現される。 The above is an example of the hardware configuration for enabling the information input device according to each embodiment of the present invention. The components of the information input device according to each embodiment of the present invention are realized as one function of hardware as shown in FIG.
なお、図36のハードウェア構成は、各実施形態に係る情報入力装置を可能とするためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る情報入力装置による処理をコンピュータに実行させる処理プログラムも本発明の範囲に含まれる。さらに、各実施形態に係る処理プログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。 The hardware configuration in FIG. 36 is an example of a hardware configuration for enabling the information input device according to each embodiment, and does not limit the scope of the present invention. A processing program that causes a computer to execute processing by the information input device according to each embodiment is also included in the scope of the present invention. Furthermore, a program recording medium recording the processing program according to each embodiment is also included in the scope of the present invention.
以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
本発明の情報入力装置は、ATM(Automatic Teller Machine)や入場門などにおいて、ユーザが認証パスワードなどの認証情報を入力するための入力装置に利用することができる。また、本発明の情報入力装置は、ユーザが第3者に認識されないように情報を入力する装置に利用することができる。 The information input device of the present invention can be used as an input device for a user to input authentication information such as an authentication password in an ATM (Automatic Teller Machine) or an entrance gate. Moreover, the information input device of the present invention can be used as a device for inputting information so that a user is not recognized by a third party.
この出願は、2015年6月12日に出願された日本出願特願2015−118796を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2015-118796 for which it applied on June 12, 2015, and takes in those the indications of all here.
10 情報入力装置
11 インターフェース装置
13 光シャッタ
20 撮像手段
21 撮像素子
23 画像処理プロセッサ
25 内部メモリ
27 データ出力部
30 投射手段
31 制御条件取得部
32 光源制御部
33 光源
35 変調素子制御部
36 空間変調素子
38 投射部
40 制御手段
41 処理部
42 撮像制御部
43 投射制御部
44 シャッタ制御部
50 照合手段
90 コンピュータ
91 プロセッサ
92 主記憶装置
93 補助記憶装置
95 入出力インターフェース
96 通信インターフェース
99 バス
412 キー配列格納部
413 制御条件生成部
415 操作情報生成部
421 キー配列受信部
422 キー配列記憶部
423 キー配列出力部
425 キー配列生成部
431 キー配列選択部
432 有効キー配列出力部
433 パターン記憶部
434 パターン選択部
435 制御条件設定部
436 制御条件出力部
451 画像情報受信部
452 操作内容確定部
453 有効キー配列受信部
454 有効キー配列記憶部
455 操作情報生成部
456 操作情報出力部
501 操作情報取得部
502 操作情報照合部
503 認証情報記憶部
504 照合結果出力部DESCRIPTION OF
Claims (17)
前記操作領域の上方に配置され、前記表示情報に含まれる有効表示情報が前記操作領域に表示されるタイミングに合わせて開くシャッタ機構と、
前記操作領域上での操作内容を画像情報として取得する撮像手段と、
前記操作領域に前記表示情報を表示させるためのパターンを前記空間変調素子の表示手段に表示させる表示条件と、前記複数の発光手段を切り替えるタイミングと前記シャッタ機構を開くタイミングとを合わせる同期条件とを含む制御条件を設定するとともに、前記撮像手段に取得された画像情報から確定された操作内容と前記有効表示情報とを対応させた操作情報を出力する制御手段とを備える情報入力装置。A spatial modulation element having display means divided into a plurality of display areas; and a light source including a plurality of light emission means associated with each of the plurality of display areas. Projection means for projecting display information formed on the basis of the light irradiated to the means to the operation area;
A shutter mechanism that is arranged above the operation area and opens in accordance with a timing at which effective display information included in the display information is displayed in the operation area;
Imaging means for acquiring operation information on the operation area as image information;
A display condition for displaying a pattern for displaying the display information in the operation area on the display means of the spatial modulation element, and a synchronization condition for combining a timing for switching the plurality of light emitting means and a timing for opening the shutter mechanism. An information input device comprising: a control unit that sets control conditions including the output and outputs operation information in which the operation content determined from the image information acquired by the imaging unit is associated with the effective display information.
前記空間変調素子の表示手段に表示させるパターンと、前記空間変調素子の表示手段に前記パターンを表示させるタイミングとを含む条件を前記表示条件として設定し、
前記投射手段は、
前記表示条件に基づいて前記空間変調素子の表示手段に前記パターンを表示させる請求項1に記載の情報入力装置。The control means includes
A condition including a pattern to be displayed on the display unit of the spatial modulation element and a timing for displaying the pattern on the display unit of the spatial modulation element is set as the display condition.
The projection means includes
The information input device according to claim 1, wherein the pattern is displayed on a display unit of the spatial modulation element based on the display condition.
前記表示情報を格納する表示情報格納手段と、
前記表示情報格納手段から複数の前記表示情報を取得し、取得した前記複数の表示情報のうち少なくとも一つを前記有効表示情報に設定し、前記複数の表示情報に関する前記制御条件を生成する制御条件生成手段と、
前記画像情報から確定された操作内容と前記有効表示情報とを対応させて前記操作情報を生成する操作情報生成手段とを有する請求項2に記載の情報入力装置。The control means includes
Display information storage means for storing the display information;
Control conditions for acquiring a plurality of the display information from the display information storage means, setting at least one of the acquired display information as the effective display information, and generating the control conditions for the plurality of display information Generating means;
The information input device according to claim 2, further comprising operation information generation means for generating the operation information by associating the operation content determined from the image information with the effective display information.
前記複数の表示情報を前記表示情報格納手段から取得し、取得した前記複数の表示情報のうち少なくとも一つを前記有効表示情報として選択する表示情報選択手段と、
前記表示情報選択手段によって選択された前記有効表示情報を前記操作情報生成手段に出力する有効表示情報出力手段と、
前記表示情報を前記操作領域に投射する際に前記空間変調素子の表示手段に表示させるパターンを記憶するパターン記憶手段と、
前記複数の表示情報に対応する前記パターンを前記パターン記憶手段から選択するパターン選択手段と、
前記空間変調素子の表示手段に表示させるパターンと、前記空間変調素子の表示手段に前記パターンを表示させるタイミングとを含む前記表示条件を設定するとともに、前記有効表示情報のパターンを表示する表示領域に対応する前記発光手段から光を出射するタイミングと前記シャッタ機構を開くタイミングとを合わせるための前記同期条件を設定する制御条件設定手段と、
前記表示条件と前記同期条件とを含む前記制御条件を前記投射手段に出力する制御条件出力手段とを有する請求項3に記載の情報入力装置。The control condition generating means
Display information selection means for acquiring the plurality of display information from the display information storage means, and selecting at least one of the acquired display information as the effective display information;
Effective display information output means for outputting the effective display information selected by the display information selection means to the operation information generating means;
Pattern storage means for storing a pattern to be displayed on the display means of the spatial modulation element when projecting the display information onto the operation area;
Pattern selection means for selecting the pattern corresponding to the plurality of display information from the pattern storage means;
The display condition including a pattern to be displayed on the display unit of the spatial modulation element and a timing for displaying the pattern on the display unit of the spatial modulation element is set, and a display area for displaying the pattern of the effective display information is displayed. Control condition setting means for setting the synchronization condition for matching the timing of emitting light from the corresponding light emitting means and the timing of opening the shutter mechanism;
The information input device according to claim 3, further comprising a control condition output unit that outputs the control condition including the display condition and the synchronization condition to the projection unit.
前記撮像手段から画像情報を取得する画像情報取得手段と、
前記画像情報を解析して前記操作内容を確定する操作内容確定手段と、
前記制御条件設定手段から前記有効表示情報を受信する有効表示情報受信手段と、
前記有効表示情報を記憶する有効表示情報記憶手段と、
前記操作内容確定手段によって確定された操作内容と前記有効表示情報とを対応させて前記操作情報を生成する操作情報生成手段と、
前記操作情報を出力する操作情報出力手段と有する請求項4に記載の情報入力装置。The operation information generating means includes
Image information acquisition means for acquiring image information from the imaging means;
Operation content confirmation means for analyzing the image information and confirming the operation content;
Effective display information receiving means for receiving the effective display information from the control condition setting means;
Effective display information storage means for storing the effective display information;
Operation information generating means for generating the operation information by associating the operation content determined by the operation content determination means with the effective display information;
The information input device according to claim 4, further comprising operation information output means for outputting the operation information.
前記画像情報を解析し、操作領域12上での操作位置を確定し、前記操作位置が指示された時刻と前記操作位置とを関連付けた操作位置情報を前記操作内容として生成し、
前記操作情報生成手段は、
前記操作位置情報と前記有効表示情報とを対応付けることによって前記操作情報を生成する請求項5に記載の情報入力装置。The operation content determination means includes
Analyzing the image information, determining an operation position on the operation area 12, generating operation position information associating the time at which the operation position is designated and the operation position as the operation content,
The operation information generating means includes
The information input device according to claim 5, wherein the operation information is generated by associating the operation position information with the effective display information.
前記表示領域ごとに複数の同じ前記パターンを行列形式に配置して表示させる制御をし、
前記投射手段は、
前記制御手段の制御に応じて、前記空間変調素子の表示手段の表示領域ごとに複数の同じ前記パターンを表示させるとともに、前記発光手段が出射する光の照射領域をそれぞれの前記表示領域の範囲内に設定する請求項1に記載の情報入力装置。The control means includes
A plurality of the same pattern for each display area is controlled to be arranged and displayed in a matrix format;
The projection means includes
Under the control of the control means, a plurality of the same patterns are displayed for each display area of the display means of the spatial modulation element, and the irradiation area of the light emitted by the light emitting means is within the range of the display area. The information input device according to claim 1, wherein
複数の記号が行列形式で配置されたキー配列を前記表示情報として格納し、
前記パターン記憶手段は、
複数の前記キー配列に対応する前記パターンを記憶し、
前記表示情報選択手段は、
複数の前記キー配列を前記表示情報格納手段から取得し、取得した前記複数のキー配列のうち少なくとも一つを前記有効表示情報に相当する有効キー配列として選択し、
前記有効表示情報出力手段は、
前記有効キー配列を前記操作情報生成手段に出力し、
前記パターン選択手段は、
前記表示情報選択手段が取得した前記キー配列に対応する前記パターンを選択し、
前記制御条件設定手段は、
前記表示情報選択手段が取得した前記キー配列を前記操作領域に投射するための前記制御条件を設定する請求項7に記載の情報入力装置。The display information storage means includes
A key arrangement in which a plurality of symbols are arranged in a matrix format is stored as the display information,
The pattern storage means
Storing the patterns corresponding to a plurality of the key arrangements;
The display information selection means includes
Obtaining a plurality of the key arrangements from the display information storage means, selecting at least one of the obtained key arrangements as an effective key arrangement corresponding to the effective display information;
The effective display information output means includes
Outputting the valid key arrangement to the operation information generating means;
The pattern selection means includes
Select the pattern corresponding to the key arrangement acquired by the display information selection means,
The control condition setting means includes
The information input device according to claim 7, wherein the control condition for projecting the key arrangement acquired by the display information selection unit to the operation area is set.
行列形式で配置された複数の記号のうち少なくとも一つの記号が配置された部分キー配列を前記操作領域に投射する際に前記空間変調素子の表示手段に表示させる部分パターンを記憶し、
前記パターン選択手段は、
前記パターン記憶手段から複数の前記部分パターンを選択し、
前記制御条件設定手段は、
前記操作領域に前記部分キー配列をランダムに表示させるために前記複数の部分パターンを前記空間変調素子の表示手段に表示させる条件を前記表示条件として設定するとともに、前記有効キー配列を構成する部分キー配列の前記部分パターンが表示された前記表示領域に光を照射する前記発光手段の動作タイミングに合わせて前記シャッタ機構を開く条件を前記同期条件として設定する請求項8に記載の情報入力装置。The pattern storage means
Storing a partial pattern to be displayed on the display means of the spatial modulation element when projecting a partial key arrangement in which at least one symbol is arranged among a plurality of symbols arranged in a matrix format onto the operation region;
The pattern selection means includes
Selecting the plurality of partial patterns from the pattern storage means;
The control condition setting means includes
In order to display the partial key arrangement at random in the operation area, a condition for displaying the plurality of partial patterns on the display means of the spatial modulation element is set as the display condition, and the partial keys constituting the effective key arrangement The information input device according to claim 8, wherein a condition for opening the shutter mechanism is set as the synchronization condition in accordance with an operation timing of the light emitting unit that irradiates the display area where the partial pattern of the array is displayed.
前記キー配列を生成するキー配列生成手段を含む請求項3に記載の情報入力装置。The key array storage means includes
The information input device according to claim 3, further comprising key array generation means for generating the key array.
認証情報を記憶する認証情報記憶手段と、
前記操作情報取得手段によって取得された前記操作情報と、前記認証情報記憶手段に記憶された前記認証情報とを照合する操作情報照合手段と、
前記操作情報照合手段の照合結果を上位システムに出力する照合結果出力手段とを有する照合手段を備える請求項1乃至10のいずれか一項に記載の情報入力装置。Operation information acquisition means for acquiring the operation information;
Authentication information storage means for storing authentication information;
Operation information collating means for collating the operation information acquired by the operation information acquiring means with the authentication information stored in the authentication information storage means;
The information input device according to any one of claims 1 to 10, further comprising a collating unit including a collation result output unit that outputs a collation result of the operation information collating unit to a higher system.
前記複数の表示情報に対応する位相分布を前記パターンとして記憶し、
前記制御手段は、
前記空間変調素子の表示手段の表示領域ごとに前記複数の表示情報に対応する前記位相分布を表示させる条件を前記表示条件として設定し、
前記投射手段は、
前記制御手段が設定した前記表示条件に基づいて、前記空間変調素子の表示手段の表示領域ごとに前記複数の表示情報に対応する前記位相分布を表示する請求項4に記載の情報入力装置。The pattern storage means
Storing a phase distribution corresponding to the plurality of display information as the pattern;
The control means includes
A condition for displaying the phase distribution corresponding to the plurality of display information for each display region of the display means of the spatial modulation element is set as the display condition,
The projection means includes
The information input device according to claim 4, wherein the phase distribution corresponding to the plurality of display information is displayed for each display area of the display unit of the spatial modulation element based on the display condition set by the control unit.
第1の波長領域の光を出射する第1の発光手段と、前記第1の発光手段が出射する光とは異なる波長領域の光を出射する第2の発光手段とを少なくとも有する請求項1乃至15のいずれか一項に記載の情報入力装置。The light source is
The first light emitting means for emitting light in the first wavelength region and at least second light emitting means for emitting light in a wavelength region different from the light emitted by the first light emitting means. The information input device according to any one of 15.
前記情報入力装置から前記操作情報をネットワーク経由で取得し、自装置が記憶する認証情報と前記操作情報とを照合し、前記操作情報と前記認証情報との照合結果を上位システムに送信するサーバとを備える照合システム。A spatial modulation element having display means divided into a plurality of display areas; and a light source including a plurality of light emission means associated with each of the plurality of display areas. Projection means for projecting display information formed on the basis of the light irradiated on the means to the operation area, and effective display information included in the display information is displayed on the operation area. A shutter mechanism that opens in accordance with the timing, an imaging unit that acquires the operation content on the operation region as image information, and a pattern for displaying the display information in the operation region is displayed on the display unit of the spatial modulation element And setting a control condition including a display condition to be synchronized, and a synchronization condition for matching the timing for switching the plurality of light emitting means and the timing for opening the shutter mechanism To an information input device and a control means for outputting the operation information associated with the with the determined operation content from the acquired image information to the image pickup means and the effective display information,
A server that obtains the operation information from the information input device via a network, collates authentication information stored in the own device and the operation information, and transmits a collation result of the operation information and the authentication information to a host system; A collation system comprising:
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015118796 | 2015-06-12 | ||
JP2015118796 | 2015-06-12 | ||
PCT/JP2016/002781 WO2016199415A1 (en) | 2015-06-12 | 2016-06-08 | Information input device and matching system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016199415A1 true JPWO2016199415A1 (en) | 2018-04-05 |
JP6693518B2 JP6693518B2 (en) | 2020-05-13 |
Family
ID=57503393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017523113A Active JP6693518B2 (en) | 2015-06-12 | 2016-06-08 | Information input device and collation system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6693518B2 (en) |
WO (1) | WO2016199415A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6949927B2 (en) * | 2019-12-12 | 2021-10-13 | Necプラットフォームズ株式会社 | Light transmitter, communication system, and light transmission method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06110403A (en) * | 1992-09-30 | 1994-04-22 | Hitachi Ltd | Display device and display panel |
US6529209B1 (en) * | 2000-01-12 | 2003-03-04 | International Business Machines Corporation | Method for providing privately viewable data in a publically viewable display |
WO2009022483A1 (en) * | 2007-08-16 | 2009-02-19 | Nec Corporation | Display system and display method |
JP2009204948A (en) * | 2008-02-28 | 2009-09-10 | Toshiba Corp | Image display apparatus and its method |
JP2010113568A (en) * | 2008-11-07 | 2010-05-20 | Toyota Infotechnology Center Co Ltd | Motion detector and operation system using the same |
-
2016
- 2016-06-08 WO PCT/JP2016/002781 patent/WO2016199415A1/en active Application Filing
- 2016-06-08 JP JP2017523113A patent/JP6693518B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2016199415A1 (en) | 2016-12-15 |
JP6693518B2 (en) | 2020-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10225529B2 (en) | Projection device using a spatial modulation element, projection method, and program storage medium | |
CN108885692A (en) | Face is identified in face-recognition procedure and feedback is provided | |
JP6763434B2 (en) | Information input device and information input method | |
US20120182461A1 (en) | Imaging terminal having focus control | |
JP2016529532A (en) | Application specific dual mode projection system and method | |
JP6911759B2 (en) | Projection equipment, projection system and interface equipment | |
JP2014023083A (en) | Display device, imaging device, and image editing program | |
WO2018101097A1 (en) | Projection device, projection method, and program recording medium | |
CN105247404B (en) | phased backlight | |
JP6881600B2 (en) | Projection device, interface device and projection method | |
KR20090022710A (en) | Digital photographing apparatus, method for controlling the same, and recording medium storing program to implement the method | |
WO2015129788A1 (en) | Bar code display device, method for operating bar code display device, and program | |
JP6693518B2 (en) | Information input device and collation system | |
US10621400B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
US10671221B2 (en) | Display apparatus with detection function | |
JP2017101965A (en) | Device | |
JP2009303191A (en) | Method of encrypting image information, device for encrypting image information, and computer program for encrypting image | |
JP6645588B2 (en) | Display system | |
US20160156834A1 (en) | Apparatus and method for capturing lightfield image | |
JP6763368B2 (en) | Control devices, control methods and programs | |
CN110063054A (en) | Control equipment, control method and program | |
JP2009176009A (en) | Display device, display method, and program | |
US20220417478A1 (en) | Light transmitting device, communication system, and light transmitting method | |
JP2007017516A (en) | Projector provided with function of projecting two-dimensional positional information | |
WO2022201938A1 (en) | Projection device, control method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200317 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6693518 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |