JP6607121B2 - 画像認識装置、画像認識方法および画像認識ユニット - Google Patents

画像認識装置、画像認識方法および画像認識ユニット Download PDF

Info

Publication number
JP6607121B2
JP6607121B2 JP2016068276A JP2016068276A JP6607121B2 JP 6607121 B2 JP6607121 B2 JP 6607121B2 JP 2016068276 A JP2016068276 A JP 2016068276A JP 2016068276 A JP2016068276 A JP 2016068276A JP 6607121 B2 JP6607121 B2 JP 6607121B2
Authority
JP
Japan
Prior art keywords
image
image display
detection
quadrant
image recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016068276A
Other languages
English (en)
Other versions
JP2017181281A5 (ja
JP2017181281A (ja
Inventor
泰介 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2016068276A priority Critical patent/JP6607121B2/ja
Priority to US16/090,117 priority patent/US10664104B2/en
Priority to CN201780021132.4A priority patent/CN109073363B/zh
Priority to PCT/JP2017/011420 priority patent/WO2017170027A1/ja
Publication of JP2017181281A publication Critical patent/JP2017181281A/ja
Publication of JP2017181281A5 publication Critical patent/JP2017181281A5/ja
Application granted granted Critical
Publication of JP6607121B2 publication Critical patent/JP6607121B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Description

本発明は、画像認識装置、画像認識方法および画像認識ユニットに関するものである。
プロジェクターからの画像が投影されたスクリーンに指が触れているかいないかを検知する画像認識に応用できると思われる技術として、ＮＩＲ光ランダムスペックルパターンを投影し、指で反射したＮＩＲ光（反射光）をＮＩＲカメラで取得し、取得した情報からスクリーンに指が触れているかいないかを検知する技術がある（例えば、特許文献１参照）。
特表２００９−５１１８９７号公報
しかしながら、特許文献１に記載の画像認識技術では、ＮＩＲカメラから見たときの指の奥行き方向の位置（深度）の検知精度が悪く、それに伴って、タッチ認識の精度も悪いという問題がある。
本発明の目的は、精度の高いタッチ認識を行うことのできる画像認識装置、画像認識方法および画像認識ユニットを提供することにある。
このような目的は、下記の本発明により達成される。
本発明の画像認識装置は、画像表示面に検出用画像を表示する検出用画像表示装置と、前記画像表示面を撮像する撮像装置と、を有し、前記検出用画像の鉛直方向上側の端を形成する光線群を含む面を第１仮想面、前記検出用画像の鉛直方向下側の端を形成する光線群を含む面を第２仮想面、前記画像表示面と前記検出用画像表示装置との間に位置し、前記第１仮想面と前記第２仮想面とに挟まれた領域を第１象限、前記第１象限の鉛直方向上側に位置する領域を第２象限、前記第１象限の鉛直方向下側に位置する領域を第３象限としたとき、前記第２象限または前記第３象限に前記撮像装置が配置されている画像表示ユニットで用いられる画像認識装置であって、
前記撮像装置が取得した画像に基づいて、前記検出用画像表示装置と前記画像表示面との間に対象物が位置したときに前記対象物によって前記検出用画像表示装置からの光が遮られることで前記画像表示面上に生じる消失部と、前記撮像装置と前記検出用画像表示装置の位置関係から決定され、かつ、前記消失部を通るエピポーラ線上にあって、前記対象物上に表示される前記検出用画像と、の距離を検知し、検知結果に基づいて前記対象物が前記画像表示面に接触しているか否かを判断する画像処理部を有することを特徴とする。
これにより、精度の高いタッチ認識を行うことのできる画像認識装置となる。
本発明の画像認識装置では、前記検出用画像は、前記エピポーラ線に交差する線状パターンを有していることが好ましい。
これにより、検出用画像が比較的簡単な構成となる。
本発明の画像認識装置では、前記撮像装置は、前記第２象限に配置され、
前記第１仮想面および前記第２仮想面は、共に、前記画像表示面側が前記検出用画像表示装置側よりも下方に位置するように傾斜していることが好ましい。
これにより、消失部を撮像装置でより確実に撮像することができる。
本発明の画像認識装置では、前記撮像装置は、前記第３象限に配置され、
前記第１仮想面および前記第２仮想面は、共に、前記画像表示面側が前記検出用画像表示装置側よりも上方に位置するように傾斜していることが好ましい。
これにより、消失部を撮像装置でより確実に撮像することができる。
本発明の画像認識装置では、前記線状パターンの前記消失部によって消失した消失部分は、前記対象物上に表示され、
前記画像処理部は、前記消失部分の前記対象物が無い場合に表示されている位置と、前記対象物上に表示されている実際の位置と、の前記エピポーラ線に沿った距離を検出することが好ましい。
これにより、比較的簡単に、かつ、高精度にタッチ認識を行うことができる。
本発明の画像認識装置では、前記画像処理部は、前記消失部の形状に基づいて、前記対象物の先端部の位置を推定する位置推定部を有していることが好ましい。
これにより、対象物と画像表示面との接触位置をより正確に検出することができる。
本発明の画像認識装置では、前記検出用画像は、前記エピポーラ線に交差して延在し、互いにパターンが異なる第１線状パターンおよび第２線状パターンを有し、
前記第１線状パターンおよび前記第２線状パターンが前記エピポーラ線の延在方向に沿って交互に並んで配置されていることが好ましい。
これにより、撮像装置の分解能よりも高い分解能で、タッチ認識を行うことができると共に、対象物と画像表示面との接触位置を検出することができる。
本発明の画像認識装置では、前記検出用画像は、前記撮像装置から近い側に位置する第１領域と、前記第１領域よりも前記撮像装置から遠い側に位置する第２領域と、を有し、
前記第１領域には前記エピポーラ線に沿って延在する線状パターンが配置され、前記第２領域には前記エピポーラ線に交差する線状パターンが配置されていることが好ましい。
これにより、特に、第１領域において、より確実に、タッチ認識を行うことができる。
本発明の画像認識方法は、画像表示面に検出用画像を表示する検出用画像表示装置と、前記画像表示面を撮像する撮像装置と、を有し、前記検出用画像の鉛直方向上側の端を形成する光線群を含む面を第１仮想面、前記検出用画像の鉛直方向下側の端を形成する光線群を含む面を第２仮想面、前記画像表示面と前記検出用画像表示装置との間に位置し、前記第１仮想面と前記第２仮想面とに挟まれた領域を第１象限、前記第１象限の鉛直方向上側に位置する領域を第２象限、前記第１象限の鉛直方向下側に位置する領域を第３象限としたとき、前記第２象限または前記第３象限に前記撮像装置が配置されている画像表示ユニットで用いられる画像認識方法であって、
前記撮像装置が取得した画像に基づいて、前記検出用画像表示装置と前記画像表示面との間に対象物が位置したときに前記対象物によって前記検出用画像表示装置からの光が遮られることで前記画像表示面上に生じる消失部と、前記撮像装置と前記検出用画像表示装置の位置関係から決定され、かつ、前記消失部を通るエピポーラ線上にあって、前記対象物上に表示される前記検出用画像と、の距離を検知し、検知結果に基づいて前記対象物が前記画像表示面に接触しているか否かを判断する判断ステップを有することを特徴とする。
これにより、精度の高いタッチ認識を行うことができる。
本発明の画像認識ユニットは、本発明の画像認識装置と、
前記検出用画像表示装置と、
前記撮像装置と、を有することを特徴とする。
これにより、精度の高いタッチ認識を行うことのできる画像認識ユニットが得られる。
本発明の画像認識ユニットでは、前記画像表示面に画像を表示する画像表示装置を有することが好ましい。
これにより、画像表示面に所望の画像を表示することができる。
本発明の第１実施形態に係る画像認識ユニットの構成を示す側面図である。 図１に示す画像認識ユニットの上面図である。 検出用画像を示す平面図である。 エピポーラ線について説明する図である。 タッチ認識を説明するための図である。 タッチ認識を説明するための図である。 スクリーンと指の離間距離の算出方法の一例を説明するための図である。 本発明の第２実施形態に係る画像認識ユニットのタッチ認識を説明する図である。 本発明の第３実施形態に係る画像認識ユニットで用いられる検出用画像を示す図である。 カメラで取得した画像をステレオ平行化した図である。 カメラで取得した画像をステレオ平行化した図である。 本発明の第４実施形態に係る画像認識ユニットで用いられる検出用画像を示す図である。 図１２に示す検出用画像の変形例を示す図である。 本発明の第５実施形態に係る画像認識ユニットの構成を示す側面図である。 本発明の第６実施形態に係る画像認識ユニットの構成を示す側面図である。
以下、本発明の画像認識装置、画像認識方法および画像認識ユニットの好適な実施形態について、添付図面を参照しつつ説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態に係る画像認識ユニットの構成を示す側面図である。図２は、図１に示す画像認識ユニットの上面図である。図３は、検出用画像を示す平面図である。図４は、エピポーラ線について説明する図である。図５および図６は、タッチ認識を説明するための図である。図７は、スクリーンと指の離間距離の算出方法の一例を説明するための図である。なお、説明の便宜上、図１に示すように、互いに直交する３軸をＸ軸、Ｙ軸およびＺ軸とし、Ｙ軸が鉛直方向に沿うこととする。
図１に示す画像認識ユニット１００は、画像表示面としての平坦なスクリーン９００に対象物としての指Ｆが接触しているか否かを判断することのできる装置である。このような画像認識ユニット１００によれば、スクリーン９００への指Ｆの接触を検知することでスクリーン９００に映し出されている画像（観察者に視認させたい画像。以下「表示用画像」とも言う。）を切り替えることができる。なお、以下では、説明の便宜上、スクリーン９００に指Ｆが接触しているか否かの判断を「タッチ認識」と言う。
また、画像認識ユニット１００は、例えば、プレゼンテーションに利用することができ、プレゼンターの指Ｆのタッチ認識を行って、必要時にスクリーン９００に映し出される表示用画像を切り替えたり、拡大または縮小したりすることで、プレゼンテーションをスムーズに進行することが可能となる。
なお、画像表示面としては、スクリーン９００に限定されず、例えば、壁、ガラス等であってもよい。また、画像表示面は、平坦でなくてもよく、球面や凹凸面であってもよい。また、画像表示面は、経時的に形状が変化してもよい。また、タッチ認識を行う対象物としては、指Ｆに限定されず、例えば、指し棒、画像表示面に吸着したマグネット等であってもよい。また、画像認識ユニット１００の用途としては、プレゼンテーションに限定されず、例えば、デパート等の店舗案内、取扱商品の紹介・検索等、様々な用途に用いることができる。
このような画像認識ユニット１００は、図１および図２に示すように、スクリーン９００に検出用画像８００を表示する検出用画像表示装置としてのプロジェクター３００と、スクリーン９００を撮像する撮像装置としてのカメラ４００と、を有する画像表示ユニット２００と、タッチ認識を行う画像認識装置５００と、スクリーン９００に表示用画像（画像）を表示する画像表示装置としてのプロジェクター７００と、を有している。
プロジェクター３００およびカメラ４００は、異なる位置に配置されている。また、プロジェクター３００およびカメラ４００の相対的（幾何的）な位置関係は一定であり、位置関係に関する情報は、画像認識装置５００が有する図示しない記憶部に記憶され、適宜使用される。
ここで、プロジェクター３００およびカメラ４００の具体的な位置関係を説明する。図１に示すように、検出用画像８００の鉛直方向上側（＋Ｙ軸側）の端を形成する光線群を含む面を第１仮想面ｆ１、検出用画像８００の鉛直方向下側（−Ｙ軸側）の端を形成する光線群を含む面を第２仮想面ｆ２、スクリーン９００とプロジェクター３００との間に位置し、第１仮想面ｆ１と第２仮想面ｆ２とに挟まれた領域を第１象限Ｓ１、第１象限Ｓ１の鉛直方向上側に位置する領域を第２象限Ｓ２、第１象限Ｓ１の鉛直方向下側に位置する領域を第３象限Ｓ３としたとき、第２象限Ｓ２にカメラ４００が配置されている。また、プロジェクター３００は、例えば、天井等に吊り下げられており、比較的高い位置から斜め下側に向けて光を出射するように配置されている。そして、プロジェクター３００からはスクリーン９００の法線（Ｚ軸）と一致する光軸を持つ光が出射されず、第１仮想面ｆ１および第２仮想面ｆ２が、共に、スクリーン９００側がプロジェクター３００側よりも下方に位置するように傾斜している。プロジェクター３００およびカメラ４００をこのような配置とすることで、プロジェクター３００とスクリーン９００との間に指Ｆが存在したときに、指Ｆによってプロジェクター３００からの光（検出用画像８００を形成する光）が遮蔽されることでスクリーン９００上に生じる消失部８９０（影部。図６参照。）をカメラ４００でより確実に撮像することができる。
また、図２に示すように、鉛直方向上側から見た平面視で、プロジェクター３００とカメラ４００とは、スクリーン９００の法線方向（Ｚ軸方向）に沿って並んで配置されている。さらには、プロジェクター３００の光軸およびカメラ４００の光軸が、それぞれ、法線方向に沿っている。
以上、プロジェクター３００およびカメラ４００の配置について説明したが、プロジェクター３００およびカメラ４００の配置としては、第２象限Ｓ２にカメラ４００が配置されていれば、上述の配置に限定されない。
以下、プロジェクター３００、カメラ４００および画像認識装置５００について順に説明する。
［プロジェクター３００］
プロジェクター３００は、タッチ認識を行うための検出用画像８００をスクリーン９００に表示する装置である。本実施形態のプロジェクター３００は、ＮＩＲ（近赤外）光を出射する光源と、光源から出射されたＮＩＲ光を回折する回折光学素子と、回折したＮＩＲ光を投影するレンズ系と、を有する構成となっている。これにより、プロジェクター３００の構成が比較的簡単なものとなる。特に、ＮＩＲ光を用いることで、検出用画像８００が人間に視認され難くなるため、プロジェクター７００からの映像（表示用画像）を劣化させるおそれがない。
なお、プロジェクター３００としては、検出用画像８００をスクリーン９００に投影することができれば本実施形態の構成に限定されず、例えば、光走査方式のプロジェクターであってもよいし、ＬＣＤ方式のプロジェクターであってもよいし、ＤＭＤ方式のプロジェクターであってもよい。また、プロジェクター３００の光源としては、ＮＩＲ光を出射する光源に限定されず、可視光を出射する光源であってもよい。この場合には、検出用画像８００を人間に視認され難いような輝度変化を与えたものとしたり、人間の眼で視認され難い周波数で周期的に表示したりするようにすることが好ましい。これにより、検出用画像８００との重なりによって表示用画像が劣化するおそれを低減することができる。
このようなプロジェクター３００によってスクリーン９００に表示される検出用画像８００は、図３に示すように、エピポーラ線ＥＬに対して交差する方向に延びる線状パターン８１０がエピポーラ線ＥＬの延在方向に沿って等ピッチ（等間隔）に複数配置された画像となっている。これにより、検出用画像８００が比較的簡単な構成となる。特に、本実施形態では、線状パターン８１０がエピポーラ線ＥＬに対して直交している。そのため、エピポーラ線ＥＬの延在方向でのピッチは同じであるがエピポーラ線ＥＬに対して直交していない線状パターン８１０と比較して、最小ピッチを大きくすることができる。したがって、画像認識装置５００によって、隣り合う線状パターン８１０をより明確に判別することができ、タッチ認識をより高精度に行うことができる。ここで、線状パターン８１０のピッチとしては特に限定されず、カメラ４００の分解能によっても異なるが、例えば、５ｍｍ以上、２０ｍｍ以下程度とすることができる。なお、図３は、説明の便宜上、エピポーラ線ＥＬが垂直成分となるようにステレオ平行化した検出用画像８００を図示している。実際には、エピポーラ線ＥＬが放射状に延びていることから、線状パターン８１０は、円弧状のパターンとなる。
ここで、エピポーラ線ＥＬについて簡単に説明する。エピポーラ線ＥＬは、プロジェクター３００とカメラ４００の幾何的（相対的）な位置関係によって決定する線である。具体的には、図４に示すように、カメラ４００のカメラ中心（レンズ系の主点）Ｃ１とプロジェクター３００のプロジェクター中心（レンズ系の主点）Ｃ２とを結ぶ直線（ベースライン）ｌ２と、プロジェクター３００の仮想画像平面π２との交点をエピポーラ点Ｐｅと言い、仮想画像平面π２内においてエピポーラ点Ｐｅを通る全ての直線をエピポーラ線ＥＬと言う。
また、指Ｆがカメラ４００の画像に含まれていれば、カメラ４００の画像平面π１内での指Ｆの座標（面内座標）ｘが決定される。この座標ｘとカメラ中心Ｃ１とを通る直線ｌ１と直線ｌ２とによって規定される平面をエピポーラ平面Σと言う。そして、エピポーラ平面Σと仮想画像平面π２とが交差してできる直線ｌ３と一致するエピポーラ線ＥＬを「エピポーラ線ＥＬ’」とした場合、エピポーラ線ＥＬ’上のどこかに指Ｆが位置することになる。
以上、検出用画像８００について説明したが、検出用画像８００としては、タッチ認識に用いることができれば、これに限定されず、例えば、複数の点（ドット）が均一に散らばっているような画像であってもよい。
［カメラ４００］
カメラ４００は、スクリーン９００上の検出用画像８００を撮像する装置である。このようなカメラ４００は、例えば、ＮＩＲ光に対応したＮＩＲカメラであり、レンズ系および撮像素子を備える受光ユニットと、撮像素子からの映像信号を処理する処理部と、を有している。
［画像認識装置］
画像認識装置５００は、前述したプロジェクター３００およびカメラ４００を用いてタッチ認識を行う装置である。このような画像認識装置５００は、図１に示すように、画像処理部５１０を有している。画像処理部５１０は、カメラ４００が取得した画像に基づいて、プロジェクター３００とスクリーン９００との間に指Ｆが位置したときに当該指Ｆによってプロジェクター３００からの光（検出用画像８００を形成する光）が遮られることでスクリーン９００上に生じる消失部８９０と、カメラ４００とプロジェクター３００の位置関係から決定され、かつ、消失部８９０を通るエピポーラ線ＥＬ’上にあって指Ｆ上に表示される検出用画像８００と、の距離Ｄを検知し、検知結果（求められた距離Ｄ）に基づいてタッチ認識を行うように構成されている。このように、距離Ｄに基づくことで、簡単かつ高精度なタッチ認識が可能となる。以下、画像処理部５１０について具体的に説明する。
図５および図６は、それぞれ、カメラ４００で撮像したスクリーン９００上の検出用画像８００をステレオ平行化した画像を示す図である。スクリーン９００とプロジェクター３００との間に指Ｆが存在しない場合には、プロジェクター３００からの光が遮られることなくスクリーン９００に照射されるため、図５に示すように、スクリーン９００に表示された検出用画像８００には消失部８９０が生じない。これに対して、スクリーン９００とプロジェクター３００との間に指Ｆが存在する場合には、プロジェクター３００からの光が指Ｆに遮られるため、図６に示すように、スクリーン９００に表示された検出用画像８００には指Ｆで遮られた部分に相当する消失部８９０が生じ、消失部８９０によって消失した部分（消失部分）は、エピポーラ線ＥＬの延在方向にずれて指Ｆ上に表示されている。
図６に示すように、線状パターン８１１、８１２（８１０）の消失部８９０によって消失した消失部分８１１ａ、８１２ａは、エピポーラ線ＥＬ’の延在方向にずれて指Ｆ上に表示される。そのため、画像処理部５１０は、ステレオ平行化した画像から、消失部８９０と重なる線状パターン８１１、８１２のうち最も上側（指Ｆに対して遠位側）に位置する線状パターン８１１の位置に基づいて、消失部分８１１ａの本来の位置Ｐ１（指Ｆが無い場合に表示されている位置）を設定し、次に、位置Ｐ１を通るエピポーラ線ＥＬ’上に位置し、指Ｆ上に表示されている実際の消失部分８１１ａの位置Ｐ２を設定する。なお、指Ｆ上の消失部分８１１ａと消失部８９０との間に線状パターン８１１以外の線状パターン８１０が表示されることはあり得ず、消失部８９０を下側に抜けて最初に出現する線状パターン８１０が消失部分８１１ａであると断定することができる。そして、次に、画像処理部５１０は、位置Ｐ１と位置Ｐ２とのエピポーラ線ＥＬ’に沿った距離Ｄを求める。この距離Ｄは、スクリーン９００と指Ｆとの離間距離が短い程、小さくなるため、画像処理部５１０は、例えば、距離Ｄが予め設定した閾値以下であれば、指Ｆがスクリーン９００に接触している「接触状態」と判断し、閾値を超えていれば、指Ｆがスクリーン９００に接触していない「非接触状態」と判断する（判断ステップ）。このような画像処理部５１０によれば、距離Ｄを求めるだけでよいため、比較的簡単に、かつ、高精度にタッチ認識を行うことができる。
さらに、画像処理部５１０は、ステレオ平行化した画像から指Ｆのタッチ位置のＸＹ座標（平面座標）を検出する。なお、消失部８９０の先端部が指Ｆの先端部の位置に対応するため、消失部８９０の先端部（消失部分８１１ａ）の座標をタッチ位置の座標として検出することが好ましい。
また、画像処理部５１０は、タッチ認識の結果を図示しない制御部に送信する。この判定結果を受けた制御部は、画像処理部５１０から送信されたタッチ認識の結果が「接触状態」である場合には、共に送信されたタッチ位置の座標情報に基づいて、プロジェクター７００に対して、例えば、スクリーン９００に表示されている表示用画像を拡大または縮小する命令や、表示用画像を切り替える命令等、指Ｆの接触位置によって定められている画面操作命令を送信する。このような制御を行うことで、指Ｆでスクリーン９００をタッチするだけで、スクリーン９００に表示される表示用画像を操作することができるため、利便性の高い画像認識ユニット１００となる。
以上のような画像認識ユニット１００によれば、精度の高いタッチ認識を行うことができる。
なお、以下に、スクリーン９００と指Ｆの離間距離（スクリーン９００からの指Ｆの浮遊距離）の算出方法の一例を図７に基づいて説明する。カメラ４００の焦点距離をｆとし、カメラ４００とプロジェクター３００との距離からなる基線長をＬとし、スクリーン９００に対するカメラ４００の光軸の傾きをαとし、カメラ４００とスクリーン９００の距離（ステレオ基準面方向の距離）をｈとしたとき、事前の校正によって、ｔａｎβ１＝ｚ１／（Ｌ−ｙ１）、ｔａｎα＝（ｈ＋ｙ１）／ｚ１、ｚ１＝ｙ１×（ｆ／ｉ１）、ｚ２＝ｙ２×（ｆ／ｉ２）の関係を満足している。また、三角測量の基本原理より、ｚ１＝Ｌ／｛（ｉ１／ｆ）＋（１／ｔａｎβ１）｝、ｚ２＝Ｌ／｛（ｉ２／ｆ）＋（１／ｔａｎβ１）｝の関係を満足している。また、図７より、（ｈ＋ｙ１）／ｚ１＝（ｈ＋ｙ０）／ｚ２の関係を満足している。よって、スクリーン９００と指Ｆの離間距離Δｆは、Δｆ＝（ｙ２−ｙ０）×ｃｏｓαの関係を満足する。これにより、スクリーン９００と指Ｆの離間距離Δｆを比較的簡単に算出することができる。
＜第２実施形態＞
次に、本発明の第２実施形態に係る画像認識ユニットについて説明する。
図８は、本発明の第２実施形態に係る画像認識ユニットのタッチ認識を説明する図である。なお、図８では、説明の便宜上、エピポーラ線が垂直成分となるようにステレオ平行化した図を示している。
以下、本発明の第２実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第２実施形態の画像認識ユニットは、画像認識装置の構成が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
本実施形態の画像処理部５１０は、前述した第１実施形態と比較して、タッチ位置のＸＹ座標をより精度よく検出できるようになっている。以下、具体的に説明する。本実施形態の画像処理部５１０は、消失部８９０の形状に基づいて、指Ｆの先端部の位置を推定する位置推定部を有している。位置推定部は、図８に示すように、消失部８９０で消失した線状パターン８１１、８１２の消失部分８１１ａ、８１２ａの長さ方向の中点Ｐ８１１、Ｐ８１２を通る線分Ｌｆを設定し、この線分Ｌｆの延在方向に指Ｆが延びていると推定する。次に、消失部分８１１ａ、８１２ａのうちの消失部８９０の最も上側に位置する消失部分８１１ａと同じ長さを１辺とする正三角形状のマーカーＭを仮想的に生成し、このマーカーＭを消失部分８１１ａの先端側（指Ｆと反対側）に、線分Ｌｆに沿うように配置する。マーカーＭは、指Ｆの先端部（指先）を模した形状となっているため、マーカーＭの頂点Ｐｍを指Ｆの先端部の位置と推定することができる。そのため、画像処理部５１０は、頂点ＰｍのＸＹ座標をタッチ位置の座標として検出する。このように、位置推定部を有することで、タッチ位置の座標をより正確に検出することができる。
なお、線状パターン８１０のピッチをＤ８１０とし、消失部分８１１ａ（消失部８９０の最も上側に位置する消失部分）の長さをＤ８９０としたとき、Ｄ８１０＞Ｄ８９０の関係を満たす場合にのみ、位置推定部による上述の推定を行うことが好ましい。言い換えれば、マーカーＭの頂点Ｐｍが線状パターン８１１の直上に位置する線状パターン８１０よりも下側に位置する場合にのみ位置推定部による上述の推定を行うことが好ましい。これは、Ｄ８１０≦Ｄ８９０の場合に位置推定部による上述の推定を行うと、推定を行わない場合と比較して実際の指Ｆの先端部の位置からのずれ量が大きくなってしまうおそれがあるためである。
以上のような第２実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。なお、本実施形態では、マーカーＭが正三角形で構成されているが、マーカーＭの形状としては、特に限定されず、対象物の先端形状に倣うように、適宜変更することができる。
＜第３実施形態＞
次に、本発明の第３実施形態に係る画像認識ユニットについて説明する。
図９は、本発明の第３実施形態に係る画像認識ユニットで用いられる検出用画像を示す図である。図１０および図１１は、それぞれ、カメラで取得した画像をステレオ平行化した図である。
以下、本発明の第３実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第３実施形態の画像認識ユニットは、検出用画像が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
図９に示すように、本実施形態の検出用画像８００は、エピポーラ線ＥＬに交差（本実施形態では直交）して延在し、互いにパターンが異なる第１線状パターン８２０および第２線状パターン８３０を有し、第１、第２線状パターン８２０、８３０がエピポーラ線ＥＬの延在方向に沿って交互に並んで配置されている。第１線状パターン８２０は、延在方向に輝度が一定のパターンとなっており、第２線状パターン８３０は、第１輝度を有する部分と、第１輝度と異なる第２輝度を有する部分とが交互にかつ周期的（等間隔）に並んだパターンとなっている。
スクリーン９００の下側ほど、カメラ４００との角度が小さくなるため、カメラ４００が取得する画像では、図１０に示すように、スクリーン９００の下側へ向けて第１、第２線状パターン８２０、８３０のピッチが漸減すると共に、第１、第２線状パターン８２０、８３０の幅も漸減する。そのため、カメラ４００の分解能（解像度）によっては、スクリーン９００の上部に写る検出用画像８００（第１、第２線状パターン８２０、８３０）については鮮明に認識することができても、スクリーン９００の下部に写る検出用画像８００（第１、第２線状パターン８２０、８３０）については鮮明に認識することが困難な場合も考えられる。
そのため、スクリーン９００の下部では消失部８９０の最も上側（先端側）に位置するのが第１、第２線状パターン８２０、８３０のどちらであるのかを認識することができないおそれがある。一方、図１１に示すように、指Ｆは、スクリーン９００の下部に位置していてもカメラ４００との角度が大きくなるため、指Ｆ上に写った第１、第２線状パターン８２０、８３０については鮮明に認識することができる。そのため、指Ｆの最も先端側に位置するのが第１、第２線状パターン８２０、８３０のどちらであるかを認識することで、消失部８９０の最も先端側に位置するのが第１、第２線状パターン８２０、８３０のどちらであるかを判断することができる。これは、指Ｆの最も先端側に位置する線状パターンと、消失部８９０の最も先端側に位置する線状パターンは、同列のパターンとなるためである。したがって、本実施形態によれば、カメラ４００の分解能よりも高い分解能で、タッチ認識を行うことができると共に、タッチ位置のＸＹ座標を取得することができる。
以上のような第３実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。なお、本実施形態では、検出用画像が、第１線状パターン８２０および第２線状パターン８３０が、エピポーラ線ＥＬの延在方向に沿って交互に配置された構成となっているが、検出用画像としては特に限定されない。例えば、第１、第２線状パターン８２０、８３０と異なる第３線状パターンを有していてもよい。
＜第４実施形態＞
次に、本発明の第４実施形態に係る画像認識ユニットについて説明する。
図１２は、本発明の第４実施形態に係る画像認識ユニットで用いられる検出用画像を示す図である。図１３は、図１２に示す検出用画像の変形例を示す図である。
以下、本発明の第４実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第４実施形態の画像認識ユニットは、検出用画像が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
前述した第１実施形態の問題として以下の問題が挙げられる。すなわち、指Ｆがスクリーン９００の法線方向（Ｚ軸方向）とは異なる方向に沿ってスクリーン９００に接近する場合には、スクリーン９００と指Ｆの離間距離に応じて距離Ｄが変化するため、距離Ｄに基づいてタッチ認識を行うことができるが、指Ｆがスクリーン９００の法線方向に沿ってスクリーン９００に接近する場合には、スクリーン９００と指Ｆの離間距離が変化しても距離Ｄが変化しないため、正確なタッチ認識を行うことができなくなる。このような問題は、特に、カメラ４００の分解能が高いスクリーン９００の上部において発生する。そこで、本実施形態では、指Ｆがスクリーン９００の法線方向に沿ってスクリーン９００に接近する場合でも、正確なタッチ認識を行うことができるような検出用画像８００としている。
図１２に示すように、本実施形態の検出用画像８００は、スクリーン９００の上部（カメラ４００から近い側）に位置する第１領域８００Ａと、スクリーン９００の下部（カメラ４００から遠い側）に位置する第２領域８００Ｂと、を有している。そして、第１領域８００Ａには、エピポーラ線ＥＬに沿って延在する線状パターン８５０がエピポーラ線ＥＬと直交する方向に沿って等ピッチに複数配置されている。一方、第２領域８００Ｂには、エピポーラ線ＥＬに交差（本実施形態では直交）する線状パターン８６０がエピポーラ線ＥＬの延在方向に沿って等ピッチに複数配置されている。このような構成とすることで、第１領域８００Ａにおいて、指Ｆがスクリーン９００の法線方向に沿ってスクリーン９００に接近する場合でも、より確実に、タッチ認識を行うことができる。
以上のような第４実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。なお、本実施形態の検出用画像８００の変形例として、図１３に示すような検出用画像８００としてもよい。図１３に示す検出用画像８００では、第２領域８００Ｂに、エピポーラ線ＥＬに直交（交差）し、互いにパターンが異なる線状パターン８６１、８６２、８６３がエピポーラ線ＥＬの延在方向に沿って等ピッチにかつ交互に並んで複数配置されている。このような構成によれば、前述した第３実施形態と同様に、スクリーン９００の下部においても、精度よくタッチ認識を行うことができる。
＜第５実施形態＞
次に、本発明の第５実施形態に係る画像認識ユニットについて説明する。
図１４は、本発明の第５実施形態に係る画像認識ユニットの構成を示す側面図である。
以下、本発明の第５実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第５実施形態の画像認識ユニットは、撮像素子および検出用画像表示装置の配置が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
図１４に示すように、本実施形態では、第３象限Ｓ３にカメラ４００が配置されている。また、プロジェクター３００は、例えば床に設置されており、比較的低い位置から斜め上側に向けて光を出射するように配置されている。そして、プロジェクター３００からはスクリーン９００の法線と一致する光軸を持つ光が出射されず、第１仮想面ｆ１および第２仮想面ｆ２が、共に、スクリーン９００側がプロジェクター３００側よりも上方に位置するように傾斜している。プロジェクター３００およびカメラ４００をこのような配置とすることで、プロジェクター３００とスクリーン９００との間に指Ｆが存在したときに、消失部８９０をカメラ４００でより確実に撮像することができる。
なお、本実施形態は、前述した第１実施形態の構成を上下反転させた構成であり、第１実施形態の説明を上下反転すれば本実施形態の説明となる。したがって、本実施形態の詳細な説明は省略する。
以上のような第５実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
＜第６実施形態＞
次に、本発明の第６実施形態に係る画像認識ユニットについて説明する。
図１５は、本発明の第６実施形態に係る画像認識ユニットの構成を示す側面図である。
以下、本発明の第６実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第６実施形態の画像認識ユニットは、検出用画像表示装置の配置が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
図１５に示すように、本実施形態では、プロジェクター３００からスクリーン９００の法線と一致する光軸を持つ光が出射され、第１仮想面ｆ１は、スクリーン９００側がプロジェクター３００側よりも上方に位置するように傾斜しており、第２仮想面ｆ２は、スクリーン９００側がプロジェクター３００側よりも下方に位置するように傾斜している。
以上のような第６実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
以上、本発明の画像認識装置、画像認識方法および画像認識ユニットについて、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではない。例えば、本発明の画像認識装置では、各部の構成は、同様の機能を有する任意の構成のものに置換することができ、また、他の任意の構成を付加することもできる。
また、前述した実施形態では、Ｙ軸が鉛直方向に沿って配置されているが、Ｙ軸は鉛直方向に沿っていなくてもよい。すなわち、前述実施形態に対して、Ｙ軸がＸ軸まわりに所定角度回転していてもよいし、Ｙ軸がＺ軸まわりに所定角度回転していてもよい。
１００…画像認識ユニット、２００…画像表示ユニット、３００…プロジェクター、４００…カメラ、５００…画像認識装置、５１０…画像処理部、７００…プロジェクター、８００…検出用画像、８００Ａ…第１領域、８００Ｂ…第２領域、８１０…線状パターン、８１１、８１２…線状パターン、８１１ａ、８１２ａ…消失部分、８２０…第１線状パターン、８３０…第２線状パターン、８５０、８６０…線状パターン、８６１、８６２、８６３…線状パターン、８９０…消失部、９００…スクリーン、Ｃ１…カメラ中心、Ｃ２…プロジェクター中心、Ｄ…距離、ＥＬ、ＥＬ’…エピポーラ線、Ｆ…指、Ｌｆ…線分、ｌ１、ｌ２、ｌ３…直線、Ｍ…マーカー、Ｐ１、Ｐ２…位置、Ｐ８１１、Ｐ８１２…中点、Ｐｅ…エピポーラ点、Ｐｍ…頂点、Ｓ１…第１象限、Ｓ２…第２象限、Ｓ３…第３象限、ｆ１…第１仮想面、ｆ２…第２仮想面、ｘ…座標、Σ…エピポーラ平面、π１…画像平面、π２…仮想画像平面

Claims (13)

  1. 検出用画像表示装置により検出用画像が表示された画像表示面を、撮像装置により撮像して取得した画像に基づいて、対象物が前記画像表示面に接触しているか否かを判断する画像認識装置であって、
    前記撮像装置が取得した前記画像に基づいて、前記検出用画像表示装置と前記画像表示面との間に対象物が位置したときに前記対象物によって前記検出用画像表示装置からの光が遮られることで前記画像表示面上に生じる消失部と、前記撮像装置と前記検出用画像表示装置の位置関係から決定され、かつ、前記消失部を通るエピポーラ線上にあって、前記対象物上に表示される前記検出用画像と、の距離を検知し、検知結果に基づいて前記対象物が前記画像表示面に接触しているか否かを判断する画像処理部を有することを特徴とする画像認識装置。
  2. 前記検出用画像の鉛直方向上側の端を形成する光線群を含む面を第１仮想面、前記検出用画像の鉛直方向下側の端を形成する光線群を含む面を第２仮想面、前記画像表示面と前記検出用画像表示装置との間に位置し、前記第１仮想面と前記第２仮想面とに挟まれた領域を第１象限、前記第１象限の鉛直方向上側に位置する領域を第２象限、前記第１象限の鉛直方向下側に位置する領域を第３象限としたとき、前記第２象限または前記第３象限に前記撮像装置が配置されている請求項１に記載の画像認識装置。
  3. 前記検出用画像は、前記エピポーラ線に交差する線状パターンを有している請求項２に記載の画像認識装置。
  4. 前記撮像装置は、前記第２象限に配置され、
    前記第１仮想面および前記第２仮想面は、共に、前記画像表示面側が前記検出用画像表示装置側よりも下方に位置するように傾斜している請求項２または３に記載の画像認識装置。
  5. 前記撮像装置は、前記第３象限に配置され、
    前記第１仮想面および前記第２仮想面は、共に、前記画像表示面側が前記検出用画像表示装置側よりも上方に位置するように傾斜している請求項２または３に記載の画像認識装置。
  6. 前記線状パターンの前記消失部によって消失した消失部分は、前記対象物上に表示され、
    前記画像処理部は、前記消失部分の前記対象物が無い場合に表示されている位置と、前記対象物上に表示されている実際の位置と、の前記エピポーラ線に沿った距離を検出する請求項１ないし５のいずれか１項に記載の画像認識装置。
  7. 前記画像処理部は、前記消失部の形状に基づいて、前記対象物の先端部の位置を推定する位置推定部を有している請求項１ないし６のいずれか１項に記載の画像認識装置。
  8. 前記検出用画像は、前記エピポーラ線に交差して延在し、互いにパターンが異なる第１線状パターンおよび第２線状パターンを有し、
    前記第１線状パターンおよび前記第２線状パターンが前記エピポーラ線の延在方向に沿って交互に並んで配置されている請求項１ないし７のいずれか１項に記載の画像認識装置。
  9. 前記検出用画像は、前記撮像装置から近い側に位置する第１領域と、前記第１領域よりも前記撮像装置から遠い側に位置する第２領域と、を有し、
    前記第１領域には前記エピポーラ線に沿って延在する線状パターンが配置され、前記第２領域には前記エピポーラ線に交差する線状パターンが配置されている請求項１ないし７のいずれか１項に記載の画像認識装置。
  10. 検出用画像表示装置により検出用画像が表示された画像表示面を、撮像装置により撮像して取得した画像に基づいて、対象物が前記画像表示面に接触しているか否かを判断する画像認識方法であって、
    前記撮像装置が取得した前記画像に基づいて、前記検出用画像表示装置と前記画像表示面との間に対象物が位置したときに前記対象物によって前記検出用画像表示装置からの光が遮られることで前記画像表示面上に生じる消失部と、前記撮像装置と前記検出用画像表示装置の位置関係から決定され、かつ、前記消失部を通るエピポーラ線上にあって、前記対象物上に表示される前記検出用画像と、の距離を検知し、検知結果に基づいて前記対象物が前記画像表示面に接触しているか否かを判断する判断ステップを有することを特徴とする画像認識方法。
  11. 前記検出用画像の鉛直方向上側の端を形成する光線群を含む面を第１仮想面、前記検出用画像の鉛直方向下側の端を形成する光線群を含む面を第２仮想面、前記画像表示面と前記検出用画像表示装置との間に位置し、前記第１仮想面と前記第２仮想面とに挟まれた領域を第１象限、前記第１象限の鉛直方向上側に位置する領域を第２象限、前記第１象限の鉛直方向下側に位置する領域を第３象限としたとき、前記第２象限または前記第３象限に前記撮像装置が配置されている請求項１０に記載の画像認識方法。
  12. 請求項１ないし９のいずれか１項に記載の画像認識装置と、
    前記検出用画像表示装置と、
    前記撮像装置と、を有することを特徴とする画像認識ユニット。
  13. 前記画像表示面に画像を表示する画像表示装置を有する請求項１２に記載の画像認識ユニット。
JP2016068276A 2016-03-30 2016-03-30 画像認識装置、画像認識方法および画像認識ユニット Active JP6607121B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016068276A JP6607121B2 (ja) 2016-03-30 2016-03-30 画像認識装置、画像認識方法および画像認識ユニット
US16/090,117 US10664104B2 (en) 2016-03-30 2017-03-22 Image recognition device, image recognition method, and image recognition unit
CN201780021132.4A CN109073363B (zh) 2016-03-30 2017-03-22 图像识别装置、图像识别方法以及图像识别单元
PCT/JP2017/011420 WO2017170027A1 (ja) 2016-03-30 2017-03-22 画像認識装置、画像認識方法および画像認識ユニット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016068276A JP6607121B2 (ja) 2016-03-30 2016-03-30 画像認識装置、画像認識方法および画像認識ユニット

Publications (3)

Publication Number Publication Date
JP2017181281A JP2017181281A (ja) 2017-10-05
JP2017181281A5 JP2017181281A5 (ja) 2019-02-14
JP6607121B2 true JP6607121B2 (ja) 2019-11-20

Family

ID=59965444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016068276A Active JP6607121B2 (ja) 2016-03-30 2016-03-30 画像認識装置、画像認識方法および画像認識ユニット

Country Status (4)

Country Link
US (1) US10664104B2 (ja)
JP (1) JP6607121B2 (ja)
CN (1) CN109073363B (ja)
WO (1) WO2017170027A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6668763B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6631261B2 (ja) 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP7263983B2 (ja) * 2019-08-30 2023-04-25 富士通株式会社 撮影漏れ検出装置、及び、撮影漏れ検出方法
CN112054859B (zh) * 2019-11-25 2023-12-29 陕西智航信科技有限公司 天线强度失配分析系统及方法
CN113409290B (zh) * 2021-06-29 2023-12-15 北京兆维电子(集团)有限责任公司 一种液晶屏外观缺陷检测方法、装置及存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59109904U (ja) * 1983-01-14 1984-07-24 株式会社東京精密 触針式形状測定機の測定位置検知装置
JP2000298544A (ja) * 1999-04-12 2000-10-24 Matsushita Electric Ind Co Ltd 入出力装置と入出力方法
JP2004077290A (ja) 2002-08-19 2004-03-11 Fuji Xerox Co Ltd ３次元形状計測装置および方法
JP4507806B2 (ja) * 2004-10-01 2010-07-21 三菱電機株式会社 指紋画像撮像装置
US8400494B2 (en) 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
US8050461B2 (en) 2005-10-11 2011-11-01 Primesense Ltd. Depth-varying light fields for three dimensional sensing
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
CN101231450B (zh) * 2008-02-25 2010-12-22 陈伟山 多点及物体触摸屏装置及多点触摸的定位方法
US8120642B2 (en) * 2008-07-25 2012-02-21 Honeywell International Inc. Optical fingerprint acquisition
JP5423222B2 (ja) * 2009-08-07 2014-02-19 ソニー株式会社 位置検出装置および位置検出方法
JP5304848B2 (ja) 2010-10-14 2013-10-02 株式会社ニコン プロジェクタ
TWI529572B (zh) * 2011-02-23 2016-04-11 原相科技股份有限公司 操控物的偵測方法及觸控裝置
KR101295760B1 (ko) * 2011-03-10 2013-08-13 주식회사 미르기술 다중 격자 무늬를 이용한 비전검사장치
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
US10140011B2 (en) * 2011-08-12 2018-11-27 Microsoft Technology Licensing, Llc Touch intelligent targeting
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
EP2749996B1 (en) * 2012-12-28 2018-05-30 Sony Mobile Communications Inc. Electronic device and method for improving accuracy of location determination of a user input on a touch panel
JP6089722B2 (ja) * 2013-01-23 2017-03-08 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20140267031A1 (en) * 2013-03-12 2014-09-18 Kenneth J. Huebner Spatially aware pointer for mobile appliances
JP2014179032A (ja) * 2013-03-15 2014-09-25 Ricoh Co Ltd 仮想キー入力装置
CN103383731B (zh) 2013-07-08 2016-12-28 深圳先进技术研究院 一种基于指尖定位的投影交互方法、系统及计算设备
JP6643825B2 (ja) * 2014-08-25 2020-02-12 キヤノン株式会社 装置及び方法
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6668763B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6631261B2 (ja) 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット

Also Published As

Publication number Publication date
US20190114033A1 (en) 2019-04-18
CN109073363B (zh) 2020-07-10
JP2017181281A (ja) 2017-10-05
CN109073363A (zh) 2018-12-21
US10664104B2 (en) 2020-05-26
WO2017170027A1 (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6607121B2 (ja) 画像認識装置、画像認識方法および画像認識ユニット
JP4913344B2 (ja) ポインタ追跡方法、ポインタ接触位置検出方法、およびタッチシステム
JP6621836B2 (ja) 光パターンの強度変動を利用した体積内の物体の深さマッピング
US8985774B2 (en) Floating image interaction device and its program
US9429417B2 (en) Touch and motion detection using surface map, object shadow and a single camera
US20130106833A1 (en) Method and apparatus for optical tracking of 3d pose using complex markers
US9879984B2 (en) Optical scanning probe and apparatus for generating three-dimensional data using the same
JP2005122746A (ja) 干渉パターンを用いた動き追跡方法およびシステム
US9736440B2 (en) Holographic projection device capable of forming a holographic image without misalignment
JP2017146938A (ja) 書籍検出装置、書籍検出方法及び書籍検出用コンピュータプログラム
US10499039B2 (en) Path detection system and path detection method generating laser pattern by diffractive optical element
WO2015159547A1 (ja) 情報処理システム、制御方法、及びプログラム記録媒体
US20160092032A1 (en) Optical touch screen system and computing method thereof
EP2645212A2 (en) Display apparatus with optical touch panel and method of controlling display apparatus
US20150338923A1 (en) Method and system for generating user feedback of a gesture capturing device
JP6740042B2 (ja) 位置検知システム
US20130099092A1 (en) Device and method for determining position of object
JP2018085553A (ja) プロジェクターシステム
Matsubara et al. Touch detection method for non-display surface using multiple shadows of finger
JP6315127B2 (ja) 入力装置、空中像インタラクションシステム、及び入力方法
JP6512058B2 (ja) 投影装置、映像投影方法及び映像投影用コンピュータプログラム
JP2013191005A (ja) デジタイザ装置
US8963835B2 (en) Method for displaying an item on a display unit
US11644303B2 (en) Three-dimensional coordinate measuring instrument coupled to a camera having a diffractive optical element
EP3985484A1 (en) Calibration method, calibration device and control method for touchless gesture control

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191007

R150 Certificate of patent or registration of utility model

Ref document number: 6607121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150