JP6668763B2 - 画像認識装置、画像認識方法および画像認識ユニット - Google Patents

画像認識装置、画像認識方法および画像認識ユニット Download PDF

Info

Publication number
JP6668763B2
JP6668763B2 JP2016004773A JP2016004773A JP6668763B2 JP 6668763 B2 JP6668763 B2 JP 6668763B2 JP 2016004773 A JP2016004773 A JP 2016004773A JP 2016004773 A JP2016004773 A JP 2016004773A JP 6668763 B2 JP6668763 B2 JP 6668763B2
Authority
JP
Japan
Prior art keywords
image
linear pattern
image recognition
pattern
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016004773A
Other languages
English (en)
Other versions
JP2017126870A (ja
JP2017126870A5 (ja
Inventor
泰介 山内
泰介 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2016004773A priority Critical patent/JP6668763B2/ja
Priority to PCT/JP2016/088863 priority patent/WO2017122534A1/ja
Priority to CN201680078749.5A priority patent/CN108475145B/zh
Priority to US16/068,649 priority patent/US10775936B2/en
Publication of JP2017126870A publication Critical patent/JP2017126870A/ja
Publication of JP2017126870A5 publication Critical patent/JP2017126870A5/ja
Application granted granted Critical
Publication of JP6668763B2 publication Critical patent/JP6668763B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Description

本発明は、画像認識装置、画像認識方法および画像認識ユニットに関するものである。
プロジェクターからの画像が投影されたスクリーンに指が触れているかいないかを検知する画像認識技術として、特許文献１の技術が知られている。特許文献１の画像認識技術では、まず、スクリーン上に格子パターンの構造光を投影し、次に、前記指の位置における格子パターンの変化を撮像装置（カメラ）からの画像に基づいて確認することでタッチ認識を行っている。
ＵＳ２０１１／０２５４８１０号公報
しかしながら、特許文献１に記載の画像認識技術では、撮像装置から見たときの指の奥行き方向の位置検知精度が悪く、それに伴って、タッチ認識の精度も悪いという問題がある。
本発明の目的は、精度の高いタッチ認識を行うことのできる画像認識装置、画像認識方法および画像認識ユニットを提供することにある。
このような目的は、下記の本発明により達成される。
本発明の画像認識装置は、画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識装置であって、
前記撮像装置が取得した画像から、前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定部と、
前記撮像装置と前記検出用画像表示装置の位置関係から決定され、かつ、前記計測対象点を通るエピポーラ線上に、周期的なパターンを備える線状パターンを、前記検出用画像表示装置に表示させる線状パターン表示部と、
前記撮像装置が取得した前記線状パターンを含む画像から、当該画像に含まれる前記線状パターンと前記対象物が存在しないときの前記線状パターンとの差異を判定するパターン判定部と、を有することを特徴とする。
これにより、パターン判定部の判定結果に基づいて、高い精度でタッチ認識（対象物が画像表示面に接触しているか接触してないかの判断）を行うことができる。
本発明の画像認識装置では、前記パターン判定部は、前記線状パターンの連続性を判定することが好ましい。
このように、線状パターンの連続性を判定することで、より高い精度でタッチ認識を行うことができる。
本発明の画像認識装置では、前記線状パターンは、輝度が第１周期で変化する第１線状パターンを有することが好ましい。
これにより、線状パターンの構成が簡単となる。
本発明の画像認識装置では、前記線状パターンは、輝度が第１周期で変化する第１線状パターンと、輝度が前記第１周期と異なる第２周期で変化する第２線状パターンと、を有することが好ましい。
これにより、より精度の高いタッチ認識を行うことができる。
本発明の画像認識装置では、前記第１線状パターンおよび前記第２線状パターンは、異なる時刻に表示されることが好ましい。
これにより、第１線状パターンと第２線状パターンとを同じ位置に表示することができるため、より精度の高いタッチ認識を行うことができる。
本発明の画像認識装置では、前記第１線状パターンおよび前記第２線状パターンは、前記エピポーラ線と交差する方向に並んで表示されることが好ましい。
これにより、第１線状パターンと第２線状パターンを同時に表示することができるため、タッチ認識の周期を短くすることができる。
本発明の画像認識装置では、前記線状パターンは、近赤外線で生成されることが好ましい。
これにより、線状パターンが視認されず、例えば、線状パターンによって画像表示面に表示される画像が劣化することがない。
本発明の画像認識装置では、前記線状パターンは、前記エピポーラ線に対して傾斜した部分を有する線分を含むことが好ましい。
これにより、線状パターンの差異をより正確に判定することができ、より高い精度のタッチ認識が可能となる。
本発明の画像認識装置では、前記画像表示ユニットは、前記画像表示面に照明光を照射する照明光照射装置を有し、
前記計測点判定部は、前記撮像装置が取得した前記照明光を含む画像から前記対象物を検知することが好ましい。
これにより、精度よく対象物を検知することができる。
本発明の画像認識装置では、前記照明光は、前記エピポーラ線の延在方向に沿って輝度が周期的に変化するパターンを有することが好ましい。
これにより、精度よく対象物を検知することができる。
本発明の画像認識装置では、前記照明光の前記周期的に変化するパターンの各々には、位置を特定するアドレスが付与されていることが好ましい。
これにより、対象物が検知されたアドレス付近にのみ線状パターンを表示させればよいため、線状パターンの差異の判定を短時間で行うことができる。また、線状パターンの周期を短くすることができるため、精度よく対象物を検出することができる。
本発明の画像認識方法は、画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識方法であって、
前記撮像装置が取得した画像から、前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定ステップと、
前記検出用画像表示装置に、前記計測対象点を通り、前記撮像装置と前記検出用画像表示装置の位置関係から決定されるエピポーラ線上に輝度が周期的に変化する線状パターンを表示させる線状パターン表示ステップと、
前記撮像装置が取得した前記線状パターンを含む画像から、当該画像に含まれる前記線状パターンと前記対象物が存在しないときの前記線状パターンとの差異を判定するパターン判定ステップと、を有することを特徴とする。
これにより、パターン判定ステップの判定結果に基づいて、高い精度でタッチ認識を行うことができる。
本発明の画像認識ユニットは、本発明の画像認識装置と、
前記撮像装置と、
前記検出用画像表示装置と、を有することを特徴とする。
これにより、高い精度でタッチ認識を行うことのできる画像認識ユニットが得られる。
本発明の画像認識ユニットでは、前記画像表示面に画像を表示する画像表示装置を有することが好ましい。
これにより、画像表示面に所望の画像を表示することができる。
本発明の第１実施形態に係る画像認識ユニットの構成を示す図である。 図１に示すプロジェクターの構成図である。 図１に示すプロジェクターの構成図である。 図３に示すプロジェクターが備える走査部の平面図である。 図１に示す画像認識装置のブロック図である。 エピポーラ線について説明する図である。 線状パターンを示す図である。 指先がスクリーンに触れている状態において取得される線状パターンの画像を示す図である。 指先がスクリーンに触れていない状態において取得される線状パターンの画像を示す図である。 本発明の第２実施形態に係る画像認識ユニットで用いられる線状パターンを示す図である。 本発明の第３実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。 図１１に示す線状パターンを用いたタッチ認識の方法を説明する図である。 図１１に示す線状パターンを用いたタッチ認識の方法を説明する図である。 本発明の第４実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。 本発明の第５実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。 指先がスクリーンに触れている状態において取得される線状パターンの画像を示す図である。 指先がスクリーンに触れていない状態において取得される線状パターンの画像を示す図である。 本発明の第６実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。 図１８に示す線状パターンを用いたタッチ認識の方法を説明する図である。 本発明の第７実施形態に係る画像認識ユニットで用いられる照明光を示す図である。 図２０に示す照明光を用いた指の検知方法を説明する図である。 図２０に示す照明光を用いた指の検知方法を説明する図である。 本発明の第８実施形態に係る画像認識ユニットで用いられる照明光を示す平面図である。 指を構成する物質の波長吸収特性を示すグラフである。 本発明の第９実施形態に係る画像認識ユニットで用いられる照明光を示す図である。 照明光へのアドレス付与を説明する図である。 タッチ認識方法を説明する図である。 タッチ認識方法を説明する図である。 本発明の第１０実施形態に係る画像認識ユニットで用いられるプロジェクターの構成図である。
以下、本発明の画像認識装置、画像認識方法および画像認識ユニットの好適な実施形態について、添付図面を参照しつつ説明する。
＜第１実施形態＞
まず、第１実施形態に係る画像認識ユニットについて説明する。
図１は、本発明の第１実施形態に係る画像認識ユニットの構成を示す図である。図２は、図１に示すプロジェクターの構成図である。図３は、図１に示すプロジェクターの構成図である。図４は、図３に示すプロジェクターが備える走査部の平面図である。図５は、図１に示す画像認識装置のブロック図である。図６は、エピポーラ線について説明する図である。図７は、線状パターンを示す図である。図８は、指先がスクリーンに触れている状態において取得される線状パターンの画像を示す図である。図９は、指先がスクリーンに触れていない状態において取得される線状パターンの画像を示す図である。
図１に示す画像認識ユニット１００は、例えば、平坦なスクリーン（画像表示面）９００に指（対象物）Ｆが接触しているか否かを判定し、判定結果に基づいてスクリーン９００に表示する画像を切り替えることのできる装置である。なお、以下では、スクリーン９００に指Ｆが接触しているか否かの判断を「タッチ認識」と言う。このような画像認識ユニット１００は、例えば、プレゼンテーションに用いることができ、プレゼンターの指のタッチ認識を行って、必要時にスクリーン９００に映し出される画像を切り替えたり、拡大または縮小したりすることで、プレゼンテーションをスムーズに進行することが可能となる。
ただし、画像表示面としては、スクリーン９００に限定されず、例えば、壁、ガラス等であってもよい。また、画像表示面は、平坦でなくてもよく、球面や凹凸面であってもよい。また、画像表示面は、経時的に形状が変化してもよい。また、タッチ認識を行う対象物としては、指Ｆに限定されず、例えば、指し棒、スクリーン９００に吸着したマグネット等であってもよい。また、画像認識ユニット１００の用途としては、プレゼンテーションに限定されず、例えば、デパート等の店舗案内、取扱商品の紹介・検索等、様々な用途に用いることができる。
このような画像認識ユニット１００は、図１に示すように、スクリーン９００に画像を表示するプロジェクター（画像表示装置）２００と、スクリーン９００に検出用画像を表示するプロジェクター（検出用画像表示装置）３００と、スクリーン９００を撮像するカメラ（撮像装置）４００と、を有する画像表示ユニットと、タッチ認識を行う画像認識装置５００と、を有する。
プロジェクター３００およびカメラ４００は、異なる位置に配置されている。また、プロジェクター３００およびカメラ４００の相対的（幾何的）な位置関係は一定であり、位置関係に関する情報は、画像認識装置５００が有する図示しない記憶部に記憶され、適宜使用される。
以下、プロジェクター２００、プロジェクター３００、カメラ４００および画像認識装置５００について順に説明する。
［プロジェクター２００］
プロジェクター２００は、観察者に視認させたい画像（例えば、プレゼンテーション用の画像）をスクリーン９００に表示する装置である。
このようなプロジェクター２００は、ＬＣＤ方式のプロジェクターであり、図２に示すように、液晶表示素子２４０Ｒ、２４０Ｇ、２４０Ｂと、ダイクロイックプリズム２５０と、投射レンズ系２６０と、を備えている。そして、液晶表示素子２４０Ｒには赤色光Ｒが入射し、液晶表示素子２４０Ｇには緑色光Ｇが入射し、液晶表示素子２４０Ｂには青色光Ｂが入射する。
液晶表示素子２４０Ｒ、２４０Ｇ、２４０Ｂは、それぞれＲ、Ｇ、Ｂの原色に対応する透過型の空間光変調器であり、液晶表示素子２４０Ｒ、２４０Ｇ、２４０Ｂによってそれぞれ空間的に変調された光は、ダイクロイックプリズム２５０で合成され、ダイクロイックプリズム２５０からフルカラーの映像光Ｌａが出射される。そして、出射された映像光Ｌａは、投射レンズ系２６０によって拡大されてスクリーン９００に投射される。これにより、スクリーン９００に画像が表示される。
以上、プロジェクター２００について説明したが、プロジェクター２００としては、スクリーン９００に画像を表示することができれば、ＬＣＤ方式のプロジェクターに限定されず、例えば、光走査方式のプロジェクターであってもよいし、ＤＭＤ方式のプロジェクターであってもよい。
［プロジェクター３００］
プロジェクター３００は、タッチ認識を行うための検出用画像（後述する線状パターン８００）をスクリーン９００に表示する装置である。
このようなプロジェクター３００は、光走査型のプロジェクターであり、図３に示すように、光源３１０と、走査部３２０と、図示しない投射レンズ系と、を備えている。
光源３１０は、赤色のレーザー光を射出する光源３１１Ｒと、緑色のレーザー光を射出する光源３１１Ｇと、青色のレーザー光を射出する光源３１１Ｂと、光源３１１Ｒ、３１１Ｇ、３１１Ｂから出射された光を平行光化するコリメータレンズ３１２Ｒ、３１２Ｇ、３１２Ｂと、光合成部３１３と、集光レンズ３１４と、を有する。
光合成部３１３は、光源３１１Ｒ、３１１Ｇ、３１１Ｂからのレーザー光を合成して変調光Ｌｂを生成する要素であり、３つのダイクロイックミラー３１３ａ、３１３ｂ、３１３ｃを有する。そして、光合成部３１３で生成された変調光Ｌｂは、集光レンズ３１４によって所望のＮＡ（開口数）に変更された後、走査部３２０に導かれる。
走査部３２０は、２軸まわりに揺動可能な光スキャナーであり、図４に示すように、ミラー３３１を有する可動部３３０と、可動部３３０を軸Ｊ１まわりに揺動可能に支持する軸部３４１、３４２と、軸部３４１、３４２を支持する駆動枠部３５０と、駆動枠部３５０を軸Ｊ１に直交する軸Ｊ２まわりに揺動可能に支持する軸部３６１、３６２と、軸部３６１、３６２を支持する枠状の支持部３７０と、を有する。このような走査部３２０では、図示しない駆動手段によって、駆動枠部３５０を支持部３７０に対して軸Ｊ２まわりに揺動させつつ、可動部３３０を駆動枠部３５０に対して軸Ｊ１まわりに揺動させることで、ミラー３３１で反射した変調光Ｌｂを２次元的に走査することができる。
そして、走査部３２０で走査された変調光Ｌｂは、図示しない投射レンズ系によって拡大されてスクリーン９００に投射される。これにより、スクリーン９００に線状パターン８００が表示される。
以上、プロジェクター３００について説明したが、プロジェクター３００としては、スクリーン９００に線状パターン８００を表示することができれば、光走査方式のプロジェクターに限定されず、例えば、ＬＣＤ方式のプロジェクターであってもよいし、ＤＭＤ方式のプロジェクターであってもよい。また、光走査方式のプロジェクターであっても、上記の構成に限定されず、例えば、１軸揺動型の光スキャナーを２つ用いて変調光Ｌｂを２次走査してもよい。
［カメラ４００］
カメラ４００は、スクリーン９００を撮像するための装置である。このようなカメラ４００は、例えば、ＲＧＢカメラであり、レンズ系４１１および撮像素子４１２を備える受光ユニット４１０と、撮像素子４１２からの映像信号を処理する図示しない処理部と、を有する。
［画像認識装置］
画像認識装置５００は、前述したプロジェクター３００およびカメラ４００を用いてタッチ認識を行う装置である。
このような画像認識装置５００は、図５に示すように、計測点判定部５１０と、線状パターン表示部５２０と、パターン判定部５３０と、を有する。
計測点判定部５１０は、カメラ４００が取得した画像から、カメラ４００とスクリーン９００との間に位置する指Ｆを検知し、さらに、指Ｆの指先Ｆ１を計測対象点として判定する（計測点判定ステップ）。指先Ｆ１の判定方法としては、特に限定されず、種々の方法を用いることができる。例えば、カメラ４００が取得した画像からＨＳＶ表色系を用いて肌色類似領域（指Ｆの色と似ている色を持つ領域）を抽出し、さらに、抽出した肌色類似領域の輪郭形状から指先Ｆ１と類似の輪郭形状を有する部分を検出し、検出した部分を指先Ｆ１として判定することができる。
線状パターン表示部５２０は、プロジェクター３００に、指先Ｆ１を通るエピポーラ線ＥＬ（ＥＬ’）上に線状パターン８００を表示させる（線状パターン表示ステップ）。
ここで、エピポーラ線ＥＬについて簡単に説明する。エピポーラ線ＥＬは、プロジェクター３００とカメラ４００の幾何的（相対的）な位置関係によって決定する線である。具体的には、図６に示すように、カメラ４００のカメラ中心（レンズ系４１１の主点）Ｃ１と走査部３２０の変調光Ｌｂを走査する際の角度変更中心（ミラー３３１の中心）Ｃ２とを結ぶ直線（ベースライン）ｌ２と、プロジェクター３００の仮想画像平面π２との交点をエピポーラ点Ｐｅと言い、仮想画像平面π２内においてエピポーラ点Ｐｅを通る全ての直線をエピポーラ線ＥＬと言う。
また、図６に示すように、指先Ｆ１がカメラ４００の画像に含まれていれば、カメラ４００の画像平面π１内での指先Ｆ１の座標（面内座標）ｘが決定される。この座標ｘとカメラ中心Ｃ１とを通る直線ｌ１と直線ｌ２とによって規定される平面をエピポーラ平面Σと言う。そして、エピポーラ平面Σと仮想画像平面π２とが交差してできる直線ｌ３と一致するエピポーラ線ＥＬを「エピポーラ線ＥＬ’」とした場合、エピポーラ線ＥＬ’上のどこかに指先Ｆ１が位置することになる。
線状パターン８００は、図７に示すように、周期的なパターンを有し、輝度が一定のピッチで周期的に変化している。具体的には、線状パターン８００は、所定の輝度を有する第１領域８１０と、第１領域８１０とは異なる輝度を有する第２領域８２０と、を有し、これらが等間隔で交互に配置されたパターンである。第１領域８１０および第２領域８２０の輝度は、コントラスト比がなるべく高くなるように設定される。これにより、より高精度なタッチ認識が可能となる。ただし、線状パターン８００としては、タッチ認識に用いることができれば、これに限定されず、例えば、第１、第２領域８１０、８２０とは異なる輝度を有する第３領域を有していてもよいし、輝度勾配を有する（輝度が連続的に変化する）パターンであってもよい。
パターン判定部５３０は、カメラ４００が取得した画像から、指先Ｆ１を含む状態でスクリーン９００に投影された線状パターン８００と指先Ｆ１が存在しない状態でスクリーン９００に投影される線状パターン８００とのパターンの差異（変化）を判定し、その判定結果に基づいてタッチ認識を行う（パターン判定ステップ）。パターン判定の例としては、パターン判定部５３０は、カメラ４００が取得した画像から、スクリーン９００に投影された線状パターン８００の連続性を判定し、その判定結果に基づいてタッチ認識を行うことができる。このように、線状パターン８００の連続性を判定することで、より精度の高いタッチ認識が可能となる。
具体的には、まず、パターン判定部５３０は、カメラ４００が取得した画像をステレオ平行化した画像（以下「ステレオ平行化画像」とも言う）を得る。ステレオ平行化画像では、後述する図８および図９のように、スクリーン９００の表面の凹凸や指先Ｆ１の形状等に関係なく、全てのエピポーラ線ＥＬが水平方向（紙面横方向）に沿う直線となる。そのため、線状パターン８００も水平方向に沿うこととなり、線状パターン８００の差異の判定を容易にかつ高精度に行うことができる。
次に、パターン判定部５３０は、ステレオ平行化画像中の線状パターン８００の差異（例えば連続性）を判定してタッチ認識を行う。なお、ステレオ平行化画像内での指先Ｆ１の位置が分かっているため、線状パターン８００の全域についてパターンの差異を判定する必要はなく、指先Ｆ１付近の領域についてのみパターンの差異を判定すればよい。これにより、計算負荷を低減することができる。
指先Ｆ１がスクリーン９００に接触している場合（すなわち、指先Ｆ１の深度がスクリーン９００の深度にほぼ一致している場合）のステレオ平行化画像Ｐ１１では、図８に示すように、線状パターン８００は、連続した形となる。これに対して、指先Ｆ１がスクリーン９００に接触していない場合のステレオ平行化画像Ｐ１１では、図９に示すように、線状パターン８００は、その一部が指先Ｆ１の影となり、途中で途切れた形となる。また、線状パターン８００は、指先Ｆ１の周囲で周期不連続が発生する。そのため、パターン判定部５３０は、ステレオ平行化画像Ｐ１１中において線状パターン８００が連続性を有していれば、指先Ｆ１がスクリーン９００に接触している「接触状態」と判定し、連続性を有していなければ、指先Ｆ１がスクリーン９００に接触していない「非接触状態」と判定する。
なお、パターン判定部５３０の判定方法としては、これに限定されない。例えば、プロジェクター３００の位置や、指先Ｆ１の形状や大きさ（個人差）等によっては、指先Ｆ１がスクリーン９００に接触しているにも関わらず影が生じる場合もある。そのため、影部分の長さに閾値を設け、閾値未満であれば「接触状態」と判定し、閾値以上であれば「非接触状態」と判定してもよい。
パターン判定部５３０は、判定結果が「接触状態」であったとき、その判定結果を図示しない制御部に送信する。この判定結果を受けた制御部は、プロジェクター２００に対して、例えば、スクリーン９００に表示されている画像を拡大または縮小する命令や、画像を切り替える命令等、指先Ｆ１の接触位置によって定められている画面操作命令を送信する。このような制御を行うことで、指先Ｆ１でスクリーン９００をタッチするだけで、スクリーン９００に表示される画像を操作することができるため、利便性の高い画像認識ユニット１００となる。
以上のように、計測点判定ステップと、線状パターン表示ステップと、パターン判定ステップと、を行うことが画像認識装置５００によるタッチ認識の手順（画像認識方法）であり、この手順を所定の周期で繰り返し行うことで、タッチ認識を繰り返し行うことができる。
例えば、まず、ｎフレーム目のステレオ平行化画像Ｐｎを取得する（ステップ１）。次に、ステレオ平行化画像Ｐｎでの指先Ｆ１の位置を判定する（ステップ２）。次に、ステレオ平行化画像Ｐｎで判定した指先Ｆ１を通る線状パターン８００を表示する（ステップ３）。次に、線状パターン８００を表示した状態で、ｎ＋１フレーム目のステレオ平行化画像Ｐｎ＋１を取得する（ステップ４）。次に、ステレオ平行化画像Ｐｎ＋１から線状パターン８００の差異を判定して、ステレオ平行化画像Ｐｎ＋１を取得した時刻におけるタッチ認識を行うと共に、ステレオ平行化画像Ｐｎ＋１での指先Ｆ１の位置を判定する（ステップ５）。次に、ステレオ平行化画像Ｐｎ＋１で判定した指先Ｆ１を通る線状パターン８００を表示する（ステップ６）。次に、線状パターン８００を表示した状態で、ｎ＋２フレーム目のステレオ平行化画像Ｐｎ＋２を取得する（ステップ７）。次に、ステレオ平行化画像Ｐｎ＋２から線状パターン８００の差異を判定して、ステレオ平行化画像Ｐｎ＋２を取得した時刻におけるタッチ認識を行うと共に、ステレオ平行化画像Ｐｎ＋２での指先Ｆ１の位置を判定する（ステップ８）。このようなステップを繰り返すことで、連続したタッチ認識が可能となる。特に、ステップ５、８のように、１つの画像を用いてタッチ認識と指先Ｆ１の位置判定とを行うことで、タッチ認識の周期を短くすることができ、より遅延時間の少ないタッチ認識が可能となる。
このような画像認識装置５００によれば、計算負荷を低減でき、かつ、精度の高いタッチ認識が可能となる。また、エピポーラ線ＥＬは、スクリーン９００の３次元的な位置や表面形状とは関係なく、プロジェクター３００とカメラ４００の幾何的な位置によって求まる線である。そのため、プロジェクター３００とカメラ４００の幾何的な位置を一度設定してしまえば、スクリーン９００の位置や形状に影響されることなく、タッチ認識を行うことができる。
＜第２実施形態＞
次に、本発明の第２実施形態に係る画像認識ユニットについて説明する。
図１０は、本発明の第２実施形態に係る画像認識ユニットで用いられる線状パターンを示す図である。
以下、本発明の第２実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第２実施形態の画像認識ユニットは、線状パターンが異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
本実施形態の線状パターン８００は、図１０に示すステレオ平行化画像のように、指先Ｆ１よりも幅が広くなっている。そのため、線状パターン８００には、指先Ｆ１上に投影される領域８００ａと、スクリーン９００に投影される領域８００ｂとがエピポーラ線ＥＬの幅方向に並んで形成され、領域８００ａ、８００ｂの境界部にパターンの変動を生じさせることができる。そのため、指先Ｆ１付近において生じた線状パターン８００の変動が、例えばスクリーン９００の表面の凹凸に起因して発生したものであるか（連続性のある変動）、または、指先Ｆ１に起因して発生したものなのか（不連続な変動）を把握（区別）することができる。このような情報をさらに用いることで、タッチ認識をより高精度に行うことが可能となる。
以上のような第２実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
＜第３実施形態＞
次に、本発明の第３実施形態に係る画像認識ユニットについて説明する。
図１１は、本発明の第３実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。図１２および図１３は、それぞれ、図１１に示す線状パターンを用いたタッチ認識の方法を説明する図である。
以下、本発明の第３実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第３実施形態の画像認識ユニットは、線状パターンが異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
前述した第１実施形態では、線状パターン８００の連続性を判定することでタッチ認識を行っている。しかしながら、線状パターン８００の周期や周囲の環境によっては、安定して線状パターン８００の連続性（すなわち影や不連続周期の存在）を判定することが困難な場合も考えられる。そこで、本実施形態では、主に、スクリーン９００と指先Ｆ１の間での線状パターン８００の周期変動（パターンずれ）に基づいて指先Ｆ１の深度（画像奥行き方向の位置）を検知することでタッチ認識を行う。以下、具体的に説明する。
本実施形態の線状パターン８００は、図１１に示すように、輝度が一定の第１周期（ピッチ）Ｔ１で変化する第１線状パターン８００Ａと、輝度が第１周期Ｔ１と異なる一定の第２周期（ピッチ）Ｔ２で変化する第２線状パターン８００Ｂと、を有する。また、第１線状パターン８００Ａと第２線状パターン８００Ｂは、エピポーラ線ＥＬ（ＥＬ’）の幅方向（エピポーラ線ＥＬと交差する方向）に並んで配置されている。また、第１線状パターン８００Ａおよび第２線状パターン８００Ｂは、エピポーラ線ＥＬを挟んで反対側に位置する。すなわち、第１線状パターン８００Ａおよび第２線状パターン８００Ｂの境界に沿ってエピポーラ線ＥＬが位置する。
ここで、第２周期Ｔ２としては、特に限定されないが、第１周期Ｔ１の２倍未満であることが好ましい。第２周期Ｔ２を第１周期Ｔ１の２倍以上にすると、第２線状パターン８００Ｂの１周期内に、第１線状パターン８００Ａが２周期以上含まれることになる。そのため、使用環境等によっては、後述する指先Ｆ１の深度解析の正確性が低下するおそれがある。なお、本実施形態では、第２周期Ｔ２は、第１周期Ｔ１の１．７５倍となっている。この理由については、後に説明する。
このような線状パターン８００をエピポーラ線ＥＬ’上に表示すると、スクリーン９００上に線状パターン８００が投影されると共に、指先Ｆ１上にも線状パターン８００が投影される。そして、スクリーン９００上の線状パターン８００と、指先Ｆ１上の線状パターン８００との間には、指先Ｆ１の深度に基づいた周期変動（パターンずれ）が発生している。
パターン判定部５３０は、この周期変動に基づいて指先Ｆ１の深度を検知し、検知した深度に基づいてタッチ認識を行う。具体的には、まず、図１２に示すようなステレオ平行化画像Ｐ２１を取得する。次に、スクリーン９００上に映る第１、第２線状パターン８００Ａ、８００Ｂの深度解析を行って、スクリーン９００の指先Ｆ１と重なる位置の深度を検知（推測）すると共に、指先Ｆ１上に映る第１、第２線状パターン８００Ａ、８００Ｂの深度解析を行って、指先Ｆ１の深度を検知する。
そして、第１線状パターン８００Ａの解析結果および第２線状パターン８００Ｂの解析結果の少なくとも一方において、指先Ｆ１の深度がスクリーン９００の深度と一致していなければ、パターン判定部５３０は、指先Ｆ１がスクリーン９００に触れていない「非接触状態」と判定する。一方、第１線状パターン８００Ａの解析結果および第２線状パターン８００Ｂの解析結果の両方において、指先Ｆ１の深度が、スクリーン９００の深度と一致している場合には、パターン判定部５３０は、さらに、次のような判定を行う。
例えば、第１線状パターン８００Ａについて説明すると、図１３に示すように、指先Ｆ１がスクリーン９００から離れていても、その離れ方が第１線状パターン８００Ａの周期の整数倍に相当する周期変動（パターンずれ）を生じさせる場合には、非接触状態であるにも関わらず、指先Ｆ１上のパターンが、指先Ｆ１がスクリーン９００に接触している接触状態と同じ画像が得られてしまう（以下、この現象を「フェーズ・ラッピング」と言う）。このことは、第２線状パターン８００Ｂについても同様である。
そのため、指先Ｆ１の離れ方が、第１線状パターン８００Ａの周期の整数倍に相当する周期変動を生じさせ、かつ、第２線状パターン８００Ｂの周期の整数倍に相当する周期変動を生じさせる場合にはフェーズ・ラッピングが生じる。そこで、接触状態なのか、フェーズ・ラッピングが生じている状態なのかを区別する必要がある。なお、前述したように、第２線状パターン８００Ｂの長さの周期（第２周期Ｔ２）は、第１線状パターン８００Ａの長さの周期（第１周期Ｔ１）の１．７５倍である。このような関係とすることで、両周期の最小公倍数を比較的大きくすることができるため（すなわち、第１周期Ｔ１の７倍、第２周期Ｔ２の４倍）、フェーズ・ラッピングが生じる条件をより低くすることができる。
接触状態なのか、フェーズ・ラッピングが生じている状態なのかを区別する方法としては、特に限定されないが、次のような方法がある。すなわち、接触状態の場合のステレオ平行化画像では、スクリーン９００に指先Ｆ１が接触していることから、スクリーン９００上に指先Ｆ１による影が生じない。一方、フェーズ・ラッピングが生じている場合のステレオ平行化画像では、スクリーン９００から指先Ｆ１が離れていることから、スクリーン９００上に指先Ｆ１による影が生じる。そのため、パターン判定部５３０は、ステレオ平行化画像中においてスクリーン９００に指先Ｆ１による影が生じていなければ「接触状態」と判定し、影が生じていればフェーズ・ラッピングが生じている「フェーズ・ラッピング状態」と判定することができる。
なお、プロジェクター３００やカメラ４００の配置、指先Ｆ１の形状や大きさ（個人差）等によっては、接触状態であっても、スクリーン９００上に影が生じてしまう場合もある。そのため、影の幅（大きさ）に閾値を設け、閾値未満であれば「接触状態」と判定し、閾値以上であれば「フェーズ・ラッピング状態」と判定してもよい。
このような構成によれば、フェーズ・ラッピングの発生を低減することができ、精度の高いタッチ認識を行うことができる。反対に、フェーズ・ラッピングの発生が抑えられている分、第１線状パターン８００Ａおよび第２線状パターン８００Ｂの周期を短くすることができ、その分、より精度の高いタッチ認識が可能となるとも言える。
以上のような第３実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
＜第４実施形態＞
次に、本発明の第４実施形態に係る画像認識ユニットについて説明する。
図１４は、本発明の第４実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。
以下、本発明の第４実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第４実施形態の画像認識ユニットは、線状パターンが異なること以外は、前述した第３実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
本実施形態の画像認識ユニット１００では、図１４に示すように、第１線状パターン８００Ａと第２線状パターン８００Ｂとを異なる時刻に表示する（時分割で表示する）。具体的には、第１線状パターン８００Ａと第２線状パターン８００Ｂとを所定の周期で交互に表示する。このような構成によれば、第１線状パターン８００Ａと第２線状パターン８００Ｂとを同じ位置に表示することができるため、より精度の高いタッチ認識が可能となる。
以上のような第４実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
＜第５実施形態＞
次に、本発明の第５実施形態に係る画像認識ユニットについて説明する。
図１５は、本発明の第５実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。図１６は、指先がスクリーンに触れている状態において取得される線状パターンの画像を示す図である。図１７は、指先がスクリーンに触れていない状態において取得される線状パターンの画像を示す図である。
以下、本発明の第５実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第５実施形態の画像認識ユニットは、線状パターンが異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
本実施形態の線状パターン８００は、エピポーラ線ＥＬ（ＥＬ’）に対して傾斜した部分（非平行な部分）を有する線分を含み、本実施形態では、図１５に示すような正弦波形状となっている。線状パターン８００は、エピポーラ線ＥＬから両側に等しい距離離間し、かつ、エピポーラ線ＥＬと平行な線分Ｌ５１、Ｌ５２の間に位置している。すなわち、本実施形態では、正弦波の上下の山の頂点がエピポーラ線ＥＬからそれぞれ等距離に位置している。線分Ｌ５１、Ｌ５２の離間距離としては、特に限定されないが、指先Ｆ１の幅とほぼ等しいか、指先Ｆ１の幅よりも大きいことが好ましい。
このように、エピポーラ線ＥＬに対して傾斜した部分を有する線状パターン８００を用いると、次のような方法でタッチ認識が可能となる。指先Ｆ１がスクリーン９００に接触している場合のステレオ平行化画像Ｐ５１では、図１６に示すように、指先Ｆ１上の線状パターン８００がスクリーン９００上の線状パターン８００に対して水平方向（紙面横方向）にずれるものの、その連続性はほぼ維持される。すなわち、スクリーン９００と指先Ｆ１との境界部Ａにおいても線状パターン８００が連続した状態となる。
これに対して、指先Ｆ１がスクリーン９００に接触していない場合のステレオ平行化画像Ｐ５２では、図１７に示すように、指先Ｆ１上の線状パターン８００がスクリーン９００上の線状パターン８００に対して水平方向に大きくずれ、その連続性が失われる。すなわち、スクリーン９００と指先Ｆ１との境界部Ａにおいて、線状パターン８００が不連続な状態となる。
そのため、パターン判定部５３０は、境界部Ａにおける線状パターン８００の連続性を判定することで、高い精度のタッチ認識が可能となる。
以上のような第５実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
なお、線状パターン８００の形状としては、エピポーラ線ＥＬに対して傾斜した部分（非平行な部分）を有していれば、正弦波形状に限定されず、例えば、三角波形状、鋸波形状等であってもよい。
＜第６実施形態＞
次に、本発明の第６実施形態に係る画像認識ユニットについて説明する。
図１８は、本発明の第６実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。図１９は、図１８に示す線状パターンを用いたタッチ認識の方法を説明する図である。
以下、本発明の第６実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第６実施形態の画像認識ユニットは、線状パターンが異なること以外は、前述した第５実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
前述した第５実施形態において、指先Ｆ１がスクリーン９００に接触している場合には境界部Ａにおいても線状パターン８００の連続性が維持されることを説明したが、指先Ｆ１の形状や大きさによっては、連続性が失われる場合も考えられ、このような場合には誤ったタッチ認識が行われるおそれがある。そこで、本実施形態の線状パターン８００を用いることで、上記の問題点を効果的に解消することができる。
本実施形態の線状パターン８００は、図１８に示すように、輪郭が正弦波形状をなしており、かつ、輪郭とエピポーラ線ＥＬ（ＥＬ’）とで囲まれた領域Ｓ内が所定の輝度で埋められた構成となっている。このような構成とすると、ステレオ平行化画像から、領域Ｓの輪郭の連続性を容易に判定することができる。
前述したように、指先Ｆ１がスクリーン９００に接触しているか否かに関わらず、境界部Ａにおいて線状パターン８００の連続性が失われるかもしれないが、このような場合でも、図１９に示すように、指先Ｆ１がスクリーン９００に接触している場合の線状パターン８００の位置の変動量（不連続性の大きさ）Ｄ１は、指先Ｆ１がスクリーン９００に接触していない場合の変動量Ｄ２よりも小さくなる。そのため、ある程度の変動量Ｄ３を閾値とし、変動量が変動量Ｄ３よりも小さければ「接触状態」と判定し、変動量が変動量Ｄ３よりも大きければ「非接触状態」と判定すればよい。
このような方法によれば、より精度の高いタッチ認識が可能となる。また、本実施形態の線状パターン８００によれば、外光等によって周辺環境が変動する環境においても、正確な解析が可能となる。また、線状パターン８００の周期（ピッチ）を比較的大きくしてもタッチ認識の精度低下を招くおそれが少ない。
以上のような第６実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
なお、線状パターン８００の形状としては、エピポーラ線ＥＬに対して傾斜した成分（非平行な成分）を有していれば、正弦波形状に限定されず、例えば、三角波形状、鋸波形状等であってもよい。
＜第７実施形態＞
次に、本発明の第７実施形態に係る画像認識ユニットについて説明する。
図２０は、本発明の第７実施形態に係る画像認識ユニットで用いられる照明光を示す図である。図２１および図２２は、それぞれ、図２０に示す照明光を用いた指の検知方法を説明する図である。
以下、本発明の第７実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第７実施形態の画像認識ユニットは、ＮＩＲ光（８００〜２５００ｎｍ程度の波長を有する近赤外線）を用いて指Ｆを検知しタッチ認識を行うこと以外は、主に、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
本実施形態の画像認識ユニット１００では、カメラ４００として、ＮＩＲ光を撮像可能なＮＩＲカメラを用いる。
また、本実施形態の画像認識ユニット１００では、プロジェクター３００により照射される線状パターン８００をＮＩＲ光で生成する。この場合、前述した第１実施形態で説明したプロジェクター３００の光源３１０を、ＮＩＲレーザーを出射できる構成に変更すればよい。線状パターン８００をＮＩＲ光とすることで、プロジェクター２００からの映像を劣化させることがなく、さらには、外光が入射する環境下においても、線状パターン８００の高コントラスト（第１領域８１０と第２領域８２０の輝度差）を発揮することができる。
また、画像認識ユニット１００は、プロジェクター２００、プロジェクター３００、カメラ４００および画像認識装置５００に加えて、さらに、図２０に示すように、スクリーン９００に照明光ＬＬを照射するプロジェクター（照明光照射装置）６００を有する。プロジェクター６００は、スクリーン９００の全域に広がるようにＮＩＲ光からなる照明光ＬＬを照射する。このような照明光ＬＬは、後述するように、指Ｆの検出精度を高めるために用いられる。
照明光ＬＬは、紙面縦方向（線状パターン８００に交差する方向）に延びる輝線ＬＬａが横方向に周期的に並んだ格子状パターンとなっている。このようなパターンとすることで、共にＮＩＲ光である照明光ＬＬと線状パターン８００とを容易に区別することができる。ただし、照明光ＬＬのパターンは、特に限定されず、例えば、輝線ＬＬａが線状パターン８００に対して斜めになっていてもよいし、円弧状に湾曲していてもよい。また、例えば、照明光ＬＬと線状パターン８００とを異なる時刻に表示（時分割で表示）することで、照明光ＬＬと線状パターン８００とを区別することができる。
次に、照明光ＬＬの機能について説明する。プロジェクター２００からの画像がスクリーン９００に表示されている状態では、プロジェクター２００からの光によって指Ｆ上にも様々な色（色相、彩度、輝度）の光が照射される。そのため、計測点判定部５１０でのＨＳＶ表色系による肌色類似領域の抽出が困難となり、指先Ｆ１の判定を精度よく行うことができない場合も考えられる。そこで、指先Ｆ１の検出精度を高めるために照明光ＬＬが用いられる。
照明光ＬＬの利用方法を説明すると、まず、指Ｆが存在しない状態でスクリーン９００上に照射された照明光ＬＬの画像をカメラ４００で取得し、そのステレオ平行化画像を図２１に示す基準ステレオ平行化画像Ｐ７１として記憶する。そして、計測点判定部５１０は、使用中にカメラ４００で取得され、ステレオ平行化された比較ステレオ平行化画像Ｐ７２と基準ステレオ平行化画像Ｐ７１との差分に基づいて指Ｆを抽出する。例えば、比較ステレオ平行化画像Ｐ７２に指Ｆが存在している場合には、図２２に示すように、スクリーン９００上の照明光ＬＬと指Ｆ上の照明光ＬＬにずれが生じるため、計測点判定部５１０は、このずれ（差分）から指Ｆを抽出することができる。指Ｆを抽出した後の処理（指先Ｆ１の判定からタッチ認識）は、前述した第１実施形態と同様である。
ここで、照明光ＬＬの周期は、線状パターン８００の周期とほぼ等しいことが好ましい。これにより、パターン判定部５３０による線状パターン８００の連続性の判定を基準ステレオ平行化画像Ｐ７１との比較により行うことができる。そのため、より精度よく線状パターン８００の連続性を判定することができる。
このような構成によれば、プロジェクター２００によってスクリーン９００に表示される画像に影響を受けることなく、より精度よく指Ｆの抽出を行うことができる。また、照明光ＬＬとして、人間に視認されないＮＩＲ光を用いているため、プロジェクター２００からの映像を劣化させるおそれもない。特に、本実施形態のように、格子パターンの照明光ＬＬを用いると、基準ステレオ平行化画像Ｐ７１と比較ステレオ平行化画像Ｐ７２とを２値化した画像で両者を比較することができるため、指Ｆの抽出が外部環境の影響を受け難くなる。
プロジェクター６００の構成としては、照明光ＬＬを照射することができれば特に限定されない。例えば、ＮＩＲレーザーを出射する光源と、光源から出射されたＮＩＲレーザーを回折する回折格子と、を有する構成としてもよいし、ＮＩＲ光を出射することのできる光源を有する液晶型のプロジェクター、光走査型のプロジェクター、ＤＭＤ型のプロジェクターを用いてもよい。また、プロジェクター２００がプロジェクター６００を兼ねていてもよい。すなわち、プロジェクター２００が、映像光および照明光ＬＬを照射する構成となっていてもよい。この場合には、例えば、プロジェクター２００が、赤色光、緑色光、青色光、ＮＩＲ光を同時に照射するように構成してもよいし、時分割で照射するように構成してよい。時分割で照射する場合、赤色光、緑色光、青色光をスクリーン９００上で合成されることで映像が生成され、ＮＩＲ光で照明光ＬＬが生成される。
以上のような第７実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
なお、本実施形態では、格子状のパターンを有する照明光ＬＬを用いているが、パターンを有さないベタな照明光ＬＬであってもよい。すなわち、照明光ＬＬは、スクリーン９００の全域を一様に照らすものであってもよい。このような照明光ＬＬによっても指とスクリーンの輝度値の違いにより指Ｆを抽出することができる。特に、本実施形態と比較して、格子状のパターンを生成するための回折格子等が要らなくなる点で、装置の簡素化を図ることができる。
また、本実施形態の画像認識ユニット１００では、線状パターン８００をＮＩＲ光で生成しているが、線状パターン８００を可視光で生成してもよい。ただし、この場合は、ＮＩＲ光と可視光の２バンドを撮像可能なカメラ４００とする必要がる。
＜第８実施形態＞
次に、本発明の第８実施形態に係る画像認識ユニットについて説明する。
図２３は、本発明の第８実施形態に係る画像認識ユニットで用いられる照明光を示す平面図である。図２４は、指を構成する物質の波長吸収特性を示すグラフである。
以下、本発明の第８実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第８実施形態の画像認識ユニットは、照明光の構成が異なること以外は、主に、前述した第７実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
前述した第７実施形態では、指Ｆの抽出に基準ステレオ平行化画像Ｐ７１を用いなければならないため、例えば、スクリーン９００の位置が変化する場合や、スクリーン９００の形状が変化する場合（すなわち、指Ｆの背景が変化する場合）には、その都度、基準ステレオ平行化画像Ｐ７１を取得し直さなければならず、指Ｆの抽出をスムーズに行うことができない。すなわち、前述した第７実施形態は、スクリーン９００の位置や形状が固定されている場合に、特に優れた効果を発揮する。これに対して、これから述べる本実施形態では、基準ステレオ平行化画像を必要としないため、スクリーン９００の位置が変化する場合や、スクリーン９００形状が変化する場合であっても、スムーズに指Ｆを抽出することができる。
本実施形態の照明光ＬＬは、図２３に示すように、第１波長を有する第１照明光ＬＬ１と、第１波長と異なる第２波長を有する第２照明光ＬＬ２と、を含んでいる。そして、第１照明光ＬＬ１と第２照明光ＬＬ２とが同時に照射される。ただし、第１照明光ＬＬ１と第２照明光ＬＬ２とが異なる時刻に（時分割で）照射されてもよい。また、第１照明光ＬＬ１および第２照明光ＬＬ２は、共に、パターンを持たないベタな光であり、照射領域内を一様（均等）に照らすようになっている。
また、第１照明光ＬＬ１と第２照明光ＬＬ２は、共にＮＩＲ光であり、かつ、指Ｆによる波長吸収特性が異なっている。図２４は、指Ｆを構成する物質の波長吸収特性を示すグラフである。同図に示すように、例えば、８００ｎｍ付近および１０５０ｎｍ付近では水およびヘモグロビンによる光吸収が周辺の波長に比べて少ないのに対して、９７０ｎｍ付近では、水およびヘモグロビンによる光吸収が周辺の波長に比べて多い。そのため、本実施形態では、第１照明光ＬＬ１の波長を８００ｎｍとし、第２照明光ＬＬ２の波長を９７０ｎｍとしている。ただし、第１、第２照明光ＬＬ１、ＬＬ２の波長としては、波長吸収特性が異なっていれば特に限定されず、対象物の構成によって適宜設定することができる。
また、カメラ４００は、第１照明光ＬＬ１による第１画像と、第２照明光ＬＬ２による第２画像を同時に取得可能な２バンドカメラである。前述した波長吸収特性の異なりから第１画像と第２画像に差が生じるため、計測点判定部５１０は、第１画像と第２画像とを比較することで、指Ｆの抽出を行うことができる。このような手法は、「マルチスペクトルセンシング」、「ハイパースペクトルセンシング」等として公知である。
このような構成によれば、前述した第７実施形態のような基準ステレオ平行化画像が必要ないため、スクリーン９００の位置が変化する場合や、スクリーン９００の形状が変化する場合であっても、スムーズに指Ｆを抽出することができる。
以上のような第８実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
＜第９実施形態＞
次に、本発明の第９実施形態に係る画像認識ユニットについて説明する。
図２５は、本発明の第９実施形態に係る画像認識ユニットで用いられる照明光を示す図である。図２６は、照明光へのアドレス付与を説明する図である。図２７および図２８は、それぞれ、タッチ認識方法を説明する図である。
以下、本発明の第９実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第９実施形態の画像認識ユニットは、照明光ＬＬにアドレスが設定されていること以外は、前述した第７実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
本実施形態では、図２５に示すように、照明光ＬＬの長さの周期（照明光ＬＬの繰り返しパターンに含まれる輝線ＬＬａの幅および隣り合う輝線ＬＬａ間の幅）が指先Ｆ１の幅よりも大きく設定されている。また、図２６に示すように、ステレオ平行化画像Ｐ９１は、事前に用意されたアドレッシング画像Ｐ９２と照合され、ステレオ平行化画像Ｐ９１中の照明光ＬＬにアドレスが付与される。アドレスの付与方法としては、特に限定されないが、各アドレスに識別パターンを配置する方法が挙げられる。計測点判定部５１０は、指先Ｆ１を判定すると共に、付与されたアドレスに基づいて指先Ｆ１が位置するアドレスを特定する。図示の例では、アドレス［Ｎ＋６］に指先Ｆ１が位置している。
線状パターン表示部５２０は、図２７に示すステレオ平行化画像のように、指先Ｆ１が位置するアドレスを含む比較的小さい領域に線状パターン８００を表示させる。このように、指先Ｆ１が検知されたアドレス付近にのみ線状パターン８００を表示させることにより、線状パターン８００の差異の判定を短時間で行うことができる。また、線状パターン８００の周期を短くすることができるため、精度よく指先Ｆ１を検出することができる。なお、図示の例では、指先Ｆ１が位置するアドレス［Ｎ＋６］と、その両隣のアドレス［Ｎ＋５］、［Ｎ＋７］に線状パターン８００を表示させている。
このとき、指先Ｆ１がスクリーン９００に接触しているか、接触していなくてもスクリーン９００との離間距離が短い場合（照明光ＬＬの１周期に相当する距離以内の場合）には、線状パターン８００が指先Ｆ１上にも照射される。そのため、この時のステレオ平行化画像Ｐ９１は、図２７に示すように、指先Ｆ１上に線状パターン８００が照射された画像となる。一方、指先Ｆ１がスクリーン９００に接触しておらず、スクリーン９００との離間距離が長い場合（照明光ＬＬの１周期に相当する距離を超える場合）には、線状パターン８００が指先Ｆ１上に照射されず、ステレオ平行化画像Ｐ９１は、図２８に示すように、指先Ｆ１によって線状パターン８００の一部が遮られた画像となる。
このような画像の違いから、指先Ｆ１がスクリーン９００から大きく離間している状態を排除することができ、指先Ｆ１がスクリーン９００に接触しているか、接触していなくてもスクリーン９００との離間距離が短い場合についてのみ、線状パターン８００の連続性を判定してタッチ認識を行えばよい。そのため、タッチ認識の計算負荷が低減され、かつ、精度の高いタッチ認識が可能となる。さらには、フェーズ・ラッピングを効果的に抑制することができるため、線状パターン８００の周期を短くすることができ、より精度の高いタッチ認識が可能となる。
なお、アドレッシング画像Ｐ９２の取得タイミングとしては、特に限定されず、スクリーン９００の構成によっても異なる。例えば、スクリーン９００が固定されており、その形状が変化しないのであれば、アドレッシング画像Ｐ９２は、プロジェクター２００による画像表示を行う前に取得しておけばよい。一方、スクリーン９００の位置が変化する場合や、スクリーン９００の形状が変化する場合には、連続してアドレッシング画像Ｐ９２を取得し、直前に取得したアドレッシング画像Ｐ９２を用いてステレオ平行化画像Ｐ９１にアドレスを付与すればよい。
以上のような第９実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
なお、本実施形態では、照明光ＬＬおよび線状パターン８００がＮＩＲ光で生成されているが、これらを可視光で生成してもよい。照明光ＬＬを可視光で生成する場合には、プロジェクター２００の画像が劣化しないように、画像が表示される領域の外側に照明光ＬＬを照射し、前記領域内のアドレスについては、その外側に照射された照明光ＬＬの状態から予測して決定すればよい。また、前述したように、線状パターン８００は、比較的狭い範囲にのみ表示されるため、線状パターン８００を可視光で生成しても、プロジェクター２００の画像が大きく劣化することはない。
＜第１０実施形態＞
次に、本発明の第１０実施形態に係る画像認識ユニットについて説明する。
図２９は、本発明の第１０実施形態に係る画像認識ユニットで用いられるプロジェクターの構成図である。
以下、本発明の第１０実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
第１０実施形態の画像認識ユニットは、プロジェクター２００がプロジェクター３００を兼ねていること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
本実施形態のプロジェクター２００は、前述した第１実施形態で説明した構成とほぼ同様であるが、図２９に示すように、液晶表示素子２４０Ｒに赤色光Ｒと共にＮＩＲ光が入射するようになっている。赤色光Ｒは、緑色光Ｇおよび青色光Ｂと比較してＮＩＲ光との波長の差が小さいため、比較的簡単に同一の光学系を実現することができる。このような構成のプロジェクター２００によれば、画像と線状パターン８００を同時にスクリーン９００に投影することができる。なお、本実施形態のプロジェクター２００によれば、線状パターン８００は、第１領域８１０が赤色光およびＮＩＲ光で構成され、第２領域８２０が赤色とは異なる色（ＮＩＲ光ＯＦＦ状態）で構成される。このような線状パターン８００によれば、スクリーン９００上での明るさを抑えつつ、かつ、第１領域８１０と第２領域８２０の高いコントラストが得られるため、より精度の高いタッチ認識が可能となる。
以上のような第１０実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
以上、本発明の画像認識装置、画像認識方法および画像認識ユニットについて、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではない。例えば、本発明の画像認識装置では、各部の構成は、同様の機能を有する任意の構成のものに置換することができ、また、他の任意の構成を付加することもできる。
１００…画像認識ユニット、２００…プロジェクター、２４０Ｂ、２４０Ｇ、２４０Ｒ…液晶表示素子、２５０…ダイクロイックプリズム、２６０…投射レンズ系、３００…プロジェクター、３１０…光源、３１１Ｂ、３１１Ｇ、３１１Ｒ…光源、３１２Ｂ、３１２Ｇ、３１２Ｒ…コリメータレンズ、３１３…光合成部、３１３ａ、３１３ｂ、３１３ｃ…ダイクロイックミラー、３１４…集光レンズ、３２０…走査部、３３０…可動部、３３１…ミラー、３４１、３４２…軸部、３５０…駆動枠部、３６１、３６２…軸部、３７０…支持部、４００…カメラ、４１０…受光ユニット、４１１…レンズ系、４１２…撮像素子、５００…画像認識装置、５１０…計測点判定部、５２０…線状パターン表示部、５３０…パターン判定部、６００…プロジェクター、８００…線状パターン、８００Ａ…第１線状パターン、８００Ｂ…第２線状パターン、８００ａ…領域、８００ｂ…領域、８１０…第１領域、８２０…第２領域、９００…スクリーン、Ａ…境界部、Ｂ…青色光、Ｃ１…カメラ中心、Ｃ２…角度変更中心、Ｄ１、Ｄ２、Ｄ３…変動量、ＥＬ、ＥＬ’…エピポーラ線、Ｆ…指、Ｆ１…指先、Ｇ…緑色光、Ｊ１、Ｊ２…軸、ｌ１、ｌ２、ｌ３…直線、Ｌ５１、Ｌ５２…線分、ＬＬ…照明光、ＬＬ１…第１照明光、ＬＬ２…第２照明光、ＬＬａ…輝線、Ｌａ…映像光、Ｌｂ…変調光、Ｐ１１、Ｐ２１、Ｐ５１、Ｐ５２…ステレオ平行化画像、Ｐ７１…基準ステレオ平行化画像、Ｐ７２…比較ステレオ平行化画像、Ｐ９１…ステレオ平行化画像、Ｐ９２…アドレッシング画像、Ｐｅ…エピポーラ点、Ｒ…赤色光、Ｓ…領域、Ｔ１…第１周期、Ｔ２…第２周期、ｘ…座標、Σ…エピポーラ平面、π１…画像平面、π２…仮想画像平面

Claims (14)

  1. 画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識装置であって、
    前記撮像装置が取得した画像から、前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定部と、
    前記撮像装置と前記検出用画像表示装置の位置関係から決定され、かつ、前記計測対象点を通るエピポーラ線上に、周期的なパターンを備える線状パターンを、前記検出用画像表示装置に表示させる線状パターン表示部と、
    前記撮像装置が取得した前記線状パターンを含む画像から、当該画像に含まれる前記線状パターンと前記対象物が存在しないときの前記線状パターンとの差異を判定するパターン判定部と、を有することを特徴とする画像認識装置。
  2. 前記パターン判定部は、前記線状パターンの連続性を判定する請求項１に記載の画像認識装置。
  3. 前記線状パターンは、輝度が第１周期で変化する第１線状パターンを有する請求項１または２に記載の画像認識装置。
  4. 前記線状パターンは、輝度が第１周期で変化する第１線状パターンと、輝度が前記第１周期と異なる第２周期で変化する第２線状パターンと、を有する請求項１または２に記載の画像認識装置。
  5. 前記第１線状パターンおよび前記第２線状パターンは、異なる時刻に表示される請求項４に記載の画像認識装置。
  6. 前記第１線状パターンおよび前記第２線状パターンは、前記エピポーラ線と交差する方向に並んで表示される請求項４に記載の画像認識装置。
  7. 前記線状パターンは、近赤外線で生成される請求項１ないし６のいずれか１項に記載の画像認識装置。
  8. 前記線状パターンは、前記エピポーラ線に対して傾斜した部分を有する線分を含む請求項１または２に記載の画像認識装置。
  9. 前記画像表示ユニットは、前記画像表示面に照明光を照射する照明光照射装置を有し、
    前記計測点判定部は、前記撮像装置が取得した前記照明光を含む画像から前記対象物を検知する請求項１ないし８のいずれか１項に記載の画像認識装置。
  10. 前記照明光は、前記エピポーラ線の延在方向に沿って輝度が周期的に変化するパターンを有する請求項９に記載の画像認識装置。
  11. 前記照明光の前記周期的に変化するパターンの各々には、位置を特定するアドレスが付与されている請求項１０に記載の画像認識装置。
  12. 画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識方法であって、
    前記撮像装置が取得した画像から、前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定ステップと、
    前記検出用画像表示装置に、前記計測対象点を通り、前記撮像装置と前記検出用画像表示装置の位置関係から決定されるエピポーラ線上に輝度が周期的に変化する線状パターンを表示させる線状パターン表示ステップと、
    前記撮像装置が取得した前記線状パターンを含む画像から、当該画像に含まれる前記線状パターンと前記対象物が存在しないときの前記線状パターンとの差異を判定するパターン判定ステップと、を有することを特徴とする画像認識方法。
  13. 請求項１ないし１１のいずれか１項に記載の画像認識装置と、
    前記撮像装置と、
    前記検出用画像表示装置と、を有することを特徴とする画像認識ユニット。
  14. 前記画像表示面に画像を表示する画像表示装置を有する請求項１３に記載の画像認識ユニット。
JP2016004773A 2016-01-13 2016-01-13 画像認識装置、画像認識方法および画像認識ユニット Active JP6668763B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016004773A JP6668763B2 (ja) 2016-01-13 2016-01-13 画像認識装置、画像認識方法および画像認識ユニット
PCT/JP2016/088863 WO2017122534A1 (ja) 2016-01-13 2016-12-27 画像認識装置、画像認識方法および画像認識ユニット
CN201680078749.5A CN108475145B (zh) 2016-01-13 2016-12-27 图像识别装置、图像识别方法以及图像识别单元
US16/068,649 US10775936B2 (en) 2016-01-13 2016-12-27 Image recognition device, image recognition method and image recognition unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016004773A JP6668763B2 (ja) 2016-01-13 2016-01-13 画像認識装置、画像認識方法および画像認識ユニット

Publications (3)

Publication Number Publication Date
JP2017126870A JP2017126870A (ja) 2017-07-20
JP2017126870A5 JP2017126870A5 (ja) 2018-12-27
JP6668763B2 true JP6668763B2 (ja) 2020-03-18

Family

ID=59311302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016004773A Active JP6668763B2 (ja) 2016-01-13 2016-01-13 画像認識装置、画像認識方法および画像認識ユニット

Country Status (4)

Country Link
US (1) US10775936B2 (ja)
JP (1) JP6668763B2 (ja)
CN (1) CN108475145B (ja)
WO (1) WO2017122534A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11425357B2 (en) * 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
US11747135B2 (en) * 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6631261B2 (ja) 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6607121B2 (ja) 2016-03-30 2019-11-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
CN108334246B (zh) * 2017-12-11 2021-06-22 北京硬壳科技有限公司 悬浮触控方法及相关装置
CN111625157B (zh) * 2020-05-20 2021-09-17 北京百度网讯科技有限公司 指尖关键点检测方法、装置、设备和可读存储介质
CN111811432A (zh) * 2020-06-16 2020-10-23 中国民用航空飞行学院 一种三维成像系统及方法
CN112278801B (zh) * 2020-11-09 2022-03-22 黄河科技学院 一种物料排序系统的控制方法
KR102248504B1 (ko) * 2021-03-09 2021-05-06 시설물안전연구원 주식회사 레이저를 이용한 기울기 측정장치 및 이의 제어방법
CN114596582B (zh) * 2022-02-28 2023-03-17 北京伊园未来科技有限公司 一种带视觉和力反馈的增强现实交互方法及系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869515A (ja) * 1994-08-29 1996-03-12 Sumitomo Electric Ind Ltd 画像表示装置
US6841780B2 (en) * 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
US7176440B2 (en) 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
JP2004077290A (ja) 2002-08-19 2004-03-11 Fuji Xerox Co Ltd ３次元形状計測装置および方法
JP3830956B1 (ja) * 2005-09-14 2006-10-11 健治 吉田 情報出力装置
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
US8400494B2 (en) 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
US8050461B2 (en) 2005-10-11 2011-11-01 Primesense Ltd. Depth-varying light fields for three dimensional sensing
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
JP2009031150A (ja) * 2007-07-27 2009-02-12 Omron Corp 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
CN101739547B (zh) * 2008-11-21 2012-04-11 中国科学院沈阳自动化研究所 复杂背景下图像中鲁棒的编码点的精确识别与定位方法
JP5404263B2 (ja) * 2009-09-07 2014-01-29 パナソニック株式会社 視差算出方法、および視差算出装置
JP5325814B2 (ja) * 2010-02-25 2013-10-23 大日本スクリーン製造株式会社 画像形成装置および画像形成方法
EP2378394A3 (en) 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
JP5293843B2 (ja) * 2012-01-24 2013-09-18 デクセリアルズ株式会社 透明導電性素子、入力装置、電子機器および透明導電性素子作製用原盤
KR20140004335A (ko) * 2012-07-02 2014-01-13 한국전자통신연구원 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법
JP2014021140A (ja) * 2012-07-12 2014-02-03 Seiko Epson Corp スクリーン、および画像表示システム
JP2014115108A (ja) * 2012-12-06 2014-06-26 Canon Inc 距離計測装置
JP5702411B2 (ja) * 2013-01-21 2015-04-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
JP5844002B2 (ja) * 2013-03-07 2016-01-13 三菱電機株式会社 表示装置
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6631261B2 (ja) 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6607121B2 (ja) 2016-03-30 2019-11-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット

Also Published As

Publication number Publication date
US10775936B2 (en) 2020-09-15
CN108475145A (zh) 2018-08-31
JP2017126870A (ja) 2017-07-20
CN108475145B (zh) 2021-06-22
WO2017122534A1 (ja) 2017-07-20
US20190025986A1 (en) 2019-01-24

Similar Documents

Publication Publication Date Title
JP6668763B2 (ja) 画像認識装置、画像認識方法および画像認識ユニット
US10240982B2 (en) Measurement system, information processing apparatus, information processing method, and medium
JP6668764B2 (ja) 画像認識装置、画像認識方法および画像認識ユニット
JP6626335B2 (ja) 構造化光プロジェクタおよびそうしたプロジェクタを含む３次元スキャナ
KR102508717B1 (ko) 치과 3d 스캐너를 위한 텍스쳐 매핑의 장치 및 방법
TWI513273B (zh) 掃描投影機及用於３ｄ映射之影像擷取模組
US10757382B2 (en) Projection apparatus and interface apparatus
US9432655B2 (en) Three-dimensional scanner based on contours from shadow images
CN104284119B (zh) 在对象的预定义部分上投影图像的设备、系统和方法
JP6364777B2 (ja) 画像データ取得システム及び画像データ取得方法
US11475583B2 (en) Depth sensing systems and methods
JP6601489B2 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
JP6123221B2 (ja) 皮膚外用剤の塗布支援システム、塗布支援方法、及びプログラム
JP6631261B2 (ja) 画像認識装置、画像認識方法および画像認識ユニット
JP2020128931A (ja) 検査装置
Crespel et al. 43‐4: A Low‐Cost Multitouch Spherical Display: Hardware and Software Design
JP2016008837A (ja) 形状測定方法、形状測定装置、構造物製造システム、構造物製造方法、及び形状測定プログラム
JP2013044669A (ja) 表面形状測定方法および装置
TWM560587U (zh) 基材檢測系統
JP2018107489A (ja) 入出力装置、情報共有方法及び情報共有プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R150 Certificate of patent or registration of utility model

Ref document number: 6668763

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150