TW201324259A - 使用者介面顯示裝置 - Google Patents

使用者介面顯示裝置 Download PDF

Info

Publication number
TW201324259A
TW201324259A TW101130802A TW101130802A TW201324259A TW 201324259 A TW201324259 A TW 201324259A TW 101130802 A TW101130802 A TW 101130802A TW 101130802 A TW101130802 A TW 101130802A TW 201324259 A TW201324259 A TW 201324259A
Authority
TW
Taiwan
Prior art keywords
fingertip
optical
user interface
display device
image
Prior art date
Application number
TW101130802A
Other languages
English (en)
Inventor
Noriyuki Juni
Original Assignee
Nitto Denko Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Denko Corp filed Critical Nitto Denko Corp
Publication of TW201324259A publication Critical patent/TW201324259A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Abstract

本發明係將具有成像功能之透鏡等光學面板與以操作者為基準之假想水平面平行地配置以使其光軸與該假想水平面垂直相交，並將具有顯示功能之平板顯示器以顯示面對假想水平面傾斜預定角度之狀態，使其顯示面朝上而偏置配置於光學面板之下方。又，朝指尖投射光之光源與拍攝該指尖所引起之光之反射的光學拍攝機構(照相機)成對配設於成像於光學面板之上方之空間像的下方或上方。藉此，可提供於投影於空間之空間像的周圍無諸如形成為操作之障礙的構造物而可以自然之形式進行與使用操作者之指尖之空間像的互動之使用者介面顯示裝置。

Description

使用者介面顯示裝置 發明領域
本發明係有關於藉移動配置於空間像之周圍之指尖，使上述空間像(互動地)變化成與此指尖之動作於雙向連結之使用者介面顯示裝置。
發明背景
於空間顯示影像之方式已知有雙眼方式、複眼方式、空間像方式、體積顯示方式、全像方式等，近年，在顯示影像之顯示裝置中，提出一種顯示裝置，該顯示裝置係可使用指尖或手指等，直覺地操作顯示於空間之二維影像或三維影像(空間像)，而可與此空間像互動者。
提出有一種系統作為此種顯示裝置之指尖或手指等之辨識輸入機構(使用者介面)，該系統係以許多LED或燈等，於探測區域(平面)形成縱橫之光晶格，以受光元件等探測此光晶格之因輸入體引起之遮蔽，檢測該輸入體(指尖)之位置或座標等(參照專利文獻1、2)。
先行技術文獻 專利文獻
專利文獻1：日本專利公開公報2005-141102號
專利文獻2：日本專利公開公報2007-156370號
發明概要
然而，如上述，由於具有探測形成於探測區域(平面)之光晶格之遮蔽以檢測輸入體之位置或座標等的使用者介面之顯示裝置必須將利用於上述LED或受光元件之設置之框(框架)配置於空間像之前方位置(操作者側)，此框進入操作者之視野而被認為係障礙物，故有操作者之手之動作不自然，或不順之情形。
本發明係鑑於此種情況而發明者，其目的係提供於投影於空間之空間像的周圍無諸如形成為操作之障礙的構造物而可以自然之形式進行與使用操作者之指尖之空間像的互動之使用者介面顯示裝置。
為達成上述目的，採下述結構，前述結構為本發明之使用者介面顯示裝置係使用具有成像功能之光學面板，使顯示於平板顯示器之顯示面的影像於距離預定距離之空間位置成像，並與位於該空間像之周圍之指尖的動作具關聯性，而互動地控制前述平板顯示器之影像者，又，前述光學面板係與以操作者為基準之假想水平面平行地配置以使其光軸與該假想水平面垂直相交，前述平板顯示器係以顯示面對前述假想水平面傾斜預定角度之狀態，使其顯示面向上而偏置(offset)配置於前述光學面板之下方，並且於成像於前述光學面板之上方之空間像的下方或上方成對配設有朝前述指尖投射光之光源、及拍攝該指尖所引起之前述光之反射的1個光學拍攝機構。
即，本案發明人為解決前述課題，致力反覆研究，為減輕使用指尖之輸入時之操作者的心理負擔，構思從離開空間像之位置以少台數之照相機拍攝指尖。又，著眼於以照相機拍攝時之指尖之動作(圖像)，進一步反覆研突之結果，發現將顯示器與使此顯示器之顯示成像之光學面板配置成預定位置關係，將顯示器之顯示(空間像)投影於上述光學面板之上方空間，並且以配置於此空間像之下方或上方之照相機等光學拍攝機構拍攝放入上述空間像之附近之指尖，依據此圖像，識別上述指尖之位置或座標，藉此，即使為1台照相機之簡單結構，亦可充分地檢測作為輸入體之指尖之動作，而得出了本發明。
本發明係依據以上之見解而發明者，本發明之使用者介面顯示裝置具有顯示影像之平板顯示器及將影像投影於空間之透鏡等光學面板，前述光學面板係與以操作者為基準之假想水平面平行地配置以使其光軸與該假想水平面垂直相交，前述平板顯示器係以使其顯示面向上而傾斜之狀態配置於前述光學面板之下方，並且光源與1個光學拍攝機構成對配設於成像於前述光學面板之下方或上方。藉此，本發明之使用者介面顯示裝置可作為下述對使用者親和之顯示裝置，該顯示裝置係在操作者不察覺用以檢測輸入體之位置或座標等之系統下，以自然之形式進行與使用指尖之上述空間像之互動(交互作用之交談)。
再者，本發明之使用者介面顯示裝置因如上述僅 用1個光學拍攝機構便可，故具有可以簡單之設備及低成本構成用以檢測指尖之動作之使用者介面顯示裝置。而且，由於上述光學拍攝機構(照相機等)之配置之自由度提高，故亦可將此照相機等配設(隱藏)於操作者不致察覺之位置。
又，在本發明之使用者介面顯示裝置中，特別是上述光源與光學拍攝機構相鄰配置於上述光學面板之周圍，此光學拍攝機構可拍攝位於上述光學面板之上方之指尖所引起之光的反射係指可將上述各光學零件單元化成一體，該等光學零件之配置之自由度更提高，並且，可促進使用者介面顯示裝置之結構之簡單化及低成本化。
又，適合採用下述結構，前述結構係本發明之使用者介面顯示裝置其中包含有控制機構、形狀辨識機構及顯示更新機構，該控制機構係控制前述光源與前述光學拍攝機構及平板顯示器者；該形狀辨識機構係取得從前述光源朝指尖投射之光之反射作為二維圖像，且以運算將該二維圖像二值化，以辨識指尖之形狀者；該顯示更新機構係在預定時間間隔之前後比較前述指尖之位置，依據該指尖之動作，將前述平板顯示器之影像更新為對應於前述指尖之動作的影像。藉此，本發明之使用者介面顯示裝置可僅使用1個光學拍攝機構，從其圖像解析，以高靈敏度檢測人之指尖之動作。又，依據上述檢測，藉將上述平板顯示器之影像更新(變化)成對應於上述指尖之動作的影像，可進行空間像與操作者之指尖之互動。
圖式簡單說明
圖1係說明本發明使用者介面顯示裝置之結構之概要的圖。
圖2(a)、圖2(b)係顯示本發明第1實施形態之使用者介面顯示裝置之結構的圖。
圖3(a)~圖3(c)係說明第1實施形態之使用者介面顯示裝置之指尖之座標(XY方向)之檢測方法的圖。
圖4係顯示第1實施形態之使用者介面顯示裝置之指尖之動作的一例之圖。
圖5(a)、圖5(b)皆係顯示第1實施形態之使用者介面顯示裝置之指尖之動作的檢測方法之圖。
圖6係顯示本發明第2實施形態之使用者介面顯示裝置之結構的圖。
圖7係說明第2實施形態之使用者介面顯示裝置之空間像之投影方法的圖。
圖8係用於第2實施形態之使用者介面顯示裝置之光學面板之成像光學元件的構造之圖。
圖9係說明用於上述光學面板之成像光學元件之詳細構造的截面圖。
圖10係顯示第2實施形態之使用者介面顯示裝置之另一結構的圖。
圖11係顯示第2實施形態之使用者介面顯示裝置之又另一結構的圖。
圖12係顯示本發明第3實施形態之使用者介面顯示裝置之結構的圖。
圖13係說明用於第3實施形態之使用者介面顯示裝置之光學面板之成像光學元件的構造之圖。
圖14係說明上述成像光學元件之結構之分解立體圖。
圖15係說明用於第3實施形態之使用者介面顯示裝置之光學面板之成像光學元件之另一構造的圖。
圖16係說明上述另一構造之成像光學元件之結構的分解立體圖。
圖17係說明用於第3實施形態之使用者介面顯示裝置之光學面板之成像光學元件的又另一構造之圖。
圖18係說明上述又另一構造之成像光學元件之結構的分解立體圖。
圖19係說明用於第3實施形態之使用者介面顯示裝置之光學面板之其他構造之成像光學元件的結構之圖。
用以實施發明之形態
接著，依據圖式，詳細地說明本發明之實施形態。惟，本發明非限於此實施形態者。
圖1係以原理說明本發明之使用者介面顯示裝置之結構的圖。
本發明之使用者介面顯示裝置係將於平板顯示器D映出之影像作為二維之空間像I’而投影、顯示於位於指尖H之後方的操作者(省略圖示)之眼前者，具有與以上述操作者(之感覺)為基準之假想水平面P(兩點鏈線)平行地配置之光學面板O、以使其顯示面Da向上且傾斜預定角度θ之狀態 配置於離開此光學面板O之位置之下方的平板顯示器D。又，上述使用者介面顯示裝置係於以上述光學面板O投影之空間像I’的下方，成對配設有朝上述指尖H投射光之至少1個光源L、與用以拍攝此指尖H所引起之反射光的光學拍攝機構(照相機C)。此係本發明之使用者介面顯示裝置之特徵。
更詳細地說明上述使用者介面顯示裝置之結構，上述光學面板O使用可使像以光學成像之夫瑞乃透鏡、雙凸透鏡、複眼透鏡等透鏡或透鏡陣列、鏡、微鏡陣列、稜鏡等光學零件(成像光學元件)，當中，在本實施形態中，適合採用可將清楚之空間像I’成像之微鏡陣列。此外，此光學面板O如圖1，配置成形成為其光軸Q與以操作者為基準之假想水平面P垂直相交之狀態，即，此面板O之表面或背面與上述假想水平面P平行。
又，上述平板顯示器D適合採用液晶顯示器(LCD)、有機EL顯示器、電漿顯示器(PDP)等平板型自發光顯示器。此平板顯示器D係以使其顯示面Da朝上且對上述假想水平面P傾斜預定角度θ之狀態配置於離開光學面板O之位置之下方。此外，上述平板顯示器D對假想水平面P之角度θ設定為10~85°。又，上述平板顯示器D亦可利用藉外部光源以反射光發色之顯示器或布朗管式顯示器。
上述照相機C係具有CMOS或CCD等影像感測器者，於上述空間像V之下方，將其攝影方向朝上，僅配設1台。又，光源L係配置於對上述空間像I’與上述照相機C相 同之側(在此例為下側)者，此光源L可使用LED或半導體雷射(VCSEL)等，發出可見光以外之區域之光(例如波長700~1000nm左右之紅外光)而不妨礙輸入之操作者之視野的發光體或燈等。此外，上述照相機C與光源L亦可兩者成對(成組)而配設於空間像I’(指尖H)之上方。此外，在本發明之輸入裝置使用之光學拍攝機構除了使用上述CMOS影像感測器或CCD影像感測器之照相機C外，亦可使用使用光電二極體、光電晶體、光IC、光反射器、CdS等光電轉換元件之各種光學式感測器。
接著，就本發明使用者介面顯示裝置之更具體之實施形態作說明。圖2(a)係顯示第1實施形態之使用者介面顯示裝置之概略結構的圖，圖2(b)係此使用者介面顯示裝置之光學面板1周邊之平面圖。
在此實施形態之使用者介面顯示裝置中，光學面板1使用重疊2片平凸狀夫瑞乃透鏡(外形：170mm見方，焦點距離：305mm)者。又，照相機2使用1/4吋CMOS照相機(Asahi電子研究所製NCM03-S)，光源3使用紅外LED(波長850nm，輸出：8mW,Solabo公司製LED851W)，並且，平板顯示器D使用液晶顯示器(松下(Panasonic)公司製12吋TFT顯示器)。
此外，雖省略圖示，於上述使用者介面顯示裝置配設有具有控制機構、形狀辨識機構、顯示更新機構之各功能的電腦，該控制機構係控制上述光源3、照相機2及平板顯示器D者，該形狀辨識機構係取得從上述光源3朝指尖 H投射之光之反射作為二維圖像(H’)，以運算將此二維圖像二值化(H”)，以辨識指尖H之形狀者，顯示更新機構係在預定時間間隔之前後比較上述指尖H之位置，依據此指尖H之動作，將上述平板顯示器D之影像更新為對應於上述指尖H之動作之影像。又，上述平板顯示器D對光學面板1(假想水平面P)之角度(顯示面Da之角度)θ在此例中設定為45°。
接著，將放入上述使用者介面顯示裝置之空間像I’周邊(探測區域內)之指尖H之位置的界定與檢測其動作之方法依其過程(步驟)按照順序來說明。
上述指尖H之位置(座標)之界定首先如圖3(a)所示，從配置於指尖H之下方之各光源3朝此指尖H投射光。此外，此投光亦可為間歇發光[投光步驟]。接著，在投射光之狀態下，以配設於對上述指尖H與光源3相同之側(在此例為下方)之照相機2拍攝此指尖H，取得該指尖H所引起之上述光之反射(反射光或反射像)作為如圖3所示，具有相互垂直相交之XY方向之座標軸的二維圖像H’(平行於上述假想水平面P之假想拍攝平面P’上之圖像)[拍攝步驟]。
接著，將所得之上述二維圖像H’依據閾值二值化後，如圖3(c)所示，從該二值化圖像H”中辨識上述指尖H之外形形狀(圖中之斜線部份)後，識別從拳頭突出之手指，以運算算出相當於其前端位置之座標(指尖座標T)。然後，將此指尖座標T記憶於控制機構(電腦)等之記憶機構[座標界定步驟]。
檢測上述指尖H之動作之過程係利用上述界定 之指尖座標T。其方法係反覆首先在決定之時間間隔投射上述光之步驟[投光步驟]、取得二維圖像之步驟[拍攝步驟]、算出指尖座標T之步驟[座標界定步驟]，再量測此反覆後之指尖座標T[量測步驟]。
然後，使用上述反覆之經過前後之指尖座標T(Xm,Yn)之值，算出上述指尖座標T之移動距離與方向，依據其結果，將平板顯示器D之影像、即空間像I’更新為對應於上述指尖H之動作之影像[顯示更新步驟]。
舉例言之，如圖4所示，指尖(輸入體)於水平方向滑動移動(H0→H1)時，之前所述之指尖座標T如圖5(a)之二值化圖像(H0”→H1”)般移動。即，上述指尖座標T從移動前之最初之位置(座標T0)移動至以實線所示之移動後之位置(座標T1)。此時，可藉上述[量測步驟]之反覆，使用其前後之座標(X0,Y0)及座標(X1,Y1)之值，算出上述指尖之移動距離與方向。
此外，於檢測上述指尖H之動作之際，如圖5(b)所示，亦可於具有XY方向之座標軸之假想拍攝平面P’上設定將指尖座標T之動作(T0→T2)依各區域分配為4個方向[X(+),X(-),Y(+),Y(-)]之識別區域。若如此構成時，可將上述指尖H如電腦之滑鼠裝置或輸入板裝置等，藉指尖座標T之移動而處理作為簡易地輸出4方向(XY各自之+-方向)之信號的指向裝置。即，可與上述[判定步驟]之指尖H之動作之檢測同時，將上述平板顯示器D之顯示對應於指尖H之動作，即時更新。此外，上述識別區域之區域之設定角度α、 形狀或配置等按輸出上述信號之機器或應用程式等設定即可。
如上述，根據本發明第1實施形態之使用者介面顯示裝置，可以簡單且低成本之結構，界定指尖H之位置或座標。而且此使用者介面顯示裝置於投影於空間之空間像I’之周圍無諸如形成為操作之障礙之構造物，而可以自然之形式進行與使用操作者之指尖H之空間像I’的互動。
接著，就本發明第2實施形態之使用者介面顯示裝置作說明。
圖6、圖10、圖11係顯示本發明第2實施形態之使用者介面顯示裝置之結構的圖，圖7係說明此使用者介面顯示裝置之空間像I’之投影方法的圖。此外，在各圖中，以點鏈線顯示之平面P與上述第1實施形態同樣地，係以操作者之感覺為基準之「假想水平面」(在光學元件內為「元件面」)，以點鏈線顯示之平面P’及P”係相當於第1實施形態之照相機2之假想平面P’(參照圖3~圖5)之「假想拍攝平面」。
本實施形態之使用者介面顯示裝置亦係使用具有成像功能之光學面板(微鏡陣列10)，而使顯示於平板顯示器D之顯示面Da之影像(圖像I)成像於面板上方之空間位置(空間像I’)者，上述平板顯示器D係以顯示面Da對以操作者為基準之假想水平面P傾斜預定角度θ之狀態，使其顯示面Da朝上而配置於上述微鏡陣列10之下方。又，朝操作者之指尖H投射光之光源3、拍攝此指尖H所引起之光之反射的光學拍攝機構(PSD，編號4)成對配設於以上述微鏡陣列10 投影之空間像I’之下方(圖6，圖10)或上方(圖11)。
上述第2實施形態之使用者介面顯示裝置在結構上與第1實施形態之使用者介面顯示裝置不同之點係可使像以光學成像之成像光學元件可使用具有許多凸型角反射器(單位光學元件)之微鏡陣列10，拍攝指尖H所引起之光之反射之光學拍攝機構使用PSD(Position Sensitive Detector：位置靈敏探測器)。
就上述微鏡陣列(凸型角反射器)10，詳細地說明，此微鏡陣列10如圖8所示，在基板(基盤)11之下面(圖6、圖7之光學面板之下面側)，向下凸狀之許多微小四角柱狀單位光學元件12(角反射器)排列成排成傾斜棋盤格狀[圖8係從下側仰望陣列之圖。]
上述微鏡陣列10之各四角柱狀單位光學元件12係其截面如圖8所示，構成角反射器之一對(2個)光反射面(四角柱側邊之第1側面12a、第2側面12b)分別形成「基板厚度方向之縱長(高度v)對基板表面方向之橫幅(寬度w)之比」[縱橫比(v/w)]為1.5以上之長方形。
又，各單位光學元件12係構成各角12c之一對光反射面(第1側面12a、第2側面12b)朝向操作者之視點之方向(圖6、圖7之指尖H之根部側)。此外，從上觀看此微鏡陣列10及其周圍時，如圖7，上述陣列10係使其外緣(外邊)對操作者之正面(指尖H之方向)旋轉45°而配設，微鏡陣列10之下側之圖像I投影於對此陣列10面對稱之位置(光學面板之上方)，空間像I’可成像。此外，在圖7中，標號3係配置於 上述微鏡陣列10之周圍而照明指尖H之光源。
又，檢測上述指尖H之PSD(標號4)如圖7般，配設於微鏡陣列10之前方側(操作者側)，且為此指尖H之下方之位置，配置於可檢測從上述各光源3投射之紅外光等之反射的位置。此PSD(4)係辨識指尖H所引起之光反射(反射光或反射像)，將至此指尖H為止之距離作為位置信號而輸出者，藉預先取得距離與位置信號(電壓)之相關(參考)，可以高精確度測量至輸入體為止之距離。使用二維PSD作為上述PSD(4)時，逕自配置此二維PSD取代上述照相機2即可。又，使用一維PSD時，將2個以上之一維PSD分散配置於可以三角測量量測上述手指H之座標之複數位置。藉使用該等PSD(或業經單位化之PSD模組)，可使手指H之位置檢測精確度提高。
此外，在圖6、圖7中，顯示於空間像I’之下方且為微鏡陣列10之周圍之位置配設各光源3及PSD(4)之例，該等配設位置非特別限定者，亦可如圖10所示，將辨識指尖H所引起之光反射之PSD(4)配置於離開微鏡陣列10之下方的位置(在此例中為指尖H之下側之位置)。又，亦可如圖11般，將上述各光源3及PSD(4)配置於空間像I’及指尖H之上方。此時，不論何種情形，上述各光源3及PSD(4)係配置成PSD(4)可將從光源3投射而在指尖H反射之光在不形成為微鏡陣列10之影子(死角)下接收的位置關係。
再者，上述平板顯示器D與第1實施形態同樣地適合採用液晶顯示器(LCD)、有機EL顯示器、電漿顯示器 (PDP)等平板型自發光顯示器，以使其顯示面Da朝上且對上述假想水平面P傾斜預定角度θ(在此例中為10~85°)之狀態配設於微鏡陣列10之下方。
又，光源3可使用LED或半導體雷射(VCSEL)等發出可見光以外之區域之光(例如波長700~1000nm左右之紅外光)而不致妨礙輸入之操作者之視野的發光體或燈等。
又，在上述結構之第2實施形態之使用者介面顯示裝置中，放入空間像I’之周邊(探測區域內)之指尖H之位置的界定與檢測其動作之方法以與第1實施形態同樣之步驟進行(參照圖3~圖5、前述[投光步驟]-[拍攝步驟]-[座標界定步驟]-[量測步驟]-[顯示更新步驟])。此外，使用上述PSD(4)時，上述[拍攝步驟]與[座標界定步驟]作為PSD(4)之內部處理而一貫進行，僅輸出結果之座標。
根據上述第2實施形態之使用者介面顯示裝置，亦可以簡單且低成本之結構，界定指尖H之位置或座標。而且此使用者介面顯示裝置亦係於投影於空間之空間像I’之周圍無諸如形成為操作之障礙之構造物，而發揮可以自然之形式進行與使用操作者之指尖H之空間像I’的互動之效果。
接著，就本發明第3實施形態之使用者介面顯示裝置作說明。
圖12係顯示本發明第3實施形態之使用者介面顯示裝置之結構的圖，圖13、圖15、圖17、圖19係在此使用者介面顯示裝置使用之微鏡陣列(20、30、40、50)之立體圖。此 外，與第1、第2實施形態同樣地，在各圖中以點鏈線所示之平面P係以操作者之感覺為基準之「假想水平面」(在光學元件內為「元件面」)，以點鏈線所示之平面P’係相當於第1實施形態之照相機2及第2實施形態PSD(4)之假想拍攝平面P’(參照圖3~圖5)之「假想拍攝平面」。
本實施形態之使用者介面顯示裝置亦係使用具有成像功能之光學面板(微鏡陣列20、30、40、50)，而使顯示於平板顯示器D之顯示面Da之影像(圖像I)成像(空間像I’)於面板上方之空間位置者，上述平板顯示器D係以顯示面Da對以操作者為基準之假想水平面P傾斜預定角度θ之狀態，將其顯示面Da朝上而偏置配置於上述微鏡陣列20(30、40、50)之下方。又，朝操作者之指尖H投射光之光源3、拍攝此指尖H所引起之光之反射的光學拍攝機構(PSD、編號4)成對配設於以上述微鏡陣列20(30、40、50)投影之空間像I’之下方(圖12)或上方(省略圖式)。
上述第3實施形態之使用者介面顯示裝置結構上與前述第2實施形態之使用者介面顯示裝置不同之點係可使像以光學成像之成像光學元件(光學面板)可使用利用2片或1片光學元件之微鏡陣列20、30、40、50其中任一者，該光學元件係於平板狀透明基板之表面藉使用圓盤刀之切割加工以預定間隔形成有相互平行之複數條直線狀溝。
該等微鏡陣列20、30、40、50係以使表面設有複數條平行溝之2片光學元件(基板)其中一者旋轉90°之狀態重疊(圖14、圖16、圖18)，或於1片平板狀基板之表背面分 別形成平面觀看相互垂直相交之複數條平行溝(圖19)，藉此，從基板表面背面方向(上下方向)觀看時，於其中一平行溝群組與另一平行溝群組平面觀看垂直相交之交差處(格子之交點)分別形成由其中一平行溝群組之光反射性之垂直面(壁面)與另一平行溝群組之光反射性之垂直面(壁面)構成的角反射器。
此外，構成上述角反射器之上述其中一基板之平行溝群組之光反射性之壁面與另一基板之平行溝群組之光反射性之壁面以立體(三維)觀看時，有所謂之「偏斜位置」關係。又，由於上述各平行溝及其光反射性之壁面以使用圓盤刀之切割加工形成，故在增高上述角反射器之光反射面之縱橫比[高度(基板厚度方向之長度)/寬度(基板水平方向之寬度)之比]等、可比較簡單地進行光學元件之光學性能之調整的方面有利。
個別地更詳細說明上述各微鏡陣列之構造，圖13、圖14所示之微鏡陣列20係構成此之各光學元件(21、21’)藉使用圓盤刀之切割加工，相互平行之直線狀溝21g或溝21’g以預定間隔於透明之平板狀基板21、21’之上側的表面21a、21’a形成有複數條。又，上述微鏡陣列20(圖13)係使用該等相同形狀之2片光學元件(基板21、21’)，以使上側其中一基板21’對下側另一基板21旋轉成設於各基板21、21’上之各溝21g與溝21’g之連續方向平面觀看相互垂直相交之狀態，使上側之基板21’之背面21’b(未形成有溝21’g)抵接下側之基板21之形成有溝21g之表面21a，而將該等基板 21、21’上下重疊固定，藉此，構成作為一組陣列20。
同樣地，圖15所示之微鏡陣列30使用與上述相同之形狀、製法之2片光學元件(基板21、21’)，如圖16般，以使上側之其中一基板21’表面背面翻轉，使此基板21’對下側之另一基板21旋轉90°之狀態使上側之基板21’之形成有溝21’g的表面21’a抵接下側之基板21之形成有溝21g的表面21a，而將該等基板21、21’上下重疊固定，藉此，構成作為設於各基板21、21’上之各溝21g及溝21’g之連續方向平面觀看相互垂直相交之一組陣列30。
再者，圖17所示之微鏡陣列40係使用與上述相同之形狀、製法之2片光學元件(基板21、21’)，如圖18般，以使下側之其中一基板21’表面背面翻轉，使此基板21’對上側之另一基板21旋轉90°之狀態使上側之基板21的背面21b與下側之基板21’之背面21’面對面，而將該等基板21、21’上下重疊固定，藉此，構成作為設於各基板21、21’上之各溝21g與溝21’g之連續方向在平面觀看相互垂直相交的一組陣列40。
圖19所示之微鏡陣列50於透明之平板狀基板51之上側的表面51a及下側之背面51b分別藉使用圓盤刀之切割加工，以預定間隔形成有複數條相互平行之直線狀溝51g及溝51g’，該等表面51a側之各溝51g與背面51b側之各溝51g’形成為其形成方向(連續方向)平面觀看相互垂直相交。
此外，在使用上述各微鏡陣列20、30、40、50之第3實施形態之使用者介面顯示裝置中，光源3、PSD(4)、 平板顯示器D等之結構及配置亦適用與前述第2實施形態相同者，並且，放入空間像I’之周邊(探測區域內)之指尖H之位置的界定與檢測其動作之方法以與第1實施形態相同之步驟進行(參照圖3~圖5)。
根據上述結構之第3實施形態之使用者介面顯示裝置，亦可以簡單且低成本之結構，界定指尖H之位置或座標。而且此使用者介面顯示裝置亦係於投影於空間之空間像I’之周圍無諸如形成為操作之障礙之構造物，而發揮可以自然之形式進行與使用操作者之指尖H之空間像I’的互動之效果。而且由於上述第3實施形態之使用者介面顯示裝置其使用之微鏡陣列(20、30、40、50)低價，故具有可減低裝置全體之成本之優點。
在上述實施例中，就本發明之具體之形態顯示，上述實施例僅為例示，非限定解釋者。企求該業者可明瞭之各種變形在本發明之範圍內。
產業上之可利用性
本發明之使用者介面顯示裝置可以1台光學拍攝機構從遠端辨識、檢測人之指尖之位置或座標。藉此，操作者可在不察覺輸入系統之存在下，直覺地操作空間像。
1，O‧‧‧光學面板
2，C‧‧‧照相機
3，L‧‧‧光源
4‧‧‧光學拍攝機構
10，20，30，40，50‧‧‧微鏡陣列
11，21，21’，51‧‧‧基板
12‧‧‧單位光學元件
12a‧‧‧第1側面
12b‧‧‧第2側面
12c‧‧‧角
21a，21’a，51a‧‧‧表面
21b，21’b，51b‧‧‧背面
21g，21’g，51g，51g’‧‧‧溝
D‧‧‧平板顯示器
Da‧‧‧顯示面
H‧‧‧指尖
H’‧‧‧二維圖像
I‧‧‧畫像
I’‧‧‧空間像
P‧‧‧假想水平面
P’，P”‧‧‧假想拍攝平面
Q‧‧‧光軸
T‧‧‧指尖座標
θ‧‧‧預定角度
圖1係說明本發明使用者介面顯示裝置之結構之概要的圖。
圖2(a)、圖2(b)係顯示本發明第1實施形態之使用者介面顯示裝置之結構的圖。
圖3(a)~圖3(c)係說明第1實施形態之使用者介面顯示裝置之指尖之座標(XY方向)之檢測方法的圖。
圖4係顯示第1實施形態之使用者介面顯示裝置之指尖之動作的一例之圖。
圖5(a)、圖5(b)皆係顯示第1實施形態之使用者介面顯示裝置之指尖之動作的檢測方法之圖。
圖6係顯示本發明第2實施形態之使用者介面顯示裝置之結構的圖。
圖7係說明第2實施形態之使用者介面顯示裝置之空間像之投影方法的圖。
圖8係用於第2實施形態之使用者介面顯示裝置之光學面板之成像光學元件的構造之圖。
圖9係說明用於上述光學面板之成像光學元件之詳細構造的截面圖。
圖10係顯示第2實施形態之使用者介面顯示裝置之另一結構的圖。
圖11係顯示第2實施形態之使用者介面顯示裝置之又另一結構的圖。
圖12係顯示本發明第3實施形態之使用者介面顯示裝置之結構的圖。
圖13係說明用於第3實施形態之使用者介面顯示裝置之光學面板之成像光學元件的構造之圖。
圖14係說明上述成像光學元件之結構之分解立體圖。
圖15係說明用於第3實施形態之使用者介面顯示裝置 之光學面板之成像光學元件之另一構造的圖。
圖16係說明上述另一構造之成像光學元件之結構的分解立體圖。
圖17係說明用於第3實施形態之使用者介面顯示裝置之光學面板之成像光學元件的又另一構造之圖。
圖18係說明上述又另一構造之成像光學元件之結構的分解立體圖。
圖19係說明用於第3實施形態之使用者介面顯示裝置之光學面板之其他構造之成像光學元件的結構之圖。
C‧‧‧照相機
D‧‧‧平板顯示器
Da‧‧‧顯示面
H‧‧‧指尖
I’‧‧‧空間像
L‧‧‧光源
θ‧‧‧預定角度
O‧‧‧光學面板
P‧‧‧假想水平面
Q‧‧‧光軸

Claims (3)

  1. 一種使用者介面顯示裝置，係使用具有成像功能之光學面板，使顯示於平板顯示器之顯示面的影像於距離預定距離之空間位置成像，並與位於該空間像之周圍之指尖的動作具關聯性，而互動地控制前述平板顯示器之影像者，其特徵在於：前述光學面板係與以操作者為基準之假想水平面平行地配置以使其光軸與該假想水平面垂直相交，前述平板顯示器係以顯示面對前述假想水平面傾斜預定角度之狀態，使其顯示面向上而偏置(offset)配置於前述光學面板之下方，並且於成像於前述光學面板之上方之空間像的下方或上方成對配設有朝前述指尖投射光之光源、及拍攝該指尖所引起之前述光之反射的1個光學拍攝機構。
  2. 如申請專利範圍第1項之使用者介面顯示裝置，其中前述光源與光學拍攝機構相鄰配置於前述光學面板之周圍，該光學拍攝機構可拍攝位於前述光學面板之上方之指尖所引起之光的反射。
  3. 如申請專利範圍第1或2項之使用者介面顯示裝置，其包含有：控制機構，係控制前述光源與前述光學拍攝機構及平板顯示器者；形狀辨識機構，係取得從前述光源朝指尖投射之光之反射作為二維圖像，且以運算將該二維圖像二值化， 以辨識指尖之形狀者；及顯示更新機構，係在預定時間間隔之前後比較前述指尖之位置，依據該指尖之動作，將前述平板顯示器之影像更新為對應於前述指尖之動作的影像。
TW101130802A 2011-09-07 2012-08-24 使用者介面顯示裝置 TW201324259A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011194937 2011-09-07

Publications (1)

Publication Number Publication Date
TW201324259A true TW201324259A (zh) 2013-06-16

Family

ID=47832003

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101130802A TW201324259A (zh) 2011-09-07 2012-08-24 使用者介面顯示裝置

Country Status (5)

Country Link
US (1) US20140240228A1 (zh)
JP (1) JP2013069272A (zh)
KR (1) KR20140068927A (zh)
TW (1) TW201324259A (zh)
WO (1) WO2013035553A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5509391B1 (ja) * 2013-06-07 2014-06-04 株式会社アスカネット 再生画像の指示位置を非接触で検知する方法及び装置
CN108762585A (zh) 2013-06-07 2018-11-06 亚斯卡奈特股份有限公司 非接触地检测再现图像的指示位置的方法及装置
WO2015065341A1 (en) * 2013-10-29 2015-05-07 Intel Corporation Gesture based human computer interaction
JP6278349B2 (ja) 2013-11-05 2018-02-14 日東電工株式会社 携帯型情報機器用ケースおよび映像表示装置のケース
JP5947333B2 (ja) * 2014-05-29 2016-07-06 日東電工株式会社 表示装置
WO2016113917A1 (ja) * 2015-01-15 2016-07-21 株式会社アスカネット 非接触入力装置及び方法
KR101956659B1 (ko) * 2015-02-16 2019-03-11 가부시키가이샤 아스카넷토 비접촉 입력 장치 및 방법
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
TWM617658U (zh) * 2021-03-31 2021-10-01 全台晶像股份有限公司 浮空影像觸控顯示裝置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3544739B2 (ja) * 1994-04-13 2004-07-21 株式会社東芝 情報入力装置
JPH09190278A (ja) * 1996-01-09 1997-07-22 Mitsubishi Motors Corp 機器の操作系選択装置
JP4417440B2 (ja) * 1996-02-16 2010-02-17 大日本印刷株式会社 拡散ホログラムタッチパネル
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
WO2005008378A2 (en) * 2003-07-03 2005-01-27 Holo Touch. Inc Holographic human-machine interfaces
JP4606750B2 (ja) * 2004-02-17 2011-01-05 アルパイン株式会社 空間操作系生成システム
EP1731959A4 (en) * 2004-03-31 2008-12-31 Pioneer Corp STEREOSCOPIC, TWO-DIMENSIONAL PICTURE DISPLAY UNIT
JP4347112B2 (ja) * 2004-03-31 2009-10-21 アルパイン株式会社 仮想インタフェース制御装置
JP4692159B2 (ja) * 2004-08-31 2011-06-01 パナソニック電工株式会社 ジェスチャースイッチ
JP4608326B2 (ja) * 2005-01-26 2011-01-12 株式会社竹中工務店 指示動作認識装置及び指示動作認識プログラム
US9160996B2 (en) * 2008-06-27 2015-10-13 Texas Instruments Incorporated Imaging input/output with shared spatial modulator
KR20100030404A (ko) * 2008-09-10 2010-03-18 김현규 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법
KR101114750B1 (ko) * 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치

Also Published As

Publication number Publication date
WO2013035553A1 (ja) 2013-03-14
KR20140068927A (ko) 2014-06-09
JP2013069272A (ja) 2013-04-18
US20140240228A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
TW201324259A (zh) 使用者介面顯示裝置
TWI571769B (zh) 非接觸輸入裝置及方法
JP2010257089A (ja) 光学式位置検出装置
US8922526B2 (en) Touch detection apparatus and touch point detection method
RU2608690C2 (ru) Световой проектор и видеосистема для определения расстояния
CN102449584A (zh) 光学位置检测设备
TWI582661B (zh) 非接觸輸入裝置及方法
TWI437476B (zh) 互動式立體顯示系統及計算三維座標的方法
JP6721875B2 (ja) 非接触入力装置
TW201211860A (en) Optical touch control apparatus and touch sensing method thereof
US20110115904A1 (en) Object-detecting system
TW201400872A (zh) 顯示輸入裝置（二）
JP2010002894A (ja) 立体画像表示システム
US20240019715A1 (en) Air floating video display apparatus
US20160092032A1 (en) Optical touch screen system and computing method thereof
CN105096576B (zh) 信号接收模块与显示装置
JP5987395B2 (ja) 表示装置
TWI439906B (zh) 感測系統
US8912482B2 (en) Position determining device and method for objects on a touch device having a stripped L-shaped reflecting mirror and a stripped retroreflector
TWI587196B (zh) 光學觸控系統及光學觸控位置檢測方法
JP6663736B2 (ja) 非接触表示入力装置及び方法
TWI518575B (zh) 光學觸控模組
KR101778540B1 (ko) 터치 센싱 장치
US9189106B2 (en) Optical touch panel system and positioning method thereof
WO2024079832A1 (ja) インタフェース装置