TWI468997B - 具有較大可操作範圍的指向系統及影像系統 - Google Patents

具有較大可操作範圍的指向系統及影像系統 Download PDF

Info

Publication number
TWI468997B
TWI468997B TW102100691A TW102100691A TWI468997B TW I468997 B TWI468997 B TW I468997B TW 102100691 A TW102100691 A TW 102100691A TW 102100691 A TW102100691 A TW 102100691A TW I468997 B TWI468997 B TW I468997B
Authority
TW
Taiwan
Prior art keywords
reference points
images
reference point
remote controller
image
Prior art date
Application number
TW102100691A
Other languages
English (en)
Other versions
TW201428554A (zh
Inventor
Ming Tsan Kao
Chia Cheun Liang
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to TW102100691A priority Critical patent/TWI468997B/zh
Priority to US14/096,279 priority patent/US9606639B2/en
Publication of TW201428554A publication Critical patent/TW201428554A/zh
Application granted granted Critical
Publication of TWI468997B publication Critical patent/TWI468997B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Description

具有較大可操作範圍的指向系統及影像系統
本發明係關於一種互動式系統，特別是關於一種可根據不同的參考點影像之影像數目使用不同的定位演算法之指向系統及顯示系統。
一光學式指向系統通常係利用一影像感測器擷取複數參考點之參考點影像，並根據該等參考點影像預先設計一定位演算法並內建於一處理單元中。該處理單元於實際操作時，即利用該定位演算法以及該影像感測器所擷取的該等參考點影像來進行瞄準點定位。
然而某些情形下，例如操作距離太近，該等參考點影像其中一部分可能未被包含於該影像感測器所擷取之影像圖框中，該處理單元則無法根據內建的定位演算法進行瞄準點定位。
例如，國際專利公開第WO2012/114240號揭示一種「從相機遠端控制估測控制參數」的方法。如圖1A所示，該估測方法利用一遙控器10擷取兩系統參考點31、32的參考點影像並根據兩參考點影像進行定位，當該遙控器10無法同時擷取到兩系統參考點31、32的參考點影像時，該遙控器10則先利用兩環境光源41、42的光源影像估測出兩系統參考 點31、32的參考點影像的影像資訊後，再根據所估測的影像資訊進行瞄準點定位。
如圖1B所示，當一目前影像I1 中僅包含一個系統參考點32之參考點影像32' 但未包含另一個系統參考點31之參考點影像31' 時，該遙控器10則必須根據該目前影像I1 之前一張影像I2 中的參考點影像31' 、32' 及光源影像41' 、42' 以及該目前影像I1 中的參考點影像32' 及光源影像41' 、42' 估測該目前影像I1 中該參考點影像31' 的影像資訊。
換句話說，所述估測方法必須根據所有參考點影像，例如31' 、32' ，方能進行瞄準點定位，當無法取得所有參考點影像時則無法進行瞄準點定位。
有鑑於此，本發明另提出一種可根據不同參考點影像之一影像數目使用不同的定位演算法之互動系統，可增加有效可操作視野及有效可操作距離。
本發明之一目的在提供一種具有較大可操作範圍的指向系統及顯示系統，其透過內建不同定位演算法以根據不同的參考點影像數目進行指標定位。
本發明另一目的在提供一種可使用較小尺寸的影像感測陣列之指向系統及顯示系統。
本發明提供一種指向系統，包含複數參考點以 及一遙控器。該等參考點以一可辨識光譜發光。該遙控器用以擷取包含該等參考點中至少一參考點影像之一影像圖框，根據相對該影像圖框中該參考點影像之一影像數目之一定位演算法進行指標定位。
本發明另提供一種顯示系統，包含一顯示裝置、複數參考點以及一遙控器。該顯示裝置顯示有一游標。該等參考點以一可辨識光譜發光。該遙控器用以擷取包含該等參考點中至少一參考點影像之一影像圖框，根據相對該影像圖框中該參考點影像之一影像數目之一定位演算法計算並輸出該游標之一游標座標。
本發明另提供一種指向系統，包含複數參考點以及一遙控器。該等參考點以一可辨識光譜發光。該遙控器用以擷取包含該等參考點中至少一參考點影像之一影像圖框及辨識該影像圖框中之一參考點影像數目，當該參考點影像數目等於該等參考點之一參考點數目則根據該影像圖框輸出一指向座標，當該參考點影像數目小於該參考點數目則根據該影像圖框輸出一相對位移。
一實施例中，該等參考點可結合於該顯示裝置或與該顯示裝置分離；其中，當該等參考點另外設置於一獨立裝置上時，於運作時該等參考點只要放置於方便使用者操作之處即可，可增加使用便利性。
一實施例中，該遙控器包含一處理單元用以執行相對不同的該影像數目之該定位演算法。例如，該處理單元可選擇執行相對1~4個該影像數目之定位演算法其中之一。此外，當該影像圖框中之影像數目大於4時，該處理單元可根據相對4個該影像數目之定位演算法進行指標定位，以減少內建的演算法數目。
一實施例中，為了能夠區別不同的參考點並與環境光區隔，該等參考點較佳具有不同的特徵以供該遙控器能夠分辨不同的參考點影像之特徵值；其中，所述不同特徵例如可於發光時以不同頻率或不同亮度發光或於製作時將各參考點設計成具有不同面積或不同形狀等。如果不同的參考點可被分辨，於操作時則同時能夠根據不同參考點的位置及空間關係辨識遙控器的二維或三維旋轉角度，以增進定位精確度。
一實施例中，該遙控器所擷取的影像圖框中可能僅包含1個參考點影像，因此該遙控器可選擇設置一三軸加速度計或一重力加速度計來配合參考點影像於影像圖框中的相對位移量以輸出指向座標。此外，該遙控器也可能根據2個以上的參考點影像的其中之一或其平均位置計算相對位移量，並配合一三軸加速度計或一重力加速度輸出指向座標。
本發明實施例之指向系統及顯示系統中，由於影像圖框中不論包含多少個參考點影像，該遙控器均能夠據以進行指標定位、計算指向座標或相對位移，因此即使使用者靠近該等參考點或指向方向發生偏移，仍能夠正確進行指標定位。此外，遙控器可選擇使用具有較小尺寸的感測陣列以降低成本。
為了讓本發明之上述和其他目的、特徵、和優點能更明顯，下文將配合所附圖示，作詳細說明如下。於本發明之說明中，相同的構件係以相同的符號表示，於此合先敘明。
請參照圖2A所示，其顯示本發明實施例之顯示系統之示意圖，包含一顯示裝置5、複數參考點(此處例如顯示為四個參考點61~64，但不限於此)以及一遙控器7。該顯示裝置5可為一液晶顯示裝置、一投影顯示裝置、一電漿顯示裝置或其他用以顯示影像者，其可具有一顯示幕51以顯示一游標511。該遙控器7供一使用者(未繪示)握持以相對控制該顯示裝置5。該等參考點61~64例如可為發光二極體、雷射二極體或其他主動式點光源，以一可辨識光譜發光；例如，為了避免影響使用者觀看該顯示幕51所顯示的影像，該等參考點61~64可發出不可見光，例如紅外光。此外，該等參考點61~64可結 合於該顯示裝置5上(如圖2A所示)或另外設置於一獨立裝置以與該顯示裝置5實體分離(如圖2B所示)，只要於使用時放置於適當位置即可。可以了解的是，圖2A及2B中各元件的比例關係僅為例示性，並非用以限定本發明。
該遙控器7則根據所擷取的影像圖框中相對該等參考點61~64之參考點影像的位置、空間關係或位置變化來控制該游標511於該顯示幕51上移動或控制應用程式的執行。本實施例中，該遙控器7用以擷取包含該等參考點中至少一參考點影像之一影像圖框，根據相對該影像圖框中該參考點影像之一影像數目之一定位演算法進行指標定位；其中，當該遙控器7係用以控制該游標511之動作時，該遙控器7則計算並輸出該游標511之一游標座標及/或一相對位移量。
請參照圖2B所示，其顯示本發明實施例之顯示系統及指向系統之遙控器7之方塊示意圖，其包含一影像感測器71、一處理單元72、一記憶單元73以及一輸出單元74。
該影像感測器71例如為一CCD影像感測器、一CMOS影像感測器或其他用以感測光能量之感測裝置，並具有一視野範圍FV(如圖2A)。該影像感測器71可以固定或可變之一取樣頻率(sampling frequency)擷取並輸出影像圖框IF。可以了解的是，本發明說明中該視野範圍FV的形狀僅為例示性。
該處理單元72例如可為一數位處理器(DSP)，其接收來自該影像感測器71之影像圖框IF後即先辨識該影像圖框IF中參考點影像之一影像數目。接著，該處理單元72選擇執行相對該參考點影像之影像數目之一定位演算法進行指標定位、計算指向座標、計算游標座標及/或計算相對位移量。
該記憶單元73儲存有相對不同影像數目之不同定位演算法。一實施例中，該記憶單元73儲存有分別相對1~4個該影像數目之定位演算法。一實施例中，當該影像數目大於4時，由於根據4個參考點影像即可辨識該遙控器7的二維及三維旋轉角度及計算指向座標，該遙控器7則可根據相對4個該影像數目之定位演算法進行指標定位。更詳而言之，當該處理單元72辨識出超過4個參考點影像時，該處理單元72可選擇其中4個參考點影像進行指標定位、計算游標座標及/或計算相對位移量。另一實施例中，該遙控器7內亦可內建相對5個、6個甚至更多參考點影像之定位演算法，並無特定限制。一實施例中，該記憶單元73可包含於該處理單元72內以形成一處理單元72' ，故該處理單元72' 包含該記憶單元73之功能。該處理單元72' 接收來自該影 像感測器71之影像圖框IF後即先辨識該影像圖框IF中參考點影像之一影像數目，並選擇執行相對不同的該影像數目之該定位演算法其中之一。
該輸出單元74則透過有線或無線的方式將該處理單元72所求得之結果傳送至該顯示裝置5以進行相對應控制；其中，有線及無線傳輸技術已為習知，故於此不再贅述。
當該影像感測器7之視野範圍FV包含所有參考點時，該遙控器7可辨識出其所擷取的影像圖框IF中包含N個參考點影像，並根據相對於N個參考點影像之定位演算法進行指標定位、計算指向座標、計算游標座標及/或計算相對位移量。
例如一實施例中，本發明實施例之影像系統可包含至少三不共線且分別被給定不同識別碼的定位參考點61~63以及位於或鄰近於該等定位參考點61~63其中兩定位參考點的連線之一輔助參考點64(即N=4)，如圖3所示。該遙控器7則用以偵測該等定位參考點61~63及輔助參考點64。藉此，該遙控器7可根據該等定位參考點61~63及輔助參考點64之空間關係求得該等定位參考點61~63之識別碼，當遙控器7於擷取影像時相對於該等定位參考點61~63旋轉(如圖3所示箭號)時仍能夠正確辨識各定位參考點61~63並據以正確進行座標運算。關 於利用4個參考點進行指標定位的詳細實施方式例如可參照本案相同受讓人所擁有的美國專利公開第20060261247號所揭示的內容。然而必須說明的是，利用4個參考點進行指標定位的方式並不限定為此種實施方式。此外，根據不同的演算法，該等參考點的排列方式亦可以不同，例如可位於四個角落。
當該遙控器7較為靠近該等參考點61~64或操作角度並非正向面對該等參考點而導致該視野範圍FV僅包含部分參考點時，該遙控器7則根據相對不同的參考點影像之定位演算法來進行指標定位、計算指向座標、計算游標座標及/或計算相對位移量。
一實施例中，當視野範圍FV1 包含3個參考點62~64而未包含參考點61時，如圖4所示，該遙控器7(或該處理單元72)則可辨識出影像圖框中僅包含3個參考點影像。此時，該遙控器7可於影像圖框中標記出各參考點影像並計算該等參考點影像之一投影轉換矩陣，接著將該投影轉換矩陣映射至一平面座標空間，以計算旋轉角度及瞄準點座標。關於利用3個參考點影像所計算出的轉換矩陣來進行指標定位及/或計算游標座標的詳細實施方式，例如可參照本案相同受讓人所擁有的美國專利第7857703號、第7611412號以及第8206221號所揭示的內容。然而必須說明的是，利用3個參考點進 行指標定位的方式並不限定為這些實施方式。同理，參考點的排列方式及該視野範圍FV1 所包含的參考點亦並不限於圖4所揭示者。
一實施例中，當該視野範圍包含2個參考點時，該遙控器7(或該處理單元72)則可辨識出影像圖框中僅包含2個參考點影像，例如圖5所示的視野範圍FV2 或FV3 。此時，該遙控器7即可根據2個參考點影像進行距離補償及角度補償以正確進行指標定位及/或計算游標座標。關於利用2個參考點影像的定位演算法例如可參照本案相同受讓人所擁有的美國專利公開第20070273646號以及20080158436號所揭示的內容。同理，參考點的排列方式及該視野範圍FV2 或FV3 所包含的參考點亦並不限於圖5所揭示者。
一實施例中，當該視野範圍包含1個參考點時，該遙控器7(或該處理單元72)則可辨識出影像圖框中僅包含一個參考點影像，例如圖6所示的視野範圍FV4 ~FV6 。此時，該遙控器7即可根據該參考點影像在影像圖框中的位置變化計算一相對位移量。此外，為了同時能夠偵測該遙控器7的旋轉角度，該遙控器7較佳包含一三軸加速度計(accelerometer)75以根據加速度感測信號來修正所計算出之參考點影像的座標位置，或者將該等參考點設計成具有能 夠分辨出旋轉角度的特徵(例如L型)以修正所計算出之參考點影像的座標位置。
例如圖6A顯示本發明實施例之遙控器7之一透視圖，其包含該影像感測器71、該三軸加速度計75以及該處理單元72。該三軸加速度計75用以感測加速度值VX 、VY 及VZ ，其中加速度值VX 、VY 及VZ 分別代表遙控器7在空間上之三個維度(例如分別以X、Y與Z這三個軸來表示)的加速度值。在此例中，該三軸加速度計75包括有三個加速度感測器(分別以751~753來標示)與一個控制電路754。該等加速度感測器751、752與753分別用以感測加速度值VX 、VY 及VZ ，並分別將感測到的加速度值輸出至控制電路754。該控制電路754用以判斷加速度值VX 、VY 及VZ 之和的絕對值是否落於一預定加速度範圍，所述預定加速度範圍例如是一重力單位(g)。當判斷結果為是時，控制電路754便產生一加速度感測信號來代表其中二個加速度值之比，例如是代表加速度值VX 及加速度值VY 之比。
由於影像感測器71所擷取的影像圖框之長邊係設定為平行於X軸，而影像感測器71所擷取的影像圖框之短邊係設定為平行於Y軸，因此當使用者握著遙控器7而停懸在空中，並使得加速度感測器752的感應軸實質上平行於重力方向，而加速度感測器 751與753的感應軸皆實質上垂直於重力方向時，加速度值VY 則為+g或-g的其中之一，而加速度值VX 及VZ 皆為零。反之，當使用者握著遙控器7而停懸在空中，並將握著遙控器7的手的手腕旋轉180度，使得影像感測器71所擷取的影像也跟著旋轉180度，且使得加速度感測器752的感應軸仍實質上平行於重力方向，而加速度感測器751與753的感應軸仍皆實質上垂直於重力方向時，加速度值VY 則為+g或-g其中另一，而加速度值VX 及VZ 皆為零。
因此，控制電路754可以去判斷加速度值VX 、VY 及VZ 之和的絕對值是否落於一重力單位。當判斷結果為否時，表示此時遙控器7受一外力而突然移動，因此控制電路754不輸出任何信號。而當判斷結果為是時，控制電路754便可產生一加速度感測信號來代表加速度值VX 及加速度值VY 之比。由於加速度感測信號可代表加速度值VX 及加速度值VY 之比，因此處理單元72(72' )在接收到影像感測器71之光學感測信號與三軸加速度計75之加速度感測信號後，便可依據加速度感測信號來判斷遙控器7沿其軸向的旋轉角度，並可依據加速度感測信號來修正光學感測信號中的座標位置，據以產生一輸出信號。如此一來，與遙控器7搭配使用的主機便可根據此輸出信號來控制顯示裝置所顯示之畫面上的物件，例如控制畫面上之游標，而不會發生錯誤。
關於利用1個參考點影像的定位演算法例如可參照本案相同受讓人所擁有的台灣專利申請第101120524號所揭示的內容。同理，參考點的排列方式及該視野範圍FV4 ~FV6 所包含的參考點亦並不限於圖6所揭示者。
雖然上述各實施例中指出該遙控器7所擷取的影像圖框IF中可分別包含1~4個參考點影像，但本發明並不以此為限。本發明實施例之影像系統及指向系統亦可能包含4個以上的參考點。一種實施例中，當該遙控器7辨識出4個以上的參考點影像時，可選擇其中4個參考點影像並根據相對應的定位演算法進行指標定位及/或計算游標座標；另一實施例中，該遙控器7(或該處理單元72' 內)可另儲存有相對應的定位演算法，例如本案相同受讓人所擁有的美國專利公開第20090153479號中記載有根據6個參考點計算出轉換矩陣來進行指標定位的方法，而該遙控器7則可根據相對應的定位演算法來運作。
此外，如前所述，該遙控器7(或該處理單元72)於某些情況下較佳能夠分辨出每一個參考點。因此，本發明實施例之影像系統及指向系統較佳另包含一調變單元用以調變該等參考點之一發光頻率及/或一發光亮度，而該遙控器7則具備解調變的功能以辨識不同的參考點。例如，該調變單元可以不同 頻率調變不同參考點以使得不同參考點可具有不同特徵值，如圖7A所示；其中，關於以不同頻率區別不同參考點以及區隔環境光的方式例如可參照本案相同受讓人所擁有的美國專利公開第20080180396號中記載的內容。例如，該調變單元可以不同亮度調變不同參考點以使得不同參考點可具有不同特徵值，如圖7B所示；其中，關於以不同亮度區別不同參考點以及區隔環境光的方式例如可參照本案相同受讓人所擁有的美國專利公開第20110032230號中記載的內容。此外，該遙控器7另可根據該等參考點影像之特徵值區別不同的參考點並與環境光區隔，例如將不同參考點賦予不同的其他特徵值，例如不同形狀(如圖7C)及不同面積(如圖7D)等方式以供該遙控器7來區別。一實施例中，參考點的不同特徵例如可利用複數點光源排列而成。換句話說，每一個參考點可由複數點光源排列而成，該遙控器7係將排列成的參考點視為一個整體，而不區分每個用以排列成一參考點之各別點光源。
如上所述，由於本發明中該遙控器7只要能至少擷取一參考點影像即可，因此可操作距離和可操作視野均增加了。此外，某些情形下可選擇使用具有較小尺寸的感測陣列的影像感測器以節省成本。
此外，另一實施例中，該遙控器7(或該處理單 元72' )中可僅儲存有兩種定位演算法，例如影像系統或指向系統包含N個參考點(參考點數目N例如，但不限於，為4)。該遙控器7同樣用以擷取包含該等參考點(例如圖2A之參考點61~64)中至少一參考點影像之影像圖框及根據該影像圖框辨識一參考點影像數目，當該參考點影像數目等於N時根據該等影像圖框輸出一指向座標，當該參考點影像數目小於N時則根據該等影像圖框輸出一相對位移。
例如當參考點影像數目等於N(例如N=4)時，該遙控器7則進入一第一模式，該第一模式中該遙控器7則根據前述相對4個參考點影像之定位演算法計算指向座標或游標座標。當參考點影像數目小於N時，該遙控器7則可根據至少其中一個參考點影像在影像圖框中的位移來計算相對位移，並輸出該相對位移至該顯示裝置5以相對控制游標的移動；其中，當該參考點影像數目小於N且大於1時，該遙控器7可根據該影像圖框中該等參考點影像其中之一或該等參考點影像之一平均位置(中心或重心)計算該相對位移，而所選擇的參考點影像可根據上述不同特徵值進行區別和選擇。
如圖8所示，一實施例中，當該遙控器7之一瞄準點為該影像感測器71所擷取影像圖框IF6 (其例如對應圖6之FV6 )之一中心點C時，該處理單元72 可根據該參考點影像61' 與該影像圖框IF6 之中心點C的相對位置關係(例如距離D)以及該顯示裝置5的硬體參數取得游標511之指向座標或相對位移量。另一實施例中，當該影像圖框IF6 包含兩個參考點影像時，該處理單元72可根據該等參考點影像之一平均位置或一中心位置與該影像圖框IF6 之中心點C的相對位置關係以及該顯示裝置5的硬體參數取得游標511之指向座標或相對位移量。
綜上所述，習知瞄準點估測方法必需根據所有參考點影像進行指標定位，當參考點影像不足時則無法正確操作或必需先估測出遺失的影像資訊方能進行指標定位，因此具有較小的可操作範圍。本發明另提出一種影像系統及指向系統(圖2A、2B)，其可根據不同數目的參考點影像資訊以及不同定位演算法進行指標定位、計算游標座標、計算指向座標及/或計算位移量，因而具有較大的有效可操作視野以及較大的有效可操作距離。
雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10‧‧‧遙控器
20‧‧‧顯示幕
31、32‧‧‧系統參考點
41、42‧‧‧環境光源
31' 、32' ‧‧‧參考點影像
41' 、42' ‧‧‧光源影像
5‧‧‧顯示裝置
51‧‧‧顯示幕
511‧‧‧游標
61~64‧‧‧參考點
7‧‧‧遙控器
71‧‧‧影像感測器
72‧‧‧處理單元
73‧‧‧記憶單元
74‧‧‧輸出單元
75‧‧‧加速度計
751~753‧‧‧加速度感測器
754‧‧‧控制電路
FV~FV6 ‧‧‧視野範圍
IF‧‧‧影像圖框
圖1A顯示習知指向系統之示意圖。
圖1B顯示圖1A之指向系統所擷取的影像圖框之示意圖。
圖2A顯示本發明實施例之顯示系統之示意圖。
圖2B顯示本發明實施例之指向系統及顯示系統之遙控器之方塊示意圖。
圖3顯示本發明實施例之指向系統及顯示系統之示意圖，其包含四個參考點。
圖4顯示本發明實施例之顯示系統之操作示意圖，其中該影像感測器之視野範圍僅包含三個參考點。
圖5顯示本發明實施例之顯示系統之操作示意圖，其中該影像感測器之視野範圍僅包含兩個參考點。
圖6顯示本發明實施例之顯示系統之操作示意圖，其中該影像感測器之視野範圍僅包含一個參考點。
圖6A顯示本發明實施例之顯示系統之操作示意圖，其中該遙控器包含一三軸加速度計。
圖7A顯示本發明實施例之指向系統及顯示系統中，不同參考點以不同頻率發光之示意圖。
圖7B顯示本發明實施例之指向系統及顯示系統中，不同參考點以不同亮度發光之示意圖。
圖7C~7D顯示本發明實施例之指向系統及顯示系統中，不同參考點的不同特徵之示意圖。
圖8顯示本發明實施例之指向系統及顯示系統之操作示意圖。
5‧‧‧顯示裝置
51‧‧‧顯示幕
511‧‧‧游標
61~64‧‧‧參考點
7‧‧‧遙控器
71‧‧‧影像感測器
FV‧‧‧視野範圍

Claims (20)

  1. 一種指向系統，包含：複數參考點，以一可辨識光譜發光；以及一遙控器，用以擷取包含該等參考點中至少一參考點影像之一影像圖框，根據相對該影像圖框中該參考點影像之一影像數目之一定位演算法進行指標定位。
  2. 依申請專利範圍第1項之指向系統，其中該等參考點係結合於包含一顯示幕之一顯示裝置。
  3. 依申請專利範圍第1項之指向系統，其中該遙控器另包含一三軸加速度計。
  4. 依申請專利範圍第1項之指向系統，其中該遙控器包含一處理單元用以執行相對不同的該影像數目之該定位演算法。
  5. 依申請專利範圍第4項之指向系統，其中該處理單元選擇執行相對1~4個該影像數目之該定位演算法其中之一；當該影像數目大於4時，該處理單元根據相對4個該影像數目之該定位演算法進行指標定位。
  6. 依申請專利範圍第1項之指向系統，另包含一調變單元用以調變該等參考點之一發光頻率及/或一發光亮度。
  7. 依申請專利範圍第1至6項其中一項之指向系統，其中該遙控器另根據該等參考點影像之特徵值區別不同的參考點並與環境光區隔。
  8. 一種顯示系統，包含：一顯示裝置，顯示有一游標；複數參考點，以一可辨識光譜發光；以及一遙控器，用以擷取包含該等參考點中至少一參考點影像之一影像圖框，根據相對該影像圖框中該參考點影像之一影像數目之一定位演算法計算並輸出該游標之一游標座標。
  9. 依申請專利範圍第8項之顯示系統，其中該等參考點結合於該顯示裝置或與該顯示裝置分離。
  10. 依申請專利範圍第8項之指向系統，其中該遙控器另包含一三軸加速度計。
  11. 依申請專利範圍第8項之顯示系統，其中該遙控器包含一處理單元用以執行相對不同的該影像數目之該定位演算法。
  12. 依申請專利範圍第11項之顯示系統，其中該處理單元選擇執行相對1~4個該影像數目之該定位演算法其中之一；當該影像數目大於4時，該處理單元根據相對4個該影像數目之該定位演算法計算並輸出該游標座標。
  13. 依申請專利範圍第8項之指向系統，另包含一調變單元用以調變該等參考點之一發光頻率及/或一發光亮度。
  14. 依申請專利範圍第8至13項其中一項之顯示系統，其中該遙控器另根據該等參考點影像之特徵值區別不同的參考點並與環境光區隔。
  15. 一種指向系統，包含：複數參考點，以一可辨識光譜發光；以及一遙控器，用以擷取包含該等參考點中至少一參考點影像之一影像圖框及辨識一參考點影像數目，當該參考點影像數目等於該等參考點之一參考點數目則根據該影像圖框輸出一指向座標，當該參考點影像數目小於該參考點數目則根據該影像圖框輸出一相對位移。
  16. 依申請專利範圍第15項之指向系統，其中當該參考點影像數目小於該參考點數目且大於1時，該遙控器根據該影像圖框中該等參考點影像其中之一或該等參考點影像之一平均位置計算該相對位移。
  17. 依申請專利範圍第15項之指向系統，其中該參考點數目為4。
  18. 依申請專利範圍第15項之指向系統，其中該遙控器另包含一三軸加速度計。
  19. 依申請專利範圍第15項之指向系統，另包含一調變單元用以調變該等參考點之一發光頻率及/或一發光亮度。
  20. 依申請專利範圍第15至19項其中一項之指向系統，其中該遙控器另根據該等參考點影像之特徵值區別不同的參考點並與環境光區隔。
TW102100691A 2013-01-09 2013-01-09 具有較大可操作範圍的指向系統及影像系統 TWI468997B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102100691A TWI468997B (zh) 2013-01-09 2013-01-09 具有較大可操作範圍的指向系統及影像系統
US14/096,279 US9606639B2 (en) 2013-01-09 2013-12-04 Pointing system and display having improved operable range

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102100691A TWI468997B (zh) 2013-01-09 2013-01-09 具有較大可操作範圍的指向系統及影像系統

Publications (2)

Publication Number Publication Date
TW201428554A TW201428554A (zh) 2014-07-16
TWI468997B true TWI468997B (zh) 2015-01-11

Family

ID=51060580

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102100691A TWI468997B (zh) 2013-01-09 2013-01-09 具有較大可操作範圍的指向系統及影像系統

Country Status (2)

Country Link
US (1) US9606639B2 (zh)
TW (1) TWI468997B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077206A (zh) * 2014-09-30 2017-08-18 皇家飞利浦有限公司 基于指向设备的用户接口系统
CN105005397A (zh) * 2015-07-14 2015-10-28 桂林航天工业学院 一种基于翻页笔的教学系统及方法
US11752635B2 (en) 2017-06-02 2023-09-12 Pixart Imaging Inc. Mobile robot performing multiple detections using image frames of same optical sensor
US10627518B2 (en) * 2017-06-02 2020-04-21 Pixart Imaging Inc Tracking device with improved work surface adaptability
US11691264B2 (en) 2017-06-02 2023-07-04 Pixart Imaging Inc. Mobile robot performing multiple detections using image frames of same optical sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181015A (en) * 1989-11-07 1993-01-19 Proxima Corporation Method and apparatus for calibrating an optical computer input system
US5208586A (en) * 1991-02-14 1993-05-04 Nathan J. Friberg Ultrasonic vehicle positioning apparatus and method
TWM368130U (en) * 2006-10-11 2009-11-01 Apple Inc Apparatus for implementing multiple push buttons in a user input device

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8725033D0 (en) * 1987-10-26 1987-12-02 Crosfield Electronics Ltd Interactive image display
US5757358A (en) * 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5448261A (en) * 1992-06-12 1995-09-05 Sanyo Electric Co., Ltd. Cursor control device
US6049326A (en) * 1997-05-12 2000-04-11 Siemens Information And Communication Networks, Inc. System and method for dual browser modes
US6417836B1 (en) * 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
US20040085443A1 (en) * 2000-12-13 2004-05-06 Kallioniemi Olli P Method and system for processing regions of interest for objects comprising biological material
US7864159B2 (en) * 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
TWI281623B (en) 2005-05-10 2007-05-21 Pixart Imaging Inc Orientation point orientating method of orientation device and device thereof
TWI260914B (en) * 2005-05-10 2006-08-21 Pixart Imaging Inc Positioning system with image display and image sensor
KR100714722B1 (ko) * 2005-06-17 2007-05-04 삼성전자주식회사 광원의 신호를 사용하여 포인팅 사용자 인터페이스를구현하는 장치 및 방법
US9285897B2 (en) * 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
JP4773170B2 (ja) * 2005-09-14 2011-09-14 任天堂株式会社 ゲームプログラムおよびゲームシステム
TWI316195B (en) * 2005-12-01 2009-10-21 Ind Tech Res Inst Input means for interactive devices
JP4837405B2 (ja) * 2006-03-09 2011-12-14 任天堂株式会社 座標算出装置および座標算出プログラム
TWI337338B (en) * 2006-03-17 2011-02-11 Lite On Technology Corp Pointing method and system for quickly moving an object to a designated area
TWI317084B (en) * 2006-05-05 2009-11-11 Pixart Imaging Inc Pointer positioning device and method
TWI351224B (en) 2006-12-28 2011-10-21 Pixart Imaging Inc Cursor controlling method and apparatus using the same
TWI330541B (en) 2007-01-31 2010-09-21 Pixart Imaging Inc Control device and method for controlling an image display
US8749483B2 (en) * 2007-02-15 2014-06-10 Pixart Imaging Inc. Control device and control method for image display
TWI345720B (en) * 2007-04-24 2011-07-21 Pixart Imaging Inc Cursor controlling device and method for image apparatus and image system
US8102365B2 (en) * 2007-05-14 2012-01-24 Apple Inc. Remote control systems that can distinguish stray light sources
JP5035972B2 (ja) * 2007-06-13 2012-09-26 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
TWI338241B (en) * 2007-08-23 2011-03-01 Pixart Imaging Inc Interactive image system, interactive device and operative method thereof
TWI354220B (en) * 2007-12-17 2011-12-11 Pixart Imaging Inc Positioning apparatus and related method of orient
WO2012114240A1 (en) 2011-02-21 2012-08-30 Koninklijke Philips Electronics N.V. Estimating control feature from remote control with camera
TWI442269B (zh) * 2011-08-09 2014-06-21 J Mex Inc 控制裝置及將其用於控制螢幕的方法
TWI489324B (zh) * 2013-07-05 2015-06-21 Pixart Imaging Inc 手持式指向裝置的游標定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181015A (en) * 1989-11-07 1993-01-19 Proxima Corporation Method and apparatus for calibrating an optical computer input system
US5208586A (en) * 1991-02-14 1993-05-04 Nathan J. Friberg Ultrasonic vehicle positioning apparatus and method
TWM368130U (en) * 2006-10-11 2009-11-01 Apple Inc Apparatus for implementing multiple push buttons in a user input device

Also Published As

Publication number Publication date
US20140191959A1 (en) 2014-07-10
US9606639B2 (en) 2017-03-28
TW201428554A (zh) 2014-07-16

Similar Documents

Publication Publication Date Title
JP4927021B2 (ja) 画像表示装置のカーソル制御装置及び制御方法、ならびに画像システム
TWI468997B (zh) 具有較大可操作範圍的指向系統及影像系統
US20100201808A1 (en) Camera based motion sensing system
JP5049228B2 (ja) 対話画像システム、対話装置及びその運転制御方法
JP2007071782A (ja) 位置姿勢計測システム及びその計測方法、並びに制御プログラム
JP2008165800A (ja) カーソル制御方法及び装置
JP6601489B2 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
WO2019193859A1 (ja) カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
US10416792B2 (en) Gesture detection device for detecting hovering and click
JP2001148025A (ja) 位置検出装置及びその方法、平面姿勢検出装置及びその方法
US10067576B2 (en) Handheld pointer device and tilt angle adjustment method thereof
US9013404B2 (en) Method and locating device for locating a pointing device
TWI493382B (zh) 懸浮及點擊手勢偵測裝置
TWI472957B (zh) 具有旋轉校正功能的動作感測裝置與方法
US20130328772A1 (en) Handheld Pointing Device
JP6654019B2 (ja) 情報処理システム情報処理装置、情報処理方法、情報処理プログラム、および、ハンドヘルド型情報処理装置
JP5862382B2 (ja) 作業支援装置
JP2003023562A (ja) 画像撮影システムおよびカメラシステム
JP6670682B2 (ja) 位置検出方法及び位置検出システム
JP2012113494A (ja) 指示位置検出装置および指示位置検出方法
US11947122B1 (en) Tracking system and method incorporating selective control of light sources of controller
JP6666121B2 (ja) 情報処理システム、情報処理装置、情報処理方法、および、情報処理プログラム
US9354706B2 (en) Storage medium having stored therein information processing program, information processing apparatus, information processing system, and method of calculating designated position
TWI461995B (zh) 手持式指向裝置及其操作方法
JP6689679B2 (ja) 表示装置、情報表示システム、及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees