TWI502449B - 具有檢測結果依路由傳送功能之成像技術 - Google Patents

具有檢測結果依路由傳送功能之成像技術 Download PDF

Info

Publication number
TWI502449B
TWI502449B TW102135546A TW102135546A TWI502449B TW I502449 B TWI502449 B TW I502449B TW 102135546 A TW102135546 A TW 102135546A TW 102135546 A TW102135546 A TW 102135546A TW I502449 B TWI502449 B TW I502449B
Authority
TW
Taiwan
Prior art keywords
results
accumulator
detection result
detection
accumulators
Prior art date
Application number
TW102135546A
Other languages
English (en)
Other versions
TW201419094A (zh
Inventor
Kurt Eugene Spears
Otto K Sievert
Original Assignee
Hewlett Packard Development Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co filed Critical Hewlett Packard Development Co
Publication of TW201419094A publication Critical patent/TW201419094A/zh
Application granted granted Critical
Publication of TWI502449B publication Critical patent/TWI502449B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Description

具有檢測結果依路由傳送功能之成像技術
本發明係有關於具有檢測結果依路由傳送功能之成像技術。
 發明背景
在一虛擬物件的協作環境中，遠端協作者可互動於以及修改一共用的虛擬物件。該共用的虛擬物件可以是可見影像之形式，其之範例局部地被呈現至分別的協作者。與虛擬物件之互動，可使用人類的輸入裝置被實現。例如，虛擬物件可以是一虛擬的文件頁面；一協作者可使用紅外線筆(具有發出紅外光之一尖端的描繪筆)而註解該虛擬文件頁面。該等註解可被呈現至遠端的協作者。換句話說，在不同地點的文件頁面之影像可被調和至它們皆表示相同物件的效果。
依據本發明一實施例，特地提出一種成像系統，其包括：一感測器元件之感測器陣列，用以轉換入射光成為檢測結果；檢測結果累積器；以及開關，其耦合該等檢測結果累積器至該等感測器元件，各開關選擇性地自一感測器元件路由傳送檢測結果，以便它們在一組該等檢測累積 器之n(n3)個構件之中被分配，以形成n個同時之累積結果。
100‧‧‧成像系統
102‧‧‧感測器陣列
104‧‧‧感測器元件
106‧‧‧入射光
108‧‧‧檢測結果
110‧‧‧累積器
110R、110G、110B‧‧‧累積器
112‧‧‧開關組集
114‧‧‧開關
200‧‧‧成像處理程序
201-202‧‧‧成像處理流程步驟
300‧‧‧協作環境
310、320‧‧‧成像系統
312‧‧‧RGB投影機
314‧‧‧RGB-IR相機
316‧‧‧IR筆
322‧‧‧RGB投影機
324‧‧‧RGB-IR相機
326‧‧‧IR筆
330‧‧‧網絡
332‧‧‧數位影像
334‧‧‧實際物件
336‧‧‧可見影像
338‧‧‧可見影像
400‧‧‧通道陣列
402‧‧‧檢測結果通道
404‧‧‧感測器元件
406‧‧‧開關
408‧‧‧累積器組集
410‧‧‧感測器陣列
412‧‧‧開關陣列
414‧‧‧累積器組集陣列
416‧‧‧色彩累積器
416R‧‧‧紅色累積器
416G‧‧‧綠色累積器
416B‧‧‧藍色累積器
416J‧‧‧IR累積器
418‧‧‧讀出電路
420‧‧‧影像資料處理器
422‧‧‧時序控制器
424R‧‧‧紅色發射器
424G‧‧‧綠色發射器
424B‧‧‧藍色發射器
428、430‧‧‧可見光
430R‧‧‧紅色相位
430G‧‧‧綠色相位
430B‧‧‧藍色相位
430X‧‧‧間隙相位
432‧‧‧紅外線(IR)
500‧‧‧成像處理程序
501-511‧‧‧成像處理流程步驟
下面的圖形代表範例，而非代表本發明本身。
圖1是根據一範例之成像系統的概要圖。
圖2是根據一範例之處理程序的流程圖。
圖3是根據一範例之協作環境的概要圖。
圖4是圖3之協作環境的成像系統的概要圖。
圖5是根據一範例之一協作處理程序的流程圖。
 較佳實施例之詳細說明
於2011年11月2日建檔且標題為“投射捕捉系統、編程與方法”之編號為PCT/US11/58896的PCT之專利申請案中，揭示具有被提供以用於各協作者之分別的成像系統之一虛擬物件協作環境(例如，混合真實系統)。各個成像系統包含一投影機，其用以投射表示一虛擬物件之可見影像，例如，在一文件頁面。各個成像系統包含一可見光相機以追踪虛擬物件中之變化，例如，由於當地協作者使用紅外線筆之行動。為此目的，一紅外線(IR)相機被使用以追踪紅外線筆的位置和移動。
此一系統必須針對色彩套準的挑戰。首先，由IR相機拍攝的影像必須被對齊(套準)於可見影像。此外，如果可見光相機對於可見光的色彩分量(例如，紅色、綠色以及藍色)使用分別的感測器元件，則產生的單色影像必須被套 準，以避免合成影像中之非所需之偽影。校準和後處理程序，可針對解決套準問題，但他們可能在時間和處理功率上招致不必要的損失。例如，後處理可依據被捕獲的數位影像而增加更新一投射之可視影像所需的潛伏時間。
於此所揭示之範例，儘管在不同的時間，藉由部 份地使用全方位之感測器元件以捕獲所有色彩而針對套準挑戰。如下面有關成像系統100(圖1)之說明，藉由各個感測器元件輸出的檢測結果作為時間函數被路由傳送到至少三種不同的專用色彩累積器，因而各累積器累積對於分別色彩的檢測結果。如下面參照協作環境300(圖3和4)之進一步說明，專用於紅外線檢測結果之一累積器的包含物針對對於可見光之IR光的套準問題，並提供交錯之累積結果以最小化時間為基礎之套準問題，即使是在移動元素(例如，移動紅外線筆)之場景的情況下亦然。
如於圖1中所示之一成像系統100，包含感測器元 件104之一感測器陣列102。各感測器元件104是用以將入射光106轉換成為檢測結果108。根據所採用的技術類型，檢測結果108可採用電荷形式或一些其他形式。
除了感測器元件104之外，成像系統100也包含檢 測結果累積器110。與各感測器元件104關聯的是一組n個檢測結果累積器，其中n是大於或等於3(n3)之一整數，因此，例如，至少一第一檢測結果累積器110R可被專用於累積紅色光之檢測結果，至少一第二檢測結果累積器110G可被專用於累積綠色光之檢測結果，至少一第三檢測結果累 積器110B可被專用於累積藍色光之檢測結果。另外地，三個或更多的檢測結果累積器之各者可被專用於除了紅-綠-藍(RGB)之外的色彩空間之分別的尺度。成像系統100進一步包含開關114之一開關組集112。各開關114是用以從一感測器元件104路由傳送檢測結果至檢測結果累積器110而作為被轉換至檢測結果之入射光的一色彩函數。
可使用成像系統100或其他成像系統被實作的一 成像處理程序200之流程圖在圖2中。在201中，入射光(例如，一射入感測器元件104)被轉換為檢測結果。在202中，檢測結果被路由傳送(例如，藉由開關組集114)至“專用色彩”檢測結果累積器100而作為被轉換為檢測結果之入射光的色彩函數。
複數個專用色彩累積器之使用可有利地解耦從 累積器輸出累積結果的處理程序與輸入檢測結果至累積器的處理程序。如果只有一累積器被使用於複數個色彩中，每當將被檢測之色彩被改變時，則該累積器必須被讀出且被重新設定。當複數個專用色累積器被使用時，一色彩可被讀取，而另一者則被累積。此外，當複數個累積器被使用(每個感測器元件)時，累積結果可以是“交錯的”，亦即，一第一色彩可被累積，接著另一色彩可被累積，並且接著該第一色彩可再次被累積，而全無交錯被讀出或被重新設定。
例如，為了使用單一累積器得到30毫秒(ms)的一 訊框持續時間，下面的樣式可被使用：紅色10毫秒、讀出 與重新設定、綠色10毫秒、讀出與重新設定、藍色10毫秒、讀出與重新設定，並且重複。如果在景觀或物件中有移動的元件被成像，則由於在被成像之景觀中的移動，平均將有大約15毫秒的色彩錯套機會。本處說明之範例降低由於景觀移動之這色彩錯套機會。
複數個專用色彩累積器將允許一交錯樣式，例 如，5毫秒紅色、5毫秒綠色、5毫秒藍色、5毫秒紅色、5毫秒綠色、5毫秒藍色、讀出與重新設定、並且重複。在這情況下，對於色彩錯套之可能平均時間被減少一半，大約為7.5毫秒。對於由於景觀移動的錯套之可能時間可藉由對於各色彩循環通過1毫秒相位，而被降低至小於2毫秒。在這種情況下，在色彩之間的平均錯套被限定在發生於2毫秒內之景觀的移動量。因此，藉由使用複數個專用色彩累積器被提供的交錯可很容易減少一個級數之幅度或更多的色彩錯套。如在下面的範例中，當紅外線能力被整合進入相機時，進一步的優點是可獲得的。
一協作環境300被圖解地說明於圖3中，而包含藉由網絡330被耦合之成像系統310和320。雖然兩個成像系統於圖3中被呈現，其他範例也可包含其它數量之成像系統。成像系統310包含一RGB投影機312、一個RGB-IR相機314、以及一IR筆316。成像系統320實質上是相似於成像系統310，成像系統320包含一RGB投影機322、一RGB-IR相機324以及一IR筆326。
成像系統310可被使用以產生實際物件334(其可 以是，例如，一個三維物件或一文件的一頁面)之一機器可讀取數位影像332。為此，RGB投影機312可被使用以照射實際物件334，並且RGB-IR相機314可捕捉由實際物件334所反射的光以產生數位影像332。數位影像332接著可被輸入RGB投影機312，因而RGB投影機312投射(例如，產生)一人類可察覺的可見影像336。
可見影像336可作為虛擬物件，其可藉由一使用 者，例如，使用IR筆316、以及其他人的輸入設備而被操作/被修改。IR筆316是具有前端發射紅外光之描繪尖筆，其尖端也可發出可見光以讓使用者知道何時IR光是致動的。 一本地協作者(或其他使用者)可使用紅外線筆316，例如，控制可見影像336中之游標位置，且藉由做出手勢或以紅外線筆316“寫入”而操作或標註可見影像336。RGB-IR相機314檢測紅外線筆316的位置，因而紅外線筆316的位置可被追踪。命令可被實作且游標位置於數位影像332中被調整，因此，當其被更新時，數位影像332可被輸入至RGB投影機312以更新可見影像336。
除了局部地相關於成像系統310的使用之外，數 位影像332可在網絡330上被通訊至成像系統320。在該處，數位影像332可被輸入至RGB投影機322以產生可見影像338。如可見影像336一樣，可見影像338可藉由一遠端協作者(或其他使用者)被操作，例如，使用IR筆326。RGB-IR相機324可追踪紅外線筆326的位置且更新數位影像332。實際上，各成像系統310、320維持數位影像332之一舉例，成像 系統上之程序確保這兩情況例被更新，因而可見影像336與338接近及時地被調和(即，被協調)。因此，本地和遠端的協作者一起工作以對話，並且編輯以可見影像336和338所代表的虛擬物件。
與標題為“投影捕獲系統、編製程序與方法”之被 揭示的PCT專利申請序號第PCT/US11/58896案之對應者一樣，協作環境300以及它之成像系統310與320具有共同的一些應用與一些元件。然而，在該專利申請中被揭示之成像系統，對於可見色彩以及對於紅外線使用分別的相機。對於簡單、經濟、以及更好的色彩套準與紅外影像分量，RGB-IR相機314與324結合可見色彩捕獲以及IR捕獲。
RGB-IR相機314，如圖4所示，包含檢測結果通 道402之通道陣列400。各檢測結果通道402包含一分別感測器元件404、一分別開關406、以及一分別的累積器組集408。因此，通道陣列400包含一感測器元件404之二維感測器陣列410、一開關406之二維開關陣列412以及一累積器組集408之二維累積器組集陣列414。感測器陣列可被形成於背部照光式CMOS感測器之背側上，而開關陣列412以及累積器集數組414可被形成在背部照光式CMOS感測器的前側上。各累積器組集408包含複數個專用色彩累積器416，在這種情況下，是一紅色專用累積器416R、一綠色專用累積器416G、一藍色專用累積器416B以及一IR專用累積器416J。累積器416可被實作如整合電容器。
感測器元件404是“全範圍”，於其中各感測器元 件404可以檢測入射紅色、綠色、藍色以及紅外線光線。回應於入射光之檢測結果，例如，以光子形式，各感測器元件404輸出“檢測結果”，在這種情況下，以電荷形式。所有的累積器416實質上是類似的；不同的標示，在使用時，反應各累積器是專用於分別的色彩(例如，紅色、綠色、藍色以及紅外線)之事實。
各開關406具有被耦合至分別的累積器組集408 之分別的累積器416之輸入端的輸出端。累積器輸出端被耦合至讀出電路418，其包含用以轉換類比累積器值為數位值的一類比至數位轉換器(ADC)。在其他範例中，ADC被置於累積器以及讀出電路之間。
讀出電路418之輸出利用影像資料處理器420被 接收，例如，一電腦，其可以使用該接收的數位資料以構建以及更新數位影像332。數位影像332從影像資料處理器420被通訊至RGB投影機312以更新可見影像336。此外，影像資料處理器420經由網絡330通訊於其他成像系統(例如，成像系統320)中之對應者，以調和數位影像332之實例(亦即，解決同步化、均等化之間的差異)。
時序控制器422控制以及同步化(即，調節時序) 開關406、讀出電路418以及RGB投影機312之紅色、綠色、藍色發射器424R、424G、424B。各開關406被同步化於投影機312，因此，在任何給予的時間，檢測結果被路由傳送至對應至藉由投影機312被發射的色彩之累積器。在藉由投影機312之發射中的間隙之期間，紅外線檢測結果被路由傳 送至紅外線累積器416J。因此，檢測結果被路由傳送至累積器作為檢測結果被產生的一入射光之色彩的函數。時序控制器422可包含在RGB投影機312內、RGB-IR相機314內及/或在RGB投影機312與RGB-IR相機兩者外部之電路。
圖5中之流程圖的成像處理程序500，可使用協作 環境300或其他環境被實作。在501中，成像系統之時序被控制，因而藉由一投影機之發射、在相機內的切換以及從相機之讀出被同步化(亦即，它們的時序被調節)。在協作環境300之脈絡中，時序控制器422被組態以同步化被使用於投影機312、相機切換408、讀出電路418的操作之時序。例如，當時序控制器422導致RGB投影機312發射紅光時，開關406是導引(大概是紅色)檢測結果至紅色累積器416R。對於另一範例，當時序控制器422導致RGB投影機312不發射任何色彩，則時序控制器422導致開關406導引(大概IR)檢測結果至IR累積器416J。同時，時序控制器422導致讀出電路418分別地從累積器416R、416G、416B以及416J讀出(僅當他們不接受檢測結果時)。
例如，RGB投影機312可連續地發射色彩以形成 被發射的可見光428，由於被發射的可見光428之反射，而導致可見光430將入射至相機314。由於藉由時序控制器412之RGB投影機312之控制，入射可見光430，如被發射的可見光428一樣，可包含週期性相位，例如，一紅色相位430R、一綠色相位430G、一藍色相位430B以及間隙相位430X。開關406在紅色相位430R路由傳送檢測結果至紅色累積器 416R、在綠色相位430G路由傳送檢測結果至綠色累積器416G、在藍色相位430B路由傳送檢測結果至藍色累積器416B，並且在間隙相位430X路由傳送檢測結果至IR累積器416J。該等相位可具有不同的持續時間和頻率。例如，一樣型RGBXRGBXRGBX，等等，允許，IR筆316(其可以是正移動)的位置可以是更頻繁於可見影像336(其可以是一不動之文件)的樣本。
在502，色彩連續地被發射，亦即，一色彩在一 時間被發射。例如，該序列可以是RGBRGBRGB…，於其中，一序列RGB被重複；另外地，一序列可能不具有重複的樣式。在成像系統310的情況下(於其中RGB-IR相機314檢測比RGB投影機312發射更多之色彩)，該樣型可包含間隙，例如，RGBXRGBX或RXGXBXRXGXBX，例如，以允許相機檢測來自不同光源(例如，來自紅外線筆之紅外線)的光線。代表不同的色彩之數目m是大於或等於3，因而藉由整合於不同的色彩上，全色影像可被獲得。在各週期之色彩相位被發射的光可以是均勻的(例如，以供照亮一實際物件)或攜帶影像(例如，當投射一影像時)。
在503，一協作者或其他實體使用一人類介面設 備，例如，紅外線筆316與場景互動。該場景可包含一個實際物件，例如，利用RGB投影機312被照明者，及/或一可見影像，例如，藉由投影機312被投射者。例如，協作者可以使用紅外線筆316指示可見影像336之部分；協作環境300接著可以調和可見影像338，因而分別地使用成像系統310 及320之協作者，可聚焦在共用虛擬物件之相同區域。此外，IR316筆可被使用以註釋一文件影像(或甚至是一實際物件)或發出命令(例如，“旋轉”，“縮放”等)。
在504中，入射光(可見光以及紅外光)利用感測 器陣列410被檢測，而導致檢測結果。在505，開關被操作以導引檢測結果至n(nm)個專用色彩累積器。開關406可以同步於RGB投影機312方式利用時序控制器422被控制，因而檢測結果被路由傳送至對應於引起檢測結果的入射光相位之累積器416R、416G、416B或416J。例如，當RGB投影機312發射紅色光時，開關406被設定，因而檢測結果被路由傳送至“紅色”累積器416R。於另一範例，在利用RGB投影機312之色彩發射之間的間隙期間，開關406被設定，因而檢測結果被路由傳送至IR累積器416J。應注意，色彩相位可藉由色彩於數量及/或持續時間變化。例如，可以有兩個綠色的週期或雙長度的綠色週期以利用綠色被認為是人類眼睛最緊密相關的強度(亮度)或比色調更敏感的事實。
在506，累積結果被交錯。於此，當於被耦合至 開關以接收來自該感測器的檢測結果之一累積器內的累積結果包含在檢測結果被累積於另一累積器內之前及之後所取得的檢測結果時，累積結果“被交錯”，其中該另一累積器被耦合至開關以從感測器接收檢測結果。“交錯”可包含單色交錯，例如，RGBG，於其中只有一累積器，(在這種情況下，是綠色累積器416G)被交錯，以及所有的色彩交錯，例如，RGBRGB，於其中所有累積結果被交錯，交錯 可因專用色彩累積器之存在而成為可能(如相對於使用一單一累積器，該單一累積器在可被使用以儲存關聯於下一個色彩的檢測結果之前必須被清空)。如下面之說明，交錯有可能顯著地減少由於在一場景中之移動元素的色彩錯配問題。
在507，累積結果被讀出，一旦其內容被讀取， 一累積器被重新設定(例如，歸零)。對於不採用交錯的實施例中，累積器可讀出與重新設定每個色彩週期，例如，RGB或RGBJ。對於採用交錯的實施例中，讀出/重新設定可發生在複數個色彩週期之後，例如，RGBRGB或RGBJRGBJ，其中J可對應至開關設定，於其中投影機312不發射一色彩並且檢測結果被路由傳送至IR累積器416J。
在一些範例中，色彩相位週期的數目(例如， RGBX實例)可以是大的，例如，在讀出之間的幾十個或幾百個，因而一組累積器中的累積結果是時間上高度地被重疊，以便最小化數位影像中的色彩錯配(而不需要色彩套準後處理，其可能是耗時的，並且因此，延遲協作影像更新)。 在507的過程中，讀出電路418可轉換被儲存於累積器中的類比值為數位值，以供影像資料處理器420之使用。
在508，數位影像332依據從累積器中被讀出的資 料而被產生/被更新。在509，影像資料被解釋，例如，利用影像資料處理器420以追踪紅外線筆位置及移動。應注意，如果紅外線筆將相對於固定物件或投射影像被追踪，則筆的位置可比物件或被投射影像更頻繁地被取樣。例 如，投影機312可發射重複之RXGXBX並且檢測結果可藉由重複樣型RJGJBJ被路由傳送。
在510，在不同成像系統中之數位影像的實例被 調和。例如，利用分別之成像系統310以及320被儲存的數位影像332(圖3)的複製，可被調和。在511，該調和的數位影像可被輸入至分別的投影機以產生/更新可見影像。由於數位影像被調和，從投影機所產生的可見影像，也被調和。 例如，可見影像336以及338(圖3)被調和，因而使用分別之成像系統310以及320的協作者，可在相同虛擬物件上操作。
於其他實施例中，其他色彩集合被使用。例如， 取代或除了紅外線之外的紫外光可被檢測。檢測色彩相位可能比其他者更長及/或更頻繁。在一些實例中，每個感測器之每個色彩有多於一個以上的累積器。例如，複數個IR累積器可被使用以檢測IR筆之相位以及深度。
於圖解說明之範例中，m<n，亦即，在涉及於時 間連續發射中的投影機之發射器數量m是小於或等於每個累積器集合(亦即，每個感測器通道)之累積器的數量n。例如，三個累積器可被使用而利用一投影機發射三種色彩(RGB)、或四個累積器可被使用而利用一投影機發射四種色彩(RGB-IR)、或四個累積器可被使用而利用一投影機發射三種色彩(RGB)，而第四累積器則被使用以檢測來自除了投影機外的一光源之IR。
在不同之範例中，m>n。例如，投影機可以有m(m>n)個發射器，但限制使用的數量為n。因此，投影機可 具有R、G、B、IR以及UV之發射器，但在一時間只使用IR以及UV之一者。在另一範例中，一投影機可具有六個發射器：紅色、綠色、藍色、品紅色、青色以及黃色，並且三累積器可在紅色、綠色以及藍色的偶數週期被使用，且可在品紅色、青色以及黃色的奇數週期被使用。於圖說明之範例中，各累積器是專用於只單一色彩(R、G、B、IR)的累積檢測結果。然而，在一些實例中，例如，其中m>n時，利用一累積器之色彩累積器可能被改變，例如，對於不同的讀出週期。
此處，“系統”是一組互動之非暫態性的有形元 件，於其中，藉由範例而不是作為限制，該等元件可以是機械構件、電氣元件、原子、指令的實際編碼、以及處理程序段。此處，“裝置”係關連一硬體或硬體+軟體系統。此處，“處理程序”係指導致或涉及一實際變換的一系列活動。一“成像處理程序”是用以產生可見及/或數位影像之處理程序。
一“成像系統”是用以產生可見及/或數位影像之 一系統。本文中，“影像”是係涉及光線的(均勻或不均勻)空間分佈或此一光分佈的數位表示。一“可見影像”是一個人可感知的一影像；一“數位影像”是以數位格式之資料的一非暫態性有形之編碼，其表示可見影像(並且可能包含其他資料)。
此處，一“虛擬物件”是一以數位方式定義的物 件，其表示一人類可操作之物件，並且其就好像它是可操 縱物而可由一個人被操縱。例如，一文件之一投射影像可表示一硬拷貝文件，並且可以被操縱，例如，使用紅外線筆被附加說明(更多或更少)，就好像它是硬拷貝文件。
此處，“光線”是電磁輻射。“光線”包含可見光， 其包含人的眼睛可察覺之波長範圍內的光線，以及“不可見光”，其是人的眼睛可察覺之外的波長範圍之光線，該不可見光包含“紅外光線”以及“紫外光線”。一“感測器”是用以將入射光(亦即，到達感測器的光線)轉換成為檢測結果的一硬體裝置。一“感測器陣列”是構成一陣列的一感測器，其通常是二維的“感測器元件”，其是各擁有自己本身的條件之一感測器。
此處，一“檢測結果”是回應於入射光而產生的一有形實體。一檢測結果，例如，可以是一電荷或一組電荷。另外地，一檢測結果可以是一電壓位準或一光強度位準(其中感測器回應於入射光而可有效地產生放大的光)，或一檢測結果可採用另一形式。
此處，一“檢測結果累積器”或只是“累積器”是累積或計算檢測結果之一裝置。例如，一累積器可以是一整合電容器，當檢測結果以電荷形式被接收時累積器增加其之電荷位準。在其他實施例中，累積器可採用其他形式，例如，一計數器，其計算回應於入射光所產生的光脈衝。
此處，“開關”係指示一裝置，其具有一輸入、複數個輸出以及一控制埠，其用以接收一信號(其選擇將被連接至輸入的輸出之一者)。在目前情況下，一開關輸入被連 接至一感測器元件之一輸出，而用以接收來自該感測器元件之檢測結果，各開關輸出被耦合至一相對的專用色彩累積器，以便當被耦合至開關輸入時，導引檢測結果至分別的累積器；並且各控制埠被耦合至計時控制器，因而使開關設置可以與投影機的發射器同步化。此處，“被劃分”的意思是“被分配”，其意義是，各檢測結果根據檢測結果被得到之時間的開關設置而被分配至一分別的累積器中。這裡，“組”需要至少兩元件。
此處，一“讀出系統”以及“讀出子系統”是指用以 自其他設備(例如，累積器)讀出數值的系統，例如，以決定利用一累積器所累計的檢測結果之總數或數量。本文中的“重新設定”係指示初始化一裝置，例如，設定一累積器，因而其表示的檢測結果數量是零。
此處，“電腦”係指示用以根據實際編碼的指令而 處理實際編碼的資料之硬體機器。一“伺服器”是進行對於其他電腦之服務的一電腦。根據本文脈絡，提及電腦或伺服器可能或可能不包含被安裝在電腦上的軟體。於此，“儲存媒體”係指示包含非暫態性有形素材的一系統，其中資訊是或可於包含資料與指令之該儲存媒體中或其上被編碼。 “電腦可讀取”係指示在其中資訊以電腦可讀取形式被編碼的儲存媒體。
在本說明文中，相關技術用於說明性之目的而被討論。被標記為“先前技術”之相關技術，如果有的話，是被承認的先前技術。未被標記為“先前技術”之相關技術則 不被承認為先前技術。在申請專利範圍中，“該”字是用以引介有明確的前項根據的元件，“這(the)”字是用以引介依前項基礎可能是隱含的元件。圖解地被說明與描述的實施例，以及其修改與其上之變化皆是在下面的申請專利範圍之範疇內。
100‧‧‧成像系統
102‧‧‧感測器陣列
104‧‧‧感測器元件
106‧‧‧入射光
108‧‧‧檢測結果
110(110R、110G、110B)‧‧‧累積器
112‧‧‧開關組集
114‧‧‧開關

Claims (10)

  1. 一種成像系統，其包括：一感測器元件之感測器陣列，用以轉換入射光成為檢測結果；檢測結果累積器；以及開關，其耦合該等檢測結果累積器至該等感測器元件，各開關選擇性地路由傳送來自一感測器元件之檢測結果，以便它們在一組該等檢測結果累積器之n3個構件之中被區分，以形成n個同時之累積結果。
  2. 如請求項1之成像系統，進一步包括一讀出子系統，以在該等累積結果被交錯之後讀取出該等累積結果。
  3. 如請求項1之成像系統，進一步包括：一發射器子系統，其相繼地發射m種色彩；以及一時序控制器，其同步化該等開關與該發射器子系統，以便該等檢測結果累積器之各者累積對應至該等色彩之至多一者的檢測結果，以及使得該組的該等檢測結果累積器之不同的一者累積對於該等色彩之分別不同一者之檢測結果。
  4. 如請求項3之成像系統，其中nm。
  5. 如請求項4之成像系統，進一步包括一讀出子系統，以在該等累積結果被交錯之後讀取出該等累積結果。
  6. 一種成像方法，其包括下列步驟：使用一感測器元件之感測器陣列檢測入射光線，以 形成檢測結果；以及操作開關以路由傳送該等檢測結果至檢測結果累積器，因而藉由一感測器元件所作成的檢測結果被區分以供儲存在一組n3個檢測結果累積器之中，以形成n個同時之累積結果。
  7. 如請求項6之成像方法，進一步包括：在該等累積結果被交錯之後，讀出該等n個同時之累積結果。
  8. 如請求項6之成像方法，進一步包括：相繼地發射m種色彩的光線；以及同步化該等開關與該發射，以便落在該感測器元件上的該光線之一部分的檢測結果，依據產生分別的檢測結果的入射光線之色彩而被區分於該組的該等檢測結果累積器之中。
  9. 如請求項8之成像方法，其中nm。
  10. 如請求項9之成像方法，進一步包括：在該等累積結果被交錯之後讀取出該等n個同時之累積結果。
TW102135546A 2012-10-13 2013-10-01 具有檢測結果依路由傳送功能之成像技術 TWI502449B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/651,387 US8982261B2 (en) 2012-10-13 2012-10-13 Imaging with interleaved detection accumulations

Publications (2)

Publication Number Publication Date
TW201419094A TW201419094A (zh) 2014-05-16
TWI502449B true TWI502449B (zh) 2015-10-01

Family

ID=50475016

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102135546A TWI502449B (zh) 2012-10-13 2013-10-01 具有檢測結果依路由傳送功能之成像技術

Country Status (2)

Country Link
US (1) US8982261B2 (zh)
TW (1) TWI502449B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6167511B2 (ja) * 2012-12-04 2017-07-26 セイコーエプソン株式会社 書画カメラ、書画カメラの制御方法
JP6368115B2 (ja) * 2013-05-10 2018-08-01 キヤノン株式会社 固体撮像装置およびカメラ
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
DE102014224552A1 (de) * 2014-12-01 2016-06-02 Robert Bosch Gmbh Projektionsvorrichtung und Verfahren zum pixelweisen Projizieren eines Bildes
US10114465B2 (en) 2016-01-15 2018-10-30 Google Llc Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same
EP4121800A4 (en) * 2020-03-18 2024-01-03 Analogic Canada Corporation MULTI-LEVEL PIXEL ARCHITECTURE FOR SYNCHRONOUS READ/INTEGRATE RADIATION IMAGING AND ASSOCIATED SYSTEMS, APPARATUS AND METHODS

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM419987U (en) * 2011-08-19 2012-01-01 Tpk Touch Solutions Inc An optical touch system
US20120075435A1 (en) * 2010-09-23 2012-03-29 Dolby Laboratories Licensing Corporation Method and System for 3D Display Calibration with Feedback Determined by A Camera Device

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7098952B2 (en) * 1998-04-16 2006-08-29 Intel Corporation Imager having multiple storage locations for each pixel sensor
US20030076431A1 (en) * 2001-10-24 2003-04-24 Krymski Alexander I. Image sensor with pixels having multiple capacitive storage elements
US7586074B2 (en) * 2003-02-17 2009-09-08 Raytheon Company Multi-mode high capacity dual integration direct injection detector input circuit
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US7349104B2 (en) * 2003-10-23 2008-03-25 Technest Holdings, Inc. System and a method for three-dimensional imaging systems
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US7460160B2 (en) 2004-09-24 2008-12-02 Microsoft Corporation Multispectral digital camera employing both visible light and non-visible light sensing on a single image sensor
JP5058631B2 (ja) 2006-03-03 2012-10-24 日本電気株式会社 光源装置、表示装置、端末装置及びそれらの制御方法
GB2439098A (en) 2006-06-12 2007-12-19 Sharp Kk Image sensor and display
US8558929B2 (en) * 2006-12-20 2013-10-15 Carestream Health, Inc. Imaging array for multiple frame capture
US8659698B2 (en) * 2007-05-17 2014-02-25 Ilya Blayvas Compact 3D scanner with fixed pattern projector and dual band image sensor
US8102435B2 (en) * 2007-09-18 2012-01-24 Stmicroelectronics S.R.L. Method for acquiring a digital image with a large dynamic range with a sensor of lesser dynamic range
US8446470B2 (en) 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
BRPI0924156A2 (pt) 2009-01-20 2019-09-24 Sharp Kk sensor de área e dispositivo de exibição de cristal liquído com sensor de área
US20130027596A1 (en) * 2011-07-27 2013-01-31 Chung Chun Wan Color imaging using time-multiplexed light sources and monochrome image sensors with multi-storage-node pixels
US9143696B2 (en) * 2012-10-13 2015-09-22 Hewlett-Packard Development Company, L.P. Imaging using offsetting accumulations
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075435A1 (en) * 2010-09-23 2012-03-29 Dolby Laboratories Licensing Corporation Method and System for 3D Display Calibration with Feedback Determined by A Camera Device
TWM419987U (en) * 2011-08-19 2012-01-01 Tpk Touch Solutions Inc An optical touch system

Also Published As

Publication number Publication date
US20140104463A1 (en) 2014-04-17
US8982261B2 (en) 2015-03-17
TW201419094A (zh) 2014-05-16

Similar Documents

Publication Publication Date Title
TWI502449B (zh) 具有檢測結果依路由傳送功能之成像技術
KR102534698B1 (ko) 캡처된 이미지에 대한 패스-스루 디스플레이
EP2519001B1 (en) Structured light imaging system
KR102105189B1 (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
TWI623911B (zh) 影像處理系統
CN107430324B (zh) 具有不可见光通道的数字光投影仪
CN101523990B (zh) 一种用于环境或者普通照明系统的颜色转变的方法
US9462236B2 (en) Imaging using offsetting accumulations
JP2009289243A (ja) 位置検出装置、位置検出システム、映像表示装置、及び映像表示システム
TW201721369A (zh) 互動式顯示器
JP2011182026A (ja) 画像処理装置、画像表示システム、画像抽出装置
JP2008017386A (ja) キー画像生成装置
KR101407818B1 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
JP6042674B2 (ja) 三次元情報取得機能付き画像投影装置
US9524696B2 (en) Image projection device
CN105468139A (zh) 位置检测装置、投影仪以及位置检测方法
CN108694383B (zh) 一种手势识别装置及其控制方法、显示装置
JP2010154088A (ja) 位置と画像とを対応付ける画像処理
JP5208293B2 (ja) 位置検出装置、位置検出システム、映像表示装置、及び映像表示システム
JP2015106111A (ja) プロジェクションシステム
JP2020071573A (ja) 表示装置、表示システム、及び表示方法
JP6291911B2 (ja) 位置検出装置、及び、位置検出方法
JP6291912B2 (ja) 位置検出装置、及び、位置検出方法
JP6373221B2 (ja) 画像投影装置、方法、及びプログラム
JP2009288154A (ja) 位置検出装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees