TW201622409A

TW201622409A - 同時顯示ｌｅｄ光下的影像投射及擷取技術

Info

Publication number: TW201622409A
Application number: TW104129365A
Authority: TW
Inventors: 大衛Ｂ索爾特; 羅伯特Ｌ穆勒; 康金曼; 歐圖西佛特; 克特史帕爾
Original assignee: 惠普發展公司有限責任合夥企業
Priority date: 2014-09-10
Filing date: 2015-09-04
Publication date: 2016-06-16
Also published as: WO2016039736A1; EP3192243A4; EP3192243A1; TWI568260B; CN107005645A; US20170302833A1

Abstract

一投射擷取系統包括一相機用以擷取於一擷取空間內的物體之視訊，及一發光二極體(LED)投射器用以照明於該擷取空間內的該等物體，及將由該相機擷取的影像入一顯示空間內。該投射器包括一循序顯示模式用於循序地顯示紅、綠、及藍光，用以投射由該相機擷取的影像入一顯示空間內；及一相機閃光燈模式用於同時顯示紅、綠、及藍光而提供白光用於視訊擷取期間照明該擷取空間內的該等物體。

Description

同時顯示LED光下的影像投射及擷取技術

本發明係有關於同時顯示LED光下的影像投射及擷取技術。

發明背景

分享數位資訊及基於該數位資訊協作變得愈來愈普及。輸入裝置擷取數位資訊(例如，在一計算裝置、數位相機、掃描裝置等上的使用者輸入)。輸出裝置輸出數位資訊用於由一使用者或一群使用者消費。輸出裝置可包括數位顯示器或數位投射器，其顯示數位資訊至一顯示螢幕上或至一工作空間內。

依據本發明之一實施例，係特地提出一種投射擷取系統，其包含：一相機用以擷取於一擷取空間內的物體之視訊；及一發光二極體(LED)投射器用以照明於該擷取空間內的該等物體，及將由該相機擷取的影像入一顯示空間內，其中該投射器包括一循序顯示模式用於循序地顯示紅、綠、及藍LED光用以投射由該相機擷取的影像入一顯示空間內，及一相機閃光燈模式用於同時顯示紅、綠、及藍LED光而提供白光用於視訊擷取期間照明該擷取空間內的該等物體。

10‧‧‧投射擷取系統

12‧‧‧互動式工作空間

13‧‧‧殼體

14‧‧‧相機

16‧‧‧投射器

18‧‧‧控制器

20‧‧‧物體

21‧‧‧窗

22‧‧‧物體影像

23‧‧‧支持結構、桌面

24‧‧‧工作表面

25‧‧‧墊

26‧‧‧使用者輸入裝置

27‧‧‧使用者控制面板

29‧‧‧放置區

30‧‧‧紅外線相機

36‧‧‧底座

38‧‧‧鏡

40‧‧‧裝置

42‧‧‧處理器

44‧‧‧記憶體

46‧‧‧輸入/輸出

400‧‧‧方法

402、404、406‧‧‧方塊

圖1A及1B為略圖，例示一投射擷取系統之一例的外部透視圖。

圖2為略圖，例示一投射擷取系統之一例的內部透視圖。

圖3為一方塊圖，例示依據一個實施例圖2中顯示的該投射擷取系統。

圖4為一流程圖，例示依據一個實施例一種擷取與投射影像之方法。

較佳實施例之詳細說明

於後文詳細說明部分中，參考構成詳細說明部分之一部分的附圖，及其中藉例示顯示其中可實現本文揭示之特定實施例。須瞭解不背離本文揭示之範圍可利用其它實施例及可做出結構或邏輯改變。因此，後文詳細說明部分不做為限制性意義，及本文揭示之範圍係由隨附之申請專利範圍界定。須瞭解除非特別另行註明，否則此處描述之各種實施例可彼此部分或全部組合。

一個實施例係有關於一種投射擷取系統，其改良與實際物體及投射在一實體工作表面上的投射物體之互動式使用者經驗。該系統例如係於部署在一尋常工作表面上的獨立可攜式裝置實現。數位相機、投射器及控制程式設計係一起罩在一桌面單元內，其致動一投射增強的虛擬實境，其中實際物體及投射/虛擬物體可在多個遠端使用者間同時被操縱及分享。此等可攜式裝置幾乎可隨時部署於幾乎隨處用於跨較為廉價的平台互動式協作，不僅適用於大型娛樂商業環境，也適用於小型企業及甚至個人消費者。

圖1A及1B為略圖，例示一投射擷取系統10及與系統10相關聯的一互動式工作空間12之一個實施例之外觀透視圖。圖2為略圖，例示一投射擷取系統10的外部殼體13被移動之一個實施例之外觀透視圖。圖3為依據一個實施例圖2中所顯示之系統10之方塊圖。參考圖1A、1B、2、及3，投射擷取系統10包括一數位相機14、一投射器16、及一控制器18。相機14及投射器16係操作式連結到控制器18，用於相機14擷取工作空間12中之一物體20的一影像，及用於投射器16投射物體影像22至工作空間12內，及於若干實施例中，用於相機14擷取被投射的物體影像22之影像。殼體13下部包括在投射器16(及紅外線相機30)上方之一透明窗21。

於圖1A顯示之實施例中，位在工作空間12中的一工作表面24上的一二維物體20(例如，硬拷貝相片)已經藉相機14(圖2)拍照。然後，物體20已經被移開到工作空間12該側，及物體影像22已經被投射到工作表面24上，於該處其可藉相機14拍照及/或否則由一使用者操縱而重新投射入工作空間12。於圖1B顯示之實施例中，位在工作表面24上的一三維物體20(例如，立方體)已經藉相機14拍照。然後，物體20已經被移開到工作空間12該側，及物體影像22 已經被投射入工作空間12，於該處其可藉相機14拍照及/或否則由一使用者操縱而重新投射入工作空間12。

於系統10之一個具體實施例中，控制器18係經程式規劃，當物體20的影像由相機14擷取時，投射器16係將物體影像22投射入工作空間12內的與物體20位置相同的位置。如此，一物體20的一1比1標度數位複本22可投射至原本上方，允許在其位置的一數位複本視需要地，由一本地使用者或由在相同投射工作空間12中協作的多個遠端使用者加以操縱、移動、及以其它方式變更。投射影像也可自原本移位，允許一使用者在該相同工作空間12使用原本及複本一起工作。

系統10也包括一使用者輸入裝置26，其許可使用者與系統10互動。一使用者可透過輸入裝置26而與工作空間12中的物體20及/或物體影像22互動。物體影像22可傳輸給遠端系統10(圖中未顯示)上的其它工作空間12用於協作使用者互動，及若有所需，物體影像22可由相機14拍照及重新投射入本地及/或遠端工作空間12用於進一步使用者互動。於圖1A中，工作表面24為桌面或其它下方支持結構23的部件。於圖1B中，工作表面24係在一可攜式墊25上，墊25可包括觸摸敏感區。舉例言之，於圖1A中，一使用者控制面板27投射至工作表面24上；而於圖1B中，控制面板27可嵌置於墊25的觸摸敏感區內。同理，一A4、信紙或其它標準尺寸的文件放置區29可投射至圖1A中的工作表面24上，或印刷至圖1B的墊25上。工作表面24的其它組態亦屬可能。舉例言之，於若干應用中，系統10可使用空白墊25以控制工作表面24的色彩、紋理、或其它特性，及如此控制面板27及文件放置區29可投射至圖1B中的空白墊25上，恰如同其投射至圖1A中的桌面23上般。

於系統10之一個具體實施例中，投射器16用作為相機14的光源。一相機擷取區與一投射器顯示區重疊於工作表面24上。如此，使用投射器16用於投射影像及用於相機照明兩者，可獲得實質操作效率。自投射器16通過工作空間12到工作表面24的光路徑係相對於相機14設置，以使其能進行使用者顯示器互動而極少有陰影遮蔽，同時避免鏡面炫光偏離工作表面24及工作空間12中的物體，否則將造成相機14的目盲。

於一個實施例中，系統10之組件係一起罩住成為單一裝置40。參考圖3，為了輔助實施系統10為一整合式獨立裝置40，控制器18包括一起罩在裝置40內的一處理器42、一記憶體44、及一輸入/輸出46。輸入/輸出46讓裝置40能接收資訊自與發送資訊至一外部裝置。雖然於圖3中輸入/輸出46顯示為控制器18的部件，但部分或全部輸入/輸出46可與控制器18分開。

至於圖3中顯示的控制器18之組態，系統經規劃以控制與協調相機14的功能，投射器16可實質上駐在控制器記憶體44上以供藉處理器42執行，如此許可一獨立裝置40且減少相機14及投射器16的任何特別規劃。控制器18的規劃可以處理器可執行媒體之任何合宜形式實現，包括軟體模組、硬體模組、特用硬體(例如，特定應用硬體、特定應用積體電路(ASIC)、嵌入式控制器、硬接線電路等)、或此等之若干組合。又，雖然其它組態為可能，例如控制器18係全部或部分使用在相機14及投射器16遠端的一電腦或伺服器形成，但圖1A、1B及2中顯示的精簡獨立設施諸如裝置40給使用者提供於一整合式精簡行動裝置40中之完整功能。

系統10也可具有額外特性件/功能。舉例言之，系統10也可包括額外儲存裝置(活動式及/或非活動式)，包括，但非限制性，磁學或光學碟或帶。電腦可讀取儲存媒體包括以用於資訊，諸如電腦可讀取指令、資料結構、程式模組或其它資料的非暫態儲存之任何合宜方法或技術具體實施的依電性及非依電性活動式及非活動式媒體。記憶體44為電腦可讀取儲存媒體之一例(例如，電腦可讀取儲存媒體儲存電腦可執行指令，其當由至少一個處理器執行時使得該至少一個處理器實施一方法)。電腦可讀取儲存媒體包括RAM、ROM、EEPROM、快閃記憶體或其它記憶體技術、CD-ROM、數位影音碟(DVD)或其它光學儲存裝置、磁匣、磁帶、磁碟儲存裝置或其它磁學儲存裝置、或可用以儲存期望資訊且可由系統10存取的任何其它非暫態媒體。任何此種電腦可讀取儲存媒體可以是系統10的部件。

雖然相機14大致上表示用於選擇性地擷取工作空間12中的靜態及動態影像的任何合宜數位相機，但預期高解析度數位相機將用於系統10的大部分應用。如於本文件中使用，「高解析度」數位相機表示具有至少12百萬像素的一感測器陣列的一相機。低解析度相機為某些基本掃描及影印功能所可接受，但低於12百萬像素的解析度目前不足以產生用於操縱及協作功能的完整範圍的充分細節的一數位影像。具有高解析度感測器的小尺寸高品質數位相機今日已經相當常見，市面上可得自多個相機製造商。高解析度感測器與許多數位相機中可利用的高效能數位信號處理器(DSP)晶片配對，提供了充分快速的影像處理時間，例如少於一秒的點選至預覽時間，用以傳遞針對大部分系統10應用的可接受效能。

附圖中顯示及前文描述的針對系統10整合入獨立裝置40的組態實例達成了產品尺寸、效能、利用性、與成本間之期望平衡。系統10包括一鏡38用以產生摺疊光徑，其中光大致上係從投射器16向上投射，及藉鏡38大致上向下反射至工作表面24上。用於投射器16的摺疊光徑減低了裝置40的高度，同時維持投射器在工作空間12上方高處有效配置，用以防止於相機12的擷取區中的鏡面炫光。投射器的光徑以大角度照射在一水平工作表面24上使其能做3D物體影像擷取。此種較長光徑與大角度的組合最小化橫過擷取區的光下降而最大化光之均勻度用於相機閃光。此外，摺疊光徑使其能將投射器16配置接近底座36用以獲得產品安定性。

因投射器16作為相機14的光源用於靜像及動像擷取，投射器光夠亮而足以從任何周圍光脫出，周圍光其可能引發鏡面炫光的缺點。已經決定200流明或以上的投射器光夠亮而足以從任何周圍光脫出用於系統10及裝置40的典型桌面應用。用於動像擷取及即時視訊協作，投射器16發射白光入工作空間12以照明物體20。於一個實施例中，針對發光二極體(LED)投射器16，組成白光的紅、綠、及藍LED的時間排序係與相機14的視訊框速率同步化。投射器16的再新速率及各個LED子框再新週期為針對各個擷取框的相機曝光時間之整數用以避免「彩虹帶」及動像中的其它非期望效應。又，相機的視訊框率可與任何周圍螢光照明之頻率同步，該螢光燈典型地於AC線頻率的兩倍閃爍(例如，用於60Hz AC電力線的120Hz)。周圍光感測器可用以感測周圍光頻率，及據此調整相機14的視訊框率。

於另一個實施例中，相機14與投射器16並非同步。於本實施例之一個形式中，一種方法用以自藉投射器16投射一影像串流或視訊串流去除光搏動假影。於本實施例之一個形式中，使用一種相機閃光燈模式，其在100%工作週期之同時啟動各個LED之模式置換時序紅、綠、藍照明順序，容後詳述。

LED處理器典型地包括三色LED光源，以紅、綠、藍時序樣式顯示光。當使用此光源作為作為相機擷取或視訊擷取的照明系統時，可導入彩虹或灰階搏動假影。典型地投射器顯示白光，投射器藉將紅、綠、及藍光以如此高頻交織，使得人眼睛將分色整合成均一白光。以高訊框率操作的具有滾動快門的相機將能檢測此種時序R、G、 B色彩順序。將呈現為被擷取影像中的一串列彩虹色帶，即便當投射器投射白光時亦復如此。為了避免此種假影，相機的訊框率可顯著減少，使得各個訊框曝光包括投射光的多框。但如此可能導致不良使用者經驗，及許可移動模糊假影導入被擷取影像中。

典型地，於各個顯示內容框期間，紅、綠、及藍LED點亮歷時固定百分比時間。藉由針對單一框調整此等百分比(例如，紅亮40%時間，藍亮20%時間，及綠亮40%時間)而產生白光。此種開關週期在影像擷取系統中產生假影。藉由於相機閃光燈模式中自光輸出的基於時間的調變而改變成基於強度的調變，可達成相同白色，但於相機閃光燈模式期間有各個LED啟動100%時間。於相機閃光燈模式中由投射器未顯示色彩(亦即只顯示白光)，但也消弭色彩搏動假影的導入。又復，藉由顯示一實心白色影像，也可消除灰階搏動。

於有些系統中，可加入完全分開的照明系統以許可擷取場景的「閃光燈」照明，其又昂貴又複雜。相反地，於此處一個實施例中，包括機器可讀取指令的軟體系統用以產生相機閃光燈模式，其以一種模式置換時序紅、綠、藍發光順序，該模式以100%工作週期啟動各個LED，故於整個相機閃光燈模式期間，全部三個LED同時投射。於一個實施例中，相機閃光燈模式經界定及在投射器16韌體產生，其包含機器可讀取指令，其隨後藉一功能調用到投射器16請求相機閃光燈模式而致動。該功能調用導致提供給投射器16之正常循序顯示信號被中斷，並以造成紅、綠及藍LED全部同時投射光之一信號置換。於一個實施例中，相機閃光燈模式持續一預定時間週期，及然後投射器16自動返回正常循序顯示模式。於另一個實施例中，對投射器16做第二功能調用以指示投射器16自相機閃光燈模式切換成正常循序顯示模式。於相機閃光燈模式期間，相機14使用自投射器16的白光作為照明源，擷取一影像或多影像(例如，視訊)。根據是否擷取單框或是否擷取多框，相機閃光燈模式之長度可改變。於一個實施例中，至LED的電流個別經控制以設定各個LED之亮度值，於相機閃光燈模式期間達成真白點。

此種方法不使用分開照明系統，利用既有硬體以達成功能而無需增加成本、複雜度、及尺寸。既有硬體用作為投射顯示裝置，也用作為高功率相機閃光燈裝置兩者。該方法用於多種不同類型的影像感測器，包括全域快門感測器及滾動快門感測器工作。因全部LED於相機閃光燈模式中同時提供光，故提供於正常循序模式期間更亮的光，其減低了系統對任何周圍光的敏感度。

一個具體實施例係針對擷取及投射影像之方法。圖4為流程圖，例示依據一個實施例之方法。於方法400於402，於一擷取空間的物體以第一模式操作的發光二極體(LED)投射器照明用於同時顯示紅、綠、及藍光，以提供白光來照明擷取空間裡的物體。於404，當投射器係於第一模式時，於擷取空間裡的物體之視訊經擷取。於406，使得投射器切換成第二模式而循序顯示紅、綠、及藍光將擷取視訊投射入顯示空間。

於方法400之一個形式中，於第一模式期間，流到投射器的紅、綠、及藍LED之電流經個別控制以設定各個LED之亮度值而達成真白點。於一個實施例中，方法400中的顯示空間重疊擷取空間。依據一個實施例，方法400中的投射器與擷取物體的影像的相機罩在一起。於本實施例之一個形式中，相機定位在投射器上方，該方法進一步包含：以位在投射器上方的鏡自該投射器向下反射光至顯示空間上。

另一個具體實施例係針對一種投射擷取系統，其包括一相機以擷取於一擷取空間內的物體之視訊，及一發光二極體(LED)投射器以照明該擷取空間內的物體，及投射由相機擷取的影像入一顯示空間。投射器包括一循序顯示模式用於循序顯示紅、綠、及藍光，用以投射由相機擷取的影像入一顯示空間；及一相機閃光燈模式用於同時顯示紅、綠、及藍光用以提供白光而於視訊擷取期間用於照明擷取空間內的物體。

於本實施例之一個形式中，投射器根據發送給投射器的一功能調用而在循序顯示模式與相機閃光燈模式間切換。於一個實施例中，經一預定時間週期之後，投射器自動地退出相機閃光燈模式而返回循序顯示模式。於另一個實施例中，回應於接收到一功能調用，投射器退出相機閃光燈模式及返回循序顯示模式。於相機閃光燈模式期間，流到投射器的紅、綠、及藍LED之電流經個別控制以設定各個LED之亮度值。於一個實施例中，於相機閃光燈模式期間，流到投射器的紅、綠、及藍LED之電流經個別控制以設定各個LED之亮度值而達到真白點。顯示空間重疊擷取空間。投射器與相機罩在一起。相機定位於投射器上方，系統包括定位於投射器上方之鏡用以自該投射器向下反射光至顯示空間上。

又另一個具體實施例係針對一種電腦可讀取儲存媒體儲存電腦可執行指令，其當由至少一個處理器執行時使得該至少一個處理器實施一方法。該方法包括使得一發光二極體(LED)投射器進入一相機閃光燈模式用以照明於一擷取空間內之物體，藉同時顯示紅、綠、及藍光以提供白光。該方法進一步包括當該投射器係於該相機閃光燈模式時，使得一相機擷取於該擷取空間內的物體之視訊，且使得該投射器切換至一循序顯示模式用以循序地顯示紅、綠、及藍光而將擷取的視訊投射入一顯示空間內。

雖然於此處已經例示及描述特定實施例，但不背注本文揭示之範圍，多種替代及/或相當實施例可取代所顯示的及描述的特定實施例。本案意圖涵蓋此處討論的特定實施例之任何調整或變異。因此，預期本文揭示係僅受申請專利範圍及其相當範圍所限。