TWI608737B - 影像投影技術 - Google Patents

影像投影技術 Download PDF

Info

Publication number
TWI608737B
TWI608737B TW104135093A TW104135093A TWI608737B TW I608737 B TWI608737 B TW I608737B TW 104135093 A TW104135093 A TW 104135093A TW 104135093 A TW104135093 A TW 104135093A TW I608737 B TWI608737 B TW I608737B
Authority
TW
Taiwan
Prior art keywords
image
object mask
sensor
mask
projector
Prior art date
Application number
TW104135093A
Other languages
English (en)
Other versions
TW201630415A (zh
Inventor
凱漢 陳
Original Assignee
惠普發展公司有限責任合夥企業
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普發展公司有限責任合夥企業 filed Critical 惠普發展公司有限責任合夥企業
Publication of TW201630415A publication Critical patent/TW201630415A/zh
Application granted granted Critical
Publication of TWI608737B publication Critical patent/TWI608737B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Description

影像投影技術
本發明係有關於影像投影技術。
二維及三維掃描技術容許一實體物體之形狀、輪廓及其他特徵之數位擷取或擷獲。例如，在三維掃描應用技術中，各種硬體及軟體可被用來擷取一物體，諸如使用者的手，以將該物體顯示於一裝置或顯示器上。
依據本發明之一實施例，係特地提出一種輸出影像資料之方法，其包含下列步驟：於一感測器上擷取包含至少一表面及一物體之一影像；於一處理器上基於所擷出之該影像產生一物體遮罩；於該處理器上基於該物體遮罩及一來源內容檔案產生一第一複合影像；以及於一投影機上投射該第一複合影像至該表面。
100‧‧‧裝置
102‧‧‧使用者
104‧‧‧感測器群集
106‧‧‧感測器、攝影機
108‧‧‧投影機
110‧‧‧顯示器
112、1012‧‧‧墊片
114、120、502、602‧‧‧來源內容
116‧‧‧手、物體
118‧‧‧觸控筆
122、202‧‧‧即時表示
302、304、306、308、402A、402B、404A、404B、406A、 406B、408A、408B、802、804、806、808‧‧‧方塊
504、704‧‧‧物體
604‧‧‧物體遮罩
904A‧‧‧初始物體遮罩
904B‧‧‧改善的物體遮罩
1002‧‧‧處理器
1004‧‧‧非暫時性電腦可讀儲存裝置或媒體
1006‧‧‧顯示器、顯示配接器
1008‧‧‧接收器
1014‧‧‧照明來源、投影機總成
1016‧‧‧指向裝置、觸碰筆
圖1為根據本發明之一實例一輸出內容之裝置及一第一位置中之一物體，例如使用者的手，的一立體圖；圖2為根據本發明之一實例一輸出內容之裝置及一第二位置中之一物體的一立體圖； 圖3為根據本發明之一實例投射一合成影像的一流程圖；圖4A為根據本發明之一第一實例建立一初始物體遮罩的一流程圖；圖4B為根據本發明之一第二實例建立一初始物體遮罩的一流程圖；圖5為根據本發明之一實例由至少一感測器所擷取之一擷取影像的一示意圖；圖6為根據本發明之一實例由一裝置所投射之一來源內容檔案及一物體遮罩的一示意圖；圖7根據本發明之一實例由一裝置所顯示之一來源內容檔案及一物體的一示意圖；圖8闡示出根據本發明之一實例改善一物體遮罩之一流程圖；圖9A及9B闡示出根據本發明之一實例之一原始物體遮罩及一改善的物體遮罩；以及圖10為根據本發明之一實例圖1之裝置的一圖式。
在一運算系統中，投影機可使用作為顯示來源及照明來源。例如，投影機可將文字、文件、影像、視頻或其他數位媒體投射至一表面上，及亦可照亮該表面上或接近該表面之一物體，例如手。在該物體要被例如一攝影機、3D感測器、紅外線感測器或其他感測器擷取的情況下，該物體可具有重疊於其上之文字或影像，避免該感測器乾淨 擷取該物體。在此等情況下，當該投影機以數位方式擷取一物體時，其並未以最佳方式提供顯示來源及照明來源之雙重目的之服務。
舉例而言，於投射至一表面上之數位簡報或數位幻燈片之情況下，其中使用者的手存在或停留於投影機及該表面之間，對於手的數位擷取將擷取幻燈片及手，包括重疊於手上的幻燈片。在此等實例中，除了避免對於手的乾淨擷取之外，投影機已具有幻燈片所投射之數位影像而可不必使用3D感測器擷取該數位影像。
根據用以輸出影像資料之一實例，包含一表面及一物體之一影像於一感測器上被擷取。基於該擷取之影像的一物體遮罩於一處理器上被建立。基於該物體遮罩及一來源內容檔案之一第一合成影像被建立。在一實例中，該第一合成影像係投射至該表面。
圖1為根據本發明之一實例之輸出內容及在一第一位置中之一物體，例如使用者的手，之一裝置的一立體圖。在一實例中，圖1闡示出由至少一使用者102所使用之一電腦系統或裝置100(「裝置」)。如下文更詳細描述者，裝置100可包含一感測器群集104、一或多個感測器(「感測器」)106、一投影機(或投影機及鏡像系統)108(以下簡稱「投影機」)、一顯示器110、及一墊片112。在一些實例中，墊片112可為觸碰式墊片。
在一些實例中，墊片112及顯示器110可顯示來源內容114及120。在一實例中，該來源內容可為儲存在裝置 100上或可由裝置100存取之一數位簡報投影片。來源內容114可由投影機108投射，該投影機108可懸立於基片112上方，而來源內容120可被顯示於顯示器110上。
裝置100可被使用來擷取或掃描一物體，諸如在感測器106之視野內的使用者102之手116，該物體包括使用者手中的一裝置，諸如一觸控筆118(本文統稱為「物體116」)。在一些實例中，所擷取或掃描之該物體116的一即時表示122可被顯示於顯示器110上，作為例如來源內容120之部分或重疊於來源內容120上。
裝置100一般可包含任何適合的運算裝置，諸如能夠與至少一感測器介接之桌上型電腦、膝上型電腦、筆記型電腦、小筆電、單體全備電腦、平板電腦或智慧型手機。在一些實施例中，顯示器110之外殼可包含供於裝置100中使用之一處理器、記憶體及/或儲存器。
顯示器110亦可由一支撐結構所支撐(未顯示)，該支撐結構可包括一基座及一直立構件。該支撐構件可支撐顯示器110和感測器群集104及感測器106之重量，該等感測器群集104及感測器106可被懸立，使得感測器106懸停於墊片112上方。在圖1所示實例中，支撐基座的前端包括於顯示器110下方建立的一空間或間距之一部分，使得墊片112可於顯示器110下方所形成的該空間被接收。
在墊片112係觸碰式墊片的多個實例中，墊片112可包含用以檢測及追蹤使用者之一或多個觸碰輸入之任何適合的觸碰式技術，以容許該使用者與裝置100或一些其他 運算裝置(未顯示)所執行的軟體互動。例如，在一些實例中，墊片112可利用已知的觸碰式技術，諸如例如電阻、電容、聲波、紅外線、應變計、光學、聲脈波辨識或其等組合。
在一些實例中，墊片112及顯示器110、及/或裝置100之一處理器、記憶體及儲存器，係彼此電氣耦接，使得由墊片112所接收的使用者輸入係傳送至顯示器110及/或安裝於顯示器110中或安裝於顯示器110外部的該處理器、記憶體及儲存器。任何適合的無線或有線電氣耦接或連接技術可使用在墊片112與顯示器110之間或廣泛使用在裝置100內。
感測器群集104可包含一或多個感測器106及/或一或多個照明光源，諸如一投影機108。投影機108可包含任何適合的數位光投影機總成，用以接收來自於一運算裝置之資料及投射對應於輸入資料之一影像或多個影像。在一些實例中，投影機108包含有利緊實之一數位光處理(DLP)投影機或一矽基液晶(LCoS)投影機及具備多重顯示解析度及尺寸之節能投影引擎。投影機108可電氣耦接至裝置100，以從裝置100接收資料，用以於操作期間透過下列技術產生光及影像：諸如電導體、WI-FI、BLUETOOTH®、NFC、光學連接、超音波連接或其等組合。
在一些實例中，感測器群集104亦可包含一摺鏡，該摺鏡可為沿感測器群集104之一底部表面配置及/或設置來反射自投影機108朝墊片112投射之影像及/或光的一高度反射表面。該鏡可為一標準前表面真空金屬化鍍鋁玻璃 鏡。在其他實例中，該鏡可具有一複雜的非球面曲率，用以做為一反射透鏡元件，以提供額外的聚焦能力或光學校正。該鏡可容許投影機108設置於該感測器群集104，而使光自該投影機108反射至感測器群集104之該鏡上，使得使用者102將覺得照明係來自該感測器群集104。
感測器106可包括用以測量及/或檢測各種參數之多個感測器及/或攝影機。例如，感測器106可包含攝影機、環境光感測器、深度感測器、及三維(3D)使用者介面感測器中之至少一者。
更特定地，在一實例中，攝影機106可為高解析度攝影機、低解析度攝影機、紅外線(「IR」)攝影機、或其他攝影機類型。攝影機106可安排來擷取配置在墊片112上或一般在感測器106下方之一物體或其他物品的靜態影像或視頻，包括投射的內容。
在一實例中，一環境光感測器106可安排來測量環繞裝置100周圍之環境的光強度，用以在一些實例中調整感測器群集104中另一感測器之曝光設定，及/或調整諸如例如投影機108或顯示器110之裝置各處其他來源所發出的光強度。
在一實例中，一深度感測器106可配置來在一3D物體係於一工作表面上時做出指示，諸如於墊片112上或，在其他實施例中，於適合用以掃描之桌面或其他表面上。特別是，深度感測器106可感測或檢測物體之存在、形狀、輪廓、動作及/或3D深度，或是物體之特定(多個)特徵。因 此，在一些實例中，深度感測器106可用任何適合的感測器或攝影機安排，來感測或檢測配置在感測器之視野中的3D物體及/或各像素之深度值，無論紅外線、顏色或其他項目。在一些實例中，深度感測器106可包含具均勻IR泛光之一單一IR攝影機感測器，及包含具均勻IR泛光、結構光深度感測器技術、飛行時間(TOF)深度感測器技術或其等組合之一雙IR攝影機感測器。
在一實例中，一使用者介面感測器106可包含任何適合的裝置或多個裝置(例如感測器或攝影機)，用以追蹤諸如例如手、觸碰筆或指向裝置之一使用者輸入裝置。
在各種實例中，感測器群集104可包含替代上文所述感測器或除上文所述感測器之外的其他感測器及/或攝影機，及/或不同組配方式之感測器及/或攝影機，諸如與桌上型電腦、平板或智慧型手機配合使用。
感測器群集104中之感測器106或一般可由裝置100接取之任何感測器可電氣地或通信地耦接至彼此及/或裝置100或裝置100之組件，使得感測器群集104內產生的資料可發送至裝置100，及由裝置100所發出的命令可透過任何適合的電氣及/或通信耦接技術傳送至該等感測器106。
圖2為根據本發明之一實例輸出一第二位置中之一物體的內容之裝置的立體圖。在圖2之實例中，當使用者的手116移動時，投影機108所投射之影像會改變，使得來源內容不會投射至使用者的手上，如下文所討論。進一步地，被擷取或掃描之物體116之即時表示202亦更新來反映 物體116在新位置中新的、乾淨的擷取，而無來源內容投射至物體上，例如，無來源內容投射至使用者的手上。
圖3為根據本發明之一實例投射一合成影像的一流程圖。
在方塊302中，一影像由例如一感測器106擷取。所擷取之該影像可表示投射之來源內容與物體，該物體諸如於投射之來源內容上或其頂部上之使用者的手或觸控筆，如圖5之實例中所示，例如方塊302之擷取可為「實況」影像資料之擷取。
在方塊304中，一物體遮罩被產生，如下文參照圖4A及4B更詳細描述。該物體遮罩可表示一有色或無色遮罩區域，諸如對應於使用者之手或物體116之形狀及位置的一灰白色或灰色遮罩，使得遮罩區域於投射時，防止來源內容被投射至諸如手之物體上。在一些實例中，物體後面，諸如使用者之手的後面，之曝光變化或調光亦可被用來補償，使得來源內容不被投射至例如使用者之手的物體上。
在方塊306中，一複合影像被產生。在一實例中，物體遮罩及來源內容係例如經由補償作用或一合成器而組合，以產生一第一複合影像，如圖6中之實例所示。
在方塊308之實例中，該第一複合影像被投射，例如投射至墊片112或其他表面上，使得物體遮罩防止來源內容被投射至例如使用者的手或觸碰筆之物體116上。
在一些實例中，圖3之流程可循環。例如，在方塊308中該第一複合影像被投射之後，於方塊302中可使用 感測器106擷取或重新擷取影像，與一第二物體遮罩及第二複合影像產生來投射一第二複合影像，以容許例如諸如使用者的手之物體的移動或物體之形狀或位置的改變。
在一些實例中，重新擷取之影像的至少一元件，諸如使用者的手，可被顯示於一顯示器上，例如如圖7中所顯示之顯示器110，或者輸出至例如一數位檔案、即時通訊、螢幕共享、其他協定，或輸出至一印表機，做為與來源內容組合之一第二(或第三等等)複合影像。例如，使用者的手之重新擷取而無投射之內容於該手上，即如參照上述步驟所討論之「乾淨」擷取，可與原始來源內容組合供諸如Powerpoint簡報顯示使用，相對於上述Powerpoint簡報之低品質擷取版本。在此一實例中，當顯示為一複合影像時，擷取之影像/物體及原始來源內容兩者的影像品質將被最大化及/或維持。
在一些實例中，多個物體，例如多個手，可被擷取或重新擷取，使得輸出至例如一數位檔案之影像含有超過一個物體，包括使用者可能位於遠端之合作使用案例。
圖4A為根據本發明之一第一實例建立一初始物體遮罩的一流程圖。
在一些實例中，裝置100可包含一即時攝影機，具有由該攝影機所擷取之影像的3D形狀，包括至少一物體，例如於投射之來源內容上或上方之使用者的手。在一些實例中，來源內容投射於上之表面，例如墊片112或其他表面，可已知為或假設為平坦的，使得由該攝影機所收集之一3D 深度圖可被用來判定擷取圖的哪一部分不符合平面，例如場景的哪些部分代表物體或手。在一些實例中，一平面適配演算法可被用來判定哪些部分不符合平面，及在一些實例中，該平面適配演算法可拒絕或排除離群值。
在方塊402A中，3D形狀/深度圖或其他感測器資訊被接取，及在方塊404A中，在一實例中，具有離群值排斥之一平面適配演算法被應用至該圖。
在方塊406A中，所擷取之影像或場景內之物體或多個物體的位置或圖係基於具有離群值排斥演算法之3D形狀及平面適配技術予以判定。在一些實例中，其他演算法可被用來判定物體之位置。
在方塊408A中，一初始物體遮罩係基於在方塊406A中所判定之物體的位置/圖而產生。該初始物體遮罩可被用為輸入到例如上述所討論之方塊306的一輸入，用以產生來源內容及物體遮罩之一複合影像，或可被用為輸入至例如下文所討論之方塊802的一輸入，若物體遮罩係要進一步改善時。
圖4B為根據本發明之一第二實例產生一初始物體遮罩的一流程圖。
在一些實例中，裝置100可比較擷取之影像與來源內容，以基於擷取之影像與來源內容之間的差異，例如基於色差，而判定例如物體或手位於何處。
在方塊402B中，於一實例中，來源內容檔案被接取，而在方塊404B中，擷取之影像被接取，例如由方塊 302擷取。在方塊406B中，來源內容與該擷取之影像比較。各種演算法，諸如與影像改變及/或3D分段相關之演算法，可被應用。
在方塊408B中，一初始物體遮罩係基於方塊406B中該來源內容與該擷取之影像的比較而產生。如上參照圖4A所討論，該初始物體遮罩可被用為輸入到例如上述所討論之方塊306的一輸入，用以產生該來源內容及物體遮罩之一複合影像，或可被用為輸入至例如下文所討論之方塊802的一輸入，若該物體遮罩係要進一步改善時。
在各種實例中，圖4A及4B之方法可分開或一起使用，以產生一初始物體遮罩，或與用以產生影像遮罩之其他演算法或技術配合使用。
圖5為根據本發明之一實例之一由至少一感測器之一擷取之影像的示意圖。
感測器106，例如攝影機或3D感測器，可被用來擷取感測器106之視野內的一影像。在一些實例中，擷取之影像可代表投射之來源內容502及諸如使用者的手及/或觸碰筆之一物體或多個物體504。圖5之擷取動作可稱為現場影像之擷取動作，例如具有一物體於投射影像上或上方的投射之來源內容。
圖6為根據本發明之一實例由一裝置所投射之一來源內容檔案及一物體遮罩的示意圖。在一實例中，上文所討論之來源內容602及物體遮罩604係經由例如補償動作或一合成器而組合，以產生圖6之複合影像。在一些實例中， 如上文所討論，圖6之複合影像可被用來投射具有對使用者的手予以補償之來源內容602，用以例如防止來源內容602被投射至使用者的手上。在一些實例中，物體背後，例如由物體遮罩所界定之使用者的手背後，的曝光變化或光線調光可被用來補償，使得來源內容不會被投射至物體上，例如使用者的手上。
在一些實例中，所擷取之影像可由超過一個感測器所擷取並加以融合或者組合，及/或物體遮罩可藉由使用來自超過一個感測器之輸入而被產生。例如，如上參照圖1所提，裝置100可包含高解析度攝影機、低解析度攝影機、紅外線(「IR」)攝影機、或其他攝影機類型、及深度感測器。在一些實例中，所擷取之影像可由感測器之組合所擷取，及/或物體遮罩可由來自超過一個感測器之輸入的組合而被產生，諸如使用深度及IR感測器以及來自高解析攝影機之RGB擷取的組合。
圖7根據本發明之一實例由諸如螢幕或者輸出裝置上之一裝置所顯示之一來源內容檔案及一物體的一示意圖。
在圖7之實例中，物體704已藉由例如圖3之一第二迴路被重新擷取，使得所擷取之影像包括物體之乾淨擷取，而無來源內容投射至物體上。更特定而言，圖7闡示出在複合影像已與一物體遮罩一起被投射後，顯示一感測器之視野內的影像資料之擷取。
圖8闡示出根據本發明之一實例改善一物體遮罩之一流程圖。
在一些實例中，由於例如方塊302中裝置100上之低解析度感測器，諸如640x480感測器，所做之一擷取動作，一初始物體遮罩，如下文參照圖9A所討論者，可能具有粗略或粗糙的邊緣。此等感測器可基於系統資源，諸如為了容許較低的CPU及記憶體開銷，而被選擇。一改善的物體遮罩，如下文參照圖9B所討論者，可基於各種方法或濾波器而產生。
在一實例中，於方塊802中，一初始物體遮罩，例如904A被接取，及於方塊804中，一擷取之影像被接取。一濾波器，例如雙向交叉濾波器，可被應用於方塊806中，及一改善的物體遮罩，例如904b，可於方塊808中被輸出。該改善的物體遮罩可被用為輸入到例如上文所討論方塊306之輸入。
圖9A及9B闡示出根據本發明之一實例之一原始物體遮罩及一改善的物體遮罩。如上文參照圖8所討論，圖9A之該原始物體遮罩由於例如方塊302中裝置100上之低解析度感測器，諸如640x480感測器，所做之一擷取動作，而可具有粗略或粗糙的邊緣。同樣如上文所討論，圖9B之該改善的物體遮罩可為應用例如雙向交叉濾波器之濾波器至圖9A之該原始物體遮罩的結果。
圖10為根據本發明之一實例之圖1之裝置的一圖式。裝置100可包含一處理器1002、一非暫時性電腦可讀儲存裝置或媒體1004、一顯示器或顯示配接器1006及一接收器1008。裝置100可被耦接至一墊片1012、一照明來源/投影機 總成1014、及一指向裝置或觸碰筆1016。非暫時性電腦可讀儲存裝置或媒體1004可包含用以執行本文所述步驟之指令，諸如圖3中方塊302至308之指令。
上述討論旨在闡示出本發明的原則及各種實施例。一旦熟於此技者全然理解上述揭示內容，各種變異及修改對熟於此技者來說將變得顯而易見。下列申請專利範圍意圖解釋來涵蓋所有此等變異及修改。
302、304、306、308‧‧‧方塊

Claims (11)

  1. 一種輸出影像資料之方法，其包含下列步驟：於一感測器上擷取包含至少一表面及一物體之一影像；於一處理器上基於所擷出之該影像產生一物體遮罩；於該處理器上基於該物體遮罩及一來源內容檔案產生一第一複合影像；以及於一投影機上投射該第一複合影像至該表面，其中該物體遮罩係藉由應用一平面適配演算法而產生。
  2. 如請求項1之方法，其中該第一複合影像之一強度被調整至對應於該物體遮罩之一區域中之一不同值。
  3. 如請求項1之方法，其進一步包含擷取一第二影像、產生一第二物體遮罩和一第二複合影像、及投射該第二複合影像。
  4. 如請求項1之方法，其進一步包含擷取一第二影像、產生包含該來源內容檔案及所擷出之該第二影像中之至少一元件的一第二複合影像、及輸出該第二複合影像至一數位檔案或數位顯示器中之一或多者。
  5. 如請求項4之方法，其中所擷出之該第二影像中之該至少一元件為一物體。
  6. 一種用以輸出影像資料之系統，其包含：附接至一支撐結構之一攝影機，用以擷取投射至一 表面及一物體上之一影像；附接至該支撐結構之一投影機；以及通訊地耦接至該攝影機及該投影機之一處理器，其中該處理器係用以基於所擷出之該影像及與所擷出之該物體相關聯之資料來產生一物體遮罩，及產生該物體遮罩及一來源內容檔案的一第一複合影像，其中該投影機係用以將該第一複合影像投射至該表面，及其中該處理器係用以藉由執行一平面適配演算法而產生該物體遮罩。
  7. 如請求項6之系統，其中該投影機包含一可調整強度設定。
  8. 如請求項7之系統，其中該可調整強度設定係基於該物體遮罩而調整。
  9. 一種非暫時性電腦可讀儲存媒體，其上嵌入有電腦程式，該電腦程式用以輸出影像資料，該電腦程式包含一組指令，用以進行下列動作：於一感測器上擷取投射至一表面及一物體上之一第一影像；於一處理器上基於所擷出之影像及所擷出之物體產生一物體遮罩，及基於該物體遮罩及該所擷出之影像的一來源內容檔案產生一第一複合影像；於一投影機上投射該第一複合影像至該表面；於該感測器上擷取一第二影像；以及輸出一第二複合影像， 其中該處理器係用以藉由執行一平面適配演算法而產生該物體遮罩。
  10. 如請求項9之電腦可讀儲存媒體，其中該第二複合影像被輸出至一顯示器。
  11. 如請求項9之電腦可讀儲存媒體，其中該第二複合影像被輸出至一數位檔案。
TW104135093A 2014-11-13 2015-10-26 影像投影技術 TWI608737B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/065465 WO2016076874A1 (en) 2014-11-13 2014-11-13 Image projection

Publications (2)

Publication Number Publication Date
TW201630415A TW201630415A (zh) 2016-08-16
TWI608737B true TWI608737B (zh) 2017-12-11

Family

ID=55954787

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104135093A TWI608737B (zh) 2014-11-13 2015-10-26 影像投影技術

Country Status (5)

Country Link
US (1) US10417801B2 (zh)
EP (1) EP3219097A4 (zh)
CN (1) CN107079126A (zh)
TW (1) TWI608737B (zh)
WO (1) WO2016076874A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11226704B2 (en) * 2016-09-29 2022-01-18 Sony Group Corporation Projection-based user interface
US10599225B2 (en) 2016-09-29 2020-03-24 Intel Corporation Projection-based user interface
JP7009943B2 (ja) * 2017-11-15 2022-01-26 富士フイルムビジネスイノベーション株式会社 表示装置及びプログラム
CN108563981B (zh) * 2017-12-31 2022-04-15 广景视睿科技（深圳）有限公司 一种基于投影机和摄相机的手势识别方法和装置
US10789780B1 (en) * 2019-03-29 2020-09-29 Konica Minolta Laboratory U.S.A., Inc. Eliminating a projected augmented reality display from an image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040004626A1 (en) * 2002-07-05 2004-01-08 Takashi Ida Image editing method and image editing apparatus
TW200402989A (en) * 2002-08-07 2004-02-16 Imatte Inc Visible-invisible background prompter
US20110164191A1 (en) * 2010-01-04 2011-07-07 Microvision, Inc. Interactive Projection Method, Apparatus and System

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4986651A (en) 1989-08-04 1991-01-22 Minnesota Mining And Manufacturing Company Overhead projector with centerless Fresnel lens reflective stage
EP0622722B1 (en) 1993-04-30 2002-07-17 Xerox Corporation Interactive copying system
GB9614837D0 (en) 1996-07-12 1996-09-04 Rank Xerox Ltd Interactive desktop system with multiple image capture and display modes
JPH10222436A (ja) 1997-02-12 1998-08-21 Meidensha Corp プログラムとデータの転送方法
US6965460B1 (en) 2000-08-08 2005-11-15 Hewlett-Packard Development Company, L.P. Method and system for scanning an image using a look-down linear array scanner
US6431711B1 (en) 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7253832B2 (en) 2001-08-13 2007-08-07 Olympus Corporation Shape extraction system and 3-D (three dimension) information acquisition system using the same
JP2003131319A (ja) 2001-10-25 2003-05-09 Seiko Epson Corp 光送受装置
JP2003152851A (ja) 2001-11-14 2003-05-23 Nec Corp 携帯端末装置
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20040095562A1 (en) 2002-11-20 2004-05-20 John Moffatt Combination scanner/projector
JP3927168B2 (ja) 2002-11-25 2007-06-06 日本電信電話株式会社 実世界オブジェクト認識方法および実世界オブジェクト認識システム
US6840627B2 (en) 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
JP4401728B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
JP2005266471A (ja) 2004-03-19 2005-09-29 Nippon Telegr & Teleph Corp <Ntt> ポインティング機能付画像投影方法、装置、およびプログラム
US7573491B2 (en) 2004-04-02 2009-08-11 David Hartkop Method for formatting images for angle-specific viewing in a scanning aperture display device
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7432917B2 (en) 2004-06-16 2008-10-07 Microsoft Corporation Calibration of an interactive display system
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7743348B2 (en) 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
US7488079B2 (en) 2004-07-21 2009-02-10 Thinc Design, Inc. System and method for projecting images onto a moving screen
US7557966B2 (en) 2004-08-11 2009-07-07 Acushnet Company Apparatus and method for scanning an object
US20060126128A1 (en) 2004-12-15 2006-06-15 Lexmark International, Inc. Scanning assembly
JP2006189712A (ja) 2005-01-07 2006-07-20 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置、情報提示方法及びプログラム
EP1686554A3 (en) 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
EP1878003A4 (en) 2005-04-11 2014-04-16 Polyvision Corp AUTOMATIC PROJECTION CALIBRATION
EP1739622B1 (en) 2005-06-28 2013-08-14 Canon Kabushiki Kaisha Image feature identification with two cameras
EP1898260A4 (en) 2005-06-30 2014-07-09 Ricoh Co Ltd DISPLAY DEVICE FOR PROJECTION IMAGE
CN101292516A (zh) 2005-07-06 2008-10-22 米迪尔波得股份有限公司 捕获画面数据的系统和方法
JP2009500963A (ja) 2005-07-06 2009-01-08 メディアポッド リミテッド ライアビリティ カンパニー 多次元映像表示のための視覚データ及び非視覚データを捕捉するシステム及び方法
KR101019569B1 (ko) 2005-08-29 2011-03-08 에브릭스 테크놀로지스, 인코포레이티드 모바일 이미지 인식을 통한 상호작용
US20090002342A1 (en) 2006-02-03 2009-01-01 Tomohiro Terada Information Processing Device
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
DE102006019963B4 (de) 2006-04-28 2023-12-07 Envisiontec Gmbh Vorrichtung und Verfahren zur Herstellung eines dreidimensionalen Objekts durch schichtweises Verfestigen eines unter Einwirkung von elektromagnetischer Strahlung verfestigbaren Materials mittels Maskenbelichtung
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
JP4777182B2 (ja) 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
US7690795B2 (en) 2006-10-06 2010-04-06 Hewlett-Packard Development Company, L.P. Projector/camera system
US8199117B2 (en) * 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US9377874B2 (en) 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US8007110B2 (en) * 2007-12-28 2011-08-30 Motorola Mobility, Inc. Projector system employing depth perception to detect speaker position and gestures
JP4341723B2 (ja) 2008-02-22 2009-10-07 パナソニック電工株式会社 光投影装置、照明装置
JP5277703B2 (ja) 2008-04-21 2013-08-28 株式会社リコー 電子機器
CN101261557B (zh) 2008-04-30 2011-09-14 北京汇冠新技术股份有限公司 一种用于触摸屏的图像传感装置
US8355038B2 (en) 2009-01-28 2013-01-15 Hewlett-Packard Development Company, L.P. Systems for capturing images through a display
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
JP5347673B2 (ja) 2009-04-14 2013-11-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2010124074A1 (en) 2009-04-22 2010-10-28 Terrence Dashon Howard System for merging virtual reality and reality to provide an enhanced sensory experience
JP5395507B2 (ja) 2009-05-21 2014-01-22 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム
JP5328907B2 (ja) 2009-05-26 2013-10-30 パナソニック株式会社 情報提示装置
KR20110003705A (ko) 2009-07-06 2011-01-13 엘지전자 주식회사 이동 단말기에서의 정보 표시 방법 및 이를 이용한 이동 단말기
GB2469346B (en) 2009-07-31 2011-08-10 Promethean Ltd Calibration of interactive whiteboard
JP2011081556A (ja) 2009-10-06 2011-04-21 Sony Corp 情報処理装置、情報処理方法、プログラムおよびサーバ
US8837855B2 (en) 2009-11-16 2014-09-16 Verizon Patent And Licensing Inc. Image compositing via multi-spectral detection
US8842096B2 (en) 2010-01-08 2014-09-23 Crayola Llc Interactive projection system
US8570319B2 (en) 2010-01-19 2013-10-29 Disney Enterprises, Inc. Perceptually-based compensation of unintended light pollution of images for projection display systems
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8733951B2 (en) * 2010-04-26 2014-05-27 Microsoft Corporation Projected image enhancement
US8573786B2 (en) * 2010-08-17 2013-11-05 Xerox Corporation Projector apparatus and method for dynamically masking objects
US20120054355A1 (en) 2010-08-31 2012-03-01 Nokia Corporation Method and apparatus for generating a virtual interactive workspace with access based on spatial relationships
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US8619179B2 (en) 2011-03-28 2013-12-31 Canon Kabushiki Kaisha Multi-modal image capture apparatus with a tunable spectral response
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US20120300080A1 (en) * 2011-05-24 2012-11-29 Steven George Batson System and method of semi-autonomous multimedia presentation creation, recording, display, network streaming, website addition, and playback.
US8928735B2 (en) * 2011-06-14 2015-01-06 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
JP2013033206A (ja) * 2011-07-06 2013-02-14 Ricoh Co Ltd 投影型表示装置、情報処理装置、投影型表示システム、およびプログラム
EP2748675B1 (en) 2011-07-29 2018-05-23 Hewlett-Packard Development Company, L.P. Projection capture system, programming and method
US20130080932A1 (en) 2011-09-27 2013-03-28 Sanjiv Sirpal Secondary single screen mode activation through user interface toggle
US9030445B2 (en) * 2011-10-07 2015-05-12 Qualcomm Incorporated Vision-based interactive projection system
US8896688B2 (en) 2011-11-04 2014-11-25 Hewlett-Packard Development Company, L.P. Determining position in a projection capture system
US9069382B1 (en) 2012-01-06 2015-06-30 Google Inc. Using visual layers to aid in initiating a visual search
JP2013156324A (ja) * 2012-01-27 2013-08-15 Seiko Epson Corp プロジェクター、および、プロジェクターによる画像投射方法
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
US20150042678A1 (en) 2013-08-09 2015-02-12 Metaio Gmbh Method for visually augmenting a real object with a computer-generated image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040004626A1 (en) * 2002-07-05 2004-01-08 Takashi Ida Image editing method and image editing apparatus
TW200402989A (en) * 2002-08-07 2004-02-16 Imatte Inc Visible-invisible background prompter
US20110164191A1 (en) * 2010-01-04 2011-07-07 Microvision, Inc. Interactive Projection Method, Apparatus and System

Also Published As

Publication number Publication date
WO2016076874A1 (en) 2016-05-19
EP3219097A4 (en) 2018-06-27
US10417801B2 (en) 2019-09-17
CN107079126A (zh) 2017-08-18
EP3219097A1 (en) 2017-09-20
TW201630415A (zh) 2016-08-16
US20170316594A1 (en) 2017-11-02

Similar Documents

Publication Publication Date Title
TWI547828B (zh) 感測器與投射器之校準技術
TWI608737B (zh) 影像投影技術
KR102423175B1 (ko) 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
CN107407959B (zh) 基于姿势的三维图像的操纵
CN105723300A (zh) 基于表示对象的图像确定分割边界
KR102423295B1 (ko) 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
US9888209B1 (en) Remote communication system, method for controlling remote communication system, and storage medium
US20140204083A1 (en) Systems and methods for real-time distortion processing
CN108141560B (zh) 用于图像投影的系统及方法
TW201518996A (zh) 投影系統管理器
EP3213504A1 (en) Image data segmentation
US10649584B2 (en) Process image according to mat characteristic
CN107113417B (zh) 将图像投影到对象上
US10481733B2 (en) Transforming received touch input
US10725586B2 (en) Presentation of a digital image of an object
TWI566169B (zh) 管理顯示單元之方法、電腦可讀媒體及相關系統
US20170223342A1 (en) Object capture and illumination
JP6777507B2 (ja) 画像処理装置および画像処理方法
TWI566126B (zh) 從影像發展出脈絡資訊之技術
US9373151B2 (en) Image processing device and image processing method
JP2013250742A (ja) 入力装置および情報処理装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees