TWI566126B - 從影像發展出脈絡資訊之技術 - Google Patents

從影像發展出脈絡資訊之技術 Download PDF

Info

Publication number
TWI566126B
TWI566126B TW104129542A TW104129542A TWI566126B TW I566126 B TWI566126 B TW I566126B TW 104129542 A TW104129542 A TW 104129542A TW 104129542 A TW104129542 A TW 104129542A TW I566126 B TWI566126 B TW I566126B
Authority
TW
Taiwan
Prior art keywords
pad
context information
data
image
user
Prior art date
Application number
TW104129542A
Other languages
English (en)
Other versions
TW201614429A (en
Inventor
以馬內利 艾摩
迪歐果Ｓ 利馬
尼可拉斯Ｐ 萊恩斯
艾曼 阿里曼
Original Assignee
惠普發展公司有限責任合夥企業
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普發展公司有限責任合夥企業 filed Critical 惠普發展公司有限責任合夥企業
Publication of TW201614429A publication Critical patent/TW201614429A/zh
Application granted granted Critical
Publication of TWI566126B publication Critical patent/TWI566126B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)

Description

從影像發展出脈絡資訊之技術
本發明大體上係有關於從影像發展出脈絡資訊之技術。
許多運算系統包括至少一個顯示器及至少一個輸入裝置。該顯示器可包括例如一監視器、一螢幕等等。範例性輸入裝置包括一滑鼠、一鍵盤、一觸碰感應墊等等。許多運算系統包括一觸碰感應顯示器，以顯示該運算系統之輸出及接收實體(例如觸碰)輸入兩者。
依據本發明之一可行實施例，係特地提出一種方法，其包含下列步驟：拍攝被輸入在一觸碰感應墊上或一實體放置在該觸碰感應墊上的物件上之資料的一影像；從該所拍攝影像抽取該資料；從自該所拍攝影像所抽取之該資料發展出脈絡資訊；以及將該脈絡資訊投影於該觸碰感應墊上或該物件上。
15‧‧‧(支持)表面
25‧‧‧觸碰感應筆
26‧‧‧梢端
35‧‧‧手
40‧‧‧物件
100‧‧‧(運算)系統
110‧‧‧(支持)結構
120‧‧‧基部
120A‧‧‧前端
120B‧‧‧後端
122‧‧‧(凸起)部分
140‧‧‧(直立)構件
140A、182A、184A‧‧‧上端、末端
140B、182B、184B‧‧‧下端、末端
140C、150C、200A‧‧‧前側
140D、150D、200B‧‧‧後側
150‧‧‧(運算)裝置
150A‧‧‧頂側
150B‧‧‧底側
152‧‧‧(觸碰感應)顯示器
154‧‧‧攝影機
155、205‧‧‧中軸、中線
160‧‧‧頂部
160A‧‧‧近端、末端
160B‧‧‧遠端、末端
160C‧‧‧頂面
160D‧‧‧底面
162‧‧‧(摺疊)鏡
162A‧‧‧高度反射性表面
164‧‧‧(感測器)束
164A‧‧‧(RGB)攝影機、彩色攝影機、感測器
164B‧‧‧(IR)攝影機、感測器
164C‧‧‧(深度)攝影機、感測器
164D‧‧‧(周圍光)感測器
168、188‧‧‧空間
170‧‧‧區隔引擎
180‧‧‧(投影器)單元
182‧‧‧(外部)殼體
183‧‧‧內腔
184‧‧‧(投影器)總成
186‧‧‧(耦接)構件、安裝構件
188‧‧‧空間
188L‧‧‧長度
188W‧‧‧寬度
200‧‧‧(投影)螢幕、(觸碰感應)墊
202‧‧‧(觸碰感應)區域
710‧‧‧處理資源
720‧‧‧(機器可讀)儲存媒體
722、724、726、728‧‧‧指令
800‧‧‧方法
805、810、815、820‧‧‧步驟
以下詳細說明內容參考附圖，其中： 圖1為一範例運算系統實施例之一示意外觀圖；圖2為圖1之該範例運算系統之另一示意外觀圖；圖3為圖1之該範例運算系統之一示意側視圖；圖4為圖1之該範例運算系統之一示意前視圖；圖5為圖1之該範例運算系統於一範例操作期間之一示意側視圖；圖6為圖1之該範例運算系統於一範例操作期間之一示意前視圖；圖7為圖1之該運算系統的一範例部分之一方塊圖；以及圖8為描繪用以實現一範例的步驟之一流程圖。
現在參考圖式，圖1~6為包含一區隔引擎170之一範例運算系統100之示意圖。如下文進一步描述地，於某些範例中，區隔引擎170可用以基於一所拍攝的影像來判定表示一物件之至少一外緣的一區隔(分段)邊界。於圖1~6之範例中，系統100大致上包含一支持結構110、一運算裝置150、一投影器單元180、及一投影螢幕200。
運算裝置150可包含遵照本文揭示原理之任何合宜運算裝置。如本文使用，一「運算裝置」可包含一電子顯示器裝置、一智慧型電話、一平板、一晶片組、一體式多合一電腦(例如：包含一顯示器裝置之一裝置，其也容裝該電腦之處理資源)、一桌上型電腦、一筆記型電腦、工作站、伺服器、任何其它處理裝置或設備、或其組合。 於此範例中，裝置150為一體式多合一電腦，其具有一中軸或中線155、第一或頂側150A、與該頂側150A軸向相對的第二或底側150B、軸向延伸於兩側150A及150B間之一前側150C、也軸向延伸於兩側150A及150B間且與前側150C概略地徑向相對之一後側150D。一顯示器152沿前側150C設置及界定運算系統100之一觀看表面以顯示影像以供由系統100之一使用者觀看。於本文所描述之範例中，一顯示器可包括適用以顯示影像、視訊等之任何技術的組件。
於某些範例中，顯示器152可為一觸碰感應顯示器。於本文所描述之範例中，一觸碰感應顯示器可包括例如用以顯示影像、視訊等之任何技術(例如組件)之任何合適技術，且可包括適用以檢測實體接觸(例如接觸輸入)之任何技術(例如組件)，諸如電阻、電容、表面聲波、紅外線(IR)、應變計、光學成像、聲波脈衝辨識、分散信號感測、或電池內系統等。於本文所描述之範例中，顯示器152可稱作為觸碰感應顯示器152。裝置150可進一步包括一攝影機154，其例如可為網路攝影機。於某些範例中，攝影機154可拍攝位在顯示器152前方之一使用者的影像。於某些範例中，裝置150也可包括麥克風或用以接收聲音輸入(例如來自一使用者之語音輸入)之其它裝置。
於圖1~6之範例中，支持結構110包括一基部120、一直立構件140、及一頂部160。基部120包括第一或前端120A、及第二或後端120B。基部120可與一支持表面 15接合，以支撐系統100之至少部分組件(例如構件140、單元180、裝置150、頂部160等)的重量。於某些範例中，當系統100組配用於操作時，基部120可以此種方式與一支持表面15接合。於圖1~6之範例中，基部120之前端120A包括一凸起部分122，例如圖2中例示，當基部120設置於支持表面15上時，該凸起部分122可設置於支持表面15上方且與其分開(在部分122與表面15間形成一空間或一餘隙)。於此範例中，投影螢幕200之一側之一部分可設置於(例如：容納於)部分122與表面15間所形成的空間。於此範例中，將螢幕200之一部分置於部分122與表面15間所形成的空間內部可協助螢幕200的妥適對齊。於其它範例中，其它合適的方法或裝置可用以協助螢幕200的對齊。
直立構件140包括第一或上端140A、與該上端140A相對的第二或下端140B、延伸於該等末端140A與140B間之第一或前側140C、及與前側140C相對的也延伸於該等末端140A與140B間之第二或後側140D。構件140之下端140B耦接至基部120之後端120B，使得構件140實質上從支持表面15向上延伸。
頂部160包括第一或近端160A、與該近端160A相對之一第二或遠端160B、延伸於該等末端160A與160B間之頂面160C、及與頂面160C相對的也延伸於該等末端160A與160B間之底面160D。頂部160之近端160A耦接至直立構件140之上端140A，使得遠端160B從直立構件140之上端140A向外延伸。如此，於圖2顯示之範中，頂部160支 持在末端160A(而非支持在末端160B)，且於此處可稱作懸臂式頂部。於某些範例中，基部120、構件140、及頂部160可一體成形。於其它範例中，基部120、構件140、及頂部160中之二或多者可由獨立的塊件形成(即，非一體成形)。
投影螢幕200可包括一中軸或中線205、一第一或前側200A、及與該前側200A軸向相對之一第二或後側200B。於圖1~6之範例中，螢幕200可包含實質上對齊軸205之一觸碰感應區域202。區域202可包含用以檢測實體接觸(例如接觸輸入)之任何適合技術，如前文描述者(例如電容性觸碰墊)。舉例言之，觸碰感應區域202可包含用以檢測(及於某些範例中追蹤)受一使用者的一個或多個接觸輸入之任何合宜技術，以使該使用者能透過此種接觸輸入而與由裝置150或其它運算裝置所執行的軟體互動。於圖1~6之範例中，區域202延伸範圍少於全部螢幕200。於其它範例中，區域202可延伸於實質上全部螢幕200上方(例如可與螢幕200實質上具有共同邊界)。於此處描述之實施例中，投影螢幕200可為任何合適的平面物件，諸如一墊(例如一觸碰感應墊)、桌面、板片等。於某些範例中，投影螢幕200可水平(或約略水平或實質上水平)配置。舉例言之，螢幕200可設置於支持表面15上而其可為水平(或約略水平或實質上水平)。
如前文描述，螢幕200可對齊結構110之基部120以協助螢幕200之妥當對齊(例如至少於系統100之操作期 間)。於圖1~6之範例中，螢幕200之後側200B可設置於基部120之凸起部分122與支持表面15間，使得後端200B對齊基部120之前端120A，以協助螢幕200與系統100之其它組件的妥當對齊(及特別區域202之妥當對齊)。於某些範例中，螢幕200可對齊裝置150，使得裝置150之中線155實質上對齊螢幕200之中線205。於其它範例中，螢幕200可與裝置150差異對齊。
於某些範例中，螢幕200的區域202與裝置150可彼此通訊地連接(例如電氣耦接)，使得由區域202接收的使用者輸入可通訊給裝置150。區域202與裝置150可透過任何合適的有線或無線通訊技術或機制而彼此通訊，例如WI-FI、藍牙、超音波技術、電纜、電線、電導體、具有磁性固定力的電氣載荷彈簧伸縮接腳等、或其組合。於圖1~6之範例中，設置於螢幕200之後側200B上的暴露電氣接點可接合基部120之凸起部分122內部的相對應電氣彈簧接腳，以於系統100操作期間在裝置150與區域202間通訊資訊(例如移轉信號)。於此種範例中，該等電氣接點可藉相鄰磁鐵(位在基部120之凸起部分122與表面15間之餘隙內)維持在一起，以磁性地吸引及固定(例如機械式)沿著螢幕200之後側200B所設置的相對應含鐵及/或磁性材料。
參考圖3，投影器單元180包含一外部殼體182，及設置於殼體182內部之一投影器總成184。殼體182包括一第一或上端182A、與該上端182A相對之一第二或下端182B、及一內腔183。於圖3之實施例中，殼體182進一步 包括一耦接或安裝構件186，以接合及支承裝置150(例如至少於系統100之操作期間)。構件186可為用以懸吊或支承如本文所描述之任何合適的運算裝置150的任何合適之機構或裝置。舉例言之，安裝構件186可包含一鉸鏈，其包括一轉軸，使得裝置150可環繞該轉軸旋轉(例如由一使用者)以達成觀看顯示器152之一期望角度。於某些範例中，裝置150可永久地或半永久地附接至單元180之殼體182。於某些範例中，殼體180及裝置150可一體成形地或單塊地形成為單一單元。
參考圖4，於某些範例中，當裝置150透過殼體182上的安裝構件186而從結構110懸吊時，從前方觀看系統100(亦即實質上面對設置裝置150的前側150C上的顯示器152)，投影器單元180(亦即殼體182及總成184兩者)可實質上隱藏在裝置150後方。此外，如圖4顯示，當如上文描述裝置150從結構110懸吊時，投影器單元180(亦即殼體182及總成184兩者)及任何藉投影的影像可實質上相對於裝置150之中線155對齊或對中。
再度參考圖3，投影器總成184設置於殼體182的內腔183內部，並且包括一第一或上端184A、與該上端184A相對之一第二或下端184B。上端184A鄰近殼體182的上端182A，而下端184B鄰近殼體182的下端182B。投影器總成184可包含任何合適的數位光投影器總成，其用以接收來自運算裝置(例如裝置150)之光，及投影與該輸入資料相對應之影像(例如射出上端184A)。舉例言之，於某些實 施例中，投影器總成184包含一數位光處理(DLP)投影器或矽上液晶(LCoS)投影器，其為優異的輕薄短小及高能效投影器引擎，具有多重顯示器解析度及尺寸能力，諸如標準XGA解析度(1024x768)4：3縱橫比，或標準WXGA解析度(1280x800)16：10縱橫比。投影器總成184進一步通訊連接(例如電氣耦接)至裝置150，以為了從其中接收資料以及於操作期間從上端184A產生(例如投影)光及影像。投影器總成184可透過例如任何合適類型之電氣耦合或本文所描述的任何其它合適通訊技術或機構，而通訊地連接至裝置150。於某些範例中，總成184可透過電氣導體、WI-FI、藍牙、一光學連結、一超音波連結、或其等組合而通訊地連接至裝置150。於圖1~6之實施例中，裝置150透過設置於安裝構件186內部之電氣引線或導體(例如如同上文與螢幕200及基部120有關的描述)來通訊地連接至總成184，使得當裝置150透過構件186而從結構110懸吊時，設置於構件186內部之電氣引線接觸設置於裝置150上的相對應引線或導體。
仍然參考圖3，頂部160進一步包括一摺疊鏡162及一感測器束164。鏡162包括一高度反射性表面162A，其沿頂部160之底面160D設置，且定置來於操作期間，反射從投影器總成184之上端184A投影的光、影像等朝向螢幕200。鏡162可包含任何合適類型之鏡或反射表面。於圖1~6之範例中，摺疊鏡162包含一標準前表面真空金屬化鍍鋁玻璃鏡，其作用來將從總成184發射之光摺疊朝向螢幕 200。於其它範例中，鏡162可具有複合非球面曲率以用作為反射透鏡元件而提供額外聚焦倍率或光學矯正。
感測器束164包括多個感測器(例如攝影機、或其它類型之感測器)以基於感測器束164與螢幕200間之一區域狀態(例如出現在其中之活動)而檢測、度量、或以其它方式獲得資料。感測器束164與螢幕200間之一區域狀態可包括螢幕200上或上方之物件，或出現在IR吸收螢幕200上或附近的活動。於圖3之範例中，束164包括一RGB攝影機164A(或另一型彩色攝影機164A)、一IR攝影機164B、一深度攝影機(或深度感測器)164C、及一周圍光感測器164D。
於某些範例中，RGB攝影機164A可為拍攝彩色影像(例如靜像及視訊中之至少一者)的一攝影機。於某些範例中，RGB攝影機164A可為根據RGB彩色模型拍攝影像之一攝影機，其於此處稱作為「RGB影像」。於某些範例中，RGB攝影機164A可以相當高解析度拍攝影像，諸如數百萬像素(MP)等級之解析度。舉例言之，RGB攝影機164A可以14MP的解析度拍攝彩色(例如RGB)影像。於其它實施例中，RGB攝影機164A可以不同解析度拍攝影像。於某些範例中，RGB攝影機164A可朝向螢幕200且可拍攝螢幕200、設置於螢幕200與RGB攝影機164A間(例如螢幕200上或上方)之物件、或其組合之影像。
IR攝影機164B可為用以檢測攝影機164B之視野中多點的IR光強度之一攝影機。於本文所描述之範例中， IR攝影機164B可結合系統100之一IR光投影器操作，以拍攝IR影像。於此等範例中，各個IR影像可包含多個像素，各個像素表示由該像素表示之一點檢測之IR光。於某些範例中，系統100之頂部160可包括一IR光投影器以投影IR光朝向螢幕200，及IR攝影機164B可指向螢幕200。於此等範例中，IR攝影機164B可檢測由螢幕200、設置於螢幕200與IR攝影機164B間(例如螢幕200上或上方)之物件、或其組合反射的IR光強度。於某些範例中，IR攝影機164B可專屬地檢測由IR光投影器投影(例如從螢幕200、物件等反射，或直接接收)之IR光。
深度攝影機164C可為一攝影機(感測器等)，以檢測於深度攝影機164C之視野的範圍中之物件部分之個別距離(或深度)。如本文所使用地，由一深度攝影機檢測得之資料於本文可稱作為「距離」或「深度」資料。於本文所描述之範例中，深度攝影機164C可拍攝一個多像素深度影像(例如深度對映圖)，其中各像素的資料表示在由該像素表示之一點，一物件之一部分的距離或深度(從攝影機164C量起)。深度攝影機164C可使用任何合適的技術實現，諸如立體視覺攝影機、具有均勻IR光之單IR攝影機感測器、具有均勻IR光之雙IR攝影機感測器、結構化光深度感測器技術、飛行時間(time of flight，TOF)深度感測器技術、或其組合。於某些範例中，深度感測器164C可指示一物件(例如三維物件)何時在螢幕200上。於某些範例中，深度感測器164C可檢測置於螢幕200上之一物件(或其部分) 的存在、形狀、輪廓、移動、及個別距離中之至少一者。
周圍光感測器164D可被配置來測量於系統100周圍環境內之光強度。於某些範例中，系統100可利用感測器164D之測量以調整系統100之其它構件，諸如系統100之感測器或攝影機(例如攝影機164A-164C)之曝光設定值、自系統100之光源(例如投影器總成184、顯示器152等)發射的光強度等。
於某些範例中，感測器束164可省略感測器164A-D中之至少一者。於其它實施例中，除了感測器164A-D之外，或替代感測器164A-D中之至少一者，感測器束164可包含其它攝影機、感測器等。舉例言之，感測器束164可包括一使用者介面感測器，其包含用以追蹤諸如手、觸碰感應筆、指標裝置等的一使用者輸入裝置之任何合適的裝置(例如感測器、攝影機)。於某些範例中，該使用者介面感測器可包括一對攝影機，當由一使用者相對螢幕200(例如相對螢幕200之區域202)移動一使用者輸入裝置(例如一觸碰感應筆)時，該對攝影機可立體地追蹤該使用者輸入裝置之位置。於其它範例中，該使用者介面感測器可額外或替換地包括IR攝影機或感測器，其被配置來檢測由一使用者輸入裝置發射的或反射的紅外光。
於本文所描述之範例中，束164之感測器164A-164D中的每一者通訊式連結(例如耦接)至裝置150，使得在束164內部產生的資料(例如由攝影機拍攝的影像)可被提供給裝置150，及裝置150可提供指令給感測器束164 之感測器及攝影機。束164之感測器164A-164D可透過任何合適的有線或無線通訊技術或機制來通訊式連結至裝置150，其範例係說明如前。於圖1~6之實施例中，電氣導體可通過設置於安裝構件186內部(如前文描述)之引線從束164，路由通過頂部160、直立構件140、及投影器單元180進入裝置150內。
參考圖5及6，於系統100操作期間，投影器總成184可投影可見光187以從鏡162反射朝向螢幕200，以藉此在螢幕200的投影器顯示空間188上顯示可見影像。於圖5~6之範例中，空間188可為實質矩形，具有一長度188L及一寬度188W。於某些範例中，長度188L可約為16吋，而寬度188W可約為12吋。於其它範例中，長度188L及寬度188W可具不同值。
於某些範例中，感測器束164之攝影機164A-164C配置於系統100內部使得攝影機164A-164C各自之視野包括螢幕200之一空間168，其可與顯示空間188部分或全部重疊，或可與顯示空間188有共同邊界。於本文描述之範例中，攝影機164A-164C之視野可稱作來包括空間168，但偶爾螢幕200可被螢幕200上或上方之物件至少部分阻擋。於此等範例中，螢幕200上或上方之物件可在攝影機164A-164C中之至少一者的視野內。於此等範例中，感測器束164之感測器可根據感測器束164與螢幕200之該空間168間之一區域的狀態(例如發生的活動、設置的物件)而獲得資料。於某些範例中，空間188及空間168兩 者與螢幕200之區域202重合或相對應，使得觸碰感應區域202、投影器總成184、及感測器束164之功能全部皆係關聯相同界定區執行。
現在參考圖5~6，裝置150可引導投影器總成184來投影影像至螢幕200之區域202上。裝置150也可顯示影像於顯示器152上(其可與由投影器總成184投影至區域202上之影像相同或相異)。由投影器總成184投影的影像可包含由被裝置150執行的軟體所產生的資訊及/或影像。於某些範例中，藉由以諸如使用者的手35(例如透過接觸、輕敲、手勢、或其它接觸輸入)、觸碰感應筆25、或透過其它合宜使用者輸入裝置互動之任何合適的方式實體接合螢幕200之觸碰感應區域202，一使用者可與投影在區域202上的影像及顯示在顯示器152上的影像互動。觸碰感應區域202可透過實體接合區域202而檢測此種互動。並且，於某些範例中，總成184也可(至少部分地)投影影像至設在螢幕200上之物件(例如手35，如圖5顯示)。
舉例言之，當一使用者與螢幕200之區域202互動(例如以手35，如圖5顯示)時，觸碰感應區域202可產生觸碰輸入資訊，且經由任何合適的連結(其範例係如上文描述)將其提供給裝置150。於某些範例中，該接觸輸入資訊可被提供給在裝置150上執行之一作業系統(OS)，及進一步藉OS發送給在裝置150上執行之另一應用程式(例如程式等)。響應之，該執行的OS或應用程式可變更由投影器總成184所投影的影像、顯示在顯示器152上之影像、或其 組合。如本文所使用地，一「應用程式」(或「電腦應用程式」)係為可藉一處理資源執行的機器可讀指令之一集合。於某些範例中，一使用者可類似地與顯示在顯示器152(其可為觸碰感應顯示器)之影像或裝置150之任何其它輸入裝置(例如鍵盤、滑鼠等)互動。在某些範例中，區域202(其具有由總成184所投影於該區域202上的影像)可扮演為系統100內之一第二或替代性觸碰感應顯示器。此外，檢測與顯示於區域202上的一(或多個)影像的互動可透過使用如同上文所述之感測器束164中之感測器而增強。
於某些範例中，感測器束164之感測器也可產生系統輸入，其可提供給裝置150以供進一步處理。舉例來說，系統100可至少利用束164之一(或多個)感測器(或攝影機)及區隔引擎170來檢測一物件(例如：一使用者的手35或觸碰感應筆25，如圖5顯示)之存在及位置中之至少一者，及提供表示檢測資訊之系統輸入資訊給裝置150。該所提供的系統輸入資訊可發送給由裝置150所執行的一OS及應用程式中之至少一者，且可改變由系統100顯示的一(或多個)影像，如上文有關觸碰輸入之描述。舉例而言，束164可包括一對攝影機或感測器，其等配置來執行立體觸碰感應筆追蹤(例如觸碰感應筆25)。於其它範例中，觸碰感應筆25包括以一紅外線逆反射塗層(例如塗料)所塗覆之一梢端26，使得梢端26可作為一紅外線逆反射器。於此等範例中，束164可包括如上文所描述之一(或多個)IR攝影機(或一(或多個)感測器)，其檢測自梢端26反射出的IR光，以當 梢端26移動橫過區域202時使裝置150能追蹤該梢端26之位置。
於某些範例中，系統100可拍攝一(或多)個二維(2D)影像或產生一實體物件之三維(3D)掃描，使得物件之一影像或是與該物件有關之其它資訊可然後被投影至區域202上以供進一步使用及操作。舉例而言，如圖6顯示，一物件40可置於區域202上，使得束164之感測器(例如攝影機164A-164C中之至少一者)可拍攝該物件40之一影像。於此等範例中，由束164之感測器所拍攝的影像可如前文描述地被提供給裝置150(例如裝置150之OS、應用程式等)。於某些範例中，於接收該所拍攝影像之後，裝置150(例如OS、應用程式等)可分析該所拍攝影像並利用該影像之內容以供進一步處理，如同將要在下文進一步描述者。物件40例如可為一書籍、一文件、一相片、或任何其它實體物件。
於某些範例中，一旦物件被束164之感測器掃描，表示該物件之該影像的背景可被移除(例如透過一區隔方法)，及前景物件之所得影像、或有關該物件之資訊可被投影至區域202上(或顯示在顯示器152上)。於此等範例中，實體物件(例如物件40)之影像可被拍攝、處理、及顯示在區域202上，以快速且容易地產生實體物件之一數位版本，以允許其進一步操作，如同將要在下文所描述者。所移除之表示該物件40的影像之背景可對應於該螢幕200的至少一部分。於某些範例中，一區隔處理可包含判定針 對由束164之該等感測器所拍攝影像中所表示之一物件之一區隔邊界。如同本文所使用地，針對於一影像中所表示之一物件之一「區隔邊界」可為表示該物件之影像部分及表示該物件以外之特性(例如投影螢幕200)之影像部分的一估值之資訊。於某些範例中，針對在一影像中所表示之一物件之一區隔邊界可包括表示如於該影像中表示的該物件之至少一個外緣之資訊。當執行一區隔處理時，該系統100可使用區隔邊界以從至少包括該投影螢幕200的一部分之一較大所拍攝影像提取該物件之影像。
本文所揭露之範例為該運算系統100提供能力，來針對包括在或被輸入於該投影螢幕200或於實體地設置於該螢幕上的一物件上之資料，提供脈絡和意義資訊。藉由提供脈絡和意義資訊，該系統100可提供互動性回饋給一使用者。有了經由該運算裝置150的該顯示器152及/或該投影螢幕200的該區域202來顯示和收集資訊之能力，及從設置在該螢幕200上的實體物件收集資訊(例如經由感測器束164)之能力，該運算系統100的各種面向可為一使用者提供一互動經驗，如同下文所詳述者。
如同上文所述，一使用者可與系統100以各種方式互動。作為一範例，一使用者可與被投影在該投影螢幕200的區域202上之影像以例如該使用者的手35或一觸碰感應筆25來互動。此外，該感測器束164可拍攝設置於該螢幕200上之實體物件的影像，例如設置在螢幕200上之一書中的一頁。作為一範例，該運算系統100可從投影在區域 202(或是顯示在顯示器152)之影像或從實體地設置在該螢幕200上的物件，提供脈絡資訊給資料或原始素材。作為一範例，該系統100可自動地嘗試去了解原始素材(例如擷取關鍵字、字元、數字或字串)，或是該使用者可從需要理解的原始素材選擇一部份，如同下文進一步描述者。系統100可提供的脈絡資訊之範例包括但不限於：來自原始素材之關鍵字的字典定義、語言翻譯、有關來自該原始素材之一關鍵字或詞彙之視訊、以及擷取自該原始材料之一數學方程式之結果。
該脈絡資訊可被投影於該螢幕或該物件上。由於該脈絡資訊係藉由系統100提供作為供使用者用之補充資訊，除非該使用者選擇要檢視該脈絡資訊，否則不會想以該脈絡資訊使該使用者分心。作為一範例，該系統100可投影視覺提示，其指出有關於該原始素材之脈絡資訊，該原始素材被投影於該區域202或由實體設置在該螢幕200上的該物件所投影。於是，該使用者可在適合或方便來檢視該脈絡資訊時，選擇該視覺提示。
圖7為包含區隔引擎170之圖1之運算系統100之一部分的方塊圖。尤其，圖7繪示運算裝置150之一範例，其包含區隔引擎170且通訊式連結到投影器總成184、感測器束164和投影螢幕200或觸碰感應墊(如上文描述)。雖然未顯示於圖7，但運算裝置150也可通訊式連結至系統100之其它組件，如上文所描述者。
運算裝置150(或實現區隔引擎170之任何其它運 算裝置)可包括至少一個處理資源。於本文所描述之範例中，一個處理資源可包括例如含括於單一運算裝置內或分散橫跨多個運算裝置之一個處理器或多個處理器。如本文使用地，「處理器」可為下列中之至少一者：一中央處理單元(CPU)、一以半導體為基礎之微處理器、一圖形處理單元(GPU)、組配來擷取和執行指令之可現場規劃閘陣列(FPGA)、適用以擷取及執行儲存在一機器可讀儲存媒體上的指令之其他電子電路、或其組合。
參照圖7，該運算裝置150包括一處理資源710，以及包含(例如編碼有)指令722、724、726和728之一機器可讀儲存媒體720。在某些範例中，儲存媒體720可包括額外指令。在其它範例中，指令722、724、726、728和本文所述與儲存媒體720有關之任何其它指令可被儲存在一機器可讀儲存媒體上，其遠離但可為運算裝置150和處理資源710存取。處理資源710可提取、解碼和執行儲存於儲存媒體720上的指令，以實現下述之功能。換言之，儲存媒體720的任何指令之功能可用電子電路之形式、於一機器可讀儲存媒體上編碼的可執行指令之形式、或其組合來實現。機器可讀儲存媒體720可為一非暫時性機器可讀儲存媒體。
於某些範例中，該等指令可為一安裝套裝軟體之一部分，其當安裝時可由該處理資源710執行。於此等範例中，該機器可讀儲存媒體可為可攜式媒體，諸如光碟、DVD、或快閃驅動機、或由一伺服器維持的一記憶體，由此可下載及安裝該安裝套裝軟體。於其它範例中， 該等指令可為已經安裝於包括該處理資源的一運算裝置(例如裝置150)上的一應用程式或多應用程式之一部分。於此種範例中，該機器可讀儲存媒體可包括諸如硬碟機、固態驅動機等之記憶體。
如本文所使用地，一「機器可讀儲存媒體」可為任何電子、磁學、光學、或其它實體儲存裝置，用以含有或儲存諸如可執行指令、資料等之資訊。舉例來說，本文所描述的任何機器可讀儲存媒體可為一儲存驅動機(例如一硬碟機)、快閃記憶體、隨機存取記憶體(RAM)、任何形式的儲存碟片(例如光碟、DVD等)及其類或其組合中之任一者。又，本文所描述的任何機器可讀儲存媒體可為非暫時性。
在圖7的範例中，諸如與圖1有關於上文所述的運算系統100之一運算系統，可包含運算裝置150、投影器總成184、感測器束164和投影螢幕200(例如觸碰感應墊)。在某些範例中，指令722可包括用以拍攝一資料影像之指令，該資料影像係於該觸碰感應墊200上或於實體上設置在該墊200上的一物件所包括或輸入。針對於該墊200上所包括或輸入之資料可由該墊200本身所拍攝。於該墊200上所包括之資料可對應於自該投影器總成184被投影於該墊之資料.。針對於該墊200上所輸入的資料，資料可以諸如使用者的手35、一觸碰感應筆25或經由任何合適的使用者輸入裝置的任何合適方式，來被輸入(例如手寫)於螢幕200的該觸碰感應區域202上。於是，該墊200可即時拍攝被輸入在該 墊200上之資料的影像。
針對實體設置在該墊200上的一物件(例如物件40)上所輸入或包括之資料，設置在該墊200上方之該感測器束164可拍攝該物件上的資料之影像。作為一範例，為了正確地拍攝設置在該墊200上的該物件上之資料的影像，該物件可被安置於空間168，其對應於該感測器束164的視野範圍(例如參見圖6)。如同上文所述，空間188和空間168兩者可與螢幕200之區域202重合或對應，使得觸碰感測區域202、投影器總成184和感測器束164之功能全部皆與相同的界定區相關連執行。除了感測器束164，該系統100可利用該區隔引擎170來針對由感測器束164所拍攝的影像所表示之物件判定一區隔邊界，俾以正確地拍攝該物件上的資料。
指令724可包括用以從所拍攝影像提取資料之指令。作為一範例，針對設置在該墊200上之一物件，例如自一書本之一頁面，從該頁面的所拍攝影像之字元可被提取，以及該等經提取字元可被轉換成機器可讀的字元，其能夠由系統100理解，俾以提供脈絡資訊，如下文將要描述者。可自該所拍攝影像提取之字元的範例包括但不限於：文字、數字、字串和數學表示。在從該所拍攝影像提取資料或字元之前，該系統100可對該所拍攝影像執行預處理技術，俾以增強成功的字元識別之準確性。預處理技術的範例包括但不限於：扭曲校正(de-skewing)該所拍攝影像俾以做出較為水平或垂直之文字(或字元)的線條、該所拍攝影像之二值化、線條和字元檢測、編排分析等。作為一範例， 用以將經提取字元轉換成機器可讀字元之技術包括光學字元識別技術(OCR)。OCR利用演算法，其可能涉及在像素層級之字元/字符之圖案匹配、或比較來提取自一字符之特徵以及一字元的一像向量表現型態。
作為一範例，除了從該所拍攝影像抽取資料外，該系統100可收集與該經抽取資料相關聯之元資料(metadata)。該元資料可包括該墊200上或實體地放置在該墊200上的物件上之該經提取資料之位置(例如該經提取資料之x和y座標)。與該經提取資料相關聯之該元資料可有助於判定由該系統100所發展出的脈絡資訊，如同將要在下文進一步描述者。
指令726可包括用以發展出從提取自該所拍攝影像的資料之脈絡資訊之指令。發展出該脈絡資訊可涉及分析和理解該經提取資料，俾以提供有意義的資訊給一使用者。脈絡資訊之範例包括但不限於：自典定義、語言翻譯、諸如來自網際網路的視訊之各種多媒體內容、及提取自該所拍攝影像之數學方程式的結果。作為一範例，該系統100可藉由從經提取資料獲得關鍵字、字元、數字或字串，而自動地嘗試從題取自所拍攝影像之資料發展出該脈絡資訊。然而，為努力於產生對一使用者為相關之脈絡資訊，該使用者可為該系統100從該經提取資料選擇一部份，以發展出該脈絡資訊。作為一範例，該使用者可藉由做出該觸碰敏感墊200上或實體放置在該墊200上的物件上之資料之一選擇來選擇該部份。該使用者可藉由使用該使用者的手 35、一觸碰感應筆25及任何其它合適的使用者輸入裝置來選擇該部份，以供發展出脈絡資訊。根據一範例，若該資料的該選擇係被投影在該墊200上的資訊，則該墊200本身可檢測由該使用者所為之該選擇。然而，若該資料的該選擇係被包括在該物件上的資料(例如物件40)，則該感測器束164可檢測由該使用者所為之該選擇。
如同上文所述，該系統100可收集與經提取資料相關聯之元資料，其包括該墊200或該物件上之經提取資料之定位。由該使用者所為來用以發展出該脈絡資訊之該選擇可對應於與該經提取資料相關聯之元資料。舉例來說，由該使用者所為之該選擇的x和y位置可對應於該墊200或該物件(例如物件40)上之經抽取資料之一部份的x和y位置。根據由該使用者所為之選擇，該系統100可判定要選擇哪個文字或字元，俾以從該選擇理解和建立脈絡資訊。
當該使用者選擇一單一項目(例如一單字或數學表示)，該系統100可基於該選擇建立脈絡資訊。然而，當該使用者做出諸如一詞彙或一整個段落之一較廣選擇，則該系統100可能需要基於例如自然語言處理演算法來建立該選擇之一理解。如一範例，這些演算法依賴透過真實世界(real-world)文字資料設定之分析之機器學習。利用這些演算法來處理由使用者所為之該選擇，該系統100能夠從關鍵字、相關概念或標題、語音標記(例如針對動詞、名詞等的識別)、文字轉語音等來建立內文資訊。
一旦該脈絡資訊獲發展，指令728可包括用以將 該脈絡資訊投影於該觸碰感應墊200上或於實體放置在該觸碰感應墊200上的物件上。由於該脈絡資訊係藉由系統100提供作為供使用者用之補充資訊，除非該使用者選擇要檢視該脈絡資訊，否則不會想以該脈絡資訊使該使用者分心。作為一範例，該系統100可投影視覺提示，其指出有關於該原始資料之脈絡資訊，該原始資料係被包括或輸入於墊200上或自實體放置在該墊200上的該物件所包括或輸入。於是，該使用者可在適合或方便來檢視該脈絡資訊時，選擇該視覺提示。作為一範例，若該視覺提示被投影於該墊200，則該墊200本身可檢測該視覺提示何時受該使用者所選擇。然而，若該視覺提示被投影於該物件(例如物件40)，則該感測器束164可檢測該視覺提示受該使用者所選擇。作為一範例，該視覺提示可被投影在該墊200或物件上不會使該使用者自原始資料分心之一區域。
圖8為用以發展出脈絡資訊和投影該脈絡資訊之一範例方法之一流程圖。雖然下文中將參考圖1之運算系統100而描述方法800之執行，但是可利用用以執行方法800之其他合適的系統。此外，方法800之實作態樣並不限於此等範例。
在方法800之步驟805，系統100可拍攝被輸入於一觸碰感應墊(例如投影螢幕200之觸碰感應區域202)或實體放置在該觸碰感應墊上的一物件(例如物件40)上之資料的一影像。作為一範例，該系統100可使用該墊本身來拍攝被輸入於該墊上之資料的影像，且可使用該感測器束164來 拍攝被輸入於該物件上的資料之影像。
在步驟810，該系統100可從該所拍攝影像提取資料。作為一範例，提取該資料可包括從該所拍攝影像提取字元，並將該等經提取字元轉換為機器可讀字元。可從該所拍攝影像提取的字元之範例包括但不限於：文字、數字、字串和數學表示。除了提取資料以外，該系統100可收集與該經提取資料相關聯之元資料。作為一範例，該元資料包括該觸碰感應墊或該物件上之該提取資料之定位。
在步驟815，該系統100可從自該所拍攝影像抽取之資料發展出脈絡資訊。作為一範例，該系統100可藉由從該經抽取資料獲得關鍵字、字元、數字或字串，自動地嘗試來從自該所拍攝影像所抽取之資料發展出脈絡資訊。作為一範例，該脈絡資訊可基於由該使用者在該觸碰感應墊或該物件上所為的資料之選擇而發展。若資料之選擇為被投影於該墊上的資料，則根據一範例，該墊本身可檢測由該使用者所為之選擇。然而，若資料之選擇為被包括在該物件(例如物件40)上的資料，則該感測器束164可檢測由該使用者所為之選擇。作為一範例，該墊或該物件上的資料之選擇的一定位可對應於與該經提取資料相關聯之該元資料。
在步驟820，該系統100可(例如經由投影器總成184)將該脈絡資訊投影於該觸碰感應墊或於該物件上。作為一範例，該系統100可投影視覺提示，其指出有關於該原始素材之脈絡資訊，該原始資料係被包括或輸入於墊200上 或自實體放置在該墊200上的該物件所包括或輸入。於是，該使用者可在適合或方便來檢視該脈絡資訊時，選擇該視覺提示。
雖然圖8之流程圖顯示某些功能表現之特定順序，但方法800並不受該順序所限。舉例來說，流程圖中循序顯示之功能可以一不同順序執行，可同時或部分同時或其組合來執行。於某些範例中，本文與圖8相關所描述之特徵及功能可被提供以與本文與圖1~7中之任一者相關所描述之特徵件及功能組合。
15‧‧‧(支持)表面
100‧‧‧(運算)系統
110‧‧‧(支持)結構
120‧‧‧基部
120A‧‧‧前端
140‧‧‧(直立)構件
140A‧‧‧上端、末端
140C、150C、200A‧‧‧前側
150‧‧‧(運算)裝置
150A‧‧‧頂側
150B‧‧‧底側
150D、200B‧‧‧後側
152‧‧‧(觸碰感應)顯示器
154‧‧‧攝影機
155、205‧‧‧中軸、中線
160‧‧‧頂部
160A‧‧‧近端、末端
160B‧‧‧遠端、末端
164‧‧‧(感測器)束、束
170‧‧‧區隔引擎
200‧‧‧(投影)螢幕
202‧‧‧(觸碰感應)區域

Claims (15)

  1. 一種方法，其包含下列步驟：拍攝被輸入在一觸碰感應墊上或一實體放置在該觸碰感應墊上的物件上之資料的一影像；從該所拍攝影像抽取該資料；從抽取自該所拍攝影像之該資料發展出脈絡資訊；以及將該脈絡資訊投影於該觸碰感應墊上或該物件上。
  2. 如請求項1之方法，其包含下列步驟：收集與該經抽取資料相關聯之元資料，其中該元資料包含該經抽取資料在該觸碰感應墊上或該物件上之定位。
  3. 如請求項2之方法，其中該脈絡資訊係基於由一使用者於該觸碰感應墊上或該物件上所為之該資料的一選擇而發展。
  4. 如請求項3之方法，其中該資料的該選擇於該觸碰感應墊上或該物件上之一定位係對應於與該經抽取資料相關聯之該元資料。
  5. 如請求項1之方法，其中抽取該資料之步驟包含：從該所拍攝影像抽取字元；以及將該等經抽取字元轉換為機器可讀字元。
  6. 如請求項5之方法，其中發展出該脈絡資訊之步驟包含從該等機器可讀字元選擇關鍵字，以供發展出該脈絡資 訊。
  7. 如請求項5之方法，其中該脈絡資訊係基於自然語言處理演算法而發展生成。
  8. 如請求項1之方法，其中投影該脈絡資訊之步驟包含將與該脈絡資訊相關聯之視覺提示投影出來，以供一使用者選擇該等視覺提示和與該等視覺提示互動，以在需要時呈現該脈絡資訊。
  9. 一種系統，其包含：一支持結構，其包含一基部、從該基部向上延伸之一直立構件、及從該直立構件向外延伸並包括一折疊鏡和多個感測器之一懸臂式頂部；可附接至該直立構件之一投影器總成；可附接至該投影器總成之一運算裝置；以及與該運算裝置通訊式地耦接之一觸碰感應墊，該投影器係用以將一影像投影於該觸碰感應墊上，其中該投影器係用以將該影像向上投影，以反射離開該鏡而至該墊上，且其中該運算裝置係用以：致使該等多個感測器拍攝實體放置在該墊上的一物件上之資料的一影像；致使該運算裝置從該所拍攝影像抽取資料；致使該運算裝置從自該所拍攝影像所抽取的該資料發展出脈絡資訊；以及致使該投影器總成將該脈絡資訊投影於該墊上或該物件上。
  10. 如請求項9之系統，其中該運算裝置係用以收集與該經抽取資料相關聯之元資料，其中該元資料包含該經抽取資料在該觸碰感應墊上或該物件上之定位。
  11. 如請求項9之系統，其中該脈絡資訊係基於由一使用者於該觸碰感應墊上或該物件上所為之該資料的一選擇而發展生成。
  12. 如請求項11之系統，其中由該使用者於該墊上所為之該資料的該選擇係將由該墊檢測，以及由該使用者於該物件上所為之該資料的該選擇係將由該等多個感測器檢測。
  13. 一種非暫時性機器可讀儲存媒體，其包含可由一運算系統的一處理資源執行之指令，該運算系統包含一觸碰感應墊、用以將影像投影於該墊上之一投影器總成、及放置在該墊上方且指向該墊之多個感測器，該等指令可執行來進行下列動作：拍攝於該墊上或實體放置於該墊上的一物件上所輸入之資料的一影像；從該所拍攝影像抽取該資料；從自該所拍攝影像所抽取的該資料發展出脈絡資訊；以及將該脈絡資訊投影於該墊上或該物件上。
  14. 如請求項13之儲存媒體，其中該等指令可執行來抽取該資料的動作包含：從該所拍攝影像抽取字元；以及 將該等經抽取字元轉換為機器可讀字元。
  15. 如請求項14之儲存媒體，其中該等指令可執行來發展出脈絡資訊的動作包含從該等機器可讀字元選擇關鍵字，以供發展出該脈絡資訊。
TW104129542A 2014-09-12 2015-09-07 從影像發展出脈絡資訊之技術 TWI566126B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/055392 WO2016039769A1 (en) 2014-09-12 2014-09-12 Developing contextual information from an image

Publications (2)

Publication Number Publication Date
TW201614429A TW201614429A (en) 2016-04-16
TWI566126B true TWI566126B (zh) 2017-01-11

Family

ID=55459385

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104129542A TWI566126B (zh) 2014-09-12 2015-09-07 從影像發展出脈絡資訊之技術

Country Status (5)

Country Link
US (1) US10444894B2 (zh)
EP (1) EP3191918B1 (zh)
CN (1) CN107003714B (zh)
TW (1) TWI566126B (zh)
WO (1) WO2016039769A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990107A (zh) * 2019-12-16 2020-04-10 成都极米科技股份有限公司 阅读辅助方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030200078A1 (en) * 2002-04-19 2003-10-23 Huitao Luo System and method for language translation of character strings occurring in captured image data
US20060234784A1 (en) * 2004-12-21 2006-10-19 Silviu Reinhorn Collapsible portable display
US20080191864A1 (en) * 2005-03-31 2008-08-14 Ronen Wolfson Interactive Surface and Display System
TW201115252A (en) * 2009-10-26 2011-05-01 Avermedia Information Inc Document camera with image-associated data searching and displaying function and method applied thereto
US20130257748A1 (en) * 2012-04-02 2013-10-03 Anthony J. Ambrus Touch sensitive user interface

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0622722B1 (en) 1993-04-30 2002-07-17 Xerox Corporation Interactive copying system
US7398201B2 (en) * 2001-08-14 2008-07-08 Evri Inc. Method and system for enhanced data searching
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8726178B2 (en) * 2006-11-10 2014-05-13 Ricoh Company, Ltd. Device, method, and computer program product for information retrieval
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
WO2009049331A2 (en) * 2007-10-08 2009-04-16 Van Der Westhuizen Willem Mork User interface
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US8941620B2 (en) * 2010-01-06 2015-01-27 Celluon, Inc. System and method for a virtual multi-touch mouse and stylus apparatus
WO2011094855A1 (en) 2010-02-05 2011-08-11 Smart Technologies Ulc Interactive input system displaying an e-book graphic object and method of manipulating a e-book graphic object
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
WO2012009789A2 (en) 2010-07-19 2012-01-26 Smart Technologies Ulc Interactive input system having a 3d input space
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US10229538B2 (en) 2011-07-29 2019-03-12 Hewlett-Packard Development Company, L.P. System and method of visual layering
BR112014002186B1 (pt) * 2011-07-29 2020-12-29 Hewlett-Packard Development Company, L.P sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho
CN103827744B (zh) * 2011-08-02 2016-04-06 惠普发展公司，有限责任合伙企业 投影捕捉系统和方法
US20130080932A1 (en) 2011-09-27 2013-03-28 Sanjiv Sirpal Secondary single screen mode activation through user interface toggle
JP5894506B2 (ja) * 2012-06-08 2016-03-30 株式会社Pfu 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
KR20140078853A (ko) * 2012-12-18 2014-06-26 삼성전자주식회사 증강현실시스템 및 그 제어방법
US10146407B2 (en) * 2013-05-02 2018-12-04 Adobe Systems Incorporated Physical object detection and touchscreen interaction
US9965038B2 (en) * 2014-03-21 2018-05-08 Dell Products L.P. Context adaptable projected information handling system input environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030200078A1 (en) * 2002-04-19 2003-10-23 Huitao Luo System and method for language translation of character strings occurring in captured image data
US20060234784A1 (en) * 2004-12-21 2006-10-19 Silviu Reinhorn Collapsible portable display
US20080191864A1 (en) * 2005-03-31 2008-08-14 Ronen Wolfson Interactive Surface and Display System
TW201115252A (en) * 2009-10-26 2011-05-01 Avermedia Information Inc Document camera with image-associated data searching and displaying function and method applied thereto
US20130257748A1 (en) * 2012-04-02 2013-10-03 Anthony J. Ambrus Touch sensitive user interface

Also Published As

Publication number Publication date
CN107003714A (zh) 2017-08-01
EP3191918B1 (en) 2020-03-18
US20170285850A1 (en) 2017-10-05
WO2016039769A1 (en) 2016-03-17
EP3191918A1 (en) 2017-07-19
US10444894B2 (en) 2019-10-15
CN107003714B (zh) 2020-08-11
TW201614429A (en) 2016-04-16
EP3191918A4 (en) 2018-04-18

Similar Documents

Publication Publication Date Title
US10324563B2 (en) Identifying a target touch region of a touch-sensitive surface based on an image
US10156937B2 (en) Determining a segmentation boundary based on images representing an object
US10003777B2 (en) Projection screen for specularly reflecting light
US10664090B2 (en) Touch region projection onto touch-sensitive surface
US10379680B2 (en) Displaying an object indicator
US10725586B2 (en) Presentation of a digital image of an object
US10281997B2 (en) Identification of an object on a touch-sensitive surface
TWI566126B (zh) 從影像發展出脈絡資訊之技術
US10275092B2 (en) Transforming received touch input

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees