TWI572205B - 根據由包含參考標記的相機所捕捉之影像的相機校準 - Google Patents

根據由包含參考標記的相機所捕捉之影像的相機校準 Download PDF

Info

Publication number
TWI572205B
TWI572205B TW104123902A TW104123902A TWI572205B TW I572205 B TWI572205 B TW I572205B TW 104123902 A TW104123902 A TW 104123902A TW 104123902 A TW104123902 A TW 104123902A TW I572205 B TWI572205 B TW I572205B
Authority
TW
Taiwan
Prior art keywords
camera
image
support structure
calibration
calibrated
Prior art date
Application number
TW104123902A
Other languages
English (en)
Other versions
TW201611603A (zh
Inventor
羅伯特L 米勒
康金曼
聖地牙哥 賈西亞 萊耶羅 文納斯
Original Assignee
惠普研發公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普研發公司 filed Critical 惠普研發公司
Publication of TW201611603A publication Critical patent/TW201611603A/zh
Application granted granted Critical
Publication of TWI572205B publication Critical patent/TWI572205B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)

Description

根據由包含參考標記的相機所捕捉之影像的相機校準
本申請案係關於相機的校準,特別是關於根據由包含參考標記的相機所捕捉之影像的相機校準。
相機通常使用照相底片、電子感測器、或是其它處理來捕捉照片與視訊。一部分的相機(例如,特定的手持式相機)被設計成由使用者攜帶與操作;而一部分的相機則被安置於一裝置的殼體裡面的某個固定位置或是被整合在一裝置的殼體裡面,例如,被整合於膝上型電腦的殼體之中的網路相機。
提供一種設備,其包括:一校正表面,其包含一影像校準參考標記;以及一支撐結構,用以支撐一相機以面向該校正表面,其中,該支撐結構包含一相機開口,用以讓該相機由該相機開口捕捉含有該標記的影像,該相機開口包含一內表面,其大小被設計成以可旋轉的方式配接該相機的一外表面,以便讓該相機根據該已捕捉的影像以可旋轉的方式校準於一已校準位置,以及其中,該支撐結構包含一固定元件,用以讓該相機在該相機的安裝期間在該已校準位置中被固定至該支撐結構。
提供一種系統,其包括:一相機支撐結構,其尺寸被設計成用以支撐一相機以面向一影像校準參考標記;一致動器,其可連接至該相機,以便沿著該相機的一成像軸來調整該相機的旋轉校準;一控制模組,其可連接至該相機,以便與該相機進行通信;以及一資料儲存模組,其含有可由該處理器執行的指令,俾使得該系統可操作用以:指示該相機捕捉含有該標記的影像;從該相機處接收對應於該已捕捉影像的影像資料;以及致動該致動器,用以根據該已接收的資料調整該相機的旋轉校準至一已校準位置。
提供一種方法,其包括:固定一相機至一支撐結構,俾使得該相機以該支撐結構中的一相機開口為基準被定位,以便讓該相機面向一影像校準參考標記,該相機被固定至該支撐結構俾使得該相機的一外表面以可旋轉的方式配接該相機開口的一內表面,用以讓該相機以該相機開口為基準以可旋轉的方式被校準;利用該相機捕捉該標記的影像;以及根據該標記的該已捕捉影像將該相機校準至一已校準位置。
15‧‧‧支撐表面
25‧‧‧觸控筆
26‧‧‧尖端
27‧‧‧傳送器
35‧‧‧使用者的手
40‧‧‧物體
50‧‧‧無線信號
100‧‧‧電腦系統
110‧‧‧支撐結構
120‧‧‧基底
120a‧‧‧第一端或正面端
120b‧‧‧第二端或背面端
122‧‧‧隆起部分
140‧‧‧直立部件
140a‧‧‧第一端或上方端
140b‧‧‧第二端或下方端
140c‧‧‧第一側或正面側
140d‧‧‧第二側或背面側
150‧‧‧計算裝置
150a‧‧‧第一側或頂端側
150b‧‧‧第二側或底部側
150c‧‧‧正面側
150d‧‧‧背面側
152‧‧‧顯示器
153‧‧‧導體路徑
154‧‧‧相機
155‧‧‧中央軸或中央線
160‧‧‧頂端
160a‧‧‧第一端或近端
160b‧‧‧第二端或遠端
160c‧‧‧頂端表面
160d‧‧‧底部表面
162‧‧‧摺疊面鏡
162a‧‧‧表面
164‧‧‧感測器束
164a‧‧‧環境光感測器
164b‧‧‧相機
164c‧‧‧深度感測器或相機
164d‧‧‧三維(3D)使用者介面感測器
168‧‧‧被感測的空間
180‧‧‧投影器單元
182‧‧‧外殼體
182a‧‧‧第一端或上方端
182b‧‧‧第二端或下方端
183‧‧‧內凹腔
184‧‧‧投影器組件
184a‧‧‧第一端或上方端
184b‧‧‧第二端或下方端
186‧‧‧耦合部件或安置部件
187‧‧‧光
188‧‧‧投影器顯示空間
200‧‧‧觸敏式觸墊
200a‧‧‧第一側或正面側
200b‧‧‧第二側或背面側
202‧‧‧觸敏式表面
205‧‧‧中央軸或中央線
250‧‧‧處理器
260‧‧‧非暫時性電腦可讀取的儲存裝置
270‧‧‧接收器
352‧‧‧設備
354‧‧‧校正平板
356‧‧‧支撐結構
358‧‧‧相機
360‧‧‧頂端表面
362‧‧‧螺絲
364‧‧‧校正表面
366‧‧‧影像校準參考標記
368‧‧‧第一旋轉方向
370‧‧‧旋轉軸
372‧‧‧蓋板
374‧‧‧相機開口
376‧‧‧相機開口的內表面
378‧‧‧相機的外表面
380‧‧‧固定元件
382‧‧‧鏡筒
384‧‧‧電氣介面
386‧‧‧系統
388‧‧‧電子控制單元(ECU)
390‧‧‧致動器單元
392‧‧‧資料儲存模組
394‧‧‧控制模組
396‧‧‧顯示模組
398‧‧‧I/O模組
400‧‧‧線路
402‧‧‧電氣線路
404‧‧‧已捕捉影像
406‧‧‧已捕捉影像
416‧‧‧臂部
為詳細說明本發明的各種範例,現在將參考隨附的圖式,其中:圖1所示的係依照本文中所揭示的原理的電腦系統的範例的範例概略透視圖;圖2所示的係依照本文中所揭示的原理的圖1的電腦系統的另一範例概略透視圖;圖3所示的係依照本文中所揭示的原理的圖1的電腦系統的範例概略 側視圖;圖4所示的係依照本文中所揭示的原理的圖1的電腦系統的範例概略前視圖;圖5所示的係依照本文中所揭示的原理的操作期間的圖1的電腦系統的範例概略側視圖;圖6所示的係依照本文中所揭示的原理的操作期間的圖1的系統的範例概略前視圖;圖7所示的係依照本文中所揭示的原理的圖1的電腦系統的範例黑盒電路圖;圖8所示的係依照本文中所揭示的原理的設備的範例部分爆炸視圖;圖9所示的係圖8的設備的一部分的範例仰視圖;圖10所示的係圖8的設備的一部分的範例俯視圖;圖11所示的係依照本文中所揭示的原理的系統的範例部分概略正面透視圖;圖12所示的係由處於初始失準位置中的圖11的系統的相機所捕捉之影像的範例概略俯視圖;圖13所示的係由處於已校準位置中的圖11的系統的相機所捕捉之影像的範例概略俯視圖;以及圖14所示的係依照本文中所揭示的原理的方法的範例流程圖。
表示法與用語
在下面的完整說明及申請專利範圍中使用特定的術語來表 示特殊的設備與系統器件。熟習本技術的人士便會明白,特定公司或其它實體可能以不同的名稱來引用一器件。本文件並不希望區分名稱不同但是功能相同的器件。在下面的討論中以及在申請專利範圍中以開放的方式來使用「包含(including)」與「包括(comprising)」等術語,且因此,應該被解釋為具有「包含,但是並不限制於…」的意義。另外,「耦合」一詞則希望包含間接連接及/或直接連接。因此,倘若一第一裝置被耦合至一第二裝置的話,舉例來說,該耦合可以為:(1)經由一直接電氣連接或機械性連接,(2)透過其它裝置與連接而經由一間接電氣連接或機械性連接,(3)經由一光學電氣連接,(4)經由一無線電氣連接,及/或(5)其它合宜的耦合。如本文中的用法,用以修飾某個數值的「近似」一詞希望根據熟習本技術的人士的理解方式,並且舉例來說,其會有該數值的正負10%的意義。
下面的討論和本揭示內容的各種範例有關。此些範例中的一或更多個範例雖然可能為較佳範例;不過,該些已揭範例不應該被解釋為,或者作為,限制本揭示內容的範疇(包含申請專利範圍在內)。此外,熟習本技術的人士便會瞭解,下面的說明具有廣泛的應用,並且,任何範例的討論僅係說明該範例,而並沒有暗示本揭示內容的範疇(包含申請專利範圍在內)受限於該範例的用意。
電子元件的特定製造過程會導致高度變異一尤其是被用來製作低成本電子元件的大量製造過程。舉例來說,電子相機系統的特定製造過程會導致該相機的元件的非所希望的失準(舉例來說,透鏡、底片、感測器、…等)。對手持式相機來說,由於位在手中或是被安置在一可調整的三腳架上的相機的無限調整能力的關係,這通常不會有問題。然而,對固 定式底座的相機系統來說,例如,被整合於一計算裝置(例如,膝上型電腦)的殼體裡面的特定相機,任何此類失準都可能為整個影像處理系統中造成不良品質以及高複雜度的來源。為克服此失準,可能會在製造設備和相機設計複雜度中進行大量的投資,以便達到更高的精確度。然而,此些解決方式卻會明顯地提高設計的成本、複雜度、以及尺寸。於一替代例中會使用數位改正,例如,影像後置處理。然而,此改正卻可能在最終的描繪影像中導致抗鋸齒瑕疵(anti-aliasing artifact),會需要用到CPU頻寬,並且可能會在影像捕捉循環時間中產生等待時間(latency)。
如本文中的進一步所述,此些問題的解決方案的某些施行方式會提供一種設備或系統,其可以讓一相機根據由該相機所捕捉的影像進行校準。舉例來說,該相機會校準於一根據由該相機所拍攝的影像校準參考標記的影像所決定的校準位置。舉例來說,該相機的校準能夠由操作人員手動實施及/或由一電機系統來實施,該電機系統會自動回應來自一影像處理演算法的回授並且能夠根據該回授來進行機械性調整。
參考圖1至4,圖中顯示一能夠從本發明的一解決方案中獲得好處的電腦系統100。於此範例中,系統100大體上包括一支撐結構110、一計算裝置150、一投影器單元180、以及一觸敏式觸墊200。計算裝置150可以包括任何合宜的計算裝置,但是仍然與本文中揭示的原理相符。舉例來說,於某些施行方式中,裝置150可以包括一電子顯示器、一智慧型電話、一平板、一全功能式(all-in-one)電腦(也就是,同時容納該電腦的電路板的顯示器)、或是它們的特定組合。於此範例中,裝置150為一全功能式電腦,其包含:一中央軸或中央線155;第一側或頂端側150a;第二側或底部 側150b,其與頂端側150a為軸向反向;一正面側150c,其在軸向中延伸於150a、150b兩側之間;一背面側150d,其同樣在軸向中延伸於150a、150b兩側之間並且延伸方向大體上與正面側150c徑向反向。一顯示器152定義一觀看表面並且被設置在正面側150c中,用以投影讓使用者(圖中並未顯示)觀看以及互動的影像。於某些範例中,顯示器152包含觸敏式技術,例如,電阻式、電容式、聲波式、紅外線(InfraRed,IR)、應變儀、光學式、聲音脈衝辨識、或是它們的特定組合。所以,在下面的整個說明中,顯示器512可能偶爾會被稱為一觸敏式表面或顯示器。
此外,於某些範例中,裝置150進一步包含一相機154,其係用以當一使用者位在顯示器152的前方時拍攝他或她的影像。於某些施行方式中,相機154為一網路相機。進一步言之,於某些範例中,裝置150還包含一麥克風或是雷同的裝置,其被排列成用以在操作期間從一使用者處接收聲音輸入(舉例來說,語音)。
繼續參考圖1至4,支撐結構110包含一基底120、一直立部件140、以及一頂端160。基底120包含一第一端或正面端120a以及一第二端或背面端120b。在操作期間,基底120會扣接一支撐表面15,以便在操作期間支撐系統100的器件(舉例來說,部件140、單元180、裝置150、頂端160、…等)中的至少一部分的重量。於此範例中,基底120的正面端120a包含一隆起部分122,其略為分離於支撐表面15之上,從而在122部分與表面15之間創造一空間或空隙。如下面的更詳細解釋,在系統100的操作期間,觸墊200的其中一側雖然被收容在形成於122部分與表面15之間的空間裡面,用以確保觸墊200的正確校準;然而,應該明白的係,於 其它範例中,亦可以使用其它合宜的校準方法或裝置,但是仍然與本文中揭示的原理相符。
直立部件140包含:一第一端或上方端140a;一第二端或下方端140b,其與上方端140a反向;一第一側或正面側140c,其延伸於140a、140b兩端之間;以及一第二側或背面側140d,其與正面側140c反向並且同樣延伸於140a、140b兩端之間。部件140的下方端140b被耦合至基底120的背面端120b,俾使得部件140從支撐表面15處實質上朝上延伸。
頂端160包含:一第一端或近端160a;一第二端或遠端160b,其與近端160a反向;一頂端表面160c,其延伸於160a、160b兩端之間;以及一底部表面160d,其與頂端表面160c反向並且同樣延伸於160a、160b兩端之間。頂端160的近端160a被耦合至直立部件140的上方端140a,俾使得遠端160b從該處向外延伸。因此,於圖2中所示的範例中,頂端160僅在末端160a處受到支撐且因此於本文中被稱為「懸臂式(cantilevered)」頂端。於某些範例中,基底120、部件140、以及頂端160雖然全部為一體成形;然而,應該明白的係,於其它範例中,基底120、部件140、及/或頂端160亦可能並非一體成形,但是仍然與本文中揭示的原理相符。
繼續參考圖1至4,觸墊200包含:一中央軸或中央線205;一第一側或正面側200a;以及一第二側或背面側200b,其與正面側200a為軸向反向。於此範例中,一觸敏式表面202被設置在觸墊200上並且實質上校準於軸線205。表面202可以包括任何合宜的觸敏式技術,用以讓使用者偵測與追蹤一或多個觸碰輸入,以便讓該使用者和正在被裝置150或是特定的其它計算裝置(圖中並未顯示)執行的軟體互動。舉例來說,於某些施行 方式中,表面202可以運用已知的觸敏式技術,例如,電阻式、電容式、聲波式、紅外線、應變儀、光學式、聲音脈衝辨識、或是它們的特定組合,但是仍然與本文中揭示的原理相符。此外,於此範例中,表面202雖然僅延伸在觸墊200的一部分上方;然而,應該明白的係,於其它範例中,表面202亦可以延伸在實質上全部的觸墊200上方,但是仍然與本文中揭示的原理相符。
在操作期間,觸墊200校準於結構110的基底120,如先前所述,以便確保其正確的校準。明確地說,於此範例中,觸墊200的背面側200b被放置在基底120的隆起部分122與支撐表面15之間,俾使得背面端200b會校準於基底的正面側120a,從而確保觸墊200,且尤其是表面202,會正確的整體校準於系統100裡面的其它器件。於某些範例中,觸墊200會校準於裝置150,俾使得裝置150的中央線155實質上校準於觸墊200的中央線205;然而,亦可以採用其它校準。
此外,如下面的更詳細說明,於至少某些範例中,觸墊200的表面202與裝置150會彼此電氣耦合,俾使得表面202所收到的使用者輸入會被傳送至裝置150。任何合宜的無線或有線電氣耦合或連接皆可以被使用在表面202與裝置150之間,例如,WI-FI、BLUETOOTH®、超音波、電氣纜線、電氣導線、具有磁性固持作用力的有彈簧的電氣簧針、或是它們的特定組合,但是仍然與本文中揭示的原理相符。於此範例中,被設置在觸墊200的背面側200b的外露電氣接點扣接基底120的122部分裡面的對應電氣簧針導線,以便在操作期間於裝置150和表面202之間傳輸信號。此外,於此範例中,該些電氣接點藉由位於前面已述的基底120的122部分和 表面15之間的空隙中的多個相鄰磁鐵而被固持在一起,以便磁性吸引與固持(舉例來說,機械性固持)沿著觸墊200的背面側200b被設置的一對應的鐵質及/或磁性材料。
現在特別參考圖3,投影器單元180包括:一外殼體182;以及一投影器組件184,其被設置在殼體182裡面。殼體182包含:一第一端或上方端182a;一第二端或下方端182b,其與上方端182a反向;以及一內凹腔183。於此施行方式中,殼體182進一步包含一耦合部件或安置部件186,用以在操作期間扣接且支撐裝置150。
一般來說,部件186可以為用於懸浮與支撐一電腦裝置(舉例來說,裝置150)的任何合宜的部件或裝置,但是仍然與本文中揭示的原理相符。舉例來說,於某些施行方式中,部件186包括一鉸鏈,該鉸鏈包含一旋轉軸,俾使得使用者(圖中並未顯示)可以繞著該旋轉軸來旋轉裝置150,以便取得最佳的觀看角度。進一步言之,於某些範例中,裝置150係永久性或半永久性被附接至單元180的殼體182。舉例來說,於某些施行方式中,殼體182與裝置150會被整合及/或一體成形為單一單元。
因此,暫時參考圖4,當裝置150經由殼體182上的安置部件186而懸浮於結構110中時,當從某個觀看表面或觀看角度(其實質上面向被設置在裝置150的正面側150c的顯示器152)觀看系統100時,投影器單元180(也就是,殼體182與組件184兩者)實質上被隱藏於裝置150後面。此外,同樣如圖4中所示,當裝置150以所述的方式懸浮於結構110中時,投影器單元180(也就是,殼體182與組件184兩者)以及被投影的任何影像因而實質上會以裝置150的中央線155為基準被校準或置中。
投影器組件184大體上被設置在殼體182的凹腔183裡面,並且包含:一第一端或上方端184a;一第二端或下方端184b,其與上方端184a反向。上方端184a為殼體182的近上方端182a,而下方端184b為殼體182的近下方端182b。投影器組件184可以包括用以從一電腦裝置(舉例來說,裝置150)處接收資料並且投影對應於該輸入資料的一或更多個影像(舉例來說,投影至上方端184a外面)的任何合宜的數位式光投影器組件。舉例來說,於某些施行方式中,投影器組件184包括一數位式光處理(Digital Light Processing,DLP)投影器或是一矽上液晶(Liquid Crystal on Silicon,LCoS)投影器,它們的優點係為具有多種顯示解析度與尺寸之體積小並且節省電力的投影引擎,例如,標準的XGA(1024x768)解析度和4:3寬高比或是標準的WXGA(1280x800)解析度和16:10寬高比。投影器組件184會進一步被電氣耦合至裝置150,以便從該處接收用於產生光的資料並且在操作期間從末端184a處接收影像。投影器組件184可以經由任何合宜類型的電氣耦合被電氣耦合至裝置150,但是仍然與本文中揭示的原理相符。舉例來說,於某些施行方式中,組件184經由電氣導體、WI-FI、BLUETOOTH®、光學連接、超音波連接、或是它們的特定組合被電氣耦合至裝置150。於此範例中,裝置150經由被設置在安置部件186裡面的電氣導線或導體(前面已說明)被電氣耦合至組件184,俾使得當裝置150經由部件186懸浮於結構110中時,被設置在部件186裡面的該些電氣導線會接觸被設置在裝置150上的對應導線或導體。
繼續參考圖3,頂端160進一步包含一摺疊面鏡162以及一感測器束164。面鏡162包含一高度反射的表面162a,其被設置在頂端160 的底部表面160d中並且被定位成用以在操作期間將從投影器組件184的上方端184a處所投影的影像及/或光反射至觸墊200。面鏡162可以包括任何合宜類型的面鏡或反射表面,但是仍然與本文中揭示的原理相符。於此範例中,摺疊面鏡162包括一標準的正面表面真空金屬化鋁塗佈的玻璃面鏡,其用以將從組件184處所發射的光往下摺疊至觸墊200。於其它範例中,面鏡162會有一複雜的非球體曲率,用以充當一反射式透鏡元件,以便提供額外的聚焦能力或光學改正。
感測器束164包含複數個感測器及/或相機,用以在操作期間測量及/或偵測出現在觸墊200上或附近的各種參數。舉例來說,在圖3中所描繪的特定施行方式中,感測器束164包含一環境光感測器164a、一相機(舉例來說,彩色相機)164b、一深度感測器或相機164c、以及一三維(3D)使用者介面感測器164d。
環境光感測器164a被排列成用以測量圍繞系統100的環境的光的強度,以便於某些施行方式中調整相機的及/或感測器(舉例來說,感測器164a、164b、164c、164d)的曝光設定,及/或調整從整個系統中的其它來源(例如,投影器組件184、顯示器152、…等)處所發射的光的強度。
於某些實例中,相機164b可以包括一彩色相機,其被排列成用以拍攝被設置在觸墊200上的物體及/或文件的靜態影像或視訊。相機164b被固定至支撐結構110的頂端160。如下面的討論,舉例來說,相機164b能夠:(1)被用來捕捉一影像校準參考標記的影像,(2)根據該已捕捉的影像以可旋轉的方式校準於一已校準的位置,以及(3)被固定於該已校準的位置中。下面將參考圖8至14來深入說明針對此些處理的合宜設備、系統、 以及方法的各種範例。
深度感測器相機164c大體上表示一3D物體何時在工作表面上。明確地說,深度感測器相機164c可以在操作期間感測或偵測被放置在觸墊200上的一物體(或是一物體的一(或多個)特定特徵圖樣)的存在、形狀、輪廓、運動、及/或3D深度。因此,於某些施行方式中,感測器164c可以運用任何合宜的相機排列來感測或偵測3D物體及/或由被設置在該感測器的視場(Field-Of-View,FOV)中的像素(不論為紅外線、彩色、或是其它)的深度數值所形成的影像。舉例來說,於某些施行方式中,感測器相機164c可以包括:具有均勻IR泛光的單一紅外線(IR)相機感測器;具有均勻IR泛光的雙IR相機感測器;結構式光深度感測器技術;飛行時間(Time-Of-Flight,TOF)深度感測器技術;或是它們的特定組合。應該明白的係,深度感測器相機164c中所使用的「相機」一詞希望包含用於深度感測的任何合宜的感測器組件,並且不僅包含捕捉可見光頻譜裡面的電磁輻射的影像的組件,還包含捕捉「不可見的」的影像(例如,紅外線影像、x射線影像、聲納影像、熱影像、…等)的組件。
深度感測器相機164c被固定至支撐結構110的頂端160。如下面所述,舉例來說,相機164c能夠:(1)被用來捕捉一影像校準參考標記的影像,(2)根據該已捕捉的影像以可旋轉的方式校準於一已校準的位置,以及(3)被固定於該已校準的位置中。下面將參考圖8至14來深入說明針對此些處理的合宜設備、系統、以及方法的各種範例。
使用者介面感測器164d包含用於追蹤一使用者輸入裝置(例如,手、觸控筆、指標裝置、…等)的任何一(或多個)合宜的裝置(舉例來說, 感測器或相機)。於某些施行方式中,感測器164d包含一對相機,它們被排列成用以在使用者以觸墊200為基準,尤其是以觸墊200的表面202為基準,移動一使用者輸入裝置(舉例來說,觸控筆)時,以立體方式追蹤該使用者輸入裝置的位置。於其它範例中,感測器164d亦可以包含或者替代地包含被排列成用以偵測由一使用者輸入裝置所發射或反射的紅外光的一(或多個)紅外線相機或感測器。應該進一步明白的係,感測器束164可以包括其它感測器及/或相機用以取代前面所述的感測器164a、164b、164c、164d;或者,除了前面所述的感測器164a、164b、164c、164d之外,還可以包括其它感測器及/或相機。此外,如下面的更詳細解釋,感測器束164裡面的感測器164a、164b、164c、164d中的每一者皆被電氣與通信耦合至裝置150,俾使得在感測器束164裡面所產生的資料可以被傳送至裝置150並且由裝置150所送出的命令可以在操作期間被傳送至該些感測器164a、164b、164c、164d。如上面針對系統100的其它器件的解釋,任何合宜的電氣及/或通信耦合皆可被用來將感測器束164耦合至裝置150,例如,電氣導體、WI-FI、BLUETOOTH®、光學連接、超音波連接、或是它們的特定組合。於此範例中,電氣導體從感測器束164處繞送經過頂端160、直立部件140、以及投影器單元180,並且經由被設置在前面已述的安置部件186裡面的導線進入裝置150之中。
應該明白的係,使用者介面感測器164d中所使用的「相機」一詞希望包含用於追蹤一使用者輸入裝置的任何合宜的感測器組件,並且不僅包含捕捉可見光頻譜裡面的電磁輻射的影像的組件,還包含捕捉「不可見的」的影像(例如,紅外線影像、x射線影像、聲納影像、熱影像、… 等)的組件。
於使用者介面感測器164d包含一或更多個相機的施行方式中,此些相機能夠被固定於支撐結構110的頂端160。如下面所述,舉例來說,此些相機能夠:(1)被用來捕捉一影像校準參考標記的影像,(2)根據該已捕捉的影像以可旋轉的方式校準於一已校準的位置,以及(3)被固定於該已校準的位置中。下面將參考圖8至14來深入說明針對此些處理的合宜設備、系統、以及方法的各種範例。
現在參考圖5與6,在系統100的操作期間,光187係從投影器組件184處所射出,並且被面鏡162反射至觸墊200,從而在一投影器顯示空間188中顯示一影像。於此範例中,空間188實質上為矩形並且由一長度L188與一寬度W188來定義。於某些範例中,長度L188可以等於約16英吋,而寬度W188可以等於約12英吋;然而,應該明白的係,亦可以使用長度L188與寬度W188兩者的其它數值,但是仍然與本文中揭示的原理相符。此外,感測器束164裡面的感測器(舉例來說,感測器164a、164b、164c、以及164d)亦包含一被感測的空間168,於至少某些範例中,該被感測的空間168會重疊及/或對應於前面已述的投影器顯示空間188。空間168定義讓感測器束164裡面的感測器被排列成以前面所述的方式來監視及/或偵測其條件的區域。於某些範例中,空間188與空間168兩者和前面所述的觸墊200的表面202一致或對應,以便於一經定義的區域之中有效地整合觸敏式表面202、投影器組件184、以及感測器束164的功能。
現在參考圖5至7,於某些範例中,裝置150指示組件184將一影像投影於觸墊200的表面202上。此外,裝置150亦可能顯示一影像 (其可能和組件184投影在表面202上的影像相同或不相同)於顯示器152上。組件184所投影的影像可以包括在裝置150裡面執行的軟體所產生的資訊及/或影像。一使用者(圖中並未顯示)接著可以藉由實際使用觸墊200的觸敏式表面202而和被顯示在表面202及顯示器152上的影像互動。此互動可以經由任何合宜的方法來進行,例如,和使用者的手35直接互動、經由觸控筆25來互動、或是利用其它合宜的(多個)使用者輸入裝置來互動。
如圖7中的最佳顯示,當一使用者和觸墊200的表面202互動時,一信號會被產生,其會經由前面所述的任何電氣耦合方法與裝置被繞送至裝置150。一旦裝置150收到在觸墊200裡面所產生的信號,其會經由多條內部的導體路徑153被繞送至一處理器250,處理器250會與一非暫時性電腦可讀取的儲存裝置260進行通信,用以產生一輸出信號,接著,該輸出信號會被送回投影器組件184及/或顯示器152,用以分別在被投影於表面202上的影像及/或被顯示於顯示器152中的影像中進行改變。另外,應該明白的係,於此處理期間,一使用者還可以經由運用被設置在顯示器152上的觸敏式表面及/或經由另一使用者輸入裝置(例如,鍵盤與滑鼠)來和被顯示於顯示器152中的影像互動。
此外,於某些範例中,觸控筆25進一步包含一傳送器27,其被排列成用以追蹤觸控筆25的位置(不論觸控筆25是否正在和表面202互動)並且經由一無線信號50和被設置在裝置150裡面的一接收器270進行通信。於此些範例中,接收器270從觸控筆25上的傳送器27處收到輸入同樣會經由多條路徑153被繞送至處理器250,俾使得一輸出信號可以被產生並且被繞送至前面所述的組件184及/或顯示器152。
進一步言之,於某些範例中,被設置在感測器束164裡面的感測器(舉例來說,感測器164a、164b、164c、以及164d)可能還會產生系統輸入,其會被被繞送至裝置150,用以讓處理器250和裝置260作進一步處理。舉例來說,於某些施行方式中,感測器束164裡面的感測器可以感測使用者的手35或觸控筆25的位置及/或存在並且接著產生一輸入信號,其會被繞送至處理器250。處理器250接著產生一對應的輸出信號,其會以上面所述的方式被繞送至顯示器152及/或投影器組件184。明確地說,於某些施行方式中,感測器束164包含一對相機或感測器,它們被排列成用以實施立體觸控筆追蹤(舉例來說,追蹤觸控筆25)。又,於其它施行方式中,觸控筆25包含一尖端26,其塗佈著一紅外線向後反射塗料(舉例來說,塗料),因此,其可以充當一紅外線向後反射器。感測器束164(且更明確地說,感測器164c或164d)可以接著進一步包含如前面所述的多個相機或多個感測器,它們會偵測被觸控筆25的尖端26反射的紅外光,並且因而在尖端26於操作期間移動跨越表面202時追蹤它的位置。
因此,於某些範例中,被組件184投影在表面202上的影像係作為系統100裡面的第二或替代觸敏式顯示器。此外,和被顯示在表面202上的影像的互動會經由使用被設置在如上面所述的感測器束164裡面的感測器(舉例來說,感測器164a、164b、164c、164d)而進一步獲得強化。
繼續參考圖5至7,此外,在至少於此範例的操作期間,系統100可以捕捉一實體物體的二維(2D)影像或是創造一實體物體的3D掃描,俾使得該物體的影像接著可以被投影在表面202上,以便對其作進一步運用與操縱。明確地說,於某些範例中,一物體40可以被放置在表面202 上,俾使得感測器束164裡面的感測器(舉例來說,相機164b、深度感測器164c、…等)可以偵測物體40的位置、維度、並且於某些實例中,可以偵測物體40的顏色,用以強化一2D影像或是創造它的3D掃描。由感測器束164裡面的該些感測器(舉例來說,感測器164b、164c)所收集的資訊接著可以被繞送至處理器250,其會與如前面所述的裝置260通信。而後,處理器250會指示投影器組件184將物體40的一影像投影在表面202上。另外,應該明白的係,於某些範例中,其它物體(例如,文件或相片)亦可以被感測器束164裡面的感測器掃描,用以產生其要利用組件184投影在表面202上的影像。此外,於某些範例中,一旦一(或多個)物體被感測器束164裡面的感測器掃描,該影像的背景可以視情況於被投影在表面202上(或是被顯示在裝置150的顯示器152上)的生成影像裡面以數位方式移除。因此,於某些範例中,實體物體(舉例來說,物體40)的影像可以於操作期間被捕捉、數位化、並且被顯示在表面202,以便快速且輕鬆地創造一實體物體的數位版本,以便以與本文中所述一致的方式來對其作進一步操縱。
依照所述的方式,使用根據本文中所揭示原理的電腦系統100的範例,一額外的觸敏式顯示器可被投影在一觸敏式表面(舉例來說,表面202)上,用以為一計算裝置(舉例來說,裝置150)提供雙螢幕功能。此外,使用根據本文中所揭示原理的電腦系統100還可以掃描一實體物體(舉例來說,物體40),從而創造該實體物體的數位版本,以便在一計算裝置的顯示表面(舉例來說,顯示器152及/或表面202)上觀看及/或操縱。進一步言之,使用根據本文中所揭示原理的電腦系統100可以為位於遠端的使用者(舉例來說,使用者300A、300B)創造一數位共用的工作站,其中,可以在 該數位共用工作站的所有共同使用者之中掃描、數位化、以及共用實體內容,並且所有參與者都可看見和該數位內容及/或實體物體的使用者互動。
雖然裝置150被描述為一全功能式電腦;不過,應該明白的係,於其它範例中,裝置150亦可以進一步運用比較傳統式的使用者輸入裝置,例如,鍵盤與滑鼠。此外,雖然感測器束164裡面的感測器164a、164b、164c、164d被描述為各自代表單一感測器或相機;不過,應該明白的係,該些感測器164a、164b、164c、以及164d中的每一者亦可以各自包含多個感測器或相機,但是仍然與本文中揭示的原理相符。進一步言之,雖然頂端160在本文中被描述為一懸臂式頂端;不過,應該明白的係,於其它範例中,頂端160亦可以在一個以上的點處受到支撐並且因而可以並非懸臂式,但是仍然與本文中揭示的原理相符。
圖8至10所示的係設備352的範例,其可以根據一相機(例如,上面所述的一或更多個相機)所捕捉的參考標記的影像在安裝期間以可旋轉的方式校準該相機。明確地說,圖8所示的係設備352的部分爆炸視圖;圖9所示的係設備352的一部分的範例仰視圖,其重點放在如下面所述的設備352的支撐結構的相機開口;以及圖10所示的係設備352的一視圖,其包含一相機以及多個固定元件,用以將該相機固定於如下面所述的設備352的支撐結構。設備352包含一校正平板354、一支撐結構356、一相機358、以及多個固定元件380。應該明白的係,本文中所述的其它系統或設備(例如,電腦系統100或是它的組成部件)的一或更多個結構性觀點或功能性觀點能夠被施行在設備352之中,反之亦可。
舉例來說,校正平板354能夠當作一基準,用以在安裝或是 其它時間期間校正相機358的旋轉校準。如圖8中所示,舉例來說,校正平板354能夠為一薄型實質上矩形形狀的平板,其具有實質上平坦的頂端表面與底部表面。於某些施行方式中,校正平板354的一或更多個表面或者多個表面部分能夠為不平坦。舉例來說,於某些施行方式中,一給定表面(舉例來說,頂端表面360)的一部分(舉例來說,中央部分)為平坦,而該表面的另一部分(舉例來說,周圍部分)為不平坦。就另一範例來說,於某些施行方式中,校正平板354的一頂端表面為不平坦,而校正平板354的一側表面為平坦。
校正平板354會被貼附至支撐結構356,用以幫助安裝或校正電腦系統100的相機358及/或其它元件(舉例來說,用以幫助安裝投影器組件184)。舉例來說,校正平板354能夠透過其它合宜扣件的螺絲362被固定至支撐結構356,該些螺絲362經由被形成在校正平板354之中的孔洞被固定至支撐結構356。於某些施行方式中,在此些元件被安裝之後,校正平板354能夠從支撐結構356處被移除並且被貼附至另一電腦系統,從而可以單一校正平板354來校正數個不同的單元。於一替代例中,校正平板354會具有希望用於設備352的元件的形式,例如,觸敏式觸墊200或是電腦系統100的另一器件,例如,系統100的殼體。
校正平板354能夠包含一校正表面364,其包含一或更多個影像校準參考標記366,用以幫助校準相機358。如圖8中所示,校正平板354的頂端表面360能夠作為校正表面364並且能夠包含多個影像校準參考標記366。於某些施行方式中,校正平板354的一側表面或底部表面能夠作為校正表面364。又,於某些施行方式中,一給定表面(舉例來說,頂端表 面360)的一部分(舉例來說,中央部分)作為校正表面364,而該表面的另一部分(舉例來說,周圍部分)則不作為校正表面364。雖然校正表面364在圖8中描繪成一平坦的表面;不過,應該明白的係,於某些施行方式中,校正表面364為一不平坦的表面。
影像校準參考標記366可以根據相機358能夠感測的標記類型來選擇。舉例來說,於相機358能夠記錄可見光頻譜中的影像的施行方式中,舉例來說,標記366能夠具有被描繪在校正表面364上的標記的形式,被貼附至校正表面364的貼紙的形式,被形成在校正表面364中的孔洞的形式,及/或能夠被相機358偵測到的其它合宜的標記。於相機358能夠記錄不可見光頻譜(舉例來說,紫外線相機)中的影像的施行方式中,舉例來說,標記366能夠具有不可見的標記的形式(舉例來說,紫外線標記)。
如圖8中所示,舉例來說,標記366能夠具有四個影像校準參考標記的形式,它們對應於要由處於已校準位置中的相機358來捕捉的影像的四個角邊。舉例來說,該相機的已校準位置會對應於不需要對該被捕捉影像進行後置處理「拉直」的旋轉位置。一已校準位置的其中一範例描繪在圖13中,圖中顯示平行於已捕捉影像406的兩個水平周圍側邊的參考標記366的三個水平區段。此已校準位置能夠對照於圖12的未校準位置,其中,此些水平區段並沒有平行於已捕捉影像404的水平周圍側邊。應該明白的係,於特定的情況中可以對照其它校準軸線,例如,倘若已捕捉影像406沒有包含筆直的周圍側邊的話。確實的校準程度可能端視應用而定。舉例來說,於某些應用中,校正表面354的校準軸線應該平行於該已捕捉影像的對應校準軸線至約1度以內。在比較不靈敏的應用中,倘若校正表 面354的校準軸線平行於該已捕捉影像的對應校準軸線至約2度、5度、10度、或更多度以內的話,其便能夠被視為「已校準」。
應該明白的係,標記366能夠以其它合宜的圖樣來提供。標記366能夠為:單一點,例如,一圓點或方點;及/或可以為直線或是其它形狀(舉例來說,例如,圖8的校正表面364中所示的各種直線)。於某些施行方式中,標記366能夠為三維,舉例來說,被提供在一面朝上方的校正表面(舉例來說,圖8中所示的校正表面364)中的標記366能夠以柱形或是其它形狀向上延伸。同樣地,第一組標記能夠被提供用以面向第一方向(舉例來說,垂直面向)並且第二組標記能夠被提供用以面向第二方向(舉例來說,橫向面向)。舉例來說,此種施行方式能夠被用來讓相機358校準於多個旋轉方向中,例如,以旋轉軸370(舉例來說,其能夠對應於如圖8中所示的相機358的一成像軸)為基準的第一旋轉方向368以及對應於另一軸(例如,相機358的俯仰軸(pitch axis))的第一旋轉方向。
於某些施行方式中,第一組標記366能夠對應於相機358的第一位置(舉例來說,朝下面向觸墊200),而第二組標記366能夠對應於相機358的第二位置(舉例來說,朝前面向使用者)。同樣地,第一組標記366能夠被用於系統100的第一相機,而第二組標記366能夠被用於系統100的第二相機。
於某些施行方式中,影像校準參考標記366能夠根據系統100或設備352的另一元件來提供。舉例來說,參考標記366能夠被提供在觸敏式觸墊200上或者根據觸敏式觸墊200來提供。也就是,舉例來說,標記366能夠具有校正表面364、校正平板354、及/或設備352或系統100的 一元件的外緣或內緣的形式(舉例來說,觸敏式觸墊200、支撐結構356、或是配合系統100所使用的另一元件的邊緣)。於某些施行方式中,標記366能夠具有的形式由投影器單元180顯示在一表面上的暫時性影像的形式,例如,顯示在校正表面364上或是顯示在充當一暫時性校正表面的桌面上。於某些施行方式中,標記366能夠利用投影器單元180或是另一機制從第一位置移到第二位置,用以讓相機358校準於不同的位置。
舉例來說,支撐結構356能夠被用來支撐相機358,用以面向校正表面364。應該明白的係,本文中針對相機358所使用的「朝前面向」以及相關用詞的用意在於表示相機358的成像方向,例如,圖8中的軸線370。舉例來說,於校正表面364面朝上方的施行方式中,支撐結構356會支撐相機358於校正表面364上方。同樣地,於校正表面364橫向面朝左方的施行方式中,支撐結構356會支撐相機358使其橫向朝右面向校正表面364。於某些施行方式中,支撐結構356可透過校正平板354於單一預設位置處固定至校正表面364,以便在相對於標記366的一預設位置處面向校正表面364。舉例來說,如圖8中所示,相機358會被固定至支撐結構356,俾使得相機358被設置在校正表面364上方並且被設置在標記366所形成的覆蓋範圍裡面。
如上面所述,支撐結構110的一或更多個結構性觀點或功能性觀點能夠被施行在支撐結構356之中,反之亦可。舉例來說,圖1所示的電腦系統100的支撐結構110雖然不同於圖8的支撐結構356;但是,支撐結構356亦能夠包含支撐結構110的特定觀點,例如,其精確的機械性結構、功能、或是和電腦系統100其它元件的介面。同樣地,支撐結構110亦能夠 包含支撐結構356的一或更多個觀點。舉例來說,支撐結構356能夠包含一用於一投影器單元的耦合部件,例如,上面針對電腦系統100所述的耦合部件186。於某些施行方式中,支撐結構356能夠包含一蓋板372,其會被固定至支撐結構356,用以在相機358被安裝之後防止相機358的校準結果受到破壞。
支撐結構356能夠包含一相機開口374,舉例來說,其能夠讓相機358經由相機開口374捕捉含有標記366的影像。於某些施行方式中,相機開口374能夠包含一被形成在支撐結構356之中的孔洞。於某些施行方式中,相機開口374能夠包含一透明、有色、或是其它合宜的屏障,用以保護相機358的透鏡、感測器、或是其它元件,但是,仍然允許相機358經由相機開口374捕捉影像。於某些施行方式中,相機開口374能夠包含一快門,其能夠被打開用以允許相機358經由相機開口374捕捉影像。應該明白的係,於特定的施行方式中,例如,於相機358被設計成用以根據可見光頻譜以外的電磁輻射來捕捉影像的施行方式中,相機開口374的形式實際上可能並非一完整的開口用以讓光通過支撐結構356抵達相機358,取而代之的係,其可能為一凹腔的形式,用以穩固地收納相機358,以便讓相機358朝向校正表面364的標記366。於此施行方式中,相機358不需要相機358與標記366之間的直接「視線」便能夠經由支撐結構356的材料來捕捉一標記366的影像。
舉例來說,如圖9中所示,相機開口374能夠包含一內表面376,其大小能夠被設計成以可旋轉的方式配接相機358的一外表面378,以便讓相機358根據由相機358所捕捉的影像相對於相機開口374以可旋轉 的方式校準於一已校準位置。本文中所使用的「以可旋轉的方式配接」和雷同的用詞希望包含允許相對旋轉的耦合(舉例來說,藉由在配接的周圍表面之間提供一空氣間隙及/或經由該些配接的周圍表面之間的滑動接觸)。舉例來說,相機358的外表面378能夠由實質上圓柱形的鏡筒來定義,該鏡筒的外徑略小於相機開口374的圓柱形內表面376的直徑。其它雷同的配接關係亦能夠被提供。舉例來說,於某些施行方式中,相機358能夠藉由一承載組件以可旋轉的方式配接支撐結構356。於此施行方式中,舉例來說,相機358的外表面378會直接接觸整合於或被耦合至相機開口374的一內面。相機358與支撐結構356之間的可旋轉配接能夠為實質上沒有摩擦或者能夠包含所希望的磨擦量。
舉例來說,固定元件380能夠被用來在相機358的安裝期間於一已校準的位置中將相機358固定至支撐結構356。舉例來說,固定元件380能夠具有堅硬扣件的形式,例如,螺絲、螺栓、釘子、或是類似物;或者,能夠為另一類型的固定元件,例如,以磁鐵為基礎的固定組件、黏著劑、織物勾扣(fabric hook)、以及環狀扣件(loop fastener)、…等。舉例來說,於某些施行方式中,固定元件380能夠包含一或更多個螺絲(舉例來說,如圖10中所示),它們會旋入支撐結構356的對應孔洞之中。於某些施行方式中,支撐結構356的一孔洞會具有狹縫的形式,其可以讓一固定元件(舉例來說,螺帽或螺栓)被固定在該狹縫中對應於相機358的一已校準位置的位置處。
於某些施行方式中,不論相機358的校準為何,固定元件380皆被固定在支撐結構356的相同位置處。舉例來說,於某些施行方式中, 相機358的一元件(舉例來說,圖9中所示的鏡筒382)會旋轉以便校準相機358於該已校準的位置中,而和固定元件380介接的另一元件(舉例來說,相機358的外殼體)則不論相機358的校準為何皆保持在一不變的位置中。於某些施行方式中,支撐結構356能夠包含多個且不同的孔洞,以便讓相機358被固定在對應於支撐結構356的一不同孔洞的選定校準位置中。
如上面所述,相機358能夠經由支撐結構356的相機開口374被用來捕捉一含有標記366的影像。舉例來說,相機358能夠具有上面配合電腦系統100所述的一或更多個相機的形式,例如,相機154、164b、164c,以及使用在其它部分之中的相機,例如,使用在使用者介面感測器164d之中的任何相機。如上面所述,相機358能夠被設計成用以捕捉可見光頻譜裡面的電磁輻射的影像以及「不可見的」影像,例如,紅外線影像、x射線影像、聲納影像、熱影像、…等。於特定的些施行方式中,相機358能夠包含一電子感測器,用於偵測輻射或是其它可偵測的信號。相機358能夠包含一或更多個電氣介面384,其可以讓相機358被操作或者與電腦系統100的一處理器或是其它控制器(舉例來說,下面在圖11中所述與所示的電子控制單元及/或致動器單元)進行資料通信。
本文中雖然大體上引用單一相機358;不過,應該明白的係,於某些施行方式中,「相機」一詞亦能夠表示一能夠於單一或多個殼體裡面容納多個成像元件的相機單元。舉例來說,設備352能夠包含多個、分開容納的相機,並且「該相機」的功能能夠在系統100的多個不同區域中被施行於此些多個相機中。於其中一範例中,一第一影像能夠由一第一相機(舉例來說,彩色相機)來捕捉並且一第二影像能夠由一第二相機(舉例來說,紫 外線相機)來捕捉。於另一範例中,一第一相機能夠捕捉一第一標記366的影像並且一第二相機能夠捕捉一第二標記366的影像。
舉例來說,如圖9中所示,相機358能夠包含一具有一外表面378的部分,其大小被設計成以可旋轉的方式配接支撐結構356的一內表面376,以便讓相機358在安裝期間根據由相機358所捕捉的影像以可旋轉的方式校準於一已校準的位置。舉例來說,相機358的外表面378能夠由一成像鏡筒(舉例來說,鏡筒382)來定義,舉例來說,其能夠實質上為圓柱形。相機358的某些施行方式包含一非圓柱形的外表面378,並且舉例來說,其可以為方形、橢圓形、或是其它合宜的形狀。於特定的施行方式中,例如,於外表面378沒有旋轉性對稱的施行方式中,支撐結構356會包含一包含一內面的承載組件或是其它組件,該內面的形狀被設計成用以配接相機358的外表面378,同時允許相機358相對於支撐結構356旋轉。
圖11所示的係能夠被用來自動執行一或更多個步驟的系統386,以便根據由相機358所捕捉的影像來判斷相機358的失準並且根據該已捕捉的影像將相機358校準至一校準位置。系統386的說明引用設備352和系統100的特定元件,以達解釋的目的。又,本文中使用特定的元件符號來圖解設備352與系統386兩者,例如,用於支撐系統356、校正平板354、校正表面364、以及相機358的元件符號。然而,應該明白的係,系統386能夠包含相較於設備352或系統100為較少、額外、或是不同的元件。應該進一步明白的係,本文中所述的系統或設備(例如,系統100或設備352)的一或更多個結構性觀點或功能性觀點能夠被施行在系統386之中,反之亦可。舉例來說,系統386能夠包含和系統100的支撐結構110或設備352的 支撐結構356相同或是功能性相同的支撐結構。於另一範例中,系統386的校正平板354能夠包含一具有如上面針對設備352所述的影像校準參考標記366的校正表面364。
圖11中所示的系統386的施行方式能夠包含上面針對圖8所述的支撐結構356、相機358、以及校正平板354,以及一電子控制單元(Electronic Control Unit,ECU)388和一致動器單元390。為達解釋的目的,ECU 388和致動器單元390在圖中被描繪成分離的單元。然而,應該明白的係,此些單元能夠為單一單元。舉例來說,於某些施行方式中,ECU 388和致動器單元390會被容納在相同的殼體裡面並且共用共同的器件(舉例來說,共同的電源)。
於某些施行方式中,ECU 388和致動器單元390中的一或兩者會被連接至系統386,用以幫助安裝系統100的相機358或是其它元件(舉例來說,幫助校準投影器組件184)。於某些施行方式中,在一第一相機358被安裝之後,ECU 388和致動器單元390會被設計成用以和相機358中斷連接並且被連接至系統100的另一相機,從而允許ECU 388和致動器單元390校準單一系統100中的不同器件。同樣地,於某些施行方式中,在ECU 388和致動器單元390完成校準一第一系統100中的相機358之後,ECU 388和致動器單元390會被設計成用以和該第一系統中斷連接並且被連接至一第二系統,從而允許ECU 388和致動器單元390校準不同系統的器件。本文中所述的ECU 388的功能雖然主要和安裝期間的校準有關;不過,應該明白的係,本揭示內容希望可套用於允許在安裝之後(舉例來說,在系統100的整個操作壽命期間)進行器件校準的系統。舉例來說,於某些施行方式中, ECU 388和致動器單元390(或是其器件)能夠被容納於系統100的一殼體裡面,以便讓操作人員在系統100的操作壽命期間進行調整以達相機358或是其它器件的校準目的。於ECU 388和致動器單元390沒有被容納於系統100的一殼體裡面的施行方式中,舉例來說,此些單元能夠在安裝之後連接至系統100,以便讓操作人員在系統386的操作壽命期間進行調整以達相機358或是其它器件的校準目的。
圖11中所示的ECU 388的施行方式使用多個功能性模組來達到解釋的目的。如本文中的用法,「模組」一詞係指硬體(舉例來說,處理器,例如,積體電路或是其它電路系統)和軟體(舉例來說,機器或是處理器可執行的指令、命令、或是代碼,例如,韌體、程式、或是目的碼)的組合。硬體和軟體的組合能夠包含:僅有硬體(也就是,一沒有軟體元件的硬體元件)、寄存在硬體處的軟體(也就是,儲存在一記憶體處並且在一處理器處被執行或轉譯的軟體)、或是硬體和寄存在硬體處的軟體。除此之外,如本文中的用法,除非內文中清楚地表示,否則,「一」以及「該」等單數形式亦包含複數個參照物。因此,舉例來說,「模組」一詞希望具有一或更多個模組或是多個模組的組合的意義。
系統386的一或更多個模組能夠包含一處理器。舉例來說,此處理器能夠具有下面的形式:中央處理單元(Central Processing Unit,CPU);以半導體為基礎的微處理器;數位信號處理器(Digital Signal Processor,DSP),例如,數位影像處理單元;適合擷取與執行已儲存指令的其它硬體裝置或處理元件;或是它們的組合。舉例來說,該處理器能夠包含一晶片上的單一或多個核心、多個晶片上的多個核心、多個裝置中的多 個核心、或是它們的組合。該處理器的功能能夠抽取、解碼、以及執行如本文中所述的指令。取代抽取及執行指令,或者,除了抽取及執行指令之外,該處理器還可以包含至少一積體電路(Integrated Circuit,IC)、其它控制邏輯、其它電子電路、或是它們的組合,其包含數個電子器件用以實施被儲存在一記憶體中指令的功能。該處理器可以被施行在多個處理單元中並且指令可以由本文中所述的系統(舉例來說,系統100或386)的不同區域中的不同處理單元來施行。
系統386的一或更多個模組能夠包含一非暫時性電腦記憶體。舉例來說,此記憶體能夠具有非暫時性機器可讀取儲存媒體的形式,例如,合宜的電子式、磁性、光學式、或是其它實體儲存設備,以便含有或是儲存諸如可執行指令、資料、以及類似物的資訊。如本文中的用法,「機器可讀取儲存媒體」可以包含隨機存取記憶體(Random Access Memory,RAM)、快閃記憶體、儲存機(舉例來說,硬碟)、任何類型的儲存碟(舉例來說,小型碟片唯讀記憶體(Compact Disc Read Only Memory,CD-ROM)、任何其它類型的小型碟片、DVD、…等)、以及類似物、或是它們的組合。於某些施行方式中,該記憶體能夠包含:一主記憶體,例如,隨機存取記憶體(RAM),其中,軟體可以在運轉時間期間駐存於該主記憶體;以及一輔助記憶體。舉例來說,該輔助記憶體能夠包含一非揮發性記憶體,其中,一軟體備份會被儲存於該處。
圖11中所示的ECU 388的施行方式包含一資料儲存模組392、一控制模組394、一顯示模組396、以及一I/O模組398。此些模組會在下面詳細說明。應該明白的係,額外的模組、替代的模組、或是較少的 模組亦可能被併入,用以達到本文中所述的功能或是操作人員所希望的其它功能。
資料儲存模組392為ECU 388的一功能性模組,其包含硬體與軟體的組合,舉例來說,其能夠讓ECU 388儲存用於校準相機358的資料。於某些施行方式中,資料儲存模組392包含硬碟機形式的硬體、相關的韌體、以及用以讓該硬碟機在操作上和本文中所述的系統(舉例來說,系統100或386)的其它硬體進行通信的其它軟體。資料儲存模組392能夠進一步包含用於操作ECU 388的資訊,例如,校準範本、長條統計圖資料、公差數值、或是用於辨識相機358之失準或校準的其它資料。
控制模組394為系統386的一功能性模組,其包含硬體與軟體的組合,用以讓計算系統386操作與控制相機358。下面會提供控制模組394的此操作與控制功能的數個範例。應該進一步明白的係,控制模組394亦能夠實施對應於下面針對圖11所述之一或更多個步驟的功能。於特定的施行方式中,由ECU 388所實施的操作能夠由一操作人員來實施。舉例來說,如下面所述之判斷相機358的所希望的校準以及如下面所述之校準相機358的功能能夠於某些施行方式中由一控制模組394來實施,並且於其它施行方式中由一操作人員來實施。
控制模組394能夠被施行用以指示相機358捕捉一含有一校準標記(舉例來說,標記366)的影像。舉例來說,資料儲存模組392能夠含有可由控制模組394執行的指令,俾使得系統386可操作用以指示相機358捕捉一含有一校準標記(舉例來說,標記366)的影像。舉例來說,相機358能夠被指示用以拍攝包含標記366的校正表面364或是校正表面364的至少 相關部分的靜態影像或視訊。
舉例來說,指令能夠透過經由有線或無線資料途徑(舉例來說,經由線路400)所傳送的信號被提供至相機358,該有線或無線資料途徑將相機358連接至致動器單元390或ECU 388。應該明白的係,於某些施行方式中,ECU 388能夠以無線方式指示相機358透過一被連接至相機358的無線接收器來捕捉影像。於某些施行方式中,控制模組394藉由提供指令給致動器單元390或是另一致動器來實體致動相機358上的一捕捉按鈕而指示相機358捕捉影像。舉例來說,控制模組394能夠致動一遠端快門釋放開關,其會致動相機358上的一快門按鈕。
控制模組394能夠被施行用以從相機358處接收已捕捉的影像資料。舉例來說,資料儲存模組392能夠含有可由控制模組394執行的指令,俾使得系統386可操作用以從相機358處接收已捕捉的影像資料。舉例來說,該影像資料能夠透過經由有線或無線資料途徑(舉例來說,經由線路400)所傳送的信號從相機358處被提供至控制模組394,該有線或無線資料途徑將相機358連接至致動器單元390或ECU 388。
控制模組394能夠被施行成用以根據已接收的影像資料以標記366為基準來判斷相機358的失準。舉例來說,資料儲存模組392能夠含有可由控制模組394執行的指令,俾使得系統386可操作用以根據已接收的影像資料以標記366為基準來判斷相機358的失準。
如上面所述,相機358能夠拍攝包含標記366的校正表面364或是校正表面364的至少相關部分的靜態影像或視訊。該影像/視訊的長條統計圖可以提供感興趣的區域,並且於某些施行方式中,能夠大體上提 供校正表面364的顏色和標記366的顏色之間的顏色強度差異表示符(舉例來說,其能夠具有下面的形式:校正表面364上的標記、校正平板354的邊緣、或者其它合宜的標記指示符)。於某些施行方式中可以對該些感興趣的區域實施長條統計圖等化,以便取得用於一標記偵測演算法(舉例來說,坎尼邊緣偵測(Canny edge detection))的高臨界值與低臨界值。舉例來說,當針對校準而執行一演算法用以偵測校正平板354的邊緣時,表示校正平板354之周圍的邊緣點可以被取出(舉例來說,校正平板354的全部四個側邊的邊緣點)。
可以使用直線擬合演算法來決定四條擬合直線,其可以代表校正平板354或是其一部分的周圍。該四條擬合直線中的兩條直線的交點可被用來計算校正平板354的外側角邊。當相機358捕捉校正表面364的一靜態影像時,該些標記(舉例來說,標記366)中的一或更多個標記可以被決定,即使該些標記中的一或更多個標記被該靜態影像中的一物體(舉例來說,靜置在校正表面364上的物體)阻擋亦可被決定。舉例來說,這能夠藉由分析校正表面364中能夠表示相機358之失準或校準的其它部分來完成。
當利用相機358來捕捉校正表面364的影像時,相機358亦可以捕捉校正表面364的背景或周遭的物體。此些背景物體可能影響標記366的顏色強度之間的差異。舉例來說,一背景物體可能在一部分的校正平板354中混淆。於某些施行方式中,校正平板354可能包含一IR吸收塗料,其充當一用於讓感測器束164中的一感測器(舉例來說,IR相機或深度感測器164c)偵測的影像校準參考標記366。該IR吸收塗料可以由該IR相機確實地偵測。因此,由該IR相機所偵測的校正平板354可能不同於在該IR相 機下的其它物體(舉例來說,來自校正表面364的背景或周遭的物體)。
本文中雖然針對校正表面364的其它區域的不同標記366使用不同的顏色;但是,應該明白的係,取而代之的係,可以使用不同的材料或其它態樣達到差異化的目的。舉例來說,校正平板354的一邊界可以塗佈一IR吸收材料,用於讓感測器束164中的一感測器(舉例來說,IR相機)偵測。
控制模組394能夠被建立成用以指示致動器單元390將相機358校準至根據已接收的影像資料所決定的第一已校準位置。舉例來說,資料儲存模組392能夠含有可由控制模組394執行的指令,俾使得系統386可操作用以將相機358校準至根據已接收的影像資料所決定的第一已校準位置。本文中引用校準或旋轉相機358的用意在於表示校準或旋轉相機358的一或更多個部分,俾使得由相機358所捕捉的影像會被旋轉。舉例來說,於某些施行方式中,相機358的整個外殼體會被校準或旋轉;而於其它施行方式中,相機358的一部分(例如,鏡筒382)會相對於相機358的其它元件被校準或旋轉,以便旋轉由相機358所捕捉的影像。
相機358能夠沿著旋轉軸370(舉例來說,圖8中所示)以旋轉方式被校準,舉例來說,其能夠對應於相機358的一成像軸。為達解釋的目的,圖12與13提供處於初始失準位置中的校正平板354的已捕捉影像404的範例對照於處於已校準位置中的校正平板354的已捕捉影像406。於相機358沿著一個以上旋轉軸被校準的施行方式中,舉例來說,相機358能夠在沿著第一旋轉軸被校準並且接著沿著第二旋轉軸被校準。
舉例來說,致動指令能夠透過經由有線或無線介面(舉例來 說,經由電氣線路402)所傳送的信號從ECU 388處被提供至致動器單元390,該有線或無線介面將致動器單元390連接至ECU 388。於某些施行方式中,ECU 388能夠藉由提供控制信號給致動器單元390並且提供一用於驅動致動器單元390的推動力來指示致動器單元390。舉例來說,當致動器單元390為一電機式致動器時,ECU 388能夠經由線路402提供一電壓差來驅動該致動器的馬達。於某些施行方式中,致動器單元390會提供其自己由來自ECU 388的控制信號所觸發的推動力。舉例來說,致動器單元390能夠由一分離的電源來供電,用以驅動一電機式致動器的電馬達。
控制模組394能夠被施行成重複進行上面所述的一或更多項功能或是其它功能。舉例來說,控制模組394能夠指示相機358:捕捉一第二影像;接收該第二影像的影像資料;以及如果由控制模組394或操作人員所決定的第一校準位置令人無法滿意的話,決定一第二校準位置。於此些情況中,控制模組394接著能夠第二次指示致動器單元390,以便將相機358校準於第二已校準位置中。於某些施行方式中,控制模組394接著能夠捕捉一第三影像,用以判斷該校準是否令人滿意。舉例來說,資料儲存模組392能夠含有可由控制模組394執行的指令,俾使得系統386可操作用以將相機358校準至根據已接收的影像資料所決定的第一已校準位置。舉例來說,於某些施行方式中,資料儲存模組392能夠含有可由控制模組394執行的指令,俾使得系統386可操作用以實施此重複性功能。
控制模組394能夠被施行成用以在相機358的安裝期間與之後於一已校準的位置中將相機358固定至支撐結構356。舉例來說,資料儲存模組392能夠含有可由控制模組394執行的指令,俾使得系統386可操作 用以在相機358的安裝期間與之後於該已校準的位置中將相機358固定至支撐結構356。於某些施行方式中,在固定相機358之前,控制模組394可以執行最終檢查,用以判斷相機358的校準是否令人滿意。
控制模組394能夠利用一固定元件(舉例來說,上面配合設備352所述的固定元件380)將相機358固定至支撐結構356。舉例來說,於某些施行方式中,該固定元件能夠包含一或更多個螺絲,它們會利用一自動控制的螺絲起子而被旋入支撐結構356的對應孔洞之中。
顯示模組396為系統386的一功能性模組,其包含硬體與軟體的組合,用以讓計算系統386顯示和ECU 388之操作有關的回授。於某些施行方式中,ECU 388並不包含顯示模組396。舉例來說,顯示模組396能夠包含電腦螢幕形式的硬體、相關的韌體、以及用以讓該電腦螢幕在操作上和系統386的其它硬體進行通信的其它軟體。應該明白的係,於某些施行方式中,顯示模組396能夠包含具有顯示埠及/或視訊卡形式的硬體。
舉例來說,I/O模組398能夠被用來操作ECU 388或是系統386的一或更多個其它元件。舉例來說,I/O模組398能夠額外或者替代包含鍵盤、滑鼠、觸控筆、觸控螢幕、揚聲器、螢幕、…等,以便和系統100或386的器件進行通信。於某些施行方式中,ECU 388並不包含I/O模組、器件硬體、或是相關的控制。舉例來說,ECU 388可以由和ECU 388進行資料通信的分離的電腦系統來遠端操作。於另一範例中,ECU 388可以僅包含最少輸入控制,例如,單一個START按鈕,其能夠被致動用以利用系統386自動實施校準過程。
如上面所述,舉例來說,致動器單元390能夠被用來以支撐 結構356為基準校準相機358。致動器單元390能夠包含用於達成此的目的的任何合宜類型的致動器,例如,特定的電機式致動器、液壓式致動器、氣動式致動器、壓電式致動器、及/或磁式致動器。舉例來說,於某些施行方式中,致動器單元390包含一馬達由ECU 388控制的電機式致動器。於某些施行方式中,致動器單元包含一臂部416或是其它元件,其被設計成用以穩固地旋轉相機358。
圖14所示的係依照一範例根據由包含參考標記的相機所捕捉之影像來校準相機的方法408的流程圖。方法408的說明雖然參考本文中所述的設備與系統的元件以達解釋的目的;然而,應該明白的係,此方法亦能夠用於任何合宜的設備與系統。又,圖14的流程圖雖然顯示特定的實施順序;不過,此順序亦可以重新排列成另一合宜順序,可以同時或是部分同時被執行,或是前述的組合。同樣地,合宜的額外及/或相當的步驟亦可以被加入方法408,用以達到相同或相當的功能。
方法408包含步驟410,用以將相機358固定至支撐結構356,俾使得相機358以相機開口374為基準被定位,以便讓相機358經由相機開口374捕捉含有影像校準參考標記366的影像。相機358能夠被固定至支撐結構356,以便使其繞著支撐結構356旋轉。舉例來說,於某些施行方式中,相機358能夠被固定至支撐結構356,俾使得相機358的外表面378以可旋轉的方式配接相機開口374的內表面376,以便讓相機358以相機開口374為基準以可旋轉的方式被校準。如上面配合設備352所述,相機358能夠利用一固定元件(舉例來說,固定元件380)被固定至支撐結構356,舉例來說,固定元件380能夠具有堅硬扣件的形式,例如,螺絲、螺栓、釘 子、或是類似物;或者,能夠為另一類型的固定元件,例如,以磁鐵為基礎的固定組件、黏著劑、織物勾扣、以及環狀扣件、…等。於某些施行方式中,相機358能夠於下面所述的校準步驟之前先暫時被固定至支撐結構356並且接著在校準之後進一步被固定或是重新被固定。舉例來說,步驟410能夠由操作人員來實施、自動輔助實施、或是由自動操作員自動實施。舉例來說,操作人員能夠藉由旋入螺絲通過相機358的一部分而將相機358固定至支撐結構356。
方法408包含步驟412,用以利用相機358捕捉標記366的影像。舉例來說,一影像能夠藉由實體致動相機358上的一捕捉按鈕而被捕捉。應該明白的係,本文中所使用的「影像」一詞或是雷同用詞希望包含單一靜態影像以及一組靜態影像,舉例來說,其能夠以即時(real time)視訊或縮時(time-lapse)視訊的形式來提供。
於某些施行方式中,一影像能夠藉由透過一電氣控制信號指示相機358捕捉影像而被捕捉。舉例來說,步驟412能夠由操作人員來實施、自動輔助實施、或是由自動操作員自動實施。舉例來說,如上面配合ECU 388所述,步驟412能夠利用一ECU 388來實施,其提供一控制信號給相機358,用以捕捉影像。如本文中的用法,相機358能夠利用電子感測器來記錄影像;然而,於特定的施行方式中,相機358亦能夠利用照相底片或是其它非電子媒體來記錄影像。於某些施行方式中,關於此非電子式記錄影像的資訊能夠被數位話或者轉換成電子格式,以供後面的處理步驟使用。
方法408包含步驟414,用以根據標記366的已捕捉影像將相機358校準至一已校準位置。舉例來說,步驟414能夠由操作人員來實施、 自動輔助實施、或是由自動操作員自動實施。舉例來說,於某些施行方式中,操作人員能夠觀視標記366的該已捕捉影像,根據該已捕捉影像決定相機358的正確校準,以及手動旋轉相機358至一已校準位置。於某些施行方式中,相機358能夠提供標記366的已捕捉影像的更新回授,俾使得操作人員能夠即時看見校準相機358的效果。
於步驟414或步驟414的特定要件以電子方式實施的施行方式中,如上面配合ECU 388所述,舉例來說,一控制器能夠被用來觀視標記366的已捕捉影像,根據該已捕捉影像決定相機358的正確校準,以及旋轉相機358至一已校準位置。
於某些施行方式中,方法408會包含固定相機358於該已校準位置之中的步驟。相機358能夠利用一固定元件被固定,其具有堅硬扣件的形式,例如,螺絲、螺栓、釘子、或是類似物;或者,為另一類型的固定元件,例如,以磁鐵為基礎的固定組件、黏著劑、織物勾扣、以及環狀扣件、…等。舉例來說,此步驟能夠由操作人員來實施、自動輔助實施、或是由自動操作員自動實施。舉例來說,操作人員能夠藉由旋入螺絲通過相機358的一部分並且進入支撐結構356之中而將相機358固定至支撐結構356。
如果在第一次重複作業之後該影像仍然失準或者於必要時(舉例來說,以便確定相機358的校準),方法408的一或更多個步驟能夠被重複執行。舉例來說,於某些施行方式中,方法408能夠包含下面步驟:於相機358處在該已校準位置中時捕捉標記366的第二影像,根據標記366的該第二已捕捉影像將相機358校準至一第二已校準位置,以及將相機358 固定至該第二已校準位置之中。
應該明白的係,本文中所述的ECU 388的功能以及方法408的步驟能夠套用在本文中所述的設備與系統的壽命期間的任何所希望的時間處。舉例來說,於某些施行方式中,其會在相機358已經被安裝之後判斷(經由操作人員或是電子式控制器)相機358或是系統386的另一元件為失準。舉例來說,倘若相機358在安裝期間沒有被正確校準的話,或者倘若相機358在使用期間遭到碰撞而沒有校準的話,或者倘若在安裝之後所希望的校準位置已經改變的話,此情形便會發生。於此些情況中,舉例來說,本文中所述的一或更多個步驟能夠在安裝之後被實施,以便校準相機358。
上面雖然已經顯示及說明特定的施行方式;不過,仍可對其進行各種形式與細節的改變。舉例來說,本文中配合其中一種施行方式及/或處理所述的某些特點亦能夠和其它施行方式有關。換言之,本文中配合其中一種施行方式所述的處理、特點、器件、及/或特性亦能夠使用於其它施行方式中。於另一範例中,上面配合特定模組或元件所討論的功能亦能夠在其它施行方式中被併入於不同的模組、引擎、或是元件處。再者,應該瞭解的係,本文中所述的系統、設備、以及方法亦能夠包含已述不同施行方式的器件及/或特點的各種組合及/或子組合。因此,本文中參考一或更多個施行方式所述的特點能夠結合本文中所述的其它施行方式。
如本文中的用法,「提供」一詞包含推移機制(舉例來說,和要求資料無關的發送資料),抽取機制(舉例來說,響應於要求資料的傳遞資料),以及儲存機制(舉例來說,將資料儲存在該資料能夠被存取的媒介物處)。再者,如本文中的用法,「根據」一詞的意義為「至少部分根據」。因 此,根據特定理由所述的特點可能僅根據該理由,或者根據該理由並且根據一或更多個其它理由。又,本文中所使用的「項目組」一詞以及相關的用詞希望表示一組一或更多個項目。
上面的討論希望解釋本發明的原理以及各種施行方式。熟習本技術的人士完全明白上面的揭示內容便會清楚各種變化與修正。本發明希望下面的申請專利範圍被理解為涵蓋所有此些變化與修正。
15‧‧‧支撐表面
100‧‧‧電腦系統
110‧‧‧支撐結構
120‧‧‧基底
120a‧‧‧第一端或正面端
140‧‧‧直立部件
140a‧‧‧第一端或上方端
140c‧‧‧第一側或正面側
150‧‧‧計算裝置
150a‧‧‧第一側或頂端側
150b‧‧‧第二側或底部側
150c‧‧‧正面側
150d‧‧‧背面側
152‧‧‧顯示器
154‧‧‧相機
155‧‧‧中央軸或中央線
160‧‧‧頂端
160a‧‧‧第一端或近端
160b‧‧‧第二端或遠端
200‧‧‧觸敏式觸墊
200a‧‧‧第一側或正面側
200b‧‧‧第二側或背面側
202‧‧‧觸敏式表面
205‧‧‧中央軸或中央線

Claims (15)

  1. 一種用於校準相機的設備,其包括:一校正表面,其包含一影像校準參考標記;以及一支撐結構,用以支撐一相機以面向該校正表面,其中,該支撐結構包含一相機開口,用以讓該相機由該相機開口捕捉含有該標記的影像,該相機開口包含一內表面,其大小被設計成以可旋轉的方式配接該相機的一外表面,以便讓該相機根據該已捕捉的影像以可旋轉的方式校準於一已校準位置,以及其中,該支撐結構包含一固定元件,用以讓該相機在該相機的安裝期間在該已校準位置中被固定至該支撐結構。
  2. 根據申請專利範圍第1項的設備,其中,該校正表面包含四個影像校準參考標記,其對應於由位於該已校準位置中的相機所捕捉的影像的四個角邊。
  3. 根據申請專利範圍第1項的設備,其中,該支撐結構包含一用於該相機的蓋板,其會在該相機被安裝之後防止相機的校準結果受到破壞。
  4. 根據申請專利範圍第1項的設備,其中,該相機開口的內表面大小被設計成以可旋轉的方式配接該相機的一外表面,以便讓該相機沿著該相機的一成像透鏡軸以可旋轉的方式校準。
  5. 根據申請專利範圍第1項的設備,其中,該相機開口的該內表面為圓柱形並且大小被設計成以可旋轉和固定的方式配接該相機的圓柱形鏡筒。
  6. 根據申請專利範圍第1項的設備,其中,該支撐結構可固定至該校正表面,用以在相對於該標記的預設位置處支撐該相機於該校正表面上方。
  7. 根據申請專利範圍第1項的設備,其進一步包括:一校正平板,其可固定至該支撐結構,該校正表面位於該校正平板上。
  8. 根據申請專利範圍第1項的設備,其進一步包括:一相機,用以經由該相機開口來捕捉一含有該標記的影像。
  9. 一種用於校準相機的系統,其包括:一相機支撐結構,其尺寸被設計成用以支撐一相機以面向一影像校準參考標記;一致動器,其可連接至該相機,以便沿著該相機的一成像軸來調整該相機的旋轉校準;一控制模組,其可連接至該相機,以便與該相機進行通信;以及一資料儲存模組,其含有可由該處理器執行的指令,俾使得該系統可操作用以:指示該相機捕捉含有該標記的影像;從該相機處接收對應於該已捕捉影像的影像資料;以及致動該致動器,用以根據該已接收的資料調整該相機的旋轉校準至一已校準位置。
  10. 根據申請專利範圍第9項的系統,其進一步包括:一相機,其可在該已校準位置中被固定至該支撐結構。
  11. 根據申請專利範圍第9項的系統,其中,該資料儲存模組含有可由該控制模組執行的指令,俾使得該系統可進一步操作用以:指示該相機捕捉含有位在該已校準位置中的標記的第二影像;從該相機處接收對應於該第二已捕捉影像的影像資料;以及 致動該致動器,用以根據該標記的該第二已捕捉影像調整該相機的旋轉校準至一第二已校準位置。
  12. 一種用於校準相機的方法,其包括:固定一相機至一支撐結構,俾使得該相機以該支撐結構中的一相機開口為基準被定位,以便讓該相機面向一影像校準參考標記,該相機被固定至該支撐結構俾使得該相機的一外表面以可旋轉的方式配接該相機開口的一內表面,用以讓該相機以該相機開口為基準以可旋轉的方式被校準;利用該相機捕捉該標記的影像;以及根據該標記的該已捕捉影像將該相機校準至一已校準位置。
  13. 根據申請專利範圍第12項的方法,其進一步包括:固定該相機至該已校準位置之中。
  14. 根據申請專利範圍第12項的方法,其進一步包括:當該相機處於該已校準位置之中時捕捉該標記的第二影像;以及根據該標記的該第二已捕捉影像校準該相機至一第二已校準位置。
  15. 根據申請專利範圍第12項的方法,其進一步包括:固定該支撐結構至一校正表面,該校正表面包含該影像校準參考標記,該支撐結構被固定至該校正表面俾使得該支撐結構的一相機開口被定位在相對於該校正表面的一預設位置處。
TW104123902A 2014-07-31 2015-07-23 根據由包含參考標記的相機所捕捉之影像的相機校準 TWI572205B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/048994 WO2016018327A1 (en) 2014-07-31 2014-07-31 Camera alignment based on an image captured by the camera that contains a reference marker

Publications (2)

Publication Number Publication Date
TW201611603A TW201611603A (zh) 2016-03-16
TWI572205B true TWI572205B (zh) 2017-02-21

Family

ID=55218044

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104123902A TWI572205B (zh) 2014-07-31 2015-07-23 根據由包含參考標記的相機所捕捉之影像的相機校準

Country Status (3)

Country Link
US (1) US10623649B2 (zh)
TW (1) TWI572205B (zh)
WO (1) WO2016018327A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168833B2 (en) * 2014-09-03 2019-01-01 Hewlett-Packard Development Company, L.P. Presentation of a digital image of an object
JP6550849B2 (ja) * 2015-03-30 2019-07-31 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
US11006034B2 (en) 2016-09-02 2021-05-11 Gopro, Inc. Continuous slanted edge focus measurements system
DE102017102013A1 (de) * 2017-02-02 2018-08-02 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Haftmatte und Verwendung einer Haftmatte für die bildgebende Bestimmung einer Verteilung von landwirtschaftlichem Streugut
JP6822209B2 (ja) * 2017-02-24 2021-01-27 セイコーエプソン株式会社 プロジェクターおよびプロジェクターの制御方法
CN107492126B (zh) * 2017-08-03 2019-11-05 厦门云感科技有限公司 摄像头中心轴的校准方法、装置、系统、介质及设备
US10354403B2 (en) * 2017-08-31 2019-07-16 Albert Mo Device for capturing images of eyewear from a forced perspective
TWI677751B (zh) * 2017-12-26 2019-11-21 技嘉科技股份有限公司 攝像裝置與運作攝像裝置的方法
WO2019246471A1 (en) * 2018-06-20 2019-12-26 Centric Software, Inc. Guide-assisted capture of material data
US20200143567A1 (en) * 2018-11-07 2020-05-07 Tangible Play, Inc. Protective Cover Device
DE102019201526A1 (de) * 2019-02-06 2020-08-06 Ford Global Technologies, Llc Verfahren und System zum Erfassen und Messen der Position eines Bauteils gegenüber einer Referenzposition sowie der Verschiebung und der Verdrehung eines sich relativ zu einem Bezugssystem bewegenden Bauteils
EP3702108A1 (de) * 2019-02-27 2020-09-02 GILDEMEISTER Drehmaschinen GmbH Verfahren zum ermitteln einer greifposition zum ergreifen eines werkstücks
US11635326B2 (en) * 2019-04-02 2023-04-25 Waymo Llc Stray-light testing station
US10791324B1 (en) 2019-04-17 2020-09-29 Waymo Llc On-car stray-light testing cart
JP7243527B2 (ja) * 2019-08-27 2023-03-22 セイコーエプソン株式会社 制御方法、検出装置および表示装置
CN114205483B (zh) * 2022-02-17 2022-07-29 杭州思看科技有限公司 扫描仪精度校准方法、装置和计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080316368A1 (en) * 2005-12-09 2008-12-25 Kuka Roboter Gmbh Method and Device For Moving a Camera Disposed on a Pan/Tilt Head Long a Given Trajectory
TW200905610A (en) * 2007-05-22 2009-02-01 Microsoft Corp Camera calibration
TW200933287A (en) * 2008-01-21 2009-08-01 Texmag Gmbh Vertriebsges Calibration element for calibrating the magnification ratio of a camera, and a calibration method
TW201214335A (en) * 2010-03-26 2012-04-01 Alcatel Lucent Method and arrangement for multi-camera calibration
US20120293692A1 (en) * 2011-05-20 2012-11-22 Kenji Namie Apparatus, method, and system of image processing, and recording medium storing image processing control program
TW201324025A (zh) * 2011-06-08 2013-06-16 Apple Inc 基於光的光譜監控之相機測試及校準

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5482048A (en) * 1993-06-30 1996-01-09 University Of Pittsburgh System and method for measuring and quantitating facial movements
JP3706071B2 (ja) 2002-01-15 2005-10-12 株式会社エルモ社 撮像装置
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7223626B2 (en) 2004-08-19 2007-05-29 Micron Technology, Inc. Spacers for packaged microelectronic imagers and methods of making and using spacers for wafer-level packaging of imagers
US7429494B2 (en) 2004-08-24 2008-09-30 Micron Technology, Inc. Microelectronic imagers with optical devices having integral reference features and methods for manufacturing such microelectronic imagers
US20070115361A1 (en) * 2005-06-24 2007-05-24 Fakespace Labs, Inc. Dual camera calibration technique for video projection systems
US8777418B2 (en) * 2006-01-26 2014-07-15 Christie Digital Systems Usa, Inc. Calibration of a super-resolution display
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8022990B2 (en) * 2006-08-18 2011-09-20 General Electric Company Systems and methods for on-line marker-less camera calibration using a position tracking system
KR100820459B1 (ko) 2006-12-01 2008-04-08 현대자동차주식회사 차량용 사이드미러 내장 카메라의 위치 보정 장치 및 방법
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
TWI354198B (en) * 2008-04-18 2011-12-11 Primax Electronics Ltd Notebook computer and method of capturing document
US8675077B2 (en) * 2008-07-23 2014-03-18 Flir Systems, Inc. Alignment metrology and resolution measurement system for imaging arrays
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US8223193B2 (en) * 2009-03-31 2012-07-17 Intuitive Surgical Operations, Inc. Targets, fixtures, and workflows for calibrating an endoscopic camera
KR101629012B1 (ko) 2009-12-07 2016-06-10 엘지이노텍 주식회사 블랙박스용 카메라의 설치 위치 조정 장치 및 설치 위치 조정 방법
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
EP2469467A1 (en) * 2010-12-23 2012-06-27 Alcatel Lucent An integrated method for camera planning and positioning
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US8842057B2 (en) 2011-09-27 2014-09-23 Z124 Detail on triggers: transitional states
US9875542B2 (en) * 2012-01-23 2018-01-23 Nec Corporation Camera calibration device, camera calibration method, and camera calibration program
US9622021B2 (en) * 2014-07-06 2017-04-11 Dynamount, Llc Systems and methods for a robotic mount
US9283672B1 (en) * 2014-12-11 2016-03-15 Apkudo, Llc Robotic testing device and method for more closely emulating human movements during robotic testing of mobile devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080316368A1 (en) * 2005-12-09 2008-12-25 Kuka Roboter Gmbh Method and Device For Moving a Camera Disposed on a Pan/Tilt Head Long a Given Trajectory
TW200905610A (en) * 2007-05-22 2009-02-01 Microsoft Corp Camera calibration
TW200933287A (en) * 2008-01-21 2009-08-01 Texmag Gmbh Vertriebsges Calibration element for calibrating the magnification ratio of a camera, and a calibration method
TW201214335A (en) * 2010-03-26 2012-04-01 Alcatel Lucent Method and arrangement for multi-camera calibration
US20120293692A1 (en) * 2011-05-20 2012-11-22 Kenji Namie Apparatus, method, and system of image processing, and recording medium storing image processing control program
TW201324025A (zh) * 2011-06-08 2013-06-16 Apple Inc 基於光的光譜監控之相機測試及校準

Also Published As

Publication number Publication date
TW201611603A (zh) 2016-03-16
US10623649B2 (en) 2020-04-14
US20170223279A1 (en) 2017-08-03
WO2016018327A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
TWI572205B (zh) 根據由包含參考標記的相機所捕捉之影像的相機校準
US10268318B2 (en) Touch sensitive mat of a system with a projector unit
US10127732B1 (en) Stereo-based calibration apparatus
TW201533612A (zh) 感測器與投射器之校準技術
US9264625B2 (en) Image capturing apparatus with management and correction of inclinations
JP4169026B2 (ja) 測距装置及び測距方法
TWI575406B (zh) 用以產生顯示區之角落的方法、相關電腦系統及機器可讀儲存媒體
KR101832042B1 (ko) 프로젝터 유닛 및 컴퓨터를 가진 시스템
TWI510052B (zh) 掃描裝置
EP3537380B1 (en) Coordinate calibration between two-dimensional coordinate system and three-dimensional coordinate system
WO2007031248A8 (en) Surveying instrument and method of providing survey data using a surveying instrument
TWI545463B (zh) 投影系統及管理投影系統之方法
US10126880B2 (en) Projective computing system
JP5019478B2 (ja) マーカ自動登録方法及びシステム
TW526325B (en) Shape measurement device
EP3486815A1 (en) Model data of an object disposed on a movable surface
JP2008116384A (ja) 撮像システム、および立体画像撮像方法
US10331275B2 (en) Process image according to mat characteristic
JP2010230925A (ja) 投影システム、投影方法、投影プログラム及び投影ベクトル演算装置
US10664100B2 (en) Misalignment detection
JP2001024916A (ja) 監視用カメラ装置およびその監視領域設定方法
JP2009139606A (ja) デジタルカメラ
JP2016110535A (ja) 位置検出装置、画像投写装置及び画像操作システム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees