TWI379224B - Optical positing apparatus and positing method thereof - Google Patents
Optical positing apparatus and positing method thereof Download PDFInfo
- Publication number
- TWI379224B TWI379224B TW098122157A TW98122157A TWI379224B TW I379224 B TWI379224 B TW I379224B TW 098122157 A TW098122157 A TW 098122157A TW 98122157 A TW98122157 A TW 98122157A TW I379224 B TWI379224 B TW I379224B
- Authority
- TW
- Taiwan
- Prior art keywords
- optical sensing
- sensing unit
- coordinate
- axial direction
- optical
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 title claims description 228
- 238000000034 method Methods 0.000 title claims description 15
- 238000012360 testing method Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 8
- 230000000295 complement effect Effects 0.000 claims description 2
- 241000251468 Actinopterygii Species 0.000 claims 1
- 241000581364 Clinitrachus argentatus Species 0.000 claims 1
- 239000004065 semiconductor Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 210000000941 bile Anatomy 0.000 description 1
- 210000003298 dental enamel Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/30—Interpretation of pictures by triangulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
- G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/7803—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/783—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems
- G01S3/784—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems using a mosaic of detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Power Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
1379224 101年.10月11日修正替換頁 六、發明說明: 【發明所屬之技術領域】 [0001] 本發明涉及一種定位裝置,尤其涉及一種光學定位 裝置及其定位方法。 【先前技術】 [0002] 按,電視遊戲及電腦遊戲已是現今常見的休閒娛樂 方式,以一般的電腦遊戲為例,大多是在電腦裝置的主 機中安裝遊戲軟體,透過電腦週邊的滑鼠、鍵盤、搖桿 及控制把手等介面對電腦遊戲進行控制,然後經由顯示 螢幕及喇。八等輸出裝置將遊戲進行過程及遊戲進行資訊 顯示給遊戲玩家。 由於互動式遊戲的崛起,現今各大遊戲廠商的產品 已經漸漸朝向互動式遊戲發展。因此,與互動式遊戲習 習相關的物品定位裝置已經成為各大電子公司爭相投入 發展的產品。如何製造出使用容易的定位裝置乃目前的 目標。 【發明内容】 [0003] 本發明的主要目的係針對上述習知技術存在之缺陷 提供一種使用容易的光學定位裝置。 為實現上述目的,本發明提供一種光學定位裝置, 包括主機與校正裝置,用以定位一待測裝置於空間中的 第一抽向、第二轴向與第三抽向的座標 > 第一轴向、第 二轴向與第三轴向彼此互相垂直。 主機設有至少第一光學感應單元、第二光學感應單 元及處理單元,處理單元分別電性連接第一光學感應單 09812215#單编號 A〇101 第4頁/共28頁 1013389615-0 1379224 101年.10月11日按正替换頁 元與第二光學感應單元,第一光學感應單元於第一軸向 的座標與第二光學感應單元於第一軸向的座標彼此間隔 一第一距離,第一距離之中間點設定為第一軸向、第二 軸向與第三軸向之原點。待測裝置設置於該第一光學感 應單元與第二光學感應單元的感應範圍内。 校正裝置設置於該第一光學感應單元與第二光學感 應單元的感應範圍内,校正裝置於第二轴向的座標分別 與第一光學感應單元於第二轴向的座標和第二光學感應 單元於第二軸向的座標間隔第二距離,第一光學感應單 元與第二光學感應單元分別感應校正裝置後,產生一第 一圖像,處理單元計算校正裝置實際尺寸與第一圖像中 校正裝置所佔像素後,產生一比例。 為實現上述目的,本發明提供一種光學定位方法, 可以定位待測裝置的座標,包括如下步驟: 首先,在主機上設置第一光學感應單元與第二光學 感應單元,使其於第一軸向上彼此間隔有一第一距離; 其次,設置校正裝置,使校正裝置於第二軸向上的 座標與第一光學感應單元及第二光學感應單元在第二軸 向上的座標間隔一第二距離; 之後,第一光學感應單元與第二光學感應單元分別 感應校正裝置,以取得第一圖像; 再者,處理單元計算校正裝置實際尺寸與第一圖像 的比例; 嗣後,第一光學感應器與第二光學感應器分別感應 待測裝置,以分別產生第二圖像與第三圖像; 接著,處理單元計算待測裝置在第二圖像中的第一 09812215f 單職 A〇101 第5頁/共28頁 1013389615-0 1379224 101年10月11日核正替换頁 座標與待測裝置在第三圖像中的第二座標; 之後,處理單元計算比例、第二距離與第一座標, 以取得待測裝置與第一光學感應單元所構成的第一夾角 ;處理單元計算比例、第二距離與第二座標,以取得待 測裝置與第二光學感應單元所構成的第二夾角;處理單 元計算比例、第二距離及第一座標與第二座標其中一者 ,以取得待測裝置與第二轴向所構成的第三夾角; 再者,處理單元計算第一距離、第一夾角與第二夾 角,以取得待測裝置的第二軸向座標; 接著,處理單元計算第一距離、第一夹角或第二夹 角其中一者,以取得待測裝置的第一軸向座標;及 最後,處理單元計算第三夾角與待測裝置的第二軸 向座標以取得待測裝置的第三軸向座標。藉上述步驟而 分別取得待測裝置的第一轴向、第二軸向及第三軸向的 座標。 如上所述,本發明光學定位裝置使用間隔一固定第 一距離的第一光學感應單元與第二光學感應單元,經由 校正裝置校正後,並使用視差原理計算待測裝置的座標 。藉此,本發明光學定位裝置設置簡單且使用容易。 【實施方式】 [0004] 為詳細說明本發明之技術内容、構造特徵、所達成 的目的及功效,以下茲例舉實施例詳予說明。 請參閱第一圖與第二圖,第一圖係本發明光學定位 裝置的第一實施例的示意圖,第二圖係第一實施例中主 機2之功能方塊圖。本發明光學定位裝置設有主機2與校 正裝置4,用以定位一待測裝置6於空間中的第一軸向、 09812215^^^^ A0101 第6頁/共28頁 1013389615-0 1379224 101年10月11日修正替換百 第二轴向與第三轴向的座標。主機2設有第一光學感應單 元8、第二光學感應單元10、控制單元12與處理單元14。 控制單元12電性連接於第一光學感應單元8與第二光 學感應單元10及處理單元14之間,用以控制第一光學感 應單元8與第二光學感應單元10,並接收第一光學感應單 元8與第二光學感應單元10發出的資料,再將該資料傳送 至處理單元14。因此,光學定位裝置可計算待測裝置6於 空間中第一軸向X的座標、第二軸向Z的座標與第三軸向Y 的座標。 請參閱第三圖至第六圖,第三圖與第四圖為本發明 光學定位裝置之視差原理之示意圖。第一光學感應單元8 與第二光學感應單元10水平設置於第一軸向X與第二軸向 Z所構成的一水平面上,使第一光學感應單元8於第一軸 向X的座標與第二光學感應單元10於第一軸向X的座標間 隔一第一距離Df。第一光學感應單元8與第二光學感應單 元10可為互補式金氧半導體影像感應器(CMOS)與電荷 偶合元件影像感應器(CCD)其中一種。本實施例中,設 定第一距離Df之中間點為第一軸向X、第二軸向Z與第三 軸向Y之原點。 當本發明光學定位裝置運作時,首先,開啟光學定 位裝置,之後,進行校正步驟,最後,利用視差原理進 行定位步驟。在校正步驟中,首先,將校正裝置4設置於 第一光學感應單元8與第二光學感應單元10的感應範圍内 ,使校正裝置4於第二軸向Z的座標及第一光學感應單元8 與第二光學感應單元10於第二軸向Z的座標之間間隔一第 二距離Ds (第三圖僅表示校正裝置4於第二軸向Z的座標 09812215f^^ A0101 第7頁/共28頁 1013389615-0 1379224 __ 101年10月11日梭正替換頁 與第一光學感應單元8間隔第二距離Ds)。 請參閱第三圖,接著,第一光學感應單元8與第二光 學感應單元10分別感應校正裝置4,以產生第一圖像16。 嗣後,處理單元14計算校正裝置4的實際尺寸與第一圖像 中校正裝置所佔的像素,以產生一比例。 本實施例中,所述比例之計算式如下: 比例士冒際尺寸+所佔像素. 本實施例中,校正裝置4為一由若干黑色方塊與若干 白色方塊彼此間隔組成的校正板。校正裝置4之黑色方塊 5之高度為10毫米(mm),而第一圖像中黑色方塊之高度 為20個像素(Pixel),所以根據上述計算式之結果,比 例為 0. 5 ( mm/pi xe 1 )。 請一併參閱第六圖,在定位步驟中,首先,待測裝 置6設置於第一光學感應單元8與第二光學感應單元10的 感應範®内,待測裝置6與第一光學感應單元8構成第一 夾角0 1,待測裝置6與第二光學感應單元10構成第二夾 角0r,待測裝置6與第一轴向X和第二軸向Z所構成的水 平面構成第三夾角0。 本實施例中,待測裝置6於第一軸向X與第二軸向Z的 座標、第一光學感應單元8於第一軸向X與第二軸向Z的座 標及第二軸向構成所述第一夾角01,待測裝置6於第一 軸向X與第二軸向Z的座標、第二光學感應單元於第一軸 向X與第二軸向Z的座標及第二轴向構成所述第二夾角0r ,待測裝置6於第二軸向Z與第三軸向Y的座標、第一光學 感應單元8於第二軸向Z與第三轴向Y的座標及第二軸向構 單職 A0101 第8頁/共28頁 1013389615-0 1379224 成所述第三夾角0。 請參閱第四圖,接著,第一光學感應單元8與第二光 學感應單元10分別感應待測裝置6 ,以分別產生第二圖像 18與第三圖像(圖中僅顯示第二圖像18)。處理單元14 计鼻第一圖像18中待測裝置6所佔像素的第—座標與第三 圖像中4測裝置6所佔像素的第二座標。之後,處理單元 14利用—反三角函數計算式計算比例、第二距離Ds與第 一座標,以取得第一夹角0 1的數值,處理單元14利用所 述反二角函數計算式計算比例、第二距離Ds與第二座標 ,以取得第二夾角0r的數值,處理單元14利用所述反三 角函數計算式計算比例、第二距離Ds及第一座標與第二 座標其中一者,以取得第三夾角5»的數值。 請參閱第五圖,本實施例中,待測裝置6為一手把, 手把前端設有一發光源2〇,第一光學感應單元8與第二光 學感應單元10可分別感應手把的發光源2〇,在第二圖像 18與第二圖像中,此發光源2〇可視為一光點,並位於第 二圖像18的第一座標與第三圖像中的第二座標β 本實施例中,第二圖像18與第三圖像為一VGA晝質的 圖像,所以第二圖像18與第三圖像具有64(^48〇個像素 ,每一個像素可視為一座標點,故橫向座標由左至右依 序為0至639,縱向座標由上而下依序為〇至479。因為第 一光學感應單元8與第二光學感應單元1〇水平設置於第一 軸向X與第二軸向Z所構成的一水平面上,所以第一座標 的縱向座標與第二座標的縱向座標相同。 本實施例中,假設第一座標設定為(336,240 ),第 一座標為(146, 240)。反三角函數計算式為 0981221# 月11日俊正靜頁丨 A0101 第9頁/共28頁 1013389615-0 1379224 __ 101年10月11日核正替換頁 夾角=arctan (座標X比例+第二距離) 因此,在使用上述計算式計算第一夹角01時,座標 應為第一座標的橫向座標,據上述算式: 第一夾角 61 = arctan(336 X 0:5 + 200) 因此,第一夾角01為40度。據上述算式: 第二夾角洗=arctan (146 X 0.5 + 200) 因此,第二夾角0r為20度。據上述算式: 第三夾角 Θ = arctan (240 X 0.5 + 200) 因此,第三央角0為31度。 嗣後,處理單元14使用一三角函數計算式計算第一 距離Df、第一夾角01與第二夾角0r,以取得待測裝置6 的第二軸向Z座標Dz。在計算待測裝置6的第二軸向Z座標 Dz時,第一光學感應單元8與第二光學感應單元10的感應 範圍區分為三個區域,第一光學感應單元8與第二光學感 應單元10之間的空間為第一區域I,第一光學感應單元8 遠離第二光學感應單元10 —側的空間為第二區域Π,第 二光學感應單元10遠離第一光學感應單元8—側的空間為 第三區域BI。 處理單元14先判斷待測裝置6位於哪個區域,本實施 例中,處理單元14可利用第一座標的橫向座標與第二座 標的橫向座標來做判斷。當待測裝置6位於第一區域I時 ,三角函數計算式為: 待測裝置的第二軸向座標及= A0101 第 10 頁 / 09812215^·^^^* 第一距離Df_ |t〒(等一夾角4)|+jtan (第二夾角汾)|; r 28 1 1013389615-0 1379224 101年.10月11日梭正替換頁 當待測裝置6位於第二區域Π時,三角函數算計算式 ( HBSfDf 、待膽的第二軸向座,=U第二夾^(第-夾 當待測裝置6位於第三區域m時,三角函數算計算式 為: 待測物的第二軸向座標& 第一距離Df >afi (第一夾角.a)|-|tan (第二夾角句j 本實施例中,假設待測裝置6位於第一區域I内,第 距離為300ram,根據上述算式: / 待測裝置的第二W向座標及= 300 |tah(4〇)| + jtan (2〇)| 因此,待測裝置6的第二軸向Z座標Dz為249。 請一併參閱第七圖,再來,處理單元14使用一三角 函數計算式計算第二軸向Z的座標Dz、第一夾角0 1第一 距離Df,以取得待測裝置6的第一軸向X座標Dx。本實施 例中,所述三角函數計算式為: 一'細向座標仏=第—雕向座標沒.x tan (碧一夾角设)-—~^巨離 ..... 2 據上述算式: 第一軸向座標 = 249 X tan (40) 09812215^^ A0101 第11頁/共28頁 1013389615-0 1101年10月11日 因此,待測裝置6的第一軸向X座標Dx&59 ^ 本實施例中,第一距離Df的中間點設為原點,且設 定原點朝第-光學感應裝置8的方向為第一軸向X的負向 ,相對地,原點朝第二光學感應裝置1〇的方向為第一軸 向X的正向,因此可得上述計算式。 在真正實施時,可以任意設定第一軸向的正向與負 向,在利用三角涵數計算式,計算出待測裝置6距離原點 的偏移量,若偏移量為正,即第一軸向χ的座標為正,偏 移量為負,即第一軸向X的座標為負。 最後,處理單元14使用一三角函數計算式算第三夾 角0與待測裝置6的第二軸向ζ的座標,以取得待測裝置6 的第二軸向γ的座標。所述三角函數計算式為
Hzi軸向圈|'第二軸向座镖χ “ (第三夾角约 根據上述算式: 第三娜向座_ = 2的χ 因此,待測裝置6的第三軸向γ座標為丨49 »因此,待 測裝置6的座標為(59,249,149)。 請參閱第八圖與第九圖,第八圓係本發明光學定位 裝置第二實施例之示意圖,第九圖係本發明光學定位裝 置第二實施例的控制單元12之功能方塊圖。本實施例中 ,主機2還包括一第三光學感應單元22與一第四光學感應 單元24»第一光學感應單元8與第二光學感應單元1〇為第 一組感應單元,第三光學感應單元22與第四光學感應單 元24為第二組感應單元。 第三光學感應單元22與第四光學感應單元24分別設 09812215产單編號 A〇101 第12頁/共28頁 1013389615-0 1379224 101年10月11日梭正替換頁 置於第一光學感應單元8與第二光學感應單元10之一側, 第三光學感應單元22與第四光學感應單元24之間間隔一 第一距離Df,並水平設置於第一軸向X與第二軸向Z所構 成的水平面上。 因比第一光學感應單元8與第二光學感應單元10所構 成的第一組感應單元與第三光學感應單元22與第四光學 感應單元24所構成的第二組感應單元可分別提供待測裝 置6的第一組座標與第二組座標及每秒30幅(Frame)的 輸出,所以第一組感應單元與第二組感應單元在正常環 境下可提供每秒60幅的輸出,當環境變暗時,亦可提供 每秒30幅的輸出,藉此提高待測裝置6的正確定位率。 另外,由於第一組感應單元與第二組感應單元可提 供每秒60幅的輸出,即待測裝置6的取樣座標增加為一倍 ,因此,光學定位裝置可直接計算待測裝置6的加速度。 與習知技藝相較下,可省去加速感應器。第三光學感應 單元22與第四光學感應單元24可為CMOS與CCD其中一種 〇 在第二實施例中,控制單元12設有鎖相迴路單元26 、時脈產生單元28、並列轉串列單元30與緩衝單元32。 鎖相迴路單元26分別連接第一光學感應單元8、第二光學 感應單元10、第三光學感應單元22與第四光學感應單元 24,用以依序致動第一光學感應單元8與第二光學感應單 元10及第三光學感應單元22與第四光學感應單元24。 時脈產生單元28分別連接第一光學感應單元8、第二 光學感應單元10、第三光學感應單元22與第四光學感應 單元24,用以提供工作時脈。並列轉串列單元30分別連 09812215产單麟 A0101 第13頁/共28頁 1013389615-0
1379224 _L 101年10月11日核正替換頁 接第一光學感應單元8、第二光學感應單元10、第三光學 感應單元22與第四光學感應單元24,用以依序接收第一 光學感應單元8與第二光學感應單元10發出的資料及第三 光學感應單元22與第四光學感應單元24發出的資料,並 將該資料傳送至處理單元14。 緩衝單元32連接並列轉串列單元30,用以暫時儲存 並列轉串列單元30所接收的資料,使並列轉串列單元30 可一次地將第一光學感應單元8、第二光學感應單元10、 第三光學感應單元22與第四光學感應單元24的資料傳送 至處理單元14 »本實施利中,控制單元12為可程式編輯 邏輯門陣列(FPGA) 〇 請參閱第十圖,係本發明光學定位方法的步驟流程 圖,包括: 首先,設置第一光學感應單元8與第二光學感應單元 10,使其於第一軸向X上彼此間隔有一第一距離Df ; 其次,設置一校正裝置4,使校正裝置4於第二軸向Z 上的座標與第一光學感應單元8與第二光學感應單元10在 第二軸向上的座標間隔有一第二距離Dz ; 之後,第一光學感應單元8與第二光學感應單元10分 別感應校正裝置4,以取得第一圖像16 ; 再者,使處理單元14計算校正裝置4實際尺寸與第一 圖像1 6的比例; 嗣後,第一光學感應器8與第二光學感應器10分別感 應待測裝置6,以分別產生第二圖像18與第三圖像; 接著,處理單元14計算待測裝置6在第二圖像18中的 第一座標與待測裝置6在第三圖像中的第二座標; 0981221#丨職删1 第14頁/共28頁 1013389615-0 1379224 101年10月11日按正替換頁 之後,處理單元14計算比例、第二距離Dz與第一座 標,以取得待測裝置6與第一光學感應單元8所構成的第 一夾角01 ;處理單元14計算比例、第二距離Dz與第二座 標,以取得待測裝置6與第二光學感應單元10所構成的第 二夾角0r ;處理單元14計算比例、第二距離Dz及第一座 標與第二座標其中一者,以取得待測裝置6與第二軸向Z 所構成的第三夾角0 ; 再來,處理單元14計算第一距離Df、第一夾角0 1與 第二夾角0r,以取得待測裝置6的第二軸向Z座標; 接著,處理單元14計算第一距離Df、第一夹角0 1或 第二夾角其中一者,以取得待測裝置6的第一軸向X座 標;及 最後,使用處理單元14計算第三夾角0與待測裝置6 的第二軸向Z座標,以取得待測裝置6的第三軸向Y座標。 藉上述步驟而分別取得待測裝置的第一軸向X、第二軸向 Z及第三轴向Y的座標。 综上所述,本發明光學定位裝置使用間隔有一第一 距離Μ的第一光學感應單元8與第二光學感應單元10,經 由校正裝置4校正後,並使用視差原理,計算出待測裝置 6空間中三軸向的座標,藉此,本發明光學定位裝置設置 簡單、使用容易。 另外,光學定位裝置可同時使用第一組感應單元與 第二組感應單元以提供每秒60幅的速率,藉此省去加速 感應器,直接計算待測裝置6的加速度,且在較差的環境 中亦可提供至少每秒30幅的速率,以提高定位正確率。 以上所揭示的實施例與所有觀點,係用以說明本發 09812215^^^^* Α〇101 第15頁/共28頁 1013389615-0 1379224 101年10月11日修正替換頁 明,而非用以限制本發明。本發明的範圍應由申請專利 範圍所界定,並涵蓋其合法均等物,並不限於先前的描 述。 【圖式簡單說明】 [0005] 第一圖係本發明光學定位裝置第一實施例之示意圖。 第二圖係本發明光學定位裝置第一實施例的主機之功能 方塊圖。 第三圖與第四圖係本發明光學定位裝置的視差原理之示 意圖。 第五圖係本發明光學定位裝置的待測裝置之示意圖。 第六圖與第七圖係本發明光學定位裝置的視差原理之另 一示意圖。 第八圖係本發明光學定位裝置第二實施例之示意圖。 第九圖係本發明光學定位裝置第二實施例的控制裝置之 功能方塊圖。 第十圖係本發明光學定位方法之步驟流程圖。 【主要元件符號說明】 [0006] 主機 2 校正裝置 4 待測裝置 6 第一光學感應單元 8 第二光學感應單元 10 控制單元 12 處理單元 14 第一圖像 16 第二圖像 18 發光源 2 0 第三光學感應單元 2 2 第四光學感應單元 2 4 鎖相迴路單元 2 6 時脈產生單元 2 8 並列轉串列單元 3 0 緩衝單元 3 2 第16頁/共28頁 1013389615-0 09812215^^^51 A〇101
Claims (1)
1379224 101年10月11日修正替換頁 七、申請專利範圍: 1 . 一種光學定位裝置,以定位一待測裝置於空間中的第一轴 向、第二轴向與第三轴向的座標*第一轴向、第二轴向與 第三軸向彼此互相垂直,包括: 一主機,設有至少一第一光學感應單元、一第二光學 感應單元及一電性連接至第一光學感應單元與第二光學感 應單元的處理單元,該第一光學感應單元於第一轴向的座 標與第二光學感應單元於第一軸向的座標彼此間隔有一第 一距離,設定第一距離之中間點為第一轴向、第二轴向與 第三軸向之原點; 一校正裝置,設置於該第一、第二光學感應單元之感 應範圍内,校正裝置於第二軸向的座標分別與該第一光學 感應單元於第二軸向的座標和該第二光學感應單元於第二 軸向的座標間隔有一第二距離; 一控制單元,電性連接於第一光學感應單元與第二光 學感應單元及處理單元之間,用以控制第一光學感應單元 與第二光學感應單元,並接收第一光學感應單元與第二光 學感應單元發出的資料,再將該資料傳送至處理單元。 2. 如申請專利範圍第1項所述之光學定位裝置,進一步還包 括分別電性連接至該處理單元的一第三光學感應單元與一 第四光學感應單元,第一、第二光學感應單元與處理單元 用以計算該待測裝置的一第一組座標,第三、第四光學感 應單元與處理單元用以計算該待測物的一第二組座標。 3. 如申請專利範圍第2項所述之光學定位裝置,其中所述控 制單元,控制第一光學感應單元、第二光學感應單元、第 09812215^^ A〇101 第17頁/共28頁 1013389615-0 1379224 101年10月11日核正替^頁 三光學感應單元與第四光學感應單元,並接收第一光學感 應單元至第四光學感應單元送出的資料。 4. 如申請專利範圍第3項所述之光學定位裝置,其中所述控 制單元為可程式編輯邏輯門陣列。 5. 如申請專利範®第4項所述之光學定位裝置,其中所述控 制單元包括: 一鎖相迴路單元,分別連接第一至第四光學感應器, 以順序地致動第一、第二光學感應單元與第三、第四光學 感應單元; 一時脈產生單元,分別連接第一至第四光學感應單元 ,以提供工作時脈給第一至第四光學感應單元; 一並列轉串列單元,分別連接第一至第四光學感應單 元,以順序地接收第一、第二光學感應單元發出的資料及 第三、第四光學感應單元發出的資料,並將第一至第四光 學感應單元發出的資料傳送至處理單元;及 一緩衝單元,連接並列轉串列單元,以暫時儲存並列 轉串列單元接收的資料。 6. 如申請專利範圍第1項所述的光學定位裝置,其中所述待 測裝置為一發光源。 7. 如申請專利範圍第5項所述的光學定位裝置,其中所述第 一光學感應單元、第二光學感應單元、第三光學感應單元 與第四光學感應單元可為一互補式金氧半導體影像感應器 或一電荷偶合原件影像感應器的其中一種。 8. 如申請專利範圍第1項所述的光學定位裝置,其中所述校 正裝置為一由若干黑色方塊與若干白色方塊彼此間隔組成 的校正板。 0981221#單编號 AQ1G1 $ 18 I / ^- 28 I 1013389615-0 1379224 101年10月11日按正替換頁 9 . 一種光學定位方法,以定位一待測裝置於空間中的第一轴 向、第二袖向與第三轴向的座標,第一轴向、第二轴向與 第三轴向彼此相垂直,其步驟如下: 首先,設置一第一光學感應單元與一第二光學感應單 元,使其於第一轴向上彼此間隔有一第一距離; 其次,設置一校正裝置,使校正裝置於第二轴向上的 座標與第一光學感應單元與第二光學感應單元在第二軸向 上的座標間隔有一第二距離; 之後,使第一、第二光學感應單元分別感應校正裝置 ,以取得一第一圖像; 再者,計算校正裝置實際尺寸與第一圖像的比例; -嗣後,第一、第二光學感應單元分別感應待測裝置, 以分別產生一第二圖像與一第三圖像; 接著,計算待測裝置在第二圖像中的一第一座標與待 測裝置在第三圖像中的一第二座標; 之後,計算比例、第二距離與第一座標以取得待測裝 置與第一光學感應單元構成的一第一夾角,計算比例、第 二距離與第二座標以取得待測裝置與第二光學感應單元構 成的一第二夾角,計算比例、第二距離及第一座標與第二 座標其甲一者以取得待測裝置與第二軸向構成的一第三夾 角; 再者,計算第一距離、第一夾角與第二夾角以取得待 測裝置的第一軸向座標與第二軸向座標;及 最後,計算第三夾角與待測裝置的第二軸向座標以取 得待測裝置的第三軸向座標。 10 .如申請專利範圍第9項所述的光學定位方法,其中所述比 0981221#單編號 AQ1Q1 ^ 19 I / ^ 28 I 1013389615-0 1379224 Γ101年1〇月ΰΤ梭正餘頁I 例由計算校正物實際尺寸與校正物在第一圖像中所佔之像 素而取得,比例計算方式為 比例=離尺寸,佔像素… 11 .如申請專利範圍第9項所述的光學定位方法,其中所述第 —座標包括一橫向座標與一縱向座標,使用一計算式計I 比例、第二距離與第一座標之橫向座標以取得由待測裝置 於第一軸向與第二軸向的座標、第一光學感應單元於第一 軸向與第二軸向的座標與第二軸向所構成的第一夾角。 12·如申請專利範圍第9項所述的光學定位方法其中所述第 二座標包括一橫向座標與一縱向座標,使用一計算式計算 比例、第二距離與第二座標之橫向座標以取得由待測裝置 於第一軸向與第二軸向的座標、第二光學感應單元於第一 軸向與第二轴向的座標與第二軸向所構成的第二夾角。 13 .如申請專利範圍第1 1或1 2項所述的光學定位方法,其 中所述計算式為 夾角=arctan (镝向座檫X比例'第二臟)。 14 ·如申請專利範圍第9項所述的光學定位方法,其中所述待 測裝置於第二軸向與第三轴向的座標、第一光學感應單元 於第一轴向與第二軸向的座標與第二軸向構成該第=失角 ’使用一計算式計算比例、第二距離與第一座標之縱向座 標與第二座標之縱向座標以取得該第三夾角,計算式為 夾角=arctan (縱向幽X比例'第;::臟)。 15 .如申請專利範圍第9項所述的光學定位方法,其中所述計 算第一轴向座標還包括 第20頁/共28頁 0抑12215_單編號A0101 1013389615-0 1379224 101年10月11日梭正替換頁 設定第一光學感應單元與第二光學感應單元之間的空 間為一第一區域; 設定第一光學感應單元遠離第二光學感應單元一側的 空間為一第二區域; 設定第二光學感應單元遠離第一光學感應單元一側的 空間為一第三區域; 判斷待測裝置位於第一區域、第二區域與第三區域其 中一者;及 根據待測裝置的位置使用一計算式計算待測裝置的第 二轴向座標。 16 .如申請專利範圍第9項所述的光學定位方法,其中所述待 測裝置位於第一區域時,計算式為 待挪裝置昀第二津_座標及= 第一距雖Df_ Jtah (第一夾魚fl)|.十jtan (第二爽角备)丨; 所述待測裝置位於第二區域時,算計算式為 人 第一距離 待測物的第二軸向座標 A |tan (第二夾魚冴)卜卜如(第一夾角句[ :及所述待測裝置位於第三區域時,計算式為 待測物的第二軸向處標i 第一距離Df |tan (第一夾角4)| - Μ第二夾角冴)丨 17.如申請專利範圍第9項所述的光學定位方法,其中所述第 一距離之中間點設為第一軸向、第二軸向與第三軸向之原 點,使用一計算式計算第一距離與第一夾角以取得待測裝 09812215^^^^ Α〇101 第21頁/共28頁 1013389615-0 1379224 101年10月11日核正替换頁 置的第一軸向座標,計算式為 待測物的第一軸向座標=待測物的第二軸向座標X ―第一夾角)-第一距離+ 2 〇 18 .如申請專利範圍第9項所述的光學定位方法,其中所述待 測裝置的第三轴向座標由使用一計算式計算第三夾角與待 測裝置的第二轴向座標而取得,計算式為 待測物的第三軸向座標=待測物的第二軸向座標X tan (第三夾角) 09812215f 單编號 A〇101 第22頁/共28頁 1013389615-0
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW098122157A TWI379224B (en) | 2009-06-30 | 2009-06-30 | Optical positing apparatus and positing method thereof |
JP2009170674A JP2011027447A (ja) | 2009-06-30 | 2009-07-22 | 光学定位装置及びその定位方法 |
US12/616,787 US8204275B2 (en) | 2009-06-30 | 2009-11-12 | Optical positioning apparatus and positioning method thereof |
GB0921655A GB2471534A (en) | 2009-06-30 | 2009-12-11 | Optical positioning apparatus and positioning method thereof |
FR0906131A FR2947343A1 (fr) | 2009-06-30 | 2009-12-18 | Dispositif de positionnement optique et son procede de positionnement |
DE102009059890A DE102009059890A1 (de) | 2009-06-30 | 2009-12-21 | Optische Positionierungs-Vorrichtung und ihr Positionierungs-Verfahren |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW098122157A TWI379224B (en) | 2009-06-30 | 2009-06-30 | Optical positing apparatus and positing method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201101154A TW201101154A (en) | 2011-01-01 |
TWI379224B true TWI379224B (en) | 2012-12-11 |
Family
ID=41666914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW098122157A TWI379224B (en) | 2009-06-30 | 2009-06-30 | Optical positing apparatus and positing method thereof |
Country Status (6)
Country | Link |
---|---|
US (1) | US8204275B2 (zh) |
JP (1) | JP2011027447A (zh) |
DE (1) | DE102009059890A1 (zh) |
FR (1) | FR2947343A1 (zh) |
GB (1) | GB2471534A (zh) |
TW (1) | TWI379224B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI560465B (zh) * | 2014-08-20 | 2016-12-01 | Edison Opto Corp |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8497902B2 (en) * | 2009-12-18 | 2013-07-30 | Sony Computer Entertainment Inc. | System for locating a display device using a camera on a portable device and a sensor on a gaming console and method thereof |
TWI466112B (zh) * | 2011-10-07 | 2014-12-21 | Ind Tech Res Inst | 光學設備及光學定址方法 |
US10664994B2 (en) * | 2013-02-25 | 2020-05-26 | Cognex Corporation | System and method for calibration of machine vision cameras along at least three discrete planes |
CN104133076A (zh) * | 2014-07-30 | 2014-11-05 | 宇龙计算机通信科技(深圳)有限公司 | 一种测速装置、方法及终端 |
CN113532329B (zh) * | 2020-03-16 | 2024-03-19 | 天目爱视(北京)科技有限公司 | 一种以投射光斑为标定点的标定方法 |
CN115839667B (zh) * | 2023-02-21 | 2023-05-12 | 青岛通产智能科技股份有限公司 | 一种高度测量方法、装置、设备及存储介质 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3452076B2 (ja) * | 1993-10-27 | 2003-09-29 | 富士重工業株式会社 | 車輌用距離検出装置 |
EP0660131A1 (en) * | 1993-12-23 | 1995-06-28 | Karl Osen | Camera guidance system |
US6690474B1 (en) * | 1996-02-12 | 2004-02-10 | Massachusetts Institute Of Technology | Apparatus and methods for surface contour measurement |
JPH1069543A (ja) * | 1996-08-29 | 1998-03-10 | Oki Electric Ind Co Ltd | 被写体の曲面再構成方法及び被写体の曲面再構成装置 |
JPH11160021A (ja) * | 1997-11-27 | 1999-06-18 | Nippon Telegr & Teleph Corp <Ntt> | 広域3次元位置計測方法及び装置 |
JPH11173840A (ja) * | 1997-12-08 | 1999-07-02 | Ishikawajima Harima Heavy Ind Co Ltd | 測距装置及び測距方法 |
US6125059A (en) * | 1999-05-14 | 2000-09-26 | Gatefield Corporation | Method for erasing nonvolatile memory cells in a field programmable gate array |
JP2001052177A (ja) * | 1999-08-11 | 2001-02-23 | Univ Waseda | 画像処理装置および画像処理方法 |
US6768509B1 (en) * | 2000-06-12 | 2004-07-27 | Intel Corporation | Method and apparatus for determining points of interest on an image of a camera calibration object |
JP2002031515A (ja) * | 2000-07-17 | 2002-01-31 | Central Res Inst Of Electric Power Ind | カメラのキャリブレーション方法およびこれを利用する装置並びにキャリブレーションプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2003065714A (ja) * | 2001-08-21 | 2003-03-05 | Sony Corp | カメラ・キャリブレーションのためのガイド装置及びガイド方法、並びに、カメラ・キャリブレーション装置 |
JP4166988B2 (ja) * | 2002-02-20 | 2008-10-15 | 株式会社トプコン | ステレオ画像用処理装置及び方法 |
FR2836215B1 (fr) * | 2002-02-21 | 2004-11-05 | Yodea | Systeme et procede de modelisation et de restitution tridimensionnelle d'un objet |
ES2209655B1 (es) * | 2002-12-12 | 2005-12-16 | Universidad De Malaga | Sistema para medida de distancias y velocidades por procedimientos electroopticos no radiantes. |
JP2004354257A (ja) * | 2003-05-29 | 2004-12-16 | Olympus Corp | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
WO2005031253A1 (ja) * | 2003-09-29 | 2005-04-07 | Brother Kogyo Kabushiki Kaisha | 3次元形状検出装置、撮像装置、及び、3次元形状検出プログラム |
US7433021B2 (en) * | 2004-08-10 | 2008-10-07 | Joseph Saltsman | Stereoscopic targeting, tracking and navigation device, system and method |
CN101957994B (zh) * | 2006-03-14 | 2014-03-19 | 普莱姆传感有限公司 | 三维传感的深度变化光场 |
WO2008155961A1 (ja) * | 2007-06-21 | 2008-12-24 | Konica Minolta Holdings, Inc. | 測距装置 |
JP4943270B2 (ja) * | 2007-08-09 | 2012-05-30 | 富士フイルム株式会社 | 三次元座標系の設定方法および装置 |
KR20090062027A (ko) * | 2007-12-12 | 2009-06-17 | 삼성전기주식회사 | 3차원자세측정장치 및 이를 이용한 3차원자세측정방법 |
-
2009
- 2009-06-30 TW TW098122157A patent/TWI379224B/zh not_active IP Right Cessation
- 2009-07-22 JP JP2009170674A patent/JP2011027447A/ja active Pending
- 2009-11-12 US US12/616,787 patent/US8204275B2/en not_active Expired - Fee Related
- 2009-12-11 GB GB0921655A patent/GB2471534A/en not_active Withdrawn
- 2009-12-18 FR FR0906131A patent/FR2947343A1/fr not_active Withdrawn
- 2009-12-21 DE DE102009059890A patent/DE102009059890A1/de not_active Ceased
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI560465B (zh) * | 2014-08-20 | 2016-12-01 | Edison Opto Corp |
Also Published As
Publication number | Publication date |
---|---|
US8204275B2 (en) | 2012-06-19 |
DE102009059890A1 (de) | 2011-01-13 |
GB0921655D0 (en) | 2010-01-27 |
TW201101154A (en) | 2011-01-01 |
JP2011027447A (ja) | 2011-02-10 |
US20110110559A1 (en) | 2011-05-12 |
FR2947343A1 (fr) | 2010-12-31 |
GB2471534A (en) | 2011-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI379224B (en) | Optical positing apparatus and positing method thereof | |
CN103472953B (zh) | 一种触摸显示屏的校准方法 | |
JP5845211B2 (ja) | 画像処理装置、画像処理方法 | |
CN103838437B (zh) | 基于投影图像的触控定位控制方法 | |
TWI550437B (zh) | 能夠進行有形互動的設備、製造物品、以及用於有形互動的方法 | |
JP2017096725A (ja) | 情報処理装置、情報処理方法 | |
JP5496032B2 (ja) | 触感呈示装置及び触感呈示装置の制御方法 | |
CN109758355A (zh) | 一种基于人体穴位二维图像处理和三维立体定位方法 | |
JP7361251B2 (ja) | 採寸装置及び採寸方法 | |
EP3089004B1 (en) | A vector fill segment method and apparatus to reduce display latency of touch events | |
US11477432B2 (en) | Information processing apparatus, information processing method and storage medium | |
CN105653017B (zh) | 电子装置及电子装置的重力感测校正方法 | |
CN102508578A (zh) | 投影定位装置及方法、交互系统和交互方法 | |
CN103253193B (zh) | 基于触摸屏操作的全景泊车标定方法及系统 | |
CN104216533B (zh) | 一种基于DirectX9的头戴式虚拟现实显示器 | |
CN105260008A (zh) | 一种定位位置的方法及装置 | |
US20110102318A1 (en) | User input by pointing | |
US11995252B2 (en) | Input system and input method for setting instruction target area including reference position of instruction device | |
TWI591514B (zh) | 手勢創建系統及方法 | |
KR101496441B1 (ko) | 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치 | |
TW201439813A (zh) | 顯示設備及其控制系統和方法 | |
CN106919247B (zh) | 虚拟影像展示方法及装置 | |
CN102023759A (zh) | 一种有源笔书写定位方法 | |
CN208433199U (zh) | 一种传感触发与大屏互动的装置 | |
WO2016165362A1 (zh) | 一种投影显示方法、装置、电子设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |