TW201423295A - 電子裝置及其導航方法 - Google Patents
電子裝置及其導航方法 Download PDFInfo
- Publication number
- TW201423295A TW201423295A TW101145700A TW101145700A TW201423295A TW 201423295 A TW201423295 A TW 201423295A TW 101145700 A TW101145700 A TW 101145700A TW 101145700 A TW101145700 A TW 101145700A TW 201423295 A TW201423295 A TW 201423295A
- Authority
- TW
- Taiwan
- Prior art keywords
- electronic device
- speed
- human body
- target
- positioning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 20
- 230000001186 cumulative effect Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000037237 body shape Effects 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 230000005611 electricity Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 claims 1
- 230000005484 gravity Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W20/00—Control systems specially adapted for hybrid vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/01—Mobile robot
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Abstract
一種電子裝置及其導航方法，所述導航方法包括下列步驟。首先，透過無線感測網路接收召喚訊號，其中召喚訊號來自於目標物。接著，分析目標物與電子裝置之間的位置關係以產生第一速度。之後，擷取影像組，並分析影像組與目標物的影像關係以產生第二速度。繼之，計算關聯於位置關係的權重值，並依據權重值、第一速度以及第二速度計算移動速度，以及透過移動速度控制電子裝置往目標物移動的移動情形。
Description
本發明是有關於一種電子裝置及其導航方法，且特別是有關於一種結合無線感測網路及影像追蹤的電子裝置及其導航方法。
科技的進步使得各種智慧型機器人的研究與開發有日益蓬勃發展的趨勢。在機器人的研究領域中，除了讓機器人執行各種擬人行為之外，使其能夠反應於使用者的召喚而前進至使用者面前的定位及導航機制亦是相當熱門的研究議題。
然而，在習知技術中，機器人的定位及導航機制多半是透過例如紅外線、無線感測網路或是聲音辨識的方式來實現，這些方式時常因環境的不穩定因素而導致定位或導航的結果不準確，進而讓機器人無法準確導航到召喚者的面前。
有鑑於此，本發明提供一種電子裝置及其導航方法，可透過結合無線感測網路的定位方法以及影像追蹤的方式，達到準確的定位結果，進而讓機器人準確導航到召喚者面前。
本發明提供一種導航方法，適用於電子裝置，所述方
法包括下列步驟。首先，透過無線感測網路接收召喚訊號，其中召喚訊號來自於目標物。接著，分析目標物與電子裝置之間的位置關係以產生第一速度。之後，擷取影像組，並分析影像組與目標物的影像關係以產生第二速度。繼之，計算關聯於位置關係的權重值，並依據權重值、第一速度以及第二速度計算移動速度，以及透過移動速度控制電子裝置往目標物移動的移動情形。
在本發明之一實施例中，分析目標物與電子裝置之間的位置關係以產生第一速度的步驟包括估計電子裝置的估計位置。接著，透過無線感測網路接收目標物的目標位置。之後，依據估計位置以及目標位置決定使電子裝置向目標物前進的第一速度。
在本發明之一實施例中，估計電子裝置的估計位置的步驟包括估計電子裝置的第一定位位置，並判斷第一定位位置的可靠度。接著，計算電子裝置的累計移動距離，並依據累計移動距離估計電子裝置的第二定位位置。之後，依據可靠度以及累計移動距離決定第一定位位置的定位權重值，並依據定位權重值、第一定位位置、第二定位位置計算電子裝置的估計位置。
在本發明之一實施例中，估計電子裝置的第一定位位置的步驟包括接收在無線感測網路中的多個感測點的位置資訊，並偵測各所述感測點的訊號強度。接著依據各所述感測點的位置資訊以及訊號強度的對應關係，判斷第一定位位置。
在本發明之一實施例中，判斷第一定位位置的可靠度的步驟包括記錄第一定位位置，並計算在目前時間區間中的第一定位位置與在前一時間區間中的第一定位位置之間的差值。其中，差值與可靠度成反比。
在本發明之一實施例中，上述影像組包括深度影像以及彩色影像，目標物為人體，而分析影像組與目標物的影像關係以產生第二速度的步驟包括在深度影像中偵測人體的人形座標。接著，在彩色影像中偵測人體的人臉資訊，並結合人形座標與人臉資訊而決定使電子裝置向人體前進的第二速度。
在本發明之一實施例中，上述在深度影像中偵測人體的人形座標的步驟包括依據人體識別資料庫找出人體的人體形狀並在深度影像中顯示人體形狀。接著，對顯示的人體形狀進行質心運算，以決定人形座標。
在本發明之一實施例中，上述人臉資訊包括中心座標以及人臉寬度，而在彩色影像中偵測人體的人臉資訊的步驟包括依據人臉識別資料庫找出人體的人臉區域。之後，計算人臉區域的中心座標以及人臉寬度。
另一觀點而言，本發明提供一種電子裝置，包括通訊單元、導航模組、影像追蹤模組以及處理單元。通訊單元透過無線感測網路接收召喚訊號，其中召喚訊號來自於目標物。導航模組耦接通訊單元，分析目標物與電子裝置之間的位置關係以產生第一速度。影像追蹤模組，包括取像單元以及分析單元。取像單元擷取影像組。分析單元耦接
取像單元，分析影像組與目標物的影像關係以產生第二速度。處理單元耦接導航模組以及分析單元，計算關聯於位置關係的權重值，並依據權重值、第一速度以及第二速度計算移動速度，以及透過移動速度控制電子裝置往目標物移動的移動情形。
在本發明之一實施例中，上述導航模組估計電子裝置的估計位置，並透過無線感測網路接收目標物的目標位置，以及依據估計位置以及目標位置決定使電子裝置向目標物前進的第一速度。
在本發明之一實施例中，上述導航模組包括定位單元、里程計以及計算單元。定位單元估計電子裝置的第一定位位置，並判斷第一定位位置的可靠度。里程計計算電子裝置的累計移動距離，並依據累計移動距離估計電子裝置的第二定位位置。計算單元耦接定位單元以及里程計，依據可靠度以及累計移動距離決定第一定位位置的定位權重值，並依據定位權重值、第一定位位置、第二定位位置計算電子裝置的估計位置。
在本發明之一實施例中，上述通訊單元接收在無線感測網路中的多個感測點的位置資訊，並偵測各所述感測點的訊號強度，而定位單元依據各所述感測點的位置資訊以及訊號強度的對應關係，判斷第一定位位置。
在本發明之一實施例中，上述分析單元記錄第一定位位置，並計算在目前時間區間中的第一定位位置與在前一時間區間中的第一定位位置之間的差值，其中，差值與可
靠度成反比。
在本發明之一實施例中，上述影像組包括深度影像以及彩色影像，目標物為人體，而分析單元在深度影像中偵測人體的人形座標，接著在彩色影像中偵測人體的人臉資訊，以及結合人形座標與人臉資訊而決定使電子裝置向人體前進的第二速度。
在本發明之一實施例中，上述分析單元依據人體識別資料庫找出人體的人體形狀，接著在深度影像中顯示人體形狀，以及對顯示的人體形狀進行質心運算，以決定人形座標。
在本發明之一實施例中，上述人臉資訊包括中心座標以及人臉寬度，且分析單元依據人臉識別資料庫找出人體的人臉區域，接著計算人臉區域的中心座標以及人臉寬度。
基於上述，本發明實施例透過權重值來綜合考量導航模組及影像追蹤模組的第一速度和第二速度資訊，使得電子裝置在朝向目標物前進時能夠達到更精準的導航結果。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
現將詳細參考本發明之示範性實施例，在附圖中說明所述示範性實施例之實例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件代表相同或類似部分。
圖1是依據本發明之一實施例繪示的電子裝置在接收目標物的召喚訊號之後，自動前往目標物處的示意圖。在本實施例中，電子裝置100包括通訊單元110、導航模組120、影像追蹤模組130以及處理單元140。其中，電子裝置100可在接收到目標物150所發出的召喚訊號CS之後，自動前進至目標物150處。
通訊單元110例如是支援無線感測網路(wireless sensor network)的裝置，其可經由無線感測網路(例如Zigbee)接收感測點160_1~160_10的訊號，以及目標物150所發送的召喚訊號CS。在一實施例中，目標物150可在已知感測點160_1~160_10的位置時，依據所收集到的感測點160_1~160_10的信號而對應估計自身所在的位置。此時，目標物150亦可將其自身的位置發送至例如無線感測網路中，接著，電子裝置100可透過通訊單元110接收關於目標物150的目標位置。
導航模組120耦接至通訊單元110，其可在接收通訊單元110傳送的目標位置之後，計算可讓電子裝置100往目標物150移動的移動參數。詳細來說明，導航模組120可依據通訊單元110所收集到的感測點160_1~160_10的信號而對應估計自身所在的位置，進而調整例如電子裝置100的移動路徑等。此外，在其他實施例中，導航模組120可透過例如雷射掃描儀等元件來掃描週遭環境中的障礙物，進而讓電子裝置100可避開行進過程中出現的障礙物。
影像追蹤模組130包括取像單元132以及分析單元
134。取像單元132例如是能夠同時擷取深度影像及彩色影像的裝置或元件(例如Kinect)。分析單元134耦接取像單元132，可用以對取像單元132擷取的深度影像及彩色影像進行分析，從而找出所需的資訊。舉例而言，在取像單元132擷取深度影像之後，分析單元134可依據例如開放式自然互動(open natural interaction，OpenNI)中的人體識別資料庫來找出在此深度影像中的人體形狀，進而得知在取像單元132所取像的範圍中存在人類(或人形圖樣等物件)。此外，在取像單元132擷取彩色影像之後，分析單元134可依據例如開放原始碼電腦視覺(Open Source Computer Vision，OpenCV)中的人臉辨識資料庫而判斷在此彩色影像中是否出現例如人臉的特徵。
處理單元140耦接導航模組以及分析單元134，用以分別依據導航模組120及分析單元134所提供的資訊而控制電子裝置100的移動情形，例如閃避障礙物、轉彎以及調整行進速度等。處理單元140例如是中央處理單元(Central Processing Unit，CPU)、微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)或其他類似裝置。
圖2是依據本發明之一實施例繪示的導航方法流程圖。請同時參照圖1及圖2，底下即搭配圖1的各個元件來說明電子裝置100使用所述導航方法而前進至目標物150的詳細步驟。在本實施例中，目標物150例如是人體，
而電子裝置100例如是具有相互耦接的馬達控制器(未繪示)、馬達驅動器(未繪示)及滾輪(未繪示)的機器人。
在步驟S210中，目標物150可透過例如無線訊號發送器的裝置來發送召喚訊號CS至無線感測網路中，而通訊單元110即可透過無線感測網路來接收召喚訊號CS。在步驟S220中，導航模組120可分析目標物150與電子裝置100之間的位置關係，以產生用於讓電子裝置100向目標物150前進的第一速度SP1。詳細來說明，導航模組120可在通訊單元110收集感測點160_1~160_10的相關資訊(例如訊號強度及位置資訊)之後，據以估計電子裝置100目前所在的一估計位置。接著，導航模組120可更在通訊單元120接收目標物150以例如無線訊號發送器的裝置發送的目標位置之後，決定目前電子裝置100往目標物150前進的第一速度SP1。
舉例而言，假若在某個時間點中，感測點160_1及160_2所傳至通訊單元110的訊號強度較強，而160_3~160_10的訊號強度依序漸減時，導航模組120即可判斷此時距離感測點160_1及160_2較近。而在得知目標位置為接近感測點160_10處時，導航模組120即可計算接下來應往何方向前進方能到達目標物150處。
值得注意的是，在決定第一速度SP1之後，電子裝置100並非直接以第一速度SP1來朝向目標物150前進，而是需待影像追蹤模組130亦產生其影像追蹤結果之後，再由處理單元140對導航模組120以及影像追蹤模組130提
供的資訊進行綜合考量，以產生控制電子裝置100移動情形的參數，進而讓電子裝置100進行實際的移動。
在步驟S230中，取像單元132可依據目前電子裝置100的行進方向而對電子裝置100的前方景像擷取影像組，而此影像組可包括深度影像以及彩色影像。接著，在步驟S240中，分析單元134即分析此影像組與目標物150(例如人體)的影像關係而產生用於使電子裝置100往目標物150前進的第二速度SP2。
舉例而言，當目標物150為人體時，分析單元134即可依據例如OpenNI的人體識別資料庫來找出深度影像中是否出現相似於人體的形狀。當分析單元134判斷深度影像中出現人體形狀時，可進而依據深度影像與目標物150(亦即人體)的影像關係來推斷在電子裝置100的前方景像中出現人體。此外，分析單元134可更依據人體形狀在深度影像中的分布情形來估算此人體與電子裝置100之間的距離。接著，分析單元134可進而在深度影像中顯示所述人體形狀，並對顯示的人體形狀進行例如質心運算，以在深度影像中決定所顯示人體形狀的人形座標(亦即所述人體形狀的質心位置)。
此外，分析單元134亦可依據例如OpenCV的人臉識別資料庫來找出彩色影像中是否出現相似於人臉的區域。當分析單元134判斷深度影像中出現人臉區域時，可進而依據彩色影像與目標物150(亦即人體)的影像關係來推斷在電子裝置100的前方景像中出現人臉。接著，分析單
元134可更透過分析所述人臉區域而獲得人臉資訊(例如人臉區域的中心座標以及其中的人臉寬度)。
之後，分析單元134可依據人形座標以及人臉資訊來對出現在電子裝置100前的人體進行影像追蹤，以對應產生可使電子裝置100朝向人體前進的第二速度SP2。同樣地，電子裝置100並不會在第二速度SP2產生之後直接以第二速度SP2朝向電子裝置100前的人體前進。其原因在於，雖然影像追蹤模組130是以目標物150(例如人體)為追蹤目標，但由於電子裝置100在朝目標物150前進的途中有可能出現其他不同於目標物150的人體(例如路人)，若電子裝置100直接朝所追蹤到的人體前進的話，將有可能導致錯誤的導航結果。
因此，為了提高導航的準確性，處理單元140可同時考量第一速度SP1以及第二速度SP2，並依據電子裝置100所在的位置而決定應以哪個參數(亦即第一速度SP1以及第二速度SP2)作為控制電子裝置100移動的主要考量，以下將進行詳細的說明。
在步驟S250中，處理單元140可依據電子裝置100目前與目標物150的位置關係而計算權重值(其為介於0和1之間的實數)，此權重值可用以調整第一速度SP1以及第二速度SP2之間的參考比重。舉例而言，當電子裝置100的估計位置與目標位置(亦即目標物150的位置)相距甚遠時，此時出現在電子裝置100前方景像中的人體多半不是目標物150。因此，處理單元140此時可採用第一
速度SP1作為控制電子裝置100移動的主要考量，而不以影像追蹤模組130產生的第二速度SP2作為主要考量。如此一來，即使影像追蹤模組130偵測到例如路人的人體而對應產生了第二速度SP2，電子裝置100仍能夠持續地往目標物150前進，而不會朝此路人前進。
然而，由於電子裝置100的估計位置以及目標物150的目標位置是由估計而來，因此仍具有其不確定性。也就是說，電子裝置100的估計位置與其實際位置之間可能存在誤差。因此，若持續以第一速度SP1作為控制電子裝置100移動的主要考量，將可能使電子裝置100無法準確地到達目標物150處，甚至撞到目標物150。因此，隨著電子裝置100與目標物150之間距離的縮短，處理單元140可逐漸調高第二速度SP2的參考比重，使電子裝置100能夠依據影像追蹤的結果而準確地朝目標物150前進。此外，透過分析單元134對深度影像及彩色影像的分析，處理單元140可依據分析單元134產生的第二速度SP2而控制電子裝置100在目標物150前方的預設距離處(例如50公分)停下。如此一來，處理單元140即可更精準地控制電子裝置100所停留的位置，而不會出現例如碰撞目標物150等情形。
在一實施例中，所述權重值例如是用來調整第一速度SP1參考比重的比例值。也就是說，隨著電子裝置100與目標物150之間距離的縮短，處理單元140可逐漸調低所述權重值，以降低第一速度SP1的參考比重。換言之，當
電子裝置100與目標物150距離較遠時，處理單元140將以導航模組120提供的資訊(亦即第一速度SP1)作為控制電子裝置100移動的主要考量。而在電子裝置100接近目標物150的過程中，處理單元140可透過調低權重值的方式來使影像追蹤模組130提供的資訊(亦即第二速度SP2)逐漸成為控制電子裝置100移動的主要考量。
接著，在步驟S260中，處理單元140可依據權重值、第一速度SP1以及第二速度SP2來計算電子裝置100的實際移動速度。舉例而言，假若權重值(以w表示，其為介於0與1之間的實數)是用來調整第一速度SP1參考比重的比例值，則用來控制電子裝置100朝目標物150前進的移動速度(以V表示)可透過例如V=w．SP1+(1-w)．SP2的數學式來計算而得，但本發明的可實施方式不以此為限。
之後，在步驟S270中，處理單元140即可依據所述移動速度來控制電子裝置100往目標物150移動的移動情形。舉例而言，處理單元140可控制電子裝置100進行例如轉彎、前進、閃避障礙物以及閃避路人等操作，使電子裝置100能夠順利到達目標物150處。在一實施例中，當電子裝置100接近目標物150時，分析單元134可依據人形座標以及人臉資訊來對出現在電子裝置100前的人體進行影像追蹤，由於目標物150可能無法預知電子裝置100會以何種方向過來(例如，目標物150為盲人)，因此在電子裝置100移動至目標物150前並停止時，可發出通知訊號(例如聲響)來通知目標物150此時電子裝置100已
到達目標物150的附近。
需注意的是，雖然在圖2的流程圖中是先產生第一速度SP1(步驟S220)再產生第二速度SP2(步驟S230~240)，但本發明的導航方法亦可先進行步驟S230~240再進行步驟S220，或是同時進行上述各個步驟而同時產生第一速度SP1和第二速度SP2。
此外，在電子裝置100與目標物相距甚遠時，即使影像追蹤模組130偵測到電子裝置100的週遭出現人體，此偵測到的人體也不會是目標物150。因此，由於此時影像追蹤模組130所提供資訊的參考價值較低，處理單元140可先將影像追蹤模組130禁能。換言之，電子裝置100可將第一速度SP1的權重值調整為1，用以完全依照導航模組120提供的資訊來控制電子裝置100朝目標物移動。在一實施例中，處理單元140可在距離目標物特定距離時(例如4公尺)才致能影像追蹤模組130，從而將其影像追蹤結果納入考量。
另一方面，當電子裝置100相距甚近時(例如1.5公尺)，由於此時處理單元140應以影像追蹤結果作為控制電子裝置100的主要考量，因此處理單元140可將導航模組120禁能，以避免導航模組120的資訊對電子裝置100的移動情形造成影響。
本領域具通常知識者應可了解，雖然在以上實施例中的權重值是用以調整第一速度SP1在計算移動速度時的參考比重，但在其他實施例中，所述權重值也可以是用來調
整第二速度SP2參考比重的比例值。在此情況下，以上各種隨距離而調整權重值大小以及移動速度的計算方式亦應對應修改。舉例而言，隨著電子裝置100與目標物150之間距離的縮短，處理單元140可逐漸調高所述權重值，以提高第二速度SP2的參考比重。此外，移動速度的計算方式則可調整為透過例如V=(1-w)．SP1+w．SP2的數學式來計算而得，但本發明的可實施方式不以此為限。
本領域具通常知識者應同樣可了解，圖1所示的電子裝置100、目標物150、地理環境以及感測點160_1~160_10的配置方式僅用以舉例說明，並非用以限定本發明的實施方式。
圖3是依據圖1實施例繪示的導航模組示意圖。在本實施例中，導航模組120包括定位單元310、里程計320以及計算單元330。其中，定位單元310耦接計算單元330，並可接收例如圖1中的通訊單元110傳送的無線感測網路資訊(例如感測點160_1~160_10的訊號強度及位置資訊等)。里程計330耦接計算單元330，並可耦接例如馬達控制器(未繪示)、馬達驅動器(未繪示)及滾輪(未繪示)等元件，進而透過這些元件所提供的數據來計算電子裝置100的累計移動距離。接著，計算單元330可在綜合考量定位單元310以及里程計320提供的資訊之後，計算出電子裝置100的估計位置，進而據以產生第一速度SP1。換言之，計算單元330不會僅根據定位單元310或是里程計320所提供的資訊即決定電子裝置100的估計位置，而
會同時考量定位單元310及里程計320的資訊，並依據權重的概念來決定應以何者的資訊作為判斷電子裝置100的估計位置的主要考量。
圖4是依據圖2實施例繪示的用於估計電子裝置的估計位置的流程圖。請同時參照圖3及圖4，底下即搭配圖3的各個元件來說明圖4中方法的詳細步驟。在步驟S410中，定位單元310可依據圖1中的通訊單元110提供的無線感測網路資訊(例如感測點160_1~160_10的訊號強度及位置資訊的對應關係等)來估計電子裝置100的第一定位位置PL1。
在步驟S420中，定位單元310可判斷第一定位位置PL1的可靠度RB。詳細來說明，由於第一定位位置PL1可能因無線感測網路中的各種不穩定因素而造成第一定位位置PL1與電子裝置100的實際位置出現誤差，因此，定位單元310可透過特定手段來判斷第一定位位置PL1的可靠度RB。
舉例而言，定位單元310可在每次獲得第一定位位置PL1之後將其進行記錄，並且將目前時間點取得的第一定位位置PL1與前一個時間點(例如0.5秒之前)取得的第一定位位置進行差值運算而獲得此二定位位置之間的差值。當所述差值為例如100公分時，其代表電子裝置100在0.5秒內移動了100公分，而定位單元310即可判斷此時第一定位位置PL1的可靠度RB較低(因電子裝置100在0.5秒內產生不合理的移動情形)。舉另一例而言，假
若所述差值為例如10公分時，定位單元310即可判斷此時的第一定位位置PL1的可靠度RB較高(因電子裝置100在0.5秒內的移動情形較合理)。簡而言之，所述差值與可靠度RB成反比。
接著，在步驟S430中，里程計320可計算電子裝置100的累計移動距離DI，並且在步驟S440中，依據此累計移動距離DI而估計電子裝置100的第二定位位置PL2。具體而言，里程計320可依據前一個時間點(例如0.5秒之前)所得的估計位置，再結合目前時間點所量測到的累計移動距離DI以及例如滾輪的旋轉方式等資訊來估計電子裝置100的第二定位位置PL2。然而，隨著電子裝置100移動距離的增加，里程計320有可能因誤差的累積而導致估計出錯誤的第二定位位置PL2。
接著，計算單元330可透過例如可靠度RB以及累計移動距離DI等資訊來判斷應以第一定位位置PL1或是第二定位位置PL2來作為估計電子裝置100的估計位置的主要考量。因此，在步驟S450中，計算單元330可依據可靠度RB以及累計移動距離DI來決定第一定位位置PL1的定位權重值。詳細而言，當可靠度RB較高或是累計移動距離DI較長時，其意味著定位單元310的估計結果較準確，而里程計320的估計結果則可能因累積的誤差而較不準確。此時，計算單元330可調高第一定位位置PL1的定位權重值，以採用第一定位位置PL1來作為估計電子裝置100的估計位置的主要考量。另一方面，當可靠度RB
較低或是累計移動距離DI較短時，其意味著定位單元310的估計結果較不準確，而里程計320的估計結果則可能因尚未累積過多的誤差而較準確。此時，計算單元330可調低第一定位位置PL1的定位權重值，亦即不採用第一定位位置PL1來作為估計電子裝置100的估計位置的主要考量。
之後，在步驟S460中，計算單元330可依據所述定位權重值、第一定位位置PL1以及第二定位位置PL2來計算電子裝置100的估計位置。舉例而言，電子裝置100的估計位置(以EL表示)可由例如EL=pw．PL1+(1-pw)．PL2的數學式計算而得。其中，pw為第一定位位置PL1的定位權重值，且其為介於0與1之間的實數。
如此一來，在綜合考量定位單元310與里程計320所提供的資訊之後，計算單元330可獲得較精準的估計位置，而不會僅因不穩定的第一定位位置PL1或是累積過多誤差的第二定位位置PL2而產生錯誤的估計位置。此外，在其他實施例中，由於里程計320一般所需的運算複雜度較低，且其在電子裝置100移動的初期具有良好的定位精確度，因此計算單元330可僅參考第二定位位置PL2即決定估計位置。
需注意的是，雖然在圖4的流程圖中是先依據第一定位位置PL1來判斷可靠度(步驟S410~S420)，再依據累計移動距離DI來估計第二定位位置PL2(步驟S430~440)，但本發明中計算電子裝置100的估計位置方
法亦可先進行步驟S430~440再進行步驟S410~S420，或是同時進行上述各個步驟。
綜上所述，在本發明實施例提供的電子裝置及其導航方法中，可在分別透過導航模組以及影像追蹤模組取得第一速度及第二速度之後，由處理單元以權重值的概念來將第一速度及第二速度進行綜合考量，以求得最適於電子裝置的移動速度。如此一來，電子裝置除了能反應於召喚訊號而從遠處朝目標物前進之外，更能在接近目標物時準確地朝向目標物前進。此外，由於在接近目標物時主要是依據影像追蹤模組的第二速度來控制電子裝置的移動情形，因此可以精確地掌握與目標物之間的距離，從而避免例如撞到目標物的情形。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧電子裝置
110‧‧‧通訊單元
120‧‧‧導航模組
130‧‧‧影像追蹤模組
132‧‧‧取像單元
134‧‧‧分析單元
140‧‧‧處理單元
150‧‧‧目標物
160_1~160_10‧‧‧感測點
310‧‧‧定位單元
320‧‧‧里程計
330‧‧‧計算單元
CS‧‧‧召喚訊號
DI‧‧‧累計移動距離
PL1‧‧‧第一定位位置
PL2‧‧‧第二定位位置
RB‧‧‧可靠度
SP1‧‧‧第一速度
SP2‧‧‧第二速度
S210~S270、S410~S460‧‧‧步驟
圖1是依據本發明之一實施例繪示的在電子裝置接收目標物的召喚訊號之後，自動前往目標物處的示意圖。
圖2是依據本發明之一實施例繪示的導航方法流程圖。
圖3是依據圖1實施例繪示的導航模組示意圖。
圖4是依據圖2實施例繪示的用於估計電子裝置的估
計位置的流程圖。
S210~S270‧‧‧步驟
Claims (16)
- 一種導航方法，適用於一電子裝置，所述方法包括下列步驟：透過一無線感測網路接收一召喚訊號，其中該召喚訊號來自於一目標物；分析該目標物與該電子裝置之間的一位置關係以產生一第一速度；擷取一影像組；分析該影像組與該目標物的一影像關係以產生一第二速度；計算關聯於該位置關係的一權重值；依據該權重值、該第一速度以及該第二速度計算一移動速度；以及透過該移動速度控制該電子裝置往該目標物移動的一移動情形。
- 如申請專利範圍第1項所述之方法，其中分析該目標物與該電子裝置之間的該位置關係以產生該第一速度的步驟包括：估計該電子裝置的一估計位置；透過該無線感測網路接收該目標物的一目標位置；以及依據該估計位置以及該目標位置決定使該電子裝置向該目標物前進的該第一速度。
- 如申請專利範圍第2項所述之方法，其中估計該電 子裝置的該估計位置的步驟包括：估計該電子裝置的一第一定位位置；判斷該第一定位位置的一可靠度；計算該電子裝置的一累計移動距離；依據該累計移動距離估計該電子裝置的一第二定位位置；以及依據該可靠度以及該累計移動距離決定該第一定位位置的一定位權重值；依據該定位權重值、該第一定位位置、該第二定位位置計算該電子裝置的該估計位置。
- 如申請專利範圍第3項所述之方法，其中估計該電子裝置的該第一定位位置的步驟包括：接收在該無線感測網路中的多個感測點的一位置資訊；偵測各所述感測點的一訊號強度；以及依據各所述感測點的該位置資訊以及該訊號強度的一對應關係，判斷該第一定位位置。
- 如申請專利範圍第3項所述之方法，其中判斷該第一定位位置的該可靠度的步驟包括：記錄該第一定位位置；以及計算在一目前時間區間中的該第一定位位置與在前一時間區間中的該第一定位位置之間的一差值，其中，該差值與該可靠度成反比。
- 如申請專利範圍第1項所述之方法，其中該影像組 包括一深度影像以及一彩色影像，該目標物為一人體，而分析該影像組與該目標物的該影像關係以產生該第二速度的步驟包括：在該深度影像中偵測該人體的一人形座標；在該彩色影像中偵測該人體的一人臉資訊；以及結合該人形座標與該人臉資訊而決定使該電子裝置向該人體前進的該第二速度。
- 如申請專利範圍第6項所述之方法，其中在該深度影像中偵測該人體的該人形座標的步驟包括：依據一人體識別資料庫找出該人體的一人體形狀；在該深度影像中顯示該人體形狀；以及對顯示的該人體形狀進行一質心運算，以決定該人形座標。
- 如申請專利範圍第6項所述之方法，其中該人臉資訊包括一中心座標以及一人臉寬度，而在該彩色影像中偵測該人體的該人臉資訊的步驟包括：依據一人臉識別資料庫找出該人體的一人臉區域；以及計算該人臉區域的該中心座標以及該人臉寬度。
- 一種電子裝置，包括：一通訊單元，透過一無線感測網路接收一召喚訊號，其中該召喚訊號來自於一目標物；一導航模組，耦接該通訊單元，分析該目標物與該電子裝置之間的一位置關係以產生一第一速度； 一影像追蹤模組，包括：一取像單元，擷取一影像組；以及一分析單元，耦接該取像單元，分析該影像組與該目標物的一影像關係以產生一第二速度；以及一處理單元，耦接該導航模組以及該分析單元，計算關聯於該位置關係的一權重值，並依據該權重值、該第一速度以及該第二速度計算一移動速度，以及透過該移動速度控制該電子裝置往該目標物移動的一移動情形。
- 如申請專利範圍第9項所述之電子裝置，其中該導航模組估計該電子裝置的一估計位置，並透過該無線感測網路接收該目標物的一目標位置，以及依據該估計位置以及該目標位置決定使該電子裝置向該目標物前進的該第一速度。
- 如申請專利範圍第10項所述之電子裝置，其中該導航模組包括：一定位單元，估計該電子裝置的一第一定位位置，並判斷該第一定位位置的一可靠度；一里程計，計算該電子裝置的一累計移動距離，並依據該累計移動距離估計該電子裝置的一第二定位位置；以及一計算單元，耦接該定位單元以及該里程計，依據該可靠度以及該累計移動距離決定該第一定位位置的一定位權重值，並依據該定位權重值、該第一定位位置、該第二定位位置計算該電子裝置的該估計位置。
- 如申請專利範圍第11項所述之電子裝置，其中該通訊單元接收在該無線感測網路中的多個感測點的一位置資訊，並偵測各所述感測點的一訊號強度，而該定位單元依據各所述感測點的該位置資訊以及該訊號強度的一對應關係，判斷該第一定位位置。
- 如申請專利範圍第11項所述之電子裝置，其中該分析單元記錄該第一定位位置，並計算在一目前時間區間中的該第一定位位置與在前一時間區間中的該第一定位位置之間的一差值，其中，該差值與該可靠度成反比。
- 如申請專利範圍第9項所述之電子裝置，其中該影像組包括一深度影像以及一彩色影像，該目標物為一人體，而該分析單元在該深度影像中偵測該人體的一人形座標，接著在該彩色影像中偵測該人體的一人臉資訊，以及結合該人形座標與該人臉資訊而決定使該電子裝置向該人體前進的該第二速度。
- 如申請專利範圍第14項所述之電子裝置，其中該分析單元依據一人體識別資料庫找出該人體的一人體形狀，接著在該深度影像中顯示該人體形狀，以及對顯示的該人體形狀進行一質心運算，以決定該人形座標。
- 如申請專利範圍第9項所述之電子裝置，其中該人臉資訊包括一中心座標以及一人臉寬度，且該分析單元依據一人臉識別資料庫找出該人體的一人臉區域，接著計算該人臉區域的該中心座標以及該人臉寬度。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101145700A TWI481980B (zh) | 2012-12-05 | 2012-12-05 | 電子裝置及其導航方法 |
| US13/854,131 US9081384B2 (en) | 2012-12-05 | 2013-03-31 | Autonomous electronic apparatus and navigation method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101145700A TWI481980B (zh) | 2012-12-05 | 2012-12-05 | 電子裝置及其導航方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201423295A true TW201423295A (zh) | 2014-06-16 |
| TWI481980B TWI481980B (zh) | 2015-04-21 |
Family
ID=50826220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW101145700A TWI481980B (zh) | 2012-12-05 | 2012-12-05 | 電子裝置及其導航方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9081384B2 (zh) |
| TW (1) | TWI481980B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI557421B (zh) * | 2015-04-21 | 2016-11-11 | 金寶電子工業股份有限公司 | 定位輔助方法及其電子移動裝置 |
| US9643321B2 (en) | 2015-02-13 | 2017-05-09 | Hon Hai Precision Industry Co., Ltd. | Robot capable of dancing with musical tempo |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101697857B1 (ko) * | 2015-04-08 | 2017-01-18 | 엘지전자 주식회사 | 이동 로봇 및 그의 위치인식방법 |
| DE102015109775B3 (de) | 2015-06-18 | 2016-09-22 | RobArt GmbH | Optischer Triangulationssensor zur Entfernungsmessung |
| CN106323335B (zh) * | 2015-07-02 | 2023-05-02 | 中国科学院沈阳自动化研究所 | 一种可重构室内移动机器人导航性能测评仪及其测评方法 |
| DE102015114883A1 (de) | 2015-09-04 | 2017-03-09 | RobArt GmbH | Identifizierung und Lokalisierung einer Basisstation eines autonomen mobilen Roboters |
| DE102015119501A1 (de) | 2015-11-11 | 2017-05-11 | RobArt GmbH | Unterteilung von Karten für die Roboternavigation |
| DE102015119865B4 (de) | 2015-11-17 | 2023-12-21 | RobArt GmbH | Robotergestützte Bearbeitung einer Oberfläche mittels eines Roboters |
| DE102015121666B3 (de) | 2015-12-11 | 2017-05-24 | RobArt GmbH | Fernsteuerung eines mobilen, autonomen Roboters |
| DE102016102644A1 (de) | 2016-02-15 | 2017-08-17 | RobArt GmbH | Verfahren zur Steuerung eines autonomen mobilen Roboters |
| CN107421538B (zh) * | 2016-05-23 | 2020-09-11 | 华硕电脑股份有限公司 | 导航系统及导航方法 |
| CN106131955B (zh) * | 2016-07-12 | 2017-12-26 | 安徽工程大学 | 一种基于移动机器人辅助的无线传感器网络节点定位方法 |
| EP3590014B1 (de) | 2017-03-02 | 2021-11-17 | Robart GmbH | Verfahren zur steuerung eines autonomen, mobilen roboters |
| CN108245099A (zh) * | 2018-01-15 | 2018-07-06 | 深圳市沃特沃德股份有限公司 | 机器人移动方法和装置 |
| CN112711051A (zh) * | 2020-12-18 | 2021-04-27 | 易瓦特科技股份公司 | 一种飞控系统定位方法、装置、设备及存储介质 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5321614A (en) * | 1991-06-06 | 1994-06-14 | Ashworth Guy T D | Navigational control apparatus and method for autonomus vehicles |
| DE4408982C1 (de) * | 1994-03-16 | 1995-05-18 | Deutsche Forsch Luft Raumfahrt | Autonomes Navigationssystem für einen mobilen Roboter oder Manipulator |
| DE19822508A1 (de) * | 1998-05-19 | 1999-12-02 | Daimler Chrysler Ag | Verfahren zur Generierung von Ankopplungsbahnen, verwendbar zur Führung eines Fahrzeugs zu einer vorgegebenen Zielbahn |
| US6463368B1 (en) * | 1998-08-10 | 2002-10-08 | Siemens Aktiengesellschaft | Method and device for determining a path around a defined reference position |
| US20070061041A1 (en) | 2003-09-02 | 2007-03-15 | Zweig Stephen E | Mobile robot with wireless location sensing apparatus |
| KR100561863B1 (ko) * | 2004-02-19 | 2006-03-16 | 삼성전자주식회사 | 가상 센서를 이용한 로봇의 네비게이션 방법 및 장치 |
| US7410266B2 (en) * | 2004-03-22 | 2008-08-12 | Angstrom, Inc. | Three-dimensional imaging system for robot vision |
| US7962150B2 (en) * | 2004-04-28 | 2011-06-14 | Lawrence Livermore National Security, Llc | Ultra-wideband radios for time-of-flight-ranging and network position estimation |
| KR100641113B1 (ko) | 2004-07-30 | 2006-11-02 | 엘지전자 주식회사 | 이동로봇 및 그의 이동제어방법 |
| ATE524784T1 (de) * | 2005-09-30 | 2011-09-15 | Irobot Corp | Begleitroboter für persönliche interaktion |
| TW200728759A (en) | 2007-03-02 | 2007-08-01 | Univ Chang Gung | Indoor positioning method of wireless sensor network |
| TWI324101B (en) | 2007-12-13 | 2010-05-01 | Ind Tech Res Inst | Autonomous robot and position system and method thereof |
| TWI455494B (zh) * | 2010-07-13 | 2014-10-01 | Qisda Corp | 無線訊號發射平台、移動電子裝置及追蹤導引訊號之方法 |
| TW201224955A (en) * | 2010-12-15 | 2012-06-16 | Ind Tech Res Inst | System and method for face detection using face region location and size predictions and computer program product thereof |
| KR20130096539A (ko) * | 2012-02-22 | 2013-08-30 | 한국전자통신연구원 | 자율 이동장치 및 그 제어 방법 |
-
2012
- 2012-12-05 TW TW101145700A patent/TWI481980B/zh not_active IP Right Cessation
-
2013
- 2013-03-31 US US13/854,131 patent/US9081384B2/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9643321B2 (en) | 2015-02-13 | 2017-05-09 | Hon Hai Precision Industry Co., Ltd. | Robot capable of dancing with musical tempo |
| TWI598871B (zh) * | 2015-02-13 | 2017-09-11 | 鴻海精密工業股份有限公司 | 可根據音樂節拍跳舞的機器人 |
| TWI557421B (zh) * | 2015-04-21 | 2016-11-11 | 金寶電子工業股份有限公司 | 定位輔助方法及其電子移動裝置 |
| CN106199498A (zh) * | 2015-04-21 | 2016-12-07 | 金宝电子工业股份有限公司 | 定位辅助方法及其电子移动装置 |
| US10225685B2 (en) | 2015-04-21 | 2019-03-05 | Kinpo Electronics, Inc. | Method for assisting positioning and movable electronic device thereof |
| CN106199498B (zh) * | 2015-04-21 | 2019-07-09 | 金宝电子工业股份有限公司 | 定位辅助方法及其电子移动装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI481980B (zh) | 2015-04-21 |
| US9081384B2 (en) | 2015-07-14 |
| US20140156125A1 (en) | 2014-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI481980B (zh) | 電子裝置及其導航方法 | |
| US8793069B2 (en) | Object recognition system for autonomous mobile body | |
| TWI659398B (zh) | 利用方向感應之侵入偵測技術 | |
| US8467579B2 (en) | Apparatus and method for estimating distance and position of object based on image of single camera | |
| US8019475B2 (en) | Routing apparatus for autonomous mobile unit | |
| KR101486308B1 (ko) | 이동 객체를 추종하기 위한 이동로봇 제어 장치, 방법 및 이동로봇 | |
| WO2017041225A1 (zh) | 一种机器人跟随方法 | |
| CN103592944A (zh) | 一种超市购物机器人及其行进路径规划方法 | |
| KR20060066975A (ko) | 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기 | |
| EP3807674B1 (en) | Motion assisted leakage removal for radar applications | |
| WO2017201663A1 (zh) | 一种运动目标的监测方法、穿戴式装置及服务器 | |
| JP6462528B2 (ja) | 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム | |
| CN110942474A (zh) | 机器人目标跟踪方法、设备及存储介质 | |
| US11080562B1 (en) | Key point recognition with uncertainty measurement | |
| CN106200654A (zh) | 无人机飞行速度的控制方法和装置 | |
| WO2018228258A1 (zh) | 一种移动电子设备以及该移动电子设备中的方法 | |
| KR20200102108A (ko) | 차량의 객체 검출 장치 및 방법 | |
| JP2013054399A (ja) | 車両周辺監視装置 | |
| JP5512258B2 (ja) | 向き計測装置、向き計測システム、向き計測方法、及び向き計測プログラム | |
| CN112291701B (zh) | 定位验证方法、装置、机器人、外部设备和存储介质 | |
| JP2019144900A (ja) | 状態推定装置及びプログラム | |
| US10802126B2 (en) | Electronic device and positioning method | |
| KR20220115641A (ko) | 반려동물 모니터링 로봇 | |
| TWI570423B (zh) | 定位方法 | |
| JP3285567B2 (ja) | ３次元位置計測装置及び方法並びに３次元位置計測プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |