TWI703950B - 清掃機及其控制方法 - Google Patents

清掃機及其控制方法 Download PDF

Info

Publication number
TWI703950B
TWI703950B TW107109703A TW107109703A TWI703950B TW I703950 B TWI703950 B TW I703950B TW 107109703 A TW107109703 A TW 107109703A TW 107109703 A TW107109703 A TW 107109703A TW I703950 B TWI703950 B TW I703950B
Authority
TW
Taiwan
Prior art keywords
images
illuminance
camera
controller
mode
Prior art date
Application number
TW107109703A
Other languages
English (en)
Other versions
TW201907855A (zh
Inventor
朴商熱
李成勳
Original Assignee
南韓商Ｌｇ電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商Ｌｇ電子股份有限公司 filed Critical 南韓商Ｌｇ電子股份有限公司
Publication of TW201907855A publication Critical patent/TW201907855A/zh
Application granted granted Critical
Publication of TWI703950B publication Critical patent/TWI703950B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4063—Driving means; Transmission means therefor
    • A47L11/4066—Propulsion of the whole machine
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009—Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/30—Arrangement of illuminating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Abstract

一種自控式清掃機，包括：一本體；一驅動單元，其選擇性地提供一驅動力以移動該本體；一相機，其拍攝該本體周圍的一空間的複數個影像；以及一控制器，其在複數個行進模式之間進行選擇，並且基於在該等行進模式之間的選擇管理該驅動單元和該相機；其中，該控制器在該相機拍攝該等影像時，基於該等行進模式之間的選擇改變該等影像中與照度有關的該相機的設定。

Description

清掃機及其控制方法
本發明案涉及一種清掃機及其控制方法，特別涉及一種識別障礙物並執行自主行進的清掃機及其控制方法。
一般而言，機器人是為工業目的而開發的，並且負責部分工廠的自動化。最近，機器人應用領域進一步擴展到開發醫療機器人或航太機器人，並且已經製造在一般房屋中使用的家用機器人。
家用機器人的典型例子是清掃機器人，其為一種用於在預定區域行進的同時藉由吸入環境灰塵或異物執行清潔的家用電器。這種清掃機器人包括一般可再充電的電池，並具有能夠在行進過程中避開障礙物的障礙物感測器，以使該清掃機器人可以在行進時執行清潔。
近來，除了清掃機器人在清掃區域自主行進的同時執行清潔之外，對清掃機器人在諸如衛生保健、智慧家庭，以及遠端控制等各領域中應用進行了積極的研究。
通常，清掃機器人使用在定位與映射(SLAM)行進期間的同時，透過由朝向本體上側的天花板相機所獲得的影像來創建清掃地圖。而且，一般而言，清掃機器人在監控行進過程中使用由朝向本體前側的前置相機所獲得的影像來傳送關於本體周圍的資訊。
在此，清掃機器人的控制器可以將天花板相機和前置相機的某些固定值或設定值設定為不同。例如，控制器可以設定用於同時定位和映射(SLAM)的天花板相機的設定值，以拍攝具有相對較低照度的影像。在另一個例子中，控制器可以控制用於監控拍攝相對高照度的影像的前置相機的設定 值。亦即，儘管前置相機具有與天花板相機相同的性能，但控制器可以根據目的將相機的設定值設定為不同。
然而，當使用相機的一固定設定值時，應設置與清掃機器人執行的行進模式的數量相對應的相機，以正常執行複數個行進模式。亦即，由於一般的清掃機器人應該設置分別對應於複數個行進模式的複數個相機，所以增加了製造成本。
另一方面，近年來，已經出現了能夠僅使用單一相機執行多種功能的清掃機器人的需求。在僅使用單一相機的情況下，如果是在固定相機的設定值的狀態下獲得了影像，則不能獲得複數個行進模式所需的各種影像。
關於這一點，韓國註冊專利第10-0185909號(公開日期：1996年2月23日)揭露了一種構造，其中基於對視窗內的成像場景和視窗外的成像場景設置成不同的權重值，產生了曝光控制信號。然而，根據韓國註冊專利第10-0185909號之用於控制相機的曝光的設備僅提供了光圈，以基於成像場景內之被攝體的位置提供精確的亮度，並且難以根據由清掃機器人執行的功能獲得具有所需設定值的影像。
在適當的情況下，將上述參考文獻以引用方式併入本文中，作為附加或替代細節、特徵及/或技術背景的適當教示。
因此，本發明詳細描述的態樣是提供一種自控式清掃機以及其控制方法，該清掃機能夠僅使用單一相機獲得具有清掃機的複數個行進模式所需的設定值的影像。本發明詳細描述的另一態樣是提供一種自控式清掃機以及其控制方法，該清掃機能夠僅使用單一相機獲得具有清掃機的行進模式所需的設定值的影像。
本發明詳細描述的另一態樣是提供一種自控式清掃機，其藉由依據控制器所執行的一執行演算法改變單一相機的設定值，能夠在僅有相機的情況下執行複數個行進模式。
為了達成這些及其他態樣並遵照說明書，如在此具體化地和廣泛地描述，一種自控式清掃機，包括：一本體；一驅動單元，其選擇性地提供一 驅動力以移動該本體；一相機，其拍攝該本體周圍的一空間的複數個影像；以及一控制器，其在複數個行進模式之間進行選擇，並且基於在該等行進模式之間進行選擇來管理該驅動單元和該相機；其中，該控制器在該相機拍攝該等影像時，基於該等行進模式之間的選擇，改變該等影像中與照明(即，照度)有關的該相機的設定。
該相機可以每秒拍攝一預設數量的影像，並且該控制器可以控制該相機以第一照度拍攝一些預設數量的影像，而其餘的影像以第二照度拍攝。該相機可以獲得每秒30個畫面的影像，該控制器可以控制該相機以第一照度拍攝30個畫面中之3個畫面的影像，並以第二照度拍攝其他剩餘27個畫面的影像，並且該第一照度可以被設定成低於該第二照度。
當選擇一第一行進模式和一第二行進模式時，該控制器可以檢測與使用在該第一行進模式中的影像的照度有關的資訊、以及與使用在該第二行進模式中的影像的照度有關的資訊。當選擇該第一行進模式和該第二行進模式時，該控制器可以檢測使用在該第一行進模式中每單位時間的影像的數量、以及使用在該第二行進模式中的影像的數量。
當使用在該第一行進模式中的影像的照度是該第一照度時，使用在該第一行進模式中每單位時間的影像的數量是一第一數量，使用在該第二行進模式中的影像的照度是該第二照度，且使用在該第一行進模式中每單元時間的影像的數量是一第二數量；如果選擇該第一行進模式和該第二行進模式，則在該相機每秒獲得一預設數量的影像的同時，該控制器可以控制該相機，使得以該第一照度拍攝的第一或更多數量的影像被包含在所獲得的影像中，而以該第二照度拍攝的第二或更多數量的影像被包含在所獲得的影像中。
該控制器基於該等影像的照度值，將該相機拍攝的該等影像分類為複數個群組。該清掃機可以進一步包括：一記憶體，用於儲存該相機所拍攝的該等影像，其中，該控制器可以根據分類結果對該等影像進行標註，並將所標註的影像儲存在該記憶體中。
在對該等影像進行分類之後，該控制器可以使用以該第一照度拍攝的影像執行所選擇的行進模式中的該第一行進模式，並且使用以該第二照度拍攝的影像執行所選擇的行進模式中的該第二行進模式。
該第一行進模式可以是一同時定位和映射(SLAM)行進模式，並且該控制器可以藉由使用以該第一照度拍攝的影像檢測與該本體的位置有關的資訊，執行該第一行進模式。該控制器可以使用以該第一照度所拍攝的影像，產生該本體所在的清掃區域的地圖資訊。
該清掃機可以進一步包括：一感測器，用於感測該本體所在的清掃區域的亮度，其中，該控制器可以基於該感測器的感測結果確定該本體周圍的亮度是否改變，並且根據確定結果改變相機的照度值以校正使用在該第一行進模式中的影像的照度值。
該清掃機可以進一步包括：與外部進行通訊的一通訊單元，其中，該第二行進模式可以為一監控行進模式，且該控制器可以控制該通訊單元將以該第二照度拍攝的影像中的至少一個影像傳送到一伺服器或一使用者終端。
該控制器可以從以該第二照度拍攝的影像中選擇一預設數量的影像，並且控制該通訊單元將所選擇的影像傳送到該伺服器和該使用者終端中的至少一個。該控制器可以確定以該第二照度拍攝的每一個影像的清晰度，並且選擇所確定的清晰度大於或等於一預設清晰度值的影像。
該控制器可以從以該第二照度拍攝的影像中選擇對應於預設輪次的影像。當通過該通訊單元接收到施加於該伺服器和該使用者終端中的至少一個的一預定使用者輸入時，該控制器可以增加或減少傳送到該伺服器和該使用者終端中的至少一個的影像的數量，並從以該第二照度拍攝的影像中選擇所增加或減少的影像數量。
當該相機開始成像時，該控制器可以執行第一照度控制以控制該相機以該第一照度拍攝一預定數量的影像，並且當該第一照度控制完成時，該控制器可以執行第二照度控制以控制該相機以該第二照度拍攝一預定數量的影像。
該控制器可以依次地重複地執行該第一照度控制和該第二照度控制。該相機的一光軸可以與該本體所在的清掃區域的地板表面形成一預定角度。該相機的一視角可以是一預定角度或更大。
根據本發明的自控式清掃機，由於該相機的設定值依需求而改變，因此在僅使用單一相機時，可以正常執行複數個行進模式。亦即，根據本發明之用於控制該清掃機的方法，減少了安裝在該本體中該相機的數量，從而獲得了降低該清掃機的製造成本的效果。
而且，根據本發明，由於具有使用一個相機的複數個行進模式所需的設定值的影像，所以可以減少清掃機的資料通過量。另外，根據本發明，由於使用從一個相機獲得的資訊執行複數個行進模式，因此可以增加資料處理的效率。
根據下文給出的詳細描述，本申請案的進一步的適用範圍將變得更加顯而易見。然而，應當理解的是，說明書和具體示例在指示本發明的較佳實施例的同時，僅予以舉例說明的方式，因為根據詳細描述，在本發明的範圍內的各種變化和修改對於本領域技術人員將變得顯而易見。
100‧‧‧清掃機器人(移動式機器人)
110‧‧‧清掃機本體
111‧‧‧滾輪單元
111a‧‧‧主輪
111b‧‧‧副輪
120‧‧‧抽吸單元(吸頭)
129‧‧‧蓋構件
130‧‧‧感測單元(相機、影像感測器)
140‧‧‧集塵盒
500‧‧‧清掃區域
510‧‧‧充電站
601‧‧‧前置相機
602‧‧‧天花板相機
603‧‧‧相機
901~911‧‧‧畫面
1002‧‧‧監控行進模式
1003‧‧‧深度學習辨識模式
1004‧‧‧SLAM行進模式
1001‧‧‧單一相機
1100‧‧‧(無線)通訊單元
1200‧‧‧輸入單元
1300‧‧‧驅動單元(馬達)
1400‧‧‧感測單元(感測器)
1500‧‧‧輸出單元(顯示器、揚聲器)
1600‧‧‧電源單元(電源)
1700‧‧‧記憶體
1800‧‧‧控制器(控制處理器、控制電路)
1801‧‧‧照度控制單元(照度控制處理器、照度控制電路)
1802‧‧‧監控單元
L‧‧‧第一照度
L1‧‧‧第一設定值
L2‧‧‧第二設定值
L3‧‧‧第三設定值
H‧‧‧第二照度
H1‧‧‧第四設定值
H2‧‧‧第五設定值
H3‧‧‧第六設定值
θ1‧‧‧視角
θ2‧‧‧視角
θ3‧‧‧視角
R‧‧‧反方向
F‧‧‧前進方向
S701~S705‧‧‧步驟
S711~S715‧‧‧步驟
將參照以下圖式詳細描述實施例，在圖式中相同的標號表示相同的元件，且其中：圖1是說明根據本發明一實施例之進行自主行進的清掃機的示例的立體圖；圖2是圖1中所示之進行自主行進的清掃機的平面圖；圖3是圖1中所示之進行自主行進的清掃機的側視圖；圖4是說明根據根據本發明一實施例之進行自主行進的清掃機的組件的方塊圖；圖5是說明根據本發明一實施例之清掃機和充電站安裝在清掃區域中的示例的概念圖；圖6A是說明分別包括前置相機和天花板相機的一般清掃機的示例的概念圖； 圖6B是說明根據本發明一實施例之使用單一相機的清掃機的實施例的概念圖；圖7A和圖7B是說明根據本發明一實施例之用於控制清掃機的方法的流程圖；圖8A是說明用於處理從圖6A中所示之一般清掃機的前置相機獲得的複數個畫面的方法的概念圖；圖8B是說明用於處理從圖6A中所示之一般清掃機的天花板相機獲得的複數個畫面的方法的概念圖；圖9A至圖9C是說明根據本發明一實施例之用於處理從清掃機的單一相機獲得的複數個畫面的方法的概念圖；以及圖10是說明根據本發明一實施例之用於控制清掃機的方法的方塊圖。
現在將參照附圖詳細描述示例性實施例。為了便於簡要描述參考附圖，相同或等同的組件將提供相同的參考標號，並且其描述將不被重複。
將被理解的是，當元件或層被稱為「在」另一元件或層上時，該元件或層可以直接在另一元件或層上或中間元件或層上。相反地，當元件被稱為“直接”在另一元件或層上時，則不存在中間元件或層。如本說明書所使用的，術語“及/或”包括一個或複數個相關所列項目的任何和所有組合。
應當理解的是，雖然這裡可以使用術語第一、第二、第三等來描述各種元件、部件、區域、層及/或部分，但是這些元件、組件、區域、層及/或部分不應受這些術語的限制。這些術語僅用於區別一個元件、組件、區域、層或部分與另一個區域、層或部分。因此，在不脫離本發明的教示的情況下，第一元件、組件、區域、層或部分可以被稱為第二元件、組件、區域、層或部分。
為了便於描述，可以在這裡使用諸如「較低」、「較高」等的空間相關術語來描述如圖中所示的一(多)個元件或特徵與另一(多)個元件或特徵的關係。應當理解的是，除了圖中所示的方向之外，空間相對術語還意圖包括裝置在使用或操作中的不同方向。例如，如果附圖中的裝置被翻轉，則被 描述為相對於其他元件或特徵「較低」的元件相對於其他元件或特徵將被導向為「較高」。因此，示例性術語「較低」可以涵蓋上方和下方的方位。裝置可以以其他方式定向(旋轉90度或在其他方向)，並且據以解釋在此使用的空間相對描述符。
此處使用的術語的目的僅用於描述特定實施例，而不意圖限制本發明。如本文所使用的，除非上下文另外明確指出，否則單數形式「一」、「一個」和「該」也旨在包括複數形式。將進一步被理解的是，當在本說明書中使用時，術語「包括」及/或「包含」指定所陳述的特徵、整體、步驟、操作、元件及/或組件的存在，但不排除存在或增加一個或多個其他特徵、整體、步驟、操作、元件、組件及/或其組合。
這裡參照作為本發明的理想化實施例(和中間結構)的示意圖的剖面圖來描述本發明的實施例。如此，由於諸如製造技術及/或公差等原因，可預期會出現說明形狀的改變。因此，本發明的實施例不應該被解釋為限於此處展示的區域的特定形狀，而是包括如製造導致的形狀偏差。
除非另外定義，否則此處使用的所有術語(包括技術和科學術語)具有與本發明所屬領域的一般技術人員通常理解的相同含義。應該進一步被理解的是，諸如通常使用的字典中定義的那些術語應該被解釋為具有與其在相關領域的上下文中的含義一致的含義，並且將不被理解為理想化或過度正式的意義，除非明確如此定義。
在本說明書中對「一個實施例」，「實施例」，「示例實施例」等的任何引用意味著結合該實施例描述的特定特徵、結構或特性被包括在至少一個實施例中。說明書中各處出現的這樣的片語不一定都指相同的實施例。此外，當結合任何實施例描述特定的特徵、結構或特性時，被認為實現與其他特徵、結構或特性有關的特徵，結構或特性實施例在本領域技術人員的能力範圍內。
圖1是說明根據本發明之清掃機器人100的示例的立體圖，圖2是圖1中所示之清掃機器人100的平面圖，圖3是圖中1所示之清掃機器人100的側視 圖。作為參考之用，在本發明中，可以使用具有相同含義的移動式機器人、清掃機器人和進行自主行進的清掃機(例如，自控式清掃機)。
參照圖1至圖3，清掃機器人100自行在一預定區域行進的同時，執行清掃地板的功能。在此，地板的清掃包括地板的吸塵(包括異物)和擦拭地板。清掃機器人100包括：清掃機本體110、抽吸單元(或吸頭)120、感測單元(在本文中也稱為相機或影像感測器)130、以及集塵盒(或稱為集塵容器或垃圾桶)140。
用於控制清掃機器人100的控制器(圖未顯示)和用於使清掃機器人100行進的滾輪單元111設置在清掃機本體110中。清掃機器人100可以透過滾輪單元111在各個方向上移動或旋轉。滾輪單元111包括主輪111a和副輪111b。
主輪111a設置在清掃機本體110的兩側，並可根據來自控制器的控制信號在一個方向或另一個方向上旋轉。每個主輪111a可以配置為彼此獨立地被驅動。例如，每個主輪111a可以被不同的馬達驅動。
副輪111b和主輪111a一起支撐清掃機本體110，並透過主輪111a輔助清掃機器人100的行進。副輪111b也可以設置在下文所述的抽吸單元120中。如上所述，當控制器控制滾輪單元111的驅動時，清掃機器人100可以在地板上自主行進。
同時，供電給清掃機器人100的電池(圖未顯示)安裝在清掃機本體110中。該電池可以是可再充電的並且可以可拆卸地設置在清掃機本體110的底面部分上。
抽吸單元120被設置以從清掃機本體110的一側突出並且吸入包括灰塵的空氣。所述一側可以是清掃機本體110沿著向前方向(F)行進的一側，即清掃機本體110的前側。
在圖式中，說明了抽吸單元120從清掃機本體110的一側向前側和左側和右側突出。詳細地說，抽吸單元120的前端部分設置在清掃機本體110的一側向前隔開的位置上，並且抽吸單元120的左端和右端部設置在清掃機本體110的一側向左和向右側隔開的位置上。
由於清掃機本體110具有圓形形狀，並且抽吸單元120的後端部分的兩側向清掃機本體110的左和右兩側突出，所以可以在清掃機本體110與抽吸單元120之間形成一空的空間，即間隙。該空的空間可以是清掃機本體110的左端和右端部與抽吸單元120的左端和右端部之間的空間，並具有向清掃機器人100的內側凹陷的形狀。
在障礙物陷入空的空間中的例子中，清掃機器人100可能被障礙物卡住而不能移動。為了防止這種情況，可以設置蓋構件129以覆蓋該空的空間的至少一部分。蓋構件129可以設置在清掃機本體110或抽吸單元120中。在該實施例中，蓋構件129從抽吸單元120的後端部分的兩側突出並覆蓋清掃機本體110的外圓周表面。
蓋構件129被設置以填充該空的空間，即清掃機本體110與抽吸單元120之間的空間的至少一部分。因此，可以避免障礙物被卡在空的空間中，或者雖然障礙物被卡在空的空間中，但是清掃機器人可以容易地將障礙物釋放。
從抽吸單元120突出的蓋構件129可以被清掃機本體110的外圓周表面支撐。當蓋構件129從清掃機本體110突出時，蓋構件129可以被抽吸單元120的後表面部分支撐。根據該結構，當抽吸單元120與障礙物碰撞時，可以將部分衝擊傳遞到清掃機本體110，以分散衝擊。
抽吸單元120可以可拆卸地耦接到清掃機本體110。當抽吸單元120與清掃機本體110分離時，可以將布料模組(圖未顯示)可拆卸地連接到清掃機本體110上。因此，當使用者想要去除地板上的灰塵時，使用者可以將抽吸單元120附接到清掃機本體110上，並且當使用者想要擦拭地板時，使用者可以將布料模組附接到清掃機本體110。
當抽吸單元120安裝在清掃機本體110中時，抽吸單元120的安裝可以由上述蓋構件129引導。亦即，由於蓋構件129被設置以覆蓋清掃機本體110的外圓周表面，所以可以確定抽吸單元120相對於清掃機本體110的相對位置。
感測單元130設置在清掃機本體110中。如圖所示，感測單元130可以設置在抽吸單元120所在的清掃機本體110的一側上，即清掃機本體110的前側。
感測單元130可以被設置以在清掃機本體110的垂直方向上與抽吸單元120重疊。感測單元130可以設置在抽吸單元120上方以感測清掃機器人100前方的障礙物、地理特徵等，以使位於最前沿的抽吸單元120不與障礙物碰撞。
感測單元130除了這種感測(或檢測)功能外，還被配置以額外地執行另一種感測功能。這將在下文中詳細描述。
在清掃機本體110中設置有集塵盒容納部，且獨自地收集在抽吸空氣中的灰塵的集塵盒140可拆卸地耦接到該集塵盒容納部。如圖所示，該集塵盒容納部可以設置在清掃機本體110的另一側上，即，設置在清掃機本體110的後部上。
集塵盒140的一部分可以容納在集塵盒容納部中，而集塵盒140的另一部分可以朝向清掃機本體110的後側(即，與前進方向(F)相反的反方向(R))突出。
引入含有灰塵的空氣的入口及將從灰塵中分離出的空氣排出的出口設置在集塵盒140中。當集塵盒140安裝在集塵盒容納部中時，該入口和該出口與設置在集塵盒容納部的內側壁上的第一開口和第二開口連通。在清掃機本體110內的進氣通道對應於從與連通部連通的入口(圖未顯示)到第一開口的流動通道，而排氣通道對應於從第二開口到排氣口的流動通道。
根據連接關係，通過抽吸單元120引入包含灰塵的空氣通過清掃機本體110內的進氣通道引入到集塵盒140，並且空氣和灰塵透過集塵盒140的濾鏡或旋風分離器彼此分離。灰塵被集塵盒140收集並且空氣從集塵盒140排出，通過清掃機本體110內的排氣流道，並最後通過排氣通道排出到外部。
在下文中，將參照圖4描述與清掃機器人100的組件有關的實施例。根據本發明一實施例的清掃機器人100或移動式機器人可以包括：通訊單元(此處也稱為無線通訊單元或通訊界面)1100、輸入單元1200(或輸入裝置)、驅動單元(或馬達)1300、感測單元(或感測器)1400、輸出單元(也稱為提供視覺輸出的顯示器或提供聲音的揚聲器)1500、電源單元(或電源)1600、記憶體1700、以及控制器(也稱為控制處理器或控制電路)1800的至少其中之 一，以及它們的任何組合。此處，圖4中所示的組件不是必需的，並且可以實現包括更多或更少組件的清掃機器人。以下，將描述這些組件。
首先，電源單元1600包括電池，該電池可由外部商用電源充電並向移動式機器人的內部供電。電源單元1600可以向包含在移動式機器人中的每個組件提供驅動電力，以提供移動式機器人行進(或移動或運行)或執行特定功能所需的操作電力。
此處，控制器1800可以檢測電池的剩餘電量，並且當剩餘電量不足時，控制器1800控制移動式機器人移動到連接到外部商業電力的充電站，使得電池可以從充電站接收到充電電流以被充電。電池可以連接到電池感測單元，並且剩餘電池容量及其充電狀態可以被傳送到控制器1800。輸出單元1500可以藉由控制器1800在螢幕上顯示剩餘的電池容量。
電池可以位於清掃機器人的中心的下側上，或者可以位於左側和右側中的一側。在後者的例子中，移動式機器人可以進一步包括一平衡重量(或平衡配重)以解決電池的重量不平衡。
用於基於人工智慧技術處理資訊的控制器1800包括至少一個模組，其進行資訊的學習、資訊的判斷、資訊的感知以及自然語言的處理中的至少一個。控制器1800可以進行學習、推論和處理諸如儲存在清掃機中的資訊、移動終端周圍的環境資訊，以及儲存在通訊可用的外部資源中的大量資訊(位元資料)中的至少一個，並且控制器1800可以使用利用機器學習技術學習的資訊預測(或判斷)清掃機的至少一個可執行操作，並且控制清掃機在至少一個預測的操作中執行最高實現性的操作。
機器學習技術是一種收集和學習大尺度資訊的技術，它並非基於至少一種演算法，並根據學習的資訊確定和預測資訊。學習資訊是一種識別資訊的特徵、規則、確定標準等、量化資訊與資訊之間的關係、以及使用量化模式預測新資料的操作。
機器學習技術所使用的演算法可以是一種基於統計學的演算法，且可以是例如使用樹結構形式作為預測模型的決策樹、模仿生物的神經網路結構和功能的神經網路、基於生物的評估演算法的通用演算法、將觀察到的 例子群集分佈到稱為群落的子集、以及透過隨機提取的隨機數計算函數值作為概率的的蒙地卡羅法(Monte Carlo method)等。
深度學習技術是機器學習技術的一個領域，它是一種利用深度神經網路(DNN)演算法執行學習、判定和處理資訊的至少其中之一的技術。DNN可以具有連接層和在諸層之間傳送資料的結構。這種深度學習技術可以允許使用針對平行演算優化的圖形處理單元(GPU)通過DNN學習大量的資訊。
控制器1800可以配備有學習引擎，其使用儲存在外部伺服器或記憶體中的訓練資料並且檢測用於識別預定對象的特徵。此處，用於識別對象的特徵可以包括對象的大小、形狀、和陰影等。
詳細地說，當通過設置在清掃機中的相機獲得的影像的一部分輸入到學習引擎時，控制器1800可以識別包含在輸入影像中的至少一個對象或生物。在此方式中，當學習應用到清掃機的行進時，控制器1800可以識別諸如椅子的腳部、風扇或特定形式的陽台等妨礙清掃機的行進的障礙物，以提高清掃機行進的效率和可靠性。
同時，上述學習引擎可以安裝在控制器1800中或者可以安裝在外部伺服器中。當學習引擎安裝在外部伺服器中時，控制器1800可以控制通訊單元1100以將至少一個影像作為分析目標傳送到外部伺服器。
藉由從清掃機接收的影像輸入到學習引擎，外部伺服器可以識別包含在相應影像中的至少一個對像或生物。此外，外部伺服器可以將與識別結果有關的資訊傳送給清掃機。此處，與識別結果相關的資訊可以包括與包含在作為分析目標的影像中的對象的數量有關的資訊和每個對象的名稱。
同時，驅動單元1300可以包括馬達，並驅動馬達在兩個方向上旋轉移動式機器人的本體的左和右主輪，以旋轉或移動本體。驅動單元1300可以使移動式機器人的本體向前/向後和向左/向右移動，或者使移動式機器人的本體以彎曲的方式行進或旋轉到定位。
同時，輸入單元1200從使用者接收關於清掃機器人的各種控制指令。輸入單元1200可以包括一個或多個按鈕，例如OK按鈕、設置按鈕等。OK按鈕是用於從使用者接收用於檢查檢測資訊、障礙物資訊、位置資訊、以及地 圖資訊的指令的按鈕，並且設置按鈕可以是用於從使用者接收用於設置上述類型的資訊的指令的按鈕。
此外，輸入單元1200可以包括：輸入重置按鈕，用於取消先前一使用者輸入並再次接收一使用者輸入；刪除按鈕，用於刪除一預設使用者輸入；用於設定或改變操作模式的按鈕；或者用於接收返回到充電站的指令的按鈕。
而且，輸入單元1200可以安裝在移動式機器人的上部中，作為硬式按鍵、軟式按鍵或觸控板。並且，輸入單元1200可以與輸出單元1500一起具有觸控螢幕的形式。
同時，輸出單元1500可以安裝在移動式機器人的上部中。其安裝位置或安裝形式可以變化。例如，輸出單元1500可以顯示電池狀態或行進方案。
另外，輸出單元1500可以輸出關於由感測單元1400檢測到的移動式機器人的內部狀態的資訊，例如，包含在移動式機器人中的每個組件的目前狀態。另外，輸出單元1500可以在螢幕上顯示由感測單元1400檢測到的外部狀態資訊、障礙物資訊、位置資訊和地圖資訊。輸出單元1500可以被配置為發光二極體(LED)、液晶顯示器(LCD)、電漿顯示面板(PDP)、有機發光二極體(OLED)中的至少一種裝置。
輸出單元1500可以進一步包括聲音輸出單元，其可聽見地輸出由控制器1800執行的移動式機器人的操作過程或操作結果。例如，輸出單元1500可以根據由控制器1800產生的警告信號向外輸出警告聲音。
這裡，聲音輸出單元可以是用於輸出聲音的單元，諸如蜂鳴器、揚聲器等，並且輸出單元1500可以透過聲音輸出單元輸出儲存在記憶體1700中具有一預定形式的聲音資料或留言資料。
因此，根據本發明一實施例的移動式機器人可以通過輸出單元1500輸出關於螢幕上的行進區域的環境資訊或者將其輸出為聲音。另外，根據另一實施例，移動式機器人可以通過通訊單元1100將地圖資訊或環境資訊傳送到終端裝置，使得終端裝置可以輸出通過輸出單元1500輸出的螢幕影像或聲音。
同時，通訊單元1100可以根據有線、無線和衛星通信方案之間的一種通訊方案，連接到位於特定區域內的終端裝置及/或不同的裝置(其將與本發明中的「家用電器」一起使用)以傳送和接收資料。
通訊單元1100可以向位於特定區域內的不同裝置傳送資料並從其接收資料。此處，該不同的裝置可以是任何裝置，只要其可以連接到網路並傳送和接收資料。例如，不同的裝置可以是諸如空調、加熱裝置、空氣清靜機、燈、電視機、以及汽車等的裝置。而且，不同的裝置可以是感測溫度、濕度、大氣壓力，以及氣體等的感測器。
同時，記憶體1700儲存控制或驅動與其對應的清掃機器人和資料的控制程序。記憶體1700可以儲存聲音資訊、影像資訊、障礙物資訊、位置資訊，以及地圖資訊等。此外，記憶體1700可以儲存與行進模式有關的資訊。
作為記憶體1700，通常使用非揮發性記憶體。這裡，非揮發性記憶體(NVM)(或NVRAM)是即使未向其施加電力也能夠連續保持儲存資訊的儲存裝置。例如，記憶體1700可以是ROM、快閃記憶體、磁性計算機儲存裝置(例如，硬碟或磁帶)、光碟驅動器、磁性RAM，以及PRAM等。
同時，感測單元1400(其可包括或對應於感測單元130)可以包括外部信號感測器、前部感測器、懸崖感測器、2D相機感測器、以及3D相機感測器。外部信號感測器可以感測移動式機器人的外部信號。外部信號感測器可以是例如紅外線感測器、超音波感測器、以及RF感測器等。
移動式機器人在接收到由充電站使用外部信號感測器產生的導引信號時可以檢查充電站的位置和方向。此處，充電站可以傳送指示方向和距離的導引信號，使得移動式機器人可以返回。亦即，移動式機器人在接收到從充電站所傳送的信號後，可以確定當前位置，並設定移動方向返回充電站。
同時，前感測器可以以一預定間隔安裝在移動式機器人的前側上，具體而言，沿著移動式機器人的側表面的外圓周表面。前感測器可以位於移動式機器人的至少一個側表面上以感測前方障礙物。前感測器可以感測存在於移動式機器人的移動方向上的物體，特別是障礙物，並將檢測資訊傳送至控 制器1800。亦即，前感測器可以感測房屋中存在於移動式機器人的移動路徑中的突起、家飾、傢俱、牆面、牆角等，並將相應的資訊傳送給控制器1800。
例如，前感測器可以是紅外感測器、超音波感測器、RF感測器、以及地磁感測器等，並且移動式機器人可以使用單一類型的感測器或兩種或兩種以上類型的感測器一起作為前感測器。例如，一般來說，超音波感測器可以主要用於感測遠程區域中的障礙物。超音波感測器可以包括傳輸單元和接收單元。控制器1800可以根據透過傳輸單元輻射的超音波是否被障礙物等反射並由接收單元接收，來確定是否存在障礙物，且藉由使用超音波輻射時間和超音波接收時間來計算到障礙物的距離。
此外，控制器1800可以藉由比較從傳輸單元輻射的超音波和由接收單元接收的超音波來檢測與障礙物的尺寸有關的資訊。例如，當接收單元接收到較大量的超音波時，控制器1800可以確定障礙物的尺寸較大。
在實施例中，可以在移動式機器人的前側的外圓周表面上安裝複數個超音波感測器(例如，五個超音波感測器)。此處，較佳的是，超音波感測器的傳輸單元和接收單元可以交替地安裝在移動式機器人的前側上。
亦即，傳輸單元可以設置成與移動式機器人的本體的前側的中心間隔開，並且在這種情況下，可以在接收單元之間設置一個或兩個或更多個傳輸單元，以形成從障礙物反射的超音波信號的接收區域等。由於這種配置，可以擴大接收區域，同時減少感測器的數量。超音波的傳送角度可以保持在不影響其他信號的範圍的角度以防止串擾現象。而且，接收單元的接收靈敏度可以被設定為不同。
而且，超音波感測器可以以一預定角度向上安裝，使得由超音波感測器產生的超音波向上輸出，並且在這種情況下，為了防止超音波向下輻射，可以進一步設置預定的阻擋構件。
同時，如上所述，可以使用兩種或更多種類型的感測器作為前感測器，並且因此，紅外線感測器、超聲波感測器和RF感測中的一個或多個類型的感測器可以作為前端感測器。例如，除了超音波感測器之外，前感測器可以包括紅外線感測器作為不同類型的感測器。
紅外線感測器可以與超音波感測器一起安裝在移動式機器人的外圓周表面上。紅外線感測器還可以感測移動式機器人前方或旁邊存在的障礙物，並將相應的障礙物資訊傳送給控制器1800。亦即，紅外線感測器可以感測房屋中存在於移動式機器人的移動路徑中的突起、家飾、傢俱、牆面、牆角等，並將相應的資訊傳送給控制器1800。因此，移動式機器人可以在清掃區域內移動而不與障礙物碰撞。
同時，作為懸崖感測器，可以使用各種類型的光學感測器，並且懸崖感測器可以感測支撐移動式機器人的本體的地板的障礙物。亦即，懸崖感測器可以安裝在移動式機器人100的後表面上，並且可以根據移動式機器人的類型安裝在不同的區域中。懸崖感測器可以位於移動式機器人的後表面上以感測地板上的障礙物。懸崖感測器可以是包括發光單元和光接收單元的紅外線感測器、超音波感測器、RF信號、以及位置敏感探測器(PSD)感測器等，比如障礙物感測器。例如，任何一個懸崖感測器都可以安裝在移動式機器人的前側上，而其餘兩個懸崖感測器可以安裝在相對後側上。
例如，懸崖感測器可以是PSD感測器，或者可以包含複數個不同類型的感測器。PSD感測器藉由使用半導體的表面電阻來檢測具有單一p-n接面的入射光的短距離和長距離的位置。PSD感測器包括檢測單軸上的光線的1DPSD感測器和可檢測表面上的光線位置的2D PSD感測器，它們具有pin光電二極體結構。PSD感測器是一種紅外線感測器，其將紅外線傳送到障礙物，並測量傳送到障礙物的紅外線與從障礙物反射後返回的紅外線之間的角度，從而測量它們之間的距離。亦即，PSD感測器使用三角測量法計算障礙物的距離。
PSD感測器包括向障礙物發射紅外光的發光單元和接收從障礙物反射後返回的紅外光的光接收單元。一般而言，PSD感測器形成為一個模組。在藉由使用PSD感測器感測障礙物的例子中，無論障礙物的反射率或顏色不同，都可以獲得穩定的測量值。
控制器1800可以測量懸崖感測器朝向地板輻射的紅外發光信號與被障礙物反射後接收到的反射信號之間的角度，並分析其深度。
同時，控制器1800可以根據藉由使用懸崖感測器感測到的懸崖的地板狀態確定移動式機器人是否能夠穿過懸崖。例如，控制器1800可以通過懸崖感測器確定懸崖是否存在以及懸崖的深度，並且只有當懸崖感測器感測到反射信號時，控制器1800才允許移動式機器人穿過懸崖。在另一個例子中，控制器1800可以使用懸崖感測器確定移動式機器人是否被提起。
同時，2D相機感測器可以設置在移動式機器人的一個表面上，並獲取移動過程中與本體周圍有關的影像資訊。光流量感測器可以將從設置在其中的影像感測器輸入的下側影像轉換為產生一預定格式的影像資料。所產生的影像資料可以儲存在記憶體1700中。
而且，可以將一個或多個光源安裝成與光流量感測器相鄰。一個或多個光源將光照射到由影像感測器拍攝的地板的一預定區域。亦即，在移動式機器人沿著地板移動清掃區域的情況下，當地板光滑時，在影像感測器與地板之間保持一預定距離。另一方面，在移動式機器人在不平整的地板上移動的情況下，影像感測器可能由於地板的凹陷和突起以及障礙物而離開地板一預定距離或更遠。在這種情況下，可以由控制器1800控制一個或多個光源，使得照射光的量可以被調整。光源可以是發光裝置，例如發光二極體(LED)等，其光量可以被調節。
無論移動式機器人是否藉由使用光流量感測器滑行，控制器1800都可以檢測移動式機器人的位置。控制器1800可以比較和分析光流量感測器隨時間拍攝的影像資料，以計算移動距離和移動方向，並且基於所計算的移動距離和所計算的移動方向計算移動式機器人的位置。藉由利用光流量感測器使用關於移動式機器人下側的影像資訊，控制器1800可以執行校正，以防止相對於由其他手段計算出的移動式機器人的位置的滑動。
3D相機感測器可以附接到移動式機器人的本體的一個表面或部分上，以產生與本體周圍有關的3D座標資訊。亦即，3D相機感測器可以是計算移動式機器人與待成像目標之間的距離的3D深度相機。
詳而言之，3D相機感測器可以拍攝與本體周圍有關的2D影像，並產生與所拍攝的2D影像對應的複數個3D座標資訊。
在一實施例中，3D相機感測器可以形成為立體視覺類型的感測器。亦即，3D相機可以具有兩個或更多個相機，其獲得現有2D影像以組合從兩個或更多個相機獲得的兩個或更多個影像，來形成3D座標資訊。
詳而言之，根據實施例的3D相機感測器可以包括：第一圖案照射部，其將第一圖案的光向下照射到本體的前側；第二圖案照射部，其將第二圖案的光向上照射到本體的前側；以及影像獲取部，其獲得本體的前側的影像。因此，影像獲取部可以獲得第一圖案的光和第二圖案的光入射的區域的影像。
在另一個實施例中，3D相機感測器可以包括紅外圖案發射部，其與單一相機一起照射紅外圖案，並且可以藉由拍攝從紅外線圖案照射單元照射的紅外線圖案投影到成像對象的形狀，來測量3D相機感測器與待成像的對象(或者成像對象)之間的距離。3D相機感測器可以是紅外線3D相機感測器。
在另一實施例中，3D相機感測器可以具有發光單元，其與單一相機一起發光，並且3D相機感測器與成像目標之間的距離可以藉由接收從發光單元發射並從成像目標反射的光的部分量並分析所接收到的光來測量。這樣的3D相機感測器可以是飛時測距(Time of Flight,TOF)型3D相機感測器。
詳而言之，3D相機感測器被配置以以在至少一個方向延伸的形式照射光。在一個示例中，3D相機感測器可以具有第一雷射和第二雷射，並且第一雷射可以照射彼此交叉的線性光束，而第二雷射可以照射單一線性光束。據此，使用最低的雷射來感測地板部分上的障礙物，最上層的則用於感測較上的障礙物，並且使用最下層與最上層之間的中間雷射來感測中間部分的障礙物。
圖5說明了一實施例，其說明在清掃區域500內安裝清掃機100和充電站510。如圖5所示，用於給清掃機100的電池充電的充電站510可以安裝在清掃區域500內。在一實施例中，充電站510可以安裝在清掃區域500的外部部分上。雖然未顯示，充電站510可以具有能夠發出不同類型的信號的通訊裝置(圖未顯示)，並且通訊裝置可以與清掃機100的通訊單元1100進行無線通訊。
控制器1800可以控制驅動單元1300，使得清掃機100的本體可以基於由通訊單元1100從充電站510接收的信號而與充電站510對接。當電池的剩 餘容量降低到限制容量以下時，控制器1800可以將本體朝充電站510移動，並且當本體接近充電站510時，控制器1800可以控制驅動單元1300開始對接功能。
圖6A係說明分別包括前置相機和天花板相機的一般清掃機的實施例；參照圖6A，一般清掃機可以分別具有前置相機601和天花板相機602。
通常，由前置相機601拍攝的影像用於監控清掃機的行進。亦即，清掃機的控制器將由前置相機601拍攝的影像傳送到使用者終端或伺服器，以允許使用者監控清掃機所在的區域。
此外，由天花板相機602拍攝的影像用於清掃機的同時定位和映射(SLAM)行進。亦即，清掃機的控制器可以使用天花板相機602拍攝的影像檢測清掃機的位置或產生清掃地圖資訊。
在該方式中，前置相機601和天花板相機602用於不同的目的，因此前置相機的設定值和天花板相機的設定值也可以設定為不同。例如，用於監控行進的前置相機601需要向使用者傳送清晰的影像，因此，前置相機以相對高強度的集光照度(或者對應於影像平面的照度乘以曝光時間的「曝光」)拍攝影像。同時，用於SLAM行進的天花板相機602需要透過避免眩光來提高位置檢測的準確性，因此，天花板相機602以相對低強度的照度拍攝影像。
因此，雖然前置相機601和天花板相機602具有相同的性能，但是一般清掃機的控制器可以將前置相機601的曝光時間(或快門速度)設定為比天花板相機602的曝光時間更長。在另一示例中，控制器可以將前置相機601的光圈及/或感測器靈敏度(ISO設置)設定為大於天花板相機602的光圈及/或感測器靈敏度(ISO設置)，使得前置相機601收集相對更多的光。在這種方式中，在一般清掃機的情況中，由於使用了具有不同設定值的相機，因此要求前置相機和天花板相機正常進行監控行進和SLAM行進，並且難以移除其中的任何一個。此處，由於需要安裝兩個或更多個相機模組，因此增加了清掃機的製造成本。
圖6B係說明根據本發明的清掃機100的實施例。如圖6B所示，根據本發明的清掃機100可以使用單一相機603正常地進行監控行進和SLAM行進。
當比較圖6A和圖6B時，根據本發明的清掃機100的相機603的光軸可以與清掃機100的本體所在之清掃區域500的地板表面形成一預定角度。例 如，在根據本發明的清掃機100的相機603所定向的方向與地板表面之間所形成的角度，其範圍從30°至60°。另外，參照圖6B，根據本發明的清掃機100的相機603的視角可以等於或大於一預定角度。例如，相機603的視角可以在90°至150°的範圍內。
當比較圖6A和圖6B時，相機603的視角θ3可以大於安裝在一般清掃機中的前置相機的視角θ1，或天花板相機的視角θ2。在這種方式中，與一般的清掃機相比，儘管相機的數量減少到一個相機，但是由於使用了廣角相機，因此與本體的前側有關的影像和與天花板有關的影像可以僅用單一相機即可一次獲得。
然而，當先前技術之用於控制相機的方法應用於僅具有單一相機的清掃機100時，可能不適合執行複數個行進模式。因此，在下文中，將描述執行自主行進的清掃機，其能夠使用單一相機獲得具有清掃機100的複數個行進模式所需的設定值的影像，以及用於控制清掃機100的方法。
同時，雖然在圖6B中未顯示，但是相機603可以被配置為使得相機被定向的方向是可變的。可以在連接相機603和本體的部分中設置機械方向調整構件(圖未顯示)或電子方向調整構件(圖未顯示)，從而可以改變相機603定向的方向。
圖7A和圖7B係說明用於控制根據本發明的清掃機的方法。參考圖7A，控制器1800可以開始SLAM行進作為第一行進模式(S701)。而且，控制器1800可以開始監控行進作為第二行進模式(S702)。
同時，除了SLAM行進和監控行進之外，控制器1800可以使用由相機拍攝的影像來執行各種行進模式。然而，在下文中，為了描述的目的，將大量描述前述兩種行進模式。
控制器1800可以在每個預設時段或基於其他因素交替地將相機的照度值(或照度強度值)改變為第一照度值和第二照度值(S703)。詳細地說，當相機開始拍攝影像時，控制器1800可以在拍攝預定數量的影像的同時，將與相機的照度有關的設定值設定為第一照度值。之後，在拍攝預定數量的影 像的同時，控制器1800可以將與相機的照度有關的設定值改變為第二照度值。控制器1800可以重複執行與相機的照度有關的設定值的過程。
此處，與相機的照度有關的設定值可以包括與相機的曝光時間有關的設定值、與照度輸出有關的設定值、以及與亮度濾鏡有關的設定值。例如，當應用第一照度值時，由相機拍攝每單位時間的影像的數量可以等於或大於第一行進模式中每單位時間需要的影像的數量。例如，當應用第二照度值時，由相機拍攝每單位時間的影像的數量可以等於或大於第二行進模式中每單位時間需要的影像的數量。
同時，第一照度和第二照度僅僅是說明性的，而非指示根據本發明的控制器1800選擇與相機的照度有關的兩個設定值中的任何一個。亦即，控制器1800可以控制相機拍攝具有複數個不同照度的預設數量的影像。而且，控制器1800可以控制相機，使得以複數個照度中的任何一個照度拍攝的影像的數量與以多個照度中的另一個照度拍攝的影像的數量不同。
此外，控制器1800可以使用以複數個照度中的任何一個拍攝的影像，執行由清掃機執行的複數個行進模式中的任何一個，並且使用以多個照度中的另一個拍攝的影像，執行由清掃機執行的複數個行進模式中的另一個。此處，該複數個行進模式可以包括：障礙物識別模式、監控行進模式、以及位置識別模式中的至少一個。
在一實施例中，控制器1800可以控制相機，使得用於進行位置識別模式的影像的照度低於用於進行障礙物識別模式和監控模式中至少一個的影像的照度。
控制器1800可以藉由使用以第一照度值拍攝的影像，執行作為第一行進模式的SLAM行進(S704)。詳而言之，控制器1800可以使用以第一照度值拍攝的影像檢測清掃機100的位置，或者產生與清掃區域500有關的清掃地圖。
例如，控制器1800可以提取以與天花板部分對應的第一照度值拍攝的影像的一部分，從提取的部分提取特徵點，並且使用提取的特徵點執行第一行進模式。
控制器1800可以使用以第二照度值拍攝的影像，執行作為第二行進模式的監測行進(S705)。詳細地，控制器1800可以選擇以第二照度值拍攝的影像的一部分，並且控制通訊單元1100將所選擇的影像傳送到伺服器和使用者終端中的至少一個。
同時，以第一照度值拍攝的影像可能比以第二照度值拍攝的影像更暗。亦即，第一照度值可能低於第二照度值。此外，以第二照度值拍攝的影像數量可能大於以第一照度值拍攝的影像數量。
參照圖7B，控制器1800可以設定複數個行進模式(S711)。例如，複數個設定的行進模式可以包括SLAM行進和監控行進。
控制器1800可以基於複數個設定的行進模式設定複數個相機照度值(S712)。具體而言，控制器1800可以檢測與使用在複數個所設定的行進模式的每一個中的影像的照度有關的資訊。另外，控制器1800可以設定複數個相機照度值，使得可應用於複數個行進模式的影像可以使用與照度有關的檢測資訊來拍攝。
例如，在包括第一行進模式和第二行進模式的複數個行進模式的情況中，控制器1800可以檢測與使用在第一行進模式中的影像的照度有關的資訊和與使用在第二行進模式中的影像的照度有關的資訊。
在該方式中，控制器1800可以設定相機的第一照度值，使得可以利用與使用在第一行進模式中的影像的照度有關的資訊來拍攝適用於第一行進模式的影像。類似地，控制器1800可以設定相機的第二照度值，使得可以利用與使用在第二行進模式中的影像的照度有關的資訊來拍攝適用於第二行進模式的影像。
控制器1800可以基於複數個設定的相機照度值控制相機以拍攝影像，同時改變相機的照度值(S713)。在一實施例中，控制器1800可以交替地改變與相機的照度有關的設定值，使得相機在設定了第一照度值的狀態下拍攝影像之後，相機在第二照度被設定的狀態下拍攝影像。
在另一實施例中，控制器1800可以改變與相機的照度有關的設定值，使得相機在設定了第一照度值的狀態下拍攝第一數量的影像後，拍攝在第二照度值被設定的狀態下影像的第二數量。
控制器1800可以基於照度值將拍攝的影像分類為複數個群組(S714)。詳而言之，控制器1800可以將在第一照度值被設定的狀態下所拍攝的影像分類為包含在第一行進模式中使用的第一影像群組中，且將在第二照度值被設定的狀態下所拍攝的影像分類為包含在第二影像群組中。
控制器1800可以基於包含在分類群組中的影像的照度值，執行對應的行進模式(S715)。詳言之，控制器1800可以使用包含在第一影像群組中的影像執行第一行進模式，並且使用包含在第二影像群組中的影像執行第二行進模式。
圖8A係說明用於處理從圖6A中所示之一般清掃機的前置相機601獲得的複數個畫面的方法。前置相機601可以每秒拍攝一預定數量的畫面，且一般清掃機的控制器可以選擇由前置相機601拍攝的部份畫面，並控制通訊單元將所選擇的畫面傳送給伺服器或使用者終端。此處，一般清掃機的控制器不改變前置相機的照度增益值來決定影像的亮度，並且前置相機基於固定的照度增益值來拍攝影像。
圖8B係說明用於處理從圖6A中所示之一般清掃機的天花板相機602獲得的複數個畫面的方法。天花板相機602可以每秒拍攝一預定數量的畫面，且一般清掃機的控制器可以選擇由天花板相機602拍攝的一些畫面，並使用所選擇的畫面進行SLAM行進。
如圖8A所說明的實施例，一般清掃機的控制器不改變天花板相機的照度增益值來決定影像的亮度，並且天花板相機基於固定的照度增益值來拍攝影像。
圖9A至圖9C係說明根據本發明之用於處理從清掃機的單一相機獲得的複數個畫面的方法。參照圖9A，當相機連續成像時，控制器1800可以改變與相機的照度有關的設定值。詳言之，參照圖9A，根據本發明之設置在清掃機100中的單一相機可以每秒拍攝一預設數量的影像。
此處，控制器1800可以控制相機以第一(或低)照度(L)(901)拍攝一些該預設數量的影像、以及以第二(或高)照度(H)(902)拍攝其他剩餘的影像。例如，設置在清掃機100中的相機可以拍攝每秒30個畫面。此處，在30個畫面的影像中，控制器1800可以控制相機以第一照度(L)拍攝3個畫面(901)的影像、以及以第二照度(H)拍攝其他剩餘的27個畫面(902)。在另一個示例中，第一照度(L)可以被設定為低於第二照度(H)。
同時，當選擇第一行進模式和第二行進模式時，控制器1800可以檢測與使用在第一行進模式中的影像的照度有關的資訊、以及與使用在第二行進模式中的影像的照度有關的資訊。亦即，控制器1800可以從能由清掃機100執行的複數個行進模式間所選擇的行進模式中檢測與所需亮度有關的資訊。
例如，控制器1800可以檢測用於拍攝使用在第一行進模式或第二行進模式中的影像的相機的照度值。在另一個示例中，控制器1800可以檢測相機的曝光時間變數以拍攝使用在第一行進模式和第二行進模式中的影像。
另外，當選擇第一行進模式和第二行進模式時，控制器1800可以檢測使用在第一行進模式中每單位時間的影像數量、以及檢測使用在第二行進模式中的影像數量。亦即，控制器1800可以從能由清掃機100執行的複數個行進模式間所選擇的行進模式中檢測所需的影像數量。具體而言，控制器1800可以將使用在第一行進模式中每單位時間的影像數量檢測為第一數量，且將使用在第二行進模式中每單位時間的影像數量檢測為第二數量。
基於檢測到的照度值和影像數量，控制器1800可以改變相機的照度值，使得以第一行進模式和第二行進模式分別所需的照度值拍攝的一預定數量的影像被包含在由單一相機獲得的複數個畫面中。
詳而言之，控制器1800可以控制相機，使得以第一照度(L)拍攝的影像在單一相機每單位時間所產生的畫面中包括第一數量或更多、以及以第二照度(H)拍攝的影像在單一相機每單位時間所產生的畫面中包括第二數量或更多。
亦即，當選擇第一行進模式和第二行進模式時，控制器1800可以控制相機，使得由相機每單位時間所獲得的一預設數量的影像包括以第一照度 (L)拍攝之第一數量或更多的影像、以及以第二照度(H)拍攝之第二數量或更多的影像。
此外，控制器1800基於影像的照度，將相機拍攝的影像分類為複數個群組。控制器1800可以基於分類結果對各影像進行標記，並將所標記的影像儲存在記憶體1700中。
在影像被分類之後，控制器1800可以使用以第一照度拍攝的影像在選擇的行進模式中執行第一行進模式。而且，在影像被分類之後，控制器1800可以使用以第二照度拍攝的影像在選擇的行進模式中執行第二行進模式。
在一實施例中，第一行進模式可以是SLAM行進模式。此處，控制器1800可以藉由使用以第一照度拍攝的影像檢測與本體的位置有關的資訊，來執行SLAM行進。而且，控制器1800可以使用以第一照度拍攝的影像，來產生本體所在的清掃區域的地圖資訊。
以SLAM行進所需的第一照度拍攝的影像可能是具有相對低照度值的影像。當執行SLAM行進時，控制器1800可以將相對低的照度值施加到相機，以防止影像內的眩光並且提高SLAM行進的準確度。
同時，為了拍攝使用在第一行進模式中的影像，控制器1800可以在第一照度範圍內改變與相機的照度有關的設定值。亦即，使用在第一行進模式中的影像的照度可以不固定在任何一個照度值，並且控制器1800可以控制相機，使得使用在第一行進模式中的複數個影像分別以複數個照度值拍攝。將參照圖9C詳細描述使用在相同的行進模式中的複數個影像分別以複數個照度值拍攝的實施例。
在另一個實施例中，第二個行進模式可以是監控行進模式。具體地，控制器1800可以控制通訊單元1100將以第二照度拍攝的影像的至少其中一個影像傳送到伺服器或者使用者終端。
而且，控制器1800可以從以第二照度拍攝的影像中選擇一預設數量的影像，並且控制通訊單元將所選擇的影像傳送到伺服器和使用者終端中的至少一個。控制器1800可以確定以第二照度拍攝的影像中的每一個的清晰度、 選擇確定的清晰度大於或等於一預設清晰度值的影像、以及控制通訊單元1100將所選擇的影像傳送到伺服器和使用者終端中的至少一個。
控制器1800可以從以第二照度拍攝的影像中選擇與預設輪次對應的影像，並且控制通訊單元1100將所選擇的影像傳送到伺服器和使用者終端中的至少一個。例如，控制器1800可以從以第二照度拍攝的影像中選擇與#1、#4、#7、#10、#13、#15、#18、#21，#24和#27對應的影像。
同時，當通過通訊單元1100接收到施加於伺服器和使用者終端中的至少一個的一預定使用者輸入時，控制器1800可以增加或減少傳送到伺服器和使用者終端中的至少一個的影像數量。此處，控制器1800可以從以第二照度拍攝的影像中選擇增加或減少影像數量，並且控制通訊單元1100將所選擇的影像傳送到伺服器和使用者終端中的至少一個。
在該方式中，控制器1800可以在相機連續拍攝影像時改變與相機的照度有關的設定值，使得以相互不同照度拍攝的影像包括在由單一相機所拍攝的複數個畫面中。
在圖9A所示的實施例中，設置在清掃機100中的單一相機可以產生每秒30個畫面。詳而言之，控制器1800可以控制相機以第一照度(L)拍攝30個畫面中的第1個畫面、第15個畫面和第30個畫面(901)，並且以第二照度(H)拍攝其他剩餘的27個畫面(902)。根據這樣的相機控制，根據本發明的清掃機100可以獲得使用單一相機以複數個照度拍攝的影像。
另外，參考圖9A，控制器1800可以選擇以第二照度(H)拍攝的一些畫面(903)，並且使用所選擇的畫面執行第二行進模式。例如，在所選擇的畫面之間的時間間隔可以是均勻的。亦即，於使用在第二行進模式中之所選擇的影像中，控制器1800可以選擇影像，使得影像之間的成像時機一致。
另外，參考圖9A，控制器1800可以選擇以第二照度(H)拍攝的畫面(904)的其中之一，並且使用所選擇的畫面執行另外的行進模式。
如圖9A所示，當相機開始拍攝影像時，控制器1800可以執行第一照度控制以控制相機以第一照度(L)拍攝一預定數量的影像。並且，當第一 照度控制完成時，控制器1800可以執行第二照度控制以控制相機以第二照度拍攝一預定數量的影像。
在圖9A中，僅展示了30個畫面，但是控制器1800可以依序地重複執行第一照度控制和第二照度控制。
參考圖9B，每當相機產生一個畫面時，控制器1800可以交替地將與相機的照度有關的設定值改變為第一照度(L)(905)，並且改變為第二照度(H)(907)。而且，參考圖9B，控制器1800可以選擇以第一照度(L)拍攝的一些畫面(906)，並且使用所選擇的畫面執行第一行進模式。控制器1800可以選擇以第二照度(H)拍攝的一些畫面(908)，並且使用所選擇的畫面執行第二行進模式。亦即，控制器1800可以控制相機，使得以第一照度拍攝的影像和以第二照度拍攝的影像依次重複產生。在圖9A和圖9B中，說明了用於改變與相機的照度有關的設定值的具體方法，但是本發明不限於此。
同時，參照圖9C，為了拍攝使用在第一行進模式中的影像，控制器1800可以在第一照度範圍內改變與相機的照度有關的設定值(909)。而且，為了拍攝使用在第二行進模式中的影像，控制器1800可以在第二照度範圍內改變與相機的照度有關的設定值(910)。
亦即，在任何行進模式中使用的影像的照度不固定在任何一個照度值，並且控制器1800可以控制相機，以拍攝在任何行進模式中使用的複數個影像，以分別具有複數個照度值。
如圖9C所示，控制器1800可以在使用在第一行進模式中的複數個影像被拍攝的複數個時間點上，將與相機的照度有關的值設定為第一設定值L1、第二設定值L2和第三設定值L3。此處，第一設定值到第三設定值L1、L2和L3可以被包含在第一照度範圍中。
另外，如圖9C所示，控制器1800可以在使用在第二行進模式中的複數個影像被拍攝的複數個時間點上，將與相機的照度有關的值設定為第四設定值H1、第五設定值H2和第六設定值H3。此處，第四設定值至第六設定值H1、H2和H3可以被包含在第二照度範圍中。控制器1800可以選擇以各種照度(H1、H2、H3)拍攝的一些畫面(911)，並且使用所選擇的畫面執行第二行進模式。
在一實施例中，當第一行進模式啟動時，控制器1800可以在使用在第一行進模式中的影像被拍攝的時間點上，將與相機的照度有關的設定值設定為第一設定值L1。此處，第一設定值L1可以是預設值。
當本體進入比第一行進模式開始時的區域更明亮的區域時，在執行第一行進模式的同時，控制器1800可以在使用在第一行進模式中的影像被拍攝的時間點上，將與相機的照度有關的設定值改變為第二設定值L2。
而且，當本體進入比第一行進模式開始時的區域更昏暗的區域時，在執行第一行進模式的同時，控制器1800可以在使用在第一行進模式中的影像被拍攝的時間上，將與相機的照度有關的設定值改變為第三設定值L3。
控制器1800可以使用來自設置在本體外部的照度感測器(圖未顯示)的感測值，確定本體是否進入比先前區域更昏暗的區域或比先前區域更明亮的區域。在這種方式中，控制器1800可以依畫面改變與相機的照度有關的設定值，使得可以在複數個行進模式的每一個中使用由單一相機所拍攝的影像。
在一實施例中，控制器1800可以透過所選擇的行進模式分配單一相機每單位時間所產生的畫面。亦即，參照圖9C，控制器1800可以將第1個畫面、第15個畫面和第30個畫面分配給第一行進模式，並將另外27個畫面分配給第二行進模式。另外，當在執行第一行進模式的同時改變使用在第一行進模式中的影像的亮度時，控制器1800可以在與分配給第一行進模式的畫面相對應的時間點上改變與相機的照度有關的設定值。
圖10係說明根據本發明之用於控制清掃機100的方法。如圖10所示，本發明的單一相機1001可以拍攝最多30個畫面的影像。
包含在控制器1800中的照度控制單元(在此也稱為照度控制處理器或照度控制電路)1801可以在單一相機1001連續執行成像的同時改變與單一相機1001的照度有關的設定值。而且，包含在控制器1800中的照度控制單元1801可以將以相同(或類似)照度拍攝的影像分組，並將影像依群組儲存在記憶體1700中。
同時，包含在控制器1800中的照度控制單元1801可以把每秒拍攝的30個畫面分配到複數個行進模式。照度控制單元1801可以將分配給相同行進 模式的畫面分組，並將畫面依群組儲存在記憶體1700中。例如，複數個行進模式可以包括監控行進模式1002、SLAM行進模式1004、以及深度學習識別模式1003。
此處，照度控制單元1801可以將分配給監控行進模式的26個畫面分組。而且，包含在控制器1800中的監控單元1802可以將分配給監控行進模式的26個畫面傳送到使用者終端，使得26個畫面可以在終端螢幕上輸出。
另外，照度控制單元1801可以對分配給SLAM行進模式的3個畫面進行分組。控制器1800可以使用分配給SLAM行進模式的3個畫面執行SLAM行進。
另外，照度控制單元1801可以將一個畫面分配給深度學習行進模式，並且控制器1800可以藉由比較分配給深度學習行進模式的一個畫面和先前儲存在記憶體中的訓練資料，來檢測與分配給深度學習行進模式的一個畫面的對象有關的資訊。
例如，與對象有關的資訊可以包括與對象是物體還是生物有關的資訊。在另一個示例中，與對象有關的資訊，可以包括像是生物的情況下與對應物種有關的資訊。此外，在另一示例中，與對象有關的資訊可以包括當對象是物體的情況下與對象的名稱有關的資訊。在另一示例中，與對象有關的資訊可以包括與對象的大小和形狀有關的資訊。在另一個示例中，與對象有關的資訊可以包括與包含分配給深度學習行進模式的畫面的對象數目有關的資訊。
根據本發明之執行自主行進的清掃機，由於相機的設定值依需求而改變，因此可以正常執行複數個行進模式，且僅使用單一相機。亦即，根據本發明之用於控制清掃機的方法，減少了安裝在本體中的相機的數量，從而獲得了降低清掃機的製造成本的效果。
而且，根據本發明，由於具有使用一個相機的複數個行進模式所需的設定值的影像，所以可以減少清掃機的資料通過量。另外，根據本發明，由於使用從一個相機獲得的資訊執行複數個行進模式，因此可以增加資料處理的效率。
前述實施例和優點僅僅是示例性的，並且不被認為是限制本發明。本教示可以容易地應用於其他類型的裝置。說明書旨在說明性的，而不是用來限制申請專利範圍的範疇。對於本領域技術人員而言，諸多替換、修改和變化將是顯而易見的。本文中所描述的示例性實施例的特徵、結構、方法和其他特點可以以各種方式組合以獲得另外的及/或替代的示例性實施例。
由於可以在不脫離其特徵的情況下以幾種形式體現本特徵，也應當理解，除非另有說明，否則上述實施例不受前述說明的任何細節的限制，而應廣泛地考慮在如所附申請專利範圍所定義的範圍內，並且因此落入申請專利範圍的邊界和範圍內的所有改變和修改，或者這些邊界和範圍的等同物仍包含於所附申請專利範圍中。
儘管已經參考多個說明性實施例描述了實施例，但是應該被理解的是，本領域技術人員可以設計出落入本發明原理的精神和範圍內的許多其他修改和實施例。更特定的是，在本發明、附圖和申請專利範圍的範疇內，可以對組件零件及/或附件组合配置中的排列方式進行各種變化和修改。除了對組件零件及/或附件组合配置中的排列方式進行各種變化和修改，對於本領域技術人員而言，替換使用也將是顯而易見的。
1100‧‧‧(無線)通訊單元
1200‧‧‧輸入單元
1300‧‧‧驅動單元
1400‧‧‧感測單元
1500‧‧‧輸出單元
1600‧‧‧電源單元
1700‧‧‧記憶體
1800‧‧‧控制器

Claims (19)

  1. 一種自控式清掃機，包括：一本體；一驅動單元，其選擇性地提供一驅動力以移動該本體；一相機，其拍攝該本體周圍的一空間的複數個影像；以及一控制器，其在複數個行進模式之間進行選擇，並且基於在該等行進模式之間的選擇管理該驅動單元和該相機，其中，該控制器在該相機拍攝該等影像時，基於該等行進模式之間的選擇改變該等影像中與照度有關的該相機的設定，以及其中，該複數個行進模式包括：一障礙物識別模式、一監控模式、以及一位置識別模式。
  2. 如申請專利範圍第1項所述的自控式清掃機，其中，該相機每單位時間拍攝一預設數量的影像，以及該控制器改變該相機的設定，使得該預設數量的影像在該單位時間內以複數個不同的照度拍攝。
  3. 如申請專利範圍第2項所述的自控式清掃機，其中，該控制器改變該相機的設定，使得以該複數個照度中的一個照度拍攝的一第一數量的影像不同於以該複數個照度中的另一個照度拍攝的一第二數量的影像。
  4. 如申請專利範圍第2項所述的自控式清掃機，其中，該控制器使用以該複數個照度中的一個照度拍攝的該等影像中的一個影像執行該複數個行進模式中的一者，並且使用以該複數個照度中的另一個照度拍攝的該等影像中的另一個執行該複數個行進模式中的另一者。
  5. 如申請專利範圍第1項所述的自控式清掃機，其中，該控制器改變該相機的設定，使得用於執行該位置識別模式的一第一影像的照度低於用於執行該障礙物識別模式和該監控模式中的至少一者的一第二影像的照度。
  6. 如申請專利範圍第2項所述的自控式清掃機，其中，該相機以每秒30個畫面的速度獲得影像，該控制器改變該相機的設定，以用一第一照度拍攝該等30個畫面中的3個畫面，並用一第二照度拍攝該等30個畫面中的另外27個畫面，以及該第一照度被設定為低於該第二照度。
  7. 如申請專利範圍第2項所述的自控式清掃機，其中，當從該複數個行進模式中選擇一第一行進模式和一第二行進式時，該複數個影像的第一影像與該第一行進模式相關，並且該複數個影像的第二影像與該第二行進模式相關，以及該控制器檢測與使用在該第一行進模式中的該等第一影像的照度有關的資訊、以及檢測與使用在該第二行進模式中的該等第二影像的照度有關的資訊。
  8. 如申請專利範圍第7項所述的自控式清掃機，其中，當從該複數個行進模式中選擇該第一行進模式和該第二行進模式時，該控制器檢測使用在該第一行進模式中每單位時間的一第一數量的影像、以及檢測使用在該第二行進模式中每單位時間的一第二數量的影像。
  9. 如申請專利範圍第8項所述的自控式清掃機，其中，使用在該第一行進模式中的該等第一影像的照度是一第一照度，使用在該第二行進模式中的該等第二影像的照度是一第二照度，以及當選擇該第一行進模式和該第二行進模式並且在該相機每秒獲得一預設數量的影像時，該控制器控制該相機，使得所述每秒獲得預設數量的影像包括：以該第一照度拍攝的至少該第一數量的該等第一影像、以及以該第二照度拍攝的至少該第二數量的該等第二影像。
  10. 如申請專利範圍第2項所述的自控式清掃機，其中，該控制器基於該等影像的不同照度，將該相機所拍攝的該等影像分類為複數個群組。
  11. 如申請專利範圍第10項所述的自控式清掃機，進一步包括：一記憶體，其儲存由該相機所拍攝的該等影像，其中，該控制器基於將該等影像分類為該複數個群組對該等影像進行標記，並將所標記的影像儲存在該記憶體中。
  12. 如申請專利範圍第10項所述的自控式清掃機，其中，在對該等影像進行分類之後，該控制器使用以與該第一行進模式相關連的一第一照度拍攝的一第一群組的影像，執行從該等行進模式中選擇的一第一行進模式，並且使用以與該第二行進模式相關連的一第二照度拍攝的一第二群組的影像，執行從該等行進模式中選擇的一第二行進模式。
  13. 如申請專利範圍第12項所述的自控式清掃機，其中，該第一行進模式是一同時定位和映射(SLAM)的行進模式，以及該控制器基於使用以該第一照度拍攝的該第一群組的影像中的一個影像檢測與該本體的位置有關的資訊，執行該第一行進模式。
  14. 如申請專利範圍第13項所述的自控式清掃機，進一步包括：一感測器，其感測該空間的亮度，其中該本體位於該空間中，其中，基於該感測器所收集的資訊，該控制器決定該空間的亮度的變化，並且改變使用在該第一行進模式中之與該第一群組的影像的照度有關的該相機的設定，以校正該空間的亮度的變化。
  15. 如申請專利範圍第12項所述的自控式清掃機，進一步包括：一通訊單元，其與該自控式清掃機外部的另一個裝置進行通訊，其中，該第二行進模式包括一監控行進模式，以及該控制器指示該通訊單元將以該第二照度拍攝的該第二群組的影像中的至少一個影像傳送到一伺服器或一使用者終端。
  16. 如申請專利範圍第15項所述的自控式清掃機，其中，該控制器從以該第二照度拍攝的該第二群組的影像中選擇一定數量的影 像，並且指示該通訊單元將所選擇數量的影像傳送到該伺服器和該使用者終端中的至少一者。
  17. 如申請專利範圍第16項所述的自控式清掃機，其中，當通過該通訊單元接收到與施加於一個或多個該伺服器或該使用者終端的一使用者輸入有關的資訊時，該控制器基於該使用者輸入改變該等影像的數量、從以該第二照度拍攝的該第二群組的影像中選擇該改變的數量的影像、以及經由該通訊單元將該改變的數量的影像傳送到該伺服器和該使用者端中的至少一者。
  18. 如申請專利範圍第2項所述的自控式清掃機，其中，該控制器在改變該相機的設定時，執行一第一照度控制，以使該相機以不同照度的一第一照度拍攝一第一數量的影像，以及當該第一照度控制完成時，該控制器執行一第二照度控制，以使該相機以不同照度的一第二照度拍攝一第二數量的影像。
  19. 如申請專利範圍第18項所述的自控式清掃機，其中，該控制器依次地並重複地執行該第一照度控制和該第二照度控制。
TW107109703A 2017-07-21 2018-03-21 清掃機及其控制方法 TWI703950B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??10-2017-0092901 2017-07-21
KR10-2017-0092901 2017-07-21
KR1020170092901A KR101984516B1 (ko) 2017-07-21 2017-07-21 청소기 및 그 제어방법

Publications (2)

Publication Number Publication Date
TW201907855A TW201907855A (zh) 2019-03-01
TWI703950B true TWI703950B (zh) 2020-09-11

Family

ID=65016380

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107109703A TWI703950B (zh) 2017-07-21 2018-03-21 清掃機及其控制方法

Country Status (8)

Country Link
US (2) US10845819B2 (zh)
EP (1) EP3656269B1 (zh)
JP (1) JP6905635B2 (zh)
KR (1) KR101984516B1 (zh)
CN (1) CN212234313U (zh)
AU (2) AU2017424181B2 (zh)
TW (1) TWI703950B (zh)
WO (1) WO2019017521A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984516B1 (ko) * 2017-07-21 2019-05-31 엘지전자 주식회사 청소기 및 그 제어방법
CN108553027A (zh) * 2018-01-04 2018-09-21 深圳悉罗机器人有限公司 移动机器人
KR102201002B1 (ko) * 2019-03-26 2021-01-12 엘지전자 주식회사 로봇 청소기
US11571100B2 (en) * 2019-06-28 2023-02-07 Lg Electronics Inc Intelligent robot cleaner
USD943227S1 (en) * 2019-08-28 2022-02-08 Lg Electronics Inc. Robotic vacuum cleaner
USD938677S1 (en) * 2019-08-28 2021-12-14 Lg Electronics Inc. Robotic vacuum cleaner
US20210132603A1 (en) * 2019-11-05 2021-05-06 Hong-Fan WEI Smart platform device, circuit system and smart system thereof
US11436940B2 (en) 2020-02-28 2022-09-06 Irobot Corporation Mobile cleaning robot hardware recommendations
DE102022207087A1 (de) * 2022-07-12 2024-01-18 BSH Hausgeräte GmbH Haushaltsgerät

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103584797A (zh) * 2012-08-17 2014-02-19 乐金电子(天津)电器有限公司 机器人吸尘器及其自我诊断方法
TWI531984B (zh) * 2015-05-26 2016-05-01 原相科技股份有限公司 影像處理方法以及影像處理裝置
TWM541824U (zh) * 2016-09-06 2017-05-21 禾聯碩股份有限公司 智慧型居家監控系統

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0797841B2 (ja) * 1987-06-09 1995-10-18 キヤノン株式会社 撮像装置
JPH0797841A (ja) 1993-09-29 1995-04-11 Natl House Ind Co Ltd 屋根の構造
KR0185909B1 (ko) 1994-07-11 1999-05-01 김광호 비데오 카메라의 노출 조절장치
WO1997047943A1 (fr) * 1996-06-14 1997-12-18 Kabushiki Kaisya Saginomiya Seisakusyo Dispositif pour controler l'alignement des roues et controle de l'alignement des roues
JP2002085305A (ja) * 2000-09-12 2002-03-26 Toshiba Tec Corp ロボットクリーナ及びロボットクリーナシステム
RU2220643C2 (ru) * 2001-04-18 2004-01-10 Самсунг Гванджу Электроникс Ко., Лтд. Автоматическое чистящее устройство, автоматическая чистящая система и способ управления этой системой (варианты)
JP3692071B2 (ja) * 2001-12-06 2005-09-07 株式会社メイクソフトウェア 画像プリント作成装置、方法、プログラム
JP2004247172A (ja) * 2003-02-13 2004-09-02 Matsushita Electric Ind Co Ltd Ｃｒｔパネルの蛍光体形成位置の測定装置とその測定方法、及び陰極線管の製造方法
KR100483566B1 (ko) * 2003-03-12 2005-04-19 삼성광주전자 주식회사 로봇청소기 및 위치인식방법
JP2005304540A (ja) * 2004-04-16 2005-11-04 Funai Electric Co Ltd 監視カメラを備えた自走式掃除機
JP2007037713A (ja) * 2005-08-02 2007-02-15 Funai Electric Co Ltd 監視装置及び自走式掃除機
US7483054B2 (en) * 2006-03-16 2009-01-27 Altek Corporation Image unsharpness test method for a camera device
KR100734955B1 (ko) * 2006-06-19 2007-07-03 삼성광주전자 주식회사 청소기 프레임에 진공청소기 본체의 착탈이 가능한진공청소기
KR101540666B1 (ko) * 2009-07-22 2015-07-31 엘지전자 주식회사 이동 로봇의 위치추정을 위한 회전변화에 불변하는 특징점 검출 장치 및 방법
JP5421999B2 (ja) * 2009-10-09 2014-02-19 パナソニック株式会社 車両用周囲監視装置
KR20110119118A (ko) * 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
PL394570A1 (pl) * 2011-04-15 2012-10-22 Robotics Inventions Spólka Z Ograniczona Odpowiedzialnoscia Robot do podlóg podniesionych i sposób serwisowania podlóg podniesionych
KR101303161B1 (ko) * 2011-10-18 2013-09-09 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
EP2620050B1 (en) * 2012-01-25 2016-07-27 Honda Research Institute Europe GmbH System, method and apparatus for unsupervised adaptation of the perception of an autonomous mower
US9826873B2 (en) * 2013-12-13 2017-11-28 Toshiba Lifestyle Products & Services Corporation Traveling body device
KR101592108B1 (ko) 2014-07-23 2016-02-04 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
KR20160016068A (ko) 2014-08-01 2016-02-15 삼성전자주식회사 이미지 생성 방법 및 그 전자 장치
JP6826804B2 (ja) 2014-08-29 2021-02-10 東芝ライフスタイル株式会社 自律走行体
GB2529847B (en) * 2014-09-03 2018-12-19 Dyson Technology Ltd A mobile Robot with Independently Adjustable Light Sources
GB2529846B (en) * 2014-09-03 2019-02-20 Dyson Technology Ltd Illumination Control of a Vision System for a Mobile Robot
KR101571719B1 (ko) * 2014-10-02 2015-11-25 엘지전자 주식회사 로봇 청소기
KR101620427B1 (ko) * 2014-10-14 2016-05-12 엘지전자 주식회사 로봇 청소기의 제어방법
JP6659317B2 (ja) * 2015-11-17 2020-03-04 株式会社東芝 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム
TWI689387B (zh) * 2016-05-17 2020-04-01 南韓商Ｌｇ電子股份有限公司 行動機器人
WO2017200346A1 (ko) * 2016-05-20 2017-11-23 엘지전자 주식회사 로봇 청소기
KR102598711B1 (ko) * 2016-07-07 2023-11-06 삼성전자주식회사 불균일 광을 조사하는 라이다 장치 및 이를 포함하는 자율 주행 로봇
KR20160090278A (ko) * 2016-07-21 2016-07-29 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
KR20180018213A (ko) * 2016-08-12 2018-02-21 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20180073327A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 영상 표시 방법, 저장 매체 및 전자 장치
KR101984516B1 (ko) * 2017-07-21 2019-05-31 엘지전자 주식회사 청소기 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103584797A (zh) * 2012-08-17 2014-02-19 乐金电子(天津)电器有限公司 机器人吸尘器及其自我诊断方法
TWI531984B (zh) * 2015-05-26 2016-05-01 原相科技股份有限公司 影像處理方法以及影像處理裝置
TWM541824U (zh) * 2016-09-06 2017-05-21 禾聯碩股份有限公司 智慧型居家監控系統

Also Published As

Publication number Publication date
US10845819B2 (en) 2020-11-24
US20190025850A1 (en) 2019-01-24
WO2019017521A1 (ko) 2019-01-24
TW201907855A (zh) 2019-03-01
AU2021273534A1 (en) 2021-12-16
CN212234313U (zh) 2020-12-29
KR101984516B1 (ko) 2019-05-31
EP3656269A4 (en) 2021-03-24
KR20190010301A (ko) 2019-01-30
US20210034069A1 (en) 2021-02-04
JP2020528311A (ja) 2020-09-24
JP6905635B2 (ja) 2021-07-21
EP3656269A1 (en) 2020-05-27
EP3656269B1 (en) 2023-07-12
AU2017424181A1 (en) 2020-03-05
AU2017424181B2 (en) 2021-08-26
AU2021273534B2 (en) 2023-08-03
US11759075B2 (en) 2023-09-19

Similar Documents

Publication Publication Date Title
TWI703950B (zh) 清掃機及其控制方法
KR102048992B1 (ko) 인공지능 청소기 및 그 제어방법
KR102032516B1 (ko) 이동 로봇 및 그 제어방법
CN112654472A (zh) 多个自主移动机器人及其控制方法
US20200230806A1 (en) Mobile robot and method of controlling a plurality of mobile robots
KR101974870B1 (ko) 인공지능 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
US20220175210A1 (en) Moving robot and controlling method for the moving robot
KR102615962B1 (ko) 이동 로봇 및 복수의 이동 로봇의 제어방법
US20210338031A1 (en) Robot cleaner and method for controlling same
US20210259498A1 (en) Plurality of autonomous cleaner and controlling method for the same
US20220211236A1 (en) Mobile robot and control method of mobile robots
EP3911479B1 (en) Mobile robot and method of controlling mobile robot
US20220240743A1 (en) Docking device and mobile robot system
KR102535719B1 (ko) 이동 로봇 및 이동 로봇의 제어방법
KR102396048B1 (ko) 로봇청소기 및 그 제어방법
KR102277650B1 (ko) 청소기 및 그 제어방법
KR102398332B1 (ko) 청소기 및 그 제어방법
KR20200133544A (ko) 이동 로봇 및 그 제어방법