TWI843984B

TWI843984B - 助手服務提供方法及系統

Info

Publication number: TWI843984B
Application number: TW111103551A
Authority: TW
Inventors: 李壽美; 辛知恩; 朴媛璟; 金倫漢; 金映辰; 裵容奭; 鄭賢雅; 金汎洙; 鄭湘燁; 權純泌; 徐枝延; 李峴米; 羅蔞漓; 尹貞順; 洪美學
Original assignee: 南韓商納寶股份有限公司; 日商連沃克斯股份有限公司
Priority date: 2021-01-29
Filing date: 2022-01-27
Publication date: 2024-06-01
Also published as: TW202230268A; KR20220109764A; KR102581000B1; JP7379550B2; JP2022117472A

Abstract

一種助手服務提供方法及系統。該助手服務提供方法可以包括如下步驟：利用攝像頭檢測目標用戶的面部圖像；利用麥克風檢測所述目標用戶的語音；從用戶數據庫提取與所述面部圖像對應的所述目標用戶的用戶資訊；根據所述用戶資訊，確認針對與所述語音對應的目標功能的所述目標用戶的權限；以及根據確認結果執行與所述目標功能相關的控制。

Description

助手服務提供方法及系統

本發明涉及一種助手服務提供方法及系統。

隨著技術發展，電子設備的使用率增加，最近用作提供助手(assistant)服務的手段，以輔助用戶。

助手服務向用戶輸出有用的資訊，或對用戶請求的功能回應，或執行相關作業，以幫助用戶實際完成各種作業或虛擬作業。

提供這種助手服務的電子設備以向用戶提供定制服務或掌握用戶的意圖提供用戶實際需要的功能的形式發展。

例如，在韓國公開專利2019-0062521號(虛擬助手的個性化)中，提供一種能夠通過自動保管用戶個人記錄，更快速訪問用戶的個人資訊，準確掌握用戶的需求，更快速地回應的系統。

另外，這種助手服務的關鍵不僅在於準確掌握用戶的需求，還在於根據接收助手服務的用戶是誰來提供合適的功能，該領域的研究正在積極進行中。

本發明提供一種助手服務提供方法及系統，能夠掌握用戶的意圖而更直觀地提供助手服務。

並且，本發明提供一種助手服務提供方法及系統，在沒有對電子設備接觸輸入的情況下也可以提供助手服務。

並且，本發明提供一種助手服務提供方法及系統，基於用戶的激活及情況執行符合用戶意圖的功能。

[本發明的技術方案在於]

為了解決如上所述問題，本發明的助手服務提供方法包括如下步驟：利用攝像頭檢測目標用戶的面部圖像；利用麥克風檢測所述目標用戶的語音；從用戶數據庫提取與所述面部圖像對應的所述目標用戶的用戶資訊；根據所述用戶資訊，確認針對與所述語音對應的目標功能的所述目標用戶的權限；以及根據確認結果執行與所述目標功能相關的控制。

並且，本發明的助手服務提供系統包括：攝像頭，用於檢測目標用戶的面部圖像；麥克風，用於檢測所述目標用戶的語音；以及控制部，用於從用戶數據庫提取與所述面部圖像對應的所述目標用戶的用戶資訊，根據所述用戶資訊，確認針對與所述語音對應的目標功能的所述目標用戶的權限，所述控制部根據確認結果執行與所述目標功能相關的控制。

並且，本發明的在電子設備中通過一個或多個流程執行並可存儲於電腦可讀介質的程式包括多個指令，用於執行如下步驟：利用攝像頭檢測目標用戶的面部圖像；利用麥克風檢測所述目標用戶的語音；從用戶數據庫提取與所述面部圖像對應的所述目標用戶的用戶資訊；根據所述用戶資訊，確認針對與所述語音對應的目標功能的所述目標用戶的權限；以及根據確認結果執行與所述目標功能相關的控制。

[本發明的有益效果在於]

如上所述，本發明的助手服務提供方法及系統可以使用面部識別向所識別的用戶提供能夠提供的定制功能。並且，本發明不僅可以執行面部識別，而且還可以與面部識別一同執行語音識別，由此提供基於所識別的用戶發出的語音的功能。因此，用戶僅在提供助手服務的電子設備周圍說話，即可使電子設備執行目的功能。

並且，本發明的助手服務提供方法及系統利用攝像頭檢測作為驗證對象的用戶並確認所檢測的用戶的權限，由此，輔助提供用戶具有的權限內的功能。在此情況下，在本發明中，對於用戶請求的功能不存在於用戶的權限內時，推薦提供在用戶的權限內的類似的功能，由此，提高用戶的便利性。

100:助手服務系統

110:通信部

120:存儲部

130:控制部

140:資料庫伺服器

10:電子設備

11:攝像頭

12:顯示部

13:麥克風

1000:目標用戶

S210、S220、S230、S240、S250:步驟

310、320、330:指示信息

410:面部圖像

420:資訊

430:圖形用戶介面

450:功能圖示

510:視覺資訊

520、530:圖形用戶介面

550:推薦資訊

620:資訊

630:資訊

710:指示信息

720:圖形用戶介面

810、820、830:資訊

900:空間

901、902、903、904:電子設備

1010:停車場

1020:車輛

1100:咖啡館

1110:資訊

圖1為用於說明本發明的助手服務系統的概念圖；圖2為用於說明本發明的助手服務方法的流程圖；圖3、圖4A、圖4B、圖5A、圖5B、圖6、圖7及圖8為用於說明本發明的助手服務方法及系統的概念圖；圖9、圖10及圖11為用於說明本發明的助手服務的應用實施例的概念圖。

下面，參照附圖對本說明書中公開的實施例進行具體說明，與附圖編號無關地，對相同或類似的結構要素賦予相同的附圖標記，並省略對其的重複說明。下面說明中使用的結構要素的尾碼“模組”及“部”是僅考慮到說明書撰寫的容易性而賦予或混用，其本身並非具有不同的含義或作用。並且，當描述本說明書中公開的實施例時，如果相關的公知技術的具體說明可能混淆本說明書中公開的要旨的情況下，則將省略其具體說明。並且，附圖僅是用於容易理解本說明書中公開的實施例，本說明書中公開的技術思想並不受附圖限制，應以包括本發明的思想及技術範圍內的所有變更、等同物以及替代物理解。

如包含第一、第二等序數的術語僅用於描述各種結構要素，但所述結構要素並不受所述術語的限制。所述術語僅用於將一個結構要素與另一結構要素區分的目的。

當提及任一結構要素與其它結構要素“連接”或“聯接”時，可以理解成直接與其它結構要素連接或聯接，但也可以在中間存在其他結構要素。而當提及任一結構要素與其它結構要素“直接連接”或“直接聯接”時，應理解為中間未存在其他結構要素。

除非上下文另有明確規定，否則單數的表述包含複數的表述。

在本申請中，“包含”或“具有”等術語旨在表示說明書上記載的特徵、數字、步驟、動作、結構要素、部件或它們的組合的存在，並未提前排除一個或多個其他特徵或數字、步驟、動作、結構要素、部件或者它們的組合的存在或附加可能性。

本發明涉及可以向用戶提供便利功能的助手服務(assistant service)提供方法及系統，只需用戶位於電子設備周圍，即可提供能夠輔助符合用戶意圖的功能的方法。

下面結合附圖對本發明進行詳細說明。圖1為用於說明本發明的助手服務系統的概念圖，圖2為用於說明本發明的助手服務方法的流程圖。並且，圖3、圖4A、圖4B、圖5A、圖5B、圖6、圖7及圖8為用於說明本發明的助手服務方法及系統的概念圖。並且，圖9、圖10及圖11為用於說明本發明的助手服務的應用實施例的概念圖。

如圖1所示，本發明的助手服務系統100包括通信部110、存儲部120及控制部130中至少一個。此時，本發明的助手服務系統100並不受所述結構要素限制，還可包括執行與本說明書中描述的功能相同或類似的作用的結構要素。

本發明的助手服務系統100可以與電子設備10聯動運行。其中，電子設備10可以包括智能手機(smart phone)、手機、平板電腦，自助服務終端(KIOSK)、電腦、筆記本電腦，數字廣播終端，個人數字助理(PDA，Personal Digital Assistants)以及可攜式多媒體播放器(PMP，Portable Multimedia Player)中至少一個。

另外，本發明的助手服務系統100可以由應用程式或軟體實現。此時，助手服務系統100的應用程式或軟體可以安裝在電子設備10，執行下述助手服務提供方法的流程。

例如，本發明的助手服務系統100的通信部110、存儲部120及控制部130可以使用電子設備10的硬體構成，執行與本發明的助手服務相關的一系列功能。例如，通信部110可以利用安裝在電子設備10的通信部的通信模組(例如，移動通信模組、近距離通信模組、無線網路模組、位置資訊模組、廣播接收模組等)的結構，與至少一個外部伺服器(例如，圖1所示的資料庫(database，DB)伺服器140或雲伺服器等)收發數據。

並且，存儲部120可以利用設置(或插入)在電子設備10的記憶體或雲伺服器，存儲與本發明的助手服務相關的數據。

控制部130可以使用設置在電子設備10的中央處理裝置(CPU)及雲伺服器中至少一個，執行與各個結構的控制及與本發明相關的整體控制。並且，控制部130為了執行本發明，而可以具有對電子設備10的結構中至少一個的控制權限。並且，控制部130可以將從電子設備10的結構要素接收或檢測的資訊用於本發明。例如，控制部130可以基於從電子設備10的攝像頭11接收的視頻及通過麥克風13接收的語音執行本發明的助手服務。

另外，控制部130可以基於人工智慧、機器學習或深度學習，根據學習及推論而提供本發明的助手服務。

並且，控制部130可以利用電子設備10的顯示部12輸出與本發明相關的資訊。此時，顯示部12可以由接收用戶輸入的觸摸螢幕(touch screen)實現。

此外，控制部130可以利用設置在電子設備10的其他結構要素(例如，接近感測器、紅外線感測器、輸入部等)執行本發明的助手服務。

另外，圖1中作為助手服務系統100的結構要素包含通信部110、存儲部120及控制部130，但本發明的助手服務系統100可以包含電子設備的結構要素中至少一個(例如，攝像頭11、顯示部12、麥克風13等)作為結構要素。

另外，本發明的助手服務系統100不僅以程式或應用程式的形式存在，還可以以能夠執行下述結構及功能的各種形式存在。

對此，下文中不嚴格限制，對本發明的助手服務系統100進行說明。

如圖1所示，本發明的助手服務系統100可以利用電子設備10的攝像頭11檢測用戶，並執行對所檢測的用戶的助手服務。

為了便於說明，在本發明中，將提供助手服務的用戶命名為“目標用戶1000(target user)”。

在本發明中，為了對目標用戶1000執行目標功能，可以通過執行對目標用戶1000的用戶驗證，提供目標用戶1000的預設權限內的目標功能。

在本發明中，“用戶驗證”可以是指對目標用戶1000的用戶驗證(User Authentication)。

在本發明中，可以利用“用戶驗證”執行與“目標功能”相關的一系列控制。

其中，“目標功能”的種類可能非常多樣，可以是指為了用戶的便利而提供的各種功能，例如，對場所的預約功能(例如，會議室預約、餐廳預約等)、結算功能、簽到功能、醫院就診確認，點餐功能(例如，咖啡館點飲料等)、電子裝置控制功能(例如，設置在會議室的電子裝置(例如，電視(TV)、揚聲器、照明等)、停車場的找車功能等。

另外，電子裝置控制功能可以包括用於控制設置在會議室、咖啡館等特定空間的電子裝置的功能。該電子裝置的控制可以利用基於物聯網(Internet of Things，IoT)的控制。電子裝置控制功能除了所述的TV、揚聲器、照明的控制之外，還可以存在空調控制、投影儀控制等。

這種電子裝置控制功能通過設置在由電子設備10的麥克風13輸入的語音指令而激活或去激活(deactivation)。

當接收到“關燈”、“開燈”、“開空調”等語音指令時，控制部130生成對與所接收的語音指令對應的電子裝置的控制命令，向對應的電子裝置發送控制命令，以執行對電子裝置的控制。

在本發明中，控制部130可以從通過攝像頭11接收的視頻獲取目標用戶1000的面部圖像，利用與存儲在用戶數據庫的所述面部圖像對應的用戶資訊，執行對所述目標用戶1000的助手服務。

此時，可以根據各種基準來指定作為所述用戶驗證的對象的目標功能。

例如，控制部130可以根據電子設備10的安裝場所來指定目標功能。例如，如圖1所示，當電子設備10配置在會議室周圍時，控制部130可以指定場地預約(例如，會議室預約)功能作為目標功能。並且，如圖10所示，當電子設備10配置在停車場周圍時，控制部130可以指定搜索目標用戶的車輛的停車位置的功能作為目標功能。另外，可以提前根據電子設備10的配置位置而確定指定何種功能作為目標功能。

作為另一例，控制部130可以基於通過麥克風13接收的語音，指定目標功能。控制部130可以檢測位於電子設備10周圍的目標用戶1000的面部圖像的同時通過目標用戶1000的麥克風13接收目標用戶1000的語音資訊。

控制部130可以根據預設的自然語言處理(Natural Language Processing)演算法而分析通過麥克風13檢測的(或接收的)語音(或語音資訊)資訊。並且，控制部130可以根據分析而從所接收的語音指定目標功能。控制部130可以根據包含在語音的關鍵字或指令而指定目標功能。

作為又一例，控制部130可以根據對電子設備10的用戶輸入而指定目標功能。此時的用戶輸入可以是通過具有觸摸屏的顯示部12或其他用戶輸入裝置輸入的用戶輸入。控制部130可以根據這種用戶輸入而指定目標功能。

作為又一例，控制部130可以根據包含在目標用戶的用戶資訊的目標用戶的日程而將適當的功能指定作為目標功能。

此外，目標功能可以通過各種方式指定，在本發明中，可以提供助手服務，以使目標用戶順暢執行或接收目標功能。

另外，控制部130可以利用從所述目標用戶1000的面部圖像及所述用戶數據庫提取的用戶資訊，確認目標功能的目標用戶1000的權限，並在目標用戶1000的權限內執行對目標功能的助手服務。

並且，控制部130可以將目標用戶1000的用戶資訊使用於目標功能的執行。例如，在目標功能為簽到功能的情況下，控制部130可以根據目標用戶1000的用戶資訊而執行對目標用戶1000的簽到批准處理或簽到拒絕處理中任一個。

作為又一例，在目標功能為結算功能的情況下，控制部130可以利用目標用戶1000的用戶資訊而對結算對象金額執行結算批准處理或結算拒絕處理中任一個。

另外，目標用戶1000的用戶資訊是與目標用戶1000相關的各種資訊，控制部130可以從通過攝像頭11接收的視頻中提取目標用戶1000的面部圖像，並從用戶數據庫提取與所述提取的面部圖像對應的(或匹配的)用戶資訊。

其中，用戶數據庫也可以命名為“與用戶相關的資訊”、“用戶的個人資訊”或“用戶的識別資訊”。

用戶數據庫可以包含在存儲部120、外部資料庫140及雲伺服器中至少一個。

控制部130可以從用戶數據庫搜索與目標用戶1000的面部圖像對應的人物，並提取與所搜索的人物匹配的用戶資訊。

用戶數據庫中可以按照個別人物(或人)為單位存儲各個人物的用戶資訊。即，用戶數據庫中可以存儲分別與相互不同人物對應匹配的用戶資訊。

其中，用戶資訊可以包括與各個人物相應的人的姓名、出生年月、地址、電話號碼、郵箱地址、帳戶資訊、員工編號、ID、面部圖像、生物資訊(例如，指紋資訊、虹膜資訊等)、對特定功能(或特定事件)的權限資訊、參照面部圖像、電子設備的識別資訊，日程(schedule)、工作部門、職務、職稱、職位、結算資訊(例如，帳戶號碼、信用卡資訊等)等相關的資訊中至少一個。

其中，參照面部圖像為特定用戶的面部圖像，可以是一個或多個。在本發明中，“參照面部圖像”也可以命名為“參照數據”。

控制部130可以通過對比由攝像頭11獲取的目標用戶的面部圖像和用戶數據庫中存儲的參照面部圖像，搜索與所述目標用戶的面部圖像對應的參照面部圖像的匹配人物。並且，控制部130可以將所搜索的人物指定為所述目標用戶，並從用戶數據庫提取與所述搜索的人物匹配的用戶資訊。

並且，控制部130可以利用所提取的用戶資訊，執行對目標功能的助手服務。

如圖1所示，電子設備10可以配置在任意場所，只需用戶位於電子設備10周圍，即可提供助手服務。

以下，結合流程圖具體描述本發明的助手服務提供方法。

首先，如圖2所示，根據本發明的助手服務提供方法，可以進行利用攝像頭11檢測目標用戶的面部圖像的過程(步驟S210)。

即，控制部130可以利用電子設備10的攝像頭11(參照圖1)，從由攝像頭11接收的視頻檢測目標用戶的面部圖像。

更具體地，如圖3的(a)及圖4A所示，控制部130可以通過攝像頭11檢測位於電子設備10周圍的目標用戶1000的人臉。

控制部130可以從由攝像頭11接收的視頻獲取目標用戶1000的面部圖像410，利用存儲在用戶數據庫的與所述面部圖像對應的用戶資訊，執行對所述目標用戶1000的助手服務。

控制部130若從由攝像頭11接收的視頻檢測到目標用戶1000的面部圖像，則可以為助手服務執行一系列流程。

通過攝像頭11檢測或感測目標用戶1000的面部圖像的時間點可以非常多樣。

作為一例，若對電子設備10施加用戶輸入，則控制部130控制攝像頭11拍攝目標用戶1000的人臉。其中，用戶輸入可以是基於對電子設備10的物理接觸的輸入或利用語音的輸入等各種形式的輸入。

作為另一例，如圖3所示，在電子設備10周圍檢測到有人時，控制部130可以控制攝像頭11，以通過攝像頭11接收對目標用戶1000的視頻。此時，在目標用戶1000位於以電子設備10為基準的預設範圍(或距離)的情況下，控制部130可以控制攝像頭11，以檢測目標用戶1000的面部圖像。控制部130可以利用設置在電子設備10的至少一個感測器(例如，接近感測器、紅外線感測器或鐳射雷達感測器等)，檢測(或感測)目標用戶位於電子設備10周圍或以電子設備10為基準的預設範圍內。

另外，當目標用戶1000不位於所述電子設備10的預設範圍內時，控制部130可以控制顯示部12，以去激活電子設備10的顯示部12。去激活狀態的顯示部12可以處於關機狀態、待機狀態及省電狀態中至少一個狀態。

並且，當目標用戶1000位於所述電子設備10的預設範圍內時，控制部130控制顯示部12激活，以激活電子設備10的顯示部12。此時，顯示部12可以輸出關於指定目標功能的方法的引導資訊(例如，“請說您想要的功能”)。

作為又一例，控制部130可以在預設時間間隔或即時判斷由攝像頭11接收的視頻中是否包含目標用戶1000的面部圖像。並且，若判斷結果為由攝像頭11接收的視頻包含目標用戶1000的面部圖像，則可以執行與目標功能相關的助手服務的一系列流程。

作為又一例，當通過設置在電子設備10的麥克風13檢測到聲音(或語音)時，控制部130可以激活攝像頭11。即，當通過麥克風13檢測到人聲時，控制部130可以判斷電子設備10周圍有人並激活攝像頭11。

作為又一例，如圖4B所示，控制部130可以回應於設置在電子設備10的功能圖示450被選擇，激活攝像頭11。這種功能圖示450中可以匹配形式存在用於激活本發明的助手服務的功能。功能圖示450可以在設置於電子設備10的顯示部12上輸出。當由用戶等以觸摸等方式選擇功能圖示450時，控制部130可以激活本發明的助手服務。在此情況下，可以回應於助手服務的激活，攝像頭11被激活。

另外，控制部130可以利用至少一個面部識別演算法，從由攝像頭11接收的視頻中檢測目標用戶1000的面部圖像。本發明中所使用的面部識別演算法的種類不受限制，還可以使用基於人工智慧或深度學習運行的演算法。

另外，即使當通過攝像頭11檢測到目標用戶1000的面部圖像時，若所檢測的面部圖像不滿足用於執行助手服務的預設條件(或預設驗證條件)，則控制部130可以提供用於獲取滿足所述預設條件的面部圖像的引導資訊。

更具體地，控制部130可以判斷攝像頭11中檢測的目標用戶1000的面部圖像是否滿足所述預設條件。其中，所述預設條件可以與視頻中包含的面部圖像的大小、與面部圖像對應的人臉的角度、視頻中面部圖像的位置及視頻中人臉的外觀特徵要素(例如，眼腈、鼻子、嘴)的包含與否中至少一個有關。

控制部130可以輸出關於目標用戶1000的姿勢及位置等的資訊中至少一個作為引導資訊，以獲取滿足預設條件的面部圖像。引導資訊可以與攝像頭11與目標用戶1000之間的相對位置及相對距離中至少一個有關。

例如，控制部130可以提供如下引導資訊：i)以電子設備為基準的目標用戶1000的位置的資訊(例如，靠近一點、往後一點、請調整與螢幕的距離)；ii)目標用戶1000的姿勢資訊(例如，請看螢幕)，iii)在目標用戶1000的人臉被物體(例如，口罩)遮擋的情況下，建議移除遮擋物的資訊(例如，摘下口罩)。

並且，本發明的助手服務提供方法中，可以進行利用麥克風檢測目標用戶的語音的過程(步驟S220)。

在本發明中，通過攝像頭11檢測目標用戶1000的面部圖像的過程(S210)及利用麥克風13檢測目標用戶的語音的過程(步驟S220)也可以在電子設備10上同時進行。即，控制部130在電子設備10上通過攝像頭11接收視頻資訊的時間點和通過麥克風13接收語音資訊的時間點可以相同。這種情況相當於目標用戶1000在電子設備10周圍說話的情況。

另外，通過攝像頭11檢測目標用戶1000的面部圖像的過程(步驟S210)及利用麥克風13檢測目標用戶的語音的過程(步驟S220)的先後順序可以根據情況自由變化。即，可以在進行通過攝像頭11檢測目標用戶1000的面部圖像的過程(步驟S210)後，進行利用麥克風13檢測目標用戶的語音的過程(S220)，也可以在進行利用麥克風13檢測目標用戶的語音的過程(步驟S220)後，進行通過攝像頭11檢測目標用戶1000的面部圖像的過程(步驟S210)。

另外，利用麥克風13檢測目標用戶的語音的過程可以理解為通過麥克風接收聲音資訊的過程。

控制部130可以根據自然語言處理演算法，分析通過麥克風13接收的語音資訊，並根據分析結果確定目標功能。

例如，如圖3所示，目標用戶1000可以通過語音說出對目標功能的資訊(例如，“請預約會議室”)。控制部130回應於接收這種語音，將與語音對應的功能指定為目標功能。控制部130對比分別與各種關鍵字對應的功能列表和語音中包含的資訊，來指定目標功能。這種功能列表可以以存儲在存儲部120的方式存在。

另外，在指定目標功能的情況下，顯示部12上可以輸出用於指定將特定功能確定為與所述語音對應的功能的指示信息。並且，控制部130可以通過聲音輸出部(或揚聲器)輸出指示信息。

接著，本發明中可以進行從用戶數據庫提取與所檢測的面部圖像對應的用戶資訊的過程(步驟S230)。

更具體地，控制部130可以從由攝像頭11接收的視頻中提取目標用戶1000的面部圖像，並從用戶數據庫提取與所述提取的面部圖像對應的(或匹配的)用戶資訊。

如上所述，用戶數據庫也可以命名為“與用戶相關的資訊”、“用戶的個人資訊”或“用戶的識別資訊”。

控制部130可以從用戶數據庫提取所檢測的目標用戶1000的面部圖像和具有滿足預設條件的類似度的特定參照面部圖像。並且，可以將與所提取所述特定參照面部圖像匹配的人物指定為所述目標用戶。

當對目標用戶1000的搜索正在進行時，控制部130可以控制顯示部12及聲音輸出部(例如，揚聲器等)，以在電子設備10輸出關於當前進行情況的指示信息(例如，“正在找您”)。

如圖4A所示，在顯示部12中可以輸出通過攝像頭11拍攝的視頻。此時，所輸出視頻中可以包含目標用戶1000的面部圖像410。

如上所述，當已指定與目標用戶1000相應的人物並輸出關於與所指定的人物(例如，李*利)的用戶資訊時，控制部130可以在顯示部12提供所述用戶資訊中至少一部分。

因此，如圖4A所示，與目標用戶1000相應的人物對應的用戶資訊中至少一部分(例如，姓名資訊(李*利)可以在顯示部12輸出。因此，目標用戶1000可以參照顯示部12上輸出的資訊，在電子設備10確認是否準確搜索到自己。

如上所述，在提取到目標用戶1000的用戶資訊的情況下，本發明中可以進行利用所提取用戶資訊，確認對目標功能的目標用戶1000的權限的過程(步驟S240)。

如上所述，目標功能可以根據通過麥克風輸入的語音來指定。

並且，除了通過麥克風輸入的語音之外，目標功能還可以通過其他方法指定。當目標功能不是根據語音指定時，本發明的助手服務提供方法也可以省略步驟S220。

下面描述通過其他方法指定目標功能的例，作為一例，控制部130可以根據電子設備10的安裝場所來指定目標功能。例如，如圖3所示，當電子設備10配置在會議室周圍時，控制部130可以指定場地預約(例如，會議室預約)功能作為目標功能。在此情況下，即使從目標用戶1000未接收到單獨的用戶輸入，控制部130也可以執行基於目標用戶1000通過攝像頭11的檢測，確認目標用戶1000的權限的過程。

並且，如圖10所示，當電子設備10配置在停車場周圍時，控制部130可以指定搜索目標用戶的車輛的停車位置的功能作為目標功能。另外，可以提前根據電子設備10的配置位置而確定指定何種功能作為目標功能。

另外，為了指定目標功能，而控制部130可以向目標用戶1000輸出問題，並根據對輸出問題的答案來指定目標功能。

目標功能的指定可能需要能夠確認目標用戶的權限的程度的具體資訊。例如，當目標功能為場所預約時，控制部130可能需要具體的預約場所(例如，會議室號碼等)及預約時間資訊。

為了指定目標功能，控制部130可以通過各種方式向目標用戶1000提供問題。例如，控制部130可以通過揚聲器向目標用戶1000輸出問題，並通過麥克風13接收語音來接收對問題的答案。控制部130可以多次輸出問題並接收答案，直到收集到能夠具體化(或確定)目標功能的程度的資訊。

並且，控制部130可以向顯示部12輸出問題並通過顯示部12或麥克風13接收答案，從而收集用於具體化目標功能的資訊。

另外，即使沒有對目標用戶1000提出問題也已經完成對目標功能的具體化時，控制部130可以不輸出問題。例如，目標用戶1000可以在最初向電子設備10提供足以指定特定功能的資訊，例如“請預約星期一下午3點的3號會議室”。

像這樣，若通過用戶的語音或其他方法指定目標功能，則控制部130可以確認對目標功能的目標用戶的權限。

其中，“目標用戶的權限”可以解釋為各種含義。例如，目標用戶的權限可以是目標用戶1000是否具有與任意功能、裝置或場所相關的訪問權限，例如i)目標用戶1000是否具有接收目標功能的權限；ii)目標用戶1000是否具有訪問目標功能的權限；iii)目標用戶1000是否具有出入特定場所的權限；iv)目標用戶1000是否具有控制特定電子裝置的權限等。

這種目標用戶1000的權限有關資訊(或權限資訊)可以包含在目標用戶1000的用戶資訊。

例如，如圖3所示，當目標功能為場所預約功能時，控制部130可以根據目標用戶1000的用戶資訊，判斷目標用戶1000是否具有對特定場所(例如，預約對象場所)的出入權限或預約權限。

在此情況下，目標功能可以理解為在特定時間針對特定場所的預約功能。

並且，為了確認目標用戶1000的權限有關資訊(或權限資訊)，控制部130可以從目標用戶1000確認用於確認權限的資訊。其中，用於確認權限的資訊可以是目標用戶1000的生物資訊、密碼資訊等用於驗證目標用戶1000的資訊。

另外，如上所述，特定場所或預約時間等與預約相關的資訊的指定可以根據從目標用戶1000接收的語音及目標用戶的日程資訊中至少一個來進行。

並且，特定場所或預約時間等與預約相關的資訊的指定可以電子設備10的配置場所中至少一個來進行。

例如，控制部130可以根據檢測目標用戶1000的面部圖像及語音的電子設備10的配置位置，確定特定場所。例如，控制部130可以將離電子設備10的配置位置最近的場所(例如，會議室)指定為特定場所，並且，可以對電子設備10匹配場所資訊(例如，會議室號碼)，控制部130可以根據與電子設備10匹配的場所資訊，確定特定場所。

另外，如上所述，確認對目標功能的目標用戶的權限後，本發明可以進行根據確認結果執行與目標功能相關的控制的過程(步驟S250)。

更具體地，控制部130可以根據目標用戶1000是否具有對特定功能的權限，執行互不相同的控制。

當目標用戶1000具有對特定功能的權限時，控制部130可以執行或進行特定功能。

並且，當目標用戶1000具有對特定功能的權限但無法執行或進行特定功能時，控制部130可以推薦或執行與特定功能類似的功能。

即，當目標用戶1000不具有對特定功能的權限時，控制部130可以限制特定功能的執行。在此情況下，控制部130可以推薦或執行與特定功能類似的功能。

例如，當特定功能為針對特定場所的預約功能時，控制部130可以根據目標用戶1000是否對特定場所具有預約權限，來執行與針對所述特定場所的預約相關的互不相同的控制。

例如，當目標用戶1000具有針對特定場所的預約權限時，控制部130可以執行針對特定場所的預約，如圖3的(b)310所示。在此情況下，控制部130可以通過視覺及聽覺資訊中至少一種方式在電子設備10上輸出用於指示特定功能能夠正常執行的指示信息(例如，“現在給您預約4號會議室！”)。

如圖4A所示，在顯示部12上可以輸出針對特定場所的預約有關資訊420(例如，情況資訊或指示信息等)。控制部130可以在顯示部12提供圖形用戶介面430(GUI，Graphic User Interface)，以使目標用戶1000隨時變更預約時間或預約場所，或者確定預約。這種圖形用戶介面430也可以命名為圖示或圖形對象。

作為另一例，當目標用戶1000具有針對特定場所的預約權限但無法執行針對特定場所的預約時(例如，特定場所已有預約的情況等)，如圖3的(c)320所示，控制部130可以預約或推薦與特定場所不同的能夠預約的場所。控制部130可以判斷是否能夠對目標用戶所在空間場所(例如，會議室等)預約，並根據判斷結果推薦其他能夠預約的場所。

此時，控制部130可以根據i)離特定場所最近的場所；ii)除了特定場所，離目標用戶1000的當前位置最近的場所；iii)除了特定場所，離目標用戶1000的辦公位置最近的場所；或者iv)除了特定場所，同時考慮其他用戶(例如，會議出席人等)及目標用戶1000的距離等各種標準搜索其他能夠預約的場所，並生成搜索的資訊作為推薦資訊。

作為又一例，如圖3的(d)330所示，當目標用戶1000不具有針對特定場所的預約權限時，控制部130可以引導預約與特定場所不同的場所。對其他場所的引導可以通過電子設備10進行，控制部130可以通過聽覺及視覺中至少一個引導目標用戶1000。

在此情況下，控制部130可以向目標用戶同時輸出用於指示不具有針對特定場所的預約權限的指示信息(例如，“您沒有對4號會議室的預約權限”)和引導資訊(例如，“需要給您預約7號會議室嗎？)。如圖5A所示，這種資訊可以以視覺資訊510輸出到顯示部12。並且，顯示部12可以包含用於接收特定功能的執行結束或其他推薦場所的圖形用戶介面520、530。這種圖形用戶介面520、530也可以命名為圖示或圖形對象。若圖形用戶介面520、530中的一個被選擇，則控制部130可以執行與所選擇的圖形用戶介面匹配的功能。例如，當用戶(或目標用戶1000)選擇與特定功能的執行結束對應的圖形用戶介面520時，控制部130可以結束用於目標用戶1000的場地預約流程。相反，當用戶(或目標用戶1000)選擇與提供其他推薦場所的功能對應的圖形用戶介面530時，控制部130可以輸出推薦場所資訊。並且，當然，即使用戶不選擇所述圖形用戶介面530，也可以輸出推薦場所資訊。

如上所述，控制部130搜索目標用戶1000具有預約權限且能夠預約的場所，並生成搜索的資訊作為推薦資訊。控制部130可以根據各種標準搜索推薦場所，可以向目標用戶1000提供一個或多個推薦場所的資訊。

控制部130可以根據i)離特定場所最近的場所；ii)除了特定場所，離目標用戶1000的當前位置最近的場所；iii)除了特定場所，離目標用戶1000的辦公位置最近的場所；或者iv)除了特定場所，同時考慮其他用戶(例如，會議出席人等)及目標用戶1000的距離等各種標準搜索其他能夠預約的場所，並生成搜索的資訊作為推薦資訊。

例如，如圖5B所示，顯示部12上可以提供離目標用戶1000的當前位置最近的場所作為推薦資訊550。同樣，如圖5B所示，顯示部12上可以提供離目標用戶1000的辦公位置最近的場所作為推薦資訊550。在此情況下，作為推薦資訊提供的場所可以是目標用戶1000具有預約權限的場所。

另外，如圖6所示，特定功能為場所預約功能且基於所述目標用戶的用戶輸入而接收出席人(例如，金*東、柳*愛)資訊時(參照圖6的附圖標記620)，控制部130可以根據分別與出席人及目標用戶1000相關的位置，搜索目標用戶1000的預約權限內的特定場所(例如，A棟1號、3號、5號會議室)作為推薦場所。並且，如圖6所示，可以在顯示部上輸出搜索的推薦場所的資訊630。在此情況下，控制部130可以在地圖圖像上指示推薦場所位置、與目標用戶1000相關的位置(例如，目標用戶的當前位置或目標用戶的辦公位置等)，與出席人相關的位置(例如，出席人的當前位置或目標用戶的辦公位置等)。

當接收出席人資訊時，控制部130可以從用戶數據庫提取出席人的用戶資訊，並根據與所提取的出席人的用戶資訊中包含的出席人相關的位置資訊，搜素(或指定)推薦場所資訊。

另外，所述示例描述了特定功能中具體指定場所的情況，但本發明並不限於此，可以根據目標用戶1000具有的權限資訊(例如，對場所的訪問權限、出入權限等)，推薦能夠預約的場所資訊。當然，控制部130可以根據以上描述的場所推薦方法，搜索目標用戶1000具有預約權限且能夠預約的場所，並生成對搜索的場所的推薦資訊。

例如，目標用戶1000可以向電子設備10輸入如“會議室預約”等語音，控制部130可以根據用戶語音，根據以上描述的方式中至少一個，生成目標用戶1000能夠預約的場所作為推薦場所資訊。

另外，在本發明中，為了提供能夠提高用戶便利性的助手服務，當已執行針對特定場所的預約時，可以提供根據目標用戶1000的用戶資訊，將針對特定場所的預約資訊添加到所述目標用戶的日程資訊的功能。

如圖7所示，當特定功能的執行結果為發生與目標用戶1000的日程相關的日程事件時，控制部130可以將該日程事件添加到用戶的日程資訊。

控制部130可以從用戶資訊提取用於存儲用戶的日程資訊的帳戶資訊，並在該帳戶資訊添加存儲與日程事件相應的日程。

像這樣，當提供與日程添加相關助手服務時，控制部130可以通過聽覺及視覺方式中至少一種方式輸出用於指示正提供與日程添加相關助手服務的指示信息710。

控制部130可以在顯示部12提供圖形用戶介面720(GUI，Graphic User Interface)，以使目標用戶1000批准或拒絕與日程添加有關助手服務。

並且，當已執行針對特定場所的預約並確定與特定場所相關的出席人資訊時，控制部130可以從用戶數據庫提取出席人的用戶資訊。並且，控制部130可以提供利用所述出席人的用戶資訊，與所述出席人共用針對所述特定場所的預約資訊的助手服務。控制部130可以利用出席人的用戶資訊中包含的郵箱地址、電話號碼等聯繫人資訊，向出席人發送預約資訊。這種預約資訊可以通過電子郵件、消息等方式發送。

並且，控制部130可以從出席人的用戶資訊提取用於存儲出席人的日程資訊的帳戶資訊，並在該帳戶資訊添加存儲與日程事件相應的日程。

像這樣，當提供與日程添加相關助手服務時，控制部130可以通過聽覺及視覺方式中至少一個輸出用於指示正提供與日程添加相關助手服務的指示信息。

並且，控制部130可以在顯示部12提供圖形用戶介面720(GUI，Graphic User Interface)，以使目標用戶1000批准或拒絕與出席人有關助手服務(例如，預約資訊發送或日程添加等)。

另外，應用以上描述的服務提供方法及系統的電子設備10可以安裝在各種場所。如圖3所示，電子設備10可以配置在會議室周圍，或者如圖8的(a)所示，也可以配置在公共生活空間(例如，電梯周圍)、多個用戶的辦公場所等。

並且，在電子設備10周圍識別到用戶(例如，目標用戶1000)的情況下，控制部130可以為所識別的目標用戶1000提供助手服務。

例如，如圖8的(b)所示，控制部130可以通過電子設備10向目標用戶1000輸出用於提供特定功能(例如，會議室預約功能)的引導資訊810。

作為另一例，如圖8的(c)所示，當已指定目標用戶1000時，控制部130可以參照目標用戶1000的用戶資訊中包含的日程資訊來提供目標功能。其中，目標功能可以是考慮電子設備10所在位置的場所特徵的功能。例如，當電子設備10的配置場所為電梯周圍時，控制部130可以提取目標用戶1000的日程資訊。並且，可以通過電子設備10輸出引導資訊820(例如，移動至4號會議室所在場所(3樓))，用於使目標用戶1000向與所提取日程資訊對應的場所(例如，4號會議室)移動。

並且，如圖8的(d)所示，控制部130可以參照目標用戶1000的用戶資訊中包含的日程資訊，通過電子設備10輸出用於使目標用戶1000想起(提醒)日程資訊的資訊830。

另外，本發明的助手服務提供方法及系統除了以上描述的場地預約功能之外，還可以提供其他各種功能。

作為一例，當電子設備10配置在會議室、辦公室、家等空間900時，如圖9所示，控制部130可以根據通過電子設備10輸入的用戶輸入，控制配置在空間900的電子設備901、902、903、904。此時，控制部130也可以為了判斷目標用戶1000是否具有對電子設備901、902、903、904的控制權限，而識別目標用戶1000的人臉並從用戶數據庫提取與所識別的面部圖像對應的用戶資訊。並且，控制部130可以從所提取的用戶資訊確認對電子設備901、902、903、904的控制權限資訊，並根據確認結果執行對電子設備901、902、903、904的控制。

另外，對電子設備901、902、903、904的控制可以包括與電子設備901、902、903、904相關的各種控制，如開啟(on)或關閉(off)電子設備901、902、903、904的電源、調整音量等。

作為另一例，如圖10所示，電子設備10可以配置在停車場1010。在此情況下，當通過電子設備10識別到目標用戶1000時，控制部130可以執行目標用戶1000的權限內的與車輛1020相關的控制。

為了提取目標用戶1000的權限內的車輛1020資訊，控制部130可以通過電子設備10識別目標用戶1000的人臉，從用戶數據庫提取與所識別的面部圖像對應的用戶資訊。並且，控制部130可以從所提取的用戶資訊確認目標用戶1000的權限內的車輛1020(例如，目標用戶1000擁有的車輛、登記使用的車輛等)資訊。並且，控制部130可以執行與所確認的車輛1020有關控制(例如，車輛1020的停車位置信息提供，車輛1020的停車費用結算等)。

另外，關於車輛1020的車牌號、停車位置、停車時間等的資訊可以在車輛1020進入停車場1010的過程中基於設置在停車場1010的感測器檢測。並且，當所檢測車輛1020資訊中存在具有與車輛的車牌號資訊對應的用戶資訊的用戶時，控制部130可以將該用戶的資訊與車輛的停車相關的資訊(停車位置、停車時間等)匹配來登記。因此，當目標用戶1000通過電子設備10請求與車輛1020有關功能(例如，停車位置信息提供、停車費用結算等)時，可以參照與用戶資訊匹配來登記的資訊，提供適當的資訊。

作為又一例，如圖11所示，當電子設備10配置在咖啡館1100、餐廳等時，控制部130可以通過電子設備10從目標用戶1000接收點餐資訊，並執行電子結算。

在此情況下，控制部130可以識別目標用戶1000，並從用戶數據庫提取目標用戶1000的用戶資訊。並且，可以利用所提取的用戶資訊(例如，結算裝置資訊(信用卡資訊，帳戶資訊等)，執行對目標用戶1000的點餐的電子結算。

另外，目標用戶1000的用戶資訊可以包含目標用戶1000的歷史資訊，歷史資訊可以包含目標用戶1000的過去點餐資訊。

當基於這種歷史資訊識別目標用戶1000時，控制部130可以通過電子設備10基於過去點餐資訊輸出建議下單特定菜品(例如，“拿鐵咖啡”)的點餐推薦資訊1110，如圖11所示。

另外，對於如咖啡館1100等有機器人(例如，送餐機器人等)運行的空間，控制部130可以控制機器人，以利用機器人向目標用戶1000送去目標用戶1000下單的菜品(例如，飲料、食物等)。在此情況下，控制部130可以檢測目標用戶1000空間內所在位置，並控制機器人移動至所檢測的位置。

如上所述，本發明的助手服務提供方法及系統可以根據應用助手服務提供方法及系統的電子設備的配置位置，提供能夠輔助用戶的各種功能。

如上所述，本發明的助手服務提供方法及系統可以使用面部識別而向所識別的用戶提供能夠提供的定制功能。並且，本發明不僅可以執行面部識別，而且還可以與面部識別一同執行語音識別，由此提供基於所識別的用戶發出的語音的功能。因此，用戶僅在提供助手服務的電子設備周圍說話，即可使電子設備執行目的功能。

另外，電腦可讀介質包括存儲通過電腦系統讀取的數據的所有種類的記錄裝置。電腦可讀介質諸如HDD(硬碟，Hard Disk Drive)、SSD(固態硬碟，Solid State Disk)、SDD(Silicon Disk Drive)、ROM(只讀記憶體)、RAM(隨機存取記憶體)、CD-ROM(只讀光碟)、磁帶、軟碟、光數據存儲裝置等。

而且，電腦可讀介質包括記憶體，可以是電子設備通過通信而訪問的伺服器或雲記憶體。對於該情況，電腦通過有線或無線通信而從伺服器或雲記憶體下載本發明的程式。

而且，在本發明中，如上說明的電腦為處理器，即載有CPU(Central Processing Unit、中央處理裝置)的電子設備，對其種類不作特別限定。

另外，所述的具體說明並非在所有方面限制解釋，僅用於例示。本發明的範圍應通過申請專利範圍書的合理解釋確定，本發明的同等範圍內的所有變更包含於本發明的範圍內。