TW201820109A

TW201820109A - 控制使用者介面之方法、程式及裝置

Info

Publication number: TW201820109A
Application number: TW106134694A
Authority: TW
Inventors: 青山智信; 佐佐木竜生; 片岡誠一
Original assignee: 日商Ｈｉ股份有限公司
Priority date: 2016-10-12
Filing date: 2017-10-11
Publication date: 2018-06-01
Also published as: US20180101236A1; TWI703492B; WO2018070385A1; CN110036357A; EP3528088A4; US10318009B2; JP6208837B1; JP2018063552A; EP3528088A1

Abstract

提供一種控制使用者介面的方法，該使用者介面基於使用者對畫面顯示所進行的操作來對應用程式發出指示，該控制使用者介面的方法包括：由具有該畫面的裝置取得該顯示的步驟；抽去所取得的該顯示中存在的1個以上的特徵的步驟；接收使用者的動作的步驟；基於接收的該動作及抽出的該1個以上的特徵，從資料庫中搜尋規定的操作的步驟；將搜尋到的與該動作不同的規定的操作對應地應用於該顯示，從而向該應用程式發出指示的步驟。

Description

控制使用者介面之方法、程式及裝置

本發明係關於一種控制使用者介面之方法、程式及裝置。

手機、平板電腦等便攜式終端、音樂播放裝置、筆記本電腦等具備CPU的機器中，有多種多樣的應用程式運行。這些應用程式具備使用者介面，用以接收使用者發出之指示並向使用者提供資訊。

在這些機器中運行的應用程式各為獨自設計，各有獨自的使用者介面，並以獨自的方式實現使用者與機器之間的互動。當然，作業系統所提供的基本使用者介面在同一作業系統中運行的應用程式中被統一化的情形居多。另外，由同一企業基於同一設計思想開發出的應用程式群中，多採用相同的使用者介面。

然而，世間存在多種作業系統，且在作業系統水平得以支持的周邊機器也存在多種，故，該基本使用者介面也可見根據作業系統而異之情形。另外，即使是同一企業基於同一設計思想製成的應用程式群，也有使用者介面中存在相異部分之情形。此外，即使是相同應用程式，根據不同版本，使用者介面會有變更。由此，使用者與機器之互動根據每個應用程式而異的情形較多。

此外，在駕駛汽車等之情形下，有時無法操作便攜式終端，有時造成駕駛中的應用程式操作障礙。

因此，例如擴大畫面顯示時，根據應用程式，可藉由擴大手勢(pinch out)發出指示，藉由雙擊滑鼠發出指示，藉由使滑鼠滾輪旋轉而發出指示等，存在各種指示方式。

從而，即使在發出相同指示的情形下，根據各個應用程式，會要求使用者進行不同的操作。另外，在駕駛中等，還有操作本身會受障礙之情形。

已有在這種情形下將使用者利用介面進行的操作置換成其他操作的技術。

例如，藉由具備聲音及/或手動使用者介面，以此進入(access)可經由選項單階層進行存取的裝置功能，從而能夠根據被稱為聲音捷徑的一種聲音命令進行分支捷徑化。該裝置具有：用於記憶使用者的相互作用系列的記憶元件；用於尋找與被記憶的相互作用系列對應的聲音捷徑的元件；在發現了聲音捷徑的情形下，向使用者發送訊息，以向使用者通知該聲音捷徑的存在的元件(例如，參照專利文獻1)。

此外，在用於從資料庫查詢及顯示記錄的使用者介面，被賦予使用者特定檔(user profile)及進行操作，以與其他基準相同的方式協助查詢。例如已有，採用與由使用者將明示性選擇以規則形式組入使用者特定檔的、更為典型的選擇特定檔相同的方式，將該“默認的”特定檔追加到查詢中的技術(例如，專利文獻2參照)。

然而，這種置換操作技術是一種以藉由對特定應用程式實現捷徑等，來節省操作者的時間勞力等為目的的技術。因此，根據這種歷來技術，為了按照每個應用程式進行與使用者的各操作對應的動作，需要按各應用程式進行設計。

依舊是，應用程式的開發者需要按每個應用程式來製作使用者介面，使用者需要學習與該使用者介面相應的操作。

因此，在各種利用狀況下，被期望進一步提高使用者對各種應用程式的易存取性、易用性等(可及性)。

<先前技術文獻>

<專利文獻>

專利文獻1：(日本)特開2000-231398號公報

專利文獻2：(日本)特表2003-529154號公報

本發明的技術其目的在於進一步提高使用者對各種應用程式的易存取性、易用性等(可及性)。

一實施方式公開了一種控制使用者介面的方法，該使用者介面根據使用者對畫面顯示近型的操作，來對應用程式發出指示，該方法包括：由具有該畫面的裝置取得該顯示的步驟；抽去所取得的該顯示中存在的1個以上的特徵的步驟；接收使用者的動作的步驟；根據接收的該動作及抽出的該1個以上的特徵，從資料庫中搜尋規定的操作的步驟；將搜尋到的與該動作不同的該規定的操作，對應地應用於該顯示，從而向該應用程式發出指示的步驟。

根據本發明的技術，能夠進一步提高使用者對各種應用程式的易進接性、易用性等(可及性)。

100‧‧‧便攜式終端

102‧‧‧照相機

104‧‧‧顯示器

106‧‧‧傳聲器

110‧‧‧伺服裝置

120‧‧‧網路NW

130‧‧‧開關SW

140‧‧‧聲音

142‧‧‧使用者

152‧‧‧手勢

154‧‧‧手勢

160‧‧‧介面元件

圖1是例示一實施方式的機器構成的圖。

圖2是說明一實施方式的功能概要的圖。

圖3是例示一實施方式中的動作定義的圖。

圖4是例示應用程式的具體顯示的圖。

圖5是例示畫面的擴大及縮小指示的圖。

圖6是表示一實施方式的動作的流程圖。

圖7是例示實現一實施方式的使用者介面控制程式的運行環境的圖。

圖8是例示實現一實施方式的使用者介面控制程式的運行動作環境的圖。

圖9是例示從使用者的動作、畫面顯示的特徴抽出結果等，作成用於抽出適當的指示及操作的資料庫的圖。

圖10是例示硬體構成的圖。

<機器構成的例示>

圖1例示了一實施方式的機器構成。該實施方式具有便攜式終端100、伺服裝置110及介面元件160。其中，伺服裝置110及介面元件160並非是必不可缺的構成，亦可僅由便攜式終端100實現實施方式。

實施方式可由例如在便攜式終端100中運行的程式實現。或者，實施方式亦可由便攜式終端100與其他裝置(例如，伺服裝置110、介面元件160)共同實現。實施方式還可以作為方法發明實現。另外，實施方式也可以作為裝置等物體發明實現。

介面元件160接收例如使用者142發出的聲音140、人的手指的手勢152、手勢154、來自開關SW130的訊號等資訊。介面元件160將接收的資訊變換成電訊號，並藉由通信145，以無線或有線方式，可將變換的資訊發給便攜式終端。

便攜式終端100中設有手機網、無線區域網路(WiFi)、藍牙(登録商標)、近距離無線通信(NFC)等通信功能。便攜式終端100利用通信功能，例如利用網際網路等網路或P2P通信，與其他便攜式終端或伺服裝置110等的各種電腦進行通信，從而能夠傳遞各種資訊。

另外，便攜式終端100接收聲音140、人的手指的手勢152、手勢154、來自開關SW130的訊號等的資訊時也可以不經由介面元件160。便攜式終端100具有1個以上的照相機102，能夠作為動畫或靜止畫取得例如人的手指的手勢152、手勢154等。另外，使用者142發出的聲音140，藉由傳聲器106，可被便攜式終端100取得。另外，可以利用與便攜式終端連接的開關SW130，使便攜式終端100獲得由使用者142輸入的指示。便攜式終端100從可以設有用於連接開關SW130的端子(未圖示)。或，便攜式終端100與開關SW130可無線連接。另外，便攜式終端具有顯示器104。顯示器104的畫面顯示在本實施方式中被利用於模式識別。

一實施方式中，如下所述，資料庫的更新資訊可從伺服裝置110藉由網路NW120被提供給便攜式終端。或，可以從便攜式終端100藉由網路NW120向存在於伺服裝置110中的資料庫發送搜尋指示，便攜式終端100從伺服裝置110取得搜尋結果。下述資料庫存在於與網路NW120連接的任意的硬體中即可。

需要說明的是，圖1中表示了手機形態的便攜式終端100，但便攜式終端100並不限定於手機，例如，還可以是埋設固定於汽車前面板等的硬體。或，便攜式終端100還可以是具有通信功能的手錶，或其他穿戴式機器。另外，介面元件160還可以是固定於汽車方向盤等的硬體。

圖2是說明一實施方式的功能概要的圖。

更詳細而言，圖2表示了對便攜式終端中運行的用於顯示地圖的應用程式的使用者介面進行控制的實施方式。

首先，說明圖2的地圖應用程式的動作。其次，說明一實施方式。

<地圖應用程式本來的動作說明>

圖2(A)中，表示了便攜式終端100的畫面顯示210。箭頭標記211是表示地圖上的目的地的記號。星形標記 212是表示地圖上的現在地(便攜式終端100當前所在的位置)的記號。

由四邊框包圍顯示的“目的地”214，是用於發出將目的地顯示於畫面中央的指示的按鍵。使用者的手指輕擊該按鍵“目的地”214的位置時，能夠向地圖應用程式發出指示，以將目的地顯示於畫面中央。圖2(A)的畫面顯示210表示的是按鍵“目的地”214剛被輕擊之後的狀態。因此，表示目的地的箭頭標記211被顯示於畫面顯示210的中央。

由四邊框包圍顯示的“現在地”216，是用於發出將現在地顯示於畫面中央的指示的按鍵。使用者用手指輕擊該按鍵“現在地”216的位置時，能夠向地圖應用程式發出指示，以將現在地顯示於畫面中央。

圖2(B)的畫面顯示220表示的是“現在地”216剛被輕擊之後的狀態。因此，表示現在地的星形標記212被顯示於畫面顯示210中央。

<第1實施方式的動作說明>

本實施方式中，將說明利用使用者的聲音來向地圖應用程式發出指示的例子。在此，關於動作的詳見後文，圖2中將說明一實施方式的動作概略。

地圖應用程式中具備用於接收使用者對畫面進行的輕擊的功能。而本實施方式中，可藉由對該地圖應用程式進行輕擊操作之外的，例如使用者的聲音，也能夠對地圖應用程式發出與輕擊相同的指示。

由此，實施方式中，藉由解析畫面顯示210的顯示，以在地圖應用程式的畫面中，識別按鍵“目的地”214及按鍵“現在地”216存在於畫面顯示中的情形。關於該識別，利用本領域技術人員所周知的現有的模式識別技術，在本實施方式中可預先抽出特徴。另外，按鍵“目的地”214及按鍵“現在地”216存在於畫面顯示的左下部，因此還能認定圖應用程式。另外，基於按鍵“目的地”214及按鍵“現在地”216具有四邊形的特徵，也能夠判定地圖應用程式。藉由判定出地圖應用程式，能夠進一步正確預測地圖應用程式的舉動。因此，優選預先判定地圖應用程式的種類。

或，在能夠從作業系統取得地圖應用程式的種類的情形下，能夠推測該地圖應用程式的畫面顯示佈局，例如，能夠從畫面顯示的規定位置開始進行對“目的地”214及按鍵“現在地”216的模式識別，從而加快模式識別的速度。

本實施方式中，在使用者發出的聲音為“現在地”的情形下，將對地圖應用程式發出輕擊按鍵“現在地”216時的操作。即，例如在使用者的發音為“現在地”的情形下，用於實現本實施方式的程式會識別出使用者發出的“現在地”之音。並且，用於實現本實施方式的程式會向便攜式終端100的作業系統發出表示按鍵“現在地”216所在的畫面位置被輕擊的結果。然後，作業系統會向地圖應用程式傳達按鍵“現在地”216的畫面位置被輕擊的事項，由此，地圖應用程式會識別為按鍵“現在地”216被輕擊的指示，如圖2(B)的畫面顯示220所示，會以表示現在地的星形標記212位於畫面顯示之中央的方式，在畫面顯示220顯示出地圖。

在使用者發音“目的地”之情形下，本實施方式的程式向作業系統傳達按鍵“目的地”214被輕擊的事項。然後，作業系統會向地圖應用程式傳達按鍵“目的地”214的畫面位置被輕擊的事項，由此，地圖應用程式會識別為接到了按鍵“目的地”214被輕擊的指示，如圖2(A)的畫面顯示210所示，以表示目的地的箭頭的標記211位於畫面顯示中央的方式，在畫面顯示210顯示地圖。關於這些動作詳情，以下將參照圖7及圖8近型說明。

<第2實施方式>

圖3是例示一實施方式中的動作定義的圖。

圖3的表300中，無論使用者的動作是手勢還是聲音，均可對複數個應用程式(應用程式X、應用程式Y、應用程式Z)發出規定的指示。以下，詳細說明表300。

列310表示為了向應用程式發出對應的指示，作為使用者的動作應識別何種手勢。

列312表示，為了向應用程式發出對應的指示，作為使用者的動作應識別何種聲音。

列314表示，向應用程式發出的指示。

列316表示，應用程式X根據使用者原來發出的何種操作來執行對應的指示。

列318表示，應用程式Y根據使用者原來發出的何種操作來執行對應的指示。

列319表示，應用程式Z根據使用者原來發出的何種操作來執行對應的指示。

在此，例如，作為使用者的動作(手勢)，以藉由介面元件160或便攜式終端100的照相機102，便攜式終端100識別出列310、行340中記載的“食指朝下的手的動作”的情形為例進行說明。在此情形下，其表示列314、行340所示的指示“將現在地顯示於畫面中心的指示”(使用者發音“現在地”，並識別出該發音的情形也與此相同)。

因此，在上述情形下，例如應用程式X運行的情形下，用於實現本實施方式的程式會向應用程式X傳達，“向應用程式X發出輕擊‘現在地’的顯示部分的操作”。其結果，應用程式X會將現在地顯示於畫面中心。向應用程式X發出該操作時，作業系統可參與。

另外，在應用程式Y運行的情形下，用於實現本實施方式的程式會向應用程式Y傳達，“向應用程式Y發出點擊按鍵‘現在地’的顯示部分的操作”。其結果，應用程式Y會將現在地顯示於畫面中心。向應用程式X發出該操作時，作業系統可參與。

另外，在應用程式Z運行的情形下，用於實現本實施方式的程式會向應用程式Z傳達，“向應用程式Z發出輕擊記號B的操作”。其結果，應用程式Z會將現在地顯示於畫面中心。

在識別出其他的使用者動作(手勢或聲音)的情形下，如表300所示，也對現在運行的應用程式傳達對應的操作，從而能夠執行對應的指示。

在此，表300中，作為使用者的動作，表示了與各個指示對應的手勢及聲音的兩者，也可以與特定的指示對應地僅表示其中一方。

在此，例如可從由便攜式終端100的照相機102拍攝的映像中，採用本領域技術人員周知的模式識別技術，來識別使用者的手勢。另外，例如可從由介面元件160或便攜式終端100的傳聲器106取得的音響訊號中，採用本領域技術人員周知的模式識別技術，來識別使用者的聲音。

還可以識別使用者使用圖1的SW130例如在規定時間內對開關進行了幾次按壓，來識別使用者的動作(未圖示)。另外，可藉由便攜式終端100具備的各種感測器1162，來識別使用者的動作(未圖示)。

根據本實施方式，相對於原來的應用程式中若不進行輕擊畫面、進行點擊動作等較為繁瑣的規定的操作就無法發出指示的應用程式，藉由簡單的手勢或發出聲音等的使用者的簡便動作，就能夠向應用程式發出指示。

另外，對於發出相同指示時需要進行不同操作的複數個應用程式，也能夠藉由使用者的相同動作就發出相同指示。

此外，對於各個應用程式，無需加以修正，就能夠自由變更使用者介面。

另外，取代SW130，若連接上可自動進行預先設定的開關操作的裝置，則無需經由使用者進行操作，本實施方式還可以用於自動檢查應用程式舉動的用途。

另外，當使用者正在駕駛汽車等而無法操作便攜式終端100的情形下，藉由使用者的手勢或聲音，能夠對應用程式發出所希望的指示。

圖4是表示圖3的複數個應用程式的具體顯示例的圖。

圖4(A)例示了圖3的列318所示的應用程式Y的畫面。在地圖410的下部，從左起依序顯示了出發地414、現在地416及目的地418。並且，地圖410中，標出了表示出發地的十字標記411、表示現在地的黑圓標記412及表示目的地的星形標記413，連接這些的路徑由黑線表示。例如，若點擊出發地414，表示出發地的十字標記411會被顯示於地圖410的中心。另外，如圖3的行330所示，根據使用者伸出食指的手勢，或發出“出發地”的聲音，用於實現本實施方式的程式會向應用程式Y傳達點擊按鍵“出發地”之顯示部分的操作。由此，與上述原來的操作同樣，表示出發地的十字標記411將被顯示於地圖410的中心。

另外，根據在地圖410的下部從左起依序顯示有出發地414、現在地416、目的地418的特徵，用於實現本實施方式的程式能夠識別出正在顯示應用程式Y的畫面。藉由識別出哪個應用程式在運行，能夠對應用程式發出用於傳達更適當的指示的操作。

圖4(B)例示了圖3中列319的應用程式Z的畫面。在畫面顯示420的左下部分顯示有倒三角形的記號A426及雙重圓的記號B428。該兩個記號存在於畫面顯示的左下，由此還能夠識別出應用程式Z正在運行。

黑圓標記422表示現在地。箭頭的尖端423表示目的地。例如，藉由輕擊倒三角形的記號A426，表示目的地的箭頭的尖端423將被顯示於畫面顯示420的中心。如圖3的行350所示，藉由使用者將拇指上伸的手勢，或發出“目的地”之聲音，用於實現本實施方式的程式會向應用程式Z發出輕擊記號A的操作。由此，與上述原來的操作同樣，表示目的地的箭頭的尖端423會被顯示於畫面顯示420的中心。

圖5是例示畫面的擴大及縮小的指示的圖。

圖5(B)表示了圖5(A)的畫面顯示510被擴大後的畫面顯示512。圖5(C)表示了圖5(B)的畫面顯示512被進一步擴大後的畫面顯示514。

圖5(D)中握拳的手勢520與圖3的行370所示的手勢相同。例如，在顯示有圖5(C)的畫面顯示514時，若識別出手勢520，顯示將被縮小為圖50(B)的畫面顯示512。進而，例如，在顯示有圖5(B)的畫面顯示512時，若識別出手勢520，顯示將被縮小為圖5(A)的畫面顯示510。

圖5(E)的開掌手勢530與圖3的行360所示的手勢相同。例如，在顯示有圖5(A)的畫面顯示510時，若識別出手勢530，顯示將被擴大為圖5(B)的畫面顯示512。進而，例如，在顯示有圖5(B)的畫面顯示512時，若識別出手勢530，顯示將被擴大為圖5(C)的畫面顯示514。

箭頭522及箭頭532表示畫面遷移的方向。

如上所述，無需觸碰畫面，而根據使用者的規定手勢，就能夠更簡單地實現畫面的擴大或縮小操作。藉由使用者進行發出“縮小”之聲音及發出“擴大”之聲音的動作，也能夠實現上述操作。

另外，亦可藉由各種感測器1162識別使用者的其他動作，來進行擴大或縮小的操作。

圖6是表示一實施方式的動作的流程圖。

在步驟S602，實施方式的程式取得畫面顯示。

在步驟S604，實施方式的程式進行例如以下動作。

1.解析所取得的畫面顯示，識別運行中的應用程式。

2.依據識別出的應用程式，識別所取得的畫面顯示中存在的各目標(object)，並確定各自的位置。

另外，在該步驟中，藉由解析所取得的畫面顯示來識別運行中的應用程式，此外也可以從作業系統取得運行中的應用程式是何程式。

在步驟S606，實施方式的程式取得使用者的動作(聲音、手勢等)。

在步驟S608，實施方式的程式識別所取得的使用者的動作(聲音、手勢等)。

在步驟S610，實施方式的程式利用應用程式所運行的作業系統的資訊、識別出的運行中應用程式、識別出的目標及目標位置、及識別出的使用者的動作等，對資料庫進行搜尋，以抽出使用者應該對運行中的應用程式進行的操作。在此，關於作業系統的資訊，可由用於實現本實施方式的程式從作業系統直接取得用於確定作業系統的資訊。另外，如上述用於確定運行中應用程式的資訊，也可以從作業系統直接取得。

在步驟S612，實施方式的程式代替使用者，將抽出的操作應用於運行中的應用程式。

在步驟S614，實施方式的程式使運行中的應用程式執行所希望的動作。

如上所述，本實施方式中藉由識別畫面顯示，能夠靈活指定與適於畫面顯示的指示相對應的操作。由此，即使在駕駛汽車等的情形下，使用者無法直接操作便攜式終端的畫面時，也能夠向便攜式終端發出使用者所希望的適當指示。

並且，能夠避免為了實現上述處理而對應用程式的程式本身加以調整的情形。

圖7是一實施方式之功能方塊圖。

畫面顯示取得部702取得便攜式終端100的畫面顯示。該畫面顯示可以是圖像畫面。例如，可以從作業系統取得畫面顯示。也可以從對畫面進行的描畫訊號取得畫面顯示。或者，還可以用照相機等拍攝畫面，取得畫面顯示。

畫面顯示特徴抽出部704從取得的畫面顯示中抽取1個以上的特徵。作為特徵，是指能夠確定作為輕擊對象的記號顯示、按鍵顯示、這些所存在的位置、應用程式的特徴等。

使用者動作取得部706，例如，取得使用者的手的動作的畫像、取得發出的聲音資訊、按壓開關的資訊等。

從使用者動作識別部708獲得的資訊，例如是使用者的手的狀態的識別結果、聲音識別結果、使用者的面部表情、使用者的本人認證結果、在規定時間內的開關按壓次數等。

操作搜尋部710，從畫面顯示特徴抽出部704、使用者動作識別部708及其他資訊(作業系統的識別資訊等)，搜尋資料庫712，抽取與被要求的指示對應的操作。在此，如上所述，操作搜尋部710可以從作業系統取得便攜式終端100的顯示器104的前景(foreground)中現在顯示的應用程式的種類資訊，並將該現在顯示的應用程式的種類資訊用於資料庫712的搜尋。或，可由畫面顯示特徴抽出部704從所取得的畫面顯示的特徴中，抽出便攜式終端100的顯示器104的前景中現在顯示的應用程式的種類資訊。

應用程式指示部714代替使用者，將抽出的指示發給運行中的應用程式。其結果，可傳達對應用程式要求的指示。並且，應用程式依據該指示進行處理。

圖8是例示用於實現實施方式的使用者介面控制程式的運行環境的圖。

應用程式806是由本實施方式代替使用者傳達操作的對象應用程式。

使用者介面控制程式804是用於實現實施方式的程式。應用程式806及使用者介面控制程式804能夠在安裝於便攜式終端100的作業系統802中運行。在此，使用者的動作810(手勢、聲音等)被硬體800取得，並被傳遞給作業系統802。

以上的運行環境為一例，實施方式並不限定於該運行環境。

圖9是例示製作資料庫的圖，該資料庫用於從使用者的動作、畫面顯示的特徴抽出結果等中抽取適當的指示及操作。

如圖9所示，操作者910可以向資料庫作成部920輸入用於存入資料庫中的條目(entry)資訊930，並將條目資訊930存放在資料庫中。

條目資訊930，如“對應用程式的指示”欄中所示，其表示對應用程式發出“將當前位置顯示於畫面中央”的指示的條目內容。

即，在“畫面顯示的特徴”是“應用程式Z”，且“記號B的存在”及“記號B的位置”是規定位置的情形下，並識別出了以下(a)或(b)的任一個使用者的動作或聲音的情形下，能夠抽出對畫面顯示應用“輕擊記號B”的操作。

(a)“使用者的動作”為“食指朝下”的動作的情形

(b)“使用者的聲音”為“現在地”的情形

存放有此類條目資訊930的資料庫的搜尋如下所示。

以識別出的“畫面顯示的特徴”及“使用者的動作”作為搜尋關鍵詞，搜尋資料庫，可抽出“應用於畫面顯示的操作”。或，以識別出的“畫面顯示的特徴”及“使用者的聲音”作為搜尋關鍵詞，搜尋資料庫，可抽出“適用於畫面顯示的操作”。

如上所述，完成用於在應用程式Z運行中的情形下顯示現在地的資料庫的條目記入處理。

藉由按每個應用程式，以涵蓋各操作的方式進行以上處理，來作成各條目並保存於資料庫中，由此完成資料庫。

<變形例>

在以上的實施方式中，接收使用者的動作，並對接收的使用者的動作進行識別，然而各實施方式並不限定於以使用者的動作作為對象。例如，還可以接收畫在紙上等的畫像、繪圖、文字、顯示器的顯示、照片、或景色、物體等的拍攝資訊等，並識別其內容。

本實施方式可由在1個以上的硬體中執行的1個以上的程式實現。或，也可以由複數個裝置構成，且複數個裝置藉由通信電路等彼此協同的方式來實現本實施方式也。

在一實施方式中，獲取便攜式終端的畫面顯示時，畫面顯示可被暗號化。

取得的畫面顯示例如可以是便攜式終端100的畫面顯示的一部分。

另外，在畫面顯示的一部分，還可以顯示基於用於實現本實施方式的程式的規定標記等。藉由採用這種形式，用於實現本實施方式的程式能夠確認，用於實現本實施方式的程式對使用者介面進行控制的對象畫面顯示。

<硬體構成例>

圖10是表示便攜式終端100及伺服裝置110的硬體構成的圖。圖10中一並記載了便攜式終端100及伺服裝置110的硬體構成。

硬體構成中，包括顯示控制部1110、顯示部1112、CPU1120、記憶體1130、通信控制部1140、外部記憶體控制部1150、記憶媒體1152、輸入介面1160、各種感測器1162、照相機1164、傳聲器1166、輸出介面1170、揚聲器1172、顯示器1174、振動器1176、觸控面板控制部1180、觸控面板1182等。在此，通信控制部1140上連接有可進行通信的無線網路1142，此外也可以連接可進行通信的有線網路。另外，各構成要素可藉由匯流排(bus)1190彼此連接。

便攜式終端100及伺服裝置110的這些硬體中的一部分可省略，亦可設於其他硬體中。

在此，本實施方式的全部或一部分可由程式實現。該程式可存儲於記憶媒體1152中。記憶媒體1152是指具有構造的1個以上的非臨時性(non-transitory)記憶媒體。例如，作為記憶媒體1152，有磁性記録媒體、光碟、光磁性記録媒體、半導體記憶體、非揮發性記憶體等。半導體記憶體包括RAM、ROM、SD記憶體等。磁性記録媒體包括HDD、軟性磁碟(FD)、、磁帶(MT)等。光碟包括DVD(Digital Versatile Disc)、DVD-RAM、CD-ROM(Compact Disc-Read Only Memory)、CD-R(Recordable)/RW(Rewritable)等。另外，光磁氣記録媒體包括MO(Magneto-Optical disk)等。藉由讀取記録媒體中存放的程式，並由CPU執行，從而可實施各實施方式的全部或一部分。

各實施方式用於理解本發明，應注意其並非用於限定本發明的範圍。另外，上述複數個實施方式並不彼此排斥。因此，還應注意其意味著只要不存在矛盾，可對不同實施方式的各要素進行組合。另外，申請專利範圍中記載的方法或程式的發明，只要不存在矛盾，可變更處理的順序，或，可同時進行複數個處理。當然，這些實施方式也屬於申請專利範圍所記載的發明的技術範圍中。

另外，不僅能夠藉由執行由計算機讀取的程式編碼，來實現上述實施方式的功能，還能夠基於該程式編碼的指示，由計算機中運行的作業系統等的其他程式進行實際處理的一部分或全部，以這些處理來實現實施方式的功能，當然該方式也屬於本發明中。

另外，也可以由物理性分離的複數個硬體來實現各種實施方式的各自的構成要素。另外，本發明的各種實施方式的各自的構成要素，也可以分散為1個計算機中運行的複數個空想設備來實現。

本申請基於2016年10月12日向日本專利廳提出的基礎申請2016-201171號主張優先權，並參照其所有內容。

Claims

一種對使用者介面進行控制的方法，該使用者介面基於使用者對畫面的顯示進行的操作來發出針對應用程式的指示，該方法包括由具有該畫面的裝置進行的如下步驟：取得該顯示的步驟；抽出所取得的該顯示中存在的1個以上的特徵的步驟；接收使用者的動作的步驟；基於接收的該動作及抽出的該1個以上的特徵，從資料庫中搜尋規定的操作的步驟；及將搜尋到的與該動作不同的該規定的操作，對應地應用於該顯示，從而向該應用程式發出指示的步驟。
根據申請專利範圍第1項之方法，其中，該抽出步驟中，利用對該顯示的模式識別方法，抽出該1個以上的特徵。
根據申請專利範圍第1或2項之方法，其中，該動作是由照相機拍攝的使用者的身體的動作或是由傳聲器取得的使用者的聲音。
根據申請專利範圍第1至3中的任一項之方法，其中，具有該畫面的裝置與該應用程式運行的裝置為不同裝置。
一種程式，其用於，使具有該畫面的裝置執行申請專利範圍1至4中的任一項之方法。
一種控制使用者介面的裝置，該使用者介面基於使用者對畫面的顯示進行的操作來發出針對運行中的應用程式的指示，該裝置包括：取得該顯示的顯示取得部；抽出所取得的該顯示中存在的1個以上的特徵的特徴抽出部；接收使用者的動作的動作接收部；基於接收的該動作及抽出的該1個以上的特徴，從資料庫中搜尋規定的操作的搜尋部；及將搜尋到的與該動作不同的該規定的操作，對應地應用於該顯示，從而對該應用程式發出指示的指示部。