TWI626583B - 電子裝置及其資料處理方法 - Google Patents

電子裝置及其資料處理方法 Download PDF

Info

Publication number
TWI626583B
TWI626583B TW103107215A TW103107215A TWI626583B TW I626583 B TWI626583 B TW I626583B TW 103107215 A TW103107215 A TW 103107215A TW 103107215 A TW103107215 A TW 103107215A TW I626583 B TWI626583 B TW I626583B
Authority
TW
Taiwan
Prior art keywords
data
electronic device
user
area
frame area
Prior art date
Application number
TW103107215A
Other languages
English (en)
Other versions
TW201447739A (zh
Inventor
徐壯錫
朴泰建
洪明坤
Original Assignee
三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電子股份有限公司 filed Critical 三星電子股份有限公司
Publication of TW201447739A publication Critical patent/TW201447739A/zh
Application granted granted Critical
Publication of TWI626583B publication Critical patent/TWI626583B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

一種用於對顯示在顯示器上的頁面上呈現的資料進行操縱的電子裝置的資料處理方法和設備包括：顯示用於接收用戶輸入的頁面；回應於用戶輸入，在所述頁面上形成區域；以及在形成的區域上顯示資料。

Description

電子裝置及其資料處理方法
本發明總體涉及一種電子裝置，更具體地講，涉及一種用於對顯示在顯示器上的頁面上呈現的資料進行操縱的電子裝置的資料處理方法和設備。
隨著數位技術的進步，各種類型的能夠進行通信並處理資料的電子裝置隨著行動融合趨勢已進化為集成各種功能的多功能裝置。例如，最近的電子裝置集成各種功能，包括語音和視頻電話、訊息傳送(包括短訊息服務/多媒體訊息服務(short message service/multimedia message service，SMS/MMS)和電子郵件)、導航、文件編輯(例如，備忘錄和文字處理器)、照片拍攝、廣播、回放(playback)、多媒體(視頻和音頻)回放、互聯網存取、信使(messenger)和社交網路服務(social networking service，SNS)功能。
啟用觸控螢幕的電子裝置最近已克服了傳統輸入手段的限制並有利於電子裝置的用戶操縱。最近的基於觸控螢幕的輸入操縱增長已引起能夠在文本編輯應用的頁面上編輯資料的各種文 本輸入應用的發展。然而，需要更簡短的用戶端裝置步驟，以在這樣的電子裝置中減少混亂並增強用戶便利性。
已做出本發明來至少解決上述問題和/或缺點，並至少提供以下描述的優點。因此，本發明的一方面提供一種能夠在雲服務系統中透過允許雲端伺服器執行內容同步功能來減少用戶端裝置操作的內容同步設備和方法。
根據本發明的一方面，一種電子裝置的資料處理方法包括：顯示被配置用於接收用戶輸入的頁面；回應於用戶輸入，在所述頁面上形成區域；以及在形成的區域上顯示資料。
根據本發明的另一方面，公開了一種其上記錄有電子裝置的資料處理方法的非暫時性電腦可讀儲存媒體，所述方法包括：顯示用於接收用戶輸入的頁面；回應於用戶輸入，在所述頁面上形成區域；以及當區域被形成時在所述區域中顯示資料。
100‧‧‧電子裝置
110‧‧‧無線電通信單元
111‧‧‧蜂窩通信模組
113‧‧‧無線區域網路模組
115‧‧‧短距離通信模組
117‧‧‧位置計算模組
119‧‧‧廣播接收模組
120‧‧‧輸入單元
130‧‧‧觸控螢幕
131‧‧‧顯示面板
133‧‧‧觸摸面板
140‧‧‧音頻處理單元
141‧‧‧揚聲器
143‧‧‧麥克風
150‧‧‧儲存單元
160‧‧‧介面單元
170‧‧‧相機模組
180‧‧‧控制單元
182‧‧‧資料處理模組
184‧‧‧頁面顯示模組
186‧‧‧框區域顯示模組
188‧‧‧資料顯示模組
190‧‧‧電源
200‧‧‧頁面
210‧‧‧項區域
211‧‧‧編輯項
213‧‧‧插入項
215‧‧‧電子郵件選項
230‧‧‧文件編寫區域
400‧‧‧網路
410‧‧‧伺服器
420‧‧‧雲端
430‧‧‧電子裝置
600‧‧‧框區域
610‧‧‧第一子區域
630‧‧‧第二子區域
650‧‧‧調整標記
690‧‧‧劃分線
1010‧‧‧簡圖
1030‧‧‧文本
2101、2103、2105、2107、2109、2111、2113、2115‧‧‧步驟
2201、2203、2205、2207、2209‧‧‧步驟
2810、2830‧‧‧特定資料
2901、2903、2905、2907、2909、2911、2913、2915、2917、2919、2921、2923、2925‧‧‧步驟
3001、3003、3005、3007、3009、3011、3013、3015、3021、3023、3025、3027、3029、3031、3033、3035、3037‧‧‧步驟
3010‧‧‧指示符
3501、3503、3505、3507‧‧‧步驟
4510‧‧‧第一子區域
4520‧‧‧第二子區域
4530‧‧‧第三子區域
<2201>、<2203>、<2205>‧‧‧圖示
當結合附圖時，本發明的上述和其他方面、特徵和優點從以下詳細描述中將會更加清楚。
圖1示出根據本發明的實施例的電子裝置獲取將被插入到頁面中的資料的機制。
圖2示出根據本發明的實施例的電子裝置的配置。
圖3至圖9示出根據本發明的實施例的用於解釋將資料插入 到電子裝置的螢幕上頁面(onscreen page)的螢幕顯示。
圖10至圖12示出根據本發明的實施例的用於解釋使用電子裝置的螢幕上頁面上的物件來檢索和顯示資料的螢幕顯示。
圖13至圖18示出根據本發明的實施例的用於解釋將由相機模組拍攝的資料插入到電子裝置的螢幕上頁面的螢幕顯示。
圖19至圖20示出根據本發明的實施例的用於解釋在電子裝置中使用應用的文件編寫步驟的螢幕顯示。
圖21示出根據本發明的實施例的用於解釋調整在電子裝置上運行的應用的文件頁面上形成的框區域的選項(樣式)的螢幕顯示。
圖22和圖23示出根據本發明的實施例的用於解釋在電子裝置的螢幕上頁面上移動框區域的螢幕顯示。
圖24至圖26示出根據本發明的實施例的用於解釋調整在電子裝置的螢幕上圖像上形成的框區域的螢幕顯示。
圖27至圖29示出根據本發明的實施例的用於解釋滾動顯示在框區域中的資料的電子裝置的螢幕顯示。
圖30至圖34示出根據本發明的實施例的用於解釋在電子裝置的螢幕上頁面上形成框區域的螢幕顯示。
圖35示出根據本發明的實施例的使用在電子裝置上運行的應用的螢幕上文件頁面的一部分的資料處理方法。
圖36示出根據本發明的實施例的資料處理方法中在電子裝置的螢幕上頁面上產生框區域的過程。
圖37示出根據本發明的實施例的資料處理方法中將資料插入 電子裝置的文件應用的螢幕上頁面的過程。
圖38示出根據本發明的實施例的使用電子裝置的螢幕上頁面上的框區域的資料處理方法。
圖39和圖40示出根據本發明的實施例的資料處理方法中在形成在電子裝置的螢幕上頁面上的框區域中顯示資料的過程。
圖41至圖45示出根據本發明的實施例的用於解釋對形成在電子裝置的正進行的頁面上的框區域進行劃分的螢幕顯示。
圖46示出根據本發明的實施例的用於解釋資料處理方法中電子裝置的螢幕上頁面上的各種資料的插入的螢幕顯示。
圖47至圖49示出根據本發明的實施例的用於解釋在電子裝置的螢幕上頁面上插入運動圖像資料的螢幕顯示。
參照附圖來詳細描述本發明的實施例。附圖中相同的參考標號始終被用於指相同或相似的部件。為了清楚和簡明起見，在此合併的公知功能和結構的詳細描述可被省略。
本發明涉及一種電子裝置和支援其文件編寫的方法。本發明的實施例公開了一種用於在用能夠顯示可編輯頁面並接收各種資料(諸如文本、圖像、照片和視頻)的應用編寫文件時處理資料登錄的資料處理方法和設備。
本發明的實施例公開了一種能夠以簡單且直觀的方式將內部和/或外部資料插入到由電子裝置上運行的應用當前正編輯的文件的頁面的方法和設備。根據本發明的實施例，可提供框區域(例如，視窗)，其中，所述框區域用於回應於用戶的手勢輸入在 當前頁面上呈現資料，並將從框區域選擇的資料插入到所述頁面。根據本發明的實施例，可根據資料獲取模式從電子裝置的內部和外部獲取各種資料，並在產生框區域時將所述資料顯示為預覽。
在本發明的實施例中，應用可以是任意的能夠編寫(基於文本和圖像的)文件的各種應用(諸如文字處理器、備忘錄、電子郵件、訊息和行程整理器)。在本發明的實施例中，應用可以是任意的能夠提供可編輯頁面並透過所述頁面輸入各種資料的各種類型的應用。
在本發明的實施例中，資料可包括圖像、照片、表情符號、地圖資料和豐富站點摘要或真正簡單的聚合(really simple syndication，RSS)饋送以及能夠被插入到頁面的各種類型的資料格式，包括內部資料和外部資料。所述內部資料可被儲存在電子裝置中或者可透過電子裝置的照片拍攝來獲取，可從電子裝置的外部獲取所述外部資料。所述資料還可包括從電子裝置的內部和外部獲取的靜止照片和運動照片。
在本發明的實施例中，電子裝置的外部可指示透過有線網路或無線網路可連接的伺服器、雲端、或其他電子裝置。所述外部資料可包括可從電子裝置的外部獲取的所有類型的資料。電子裝置的內部可包括實現在電子裝置中的各種元件，諸如儲存單元和圖像感測器。內部資料可包括從電子裝置的內部獲取的所有類型的資料。
在本發明的實施例中，資料可被儲存在功能性地連接到 電子裝置的內部或外部的記憶體中。功能性連接的記憶體可包括被配置在電子裝置中的儲存單元以及透過設置在電子裝置中的介面連接的外部儲存媒體。如上所述，功能性連接的記憶體可包括透過有線網路或無線網路可連接的伺服器、雲端和其他電子裝置，或者是電子裝置的儲存單元或資料庫。
圖1示出根據本發明的實施例的電子裝置獲取將被插入到頁面中的資料的機制。
參照圖1，電子裝置100執行應用使得應用的頁面被顯示，所述頁面包括回應於用戶的手勢而產生的框資料(例如，視窗)。框區域600可以以與用戶的繪製手勢相應的形狀和大小而被實現在具有與執行的應用相關聯的用戶介面(user interface，UI)或圖形用戶介面(graphical user interface，GUI)的頁面上，以將從電子裝置100的內部或外部獲取的資料呈現為預覽。框區域600可被實現在與顯示有所述頁面的層分離的層上，或者重疊在顯示有所述頁面的層上。
根據本發明的實施例，可從附接到電子裝置100的儲存單元150獲取內部資料。作為預覽呈現在框區域600中的內部資料可以是儲存在儲存單元150中的所有資料，或者是相應於用戶輸入的關鍵字而提取(檢索)的部分資料。可透過實現在電子裝置100中的相機模組170來獲取內部資料。作為預覽呈現在框區域600中的內部資料可以是透過使用相機模組170而拍攝的資料。
可從電子裝置100透過網路400連接到的伺服器410、雲端420和另一電子裝置430獲取外部資料。可從電子裝置100透 過網路400連接到的特定伺服器410(諸如集成伺服器、內容伺服器、提供商伺服器和互聯網伺服器)下載外部資料。還可從電子裝置100透過網路400連接到的雲端420下載外部資料，所述雲端420與用戶相關聯。可從電子裝置100透過網路400連接到的另一電子裝置430接收外部資料。
作為預覽透過框區域600呈現的外部資料可以是基於用戶輸入的關鍵字而從伺服器410、雲端420和另一電子裝置430檢索到的資料。作為預覽透過框區域600呈現的外部資料可以是在無需用戶輸入的任何關鍵字的情況下可從伺服器410、雲端420和另一電子裝置430獲取的模式資料。在以下描述中，為了簡潔，伺服器410、雲端420和另一電子裝置430被稱為外部伺服器。儘管在圖1中未示出，但外部伺服器可以是臺式個人電腦(personal computer，PC)和膝上型PC兩者之一。
在本發明的實施例中，網路400可以是任意類型的有線通信網路(諸如通用串列匯流排(universal serial bus，USB)和資料線纜網路)和無線通信網路(諸如短距離通信網路、蜂窩網路和無線區域網路(wireless local area network，WLAN))。
圖2示出根據本發明的實施例的電子裝置的配置。
如圖2中所示，電子裝置100包括無線電通信單元110、輸入單元120、觸控螢幕130、音頻處理單元140、儲存單元150、介面單元160、相機模組170、控制單元180和電源190。電子裝置可用比圖2中描繪的元件更多的元件來實現，或者可用比圖2中描繪的元件更少的元件來實現。例如，如果電子裝置不支援廣 播信號接收和回放(playback)，則無線電通信單元110的諸如廣播接收模組119的特定元件可被省略。
無線電通信單元110可包括至少一個負責電子裝置100與無線通信系統或另一電子裝置430的無線電通信的模組。例如，無線電通信單元110可包括蜂窩通信模組111、WLAN模組113、短距離通信模組115、位置計算模組117和廣播接收模組119。
蜂窩通信模組111可與蜂窩通信網路上的基站、另一終端和各種伺服器(例如，集成伺服器、提供商伺服器、內容伺服器、互聯網伺服器以及雲端伺服器等)中的至少一個傳送無線電信號。無線電信號可攜帶語音電話、視頻會議和文本/多媒體訊息資料。在本發明的實施例中，無線電信號可攜帶由各種伺服器發送的外部資料(諸如圖像、照片、表情符號、地圖資料和RSS饋送)。蜂窩通信模組111可透過與任意的各種伺服器建立的蜂窩通信通道來接收與用戶輸入的關鍵字相應的外部資料。
WLAN模組113針對無線互聯網存取並且用於與另一電子裝置430建立WLAN鏈結，並且可實現在電子裝置中或實現為外部元件。無線互聯網技術可以是無線保真(Wi-Fi)、無線寬頻(wireless broadband，WiBro)、全球微波存取互操作性(world interoperability for microwave access，Wimax)以及高速下行鏈路分組存取(high speed downlink packet access，HSDPA)中的任意一個。WLAN模組113可與另一裝置430建立WLAN鏈結以發送用戶選擇的資料並接收外部資料。WLAN模組113可與任意的各種伺服器建立WLAN鏈結以下載與用戶輸入的關鍵字相應的外部 資料。
短距離通信模組115針對短距離通信。存在許多短距離通信技術，包括藍牙®、藍牙低功耗(bluetooth low energy，BLE)、射頻識別(radio frequency identification，RFID)、紅外資料協會(infrared data association，IrDA)、超寬頻(ultra wideband，UWB)、ZigBee®以及近場通信(near field communication，NFC)。短距離通信模組115可與另一電子裝置430建立短距離通信鏈結以發送用戶選擇的資料並接收外部資料。短距離通信模組115可根據用戶配置或回應於用戶輸入保持打開(turn-on)或打開/關閉(turn on/off)。
位置計算模組117用於獲取電子裝置100的位置，並由全球定位系統(global positioning system，GPS)模組表示。位置計算模組117計算距三個或更多個基站的距離以及時間資訊，並用計算的資訊執行三角測量以獲取用緯度、經度和海拔限定的當前位置。位置計算模組117從三個或更多個衛星即時接收關於電子裝置100的位置資訊，以使用各種方法計算電子裝置100的當前位置。
廣播接收模組119可透過廣播通道接收廣播信號(諸如TV、無線電和資料廣播信號)和/或廣播相關資訊(諸如關於廣播通道的資訊、廣播節目和廣播服務提供商)。
輸入單元120可產生與用戶輸入相應的資料登錄，以控制電子裝置100。輸入單元120可包括鍵盤、圓頂開關(dome switch)、觸摸板(電阻式/電容式)、轉盤、滾輪開關、感測器(諸 如語音感測器、接近感測器、亮度感測器、加速度感測器和重力感測器)中的至少一個。輸入單元120可實現為電子裝置100的外部上的外部按鈕或正呈現在觸摸面板上的虛擬鍵。輸入單元120可接收用於將呈現在框區域600中的內部資料或外部資料插入到當前正被編輯的頁面的用戶輸入，並產生與所述用戶輸入相應的輸入信號。
觸控螢幕130是負責接收用戶輸入並顯示資訊的輸入/輸出工具，並包括顯示面板131和觸摸面板133。具體地講，如果當顯示與電子裝置100的操作相關聯的觸控螢幕時用戶在觸摸面板133上做出了觸摸手勢，則觸控螢幕130產生與觸摸手勢相應的輸入信號至控制單元180。控制單元180識別觸摸手勢並控制電子裝置100執行與所述觸摸手勢相應的操作。
顯示面板可顯示(輸出)由電子裝置100處理的資訊。當電子裝置在電話模式下進行操作時，顯示面板131能夠顯示與電話模式相關的UI或GUI。具體地講，顯示面板131可將應用的執行螢幕(例如，正由用戶編寫的文件的頁面)與用戶產生的框區域600一起顯示。顯示面板131可在呈現的頁面的框區域600中呈現從電子裝置的內部或外部獲取的資料(內部資料或外部資料)。如果用戶從框區域600中呈現的資料選擇了特定資料，則顯示面板131可顯示插入有選擇的資料的頁面。
顯示面板131可回應於用戶的滾動控制事件顯示呈現在框區域600中的資料正改變(切換)的滾動螢幕。顯示面板131可在當前頁面上的框區域600中呈現透過相機模組170輸入的資 料(例如，預覽圖像)。顯示面板131可以以橫向模式或縱向模式顯示幕幕，並根據電子裝置100的旋轉方向(或朝向)在橫向模式和縱向模式之間切換螢幕。
顯示面板131可被實現為液晶顯示器(liquid crystal display，LCD)、薄膜電晶體LCD(thin film transistor liquid crystal display，TFT LCD)、發光二極體(light emitting diode，LED)、有機LED(organic light emitting diode，OLED)、有源矩陣OLED(active matrix organic light emitting diode，AMOLED)、柔性顯示器、曲面顯示器和3維(3-dimensional，3D)顯示器中的任意一個。顯示面板131可被實現為光透過的透明顯示面板。
觸摸面板133能夠被置於顯示面板131之上，以檢測用戶在觸控螢幕130的表面上做出的觸摸手勢(例如，單觸摸手勢、多觸摸手勢、相機拍攝手勢和資料登錄手勢)。如果在觸控螢幕130的表面上檢測到用戶的觸摸手勢，則觸摸面板133提取觸摸手勢的位置處的座標，並將所述座標發送到控制單元180。觸摸面板133檢測用戶做出的觸摸手勢，產生與所述觸摸手勢相應的信號至控制單元180，其中，所述控制單元180根據觸摸面板133發送的信號與檢測到觸摸手勢的位置相關聯地執行功能。
觸摸面板133可被配置為將施加在顯示面板131的特定位置的壓力或顯示面板131的特定位置處的電容的改變轉換為電輸入信號。觸摸面板133能夠測量觸摸輸入的壓力以及觸摸的位置和大小。如果檢測到觸摸輸入，則觸摸面板133產生相應的信號至觸摸控制器(未示出)，其中，所述觸摸控制器能夠處理信號 並將相應的資料發送到控制單元180。以這種方式，控制單元180能夠檢查觸控螢幕130上的被觸摸的區域。
音頻處理單元140將從控制單元180輸入的音頻信號轉發到揚聲器(speaker，SPK)141，並將包括透過麥克風(microphone，MIC)143輸入的語音的音頻信號轉發到控制單元180。音頻處理單元140在控制單元180的控制下處理語音/聲音資料以透過揚聲器141輸出為可聽聲波，並且將包括透過麥克風143輸入的語音的音頻信號轉換為將被輸出到控制單元180的數位信號。
揚聲器141能夠輸出在電話、文件編輯、訊息傳送、信使、音頻(視頻)記錄、語音識別、廣播接收、媒體內容(音頻檔和視頻檔)回放模式和拍攝模式下透過無線電通信單元110接收的音頻資料和儲存在儲存單元150中的音頻資料。揚聲器141還能夠輸出與在電子裝置100中執行的功能(諸如呼入呼叫接收、呼出呼叫撥打、資料登錄、照片拍攝和媒體內容回放)相關的音頻信號。
麥克風143能夠處理以前述各種模式輸入的聲音，以產生電子音頻資料。經過處理的音頻資料可以以能夠被蜂窩通信模組111發送到行動通信基站的格式來處理。麥克風143可用各種雜訊消除演算法來實現，以去除在接收外部聲音的同時產生的雜訊。
儲存單元150臨時儲存與控制單元180的資訊處理和控制功能相關聯的程式以及輸入/輸出資料(例如，內部資料和外部 資料、聯繫人資訊、文件、照片、訊息傳送和聊天資料、以及包括音頻和視頻的媒體內容)。儲存單元150還能夠儲存使用頻率(例如，應用使用頻率、資料使用頻率、關鍵字使用頻率以及多媒體內容使用頻率)、權重和優先順序的資訊，以及回應於在觸控螢幕130上做出的觸摸輸入而輸出的各種模式的振動和聲音效果的資料。
儲存單元150儲存電子裝置100的作業系統(operating system，OS)和用於控制基於觸控螢幕的輸入和顯示輸入資料並將資料即時插入當前正被編寫的文件的頁面的程式，以及由應用半永久性地或暫時地產生的資料。儲存單元150還可在形狀和尺寸方面相應於用戶繪製手勢儲存與框區域600的創建相關聯的各種配置資訊。
配置資訊可解釋如何保持與用戶輸入相應的形狀，並將所述形狀自動轉換為固定的簡圖(diagram)和關於用於形成框區域600的用戶輸入方法的資訊。配置資訊可包括關於記憶體(從其獲得資料)的資訊，並可根據資料的來源(例如，功能性地連接到電子裝置100以提供資料的源)進行配置。例如，配置資訊可包括關於來自儲存單元150或相機模組170的內部資料獲取和來自外部伺服器的外部資料獲取的資訊。配置資訊可由用戶來限定，或者在電子裝置100的製造狀態下設置為預設值。
儲存單元150可用至少一個類型的儲存媒體(包括快閃記憶體、硬碟、微型卡式(例如，安全數位(secure digital，SD)式和eXtream數位(eXtream digital，XD)卡)記憶體、以及隨 機存取記憶體(random access memory，RAM)、動態隨機存取記憶體(dynamic random access memory，DRAM)、靜態隨機存取記憶體(static random access memory，SRAM)、唯讀記憶體(read-only memory，ROM)、可編程唯讀記憶體(programmable read-only memory，PROM)、電可擦除PROM(electrically erasable programmable read-only memory，EEPROM)、磁性隨機存取記憶體(magnetic random access memory，MRAM)、磁片和光碟式記憶體)來實現。電子裝置100可與作為互聯網上的儲存單元150運行的網資訊儲存(web storage)交互操作。
介面單元160針對可連接到電子裝置100的外部裝置提供介面。介面單元160可將資料或電能從外部裝置傳輸到電子裝置100的內部元件，並將內部資料傳輸到外部裝置。例如，儘管未示出，但介面單元160可設置有有線/無線耳機埠、外部充電埠、有線/無線資料埠、儲存卡槽、標識模組(identity module)槽、音頻輸入/輸出埠、視頻輸入/輸出埠和耳機插孔。
相機模組170負責電子裝置100的照片拍攝功能。相機模組170可拍攝場景的靜止圖像或運動圖像。相機模組170可在控制單元180的控制下拍攝場景的照片並將所述照片的視頻資料輸出到顯示面板131和控制單元180。相機模組170可包括用於將光信號轉換為電信號的圖像感測器(或相機感測器)(未示出)以及用於將從圖像感測器接收的電信號轉換為數位視頻資料的視頻信號處理器(未示出)。圖像感測器可以是電荷耦合元件(charge-coupled device，CCD)或互補式金屬氧化物半導體 (complementary metal-oxide-semiconductor，CMOS)感測器。相機模組170可根據用戶設置的各種拍攝選項(例如，變焦、螢幕寬高比、視覺效果(例如，素描、單色(mono)、懷舊(sepia)、復古(vintage)、馬賽克效果等)、框等)來提供用於支援照片拍攝的圖像處理功能。
控制單元180控制電子裝置100。例如，控制單元180可控制語音電話、資料通信和視頻會議。控制單元180可包括用於處理應用的文件編寫功能和相關方面的應用處理器(application processor，AP)(未示出)。在本發明的實施例中，應用處理器可被嵌入控制單元180或被獨立地實現。控制單元180可包括具有頁面顯示模組184、框區域顯示模組186和資料顯示模組188的資料處理模組182。關於頁面顯示模組184、框區域顯示模組186和資料顯示模組188的附加資訊在此與圖2至圖35相關聯地被提供。
頁面顯示模組184可顯示可編輯頁面。框區域顯示模組186可在特定應用(例如，文件編輯器、電子郵件編輯器和web流覽器)的頁面查看模式下在相應的頁面上創建框區域600，並可在創建框區域600時確定資料獲取模式。資料顯示模組188根據確定的資料獲取模式獲取內部資料或外部資料，並進行控制使得獲取的資料被呈現在框區域600中。資料顯示模組188可進行控制使得在創建框區域600時，透過相機模組170輸入的資料(例如，預覽圖像)被顯示在框區域600中
資料顯示模組188可當在框區域600中顯示獲取的資料時檢測用於輸入資料的輸入事件。當檢測到插入事件時，控制單 元180可進行控制來處理呈現在框區域600中的資料，以回應於插入事件產生將被插入到頁面的插入資料，並將資料顯示為插入到相應的頁面上。
頁面顯示模組184可基於應用的物件輸入模式和資料插入模式進行控制。在本發明的實施例中，物件輸入模式可指示用於輸入物件(例如，用戶輸入的文本、簡圖和照片)的模式。資料插入模式可能夠產生框區域600、透過框區域600呈現內部資料或外部資料，編輯框區域600(尺寸調整、位置移動和旋轉)，並在正被呈現在框區域600中的資料上配置選項(例如，放大/縮小、視頻效果、剪切、美化、取景和旋轉)。例如，資料插入模式可能夠產生框區域600，在框區域600中呈現獲取的資料，並插入選擇的資料。
頁面顯示模組184可控制物件輸入模式和資料插入模式之間的切換，並當模式從物件輸入模式切換到資料插入模式時，在保持應用的頁面螢幕的同時等待用戶的手勢輸入。在電子裝置100正在物件輸入模式下進行操作時，控制單元180可回應於對用於啟動(執行或切換)資料插入模式的插入項的選擇來控制該切換。
框區域顯示模組186可在資料插入模式下用與用戶手勢相應的形狀和尺寸來在用戶手勢輸入的位置產生框區域600，並在頁面上顯示框區域600。例如，控制單元180可在用於在物件輸入模式和資料插入模式下在頁面上輸入物件的用戶輸入與用於形成框區域600的用戶輸入之間進行區分。資料登錄模式下做出的用 戶輸入被處理為用於形成框區域600的輸入。如果用戶輸入不滿足形成框區域600的條件，則用戶輸入可被忽視以防止用戶輸入被無意插入物件。
資料顯示模組188可在模式從物件輸入模式切換到資料插入模式時在後臺操作相機模組170。可選擇地，區域創建事件被輸入並進行控制使得當框區域600被創建時，透過相機模組獲取的資料(預覽圖像)被呈現在區域600中。
根據本發明的實施例，控制單元180可控制電子裝置100的各種功能以及上述功能。控制單元180能夠接收與基於觸摸的輸入介面(例如，觸控螢幕130)上支持的各種基於觸摸的事件相應的輸入信號，並回應於輸入信號控制功能。控制單元180還能夠透過有線通信通道或無線通信通道，控制各種資料的發送/接收。
電源190將來自外部電源或內部電源的電能供應給電子裝置的內部元件。
如上所述，根據本發明的實施例的電子裝置可以是任意已知類型的具有應用處理器(AP)、圖形處理單元(GUI)和中央處理單元(CPU)中的至少一個的資訊通信和多媒體裝置。例如，電子裝置可以是以下任意一個：用與通信系統相應的各種通信協定操作的蜂窩通信終端、平板個人電腦(PC)、智慧型電話、數位相機、可擕式多媒體播放器(portable multimedia player，PMP)、媒體播放器(例如，MP3播放器)、可攜式遊戲機、個人數位助理(personal digital assistant，PDA)等。此外，根據本公開的各種實施例之一的基於手勢的控制方法可被應用於各種顯示裝置(諸 如數位電視(digital television)、數位看板(digital signage，DS)和大型顯示器(large format display，LFD)、膝上型電腦和桌上型電腦)。
根據本發明的實施例的基於手勢的資料處理方法可被實現在軟體、硬體或兩者的組合中，並被儲存在電腦可讀儲存媒體中。在硬體實施方案中，根據本發明的實施例之一的基於手勢的資料處理方法可用以下至少一個來實現：專用積體電路(application specific integrated circuit，ASIC)、數位信號處理器(digital signal processor，DSP)、數位信號處理裝置(digital signal processing device，DSPD)、可編程邏輯裝置(programmable logic device，PLD)、現場可編程閘陣列(field programmable gate array，FPGA)、處理器、控制器、微控制器、微處理器和其他執行特定任務的電子單元。
本發明的一些實施例可由控制單元180來實現。當實現在軟體中時，在本發明的實施例中描述的程式和功能可用軟體模組(例如，頁面管理器184、引導管理器186和物件管理器188)來實現，其中，所述軟體模組可執行上述功能中的至少一個。
儲存媒體可以是儲存程式命令的任意電腦可讀儲存媒體，所述程式命令顯示用於接收用戶輸入的頁面，回應於用戶輸入在所述頁面上形成框區域600並在框區域600中呈現資料。
圖3至圖9示出根據本發明的實施例的用於解釋將資料插入到電子裝置的螢幕上頁面(onscreen page)的螢幕顯示。
圖3示出當用於執行本發明的應用被用戶執行時，電子 裝置100的螢幕顯示。在圖3中，假設應用是備忘錄應用。然而，本發明不限於備忘錄應用，而是用能夠顯示可編輯頁面並接收所述頁面上的各種資料的各種應用來實現。
在圖3中，用戶可執行備忘錄應用並用備忘錄應用編寫文件。例如，電子裝置100可在備忘錄應用的執行時控制將頁面200顯示為備忘錄應用特定的UI或GUI。
如圖3中所示，備忘錄應用的頁面可被劃分為用於提供各種可選項的項區域210和文件編寫區域230。項區域210可被佈置在所述頁面的一部分，文件編寫區域230可重疊在其上。
可選項可包括用於選擇在編寫文件時使用的各種工具(選項)的項。例如，可選項可包括用於選擇物件顏色、加粗、擦除和反轉功能的編輯項211、用於插入資料的插入項213以及用於將編寫的文件與外部裝置共用(發送)的共用項。
用戶可命令透過插入項213形成框區域600，呈現從電子裝置100的內部或外部獲取的資料，並將模式切換到用於將透過框區域600呈現的資料插入到頁面200的資料登錄模式。如果資料登錄模式回應於用戶在插入項213上做出的用戶輸入而被啟動，則除用於文件編寫的物件的輸入以外，電子裝置100將在文件編寫區域230中做出的用戶輸入視為用於形成框區域600的輸入。
儘管圖3的實施例針對一個插入項213被提供的時候，但本發明可用取決於可支援的資料格式(例如，靜止圖像、運動圖像和音頻檔)和資料獲取模式(例如，內部資料插入、相機拍 攝資料插入以及提供外部伺服器的資料插入)的多個插入項來實施。儘管圖3的實施例針對可選項作為圖示被提供的時候，但本發明可被實施為將可選項提供為任意的圖示、文本及其任意組合。
在圖3中，用戶可選擇如圖4中示出的項區域210中提供的可選項之中的插入項213(例如，輕擊觸摸手勢)，以將模式轉換為用於插入特定資料(例如，內部資料或外部資料)的資料插入模式。例如，用戶可選擇插入項213來將特定資料(例如，靜止圖像和運動圖像)插入到當前正被編寫的文件的頁面200。然後電子裝置100將對插入項213的選擇視為資料插入的啟動(例如，形成框區域600啟動)而非物件插入的啟動，因此從資料登錄模式切換到資料插入模式並等待用戶輸入。
用戶可選擇插入項213以啟動資料插入模式，並確定將被插入到頁面200上的資料的位置和大小。用戶可在確定的位置做出手勢(諸如繪製手勢的區域產生手勢)以形成框區域600。
例如，用戶可在確定的位置以具有確定的尺寸的正方形形狀來做出繪製框區域600的手勢。以下的圖5和圖6示出當用戶沿順時針方向繪製線條以形成封閉曲線(例如，正方和圓形)作為框區域600的螢幕顯示。如果用戶的繪製手勢已如圖6中所示被完成，則電子裝置100渲染附圖使得如圖7中示出的螢幕被顯示。
圖7示出在資料插入模式下，在已回應於用戶的手勢(區域創建事件)形成框區域600之後電子裝置100的螢幕。根據本發明的實施例，如果透過繪製矩形做出區域創建手勢，則如圖7 中所示電子裝置100回應於用戶的繪製手勢將所述矩形渲染為幀區域600。
電子裝置100在形成框區域600時根據預定方法獲取資料(例如，內部資料和外部資料)，並如圖7中所示透過框區域600將獲取的資料顯示為預覽。如果將被獲取的資料是內部資料並且透過捕捉內部資料的暫態來獲取，則電子裝置可在形成框區域600時在後臺上操作相機模組170。電子裝置可透過相機模組170中的框區域600作為預覽來顯示場景輸入的資料(圖像)。
圖7的實施例針對獲取的資料相應於來自電子裝置100的內部或外部的靜止圖像，並以預覽模式被顯示在框區域600中。例如，電子裝置100可從儲存單元1150檢索照片資料，並將檢索到的照片資料顯示在框區域600中。電子裝置100還可從外部伺服器下載照片資料，並將下載的照片資料顯示在框圖像600中。
框區域600可相應於在頁面200上做出的用戶手勢(繪製)的位置和大小連同邊界線上的能夠允許用戶直觀地調整框區域600(例如，尺寸、位置、旋轉)的調整標記650而被創建。用戶可使用調整標記650沿一個方向(例如，上、下、左和右方向)或多個方向(例如，左上、右上、左下和右下方向)調整(即，擴大或縮小)框區域600的尺寸。當在框區域600的邊界上保持邊界或調整項650時，用戶可透過沿一個方向做出運動(拖曳)手勢來在頁面200的邊界內移動框區域600。
圖8示出當如圖7中所示出在預覽模式下透過框區域600呈現資料時，在用戶輸入插入(選擇)呈現在框區域600中的資 料的命令時電子裝置100的螢幕。插入命令可被輸入為對輸入單元120的觸摸手勢(例如，輕擊)或鍵選擇。如圖8中所示的電子裝置100的螢幕可回應於與用戶的手勢相應的用戶命令輸入而被改變為圖9的螢幕
在如圖8中所示的框區域600啟動之後，僅有做出用於操縱框區域600內的資料的用戶的輸入手勢被處理為有效輸入。在框區域600的外面做出的用戶的輸入手勢(例如，用於插入物件)可被忽略。然而，在框區域600的外部做出的操縱框區域600或與調用功能表相關的用戶的輸入手勢可被處理為有效輸入。
圖9示出當根據用戶輸入，呈現在框區域600中的資料被插入到當前正被編寫的文件的頁面中時的電子裝置100的螢幕。在本發明的實施例中，電子裝置100處理顯示在框區域600中的資料以產生插入資料，其中，所述插入資料被插入到如圖9中所示的當前正被編寫的文件的螢幕上頁面200。
如圖9中所示，粗體邊界線和所述邊界線上的調整標記被去除，並且在尺寸上等於框區域600的資料被插入到與螢幕上頁面200中的框區域600相同的位置。一旦插入資料被插入，則電子裝置終止插入模式，將所述模式切換到物件輸入模式，並等待用戶輸入(例如，物件輸入)。然而，本發明不限於此，本發明可被實施為根據用戶配置在資料的插入之後保持資料插入模式。
圖10至圖12示出根據本發明的實施例的用於解釋使用電子裝置的螢幕上頁面上的物件來檢索和顯示資料的螢幕顯示。
圖10示出當用戶執行用於執行本發明的操作的應用時電 子裝置100的螢幕。電子裝置100在編寫應用的文件時接收用戶輸入，並顯示相關物件。例如，用戶可執行應用並輸入如圖10中所示的物件「CAR」。然後，如圖10中所示，電子裝置100可顯示回應於用戶輸入呈現相應物件(例如，文本物件「CAR」)的頁面200。
在圖10中，用戶可如上述將模式切換到資料插入模式，並如圖11中所示在螢幕上頁面200的一部分上創建框區域600。例如，用戶可在螢幕上頁面200上以特定尺寸在特定位置以矩形形狀做出繪製框區域600的手勢，使得矩形框區域600出現在如圖11中所示的螢幕上。
圖12示出根據本發明的實施例的當在資料登錄模式下回應於用戶的手勢形成框區域600時電子裝置100的螢幕。當用戶做出繪製矩形的手勢以創建框區域600時，如圖12中所示，電子裝置100回應於用戶的繪製手勢形成框區域600。
此時，電子裝置100基於輸入物件(例如，CAR)，根據在創建框區域600時配置的方法來檢索資料(例如，內部資料和外部資料)，並將檢索到的資料顯示在框區域600中。當在物件(例如，CAR)已被輸入時在資料插入模式下創建了框區域600時，電子裝置100基於輸入物件檢索將被顯示在框區域600中的資料。
電子裝置100對輸入物件執行文本識別以產生關鍵字(例如，CAR)並根據資料獲取模式檢索與所述關鍵字匹配的內部資料和/或外部資料。例如，電子裝置100可對輸入物件執行文本識別以獲取關鍵字「CAR」，並從內部資料和/或外部資料檢索與關鍵 字「CAR」匹配的資料。檢索到的資料被緩存並隨後被處理以呈現在框區域600中。
如圖10至圖12的螢幕顯示中所示，用戶可將預期的關鍵字作為物件插入到頁面200上。與所述關鍵字相應的資料可按照插入關鍵字物件並繪製框區域600這樣的方式被呈現。
圖13至圖18示出根據本發明的實施例的用於解釋將由相機模組170拍攝的資料插入到電子裝置的螢幕上頁面的螢幕顯示。
圖13示出當用戶執行用於執行本發明的多個方面並將物件插入到當前正被編寫的文件的應用時電子裝置100的螢幕顯示。如圖13中所示。如果用戶在圖3的螢幕顯示中輸入特定物件，則將所述物件呈現在電子裝置100的螢幕上。例如，如圖13中所示，電子裝置可回應於用戶輸入呈現物件(例如，文本物件「WINE？」)。如圖3中所示的電子裝置100的螢幕可被切換到如圖13中所示的呈現透過用戶手寫插入的文本物件(例如，W、I、N、E和？)的螢幕。
隨後電子裝置100可在螢幕上頁面200的用戶已做出插入的部分呈現物件「WINE？」。所述物件可以是順序插入的一系列物件「W」、「I」、「N」、「E」和「？」。
在圖13中，如圖13中所示，用戶可在項區域210中的可選項之中選擇插入項213以將模式切換到能即時插入由相機拍攝的資料的資料插入模式。例如，用戶可選擇插入項213以將相機拍攝的資料(例如，靜止圖像和運動圖像)插入到當前正被編 寫的文件的螢幕上頁面。然後，電子裝置100將用戶的選擇插入項213的動作確定為資料插入啟動命令(例如，區域(視窗)600創建命令)而非物件輸入命令，從物件輸入模式切換到資料插入模式並等待用戶輸入。
用戶可選擇插入項213以執行資料登錄模式並在螢幕上頁面200中確定由相機模組170拍攝的資料的位置和尺寸。用戶可做出用於創建框區域600的手勢(例如，繪製手勢)。
例如，如圖14和圖15中所示，用戶可在螢幕上頁面的特定部分做出繪製具有一尺寸的矩形框區域600的手勢。圖14和圖15示出當用戶沿順時針方向繪製封閉曲線(例如，矩形和圓形)以形成框區域600時電子裝置100的螢幕顯示。如果用戶的繪製手勢已完成，則電子裝置100的螢幕可從圖15的狀態切換到圖16的狀態。
圖16示出當在資料插入模式下回應於用戶的手勢(區域創建事件)創建了框區域600時電子裝置100的螢幕顯示。如果用戶的繪製矩形的手勢已完成，則如圖16中所示，電子裝置100回應於用戶的繪製手勢創建矩形框區域600。
如圖16中所示，當創建框區域600時，電子裝置100可控制相機模組170在後臺運行。電子裝置100可在預覽模式下透過框區域600顯示相機模組170捕捉的物件的資料。圖16針對用戶將瓶子拍攝為對象使得瓶子的照片在框區域600中被呈現為預覽。如上所述，可在與用戶的繪製手勢相同的位置以相同的尺寸創建框區域600，並且調整標記650佈置在框區域600的邊界線上。
圖17示出當用戶輸入用於拍攝顯示在框區域600中的資料的命令並將拍攝的資料插入到圖16中的頁面200時電子裝置100的螢幕顯示。輸入的命令可以是觸摸手勢(例如，輕擊)或者是透過輸入單元120進行。回應於用戶的插入命令。如圖17中所示的螢幕狀態被切換到如圖18中所示的螢幕狀態。
圖18示出當應用捕捉由用戶創建的框區域600中呈現的資料並回應於用戶輸入將捕捉的資料插入到頁面200中時電子裝置100的螢幕顯示。根據本發明的實施例，電子裝置100捕捉框區域600中呈現的資料以產生插入資料，並將所述插入資料插入到如圖18中所示的當前正被編寫的文件的螢幕上頁面200中。
如圖18中所示，指示啟動狀態的粗體邊界線和調整標記650被去除，使得在尺寸上等於框區域600的資料被插入到螢幕上頁面200中與框區域600相同的位置。一旦插入的資料被插入，電子裝置100結束插入模式，將模式切換到物件輸入模式，並等待用戶輸入(例如，物件輸入)。然而，本發明不限於此，本發明可被實施為根據用戶的配置在資料的插入之後保持資料插入模式。
一旦插入資料被插入到當前正被編寫的文件的螢幕上頁面，相機模組170不再需要。因此，在插入被產生並被插入到正進行的頁面之後，相機模組170可關閉。然而，本發明不限於此，本發明可被實施為在應用結束之前保持相機模組170的啟動狀態。
圖19至圖20示出根據本發明的實施例的用於解釋在電子裝置中使用應用的文件編寫操作的螢幕顯示。
圖19示出當用戶在圖18的螢幕狀態下輸入新物件(例如「Red in’80」)時電子裝置100的螢幕顯示。如果資料被輸入到如上所述的當前正被編寫的文件的螢幕上頁面200，則電子裝置100可進入物件輸入模式以接收用於編輯文件的用戶輸入，並回應於所述用戶輸入顯示物件(例如，文本和簡圖)。例如，如圖19中所示，電子裝置100可顯示回應於用戶輸入插入了物件「Red in '80」的螢幕。例如，如圖18中所示的電子裝置100的螢幕可被改變為如圖19中所示的具有由用戶插入的物件的螢幕。
用戶可在圖18或圖19的螢幕狀態下輸入針對頁面200中插入的資料的物件(例如，文本和簡圖)。
圖20示出當用戶將另外的物件(美化插入的資料的簡圖或文本)輸入到圖19的螢幕狀態下的頁面200中的插入資料時的螢幕顯示。例如，電子裝置100可顯示呈現伴隨有波浪圖像的形狀的簡圖1010和文本「Good」1030的資料的螢幕。根據物件的另外輸入，電子裝置100的螢幕可被改變為圖20中所示的螢幕。
圖21示出根據本發明的實施例的用於解釋調整在電子裝置上運行的應用的文件頁面上形成的框區域600的選項(樣式)的螢幕顯示。
圖21示出當用戶調整如上所述的顯示有內部資料或外部資料的框區域600的選項(樣式)時電子裝置100的螢幕顯示。例如，用戶可針對從相機模組170接收的並顯示在框區域600中的預覽圖像，調整顯示在框區域中的靜止圖像/運動圖像的選項(例如，視覺效果、選擇、取景(frame)、擴大和縮小)或拍攝選項 (例如，變焦、寬高比、視覺效果、取景和旋轉)。根據本發明的實施例，用戶可將在若干選項(樣式)之中選擇的一個選項(樣式)應用於框區域600的至少一部分或可應用用戶輸入的一個選項(樣式)。
圖21可示出當用戶執行作為選項的呈現靜止圖像的資料的框區域600的擴大或作為拍攝選項的框區域600中的預覽圖像的資料的放大的時候。儘管圖21針對後一種情況，但選項調整可被應用於可被顯示在框區域600中的所有內部資料和外部資料。
如圖21中所示，當框區域600和電子裝置100可用由用戶設置的至少一個拍攝選項的應用執行用於支援拍攝的圖像處理時，用戶可設置諸如變焦、寬高比和視覺效果的拍攝選項。
在本發明的實施例中，呈現在框區域600中的資料可根據用戶輸入被放大/縮小。例如，用戶可在框區域600內作出具有接觸點的信號觸摸，並隨後將向上拖動接觸點以進行放大或向下拖動接觸點以進行縮小。用戶可在框區域600內執行具有兩個接觸點的多觸摸並隨後進行捏合/拉伸以縮窄或加寬接觸點之間的距離以進行縮小/放大。用戶可透過用觸摸筆(例如，觸控筆)執行懸停手勢來執行變焦。這樣的用戶輸入手勢可被用於前述各種選項以及變焦。在本發明的實施例中，針對形成在頁面200上的框區域600的選項調整可透過各種方法來執行。
圖22和圖23示出根據本發明的實施例的用於解釋在電子裝置的螢幕上頁面上移動框區域的螢幕顯示。
圖22和圖23示出當在螢幕上頁面200上顯示資料(例 如，夫婦圖像)時，當用戶移動框區域600時電子裝置100的螢幕顯示。顯示所述資料的框區域600的狀態在相應資料被插入頁面200之前；然而，如上所述，僅框區域600是活動的。
如圖22中所示，用戶可選擇框區域600的一部分邊界，在保持選擇的同向下移動框區域，並在特定位置釋放選擇。例如，用戶可使用拖放觸摸手勢將選擇的框區域600拖到目標位置，然後在正確的位置放下。
然後電子裝置100在框區域600已根據用戶的拖放觸摸手勢輸入被移動到的位置顯示框區域600。例如，圖22的螢幕顯示可被改變為如圖23中所示的反映框區域600的移動的新螢幕顯示。
圖24至圖26示出根據本發明的實施例的用於解釋調整在電子裝置的螢幕上圖像上形成的框區域的螢幕顯示。
圖24和圖26示出當框區域600被啟動時，在用戶調整框區域600的尺寸時電子裝置100的螢幕圖像。顯示在框區域600中的資料可以是從電子裝置100的內部和外部獲取的任意靜止圖像和運動圖像。顯示在框區域600中的資料可以是透過相機模組170輸入的預覽圖像。
在本發明的實施例中，框區域600的尺寸調整可根據框區域600是顯示靜止圖像、還是運動圖像、還是預覽圖像而具有不同的反映。分別參照圖25和圖26描述區別案例。圖25中的描述可以是當顯示在框區域14中顯示的資料是預覽圖像的時候，圖26中的描述可以是當顯示在框區域600中的資料是從電子裝置 100的內部或外部獲取的靜止圖像或運動圖像的時候。
如圖24中所示，用戶可選擇框區域600的邊界線上的調整標記650，在保持接觸的同時向下拖動調整標記650，並在用於調整框區域600的尺寸的位置釋放接觸。例如，用戶可選擇調整標記650之一(例如，框區域600的底部邊界線的中心處的調整標記)，在保持接觸的同時向下拖動選擇的調整標記，並在用於放大框區域600的尺寸的位置放開所述接觸。
如圖25和圖26中所示，電子裝置100顯示回應於用戶的尺寸調整(放大)觸摸手勢而已被調整了尺寸的框區域600。如上所述，對框區域600的尺寸的改變做出反應的動作可依據顯示在框區域600中的資料的類型而有所區分。
圖25是針對顯示在框區域600中的資料是預覽圖像的時候。在這種情況下，預覽圖像的寬高比可根據框區域600的尺寸調整而被改變。例如，相機模組170拍攝的物件可被進一步暴露得與框區域600的擴展一樣多。例如，如圖24中所示的電子裝置100的螢幕顯示可根據用於調整框區域的尺寸的用戶輸入而被改變為如圖25中所示的螢幕顯示。
圖26示出當顯示在框區域600中的資料是從電子裝置100的內部或外部獲取的靜止圖像或運動圖像時從圖24的狀態改變的螢幕顯示。當顯示在框區域600中的資料是靜止圖像或運動圖像時，根據框區域600的尺寸調整在框區域600中調整資料的寬高比。例如，可根據框區域600的尺寸的改變，以與螢幕寬高比(例如，4：3、16：9和16：10)匹配的寬高比，或者用與螢幕的 尺寸成比例的尺寸(例如，0.5×尺寸、1.0×尺寸、1.5×尺寸以及2.0×尺寸)來顯示相應的資料。例如，如圖24中所示的電子裝置100的螢幕可根據用於調整框區域600的尺寸的用戶輸入而被改變為如圖26中所示的螢幕。根據本發明的實施例，顯示在框區域600中的資料的寬高比或尺寸回應於框區域600的尺寸的改變而被自動改變(改變長度和寬度中的至少一個)。
圖27至圖29示出根據本發明的實施例的用於解釋滾動顯示在框區域600中的資料的電子裝置100的螢幕顯示。
圖27至圖29示出當框在頁面200上被啟動時，在用戶滾動顯示在框區域600中的資料時電子裝置的螢幕顯示。
在本發明的實施例中，可如圖27和圖28中所示透過用戶的觸摸手勢(例如，拂過、輕彈和拖動)來執行框區域600中顯示的資料的滾動，或者如圖29中所示透過安裝到電子裝置100的各種感測器對電子裝置的姿態改變的檢測來執行框區域600中顯示的資料的滾動。感測器可包括語音感測器、亮度感測器、加速度感測器和重力感測器，圖29可針對使用能夠檢測電子裝置100的運動的感測器。
圖27示出從電子裝置的內部或外部獲取的特定資料(例如，汽車圖像)被顯示在框區域中的狀態的螢幕顯示。在圖27中，用戶可做出滾動手勢以導航(滾動)顯示在框區域600中的資料，例如，用戶可在框區域600上做出向左或向右觸摸並滾動的手勢。
電子裝置100回應於用戶的滾動手勢對框區域600中的資料進行導航，使得資料的被導航的部分顯示在框區域600中。 例如，根據用戶的滾動手勢的方向，顯示在框區域600中的資料可被先前的資料或接下來的資料替換。
圖29的圖示<2201>可示出顯示從電子裝置100的內部或外部獲取的特定資料(例如，汽車圖像)的螢幕的狀態。在圖示<2201>中，用戶可做出用於對顯示在框區域600中的資料進行導航(滾動)的滾動手勢。例如，用戶可將電子裝置100向左側方向或右側方向傾斜，其中，按照當用戶面向電子裝置的顯示面板131時電子裝置向左傾斜(見圖示<2203>)或向右傾斜(見圖示<2205>)。例如，在持有電子裝置100並面向電子裝置100的顯示螢幕的同時，用戶可如圖示<2203>中所示將電子裝置100向左傾斜，或者如圖<2205>中所示將電子裝置100向右傾斜。
然後如示圖<2203>或<2205>中所示，電子裝置100回應於用戶的滾動手勢對顯示在框區域600上的資料的滾動操作進行處理，使得所述資料被其他資料替換。例如，根據用戶的滾動手勢的方向，顯示在框區域600中的當前資料可被先前的資料或接下來的資料替換。
如以上參照圖27至29中所述，如果對顯示在框區域600中的資料做出了滾動手勢，則對顯示在框區域600中的資料而非螢幕上頁面200上的其他物件採取反應。根據本發明的實施例，當框區域600被啟動時，用戶輸入僅對框區域600和顯示在框區域600中的資料起作用，以防止做出非預期的用戶輸入。
圖30至圖34示出根據本發明的實施例的用於解釋在電子裝置的螢幕上頁面上形成框區域的螢幕顯示。
圖30至圖34示出當用戶正編寫或編輯文件頁面時，在應用的模式從物件輸入模式切換到資料登錄模式時在螢幕上頁面200上形成框區域600的螢幕顯示。
圖30示出以特定形狀(例如，矩形、圓形、星形和三角形)的封閉曲線創建框區域600。具體地講，框區域600非典型地如用戶繪製的來成形。圖30是針對根據本發明的實施例的透過反映用戶繪製的形狀來形成框區域600。
圖31和圖32示出繪製封閉曲線來產生特定形狀，並對非典型的封閉曲線進行處理以形成特定形狀的框區域600。圖31和圖32是針對根據本發明的實施例的從用戶繪製的非典型曲線識別典型形狀。
圖31是針對用戶繪製的非典型的封閉曲線被識別為圓形形狀(圓形和橢圓形)以產生圓形框區域600的時候，圖32是針對用戶繪製的非典型的封閉曲線被識別為四角形形狀(水平矩形、垂直矩形以及正方形)以產生四角形的框區域600的時候。
圖33是針對考慮框區域600的位置和尺寸，回應於用戶的繪製特定線(例如，對角線、水平線和垂直線)的手勢形成框區域600的時候。具體地講，以基於用戶繪製的線繪製連接虛擬角點的線的典型形狀來形成框區域600。在圖33中，電子裝置100透過識別對角線來確定虛擬角點，並透過在螢幕上頁面上連接虛擬角點來形成四角形框區域600。可依據對角線的斜率來確定四角形形狀(水平矩形、垂直矩形和正方形)。
圖34是針對按照用戶選擇兩點並且從而電子裝置100識 別選擇區域(例如，透過連接基於兩個觸摸點確定的角點以形成典型形狀的框區域600)的這種方式，響應於選擇限定框區域600的位置和尺寸的兩點(基於多觸摸)形成框區域600的時候。在圖34中，電子裝置100識別用戶做出的多觸摸的觸摸點，並創建與基於觸摸點確定的尺寸對應的典型四角形框區域600。四角形形狀(水平矩形、垂直矩形和正方形)可依據兩個觸摸點的相對位置(例如，連接多觸摸的觸摸點的線的斜率)來確定。
在本發明的實施例中，可使用各種簡圖識別演算法來執行對用戶繪製的用於在螢幕上頁面上形成框區域600的形狀的識別。可根據各種觸摸手勢識別機制(諸如用用戶的手指或觸摸筆)來在觸控螢幕130上做出並檢測用於形成框區域的用戶輸入手勢，其中，在筆的情況下，觸摸手勢可由懸停手勢來代替。
圖35示出根據本發明的實施例的使用在電子裝置上運行的應用的螢幕上文件頁面的一部分的資料處理方法。
參照圖35，在步驟3501，頁面顯示模組184可控制顯示用於接收用戶輸入的頁面。例如，頁面顯示模組184可執行用戶請求的應用並控制所述應用的頁面螢幕的顯示。在本發明的實施例中，所述頁面可接收用戶輸入並呈現與用戶輸入相應的各種資料。所述應用可以是任意已知類型的允許透過可編輯頁面(基於文本和圖像)編寫各種類型的文件的應用。
在步驟3503，控制單元180可檢測用戶輸入。例如，控制單元180可檢測與在螢幕上頁面的框區域600中產生的用戶輸入相應的信號。可用至少一個用戶手勢產生與用戶輸入相應的信 號。
在步驟3505，框區域顯示模組186可進行控制以顯示與用戶輸入相應的框區域。例如，框區域顯示模組186可相應於用戶輸入在螢幕上頁面上以特定尺寸在特定位置創建框區域600。在本發明的實施例中，按照以自動調整的指定形狀形成根據至少一個用戶手勢確定的區域的方式執行顯示框區域600的步驟。在本發明的實施例中，顯示框區域600的步驟可包括回應於信號檢測獲取將被顯示在框區域600中的資料。所述資料可包括如上所述的內部資料和外部資料。所述資料可包括儲存在功能性地連接到電子裝置100的記憶體中的所有資料。例如，所述資料可包括儲存在內部記憶體中的資料以及從透過網路400連接到電子裝置100的外部記憶體接收的資料。
在步驟3507，資料顯示模組188可進行控制以與框區域600在頁面上的顯示一起在框區域600中顯示資料。例如，資料顯示模組188可回應於信號檢測獲取將被顯示在框區域中的資料，並如上所述在框區域600中顯示獲取的資料。
儘管在圖35中未示出，但當資料顯示在螢幕上頁面的框區域600中時，資料顯示模組188可回應於至少一個用戶輸入來控制顯示在框區域600中的資料。當控制顯示在框區域600中的資料時，控制單元180可檢查區分頁面上的用戶輸入以限制一部分輸入。控制單元180還可進行控制以在框區域600上或頁面的另一區域上顯示對用於控制顯示在框區域600中的資料的功能特定的至少一個功能表(例如，選項選擇功能表)。
顯示資料的步驟可包括回應於用戶輸入在頁面上顯示資料(例如，物件)，根據至少一個用戶輸入改變框區域600的尺寸和位置中的至少一個，並應用在若干樣式之中選擇的至少一個樣式或者應用用戶輸入的至少一個樣式。
框區域600可回應於用戶輸入被劃分為各種子區域。顯示框區域600的步驟還可包括顯示包括第一子區域和第二子區域的各種子區域。所述資料可根據子區域而由至少包括第一資料和第二資料的各種資料組成，並且顯示資料的步驟可包括在第一子區域中顯示第一資料並在第二子區域中顯示第二資料。
在本發明的實施例中，第一資料從功能性地連接到電子裝置100的第一圖像感測器和第二圖像感測器中的一個接收，第二資料從除接收到第一資料的感測器之外的另一圖像感測器接收。例如，在功能性地連接到電子裝置100的相機模組170的第一圖像感測器(例如，後置相機模組)和第二圖像感測器(例如，前置相機模組)之中，透過第一圖像感測器獲取第一資料，透過連接到電子裝置100的第二圖像感測器獲取第二資料。
在本發明的實施例中，框區域600可包括各種子區域，並且在多個子區域之中的選擇的一個子區域中顯示的資料可被儲存。
圖36示出根據本發明的實施例的資料處理方法中在電子裝置的螢幕上頁面上產生框區域的過程。
參照圖36，在步驟2201，資料顯示模組188可在執行應用並執行相關步驟時在項區域210中檢測選擇插入項213。例如， 在設置有應用的執行的物件輸入模式下編寫文件時用戶可在項區域210中的選項之中選擇插入項213，以將資料插入到螢幕上頁面。
如果選擇了插入項213，則在步驟2203資料顯示模組188可進行控制以從物件輸入模式切換到資料插入模式。例如，資料顯示模組188可將用於接收物件的物件輸入模式切換為用於插入資料的資料插入模式，然後等待用於產生框區域600的用戶輸入。
如果在進入資料插入模式之後在步驟2205檢測到用戶的用於產生框區域600的用戶手勢輸入，則在步驟2207，框區域顯示模組186可識別與用戶的手勢相應的框區域600。控制單元180可進行控制以在步驟2209根據用戶的手勢在螢幕上頁面上產生框區域600。
例如，用戶可確定將被插入到頁面的內部資料或外部資料位置和尺寸，並做出繪製手勢以形成框區域600。然後框區域顯示模組186識別如上所述的根據用戶的手勢繪製的區域，並形成與繪製的區域相應的框區域600。在本發明的實施例中，按照根據用戶配置創建非典型形狀或典型形狀的框區域600的方式來執行形成框區域600的步驟。當切換到資料插入模式或檢測到用戶的手勢輸入時，資料顯示模組188可控制相機模組170在後臺操作。控制單元180可進行控制以在框區域600中將透過相機模組170輸入的對像的資料(預覽圖像)顯示為預覽。
圖37示出根據本發明的實施例的資料處理方法中將資料插入電子裝置的文件應用的螢幕上頁面的過程。
參照圖37，在步驟2101，頁面顯示模組184可執行應用並控制所述應用執行相關操作。例如，頁面顯示模組184可執行用戶請求的應用並進行控制以在螢幕上顯示所述應用的文件頁面。當所述應用被執行時，控制單元180可在物件輸入模式下進行操作，並在物件輸入模式下等待用戶的觸摸手勢。
在本發明的實施例中，觸摸手勢可以是用於書寫物件(基於鍵盤的文本、基於手寫的文本和簡圖等)，在項區域210中提供的選項之中選擇編輯項211，或選擇用於與其他裝置共用書寫的文件(或將書寫的文件發送到其他裝置)的輸入手勢。所述應用可以是能夠產生可編輯文件(文本和基於圖像的文件)的任何類型，諸如文字處理器、備忘錄、電子郵件和行程整理器應用。
在步驟2103，框區域顯示模組186可在應用的物件輸入模式下檢測用於形成框區域600的用戶手勢。例如，用戶可確定用於在物件輸入模式下將特定資料插入到螢幕上頁面200的區域的位置和尺寸。用戶可在頁面上繪製具有確定的位置和尺寸的簡圖，以指定框區域600。用戶可在做出用戶手勢之前選擇插入項213，以從物件輸入模式切換到資料插入模式。
在步驟2105，框區域顯示模組186可回應於螢幕上頁面200(例如，當前正被編寫的文件)上的用戶的手勢輸入來創建框區域600，並在頁面200上顯示框區域600。在本發明的實施例中，顯示框區域600的步驟可包括獲取將被顯示在框區域600中的資料，並且所述資料可包括如上所述的內部資料和外部資料。所述資料可包括儲存在功能性地連接到電子裝置100的記憶體中的所 有類型的資料。
例如，所述資料可包括儲存在內部記憶體中的資料和從透過網路400連接的外部記憶體接收的資料。在本發明的實施例中，當從相機模組170獲取了資料時，控制單元180可控制相機模組170回應於用戶的手勢輸入在創建框區域600時在後臺操作，並隨後獲取物件的資料(預覽圖像)。
在步驟2107，資料顯示模組188可在形成在螢幕上頁面20上的框區域600中顯示獲取的內部資料或外部資料作為預覽。例如，資料顯示模組188可進行控制使得特定資料顯示在具有由用戶的手勢輸入確定的位置和尺寸的框區域600中。
資料顯示模組188可進行控制使得回應於至少一個用戶手勢輸入，資料被顯示在框區域600中。控制單元180可將用戶輸入進行區分以限制某些用戶輸入。控制單元180還可進行控制以在框區域600中或頁面200上的預定區域中顯示與用於控制資料的功能相應的至少一個功能表(例如，選項選擇功能表)。
框區域顯示模組186可根據當資料顯示在框區域600中時做出的至少一個用戶手勢輸入來改變框區域的尺寸和位置中的至少一個。當資料被顯示在框區域600中時，控制單元180還可將在各種樣式之中選擇的至少一個樣式或透過用戶的輸入選擇的至少一個樣式應用於框區域600的至少一部分。
當資料被顯示在框區域600中時，框區域顯示模組186可回應於用戶的輸入將框區域600顯示為被劃分為各種子區域。在框區域600中顯示資料的步驟可包括顯示至少包括第一子區域 和第二子區域的各種子區域。所述資料可根據組成框區域600的子區域而至少包括第一資料和第二資料，並且將資料顯示在框區域600中的步驟可包括將第一資料顯示在第一子區域並將第二資料顯示在第二子區域。
在步驟2109，資料顯示模組188可在資料顯示在框區域600上時檢測插入事件。例如，控制單元180可檢測用戶的用於命令將顯示在框區域600中的資料轉換為插入資料並將所述插入資料插入頁面200中的輸入手勢。例如，插入命令可被輸入為觸摸手勢(例如，輕擊)或可透過操縱輸入單元120來輸入。
資料顯示模組188可在步驟2111回應於插入命令產生插入資料，並在步驟2113將插入資料插入當前正被編寫的文件的螢幕上頁面200上。例如，資料顯示模組188可進行控制以產生尺寸等於框區域600的插入資料，並在頁面200上將插入的資料顯示在與框區域600相同的位置。頁面顯示模組184可根據預配置的設置將模式切換到物件輸入模式或保持資料登錄模式，並等待用戶輸入。
在步驟2115，控制單元180可在插入資料被插入相應的頁面200上時執行與用戶的請求相應的操作。例如，當資料被插入到頁面200中時，控制單元180可回應於用戶輸入將附加資料(例如，物件)插入到插入的資料上，響應於區域插入命令產生新的框區域600以添加附加資料，並回應於用戶請求儲存並結束編寫的具有相應頁面的文件，或回應於用戶請求將編寫的具有相應頁面的文件發送(共用)到電子裝置100的外部。
圖38示出根據本發明的實施例的使用電子裝置的螢幕上頁面上的框區域的資料處理方法。
參照圖38，在步驟2901，頁面顯示模組184可執行應用和應用的操作。例如，頁面顯示模組184可執行用戶請求的應用並顯示應用特定頁面螢幕。
在步驟2903，框區域顯示模組186可檢測用於創建框區域600的用戶輸入。例如，用戶可在頁面200上確定用於插入特定資料的區域的位置和尺寸，並在頁面200上，以確定的尺寸在確定的位置繪製用於指定框區域600的手勢。
在步驟2905，框區域顯示模組186可回應於用戶輸入創建框區域600並在頁面上顯示框區域600。
在步驟2907，框區域顯示模組186可在顯示框區域600時確定資料獲取模式。在本發明的實施例中，顯示框區域600的步驟可包括獲取將被顯示在框區域600中的資料，並且所述資料包括內部資料和/或外部資料。
在步驟2909，資料顯示模組188可根據確定的資料獲取模式獲取內部資料或外部資料。例如，資料顯示模組188可根據資料獲取模式，獲取儲存在功能性地連接到電子裝置100的記憶體中的資料。控制單元180可獲取儲存在內部記憶體或透過網路400連接的外部記憶體中的資料。控制單元180可控制相機模組170在後臺運行並獲取透過相機模組170輸入的物件的資料(預覽圖像)。
在步驟2911，資料顯示模組188可將獲取的內部資料或 外部資料在框區域600中顯示為預覽。例如，在步驟2911，控制單元180可對具有根據當前正被編寫的文件的頁面200上的用戶的手勢輸入確定的位置和尺寸的框區域600中的特定資料進行控制。
在步驟2913，資料顯示模組188可進行監控以檢測用戶輸入，並且如果檢測到用戶輸入，則確定任意用戶輸入是否是用於滾動顯示在框區域600中的資料的滾動命令。
如果用戶輸入是滾動命令，則在步驟2915，資料顯示模組188可回應於用戶的滾動命令輸入，滾動框區域600中的資料並顯示滾動的資料。如果用戶輸入不是滾動命令輸入，則在步驟2917，資料顯示模組188可確定用戶輸入是否是插入命令。
如果用戶輸入不是插入命令，則在步驟2919，控制單元180可執行與用戶輸入相應的步驟。例如，資料顯示模組188可回應於用戶輸入在頁面上輸入物件，或者改變資料登錄方法。
如果用戶輸入是插入命令，則在步驟2921資料顯示模組188可產生插入資料。例如，控制單元可在資料顯示在框區域600中時檢測插入命令輸入，並將顯示在框區域600中的資料轉換為將被插入到頁面上的插入資料。
在步驟2923，資料顯示模組188可將創建的插入資料插入當前正被編寫的文件的螢幕上頁面。例如，控制單元180可產生在尺寸上與框區域600相等的插入資料，並將所述插入資料插入在與框區域600相同的區域(位置)。
如果用戶輸入不是滾動命令，則在步驟2925，控制單元 180可執行與用戶輸入相應的操作。例如，控制單元180可從資料插入模式切換到物件輸入模式，以將插入資料插入到螢幕上頁面上，回應于用戶輸入形成新的框區域600，或回應於用戶輸入在頁面上顯示物件。
圖39和圖40示出根據本發明的實施例的資料處理方法中在形成在電子裝置100的螢幕上頁面上的框區域中顯示資料的過程。
參照圖39和圖40，在步驟3001，框區域顯示模組186可檢查資料獲取模式。例如，框區域顯示模組186可檢查當在螢幕上頁面上顯示框區域600時預先確定的資料獲取模式。
在步驟3003，框區域顯示模組186可確定資料獲取模式是否是內部資料獲取模式。如果資料獲取模式是內部資料獲取模式，則在步驟3005，框區域顯示模組186確定內部資料獲取模式是否是基於關鍵字的內部資料獲取模式。
如果內部資料獲取模式不是基於關鍵字的內部資料獲取模式，則在步驟3013，資料顯示模組188可獲取所有的內部資料，並將獲取的資料在頁面上的框區域600中顯示為預覽。
如果內部資料獲取模式是基於關鍵字的內部資料獲取模式，則在步驟3007，資料顯示模組188可提取關鍵字。例如，控制單元180可對頁面上的物件進行分析以提取關鍵字。
在步驟3009，資料顯示模組188確定在頁面上是否存在關鍵字。如果在頁面上不存在關鍵字，則資料顯示模組188在步驟3013控制獲取所有的內部資料，並在步驟3015將獲取的內部 資料在框區域600中顯示為預覽。
如果在頁面上存在任何關鍵字，則在步驟3011，資料顯示模組188可進行提取以獲取與關鍵字匹配的內部資料。控制單元180可提示用戶輸入是否執行基於關鍵字的搜索(例如，提取的關鍵字是否正確)。如果用戶請求基於關鍵字的搜索，則控制單元180檢索與相應關鍵字匹配的內部資料。根據本發明的實施例，如果檢索到請求基於關鍵字搜索的用戶輸入，則控制單元180可檢索與所述關鍵字匹配的內部資料。控制單元180可進行控制使得檢索到的內部資料在頁面上的框區域600中被顯示為預覽。
如果在步驟3003，資料獲取模式不是內部資料獲取模式(即，如果資料獲取模式是外部資料獲取模式)，則在步驟3021，控制單元180可提取關鍵字。例如，控制單元180可對頁面上的物件進行分析以提取關鍵字。
在步驟3023，資料顯示模組188可確定在頁面上是否存在任何關鍵字。如果在頁面上存在任何關鍵字，則控制單元180可提示用戶檢查相應的關鍵字是否正確作為彈出訊息。所述彈出訊息可詢問是否用提取的關鍵字執行資料搜索。
如果在頁面中不存在關鍵字，則在步驟3027，控制單元180可進行控制以顯示搜索視窗。例如，控制單元180可顯示提示用戶輸入關鍵字以搜索外部資料的搜索視窗。在步驟3029，控制器180可透過搜索視窗接收用戶輸入的關鍵字。
在步驟3031，控制單元180可接收請求用在步驟3025確認的關鍵字或在步驟3029輸入的關鍵字進行搜索的用戶輸入。
在步驟3033，控制單元180可進行控制以回應於用戶的搜索請求建立通信鏈路。例如，控制單元180可啟動能夠與資料源(例如，外部伺服器)進行通信的通信模組以獲取外部資料，並透過網路400建立到所述資料源的連接。
在步驟3035，控制單元180可向連接的資料源(例如，外部資料源)請求與用戶確認的關鍵字匹配的外部資料。在步驟3037，控制器180可透過網路從資料源接收外部資料。控制單元180可進行控制以將接收的外部資料在頁面上的框區域600中顯示為預覽。
圖41至圖45示出根據本發明的實施例的用於解釋對形成在電子裝置的正在進行的頁面上的框區域進行劃分的螢幕顯示。
圖41示出當頁面上啟動的框區域600被劃分為第一子區域610和第二子區域630時的螢幕顯示。例如，用戶可執行應用並用手勢控制所述應用產生框區域600。根據本發明的實施例，框區域600可顯示從功能性地連接到電子裝置100的內部記憶體和外部記憶體獲取的內部資料或外部資料。
用戶可做出用於將框區域600劃分為至少兩個子區域的手勢(劃分命令)。可用沿垂直、水平或對角線方向劃分框區域600的手勢輸入所述劃分命令，並且在框區域600中將劃分命令與用於調整資料的選項(或樣式)的輸入進行區分。圖41針對當框區域600根據劃分命令被水平地劃分的時候。
如圖41中所示，框區域600被劃分為兩個子區域，並且 所述兩個子區域如圖42至圖4中所示被利用。
圖42示出當在由回應於用戶請求而執行的應用創建的文件的螢幕上頁面上啟動框區域600時的螢幕顯示。圖41針對框區域600被水平地劃分為兩個子區域610和630的時候。儘管劃分線690被繪製為直觀地指示框區域600的劃分，但劃分線690可根據用戶配置而被示出或隱藏。可用滿足直覺的目標(諸如顏色(例如，紅色、藍色和黃色)、顏色深度和圖案(虛線和實線))來繪製劃分線690，而無需隱藏資料。如圖42中所示，儘管用戶劃分框區域600，但在框區域600中僅一條資料作為預覽被顯示。
用戶可輸入用於選擇框區域600的兩個劃分子區域中的一個(例如，第一子區域610)的插入命令，並將第一資料(例如，顯示在框區域600中的資料)插入選擇的子區域。電子裝置100回應於用戶的輸入命令保存第一資料並在框區域600的第一子區域610中顯示第一資料。框區域600的第二子區域630可如圖43中繼續顯示作為預覽的資料。
圖43示出當用戶在圖42的螢幕狀態下透過第一子區域610做出插入命令輸入時電子裝置100的螢幕顯示。如圖42中所示的電子裝置100的螢幕顯示可根據用戶的插入命令輸入，使用劃分的子區域改變為如圖43中所示。由於第一資料在圖43的螢幕狀態下還未插入頁面，因此框區域600可處於當電子裝置處於資料登錄模式時的啟動狀態。
如圖43中所示，第一子區域610可顯示請求插入的第一資料，第二子區域630可顯示獲取的資料(例如，正顯示在框區 域600中的資料(在下文中，第二資料))。在圖43中，對框區域600的第一子區域610的第一區域的用戶輸入可被限制，並且控制單元180可回應於對顯示在第二子區域630中的第二資料的用戶輸入來控制第二資料(例如，滾動和選項調整)。
在圖43中，用戶可輸入用於儲存作為預覽顯示在第二子區域630中的第二資料的插入命令。電子裝置100回應於用戶的插入命令儲存第二資料，並在框區域600的第二子區域630中顯示第二資料。如果與框區域600的所有劃分子區域相應的資料被儲存，則電子裝置100針對各個子區域處理臨時資料(例如，第一資料和第二資料)以產生插入資料，並將插入資料插入到相應的頁面，如圖44中。
圖44示出當用戶透過第二子區域630做出插入命令輸入時電子裝置100的螢幕顯示。例如，如圖43中所示的電子裝置100的螢幕顯示可根據對所有的子區域做出的插入命令輸入改變為如圖44中所示。由於圖44的螢幕顯示對應於將插入資料插入到頁面，因此圖44可示出當框區域600被去啟動時的螢幕顯示，例如，裝置在物件輸入模式下操作。
儘管圖41至圖44針對當框區域600被劃分為兩個子區域610和630的時候，但本發明不限於此，本發明可被實施為具有各種改變。也就是說，框區域600可被劃分為如圖45中所示的三個非對稱區域(即，第一子區域4510、第二子區域4520和第三子區域4530)。框區域600的劃分不受限於子區域的數量，並且子區域在佈局中不被固定。然而，考慮電子裝置的螢幕尺寸，框區 域600的劃分受限於滿足確保可見性的條件。
如以上參照圖41至圖45所描述的，根據本發明的實施例，用戶可將框區域600劃分為各種佈局的至少兩個子區域，並將不同的資料組合為一條資料插入到頁面。在此可透過劃分的子區域執行劃分拍攝。用戶可將與被劃分用於劃分拍攝的框區域600的佈局相應的各種預覽圖像組合為一條插入資料。電子裝置100可使用框區域600支援用於劃分拍攝的圖像處理功能。
根據本發明的實施例，根據用戶輸入，框區域可被劃分為各種子區域。資料處理方法可包括將框區域600劃分為包括第一子區域和第二子區域的各種子區域。所述資料也可根據子區域被劃分為至少包括第一資料和第二資料的各種資料。在劃分框區域600時，顯示在框區域600的各個子區域中的資料可彼此不同，並且不同的資料可被組合成將被插入到頁面的單條資料。
當框區域600被劃分為第一子區域610和第二子區域630時，第一資料可被顯示在第一子區域610中，第二資料可被顯示在第二子區域630中。當框區域600被劃分為第一子區域4510、第二子區域4520和第三子區域4530時，第一資料可被顯示在第一子區域4510中，第二資料可被顯示在第二子區域4520中，第三資料可被顯示在第三子區域4530中。
如參照表1所述，在本發明的實施例中，針對各個劃分的子區域獲取的資料可彼此相同或不同。
表1針對框區域600被劃分為三個子區域並且針對所述三個子區域儲存了三條資訊的時候。如表1中所示，第一資料至第三資料被映射到第一子區域至第三子區域，並可彼此相同或彼此不同。
例如，第一資料至第三資料可被處理以產生與顯示在框區域600中的資料相同的且根據劃分的子區域的形狀以不同的形式被顯示的資料。第一資料至第三資料可以是回應於對不同的資料做出的插入命令輸入而獲取的不同的內部資料，或從不同的記憶體獲取的內部資料、外部資料和拍攝資料。當框區域600被劃分為各種子區域時，可以以各種資料組合產生插入資料。
在本發明的實施例中，可從功能性地連接到電子裝置100的相機模組170的第一圖像感測器(例如，後置相機模組)的一個圖像感測器獲取第一資料，並且可從連接到電子裝置100的第一圖像感測器和第二圖像感測器中的另一圖像感測器獲取第二資料。可透過網路400從外部記憶體接收第三資料。
在本發明的實施例中，框區域600可包括各種子區域，如果選擇了子區域之一，則顯示在選擇的子區域中的資料被儲存。例如，控制單元180在選擇第一子區域時獲取從第一圖像感測器輸入的第一資料，在選擇第二子區域時獲取第二資料並在選擇第三子區域時獲取第三資料。一旦獲取了針對所有子區域的資 料，控制單元180組合第一資料至第三資料，並將組合的資料插入到相應的頁面。
圖46示出根據本發明的實施例的用於解釋資料處理方法中電子裝置的螢幕上頁面上的各種資料的插入的螢幕顯示。
圖46示出當用戶執行應用並使用框區域600將各種資料插入頁面時電子裝置100的螢幕顯示。
在圖46的螢幕顯示中，用戶在編寫文件時啟動框區域600以將特定資料2810插入到螢幕上頁面，隨後再次啟動框區域600以將另一特定資料2830插入到頁面。根據本發明的實施例，用戶可方便且快速地若干次將資料插入到當前操作的應用的文件的正在進行的頁面，並且處於用於預期的位置，具有用戶預期的尺寸和佈局，而無需複雜的操作。
圖47至圖49示出根據本發明的實施例的用於解釋在電子裝置的螢幕上頁面上插入運動圖像資料的螢幕顯示。
圖47示出當用戶在螢幕上頁面上啟動框區域600時電子裝置的螢幕顯示。在圖47中，用戶做出拍攝命令輸入(諸如運動畫面拍攝命令)以拍攝物件的運動畫面。其後，用戶可做出拍攝結束命令輸入以終止運動畫面拍攝模式。回應於拍攝結束命令輸入，電子裝置的螢幕顯示可改變為如圖48中所示。
圖48示出當用戶將透過框區域600拍攝的運動畫面的資料插入到螢幕上頁面上時並且當電子裝置100對框區域600中呈現的物件(預覽圖像)進行拍攝以產生運動畫面資料並將所述運動畫面資料插入到當前正被編寫的文件的螢幕上頁面上時，電子 裝置的螢幕顯示。
如圖48中所示，當運動畫面資料被插入時，電子裝置100將插入的資料鏈結到能夠播放插入的運動畫面資料的播放器應用。電子裝置100可用與框區域600相同的位置和尺寸來形成播放器應用的回放螢幕，並呈現指示運動畫面資料可播放的指示符3010。
當如圖48中所示運動畫面資料被插入螢幕上頁面上時，如圖49中所示，用戶可選擇指示符3010來播放運動畫面資料。
圖49示出當用戶做出回放命令輸入以播放圖48中插入到螢幕上頁面的運動畫面資料時電子裝置100的螢幕顯示。圖48的螢幕顯示回應於用戶的回放命令如圖49中所示改變，使得運動畫面資料在螢幕上頁面上被播放。可按照能夠播放插入到頁面的運動畫面的播放器應用將鏈結的運動指示為畫面資料的方式來播放運動畫面。例如，如果插入的資料為視頻格式，則透過視頻播放器來播放所述資料，如果插入的資料是音頻格式，則透過音頻播放器來播放所述資料。
根據本發明的實施例，可按照軟體、固件、硬體或其任意組合的形式實現每個模組。某些模組或全部模組可被實現為負責相應模組的功能的一個實體。
根據本發明的實施例，可依次、重複或並行執行各個步驟。某些步驟可被省略或與其他步驟一起被執行。可用在本發明中描述的相應模組來執行各個步驟。
根據本發明的實施例的上述資料處理方法可被實現為電 腦可執行程式命令，並被儲存在電腦可讀儲存媒體中。電腦可讀儲存媒體可單獨或以組合的形式儲存程式命令、資料檔案和資料結構。記錄在儲存媒體中的程式命令可針對本發明的各種實施例而被設計和實現，或者被電腦軟體領域的技術人員所使用的。
電腦可讀儲存媒體包括磁性媒體(諸如軟碟和磁帶)、光學媒體(包括緊湊盤(compact disc，CD)、唯讀記憶體(read-only memory，ROM)和數位視頻盤(digital video disc，DVD)ROM、磁光媒體和被設計用於儲存和執行程式指令的硬體裝置(諸如ROM、隨機存取記憶體(random access memory，RAM)和快閃記憶體)。程式指令包括電腦使用解釋器可執行的語言代碼以及編譯器創建的機器語言代碼。上述硬體裝置可用一個或更多個用於執行本發明的各種實施例的軟體模組來實現。
儘管已使用特定術語描述了本發明，但為了幫助理解本發明，說明書和附圖將被視為是圖示性的，而不是受限的含義。對於本領域技術人員顯而易見的是，可在不脫離本發明的更廣泛的精神和範圍情況下對其進行各種修改和改變。

Claims (18)

  1. 一種電子裝置的資料處理方法，所述資料處理方法包括：於所述電子裝置的觸控螢幕上顯示應用的文件的頁面，所述頁面包括工具區域與編寫區域；回應於所述工具區域的插入工具上的第一用戶輸入，進入用以供用戶在所述編寫區域內建立區域以顯示圖像的模式；回應於第二用戶輸入，在所述編寫區域上形成區域；以及在所述編寫區域中形成的所述區域上顯示所述圖像。
  2. 如申請專利範圍第1項所述的資料處理方法，其中，所述圖像儲存在功能性地連接到所述電子裝置的記憶體中。
  3. 如申請專利範圍第1項所述的資料處理方法，其中，所述圖像為透過網路被接收。
  4. 如申請專利範圍第1項所述的資料處理方法，其中，所述第二用戶輸入包括至少一個用戶手勢。
  5. 如申請專利範圍第1項所述的資料處理方法，更包括：根據另一用戶輸入將形成的所述區域調整為特定形狀。
  6. 如申請專利範圍第1項所述的方法，更包括：回應於所述第一用戶輸入或其他用戶輸入，獲取所述圖像。
  7. 如申請專利範圍第1項所述的資料處理方法，更包括：回應於另一用戶輸入，控制顯示在形成的所述區域上的所述圖像。
  8. 如申請專利範圍第1項所述的資料處理方法，其中，所述頁面上的所述圖像的用戶輸入受到限制。
  9. 如申請專利範圍第7項所述的資料處理方法，其中，控制所述圖像的步驟包括：顯示與控制所述圖像的一或多個功能相應的至少一個功能表。
  10. 如申請專利範圍第1項所述的資料處理方法，更包括：根據另一用戶輸入調整所述區域的尺寸和位置中的至少一個。
  11. 如申請專利範圍第1項所述的資料處理方法，更包括：根據用戶所輸入的樣式，將自多個樣式中選擇的至少一個樣式應用於所述區域。
  12. 如申請專利範圍第1項所述的資料處理方法，其中，形成的所述區域包括多個子區域，所述子區域至少包括第一子區域和第二子區域。
  13. 如申請專利範圍第12項所述的資料處理方法，其中，所述圖像包括：在所述第一子區域中顯示的第一圖像與在所述第二子區域中顯示的第二圖像。
  14. 如申請專利範圍第1項所述的資料處理方法，其中，所述圖像從功能性地連接到所述電子裝置的第一圖像感測器和第二圖像感測器中的一個被接收。
  15. 如申請專利範圍第1項所述的資料處理方法，其中，形成的所述區域包括多個子區域，各所述子區域顯示對應的圖像，並且，當選擇了所述子區域中的一個時，顯示在選擇的子區域中的資料被儲存。
  16. 一種電子裝置，包括：觸控螢幕顯示器；一或多個處理器，被配置為：於所述觸控螢幕上顯示應用的文件的頁面，所述頁面包括工具區域與編寫區域；回應於所述工具區域的插入工具上的第一用戶輸入，進入用以供用戶在所述編寫區域內建立框以顯示圖像的模式；回應於第二用戶輸入，在所述編寫區域上形成框；以及在所述編寫區域中形成的所述框上顯示所述圖像。
  17. 如申請專利範圍第16項所述的電子裝置，其中，所述圖像回應於所述第一用戶輸入或其他用戶輸入而被獲取。
  18. 如申請專利範圍第16項所述的電子裝置，其中，針對所述框區域根據回應於所述第二用戶輸入而檢測到的點、線或簡圖中的至少一個形狀而形成。
TW103107215A 2013-03-04 2014-03-04 電子裝置及其資料處理方法 TWI626583B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??10-2013-0023044 2013-03-04
KR1020130023044A KR20140108995A (ko) 2013-03-04 2013-03-04 페이지의 일부 영역을 이용한 데이터 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
TW201447739A TW201447739A (zh) 2014-12-16
TWI626583B true TWI626583B (zh) 2018-06-11

Family

ID=50276913

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103107215A TWI626583B (zh) 2013-03-04 2014-03-04 電子裝置及其資料處理方法

Country Status (9)

Country Link
US (1) US20140250406A1 (zh)
EP (1) EP2775388A3 (zh)
JP (2) JP2014170551A (zh)
KR (1) KR20140108995A (zh)
CN (1) CN104035708A (zh)
AU (1) AU2014201156B2 (zh)
BR (1) BR112015020986A2 (zh)
TW (1) TWI626583B (zh)
WO (1) WO2014137131A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD729259S1 (en) 2012-06-20 2015-05-12 Microsoft Corporation Display screen with graphical user interface
USD728613S1 (en) * 2012-06-20 2015-05-05 Microsoft Corporation Display screen with graphical user interface
USD745039S1 (en) * 2013-09-03 2015-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
US10198170B2 (en) * 2014-02-12 2019-02-05 Lg Electronics Inc. Mobile terminal and control method therefor
CN105095164B (zh) * 2014-04-28 2018-03-09 富泰华工业（深圳）有限公司 具有内容插入功能的电子装置及其内容插入方法
US9916079B2 (en) * 2014-06-05 2018-03-13 Openpeak Llc Method and system for enabling the sharing of information between applications on a computing device
USD770470S1 (en) * 2014-09-02 2016-11-01 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10348864B2 (en) 2014-09-29 2019-07-09 Huawei Technologies Co., Ltd. Information transfer method, client, and server
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
US10824315B2 (en) * 2015-05-29 2020-11-03 Canon Medical Systems Corporation Medical image processing apparatus, magnetic resonance imaging apparatus and medical image processing method
US10089001B2 (en) * 2015-08-24 2018-10-02 International Business Machines Corporation Operating system level management of application display
KR101850795B1 (ko) * 2015-11-09 2018-04-20 엘지전자 주식회사 주차 수행 장치 및 차량
KR20170064901A (ko) * 2015-12-02 2017-06-12 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
CN106933561A (zh) * 2015-12-31 2017-07-07 北京搜狗科技发展有限公司 语音输入方法和终端设备
JP2017130735A (ja) * 2016-01-19 2017-07-27 ソニー株式会社 表示制御装置、表示制御方法及びコンピュータプログラム
USD855649S1 (en) * 2016-02-19 2019-08-06 Sony Corporation Display screen or portion thereof with animated graphical user interface
CA3063019C (en) * 2017-06-01 2021-01-19 Interactive Solutions Inc. Voice-assisted presentation system
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US10567577B2 (en) * 2017-08-31 2020-02-18 Kyocera Document Solutions Inc. Information processing system and information processing method
CN108628464A (zh) * 2018-04-20 2018-10-09 维沃移动通信有限公司 一种动态表情的显示方法及移动终端
CN109086113B (zh) * 2018-07-23 2021-06-15 Oppo（重庆）智能科技有限公司 截屏方法、装置以及移动终端
US11042222B1 (en) 2019-12-16 2021-06-22 Microsoft Technology Licensing, Llc Sub-display designation and sharing
US11487423B2 (en) * 2019-12-16 2022-11-01 Microsoft Technology Licensing, Llc Sub-display input areas and hidden inputs
US11093046B2 (en) 2019-12-16 2021-08-17 Microsoft Technology Licensing, Llc Sub-display designation for remote content source device
US11404028B2 (en) * 2019-12-16 2022-08-02 Microsoft Technology Licensing, Llc Sub-display notification handling
KR102419562B1 (ko) * 2020-12-03 2022-07-11 주식회사 이엘사이언스 사용자 작성 프로그램의 실행 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070180400A1 (en) * 2006-01-30 2007-08-02 Microsoft Corporation Controlling application windows in an operating systm
US20100248788A1 (en) * 2009-03-25 2010-09-30 Samsung Electronics Co., Ltd. Method of dividing screen areas and mobile terminal employing the same
US20100262591A1 (en) * 2009-04-08 2010-10-14 Lee Sang Hyuck Method for inputting command in mobile terminal and mobile terminal using the same
US20110193795A1 (en) * 2010-02-09 2011-08-11 Yahoo! Inc. Haptic search feature for touch screens
US20120302167A1 (en) * 2011-05-24 2012-11-29 Lg Electronics Inc. Mobile terminal

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3239511B2 (ja) * 1993-02-12 2001-12-17 富士通株式会社 表示装置
JPH0844899A (ja) * 1994-08-02 1996-02-16 Sanyo Electric Co Ltd 画像処理方法及び装置
US5923323A (en) * 1996-06-26 1999-07-13 Xerox Corporation Method and apparatus for organizing and displaying long lists of data items on a work space of a computer controlled display system
JPH1153520A (ja) * 1997-07-31 1999-02-26 Minolta Co Ltd 画像データを蓄積することのできる画像読み取り装置および同装置における画像データの選択方法
JP2000043485A (ja) * 1998-07-31 2000-02-15 Ricoh Co Ltd 電子黒板システム
JP2001005599A (ja) * 1999-06-22 2001-01-12 Sharp Corp 情報処理装置及び情報処理方法並びに情報処理プログラムを記録した記録媒体
US6522347B1 (en) * 2000-01-18 2003-02-18 Seiko Epson Corporation Display apparatus, portable information processing apparatus, information recording medium, and electronic apparatus
US7036077B2 (en) * 2002-03-22 2006-04-25 Xerox Corporation Method for gestural interpretation in a system for selecting and arranging visible material in document images
US6867786B2 (en) * 2002-07-29 2005-03-15 Microsoft Corp. In-situ digital inking for applications
JP2004102455A (ja) * 2002-09-05 2004-04-02 Ricoh Co Ltd タッチパネル付きディスプレイ装置
US7365787B2 (en) * 2004-02-26 2008-04-29 Research In Motion Limited Mobile device with integrated camera operations
US8643605B2 (en) * 2005-11-21 2014-02-04 Core Wireless Licensing S.A.R.L Gesture based document editor
KR20070092526A (ko) * 2006-03-10 2007-09-13 삼성테크윈 주식회사 전자문서를 편집하는 디지털 이미지 촬영장치
TW200813806A (en) * 2006-06-27 2008-03-16 Ibm Method, program, and data processing system for modifying shape of display object
US7693842B2 (en) * 2007-04-09 2010-04-06 Microsoft Corporation In situ search for active note taking
US8078693B2 (en) * 2008-04-14 2011-12-13 Microsoft Corporation Inserting a multimedia file through a web-based desktop productivity application
GB2478230B (en) * 2008-12-15 2014-05-14 Hewlett Packard Development Co Gesture based edit mode
EP2224358A1 (en) * 2009-02-27 2010-09-01 AMADEUS sas Graphical user interface for search request management
US20120210205A1 (en) * 2011-02-11 2012-08-16 Greg Sherwood System and method for using an application on a mobile device to transfer internet media content
KR101113906B1 (ko) * 2009-09-04 2012-02-29 노상기 전자기기 단말기용 사용자 인터페이스 화면 구성 방법 및 이를 수행하기 위한 전자기기 단말기
EP2325737B1 (fr) * 2009-10-28 2019-05-08 Orange Procédé et système de gestion d'une interface graphique pour l'affichage de composants graphiques applicatifs
JP2011217121A (ja) * 2010-03-31 2011-10-27 Ntt Docomo Inc 携帯端末
EP2381347B1 (en) * 2010-04-26 2018-07-11 Sony Mobile Communications Inc. Method for displaying an object having a predetermined information content on a touch screen
US20110271236A1 (en) * 2010-04-29 2011-11-03 Koninklijke Philips Electronics N.V. Displaying content on a display device
JP2011240853A (ja) * 2010-05-19 2011-12-01 Bridgestone Corp タイヤ、ビードコア、及びビードコアの製造方法
US9191612B2 (en) * 2010-06-29 2015-11-17 Ricoh Co., Ltd. Automatic attachment of a captured image to a document based on context
JP5618665B2 (ja) * 2010-07-16 2014-11-05 キヤノン株式会社 制御装置、制御方法、およびプログラム
US20120046071A1 (en) * 2010-08-20 2012-02-23 Robert Craig Brandis Smartphone-based user interfaces, such as for browsing print media
JP5627985B2 (ja) * 2010-10-15 2014-11-19 シャープ株式会社 情報処理装置、情報処理装置の制御方法、制御プログラム、および記録媒体
US10042546B2 (en) * 2011-01-07 2018-08-07 Qualcomm Incorporated Systems and methods to present multiple frames on a touch screen
KR101294306B1 (ko) * 2011-06-09 2013-08-08 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
KR20130003275A (ko) * 2011-06-30 2013-01-09 한국전자통신연구원 멀티미디어 정보를 편집하기 위한 장치 및 그 방법
JP2013038632A (ja) * 2011-08-09 2013-02-21 Sharp Corp 撮影装置、当該撮影装置を有する携帯情報処理端末、および携帯情報処理端末を制御するためのプログラム
JP5533837B2 (ja) * 2011-11-02 2014-06-25 コニカミノルタ株式会社 手書き入力装置及び手書き入力制御プログラム
KR101833825B1 (ko) * 2011-11-11 2018-03-02 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN102830904B (zh) * 2012-06-29 2016-08-10 鸿富锦精密工业（深圳）有限公司 电子设备及其图片插入方法
CN102768616A (zh) * 2012-06-29 2012-11-07 鸿富锦精密工业（深圳）有限公司 电子设备及其备忘添加方法
US20140101553A1 (en) * 2012-10-10 2014-04-10 Jens Nagel Media insertion interface
US8902325B2 (en) * 2012-10-19 2014-12-02 Facebook, Inc. Camera preview via video tag

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070180400A1 (en) * 2006-01-30 2007-08-02 Microsoft Corporation Controlling application windows in an operating systm
US20100248788A1 (en) * 2009-03-25 2010-09-30 Samsung Electronics Co., Ltd. Method of dividing screen areas and mobile terminal employing the same
US20100262591A1 (en) * 2009-04-08 2010-10-14 Lee Sang Hyuck Method for inputting command in mobile terminal and mobile terminal using the same
US20110193795A1 (en) * 2010-02-09 2011-08-11 Yahoo! Inc. Haptic search feature for touch screens
US20120302167A1 (en) * 2011-05-24 2012-11-29 Lg Electronics Inc. Mobile terminal

Also Published As

Publication number Publication date
KR20140108995A (ko) 2014-09-15
JP2014170551A (ja) 2014-09-18
EP2775388A3 (en) 2014-12-17
TW201447739A (zh) 2014-12-16
CN104035708A (zh) 2014-09-10
WO2014137131A1 (en) 2014-09-12
EP2775388A2 (en) 2014-09-10
JP2019194896A (ja) 2019-11-07
US20140250406A1 (en) 2014-09-04
AU2014201156A1 (en) 2014-09-18
BR112015020986A2 (pt) 2017-07-18
AU2014201156B2 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
TWI626583B (zh) 電子裝置及其資料處理方法
KR102230708B1 (ko) 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
US10187520B2 (en) Terminal device and content displaying method thereof, server and controlling method thereof
KR102085181B1 (ko) 데이터 전송 방법, 데이터 수신 방법, 및 디바이스
KR102098058B1 (ko) 뷰 모드에서 정보 제공 방법 및 장치
KR101864618B1 (ko) 이동 단말기 및 그것의 사용자 인터페이스 제공 방법
CN108958685B (zh) 连接移动终端和外部显示器的方法和实现该方法的装置
US9933935B2 (en) Device, method, and graphical user interface for editing videos
EP3093755B1 (en) Mobile terminal and control method thereof
KR102247817B1 (ko) 락스크린 제공 방법 및 장치
KR102037465B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
US9639199B2 (en) Method and device for controlling a user interface
US20140059169A1 (en) Information transmission method and system, device, and computer readable recording medium thereof
KR20150026132A (ko) 전자 장치를 이용하여 오브젝트를 공유하는 방법 및 장치
KR20150007925A (ko) 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
KR20150004713A (ko) 사용자 디바이스에서 어플리케이션 연동 방법 및 장치
KR20130116558A (ko) 휴대단말에서 피드 정보 수집 방법 및 장치
KR20170026272A (ko) 콘텐츠 편집 장치 및 편집 방법
KR102091000B1 (ko) 사용자 제스처를 이용한 데이터 처리 방법 및 장치
KR102468086B1 (ko) 컨텐츠 표시 방법 및 이를 구현한 전자 장치
US20160132478A1 (en) Method of displaying memo and device therefor
KR102386100B1 (ko) 리스트 표시 방법 및 장치
KR20160044400A (ko) 디스플레이 장치 및 그 제어방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees