TW201502955A - 資訊處理裝置，資訊處理方法以及程式 - Google Patents

資訊處理裝置，資訊處理方法以及程式 Download PDF

Info

Publication number
TW201502955A
TW201502955A TW102147234A TW102147234A TW201502955A TW 201502955 A TW201502955 A TW 201502955A TW 102147234 A TW102147234 A TW 102147234A TW 102147234 A TW102147234 A TW 102147234A TW 201502955 A TW201502955 A TW 201502955A
Authority
TW
Taiwan
Prior art keywords
user
image
information processing
objects
displayed
Prior art date
Application number
TW102147234A
Other languages
English (en)
Inventor
Junki Ohmura
Michinari Kohno
Takuo Ikeda
Kenichi Okada
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201502955A publication Critical patent/TW201502955A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一種資訊處理系統包含處理電路，其係組構以回應由使用者所初始之操作物件的辨識，而自預辨識位置朝向後辨識位置控制顯示螢幕上之UI物件的移動，其中該後辨識位置係與預定的顯示特徵之所顯示位置空間地相關聯，且該預定的顯示特徵係衍生自相機捕捉之影像的影像。

Description

資訊處理裝置，資訊處理方法以及程式
本發明有關資訊處理裝置，資訊處理方法，及程式。
本發明包含與2012年12月27日在日本專利局中所申請之日本優先權專利申請案JP 2012-285025中所揭示的該者相關聯之標的物，其全部內容係結合於本文以供參考。
近年來，已提出經由來自攝影機之影像而接收使用者輸入的使用者介面(UI)。
做為一實例，JP 2002-196855A揭示使得用於UI目的之物件影像重疊在其中使用者的鏡像顯現之影像上，且實行與使用者的手之移動所選擇的物件影像相關聯之應用處理的方法。另一方面，JP 2005-216061A揭示一種方法，其藉由決定所輸入的影像中之使用者的頭及手之位置且自動顯示物件影像於所決定的位置附近，而在使用相機影像的UI中消除諸如設定相機角度之做成初始設定的困擾。
〔引例表〕 〔專利文獻〕
[PTL1]JP 2002-196855A
[PTL2]JP 2005-216061A
惟，在使用者之頭或手的附近之螢幕區域會受到限制。此意指的是，透過JP 2005-216061A中所揭示之方法，當在UI中提供很多可選擇的物件時，則螢幕將隨著該等物件而變擁擠，其可相反地引起可用性中的下降。
因而，實現改善的UI而能避免由於螢幕擁擠所引起之可用性下降係所欲的，即使當提供很多可選擇的物件時。
依據一觀點，係敘述一種資訊處理系統，其包含處理電路，組構以 回應由使用者所初始之操作物件的辨識，而自預辨識位置朝向後辨識位置控制顯示螢幕上之UI物件的移動，其中後辨識位置係與預定的顯示特徵之所顯示位置空間地相關聯，其中預定的顯示特徵係衍生自相機捕捉之影像的影像。
依據另一觀點，係敘述一種資訊處理方法，其包含 回應由使用者所初始之操作物件的辨識，而以處理電路自預辨識位置朝向後辨識位置控制顏示螢幕上之UI物件的移動，其中後辨識位置係與預定的顯示特徵之所顯示位置空間地相關聯，且該預定的顯示特徵係衍生自相機捕捉之影像的影像。
依據另一觀點，係敘述一種非暫態之電腦可讀取媒體，其包含當由處理電路所執行時執行一種方法的電腦可讀取指令，該方法包含 回應由使用者所初始之操作物件的辨識，而以處理電路自預辨識位置朝向後辨識位置控制顯示螢幕上之UI物件的移動，其中後辨識位置係與預定的顯示特徵之所顯示位置空間地相關聯，且預定的顯示特徵係衍生自相機捕捉之影像的影像。
依據本發明之上述實施例，可實現能避免由於螢幕擁擠所引起之可用性下降的UI，即使當提供很多可選擇的物件時。
100、200‧‧‧資訊處理裝置
120‧‧‧影像取得單元
140‧‧‧應用單元
152‧‧‧影像辨識單元
154‧‧‧語音辨識單元
172‧‧‧操作控制單元
174‧‧‧優先序設定單元
ST11至ST14‧‧‧UI影像
B11至B16‧‧‧UI物件
Ud‧‧‧使用者
第1圖係用以解說依據本發明第一實施例之資訊處理裝置的概觀之圖式；第2圖係用以解說依據本發明第二實施例之資訊處理裝置的概觀之圖式； 第3圖係顯示依據第一實施例之資訊處理裝置的實例硬體組態之方塊圖；第4圖係顯示依據第一實施例之資訊處理裝置的邏輯功能實例組態之方塊圖；第5圖係用以解說影像辨識之結果的一實例之圖式；第6圖係用以解說可被辨識之另一手勢的第一實例之圖式；第7圖係用以解說可被辨識之另一手勢的第二實例之圖式；第8圖係用以解說可被辨識之另一手勢的第三實例之圖式；第9圖係用以解說可被辨識之另一手勢的第四實例之圖式；第10圖係用以解說可被辨識之另一手勢的第五實例之圖式；第11圖係用以解說可被辨識之另一手勢的第六實例之圖式；第12圖係用以解說可被辨識之另一手勢的第七實例之圖式；第13圖係用以解說UI物件之第一實例的圖式；第14圖係用以解說UI物件之第二實例的圖式；第15圖係用以解說朝向UI物件之使用者趨近的模式之第一實例的圖式；第16圖係用以解說朝向UI物件之使用者趨近的模式 之第二實例的圖式；第17圖係用以解說朝向UI物件之使用者趨近的模式之第三實例的圖式；第18圖係用以解說朝向UI物件之使用者趨近的模式之第四實例的圖式；第19圖係用以解說對應第17圖中所示之實例的優先序資料之實例的圖式；第20圖係用以解說對應第18圖中所示之實例的優先序資料之實例的圖式；第21圖係用以解說朝向UI物件之使用者趨近的模式之第五實例的圖式；第22圖係用以解說操作事件之第一實例的圖式；第23圖係用以解說操作事件之第二實例的圖式；第24圖係用以解說操作事件之第三及第四實例的圖式；第25圖係用以解說操作事件之第五實例的圖式；第26圖係用以解說操作事件之第六實例的圖式；第27圖係用以解說操作事件之第七及第八實例的圖式；第28圖係用以解說操作事件之第九實例的圖式；第29圖係用以解說包含複數個操作物件的操作設想情況之第一實例的圖式；第30圖係用以解說包含複數個操作物件的操作設想情況之第二實例的圖式； 第31圖係用以解說包含複數個操作物件的操作設想情況之第三實例的圖式；第32圖係用以解說輸出影像的視窗組成之第一實例的圖式；第33圖係用以解說輸出影像的視窗組成之第二實例的圖式；第34圖係顯示依據第一實施例之處理流程的實例之流程圖的前半部；第35圖係顯示依據第一實施例之處理流程的實例之流程圖的後半部；第36圖係顯示依據第二實施例的資訊處理裝置之實例硬體組態的方塊圖；以及第37圖係用以解說第二實施例中的操作設想情況之實例的圖式。
在下文中，將參照附錄之圖式而詳細敘述本發明的較佳實施例。請注意的是，在此說明書及附錄圖式中，具有實質相同的功能及結構之結構性元件係以相同的參考符號予以表示，且該等結構性元件之重複的解說將被省略。
以下說明係以下文所指示之順序予以給定。
1.概觀
2.第一實施例
2-1.實例硬體組態
2-2.實例功能性組態
2-3.UI物件之趨近的模式
2-4.操作事件的種種實例
2-5.複數個操作物件的結合
2-6.實例視窗組成
2-7.實例處理流程
3.第二實施例
4.結論
<1.概觀>
首先，將參照第1及2圖以敘述其中可施加依據本發明實施例之技術的資訊處理裝置的概觀。依據本發明實施例之技術可被施加至各式各樣的裝置及系統，其使用其中使用者顯現為使用者介面之一部分的影像。做為實例，依據本發明實施例之技術可予以施加至諸如電視裝置之數位式家庭用具。依據本發明實施例之技術亦可被施加至諸如PC(個人電腦)、智慧型手機、PDA(個人數位助理)、或遊戲控制台之終端裝置。依據本發明實施例之技術亦可被施加至諸如娛樂裝置之特殊目的裝置。
第1圖係用以解說依據本發明第一實施例之資訊處理裝置100的概觀之圖式。如第1圖中所示，資訊處理裝置100係電視裝置。資訊處理裝置100包含相機101、微音器102、及顯示器108。相機101獲取正在注視資訊處理裝置100的顯示器108之使用者的影像。微音器102拾取 該等使用者所產生之語音取樣。顯示器108顯示資訊處理裝置100所產生之影像。除了內容影像之外，由顯示器108所顯示的影像可包含使用者介面(UI)影像。在第1圖中的實例之中，使用者Ua及Ub正注視著顯示器108。在顯示器108上，係顯示UI影像W01。UI影像W01係使用由相機101所獲取之拍攝的影像而加以產生，且實現所謂“鏡像”顯示。複數個UI物件Obj係重疊於UI影像W01上。使用者Ua及Ub可藉經由使用其身體之種種手勢以操作UI物件Obj，而與資訊處理裝置100互動。經由微音器102而被輸入至資訊處理裝置100內的語音命令亦可予以使用以增補與資訊處理裝置100之互動。
第2圖係用以解說依據本發明第二實施例之資訊處理裝置200的概觀之圖式。如第2圖中所示，資訊處理裝置200係平板pc。資訊處理裝置200包含相機201、微音器202、及顯示器208。相機201獲取正在注視資訊處理裝置200的顯示器208之使用者的影像。微音器202拾取該等使用者所產生之語音取樣。顯示器208顯示資訊處理裝置200所產生之影像。除了內容影像之外，由顯示器208所顯示的影像可包含使用者介面(UI)影像。在第2圖中的實例之中，使用者Uc正注視著顯示器208。在顯示器208上，係顯示UI影像W02。UI影像W02係使用由相機201所獲取之拍攝的影像而加以產生，且實現所謂“鏡像”顯示。複數個UI物件Obj亦係重疊於UI影像W02上。使用者Uc可藉經由使用身體之種種手勢以操作UI物 件Obj，而與資訊處理裝置200互動。
依據現有之方法，由使用者所操作的UI物件可被自動地佈局在影像中之使用者的頭部或手附近。然後，因為在使用者的頭部或手附近之螢幕區域會受到限制，所以當提供複數個UI物件時，具有該等UI物件被擁塞於使用者附近的風險。若UI物件係擁塞於受限的螢幕區域之中時，則變成不容易選擇個別的UI物件，其可相反地引起可用性中的下降。由於此理由之緣故，資訊處理裝置100及200將依據以下段落中所詳細敘述的框架，而避免可用性中之該下降。
<2.第一實施例> <2-1.實例硬體組態>
第3圖係顯示資訊處理裝置100之實例硬體組態的方塊圖。如第3圖中所示，資訊處理裝置100包含相機101、微音器102、輸入裝置103、通訊介面(I/F)104、記憶體105、調諧器106、解碼器107、顯示器108、揚聲器109、搖控I/F110、匯流排111、及處理器112。
(1)相機
相機101包含諸如CCD(電荷耦合裝置)或CMOS(互補金氧半)之影像拾取元件，且獲取影像。由相機101所獲取之影像(建構視頻之訊框)係處理成為輸入影像，以供藉資訊處理裝置100為工具的處理之用。
(2)微音器
微音器102拾取由使用者所產生之語音取樣，且產生語音信號。由微音器102所產生之語音信號能被處理成為輸入語音，而打算用於藉資訊處理裝置100為工具的語音辨識。微音器102可係全向微音器，或具有固定或可變方向性之微音器。
(3)輸入裝置
輸入裝置103係由使用者所使用以直接操作資訊處理裝置100的裝置。例如，輸入裝置103可包含旋鈕、開關、刻度盤、或其類似物，而被設置在資訊處理裝置100的外殼上。一旦偵測出使用者輸入，輸入裝置103產生對應所偵測出之使用者輸入的輸入信號。
(4)通訊介面
通訊I/F104扮演用於資訊處理裝置100與另外裝置間之通訊的中介角色。通訊I/F104支援任意的無線通訊協定或有線通訊協定，且建立與其他裝置的通訊連接。
(5)記憶體
記憶體105係由諸如半導體記憶體或硬碟驅動器之儲存媒體所建構，且儲存用於藉資訊處理裝置100為工具而予以處理的程式及資料，以及內容資料。做為一實例，由記憶體105所儲存之資料可包含被使用於影像辨識及語音辨識的特徵資料(稍後敘述)。請注意的是，在本說明書中所敘述之程式及資料的若干者或所有者可不由記憶體105所儲存，且取代地，可自外部資料源(例如，資料伺服器、網路儲存、或外部附加之記憶體)予以獲得。
(6)調諧器
調諧器106可自經由天線(未顯示)所接收的廣播信號提取及解調所欲頻道上之內容信號。然後，調諧器106輸出所解調之內容信號至解碼器107。
(7)解碼器
解碼器107自調諧器106所輸入的內容信號解碼出內容資料。解碼器107可自經由通訊I/F104所接收之內容信號解碼出內容資料。內容影像可根據解碼器107所解碼出之內容資料而予以產生。
(8)顯示器
顯示器108具有由LCD(液晶顯示器)、OLED(有機發光二極體)、CRT(陰極射線管)、或其類似物所建構之螢幕，以及顯示由資訊處理裝置100所產生之影像。例如，參照第1及2圖所敘述的內容影像及UI影像可在顯示器108的螢幕上予以顯示。
(9)揚聲器
揚聲器109具有膜片及諸如放大器的電路元件，且根據由資訊處理裝置100所產生之輸出語音信號而輸出音頻。揚聲器109的音量係可變的。
(10)遙控介面
遙控I/F110係接收遙控信號(紅外線信號或其他的無線電信號)之介面，該遙控信號係由使用者所使用之遙控器所發射出。一旦偵測出遙控信號，遙控I/F110產生對應所偵測出之遙控信號的輸入信號。
(11)匯流排
匯流排111互相連接相機101、微音器102、輸入裝置103、通訊I/F104、記憶體105、調諧器106、解碼器107、顯示器108、揚聲器109、遙控I/F110、及處理器112。
(12)處理器
例如，處理器112可係CPU(中央處理單元)或DSP(數位信號處理器)。藉由執行所儲存於記憶體105中或另一儲存媒體上之程式，處理器112致使資訊處理裝置100以各式各樣之方式作用。
<2-2.實例功能性組態>
第4圖係顯示由第3圖中所示之資訊處理裝置100的記憶體105及處理器112所實現之邏輯功能的實例組態之方塊圖。如第4圖中所示，資訊處理裝置100包含影像取得單元120、語音取得單元130、應用單元140、辨識單元150、特徵資料庫(DB)160、控制單元170、及操作DB180。辨識單元150包含影像辨識單元152及語音辨識單元154。控制單元170包含操作控制單元172及優先序設定單元174。
(1)影像取得單元
影像取得單元120取得由相機101所獲取之影像，做為輸入影像。典型地，該輸入影像係建構其中使用者顯現之視頻的一連串訊框之個別的訊框。然後，影像取得單元 120輸出所取得的輸入影像至辨識單元150及控制單元170。
(2)語音取得單元
語音取得單元130取得由微音器102所產生之語音信號，做為輸入語音。然後，語音取得單元130輸出所取得的輸入語音至辨識單元150。請注意的是，輸入語音之處理可予以省略自本實施例。
(3)應用單元
應用單元140實行資訊處理裝置100之種種應用功能。例如，電視節目再生功能、電子節目指南顯示功能、記錄設定功能、內容再生功能、內容搜尋功能、及網際網路瀏覽功能可藉由應用單元140而予以實行。應用單元140輸出已經由應用功能所產生的應用影像(其可包含內容影像)及音頻至控制單元170。
在本實施例中，由應用單元140所實行之處理的至少若干者係與UI影像上所佈局之UI物件相關聯。該等處理可回應包含相關聯之UI物件的操作事件而予以實行。可經由UI物件而被實行之處理可包含任意的處理，例如，設定頻道及音量以供電視節目再生功能之用，設定頻道及時間週期以供電子節目指南顯示功能之用，選擇內容以供內容再生功能之用，以及指明搜尋關鍵字且實行搜尋以供內容搜尋功能之用。
(4)影像辨識單元
影像辨識單元152以來自影像取得單元120所輸入之 輸入影像辨識使用者所使用的操作物件。在本實施例中，操作物件係使用者的手。做成特定形狀之使用者的手(諸如其中該手係張開、握緊形狀、或以手指指出之形狀的形狀)可被使用做為操作物件。在其他實施例中，可使用使用者的腳或由使用者所持有之已知的實際物件做為操作物件，以取代使用者的手。做為一實例，影像辨識單元152可藉由使提取自輸入影像的影像特徵值與特徵DB160所預先儲存之操作物件的影像特徵值匹配，而辨識輸入影像中的手區域。以相同的方式，影像辨識單元152可辨識輸入影像中的臉部區域。
第5圖係用以解說藉影像辨識單元152為工具的影像辨識結果之一實例的圖式。如第5圖中所示，使用者Ua顯現於輸入影像W03中。使用者Ua係面對相機101，且舉起他的左手。藉由使影像特徵值匹配或使用另外的已知方法，影像辨識單元152能在輸入影像W03中辨識出手區域A01及臉部區域A02。然後，影像辨識單元152輸出位置資料至控制單元170，該位置資料顯示該等辨識出之區域的影像中之位置。
做為一實例，影像辨識單元152可藉由使輸入影像中所辨識出之臉部區域的影像部件(臉部影像)匹配特徵DB160所預先儲存之已知使用者的臉部影像資料，而識別使用者。例如，由影像辨識單元152所產生之使用者識別結果可被使用以使UI影像中所顯示的選單個人化，或藉應用單元140而建議內容，以及對語音辨識作調整。
在本實施例中，影像辨識單元152亦辨識顯現在輸入影像中之使用者的手勢。在第5圖中的實例中，影像辨識單元152藉由監視使用者之手區域A01的移動而辨識手勢G0。手勢G0係舉起手的手勢(“舉手”)。請注意的是，在本說明書中，“手勢”的表示係假定為亦包含靜態“姿勢”(形式)，其並不包含使用者之身體的動態移動。一旦辨識出使用者手勢，影像辨識單元152輸出顯示手勢的辨識出之類型的手勢資料至控制單元170。
將參照第6至12圖以敘述可藉由影像辨識單元152而予以辨識之手勢的實例。
在第6圖中，係顯示手區域A11。手區域A11正以短的時距而被揮動至左邊及右邊。由使用者之手的該移動，影像辨識單元152可辨識出手勢G1。手勢G1係揮動著手的手勢(“揮手”)。
在第7圖中，係顯示手區域A12。手區域A12係在輸入影像中實質地靜止著特定長度的時間。由使用者之手的該靜止狀態，影像辨識單元152可辨識出手勢G2。手勢G2(“保持不動”)係保持手不動的手勢。
在第8圖中，係顯示手區域A13。顯現在手區域A13中之使用者的手係以逆時鐘方向圍繞著手腕附近的中心點而轉動。由使用者之手的該移動，影像辨識單元152可辨識出手勢G3a。手勢G3a(“轉動”)係轉動手的手勢。
在第9圖中，係顯示手區域A14。顯現在手區域A14中之使用者的手係其中除了食指之外的手指彎曲在手上的 形狀，且手係以逆時鐘方向圍繞著手腕附近的中心點而轉動。由使用者之手的該移動，影像辨識單元152辨識出手勢G3b。手勢G3b(“轉動”)亦係轉動手的手勢。
在第10圖中，係顯示手區域A15。顯現在手區域A15中之使用者的手係移動著，以便使手腕彎曲至右邊。由使用者之手的該移動，影像辨識單元152可辨識出手勢G4a。手勢G4a(“碰觸”)係碰觸物件的手勢。
在第11圖中，係顯示手區域A16。顯現在手區域A16中之使用者的手係移動著，以便使手腕與其中除了食指之外的手指彎曲在手上之形狀的手一起向前彎曲。由使用者之手的該移動，影像辨識單元152辨識出手勢G4b。手勢G4b(“碰觸”)亦係碰觸物件的手勢。
在第12圖中，係顯示手區域A17。顯現在手區域A17中之使用者的手係自其中手的手掌張開之形狀改變至其中手掌閉合之形狀。由使用者之手的該移動，影像辨識單元152辨識出手勢G5。手勢G5(“握緊”)亦係碰觸物件的手勢。
請注意的是，在此所敘述之手勢僅係實例。影像辨識單元152無需一定要辨識很多該等手勢，且/或影像辨識單元152可額外地辨識出其他類型之手勢。
(5)語音辨識單元
語音辨識單元154根據來自語音取得單元130所輸入之輸入語音，而在使用者的語音上實行語音辨識。若，例如，將被實行的應用或UI接收到語音命令的輸入時，則 語音辨識單元154辨識來自使用者之語音的語音命令，且輸出所辨識出之語音命令的辨別碼至應用單元140或控制單元170。
(6)特徵DB
特徵DB160預先儲存影像特徵資料，其將被使用於藉影像辨識單元152為工具的影像辨識中。做為一實例，影像特徵資料可包含用於由使用者所使用之操作物件(諸如手)及使用者之臉部的已知影像特徵值。影像特徵資料亦可包含用於各使用者之臉部影像資料。影像特徵資料亦可包含界定將由影像辨識單元152所辨識之手勢的手勢定義資料。特徵DB160亦可預先儲存將被使用於藉語音辨識單元154為工具之語音辨識的語音特徵資料。
(7)操作控制單元
操作控制單元172藉由重疊至少一UI物件於輸入影像上而產生UI影像，且顯示所產生之UI影像(對應輸入影像之輸出影像)於顯示器108的螢幕上。用以產生UI影像的輸入影像可與將由用以辨識操作物件之影像辨識單元152所使用的輸入影像不同(做為一實例，可使用具有降低之解析度的影像以辨識操作物件)。然後，操作控制單元172根據來自影像辨識單元152所輸入之操作物件的辨識結果，而控制至少一UI物件的顯示及操作。
第13圖係用以解說UI物件之第一實例的圖式。在第一實例中，UI物件係應用選單的選單項目。如第13圖中所示，UI影像W04包含UI物件B11至B16。UI物件 B11係用以當再生電視節目時設定音量的選單項目(音量)。UI物件B12係用以設定將被再生之頻道的選單項目(頻道)。UI物件B13係用以展開電子節目指南顯示功能的選單項目(TV指南)。UI物件B14係用以展開其他應用功能的選單項目(Apps)。UI物件B15係用以展開網際網路瀏覽功能的選單項目(網際網路)。UI物件B16係用以展開資訊處理裝置100之用具設定功能的選單項目(設定)。該等選單項目可以以階層予以界定，且做為一實例，子項目“增加音量”及“減少音量”可呈現在用以設定音量之選單項目UI物件B11的下面。若個別的使用者係使用輸入影像而予以識別時，則可顯示一組UI物件，其係個人化以供個別的使用者之用。
第14圖係用以解說UI物件之第二實例的圖式。在此第二實例中，UI物件係內容項目。如第14圖中所示，UI影像W05包含UI物件B21至B26。UI物件B21至B26分別表示攝影內容之縮圖。請注意的是，取代攝影內容，該等UI物件可係諸如視頻內容、音樂內容、或文本內容之其他類型的內容項目。
如第13及14圖中所示，在其中操作物件尚未被辨識出的狀態中，操作控制單元172將該等UI物件佈局於缺設顯示位置。該等缺設顯示位置可係被提供以固定的位置，或可係依據某一類型之演算而移動(例如，移動以便漂浮)的位置。然後，操作控制單元172致使在操作物件之辨識前所顯示的至少一UI物件之顯示位置，在操作物 件之辨識後朝向使用者而趨近。操作控制單元172可致使UI物件的顯示位置朝向所辨識出之操作物件而趨近，或朝向與所辨識出之操作物件不同的使用者之身體部件而趨近。因此，UI物件之位置係與所辨識出之操作物件空間地相關聯，因為其係朝向諸如使用者的手之所辨識出的操作物件而移動。
在某設想情況中，朝向使用者之UI物件之趨近的模式係均勻的。也就是說，操作控制單元172以相同的值設定UI物件的趨近速度，亦即，要做成趨近，以致使該等UI物件均以相同的趨近速度朝向使用者而趨近。
在另一設想情況中，朝向使用者之UI物件之趨近的模式係非均勻的。也就是說，操作控制單元172以不同的值設定UI物件的趨近速度，亦即，要做成趨近，以致使該等UI物件以不同的趨近速度朝向使用者而趨近。除趨近速度之外(或取代趨近速度)，該等UI物件的其他屬性可予以非均勻地設定。例如，該等其他屬性可包含趨近啟動時序，後置趨近顯示位置(在下文中稱作“目標位置”)、顯示尺寸、透明度、及深度的至少一者。
做為一實例，當致使UI物件的顯示位置朝向使用者而趨近時，操作控制單元172可依據所設定用於個別物體的優先序而變化個別物件之趨近的模式。該等優先序係依據特定的優先序設定標準而由優先序設定單元174所預先設定，且藉由操作DB180而予以儲存。優先序設定標準的第一實例係與UI物件的操作歷史相關聯的標準。做為 一實例，對於具有較高的操作頻率(每特定週期之過去的操作數目)之UI物件，可將優先序設定較高，且對於具有較低的操作頻率之UI物件，可將優先序設定較低。對於在過去以較新近之時序所操作的UI物件，亦可將優先序設定較高。優先序設定標準的第二實例係與使用者屬性相關聯的標準。做為一實例，從複數個內容項目中之對應具有高建議分數的內容項目之UI物件的優先序可被以較高值設定，該建議分數係依據以使用者屬性為主之已知的建議技術予以計算。操作控制單元172可以以用以在複數個候選間以所欲時序切換優先序設定標準的UI提供使用者。該UI可藉由諸如使用者手勢或語音命令之方法，而予以實現。
典型地，操作控制單元172設定UI物件的趨近速度及其他屬性，以便使得具有較高優先序的物件更易於操作，以供使用者之用。更特別地，操作控制單元172可針對具有較高優先序之物件而將朝向使用者的趨近速度設定更高。操作控制單元172亦可針對具有較高優先序之物件而將物件的趨近啟動時序設定更早。而且，對於具有較高優先序之物件，操作控制單元172可設定目標位置更靠近使用者、顯示尺寸更大、透明度更低、或深度更淺。
不論朝向UI物件之使用者的趨近之模式是否係均勻或非均勻，操作控制單元172回應所預先界定之若干操作事件，而控制藉使用者為工具之UI物件的操作。典型地，操作事件包含使用者手勢之辨識，且語音命令的辨識 可被使用以增補該辨識。至少一操作事件係新操作物件之辨識。新操作物件之辨識可觸發UI物件朝向使用者趨近。另一操作事件可觸發與UI物件相關聯之處理的執行(展開)。可使用於本實施例中之操作事件的若干特定實例將在稍後被敘述於此說明書中。
操作控制單元172亦經由顯示器108而控制UI影像的顯示。做為一實例，操作控制單元172可僅顯示其中重疊UI物件於其上之UI影像於顯示器108的螢幕上。選擇性地，操作控制單元172可顯示藉由結合UI影像與由應用單元140所產生之應用影像而予以產生的單一輸出影像於螢幕上。可使用於本實施例中的輸出影像之視窗組成的若干實例將在稍後加以敘述。
(8)優先序設定單元
優先序設定單元174依據稍早所敘述之優先序設定標準而設定各UI物件的優先序。做為一實例，依據與UI物件之操作歷史相關聯的優先序設定標準，優先序設定單元174可針對具有較高操作頻率的UI物件而將優先序設定更高。而且，依據與使用者屬性相關聯的優先序設定標準，優先序設定單元174可針對對應於具有較高建議分數之內容項目的UI物件而將優先序設定更高。優先序設定單元174亦可隨機地設定UI物件的優先序，以添加驚異之元素至UI。優先序設定單元174可使優先序資料更新，例如，當已操UI物件時或當已改變使用者屬性時。
(8)操作DB
操作DB180儲存由操作控制單元172所使用之資料，用以控制UI物件的顯示及操作。由操作DB180所儲存之資料包含顯示用於各UI物體之缺設顯示位置及其他屬性的缺設值之物件資料。由操作DB180所儲存之資料亦可包含顯示藉由優先序設定單元174而予以設定之優先序的優先序資料、顯示用於各使用者之操作歷史的操作歷史資料、及顯示用於各使用者之屬性(例如，年齡、性別、職業、及嗜好)的使用者資料。
<2-3.UI物件之趨近的模式>
此段落將參照第15至21圖而敘述朝向UI物件的使用者之趨近模式的若干實例。
(1)第一實例
第15圖係用以解說朝向UI物件的使用者之趨近模式的第一實例之圖式。在此第一實例中，UI物件之趨近的模式係均勻的。在充分地趨近使用者之後，該等個別的UI物件自使用者之附近移開，而無需停留在該等目標位置。
在第15圖中，四個UI影像ST11至ST14係沿著時間軸顯示。
使用者Ud顯現於UI影像ST11中，且鏡像顯示被實現。UI物件B11至B16係佈局在缺設顯示位置處。在此，所假定的是，由於使用者Ud舉起他的手之結果，影像辨識單元152辨識出手勢G0。
在下一UI影像ST12中，使用者Ud正舉起他的手，回應手勢G0的辨識，操作控制單元172致使UI物件B11至B16開始朝向使用者Ud(做為一實例，手，亦即，使用者Ud的操作物件)而趨近。在UI影像ST12中，UI物件B13係定位最靠近使用者Ud。
在下一UI影像ST13中，UI物件B13返回至缺設顯示位置；且取代該UI物件B13，UI物件B12及B14係定位於使用者Ud之手附近。在下一UI影像ST14中，UI物件B12及B14返回至缺設顯示位置；且取代該等UI物件B12及B14，UI物件B11、B15、及B16係定位於使用者Ud之手附近。
依據趨近之此模式，使用者可以以僅移動他的手或手臂之簡單操作而在UI影像ST12時碰觸UI物件B13，在UI影像ST13時碰觸UI物件B12及B14的任一者，以及在UI影像ST14時碰觸UI物件B11、B15、及B16的任一者。在上述時間，因為在使用者附近的螢幕區域並不會由於大量的UI物件而造成擁擠，所以可降低諸如碰觸不正確UI物件之錯誤操作將被實行的風險。
(2)第二實例
第16圖係用以解說朝向UI物件的使用者之趨近模式的第二實例之圖式。在此第二實例中，UI物件之趨近的模式係非均勻的。在充分地趨近使用者之後，該等個別的UI物件停留在它們的目標位置。
在第16圖中，四個UI影像ST21至ST24係沿著時 間軸顯示。
使用者Ud顯現於UI影像ST21中，且鏡像顯示被實現。UI物件B11至B16係佈局在缺設顯示位置處。在此，所假定的是，由於使用者Ud舉起他的手之結果，影像辨識單元152辨識出手勢G0。
在下一UI影像ST22中，使用者Ud正舉起他的手。回應手勢G0的辨識，操作控制單元172致使UI物件B11至B16開始朝向使用者Ud而趨近。在UI影像ST22中，UI物件B13係定位最靠近使用者Ud。
在下一UI影像ST23中，UI物件B13停留在其目標位置處，且UI物件B12及B14亦到達使用者Ud之手附近。在下一UI影像ST24中，UI物件B12、B13、及B14停留在其目標位置處，且UI物件B11、B15、及B16亦到達使用者Ud之手附近。
依據趨近之此模式，使用者可以以僅移動他的手或手臂之簡單操作而在UI影像ST22時碰觸UI物件B13，在UI影像ST23時碰觸UI物件B12、B13、及B14的任一者，以及在UI影像ST24時碰觸UI物件B11至B16的任一者。特別地，在UI影像ST22及ST23時，將避免由於大量UI物件所造成之使用者附近之螢幕區域的擁擠。而且，如稍後將予以敘述地，若使用將指定之UI物件的顯示位置自使用者移開之操作事件時，則可自其中UI物件B11至B16已到達使用者附近之狀態減輕使用者附近之螢幕區域的擁擠。
(3)第三實例
第17圖係用以解說朝向UI物件的使用者之趨近模式的第三實例之圖式。在此第三實例中，UI物件之趨近的模式係非均勻的，且操作控制單元172以不同的值設定該等UI物件的趨近速度，而使趨近。
在第17圖中，三個UI影像ST31至ST33係沿著時間軸顯示。
使用者Ud顯現於UI影像ST31中，且鏡像顯示被實現。UI物件B11至B16係佈局在缺設顯示位置處。在此，所假定的是，由於使用者Ud舉起他的手之結果，影像辨識單元152辨識出手勢G0。
在下一UI影像ST32中，使用者Ud正舉起他的手。回應手勢G0的辨識，操作控制單元172依據由優先序設定單元174所設定之優先序，而設定UI物件B11至B16之個別的趨近速度V11至V16。在第17圖中的實例中，所假定的是，依據與個別UI物件之操作歷史相關聯的優先序設定標準，而由優先序設定單元174所設定的優先序係由操作控制單元172所使用。
第19圖係用以解說對應第17圖中之第三實例的優先序資料之實例的圖式。如第19圖中所示，優先序資料182a包含三個資料項目，亦即，“物件ID”、“操作頻率”、及“優先序”。“物件ID”係用以獨特地識別各UI物件的識別碼。“操作頻率”顯示各UI物件之每特定週期(例如，一週、一天、或幾小時)的過去操作之數目。 “優先序”顯示設定用於各UI物件的優先序。在此，做為一實例，優先序係設定於三個位準，亦即，“高”、“中”、“低”的其中一者。在第19圖中的實例之中，UI物件B11及B15的操作頻率係第一及第二高，且因而，UI物件B11及B15的優先序係設定於“高”。UI物件B12的操作頻率係第三高，且因而，UI物件B12的優先序係設定於“中”。其餘之UI物件B13、B14、及B16的優先序則被設定於“低”。
操作控制單元172參照該優先序資料182a，且設定UI物件B11及B15的趨近速度V11及V15於最快速度，UI物件B12的趨近速度V12於次快速度，以及UI物件B13、B14、及B16的趨近速度V13、V14、及V16於最慢速度。如第17圖中所示，在UI影像ST33中，UI物件B11及B15最早到達使用者Ud之手附近。
依據趨近之此模式，做用者可迅速操作被最頻繁操作的UI物件。而且，因為在使用者附近的螢幕區域並不會隨著大量的UI物件而變擁擠，所以可降低諸如碰觸不正確UI物件之錯誤操作將被實行的風險。
(4)第四實例
第18圖係用以解說朝向UI物件的使用者之趨近模式的第四實例之圖式。在此第四實例中，UI物件之趨近的模式係非均勻的，且操作控制單元172以不同的值設定該等UI物件的趨近速度，而使趨近。
在第18圖中，三個UI影像ST41至ST43係沿著時 間軸顯示。
使用者Ud顯現於UI影像ST41中，且鏡像顯示被實現。UI物件B21至B26係佈局在缺設顯示位置處。在此，所假定的是，由於使用者Ud舉起他的手之結果，影像辨識單元152辨識出手勢G0。
在下一UI影像ST42中，使用者Ud正舉起他的手。回應手勢G0的辨識，操作控制單元172依據由優先序設定單元174所設定之優先序，而設定UI物件B21至B26之個別的趨近速度V21至V26。在第18圖中的實例之中，所假定的是，依據與使用者屬性相關聯的優先序設定標準，而由優先序設定單元174所設定的優先序係由操作控制單元172所使用。
第20圖係用以解說對應第18圖中之第四實例的優先序資料之實例的圖式。如第20圖中所示，優先序資料182b包含三個資料項目，亦即，“物件ID”、“建議分數”、及“優先序”。“物件ID”係用以獨特地識別各UI物件的識別碼。“建議分數”顯示根據使用者之屬性及與內容相關聯之資訊所計算出的建議分數(藉任意已知之建議演算為工具)。“優先序”顯示用於各UI物件的優先序。在此，做為一實例，所假定的是，優先序係設定於三個位準，亦即，“高”、“中”、“低”的其中一者。在第20圖中的實例之中，UI物件B21的建議分數係最高，且因而，UI物件B21的優先序係設定於“高”。UI物件B22及B25的建議分數係第二及第三高，且因 而，UI物件B22及B25的優先序係設定於“中”。其餘之UI物件B23、B24、及B26的優先序則被設定於“低”。
操作控制單元172參照該優先序資料182b，且設定UI物件B21的趨近速度V21於最快速度，UI物件B22及B25的趨近速度V22及V25於次快速度，以及UI物件B23、B24、及B26的趨近速度V23、V24、及V26於最慢速度。請翻閱第18圖，在UI影像ST42中，UI物件B21最早到達使用者Ud之手附近。然而，若UI物件B21(及隨後的UI物件B22、B25)並未由使用者Ud所操作時，則在下一UI影像ST43中，具有最慢速度的UI物件B23、B24、及B26可到達使用者附近。
依據趨近之此模式，使用者可迅速操作由建議演算所決定為較適合於該使用者之UI物件。而且，因為在使用者附近的螢幕區域並不會由於大量的UI物件而造成擁擠，所以可降低諸如碰觸不正確UI物件之錯誤操作將被實行的風險。
(5)第五實例
第21圖係用以解說朝向UI物件的使用者之趨近模式的第五實例之圖式。在此第五實例中，UI物件之趨近的模式係非均勻的，且操作控制單元172以不同的值設定該等UI物件的趨近速度，而使趨近。同時，操作控制單元172以不同的值設定該等UI物件的顯示尺寸，而使趨近。
在第21圖中，三個UI影像ST51至ST53係沿著時間軸顯示。
使用者Ud顯現於UI影像ST51中，且鏡像顯示被實現。UI物件B11至B16係佈局在缺設顯示位置處。在此，所假定的是，由於使用者Ud舉起他的手之結果，影像辨識單元152辨識出手勢G0。
在下一UI影像ST52中，使用者Ud正舉起他的手。回應手勢G0的辨識，操作控制單元172依據由優先序設定單元174所設定之優先序，而設定UI物件B11至B16之個別的趨近速度及顯示尺寸。在第21圖中的實例之中，所假定的是，使用第19圖中所描繪之優先序資料182a。
操作控制單元172參照該優先序資料182a，且設定UI物件B11及B15的趨近速度V11及V15於最快速度，UI物件B12的趨近速度V12於次快速度，以及UI物件B13、B14及B16的趨近速度V13、V14、及V16於最慢速度。操作控制單元172亦設定UI物件B11及B15的顯示尺寸最大，UI物件B12的顯示尺寸次大，以及UI物件B13、B14、及B16的顯示尺寸最小。
在下一UI影像ST53中，大多數的UI物件均已到達使用者Ud之手附近，且在該等UI物件中，UI物件B11及B15具有比其他UI物件更大的顯示尺寸。
依據趨近之此模式，使用者可更迅速且更準確地操作具有較高優先序的UI物件。
<2-4.操作事件的種種實例>
在此段落中，將參照第22至28圖以敘述與藉操作控制單元172的控制相關聯之操作事件的若干實例。
(1)第一實例
第22圖係用以解說操作事件之第一實例的圖式。在第22圖中，係顯示其係操作物件之使用者的手以及UI物件B13。由彎曲手腕之使用者的手之移動，影像辨識單元152可辨識出碰觸UI物件的手勢G4a。藉由比較上述時間的手區域之UI影像中的位置與個別UI物件的顯示位置，操作控制單元172可決定UI物件B13已被指明(亦即，被碰觸)。若手區域的位置與同一UI物件的顯示位置一致特定長度的時間時，操作控制單元172亦可決定該UI物件被指明。回應該操作事件，操作控制單元172致使應用單元140實行與所指明之UI物件B13相關聯的處理。在第22圖中的實例之中，因為UI物件B13係用以展開電子節目指南顯示功能之選單項目，所以電子節目指南可接著藉應用單元140而被顯示於螢幕上。
由於使用該操作事件的結果，使用者能遠離地控制資訊處理裝置100，即使當遙控器並不在手邊時。此時，因為使用者所需之移動僅係簡單的手勢，所以使用者能使資訊處理裝置100實行所欲之處理(例如，選單處理或應用處理)，而不會感覺到壓力。
請注意的是，與UI物件相關聯的處理可係用於UI控 制的處理。例如，自所指明之選單項目開啟子選單項目、叫出對應所指明之選單項目的設定螢幕、及其類似著可回應碰觸UI物件之手勢的辨識而予以實行。
(2)第二實例
第23圖係用以解說操作事件之第二實例的圖式。如第23圖中所示，在跟隨第15圖中所示之UI影像ST14的UI影像ST15中，其係操作物件之使用者Ud的左手與UI物件B16一致。當此發生時，操作控制單元172決定的是，UI物件B16已由使用者Ud所指明。此外，所假定的是，由使用者所發出的特定語音命令VR1已由語音辨識單元154所辨識出。在第23圖中的實例之中，語音命令VR1對應“前進！”的語音輸入。回應對應於藉語音辨識單元154的語音命令VR1之辨識的操作事件，操作控制單元172致使應用單元140實行與所指定之UI物件B16相關聯的處理。
在UI影像ST15中，操作控制單元172以與其他UI物件不同的屬性值設定所指明之UI物件B16的顯示屬性(例如，紋理、彩色、透明度、顯示尺寸、及深度的至少一者)。藉由如此地做成，使用者可瞭解到UI物件B16被適當地指明。
甚至當使用該操作事件時，使用者可遠離地控制資訊處理裝置100，即使遙控器並不在手邊。此時，因為使用者所需之移動僅係簡單的手勢，所以可降低使用者的壓力。請注意的是，對於此段落中所敘述之操作事件的其他 實例，使用者之手勢的辨識可以以語音命令的辨識予以替換。
(3)第三及第四實例
第24圖係用以解說操作事件之第三實例及第四實例的圖式。在第24圖中，亦顯示第16圖中所示之UI影像ST24以及跟隨在後的UI影像ST25及ST26。在UI影像ST24中，UI物件B11至B16具有被以環狀佈局在使用者Ud之手附近的顯示位置，而該使用者之手係操作物件。隨後，影像辨識單元152可自其中手在輸入影像中實質保持靜止特定長度的時間之使用者的手之動作，而辨識出保持手靜止之手勢G2。回應對應於手勢G2之辨識的操作事件，操作控制單元172停止UI物件B11至B16在螢幕上的移動。而且在下一UI影像ST25中，UI物件B11至B16的顯示位置不被更新。
在下一UI影像ST26中，影像辨識單元152可自其中其係操作物件之使用者Ud的手轉動之動作，而辨識出轉動手的手勢G3a。回應該操作事件，操作控制單元172轉動UI物件B11至B16的顯示位置(以影像中之方向D1)圍繞著影像中之參考點。例如，在此所引用之參考點可係手區域的重心，UI物件B11至B16的中心、或任何其他的任意點。
由於使用稍早所敘述之停止UI物件移動之操作事件的結果，當所欲的UI物件已到達適合於操作的顯示位置時，使用者可停止該等物件之進一步的移動，且然後，準 確地操作所欲的UI物件。
而且，由於使用稍早所敘述之轉動UI物件的顯示位置之操作事件的結果，使用者可移動已趨近使用者附近之UI物件的顯示位置至較容易操作的位置。取代回應轉動手之手勢的辨識之UI物件顯示位置的轉動，該等UI物件的顯示位置可回應使用者之手的移動而並聯地移動。請注意的是，取代如第24圖中的實例中之所有所顯示之UI物件的轉動或移動，可僅轉動或移動某些UI物件。做為一實例，將被轉動或移動的至少一UI物件可藉由以他/她的手跟蹤該等UI物件之使用者的手勢，而予以指明。
(4)第五實例
第25圖係用以解說操作事件之第五實例的圖式，在第25圖的上半部中，其係操作物件之使用者的手係與UI物件B13及B14一起顯示。影像辨識單元152可由其中使用者的手係揮動至左邊及右邊之動作，辨識出揮手的手勢G1。藉由比較上述時間的手區域之UI影像中的位置與個別UI物件的顯示位置，操作控制單元172可決定UI物件B13已被指明。回應該操作事件，操作控制單元172移動所指明之UI物件B13的顯示位置離開使用者。在第25圖的下半部中，UI物件B13的顯示位置係自使用者移開，且UI物件B14趨近使用者的手以取代UI物件B13。
由於使用該操作事件的結果，即使不必要的UI物件已比所欲的UI物件更早趨近使用者，使用者仍可自使用者附近之螢幕區域移走不必要的該UI物件，且藉以防止 該螢幕區域的擁擠。
(5)第六實例
第26圖係用以解說操作事件之第六實例的圖式。在第26圖中，於第21圖中所示之UI影像ST51及ST52以及跟隨在後的UI影像ST54係沿著時間軸顯示。
使用者Ud顯現於UI影像ST51中，且鏡像顯示被實現。UI物件B11至B16亦係佈局在缺設顯示位置處。UI物件B11至B16係屬於預先所界定之複數個種類當中的第一種類。做為一實例，第一種類係與電視節目再生功能相關聯的種類。請注意的是，在最初狀態中，UI物件無需一定要係使用者可見的。例如，在最初狀態中，UI物件可被定位在螢幕外面，或可係透明或半透明的。該等UI物件可在其中使用者舉起他/她的手之時序時，自非主動狀態(未顯示或半透明的)改變至主動狀態(顯示或不透明的)。
在UI影像ST52中，由於使用者Ud舉起他的手之結果，UI物件B11至B16開始趨近使用者Ud。在UI影像ST52中，影像辨識單元152可由其中使用者的手係揮動至左邊及右邊之動作，辨識出揮手的手勢G1。回應對應於手勢G1之辨識的操作事件，操作控制單元172以屬於第二種類的UI物件置換所佈局在UI影像中的物件B11至B16。該第二種類可係與第一種類不同之第二種類(諸如與內容再生功能相關聯的種類)。
在UI影像ST54中，物件B11至B16係自螢幕移 開，且新的UI物件B31至B37被佈局在螢幕上。
由於使用該操作物件的結果，資訊處理裝置100能僅顯示某些UI物件於螢幕上，而無需顯示所有可被顯示在螢幕上之UI物件候選。因而，可大大地舒緩螢幕區域的擁擠。而且，使用者可經由簡單的手勢而使在上述時間並未被現行地顯示之所欲的UI物件顯示於螢幕上，並可適當地操作該UI物件。
請注意的是，將被顯示於UI影像中的UI物件之種類的選擇根據使用者之手的形狀而定。例如，回應分別表示號碼1至5之五個類型的手形狀之辨識，到目前為止已被顯示的UI物件可以以屬於第一至第五種類之任一者的UI物件予以置換。
而且，手勢G1可被界定為並非當做用以切換將被顯示之UI物件的種類之手勢，而是當做用以切換所使用以設定趨近速度的優先序設定標準之手勢。在此情況中，回應對應於手勢G1之辨識的操作事件，操作控制單元172依據新的優先序設定標準而重設將被顯示之UI物件的至少一者之優先序。
(6)第七及第八實例
第27圖係用以解說操作事件之第七實例及第八實例的圖式。在第27圖中，於第18圖中所示之UI影像ST42以及跟隨在後的UI影像ST44、ST45、及ST46係沿著時間軸顯示。
使用者Ud顯現於UI影像ST42中，且正舉起他的 手。UI物件B21至B26係以藉操作控制單元172所分別設定的趨近速度，朝向使用者Ud而趨近。
在下一UI影像ST44中，影像辨識單元152可由使用者之手的動作而辨識出握緊物件之手勢G5，該使用者之手的動作係自其中手的掌心張開之形狀改變至其中手被閉合之形狀。藉由比較上述時間的手之UI影像中的位置與個別UI物件的顯示位置，操作控制單元172可決定UI物件B25被指明(亦即，被握緊)。回應對應於手勢G5之辨識的操作事件，操作控制單元172隨後使所指明之UI物件B25跟蹤手區域之位置的顯示位置(也就是說，使UI物件B25與操作物件一起移動)。
在下一UI影像ST45中，除了所指明之UI物件B25外的UI物件被移開。而且，將兩個螢幕區域R11及R12設定在影像中。做為一實例，在UI影像中，操作控制單元172可設定螢幕區域的數目相等於與所指明之UI物件B25相關聯之處理的數目。做為一實例，若UI物件B25係用於攝影內容的內容項目時，則螢幕區域R11可與展開影像觀視器相關聯，以及螢幕區域R12可與傳送其中附加攝影內容之信息相關聯。
在下一UI影像ST46中，由於使用者的手區域移至與螢幕區域R12相符的位置，所以UI物件B25的顯示位置亦移至與螢幕區域R12相符的位置。回應對應於UI物件B25直至該特定螢幕區域之移動的操作事件，操作控制單元172致使應用單元140實行與UI物件B25相關聯的處 理。在此，做為一實例，信息傳輸功能係由應用單元140所展開，且攝影內容可被附加至新信息。
由於使用該操作事件的結果，使用者可以以輕易及直覺的操作展開用於UI物件之所欲的處理，即使當多種處理係與單一UI物件相關聯時。
(7)第九實例
第28圖係用以解說操作事件之第九實例的圖式。在第28圖中，四個UI影像ST61至ST64係沿著時間軸顯示。
使用者Ud顯現於UI影像ST61中，且鏡像顯示被實現。UI物件B11至B16亦係佈局在缺設顯示位置處。UI物件B11至B16係屬於預先所界定的複數個種類當中之第一種類的物件。做為一實例，第一種類係與電視節目再生功能相關聯的種類。此外，四個螢幕區域R21至R24係設定於影像中。該等螢幕區域R21至R24可與個別不同的種類相關聯。
在UI影像ST62中，由於使用者舉起她的手之結果，UI物件B11至B16開始朝向使用者Ud而趨近。使用者Ud之手的位置係與螢幕區域R23一致。所假定的是，螢幕區域R23係與第一種類相關聯。
在UI影像ST63中，由於手區域之位置係以向下方向放下的結果，使用者Ud之手區域的位置係與螢幕區域R24一致。所假定的是，螢幕區域R24係與不同於第一種類的種類相關聯。回應對應於在螢幕區域間之其係操作物 件的手之移動，所佈局在UI影像中的物件B11至B16係以屬於另一種類的物件予以置換。
在UI影像ST63中，物件B11至B16係自螢幕移開，且新的UI物件B41至B45被佈局在影像中。在下一UI影像ST64中，UI物件B41至B45開始朝向使用者Ud而趨近。
以與稍早所敘述之第六實例相同的方式，由於將被使用之該操作事件的結果，資訊處理裝置100能僅顯示某些UI物件於螢幕上，而取代所有可被顯示之UI物件候選。因而，可大大地舒緩螢幕區域的擁擠。而且，使用者可經由單純地移動手之簡單的手勢而使目前並未被顯示之所欲的UI物件顯示於螢幕上，並可適當地操作該UI物件。
<2-5複數個操作物件的結合>
到目前為止，已大致地敘述其中單一操作物件被辨識於輸入影像中的實例。惟，藉由依據本發明之技術，可在輸入影像中辨識出複數個操作物件。在此段落中，將參照第29至31圖以敘述包含複數個操作物件之若干實例操作的設想情況。
(1)第一實例
第29圖係用以解說包含複數個操作物件的操作設想情況之第一實例的圖式。在此第一實例中，單一使用者的左手及右手係辨識做為個別的操作物件。
在第29圖中，四個UI影像ST71至ST74係沿著時 間軸顯示。
使用者Ud顯現於UI影像ST71中，且鏡像顯示被實現。UI物件B51至B58係佈局在缺設顯示位置處。在此，所假定的是，UI物件B51至B58係依據組群標準而被組群成為複數個群組。例如，UI物件可依據與稍早所敘述之優先序、對應的選單項目或內容項目之類型、或顯示位置相關聯的標準而加以組群，或可予以隨機地組群。
在下一UI影像ST72中，使用者Ud舉起他的左手，且手區域A21被辨識出。回應用於手區域A21之手勢G0的辨識，操作控制單元172致使包含於第一群組中之UI物件B53至B56開始朝向使用者Ud而趨近。
在下一UI影像ST73中，使用者Ud進一步舉起他的右手，且手區域A22被辨識出。回應用於手區域A22之手勢G0的辨識，操作控制單元172致使包含於第二群組中之UI物件B51、B52、B57、及B58開始朝向使用者Ud而趨近。
在下一UI影像ST74中，UI物件B53至B56係以環狀佈局在使用者Ud的左手附近，且UI物件B51、B52、B57、及B58係以環狀佈局在使用者Ud的右手附近。做為一實例，回應使用者Ud使他的手在一起之手勢的辨識，操作控制單元172可藉由合併該等UI物件的兩個環狀以形成單一環狀。若該等手區域係定位在螢幕的邊緣部位處時，則操作控制單元172可扭曲該等環狀的形狀。
依據此操作設想情況，使用者可使用雙手而使大量的 UI物件趨近使用者附近。藉由結合可由雙手所到達之區域所產生的範圍係比可由單手所到達之區域更寬。此意指使用者可在附近之大量UI物件當中迅速指明所欲的UI物件，並操作該所欲的UI物件。
(2)第二實例
第30圖係用以解說包含複數個操作物件的操作設想情況之第二實例的圖式。在此第二實例中，兩個使用者的手係辨識做為個別的操作物件。
在第30圖中，兩個UI影像ST81至ST82係沿著時間軸顯示。
使用者Ud及使用者Ue顯現於UI影像ST81中，且鏡像顯示被實現。UI物件B61至B68亦被顯示。使用者Ud舉起他的左手，且手區域A21被辨識出。回應用於手區域A21之手勢G0的辨識，UI物件B61至B68係朝向使用者Ud而趨近。
在下一UI影像ST82中，使用者Ue舉起她的右手，且手區域A31被辨識出。回應用於手區域A31之手勢G0的辨識，操作控制單元172使UI物件B61、B64、B65、及B68開始朝向使用者Ue而趨近。做為一實例，該等UI物件可依據與用於各使用者之操作歷史或使用者屬性相關聯的組群標準，而被組群成為複數個群組。在第30圖中的實例之中，雖然UI物件B62、B63、B66、及B67係包含於所打算用於使用者Ud的第一群組中，但UI物件B61、B64、B65、及B68係包含於所打算用於使用者Ue 的第二群組中。
在UI影像ST82中，藉由以與其他UI物件不同的屬性值設定UI物件B61、B64、B65、及B68的顯示屬性(例如，彩色)，操作控制單元172表示出UI物件B61、B64、B65、及B68包含於所打算用於使用者Ue的第二群組中。若兩個群組的目標位置係彼此互相干擾時，則操作控制單元172可偏移該等目標位置以消除該干擾。
依據此操作設想情況，可在複數個使用者之間分享UI物件。當如上述地做成時，各使用者可使適用於該使用者的UI物件趨近該使用者，且可迅速地操作所欲的UI物件。參照第25圖所敘述之操作事件的第五實例可被界定成為傳遞UI物件至另一使用者的操作事件，而可藉以使用此操作設想情況中之上述操作。
(3)第三實例
第31圖係用以解說包含複數個操作物件的操作設想情況之第三實例的圖式。而且，在此第三實例中，兩個使用者的手係辨識做為個別的操作物件。
在第31圖中，於第30圖中所示之UI影像ST81及隨後的UI影像ST83係沿著時間軸顯示。
使用者Ud及使用者Ue顯現於UI影像ST81中，且鏡像顯示被實現。UI物件B61至B68亦被顯示。使用者Ud舉起他的左手，且手區域A21被辨識出。回應用於手區域A21之手勢G0的辨識，UI物件B61至B68繼續朝向使用者Ud而趨近。
在下一UI影像ST83中，使用者Ue使用她的右手碰觸UI物件B65。回應用於使用者Ue之右手的手區域A32之手勢G4a的辨識，操作控制單元172可決定UI物件B65被指明。回應該操作事件，操作控制單元172使應用單元140實行與所指明之UI物件B65相關聯的處理。
依據此操作設想情況，不同的使用者可易於操作已朝向既定使用者而趨近的UI物件。
請注意的是，到目前為止，已大致地敘述其中UI物件係二維地佈局在UI影像之中的實例。然而，個別的UI物件並未受限於具有二維的顯示位置，且可具有對應深度的屬性。若資訊處理裝置100能使用諸如視差之已知方法而辨識出相機與操作物件之間的距離時，則操作控制單元172亦可根據該辨識出之距離而決定那一個UI物件已由使用者所指明。
<2-6.實例視窗組成>
第32及33圖顯示可由本實施例所使用的輸出影像之視窗組成的實例。在該等圖式中，UI視窗WUI及應用視窗WAPP係由顯示器108所顯示。UI視窗WUI顯示由操作控制單元172所產生之UI影像。應用視窗WAPP顯示由應用單元140所輸入之應用影像(例如，內容影像)。在第32圖中的第一實例中，應用視窗WAPP係結合於UI視窗WUI的底部右邊的轉角處。在第33圖中的第二實例中，UI視窗WUI係以應用視窗WAPP的一部分予以混合。藉由 使用該視窗組成，做為一實例，即使當使用者並不具有遙控器在手邊時，使用者亦可在觀看內容影像的同時，經由UI物件而控制資訊處理裝置100的功能。
<2-7.實例處理流程>
在第34及35圖中的流程圖顯示可藉由依據本實施例之資訊處理裝置100所實行的處理之流程實例的圖式。在此所敘述之處理係重複用於建構由相機101所獲取的視頻之一連串訊框的各訊框。
如第34圖中所示，首先，影像取得單元120獲得由相機101所獲取之影像做為輸入影像(步驟S100)。然後，影像取得單元120輸出所獲得的輸入影像至辨識單元150及控制單元170。
其次，影像辨識單元152辨識顯現在由影像取得單元120所輸入之輸入影像中的操作物件(步驟S105)。在此所假定的是，操作物件係使用者的手。例如，影像辨識單元152辨識出輸入影像中之手區域，且輸出顯示所辨識出之手區域的位置之位置資料至控制單元170。影像辨識單元152亦根據手區域之移動而辨識出使用者手勢。此外，語音命令亦可根據輸入語音而藉由語音辨識單元154以予以辨識出。
接著，操作控制單元172根據由影像辨識單元152所輸入之影像辨識結果，及由語音辨識單元154所視需要地輸入之語音辨識結果，而決定操作事件(步驟S110)。 隨後的處理依據在此所決定的操作事件而分支。
在步驟S115中，操作控制單元172決定新的組之UI物件是否將被顯示(步驟S115)。例如，若UI影像將被嶄新地顯示時，或若參照第26圖或第28圖所敘述之操作事件已被偵測出時，則操作控制單元172決定新的組之UI物件將被顯示出。若在此所決定的是，新的組之UI物件將不予以顯示時，則維持前一訊框中所顯示之UI物件，且處理前進到步驟S120。另一方面，若在此所決定的是，新的組之UI物件將予以顯示時，則處理前進到步驟S135。
在步驟S120中，操作控制單元172決定該等UI物件的任何者是否已被選擇(步驟S120)。做為一實例，若參照第22圖、第23圖、第27圖、或第31圖所敘述之操作事件已被偵測出時，則操作控制單元172決定UI物件已被選擇。若在此所決定的是，UI物件已被選擇時，則處理前進到S125。若否定時，則處理前進到步驟S145。
在步驟S125中，回應選擇UI物件的操作事件，操作控制單元172致使應用單元140實行與所選擇之UI物件相關聯的處理(步驟S125)。由於增加例如，所選擇之UI物件的操作頻率，優先序設定單元174將接著更新優先序資料(步驟S130)。之後，處理回到步驟S100。
在步驟S135中，操作控制單元172設定新的組之UI物件(步驟S135)。做為一實例，操作控制單元172指定一組UI物件，此組UI物件屬於與前一訊框中所顯示之 該組UI物件不同的種類。然後，操作控制單元172將所包含在新的組之中的UI物件佈局在缺設顯示位置處(步驟S140)。之後，處理前進到步驟S145。
在步驟S145中，操作控制單元172決定操作物件是否已被重新辨識出(步驟S145)。例如，若已將參照第15至18圖所敘述之手勢G0辨識出時，則操作控制單元172決定操作物件已被重新辨識出。在此，若所決定的是，已重新辨識出操作物件時，則處理前進到S150。若否定時，則跨越步驟S150中的處理。
在步驟S150中，操作控制單元172設定該等UI物件的趨近速度及其他屬性(步驟S150)。做為一實例，操作控制單元172可以以較高速度設定具有較高優先序的物件之朝向使用者的趨近速度。而且，操作控制單元172可以以較大尺寸設定具有較高優先序的物件之顯示尺寸。
如就第35圖中所示而言，操作控制單元172接著決定該等UI物件的顯示位置是否應予以更新(步驟S155)。做為一實例，若已偵測出參照第24圖所敘述的手勢G2時，則操作控制單元172決定無需顯示位置的更新。在此，若所決定的是，UI物件的顯示位置應予以更新時，則處理前進到步驟S160。若否定時，則跨越步驟S160及S165中的處理。
在步驟S160中，操作控制單元172更新與特別事件相關聯之UI物件的顯示位置(步驟S160)。做為一實例，若操作控制單元172已偵測出參照第25圖所敘述的 操作物件時，則所指明之UI物件的顯示位置係自使用者移開。而且，若已偵測出參照第24圖所敘述的手勢G3a時，則操作控制單元172轉動UI物件的顯示位置。
然後，操作控制單元172根據它們的趨近速度而更新其他UI物件的顯示位置(步驟S165)。做為一實例，具有較快趨近速度之UI物件的顯示位置可朝向使用者而被移動得更靠近。
之後，操作控制單元172藉由依據到目前為止所經由處理而被決定的顯示位置及屬性以重疊至少一UI物件於輸入影像上，而產生UI影像(步驟S170)。操作控制單元172顯示包含所產生之UI影像的輸出影像於顯示器108的螢幕上(步驟S175)。隨後，處理回到步驟S100。
<3.第二實施例>
如稍早所敘述地，依據本發明實施例之技術並未受限於電視裝置，且可予以施加至種種類型的裝置。由於此理由之緣故，現將敘述其中已將依據本發明實施例之技術施加至包含網際網路的資訊處理裝置200之實例，做為第二實施例。如參照第2圖所敘述地，資訊處理裝置200係平板PC。
(1)實例硬體組態
第36圖係顯示資訊處理裝置200之實例硬體組態的方塊圖。如第36圖中所示，資訊處理裝置200包含相機 201、微音器202、輸入裝置203、通訊I/F204、記憶體205、顯示器208、揚聲器209、匯流排211、及處理器212。
相機201包含諸如CCD或CMOS的影像獲取元件，且拍攝影像。由相機201所獲取之影像(建構視頻之訊框)係處理成為輸入影像，以供藉資訊處理裝置200為工具的處理之用。
感測器202可包含諸如測量感測器、加速度感測器、及陀螺儀感測器之種種感測器。由感測器202所產生之感測器資料可由資訊處理裝置200的應用功能所使用。
輸入裝置203係由使用者所使用的裝置，用以直接操作資訊處理裝置200，或用以輸入資訊至資訊處理裝置200之內。做為一實例，輸入裝置203可包含觸控面板、旋鈕、開關、及其類似物。一旦偵測出使用者輸入，輸入裝置203產生對應所偵測出之使用者輸入的輸入信號。
通訊I/F204扮演用於資訊處理裝置200與另外裝置間之通訊的中介角色。通訊I/F204支援任意的無線通訊協定或有線通訊協定，且建立與其他裝置的通訊連接。
記憶體205係由諸如半導體記憶體或硬碟驅動器之儲存媒體所建構，且儲存用於藉資訊處理裝置200為工具而予以處理的程式及資料，以及內容資料。請注意的是，該等程式及資料的若干者或所有者可不由記憶體205所儲存，且取代地，可自外部資料源(例如，資料伺服器、網路儲存、或外部附加之記憶體)予以獲得。
顯示器208具有由LCD、OLED、或其類似物所建構之螢幕，以及顯示由資訊處理裝置200所產生之影像。做為一實例，與第一實施例中所敘述之該等者相同的UI影像可在顯示器208的螢幕上予以顯示。
揚聲器209具有膜片及諸如放大器的電路元件，且根據由資訊處理裝置200所產生之輸出音頻信號而輸出音頻。揚聲器209的音量係可變的。
匯流排211互相連接相機201、微音器202、輸入裝置203、通訊I/F204、記憶體205、顯示器208、揚聲器209、及處理器212。
例如，處理器212可係CPU或DSP。藉由執行所儲存於記憶體205中或另外儲存媒體上之程式，而以與依據第一實施例的資訊處理裝置100之處理器112相同的方式，處理器212致使資訊處理裝置200以各式各樣的方式作用。除了應用功能中的差異之外，由資訊處理裝置200的記憶體205及處理器212所實現之邏輯功能的組態可與第4圖中所描繪之資訊處理裝置100的組態相同。
(2)實例操作設想情況
第37圖係用以解說用於第二實施例之實例設想情況的圖式。在第37圖中，四個輸出影像ST91至ST94係沿著時間軸顯示。在此設想情況中，個別的輸出影像係由在左半邊中之網際網路瀏覽器的應用影像WAPP及在右半邊中的UI影像WUI所構成。
在輸出影像ST91中，應用影像WAPP包含在網頁中所 寫入之文本。在第37圖中，由網頁之文本所提取的三個關鍵字“XXX電腦娛樂公司”、“遊戲站”、及“耶誕節”係由矩形框架所包圍。使用者Ud顯現於UI影像WUI中，且鏡像顯示被實現。
下一輸出影像ST92可在例如，其係操作物件之使用者Ud的手被辨識出之後，予以顯示。在輸出影像ST92中，UI物件B71至B73係重疊在UI影像上。UI物件B71係與關鍵字“XXX電腦娛樂公司”相關聯。UI物件B72係與關鍵字“遊戲站”相關聯。UI物件B73係與關鍵字“耶誕節”相關聯。
在下一輸出影像ST93中，使用者Ud的手與UI物件B72一致。三個螢幕區域R41、R42、及R43被設定於UI影像中。螢幕區域R41係與網站搜尋(文本搜尋)處理相關聯。螢幕區域R42係與影像搜尋處理相關聯。螢幕區域R43係與電影搜尋處理相關聯。
在下一輸出影像ST94中，UI物件B72移動以便跟蹤使用者Ud之手的移動，且已移動至與螢幕區域R41一致的位置。回應該操作事件，資訊處理裝置200之操作控制單元172致使應用單元140實行使用由UI物件B72所示之關鍵字“遊戲站”的網站搜尋功能。
<4.結論>
到目前為止，本發明之實施例已參照第1至37圖而予以詳細地敘述。依據上述之該等實施例，複數個UI物 件係顯示於顯示使用者之鏡像的UI影像中，於其中UI物件的操作係根據影像辨識結果而加以控制的UI中，在辨識出諸如使用者之手的操作物件之前所顯示的UI物件之顯示位置係在已辨識出該操作物件之後，朝向使用者而趨近。從而，因為使用者附近之受限的螢幕區域並不會由於低數目的UI物件而被充滿，所以可避免由於螢幕被擁塞所導致之可用性中的下降。
而且，依據上述之該等實施例，朝向UI物件的使用者之趨近的模式可依據用於個別UI物件所設定之優先序而變化。因而，使用者能迅速操作具有較高優先序之UI物件(例如，以較高頻率所操作之UI物件或被決定將適合於使用者之UI物件)。
依據上述之該等實施例，由使用者手勢所觸發的種種操作事件可被實現。因而，使用者能使用已趨近於使用者附近之UI物件而彈性地操作資訊用具，即使當使用者不具有遙控器或其他實體的操作裝置時。
請注意的是，藉由如本發明實施例所敘述之種種裝置而予以實行之系列的處理係大致地使用軟體而被實現。由實現該等系列的處理之軟體所構成的程式係預先儲存在設置於該等裝置之內部或外部的儲存媒體(非暫態之媒體)上。做為一實例，在執行期間，該等程式係隨後寫入至RAM(隨機存取記憶體)內，且藉由諸如CPU之處理器而予以執行。
雖然本發明之較佳實施例係參照附錄圖式而被詳細敘 述於上文，但本發明之技術範疇並未受限於此。熟習於本項技藝之該等人士應瞭解的是，種種修正、結合、子結合、及變化可根據設計需求及其他因素而發生，只要它們係在附錄申請專利範圍或其等效範圍之內。
此外，本技術亦可被組構如下。
(1)一種資訊處理系統，包含：處理電路，組構以回應由使用者所初始之操作物件的辨識，而自預辨識位置朝向後辨識位置控制顯示螢幕上之UI物件的移動，其中後辨識位置係與預定的顯示特徵之所顯示位置空間地相關聯，且預定的顯示特徵係衍生自相機捕捉之影像的影像。
(2)如(1)之資訊處理系統，其中處理電路係組構以依據與UI物件相關聯的參數而變化UI物件之趨近的模式。
(3)如(2)之資訊處理系統，其中趨近的模式係非均勻以供顯示的物件及其他顯示的物件之用，使得用於不同的顯示物件之個別的趨近速度係不同的。
(4)如(2)之資訊處理系統，其中 參數係優先序。
(5)如(4)之資訊處理系統，其中優先序係根據操作頻率或建議而定。
(6)如(2)之資訊處理系統，其中趨近的模式係非均勻以供顯示的物件及其他顯示的物件之用，使得用於不同的顯示物件之個別的後辨識顯示位置係不同的。
(7)如(2)之資訊處理系統，其中用於顯示的物件及另一顯示的物件之移動的觸發係不同的。
(8)如(7)之資訊處理系統，其中第一偵測出之手勢觸發顯示的物件之移動，以及第二偵測出之手勢觸發其他顯示的物件之移動。
(9)如(7)之資訊處理系統，其中顯示的物件及其他顯示的物件係顯示於圍繞操作物件的環狀之中。
(10)如(1)之資訊處理系統，其中處理電路係組構以控制複數個UI物件的移動。
(11)如(1)之資訊處理系統，其中用於UI物件之後辨識位置對於UI物件係與用於不同的UI物件不同。
(12)如(11)之資訊處理系統，其中當UI物件被識別為比不同的UI物件更高優先序時，則後辨識位置係較靠近於操作物件，且當UI物件被識別為比不同的UI物件更低優先序時，則係較遠離於操作物件。
(13)如(1)之資訊處理系統，其中預定的顯示特徵係使用者的身體部分。
(14)如(1)之資訊處理系統，其中預定的顯示特徵係操作物件。
(15)如(1)之資訊處理系統，其中預定的顯示特徵係使用者影像的特徵。
(16)如(1)之資訊處理系統，其中預定的顯示特徵係使用者之動作的特徵。
(17)如(16)之資訊處理系統，其中 處理電路亦係組構以實施影像辨識單元，其辨識使用者的特徵做為操作物件。
(18)如(1)之資訊處理系統，其中顯示的物件之後辨識位置對操作物件係比預辨識位置更近的距離，以致使顯示的物件朝向操作物件移動。
(19)一種資訊處理方法，包含：回應由使用者所初始之操作物件的辨識，而以處理電路自預辨識位置朝向後辨識位置控制顯示螢幕上之UI物件的移動，其中後辨識位置係與預定的顯示特徵之所顯示位置空間地相關聯，且預定的顯示特徵係衍生自相機捕捉之影像的影像。
(20)一種非暫態之電腦可讀取媒體，具有當由處理電路所執行時執行一種方法的電腦可讀取指令，該方法包含：回應由使用者所初始之操作物件的辨識，而以處理電路自預辨識位置朝向後辨識位置控制顯示螢幕上之UI物件的移動，其中後辨識位置係與預定的顯示特徵之所顯示位置空間地相關聯，且預定的顯示特徵係衍生自相機捕捉之影像的影像。
此外，本技術亦可被組構如下。
(1)一種資訊處理裝置，包含： 影像取得單元，用以取得輸入影像；辨識單元，用以在該輸入影像中辨識出由使用者所使用之操作物件；以及控制單元，用以在螢幕上顯示對應該輸入影像的輸出影像，且其中將由該使用者所操作的複數個物件被重疊於其上，及根據該操作物件的辨識結果而控制該等物件的至少一者之顯示，其中該控制單元致使將在該操作物件的辨識前被顯示於該螢幕上之該複數個物件的顯示位置，在該操作物件的辨識後，朝向該使用者而分別趨近。
(2)如(1)之資訊處理裝置，其中該控制單元依據用於該等個別物件所設定的優先序，而變化朝向該使用者的該等個別物件之趨近的模式。
(3)如(2)之資訊處理裝置，其中該控制單元設定該複數個物件之趨近速度、趨近開始時序、趨近後的顯示位置、顯示尺寸、透明度、及深度當中的至少一者，以便使具有較高優先序之物件的操作更容易，以供該使用者之用。
(4)如(3)之資訊處理裝置，其中該控制單元設定朝向該使用者之具有該較高優先序之該物件的該趨近速度為較高速度。
(5)如(2)至(4)中任一項之資訊處理裝置，進一步包含：優先序設定單元，用以依據與用於該等物件之各者的操作歷史及該使用者的屬性相關聯之設定標準，而設定用於該複數個物件之各者的該優先序。
(6)如(1)至(5)中任一項之資訊處理裝置，進一步包含：應用單元，用以實行與該等個別物件相關聯的處理，其中該控制單元係可回應第一事件而操作，以致使該應用單元實行與由該操作物件所指明之物件相關聯的處理。
(7)如(1)至(6)中任一項之資訊處理裝置，其中該控制單元係可回應第二事件而操作，以停止該螢幕上之該複數個物件的移動。
(8)如(7)之資訊處理裝置，其中在停止該複數個物件的該移動之後，該控制單元係可回應第三事件而操作，以使該複數個物件的該等顯示位置圍繞著該影像中之參考點而轉動。
(9)如(1)至(8)中任一項之資訊處理裝置，其中該控制單元係可回應第四事件而操作，以移動靠 近該操作物件之至少一物體的該顯示位置離開該使用者。
(10)如(1)至(9)中任一項之資訊處理裝置。
其中該複數個物件屬於預先所界定之複數個種類當中的第一種類，以及其中該控制單元係可回應第五事件以操作，而以屬於與該第一種類不同的第二種類之物件置換重疊在該輸入影像上的該複數個物件。
(11)如(6)至(10)中任一項之資訊處理裝置，其中該操作物件係該使用者的手，以及其中該第一事件係藉該使用者之特定手勢的該辨識單元為工具之辨識。
(12)如(6)至(10)中任一項之資訊處理裝置。
其中該第一事件係由該使用者所發出之特定語音命令之辨識。
(13)如(6)之資訊處理裝置，其中該控制單元隨著該操作物件，而一起移動由該操作物件所指明之該物件的該顯示位置，以及其中該第一事件係直至特定螢幕區域之該物件的移動。
(14) 如(13)之資訊處理裝置，其中該控制單元設定一數目之螢幕區域於該螢幕上，該數目係相等於與由該操作物件所指明的該物件相關聯之處理的數目。
(15)如(10)之資訊處理裝置，其中該第一種類及該第二種類係與不同的螢幕區域相關聯，以及其中該第五事件係自與該第一種類相關聯的第一螢幕區域至與該第二種類相關聯的第二螢幕區域之該操作物件的移動。
(16)如(1)至(15)中任一項之資訊處理裝置，其中該操作物件係該使用者的右手及左手，以及其中該控制單元係可操作而在該右手及該左手之其中一者的辨識後，致使該複數個物件當中的第一群組朝向該右手及該左手的所辨識出之者而趨近，且係可操作而在該右手及該左手之另一者的辨識後，致使該複數個物件當中的第二群組朝向該右手及該左手的所辨識出之其他者而趨近。
(17)如(1)至(15)中任一項之資訊處理裝置，其中該操作物件係第一使用者的手及第二使用者的手，以及 其中該控制單元係可操作，而在該第一使用者的該手之辨識後，致使該複數個物件當中的第一群組朝向該第一使用者而趨近，且係可操作而在該第二使用者的該手之辨識後，致使該複數個物件當中的第二群組朝向該第二使用者而趨近。
(18)如(6)之資訊處理裝置，其中該控制單元係可回應指明至少一物件之第六事件而操作，以致使該應用單元實行與該指明之物件相關聯的處理，以及其中該第六事件係用於該指明之物件的另一使用者之特定手勢的辨識。
(19)一種資訊處理方法，由資訊處理裝置所實行，該資訊處理方法包含：取得輸入影像；在該輸入影像中辨識出由使用者所使用之操作物件；在螢幕上顯示對應該輸入影像的輸出影像，且其中將由該使用者所操作的複數個物件被重疊於其上；以及致使將在該操作物件的辨識前被顯示於該螢幕上之該複數個物件的顯示位置，在該操作物件的辨識後，朝向該使用者而分別趨近。
(20)一種程式，用以致使控制資訊處理裝置的電腦作用 為：影像取得單元，用以取得輸入影像；辨識單元，用以在該輸入影像中辨識出由使用者所使用之操作物件；以及控制單元，用以在螢幕上顯示對應該輸入影像的輸出影像，且其中將由該使用者所操作的複數個物件被重疊於其上，及根據該操作物件的辨識結果而控制該等物件的至少一者之顯示，其中該控制單元致使將在該操作物件的辨識前被顯示於該螢幕上之該複數個物件的顯示位置，在該操作物件的辨識後，朝向該使用者而分別趨近。
ST11至ST14‧‧‧UI影像
B11至B16‧‧‧UI物件
Ud‧‧‧使用者

Claims (20)

  1. 一種資訊處理系統，包含：處理電路，組構以回應由使用者所初始之操作物件的辨識，而自預辨識位置朝向後辨識位置控制顯示螢幕上之UI(使用者介面)物件的移動，其中該後辨識位置係與預定的顯示特徵之所顯示位置空間地相關聯，且該預定的顯示特徵係衍生自相機捕捉之影像的影像。
  2. 如申請專利範圍第1項之資訊處理系統，其中該處理電路係組構以依據與該UI物件相關聯的參數而變化該UI物件之趨近的模式。
  3. 如申請專利範圍第2項之資訊處理系統，其中該趨近的模式係非均勻以供該顯示的物件及其他顯示的物件之用，使得用於不同的顯示物件之個別的趨近速度係不同的。
  4. 如申請專利範圍第2項之資訊處理系統，其中該參數係優先序。
  5. 如申請專利範圍第4項之資訊處理系統，其中該優先序係根據操作頻率或建議而定。
  6. 如申請專利範圍第2項之資訊處理系統，其中該趨近的模式係非均勻以供該顯示的物件及其他顯示的物件之用，使得用於不同的顯示物件之個別的後辨識顯示位置係不同的。
  7. 如申請專利範圍第2項之資訊處理系統，其中 用於該顯示的物件及另一顯示的物件之該移動的觸發係不同的。
  8. 如申請專利範圍第7項之資訊處理系統，其中第一偵測出之手勢觸發該顯示的物件之移動，以及第二偵測出之手勢觸發其他顯示的物件之移動。
  9. 如申請專利範圍第7項之資訊處理系統，其中該顯示的物件及其他顯示的物件係顯示於圍繞該操作物件的環狀之中。
  10. 如申請專利範圍第1項之資訊處理系統，其中該處理電路係組構以控制複數個UI物件的移動。
  11. 如申請專利範圍第1項之資訊處理系統，其中用於該UI物件之後辨識位置對於該UI物件係與用於不同的UI物件不同。
  12. 如申請專利範圍第11項之資訊處理系統，其中當該UI物件被識別為比該不同的UI物件更高優先序時，則該後辨識位置係較靠近於該操作物件，且當該UI物件被識別為比該不同的UI物件更低優先序時，則係較遠離於該操作物件。
  13. 如申請專利範圍第1項之資訊處理系統，其中該預定的顯示特徵係該使用者的身體部分。
  14. 如申請專利範圍第1項之資訊處理系統，其中該預定的顯示特徵係該操作物件。
  15. 如申請專利範圍第1項之資訊處理系統，其中該預定的顯示特徵係使用者影像的特徵。
  16. 如申請專利範圍第1項之資訊處理系統，其中該預定的顯示特徵係使用者之動作的特徵。
  17. 如申請專利範圍第16項之資訊處理系統，其中該處理電路亦係組構以實施影像辨識單元，其辨識該使用者的特徵作為該操作物件。
  18. 如申請專利範圍第1項之資訊處理系統，其中該顯示的物件之該後辨識位置對該操作物件係比該預辨識位置更近的距離，以致使該顯示的物件朝向該操作物件移動。
  19. 一種資訊處理方法，包含：回應由使用者所初始之操作物件的辨識，而以處理電路自預辨識位置朝向後辨識位置控制顯示螢幕上之UI(使用者介面)物件的移動，其中該後辨識位置係與預定的顯示特徵之所顯示位置空間地相關聯，且該預定的顯示特徵係衍生自相機捕捉之影像的影像。
  20. 一種非暫態之電腦可讀取媒體，具有當由處理電路所執行時執行一種方法的電腦可讀取指令，該方法包含：回應由使用者所初始之操作物件的辨識，而以處理電路自預辨識位置朝向後辨識位置控制顯示螢幕上之UI(使用者介面)物件的移動，其中該後辨識位置係與預定的顯示特徵之所顯示位置空間地相關聯，該預定的顯示特徵係衍生自相機捕捉之影像的影像。
TW102147234A 2012-12-27 2013-12-19 資訊處理裝置，資訊處理方法以及程式 TW201502955A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012285025A JP2014127124A (ja) 2012-12-27 2012-12-27 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
TW201502955A true TW201502955A (zh) 2015-01-16

Family

ID=49759494

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102147234A TW201502955A (zh) 2012-12-27 2013-12-19 資訊處理裝置，資訊處理方法以及程式

Country Status (6)

Country Link
US (1) US20150253949A1 (zh)
EP (1) EP2939084B1 (zh)
JP (1) JP2014127124A (zh)
CN (1) CN104871116B (zh)
TW (1) TW201502955A (zh)
WO (1) WO2014103167A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI827825B (zh) * 2019-03-29 2024-01-01 美商高通公司 瀏覽建築物之占有者狀態及管理裝置之系統及方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6245610B2 (ja) * 2014-03-28 2017-12-13 シーシーエス株式会社 照明制御電源
WO2017001557A1 (en) 2015-07-02 2017-01-05 Gambro Lundia Ab Human-shaped graphical element for medical treatment user interfaces
JP6444345B2 (ja) * 2016-08-23 2018-12-26 株式会社コロプラ 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
US10691217B2 (en) * 2017-04-20 2020-06-23 Fuji Xerox Co., Ltd. Methods and systems for providing a camera-based graphical user interface
WO2019064872A1 (ja) 2017-09-29 2019-04-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7139902B2 (ja) * 2018-11-14 2022-09-21 トヨタ自動車株式会社 報知装置
JP2022064414A (ja) * 2020-10-14 2022-04-26 株式会社Donuts ユーザインタフェース変更推奨方法、ユーザインタフェース変更推奨プログラム、及びユーザインタフェース変更推奨システム
CN115097995A (zh) * 2022-06-23 2022-09-23 京东方科技集团股份有限公司 界面交互方法、界面交互装置以及计算机存储介质
CN117596418A (zh) * 2023-10-11 2024-02-23 书行科技(北京)有限公司 直播间ui展示控制方法、装置、电子设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3969093A (en) * 1992-04-30 1993-11-29 Apple Computer, Inc. Method and apparatus for organizing information in a computer system
JPH09128141A (ja) * 1995-11-07 1997-05-16 Sony Corp 制御装置および制御方法
JP2002341990A (ja) * 2001-05-18 2002-11-29 Sharp Corp 情報処理装置，情報処理装置の制御プログラム，同制御プログラムを格納した記憶媒体
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2006235771A (ja) * 2005-02-23 2006-09-07 Victor Co Of Japan Ltd 遠隔操作装置
JP2007079641A (ja) * 2005-09-09 2007-03-29 Canon Inc 情報処理装置及び情報処理方法及びプログラム及び記憶媒体
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
JP2010020601A (ja) * 2008-07-11 2010-01-28 Nec Corp 携帯端末、タッチパネルの項目配置方法およびプログラム
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US9405456B2 (en) * 2009-06-08 2016-08-02 Xerox Corporation Manipulation of displayed objects by virtual magnetism
JP5218353B2 (ja) * 2009-09-14 2013-06-26 ソニー株式会社 情報処理装置、表示方法及びプログラム
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US9977472B2 (en) * 2010-03-19 2018-05-22 Nokia Technologies Oy Method and apparatus for displaying relative motion of objects on graphical user interface
JP5501992B2 (ja) * 2010-05-28 2014-05-28 パナソニック株式会社 情報端末、画面部品表示方法、プログラム、及び記録媒体
US8593418B2 (en) * 2010-08-08 2013-11-26 Qualcomm Incorporated Method and system for adjusting display content
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5507773B1 (ja) * 2012-07-13 2014-05-28 太郎 諌山 要素選択装置、要素選択方法、および、プログラム
US9589538B2 (en) * 2012-10-17 2017-03-07 Perceptive Pixel, Inc. Controlling virtual objects

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI827825B (zh) * 2019-03-29 2024-01-01 美商高通公司 瀏覽建築物之占有者狀態及管理裝置之系統及方法

Also Published As

Publication number Publication date
EP2939084A1 (en) 2015-11-04
CN104871116B (zh) 2018-02-06
JP2014127124A (ja) 2014-07-07
WO2014103167A1 (en) 2014-07-03
EP2939084B1 (en) 2020-04-08
US20150253949A1 (en) 2015-09-10
CN104871116A (zh) 2015-08-26

Similar Documents

Publication Publication Date Title
TW201502955A (zh) 資訊處理裝置，資訊處理方法以及程式
US10114463B2 (en) Display apparatus and method for controlling the same according to an eye gaze and a gesture of a user
JP6721713B2 (ja) 動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置
US10013083B2 (en) Utilizing real world objects for user input
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
WO2014073149A1 (en) Information processing apparatus, information processing method, and program
US20140115538A1 (en) Display apparatus and method for inputting characters thereof
US20140362002A1 (en) Display control device, display control method, and computer program product
US20200341614A1 (en) Image display apparatus and image display method
KR20160086090A (ko) 이미지를 디스플레이하는 사용자 단말기 및 이의 이미지 디스플레이 방법
KR102367184B1 (ko) 스크린 키보드를 이용한 정보 입력 방법 및 이를 위한 장치
US20160334988A1 (en) Display device and method for providing recommended characters from same
EP2894544A1 (en) Display apparatus and method for controlling display apparatus thereof
CN105763920B (zh) 显示装置和显示方法
CN108293146A (zh) 图像显示设备及其操作方法
US20190012129A1 (en) Display apparatus and method for controlling display apparatus
CN108513152A (zh) 图像显示设备及其操作方法
KR101668943B1 (ko) 멀티미디어 장치, 멀티미디어 장치의 제어 방법, 및 멀티미디어 장치의 제어 프로그램
KR101713784B1 (ko) 전자 장치 및 그 제어 방법
KR20160055552A (ko) 메모 표시 방법 및 이를 위한 디바이스
JP2014130595A (ja) 電子装置及びその制御方法
KR102407191B1 (ko) 영상 표시 장치 및 영상 표시 방법
KR20210096858A (ko) 전자 장치 및 이의 제어 방법
US20130318477A1 (en) Stereoscopic user interface and displaying method thereof
KR20160139376A (ko) 디스플레이 장치 및 이의 제어 방법