TW201419042A - 多顯示設備及其控制方法 - Google Patents

多顯示設備及其控制方法 Download PDF

Info

Publication number
TW201419042A
TW201419042A TW102136558A TW102136558A TW201419042A TW 201419042 A TW201419042 A TW 201419042A TW 102136558 A TW102136558 A TW 102136558A TW 102136558 A TW102136558 A TW 102136558A TW 201419042 A TW201419042 A TW 201419042A
Authority
TW
Taiwan
Prior art keywords
user
display
gesture
display device
camera
Prior art date
Application number
TW102136558A
Other languages
English (en)
Other versions
TWI579732B (zh
Inventor
Ji-Yeon Kwak
Dae-Hyun Kim
Sang-Ho Kim
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of TW201419042A publication Critical patent/TW201419042A/zh
Application granted granted Critical
Publication of TWI579732B publication Critical patent/TWI579732B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G06F1/1618Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position the display being foldable up to the back of the other housing with a single degree of freedom, e.g. by 360° rotation over the axis defined by the rear edge of the base enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)
  • Details Of Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本發明揭示一種多顯示設備,其包含:第一本體,包括第一顯示器;第二本體,包括第二顯示器;鉸鏈,用以將所述第一本體與所述第二本體彼此連接;第一成像單元,設置於所述第一本體上;第二成像單元,設置於所述第二本體上;以及控制器,用以使用在所述第一成像單元以及所述第二成像單元處拍攝的多個影像來辨識使用者示意動作,且回應於所述所辨識的使用者示意動作來執行對應控制操作。所述控制器使用在所述各別成像單元的辨識範圍內的使用者物件的移動來辨識所述使用者示意動作。因此,可較容易且便利地控制所述多顯示設備的所述操作。

Description

多顯示裝置及其控制方法 【相關申請案的交叉參考】
本申請案根據35 U.S.C.§119主張2012年10月10日在韓國智慧財產局申請的韓國專利申請案第10-2012-0112681號的優先權,所述專利申請案的全部揭露內容以引用的方式併入本文中。
根據本文所揭露的內容的裝置及方法是關於多顯示裝置及其控制方法,且更特定言之,是關於經由多個顯示器來顯示多個任務螢幕且根據使用者示意動作來控制操作的多顯示設備,及其控制方法。
當今,可獲得各種類型的顯示裝置。此等顯示裝置可安裝有回應於使用者的選擇而執行的各種應用程式。使用者可在經由顯示裝置而檢視當前在電子設備上實施的應用程式的操作的同時,經由輸入裝置而控制電子設備。設計成由使用者隨身攜帶的 攜帶型電子裝置通常由於其有限大小而需要觸碰螢幕型使用者介面(user interface,UI)。因此,可藉由使用者的觸碰進行操作的各種形式的圖形使用者介面(graphical user interface,GUI)得以設置。
所述GUI是以經最佳化的形式設置以使使用者能夠按照直覺辨識出當前執行的應用程式的操作,且容易地且迅速地控制對應裝置。因此,根據應用程式或顯示裝置的形式而開發了各種GUI方法。
然而,習知使用者介面主要是針對用於僅使用一個顯示單元的顯示裝置而產生。因此,適合於具有多個顯示單元的多顯示裝置的UI方法尚需時日。
同時,與中央處理器單元(central processor unit,CPU)或軟體相關的進階技術已使得多顯示裝置能夠提供多個任務螢幕,而一個或多個應用程式顯示於所述多個任務螢幕上。所述多個任務螢幕是經由一或多個觸碰螢幕而提供,所述一或多個觸碰螢幕實體上或以圖形方式彼此劃分開。
因此,控制技術為必要的,所述控制技術可使使用者能夠更加按照直覺且容易地使用多顯示裝置,而同時多顯示裝置在自身上提供多個任務螢幕。
本一般發明概念的額外特徵以及效用將部分闡述於下文的描述中,且將部分自所述描述顯而易見,或可藉由實踐本一般發明概念而獲悉。
本一般發明概念的例示性實施例提供一種可藉由空間示意動作來控制的多顯示設備,及其控制方法。
本一般發明概念的例示性實施例提供一種多顯示設備,其可包含:第一本體,包含第一顯示器;第二本體,包含第二顯示器;鉸鏈,用以將所述第一本體與所述第二本體彼此連接;第一成像單元,設置於所述第一本體上且具有第一辨識範圍;第二成像單元,設置於所述第二本體上且具有第二辨識範圍;以及控制器,用以使用在所述第一成像單元及所述第二成像單元處拍攝的多個影像來辨識使用者示意動作,且回應於所述所辨識的使用者示意動作來執行對應控制操作,所述控制器使用在所述第一辨識範圍中移動的使用者物件的移動方向及在所述第二辨識範圍中移動的所述使用者物件的移動方向來辨識在所述第一辨識範圍與所述第二辨識範圍之間的重疊範圍內的所述使用者示意動作。
所述控制器可偵測相對於所述鉸鏈所述第一本體與所述第二本體之間的角度,且在所述所偵測的角度在預先設定的角度範圍內時啟動所述第一成像單元以及所述第二成像單元。
所述控制器可三維地辨識所述使用者示意動作。
所述控制器可將所述使用者示意動作辨識為立體影像。
當所述使用者物件移動因此形成一個相繼圖案(successive pattern)時,所述控制器相繼地執行對應於形成所述相繼圖案的各別使用者示意動作的多個控制操作。
所述使用者示意動作可包含單指示意動作、雙指示意動作、多指示意動作、手掌示意動作、多手掌示意動作、拳頭示意動作以及多拳頭示意動作中的一者。
當辨識關於顯示於所述第一顯示器或所述第二顯示器上的圖示的握持示意動作時,所述控制器可執行選擇所述圖示的操作。
本一般發明概念的例示性實施例亦提供一種多顯示設備的控制方法,所述多顯示設備包含:第一本體,具有第一顯示器;第二本體,具有第二顯示器;以及鉸鏈,其將所述第一本體與所述第二本體彼此連接,所述方法包含:使用設置於所述第一本體上的第一成像單元以及設置於所述第二本體上的第二成像單元來拍攝使用者物件;使用分別由所述第一成像單元以及所述第二成像單元拍攝的所述使用者物件的多個影像,以判定在所述第一辨識範圍中移動的所述使用者物件的移動方向以及在所述第二辨識範圍中移動的所述使用者物件的移動方向,來辨識在所述第一成像單元的第一辨識範圍與所述第二成像單元的第二辨識範圍之間的重疊區域內的使用者示意動作;以及回應於所述所辨識的使用者示意動作來執行對應控制操作。
所述辨識所述使用者示意動作可包含偵測相對於所述鉸鏈所述第一本體與所述第二本體之間的角度,且在所述所偵測的角度在預先設定的角度範圍內時啟動所述第一成像單元以及所述第二成像單元。
所述使用者示意動作可被三維地辨識。
所述使用者示意動作可被辨識為立體影像。
當所述使用者物件移動因此形成一個相繼圖案時,所述執行所述控制操作可包含相繼地執行對應於形成所述相繼圖案的各別使用者示意動作的多個控制操作。
所述使用者示意動作可包含單指示意動作、雙指示意動作、多指示意動作、手掌示意動作、多手掌示意動作、拳頭示意動作以及多拳頭示意動作中的一者。
所述執行所述控制操作可包含當關於顯示於所述第一顯示器或所述第二顯示器上的圖示的握持示意動作得以辨識時執行選擇所述圖示的操作。
一種非暫時性電腦可讀媒體可含有作為用於執行所述控制方法的程式的電腦可讀碼。
本一般發明概念的例示性實施例亦提供一種多顯示設備,包含:多個顯示器;第一成像單元,具有第一辨識範圍;第二成像單元,具有第二辨識範圍;以及控制器,用以基於由所述第一成像單元以及所述第二成像單元在所述第一辨識範圍以及所述第二辨識範圍重疊的示意動作辨識區域中攝取的第一使用者物件的影像來判定使用者示意動作,且執行對應於所述所判定的使用者示意動作的命令操作。
所述第一使用者物件可包含使用者的手、使用者的面部、使用者的眼睛或觸控筆中的至少一者。
所述使用者示意動作可對應於由所述控制器基於由所述第一成像單元以及所述第二成像單元攝取的第一使用者物件的多個影像而判定的所述第一使用者物件的移動。
所述多個顯示器可藉由可撓性連接器而彼此連接。
所述多顯示設備可更包含感測器,其用以判定所述多個顯示器相對於彼此的定向。所述控制器可執行對應於所述所判定的使用者示意動作以及所述多個顯示器的所述所判定的定向的命 令操作。
所述第一成像單元以及所述第二成像單元可攝取多個使用者物件的多個影像,且所述控制器可基於由所述第一成像單元以及所述第二成像單元攝取的所述多個使用者物件的所述多個影像來判定所述使用者示意動作。
所述命令操作可包含將內容自所述多個顯示器中的第一顯示器傳送至所述多個顯示器中的第二顯示器。
所述內容可包含可由所述控制器執行的應用程式,所述應用程式在被傳送至所述多個顯示器中的所述第二顯示器之後得以執行。
所述第一辨識範圍以及所述第二辨識範圍中的至少一者可獨立於所述顯示器的定向來調整。
所述多個顯示器中的至少一者可為觸碰螢幕。
所述觸碰螢幕可經組態以在所述第一使用者物件接近而相對於所述觸碰螢幕在預定距離內時接受來自所述第一使用者物件的輸入。
所述多個顯示器可彼此無線地連接且連接至所述控制器。
本一般發明概念的例示性實施例亦提供一種具有多個顯示器的多顯示設備的控制方法,所述方法包含:在第一辨識範圍內攝取第一使用者物件的多個影像;在第二辨識範圍內攝取所述第一使用者物件的多個影像;基於所述第一使用者物件的所述所攝取的影像來判定在所述第一辨識範圍與所述第二辨識範圍重疊的示意動作辨識區域內的使用者示意動作;以及執行對應於所述 所判定的使用者示意動作的命令操作。
2‧‧‧第一本體
4‧‧‧第二本體
5‧‧‧地板表面/有效辨識區域
5a‧‧‧預定距離
6‧‧‧辨識範圍
7‧‧‧辨識範圍
8‧‧‧示意動作辨識範圍
9‧‧‧示意動作辨識範圍
10‧‧‧示意動作辨識區域
12‧‧‧指標
13‧‧‧手形圖示
14a‧‧‧第一指標
14b‧‧‧第二指標
16a‧‧‧邊界
16b‧‧‧邊界
18a‧‧‧第一顏色
18b‧‧‧第二顏色
19a‧‧‧繪畫影像/所要著色區域
19b‧‧‧經著色的區域
23d‧‧‧X軸方向
23e‧‧‧Y軸方向
24b‧‧‧預定方向
24c‧‧‧預定方向
24d‧‧‧-X軸方向
24e‧‧‧-Y軸方向
27‧‧‧工具集
51‧‧‧使用者物件
51a‧‧‧觸控筆/筆
52‧‧‧使用者物件
71a‧‧‧第一影像
71b‧‧‧第二影像
71c‧‧‧第三影像
72a‧‧‧第一影像
72b‧‧‧第二影像
72c‧‧‧第三影像
75a‧‧‧第一影像
75b‧‧‧第二影像
75c‧‧‧第三影像
76a‧‧‧第一影像
76b‧‧‧第二影像
76c‧‧‧第三影像
77a‧‧‧第一影像
77b‧‧‧第二影像
77c‧‧‧第三影像
78a‧‧‧第一影像
78b‧‧‧第二影像
78c‧‧‧第三影像
100‧‧‧多顯示設備
110‧‧‧通信器
111‧‧‧蜂巢式通信模組
112‧‧‧無線LAN模組
113‧‧‧LAN通信模組
114‧‧‧連接器
115‧‧‧GPS模組
116‧‧‧廣播通信模組
120‧‧‧多媒體單元
121‧‧‧音訊播放模組
122‧‧‧視訊播放模組
130‧‧‧控制器
131‧‧‧中央處理單元(CPU)
133‧‧‧圖形處理單元(GPU)
135‧‧‧隨機存取記憶體(RAM)
137‧‧‧唯讀記憶體(ROM)
139‧‧‧內部系統匯流排
140‧‧‧成像模組
140a‧‧‧第一成像單元
140b‧‧‧第二成像單元
141‧‧‧通用相機/第一相機
142‧‧‧通用相機/第二相機
141-1‧‧‧寬角相機/第一相機
142-1‧‧‧寬角相機/第二相機
141'‧‧‧第一相機
142'‧‧‧第二相機
143~148‧‧‧相機
149‧‧‧可旋轉相機
150‧‧‧感測器
151‧‧‧觸碰感測器
152‧‧‧地磁感測器
153‧‧‧加速度感測器
154‧‧‧鉸鏈感測器
155‧‧‧近接感測器
160‧‧‧輸入/輸出單元
161‧‧‧按鈕
162‧‧‧麥克風
163‧‧‧揚聲器
164‧‧‧振動馬達
170‧‧‧儲存器
175‧‧‧顯示控制器
175a-1‧‧‧第一畫面緩衝器
175a-2‧‧‧第一顯示驅動器
175b-1‧‧‧第二畫面緩衝器
175b-2‧‧‧第二顯示驅動器
175-1‧‧‧整合式畫面緩衝器
175-2‧‧‧顯示驅動器
180‧‧‧電源供應器
185‧‧‧鉸鏈
190‧‧‧顯示器
190a‧‧‧第一顯示器
190b‧‧‧第二顯示器
231‧‧‧時序控制器
232‧‧‧閘極驅動器
233‧‧‧資料驅動器
234‧‧‧電壓驅動器
235‧‧‧顯示面板
236‧‧‧像素區域
290、290a‧‧‧顯示面板
291‧‧‧紅外線源
291a‧‧‧近接感測器源
292、292a‧‧‧紅外線感測器
293‧‧‧電容性感測器
410‧‧‧硬體
420‧‧‧作業系統
430‧‧‧框架
440‧‧‧應用程式層
441‧‧‧呼叫應用程式
442‧‧‧多媒體應用程式
443‧‧‧相機應用程式
444‧‧‧瀏覽器應用程式
445‧‧‧示意動作辨識應用程式
1405、1406‧‧‧計數器
1410‧‧‧第一頁面
1411‧‧‧第三頁面
1420‧‧‧第二頁面
1421‧‧‧第四頁面
1510‧‧‧世界時間選單
1520‧‧‧資訊
1605‧‧‧音樂清單
1610‧‧‧CD
1620‧‧‧圖示
1630‧‧‧進度列
1710‧‧‧影像清單
1720‧‧‧最大影像
1721、1722‧‧‧影像
1810‧‧‧影像
1811‧‧‧整個區域
1910‧‧‧三維影像
1911‧‧‧經擴張的三維影像
1912、1913‧‧‧經旋轉的三維影像
1914‧‧‧所改變的三維影像
2001‧‧‧電子書
D1、D2、D3、Dn‧‧‧資料線
E1‧‧‧線
M11‧‧‧第一開關元件
M12‧‧‧第二開關元件
M13‧‧‧第三開關元件
M21‧‧‧第一開關元件
M22‧‧‧第二開關元件
M23‧‧‧第三開關元件
M31‧‧‧第一開關元件
M32‧‧‧第二開關元件
M33‧‧‧第三開關元件
S1、S2、Sn‧‧‧掃描線
S810、S820、S830、S840、S850、S1410、S1420、S1430、S1440、S1450、S1460、S1470、S1480、S4810、S4820、S4830‧‧‧操作
VDD、VDD1~VDD3‧‧‧電源電壓
VSS、VSS1~VSS3‧‧‧接地電壓
θ‧‧‧角度
θ2‧‧‧角度
結合附圖,自實施例的以下描述,本一般發明概念的此等及/或其他特徵以及效用將變得顯而易見且更容易瞭解。
圖1為說明根據本一般發明概念的例示性實施例的多顯示設備的方塊圖。
圖2為說明根據本一般發明概念的例示性實施例的具有兩個相機的多顯示設備的透視圖。
圖3至圖4說明根據本一般發明概念的各種例示性實施例的辨識示意動作的範圍。
圖5至圖7說明根據本一般發明概念的例示性實施例的在多相機處辨識運動的方法。
圖8為說明根據本一般發明概念的例示性實施例的辨識示意動作形狀的方法的流程圖。
圖9至圖10說明根據本一般發明概念的例示性實施例的針對單示意動作辨識模式的操作。
圖11至圖12說明根據本一般發明概念的例示性實施例的針對多示意動作辨識模式的操作。
圖13說明根據本一般發明概念的例示性實施例的辨識相繼示意動作的方法。
圖14為說明根據本一般發明概念的例示性實施例的多顯示設備的控制方法的流程圖。
圖15說明根據本一般發明概念的例示性實施例的針對示意 動作辨識模式的螢幕。
圖16至圖20說明根據本一般發明概念的例示性實施例的回應於單一示意動作而改變的使用者介面(UI)。
圖21至圖27說明根據本一般發明概念的例示性實施例的回應於多示意動作而改變的使用者介面(UI)。
圖28至圖32說明根據本一般發明概念的各種例示性實施例的多顯示設備的相機的配置。
圖33說明根據本一般發明概念的例示性實施例的具有可旋轉相機的多顯示設備。
圖34至圖38說明根據本一般發明概念的例示性實施例的根據多顯示設備的第一本體與第二本體之間的相對角度而實施的螢幕模式。
圖39為說明根據本一般發明概念的例示性實施例的多顯示設備的詳細方塊圖。
圖40為說明根據本一般發明概念的各種例示性實施例的多顯示設備的詳細方塊圖。
圖41為說明根據本一般發明概念的例示性實施例的使用多個畫面緩衝器來控制每一顯示器的操作的多顯示設備的詳細方塊圖。
圖42為說明根據本一般發明概念的例示性實施例的使用整合式畫面緩衝器來控制每一顯示器的操作的多顯示設備的方塊圖。
圖43為說明圖41所說明的兩個顯示器中的第一顯示器的結構的視圖。
圖44為說明構成圖43所說明的顯示面板的R、G、B像素的電路結構的視圖。
圖45為說明根據本一般發明概念的例示性實施例的多顯示設備的系統階層結構的視圖。
圖46至圖47說明偵測近接觸碰的方法。
圖48為說明根據本一般發明概念的例示性實施例的多顯示設備的控制方法的流程圖。
現將詳細參考本一般發明概念的實施例,所述實施例的實例說明於附圖中,其中相似參考數字在全文中指示相似元件。下文描述所述實施例以便在參看圖式的同時解釋本一般發明概念。
在下文描述中,相同圖式參考數字用於相同元件,即使是在不同圖式中也是如此。提供本說明書中所定義的內容(諸如,詳細構造以及元件)以輔助全面理解本發明概念。因此,顯而易見的是,可進行本一般發明概念的例示性實施例,而不需要此些具體定義的內容。且,不會詳細描述熟知功能或構造,此是因為此等功能或構造將會以不必要的細節混淆本發明。
如本文中所使用,「多顯示設備」指包含用以實施應用程式或顯示內容的一或多個顯示器的設備,其實例包含平板型個人電腦(personal computer,PC)、筆記型電腦、膝上型電腦、攜帶型多媒體播放器(portable multimedia player,PMP)、個人數位助理(personal digital assistance,PDA)、智慧型電話、行動電話或數位 相框(digital frame)。取決於本一般發明概念的例示性實施例,所述顯示器中的一或多者可為觸碰螢幕。
圖1為說明根據本一般發明概念的例示性實施例的多顯示設備100的方塊圖。
參看圖1,多顯示設備100可包含第一本體2、第二本體4以及鉸鏈185。第一本體2可包含控制器130、第一成像單元140a以及第一顯示器190a。第二本體4可包含第二成像單元140b以及第二顯示器190b。視需要,控制器130可包含於第二本體4中,或者,多個控制器130可包含於第一本體2與第二本體4兩者中。
第一本體2以及第二本體4可經由鉸鏈185而連接。第一本體2以及第二本體4可圍繞鉸鏈185旋轉。因此,第一顯示器190a以及第二顯示器190b可打開,而使得其後側彼此接觸。或者,取決於鉸鏈185的結構,第一顯示器190a以及第二顯示器190b可完全打開,亦即,鉸鏈的角度為180度。下文將解釋第一本體2以及第二本體4相對於鉸鏈185打開的各種形式。
控制器130可使用第一顯示器190a以及第二顯示器190b中的一或多者來顯示各種螢幕。第一顯示器190a以及第二顯示器190b可一起在自身上顯示一個螢幕,亦即,第一顯示器190a以及第二顯示器190b可將單一螢幕的部分顯示得過大以致於無法適配於第一顯示器190a或第二顯示器190b中的一者上。第一顯示器190a以及第二顯示器190b亦可顯示彼此不同的螢幕。控制器130可藉由根據包含正在實施的應用程式、內容的類型或由使用者進行的選擇的各種條件而選擇性地啟動第一顯示器190a以及第二顯示器190b來顯示各種螢幕。圖1說明具有兩個顯示器190(亦即, 第一顯示器190a以及第二顯示器190b)的「雙顯示設備」。然而,考慮到取決於本一般發明概念的例示性實施例而可能存在兩個或三個或三個以上顯示器190,根據本一般發明概念的例示性實施例的顯示設備將在下文稱作「多顯示設備」100。
第一成像單元140a以及第二成像單元140b可分別設置於第一本體2以及第二本體4中。第一成像單元140a以及第二成像單元140b中的每一者可分別包含相機(141、142,說明於圖2中)。相機141、142可各自包含鏡頭以及影像感測器(未繪示)。
在每一相機141、142中可使用通用鏡頭、寬角鏡頭或變焦鏡頭。第一成像單元140a以及第二成像單元140b可實施為具有相同種類的鏡頭的相機141、142,但視需要可具有不同類型的鏡頭。
控制器130根據各種使用者操縱來控制多顯示設備100的操作,所述各種使用者操縱包含(諸如)使用者觸碰、對設置於第一本體2以及第二本體4上的按鈕161(說明於圖39中)的選擇、使用者示意動作或語音。舉例而言,電源按鈕(未繪示)可設置於第一本體2以及第二本體4上,在此狀況下,可根據關於電源按鈕而進行的選擇來實施多顯示設備100的接通或切斷。在另一實例中,選單(未繪示)可指示於第一顯示器190a以及第二顯示器190b上,在此狀況下,當使用者觸碰特定選單時,可實施對應於特定選單的操作。
在使用者示意動作辨識模式下,控制器130可使用分別在第一成像單元140a以及第二成像單元140b處攝取的多個影像來辨識使用者示意動作。參看圖1,多個成像單元140a、140b可 安裝於彼此不同的本體2、4上,且可自不同角度拍攝對象(例如,使用者的手、面部或其他輸入裝置)。當成像單元140a、140b以彼此不同的角度拍攝使用者物件51(說明於圖5中)時,不僅可偵測簡單的二維運動,而且可偵測三維運動。結果,可辨識較多使用者示意動作,且所得辨識結果較準確。表達「使用者物件51」的含義可被定義為用以將命令輸入至多顯示設備100的構件,且其實例可為使用者的身體的一部分(諸如,手)或外部裝置(諸如,筆51a)。
控制器130可藉由綜合地考慮在第一成像單元140a以及第二成像單元140b處攝取的多個影像而辨識使用者示意動作。下文將解釋藉由綜合地考慮多個影像來辨識使用者示意動作的方法。
當使用者示意動作得以辨識時,控制器130執行對應於使用者示意動作的操作。亦即,控制器130可實施各種操作,包含(例如)執行應用程式、選擇各種圖示、移動遊標、完成應用程式、改變模式或執行功能。或者,控制器130可實施如下螢幕相關操作:在第一顯示器190a與第二顯示器190b之間交換螢幕;擴張顯示於第一顯示器190a以及第二顯示器190b中的一者上的螢幕以使得所述螢幕不顯示於第一顯示器190a與第二顯示器190b兩者上;或減小或移除螢幕。對應於各別使用者示意動作的操作可預先設定且儲存於儲存器170(說明於圖39中)處。
另外,控制器130可偵測第一本體2與第二本體4之間的角度且向使用者通知所偵測的角度,且實施匹配所偵測的角度的操作。
在關於根據本一般發明概念的例示性實施例的多顯示設備100的外部結構的解釋之後,下文將解釋控制器130的各種操作。
圖2為說明根據本一般發明概念的例示性實施例的具有兩個相機141、142的多顯示設備100的透視圖。
參看圖2,多顯示設備100的第一本體2以及第二本體4可經由鉸鏈185而連接且可相對於彼此移動。第一本體2與第二本體4之間的角度可為在0度與360度之間的隨機角度。第一相機141可配置於第一本體2的邊緣區域上,亦即,在與鉸鏈185相對的邊緣區域的中央部分處。第二相機142可配置於第二本體4的邊緣區域上,亦即,在與鉸鏈185相對的邊緣區域的中央部分處。
當示意動作辨識模式啟動時,控制器130可使用第一相機141以及第二相機142來拍攝對象,使用所拍攝的結果來判定使用者示意動作,且執行對應於使用者示意動作的操作。示意動作辨識模式可在使用者操縱按鈕161(說明於圖39中)時、在本體2、4中的一者相對於另一者旋轉時或在特定示意動作得以辨識時被啟動。
舉例而言,在回應於本體旋轉來改變示意動作辨識模式的本一般發明概念的例示性實施例中,當使用者旋轉第一本體2以及第二本體4中的一或多者以使得第一本體2與第二本體4之間的角度增大至大於預定角度時,控制器130可在示意動作辨識模式下操作。因此,使用者可能能夠以其示意動作來控制多顯示設備100的操作。
取決於第一本體2與第二本體4之間的角度(亦即,360-θ),由第一相機141以及第二相機142進行的拍攝的角度可不同。藉由考慮可較有效地辨識使用者示意動作的角度或當使用多顯示設備100時使用者最頻繁作出的姿勢等,製造商可預先設定且儲存辨識角度。當第一本體2與第二本體4之間的角度(360-θ)在預先設定的辨識角度範圍內時,控制器130可自動地在示意動作辨識模式下操作。在本一般發明概念的一個例示性實施例中,當第一本體2與第二本體4之間的角度(360-θ)在60度與150度之間時,多顯示設備100可在示意動作辨識模式下操作。
當達到用於示意動作辨識模式的角度時,多顯示設備100可警告使用者。在本一般發明概念的一個例示性實施例中,當鉸鏈185打開而達到示意動作辨識模式開始的限制時(當突起或止動件正喀嗒插上(clicking in)時),使用者可知曉示意動作辨識模式。
在本一般發明概念的另一例示性實施例中,當控制器130在示意動作辨識模式開始的角度限制處產生警告音或視覺訊息時,使用者可知曉示意動作辨識模式。警告音可包含(例如)嗶嗶聲、旋律或語音。
在本一般發明概念的又一例示性實施例中,多顯示設備100可在示意動作辨識模式下操作而無關於角度,亦即,當使用者觸碰顯示器190a、190b上的示意動作辨識模式選單(未說明)時,或當使用者按壓第一本體2或第二本體4上的示意動作辨識模式鍵(未說明)時,在示意動作辨識模式下操作。
需要在相機141、142的辨識範圍6、7內的使用者的運 動,以供多顯示設備100辨識使用者示意動作。如本文中所使用,「使用者的運動」可包含(例如)如經由第一相機141或第二相機142而感知的使用者的手或筆的運動。
如上文所解釋,在本一般發明概念的各種例示性實施例中,第一相機141以及第二相機142可在示意動作辨識模式實施之前切斷或不啟動,且接著在示意動作辨識模式實施時啟動。
同時,可在辨識出特定示意動作時執行示意動作辨識模式。在本一般發明概念的此例示性實施例中,第一相機141以及第二相機142始終啟動。控制器130可持續監視如經由第一相機141以及第二相機142而攝取的使用者示意動作,且在辨識出特定示意動作(諸如,使用者的手或手指朝向螢幕的方向下壓)時自動地改變至示意動作辨識模式。若未進行特定示意動作,則可不回應於使用者示意動作而實施操作,在此狀況下,所述操作僅回應於觸碰、按鈕操縱或語音操縱而實施。
圖3至圖4說明根據本一般發明概念的各種例示性實施例的示意動作辨識的範圍。
圖3說明當通用相機141、142配置於多顯示設備100中時的示意動作辨識範圍6、7。第一相機141以及第二相機142設置至第一本體2以及第二本體4。每一相機141、142可具有預定視角。「視角」指在拍攝時可包含於預定螢幕中的水平或垂直視角。當第一相機141以及第二相機142為使用標準鏡頭的通用相機時,視角可為約45度。亦重要的是,使用者物件51或使用者運動的3維形狀經辨識以確保3D示意動作被準確地辨識出。因此,將第一相機141的辨識範圍6與第二相機142的辨識範圍7 之間的重疊部分設定為示意動作辨識區域10。
恒定地維持第一相機141以及第二相機142的各別辨識範圍6、7之間的重疊部分,即使在第一本體2與第二本體4之間的角度改變時亦是如此。然而,多顯示設備100與示意動作辨識區域之間的距離可根據第一本體2與第二本體4之間的角度而變化。
在本一般發明概念的另一例示性實施例中,多顯示設備100的第一相機141以及第二相機142可具有變焦鏡頭(未繪示)。如上文所解釋,距示意動作辨識範圍6、7的距離可取決於第一本體2與第二本體4之間的角度而變化。因此,使用變焦功能,具有變焦鏡頭的相機141或142可維持距使用者物件51的恒定辨識距離。
圖4說明當寬角相機141-1及141-2配置於多顯示設備100中時的示意動作辨識範圍8、9。「寬角相機」指包含具有比通用相機寬的視場的鏡頭的相機。寬角相機的代表性實例為魚眼鏡頭。參看圖4,具有寬角鏡頭的第一相機141-1以及第二相機142-1可分別包含於第一本體2以及第二本體4中。圖4亦說明多顯示設備100的第一相機141-1以及第二相機142-1的各別辨識範圍8、9。作為寬角相機的第一相機141-1以及第二相機142-1具有比圖3所說明的相機141、142的此些辨識範圍6、7寬的辨識範圍8、9。舉例而言,當第一相機141-1以及第二相機142-1為魚眼鏡頭相機時,第一相機141-1以及第二相機142-1各自具有180度的視角。因此,當實施寬角相機141-1、142-1時,多顯示設備100可確保比實施通用相機141、142時寬的示意動作辨識區域10。將理 解,除了使用寬角鏡頭以外,相機141-1及142-1實質上與相機141、142相同。因此,下文所論述的相機141、142的例示性實施例亦可應用於相機141-1、142-1。
如圖3及圖4所說明,第一本體2以及第二本體4圍繞鉸鏈旋轉以在第一本體2與第二本體4之間具有預定角度,僅在此情況下相機辨識範圍6、7重疊以形成示意動作辨識區域10。因此,在某些情形下,諸如當多顯示設備100關閉或以180度打開時,使用者示意動作辨識可為不可能的或不必要的。在此等情形下,至少一個相機141、142可不啟動以節省電力消耗。「不啟動」可指斷電以切斷相機141或142或關閉鏡頭蓋的操作。舉例而言,在關閉狀態下,相機141、142兩者可不啟動,而當多顯示設備100打開以使得相機141、142以大於預先設定的角度彼此分開時,相機141、142中的全部或一者可啟動。「啟動」可指重新供電以接通相機141或142或打開鏡頭蓋的操作。
在示意動作辨識模式下,多顯示設備100可通常啟動分別配置於第一本體2以及第二本體4處的兩個相機141、142。當在示意動作辨識範圍6或7中存在使用者的某運動時,多顯示設備100感知到此且執行對應操作。下文將解釋多顯示設備100辨識使用者示意動作的方法。
圖5至圖7說明根據本一般發明概念的例示性實施例的在多個相機141、142處辨識運動的方法。
多個畫面影像為必要的,以供控制器130偵測使用者物件51的移動。在圖5至圖7所說明的本一般發明概念的例示性實施例中,攝取三個此類畫面影像。然而,當拍攝移動物件時,物 件的形狀可能被模糊地攝取,亦即,「模糊現象」可能發生。因此,至少5至6個畫面影像為必要的。
參看圖5的視圖(1),一個使用者物件51在示意動作辨識區域10(說明於圖3及圖4中)中自左至右移動。第一相機141以及第二相機142攝取使用者物件51的運動。在圖5的視圖(2)的上半部上的三個影像71a、71b、71c表示在第一相機141處攝取的影像,而在圖5的視圖(2)的下半部上的三個影像72a、72b、72c表示在第二相機142處攝取的影像。
第一相機141自下方方向攝取使用者物件51的影像。第一相機141的第一影像71a攝取使用者物件51開始移動的時刻且將使用者物件51展示於螢幕的左側處。第二影像71b將使用者物件51展示於螢幕的中央部分處。第三影像71c將使用者物件51展示於螢幕的右側上。同樣,第二相機142自前方方向攝取使用者物件51的影像。第二相機142的第一影像72a攝取使用者物件51開始移動的時刻且將使用者物件51呈現於螢幕的左側上。第二影像72b將使用者物件51展示於螢幕的中央部分處。第三影像72c將使用者物件51展示於螢幕的右側上。
多顯示設備100的控制器130偵測使用者物件51的運動的形狀且使用至少三個影像來辨識示意動作。在辨識出示意動作之後,根據所辨識的示意動作來執行對應操作。
在本一般發明概念的另一例示性實施例中,第一相機141可主要地辨識使用者示意動作,而第二相機142可次要地辨識使用者示意動作的深度。如本文中所使用,「深度」指距預定平面或點的距離。第二相機142可為深度相機,量測使用者物件51與第 二相機142之間的距離。或者,第一相機141以及第二相機142的角色可互換。
參看圖6的視圖(1),一個使用者物件51在朝向多顯示設備100的方向上移動。第一相機141以及第二相機142攝取使用者物件51的運動。
如圖6的視圖(2)所說明,第一相機141的第一影像75a攝取使用者物件51開始移動的時刻,且將使用者物件51呈現於螢幕的下方部分上,而第二相機142的第一影像76a將使用者物件51以小的形狀呈現於螢幕的中央部分處。第一相機141的第二影像75b使使用者物件51位於螢幕的中央部分處,而第二相機142的第二影像76b使呈略增大的大小的使用者物件51位於螢幕的中央部分處。第一相機141的第三影像75c使使用者物件51呈現直至螢幕的上端,而第二相機142的第三影像76c使呈進一步增大的大小的使用者物件51位於螢幕的中央部分處。
因此,使用如經由第一相機141而攝取的使用者物件51的形狀以及運動,以及如經由第二相機142而攝取的使用者物件51的形狀以及運動,控制器130可辨識使用者物件51的空間示意動作。多顯示設備100回應於所辨識的示意動作來執行對應操作。
圖6所說明的多顯示設備100使用配置於本體2、4的不同部分上的多個相機141、142來辨識使用者物件51的運動,且因此可判定3維示意動作。亦即,第二相機142自前方方向攝取使用者物件51的影像(圖6)且偵測平行於第二顯示器190b的運動,而第一相機141自下方方向攝取使用者物件51的影像且可偵測垂直於第二顯示器190b的運動。控制器130可藉由組合相機 141、142的所拍攝的結果來辨識使用者的三維示意動作。因此,使用者示意動作較準確地與控制操作匹配,且示意動作的辨識率提高。
圖7說明將使用者示意動作辨識為立體影像的另一方法。
圖5至圖6說明第一相機141以及第二相機142,其經配置以使得一者在使用者物件51的前側且另一者在下側上。因此,關於相機141、142,一個相機將使用者的運動辨識為垂直以及水平的運動,而另一相機將使用者的運動辨識為深度運動。另一方面,圖7說明第一相機141以及第二相機142可將使用者的運動辨識為具有相反定向的相同運動。亦即,使用者的運動對兩個平行相機141、142的傳入影像為「立體影像」。
參看圖7的視圖(1),一個使用者物件51移動至多顯示設備100的方向。第一相機141以及第二相機142攝取使用者物件51的運動。然而,如經由相機141、142而攝取的使用者物件51的運動不同於圖5及圖6所說明的運動。
參看圖7的視圖(2),第一相機141的第一影像77a攝取使用者物件51開始移動的時刻,且將使用者物件51呈現於螢幕的右端的中央處,而第二相機142的第一影像78a使使用者物件51位於螢幕的左端的中央處。第一相機141的第二影像77b將使用者物件51呈現於螢幕的右側與中央之間,而第二相機142的第二影像78b將使用者物件51呈現於螢幕的左側與中央之間。第一相機141的第三影像77c使使用者物件51呈現直至螢幕的左端,而第二相機142的第三影像78c使使用者物件51呈現直至螢幕的右端。
因此,控制器130偵測如經由第一相機141而攝取的使用者物件51的形狀以及移動,以及如經由第一相機142而攝取的使用者物件51的形狀以及移動,且使用所偵測的結果而辨識使用者物件51的空間示意動作。多顯示設備100回應於所辨識的示意動作來執行對應操作。
儘管圖5至圖7說明當存在一個使用者物件51時辨識運動的方法,但同一方法同樣適用於存在兩個或兩個以上使用者物件51之時。
圖8為說明根據本一般發明概念的例示性實施例的辨識示意動作形狀的方法的流程圖。
辨識示意動作形狀的方法可包含:在操作S810處,經由第一相機以及第二相機中的至少一者而拍攝使用者物件51的影像;在操作S820處,將所拍攝的的影像轉換為修正的改良統計變換(revised modified census transform,RMCT)影像;在操作S830處,偵測局部結構特徵;在操作S840處,使用特徵點加權表來確認示意動作的類型;以及在操作S850處,辨識示意動作。
在操作S810處拍攝使用者物件51的影像可包含使用第一相機141以及第二相機142中的至少一者來拍攝使用者物件51的影像。在操作S820處轉換為RMCT影像可涉及基於周圍像素與3×3局部區域處的平均值的相關性的影像的轉換。在操作S830處的局部結構特徵的偵測可包含偵測藉由RMCT而轉換的影像的局部結構特徵。在操作S840處使用特徵點加權表來確認示意動作的類型可包含使用所偵測的的總體結構特徵以及特徵點加權表來確認具有匹配特徵的示意動作的類型。在操作S850處辨識示意動作 可包含當具有匹配特徵的示意動作得以確認時將使用者物件51的形狀辨識為所確認的示意動作,以使得多顯示設備100執行對應操作。
示意動作辨識的各種例示性實施例
圖9至圖10說明根據本一般發明概念的例示性實施例的單示意動作辨識模式的操作。
如本文中所使用,「單示意動作辨識模式」指將僅一個使用者物件51的移動辨識為空間示意動作的構件。舉例而言,多顯示設備100可隨機地將使用者的一隻手辨識為使用者物件51且僅將所辨識的手的運動辨識為空間示意動作。在此狀況下,多顯示設備100不辨識在相機141、142處攝取的其他手的示意動作。因此,單示意動作辨識模式可提供正常的示意動作辨識,即使是在由於未被辨識為使用者物件51的物件而產生中斷時亦是如此。
參看圖9,由多顯示設備100辨識的使用者物件51在示意動作辨識區域10中移動。多顯示設備100可藉由偵測如經由第一相機141以及第二相機142而攝取的使用者物件51的形狀或運動來辨識示意動作且執行對應操作。
在選擇單示意動作辨識模式的一個例示性實施例中,使用者可使用觸碰螢幕或按鈕161(說明於圖39中)而選擇示意動作辨識選單中的單示意動作辨識模式。在另一例示性實施例中,當實施示意動作辨識模式時,可在一個使用者物件51維持預定形狀持續預定時間時選擇單示意動作辨識模式。舉例而言,當使用者朝向第二相機142保持一隻手持續五秒鐘時,操作可在單示意 動作辨識模式下開始。在上文實例中,顯示器190a或190b可指示操作在單示意動作辨識模式下開始或請求使用者確認操作可在單示意動作辨識模式下開始。或者,諸如揚聲器(未繪示)的音訊輸出可輸出嗶嗶聲、旋律或語音資訊以通知使用者操作在單示意動作辨識模式下開始。
在單示意動作辨識模式下,因為多顯示設備100可僅辨識一個使用者物件51,所以操作不受其他使用者物件的中斷影響。舉例而言,使用者可使一個使用者物件51被辨識,且繼續進行示意動作,在此期間,第二使用者物件52可進入示意動作辨識區域10。第二使用者物件52可為(例如)使用者的另一隻手,或第二使用者的手。然而,因為多顯示設備100在單示意動作辨識模式下僅將一個使用者物件51辨識為示意動作構件,所以多顯示設備100不受影響,即使是在第二使用者物件52在示意動作辨識區域10中進行可辨識的示意動作時亦是如此。
參看圖10,在本一般發明概念的另一例示性實施例中,將筆51a實施為使用者物件51。將示意動作輸入至多顯示設備100的構件可或者為使用者的手或其他。筆51a可為無任何特定功能的簡單結構的筆,或結構化為在其中包含線圈(未繪示)以執行近接感測或各種其他額外功能。
多顯示設備100可在辨識一個輸入構件方面不區分使用者的手、筆,等等。或者,多顯示設備100可使用如上文所解釋的相機141或142來辨識筆51a的形狀,且在執行辨識時將筆51a與使用者的手區分開。
使用者可使用其自己的手使多顯示設備100辨識示意動 作,且接著將筆51a用作示意動作構件,或反之亦然。在此實例中,當輸入構件改變時,多顯示設備100可經由顯示器190a或190b指示輸入構件改變且輸入構件重新得以辨識。或者,替代指示資訊,多顯示設備100可藉由改變使用者介面(UI)物件(諸如,顯示於顯示器上的指標)的形狀或顏色而指示輸入構件改變。或者,在不給出任何資訊或改變的情況下,多顯示設備100可在內部辨識輸入構件的改變。
上文已參看圖9解釋在多顯示設備100處辨識示意動作且執行對應操作的方法,且因而本文中將不再重複。
圖11至圖12說明根據本一般發明概念的例示性實施例的在多示意動作辨識模式下的操作。
「多示意動作辨識模式」指多顯示設備100將至少兩個使用者物件51、52的運動辨識為空間示意動作的構件。舉例而言,多顯示設備100可將使用者的雙手辨識為使用者物件51、52且因此基於雙手的運動來辨識空間示意動作。在此實例中,示意動作辨識為可能的,即使是在雙手彼此交叉時亦是如此。
參看圖11,兩個使用者物件51、52在示意動作辨識區域10中恒定地移動。多顯示設備100偵測如經由第一相機141以及第二相機142而攝取的兩個使用者物件51、52的運動,辨識示意動作且回應於所述示意動作而執行對應操作。
參看圖12,一個使用者物件51可為使用者的手54且另一者可為筆51a。在多示意動作辨識模式下,使用者物件51可為使用者的雙手,或筆51a以及使用者的一隻手,或兩支筆51a。上文已解釋在多顯示設備100處辨識示意動作且執行對應操作的方 法。
圖13說明根據本一般發明概念的例示性實施例的辨識相繼示意動作的方法。
如本文中所使用,「相繼示意動作」指整合兩個示意動作(諸如,選擇示意動作以及移動示意動作)的一個連續示意動作。因為第一相機141以及第二相機142三維地配置,所以多顯示設備100能夠辨識相繼示意動作。
參看圖13,使用者物件51朝向第二相機142移動且接著向右移動。各種命令可與使用者示意動作匹配。在一個實例中,使用者物件51朝向第二相機142移動的示意動作可對應於選擇圖示的命令,且向右移動的示意動作可對應於向右移動的命令。在此實例中,使用者物件51的相繼示意動作(如圖13所說明的示意動作)對應於選擇且移動圖示的命令,且因此,多顯示設備100可相繼執行選擇圖示的操作以及移動所述圖示的操作。亦即,當使用者物件51移動進而構成一個相繼圖案時,控制器130可相繼執行對應於構成所述相繼圖案的各別使用者示意動作的多個控制操作。
圖14為說明根據本一般發明概念的例示性實施例的多顯示設備100的控制方法的流程圖。
參看圖14,在操作S1410處,多顯示設備100偵測相對於鉸鏈185的第一本體2與第二本體4之間的角度且判定第一本體2以及第二本體4是否在預先設定的角度範圍內。若第一本體2以及第二本體4不在預先設定的角度範圍內(S1410-否),則控制方法結束。若第一本體以及第二本體在預先設定的角度範圍內 (S1410-是),則控制方法進行至操作S1420,在操作S1420處,啟動第一成像單元140a以及第二成像單元140b。具體言之,第一成像單元140a以及第二成像單元140b分別自切斷狀態接通。在操作S1430處,當第一成像單元140a以及第二成像單元140b啟動時,藉由各別成像單元140a、140b拍攝影像。
如上文所解釋,多顯示設備100藉由綜合地使用經由各別成像單元140a、140b而攝取的多個影像來辨識使用者示意動作。在一個實例中,多顯示設備100可在多示意動作辨識模式以及單示意動作辨識模式中的一者下操作。
在操作S1440處,使用者可選擇是否使用多示意動作辨識模式,亦即,使用者可選擇多示意動作辨識模式以及單示意動作辨識模式中的一者。當選擇多示意動作辨識模式時(操作S1440-是),在操作S1450處,追蹤在第一辨識範圍6以及第二辨識範圍7中移動的多個使用者物件51的運動以使得使用者示意動作得以辨識。相比而言,當選擇單示意動作辨識模式時(操作S1440-否),在操作S1460處,追蹤在第一辨識範圍6以及第二辨識範圍7中移動的一個使用者物件51的運動以使得使用者示意動作得以辨識。亦即,可使用待由第一成像單元拍攝的在第一辨識範圍6中移動的使用者物件51的運動的方向以及待由第二成像單元拍攝的在第二辨識範圍7中移動的使用者物件51的運動的方向在第一辨識範圍6與第二辨識範圍7之間的重疊範圍中三維地辨識使用者示意動作。
當使用者不在多示意動作辨識模式與單示意動作辨識模式之間進行選擇時,可自動地實施預設辨識模式。
在操作S1470處,多顯示設備100可根據多示意動作辨識模式以及單示意動作辨識模式中的一者使用在第一成像單元140a以及第二成像單元140b處攝取的多個影像來辨識使用者示意動作。在操作S1480處,當使用者示意動作得以辨識時,多顯示設備100執行對應於如所辨識的使用者示意動作的控制操作。
圖15說明根據本一般發明概念的例示性實施例的示意動作辨識模式螢幕。
圖15特定地說明單示意動作辨識模式螢幕。為了使使用者能夠感知到操作是在所述示意動作辨識模式下,多顯示設備100可將手形圖示13顯示於第二顯示器190b的狀態顯示視窗上。圖示13可具有另一形狀,只要其使檢視者能夠感知示意動作辨識模式,或可替代圖示13而顯示諸如「示意動作」或「G」的文字(未繪示)。圖示13或文字可顯示於第一顯示器190a或第二顯示器190b上的隨機位置處。或者,可使用(例如)發光二極體(light emitting diode,LED)(未繪示)將圖示13或文字顯示於第一本體2以及第二本體4的區域處而不是顯示器處。
一個使用者物件51可在示意動作辨識區域10中移動。第一相機141以及第二相機142可出於示意動作辨識的目的而攝取使用者物件51的運動,而第一顯示器190a以及第二顯示器190b顯示諸如首頁、選單或圖示的一般內容。因此,考慮到使用者可能無法容易地在顯示器190a、190b上感知到使用者物件51的運動的位置,對應於使用者物件51的運動的指標12可得以指示。如所說明,指標12可呈十字、箭頭、手或各種其他形狀的形式而設置。或者,使用者可隨機地選擇形狀。因此允許使用者按照直 覺辨識示意動作,此是因為當使用者物件51自左至右移動時,指標12自左至右移動。
在多示意動作辨識模式下,可存在對應於使用者物件51的數目的兩個或兩個以上指標12。
目前已解釋根據本一般發明概念的各種例示性實施例的由使用者使用示意動作將命令輸入至多顯示設備100。下文中,將解釋根據本一般發明概念的各種例示性實施例根據示意動作來改變螢幕。
根據各種例示性實施例基於示意動作來改變使用者介面(UI)
圖16至圖20說明根據本一般發明概念的例示性實施例的回應於單一示意動作的對使用者介面(UI)的改變。
在本一般發明概念的一個例示性實施例中,使用相機141或142將空間中的示意動作辨識為輸入命令,以使得多顯示100設備執行對應操作。然而,為了使用者的便利,空間中的示意動作可映射至習知示意動作。
觸碰示意動作類型
在本一般發明概念的一個例示性實施例中,如本文中所使用「觸碰示意動作」可涵蓋直接接觸觸碰螢幕(未繪示)或接近所述觸碰螢幕附近以允許多顯示設備100感知到使用者示意動作的所有類型的使用者示意動作。舉例而言,上文可為使用左手以及右手手指(具體言之,食指)、拇指或可由觸碰螢幕偵測的物件(例如,觸控筆51a)來選擇一個或多個相繼位置的使用者移動。 下文將參考下表來詳細解釋觸碰示意動作。
表1特定地解釋以一根手指進行的示意動作類型。
參考表1,使用一根手指的示意動作類型可包含點選、觸碰及保持、點兩下、拖曳、拖放及其類似者。「點選」指輕輕按壓於觸碰螢幕上且將其終止的使用者的運動。「觸碰及保持」指觸碰持續長的時間週期的使用者的運動。「點兩下」指快速點選兩次的使用者的運動。「拖曳」指在一個方向上拖曳的使用者的運動,且「拖放」指按壓觸碰螢幕上的物件且接著將其自一個位置拖曳至另一位置的使用者的運動,且「撥動」指快速拖曳的使用者的運動。
表2解釋以兩根手指進行的示意動作類型。
參考表2,以兩根手指進行的示意動作類型包含雙指點選、觸碰及展開、擴展、捏合、雙指拖曳、雙指交叉、或觸碰及旋轉。「雙指點選」指同時以兩根手指點選的使用者的運動,「觸碰及展開」指同時以兩隻手按壓觸碰螢幕、而其中一根手指線性地移動而另一手指位置固定的使用者的運動。「擴展」指以兩根手指同時按壓觸碰螢幕且接著在相反方向上拖曳的使用者的運動,且「捏合」指以兩根手指同時按壓觸碰螢幕且接著朝向彼此拖曳手指的使用者的運動。「雙指拖曳」指向同一方向拖曳兩根手指的使用者的運動,而「雙指交叉」指朝向彼此拖曳兩根手指直至手指彼此交叉且接著移動而遠離的使用者的運動。「觸碰及旋轉」指以兩根手指同時按壓觸碰螢幕且接著相對於彼此來旋轉手指以定義圓形路徑的使用者的運動。
表3解釋以兩根或兩根以上手指以及手掌進行的示意動作類型。
參看表3,以兩根或兩根以上手指進行的示意動作類型包含三指觸碰、四指觸碰或五指觸碰。另外,可使用兩根或兩根以上手指進行諸如如表1及表2中所列出的點選、拖曳或旋轉的示意動作。
空間示意動作類型
除了上文所解釋的示意動作以外,可如下在本一般發明概念的一個例示性實施例中定義空間示意動作設定。
表4列出空間示意動作中的基本集合的實例,且表5列出空間示意動作中的手指集合的實例。
如上文所解釋,使用者示意動作可為單指示意動作、雙指示意動作、多指示意動作、手掌示意動作、多手掌示意動作、拳頭示意動作或多拳頭示意動作中的任一者。
然而,如上文所解釋的空間示意動作僅為本一般發明概念的例示性實施例中的一者,且名稱、運動或對應命令可另外定義。另外,對應命令可變化以適合於各別內容,即使是進行同一示意動作時亦是如此。類似地,可增加其他示意動作集合。當觸碰示意動作集合、以及2D和3D示意動作集合以類似方式或相同方式組合作為空間示意動作時,提供了使用者便利。視需要,多顯示設備100可包含示意動作集合設定選單以使使用者能夠設定唯一的示意動作集合且使用所述唯一的示意動作集合。
下文中,將解釋根據如上文所解釋的各種使用者示意動作來改變螢幕。
圖16說明回應於左示意動作而改變的使用者介面。所述左示意動作特定地將使用者物件51向左撥動。
圖16僅說明與左示意動作相關的特徵,而為了便於解釋 省略了特定設備構造以及螢幕構造。參看圖16,分別顯示於第一顯示器190a以及第二顯示器190b上的計數器1405及1406指示螢幕的頁面,且因此指示螢幕的當前頁碼。參看圖16的視圖(1),第一顯示器190a顯示第一頁面1410,而第二顯示器190b顯示第二頁面1420。一個使用者物件51向側面張開手且自右至左移動。使用者物件51的行進區域包含於示意動作辨識區域10中。
當使用者物件51移動時,第一相機141以及第二相機142拍攝使用者物件51,且控制器130藉由偵測使用者物件51的移動來辨識左示意動作。當控制器130辨識出左示意動作時,作為回應,執行向左移動頁面的操作。參看圖16的視圖(2),作為靠近第一頁面1410以及第二頁面1420的頁面的第三頁面1411以及第四頁面1421顯示於第一顯示器190a以及第二顯示器190b上。
參看圖16,當感知到將使用者物件51向右撥動的示意動作時,在當前顯示的頁面之前的兩個頁面顯示於第一顯示器190a以及第二顯示器190b上。亦即,顛倒自頁面1及2前進至頁面3及4的上述程序。
圖17說明回應於握持及導覽示意動作而改變的使用者介面(UI)。
「握持」示意動作指握住拳頭的運動。回應於握持示意動作,選擇UI物件(例如,圖示、資料夾,等)。在圖17的視圖(1)中,第一相機141拍攝使用者物件51,使用者物件51自展開的手改變為拳頭。第二相機142拍攝自手的末尾改變為拳頭的使用者物件51。控制器130分析如在第一相機141以及第二相機142處拍攝的使用者物件51的改變且辨識握持示意動作。
「導覽」示意動作可指握住拳頭並移動的運動。回應於導覽示意動作,所選擇的UI物件根據使用者物件51的移位而移動至一位置。如上文所解釋,控制器130可分析第一相機141以及第二相機142的所拍攝的影像,且辨識導覽示意動作。將理解,取決於本一般發明概念的例示性實施例,各種其他示意動作(諸如,表4及表5中所列出的此等示意動作)可用作「導覽」示意動作。
參看圖17的視圖(1),第一顯示器190a可具有若干應用程式圖示、介面工具集以及選單(諸如,世界時間選單1510)。使用者物件51為空間示意動作做準備。第一相機141以及第二相機142拍攝使用者物件51的運動,且控制器130偵測所拍攝的運動且辨識示意動作。對應於使用者物件51的指標12根據使用者物件51的運動而在顯示器190a或190b中的一者的螢幕上移動。舉例而言,當使用者物件51展開手且在示意動作辨識區域10中移動時,指標12亦根據使用者物件51的運動而在螢幕上移動。因此,使用者可藉由檢查指標12的運動而移動至所要圖示或選單。參看圖17的視圖(1),指標12根據使用者物件51的移動而移動且置放於世界時間選單1510上。此時,使用者物件51進行握持示意動作,亦即,握住拳頭。握持示意動作可選擇內容,諸如,圖示。在圖17中,將世界時間選單1510用作所選擇的此類內容的實例。將理解,可按照與圖17中關於世界時間選單1510所描述的方式類似的方式來選擇顯示於第一顯示器190a或第二顯示器190b上的任何圖示或其他內容。亦將理解,取決於本一般發明概念的例示性實施例,可使用其他示意動作來選擇內容。
參看圖17的視圖(2),控制器130辨識握持示意動作且回應於所述握持示意動作而執行選單選擇操作。因此,世界時間選單1510得以選擇。為了確保選擇操作對於使用者而言可按照直覺辨識,控制器130可按照預定顏色在世界時間選單1510周圍顯示邊界16a。在另一實例中,所選擇內容的顏色可改變,或所述內容可顯示為如向前彈出或向後凹陷一樣。或者,指標12可按照手的形狀來設置,在此狀況下,指標12可在選單的選擇之後改變為拳頭以確保使用者感知到選單的選擇。
在此狀態下,使用者物件51執行導覽示意動作。如上文關於圖17的視圖(1)所注明,「導覽」示意動作可指握住拳頭且向預定方向移動的運動。導覽示意動作可在預定方向上移動所選擇的內容。
參看圖17的視圖(3),使用者物件51保持握住拳頭且在對角線方向上自第一本體2移動至第二本體4。根據使用者物件51的移動,世界時間選單1510亦自第一顯示器190a移動至第二顯示器190b。為了確保使用者感知到握持示意動作,只要握持得以維持,世界時間選單1511周圍的邊界16b便可得以維持。
當世界時間選單1510移動至第二顯示器190b時,使用者物件51進行執行內容的示意動作(諸如,手展開)。
參看圖17的視圖(4),控制器130將示意動作辨識為用以執行內容的命令,且因此將對應於所選擇的內容的資訊1520顯示於第二顯示器190b上。在世界時間選單1510的狀況下,控制器130將特定區域的資訊1520與世界地圖一起顯示於第二顯示器190b上。
圖18說明回應於旋轉示意動作而改變的使用者介面。
在圖18的視圖(1)所說明的本一般發明概念的例示性實施例中,音樂清單1605顯示於第一顯示器190a上。如圖18的視圖(1)所說明,音樂清單1605可按照三維地旋轉的一或多個CD盒的形式來顯示。在另一實例中,音樂清單1605可按照CD標題或CD盒的縮圖影像的形式來顯示。使用者物件51可使用例如左或右示意動作的示意動作來旋轉音樂清單1605。當回應於使用者物件51的示意動作在第一顯示器190a上選擇包含使用者意欲播放的音樂的CD 1610時,使用者可藉由使用者物件51使用(例如)握持及導覽示意動作而將包含音樂的CD 1610移動至第二顯示器190b。上文已參看圖17解釋多顯示設備100針對握持及導覽示意動作的對應操作,且因而本文中將不再重複。
自第一顯示器190a移動的包含音樂的CD 1610在第二顯示器190b上顯示為圖示1620,且指示音樂播放的狀態的進度列1630得以顯示。視需要,亦即,當一個CD中包含多個音樂檔案時,可按照與上述選擇CD的方法類似的方式來執行選擇一個音樂檔案的程序。
在上文關於圖18的視圖(1)所述的選擇程序之後,使用者可藉由使用者物件51而進行另一示意動作以播放所選擇的音樂。舉例而言,使用者可進行旋轉示意動作,亦即,以使用者物件51繪畫圓圈。
參看圖18的視圖(2),辨識使用者物件51的旋轉示意動作的多顯示設備100可播放顯示於第二顯示器190b上的音樂且指示進度列1631上的進度狀態。
圖19說明回應於擴展/捏合示意動作而改變的使用者介面。
參看圖19的視圖(1),影像清單1710呈現於第一顯示器190a上。影像清單1710可顯示為如三維地旋轉一樣。在另一實例中,可僅顯示影像名稱,或可將縮圖影像顯示於平面上。
影像清單1710可回應於使用者物件51的示意動作而旋轉,所述示意動作可展開手掌且上下、左右移動。如上文所解釋,可回應於同一示意動作而發佈不同反應命令以適合於所實施的內容的類型。第一顯示器190a可專門以3D方式顯示影像清單1710,在影像清單1710中,在影像清單1710的中央處的最大影像1720以可選擇形式而顯示。因此,使用者物件51的示意動作(諸如,上下及左右移動展開的手掌)可對應於用以旋轉影像清單1710的命令。
使用者物件51可進行握持示意動作以及自第一本體2移動至第二本體4的導覽示意動作,以使得顯示於第一顯示器190a的中央處的最大影像1720類似於上文關於圖17及圖18所述的方法而移動至第二顯示器190b。
參看圖19的視圖(2),在第一顯示器190a的中央處的最大影像1720移動至第二顯示器190b,進而在第二顯示器190b上形成影像1721。
使用者物件51可藉由擴展/捏合示意動作而在第二顯示器190b上擴張或減小影像1721。「擴展/捏合」示意動作指將兩根手指水平地或垂直地彼此張開或合上的運動。
參看圖19的視圖(3),回應於使用者物件51的擴展放大 (pinch zoom-in)示意動作,控制器130可在第二顯示器190b上擴張影像1721以形成影像1722。或者,可回應於使用者物件51的捏合縮小(pinch zoom-out)示意動作而減小影像1721。
圖20說明回應於使用者物件51的觸碰及移動示意動作而改變的使用者介面。在空間示意動作集合中,觸碰示意動作指使用者物件51接近顯示器190a、190b的運動,且此不指在顯示器190a、190b上直接觸碰。然而,考慮到與直接觸碰類似的運動,為了便於解釋,此將簡單地稱作「觸碰示意動作」。
參看圖20的視圖(1),螢幕顯示於直立定位的多顯示設備100上,而電子書2001執行於多顯示設備100上。第一顯示器190a顯示電子書2001的左側頁面,而第二顯示器190b顯示電子書2001的右側頁面。
為了將電子書2001的頁面自右側翻至左側,使用者物件51在相機141及142的示意動作辨識區域10中進行觸碰示意動作,且自右至左移動。控制器130辨識觸碰及移動示意動作且執行對應命令。
參看圖20的視圖(2),第一顯示器190a以及第二顯示器190b顯示靠近先前顯示的頁面的兩個頁面,所述兩個頁面是由於將右側頁面翻至左側而出現。為了確保給出較逼真的效果,可提供紙質書籍翻頁的視覺效果。
圖21至圖27說明根據本一般發明概念的例示性實施例的回應於多示意動作而改變的使用者介面。
多示意動作可指分別由使用者物件51進行的上述示意動作,或由兩個使用者物件51及52進行的一個示意動作。
圖21說明回應於擴展/捏合示意動作而改變的使用者介面。在多示意動作辨識模式下,至少兩個使用者物件51、52可用作示意動作辨識的工具。參看圖21的視圖(1),影像1810呈現於第一顯示器190a上的預定區域處。
為了便於解釋示意動作運動,如下定義方向。X軸方向垂直於鉸鏈185且平行於多顯示設備100的第一本體2而延伸,Y軸方向自多顯示設備100的第一本體2的一個鉸接端沿著鉸鏈185延伸至第一本體2的另一鉸接端,且Z軸方向垂直於第一本體2向上延伸。
第一使用者物件51進行握住拳頭的示意動作以表達握持示意動作,且第二使用者物件52握住拳頭且在Y-Z平面的右上方向上向某方向移動。控制器130辨識第一使用者物件51以及第二使用者物件52的示意動作且執行對應操作。
參看圖21的視圖(2),當進行第一使用者物件51的握持示意動作以及第二使用者物件52的握持示意動作以及用以在Y-Z平面上向預定方向22擴張的示意動作時,控制器130感知到影像擴張示意動作。在圖21的視圖(3)中說明預定方向22的實例。因此,呈現於第一顯示器190a上的預定區域處的影像1810擴張至第一顯示器190a以及第二顯示器190b的整個區域1811。
圖22至圖26說明回應於多示意動作而改變的顯示三維影像1910的螢幕。
參看圖22,一個三維影像1910在第一顯示器190a以及第二顯示器190b上顯示為整個螢幕。第一相機141以及第二相機142分別配置於第一本體2以及第二本體4中。兩個使用者物件 51、52在示意動作辨識區域10中的運動在第一相機141以及第二相機142處被拍攝,且控制器130辨識示意動作。視狀況,在多示意動作辨識模式下三個或三個以上使用者物件可用作示意動作工具。
在多示意動作辨識模式下,控制器130可再次顯示對應指標14a、14b以確保使用者感知到顯示器190a、190b上對應於使用者物件51、52的運動的位置。指標的數目可對應於使用者物件的數目以使得指標可分別對應於使用者物件。指標14a、14b分別根據使用者物件51、52的運動而在螢幕上移動。舉例而言,當使用者物件51、52朝向顯示器190a及190b的方向張開且在示意動作辨識區域10內移動時,指標14a、14b亦根據使用者物件51、52而在螢幕上移動。
參看圖23的視圖(1),第一使用者物件51形成拳頭以表達握持示意動作,且第二使用者物件52展開手且在Y-Z平面的預定方向24d(亦即,右上方側)上移動。
圖23的視圖(2)說明第二使用者物件51移動到的預定方向24d。
控制器130辨識第一使用者物件51以及第二使用者物件52的示意動作且執行對應操作。亦即,當第一使用者物件51進行握持示意動作且第二使用者物件52進行在Y-Z平面上向預定方向24b移動的示意動作時,控制器130辨識擴展放大示意動作。因此,如圖22所說明的在第一顯示器190a以及第二顯示器190b上的三維影像1910回應於擴展放大示意動作而擴張,從而產生經擴張的三維影像1911(說明於圖23的視圖(1)中)。
參看圖24的視圖(1),第一使用者物件51形成拳頭以表達握持示意動作,且第二使用者物件52展開手且在繪畫圓圈的同時自第一顯示器190a移動至使用者的前方。
圖24的視圖(2)說明第二使用者物件52移動的方向。第二使用者物件52在繪畫圓圈的同時在X-Y平面上在預定方向上移動。
控制器130辨識第一使用者物件51以及第二使用者物件52的示意動作且執行對應操作。亦即,當第一使用者物件51進行握持示意動作且第二使用者物件52進行在繪畫圓圈的同時在X-Y平面上向預定方向24c移動的示意動作時,控制器130辨識三維影像1912的旋轉示意動作。因此,如圖22所說明的在第一顯示器190a以及第二顯示器190b上的三維影像1910圍繞Y軸旋轉90度,以使得三維影像1910的上方部分顯示於第一顯示器190a以及第二顯示器190b上,進而產生經旋轉的三維影像1912(說明於圖24的視圖(1)中)。
參看圖25的視圖(1),第一使用者物件51向一側張開手且向使用者的方向移動,而第二使用者物件52向一側張開手且向朝向多顯示設備100的方向移動。
圖25的視圖(2)說明第一使用者物件51以及第二使用者物件52移動的方向。第一使用者物件51在X軸方向23d上移動,而第二使用者物件52與第一使用者物件51的方向相反地移動,亦即,在-X軸方向24d上移動。
控制器130辨識第一使用者物件51以及第二使用者物件52的示意動作且執行對應操作。亦即,控制器130將第一使用者 物件51以及第二使用者物件52的示意動作識別為用以旋轉三維影像1910(說明於圖22中,逆時針)的命令。因此,回應於所辨識的示意動作,控制器130逆時針旋轉第一顯示器190a以及第二顯示器190b的三維影像1910,進而產生經旋轉的三維影像1913(說明於圖25的視圖(1)中)。
參看圖26的視圖(1),第一使用者物件51向一側張開手且向右移動,而第二使用者物件52向一側張開手且向左移動。對應於第一使用者物件51的第一指標14a置放於第一顯示器190a上,而對應於第二使用者物件52的第二指標14b置放於第二顯示器190b上。亦即,第一指標14a置放於圖22所說明的三維影像1910的左下方區域處,而第二指標14b置放於三維影像1910的右上方區域處。
圖26的視圖(2)說明第一使用者物件51以及第二使用者物件52移動的方向。第一使用者物件51向Y軸方向23e移動,而第二使用者物件52向-Y軸方向24e移動。
控制器130辨識第一使用者物件51以及第二使用者物件52的示意動作且執行對應操作。亦即,控制器130將第一使用者物件51以及第二使用者物件52的示意動作辨識為用以將力施加於三維影像1910上的命令。因此,回應於所辨識的示意動作,三維影像1910的左下方區域經受向右的力,而右上方區域經受向左的力,以使得形狀改變,從而產生所改變的三維影像1914(說明於圖26的視圖(1)中)。
圖27說明在本一般發明概念的另一例示性實施例中的對多示意動作的使用。
參看圖27的視圖(1),第一顯示器190a顯示繪畫影像19a。第二顯示器190b顯示工具集27,自所述工具集27,可對顏色進行選擇。第一使用者物件51可使用空間示意動作,亦即,使用點選示意動作以自工具集27選擇第一顏色18a以及第二顏色18b。點選示意動作指以使用者物件51(其可為手指)在空間中觸碰的運動。為了取消選擇第一顏色18a,使用者可再次針對第一顏色18a進行點選示意動作。因此,當選擇兩個顏色18a及18b時,第二使用者物件52將指標置放於其意欲著色的區域19a上。第一使用者物件51可接著選擇針對顏色或顏色選單的示意動作,而第二使用者物件52使手面朝第一顯示器190a的方向且緩慢地自左移動至右。
圖27的視圖(2)說明進行上文所提及的示意動作的結果。控制器130辨識第一使用者物件51以及第二使用者物件52的示意動作且執行對應操作。亦即,控制器130可回應於第二使用者物件52的示意動作基於兩種所選擇的顏色18a、18b而漸變地對所要著色區域19a著色,從而產生經著色的區域19b。
至此已解釋多顯示設備100使用相機141、142來辨識空間示意動作且執行對應操作的各種例示性實施例。一般而言,多顯示設備100可使用分別配置於第一本體2以及第二本體4處的兩個相機141、142來辨識使用者示意動作。然而,吾人將理解,取決於本一般發明概念的例示性實施例,亦可設置兩個或兩個以上相機且將其設置於各種其他位置處。
相機配置的各種例示性實施例
圖28至圖29說明根據本一般發明概念的各種例示性實施例的配置多顯示設備100的兩個相機141、142的實例。亦即,圖28及圖29自前方展示多顯示設備100。為了較佳理解相機配置,在圖中省略了除相機141、142以外的組件。
首先,參看圖28,多顯示設備100可包含第一本體2以及第二本體4,其中第一本體2可包含第一顯示器190a,且第二本體4可包含第二顯示器190b。第一本體2以及第二本體4可經由鉸鏈185而連接且可相對於彼此移動。第一相機141可配置於第一本體2的邊緣區域上,亦即,在與鉸鏈185相對的邊緣區域的中央部分處。第二相機142可配置於第二本體4的邊緣區域上,亦即,在與鉸鏈185相對的邊緣區域的中央部分處。
接著,參看圖29,將解釋替代的相機配置。為了便於解釋,假設使用者面朝多顯示設備100。第一相機141'可配置於第一本體2的左側邊緣區域的中央表面處,且第二相機142'可配置於第二本體4的左側邊緣區域的中央表面處。在本一般發明概念的另一例示性實施例中,第一相機141'以及第二相機142'可分別配置於第一本體2以及第二本體4的右側邊緣區域的中央平面上。在本一般發明概念的又一例示性實施例中,第一相機141'以及第二相機142'可配置於第一本體2以及第二本體4的角落處。如(例如)圖19所說明,可在水平方向上使用多顯示設備100。然而,如在(例如)圖20所說明,亦可在垂直方向上使用多顯示設備100。
當第一相機141'以及第二相機142'配置於第一本體2以及第二本體4的左側邊緣區域或右側邊緣區域上時,使用者可使用其左手或右手作為使用者物件51以進行示意動作,而同時以其 另一隻手觸碰觸碰螢幕,此可為對多顯示設備100的習知命令輸入程序。
圖30至圖32說明根據本一般發明概念的各種例示性實施例的具有三個或三個以上相機141至149的多顯示設備100。
圖30說明根據本一般發明概念的例示性實施例的具有三個相機143、144及145的多顯示設備100。參看圖30,第一相機143以及第二相機144可配置於與第一顯示器190a相同的第一本體2的表面上,而第三相機145可配置於與第二顯示器190b相同的第二本體4的表面上。第一相機143以及第二相機144可配置於不與鉸鏈185鄰接的兩個角落處,且第三相機145可配置於與鉸鏈185相對的第二本體4的邊緣區域的中央上。取決於本一般發明概念的例示性實施例,一個相機可配置於第一本體2處,而兩個相機可配置於第二本體4處。
圖31說明根據本一般發明概念的另一例示性實施例的具有三個相機141、142及146的多顯示設備100。參看圖31,第一相機141可配置於與第一顯示器190a相同的第一本體2的表面上,而第二相機142可配置於與第二顯示器190b相同的第二本體4的表面上。第三相機146可配置於與配置有第二顯示器190b的第二本體4的表面相反的表面上。儘管圖31說明具有配置於與鉸鏈185相對的邊緣區域的中央上的第一相機141以及第二相機142的多顯示設備100,但此僅為本一般發明概念的例示性實施例中的一者。因此,第一相機141以及第二相機142可配置於第一本體2以及第二本體4的邊緣中的一者的中央處,或不與鉸鏈185鄰接的角落區域處。同樣,第三相機146可配置於與第二顯示器190b 相反的第二本體4的一側的角落區域處,但並不限於此。因此,第三相機146可配置於相反角落區域處或不與鉸鏈185鄰接的第二本體4的邊緣區域的中央處。
圖32說明根據本一般發明概念的例示性實施例的具有四個相機143、144、147及148的多顯示設備100。參看圖32,第一相機143以及第二相機144可配置於不與鉸鏈185鄰接的第一本體2的邊緣區域的兩個角落區域上,而第三相機147以及第四相機148可配置於不與鉸鏈185鄰接的第二本體4的邊緣區域的兩個角落區域上。然而,第一相機至第四相機143、144、147及148的位置並不限於圖32所說明的特定實例。因此,相機143、144、147及148可配置於與第一本體2以及第二本體4的第一顯示器190a以及第二顯示器190b相同的一側上的邊緣區域的隨機位置上,或與第一顯示器190a以及第二顯示器190b相反的一側上的隨機位置上。
三個或三個以上多個相機可得以配置,在此狀況下,兩個相機可用於示意動作辨識,而剩餘相機可用於其他目的,諸如,影像拍攝或視訊拍攝。
圖33說明根據本一般發明概念的例示性實施例的具有可旋轉相機149的多顯示設備100。
參看圖33,第一相機141可配置於與鉸鏈185相對的第一本體2的邊緣區域的中央處,而可旋轉相機149可配置於與鉸鏈185相對的第二本體4的邊緣區域的中央處。因此,可旋轉相機149可在一角度範圍(θ2)內旋轉。
使用者可自己旋轉可旋轉相機149(亦即,手動旋轉), 或可旋轉相機149可根據預先設定的條件以及預先設定的值而旋轉(亦即,自動旋轉)。或者,可一起實施手動旋轉以及自動旋轉兩者。可旋轉相機149可旋轉至與第二顯示器190b相反的第二本體4的一側,或可手動旋轉以拍攝外部影像,或可自動旋轉至與第二顯示器190b相同的第二本體4的一側或可手動旋轉而達成空間示意動作辨識目的。
「空間示意動作」指使用者物件51在空間中使多顯示設備100操作而不需要實體接觸(諸如,在觸碰螢幕上的觸碰或按壓按鈕161)的預定運動。術語「3D示意動作」指被辨識為用以使多顯示設備100操作的輸入示意動作的三維運動,其為一種類型的空間示意動作。
在3D示意動作辨識的一個例示性實施例中,可旋轉相機149可自動旋轉以確保用於3D示意動作的辨識的最佳辨識範圍。舉例而言,多顯示設備100可在進入示意動作辨識模式之後請求使用者向相機141張開手。當使用者朝向相機141張開手時,多顯示設備100旋轉可旋轉相機149且偵測第一相機141與可旋轉相機149之間的重疊辨識範圍內的最佳辨識範圍。當偵測到最佳辨識範圍時,警報可發聲或於顯示器190a或190b上可顯示指示以通知使用者操作進入示意動作辨識模式。
在3D示意動作辨識的第二例示性實施例中,多顯示設備100可預先將可旋轉相機149的最佳角度(θ2)資訊(其與第一本體2以及第二本體4的角度有關)儲存至儲存器(說明於圖39中)或其類似者。當使用者使用示意動作辨識模式時,多顯示設備100偵測第一本體2與第二本體4之間的角度,且可使用對應於所偵 測的角度的可旋轉相機149的預先設定的角度資訊來調整可旋轉相機149的角度。
在3D示意動作辨識的第三例示性實施例中,當多顯示設備100進入示意動作辨識模式時,在第一相機141以及可旋轉相機149處拍攝的螢幕顯示於第一顯示器190a以及第二顯示器190b上。使用者可檢視顯示於第一顯示器190a以及第二顯示器190b上的所拍攝的螢幕,且手動地調整可旋轉相機149的角度。在此實例中,關於示意動作辨識的可用性的資訊可另外顯示於第一顯示器190a以及第二顯示器190b上。
圖28至圖33說明具有不同數目的相機以及不同相機配置的多顯示設備100。相機的數目可不限於本文所說明的本一般發明概念的任何特定例示性實施例。同樣,每一相機的配置可不限於上文所解釋的任何特定配置。
圖28至圖33說明根據本一般發明概念的例示性實施例的多顯示設備100,其使用分別配置於第一本體2以及第二本體4處的至少兩個相機來辨識包含3D示意動作的空間示意動作。然而,本一般發明概念的其他例示性實施例為可能的。舉例而言,相機中的一者可用於示意動作辨識,而剩餘相機可用於其他目的,諸如,影像拍攝或視訊拍攝。
當多顯示設備100配備觸碰螢幕且多顯示設備100在空間示意動作辨識模式下操作時,使用者可藉由對觸碰螢幕進行觸碰以及進行空間示意動作來輸入命令。
多顯示設備100可包含具有實體上或以圖形方式劃分的第一顯示器190a以及第二顯示器190b的顯示設備,且可藉由利 用兩個顯示器190a、190b支援如圖34至圖38所說明的螢幕模式的各種螢幕模式。
圖34至圖38說明根據本一般發明概念的例示性實施例的根據多顯示設備100的第一本體2與第二本體4之間的相對角度(θ)而出現的螢幕模式。
相對角度(θ)為旋轉至預定方向(例如,逆時針方向)的第二本體4相對於第一本體2的旋轉角度。
具體言之,可使用內嵌於鉸鏈185中的鉸鏈感測器(154,說明於圖39中)來偵測相對角度(θ)。鉸鏈感測器154可包含霍爾感測器、壓力感測器、電感性感測器、電接觸感測器以及光學感測器中的任一者以偵測鉸鏈185的移動以及相對位置,且此可辨識相對角度(θ)。另外,可藉由除鉸鏈感測器154以外的構件來辨識相對角度(θ),例如,藉由用地磁感測器或加速度感測器(未繪示)來偵測第一本體2以及第二本體4的位置而辨識相對角度(θ)。
圖34為說明在折疊狀態下的多顯示設備100的透視圖。參看圖34,第一本體2以及第二本體4上的第一顯示器190a以及第二顯示器190b面向彼此,其中第一本體2以及第二本體4彼此接觸。亦即,第二顯示器190b置放成與第一顯示器190a相對。當使用者查看第一顯示器190a時,所述使用者可不能夠在相反側處查看第二顯示器190b。亦即,使用者僅能夠查看一個顯示器。此時將相對角度(θ)定義為約0(零)度。參看圖34,顯示器折疊的情況可稱作「單一模式」。在一個實例中,當第一本體2與第二本體4之間的相對角度在約0度與約60度之間時,多顯示設備 100被辨識為處於單一模式下。單一模式可尤其有利於處於鎖定狀態下(其中設備100不可用)的多顯示設備100,或有利於呼叫應用程式在電話網路上進行呼叫。在單一模式下,正面的第一顯示器190a可顯示實施至少一個應用程式的螢幕,而背面的第二顯示器190b可切斷。特定應用程式可需要使用選項選單或其他選單,因此需要背面的第二顯示器190b接通。
圖35說明「展開」狀態(下文中,「擴張模式」),其中第一本體2以及第二本體4以180度或接近180度的相對角度(θ)彼此平行。在一個實例中,當第一本體2與第二本體4之間的相對角度在約175度至約185度的範圍中時,多顯示設備100可認為第一本體2以及第二本體4為展開的。擴張模式可(例如)藉由將實施兩個應用程式的兩個螢幕分別顯示於顯示器190a、190b上或將實施一個應用程式的兩個螢幕張開地顯示於兩個顯示器190a、190b之上而提供各種檢視模式。當在顯示器190a及190b中的任一者中無應用程式實施時,此(些)顯示器可顯示主螢幕。擴張模式可尤其有利於諸如電子書或視訊播放器應用程式的應用程式。
圖36說明第二本體4與第一本體2的相對角度(θ)超過約180度(亦即,兩個顯示器190a、190b略微向內折疊(下文中,為「工具套件模式」))的情況。在一個實例中,當第一本體2與第二本體4之間的相對角度範圍在約185度與約265度之間時,此被辨識為工具套件模式。「工具套件模式」因此為兩個顯示器190a、190b略微面向內折疊時的情形且尤其有利於多顯示設備100類似地用作筆記型電腦之時。在一個實例中,可提供各種工作環 境,以使得(例如)一個顯示器190a可顯示操作螢幕,而另一顯示器190b可顯示諸如鍵盤的工具。在工具套件模式下的多顯示設備100可在空間示意動作辨識模式下操作。
圖37說明第二本體4與第一本體2的相對角度(θ)小於約180度(亦即,當兩個顯示器190a、190b幾乎向外折疊至相反方向時(下文中,為「站立模式」))。在一個實例中,當第一本體2與第二本體4之間的相對角度範圍在約30度與約90度之間時,多顯示設備100辨識站立模式。「站立模式」為兩個顯示器面向外折疊時的情形,在此狀況下多顯示設備100可按照矩形姿勢直立地置放於地板上,有利於用作數位手錶或相框或有利於長時間顯示內容,諸如,個人廣播、電影或視訊的觀看。
在另一實例中,「站立模式」可用於需要兩個或兩個以上使用者之間的合作或互動的應用程式,諸如,電話會議、協作性遊戲,等。某些應用程式可需要在站立模式下工作螢僅顯示於正面的第一顯示器190a上,在此狀況下第二顯示器190b可切斷。特定應用程式可需要使用選項選單,在此狀況下在背面的第二顯示器190b可接通。
圖38說明在本一般發明概念的另一例示性實施例中的圖37的站立模式,其中多顯示設備100直立地站立而鉸鏈部分地接觸地板表面5(下文中,為「垂直檢視模式」)。在垂直檢視模式下,第一本體2與第二本體4之間的相對角度(θ)範圍在約30度與約90度之間,且當藉由加速度感測器而判定多顯示設備100直立地站立時辨識為垂直檢視模式。
具體言之,加速度感測器可偵測多顯示設備100的旋轉。 加速度感測器可偵測垂直檢視模式與水平檢視模式之間的改變,在垂直檢視模式下,多顯示設備100的第一顯示器190a以及第二顯示器190b配置於多顯示設備100的左側以及右側上,而在水平檢視模式下,第一顯示器190a以及第二顯示器190b配置於多顯示設備100的上側以及下側上。
垂直檢視模式可實施於諸如電話會議或多視訊播放器的應用程式中,在所述應用程式中有必要將不同影像提供至兩個或兩個以上使用者。
圖39為說明根據本一般發明概念的例示性實施例的多顯示設備100的結構的方塊圖。
多顯示設備100可使用蜂巢式通信111、無線LAN模組112以及LAN通信模組113以及連接器114中的至少一者而連接至外部裝置(未繪示)。如本文中所使用,「外部裝置」可包含行動電話、智慧型電話、平板型PC、電腦伺服器以及數位TV中的至少一者。
參看圖39,多顯示設備100包含兩個顯示器190a及190b。儘管在圖39中說明兩個顯示器190a、190b,但將理解,可適宜地實施三個或三個以上顯示器。
在本一般發明概念的一個例示性實施例中,多顯示設備100可包含通信器110、多媒體單元120、控制器130、成像模組140、感測器150、輸入/輸出單元160、儲存器170、電源供應器180,以及第一顯示器190a及第二顯示器190b。
通信器110可包含蜂巢式通信模組111、無線LAN模組112、LAN通信模組113、連接器114、全球定位系統(global positioning system,GPS)模組115以及廣播通信模組116。將理解,取決於本一般發明概念的例示性實施例,通信器110可不包含此些組件中的一些或全部,或者可包含額外組件。
蜂巢式通信模組111在控制器130的控制下採用根據蜂巢式通信協定的無線存取技術,以連接多顯示設備100從而經由至少一個天線或多個天線(未繪示)而連接至諸如蜂巢式系統的基地台的外部裝置(未繪示)。
另外,蜂巢式通信模組111將攜載語音呼叫、電話、短訊息服務(short messaging service,SMS)訊息或多媒體訊息服務(multimedia messaging service,MMS)訊息的無線信號傳輸至另一可通信裝置(未繪示)或自所述另一可通信裝置(未繪示)接收所述無線信號,所述另一可通信裝置(未繪示)諸如為具有輸入至多顯示裝置100的電話號碼的行動電話、智慧型電話或平板型PC或其類似者。
另外,通信器110可包含無線LAN模組112以及LAN通信模組113中的至少一者。舉例而言,通信器110可僅包含無線LAN模組112或僅包含LAN通信模組113,或包含無線LAN模組112以及LAN通信模組113兩者。
無線LAN模組112可在控制器130的控制下在設有無線存取點(AP,未繪示)的位置處存取網際網路。無線LAN模組112支援IEEE的無線LAN規範(IEEE802.11x)。
LAN通信模組113在控制器130的控制下用於多顯示設備100與外部裝置(未繪示)之間的無線LAN通信。LAN通信可包含(例如)藍牙或紅外線資料協會(infrared data association, IrDA)。
連接器114提供與多顯示設備100的各種介面,諸如,USB 2.0、USB 3.0、HDMI或IEEE 1394。
連接器114可用作多顯示設備100與外部裝置或電源(未繪示)之間的介面。在控制器130的控制下,經由連接至連接器114的有線電纜,可將儲存於多顯示設備100的儲存器170處的資料傳輸至外部裝置或可自外部裝置接收資料。電力可經由連接至連接器114的有線電纜而自電源輸入,或電池(未繪示)可被充電。
GPS模組115可自位於地球軌道中的多個GPS衛星(未繪示)接收地磁波,且可使用GPS衛星(未繪示)與多顯示設備100之間的到達時間以及GPS參數來計算多顯示設備100的位置。
廣播通信模組116可經由廣播通信天線(未繪示)而接收自廣播站傳輸的廣播信號(例如,TV廣播信號、無線電廣播信號或資料廣播信號),以及額外廣播資訊(例如,電子節目指南(electric program guide,EPS)或電子服務指南(electric service guide,ESG))。
多媒體單元120包含音訊播放模組121以及視訊播放模組122。
音訊播放模組121可在控制器130的控制下播放所儲存抑或所接收的數位音訊檔案(例如,副檔名為mp3、wma、ogg或wav的檔案)。視訊播放模組122支援各種形式的編解碼器以播放數位視訊檔案。亦即,視訊檔案是藉由適合於預期被播放的視訊檔案的預先儲存的編解碼器來播放。另外,多媒體單元120的音 訊播放模組121或視訊播放模組122可包含於控制器130中。
控制器130可包含:CPU 131(說明於圖40中);唯讀記憶體(read-only memory,ROM)137(說明於圖40中),其中記錄有用以控制多顯示裝置100的控制程式;以及隨機存取記憶體(random access memory,RAM)135(說明於圖40中),其中記錄有自多顯示設備100外部傳入的信號或資料或在多顯示設備100處所執行的操作期間被用作記憶體區域。CPU可包含單核處理器以及多核處理器(例如,雙核處理器、三核處理器以及四核處理器)中的至少一者。CPU、ROM以及RAM可經由內部系統匯流排139(說明於圖40中)而彼此互連。
控制器130控制通信器110、多媒體單元120、成像模組140、感測器150、輸入/輸出單元160、儲存器170、電源180以及第一顯示器190a及第二顯示器190b。
成像模組140可包含(例如)圖1所說明的第一成像單元140a以及第二成像單元140b中的至少一者。儘管圖39僅說明第一成像單元140a以及第二成像單元140b,但取決於本一般發明概念的例示性實施例,可添加額外成像單元。
成像模組140可包含第一成像單元140a以及第二成像單元140b中的至少一者以在控制器130的控制下拍攝靜態影像或運動影像。視需要,可添加若干成像單元140a、140b。第一成像單元140a以及第二成像單元140b可設置於多顯示設備100的本體中,或藉由獨立連接構件(未繪示)而連接至多顯示設備100。第一成像單元140a以及第二成像單元140b中的至少一者可包含輔助光源(例如,閃光燈(未繪示))以提供拍攝所需的光度。
在本一般發明概念的一個例示性實施例中,第一成像單元140a可配置於多顯示設備100的前側上,而第二成像單元140b可配置於多顯示設備100的後側上。在本一般發明概念的另一例示性實施例中,第一成像單元140a以及第二成像單元140b可置放成彼此近接(例如,間隔大於1公分且小於8公分)以拍攝靜態或運動的3D影像。在本一般發明概念的又一例示性實施例中,第一成像單元140a可配置於第一本體2上,而第二成像單元140b可配置於第二本體4上。
成像模組140可包含鏡頭以及影像感測器(未繪示)。可使用諸如通用鏡頭、寬角鏡頭或變焦鏡頭的普通鏡頭。第一成像單元140a以及第二成像單元140b可包含大體彼此相同的鏡頭,但並不限於此。因此,視需要,成像單元140a、140b可具有彼此不同的鏡頭。
影像感測器可包含互補金屬氧化物半導體(complementary metal oxide semiconductor,CMOS)以及電荷耦合裝置(charge coupled device,CCD)。第一成像單元140a以及第二成像單元140b可大體上包含一種類型的影像感測器,但並不限於此。亦即,第一成像單元140a以及第二成像單元140b可包含不同類型的影像感測器的組合。舉例而言,第一成像單元140a與第二成像單元140b兩者可使用CMOS或CCD,或者,第一成像單元140a可使用CMOS,而第二成像單元140b可使用CCD。
成像模組140可將經由第一成像單元140a以及第二成像單元140b中的至少一者而攝取的影像輸出至控制器130。控制器130基於對影像的分析來偵測使用者的運動或形狀,且根據所偵測 的運動或形狀來執行對應控制操作。在一個實例中,「使用者的運動」可包含由使用者的手進行且經由第一成像單元140a或第二成像單元140b而偵測的運動。「使用者的形狀」可指經由第一成像單元140a或第二成像單元140b而偵測的使用者的面部輪廓。
在本一般發明概念的又一例示性實施例中,多顯示設備100可使用諸如紅外線感測器(未繪示)的另一構件來偵測使用者的運動,且可回應於所述運動來實施或控制應用程式。
感測器150可包含觸碰感測器151、地磁感測器152、加速度感測器153、鉸鏈感測器154或近接感測器155。
觸碰感測器151偵測使用者相對於顯示器190a及190b而進行的觸碰。取決於偵測使用者的觸碰的方式,觸碰感測器151可分類為電容性感測器或電阻性感測器。根據本一般發明概念的例示性實施例,觸碰感測器151可分別以兩種方式實施。觸碰感測器151可包含顯示器以及顯示面板。此將在下文參看諸圖來詳細解釋。
觸碰感測器151使使用者能夠藉由以身體部分或其他可偵測輸入構件按壓對應於顯示器190a、190b的觸碰螢幕而輸入在顯示螢幕上指示的命令。觸碰感測器151可利用電容改變、電阻改變或光度改變。
地磁感測器152可藉由偵測地磁來偵測方位角。因此,地磁感測器152辨識多顯示設備100的方向。加速度感測器153藉由處理輸出信號來量測諸如物件的加速度、振動或衝擊的動態力,且偵測多顯示設備100的速度改變或力的量值。鉸鏈感測器154可偵測鉸鏈的角度或移動。近接感測器155可偵測使用者物件 51或52對多顯示設備100的近接。
儘管未在圖39中說明,但多顯示設備100的感測器150可包含額外類型的感測器,諸如以下各者中的至少一者:重力感測器,其偵測重力的方向;陀螺儀感測器,其相對於習知加速度感測器實施旋轉且因此能夠辨識總共6個軸;定向感測器,其自動地感測內容(諸如,影像)的垂直畫面以及水平畫面且自動地旋轉且對準所述內容;照度感測器,其感測接近多顯示設備100的光的量;高度量測感測器,其量測大氣壓;RGB感測器,其偵測物件的顏色;距離量測感測器,其使用超音波或紅外線來偵測距離;以及霍爾感測器,其根據地磁的量值來偵測電壓改變。
感測器150中的每一感測器偵測狀態,產生偵測信號且將信號傳輸至控制器130。取決於多顯示設備100所需的效能,可添加或移除感測器150的感測器。
輸入/輸出單元160可包含一或多個按鈕161、麥克風162、揚聲器163以及振動馬達164。
至少一個按鈕161可設置於多顯示設備100的第一本體2以及第二本體4的前側、側面或後側上,且實施為下壓型或觸碰型。按鈕161可包含電源/鎖定按鈕、音量按鈕、選單按鈕、首頁按鈕、返回按鈕以及搜尋按鈕中的至少一者。
麥克風162可在控制器130的控制下接收語音或聲音且產生電信號。
在控制器130的控制下,揚聲器163可將對應於蜂巢式通信模組111、無線LAN模組112、LAN模組113、多媒體單元120或成像模組140的各種信號(例如,無線信號、廣播信號、數 位音訊檔案、數位視訊檔案或相片)的聲音輸出至多顯示設備100外部。
揚聲器163可輸出對應於如由多顯示設備100執行的功能的聲音(例如,按鈕操作聲音或呼叫連接聲音)。一個或多個揚聲器163可形成於多顯示設備100的本體的適當位置處。在一個實例中,揚聲器163可包含:內部揚聲器模組,配置於適合於在電話呼叫期間近接使用者的耳朵的位置處;以及外部揚聲器模組,具有足夠高的輸出以用於檔案的播放或廣播的檢視且配置於多顯示設備100的本體的適當位置處。
在控制器130的控制下,振動馬達164可將電信號轉換為機械振動。舉例而言,當多顯示設備100在振動模式下時,振動馬達164回應於自另一裝置(未繪示)接收的語音呼叫而進行操作。一個或多個振動馬達164可形成於多顯示設備100的本體內部。振動馬達164可回應於如在第一顯示器190a以及第二顯示器190b處偵測的使用者的觸碰示意動作以及如在第一顯示器190a以及第二顯示器190b處偵測的一系列觸碰運動來進行操作。
儲存器170可儲存各種所處理的多媒體資料、內容資料或自外部源接收的資料。
亦即,儲存器170可在控制器130的控制下儲存回應於蜂巢式通信模組11、無線LAN模組112、LAN通信模組113、連接器114、GPS模組115、多媒體單元120、成像模組140、感測器150、輸入/輸出單元以及第一顯示器190a及第二顯示器190b的操作而輸入或輸出的信號、資訊或資料。
儲存器170可儲存用以控制多顯示設備100或更具體言 之用以控制控制器130的控制程式,以及應用程式。如本文中所使用,表達「儲存器」可涵蓋可安裝至ROM、RAM或多顯示設備100/可自ROM、RAM或多顯示設備100移除的記憶卡(例如,SD卡或記憶棒)。儲存器170可包含非揮發性記憶體、揮發性記憶體、硬碟機(hard disk drive,HDD)或固態磁碟(solid state drive,SSD)。
電源180供應電力以供在多顯示設備100處使用。電源180可按照可再充電的電池的形式來實施,且可另外包含電壓轉換器,所述電壓轉換器轉換外部供應的電力且將所轉換的電力饋送至可再充電的電池。
取決於控制器130的電力管理控制,電源180可按照各種模式將電力供應至多顯示設備100,所述各種模式包含(例如)最大模式、正常模式、省電模式或待用模式。
第一顯示器190a以及第二顯示器190b可藉由鉸鏈185而彼此連接。第一顯示器190a以及第二顯示器190b在控制器130的控制下顯示多媒體內容、影像、視訊或文字。
第一顯示器190a以及第二顯示器190b彼此實體上分離。可彼此獨立地控制第一顯示器190a以及第二顯示器190b上的所顯示的螢幕。舉例而言,第一顯示器190a以及第二顯示器190b可具有彼此個別地設定的解析度。另外,可個別地在第一顯示器190a以及第二顯示器190b中的每一者上執行螢幕擴張、旋轉、移動或劃分。
第一顯示器190a以及第二顯示器190b可使用虛擬整合式畫面緩衝器來顯示單一顯示螢幕。
第一顯示器190a以及第二顯示器190b可實施為各種顯示單元,諸如,液晶顯示器(liquid crystal display,LCD)面板、電漿顯示面板(plasma display panel,PDP)、有機發光二極體(organic light emitting diode,OLED)、真空螢光顯示器(vacuum fluorescent display,VFD)、場發射顯示器(field emission display,FED)或電致發光顯示器(electro luminescence display,ELD)。
第一顯示器190a以及第二顯示器190b可實施為無觸碰輸入功能的普通顯示面板,或實施為可使用近接感測器或觸碰感測器來辨識使用者的操縱的觸碰顯示面板。當實施為觸碰顯示面板時,第一顯示器190a以及第二顯示器190b可接收以使用者物件51進行的使用者的至少一個觸碰示意動作,所述使用者物件51諸如為使用者的身體部分(例如,手指,包含拇指)或諸如觸控筆51a的其他可偵測輸入構件。
使用者介面可包含預定觸碰區域、軟鍵(未繪示)以及軟選單(未繪示)。第一顯示器190a以及第二顯示器190b可經由LCD控制器(未繪示)將對應於經由使用者介面而傳入的至少一個觸碰示意動作的電子信號傳輸至控制器130。另外,第一顯示器190a以及第二顯示器190b可偵測相繼的觸碰運動且將對應於相繼的或不相繼的觸碰運動的電子信號傳輸至LCD控制器。
第一顯示器190a以及第二顯示器190b可實施電阻性方法、電容性方法、紅外線方法或音波方法。
第一顯示器190a以及第二顯示器190b可將針對如經由觸碰感測器而感測的使用者的運動的信號轉換為數位信號(例如,X坐標以及Y坐標),且將結果傳輸至控制器130。控制器130 可使用所接收的數位信號而執行對應於經由第一顯示器190a以及第二顯示器190b而輸入的使用者運動的控制。舉例而言,回應於使用者的運動,控制器130可使顯示於第一顯示器190a以及第二顯示器190b上的軟鍵得以選擇,或對應於所述軟鍵的應用程式得以執行。
如上文所解釋的使用者示意動作並不限於第一顯示器190a以及第二顯示器190b與使用者的身體部分或可觸碰輸入構件之間的直接接觸,而且包含非接觸方式。取決於多顯示設備100的效能或結構,在第一顯示器190a以及第二顯示器190b處感測使用者的運動的敏感度可變化。
同時,儘管本一般發明概念的上述例示性實施例說明並解釋多顯示設備100的第一本體2以及第二本體4是經由鉸鏈185而連接,但其他實例為可能的。因此,多顯示設備100的本體2、4可替代鉸鏈185而經由可撓性連接部分(未繪示)來連接。
圖40為說明根據本一般發明概念的各種例示性實施例的多顯示設備100的結構的方塊圖。
參看圖40,多顯示設備100可包含通信器110、多媒體單元120、控制器130、成像模組140、感測器150、輸入/輸出單元160、儲存器170、電源180以及多個顯示器190。為了簡要起見,將省略上文已參看圖39而解釋的組件,而下文將詳細解釋顯示的程序。
CPU 131將來自儲存器170(說明於圖39中)的資料擷取至RAM 135,且將需要圖形處理的儲存於RAM 135中的資料傳輸至圖形處理單元(Graphics Processing Unit,GPU)133。CPU 131 自GPU 133接收經圖形處理的資料且將所述經圖形處理的資料傳輸至連接至系統匯流排139的LCD控制器(未繪示)以使得影像顯示於顯示器上。
CPU 131臨時地將在GPU 133處處理的影像資料儲存於虛擬畫面緩衝器區域處,所述虛擬畫面緩衝器區域被分配至RAM的預定區域。CPU 131分配虛擬畫面緩衝器區域以支援顯示器190的最大解析度(例如,1024×600)。當存在兩個顯示器190a及190b時,虛擬畫面緩衝器區域可經分配而呈1024×1200的大小。
CPU 133將虛擬畫面緩衝器的臨時儲存的資料輸入至GPU 133以用於數位信號處理。
GPU 133在CPU 131的控制下對所輸入的資料執行圖形處理。具體言之,GPU 133可使用計算器(未繪示)以及轉譯器(未繪示)而產生包含各種物件(所述各種物件包含(例如)圖示、影像或文字)的螢幕。計算器可根據螢幕的佈局來計算待顯示的各別物件的屬性值,諸如,坐標值、形狀、大小或顏色。轉譯器可基於計算器處所計算的屬性值而產生各種佈局(其中包含物件)的螢幕。在轉譯器處產生的螢幕可經由匯流排139而傳輸至第一顯示器190a以及第二顯示器190b以顯示於顯示區域上抑或儲存於儲存器170處。
CPU 131可控制以使得GPU 133的經圖形處理的資料經由第一顯示器190a以及第二顯示器190b中的至少一者而顯示,或儲存於儲存器170處,或所處理的的資料可輸入至顯示控制器(175,說明於圖41中)。
GPU 133可包含解碼器、轉譯器或縮放器等。因此,GPU 133可根據顯示控制器175的控制而對所儲存的內容進行解碼,轉譯經解碼的內容以建構畫面,且縮放所建構的畫面的大小以適合於顯示器大小。對於待僅顯示於第一顯示器190a以及第二顯示器190b中的一者上的影像而言,影像可經縮放以適合於所述大小。對於待顯示於第一顯示器190a與第二顯示器190b兩者上的影像而言,影像經縮放以適合於整個顯示器大小。GPU 133可將所處理的畫面提供至顯示器以進行顯示。
因為多顯示設備100包含多個顯示器190,所以當利用顯示器190時,各種螢幕為可能的。現將在下文中參考本一般發明概念的特定例示性實施例來解釋多顯示設備100的基本詳細結構以及操作。
圖41為說明使用多個畫面緩衝器來控制各別顯示器190a、190b的操作的多顯示設備100的方塊圖。
參看圖41,多顯示設備100可包含第一顯示器190a以及第二顯示器190b,以及顯示控制器175。顯示控制器175可與圖39的控制器130獨立而加以設置,或整合至控制器130中。
參看圖41,顯示控制器175可包含第一畫面緩衝器175a-1、第一顯示驅動器175a-2、第二畫面緩衝器175b-1以及第二顯示驅動器175b-2。
第一畫面緩衝器175a-1經設置以緩衝待顯示於第一顯示器190a上的影像畫面,而第二畫面緩衝器175b-1經設置以緩衝待顯示於第二顯示器190b上的影像畫面。
舉例而言,在GPU 133處處理的影像畫面數位信號可按照點陣圖形式儲存於第一畫面緩衝器175a-1以及第二畫面緩衝器 175b-1中。在此實例中,各別畫面緩衝器175a-1、175b-1的緩衝區可經分配以盡可能符合各別顯示器190a、190b的最大可支援像素大小。第一顯示驅動器175a-2分析儲存於第一畫面緩衝器175a-1處的影像畫面且將所述影像畫面轉換為第一影像源信號。第一顯示驅動器175a-2將第一影像源信號提供至第一顯示器190a且驅動第一顯示器190a以顯示影像畫面。
同樣,第二顯示驅動器175b-2可分析儲存於第二畫面緩衝器175b-1處的影像畫面且將所述影像畫面轉換為第二影像源信號,且將第二影像源信號提供至第二顯示器190b以進行顯示。
儘管圖41說明第一畫面緩衝器175a-1以及第二畫面緩衝器175b-1獨立地設置為對應於各別顯示器190a、190b,但在如圖42所說明的例示性實施例的本一般發明概念的另一例示性實施例中,亦可使用一個整合式畫面緩衝器175-1。
圖42為使用一個整合式畫面緩衝器175-1來控制各別顯示器190的操作的多顯示設備100的方塊圖。
亦即,圖42為使用整合式畫面緩衝器175-1來控制各別顯示器190的操作的多顯示設備100的方塊圖。當畫面緩衝器以整合式畫面緩衝器175-1的形式實施時,整合式畫面緩衝器175-1的大小可經判定以使得解析度超過第一顯示器190a以及第二顯示器190b的最大解析度。
舉例而言,當第一顯示器190a以及第二顯示器190b顯示最大1024*800解析度時,整合式畫面緩衝器175-1可將儲存區域分配給可顯示高達1024*1600解析度的畫面緩衝器大小。整合式畫面緩衝器175-1可在第一區域處儲存待顯示於第一顯示器 190a上的第一影像畫面,且在第二區域處儲存待顯示於第二顯示器190b上的第二影像畫面。
顯示驅動器175-2可使用儲存於整合式畫面緩衝器175-1處的第一影像畫面以及第二影像畫面的位址而將第一影像畫面以及第二影像畫面提供至第一顯示器190a或第二顯示器190b,以因此驅動各別顯示器。
圖43經提供以特定解釋圖41所說明的兩個顯示器中的第一顯示器190a的結構。
圖43因此說明顯示器的構造的實例。為了便於解釋,圖43僅說明第一顯示器190a。然而,將瞭解,第二顯示器190b亦可按照同一方式來實施。
參看圖43,第一顯示器190a可包含時序控制器231、閘極驅動器232、資料驅動器233、電壓驅動器234以及顯示面板235。
時序控制器231可接收外部信號,諸如時脈信號(DCLK)以及適合於觸碰螢幕的解析度的水平垂直同步信號以及垂直同步信號(Hsync、Vsync),產生閘極控制信號(掃描控制信號)、資料控制信號(資料信號),且重新對準R、G、B資料以將R、G、B資料供應至資料驅動器233。
時序控制器231可產生與閘極控制信號相關的信號,其為閘極移位時脈(gate shift clock,GSC)、閘極輸出啟用(gate output enable,GOE)或閘極開始脈衝(gate start pulse,GSP)。在所述信號中,GSC判定連接至諸如R、G、B有機發光二極體(organic light emitting diode,OLED)的發光裝置的薄膜電晶體(thin film transistor,TFT)的開/關時間,GOE為用以控制閘極驅動器232的 輸出的信號,且GSP為一個垂直同步信號中通知螢幕的第一驅動線的信號。
另外,時序控制器231可產生與資料控制信號相關的信號,其為源極取樣時脈(source sampling clock,SSC)、源極輸出啟用(source output enable,SOE)或源極開始脈衝(source start pulse,SSP)。在所述信號中,SSC用作在資料驅動器233處鎖存資料的取樣時脈,且此判定資料驅動IC的驅動頻率。SOE將所鎖存的資料傳輸至顯示面板235。SSP為在一個水平同步週期期間對資料進行鎖存或取樣的時間的信號。
閘極驅動器232產生掃描信號且經由掃描線(S1、S2、......、Sn)而連接至顯示面板235。閘極驅動器232根據在時序控制器231處產生的閘極控制信號而將自電壓驅動器234提供的閘極接通/切斷電壓(Vgh/Vg1,未繪示)施加至顯示面板235。閘極接通電壓(Vgh)依序提供至閘極線1(GL1,未繪示)至閘極線n(GLn,未繪示)以在顯示面板235上實施單位畫面影像。
資料驅動器233產生資料信號且經由資料線(D1、D2、D3、......、Dn)而連接至顯示面板235。資料驅動器233根據在時序控制器231處產生的資料控制信號來完成縮放且將影像畫面的RGB資料輸入至顯示面板235。資料驅動器233將自時序控制器231提供的串列RGB影像資料轉換為並列資料,將數位資料轉換為類比電壓,且將對應於一條水平線的影像資料提供至顯示面板235。此程序是關於各別水平線而依序執行。
電壓驅動器234產生驅動電壓且將所述驅動電壓分別傳輸至閘極驅動器232、資料驅動器233或顯示面板235。舉例而言, 可自外部接收商業用電(例如,110伏或220伏的交流電),在此狀況下,可相應地產生且提供顯示面板235所需的電源電壓(VDD),或可提供接地電壓(VSS)。另外,可產生閘極接通電壓(Vgh)且將其提供至閘極驅動器232。因此,電壓驅動器234可包含彼此個別地驅動的多個電壓驅動模組(未繪示)。多個電壓驅動模組可在控制器130的控制下操作以提供彼此不同的電壓,或控制器130可控制電壓驅動器234以使得多個電壓驅動模組根據預先設定的資訊而提供彼此不同的驅動電壓。舉例而言,多個電壓驅動模組中的每一者可在控制器130的控制下且根據預先設定的資訊而提供不同的第一電壓以及第二預設電壓。
在本一般發明概念的一個例示性實施例中,電壓驅動器234可包含分別對應於自顯示面板235劃分的多個區域的多個電壓驅動模組(未繪示)。在此實例中,控制器130可控制多個電壓驅動模組以取決於多個區域的螢幕資訊(或輸入影像資訊)而提供不同的第一電壓(亦即,不同的ELVDD電壓)。因此,可使用輸入至資料驅動器233的影像信號而控制ELVDD電壓大小。螢幕資訊可包含傳入影像的亮度以及灰階資訊中的至少一者。
顯示面板235可包含一或多個像素區域236。諸如OLED的R、G、B發光元件可形成於像素區域236處以定義影像中的紅色、綠色以及藍色(R、G、B)。在像素區域236的一個區域上(亦即,更具體言之,在像素區域236的角落上),開關裝置(亦即,TFT)得以形成。當TFT接通時,灰階電壓自資料驅動器233提供至各別R、G、B發光裝置。R、G、B發光裝置可基於灰階電壓而提供對應於所提供的電力的光。亦即,當提供較多電力時,R、 G、B發光裝置提供較多光。
圖44說明圖43所說明的顯示面板的R、G、B像素的電路結構。
參看圖44,顯示面板235包含對應於R、G以及B的三個像素區域236。R、G、B像素區域236可包含:第一開關元件(M11、M21、M31),回應於經由掃描線S1而提供的掃描信號以及閘極接通電壓(Vgh)而進行操作;第二開關元件(M12、M22、M32),基於包含如提供至資料線(D1~Dn)的變化的高灰階值的像素值而輸出電流;以及第三開關元件(M13、M23、M33),根據經由線E1自時序控制器231提供的控制信號來調整自第二開關元件(M12、M22、M32)提供至R、G、B發光裝置的電流量。第三開關元件(M13、M23、M33)可連接至有機發光二極體(organic light emitting diode,OLED)且將電流供應至OLED。OLED指示當電流流動至螢光或磷光有機薄膜時藉由電磁場的發光原理而自身發射光的顯示器。OLED的陽極連接至像素電路,而陰極連接至像素區域236的對應VSS。如上所述而建構的OLED回應於自像素電路供應的電流而產生預定亮度的光。第一開關元件(M11、M21、M31)的閘極電極連接至掃描線(S1),而源極電極以及汲極電極中的一者連接至資料線D1。因此,顯示面板235可實施為主動矩陣有機發光二極體(active matrix organic light-emitting diode,AM-OLED)面板。然而,本一般發明概念的例示性實施例並不限於上文所解釋的特定例示性實施例中的任一者。因此,並不排除使用由一條線的同時照射驅動的被動矩陣有機發光二極體(passive matrix organic light-emitting diode,PM OLED)的可能 性。
儘管圖44說明OLED,但吾人將理解,亦可使用諸如液晶顯示器(liquid crystal display,LCD)面板、電漿顯示面板(plasma display panel,PDP)、真空螢光顯示器(vacuum fluorescent display,VFD)、場發射顯示器(field emission display,FED)或電致發光顯示器(electro luminescence display,ELD)的各種顯示器技術。
圖45說明根據本一般發明概念的例示性實施例的多顯示設備系統的階層結構。除硬體410以外,多顯示設備100亦可包含多種軟體,諸如,作業系統(operating system,OS,420)、框架430以及應用程式層440,所述應用程式層440包含諸如呼叫應用程式441、多媒體應用程式442、相機應用程式443、瀏覽器444或示意動作辨識應用程式445的應用程式。
硬體410可包含如(例如)圖39及圖40所說明的各種組件。
OS 420可控制硬體410的總體操作。亦即,OS 420在處置諸如硬體管理、記憶體以及安全性的基本功能的層上。OS 420可藉由諸如以下各者的驅動模組來控制多顯示設備100的操作:顯示驅動器175-2,用以驅動顯示器190;通信驅動器,用以傳輸及接收資料;相機驅動器(未繪示),用以驅動成像模組140;音訊驅動器(未繪示),用以驅動諸如揚聲器163的音訊單元;或電力管理模組(未繪示)。
框架430為OS 420的上層。框架430起將應用程式層440連接至OS層420的作用。亦即,框架層430包含位置管理器(未繪示)、通知管理器(未繪示)或畫面緩衝器(未繪示)以將影像 顯示於顯示器190上。
應用程式層440為框架層430的上層,且此實施多顯示設備100的各種功能。舉例而言,應用程式層440可包含各種應用程式,諸如,呼叫應用程式441、多媒體應用程式442、相機應用程式443、瀏覽器應用程式444以及示意動作辨識應用程式445。
圖46說明偵測近接觸碰的方法。
使用者可使用近接感測器155以近接觸碰方式將控制命令輸入至多顯示設備100。「近接觸碰」指回應於在空間的預定有效辨識區域中辨識的運動來辨識而不具有在觸碰螢幕上的直接觸碰的觸碰示意動作。
參看圖46,顯示器可包含顯示面板290,以及用以辨識近接觸碰的紅外線源291以及紅外線感測器292。紅外線源291向顯示面板290的表面的方向發射紅外線。具體言之,紅外線源291可配置於顯示影像的顯示面板290的下方部分上,且可向顯示面板290的表面的方向發射紅外線。允許辨識使用者物件51的接近的預定區域形成於顯示器的表面上。此區域為允許辨識近接觸碰的有效辨識區域5。
「使用者物件51」指用以將命令輸入至多顯示設備100的構件且可包含(例如)諸如手的身體部分。
當使用者物件51接近有效辨識區域5時,紅外線感測器292感測自紅外線源291發射且自正接近的使用者物件51反射的紅外線,如藉由圖46中的箭頭所說明。紅外線感測器292基於所感測的紅外線而產生紅外線掃描影像。亦即,紅外線感測器292可使用以陣列配置的多個紅外線感測器裝置而產生對應於自近接 的使用者物件51反射的紅外線的紅外線掃描影像。多顯示設備100可使用所產生的紅外線掃描影像來偵測近接觸碰輸入。
圖47說明根據本一般發明概念的另一例示性實施例的偵測近接觸碰的方法。使用者可使用預定的筆51a以近接觸碰方式將控制命令輸入至多顯示設備100。
參看圖47,如上文參看圖46所說明,包含顯示面板290a以及發射紅外線的近接感測器源291a,以及紅外線感測器292a。為了實現近接觸碰辨識,筆51a可包含線圈(未繪示)。顯示器可包含電容性感測器293。電容性感測器293可包含若干線圈(未繪示)。
當包含線圈的筆51a在預定距離(5a)內接近時,藉由電磁感應而在電容性感測器293的線圈上誘發電流。電流經誘發而在最接近於筆51a的線圈處最大,且經誘發而隨著遠離筆51a而減小。因此,控制器130將具有電流的最高感應的點辨識為筆51a的位置。
如圖47所說明的顯示器192包含紅外線感測器292a,且因此在預定距離內接近的筆51a在紅外線感測器292a與靜電感測器293處得以辨識。因此,給予靜電感測器293處的辨識以優先級以解決雙辨識問題。
圖48為說明根據本一般發明概念的例示性實施例的多顯示設備100的控制方法的流程圖。
參看圖48,多顯示設備100在操作S4810處使用第一成像單元140a以及第二成像單元140b而拍攝使用者物件51的移動。如上文在本一般發明概念的各種例示性實施例中所解釋,多 顯示設備100可包含多個顯示器190以及連接所述顯示器190的鉸鏈185。第一成像單元140a以及第二成像單元140b可在各別辨識範圍6及7中拍攝使用者物件51的影像。當第一成像單元140a以及第二成像單元140b配置於不同位置處時,自不同角度拍攝且相應地獲取使用者物件51的影像。
在操作S4820處,在拍攝示意動作之後,多顯示設備100判定使用所拍攝的影像而辨識的使用者示意動作。如上文所解釋,藉由基於在不同角度攝取的多個影像來分析使用者示意動作,甚至可辨識3D示意動作且提高了準確性。上文已解釋使用多個影像來辨識使用者示意動作的方法且為了簡要起見將不另外進行解釋。
在操作S4830處,當使用者示意動作得以辨識時,多顯示設備100執行對應於所辨識的使用者示意動作的控制操作。多顯示設備100偵測預先儲存的控制命令資訊以控制匹配所辨識的使用者示意動作的命令資訊。多顯示設備100接著執行對應於所偵測的控制命令的操作。上文已解釋操作的實例且下文為了簡要起見將不冗餘地進行解釋。
根據本一般發明概念的各種例示性實施例,具有多個顯示構件的多顯示設備100藉由多個成像單元來辨識使用者示意動作且根據使用者示意動作來控制操作。因此,基於更多的多樣化的使用者示意動作的運動控制為可能的,且辨識準確性亦大幅提高。尤其是,使用者滿意度大幅提高,此是因為使用者能夠較容易且便利地控制多顯示設備100。
根據本一般發明概念的各種例示性實施例,使用空間示 意動作來控制多顯示設備變得較容易且較便利。
使用使用者示意動作的輸入方法可與諸如觸碰、按鈕輸入或語音辨識的其他輸入方法組合以進一步提高多顯示設備100的可操作性。
本一般發明概念的上述例示性實施例描述適合於攜帶型應用的多顯示設備100,諸如,智慧型電話或平板型PC。然而,本一般發明概念不僅限於此應用。本一般發明概念的其他例示性實施例可使用固定顯示器(諸如,桌上型PC或壁掛式電視),而使用者可按照與上文在本一般發明概念的例示性實施例中所描述的方式類似的方式以經由成像單元攝取的示意動作在一定距離處控制所述固定顯示器。
本一般發明概念的其他例示性實施例不需要藉由鉸鏈185或其他裝置而彼此連接的多個顯示器190。多顯示設備100的顯示器190可彼此實體上分離且無線地通信,只要成像單元的辨識範圍經校準以使得所述辨識範圍重疊且形成用以辨識使用者示意動作的示意動作辨識區域10即可。類似於上文關於圖19所描述的方式,此組態可允許使用者藉由將內容自一個顯示裝置拖曳至另一者而在多個顯示裝置之間傳送資料。
另外,使用者物件51不需為使用者的手或筆51a。使用者物件51可為可進行成像模組140可辨識的運動的任何物件。舉例而言,使用者的面部或眼睛可用作使用者物件51,且使用者可藉由其面部表情或眼睛移動來控制多顯示設備100。以此方式,手使用不便的使用者可仍利用本文所述的多顯示設備100。
本一般發明概念亦可體現為電腦可讀媒體上的電腦可讀 碼。電腦可讀媒體可包含電腦可讀記錄媒體以及電腦可讀傳輸媒體。電腦可讀記錄媒體為可將資料作為可在之後由電腦系統讀取的程式來儲存的任何資料儲存裝置。電腦可讀記錄媒體的實例包含半導體記憶體、唯讀記憶體(ROM)、隨機存取記憶體(RAM)、USB記憶體、記憶卡、藍光光碟、CD-ROM、磁帶、軟碟以及光學資料儲存裝置。電腦可讀記錄媒體亦可分散於網路耦接的電腦系統上,以使得電腦可讀碼以分散式方式儲存及執行。電腦可讀傳輸媒體可傳輸載波或信號(例如,經由網際網路進行的有線或無線資料傳輸)。且,用以實現本一般發明概念的功能程式、碼以及碼段可容易由熟習本一般發明概念所屬的技術的程式設計師解譯。
在一個實例中,可提供儲存有程式的非暫時性電腦可讀媒體,所述程式用以實施如下操作:使用設置於多顯示設備100的第一本體2上的第一成像單元140a進行拍攝且使用設置於第二本體4上的第二成像單元140b進行拍攝;使用在各別成像單元140a及140b處拍攝的多個影像來辨識使用者示意動作;以及根據所辨識的使用者示意動作來進行控制。
雖然已展示並描述了本一般發明概念的若干實施例,但熟習此項技術者將瞭解,可在此等實施例中進行改變,而不偏離本一般發明概念的原理以及精神,本一般發明概念的範疇定義於隨附申請專利範圍及其等效物中。
2‧‧‧第一本體
4‧‧‧第二本體
100‧‧‧多顯示設備
130‧‧‧控制器
140a‧‧‧第一成像單元
140b‧‧‧第二成像單元
185‧‧‧鉸鏈
190a‧‧‧第一顯示器
190b‧‧‧第二顯示器

Claims (14)

  1. 一種多顯示設備,包括:第一本體,包括第一顯示器;第二本體,包括第二顯示器;鉸鏈,用以將所述第一本體與所述第二本體彼此連接;第一成像單元,設置於所述第一本體上且具有第一辨識範圍;第二成像單元,設置於所述第二本體上且具有第二辨識範圍;以及控制器,用以使用在所述第一成像單元以及所述第二成像單元處拍攝的多個影像來辨識使用者示意動作,且回應於所述所辨識的使用者示意動作來執行對應控制操作,所述控制器使用在所述第一辨識範圍中移動的使用者物件的移動方向以及在所述第二辨識範圍中移動的所述使用者物件的移動方向來辨識在所述第一辨識範圍與所述第二辨識範圍之間的重疊範圍內的所述使用者示意動作。
  2. 如申請專利範圍第1項所述的多顯示設備,其中所述控制器偵測相對於所述鉸鏈所述第一本體與所述第二本體之間的角度,且在所述所偵測的角度在預先設定的角度範圍內時啟動所述第一成像單元以及所述第二成像單元。
  3. 如申請專利範圍第1項所述的多顯示設備,其中所述控制器三維地辨識所述使用者示意動作。
  4. 如申請專利範圍第1項所述的多顯示設備,其中所述控制器將所述使用者示意動作辨識為立體影像。
  5. 如申請專利範圍第1項所述的多顯示設備,其中當所述使 用者物件移動因此形成一個相繼圖案時,所述控制器相繼地執行對應於形成所述相繼圖案的各別使用者示意動作的多個控制操作。
  6. 如申請專利範圍第1項所述的多顯示設備,其中所述使用者示意動作包括單指示意動作、雙指示意動作、多指示意動作、手掌示意動作、多手掌示意動作、拳頭示意動作以及多拳頭示意動作中的一者。
  7. 如申請專利範圍第1項所述的多顯示設備,其中當辨識關於顯示於所述第一顯示器或所述第二顯示器上的圖示的握持示意動作時,所述控制器執行選擇所述圖示的操作。
  8. 一種多顯示設備的控制方法,所述多顯示設備包括:第一本體,包括第一顯示器;第二本體,包括第二顯示器;以及鉸鏈,其將所述第一本體與所述第二本體彼此連接,所述控制方法包括:使用設置於所述第一本體上的第一成像單元以及設置於所述第二本體上的第二成像單元來拍攝使用者物件;使用分別由所述第一成像單元以及所述第二成像單元拍攝的所述使用者物件的多個影像,以判定在所述第一辨識範圍中的所述使用者物件的移動方向以及在所述第二辨識範圍中移動的所述使用者物件的移動方向,來辨識在所述第一成像單元的第一辨識範圍與所述第二成像單元的第二辨識範圍之間的重疊區域內的使用者示意動作;以及回應於所述所辨識的使用者示意動作來執行對應控制操作。
  9. 如申請專利範圍第8項所述的控制方法,其中所述辨識所述使用者示意動作包括: 偵測相對於所述鉸鏈所述第一本體與所述第二本體之間的角度;以及當所述所偵測的角度在預先設定的角度範圍內時啟動所述第一成像單元以及所述第二成像單元。
  10. 如申請專利範圍第8項所述的控制方法,其中所述使用者示意動作被三維地辨識。
  11. 如申請專利範圍第8項所述的控制方法,其中所述使用者示意動作被辨識為立體影像。
  12. 如申請專利範圍第8項所述的控制方法,其中當所述使用者物件移動因此形成一個相繼圖案時,所述執行所述控制操作包括:相繼地執行對應於形成所述相繼圖案的使用者示意動作的多個控制操作。
  13. 如申請專利範圍第8項所述的控制方法,其中所述使用者示意動作包括:單指示意動作、雙指示意動作、多指示意動作、手掌示意動作、多手掌示意動作、拳頭示意動作以及多拳頭示意動作中的一者。
  14. 如申請專利範圍第8項所述的控制方法,其中所述執行所述控制操作包括:當關於顯示於所述第一顯示器或所述第二顯示器上的圖示的握持示意動作得以辨識時執行選擇所述圖示的操作。
TW102136558A 2012-10-10 2013-10-09 多顯示設備及其控制方法 TWI579732B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120112681A KR101984683B1 (ko) 2012-10-10 2012-10-10 멀티 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
TW201419042A true TW201419042A (zh) 2014-05-16
TWI579732B TWI579732B (zh) 2017-04-21

Family

ID=49513715

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102136558A TWI579732B (zh) 2012-10-10 2013-10-09 多顯示設備及其控制方法

Country Status (6)

Country Link
US (1) US9317198B2 (zh)
EP (1) EP2741173A3 (zh)
JP (1) JP6585876B2 (zh)
KR (1) KR101984683B1 (zh)
CN (1) CN103729054A (zh)
TW (1) TWI579732B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI579734B (zh) * 2014-12-19 2017-04-21 惠普發展公司有限責任合夥企業 3d視覺化技術
TWI624770B (zh) * 2015-09-30 2018-05-21 惠普發展公司有限責任合夥企業 互動式顯示器
TWI668622B (zh) * 2017-08-05 2019-08-11 大陸商益富可視精密工業(深圳)有限公司 電子裝置及其應用執行方法
TWI697818B (zh) * 2018-08-23 2020-07-01 緯創資通股份有限公司 可攜式電子裝置與控制顯示模組之畫面之方法
TWI767523B (zh) * 2021-01-20 2022-06-11 佳世達科技股份有限公司 電子裝置
TWI800204B (zh) * 2021-04-15 2023-04-21 瑞鼎科技股份有限公司 雙螢幕裝置及雙螢幕畫面對齊方法
TWI799363B (zh) * 2015-06-26 2023-04-21 美商英特爾公司 帶有可結合之圖像輸入裝置的電子裝置
TWI841333B (zh) * 2023-04-07 2024-05-01 達擎股份有限公司 顯示系統以及用於顯示系統的影像顯示方法

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010029954A1 (de) * 2010-06-10 2011-12-15 Endress + Hauser Conducta Gesellschaft für Mess- und Regeltechnik mbH + Co. KG Verfahren zur sicheren Durchführung einer Kalibrierung und/oder einer Justierung einer Messgröße eines Messgerätes in der Automatisierungstechnik, insbesondere der Prozessanalysetechnik
KR101515629B1 (ko) 2012-01-07 2015-04-27 삼성전자주식회사 플렉서블 표시부를 갖는 휴대단말의 이벤트 제공 방법 및 장치
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US9225810B2 (en) * 2012-07-03 2015-12-29 Sony Corporation Terminal device, information processing method, program, and storage medium
WO2014157357A1 (ja) 2013-03-27 2014-10-02 Necカシオモバイルコミュニケーションズ株式会社 情報端末、表示制御方法及びそのプログラム
KR101584590B1 (ko) 2013-07-11 2016-01-13 삼성전자주식회사 어플리케이션을 표시하는 사용자 단말 장치 및 그 방법
KR102165818B1 (ko) 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
JP6075255B2 (ja) * 2013-09-20 2017-02-08 株式会社デンソー 入力装置、動作特定方法
WO2015047242A1 (en) * 2013-09-25 2015-04-02 Schneider Electric Buildings Llc Method and device for adjusting a set point
KR101946655B1 (ko) * 2013-10-08 2019-02-12 매그나칩 반도체 유한회사 디스플레이 단말에서 센서의 배치 방법
WO2015079861A1 (ja) * 2013-11-27 2015-06-04 株式会社ワコム 電子機器
KR20150072719A (ko) * 2013-12-20 2015-06-30 삼성전자주식회사 디스플레이장치 및 그 제어방법
IN2014CH00115A (zh) * 2014-01-09 2015-07-10 Samsung R & D Inst India Bangalore Private Ltd
RU2014113049A (ru) * 2014-04-03 2015-10-10 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов со слежением за объектом на основании вычислительных признаков контуров для двух или более объектов
US9891743B2 (en) * 2014-05-02 2018-02-13 Semiconductor Energy Laboratory Co., Ltd. Driving method of an input device
US10222824B2 (en) * 2014-05-12 2019-03-05 Intel Corporation Dual display system
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
TWI518603B (zh) 2014-05-22 2016-01-21 宏達國際電子股份有限公司 影像編輯方法與電子裝置
KR102209354B1 (ko) * 2014-06-20 2021-01-29 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
JP6390277B2 (ja) * 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US10474409B2 (en) * 2014-09-19 2019-11-12 Lenovo (Beijing) Co., Ltd. Response control method and electronic device
KR101886084B1 (ko) * 2014-11-03 2018-08-07 현대자동차 주식회사 차량용 제스처 인식 장치
US10255481B2 (en) * 2015-01-07 2019-04-09 Samsung Electronics Co., Ltd. Display device and operating method thereof with adjustments display
JP6519075B2 (ja) * 2015-02-10 2019-05-29 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6561400B2 (ja) * 2015-02-10 2019-08-21 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6603024B2 (ja) 2015-02-10 2019-11-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6534011B2 (ja) 2015-02-10 2019-06-26 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
TWI553508B (zh) * 2015-03-03 2016-10-11 緯創資通股份有限公司 物件感測裝置與方法
USD768722S1 (en) * 2015-05-01 2016-10-11 Microsoft Corporation Display screen with animated graphical user interface
KR101741691B1 (ko) * 2015-06-30 2017-05-30 현대자동차주식회사 차량 및 그 제어방법
US9557772B1 (en) 2015-07-21 2017-01-31 Lenovo (Beijing) Co., Ltd. Electronic device
WO2017013805A1 (ja) * 2015-07-23 2017-01-26 富士通株式会社 入力装置、入力支援方法および入力支援プログラム
US9936138B2 (en) 2015-07-29 2018-04-03 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
US11284003B2 (en) * 2015-07-29 2022-03-22 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
USD813865S1 (en) * 2015-08-18 2018-03-27 Samsung Electronics Co., Ltd. Portable electronic device
WO2017052590A1 (en) 2015-09-25 2017-03-30 Intel Corporation Hinge for an electronic device
US10417295B2 (en) * 2015-10-20 2019-09-17 At&T Intellectual Property I, L.P. Sensory allegiance
KR20170051950A (ko) * 2015-11-03 2017-05-12 삼성전자주식회사 전자 장치, 전자 장치의 디스플레이 제어 방법
CN105425964B (zh) * 2015-11-30 2018-07-13 青岛海信电器股份有限公司 一种手势识别方法和系统
US10963063B2 (en) * 2015-12-18 2021-03-30 Sony Corporation Information processing apparatus, information processing method, and program
KR102439465B1 (ko) * 2016-01-18 2022-09-02 엘지전자 주식회사 커넥티드 디바이스 시스템 및 상기 커넥티드 디바이스 시스템에서 애플리케이션 데이터 처리 방법
CN108886569B (zh) * 2016-03-31 2019-08-06 富士胶片株式会社 数码相机及数码相机的显示方法
CN105929961B (zh) * 2016-04-29 2018-11-13 广东美的制冷设备有限公司 红外手势检测装置、红外手势检测方法和家用电器
KR102520552B1 (ko) * 2016-06-24 2023-04-12 삼성전자주식회사 복수의 디스플레이를 포함하는 전자 장치
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US10768804B2 (en) * 2016-09-06 2020-09-08 Microsoft Technology Licensing, Llc Gesture language for a device with multiple touch surfaces
TWI638287B (zh) 2016-09-08 2018-10-11 國立臺灣大學 指觸介面之輸入裝置、系統及其方法
KR102491564B1 (ko) 2016-09-12 2023-01-26 삼성전자 주식회사 플렉서블 디스플레이를 포함하는 접을 수 있는 전자 장치
WO2018080442A1 (en) * 2016-10-25 2018-05-03 Hewlett-Packard Development Company, L.P. Selecting camera modes for electronic devices having multiple display panels
US10248224B2 (en) * 2016-10-25 2019-04-02 Microsoft Technology Licensing, Llc Input based on interactions with a physical hinge
US10346117B2 (en) 2016-11-09 2019-07-09 Microsoft Technology Licensing, Llc Device having a screen region on a hinge coupled between other screen regions
JP6911870B2 (ja) * 2016-11-25 2021-07-28 ソニーグループ株式会社 表示制御装置、表示制御方法及びコンピュータプログラム
JP6169298B1 (ja) * 2017-02-16 2017-07-26 京セラ株式会社 電子機器及び制御方法
US10564425B2 (en) 2017-02-27 2020-02-18 Snap Inc. Processing a media content based on device movement
US10983419B2 (en) * 2017-04-19 2021-04-20 Hewlett-Packard Development Company, L.P. Imaging modules power on via rotations
FR3065545B1 (fr) * 2017-04-25 2019-06-28 Thales Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes
US10015442B1 (en) 2017-05-12 2018-07-03 Microsoft Technology Licensing, Llc Three-way video calling on hinged multi-screen device
US20180329521A1 (en) * 2017-05-15 2018-11-15 Microsoft Technology Licensing, Llc Application program mode based on device orientation
US10481856B2 (en) * 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
US10339700B2 (en) 2017-05-15 2019-07-02 Microsoft Technology Licensing, Llc Manipulating virtual objects on hinged multi-screen device
US10444875B2 (en) * 2017-05-30 2019-10-15 Egalax_Empia Technology Inc. Touch sensitive processing apparatus, method and system
JP6387154B2 (ja) * 2017-06-27 2018-09-05 京セラ株式会社 電子機器及び制御方法
CN109413230A (zh) * 2017-08-17 2019-03-01 富泰华工业(深圳)有限公司 双屏电子装置
JP6946853B2 (ja) * 2017-08-21 2021-10-13 富士フイルムビジネスイノベーション株式会社 画像処理装置
US10459737B2 (en) * 2017-09-21 2019-10-29 Intel Corporation Waking and sleeping a display among a plurality of displays using gestures
US11079995B1 (en) 2017-09-30 2021-08-03 Apple Inc. User interfaces for devices with multiple displays
US20210156238A1 (en) * 2017-10-04 2021-05-27 Shell Oil Company Hinged interactive devices
CN107656792B (zh) * 2017-10-19 2021-03-16 Oppo广东移动通信有限公司 用户界面显示方法、装置及终端
TWI648657B (zh) * 2017-10-23 2019-01-21 群光電子股份有限公司 鍵盤裝置及系統操作方法
TWI653523B (zh) * 2017-12-04 2019-03-11 宏碁股份有限公司 可攜式電子裝置
EP3731068A4 (en) * 2017-12-19 2021-05-12 Sony Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING PROCESS AND PROGRAM
US11188287B2 (en) * 2017-12-27 2021-11-30 Sony Corporation Display control apparatus, display control method, and computer program
WO2019157344A1 (en) 2018-02-12 2019-08-15 Avodah Labs, Inc. Real-time gesture recognition method and apparatus
US10289903B1 (en) 2018-02-12 2019-05-14 Avodah Labs, Inc. Visual sign language translation training device and method
US10489639B2 (en) 2018-02-12 2019-11-26 Avodah Labs, Inc. Automated sign language translation and communication using multiple input and output modalities
US10304208B1 (en) 2018-02-12 2019-05-28 Avodah Labs, Inc. Automated gesture identification using neural networks
WO2019163503A1 (ja) * 2018-02-22 2019-08-29 京セラ株式会社 電子機器、制御方法およびプログラム
CN108600428B (zh) * 2018-04-02 2021-03-16 京东方科技集团股份有限公司 一种显示设备
TWI707253B (zh) * 2018-05-24 2020-10-11 仁寶電腦工業股份有限公司 具第二螢幕之電子裝置及其控制方法
JP6387204B2 (ja) * 2018-05-30 2018-09-05 京セラ株式会社 電子機器及び制御方法
US11422765B2 (en) 2018-07-10 2022-08-23 Apple Inc. Cross device interactions
US10692299B2 (en) 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
US10909772B2 (en) 2018-07-31 2021-02-02 Splunk Inc. Precise scaling of virtual objects in an extended reality environment
CN109243306B (zh) * 2018-09-29 2022-04-08 上海中航光电子有限公司 显示面板、显示装置和可折叠显示装置
CN110177292B (zh) * 2018-11-08 2021-11-26 广东小天才科技有限公司 一种基于可穿戴设备的视频播放控制方法及可穿戴设备
JP2020086111A (ja) * 2018-11-26 2020-06-04 セイコーエプソン株式会社 表示方法、および表示装置
CN109814825B (zh) * 2018-12-29 2021-01-08 维沃移动通信有限公司 显示屏操控方法和移动终端
US11169653B2 (en) 2019-01-18 2021-11-09 Dell Products L.P. Asymmetric information handling system user interface management
US11009907B2 (en) 2019-01-18 2021-05-18 Dell Products L.P. Portable information handling system user interface selection based on keyboard configuration
US11347367B2 (en) * 2019-01-18 2022-05-31 Dell Products L.P. Information handling system see do user interface management
USD912139S1 (en) 2019-01-28 2021-03-02 Avodah, Inc. Integrated dual display sensor
WO2020158088A1 (ja) * 2019-02-01 2020-08-06 株式会社ワコム 描画システム
EP3908912A4 (en) * 2019-04-02 2022-08-24 Hewlett-Packard Development Company, L.P. PRIVACY MODE OF SCREENS
US11017742B2 (en) 2019-05-02 2021-05-25 Dell Products L.P. Information handling system multiple display viewing angle brightness adjustment
US11341925B2 (en) * 2019-05-02 2022-05-24 Dell Products L.P. Information handling system adapting multiple display visual image presentations
CN113924568A (zh) 2019-06-26 2022-01-11 谷歌有限责任公司 基于雷达的认证状态反馈
JP7238642B2 (ja) * 2019-06-28 2023-03-14 セイコーエプソン株式会社 表示装置および表示制御プログラム
KR20220041128A (ko) * 2019-07-18 2022-03-31 엘지전자 주식회사 단말기 세트 및 그 제어방법
CN112286339B (zh) * 2019-07-23 2022-12-16 哈尔滨拓博科技有限公司 一种多维手势识别装置、方法、电子设备和存储介质
CN118349983A (zh) 2019-07-26 2024-07-16 谷歌有限责任公司 通过imu和雷达的认证管理
DE102019211156A1 (de) * 2019-07-26 2021-01-28 Audi Ag Faltbare Anzeigevorrichtung, Verfahren zum Betreiben der Anzeigevorrichtung, Steuereinrichtung, und Kraftfahrzeug
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
KR20210145281A (ko) 2019-07-26 2021-12-01 구글 엘엘씨 레이더 기반 제스처 인식의 컨텍스트 감지형 제어
EP3936980B1 (en) 2019-08-30 2024-07-10 Google LLC Input methods for mobile devices
CN113892072B (zh) 2019-08-30 2024-08-09 谷歌有限责任公司 启用用于暂停的雷达姿势的视觉指示器的方法和电子设备
CN110806829B (zh) * 2019-09-05 2021-05-11 华为技术有限公司 一种具有折叠屏的设备的显示方法及折叠屏设备
CN110798568B (zh) * 2019-09-30 2022-01-14 华为技术有限公司 具有折叠屏的电子设备的显示控制方法及电子设备
CN110989836A (zh) * 2019-10-03 2020-04-10 谷歌有限责任公司 促进用户熟练使用雷达手势来与电子设备交互
KR20210101858A (ko) * 2020-02-11 2021-08-19 삼성전자주식회사 제스처 인식 기반의 기능 운용 방법 및 이를 지원하는 전자 장치
US11714544B2 (en) 2020-06-25 2023-08-01 Microsoft Technology Licensing, Llc Gesture definition for multi-screen devices
US11281419B2 (en) * 2020-06-29 2022-03-22 Microsoft Technology Licensing, Llc Instruction color book painting for dual-screen devices
KR20220001862A (ko) * 2020-06-30 2022-01-06 삼성전자주식회사 사용자 모니터링 및 정보 제공 방법 및 그 장치
WO2022045926A1 (ru) * 2020-08-25 2022-03-03 Общество с ограниченной ответственностью "МетроМедиа" Вагон общественного транспорта
JP7521372B2 (ja) * 2020-10-15 2024-07-24 セイコーエプソン株式会社 表示方法、及び表示装置
JP2022070081A (ja) * 2020-10-26 2022-05-12 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
US20210149485A1 (en) * 2020-12-24 2021-05-20 Intel Corporation Dynamically reconfiguring a display in a multi-display device
CN114792490B (zh) * 2021-01-26 2024-02-06 苏州佳世达电通有限公司 一种电子装置
CN114035759B (zh) * 2021-08-06 2023-12-22 重庆康佳光电科技有限公司 屏幕控制方法、控制终端、屏幕和计算机可读存储介质
CN114527924A (zh) * 2022-02-16 2022-05-24 珠海读书郎软件科技有限公司 一种基于双屏设备的控制方法、存储介质及设备

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2796768B2 (ja) 1992-11-20 1998-09-10 株式会社ピーエフユー マルチディスプレイ装置
US5522025A (en) 1993-10-25 1996-05-28 Taligent, Inc. Object-oriented window area display system
CA2139094C (en) 1994-12-23 1999-04-13 Abdel Naser Al-Karmi Optical character recognition of handwritten or cursive text
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
JP3462986B2 (ja) 1998-08-31 2003-11-05 株式会社日立製作所 カメラ付きペン型入力装置
US6545669B1 (en) 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
JP2001021972A (ja) 1999-07-07 2001-01-26 Minolta Co Ltd ペンシル型のデジタルスチルカメラ
JP2001209470A (ja) 2000-01-26 2001-08-03 Fujitsu Ltd 表示インターフェイス方法及び装置並びにプログラム記憶媒体
JP2001307107A (ja) * 2000-04-21 2001-11-02 Sony Corp 画像処理装置および方法、並びに記録媒体
US7120317B1 (en) 2001-03-01 2006-10-10 Silicon Motion, Inc. Method and system for a programmable image transformation
JP2002281135A (ja) 2001-03-21 2002-09-27 Nec Viewtechnology Ltd 携帯電話
US7929185B2 (en) 2002-03-25 2011-04-19 Transpacific Systems, Llc System and method for switching screens from overview and preview
US6904737B2 (en) 2002-08-01 2005-06-14 General Mills, Inc. Dispensing apparatus and method of dispensing
KR20040035019A (ko) 2002-10-18 2004-04-29 엘지전자 주식회사 휴대용 컴퓨터의 스피커 시스템 및 스피커 구동방법
KR20040091272A (ko) 2003-04-21 2004-10-28 홍충식 더블 폴더 휴대폰
US8907904B2 (en) 2010-10-01 2014-12-09 Z124 Smartpad split screen desktop
US9182937B2 (en) * 2010-10-01 2015-11-10 Z124 Desktop reveal by moving a logical display stack with gestures
JP4193584B2 (ja) * 2003-05-22 2008-12-10 日本電気株式会社 カバー付き撮像装置
KR20040104777A (ko) 2003-06-04 2004-12-13 주식회사 팬택앤큐리텔 듀얼 카메라 장착 단말기
KR20050068127A (ko) 2003-12-29 2005-07-05 엘지전자 주식회사 입체사진 촬영이 가능한 휴대용 단말기
KR100959796B1 (ko) 2004-01-31 2010-05-28 엘지전자 주식회사 부분 윈도우 화면 표시방법
JP3738358B2 (ja) 2004-04-20 2006-01-25 カシオ計算機株式会社 ウィンドウ表示制御装置
WO2005109176A1 (ja) 2004-05-06 2005-11-17 Takatoshi Yanase ウィンドウ表示システム、ウィンドウ表示方法、プログラム開発支援装置及びサーバ装置
JP4177434B2 (ja) 2004-05-06 2008-11-05 隆敏 柳瀬 ウィンドウ表示システム、情報処理システム、クライアント装置、電話機、情報機器、家電機器及び機器
KR20050109190A (ko) 2004-05-14 2005-11-17 주식회사 팬택 듀얼 카메라를 이용한 와이드 이미지 생성 장치 및 방법
JP2006030379A (ja) 2004-07-13 2006-02-02 Toshiba Corp マルチディスプレイシステム及びコンピュータ
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7561737B2 (en) 2004-09-22 2009-07-14 Microsoft Corporation Mathematical expression recognition
KR100606797B1 (ko) 2004-11-12 2006-08-02 엘지전자 주식회사 듀얼 카메라를 갖는 이동통신 단말기
KR101094769B1 (ko) 2004-12-21 2011-12-16 엘지전자 주식회사 듀얼 카메라를 구비한 이동통신 단말기의 파노라마 영상표시 방법
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
KR20060092621A (ko) 2005-02-18 2006-08-23 최기훈 듀얼액정이 구비되는 전자책 단말기
KR20070014586A (ko) 2005-07-29 2007-02-01 삼성전자주식회사 Pip 표시 제어방법
KR100653965B1 (ko) 2005-08-01 2006-12-05 심재용 휴대용 단말기의 서로 다른 카메라를 이용한 3차원입체영상 처리 장치
KR100773853B1 (ko) 2005-08-22 2007-11-06 캐논 가부시끼가이샤 오브젝트 조작 장치 및 오브젝트 조작방법
KR100742588B1 (ko) 2005-11-14 2007-07-25 주식회사 디엔피시스템 듀얼 모니터의 모니터간 데이터 공유 방법
TW200729944A (en) * 2006-01-27 2007-08-01 Sunplus Technology Co Ltd Camera system having touch screen
US8587526B2 (en) 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
JP2008033686A (ja) 2006-07-28 2008-02-14 Fujitsu Frontech Ltd 電子ブック
US8516393B2 (en) 2006-12-18 2013-08-20 Robert Pedersen, II Apparatus, system, and method for presenting images in a multiple display environment
KR100803504B1 (ko) 2007-01-16 2008-02-14 (주)케이티에프테크놀로지스 듀얼 카메라를 구비한 휴대용 단말기
CN101286310A (zh) 2007-04-13 2008-10-15 群康科技(深圳)有限公司 显示器屏幕显示控制系统及其操作方法
KR100936816B1 (ko) 2007-05-26 2010-01-14 이문기 카메라와 마크 출력에의한 포인팅 장치
KR20080113832A (ko) 2007-06-26 2008-12-31 (주)이에스비 액정표시장치상의 특정 패턴을 촬영하는 카메라를 내장하여위치를 판독하는 전자펜과 이를 이용한 전자칠판
KR101164738B1 (ko) 2007-08-29 2012-07-12 교세라 가부시키가이샤 전자 기기 및 입력 인터페이스 전환 방법
KR20090065040A (ko) 2007-12-17 2009-06-22 삼성전자주식회사 동작과 터치를 이용한 이중 포인팅 장치 및 방법
US8004501B2 (en) * 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
KR100942783B1 (ko) 2008-02-27 2010-02-18 웹싱크 주식회사 통합 프레임 버퍼를 사용하는 디지털 멀티비전 시스템
US8866840B2 (en) 2008-09-08 2014-10-21 Qualcomm Incorporated Sending a parameter based on screen size or screen resolution of a multi-panel electronic device to a server
US8860765B2 (en) 2008-09-08 2014-10-14 Qualcomm Incorporated Mobile device with an inclinometer
US8803816B2 (en) 2008-09-08 2014-08-12 Qualcomm Incorporated Multi-fold mobile device with configurable interface
US8836611B2 (en) 2008-09-08 2014-09-16 Qualcomm Incorporated Multi-panel device with configurable interface
US9009984B2 (en) 2008-09-08 2015-04-21 Qualcomm Incorporated Multi-panel electronic device
US8860632B2 (en) 2008-09-08 2014-10-14 Qualcomm Incorporated Multi-panel device with configurable interface
US8933874B2 (en) 2008-09-08 2015-01-13 Patrik N. Lundqvist Multi-panel electronic device
US20100073306A1 (en) 2008-09-25 2010-03-25 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Dual-view touchscreen display system and method of operation
KR101569776B1 (ko) 2009-01-09 2015-11-19 삼성전자주식회사 접히는 표시부를 가지는 휴대 단말기 및 이의 운용 방법
KR101544364B1 (ko) 2009-01-23 2015-08-17 삼성전자주식회사 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
KR101564108B1 (ko) 2009-03-20 2015-10-28 엘지전자 주식회사 듀얼 디스플레이부를 구비한 이동 통신 단말기에서의 아이템 제어 방법 및 이를 적용한 이동 통신 단말기
US8446377B2 (en) 2009-03-24 2013-05-21 Microsoft Corporation Dual screen portable touch sensitive computing system
KR20100115547A (ko) 2009-04-20 2010-10-28 에스케이 텔레콤주식회사 컨텐츠 주밍 방법과 그를 위한 터치 스크린 단말기 및 컴퓨터로 읽을 수 있는 기록매체
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
KR101556329B1 (ko) 2009-05-11 2015-10-01 에스케이텔레콤 주식회사 단말기에서의 모드별 다중 스피커 제어 방법 및 그 장치
KR101578005B1 (ko) 2009-06-10 2015-12-16 엘지전자 주식회사 이동 단말기 및 이것에 구비된 카메라를 이용한 사용자 동작 입력 방법
JP5212310B2 (ja) 2009-08-17 2013-06-19 株式会社リコー ネットワークシステム、サーバ装置、及びグループウェアプログラム
KR101240060B1 (ko) 2009-09-03 2013-03-06 퀄컴 인코포레이티드 경사계를 갖는 모바일 디바이스
JP5653920B2 (ja) 2009-09-03 2015-01-14 クゥアルコム・インコーポレイテッドQualcomm Incorporated グラフィカルユーザインターフェース要素の配置および方向を示すための方法
US8681124B2 (en) 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
US20110102314A1 (en) * 2009-10-30 2011-05-05 Xerox Corporation Dual-screen electronic reader with tilt detection for page navigation
KR101710545B1 (ko) 2009-11-05 2017-02-27 엘지전자 주식회사 이동 단말기 및 이를 이용한 정보 제공 방법
CN101930333B (zh) * 2009-12-03 2012-10-17 明基电通有限公司 多屏幕显示控制方法
US8724301B2 (en) 2010-01-29 2014-05-13 Mohamed K. Mahmoud Laptop book
US20110191704A1 (en) 2010-02-04 2011-08-04 Microsoft Corporation Contextual multiplexing gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
JP2011203873A (ja) * 2010-03-24 2011-10-13 Nec Corp 情報処理装置、表示切換え方法、プログラム及び記録媒体
JP2011221229A (ja) 2010-04-08 2011-11-04 Sharp Corp 表示システム、表示方法、およびディスプレイ
KR101196253B1 (ko) 2010-04-20 2012-11-05 주식회사 유니온앤이씨 기업 정보 관리를 위한 가상 컨텐츠 공급 장치 및 방법
JP2011248411A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 情報処理装置および仮想キーボードの表示方法
US20110296333A1 (en) * 2010-05-25 2011-12-01 Bateman Steven S User interaction gestures with virtual keyboard
JP5138833B2 (ja) * 2010-06-08 2013-02-06 パナソニック株式会社 映像生成装置、方法及び集積回路
US9009594B2 (en) 2010-06-10 2015-04-14 Microsoft Technology Licensing, Llc Content gestures
JP5073013B2 (ja) * 2010-06-11 2012-11-14 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
US8638303B2 (en) 2010-06-22 2014-01-28 Microsoft Corporation Stylus settings
KR101686866B1 (ko) 2010-06-30 2016-12-15 엘지전자 주식회사 이동 단말기
KR101701839B1 (ko) 2010-07-13 2017-02-02 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101718027B1 (ko) 2010-09-09 2017-03-20 엘지전자 주식회사 이동 단말기 및 그의 메모 관리방법
US8842080B2 (en) 2010-10-01 2014-09-23 Z124 User interface with screen spanning icon morphing
KR101798965B1 (ko) 2010-10-14 2017-11-17 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
WO2012088634A1 (en) * 2010-12-30 2012-07-05 Technicolor (China) Technology Co., Ltd. User interface, apparatus and method for gesture recognition
KR101842906B1 (ko) * 2011-02-10 2018-05-15 삼성전자주식회사 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면 변경방법
KR101229699B1 (ko) 2011-05-12 2013-02-05 주식회사 케이티 애플리케이션 간의 콘텐츠 이동 방법 및 이를 실행하는 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI579734B (zh) * 2014-12-19 2017-04-21 惠普發展公司有限責任合夥企業 3d視覺化技術
US10275113B2 (en) 2014-12-19 2019-04-30 Hewlett-Packard Development Company, L.P. 3D visualization
TWI799363B (zh) * 2015-06-26 2023-04-21 美商英特爾公司 帶有可結合之圖像輸入裝置的電子裝置
TWI624770B (zh) * 2015-09-30 2018-05-21 惠普發展公司有限責任合夥企業 互動式顯示器
US10869009B2 (en) 2015-09-30 2020-12-15 Hewlett-Packard Development Company, L.P. Interactive display
TWI668622B (zh) * 2017-08-05 2019-08-11 大陸商益富可視精密工業(深圳)有限公司 電子裝置及其應用執行方法
TWI697818B (zh) * 2018-08-23 2020-07-01 緯創資通股份有限公司 可攜式電子裝置與控制顯示模組之畫面之方法
TWI767523B (zh) * 2021-01-20 2022-06-11 佳世達科技股份有限公司 電子裝置
TWI800204B (zh) * 2021-04-15 2023-04-21 瑞鼎科技股份有限公司 雙螢幕裝置及雙螢幕畫面對齊方法
TWI841333B (zh) * 2023-04-07 2024-05-01 達擎股份有限公司 顯示系統以及用於顯示系統的影像顯示方法

Also Published As

Publication number Publication date
US9317198B2 (en) 2016-04-19
JP2014078238A (ja) 2014-05-01
EP2741173A3 (en) 2017-05-03
JP6585876B2 (ja) 2019-10-02
CN103729054A (zh) 2014-04-16
KR20140046343A (ko) 2014-04-18
TWI579732B (zh) 2017-04-21
KR101984683B1 (ko) 2019-05-31
EP2741173A2 (en) 2014-06-11
US20140101578A1 (en) 2014-04-10

Similar Documents

Publication Publication Date Title
TWI579732B (zh) 多顯示設備及其控制方法
US11360728B2 (en) Head mounted display apparatus and method for displaying a content
KR102063952B1 (ko) 멀티 디스플레이 장치 및 멀티 디스플레이 방법
EP2720191B1 (en) Display device and method of photographing thereof
US9406281B2 (en) Multi-display device and method of controlling thereof
US9348504B2 (en) Multi-display apparatus and method of controlling the same
TWI590146B (zh) 多顯示裝置及其提供工具的方法
KR102061881B1 (ko) 멀티 디스플레이 장치 및 그 디스플레이 제어 방법
EP2720140A1 (en) Display apparatus, input pen, display apparatus controlling method and display system
US10319345B2 (en) Portable terminal and method for partially obfuscating an object displayed thereon

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees