JP6585876B2 - マルチディスプレイ装置およびその制御方法 - Google Patents
マルチディスプレイ装置およびその制御方法 Download PDFInfo
- Publication number
- JP6585876B2 JP6585876B2 JP2013213215A JP2013213215A JP6585876B2 JP 6585876 B2 JP6585876 B2 JP 6585876B2 JP 2013213215 A JP2013213215 A JP 2013213215A JP 2013213215 A JP2013213215 A JP 2013213215A JP 6585876 B2 JP6585876 B2 JP 6585876B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- user
- display
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
- G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
- G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
- G06F1/1618—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position the display being foldable up to the back of the other housing with a single degree of freedom, e.g. by 360° rotation over the axis defined by the rear edge of the base enclosure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Telephone Function (AREA)
- Details Of Television Systems (AREA)
- Studio Devices (AREA)
Description
そして、前記制御部は、前記ユーザのジェスチャを3次元的に認識してよい。
なお、前記制御部は、前記ユーザのジェスチャをステレオ映像として認識してよい。
そして、前記ユーザのジェスチャは、3次元的に認識されてよい。
なお、前記ユーザのジェスチャは、ステレオ映像として認識されてよい。
図1を参照すると、マルチディスプレイ装置100は、第1ボディ2と、第2ボディ4およびヒンジ部185を含む。第1ボディ(body)2は、制御部130と、第1撮像部140aおよび第1ディスプレイ部190aを含み、第2ボディ(body)4は、第2撮像部140bおよび第2ディスプレイ部190bを含む。場合によっては、制御部130は、第2ボディ4に含まれてよく、数個で設けられ、第1および第2ボディ2、4の両方に含まれてよい。
図2を参照すると、マルチディスプレイ装置100の第1ボディ2および第2ボディ4は、ヒンジ部185によって連結され、相対的に移動できるように構成される。第1ボディ2と第2ボディ4との間の角度は、0度から360度の間の任意の値であってよい。第1カメラ141は、第1ボディ2の周縁領域のうち、前記ヒンジ部185の反対側の周縁領域の中央部に配置される。第2カメラ142は、第2ボディ4の周縁領域のうち、前記ヒンジ部185の反対側の周縁領域の中央部に配置される。
図3においては、マルチディスプレイ装置100に一般的なカメラが配置された場合のジェスチャ認識範囲を示している。第1および第2ボディ2、4に、それぞれ第1および第2カメラ141、142が備えられる。カメラは、一定範囲の画角(view angle)を有する。画角とは、撮影時に一定の画面内に含めることができる水平および垂直視野角の範囲を意味する。第1および第2カメラ141、142が標準レンズを使用する一般的なカメラである場合、約45度程度の画角を有する。3Dジェスチャを正確に認識するためには、立体的なユーザ客体の模様または動きを認識することができなければならない。よって、第1カメラ141の認識範囲6と第2カメラ142の認識範囲7とが重なる部分をジェスチャ認識領域に設定する。
制御部が、ユーザ客体の動きを検出するために、最小3つのフレーム(frame)のイメージが必要になる。しかし、動く物体を撮影する場合、形体がぼやけて捉えられるブレ(blurring)現象が発生するおそれがあるため、少なくとも5乃至6フレーム以上のイメージが必要である。
図5ないし図6で示す図では、第1および第2カメラ141、142が、一方は正面に、他方は下に配置されている。よって、カメラを基準にして見ると、一方のカメラはユーザの動きを上下左右の動きから認識し、他方のカメラは遠近の動きから認識する。しかし、図7に示すような図では、第1および第2カメラ141、142は、ユーザの動きを方向が逆の同一の動きとして認識する。すなわち、平行する二つのカメラで入力されるユーザの動きの映像をステレオ映像という。
ジェスチャ形状を認識する方法は、第1または第2カメラのうち少なくとも一方のカメラが、ユーザ客体のイメージを撮像するステップ(S810)、RMCT(Revised Modified Census Transform)イメージに変換するステップ(S820)、局部構造特徴を検出するステップ(S830)、特徴点加重値テーブルを用いて類型を確認するステップ(S840)およびジェスチャを認識するステップ(S850)を含む。
図9、図10は、本発明の一実施形態に係るシングルジェスチャ認識モードの動作を表示する図である。
シングルジェスチャ認識モードは、マルチディスプレイ装置100が一つのユーザ客体の動きのみを空間ジェスチャの手段として認識することを意味する。例えば、マルチディスプレイ装置100は、ユーザの任意の片手をユーザ客体として認識し、認識された手の動きのみを空間ジェスチャとして認識することができる。この場合、マルチディスプレイ装置100は、他方の手または他人の手の動きがカメラに捉えられるとしても、ジェスチャとして認識しない。よって、シングルジェスチャ認識モードは、ユーザ客体と認識されない客体によるインタラプト(interrupt)は発生するとしても、正常なジェスチャ認識が可能である。
マルチジェスチャ認識モードは、マルチディスプレイ装置100が少なくとも二つのユーザ客体の動きを空間ジェスチャの手段として認識することを意味する。例えば、マルチディスプレイ装置100は、ユーザの両手をユーザ客体として認識し、両手の動きを空間ジェスチャとして認識することができる。この場合、両手が交差する場合にも、ジェスチャ認識が可能である。
連続ジェスチャとは、例えば、選択ジェスチャと移動ジェスチャとのように、二つのジェスチャを連続する一つの動作として行うことを意味する。マルチディスプレイ装置100の第1および第2カメラ141、142は、立体的に配置されているため、マルチディスプレイ装置100はこのような連続ジェスチャを認識することができる。
図14によると、マルチディスプレイ装置は、ヒンジ部を基準に第1および第2ボディの開く角度を検出する(S1410)。それにより、検出された角度が予め設定された角度範囲内である場合、第1および第2撮像部を活性化させる(S1420)。具体的には、ターンオフ状態にあった第1および第2撮像部をターンオンさせる動作を行う。第1および第2撮像部が活性化されると、各撮像部を用いて撮像を行う(S1430)。
図15は、シングルジェスチャ認識モード画面を例として示している。ユーザがジェスチャ認識モードということを認識することができるように、マルチディスプレイ装置100は第2ディスプレイ装置190bの状態表示ウィンドウに手の形のアイコン13を表示することができる。前記アイコンは、ジェスチャ認識モードということを認知することができる別の模様のアイコンであってよく、アイコンではない「ジェスチャ」または「G」という文字で表示することができる。表示される位置も、第1または第2ディスプレイ部190a、190b上の任意の位置であってよい。または、第1および第2ボディ2、4のディスプレイ部以外の領域に発光ダイオード(Light Emitting Diode:LED)を用いて表示することができる。
図16ないし図20は、本発明の一実施形態に係るシングルジェスチャによるユーザインターフェース変更を例示する図である。
本発明は、カメラを用いて空間上のジェスチャを入力命令として認識し、マルチディスプレイ装置が対応する動作を行う。しかし、空間上のジェスチャは、ユーザの便宜性を考慮し、従来と同様のジェスチャにマッピングさせることができる。
本発明の実施形態において、タッチジェスチャはタッチスクリーンに直に接触して、或いは、近くまで接近してマルチディスプレイ装置100が検知できるようにする全種類のユーザのジェスチャを含むことができる。例えば、左手と右手との指先(finger)(特に、人差し指)、親指(thumb)またはタッチスクリーンによって検知可能な客体(例えば、スタイラスペン)を用いてタッチスクリーン上で一つの位置或いは連続した複数の位置を選択するユーザの動作である。以下の表を参照し、タッチジェスチャについて具体的に説明する。
表1は、1本の指を用いたジェスチャタイプについて説明する。
表1を参照すると、1本の指を用いたジェスチャタイプには、タップ(Tap)、タッチ&ホールド(Touch&Hold)、ダブルタップ(Double Tap)、ドラッグ(Drag)、ドラッグ&ドロップ(Drag&Drop)およびフリック(Flick)等がある。タップ(Tap)とは、ユーザがタッチスクリーンを軽く押してから離した動作を意味し、タッチ&ホールド(Touch&Hold)とは、ユーザが長時間タッチを行う動作であり、ダブルタップ(Double Tap)とは、ユーザが素早く二回タップする動作を意味する。そして、ドラッグ(Drag)とは、一方向に引く動作であり、ドラッグ&ドロップ(Drag&Drop)とは、タッチスクリーン上の任意の客体を押した後、一方向から別の方向に引っ張るような動作であり、フリック(Flick)とは、素早くドラッグする動作である。
表2は、2本の指を用いたジェスチャタイプについて説明する。
表2を参照すると、2本の指を用いたジェスチャタイプには、ツーフィンガータップ(Two finger Tap)、タッチ&スプレッド(Touch&Spread)、ピンチアウト(Pinch Out)、ピンチイン(Pinch In)、ツーフィンガードラッグ(Two finger Drag)、クロスツーフィンガー(Cross Two Finger)およびタッチ&ローテート(Touch&Rotate)等がある。ツーフィンガータップとは、2本の指が同時にタップする動作であり、タッチ&スプレッドとは、2本の指が同時にタッチスクリーンを押圧し、片方の指は動かず、もう片方のみを直線で動かす動作である。ピンチアウトとは、同時の2本の指がタッチスクリーンを押した後、相互に反対方向にドラッグする動作であり、ピンチインとは、同時に2本の指がタッチスクリーンを押した後、相互向き合う方向にドラッグする動作である。ツーフィンガードラッグとは、2本の指が同一の方向にドラッグする動作であり、クロスツーフィンガーとは、相互向き合う方向に同時にドラッグされ、クロスして離れる動作である。最後に、タッチ&ローテートとは、片方の指は動かさずに、他方のみが固定された1本の指を中心にローテートする動作を意味する。
表3は、2本以上の指を用いたジェスチャおよび手のひらを用いたジェスチャタイプについて説明する。
表3を参照すると、2本以上の指を用いたジェスチャタイプには、スリーフィンガータッチ、フォーフィンガータッチ、ファイブフィンガータッチ等がある。なお、2本以上の指を用いて上述の表1、表2でのように、タップ、ドラッグ、ローテートのようなジェスチャ動作を行うことができる。
上述のジェスチャに更に空間ジェスチャセット(gesture set)の一実施形態は以下のように定義することができる。
図16においては、レフトジェスチャに関連する内容のみを示しているが、具体的な装置構成と画面構成とは省略している。図16においては、画面のページを示すカウンタは、現在の画面が何ページに該当するか表示する。図16の(1)に示すように、第1ディスプレイ部190aには第1ページ1410が表示され、第2ディスプレイ部190bには第2ページ1420が表示される。一つのユーザ客体81は手を横に開いた形状で、右側から左側に移動する。ユーザ客体81の移動領域はジェスチャ認識領域内に含まれなければならない。
図17の(4)を参照すると、制御部は手を開くジェスチャをメニュー実行として認識し、第2ディスプレイ部190b上に世界地図とともに特定地域の時間と天気情報を表示(1520)する。
図19の(1)を参照すると、第1ディスプレイ部190a上には、イメージリスト1710が存在する。イメージリスト1710は、立体的に回転する形態で表示されてよい。イメージリストを表示する別の例として、イメージリストは、イメージ名のみ表示されてよく、平面上のサムネールイメージで表示されてよい。
マルチジェスチャは、それぞれのユーザ客体が上述のジェスチャをそれぞれ取ることができ、二つのユーザ客体を用いて一つのジェスチャを取ることもできる。
図22を参照すると、第1および第2タッチスクリーン190a、190bの全画面で一つの立体イメージ1910が表示される。第1および第2ボディ2、4には、それぞれの第1および第2カメラ141、142が配置される。ジェスチャ認識領域で、二つのユーザ客体93a、94aの動きは、第1および第2カメラ141、142によって撮像され、制御部はジェスチャを認識する。場合によって、マルチジェスチャ認識モードでは、3つ以上のユーザ客体がジェスチャ動作手段として使用されてよい。
図23の(2)は、第2ユーザ客体94bが動く方向を示す図である。第2ユーザ客体94bは、Y−Z平面上の一方向24bに移動する。
図24の(2)は、第2ユーザ客体94cが動く方向を示す図である。第2ユーザ客体94cはX−Z平面上の一方向24cに円を描きつつ移動する。
図25の(2)は、第1および第2ユーザ客体93d、94dが動く方向を示す図である。第1ユーザ客体93dは、X軸方向23dに移動し、第2ユーザ客体94dは第1ユーザ客体93dが動く反対方向、すなわち、−X軸方向24dに移動する。
図26の(2)は、第1および第2ユーザ客体93e、94eが動く方向を示す図である。第1ユーザ客体93eはY軸方向23eに移動し、第2ユーザ客体94eは−Y軸方向24eに移動する。
図28、図29は、本発明の多様な実施形態に係るマルチディスプレイ装置のカメラの配置例を説明するための図である。図28ないし図29は、マルチディスプレイ装置100を正面から眺めた図である。カメラの配置を説明するための図であるため、カメラ以外の他の部分は省略した。
図30は、本発明の一実施形態に係る三つのカメラが備えられたマルチディスプレイ装置を示す図である。図30を参照すると、第1および第2カメラ143、144は、第1ボディ2の第1ディスプレイ部190aと同じ面に配置され、第3カメラ145は第2ディスプレイ部190bと同じ面に配置されてよい。第1および第2カメラ143、144は、第1ボディ2のヒンジ部185と接していない両角領域に配置されてよく、第3カメラ145は、第2ボディ4のヒンジ部185の反対側の周縁領域の中央部に配置されてよい。場合によって、第1ボディ2に一つのカメラが配置され、第2ボディ4に二つのカメラが配置されてよい。
図33を参照すると、第1カメラ141は、第1ボディ2のヒンジ部185の反対側の周縁領域の中央部に配置され、回転型カメラ149は、第2ボディ4のヒンジ部185の反対側の周縁領域の中央部に配置される。そして、回転側カメラ149は、第2ボディ4と回転自在のヒンジで連結されてよい。よって、回転型カメラ149は、θ2角度範囲内で回転することができる。
相対角度(θ)は、第1ボディ2に対して所定方向(一例として、反時計回り)に回転された第2ボディ4の回転角度である。
図示のマルチディスプレイ装置100は、通信部110のセルラー通信モジュール111と、無線LANモジュール112と、近距離通信モジュール113およびコネクタ114のうち、少なくとも一つを用いて、外部装置(図示せず)と接続されてよい。“外部装置”は、別の装置、携帯電話、スマートフォン、タブレットパソコン、コンピュータサーバおよびデジタルテレビのうち、少なくとも一つを含んでよい。
コネクタ114は、マルチディスプレイ装置100と外部装置または電源ソースを接続するためのインターフェースとして利用されてよい。制御部130の制御によって、コネクタ114に接続された有線ケーブルを通じてマルチディスプレイ装置100の保存部170に保存されたデータを外部装置に伝送したり、または、外部装置からデータを受信することができる。コネクタ114に接続された有線ケーブルを通じて、電源ソースから電源が入力されたり、バッテリ(図示せず)を充電することができる。
図40によると、マルチディスプレイ装置は、通信部110と、マルチメディア部120と、制御部130と、撮像部140と、センサ部150と、入/出力部160と、保存部170と、電源部180およびマルチディスプレイ部190を含む。図39において説明した構成部と同一の構成部の説明は省略し、ディスプレイする過程のみについて説明する。
ユーザは、近接センサを用いた近接タッチ方式で、マルチディスプレイ装置100に制御命令を入力させることができる。近接タッチは、タッチスクリーンを直接タッチせずに、空間上の一定の有効認識範囲から動きが認識される場合、一つのタッチジェスチャとして認識することが意味する。
図48によると、マルチディスプレイ装置は、第1撮像部および第2撮像部を用いて、ユーザ客体の動き、すなわち、ジェスチャを撮像する(S4810)。マルチディスプレイ装置は、上述の多様な実施形態で説明したように、複数のディスプレイ部およびそれらを連結するヒンジ部を含む形態で実現されてよい。第1および第2撮像部のそれぞれは、各自の認識領域でユーザ客体のイメージを撮像する。第1および第2撮像部が互いに異なる位置に配置されると、ユーザ客体のイメージも互いに異なる角度から撮像されて獲得されてよい。
120 マルチメディア部
130 制御部
140 撮像部
140a 第1撮像部
140b 第2撮像部
141、141−1、141’ 第1カメラ
142、142−1、142’ 第2カメラ
150 センサ部
160 入/出力部
170 保存部
175a−1 第1フレームバッファ
175b−1 第2フレームバッファ
175a−2 第1ディスプレイドライバ
175b−2 第2ディスプレイドライバ
175−1 統合フレームバッファ
175−2 ディスプレイドライバ
180 電源部
185 ヒンジ部
190a 第1ディスプレイ部
190b 第2ディスプレイ部
231 タイミングコントローラ
232 ゲートドライバ
233 データドライバ
234 電圧駆動部
Claims (10)
- 第1ディスプレイ部を含む第1ボディ(body)と、
第2ディスプレイ部を含む第2ボディ(body)と、
前記第1ボディおよび前記第2ボディを連結するヒンジ部と、
前記第1ボディに設けられた第1撮像部と、
前記第2ボディに設けられた第2撮像部と、
前記第1および第2撮像部で、それぞれ撮像された複数のイメージを用いて、ユーザのジェスチャを認識し、認識された前記ユーザのジェスチャに対応する制御動作を行う制御部と
を含み、
前記制御部は、
前記第1撮像部が撮像可能な第1撮像範囲内で移動するユーザ客体の動き方向と、前記第2撮像部が撮像可能な第2撮像範囲内で移動する前記ユーザ客体の動き方向とを用いて、前記第1および第2撮像範囲間の重複範囲内における前記ユーザのジェスチャを3次元的に認識し、
連続パターンを構成する少なくとも二つの前記ユーザのジェスチャが認識されると、前記二つのユーザのジェスチャのそれぞれに対応する複数の制御動作を連続的に行い、
前記二つのユーザのジェスチャのうち、前記ユーザの第1ジェスチャは第1方向に移動するジェスチャであり、前記ユーザの第2ジェスチャは前記第1方向と異なる第2方向に移動するジェスチャであることを特徴とするマルチディスプレイ装置。 - 前記制御部は、
前記ヒンジ部を基準に、前記第1および第2ボディの開く角度を検出し、前記検出された角度が予め設定された角度範囲内であれば、前記第1および第2撮像部を活性化させることを特徴とする請求項1に記載のマルチディスプレイ装置。 - 前記制御部は、
前記ユーザのジェスチャをステレオ映像として認識することを特徴とする請求項1又は2に記載のマルチディスプレイ装置。 - 前記ユーザのジェスチャは、
シングルフィンガージェスチャ、ツーフィンガージェスチャ、マルチフィンガージェスチャ、パームジェスチャ、マルチパームジェスチャ、フィストジェスチャおよびマルチフィストジェスチャのうち、いずれか一つであることを特徴とする請求項1ないし3のいずれか一項に記載のマルチディスプレイ装置。 - 前記制御部は、
前記第1または第2ディスプレイ部に表示されたアイコンに対してグリップジェスチャが認識されると、前記アイコンを選択する動作を行うことを特徴とする請求項1ないし4のいずれか一項に記載のマルチディスプレイ装置。 - 第1ディスプレイ部を含む第1ボディと、第2ディスプレイ部を含む第2ボディと、前記第1ボディと前記第2ボディとを連結するヒンジ部とを含むマルチディスプレイ装置の制御方法において、
前記第1ボディに設けられた第1撮像部および前記第2ボディに設けられた第2撮像部を用いて撮像を行うステップと、
前記第1および第2撮像部で、それぞれ撮像された複数のイメージを用いて、ユーザのジェスチャを認識するステップと、
認識された前記ユーザのジェスチャに対応する制御動作を行うステップと
を含み、
前記ユーザのジェスチャを認識するステップは、
前記第1撮像部が撮像可能な第1撮像範囲内で移動するユーザ客体の動き方向と、前記第2撮像部が撮像可能な第2撮像範囲内で移動する前記ユーザ客体の動き方向とを用いて、前記第1および第2撮像範囲間の重複範囲内における前記ユーザのジェスチャを3次元的に認識し、
前記制御方法は、
連続パターンを構成する少なくとも二つの前記ユーザのジェスチャが認識されると、前記二つのユーザのジェスチャのそれぞれに対応する複数の制御動作を連続的に行うステップを更に含み、
前記二つのユーザのジェスチャのうち、前記ユーザの第1ジェスチャは第1方向に移動するジェスチャであり、前記ユーザの第2ジェスチャは第1方向と異なる第2方向に移動するジェスチャであることを特徴とするマルチディスプレイ装置の制御方法。 - 前記ヒンジ部を基準に、前記第1および第2ボディの開く角度を検出するステップと、
前記検出された角度が予め設定された角度範囲内であれば、前記第1および第2撮像部を活性化させるステップと
を更に含むことを特徴とする請求項6に記載のマルチディスプレイ装置の制御方法。 - 前記ユーザのジェスチャは、
ステレオ映像として認識されることを特徴とする請求項6又は7に記載のマルチディスプレイ装置の制御方法。 - 前記ユーザのジェスチャは、
シングルフィンガージェスチャ、ツーフィンガージェスチャ、マルチフィンガージェスチャ、パームジェスチャ、マルチパームジェスチャ、フィストジェスチャおよびマルチフィストジェスチャのうち、いずれか一つであることを特徴とする請求項6ないし8のいずれか一項に記載のマルチディスプレイ装置の制御方法。 - 前記制御動作を行うステップは、
前記第1または第2ディスプレイ部に表示されたアイコンに対するグリップジェスチャが認識されると、前記アイコンを選択する動作を行うことを特徴とする請求項6ないし9のいずれか一項に記載のマルチディスプレイ装置の制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2012-0112681 | 2012-10-10 | ||
KR1020120112681A KR101984683B1 (ko) | 2012-10-10 | 2012-10-10 | 멀티 디스플레이 장치 및 그 제어 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014078238A JP2014078238A (ja) | 2014-05-01 |
JP6585876B2 true JP6585876B2 (ja) | 2019-10-02 |
Family
ID=49513715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013213215A Expired - Fee Related JP6585876B2 (ja) | 2012-10-10 | 2013-10-10 | マルチディスプレイ装置およびその制御方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9317198B2 (ja) |
EP (1) | EP2741173A3 (ja) |
JP (1) | JP6585876B2 (ja) |
KR (1) | KR101984683B1 (ja) |
CN (1) | CN103729054A (ja) |
TW (1) | TWI579732B (ja) |
Families Citing this family (125)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010029954A1 (de) * | 2010-06-10 | 2011-12-15 | Endress + Hauser Conducta Gesellschaft für Mess- und Regeltechnik mbH + Co. KG | Verfahren zur sicheren Durchführung einer Kalibrierung und/oder einer Justierung einer Messgröße eines Messgerätes in der Automatisierungstechnik, insbesondere der Prozessanalysetechnik |
KR101515629B1 (ko) | 2012-01-07 | 2015-04-27 | 삼성전자주식회사 | 플렉서블 표시부를 갖는 휴대단말의 이벤트 제공 방법 및 장치 |
US9619036B2 (en) | 2012-05-11 | 2017-04-11 | Comcast Cable Communications, Llc | System and methods for controlling a user experience |
US9225810B2 (en) * | 2012-07-03 | 2015-12-29 | Sony Corporation | Terminal device, information processing method, program, and storage medium |
CN105103110B (zh) * | 2013-03-27 | 2018-07-27 | 日本电气株式会社 | 信息终端、显示控制方法和程序 |
KR20150007910A (ko) | 2013-07-11 | 2015-01-21 | 삼성전자주식회사 | 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법 |
KR102165818B1 (ko) * | 2013-09-10 | 2020-10-14 | 삼성전자주식회사 | 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체 |
JP6075255B2 (ja) * | 2013-09-20 | 2017-02-08 | 株式会社デンソー | 入力装置、動作特定方法 |
WO2015047242A1 (en) * | 2013-09-25 | 2015-04-02 | Schneider Electric Buildings Llc | Method and device for adjusting a set point |
KR101946655B1 (ko) * | 2013-10-08 | 2019-02-12 | 매그나칩 반도체 유한회사 | 디스플레이 단말에서 센서의 배치 방법 |
CN105765507B (zh) * | 2013-11-27 | 2019-03-26 | 株式会社和冠 | 具有输入功能的电子设备 |
KR20150072719A (ko) * | 2013-12-20 | 2015-06-30 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
IN2014CH00115A (ja) * | 2014-01-09 | 2015-07-10 | Samsung R & D Inst India Bangalore Private Ltd | |
RU2014113049A (ru) * | 2014-04-03 | 2015-10-10 | ЭлЭсАй Корпорейшн | Процессор изображений, содержащий систему распознавания жестов со слежением за объектом на основании вычислительных признаков контуров для двух или более объектов |
US9891743B2 (en) * | 2014-05-02 | 2018-02-13 | Semiconductor Energy Laboratory Co., Ltd. | Driving method of an input device |
US10222824B2 (en) * | 2014-05-12 | 2019-03-05 | Intel Corporation | Dual display system |
KR102265143B1 (ko) * | 2014-05-16 | 2021-06-15 | 삼성전자주식회사 | 입력 처리 장치 및 방법 |
TWI518603B (zh) | 2014-05-22 | 2016-01-21 | 宏達國際電子股份有限公司 | 影像編輯方法與電子裝置 |
KR102209354B1 (ko) * | 2014-06-20 | 2021-01-29 | 엘지전자 주식회사 | 영상 표시 기기 및 그의 동작 방법 |
JP6390277B2 (ja) * | 2014-09-02 | 2018-09-19 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
US10474409B2 (en) * | 2014-09-19 | 2019-11-12 | Lenovo (Beijing) Co., Ltd. | Response control method and electronic device |
KR101886084B1 (ko) * | 2014-11-03 | 2018-08-07 | 현대자동차 주식회사 | 차량용 제스처 인식 장치 |
CN107077197B (zh) | 2014-12-19 | 2020-09-01 | 惠普发展公司,有限责任合伙企业 | 3d可视化图 |
US10255481B2 (en) * | 2015-01-07 | 2019-04-09 | Samsung Electronics Co., Ltd. | Display device and operating method thereof with adjustments display |
JP6534011B2 (ja) | 2015-02-10 | 2019-06-26 | 任天堂株式会社 | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 |
JP6519075B2 (ja) * | 2015-02-10 | 2019-05-29 | 任天堂株式会社 | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 |
JP6603024B2 (ja) | 2015-02-10 | 2019-11-06 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
JP6561400B2 (ja) * | 2015-02-10 | 2019-08-21 | 任天堂株式会社 | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 |
TWI553508B (zh) * | 2015-03-03 | 2016-10-11 | 緯創資通股份有限公司 | 物件感測裝置與方法 |
USD768722S1 (en) * | 2015-05-01 | 2016-10-11 | Microsoft Corporation | Display screen with animated graphical user interface |
US20160378137A1 (en) * | 2015-06-26 | 2016-12-29 | Intel Corporation | Electronic device with combinable image input devices |
KR101741691B1 (ko) * | 2015-06-30 | 2017-05-30 | 현대자동차주식회사 | 차량 및 그 제어방법 |
US9557772B1 (en) * | 2015-07-21 | 2017-01-31 | Lenovo (Beijing) Co., Ltd. | Electronic device |
WO2017013805A1 (ja) * | 2015-07-23 | 2017-01-26 | 富士通株式会社 | 入力装置、入力支援方法および入力支援プログラム |
US9936138B2 (en) | 2015-07-29 | 2018-04-03 | Samsung Electronics Co., Ltd. | User terminal apparatus and control method thereof |
US11284003B2 (en) * | 2015-07-29 | 2022-03-22 | Samsung Electronics Co., Ltd. | User terminal apparatus and control method thereof |
USD813865S1 (en) * | 2015-08-18 | 2018-03-27 | Samsung Electronics Co., Ltd. | Portable electronic device |
WO2017052590A1 (en) | 2015-09-25 | 2017-03-30 | Intel Corporation | Hinge for an electronic device |
EP3341826B1 (en) | 2015-09-30 | 2022-06-22 | Hewlett-Packard Development Company, L.P. | Interactive display system |
US10417295B2 (en) * | 2015-10-20 | 2019-09-17 | At&T Intellectual Property I, L.P. | Sensory allegiance |
KR20170051950A (ko) * | 2015-11-03 | 2017-05-12 | 삼성전자주식회사 | 전자 장치, 전자 장치의 디스플레이 제어 방법 |
CN105425964B (zh) * | 2015-11-30 | 2018-07-13 | 青岛海信电器股份有限公司 | 一种手势识别方法和系统 |
WO2017104272A1 (ja) * | 2015-12-18 | 2017-06-22 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102439465B1 (ko) * | 2016-01-18 | 2022-09-02 | 엘지전자 주식회사 | 커넥티드 디바이스 시스템 및 상기 커넥티드 디바이스 시스템에서 애플리케이션 데이터 처리 방법 |
DE112017001625B4 (de) * | 2016-03-31 | 2021-06-24 | Fujifilm Corporation | Digitalkamera und Anzeigeverfahren für die Digitalkamera |
CN105929961B (zh) * | 2016-04-29 | 2018-11-13 | 广东美的制冷设备有限公司 | 红外手势检测装置、红外手势检测方法和家用电器 |
KR102520552B1 (ko) * | 2016-06-24 | 2023-04-12 | 삼성전자주식회사 | 복수의 디스플레이를 포함하는 전자 장치 |
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
US10768804B2 (en) * | 2016-09-06 | 2020-09-08 | Microsoft Technology Licensing, Llc | Gesture language for a device with multiple touch surfaces |
TWI638287B (zh) | 2016-09-08 | 2018-10-11 | 國立臺灣大學 | 指觸介面之輸入裝置、系統及其方法 |
KR102491564B1 (ko) | 2016-09-12 | 2023-01-26 | 삼성전자 주식회사 | 플렉서블 디스플레이를 포함하는 접을 수 있는 전자 장치 |
WO2018080442A1 (en) * | 2016-10-25 | 2018-05-03 | Hewlett-Packard Development Company, L.P. | Selecting camera modes for electronic devices having multiple display panels |
US10248224B2 (en) * | 2016-10-25 | 2019-04-02 | Microsoft Technology Licensing, Llc | Input based on interactions with a physical hinge |
US10346117B2 (en) | 2016-11-09 | 2019-07-09 | Microsoft Technology Licensing, Llc | Device having a screen region on a hinge coupled between other screen regions |
WO2018096827A1 (ja) * | 2016-11-25 | 2018-05-31 | ソニー株式会社 | 表示制御装置、表示制御方法及びコンピュータプログラム |
JP6169298B1 (ja) * | 2017-02-16 | 2017-07-26 | 京セラ株式会社 | 電子機器及び制御方法 |
US10564425B2 (en) | 2017-02-27 | 2020-02-18 | Snap Inc. | Processing a media content based on device movement |
WO2018194587A1 (en) * | 2017-04-19 | 2018-10-25 | Hewlett-Packard Development Company, L.P. | Imaging modules power on via rotations |
FR3065545B1 (fr) * | 2017-04-25 | 2019-06-28 | Thales | Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes |
US10015442B1 (en) | 2017-05-12 | 2018-07-03 | Microsoft Technology Licensing, Llc | Three-way video calling on hinged multi-screen device |
US20180329521A1 (en) * | 2017-05-15 | 2018-11-15 | Microsoft Technology Licensing, Llc | Application program mode based on device orientation |
US10339700B2 (en) | 2017-05-15 | 2019-07-02 | Microsoft Technology Licensing, Llc | Manipulating virtual objects on hinged multi-screen device |
US10481856B2 (en) * | 2017-05-15 | 2019-11-19 | Microsoft Technology Licensing, Llc | Volume adjustment on hinged multi-screen device |
US10444875B2 (en) * | 2017-05-30 | 2019-10-15 | Egalax_Empia Technology Inc. | Touch sensitive processing apparatus, method and system |
JP6387154B2 (ja) * | 2017-06-27 | 2018-09-05 | 京セラ株式会社 | 電子機器及び制御方法 |
CN109388312B (zh) * | 2017-08-05 | 2021-08-17 | 深圳市超捷通讯有限公司 | 电子装置及其应用执行方法 |
CN109413230A (zh) * | 2017-08-17 | 2019-03-01 | 富泰华工业(深圳)有限公司 | 双屏电子装置 |
JP6946853B2 (ja) * | 2017-08-21 | 2021-10-13 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置 |
US10459737B2 (en) * | 2017-09-21 | 2019-10-29 | Intel Corporation | Waking and sleeping a display among a plurality of displays using gestures |
US11079995B1 (en) * | 2017-09-30 | 2021-08-03 | Apple Inc. | User interfaces for devices with multiple displays |
US20210156238A1 (en) * | 2017-10-04 | 2021-05-27 | Shell Oil Company | Hinged interactive devices |
CN107656792B (zh) * | 2017-10-19 | 2021-03-16 | Oppo广东移动通信有限公司 | 用户界面显示方法、装置及终端 |
TWI648657B (zh) * | 2017-10-23 | 2019-01-21 | 群光電子股份有限公司 | 鍵盤裝置及系統操作方法 |
TWI653523B (zh) * | 2017-12-04 | 2019-03-11 | 宏碁股份有限公司 | 可攜式電子裝置 |
US11112961B2 (en) * | 2017-12-19 | 2021-09-07 | Sony Corporation | Information processing system, information processing method, and program for object transfer between devices |
US11188287B2 (en) | 2017-12-27 | 2021-11-30 | Sony Corporation | Display control apparatus, display control method, and computer program |
US10489639B2 (en) | 2018-02-12 | 2019-11-26 | Avodah Labs, Inc. | Automated sign language translation and communication using multiple input and output modalities |
US10289903B1 (en) | 2018-02-12 | 2019-05-14 | Avodah Labs, Inc. | Visual sign language translation training device and method |
WO2019157344A1 (en) | 2018-02-12 | 2019-08-15 | Avodah Labs, Inc. | Real-time gesture recognition method and apparatus |
US10304208B1 (en) | 2018-02-12 | 2019-05-28 | Avodah Labs, Inc. | Automated gesture identification using neural networks |
WO2019163503A1 (ja) * | 2018-02-22 | 2019-08-29 | 京セラ株式会社 | 電子機器、制御方法およびプログラム |
CN108600428B (zh) * | 2018-04-02 | 2021-03-16 | 京东方科技集团股份有限公司 | 一种显示设备 |
TWI707253B (zh) * | 2018-05-24 | 2020-10-11 | 仁寶電腦工業股份有限公司 | 具第二螢幕之電子裝置及其控制方法 |
JP6387204B2 (ja) * | 2018-05-30 | 2018-09-05 | 京セラ株式会社 | 電子機器及び制御方法 |
US11422765B2 (en) | 2018-07-10 | 2022-08-23 | Apple Inc. | Cross device interactions |
US10692299B2 (en) * | 2018-07-31 | 2020-06-23 | Splunk Inc. | Precise manipulation of virtual object position in an extended reality environment |
US10909772B2 (en) | 2018-07-31 | 2021-02-02 | Splunk Inc. | Precise scaling of virtual objects in an extended reality environment |
TWI697818B (zh) * | 2018-08-23 | 2020-07-01 | 緯創資通股份有限公司 | 可攜式電子裝置與控制顯示模組之畫面之方法 |
CN109243306B (zh) * | 2018-09-29 | 2022-04-08 | 上海中航光电子有限公司 | 显示面板、显示装置和可折叠显示装置 |
CN110177292B (zh) * | 2018-11-08 | 2021-11-26 | 广东小天才科技有限公司 | 一种基于可穿戴设备的视频播放控制方法及可穿戴设备 |
JP2020086111A (ja) * | 2018-11-26 | 2020-06-04 | セイコーエプソン株式会社 | 表示方法、および表示装置 |
CN109814825B (zh) * | 2018-12-29 | 2021-01-08 | 维沃移动通信有限公司 | 显示屏操控方法和移动终端 |
US11009907B2 (en) * | 2019-01-18 | 2021-05-18 | Dell Products L.P. | Portable information handling system user interface selection based on keyboard configuration |
US11347367B2 (en) * | 2019-01-18 | 2022-05-31 | Dell Products L.P. | Information handling system see do user interface management |
US11169653B2 (en) | 2019-01-18 | 2021-11-09 | Dell Products L.P. | Asymmetric information handling system user interface management |
USD912139S1 (en) | 2019-01-28 | 2021-03-02 | Avodah, Inc. | Integrated dual display sensor |
CN113272773B (zh) * | 2019-02-01 | 2023-10-31 | 株式会社和冠 | 描绘系统 |
WO2020204908A1 (en) * | 2019-04-02 | 2020-10-08 | Hewlett-Packard Development Company, L.P. | Privacy mode of display surfaces |
US11341925B2 (en) * | 2019-05-02 | 2022-05-24 | Dell Products L.P. | Information handling system adapting multiple display visual image presentations |
US11017742B2 (en) | 2019-05-02 | 2021-05-25 | Dell Products L.P. | Information handling system multiple display viewing angle brightness adjustment |
EP3991067A1 (en) | 2019-06-26 | 2022-05-04 | Google LLC | Radar-based authentication status feedback |
JP7238642B2 (ja) | 2019-06-28 | 2023-03-14 | セイコーエプソン株式会社 | 表示装置および表示制御プログラム |
WO2021010525A1 (ko) * | 2019-07-18 | 2021-01-21 | 엘지전자 주식회사 | 단말기 세트 및 그 제어방법 |
CN112286339B (zh) * | 2019-07-23 | 2022-12-16 | 哈尔滨拓博科技有限公司 | 一种多维手势识别装置、方法、电子设备和存储介质 |
KR20210153695A (ko) | 2019-07-26 | 2021-12-17 | 구글 엘엘씨 | Imu 및 레이더를 통한 인증 관리 |
DE102019211156A1 (de) * | 2019-07-26 | 2021-01-28 | Audi Ag | Faltbare Anzeigevorrichtung, Verfahren zum Betreiben der Anzeigevorrichtung, Steuereinrichtung, und Kraftfahrzeug |
US11868537B2 (en) | 2019-07-26 | 2024-01-09 | Google Llc | Robust radar-based gesture-recognition by user equipment |
KR20210151957A (ko) | 2019-08-30 | 2021-12-14 | 구글 엘엘씨 | 모바일 디바이스에 대한 입력 방법 |
CN113892072A (zh) | 2019-08-30 | 2022-01-04 | 谷歌有限责任公司 | 用于暂停的雷达姿势的视觉指示器 |
CN110806829B (zh) * | 2019-09-05 | 2021-05-11 | 华为技术有限公司 | 一种具有折叠屏的设备的显示方法及折叠屏设备 |
CN110798568B (zh) * | 2019-09-30 | 2022-01-14 | 华为技术有限公司 | 具有折叠屏的电子设备的显示控制方法及电子设备 |
CN110989836A (zh) * | 2019-10-03 | 2020-04-10 | 谷歌有限责任公司 | 促进用户熟练使用雷达手势来与电子设备交互 |
KR20210101858A (ko) * | 2020-02-11 | 2021-08-19 | 삼성전자주식회사 | 제스처 인식 기반의 기능 운용 방법 및 이를 지원하는 전자 장치 |
US11714544B2 (en) | 2020-06-25 | 2023-08-01 | Microsoft Technology Licensing, Llc | Gesture definition for multi-screen devices |
US11281419B2 (en) * | 2020-06-29 | 2022-03-22 | Microsoft Technology Licensing, Llc | Instruction color book painting for dual-screen devices |
KR20220001862A (ko) * | 2020-06-30 | 2022-01-06 | 삼성전자주식회사 | 사용자 모니터링 및 정보 제공 방법 및 그 장치 |
WO2022045926A1 (ru) * | 2020-08-25 | 2022-03-03 | Общество с ограниченной ответственностью "МетроМедиа" | Вагон общественного транспорта |
JP2022065419A (ja) * | 2020-10-15 | 2022-04-27 | セイコーエプソン株式会社 | 表示方法、及び表示装置 |
JP2022070081A (ja) * | 2020-10-26 | 2022-05-12 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置、及び制御方法 |
US20210149485A1 (en) * | 2020-12-24 | 2021-05-20 | Intel Corporation | Dynamically reconfiguring a display in a multi-display device |
TWI767523B (zh) * | 2021-01-20 | 2022-06-11 | 佳世達科技股份有限公司 | 電子裝置 |
CN114792490B (zh) * | 2021-01-26 | 2024-02-06 | 苏州佳世达电通有限公司 | 一种电子装置 |
TWI800204B (zh) * | 2021-04-15 | 2023-04-21 | 瑞鼎科技股份有限公司 | 雙螢幕裝置及雙螢幕畫面對齊方法 |
CN114035759B (zh) * | 2021-08-06 | 2023-12-22 | 重庆康佳光电科技有限公司 | 屏幕控制方法、控制终端、屏幕和计算机可读存储介质 |
CN114527924A (zh) * | 2022-02-16 | 2022-05-24 | 珠海读书郎软件科技有限公司 | 一种基于双屏设备的控制方法、存储介质及设备 |
Family Cites Families (92)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2796768B2 (ja) | 1992-11-20 | 1998-09-10 | 株式会社ピーエフユー | マルチディスプレイ装置 |
US5522025A (en) | 1993-10-25 | 1996-05-28 | Taligent, Inc. | Object-oriented window area display system |
CA2139094C (en) | 1994-12-23 | 1999-04-13 | Abdel Naser Al-Karmi | Optical character recognition of handwritten or cursive text |
US6750848B1 (en) * | 1998-11-09 | 2004-06-15 | Timothy R. Pryor | More useful man machine interfaces and applications |
JP3462986B2 (ja) | 1998-08-31 | 2003-11-05 | 株式会社日立製作所 | カメラ付きペン型入力装置 |
US6545669B1 (en) | 1999-03-26 | 2003-04-08 | Husam Kinawi | Object-drag continuity between discontinuous touch-screens |
JP2001021972A (ja) | 1999-07-07 | 2001-01-26 | Minolta Co Ltd | ペンシル型のデジタルスチルカメラ |
JP2001209470A (ja) | 2000-01-26 | 2001-08-03 | Fujitsu Ltd | 表示インターフェイス方法及び装置並びにプログラム記憶媒体 |
JP2001307107A (ja) * | 2000-04-21 | 2001-11-02 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
US7120317B1 (en) | 2001-03-01 | 2006-10-10 | Silicon Motion, Inc. | Method and system for a programmable image transformation |
JP2002281135A (ja) | 2001-03-21 | 2002-09-27 | Nec Viewtechnology Ltd | 携帯電話 |
US7929185B2 (en) | 2002-03-25 | 2011-04-19 | Transpacific Systems, Llc | System and method for switching screens from overview and preview |
US6904737B2 (en) | 2002-08-01 | 2005-06-14 | General Mills, Inc. | Dispensing apparatus and method of dispensing |
KR20040035019A (ko) | 2002-10-18 | 2004-04-29 | 엘지전자 주식회사 | 휴대용 컴퓨터의 스피커 시스템 및 스피커 구동방법 |
KR20040091272A (ko) | 2003-04-21 | 2004-10-28 | 홍충식 | 더블 폴더 휴대폰 |
US9182937B2 (en) * | 2010-10-01 | 2015-11-10 | Z124 | Desktop reveal by moving a logical display stack with gestures |
JP4193584B2 (ja) * | 2003-05-22 | 2008-12-10 | 日本電気株式会社 | カバー付き撮像装置 |
KR20040104777A (ko) | 2003-06-04 | 2004-12-13 | 주식회사 팬택앤큐리텔 | 듀얼 카메라 장착 단말기 |
KR20050068127A (ko) | 2003-12-29 | 2005-07-05 | 엘지전자 주식회사 | 입체사진 촬영이 가능한 휴대용 단말기 |
KR100959796B1 (ko) | 2004-01-31 | 2010-05-28 | 엘지전자 주식회사 | 부분 윈도우 화면 표시방법 |
JP3738358B2 (ja) | 2004-04-20 | 2006-01-25 | カシオ計算機株式会社 | ウィンドウ表示制御装置 |
JP4177434B2 (ja) | 2004-05-06 | 2008-11-05 | 隆敏 柳瀬 | ウィンドウ表示システム、情報処理システム、クライアント装置、電話機、情報機器、家電機器及び機器 |
JP4005623B2 (ja) | 2004-05-06 | 2007-11-07 | 隆敏 柳瀬 | ウィンドウ表示システム、ウィンドウ表示方法、プログラム開発支援装置及びサーバ装置 |
KR20050109190A (ko) | 2004-05-14 | 2005-11-17 | 주식회사 팬택 | 듀얼 카메라를 이용한 와이드 이미지 생성 장치 및 방법 |
JP2006030379A (ja) | 2004-07-13 | 2006-02-02 | Toshiba Corp | マルチディスプレイシステム及びコンピュータ |
US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
US7561737B2 (en) | 2004-09-22 | 2009-07-14 | Microsoft Corporation | Mathematical expression recognition |
KR100606797B1 (ko) | 2004-11-12 | 2006-08-02 | 엘지전자 주식회사 | 듀얼 카메라를 갖는 이동통신 단말기 |
KR101094769B1 (ko) | 2004-12-21 | 2011-12-16 | 엘지전자 주식회사 | 듀얼 카메라를 구비한 이동통신 단말기의 파노라마 영상표시 방법 |
KR100960577B1 (ko) | 2005-02-08 | 2010-06-03 | 오블롱 인더스트리즈, 인크 | 제스처 기반의 제어 시스템을 위한 시스템 및 방법 |
KR20060092621A (ko) | 2005-02-18 | 2006-08-23 | 최기훈 | 듀얼액정이 구비되는 전자책 단말기 |
KR20070014586A (ko) | 2005-07-29 | 2007-02-01 | 삼성전자주식회사 | Pip 표시 제어방법 |
KR100653965B1 (ko) | 2005-08-01 | 2006-12-05 | 심재용 | 휴대용 단말기의 서로 다른 카메라를 이용한 3차원입체영상 처리 장치 |
KR100773853B1 (ko) | 2005-08-22 | 2007-11-06 | 캐논 가부시끼가이샤 | 오브젝트 조작 장치 및 오브젝트 조작방법 |
KR100742588B1 (ko) | 2005-11-14 | 2007-07-25 | 주식회사 디엔피시스템 | 듀얼 모니터의 모니터간 데이터 공유 방법 |
TW200729944A (en) * | 2006-01-27 | 2007-08-01 | Sunplus Technology Co Ltd | Camera system having touch screen |
US8587526B2 (en) | 2006-04-12 | 2013-11-19 | N-Trig Ltd. | Gesture recognition feedback for a dual mode digitizer |
US8180114B2 (en) | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
JP2008033686A (ja) | 2006-07-28 | 2008-02-14 | Fujitsu Frontech Ltd | 電子ブック |
US8516393B2 (en) | 2006-12-18 | 2013-08-20 | Robert Pedersen, II | Apparatus, system, and method for presenting images in a multiple display environment |
KR100803504B1 (ko) | 2007-01-16 | 2008-02-14 | (주)케이티에프테크놀로지스 | 듀얼 카메라를 구비한 휴대용 단말기 |
CN101286310A (zh) | 2007-04-13 | 2008-10-15 | 群康科技(深圳)有限公司 | 显示器屏幕显示控制系统及其操作方法 |
KR100936816B1 (ko) | 2007-05-26 | 2010-01-14 | 이문기 | 카메라와 마크 출력에의한 포인팅 장치 |
KR20080113832A (ko) | 2007-06-26 | 2008-12-31 | (주)이에스비 | 액정표시장치상의 특정 패턴을 촬영하는 카메라를 내장하여위치를 판독하는 전자펜과 이를 이용한 전자칠판 |
JP5130296B2 (ja) | 2007-08-29 | 2013-01-30 | 京セラ株式会社 | 電子機器および入力インターフェース切替方法 |
KR20090065040A (ko) | 2007-12-17 | 2009-06-22 | 삼성전자주식회사 | 동작과 터치를 이용한 이중 포인팅 장치 및 방법 |
US8004501B2 (en) * | 2008-01-21 | 2011-08-23 | Sony Computer Entertainment America Llc | Hand-held device with touchscreen and digital tactile pixels |
KR100942783B1 (ko) | 2008-02-27 | 2010-02-18 | 웹싱크 주식회사 | 통합 프레임 버퍼를 사용하는 디지털 멀티비전 시스템 |
US8803816B2 (en) | 2008-09-08 | 2014-08-12 | Qualcomm Incorporated | Multi-fold mobile device with configurable interface |
US8933874B2 (en) | 2008-09-08 | 2015-01-13 | Patrik N. Lundqvist | Multi-panel electronic device |
US8866840B2 (en) | 2008-09-08 | 2014-10-21 | Qualcomm Incorporated | Sending a parameter based on screen size or screen resolution of a multi-panel electronic device to a server |
US8836611B2 (en) | 2008-09-08 | 2014-09-16 | Qualcomm Incorporated | Multi-panel device with configurable interface |
US8860632B2 (en) | 2008-09-08 | 2014-10-14 | Qualcomm Incorporated | Multi-panel device with configurable interface |
US9009984B2 (en) | 2008-09-08 | 2015-04-21 | Qualcomm Incorporated | Multi-panel electronic device |
US8860765B2 (en) | 2008-09-08 | 2014-10-14 | Qualcomm Incorporated | Mobile device with an inclinometer |
US20100073306A1 (en) | 2008-09-25 | 2010-03-25 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Dual-view touchscreen display system and method of operation |
KR101569776B1 (ko) | 2009-01-09 | 2015-11-19 | 삼성전자주식회사 | 접히는 표시부를 가지는 휴대 단말기 및 이의 운용 방법 |
KR101544364B1 (ko) | 2009-01-23 | 2015-08-17 | 삼성전자주식회사 | 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법 |
KR101564108B1 (ko) | 2009-03-20 | 2015-10-28 | 엘지전자 주식회사 | 듀얼 디스플레이부를 구비한 이동 통신 단말기에서의 아이템 제어 방법 및 이를 적용한 이동 통신 단말기 |
US8446377B2 (en) | 2009-03-24 | 2013-05-21 | Microsoft Corporation | Dual screen portable touch sensitive computing system |
KR20100115547A (ko) | 2009-04-20 | 2010-10-28 | 에스케이 텔레콤주식회사 | 컨텐츠 주밍 방법과 그를 위한 터치 스크린 단말기 및 컴퓨터로 읽을 수 있는 기록매체 |
JP5256109B2 (ja) | 2009-04-23 | 2013-08-07 | 株式会社日立製作所 | 表示装置 |
KR101556329B1 (ko) | 2009-05-11 | 2015-10-01 | 에스케이텔레콤 주식회사 | 단말기에서의 모드별 다중 스피커 제어 방법 및 그 장치 |
KR101578005B1 (ko) | 2009-06-10 | 2015-12-16 | 엘지전자 주식회사 | 이동 단말기 및 이것에 구비된 카메라를 이용한 사용자 동작 입력 방법 |
JP5212310B2 (ja) | 2009-08-17 | 2013-06-19 | 株式会社リコー | ネットワークシステム、サーバ装置、及びグループウェアプログラム |
JP5653920B2 (ja) | 2009-09-03 | 2015-01-14 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | グラフィカルユーザインターフェース要素の配置および方向を示すための方法 |
KR101240060B1 (ko) | 2009-09-03 | 2013-03-06 | 퀄컴 인코포레이티드 | 경사계를 갖는 모바일 디바이스 |
US8681124B2 (en) | 2009-09-22 | 2014-03-25 | Microsoft Corporation | Method and system for recognition of user gesture interaction with passive surface video displays |
US20110102314A1 (en) * | 2009-10-30 | 2011-05-05 | Xerox Corporation | Dual-screen electronic reader with tilt detection for page navigation |
KR101710545B1 (ko) | 2009-11-05 | 2017-02-27 | 엘지전자 주식회사 | 이동 단말기 및 이를 이용한 정보 제공 방법 |
CN101930333B (zh) * | 2009-12-03 | 2012-10-17 | 明基电通有限公司 | 多屏幕显示控制方法 |
US8724301B2 (en) | 2010-01-29 | 2014-05-13 | Mohamed K. Mahmoud | Laptop book |
US20110191704A1 (en) | 2010-02-04 | 2011-08-04 | Microsoft Corporation | Contextual multiplexing gestures |
US9454304B2 (en) | 2010-02-25 | 2016-09-27 | Microsoft Technology Licensing, Llc | Multi-screen dual tap gesture |
JP2011203873A (ja) * | 2010-03-24 | 2011-10-13 | Nec Corp | 情報処理装置、表示切換え方法、プログラム及び記録媒体 |
JP2011221229A (ja) | 2010-04-08 | 2011-11-04 | Sharp Corp | 表示システム、表示方法、およびディスプレイ |
KR101196253B1 (ko) | 2010-04-20 | 2012-11-05 | 주식회사 유니온앤이씨 | 기업 정보 관리를 위한 가상 컨텐츠 공급 장치 및 방법 |
JP2011248411A (ja) * | 2010-05-21 | 2011-12-08 | Toshiba Corp | 情報処理装置および仮想キーボードの表示方法 |
US20110296333A1 (en) * | 2010-05-25 | 2011-12-01 | Bateman Steven S | User interaction gestures with virtual keyboard |
JP5138833B2 (ja) * | 2010-06-08 | 2013-02-06 | パナソニック株式会社 | 映像生成装置、方法及び集積回路 |
US9009594B2 (en) | 2010-06-10 | 2015-04-14 | Microsoft Technology Licensing, Llc | Content gestures |
JP5073013B2 (ja) * | 2010-06-11 | 2012-11-14 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム |
US8638303B2 (en) | 2010-06-22 | 2014-01-28 | Microsoft Corporation | Stylus settings |
KR101686866B1 (ko) | 2010-06-30 | 2016-12-15 | 엘지전자 주식회사 | 이동 단말기 |
KR101701839B1 (ko) | 2010-07-13 | 2017-02-02 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
KR101718027B1 (ko) | 2010-09-09 | 2017-03-20 | 엘지전자 주식회사 | 이동 단말기 및 그의 메모 관리방법 |
US9405444B2 (en) | 2010-10-01 | 2016-08-02 | Z124 | User interface with independent drawer control |
CN108681424B (zh) | 2010-10-01 | 2021-08-31 | Z124 | 用户界面上的拖移手势 |
KR101798965B1 (ko) | 2010-10-14 | 2017-11-17 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
JP5885309B2 (ja) * | 2010-12-30 | 2016-03-15 | トムソン ライセンシングThomson Licensing | ジェスチャ認識のためのユーザ・インタフェース、装置および方法 |
KR101842906B1 (ko) * | 2011-02-10 | 2018-05-15 | 삼성전자주식회사 | 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면 변경방법 |
KR101229699B1 (ko) | 2011-05-12 | 2013-02-05 | 주식회사 케이티 | 애플리케이션 간의 콘텐츠 이동 방법 및 이를 실행하는 장치 |
-
2012
- 2012-10-10 KR KR1020120112681A patent/KR101984683B1/ko active IP Right Grant
-
2013
- 2013-10-09 CN CN201310466888.3A patent/CN103729054A/zh active Pending
- 2013-10-09 TW TW102136558A patent/TWI579732B/zh not_active IP Right Cessation
- 2013-10-10 JP JP2013213215A patent/JP6585876B2/ja not_active Expired - Fee Related
- 2013-10-10 EP EP13188163.3A patent/EP2741173A3/en not_active Ceased
- 2013-10-10 US US14/050,871 patent/US9317198B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP2741173A3 (en) | 2017-05-03 |
EP2741173A2 (en) | 2014-06-11 |
CN103729054A (zh) | 2014-04-16 |
TW201419042A (zh) | 2014-05-16 |
US9317198B2 (en) | 2016-04-19 |
KR101984683B1 (ko) | 2019-05-31 |
JP2014078238A (ja) | 2014-05-01 |
KR20140046343A (ko) | 2014-04-18 |
US20140101578A1 (en) | 2014-04-10 |
TWI579732B (zh) | 2017-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6585876B2 (ja) | マルチディスプレイ装置およびその制御方法 | |
US11360728B2 (en) | Head mounted display apparatus and method for displaying a content | |
KR102063952B1 (ko) | 멀티 디스플레이 장치 및 멀티 디스플레이 방법 | |
US9348504B2 (en) | Multi-display apparatus and method of controlling the same | |
KR102083937B1 (ko) | 멀티 디스플레이 장치 및 그 툴 제공 방법 | |
US9406281B2 (en) | Multi-display device and method of controlling thereof | |
KR102061881B1 (ko) | 멀티 디스플레이 장치 및 그 디스플레이 제어 방법 | |
US9571734B2 (en) | Multi display device and method of photographing thereof | |
JP2014078236A (ja) | マルチディスプレイ装置及びそのディスプレイ制御方法 | |
KR20140046327A (ko) | 멀티 디스플레이 장치, 입력 펜, 멀티 디스플레이 장치의 제어 방법 및 멀티 디스플레이 시스템 | |
US20140327634A1 (en) | Portable terminal and method for protecting a displayed object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131106 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171019 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6585876 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |