JP6431255B2 - マルチディスプレイ装置及びそのツール提供方法 - Google Patents

マルチディスプレイ装置及びそのツール提供方法 Download PDF

Info

Publication number
JP6431255B2
JP6431255B2 JP2013212816A JP2013212816A JP6431255B2 JP 6431255 B2 JP6431255 B2 JP 6431255B2 JP 2013212816 A JP2013212816 A JP 2013212816A JP 2013212816 A JP2013212816 A JP 2013212816A JP 6431255 B2 JP6431255 B2 JP 6431255B2
Authority
JP
Japan
Prior art keywords
tool
display
tool set
display unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013212816A
Other languages
English (en)
Other versions
JP2014078235A (ja
Inventor
知 ヨン 郭
知 ヨン 郭
ヨン ジュン 林
ヨン ジュン 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014078235A publication Critical patent/JP2014078235A/ja
Application granted granted Critical
Publication of JP6431255B2 publication Critical patent/JP6431255B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G06F1/1618Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position the display being foldable up to the back of the other housing with a single degree of freedom, e.g. by 360° rotation over the axis defined by the rear edge of the base enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04807Pen manipulated menu
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、マルチディスプレイ装置及びそのツール提供方法に関し、特に、マルチディスプレイを通して作業画面を表示し、その作業画面上で使用可能なツールを提供するマルチディスプレイ装置及びそのツール提供方法に関する。
近年、様々なタイプのディスプレイ装置が使用されている。
このようなディスプレイ装置には各種のアプリケーションが設置されユーザの選択に従って実行される。
ユーザは入力装置を用いてディスプレイ装置を制御することができる。特に、ユーザによって携帯できるように製造される携帯型電子機器は、その制限された大きさによってタッチスクリーン形態のユーザインターフェースを使用するディスプレイ装置として開発される場合が多い。これにより、ユーザがタッチできる多様な形態のグラフィックユーザインターフェース(Graphical User Interface:GUI)が提供される。
グラフィックユーザインターフェースは、駆動中(running)のアプリケーションの動作をユーザが直観的に知ることができ、またユーザが該当装置をより容易で素早く制御できるように最適化された形状で提供される。
しかし、従来のユーザインターフェースは、大体一つのディスプレイユニットを備えるディスプレイ装置のために生成されたものである。
これにより、複数個のディスプレイユニットを備えたマルチディスプレイ装置に適合したユーザインターフェース方法に対する研究は不足していることが事実であった。
特に、CPU(Central Processor Unit)及びソフトウェア技術が発達することによって、携帯機器は一つ或いは複数のアプリケーションを表示する複数の作業画面(task screens)を提供することができるようになった。
複数の作業画面は、物理的或いはグラフィック的に区分される一つ或いはそれ以上のタッチスクリーンを通して提供されることができる。
従って、複数の作業画面を提供するマルチディスプレイ装置でユーザがより直観的で便利にマルチディスプレイ装置を使用することができる方法に対する必要性が出てきているという問題があった。
米国特許第8330733号明細書 米国特許第8490047号明細書 米国特許第7471890号明細書 米国特許第8547347号明細書
本発明は上記従来のマルチディスプレイ装置における問題点に鑑みてなされたものであって、本発明の目的は、マルチディスプレイ装置でユーザがアプリケーションを直観的で便利に制御できるように多様なツールセットを提供することができるマルチディスプレイ装置及びそのツール提供方法を提供することにある。
上記目的を達成するためになされた本発明によるマルチディスプレイ装置は、マルチディスプレイ装置であって、第1ディスプレイ部を含む第1ボディと、第2ディスプレイ部を含む第2ボディと、前記第1及び前記第2ボディを連結するヒンジ部と、ツールセットの表示のためのユーザ操作が入力されると、前記マルチディスプレイ装置の動作状態に対応する複数のツールからなるツールセットを、前記第1ディスプレイ部及び前記第2ディスプレイ部の内の少なくとも一つの画面に表示し、前記ツールセットで一つのツールが選択されると選択されたツールに対応する動作を行う制御部とを有し、前記制御部は、前記選択されたツールに従属する複数の第1下位レベルツールが存在すると、前記複数の第1下位レベルツールからなる第1下位ツールセットを前記ツールセットの一側に表示し、前記ツールセットの表示位置が固定された状態で前記選択されたツールの表示位置が前記ツールセット内の予め設定された位置に変更されるように前記ツールセットに含まれた複数のツールの表示位置を調整し、前記ツールセットは、前記マルチディスプレイ装置で実行中であるアプリケーションで使用可能なツールを含むものであり、前記ツールセットの大きさ及び形態は、前記アプリケーションで使用可能なツールの個数に従って相違するよう調整されることを特徴とする。
前記ツールセットは、前記アプリケーション専用に使われる専用ツール及び複数のアプリケーションで共通的に使用可能な共用ツールを含み、前記制御部は、前記ツールセット内で前記専用ツールを前記共用ツールより優先的に配置することが好ましい。
前記制御部は、前記ツールセットで前記実行中であるアプリケーションで使用可能なツールが選択されると、選択されたツールに対応するツールアイコンを表示し、ユーザ操作に従って前記ツールアイコンの表示位置を変更しながら前記ツールに対応する動作を行うことが好ましい。
前記制御部は、前記第1下位ツールセットで一つの第1下位レベルツールが選択され、前記選択された第1下位レベルツールに従属する複数の第2下位レベルツールが存在する時、前記複数の第2下位レベルツールからなる第2下位ツールセットを前記第1下位ツールセットの一側に表示することが好ましい。
前記ユーザ操作はタッチジェスチャーであり、前記ツールセットは、前記タッチジェスチャーが終了した地点を基準に半円形態にツールを配列するグラフィックUI(User Interface)であり、前記第1下位ツールセットは、前記ツールセットの外側に表示される円形バー形状のグラフィックUI又はボタン形状のグラフィックUIであることが好ましい。
前記制御部は、ユーザの操作に従って、隠れた(hidden)ツールを前記ツールセットに新しく表示可能なことが好ましい。
前記ユーザ操作は、前記第1ボディの端領域から前記第1ディスプレイ部の方へ向かう第1方向、又は前記第2ボディの端領域から前記第2ディスプレイの方へ向かう第2方向に行われるタッチアンドドラッグジェスチャーであり、前記制御部は、前記タッチアンドドラッグジェスチャーが行われた方向に従って前記第1ディスプレイ部又は前記第2ディスプレイ部に前記ツールセットを表示することが好ましい。
前記ユーザ操作は、前記第1ボディと前記第2ボディとの連結領域から前記第1ディスプレイ部の方へ向かう第1方向、又は前記第2ディスプレイ部の方へ向かう第2方向に行われるタッチアンドドラッグジェスチャーであり、前記タッチアンドドラッグジェスチャーが行われた方向に従って前記第1ディスプレイ部又は前記第2ディスプレイ部に前記ツールセットを表示することが好ましい。
前記ツールセットは、前記マルチディスプレイ装置で実行可能なアプリケーションを選択するための少なくとも一つのアイコンを更に含み、前記制御部は、前記ツールセットで前記アイコンが選択されると、前記選択されたアイコンに対応するアプリケーションを前記第1ディスプレイ部又は前記第2ディスプレイ部の任意の領域にて実行することが好ましい。
前記ツールセットは、ツールアップデート及びツール追加が可能であることが好ましい。
前記ユーザ操作は、外部オブジェクトによって前記第1ディスプレイ部又は前記第2ディスプレイ部をタッチする操作であり、前記制御部は、前記タッチが行われると前記外部オブジェクトの種類に対応するツールを含む前記ツールセットをタッチ地点に表示し、前記ツールセットで選択されたツールの機能を前記外部オブジェクトに割り当てることが好ましい。
前記制御部は、第1外部オブジェクトにパターニング道具が割り当てられ、第2外部オブジェクトに筆記道具が割り当てられ、前記第1又は第2ディスプレイ部の画面上で前記第1外部オブジェクト及び前記第2外部オブジェクトがタッチされる場合、タッチ地点にパターニング道具イメージ及び筆記道具イメージを表示し、前記第2外部オブジェクトのタッチ地点が移動するとき、前記パターニング道具イメージ及び前記第2外部オブジェクトの移動経路に沿って描かれるラインを表示することが好ましい。
上記目的を達成するためになされた本発明によるマルチディスプレイ装置のツール提供方法は、第1ディスプレイ部を含む第1ボディと、第2ディスプレイ部を含む第2ボディとを含むマルチディスプレイ装置のツール提供方法において、ツールセットの表示のためのユーザ操作が入力されると、前記マルチディスプレイ装置の動作状態に対応する複数のツールからなるツールセットを前記第1ディスプレイ部及び前記第2ディスプレイ部の内の少なくとも一つの画面に表示するステップと、前記ツールセットから一つのツールが選択される時、選択されたツールに対応する動作を行うステップとを有し、前記選択されたツールに対応する動作を行うステップは、前記選択されたツールに従属する複数の第1下位レベルツールが存在すると、前記複数の第1下位レベルツールからなる第1下位ツールセットを前記ツールセットの一側に表示し、前記ツールセットの表示位置が固定された状態で前記選択されたツールの表示位置が前記ツールセット内の予め設定された位置に変更されるように前記ツールセットに含まれた複数のツールの表示位置を調整するステップを含み、前記ツールセットは、前記マルチディスプレイ装置で実行中であるアプリケーションで使用可能なツールを含むものであり、前記ツールセットの大きさ及び形態は、前記アプリケーションで使用可能なツールの個数に従って相違するよう調整されることを特徴とする。

本発明に係るマルチディスプレイ装置及びそのツール提供方法によれば、ユーザがアプリケーションを直観的で便利に制御できるように多様なツールセットを提供することによりユーザ便利性が向上するという効果を有する。
本発明の一実施形態にかかるマルチディスプレイ装置の構成を示すブロック図である。 本発明の一実施形態にかかるマルチディスプレイ装置とスタイラスペンの構成を示す概略的なブロック図である。 本発明の一実施形態にかかるマルチディスプレイ装置のより詳細な構成を示すブロック図である。 本発明の一実施形態にかかるマルチディスプレイ装置に含まれる制御部の具体的な構成の一例を示すブロック図である。 本発明の一実施形態にかかるマルチディスプレイ装置のシステム階層構造を説明するための図である。 本発明の一実施形態にかかるマルチディスプレイ装置のディスプレイ部のハードウェア構成の一例を説明するためのブロック図である。 本発明の一実施形態にかかるマルチディスプレイ装置に適用可能なディスプレイ部の断面を説明するための断面図である。 本発明の一実施形態にかかるマルチディスプレイ装置のディスプレイ駆動部を示すブロック図である。 本発明の他の実施形態にかかるマルチディスプレイ装置のディスプレイ駆動部を示すブロック図である。 本発明の一実施形態にかかるマルチディスプレイ装置の近接タッチを検知する方法の一例を説明するための図である。 入力ペンの近接タッチを検知する方法の一例を説明するための図である。 本発明の一実施形態にかかるマルチディスプレイ装置の詳細を示す斜視図である。 本発明の一実施形態にかかるマルチディスプレイ装置の第1ボディと第2ボディとの間の相対角度によるスクリーンモードを示す図である。 本発明の一実施形態にかかるマルチディスプレイ装置の第1ボディと第2ボディとの間の相対角度によるスクリーンモードを示す図である。 本発明の一実施形態にかかるマルチディスプレイ装置の第1ボディと第2ボディとの間の相対角度によるスクリーンモードを示す図である。 本発明の一実施形態にかかるマルチディスプレイ装置の第1ボディと第2ボディとの間の相対角度によるスクリーンモードを示す図である。 本発明の一実施形態にかかるマルチディスプレイ装置の第1ボディと第2ボディとの間の相対角度によるスクリーンモードを示す図である。 本発明の一実施形態にかかるマルチディスプレイ装置のカメラ配置構成の例を説明するための図である。 本発明の一実施形態にかかるマルチディスプレイ装置のカメラ配置構成の例を説明するための図である。 本発明の一実施形態にかかるツールセットの活性化を説明するための図である。 本発明の一実施形態にかかるツールセットの活性化を説明するための図である。 本発明の一実施形態にかかる下位レベルツールセットの活性化を説明するための図である。 本発明の一実施形態にかかる下位レベルツールセットの活性化を説明するための図である。 本発明の一実施形態にかかる下位レベルツールセットの終了を説明するための図である。 本発明の一実施形態にかかる下位レベルツールセットの終了を説明するための図である。 本発明の一実施形態にかかるツールセットの終了を説明するための図である。 本発明の一実施形態にかかるツールセットの終了を説明するための図である。 マルチディスプレイ装置のスクリーンモード別ツールセットの実行を説明するための図である。 マルチディスプレイ装置のスクリーンモード別ツールセットの実行を説明するための図である。 マルチディスプレイ装置のスクリーンモード別ツールセットの実行を説明するための図である。 本発明の多様な実施形態にかかる第1ツールセットを説明するための図である。 本発明の多様な実施形態にかかる第1ツールセットの下位レベルツールセットである第2ツールセットを説明するための図である。 本発明の多様な実施形態にかかる第2ツールセットの下位レベルツールセットである第3ツールセット及びツールの実行を説明するための図である。 本発明の一実施形態にかかるツールセットUIのフローを説明するための図である。 本発明の一実施形態にかかる単一ディスプレイベースのアプリケーションを駆動するときにツールセット実行を説明するための図である。 本発明の一実施形態にかかるデュアルディスプレイベースのアプリケーションを駆動するときにツールセット実行を説明するための図である。 本発明の一実施形態にかかるツールセットドック(Dock)を説明するための図である。 本発明の一実施形態にかかる各々のアプリケーションに対応するツールセットを説明するための図である。 本発明の一実施形態にかかる各々のアプリケーションに対応するツールセットを説明するための図である。 本発明の一実施形態にかかる各々のアプリケーションに対応するツールセットを説明するための図である。 本発明の一実施形態にかかる各々のアプリケーションに対応するツールセットを説明するための図である。 本発明の一実施形態にかかる各々のアプリケーションに対応するツールセットを説明するための図である。 本発明の一実施形態にかかる各々のアプリケーションに対応するツールセットを説明するための図である。 本発明の一実施形態にかかる各々のアプリケーションに対応するツールセットを説明する図である。 本発明の一実施形態にかかる各々のアプリケーションに対応するツールセットを説明するための図である。 本発明の一実施形態にかかる各々のアプリケーションに対応するツールセットを説明するための図である。 本発明の一実施形態にかかる各々のアプリケーションに対応するツールセットを説明するための図である。 本発明の一実施形態にかかるスタイラスペンの構成の一例を示す図である。 本発明の一実施形態にかかるスタイラスペンを利用したツールセットの活性化及び下位レベルツールセットの拡張を説明するための図である。 本発明の一実施形態にかかるスタイラスペンを利用したツールセットの終了を説明するための図である。 本発明の一実施形態にかかる近接センサを利用したツールセット実行を説明するための図である。 本発明の一実施形態にかかる近接センサを利用したツールセット実行を説明するための図である。 本発明の一実施形態にかかる手とペンのマルチタッチに対応するツールセットの提供を説明するための図である。 本発明の一実施形態にかかる手とペンのマルチタッチに対応するツール利用方法を説明するための図である。 本発明の一実施形態にかかるツールセットのアップデート動作を説明するための図である。 本発明の一実施形態にかかるツールセットの配置を説明するための図である。 本発明の一実施形態にかかる第2ディスプレイ部全体にツールセットが配置された場合ツールセット実行を説明するための図である。 本発明の一実施形態にかかるマルチディスプレイ装置のツール提供動作を説明するためのフローチャートである。 本発明の一実施形態にかかるマルチディスプレイ装置のツール提供動作を説明するためのフローチャートである。
次に、本発明に係るマルチディスプレイ装置及びそのツール提供方法を実施するための形態の具体例を図面を参照しながら説明する。
本発明を説明するにおいて、関連する公知機能或いは構成に対する具体的な説明が本発明の要旨を不明にすると判断された場合その詳細な説明は省略する。
そして、後述する用語は本発明での機能を考慮して定義された用語であり、これはユーザ、運用者の意図或いは慣例によって異なってもよい。そのため、その定義は本明細書の全般にかかった内容に基づいて定められるべきである。
マルチディスプレイ装置は、一つ或いはそれ以上のタッチスクリーンで構成されたディスプレイを備え、アプリケーションを実行したりコンテンツを表示できるように構成される装置を意味する。
例えば、タブレット(Tablet)パーソナルコンピュータ(Personal Computer:PC)、ノートパソコン、ラップトップコンピュータ、携帯用マルチメディア再生装置(Portable Multimedia Player:PMP)、個人情報端末機(Personal Digital Assistant:PDA)、スマートフォン(Smart Phone)、携帯、デジタルフレームなどで実現することができる。
以下では、セルラーフォン或いはスマートフォンで構成されるマルチディスプレイ装置について本発明の実施形態を説明するが、本発明がこのような構成に限定されないことに留意すべきである。
図1は、本発明の一実施形態にかかるマルチディスプレイ装置100の構成を示すブロック図である。
図1を参照すると、マルチディスプレイ装置100は、第1ボディ2、第2ボディ4、及びヒンジ部185を含む。
第1ボディ2は、制御部130、第1ディスプレイ部190aを含む一つの独立的な外観構成を意味し、第2ボディ4は、第2ディスプレイ部190bを含むまた別の独立的な外観構成を意味する。
図1では、制御部130が第1ボディ2に設けられる場合を示したが、制御部130は第2ボディ4に含まれてもよく、複数個で設けられ第1ボディ2及び第2ボディ4にそれぞれ含まれてもよい。第1ボディ2及び第2ボディ4に示した構成以外に多様な回路やチップ、信号線などが更に含まれ得るが、説明の便宜上、細部的な構成は図示を省略する。
第1ボディ2と第2ボディ4は、ヒンジ部185によって連結される。
ヒンジ部185は、第1ボディ2及び第2ボディ4がヒンジ部185を基準に回転可能のように第1ボディ2と第2ボディ4を支持する。
第1ボディ2及び第2ボディ4の回転角度はヒンジ部185の形状によって多様に決定されてもよい。
例えば、第1ボディ2及び第2ボディ4の内の少なくとも一つが回転するようになると第1及び第2ディスプレイ部190a、190bが相接する形態にクローズすることもでき、その反対方向に完全に返って第1及び第2ディスプレイ部190a、190bの背面が相接する形態にオープンすることもできる。
又は、ヒンジ部185の構成によっては180度に完全に広がる形態にオープンさせることもできる。ヒンジ部185を基準に第1ボディ2及び第2ボディ4が広がる形態については後述する多様な実施形態において具体的に説明する。
第1、第2ディスプレイ部190a、190bは、制御部130の制御によってマルチメディアコンテンツ再生画面、アプリケーション実行画面、アイコンを含むデスクトップ、ウェブブラウジング画面などを表示する。
第1、第2ディスプレイ部190a、190bは、タッチスクリーンで実現してもよい。これにより、ユーザの身体(例えば、親指を含む指)又は検知可能な入力手段(例えば、スタイラスペン)などが第1、第2ディスプレイ部190a、190bにタッチされると、制御部130はそのタッチ地点の座標値とタッチジェスチャーの形態に応じて多様な動作を行うことができる。
タッチジェスチャーには、単純タッチ、近接、タッチアンドドラッグ、ダブルタッチ、フリック、ラギング(rugging)などのような多様なジェスチャーが含まれる。
ユーザはタッチジェスチャーを利用してマルチディスプレイ装置の動作を制御することができる。
その他にも、マルチディスプレイ装置にマイク、カメラ、ボタンなどが備えられている場合には、ユーザはマイクを通して音声コマンドを入力する音声操作、カメラを利用してモーションジェスチャーを入力するモーション操作、ボタン操作などのような多様なユーザ操作を利用して、マルチディスプレイ装置の動作を制御することができる。
このようなユーザ操作の形態とそれに対応する制御動作については、マルチディスプレイ装置の製作者或いはユーザが予め設定しておくことができる。
制御部130は、予め定義(設定)されたユーザ操作が入力されると、第1ディスプレイ部190a及び第2ディスプレイ部190bを用いてユーザ操作に対応する動作を行う。
例えば、ツールセット表示動作を行うようにマッチングされたユーザ操作が入力されると、制御部130はマルチディスプレイ装置の動作状態に対応するツールセットを第1ディスプレイ部190a及び第2ディスプレイ部190bの内の少なくとも一つに表示する。
ツールセットには多様なツールに対するアイコンや名称などのような識別子が表示することができる。
ツールとは、現在実行中の動作に関連してユーザが使用することができる多様な機能(function)を意味する。
一例として、文書作成、閲覧、編集などが可能な文書作成プログラムでは、フォト調整、太さ調整、ペン、消しゴム、ルーラー(ruler)などのような多様なツールが使用され得る。
従って、文書作成プログラムが実行中である状態でツールセット表示動作を行うように定められたユーザ操作が入力されると、制御部130は上述したツールを含むツールセットを第1及び第2ディスプレイ部190a、190bの内の少なくとも一つの画面上に表示する。
他の例として、各種のアイコンが含まれるホーム画面(home screen)が表示された状態でツールセット表示動作を行うためのユーザ操作が入力されると、ホーム画面上にアイコンを追加するためのツール、ウィジェット実行のためのツール、背景イメージ変更のためのツールなどを含むツールセットが表示させることもできる。
このようにツールセットは、マルチディスプレイ装置の現在動作状態によって相違したツールで構成させることができる。
ユーザはツールセットで少なくとも一つのツールを選択することができる。
ツールセットでツールが選択されると、制御部130は選択されたツールに対応する動作を行う。
上述した例で、ツールセット内のペンが選択された場合なら、その後はユーザがタッチして移動する軌跡に従ってペンによる線が描かれる。
このようなツールセットは、ユーザの操作に応じてツールセットに含まれるツールを可変的に表示することができる。
具体的には、ツールセットに含まれているツールの表示位置、表示可否はいつも固定されておらず、ユーザの操作によって表示される位置又は表示可否を調整することができる。一実施例として、表示されているツールセットのツールをユーザ操作によってその位置を変更することができる。
また別の実施例として、画面に表示されないツールセットの可変領域に配置されたツールをユーザのタッチ操作(一例として、ダイアルを回すようなドラッグジェスチャー)によってディスプレイ部の画面に表示されるツールセットの表示領域に表示することができる。
これについては、後述する図31において具体的に説明することにする。
なお、ツールセットは必ず固定されるものではなく、アップデートによって変更、追加、削除などが可能であり、ツールを表示するためのアイコンや名称が変更されることもできる。
ツールアップデートに対する説明は、図55において詳細に説明する。
以下では、制御部130の多様な制御動作について説明する。
ツールセットは、マルチディスプレイ装置100で実行中であるアプリケーションで使用可能なツールを含む。
この場合、ツールセットは、専用ツール及び共用ツールを含むことができる。
専用ツールとは、マルチディスプレイ装置で現在実行中のアプリケーションでのみ使用可能なツールを意味する。一方、共用ツールとは、現在実行中のアプリケーションだけでなく、複数のアプリケーションで共通的に使用可能なツールを意味する。
制御部130は、ツールセットで専用ツールを共用ツールより優先的に配置して表示することができる。
例えば、カメラアプリケーションが実行中の状態であれば、専用ツールはフラッシュ設定、前後カメラ転換、動画撮影転換、焦点モード選定、タイマー設定などのようにカメラアプリケーションでのみ使用するツールで構成することができる。一方、共用ツールはメッセージ送信、デバイス環境設定、電話通話などのように、カメラアプリケーションとは関係なく実行可能なツールであることができる。
マルチディスプレイ装置100は、実行中のアプリケーションの専用ツールを優先的に表示し、実行中のアプリケーションのツールを容易に利用できるようにする、一方、ツールの種類が多い場合、その性格によって上位レベルツールと下位レベルツールとに区分することができる。
下位レベルツールとは、上位レベルツールに従属されるサブツールを意味する。例えば、筆記道具を表すツールが上位レベルツールであれば、鉛筆、ペン、筆、クレパスなどのような具体的な筆記道具は下位レベルツールになることができる。最初表示されるツールセットに含まれるツールは上位レベルツールを意味することができる。
制御部130は、選択されたツールに従属した第1下位レベルツールが存在すると、第1下位レベルツールを列挙した第1下位レベルツールセットをツールセットの一側に表示することができる。
第1下位レベルツールセットで一つの第1下位レベルツールが選択され、選択された第1下位レベルツールに従属する第2下位レベルツールが存在すると、第2下位レベルツールを列挙した第2下位レベルツールセットを第1下位レベルツールセットの一側に表示することができる。
上述した例において、筆記道具ツールが最上位ツールであり、鉛筆、ペン、筆、クレパスなどのようなツールが筆記道具ツールに従属する第1下位レベルツールとしたら、これらのうちペンについては互いに異なる太さの様々なペンがまた第2下位レベルツールとして提供することができる。
ツールセットの大きさ及び形態は実行中のアプリケーションで使用可能なツールの個数に応じて相違に調整することができる。
一方、本発明の多様な実施形態によれば、ツールセットはタッチジェスチャーが終了した地点を基準に半円形態にツールを列挙したグラフィックUIでもよく、下位レベルのツールセットは上位レベルのツールセットの枠の外側に表示される円形バー形状のグラフィックUI又はボタン形状のグラフィックUIでもよい。
この場合、ツールセット及び下位レベルのツールセットの内の少なくとも一つはユーザ操作に従って新たに表示される(隠れたツール)(hidden tools)を表示することができる。
隠れたツールとは、ディスプレイ上で表示されないツールセットの可変領域に配置されたツールを意味する。
基本的に多く使われるツールをツールセットの表示領域に配置することができ、その以外のツールを可変領域に配置することができる。
ツールセットの可変領域に配置される隠れたツールはツールセットアップデートを通して設置することができる。隠れたツールに対する具体的な説明は、図31において後述する。
上述した説明ではツールセットUIを半円形態に説明したが、これに限定されず、水玉UI、カードポケットUI、四角メニューバーUI、及び四角グラフUIなどの形態で実現することができる。
ツールセットUIについては図31〜図33において詳細に説明する。
以下では、ツールセットを呼び出すユーザ操作による制御部130の動作について説明する。
本発明の一実施形態にかかるユーザ操作は、第1ボディ2及び第2ボディ4の連結領域をタッチして第1ディスプレイ部190aの方へ向かう第1方向又は第2ディスプレイ部190bの方へ向かう第2方向にドラッギングするタッチアンドドラッグジェスチャーでもよい。
又は、第1ボディ2の端領域をタッチして第1ディスプレイ部190aの方へ向かう第1方向にドラッギングするか、或いは第2ボディ4の端領域をタッチして第2ディスプレイ部190bの方へ向かう第2方向にドラッギングするタッチアンドドラッグジェスチャーでもよい。
制御部130は、タッチアンドドラッグジェスチャーが行われた方向やその位置に従って第1ディスプレイ部190a又は第2ディスプレイ部190bにツールセットを表示することができる。
また、本発明の多様な実施形態によれば、ツールセットはマルチディスプレイ装置100で実行可能なアプリケーションを選択するための少なくとも一つのアイコンを更に含み、制御部130は、ツールセントでアイコンが選択されると、選択されたアイコンに対応するアプリケーションを第1ディスプレイ部190a又は第2ディスプレイ部190bの任意の領域に実行することができる。
また、本発明の多様な実施形態にかかる制御部130は、第1ディスプレイ部190a及び第2ディスプレイ部190bの内の少なくとも一つにツール領域を設け、ツールセットに表示されたツールの中でユーザが選択したツールをツール領域に移動させて表示することができる。
上述した実施例については、図37の早いツールセットドック(Dock)と共に具体的に説明する。
一方、本発明の多様な実施形態にかかる制御部130は、ユーザ操作が、外部オブジェクトが第1ディスプレイ部190a又は第2ディスプレイ部190bをタッチする操作である場合、タッチが行われると外部オブジェクトの種類に対応するツールを含むツールセットをタッチ地点に表示し、ツールセットで選択されたツールの機能を外部オブジェクトに割り当てることができる。
この場合、第1外部オブジェクトにパターニング道具が割り当てられ、第2外部オブジェクトに筆記道具が割り当てられた場合、第1又は第2ディスプレイ部190a、190bの画面上で第1外部オブジェクト及び第2外部オブジェクトがタッチされるとタッチ地点にパターニング道具イメージ及び筆記道具イメージを表示し、第2外部オブジェクトのタッチ地点が移動されるとパターニング道具イメージ及び第2外部オブジェクトの移動経路に沿って描かれるラインを表示する。
具体的に、パターニング道具の例として、多様な模様の直線定規、三角定規、波型定規、分度器、円形板などを挙げることができ、筆記道具の例として、多様な色を表示する鉛筆、ペン、筆、クレパスなどを挙げることができる。
上述した実施形態については図53、図54において具体的に説明する。
一方、発明の多様な実施形態にかかる制御部130は、スタイラスペンからツールセットを表示するための制御信号が入力されると、ユーザ操作が行われたものと判断することができる。
ツールセット表示に対する上述した多様な実施形態については後述する部分で図面と共に具体的に説明する。
図2は、本発明の一実施形態にかかるマルチディスプレイ装置100とスタイラスペン4800の構成を示した概略的なブロック図である。
図2を参照すると、マルチディスプレイ装置100は、第1及び第2ディスプレイ部190a、190b、ヒンジ部185、制御部130及び通信部110を含むことができ、スタイラスペン4800から外部入力を受けることができる。
第1及び第2ディスプレイ部190a、190b、ヒンジ部185、制御部130の動作については、図1で具体的に説明したため、重複説明は省略する。
通信部110は、スタイラスペン4800からマルチディスプレイ装置100を操作するための制御信号が入力される。
スタイラスペン4800とは、筆記具形状でディスプレイ装置を操作するための補助器具を意味する。スタイラスペン4800はマルチディスプレイ装置100の通信部110にツールセットを表示するための制御信号を伝送する。スタイラスペン4800に対する一般的な機能は図48に対する説明部分で記述する。
〔マルチディスプレイ装置の一般的な構成〕
図3は、本発明の一実施形態にかかるマルチディスプレイ装置のより詳細な構成を示すブロック図である。
図3を参照すると、本発明の一実施形態であるマルチディスプレイ装置100は、通信部110、マルチメディア部120、制御部130、撮像部140、センサ部150、入/出力部160、保存部170、電源部180、及び第1ディスプレイ部190a、第2ディスプレイ部190bを含む。
通信部110は、各種の有線及び/又は無線通信方式を用いて外部装置と情報を送受信する構成である。
ここで、「外部装置」は、他の装置、携帯、スマートフォン、タブレットPC(Personal)、コンピューターサーバ及びデジタルTVの内の少なくとも一つを含むことができ、これらの装置は通信ネットワークを通してマルチディスプレイ装置100と接続することもできる。
通信部110は、セルラー通信モジュール111、無線LANモジュール112、近距離通信モジュール113、GPS通信モジュール115、放送通信モジュール116などの無線通信モジュールと、HDMI(登録商標)(High−Definition Multimedia Interface)、USB(Universal Serial Bus)、IEEE(Institute of Electrical and Electronics Engineers)1394などの有線通信モジュールのうち少なくとも一つを含むコネクタ114、GPSモジュール115、放送通信モジュール116を含むことができる。
セルラー通信モジュール111は、制御部130の制御に従ってセルラー通信プロトコールに従う無線アクセス技術を使用し、マルチディスプレイ装置100が少なくとも一つ又は複数のアンテナ(不図示)を介して外部装置(特にセルラーシステムの基地局)と接続されるようにする。
なお、セルラー通信モジュール111は、携帯機器100に入力される電話番号を有する携帯、スマートフォン、タブレットPC又は他の装置のような通信可能な他の機器と、音声通話、画像通話、短文(Short Messaging Service:SMS)メッセージ又はマルチメディア(Multimedia Messaging Service:MMS)メッセージを含む無線信号を送/受信する。
無線LANモジュール112は、制御部130の制御に従って予め設定された範囲内に存在する無線AP(Access Point)(不図示)に接続してインターネットと接続する構成である。
無線LANモジュール112は米国電気電子学会(IEEE)の無線LAN規格(IEEE802.11x)をサポートする。
近距離通信モジュール113は、制御部130の制御に従ってマルチディスプレイ装置100と外部機器との間に無線で近距離通信を行う構成である。
近距離通信モジュール113は、ブルートゥース(登録商標)モジュール、赤外線通信モジュール、NFC(Near Field Communication)モジュール、Wi−Fiモジュール、ジグビー(Zigbee(登録商標))モジュールの内の少なくとも一つを含むことができる。
ブルートゥース(登録商標)モジュールは、ISM(Industrial Scientific and Medical)2400MHz以後2MHz、2483.5MHz以前3.5MHzまでの範囲を除いた2402〜2480MHz、全部で79個のチャネルを用いてデータパケットの形態でデータストリームを伝送する。
複数のチャネルを特定パターンに従って早く移動してパケット(データ)を少しずつ伝送する周波数ホッピング(Frequency Hopping)方式を利用する場合、79個チャネルを1秒当たり1600回ホッピングすることができる。
赤外線通信モジュールは、赤外線を用いてデータを伝送する。
赤外線は可視光線に比べて波長が長いため空気中に漂う微粒子を円滑に通過することができ、特に電波に比べて広い帯域幅を容易に確保することができ高速でデータを伝送することができるという長所がある。IrDA(Infrared data association)DATA1.4規格に従う場合、マルチディスプレイ装置100は外部装置と1メートル以内の距離で最大16Mbpsの速度で無線データ通信が可能となる。
NFC通信モジュールは、13.56Mz周波数帯域を使用する非接触式近距離無線通信方式で通信する。
NFC技術を利用すると、複数の端末機が約10cm以内のように近距離で接近したときデータが送受信することができる。この場合、外部装置はNFCタグを含むモジュールを含むことができ、マルチディスプレイ装置100はNFCリーダーを含み、タギングが行われる場合、データが外部装置からマルチディスプレイ装置100に伝送される。
情報の送受信のために外部装置とマルチディスプレイ装置100のそれぞれがNFCタグ及びNFCリーダーを含むこともできる。
Wi−Fiモジュールは、IEEE802.11技術規格に従う近距離通信を行う。
IEEE802.11n規格を従う場合、最大150Mbpsでデータ伝送が可能であり、複数個のアンテナを使って出力を上げるMIMO(Multiple−input and Multiple−output)技術を適用すると、最大600Mbpsのデータ伝送が可能である。特に、Wi−Fiダイレクト方式の場合、上記のような速度を保障しながら別途のAPなしにも直接通信が可能である。
通信部110は、ジグビー(Zigbee(登録商標))モジュールを含むこともできる。
ジグビーとは、IEEE802.15.4技術規格に従う近距離通信方式である、250Kbps、20Kbps、40Kbpsの伝送速度を有する。この方式は比較的に単純なデータ伝送に適合している。
このように、通信部110は上述した多様な近距離通信方式によって実現することができ、必要に応じて本明細書に言及されてない別の通信技術を採用することができる。
コネクタ114は、USB2.0、USB3.0、HDMI(登録商標)、IEEE1394など多様な装置とのインターフェースを提供する構成である。
コネクタ114は、マルチディスプレイ装置100と外部装置又は電源ソースとを接続するためにインターフェースとして利用される。
制御部130の制御に従ってコネクタ114に接続された有線ケーブルを通してマルチディスプレイ装置100の保存部170に保存されたデータを外部装置に伝送するか又は外部装置からデータを受信することができる。コネクタ114に接続された有線ケーブルを通して電源ソースから電源が入力されるか、バッテリ(不図示)を充電することができる。
GPSモジュール115は、地球軌道上にある複数のGPS衛星(不図示)から電波を受信し、GPS衛星(不図示)から携帯機器100までの電波到達時間(Time of Arrival)及びGPSパラメータを用いて携帯機器100の位置を算出することができる。
放送通信モジュール116は、制御部130の制御に従って放送通信アンテナ(不図示)を通して放送局から送出される放送信号(例えば、TV放送信号、ラジオ放送信号又はデータ放送信号)及び放送付加情報(例えば、EPS(Electric Progam Guide)又はESG(Electric Service Guide))を受信することができる。
マルチメディア部120は、動画コンテンツやオーディオコンテンツ、その他の多様なマルチメディアコンテンツを再生するための構成要素である。
マルチメディア部120は、パーサー(parser)やコデックなどを用いてマルチメディアコンテンツを処理し、コンテンツ再生を行う。
マルチメディア部120は、オーディオ再生モジュール121及びビデオ再生モジュール122を含む。
オーディオ再生モジュール121は、制御部130の制御に従って保存されたり又は受信されるデジタルオーディオファイル(例えば、ファイル拡張子がmp3、wma、ogg又はwavであるファイル)を再生することができる。
ビデオ再生モジュール122は、制御部130の制御に従って保存されたり又は受信されるデジタル動画ファイル(例えば、ファイル拡張子がmpeg、mpg、mp4、avi、mov、又はmkvであるファイル)を再生することができる。
ビデオ再生モジュール122は、デジタルビデオファイルを再生することができるように多様な形式のコデックをサポートする。即ち、再生しようとするビデオファイルのエンコーディング方式に対応するコデックを利用してビデオデータをデコーディングする。
制御部130は、通信部110、マルチメディア部120、撮像部140、センサ部150、入/出力部160、保存部170、電源部180、及び第1、2ディスプレイ部190a、190bを制御する構成である。
制御部130はハードウェアにクロックを提供し、制御信号を送出するCPUと、プロセスを一時的に、又は半永久的に保存するためのメモリ、グラフィック処理のためのGPU、メモリとCPU及びGPUの間にデータ伝達のためのシステムバスを含む。
なお、ハードウェア構成を駆動するためのオペレーションシステム(Operating System:OS)、オペレーションシステム上でユーザインターフェースを提供してフレームワークで伝達するアプリケーションを含む。
制御部130の各構成については後で詳細に説明する。
撮像部140は、図3に示すように第1カメラ141及び第2カメラ142のうち少なくとも一つを含むことができる。只、図3では第1カメラ141と第2カメラ142のみを示したが、実施形態によって追加的なカメラを含むことができる。
各カメラは、シャッター(不図示)、レンズ部(図23の5110参照)、絞り(不図示)及びCCD(Charge Coupled Device)イメージセンサ(不図示)及びADC(Analog/Dogital Converter)を含む。
シャッターは、絞りと共に露光する光の量を調節する器具である。
レンズ部は、外部光源から光を受けて画像を処理する。このとき、絞りは開閉程度に応じて入射される光の量(光量)を調節する。
CCDイメージセンサは、レンズ部を通して入力される光量を蓄積し、その蓄積された光量に応じてレンズ部で撮像された画像を垂直同期信号に合わせて出力する。画像取得は被写体から反射される光を電気的な信号に変換させるCCDイメージセンサによって行われる。
CCDイメージセンサを利用してカラー画像を得るためにはカラーフィルタを必要とし、CFA(Color filter array)というフィルタを採用することができる。CFAは、一ピクセル毎に一カラーを表す光のみを通過させ規則的に配列された構造を持っており、配列構造によっていろいろな形態を持っている。ADCは、CCDイメージセンサから出力されるアナログ画像信号をデジタル信号に変換する。このような構成は一例に過ぎず、各カメラの構成は多様に変形されてもよい。例えば、各カメラはCCDイメージセンサではなくCMOS(Complememtary Metal Oxide Semiconductor)イメージセンサを用いて画像を撮像することができる。
第1カメラ141及び第2カメラ142は、携帯機器100のハウジングに備えられるか或いは別途の接続手段を使って携帯機器100に接続されてもよい。
第1カメラ141及び第2カメラ142のうち少なくとも一つは撮影に必要な光量を提供する補助光源(例えば、フラッシュ(不図示))を含むことができる。
一実施例として、第1カメラ141はマルチディスプレイ装置100の前面に配置され、第2カメラ142はマルチディスプレイ装置100の後面に配置されてもよい。
他の実施例として、第1カメラ141と第2カメラ142は隣接して(例えば、第1カメラ141と第2カメラ142との間隔が1cmより大きく、8cmより小さく)配置され、3次元静止画像又は3次元動画を撮影することができる。
また別の実施例として、第1カメラ141は第1パネル部に配置され、第2カメラ142は第2パネル部に配置されてもよい。
撮像部140は、第1カメラ141及び第2カメラ142のうち少なくとも一つを通して、ユーザの動き或いは形状を検知し、これをアプリケーションの実行或いは制御のための入力として制御部130に伝達することができる。
一例として、ユーザの動きとは、第1或いは第2カメラを通して検知されるユーザの手の動きを意味する。
ユーザの形状とは、第1或いは第2カメラを通して検知されるユーザの顔形状を意味することができる。
また別の実施例として、マルチディスプレイ装置100は赤外線検知器のような他の手段を使ってユーザの動きを検知し、前記動きに応答してアプリケーションを実行又は制御することができる。
センサ部150は、マルチディスプレイ装置100に対するユーザタッチ、ユーザ動き、マルチディスプレイ装置100自体の動きなどのような多様な状態変化をセンシングするための構成要素である。
前述した実施形態において、センサ部150の一例としてタッチセンサ又は近接センサを説明した。前述した実施形態の以外にも、センサ部150は、タッチセンサ151、地磁気センサ152、加速度センサ153、ヒンジセンサ154、及び近接センサ155の内の少なくとも一つを含むことができる。
タッチセンサ151は、マルチディスプレイ装置100のディスプレイ部に対するユーザオブジェクトの接触を検知することができるセンサである。即ち、タッチセンサ151は指のような身体又は検知可能な入力手段で第1又は第2ディスプレイ部190a、190bを接触してディスプレイ画面上に表示されたオブジェクトを選択する入力を検知することができるセンサのことを意味する。
タッチセンサ151は、ユーザのタッチを検知する方式によって静電方式と圧電方式に分けることができる。本発明の一実施形態にかかるタッチセンサ151は二つの方式のうちいずれの方式でも実現することができる。タッチセンサ151はディスプレイパネルと共にディスプレイ部に含まれて構成することができる。
地磁気センサ152は、磁場の流れを検出して方位角を探知することのできるセンサである。
地磁気センサ152は、マルチディスプレイ装置100の方位座標を検出することができ、方位座標に基づいてマルチディスプレイ装置100が置かれた方向を検出することができる。置かれた方向はそれに相応する制御入力として認識され制御部130が対応する出力を行う。
加速度センサ153は、マルチディスプレイ装置100の加速度を検出するセンサであって、マルチディスプレイ装置100上に仮想のx、y、z軸を設定し、各軸の傾いた程度によって変化する重力加速度値を検出することができる。
加速度センサ153は、移動する物体の加速度(動的な加速度)を検出することにも使われるが、主に重力加速度を検出することに活用されるセンサである。
ヒンジセンサ156は、ヒンジの角度又は動きなどを検出することができる。
近接センサ155は、ユーザのマルチディスプレイ装置100に対する物体の接近有無を検出することができる。近接センサについては後で更に詳細に説明する。
図3には示していないが、マルチディスプレイ装置100のセンサ部150は、重力がどの方向に作用するかを検出することのできる重力センサ、既存の加速度センサにそれぞれ回転を入れて全6軸を認識することのできるジャイロセンサ、イメージのようなコンテンツの横、縦フレームを自動で検知してコンテンツを自動回転及び整列させることのできるオリエンテーションセンサ、マルチディスプレイ装置100周辺の光の量を検出する照度センサ、大気の圧力を測定することのできる高度測定センサ、物体の色を検出することのできるRGBセンサ、超音波や赤外線を利用して距離を測定することのできる距離測定センサ、磁場の強さによる電圧変化を利用するホールセンサの内の少なくとも一つを更に含むことができる。
センサ部150の各センサは、状態を検出し、検出に対する信号を生成して制御部130に伝送する。
センサ部150のセンサは、マルチディスプレイ装置100の性能に応じて追加又は削除することができる。
入/出力部160は、画面やその他の外部連結ポートを利用して入/出力を行うための構成要素である。
具体的には、入/出力部160は、マルチディスプレイ装置100に接続されたマウスやキーボード、ジョイスティックのような入力手段や、リモコンなどのような無線入力手段から伝送される入力信号を受けて制御部130に伝送する。
又は、制御部130によって生成される各種信号やデータを外部装置に出力する。
入/出力部160は、ボタン部161、マイク162、スピーカ163及び振動モータ164を含む。
少なくとも一つのボタン部161は、マルチディスプレイ装置100のハウジングの前面、側面、又は後面にプッシュ型或いはタッチ型で形成することができ、電源/ロックボタン、ボリューム調節ボタン、メニューボタン、ホームボタン、戻るボタン(back button)、及び検索ボタンの内の少なくとも一つを含むことができる。
ボタン部161が押される場合、対応する制御命令が生成され制御部130に伝達され、制御部130は対応する制御命令に従ってマルチディスプレイ装置100の動作を制御する。
マイク162は、制御部130の制御に従って音声又はサウンドの入力を受けて電気的な信号を生成する。
スピーカ163は、制御部130の制御に従って、セルラー通信モジュール111、無線LANモジュール112、近距離通信モジュール113、マルチメディア部120又は撮像部140の多様な信号(例えば、無線信号、放送信号、デジタルオーディオファイル、デジタル動画ファイル又は写真撮影など)に対応するサウンドをマルチディスプレイ装置100の外部に出力する。
スピーカ163は、マルチディスプレイ装置100が行う機能に対応するサウンド(例えば、電話通話に対応するボタン操作音、又は通話接続音)を出力することができる。
スピーカ163はマルチディスプレイ装置100のハウジングの適切な位置又は複数の位置に一つ又は複数で形成することができる。一例として、スピーカ163は通話中にユーザの耳に近接するような適合した位置に配置される内部スピーカモジュールと、オーディオ/ビデオファイルの再生や放送の視聴時に使用できるようなより高い出力を持ち、マルチディスプレイ装置100のハウジングの適切な位置に配置される外部スピーカモジュールを含んで構成することができる。
振動モータ164は、制御部130の制御に従って電気的信号を機械的振動に変換する。
例えば、振動モードにあるマルチディスプレイ装置100は、他の装置(不図示)から音声通話が受信された場合、振動モータ164が動作する。
振動モータ164はマルチディスプレイ装置100のハウジング内に一つ又は複数で形成することができる。振動モータ164は第1、第2ディスプレイ部190a、190b上で検知されるユーザのタッチジェスチャー及び第1、第2ディスプレイ部190a、190b上で検知されるタッチの連続的な動きに応答して動作することができる。
保存部170は、O/Sやアプリケーションなどのような各種プログラム及びデータを保存する構成である。
第1に、保存部170は、マルチディスプレイ装置100の動作を制御するためのオペレーションシステムプログラムを保存する。
保存されたオペレーションシステムは、マルチディスプレイ装置100がターンオンされた場合、保存部で読み取られ、コンパイルされ装置の各構成を動作させる。
第2に、保存部170はオペレーションシステムによって管理されオペレーションシステムの資源を利用してマルチディスプレイ装置100の動作を行い、ユーザインターフェースを提供するアプリケーションプログラムを保存する。
アプリケーションプログラムは、ユーザの実行命令によってオペレーションシステムによって保存部で読み出され、実行可能な状態に転移され多様な動作を行う。
第3に、保存部170は、制御部130によって処理された各種のマルチメディアデータ、コンテンツデータ、外部ソースから受信されたデータなどを保存する。
即ち、保存部170は、制御部130の制御に従ってセルラー通信モジュール111、無線LANモジュール112、近距離通信モジュール113、コネクタ114、GPSモジュール115、マルチメディア部120、撮像部140、センサ部150、入/出力部160、第1、第2ディスプレイ部190a、190bの動作に対応するように入/出力される信号、情報、又はデータを保存することができる。
例えば、保存部170は、入力ペン500で検知結果に応じて伝送された情報を保存するか、制御部130が前記情報を分析した結果を保存する。
保存部170は、ロム(ROM)、ラム(RAM)、又はマルチディスプレイ装置100に脱着/装着可能なメモリカード(例えば、SDカード(登録商標)、メモリスティック(登録商標))、非揮発性メモリ、揮発性メモリ、ハードディスクドライブ(HDD)又はソリッドステートドライブ(SSD)の内の少なくとも一つで実現されることができる。
電源部180は、マルチディスプレイ装置100で使われる電源を供給する。
電源部180は充電可能なバッテリで実現されてもよく、外部供給電源を変換して充電可能なバッテリに供給する電圧変換器を更に含むことができる。
電源部180は、制御部130の電源管理制御に従ってマルチディスプレイ装置100に最大性能モード、一般モード、節電モード、待機モードなど多様なモードで電源を供給することができる。
第1、第2ディスプレイ部190a、190bは、前述したように、センサ部150に含まれ、フレームバッファに保存された画像を出力する構成である。
第1、第2ディスプレイ部190a、190bは、制御部130の制御によってマルチメディアコンテンツ、イメージ、動画、テキストなどを表示する。
第1ディスプレイ部190aと第2ディスプレイ部190bは物理的に互いに分離されている。
第1ディスプレイ部190aと第2ディスプレイ部190bに表示されるディスプレイ画面は互いに独立的に制御することができる。
例えば、第1ディスプレイ部190aの解像度と第2ディスプレイ部190bの解像度は、それぞれ個別的に設定することができる。なお、第1ディスプレイ部190aと第2ディスプレイ部190bに表示される画面の拡大、回転、画面移動、画面分割などをそれぞれ個別的に実行することができる。
なお、第1ディスプレイ部190a及び第2ディスプレイ部190bは仮想統合フレームバッファを用いて単一ディスプレイ画面に表示することもできる。
第1、第2ディスプレイ部190a、190bは、制御部130によって実行される多様なアプリケーション(例えば、通話、データ伝送、放送、カメラなど)の実行画面を表示し、それに対応するユーザインターフェースを提供するディスプレイ装置である。
第1、第2ディスプレイ部190a、190bには前述したタッチセンサ151が内蔵されてもよく、この場合、ユーザの身体(例えば、親指を含む指)又は検知可能な入力手段(例えば、スタイラスペン)を通して少なくとも一つのタッチジェスチャーを入力することができる。
このようなユーザインターフェースは、所定タッチ領域、ソフトキー及びソフトメニューを含むことができる。
第1、第2ディスプレイ部190a、190bは、ユーザインターフェースを通して入力される少なくとも一つのタッチジェスチャーに対応する電子信号をLCDコントローラー(不図示)を通して第1、第2ディスプレイ部190a、190bから伝送することができる。
なお、第1、第2ディスプレイ部190a、190bは、タッチの連続的な動きを検知し、タッチの連続的或いは不連続的な動きに対応する電子信号をLCDコントローラーに伝送することができる。
前述したように、タッチセンサ151は、抵抗膜(resistive)方式、静電容量(capacitive)方式、赤外線(infrared)方式、又は超音波(acoustic wave)方式等で実現することができる。
第1、第2ディスプレイ部190a、190bは、タッチセンサを通して検知されたユーザ動作に関する検知信号をデジタル信号(例えば、XとY座標)に変換して制御部130に伝送する。制御部130は受信されたデジタル信号を用いて第1、第2ディスプレイ部190a、190bを通して入力されたユーザ動作に対応する制御動作を行うよう制御する。例えば、制御部130はユーザ動作に応答して第1、第2ディスプレイ部190a、190bに表示されたソフトキーが選択されるようにするか或いはソフトキーに対応するアプリケーションを実行することができる。
上述したユーザジェスチャーは、第1、第2ディスプレイ部190a、190bとユーザ身体又はタッチ可能な入力手段との直接的な接触(contact)に限定されず、非接触による方式も含む。
第1、第2ディスプレイ部190a、190bで検出可能なユーザ動作の感度は、マルチディスプレイ装置100の性能又は構造によって変更される。
〔タッチジェスチャータイプ〕
本発明の実施形態におけるタッチジェスチャーは、タッチスクリーンに直接接触或いは近接接近してマルチディスプレイ装置100が検知可能とする全ての種類のユーザジェスチャーを含むことができる。
例えば、左手と右手の指(finger)(特に、人差し指)、親指又はタッチスクリーンによって検知可能なオブジェクト(例えば、スタイラスペン)を用いてタッチスクリーン上で一つの位置或いは連続的な複数の位置を選択するユーザの動作である。
以下の表を参照してタッチジェスチャーについて具体的に説明する。
Figure 0006431255
表1は、一つの指を用いたジェスチャータイプについて説明する表である。
表1を参考すると、一つの指を用いたジェスチャータイプには、タップ(Tap)、タッチ&ホールド(Touch&Hold)、ダブルタップ(Double Tap)、ドラッグ(Drag)、ドラッグ&ドロップ(Drag&Drop)及びフリック(Flick)などがある。
タップ(Tap)は、ユーザがタッチスクリーンを軽く叩く動作を意味し、タッチ&ホールド(Touch&Hold)は、ユーザが長時間タッチする動作であり、ダブルタップ(Double Tap)は、ユーザが素早く2回タップする動作を意味する。そして、ドラッグ(Drag)は、一方向に引きずる動作であり、ドラッグ&ドロップ(Drag&Drop)は、タッチスクリーン上の任意のオブジェクトを押したまま、ある位置から他の位置に移動させる動作であり、フリック(Flick)は早くドラッグする動作である。
Figure 0006431255
表2は、二本指を用いたジェスチャータイプについて説明する表である。
表2を参考すると、二本指を用いたジェスチャータイプには、ツーフィンガタップ(Two finger Tap)、タッチ&スプレッド(Touch&Spread)、ピンチアウト(Pinch Out)、ピンチイン(Pinch In)、ツーフィンガドラッグ(Two finger Drag)、クロスツーフィンガ(Cross Two Finger)、タッチ&ローテート(Touch&Rotate)などがある。
ツーフィンガタップは二本指で同時にタップする動作であり、タッチ&スプレッドは二本指で同時にタッチスクリーンを押し、一本指は動かずに他の一本指だけ直線で動く動作である。
ピンチアウトは同時に二本指でタッチスクリーンを押した後、互いに反対方向にドラッグする動作であり、ピンチインは同時に二本指でタッチスクリーンを押した後、向かい合う方向にドラッグする動作である。
ツーフィンガドラッグは二本指を同一方向にドラッグする動作であり、クロスツーフィンガは向かい合う方向に同時にドラッグして交差して横切る動作である。最後に、タッチ&ローテートは一本指は動かず、別の一本指のみ固定した一本指を中心に回転させるタッチ動作を意味する。
Figure 0006431255
表3は、二本以上の指を用いたジェスチャー及び手の平を用いたジェスチャータイプについて説明する表である。
表3を参考すると、二本以上の指を用いたジェスチャータイプには、スリーフィンガタッチ、フォーフィンガタッチ、ファイブフィンガタッチなどがある。なお、二本以上の指を用いて上述した表1、表2のようにタップ、ドラッグ、ローテートのようなジェスチャー動作を行うことができる。
制御部130は、上述した多様なタッチジェスチャーが認識されると、そのタッチジェスチャーに対応する動作を行う。
例えば、制御部130は保存部170に保存されたアプリケーション、ウィジェット、ウェブブラウザなどを実行させ、その実行画面を第1及び第2ディスプレイ部190a、190bのうち少なくとも一つに表示する。
一方、上述した実施形態ではマルチディスプレイ装置100のボディがヒンジ部によって連結されるものとして図示及び説明したが、ヒンジ部の代わりにフレキシブルな材質の連結部で連結してもよい。
以下では、図4を参照して、前述した制御部130の具体的な構成を詳細に説明する。
図4は、多様な実施形態にかかるマルチディスプレイ装置に含まれる制御部の具体的な構成の一例を示すブロック図である。
図4によると、マルチディスプレイ装置は、通信部110、マルチメディア部120、制御部130、撮像部140、センサ部150、入/出力部160、保存部170、電源部180及びマルチディスプレイ部(デュアルディスプレイ部)190を含む。
通信部110は、上述したように、多様な通信方式に従って外部装置と通信を行う構成要素である。通信部110については上述した部分で具体的に説明したため、重複説明は省略する。
マルチメディア部120は、動画コンテンツやオーディオコンテンツ、その他の多様なマルチメディアコンテンツを再生するための構成要素である。マルチメディア部120はパーサやコデックなどを用いてマルチメディアコンテンツを処理し、コンテンツ再生を行う。
撮像部140は、ユーザ操作に従って撮像作業を行う構成要素である。撮像部140はマルチディスプレイ装置内で複数個で設けられてもよい。例えば、第1ディスプレイ部190aが設けられた第1ボディに第1撮像部が設けられ、第2ディスプレイ部190bが設けられた第2ボディに第2撮像部が設けられてもよい。
制御部130は、撮像部140によって撮像されたイメージを保存するか、メール、メッセンジャー、メッセージなどに添付して外部へ伝送する。又は、撮像部140によって撮像されたイメージを分析してユーザのモーションジェスチャーを認識し、そのモーションジェスチャーに対応する制御動作を行うこともできる。
入/出力部160は、画面やその他の外部連結ポートを利用して入/出力を行うための構成要素である。具体的には、入/出力部160は、マルチディスプレイ装置に接続されたマウスやキーボード、ジョイスティックのような入力手段や、リモコンなどのような無線入力手段から伝送される入力信号を受けて制御部130に伝送する。又は、制御部130によって生成される各種信号やデータを外部装置に出力することもできる。
センサ部150は、マルチディスプレイ装置に対するユーザタッチ、ユーザ動き、マルチディスプレイ装置自体の動きなどのような多様な状態変化をセンシングするための構成要素である。センサ部150については後述する部分でまた具体的に説明する。
電源部180は、マルチディスプレイ装置内部の各構成要素に電源を供給するための構成要素である。
制御部130はこれらの各構成要素の動作を全般的に制御する。
制御部130は、CPU131、GPU133、RAM135、ROM137、及びシステムバス139を含む。
CPU131は、制御部130を構成する内部構成要素だけでなくマルチディスプレイ装置に含まれた全般的な構成要素に対する制御を行う。
CPU131、GPU133、RAM135、及びROM137は、システムバス139を通して互いに接続され、各種データや信号などを送受信する。
ROM137にはシステムブーティングのための命令語セットなどが保存される。
ターンオン命令が入力され電源が供給されると、CPU131はROM137に保存された命令語に従って保存部170に保存されたO/SをRAM135にコピーし、O/Sを実行させてシステムをブーティングさせる。ブーティングが完了されると、CPU131は保存部170に保存された各種アプリケーションプログラムをRAM135にコピーし、RAM135にコピーされたアプリケーションプログラムを実行させて各種動作を行う。以上のように、CPU131は保存部170に保存されたアプリケーションプログラムの実行に従って多様な動作を行うことができる。
保存部170には各アプリケーションで使用可能なツールセットに対する情報が保存される。
CPU131は、ツールセットを表示すべきイベントが発生すると保存部170に保存されたツールセット情報を用いて、ツールセットを表示する。
具体的にはツールセットメニューが選択されるイベント、ユーザの身体やスタイラスペン4800が接近又はタッチされるイベント、ヒンジ部185によって予め設定された角度だけ第1及び第2ディスプレイ部190a、190bが広がるイベントなどが発生するとツールセットを表示することができる。
GPU133は、デコーダ(decoder)、レンダラー(renderer)、スケーラ(scaler)などを含むことができる。
これにより、保存されたコンテンツをデコーディングし、デコーディングされたコンテンツデータをレンダリングしてフレームを構成し、構成されたフレームのサイズをディスプレイコントローラ(不図示)の制御によってディスプレイサイズに合わせてスケーリングする。
もし、第1及び第2ディスプレイ部190a、190bのうち一つで表示される画面であればそのサイズに合わせてスケーリングし、2つのディスプレイで全面表示される画面であれば全面表示サイズに合わせてスケーリングする。
GPU133は処理されたフレームをディスプレイ部に提供して表示する。
制御部130は、周辺の構成要素とインターフェーシングするための多様な類型のインターフェース部などを更に含むことができる。
CPU131はウェブブラウザプログラムが実行されると、ネットワークインターフェース(不図示)を通してウェブサーバにアクセスする。
ウェブサーバからウェブページデータが受信されると、CPU131はGPU133を制御してウェブページ画面を構成し、構成されたウェブページ画面を上述した第1及び第2ディスプレイ部190a、190bのうち少なくとも一つを用いて表示する。
上述したように、マルチディスプレイ装置100でタッチ及びユーザ操作が検知されると、制御部130はユーザ操作が意図されたものであるか否かを判断することができる。
判断結果、意図されたユーザ操作であると判断されると、そのユーザ操作に対応する動作に対する情報を保存部170から読み出した後、その情報に対応する動作を行う。
以上のような制御部130の動作は、保存部170に保存された各種プログラムの実行によって実現することができる。
〔制御部のソフトウェア構成〕
以下では、制御部130を構成するソフトウェアの階層図を説明する。
図5は、本発明の一実施形態にかかるマルチディスプレイ装置100のシステム階層構造を説明するための図である。
図5を参照すると、マルチディスプレイ装置100はハードウェア410とハードウェアを駆動するオペレーションシステム(Operating system:OS)420と、オペレーションシステムによってプロセスで管理され資源を用いてユーザサービスを提供するアプリケーション階層441〜445と、オペレーションシステムとアプリケーションを中継するフレームワーク階層430を含む。
オペレーションシステム(OS)420は、ハードウェア410の全般的な動作を制御し、ハードウェア410及び各アプリケーションに対応するプロセスを管理する機能を行う。
即ち、OS420はハードウェア管理とメモリ、保安などの基本的な機能を担当する階層である。
OS420はマルチディスプレイ部を駆動させるためのディスプレイドライバ、データ送受信のための通信ドライバ、カメラを駆動させるためのカメラドライバ、オーディオ部を駆動させるためのオーディオドライバ、電源管理者などのモジュールを含む。なお、開発者がアクセス可能なAPIライブラリーとランタイム(runtime)が含まれてもよい。OS420はアプリケーションの呼び出しを処理し、処理結果に従ってハードウェアを動作させる。
OS420より上位階層としてフレームワーク(frame work)階層430が存在する。
フレームワーク階層430はアプリケーション階層440とOS420を接続する役割を行う。即ち、フレームワーク階層430はロケーションマネージャ(location manager)、通知マネージャ(notification manager)及びタッチスクリーン部に映像を表示するためのフレームバッファ(frame buffer)を含む。
フレームワーク階層430の上部階層にはマルチディスプレイ装置100の多様な機能を具現するアプリケーション階層440が存在する。
例えば、通話アプリケーション441、マルチメディアアプリケーション442、カメラアプリケーション443、ブラウザアプリケーション444、及びジェスチャーアプリケーション445など多様なアプリケーションプログラムが含まれる。
各アプリケーション(441〜445)は、ユーザインターフェースを提供し、ユーザから命令を受信してフレームワークを通してOS420に伝達するか、OS420の資源を要請する。OS420はシステムコールを処理し、いろんなアプリケーションの作業を管理する。そして、システムコールの処理結果に従って第1ディスプレイ部190a及び第2ディスプレイ部190bなどのような多様なハードウェアを動作させる。
〔ディスプレイ部のハードウェア構成〕
以下では、ディスプレイ部のハードウェア構成を説明する。
図6は、第1ディスプレイ部190a又は第2ディスプレイ部190bのディスプレイ部の回路構成を示すブロック図である。
以下では、第1ディスプレイ部190aを基準に説明するが、第2ディスプレイ部190bの場合も同一な構成を含み、同一に動作する。
ディスプレイ部は前述したように、第1ディスプレイ部190a、第2ディスプレイ部190bを含む。なお、タッチスクリーン部を更に含むことができる。
図6によると、第1ディスプレイ部190aの画像出力回路は、タイミングコントローラ231、ゲートドライバ232、データドライバ233、電圧駆動部234、表示パネル235を含むことができる。
タイミングコントローラ231は、外部からタッチスクリーン部の解像度に適合したクロック信号(DLCK)と水平同期信号(Hsync)、垂直同期信号(Vsync)などを受信してゲート制御信号(走査制御信号)、データ制御信号(データ信号)を生成し、受信したR、G、Bデータを再整列してデータドライバ233に供給する。
タイミングコントローラ231は上述のゲート制御信号に関連して、ゲートシフトクロック(Gate Shift Clock:GSC)、ゲート出力イネーブル(Gate Output Enable:GOE)、ゲート開始パルス(Gate Start Pulse:GSP)などを発生させることができるが、ここでGSCはR、G、B有機発光素子(Organic Light Emitting Diode、OLED)のような発光素子に接続された薄膜トランジスタ(Thin Film Transistor:TFT)がオン/オフ(On/Off)する時間を決定する信号であり、GOEはゲートドライバ232の出力を制御する信号であり、GSPは一つの垂直同期信号の中で画面の一番目の駆動ラインを知らせる信号である。
なお、タイミングコントローラ231はデータ制御信号に関連して、ソースサンプリングクロック(Source Sampling Clock:SSC)、ソース出力イネーブル(Source Output Enable:SOE)、ソース開始パルス(Source Start Pulse:SSP)などを生成することができる。
ここで、SSCはデータドライバ233でデータをラッチ(latch)させるためのサンプリングクロックとして使用され、データドライバICの駆動周波数を決定する。
SOEはSSCによってラッチされたデータを表示パネル235に伝達する。
SSPは一つの水平同期期間中にデータのラッチ又はサンプリング開始を知らせる信号である。
ゲートドライバ232は走査信号を生成する構成で、走査線(S1,S2、S3、…Sn)を通して表示パネル235と接続される。
ゲートドライバ232は、タイミングコントローラ231によって生成されたゲート制御信号に従って電圧駆動部234から提供されたゲートオン/オフ電圧(Vgh/Vgl)を表示パネル235に印加する。
ゲートオン電圧(Vgh)は表示パネル235に単位フレーム画像の具現のためにゲートライン1(GL1)からゲートラインN(GLn)まで順次に提供される。
データドライバ233はデータ信号を生成する構成で、データ線(D1、D2、D3、…Dm)を通して表示パネル235と接続される。
データドライバ233は、タイミングコントローラ231によって生成されたデータ制御信号に従ってスケーリングを完了させ、画像イメージフレームのRGBデータを表示パネル235に入力する。
データドライバ233は、タイミングコントローラ231から直列(serial)で提供されるRGBの画像データを並列(parallel)に変換し、デジタルデータをアナログ電圧に変換して一つの水平ライン分に該当する画像データを表示パネル235に提供する。この過程は各水平ライン別に順次行われる。
電圧駆動部234は、ゲートドライバ232、データドライバ233、表示パネル235などにそれぞれの駆動電圧を生成して伝達する。
即ち、外部からの常用電源、即ち110V又は220Vの交流電圧を提供され、表示パネル235に必要な電源電圧(VDD)を生成して提供するか、接地電圧(VSS)を提供することができる。
なお、ゲートオン電圧(Vgh)を生成してゲートドライバ232に提供することもできる。
このために、電圧駆動部234は個別的に動作する複数の電圧駆動モジュール(不図示)を含むことができる。ここで、複数の電圧駆動モジュール(不図示)は制御部130の制御に従って互いに異なる電圧を提供するように動作することができ、制御部130は予め設定された情報に応じて複数の電圧駆動モジュールが互いに異なる駆動電圧を提供するように電圧駆動部234を制御することができる。
例えば、複数の電圧駆動モジュールのそれぞれは、制御部130の制御に従って予め設定された情報に応じて互いに異なる第1電圧及びデフォルトで設定された第2電圧を提供することができる。
一実施形態によれば、電圧駆動部234は複数個の領域に区分された表示パネル235の各領域に対応する複数個の電圧駆動モジュールを含むことができる。
この場合、制御部130は、複数個の領域それぞれの画面情報(又は入力画像情報)に応じて互いに異なる第1電圧、即ち、ELVDD電圧を提供するように複数個の電圧駆動モジュールを制御することができる。
即ち、データドライバ233に入力される画像信号を用いてELVDD電圧の大きさを制御することができる。ここで、画面情報は、入力画像の輝度及び階調情報のうち少なくとも一つになることができる。
表示パネル235は、互いに交差して画素領域を定義するための複数のゲートライン(GL1〜GLn)とデータライン(DL1〜DLn)が形成され、その交差する画素領域236にはOLEDのようなR、G、Bの発光素子が形成される。
そして、画素領域236の一領域、更に正確には角にはスイッチング素子即ちTFTが形成される。このようなTFTのターンオン動作時、データドライバ233から階調電圧がそれぞれのR、G、Bの発光素子に提供される。このとき、R、G、Bの発光素子は階調電圧に基づいて提供された電流量に相応して光を提供する。即ち、R、G、Bの発光素子は多くの電流量が提供されるとその分多くの光を提供するようになる。
図7は、本発明の一実施形態にかかるマルチディスプレイ装置に適用可能なディスプレイ部の断面を説明するための断面図である。
図7を参考すると、第1ディスプレイ部190aは、画像出力部とタッチスクリーン部を含む。
画像出力部は、上部基板362と下部基板361とが密着された表示パネル部360と、表示パネル部360の上部基板362上に設けられた上部偏光板300と、上部偏光板300の端領域に設けられた下部電極310を含む。そして、画像出力部は下部基板361下に設けられた下部偏光板301を含む。
上述した上部基板362と下部基板361との間の領域には液晶層363が設けられる。上部基板362と下部基板361は画像を表示する表示領域と表示領域の端に設けられた周辺領域を含む。
下部基板361の表示領域には示していないが、複数のゲートラインと複数のデータライン、そして複数のゲートラインとデータラインの交差領域に設けられた薄膜トランジスタと、薄膜トランジスタに接続された画素電極が設けられる。
画素電極とその一部が重畳される維持電極が設けられる。そして、下部基板361の周辺領域にはゲートライン及びデータラインに接続された複数のパッド部が設けられる。
上部基板362と下部基板361は、シーラントのような密封部材364を用いて密封されることが好ましい。密封部材364は上部基板362と下部基板361の周辺領域に設けられることが効果的である。
タッチスクリーン部は、下部電極310と接続され上部偏光板300上に設けられた下部透明電極330と、上部透明電極342が設けられ上部基板362に付着されたタッチパッド部340と、上部透明電極342と下部透明電極330との間に設けられた突起部350を含む。
タッチパッド340は、ベースフィルム341と、ベースフィルム341上に設けられた上部透明電極342と、上部透明電極上に設けられた上部電極343を含む。
外部でタッチパッド部340を所定の力で押す場合、力の印加された領域の突起部350が下部透明電極330に密着され、これにより、下部透明電極330と上部透明電極342との間が電気的に接続するようになる。
電気的接続を通して上部透明電極342及び/又は下部透明電極330を流れる電流が変化するようになり、このような変化を別途の検知手段(不図示)を通して検知する。
検知手段は、検知された信号を別途に備えられた制御部130に伝達する。制御部130は検知された信号を用いて電流の流れが変化した領域の座標を生成し、これを所定のドライバ(不図示)に伝達する。ドライバは入力された座標に対応して表示パネル部360に表示された画像をマウスのような入力道具を用いて操作したものと同一の動作を行うことができる。
〔マルチディスプレイのフレームバッファリング方式〕
一方、マルチディスプレイ装置100の特性上、画像フレームバッファを多様な方式で備えることができる。
以下では、多様な方式の画像フレームバッファについて説明する。
図8は、本発明の一実施形態にかかるマルチディスプレイ装置100のディスプレイ駆動部175を示すブロック図であり、図9は、本発明の他の実施形態にかかるディスプレイ駆動部175の構成を示すブロック図である。
図8を参照すると、ディスプレイ駆動部175は第1フレームバッファ(175a−1)、第1ディスプレイドライバ(175a−2)、第2フレームバッファ(175b−1)及び第2ディスプレイドライバ(175b−2)を含む。
即ち、各ディスプレイ部190a、190b別の別途のフレームバッファ(175a−1、175b−1)と、ディスプレイドライバ(175a−2、175b−2)を備えることができる。
第1フレームバッファ(175a−1)は、第1ディスプレイ部190aに表示されるイメージフレームをバッファリングするための構成であり、第2フレームバッファ(175b−1)は、第2ディスプレイ部190bに表示されるイメージフレームをバッファリングするための構成である。
例えば、GPU133によってデジタル信号処理されたイメージフレームは、第1、2フレームバッファ(175a−1、175b−1)にビットマップ形態に保存される。
この場合、各フレームバッファ(175a−1、175b−1)のバッファリング領域は各ディスプレイ部(190a、190b)でサポート可能な最大ピクセルサイズに合わせて割り当てられる。
第1ディスプレイドライバ(175a−2)は、第1フレームバッファ(175a−1)に保存されたイメージフレームを分析して第1イメージソース信号に変換する。第1ディスプレイドライバ(175a−2)は第1イメージソース信号を第1ディスプレイ部190aに提供し、第1ディスプレイ部190aがイメージフレームを表示するように駆動させる。
同様に、第2ディスプレイドライバ(175b−2)は、第2フレームバッファ(175b−1)に保存されたイメージフレームを分析して第2イメージソース信号に変換し、これを第2ディスプレイ部190bに提供して表示させる。
このような二つのフレームバッファは、各ディスプレイ部(190a、190b)に対する画像フレームを並列的に処理する場合に適切である。並列プロセッサが各ディスプレイ部190a、190bに対する映像信号を出力する場合、画像出力効率を高めることができる。
しかし、上記とは異なって、図9に示すように各ディスプレイ部(190a、190b)に対応する第1フレームバッファ(175a−1)と第2フレームバッファ(175b−1)が別途設けられるのではなく、一つの統合フレームバッファを使用することもできる。
図9は、一つの統合フレームバッファを用いて各ディスプレイ部(190a、190b)の動作を制御するマルチディスプレイ装置100の構成を示すブロック図である。
フレームバッファが統合フレームバッファ(175−1)形態に実現される場合、第1、第2ディスプレイ部の最大解像度より大きいサイズに統合フレームバッファ(175−1)のサイズを割り当てて実現することができる。
例えば、第1、第2ディスプレイ部が各々最大1024×800の解像度で表示できる場合、統合フレームバッファ(175−1)は、1024×1600の解像度を表示できるフレームバッファサイズで保存領域を割り当てる。
統合フレームバッファ(175−1)の第1領域には第1ディスプレイ部190aに表示される第1イメージフレームが保存され、第2領域には第2ディスプレイ部190bに表示される第2イメージフレームが保存される。
ディスプレイドライバ(175−2)は、統合フレームバッファ(175−1)に保存された第1イメージフレームと第2イメージフレームのアドレスを用いて第1ディスプレイ部190a又は第2ディスプレイ部190bに第1、第2イメージフレームを提供してそれぞれのディスプレイ部を駆動させる。
〔近接センシング手段〕
前述したように、マルチディスプレイ装置100のセンサ部150は近接センサ155を含むことができる。
以下では、近接センサ155の構成及び動作を説明する。
図10は、本発明の一実施形態にかかるマルチディスプレイ装置の近接タッチを説明するための図である。
ユーザは、タッチスクリーンを直接タッチせず、指やその他のオブジェクトを接近させる動作のみでマルチディスプレイ装置100に制御命令を入力させることができる。
マルチディスプレイ装置は、近接センサ155を用いて近接タッチをセンシングすることができる。
近接タッチは、タッチスクリーンを直接タッチせず空間上の一定の有効認識範囲で動きが認識される場合に一つのタッチジェスチャーとして認識することを意味する。
図10を参照すると、ディスプレイ部290は近接タッチ認識のための赤外線ソース部291及び赤外線センシング部292を含む。
赤外線ソース部291はディスプレイ部290の表面方向に赤外線を走査する。
具体的には、赤外線ソース部291は動画像又は静止画像を表示するディスプレイ部290の下部に配置され、赤外線をディスプレイ部290の表面方向に走査する。
ディスプレイ部290の表面上にユーザオブジェクト50の接近を認識することができる一定の領域が存在する。この領域が近接タッチを認識することのできる有効認識領域5である。
ユーザオブジェクトの意味は、マルチディスプレイ装置100に命令を入力するための手段を意味するもので、例えば、手のような身体の一部とすることができる。
ユーザオブジェクト50が有効認識領域5内に近接すると赤外線センシング部292はユーザオブジェクト50の近接によって反射される赤外線を検知して赤外線スキャンイメージを生成する。
具体的には、赤外線センシング部292はアレイ形態に配置される複数の赤外線センシング素子を用いて、ユーザオブジェクト50の接近によって反射される赤外線に対応する赤外線スキャンイメージを生成する。マルチディスプレイ装置100は生成された赤外線スキャンイメージを用いて近接タッチ入力を検知することができる。
一方、後述する実施形態のように、入力ペン500の近接と入力ペン500以外のユーザオブジェクトの近接を区別する必要が生じることがある。
図11は、入力ペンを用いた近接タッチを検知する方法の一例を説明するための図である。
後述するように、入力ペン500は、内部に磁場コイル(不図示)を含む。
そして、マルチディスプレイ装置100は磁場コイルに従って磁場の変化を検知する磁場検知部295を更に含む。
磁場検知部295は入力ペン500の磁場コイルによって入力ペン500の近接のある地点の磁場が変化するため、対応する地点に入力ペン500の近接入力があることを検知することができる。
このとき、前述した近接センサ155もやはり検知するようになるが、近接センサ155と磁場検知部295が両方ともユーザオブジェクトの近接を検知した場合、近接センサ155による近接検知結果に対しては無視される。従って、磁場検知部295が入力ペン500の近接を検知した場合にはペン入力モードとみなすことができるため、対応するメニューアイテムや画面を表示する。
その一方、磁場検知部295が入力ペン500の近接を検知できなかった状態で近接センサ155が近接入力を検知した場合、これは磁場コイル(不図示)を備えた入力ペン500を除いたユーザオブジェクトがマルチディスプレイ装置に近接した場合とみなすことができるため、ソフトキーボードを第1ディスプレイ部190a及び第2ディスプレイ部190bのうち一つに表示するキーボード入力モードで動作する。
〔マルチディスプレイ装置の外観構成〕
以下では、本発明の一実施形態にかかるマルチディスプレイ装置100の外観を添付された斜視図と共に説明する。
図12は、本発明の一実施形態にかかるマルチディスプレイ装置100の詳細を示す斜視図である。
ここではマルチディスプレイ装置100がヒンジ部185で連結される2つのディスプレイ部190a、190bを備える場合の構成を示した。
図12を参照すると、マルチディスプレイ装置100は第1及び第2ボディ2、4で構成され、第1及び第2ボディ2、4はヒンジ部185によって連結され相対的に移動(回動)可能のように構成される。
第1ボディ2の一面には第1ディスプレイ部190aが備えられ、第1ディスプレイ部190aの一側面には少なくとも一つの物理的ボタンを配置することができる。
第2ボディ4の一面には第2ディスプレイ部190bが備えられ、第2ディスプレイ部190bの一側面には少なくとも一つの物理的ボタンを配置することができる。
物理的ボタンは、プッシュボタン及びタッチボタンのうち少なくとも一つを含む。
一実施例として、スピーカ163及びマイク162を備えた第1ボディ2に配置される第1ディスプレイ部190aはメインスクリーンとして動作し、そうでない第2ボディ4に配置される第2ディスプレイ部190bはサブスクリーンとして動作することができる。
一実施例として第1ボディ2は第1カメラ141を備え、第2ボディ4は第2カメラ142を備える。
図12に示すようにマルチディスプレイ装置100が置かれた状態でそれぞれのディスプレイ部190a、190bはランドスケープモードで画面を表示する。
マルチディスプレイ装置100は、第1ボディ2及び第2ボディ4がヒンジ部185によって連結され相対移動(回動)可能のように構成するのであれば、携帯、ノートパソコン、タブレットPC、PMPなどどのような機器になってもよい。
第1ディスプレイ部190aと第2ディスプレイ部190bが第1ボディ2及び第2ボディ4にそれぞれ備えられるものと説明したが、後述する説明は、二つのパネルのうちいずれか一つのパネルにのみタッチスクリーンディスプレイが提供される機器にも適用可能である。
なお、各ディスプレイ部(190a、190b)側面の物理的ボタンのうち少なくとも一つは省略してもよい。更に、第1ボディ2と第2ボディ4の連結はヒンジ部185によるものを例にとって説明したが、第1ボディ2と第2ボディ4が相対的移動(回動)を通して折りたたまれるように構成されていれば、他の構成要素の連結に代替することも可能である。
一方、ヒンジ部185は図12に示すように、第1ボディ2及び第2ボディ4の連結部の上下側に配置された2つのヒンジで構成することができる。
なお、ヒンジ部185は、第1ボディ2及び第2ボディ4の連結部全体に配置された1つのヒンジで構成することもできる。
マルチディスプレイ装置100は、物理的或いはグラフィック的に分離される第1ディスプレイ部190aと第2ディスプレイ部190bで構成されたディスプレイ装置を備え、2つのディスプレイ部(190a、190b)を活用して下記図13〜図17のような多様なスクリーンモード(Screen Mode)をサポートすることができる。
図13〜図17は、本発明の一実施形態にかかるマルチディスプレイ装置100の第1ボディ2と第2ボディ4との間の相対角度によるスクリーンモードを示す図である。
相対角度(θ)は、第1ボディ2に対して所定方向(一例として反時計方向)に回転された第2ボディ4の回転角度である。
具体的には、相対角度(θ)は、ヒンジ部185自体に内蔵されたヒンジセンサを用いて検出することができる。
ヒンジセンサは、ホールセンサ、圧力センサ、誘導検出センサ、電気コンタクトセンサ、及び光学センサのうちいずれか一つで行われ、ヒンジの動き及び相対的な位置を検出して相対角度(θ)を認識することができる。
なお、相対角度(θ)はヒンジセンサの以外にも、地磁気センサ、加速度センサで第1及び第2ボディ2、4のそれぞれの位置を検出して相対角度(θ)を認識することができる。
図13は、本発明の一実施形態にかかる折りたたまれたマルチディスプレイ装置100を示す斜視図である。
図13では、第1ボディ2と第2ボディ4上の第1及び第2ディスプレイ部190a、190bがそれぞれ外側に向きながら第1ボディ2と第2ボディ4とが相接している状態、即ち外側に完全に折りたたまれた状態を示した。
本明細書ではこのような状態をシングルモード(Single Mode)と称する。
この時の相対角度(θ)は0度である。
一例として、第1及び第2ボディ2、4間の相対角度が0度〜60度の間のとき、マルチディスプレイ装置はシングルモードと認知する。
シングルモードは、マルチディスプレイ装置100が使われないロック状態のとき及び通話(Call)アプリケーションで有用に使用できる。
シングルモードでは前面の第1ディスプレイ部190aが少なくとも一つのアプリケーションによる作業画面を表示し、後面の第2ディスプレイ部190bはターンオフされてもよい。一部アプリケーションはオプションメニューを使用して後面の第2ディスプレイ部190bをターンオンすることができる。
図14は、第1ボディ2に対する第2ボディ4の相対角度(θ)が180度を超過する状態、即ち、2つのディスプレイ部190a、190bが内側に少し折りたたまれた状態を示すものである。
本明細書では、このような状態をツールキットモード(Tool Kit Mode)と称する。
一例として、第1及び第2ボディ2、4間の相対角度が185度〜265度の間である場合ツールキットモードとして認知する。
ツールキットモードは、両ディスプレイ部(190a、190b)が内側を向くように少し折りたたまれた状態でマルチディスプレイ装置100がノートパソコンと類似した形態で使われるときに有用である。
一例として、いずれか一つのディスプレイ部190aに作業画面を表示し、他の一つのディスプレイ部190bにはキーボードなどのツール(Tool)を表示するなど多様な作業環境を提供することができる。
図15は、第1ボディ2と第2ボディ4とが並んで平行になった状態で相対角度(θ)が180度或いは所定範囲内で180度に近接した状態、即ち広げた状態(unfolded)を示す。
本明細書では、この状態をエクスペンディングモード(Expanding Mode)と称する。
一例として、第1及び第2ボディ2、4間の相対角度が175度〜185度の範囲にあるとき、マルチディスプレイ装置100は第1及び第2ボディ2、4が拡げられているものとみなすことができる。
エクスペンディングモードは、2つのアプリケーションに対する2つの作業画面を2つのディスプレイ部(190a、190b)にそれぞれ表示するか、一つのアプリケーションに対する2つの作業画面を2つのディスプレイ部(190a、190b)のそれぞれに表示するか、或いは一つのアプリケーションに対する一つの作業画面を2つのディスプレイ部(190a、190b)に渡って広く表示するなどの多様なビューモード(View Mode)を提供することができる。
いずれか一つのディスプレイ部内で実行されるアプリケーションが存在しない場合、該ディスプレイ部はホーム画面を表示することができる。エクスペンディングモードはE−book及び動画プレーヤーアプリケーションで有用に使用できる。
図16は、第1ボディ2に対する第2ボディ4の相対角度(θ)が180度未満の状態、即ち、両ディスプレイ部190a、190bが互いにほぼ反対方向を向くように外側にほぼ折りたたまれた状態を示すものである。
本明細書では、このような状態をスタンディングモード(Standing Mode)と称する。
一例として、第1及び第2ボディ2、4間の相対角度が30度〜90度の間である場合、マルチディスプレイ装置100はスタンディングモードとして認知する。
スタンディングモードは、両ディスプレイ部(190a、190b)が外側を向くように折りたたまれた構造であって、マルチディスプレイ装置100を地面に三角形形態に立てておくことができ、充電時、マルチディスプレイ装置100をデジタル時計或いはフレームとして使うとき、個人放送、映画、動画などを長時間視聴するときに有用に使用できる。
他の実施例として、スタンディングモードは二人以上のユーザによる協力或いは相互作用を必要とするアプリケーション、一例として画像会議、共同作業ゲーム(Collaborative Game)などに適用することができる。一部アプリケーションはスタンディングモードで前面の第1ディスプレイ部190aにのみ作業画面を表示し、後面の第2ディスプレイ部190bをターンオフすることができる。一部アプリケーションはオプションメニューを使用して後面の第2ディスプレイ部190bをターンオンすることができる。
図17は、図16で説明したスタンディングモードの別の実施例であって、ヒンジの一部分が地面に着くようにマルチディスプレイ装置100を立てておいた状態を示すものである。
本明細書ではこのような状態を縦向きモードと称する。
縦向きモードは第1及び第2ボディ2、4間の相対角度が30度〜90度の間であり、加速度センサによってマルチディスプレイ装置100が縦に立てられていると判断される場合、縦向きモードとして認知する。
具体的には、加速度センサはマルチディスプレイ装置の回転を検知する。
加速度センサはマルチディスプレイ装置100の第1及び第2ディスプレイ部190a、190bが左右側に配置される縦向きモードと第1及び第2ディスプレイ部190a、190bが上下側に配置される横向きモード間の転換を検知する。
縦向きモードは二人以上のユーザに対してそれぞれ異なる画像を提供する必要があるアプリケーション、一例として、画像会議、マルチ動画プレーヤーなどに適用することができる。
図18及び図19は、本発明の一実施形態にかかるマルチディスプレイ装置100の2つのカメラ配置を説明するための図である。
図18及び図19は、マルチディスプレイ装置100を正面から見たものである。カメラの配置を説明するための図であるため、カメラ以外の部分は省略した。
まず、図18を参照すると、マルチディスプレイ装置100は第1ボディ2及び第2ボディ4で構成され、第1ボディ2は第1ディスプレイ部190aを含み、第2ボディ4は第2ディスプレイ部190bを含む。
第1ボディ2及び第2ボディ4はヒンジ部185によって連結され相対的に移動(回動)可能のように構成される。第1カメラ141は第1ボディ2の端領域のうちヒンジ部185の向かい側の端領域の中央部に配置される。第2カメラ142は第2ボディ4の端領域のうちヒンジ部185の向かい側の端領域の中央部に配置される。
次に、図19を参照してカメラの配置を説明することにする。
説明の便宜のため、ユーザがマルチディスプレイ装置100を見る方向を基準に説明する。
第1カメラ141’は第1ボディ2の左側の端領域の中央面に配置され、第2カメラ142’は第2ボディ4の左側の端領域の中央面に配置される。
他の実施例として、第1及び第2カメラはそれぞれ第1及び第2ボディ2、4の右側の端領域の中央面に配置することもできる。また別の実施例として、第1及び第2カメラはそれぞれ第1及び第2ボディ2、4の角領域に配置することもできる。
マルチディスプレイ装置100は、前述したように横向き方向に使用可能であるだけでなく縦向き方向にも使用可能である。
上述したマルチディスプレイ装置100を通してユーザは多様な入力を行い、マルチディスプレイ装置100は入力に対応する出力を行う。
〔マルチディスプレイ装置の基本的なツールセット実行〕
図20及び図21は、本発明の一実施形態にかかるツールセットの活性化を説明する図である。
図20を参考すると、図20はマルチディスプレイ装置100が縦に配置された場合のツールセットの活性化動作を示す。
図20の(a)はディスプレイ部の初期化状態を示し、図20の(b)はツールセットが活性化された状態を表示する。
具体的には、ヒンジ領域2001からツールセットを表示しようとするディスプレイ部方向にドラッグジェスチャー2002が検知されると、図20の(b)に示すようにツールセットが表示される。
マルチディスプレイ装置100はドラッグジェスチャー2002に応答して、半円模様のツールセットUI(User Interface)2005をヒンジ領域2001からドラッグされたディスプレイ部方向に表示する。
このとき、ドラッグされたディスプレイ部2003の画面はディムド(Dimmed)2004処理(淡色処理)することができる。
上述した図20は、マルチディスプレイ装置100が縦に配置された場合のツールセット活性化の動作を示したもので、以下では図21を参考してマルチディスプレイ装置200が横に配置された場合のツールセット活性化の動作を説明する。
図21の(a)はディスプレイ部の初期化状態を示し、図21の(b)はツールセットが活性化された状態を表示する。
具体的に、ベゼルの短辺領域2101からツールセットを表示しようとするディスプレイ部方向にドラッグジェスチャー2102が検知されると、図21の(b)に示すようにツールセットが表示される。
マルチディスプレイ装置100はドラッグジェスチャー2102に応答して、半円模様のツールセットUI(2105)をベゼルの短辺領域2101からドラッグされたディスプレイ部方向に表示する。このとき、ドラッグされたディスプレイ部2103の画面はディムド(Dimmed)2104処理(淡色処理)することができる。
一方、図21ではベゼルの短辺領域2101でのツールセットの活性化動作を説明したが、マルチディスプレイ装置100が横に配置された場合でも図20で説明したようにヒンジ領域でもツールセット活性化機能を行うことができる。
なお、図20のように、マルチディスプレイ装置100が縦に配置された場合でも図21で説明したように、ベゼルの短辺領域でもツールセット活性化機能を行うことができる。
図22及び図23は、本発明の一実施形態にかかる下位レベルツールセットの活性化を説明するための図である。
図22及び図23のそれぞれは、マルチディスプレイ装置100が縦及び横に配置された場合の下位レベルツールセットを活性化させる動作について説明する。
図22の(a)及び図23の(a)を参照すると、ユーザのツールセット活性化動作によって一番上位ツールセットである第1ツールセット2201、2301がディスプレイ部上に表示されている。
第1ツールセット2201、2301からいずれか一つのツールが選択され、選択された一つのツール上でタップジェスチャー2202、2302が検知された場合、図22の(b)及び図23の(b)に進む。
図22の(b)及び図23(b)を参照すると、マルチディスプレイ装置100はタップジェスチャーの検知に応答して第1ツールセット2201、2301で選択されたツールを第1ツールセットの半円から分離され少し拡張させて表示し(符号2203、2303)、選択されたツールに対応する下位レベルツールセットである第2ツールセット2204、2304を活性化させて表示する。
また、ここで、第2ツールセット2204、2304からいずれか一つのツールが選択され、選択された一つのツール上でタップジェスチャー2205、2305が検知された場合、図22の(c)及び図23の(c)に進む。
図22の(c)及び図23(c)を参照すると、マルチディスプレイ装置100はタップジェスチャーの検知に応答して選択されたツールに対応する下位レベルツールセットである第3ツールセット2206、2306を活性化させて表示する。
図24及び図25は、本発明の一実施形態にかかる下位レベルツールセットの終了を説明するための図である。
図24及び図25のそれぞれは、マルチディスプレイ装置100が縦及び横に配置された場合の下位レベルツールセットを消えるようにする動作を説明する。
図24の(a)及び図25の(a)を参照すると、下位レベルツールセットの拡張によって第1ツールセット、第2ツールセット、及び第3ツールセットがディスプレイ部上に表示されている。
第1ツールセットの活性化されたツール領域2401、2501を除いた第1ツールセットの余白2402、2502上にダブルタップジェスチャー2403、2503が検知された場合、図24の(b)及び図25の(b)に進む。
図24の(b)及び図25の(b)を参照すると、マルチディスプレイ装置100はダブルタップジェスチャーの検知に応答して下位レベルツールセットである第2ツールセット及び第3ツールセットと第1ツールセットで活性化されたツール領域がディスプレイ部上で消える。
これにより、ディスプレイ部上に第1ツールセット2404、2505のみ表示される。
図26及び図27は、本発明の一実施形態にかかるツールセットの終了を説明するための図である。
図26及び図27のそれぞれは、マルチディスプレイ装置100が縦及び横に配置された場合のツールセットを終了させる動作を説明する。
図26の(a)及び図27の(a)を参照すると、第1ツールセット2601、2701がディスプレイ部上に表示されている場合、第1ツールセット2601、2701でヒンジ領域2602、2702方向にドラッグジェスチャー2603、2703が検知されると、図26の(b)及び図27の(b)に進む。
図26の(b)及び図27(b)を参照すると、マルチディスプレイ装置100はドラッグジェスチャーの検知に応答して第1ツールセットをディスプレイ上で消えるようにし、ディムドされた画面2604、2704を解除して表示する(符号2605、2705)。
以上、図20〜図27では、マルチディスプレイ装置100がシングルモードである場合を仮定して、ツールセットの活性化などの動作を説明した。
しかし、ツールセット活性化は、上述した多様なモードで行うことができることは言うまでもない。
図28〜図30は、マルチディスプレイ装置100のスクリーンモード別のツールセット実行を説明するための図である。
図28は、ツールキットモード2800、図29はエクスペンディングモード2900、図30はスタンディングモード3000でツールセットの実行動作を説明する。
図20〜図27で説明したシングルモードでのツールセットの動作は、図28〜図30でも共通的に適用されるため、重複説明は省略する。
〔マルチディスプレイ装置のツールセットUI〕
図31は、本発明の多様な実施形態に係る第1ツールセットを説明する図である。
第1ツールセットは、ユーザのツールセット活性化操作によって表示される基本ツールセットを意味する。
図31を参照すると、本発明の多様な実施形態にかかる第1ツールセットUIを示す。
第1実施形態として、半円UI(3100−1)の第1ツールセットは、ディスプレイ部上で表示される表示領域3110とディスプレイ部上で表示されない可変領域3120に分けられている。
具体的には、表示領域3110はツールセットの活性化時に表示される半円部分で、予め設定されたツールが配置される。予め設定されたツールはユーザが直接設定することができ、マルチディスプレイ装置の基本的に提供されるツールであってもよい。例えば、カメラ、音楽鑑賞、動画撮影、ウェブブラウザ、ギャラリー、デジタルブック、メッセージ、メモ、連絡先、カレンダー及び機器設定などであってもよい。
可変領域3120には、予め設定されたツール以外のツール、即ちヒドゥン(隠れた)ツールが配置される。
このような可変領域3120は、今後ツールセントアップデートを通してツールの拡張を可能とする。
第1ツールセット3100は、上下ローリング3130されるダイアルUI(User Interface)で構成され、ユーザの操作によって可変領域3120のヒドゥンツールを表示領域3110に表示することができる。
一方、第1実施形態で説明したように、下記のそれぞれの実施形態によるツールセットにも表示領域と可変領域が存在することができ、ユーザの操作によって可変領域のヒドゥンツールを表示領域に表示される動作を適用することができる。
一方、本発明の多様な実施形態にかかる第1ツールセットは、カードポケットUI(3100−2)、水玉UI(3100−3)及び四角棒グラフUI(3100−4)のうちいずれか一つで表示することもできる。
図32は、本発明の多様な実施形態にかかる第1ツールセットの下位レベルツールセットである第2ツールセットを説明するための図である。
図32を参照すると、第1実施形態である半円UI(3200−1)は第1ツールセット3210で一つのツールが選択されると、選択されたツールは活性化3220され、選択されたツールに対応する下位レベルツールセットである第2ツールセットが円形バー(Bar)形態に第1ツールセットを囲みながら下りてくるように表示するか(符号3240)、又は第2ツールセットが、波がゆれるアニメーション効果と共に第1ツールセットを囲みながら下りてくるように表示することもできる(符号3250)。
上記のように第2ツールセットが表示されるとき、アニメーション効果(例えば、波効果又は残像効果)を付加することでユーザの感性に合うUIを提供することができる。
第2ツールセットは、第2ツールセットに含まれるツールの個数に応じてバーの長さを可変的に調整することができ、第2ツールセットは第1ツールセットと区別されるように多様なレイアウトで表示することができる。
第2実施形態にかかるカードポケットUI(3200−2)の第2ツールセットは、第1ツールセットでいずれか一つのツールが選択されると、カードポケットからカードを引き抜いて見ることのように第2ツールセットが表示される。
第3実施形態にかかわる水玉UI(3200−3)の第2ツールセットは、第1ツールセットでいずれか一つのツールが選択されると、図32に示すように、選択されたツールに選択されなかったツールが蓄えられたようになる。そして、選択されたツールから第2ツールセットに該当するツールが第1ツールセットが蓄えられたこととは逆に表れ第2ツールセットを表示する。
第4実施形態にかかる四角棒グラフUI(3200−4)の第2ツールセットは、第1ツールセットでいずれか一つのツールが選択されると、図32に示すように、選択されたツールが第1ツールセットの表示されたディスプレイ部と反対方向のディスプレイ部側に移動する。そして、第2ツールセットは選択されたツールの表示されたディスプレイ部側に表示される。
図33は、本発明の多様な実施形態にかかる第2ツールセットの下位レベルツールセットである第3ツールセット及びツール実行を説明するための図である。
図33を参照すると、第1実施形態である半円UI(3300−1)は第2ツールセット3330で一つのツールが選択されると、選択されたツールに対応する下位レベルツールセットである第3ツールセットが円形バー(Bar)3340形態に第2ツールセットを囲みながら下りてくる(符号3360)。第3ツールセットは第2ツールセットに含まれるツールの個数に応じてバーの長さを可変的に調整することができる。
一方、第3ツールセット以下の下位レベルツールは円形ボタン3350形態に表示することができる。
只、第1実施形態では下位レベルツールを円形ボタン3350形態に表示するものと説明したが、第2実施形態(3300−2)でのように別途の領域に下位レベルツールを提供して、特定機能を行うこともできる。
以下では、第1実施形態である半円UIのツールセットを基準にツールセットの動作について説明することにする。このような動作は第2〜第4実施形態にも適用することができる。
図34は、本発明の一実施形態にかかるツールセットUIの流れを説明するための図である。
図34の(a)を参照すると、マルチディスプレイ装置100は予め決められたタッチジェスチャー、一例としてドラッグジェスチャー3401を検知すると図34(b)に進む。
図34の(b)を参照すると、マルチディスプレイ装置100はドラッグジェスチャー3401に応答して第1ツールセット3402を表示する。
第1ツールセット3402からいずれか一つのツールを選択して、選択されたツール上でタップジェスチャーが検知されるとマルチディスプレイ装置100は図34の(c)に進む。
図34の(c)を参照すると、マルチディスプレイ装置100はタップジェスチャーに対応して第1ツールセットで選択されたツールを活性化3403させ、第2ツールセット3403が第1ツールセット3402を囲みながら下りてくるように表示する。
この場合、第2ツールセット3404のいずれか一つのツール上でタップジェスチャー3405が検知された場合、図34の(d)又は図34の(e)に進む。
第2ツールセット3404で選択されたツールが下位レベルツールセットを持っている場合、図34の(d)に進み、下位レベルツールセットを持っていない場合図34の(e)に進む。
図34の(d)を参照すると、マルチディスプレイ装置100はタップジェスチャー3405の検知に対応して選択されたツールの下位レベルツールセットである第3ツールセット3406を表示する。
なお、図35の(e)を参考すると、選択されたツールが下位レベルツールセットを持たずon/off又は+/−などの動作を行うツールである場合、第2ツールセットの円形バーの外郭に円形ボタン3409を表示する。
図34(d)及び図34(e)において、第1ツールセットでツール活性化領域を除いた余白3407、3410上にダブルタップジェスチャー3408、3411が検知された場合、第3ツールセット及び第2ツールセットが順次にヒンジ側にローテーションしながら消え、第1ツールセットが表示される図34の(b)に進む。
図35は、本発明の一実施形態にかかる単一ディスプレイベースのアプリケーション駆動時におけるツールセット実行を説明するための図である。
図35の(a)を参照すると、単一ディスプレイベースのアプリケーションが第1及び第2ディスプレイ3501、3502の各々で駆動されている。
この時、ヒンジ領域で第2ディスプレイ部3502方向にドラッグジェスチャー3511が検知されると、図35の(b)に進む。
図35の(b)を参照すると、マルチディスプレイ装置100はドラッグジェスチャー3511の方向と同一方向にツールセットを表示し(符号3520)、第2ディスプレイ部3502をディムド3503処理する。
ここで、ツールセット3520の「設定」ツールを選択するユーザのジェスチャーが検知されると(符号3512)、図35の(c)に進む。
図35の(c)を参照すると、「設定」ツールを選択するユーザのジェスチャー3512に対応して下位レベルツールセットが表示され、下位レベルツールセットで「GPS」ツール選択するユーザのジェスチャーが検知されると(符号3513)、図35(d)に進む。
図35の(d)を参照すると「GPS」ツールを選択するユーザのジェスチャーに対応してマルチディスプレイ装置100は第1ディスプレイ部190aにAlertメッセージを通してGPS Off状態を表示する(符号3504)。
一方、ユーザがツールセットからいずれか一つのツールを選択するとき、選択されるツールを常にツールセットUIの上段に配置して同一な視線の動線を維持することで、ユーザに一貫した視線追跡環境を提供することができる。
一例として、図35の(b)及び図35(c)を参考すると、第2ツールセット3520で「設定」ツールを選択するユーザのジェスチャーが検知されると、選択された「設定」ツールが上にローリングされながら第2ツールセット上段に配置され、「設定」ツールに対応する下位レベルツールセットである第3ツールセットがワイプダウン(Wipe Down)されて表示される。
図36は、本発明の一実施形態にかかるデュアルディスプレイベースのアプリケーション駆動時にツールセット実行を説明するための図である。
図35と比較して、デュアルディスプレイベースのアプリケーションは第1ディスプレイ部及び第2ディスプレイ部3601、3602に一つのアプリケーションが駆動されるという相違点があるが、デュアルディスプレイベースのアプリケーションでツールセット実行は図35の単一ディスプレイベースのアプリケーションのツールセット実行と同一に動作することができる。ツールセットが活性化される第2ディスプレイ部3502をディムド処理させてユーザがツールセットを明確に認知するように処理する。
〔マルチディスプレイ装置のツールセットドック〕
図37は、本発明の一実施形態にかかるツールセットドック(Dock)を説明するための図である。
図37の(a)を参照すると、単一ディスプレイベースのアプリケーションが第1及び第2ディスプレイ部3701、3702の各々で駆動されている。
この時、ヒンジ領域で第2ディスプレイ部3702方向にドラッグジェスチャー3711が検知されると、図37の(b)に進む。
図37の(b)を参照すると、マルチディスプレイ装置100はドラッグジェスチャー3711の方向と同一方向にツールセットを表示し(符号3720)、第2ディスプレイ部3702をディムド処理3703する。ここで、ツールセット3520の「設定」ツール(3712)を選択するユーザのジェスチャーが検知されると、図37の(c)に進む。
図37の(c)を参照すると、「設定」ツールを選択したユーザのジェスチャーに対応して下位レベルツールセットが表示され、下位レベルツールセットで「ディスプレイ拡張」ツール3713上にロングタップジェスチャーが検知されると、図37の(d)に進む。
図37の(d)を参照すると、ロングタップジェスチャーに従って「ディスプレイ拡張」ツール3713が移動型に活性化され(符号3714)、第1ディスプレイ部3701上段部3731にツールセットドック(Dock)3730が形成される。
ツールセットドック3730とは、ユーザがよく利用するツールを早く実行させるために選択されたツールを保存し表示することのできるUIのことを意味する。
ユーザはツールセットドック3730を利用してツールセット実行なしでも、使用しようとするツールを早く実行させることができる。
ツールセットドックはアプリケーション実行中にユーザの特定ジェスチャーによって活性化させることができる。一例として、アプリケーション上段部上にタップジェスチャーが検知されると、マルチディスプレイ装置100はアプリケーション上部にツールセットドックを一定時間の間に活性化させる。
一方、ツールセットドックはユーザの設定に応じて保存できるツールの個数を可変的に調整することができる。
各々のアプリケーション毎に個別的なツールセットを有することができ、ユーザの嗜好に従ってツールを提供することができるため、アプリケーション利用に便宜性が増大する。
上述した図31〜図37では、ユーザ操作に対応するツールセットの基本的な動作を説明した。
ここで、ユーザ操作に該当するジェスチャー、ツールセットの位置、ツールセットのUIなどは本発明の一実施形態に過ぎず、本発明がこのような実施形態に限定されないことに留意すべきである。
〔アプリケーション毎に提供されるツールセット〕
上述したように、ツールセットはマルチディスプレイ装置100の動作状態に対応するツールからなっている。即ち、マルチディスプレイ装置100がホーム画面を表示している状態であるか、アプリケーションを実行させている状態であるかに応じてツールセットが異なってくる。
特に、マルチディスプレイ装置100がアプリケーションを実行している状態であれば、そのアプリケーションの種類に応じて相違したツールセットを表示することができる。
図38〜図47は、マルチディスプレイ装置の動作状態に応じて相違して構成されるツールセットの例を説明するための図である。
図38は、ウェブブラウザを実行させている状態で表示されるツールセットの構成例を説明する。
図38を参考すると、基本的にインターネットブラウザツール3811が活性化されており、下位レベルツールセット縮小ツール3812が第1ツールセットUIに表示されている。
下位レベルツールセット縮小ツールとは、現在表示されている下位レベルツールセットを終了させる動作を行うツールである。
一例として、図38のように第1及び第2下位レベルツールが表示されている状態で下位レベルツールセット縮小ツール3812を選択すると、第2下位レベルツールを終了させることができる。
一実施例として、インターネットブラウザツール3811の下位レベルツールセットは設定ツール3821、多重ウィンドウ分割ツール3822、検索ツール3823、添付ツール3824、印刷ツール3825、及び情報表示ツール3826を含むことができる。
ここで、設定ツール3821が選択されると、これに対応した下位レベルツールセットはディスプレイ拡張ツール3831、アップロード設定ツール3822、明るさ調整ツール3833、GPS設定ツール3834、明暗調整ツール3835、暗号設定ツール3836、及び保安設定ツール3837を含むことができる。
図39は、一実施例として音楽プレーヤーツール3911に対応するツールセットを説明する。
図39を参照すると、基本的に音楽プレーヤーツール3911が活性化されており、下位レベルツールセット縮小ツール3912が第1ツールセットUIに表示されている。
一実施例として、音楽プレーヤーツール3911の下位レベルツールセットは、設定ツール3921、プレイリストツール3922、音楽情報閲覧ツール3923、検索ツール3924、音量調整ツール3925、及びゴミ箱ツール3926を含むことができる。
ここで、設定ツール3821が選択されると、これに対応した下位レベルツールセットはイコライザー設定ツール3931、音響効果設定ツール3932、プレイリスト設定ツール3933、及びタイマー設定ツール3934を含むことができる。
図40は、一実施例として動画プレーヤーツール4001に対応するツールセットを説明する。
図40を参照すると、基本的に動画プレーヤーツール4001が活性化されており、下位レベルツールセット縮小ツール4002が第1ツールセットUIに表示されている。
一実施例として、動画プレーヤーツール4001の下位レベルツールセットはプレイリストツール4011、設定ツール4012、画面調整ツール4013、ごみ箱ツール4014、音量調整ツール4015、及び検索ツール4016を含むことができる。
図41は、一実施例としてカメラツール4101に対応するツールセットを説明する。
図41を参照すると、基本的にカメラツール4101が活性化されており、下位レベルツールセット縮小ツール4102が第1ツールセットUIに表示されている。
一実施例として、カメラツール4101の下位レベルツールセットは設定ツール4111、フラッシュ設定ツール4112、前後カメラ転換ツール4113、動画撮影転換ツール4114、焦点モード設定ツール4115、及びタイマー設定ツール4116を含むことができる。
ここで、設定ツール4111が選択されると、これに対応した下位レベルツールセットは解像度設定ツール4121、フィルム設定ツール4122、ホワイトバランス設定ツール4123、及びISO感度設定ツール4124を含むことができる。
図42は、一実施例としてメッセージツール4201に対応するツールセットを説明する。
図42を参照すると、基本的にメッセージツール4201が活性化されており、下位レベルツールセット縮小ツール4202が第1ツールセットUIに表示されている。
一実施例として、メッセージツール4201の下位レベルツールセットは、新規メッセージ作成ツール4211、受信メッセージ閲覧ツール4212、ごみ箱ツール4213、検索ツール4214、及び設定ツール4215をふくむことができる。
図43は、一実施例としてメモツール4301に対応するツールセットを説明する。
図43を参照すると、基本的にメモツール4301が活性化されており、下位レベルツールセット縮小ツール4302が第1ツールセットUIに表示されている。
一実施例として、メモツール4301の下位レベルツールセットは、新規メモ作成ツール4311、メモリストツール4312、印刷ツール4313、ごみ箱ツール4314、検索ツール4315、及び設定ツール4316を含むことができる。
ここで、新規メモ作成ツール4311が選択されると、これに対応した下位レベルツールセットは、添付ツール4321、SNSアップロードツール4322、ペン設定ツール4323、筆設定ツール4324、及び消しゴムツール4325を含むことができる。
図44は、一実施例としてギャラリーツール4401に対応するツールセットを説明する。
図44を参照すると、基本的にギャラリーツール4401が活性化されており、下位レベルツールセット縮小ツール4402が第1ツールセットUIに表示されている。
一実施例として、ギャラリーツール4401の下位レベルツールセットは、ギャラリーリストツール4411、SNSアップロードツール4412、撮影モード転換ツール4413、印刷ツール4414、ごみ箱ツール4415、検索ツール4416、及び設定ツール4417を含むことができる。
図45は、一実施例としてデジタルブックツール4501に対応するツールセットを説明する。
図45を参照すると、基本的にデジタルブックツール4501が活性化されており、下位レベルツールセット縮小ツール4502が第1ツールセットUIに表示されている。
一実施例として、デジタルブックツール4501の下位レベルツールセットは、リストツール4511、検索ツール4512、SNSアップロードツール4513、デジタルブックダウンロードツール4514、印刷ツール4515、及び設定ツール4516を含むことができる。
図46は、一実施例として連絡先ツール4601に対応するツールセットを説明する。
図46を参照すると、基本的に連絡先ツール4601が活性化されており、下位レベルツールセット縮小ツール4602が第1ツールセットUIに表示されている。
一実施例として、連絡先ツール4601の下位レベルツールセットは、新規連絡先追加ツール4611、検索ツール4612、最近通話連絡先ツール4613、連絡先アップロードツール4614、連絡先ダウンロードツール4615、ごみ箱ツール4616、お気に入りツール4617、及び設定ツール4618を含むことができる。
図47は、一実施例としてカレンダーツール4701に対応するツールセットを説明する。
図47を参照すると、基本的にカレンダーツール4701が活性化されており、下位レベルツールセット縮小ツール4702が第1ツールセットUIに表示されている。
一実施例として、カレンダーツール4701の下位レベルツールセットは、月間日程ツール4711、週間日程ツール4712、日間日程ツール4713、日程目録ツール4714、日程追加ツール4715、D−dayメニューツール4716、ごみ箱ツール4717、及び設定ツール4718を含むことができる。
〔スタイラスペンを利用したツールセット実行〕
上述した実施形態ではマルチディスプレイ装置の動作状態によって異なるツールセットに対する例を説明したが、ツールセットはマルチディスプレイ装置をタッチするタッチ手段の種類によっても異なることができる。
例えば、手でタッチする場合と、ペンでタッチする場合に表示されるツールセットは互いに異なる。
以下では、スタイラスペン4800を利用する場合に表示されるツールセットの構成に関連した多様な実施形態及びスタイラスペン4800の構成について具体的に説明する。
スタイラスペン4800は、マルチディスプレイ装置100の外部入力手段の一つであって、ユーザはタッチジェスチャーだけでなくスタイラスペン4800を利用してマルチディスプレイ装置100を操作することができる。
本発明の一実施形態にかかるスタイラスペン4800は、検知部、制御部、通信部、ユーザインターフェース部を含む。
検知部は、予め設定された範囲内に存在する少なくとも一つの物理量を検知する構成である。例えば、動画像を撮像することのできるカメラ、動きや姿勢を検出するジャイロセンサ(Gyroscope)、移動する物体にくわえられる力による加速度を検出する加速度センサと、磁場の流れを検出して方位を探知することのできる地磁気センサ、物体の赤外光を検出する赤外線センサ(IR)、くわえられる圧力の強さを検出する圧力センサのうち少なくとも一つを含むことができる。
ユーザインターフェース部は、スタイラスペン4800の取っ手領域に、プッシュ型、タッチ型又はダイアル型に形成することができる。
制御部は、入力ペンの全般的な動作を制御し、特に、検知部の検知結果及びユーザインターフェース部のユーザ入力を受信し、検知結果及びユーザ入力に対する情報をマルチディスプレイ装置100に伝送するように通信部を制御する。
制御部は、MPU(Micro processor Unit)又はCPUとこれを駆動するOSを含む。
通信部は、マルチディスプレイ装置100と通信を行う構成である。
具体的には、検知部を通して取得した検知結果及びユーザインターフェース部のユーザ入力に対する情報をマルチディスプレイ装置100に伝送する。なお、必要に応じてマルチディスプレイ装置100から制御信号を受信することができる。
通信部は、多様な近距離無線通信手段で実現されることができる。例えば、ブルートゥース(登録商標)、赤外線通信、NFC(Near Field Communication)、Wi−Fi、ジグビー(Zigbee(登録商標))などで実現することができる。
上述したように、スタイラスペン4800は、検知部を通して多様な情報を検知し、ユーザインターフェース部を通してユーザ入力を受信することができる。
検知結果及びユーザ入力情報は通信部を通してマルチディスプレイ装置100に伝送するようになる。
マルチディスプレイ装置100で受信された情報はイベントになり、マルチディスプレイ装置100を操作することができる。
図48は、本発明の一実施形態にかかるスタイラスペン4800の構成の一例を示す図である。
図48を参照すると、本発明の一実施形態にかかるスタイラスペン4800は、ユーザインターフェースとして取っ手部分に下段ボタン4801、上段ボタン4802、及びダイアル4803を含む。
具体的には、下段ボタン4801はマウスの左側ボタンのような選択、実行などの機能を行うことができ、上段ボタン4802はマウスの右側ボタンのようなメニュー、設定などの機能を行うことができる。
そして、ダイアル4803はマウスホイールのようにスクロールアップ/ダウンなどの機能を行うことができる。
以下では、図48のスタイラスペン4800を利用してマルチディスプレイ装置100のツールセット実行を説明する。
図49は、本発明の一実施形態にかかるスタイラスペン4800を利用したツールセットの活性化及び下位レベルツールセット拡張を説明するための図である。
図49の(a)を参照すると、スタイラスペン4800の上/下段ボタンのうちいずれか一つ(符号4901)をダブルクリック4902すると、図49の(b)進む。
図49の(b)を参照すると、マルチディスプレイ装置100はスタイラスペン4800の制御信号に応答して駆動しているアプリケーションに対応するツールセット4910を活性化させて表示する。
図49の(c)を参照すると、ツールセットが活性化された後にスタイラスペン4800のダイアル4905を回転させる(符号4904)ユーザ操作が入力されると、図49の(d)に進む。
図49の(d)を参照すると、マルチディスプレイ装置100はスタイラスペン4800のダイアル4905の回転(符号4904)に応答して選択表示を回転させて(符号4911)ツール選択4912を表示する。
図49の(e)を参照すると、ツールセットで選択されたツールが表示されている状態でスタイラスペン4800の下段ボタン4906をクリック4907すると、図49の(f)に進む。
図49の(f)を参照すると、マルチディスプレイ装置100はスタイラスペン4800のクリック4907に応答して選択されたツールの下位レベルツールセット4912を活性化させて表示する。
図50は、本発明の一実施形態にかかるスタイラスペン4800を利用したツールセットの終了を説明するための図である。
図50の(a)を参照すると、下位レベルツールセット5010が表示されているマルチディスプレイ装置100で、スタイラスペン4800の上/下段ボタンのうちいずれか一つ(符号5001)をダブルクリック5002すると、図50の(b)に進む。
図50の(b)を参照すると、マルチディスプレイ装置100はスタイラスペン4800の制御信号に応答してツールセットを終了させる。
図51及び図52は、本発明の一実施形態にかかる近接センサ155を利用したツールセット実行を説明するための図である。
近接センサ155及び近接タッチに関する説明は、図7及び図17において詳細に説明したため重複説明は省略する。
図51の(a)を参照すると、スタイラスペン4800がマルチディスプレイ装置100のツールを選択するためにツール5102近接接近5101すると、ツール5102に対応する下位レベルツールセットがOpacity(不透明) UIで少し露出する(符号5103)。
ここで、スタイラスペン4800でツール5102をタップする(符号5104)と、図51の(b)に進む。
図51の(b)を参照すると、スタイラスペン4800のタップによって選択されたツール5102に対応する下位レベルツールセットが表示される(符号5105)。
以上の実施形態ではスタイラスペン4800の接近を仮定したが、ユーザの手又は他のユーザオブジェクトの接近にも適用することができる。
図52は、ユーザの手の接近によってツールセット実行を説明するための図である。
図52の(a)を参照すると、ユーザの左手5201がマルチディスプレイ装置100に向かって接近5202する。
左手5201の一本指でマルチディスプレイ装置100のディスプレイ上をタッチする場合、マルチディスプレイ装置10は手の接近方向を考慮してタッチポイントを中心にツールセットを活性化させる(符号5211)。その後、ユーザはスタイラスペン5220又はユーザの右手を用いてツールセットのツールを選択することができる。
図52の(b)は、ユーザの右手(5201−1)がマルチディスプレイ装置100に向かって接近する実施形態を説明する。
この場合も、同様にユーザの手の接近方向を考慮してツールセットを活性化させる(符号5211−1)。
好ましくは、ユーザの視線を妨げないようにツールセットは手の接近方向と反対に活性化されなければならない。
〔マルチタッチを利用したツールセット実行〕
以下では、マルチディスプレイ装置100でマルチタッチを利用したツールセット実行について説明する。
図53は、本発明の一実施形態にかかる手とペンのマルチタッチに対応するツールセット提供を説明するための図である。
図53を参考すると、スタイラスペン4800のタッチが認識された場合(符号5310)、マルチディスプレイ装置100は駆動されているアプリケーションでスタイラスペン4800が利用されるツールセット5315を表示する。
一例として、ペイントアプリケーションでスタイラスペン4800は細密な線を描く用途として利用することができ、これに該当するペンタイプを選択できるツールセット5315を提供する。
一方、手のタッチが認識された場合(符号5320)、マルチディスプレイ装置100は駆動しているアプリケーションで手が利用されるツールセット5325を表示する。
一例として、ペイントアプリケーションで手は太い線又は色を塗る用途として利用することができ、これに該当する筆タイプを選択できるツールセット5325を提供する。
図54は、本発明の一実施形態にかかる手とペンのマルチタッチに対応するツール利用方法を説明するための図である。
図53では、ペイントアプリケーションでスタイラスペン4800には線を描くツールが提供され、手には太い線又は色を塗るツールが提供されるものと説明したが、図54では、スタイラスペン4800に筆記道具(一例として、多様な色を表示する鉛筆、ペン、筆、クレパス)のツールが提供され、手にパターニング道具(一例として、直線定規、三角定規、波型定規、分度器、円形板)のツールが提供されることを仮定して説明する。
図54を参考すると、マルチディスプレイ装置100はペン5410と手5420のタッチをそれぞれ認識して、ペン5410のタッチに対応する動作(符号5411)を行い、手5420のタッチに対応する動作(符号5421)を行う。
一例として、ディスプレイ部上でペン5410のタッチが移動すると、移動経路に沿って一つの線が描かれ(符号5411)、手4519タッチが移動すると、移動経路に沿って三角定規5421が移動する。従って、ユーザは三角定規などのパターニング道具を用いて容易に所望する絵を描くことができる。
〔ツールセットの拡張〕
図55は、本発明の一実施形態にかかるツールセットのアップデート動作を説明するための図である。
マルチディスプレイ装置100は、通信部110のそれぞれの通信モジュールを用いて外部装置又は外部ネットワークとデータを共有することができる。
マルチディスプレイ装置100は予め設置されたツール以外にも、追加的なツールを外部装置又は外部ネットワークを通してアップデートすることができる。
追加ツールはマルチディスプレイ装置100のOS、SDK(Software Development Kit)を用いて開発することができ、ユーザは開発された新しい追加ツール及びアップデートされたツールをインターネットなどのネットワークを通してマルチディスプレイ装置100に追加することができる。
一例として、ユーザはアプリケーションストア等で開発されたツールを購入し、ツールセットを再構成することができる。
図55を参考すると、インターネットなどの外部ネットワーク5530からユーザは新しい追加ツール5520を伝送してもらうことができる。
ユーザは予め設置されたツール5510以外にもユーザの嗜好に合うツールを選択的に追加することができるようになる。
一方、追加ツール5520は、好ましくは、図31の可変領域3101に配置され得る。
〔ツールセットの配置〕
図56は、本発明の一実施形態にかかるツールセットの配置を説明するための図である。
図20〜図47では、ヒンジ領域で一つのディスプレイ部の方向に配置される半円模様のツールセットUIについてのみ説明したが、下記のようにいろいろな形態に配置されてもよい。
図56を参考すると、エクスペンディングモードのマルチディスプレイ装置100で第1及び第2ディスプレイ部が上下に配置された場合、下側に配置された第2ディスプレイ部全体5610又は下段5620にツールセットが配置されてもよい。この場合は、ノートパソコンのような作業環境をユーザに提供するツールセットに適用することができる。
一方、マルチディスプレイ装置100で第1及び第2ディスプレイ部が左右に配置された場合、ヒンジ領域左右側のディスプレイ部の一部分5630又はディスプレイ部の反対端の一部分5640にツールセットが配置されてもよい。この場合は、図20〜図47で説明したように、両ディスプレイ部上でタッチジェスチャーなどユーザの操作が入力される作業環境のツールセットに提供することができる。
図57は、図56の第2ディスプレイ部全体5610にツールセットが配置された場合、ツールセット実行を説明するための図である。
図57の(a)を参照すると、マルチディスプレイ装置100で第1ディスプレイ部の画面5710ではノートパソコンのモニタのように作業スクリーンを表示する。
第2ディスプレイ部の画面5720の円はユーザの入力を受ける部分として使われ、第2ディスプレイ部の画面5720上に特定ユーザの操作、一例としてスリーフィンガフリックジェスチャー5730が検知されると、図57の(b)に進む。
図57の(b)を参照すると、マルチディスプレイ装置100は特定ユーザの操作に応答して現在駆動しているアプリケーションに対応するツールセット5721を表示する。
この時、ユーザがツールセットからいずれか一つのツールを選択するジェスチャー、一例としてタップジェスチャー5731が入力された場合、図57の(c)に進む。
図57の(c)を参考すると、第2ディスプレイはいずれか一つのツールを選択するジェスチャーに応答して選択されたツールに転換される。
以上のように、タッチジェスチャーなどのユーザ操作によりツールセットを他の段階のプロセスなしに自動で実行させてユーザ中心の作業環境を提供することができるようになる。
図58は、本発明の一実施形態にかかるマルチディスプレイ装置100のツール提供動作を説明するためのフローチャートである。
図58を参照すると、予め定義されたユーザ操作が入力されると(ステップS5810で「Y」)、第1ディスプレイ部190a及び第2ディスプレイ部190bのうち少なくとも一つを用いて、現在実行中の動作に対応するツールセットを表示するステップS5820。
ここで、予め定義されたユーザ操作は、第1ディスプレイ部190a及び第2ディスプレイ部190bを連結するヒンジ部185から第1ディスプレイ部190aへ向かう第1方向又は第2ディスプレイ部190bへ向かう第2方向に行われるタッチジェスチャーであり、タッチジェスチャーが行われた方向に従って第1ディスプレイ部190a又は第2ディスプレイ部190bにツールセットを表示することができる。
一方、ツールセットは、タッチジェスチャーが終了された地点を基準に半円形態にツールを列挙したグラフィックUIでもよい。
一方、ツールセットは、インターネットブラウザ調整メニュー、音楽プレーヤー調整メニュー、動画プレーヤー調整メニュー、カメラオプション調整メニュー、メッセージ調整メニュー、メモ調整メニュー、ギャラリー調整メニュー、デジタルブック調整メニュー、連絡先調整メニュー、カレンダー調整メニュー、筆記特性調整メニュー、デジタル調整メニューの内の少なくとも一つを含むことができる。
ツールセットで一つのツールが選択されると(ステップS5830で「Y」)、選択されたツールを提供するステップS5840。
図58のようなマルチディスプレイ装置のツール提供方法は、図1の構成を有するマルチディスプレイ装置100で実施することができ、その他の構成を有するマルチディスプレイ装置でも実行することができる。
図59は、本発明の一実施形態にかかるマルチディスプレイ装置のツール提供動作を説明するためのフローチャートである。
図59を参照すると、予め定義されたユーザ操作(即ち、ツールセット表示のためのユーザ操作)が入力されると(ステップS5910で「Y」)、マルチディスプレイ装置の動作に対応するツールからなるツールセットを第1ディスプレイ部190a及び第2ディスプレイ部190bのうち少なくとも一つの画面に表示するステップS5920。
ここで、ツールセットは、ユーザの操作に従ってツールセットに含まれるツールを可変的に表示することを特徴とする。
ここで、ユーザ操作は、第1ディスプレイ部190a及び第2ディスプレイ部190bを連結するヒンジ部185から第1ディスプレイ部190aへ向かう第1方向又は第2ディスプレイ部190bへ向かう第2方向に行われるタッチジェスチャーであり、タッチジェスチャーが行われた方向に従って第1ディスプレイ部190a又は第2ディスプレイ部190bにツールセットを表示することができる。
一方、ツールセットは、インターネットブラウザ調整メニュー、音楽プレーヤー調整メニュー、動画プレーヤー調整メニュー、カメラオプション調整メニュー、メッセージ調整メニュー、メモ調整メニュー、ギャラリー調整メニュー、デジタルブック調整メニュー、連絡先調整メニュー、カレンダー調整メニュー、筆記特性調整メニュー、デジタル調整メニューの内の少なくとも一つを含むことができる。
ツールセットで一つのツールが選択され(ステップS5930で「Y」)、選択されたツールに従属する下位レベルツールが存在するとき(ステップS5940で「Y」)、下位レベルツールを列挙した下位ツールセットを表示する動作を行うことができるステップS5950。
なお、下位レベルツールセットで一つのツールが選択されると(ステップS5960で「Y」)、ステップS5940に戻る。
ここで、下位ツールセットは上位レベルのツールセットの外側に表示される円形バー形状のグラフィックUI又はボタン形状のグラフィックUIでもよい。
一方、ツールセット及び下位ツールセットのうち少なくとも一つはユーザローリング操作に従ってスクロールされヒドゥン(隠れた)ツールを表示することができる。
一方、選択されたツールに従属される下位レベルツールが存在しない場合(ステップS5940で「N」)、マルチディスプレイ装置100の動作モードを選択するためのツールであるかを判断し、動作モードを選択するためのツールである場合(ステップS5970で「Y」)、選択されたツールに対応する動作モードに転換されるステップS5980。
この場合、動作モードで予め定義されたユーザ操作がまた入力されると、ツールセット及び動作モードに対応する下位ツールを列挙した下位ツールセットをいっぺんに表示することができる。
一方、動作モードを選択するためのツールでない場合(ステップS5970で「N」)、選択されたツールを提供するステップS5990。
この場合、ツールを提供するステップは、ツールセットで実行中のアプリケーションで使用可能なツールである場合、選択されたツールを第1ディスプレイ部190a及び第2ディスプレイ部190bのうち少なくとも一つに表示することができる。
図59のようなマルチディスプレイ装置のツール提供方法は、図1の構成を有するマルチディスプレイ装置100で実施することができ、その他の構成を有するマルチディスプレイ装置でも実行することができる。
以上のように、本発明の多様な実施形態によれば、マルチディスプレイ装置100でユーザがアプリケーションを直観的で便利に制御することができるようにアプリケーションのそれぞれに対応するツールセットを提供することができる。
一方、このような多様な実施形態にかかる方法は、プログラミングされ各種の記録媒体に保存されてもよい。これにより、記録媒体を実行する多様な類型の電子装置で上述した多様な実施形態にかかる方法が実現することができる。
具体的には、本発明の一実施形態によると、予め定義されたユーザ操作が入力されると、第1ディスプレイ部190a及び第2ディスプレイ部190bのうち少なくとも一つを用いて、現在実行中の動作に対応するツールセットを表示するステップ及びツールセットで一つのツールが選択されると選択されたツールを提供するステップを順次的に行うプログラムの保存された非一時的コンピュータ読取可能記録媒体(Non−transitury computer readable medium)が提供され得る。
非一時的コンピュータ読取可能記録媒体とは、レジスタ、キャッシュ、メモリなどのように短い瞬間データを保存する媒体ではなく、半永久的にデータを保存し、機器により読み取り可能な媒体を意味する。具体的に、上述した多様なアプリケーション又はプログラムは、CD、DVD、ハードディスク、ブルーレイディスク、USB、メモリカード、ROMなどのような非一時的コンピュータ読取可能記録媒体に保存され提供することができる。
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
2 第1ボディ
4 第2ボディ
100 マルチディスプレイ装置
110 通信部
111 セルラー通信モジュール
112 無線LANモジュール
113 近距離通信モジュール
114 コネクタ
115 GPSモジュール
116 放送通信モジュール
120 マルチメディア部
121 オーディオ再生モジュール
122 ビデオ再生モジュール
130 制御部
131 CPU
133 GPU
135 RAM
137 ROM
139 システムバス
140 撮像部
141 第1カメラ
142 第2カメラ
150 センサ部
151 タッチセンサ
152 地磁気センサ
153 加速度センサ
154 ヒンジセンサ
155 近接センサ
160 入/出力部
161 ボタン部
162 マイク
163 スピーカ
164 振動モータ
170 保存部
180 電源部
185 ヒンジ部
190a 第1ディスプレイ部
190b 第2ディスプレイ部
4800 スタイラスペン

Claims (13)

  1. マルチディスプレイ装置であって、
    第1ディスプレイ部を含む第1ボディと、
    第2ディスプレイ部を含む第2ボディと、
    前記第1及び前記第2ボディを連結するヒンジ部と、
    ツールセットの表示のためのユーザ操作が入力されると、前記マルチディスプレイ装置の動作状態に対応する複数のツールからなるツールセットを、前記第1ディスプレイ部及び前記第2ディスプレイ部の内の少なくとも一つの画面に表示し、前記ツールセットで一つのツールが選択されると選択されたツールに対応する動作を行う制御部とを有し、
    前記制御部は、前記選択されたツールに従属する複数の第1下位レベルツールが存在すると、前記複数の第1下位レベルツールからなる第1下位ツールセットを前記ツールセットの一側に表示し、前記ツールセットの表示位置が固定された状態で前記選択されたツールの表示位置が前記ツールセット内の予め設定された位置に変更されるように前記ツールセットに含まれた複数のツールの表示位置を調整し、
    前記ツールセットは、前記マルチディスプレイ装置で実行中であるアプリケーションで使用可能なツールを含むものであり、
    前記ツールセットの大きさ及び形態は、前記アプリケーションで使用可能なツールの個数に従って相違するよう調整されることを特徴とするマルチディスプレイ装置。
  2. 前記ツールセットは、前記アプリケーション専用に使われる専用ツール及び複数のアプリケーションで共通的に使用可能な共用ツールを含み、
    前記制御部は、前記ツールセット内で前記専用ツールを前記共用ツールより優先的に配置することを特徴とする請求項1に記載のマルチディスプレイ装置。
  3. 前記制御部は、前記ツールセットで前記実行中であるアプリケーションで使用可能なツールが選択されると、選択されたツールに対応するツールアイコン又は名称による識別子を表示し、ユーザ操作に従って前記ツールアイコン又は名称による識別子の表示位置を変更しながら前記ツールに対応する動作を行うことを特徴とする請求項1に記載のマルチディスプレイ装置。
  4. 前記制御部は、前記第1下位ツールセットで一つの第1下位レベルツールが選択され、前記選択された第1下位レベルツールに従属する複数の第2下位レベルツールが存在する時、前記複数の第2下位レベルツールからなる第2下位ツールセットを前記第1下位ツールセットの一側に表示することを特徴とする請求項1に記載のマルチディスプレイ装置。
  5. 前記ユーザ操作はタッチジェスチャーであり、
    前記ツールセットは、前記タッチジェスチャーが終了した地点を基準に半円形態にツールを配列するグラフィックUI(User Interface)であり、
    前記第1下位ツールセットは、前記ツールセットの外側に表示される円形バー形状のグラフィックUI又はボタン形状のグラフィックUIであることを特徴とする請求項4に記載のマルチディスプレイ装置。
  6. 前記制御部は、ユーザの操作に従って、隠れた(hidden)ツールを前記ツールセットに新しく表示可能なことを特徴とする請求項1に記載のマルチディスプレイ装置。
  7. 前記ユーザ操作は、前記第1ボディの端領域から前記第1ディスプレイ部の方へ向かう第1方向、又は前記第2ボディの端領域から前記第2ディスプレイの方へ向かう第2方向に行われるタッチアンドドラッグジェスチャーであり、
    前記制御部は、前記タッチアンドドラッグジェスチャーが行われた方向に従って前記第1ディスプレイ部又は前記第2ディスプレイ部に前記ツールセットを表示することを特徴とする請求項1に記載のマルチディスプレイ装置。
  8. 前記ユーザ操作は、前記第1ボディと前記第2ボディとの連結領域から前記第1ディスプレイ部の方へ向かう第1方向、又は前記第2ディスプレイ部の方へ向かう第2方向に行われるタッチアンドドラッグジェスチャーであり、
    前記タッチアンドドラッグジェスチャーが行われた方向に従って前記第1ディスプレイ部又は前記第2ディスプレイ部に前記ツールセットを表示することを特徴とする請求項1に記載のマルチディスプレイ装置。
  9. 前記ツールセットは、前記マルチディスプレイ装置で実行可能なアプリケーションを選択するための少なくとも一つのアイコンを更に含み、
    前記制御部は、前記ツールセットで前記アイコンが選択されると、前記選択されたアイコンに対応するアプリケーションを前記第1ディスプレイ部又は前記第2ディスプレイ部の任意の領域にて実行することを特徴とする請求項1に記載のマルチディスプレイ装置。
  10. 前記ツールセットは、ツールアップデート及びツール追加が可能であることを特徴とする請求項1に記載のマルチディスプレイ装置。
  11. 前記ユーザ操作は、外部オブジェクトによって前記第1ディスプレイ部又は前記第2ディスプレイ部をタッチする操作であり、
    前記制御部は、前記タッチが行われると前記外部オブジェクトの種類に対応するツールを含む前記ツールセットをタッチ地点に表示し、前記ツールセットで選択されたツールの機能を前記外部オブジェクトに割り当てることを特徴とする請求項1に記載のディスプレイ装置。
  12. 前記制御部は、第1外部オブジェクトにパターニング道具が割り当てられ、第2外部オブジェクトに筆記道具が割り当てられ、前記第1又は第2ディスプレイ部の画面上で前記第1外部オブジェクト及び前記第2外部オブジェクトがタッチされる場合、タッチ地点にパターニング道具イメージ及び筆記道具イメージを表示し、
    前記第2外部オブジェクトのタッチ地点が移動するとき、前記パターニング道具イメージ及び前記第2外部オブジェクトの移動経路に沿って描かれるラインを表示することを特徴とする請求項11に記載のマルチディスプレイ装置。
  13. 第1ディスプレイ部を含む第1ボディと、第2ディスプレイ部を含む第2ボディとを含むマルチディスプレイ装置のツール提供方法において、
    ツールセットの表示のためのユーザ操作が入力されると、前記マルチディスプレイ装置の動作状態に対応する複数のツールからなるツールセットを前記第1ディスプレイ部及び前記第2ディスプレイ部の内の少なくとも一つの画面に表示するステップと、
    前記ツールセットから一つのツールが選択される時、選択されたツールに対応する動作を行うステップとを有し、
    前記選択されたツールに対応する動作を行うステップは、前記選択されたツールに従属する複数の第1下位レベルツールが存在すると、前記複数の第1下位レベルツールからなる第1下位ツールセットを前記ツールセットの一側に表示し、前記ツールセットの表示位置が固定された状態で前記選択されたツールの表示位置が前記ツールセット内の予め設定された位置に変更されるように前記ツールセットに含まれた複数のツールの表示位置を調整するステップを含み、
    前記ツールセットは、前記マルチディスプレイ装置で実行中であるアプリケーションで使用可能なツールを含むものであり、
    前記ツールセットの大きさ及び形態は、前記アプリケーションで使用可能なツールの個数に従って相違するよう調整されることを特徴とするマルチディスプレイ装置のツール提供方法。
JP2013212816A 2012-10-10 2013-10-10 マルチディスプレイ装置及びそのツール提供方法 Expired - Fee Related JP6431255B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120112686A KR102083937B1 (ko) 2012-10-10 2012-10-10 멀티 디스플레이 장치 및 그 툴 제공 방법
KR10-2012-0112686 2012-10-10

Publications (2)

Publication Number Publication Date
JP2014078235A JP2014078235A (ja) 2014-05-01
JP6431255B2 true JP6431255B2 (ja) 2018-11-28

Family

ID=49518653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013212816A Expired - Fee Related JP6431255B2 (ja) 2012-10-10 2013-10-10 マルチディスプレイ装置及びそのツール提供方法

Country Status (6)

Country Link
US (1) US9335887B2 (ja)
EP (1) EP2720127A3 (ja)
JP (1) JP6431255B2 (ja)
KR (1) KR102083937B1 (ja)
CN (1) CN103729108B (ja)
TW (1) TWI590146B (ja)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10741025B2 (en) * 2010-09-30 2020-08-11 Jesus Perea-Ochoa Method and system of operating multi-task interactive electronic devices
KR101515629B1 (ko) 2012-01-07 2015-04-27 삼성전자주식회사 플렉서블 표시부를 갖는 휴대단말의 이벤트 제공 방법 및 장치
KR101886058B1 (ko) * 2012-04-08 2018-08-07 삼성전자주식회사 사용자 단말 장치 및 사용자 단말 장치의 정보 제공 방법
US9690449B2 (en) * 2012-11-02 2017-06-27 Microsoft Technology Licensing, Llc Touch based selection of graphical elements
TWD161258S (zh) * 2013-01-03 2014-06-21 宏碁股份有限公司 螢幕之圖形化使用者介面
USD749125S1 (en) 2013-03-29 2016-02-09 Deere & Company Display screen with an animated graphical user interface
USD739415S1 (en) * 2013-04-30 2015-09-22 Microsoft Corporation Display screen with graphical user interface
KR101584590B1 (ko) 2013-07-11 2016-01-13 삼성전자주식회사 어플리케이션을 표시하는 사용자 단말 장치 및 그 방법
USD759036S1 (en) * 2013-08-01 2016-06-14 Sears Brands, L.L.C. Display screen or portion thereof with icon
USD758379S1 (en) * 2013-08-01 2016-06-07 Sears Brands, L.L.C. Display screen or portion thereof with icon
USD759035S1 (en) * 2013-08-01 2016-06-14 Sears Brands, L.L.C. Display screen or portion thereof with icon
USD757029S1 (en) * 2013-10-11 2016-05-24 Microsoft Corporation Display screen with animated graphical user interface
USD759040S1 (en) * 2013-10-17 2016-06-14 Microsoft Corporation Display screen with graphical user interface
USD759041S1 (en) * 2013-10-17 2016-06-14 Microsoft Corporation Display screen with graphical user interface
USD791793S1 (en) 2013-12-05 2017-07-11 Nikon Corporation Display screen with graphical user interface
USD765668S1 (en) * 2013-12-05 2016-09-06 Nikon Corporation Display screen with graphical user interface
US9652033B2 (en) * 2013-12-19 2017-05-16 Intel Corporation Multi-user eye tracking using multiple displays
USD760270S1 (en) * 2014-01-09 2016-06-28 Microsoft Corporation Display screen with graphical user interface
FR3021134B1 (fr) * 2014-05-14 2023-01-06 Lg Electronics Inc Terminal mobile
USD757751S1 (en) * 2014-05-30 2016-05-31 Microsoft Corporation Display screen or portion thereof with graphical user interface
USD760735S1 (en) * 2014-06-26 2016-07-05 Xiaomi Inc. Display screen or portion thereof with a graphical user interface
USD795916S1 (en) 2014-08-19 2017-08-29 Google Inc. Display screen with animated graphical user interface
USD783642S1 (en) * 2014-10-16 2017-04-11 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD788788S1 (en) 2014-11-18 2017-06-06 Google Inc. Display screen with animated graphical user interface
CN105786371A (zh) * 2014-12-25 2016-07-20 富泰华工业(深圳)有限公司 电子装置及其界面显示控制方法
US20160196104A1 (en) * 2015-01-07 2016-07-07 Zachary Paul Gordon Programmable Audio Device
WO2016111561A1 (en) * 2015-01-07 2016-07-14 Samsung Electronics Co., Ltd. Display device and operating method thereof
USD787551S1 (en) * 2015-02-27 2017-05-23 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10359849B2 (en) * 2015-04-14 2019-07-23 Jose Antonio DELMAR LISSA Portable communication device for transmitting touch-generated messages
KR20160128606A (ko) * 2015-04-29 2016-11-08 삼성전자주식회사 바로가기 ui를 제공하는 전자 장치 및 방법
US9778821B2 (en) * 2015-06-10 2017-10-03 Citibank, N.A. Methods and systems for managing a graphical interface
USD806739S1 (en) * 2015-06-10 2018-01-02 Citibank, N.A. Display screen portion with a transitional user interface of a financial data viewer and launcher application
USD783659S1 (en) * 2015-08-12 2017-04-11 Samsung Electronics Co., Ltd Display screen or portion thereof with graphical user interface
USD802619S1 (en) * 2015-08-12 2017-11-14 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD802620S1 (en) * 2015-08-12 2017-11-14 Samsung Electronics Co., Ltd. Display screen or portion thereof with animiated graphical user interface
USD772935S1 (en) * 2015-08-31 2016-11-29 University Of Malta Display screen or portion thereof with animated graphical user interface
JP2017058972A (ja) * 2015-09-16 2017-03-23 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、その表示方法、及びコンピュータが実行可能なプログラム
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
CA165941S (en) * 2015-12-11 2016-10-25 Gecko Alliance Group Inc Display screen with graphical user interface
USD817966S1 (en) * 2016-01-26 2018-05-15 Sony Corporation Portion of display panel or screen with animated graphical user interface
USD797786S1 (en) * 2016-02-19 2017-09-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP6445219B2 (ja) * 2016-03-31 2018-12-26 富士フイルム株式会社 デジタルカメラ及びデジタルカメラの表示方法
KR102567144B1 (ko) * 2016-04-26 2023-08-17 삼성전자주식회사 객체를 표시하는 전자 장치 및 방법
US10540084B2 (en) * 2016-04-29 2020-01-21 Promethean Limited Interactive display overlay systems and related methods
KR102520398B1 (ko) * 2016-05-18 2023-04-12 삼성전자주식회사 사용자 데이터를 저장하는 전자 장치 및 그 방법
USD824957S1 (en) * 2016-07-22 2018-08-07 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
KR102571369B1 (ko) * 2016-08-03 2023-08-29 삼성전자주식회사 디스플레이 제어 방법, 저장 매체 및 전자 장치
FR3056779B1 (fr) * 2016-09-23 2018-11-30 Valeo Comfort And Driving Assistance Module d'interface pour habitacle de vehicule
US10795510B2 (en) * 2016-10-25 2020-10-06 Microsoft Technology Licensing, Llc Detecting input based on a capacitive pattern
KR20180048158A (ko) * 2016-11-02 2018-05-10 삼성전자주식회사 디스플레이 운용 방법 및 이를 지원하는 전자 장치
USD816114S1 (en) * 2016-12-26 2018-04-24 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
USD816714S1 (en) * 2016-12-26 2018-05-01 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
US10386974B2 (en) 2017-02-07 2019-08-20 Microsoft Technology Licensing, Llc Detecting input based on a sensed capacitive input profile
US10146278B2 (en) * 2017-03-31 2018-12-04 Dell Products L. P. Thermal spreader spanning two (or more) housings
EP3614238B1 (en) 2017-04-20 2023-12-06 Huawei Technologies Co., Ltd. Display control method and apparatus
JP1601916S (ja) * 2017-06-27 2018-04-16
CN109302525B (zh) * 2017-07-25 2021-06-15 西安中兴新软件有限责任公司 一种播放声音的方法及多屏终端
CN109388312B (zh) * 2017-08-05 2021-08-17 深圳市超捷通讯有限公司 电子装置及其应用执行方法
US10599255B2 (en) * 2017-12-28 2020-03-24 Intel Corporation Input processing for computing devices with on-screen and off-screen inputs
TWI669816B (zh) * 2018-04-18 2019-08-21 友達光電股份有限公司 拼接用顯示面板及其製造方法
TWI707253B (zh) * 2018-05-24 2020-10-11 仁寶電腦工業股份有限公司 具第二螢幕之電子裝置及其控制方法
USD871435S1 (en) * 2018-06-06 2019-12-31 Fennec Corp. Display screen or portion thereof with animated graphical user interface
CN109144450B (zh) * 2018-08-27 2021-06-22 惠州Tcl移动通信有限公司 一种远程操作控制方法、移动终端及存储介质
CN109431537A (zh) * 2018-09-20 2019-03-08 苏州佳世达电通有限公司 超声波系统
USD931871S1 (en) * 2018-12-28 2021-09-28 General Electric Company Display screen or portion thereof with animated graphical user interface
CN114779987B (zh) 2019-01-15 2024-05-14 Oppo广东移动通信有限公司 显示内容的方法、装置、终端及存储介质
WO2020171288A1 (ko) 2019-02-19 2020-08-27 엘지전자 주식회사 이동 단말기 및 이동 단말기를 구비한 전자장치
WO2020171318A1 (ko) 2019-02-19 2020-08-27 엘지전자 주식회사 이동 단말기 및 이동 단말기를 구비한 전자장치
KR20200100926A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 콘텐트 표시 방법 및 그 전자 장치
KR20200119020A (ko) * 2019-04-09 2020-10-19 삼성전자주식회사 전자 장치 및 폴더블 디스플레이를 제어 및 운영하는 방법
CN112150980B (zh) 2019-06-28 2022-03-04 纬联电子科技(中山)有限公司 同步调整屏幕设定的方法及多屏幕系统
EP3971687B1 (en) * 2019-08-19 2024-04-03 Samsung Electronics Co., Ltd. Electronic device and method for application selection and customization of layout on foldable display.
CN110531864A (zh) * 2019-09-18 2019-12-03 华为技术有限公司 一种手势交互方法、装置及终端设备
US11127321B2 (en) * 2019-10-01 2021-09-21 Microsoft Technology Licensing, Llc User interface transitions and optimizations for foldable computing devices
KR102301903B1 (ko) * 2019-12-09 2021-09-14 네이버 주식회사 복수의 디스플레이들을 포함하는 사용자 단말을 사용하여 사이드 바와 연관된 콘텐츠를 제공하는 방법 및 장치
CN111228793B (zh) * 2020-01-21 2021-11-19 腾讯科技(深圳)有限公司 交互界面的显示方法和装置、存储介质及电子装置
USD938491S1 (en) * 2020-05-30 2021-12-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Display screen or portion thereof with a graphical user interface
KR20220014968A (ko) * 2020-07-30 2022-02-08 삼성전자주식회사 전자 펜과 연동된 화면 분할 제공 방법 및 이를 이용한 폴더블 전자 장치
JP1687282S (ja) * 2020-08-27 2021-06-07
JP1687393S (ja) * 2020-08-27 2021-06-07
CN112365346A (zh) * 2020-10-30 2021-02-12 北京数秦科技有限公司 股票交易委托大单的判定及显示方法、装置及存储介质
US11630631B2 (en) * 2020-12-04 2023-04-18 Dell Products L.P. Systems and methods for managing content on dual screen display devices
USD1019697S1 (en) * 2021-07-23 2024-03-26 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD1019677S1 (en) * 2021-07-23 2024-03-26 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2796768B2 (ja) 1992-11-20 1998-09-10 株式会社ピーエフユー マルチディスプレイ装置
US5522025A (en) 1993-10-25 1996-05-28 Taligent, Inc. Object-oriented window area display system
CA2139094C (en) 1994-12-23 1999-04-13 Abdel Naser Al-Karmi Optical character recognition of handwritten or cursive text
JP3462986B2 (ja) 1998-08-31 2003-11-05 株式会社日立製作所 カメラ付きペン型入力装置
US6545669B1 (en) 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
JP2001021972A (ja) 1999-07-07 2001-01-26 Minolta Co Ltd ペンシル型のデジタルスチルカメラ
JP2001209470A (ja) 2000-01-26 2001-08-03 Fujitsu Ltd 表示インターフェイス方法及び装置並びにプログラム記憶媒体
US7120317B1 (en) 2001-03-01 2006-10-10 Silicon Motion, Inc. Method and system for a programmable image transformation
JP2002281135A (ja) 2001-03-21 2002-09-27 Nec Viewtechnology Ltd 携帯電話
GB0201074D0 (en) * 2002-01-18 2002-03-06 3G Lab Ltd Graphic user interface for data processing device
US7929185B2 (en) 2002-03-25 2011-04-19 Transpacific Systems, Llc System and method for switching screens from overview and preview
US6904737B2 (en) 2002-08-01 2005-06-14 General Mills, Inc. Dispensing apparatus and method of dispensing
KR20040035019A (ko) 2002-10-18 2004-04-29 엘지전자 주식회사 휴대용 컴퓨터의 스피커 시스템 및 스피커 구동방법
KR20040091272A (ko) 2003-04-21 2004-10-28 홍충식 더블 폴더 휴대폰
US9092190B2 (en) * 2010-10-01 2015-07-28 Z124 Smartpad split screen
KR20040104777A (ko) 2003-06-04 2004-12-13 주식회사 팬택앤큐리텔 듀얼 카메라 장착 단말기
CN2664066Y (zh) * 2003-12-10 2004-12-15 英业达股份有限公司 外接式多屏幕显示装置
KR20050068127A (ko) 2003-12-29 2005-07-05 엘지전자 주식회사 입체사진 촬영이 가능한 휴대용 단말기
KR100959796B1 (ko) 2004-01-31 2010-05-28 엘지전자 주식회사 부분 윈도우 화면 표시방법
JP3738358B2 (ja) 2004-04-20 2006-01-25 カシオ計算機株式会社 ウィンドウ表示制御装置
WO2005109176A1 (ja) 2004-05-06 2005-11-17 Takatoshi Yanase ウィンドウ表示システム、ウィンドウ表示方法、プログラム開発支援装置及びサーバ装置
JP4177434B2 (ja) 2004-05-06 2008-11-05 隆敏 柳瀬 ウィンドウ表示システム、情報処理システム、クライアント装置、電話機、情報機器、家電機器及び機器
KR20050109190A (ko) 2004-05-14 2005-11-17 주식회사 팬택 듀얼 카메라를 이용한 와이드 이미지 생성 장치 및 방법
JP2006030379A (ja) 2004-07-13 2006-02-02 Toshiba Corp マルチディスプレイシステム及びコンピュータ
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7561737B2 (en) 2004-09-22 2009-07-14 Microsoft Corporation Mathematical expression recognition
KR100606797B1 (ko) 2004-11-12 2006-08-02 엘지전자 주식회사 듀얼 카메라를 갖는 이동통신 단말기
KR101094769B1 (ko) 2004-12-21 2011-12-16 엘지전자 주식회사 듀얼 카메라를 구비한 이동통신 단말기의 파노라마 영상표시 방법
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
KR20060092621A (ko) 2005-02-18 2006-08-23 최기훈 듀얼액정이 구비되는 전자책 단말기
KR20070014586A (ko) 2005-07-29 2007-02-01 삼성전자주식회사 Pip 표시 제어방법
KR100653965B1 (ko) 2005-08-01 2006-12-05 심재용 휴대용 단말기의 서로 다른 카메라를 이용한 3차원입체영상 처리 장치
KR100640808B1 (ko) * 2005-08-12 2006-11-02 엘지전자 주식회사 촬상 이미지의 듀얼 디스플레이 기능을 갖는 이동통신단말기 및 그 방법
KR100773853B1 (ko) 2005-08-22 2007-11-06 캐논 가부시끼가이샤 오브젝트 조작 장치 및 오브젝트 조작방법
KR100742588B1 (ko) 2005-11-14 2007-07-25 주식회사 디엔피시스템 듀얼 모니터의 모니터간 데이터 공유 방법
US8587526B2 (en) 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
KR20080009597A (ko) * 2006-07-24 2008-01-29 삼성전자주식회사 사용자 인터페이스 장치 및 그 구현방법
JP2008033686A (ja) 2006-07-28 2008-02-14 Fujitsu Frontech Ltd 電子ブック
US8516393B2 (en) 2006-12-18 2013-08-20 Robert Pedersen, II Apparatus, system, and method for presenting images in a multiple display environment
KR100803504B1 (ko) 2007-01-16 2008-02-14 (주)케이티에프테크놀로지스 듀얼 카메라를 구비한 휴대용 단말기
CN101286310A (zh) 2007-04-13 2008-10-15 群康科技(深圳)有限公司 显示器屏幕显示控制系统及其操作方法
TWI329831B (en) * 2007-05-15 2010-09-01 Htc Corp Electronic device with obstacle-free touch operation
KR100936816B1 (ko) 2007-05-26 2010-01-14 이문기 카메라와 마크 출력에의한 포인팅 장치
KR20080113832A (ko) 2007-06-26 2008-12-31 (주)이에스비 액정표시장치상의 특정 패턴을 촬영하는 카메라를 내장하여위치를 판독하는 전자펜과 이를 이용한 전자칠판
WO2009028585A1 (ja) 2007-08-29 2009-03-05 Kyocera Corporation 電子機器および入力インターフェース切替方法
KR20090065040A (ko) 2007-12-17 2009-06-22 삼성전자주식회사 동작과 터치를 이용한 이중 포인팅 장치 및 방법
KR100942783B1 (ko) 2008-02-27 2010-02-18 웹싱크 주식회사 통합 프레임 버퍼를 사용하는 디지털 멀티비전 시스템
US8860632B2 (en) 2008-09-08 2014-10-14 Qualcomm Incorporated Multi-panel device with configurable interface
US8933874B2 (en) 2008-09-08 2015-01-13 Patrik N. Lundqvist Multi-panel electronic device
US8866840B2 (en) 2008-09-08 2014-10-21 Qualcomm Incorporated Sending a parameter based on screen size or screen resolution of a multi-panel electronic device to a server
US8860765B2 (en) 2008-09-08 2014-10-14 Qualcomm Incorporated Mobile device with an inclinometer
US8803816B2 (en) 2008-09-08 2014-08-12 Qualcomm Incorporated Multi-fold mobile device with configurable interface
US9009984B2 (en) 2008-09-08 2015-04-21 Qualcomm Incorporated Multi-panel electronic device
US8836611B2 (en) 2008-09-08 2014-09-16 Qualcomm Incorporated Multi-panel device with configurable interface
US20100073306A1 (en) 2008-09-25 2010-03-25 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Dual-view touchscreen display system and method of operation
KR20110063570A (ko) * 2008-09-29 2011-06-10 쿄세라 코포레이션 전자기기 및 전자기기에서의 표시 방법
US9250797B2 (en) * 2008-09-30 2016-02-02 Verizon Patent And Licensing Inc. Touch gesture interface apparatuses, systems, and methods
KR101569776B1 (ko) 2009-01-09 2015-11-19 삼성전자주식회사 접히는 표시부를 가지는 휴대 단말기 및 이의 운용 방법
KR101544364B1 (ko) 2009-01-23 2015-08-17 삼성전자주식회사 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
KR101564108B1 (ko) 2009-03-20 2015-10-28 엘지전자 주식회사 듀얼 디스플레이부를 구비한 이동 통신 단말기에서의 아이템 제어 방법 및 이를 적용한 이동 통신 단말기
US8446377B2 (en) * 2009-03-24 2013-05-21 Microsoft Corporation Dual screen portable touch sensitive computing system
KR20100115547A (ko) 2009-04-20 2010-10-28 에스케이 텔레콤주식회사 컨텐츠 주밍 방법과 그를 위한 터치 스크린 단말기 및 컴퓨터로 읽을 수 있는 기록매체
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
KR101556329B1 (ko) 2009-05-11 2015-10-01 에스케이텔레콤 주식회사 단말기에서의 모드별 다중 스피커 제어 방법 및 그 장치
US8549432B2 (en) * 2009-05-29 2013-10-01 Apple Inc. Radial menus
JP5347733B2 (ja) * 2009-06-09 2013-11-20 セイコーエプソン株式会社 電子黒板
KR101578005B1 (ko) 2009-06-10 2015-12-16 엘지전자 주식회사 이동 단말기 및 이것에 구비된 카메라를 이용한 사용자 동작 입력 방법
JP5212310B2 (ja) 2009-08-17 2013-06-19 株式会社リコー ネットワークシステム、サーバ装置、及びグループウェアプログラム
CN201438342U (zh) * 2009-08-21 2010-04-14 东莞市步步高教育电子产品有限公司 一种双屏点读机
KR20130079563A (ko) 2009-09-03 2013-07-10 퀄컴 인코포레이티드 그래픽 사용자 인터페이스 엘리먼트의 위치 및 방향을 표시하는 방법
JP5518868B2 (ja) 2009-09-03 2014-06-11 クゥアルコム・インコーポレイテッド インクリノメータをもつモバイルデバイス
US8681124B2 (en) 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
US20110102314A1 (en) 2009-10-30 2011-05-05 Xerox Corporation Dual-screen electronic reader with tilt detection for page navigation
KR101710545B1 (ko) 2009-11-05 2017-02-27 엘지전자 주식회사 이동 단말기 및 이를 이용한 정보 제공 방법
JP2011107823A (ja) * 2009-11-13 2011-06-02 Canon Inc 表示制御装置及び表示制御方法
JP4911438B2 (ja) * 2009-12-16 2012-04-04 横河電機株式会社 操作監視装置
US8724301B2 (en) 2010-01-29 2014-05-13 Mohamed K. Mahmoud Laptop book
US20110191704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Contextual multiplexing gestures
US9310994B2 (en) * 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
JP2011221229A (ja) 2010-04-08 2011-11-04 Sharp Corp 表示システム、表示方法、およびディスプレイ
KR101196253B1 (ko) 2010-04-20 2012-11-05 주식회사 유니온앤이씨 기업 정보 관리를 위한 가상 컨텐츠 공급 장치 및 방법
JP2011248401A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 情報処理装置および入力方法
US9009594B2 (en) 2010-06-10 2015-04-14 Microsoft Technology Licensing, Llc Content gestures
US8638303B2 (en) 2010-06-22 2014-01-28 Microsoft Corporation Stylus settings
GB2481607A (en) * 2010-06-29 2012-01-04 Promethean Ltd A shared control panel
KR101686866B1 (ko) 2010-06-30 2016-12-15 엘지전자 주식회사 이동 단말기
KR101701839B1 (ko) 2010-07-13 2017-02-02 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101718027B1 (ko) 2010-09-09 2017-03-20 엘지전자 주식회사 이동 단말기 및 그의 메모 관리방법
US9372618B2 (en) 2010-10-01 2016-06-21 Z124 Gesture based application management
KR101798965B1 (ko) 2010-10-14 2017-11-17 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
JP5666238B2 (ja) * 2010-10-15 2015-02-12 シャープ株式会社 電子機器および表示方法
JP5334330B2 (ja) * 2010-12-15 2013-11-06 パナソニック株式会社 携帯端末装置、表示制御方法、及び表示制御プログラム
KR102014273B1 (ko) * 2011-02-10 2019-08-26 삼성전자주식회사 터치 스크린 디스플레이를 구비한 휴대 기기 및 그 제어 방법
KR101229699B1 (ko) 2011-05-12 2013-02-05 주식회사 케이티 애플리케이션 간의 콘텐츠 이동 방법 및 이를 실행하는 장치

Also Published As

Publication number Publication date
CN103729108B (zh) 2018-11-30
JP2014078235A (ja) 2014-05-01
TW201419125A (zh) 2014-05-16
TWI590146B (zh) 2017-07-01
KR20140046345A (ko) 2014-04-18
US9335887B2 (en) 2016-05-10
EP2720127A3 (en) 2017-10-25
CN103729108A (zh) 2014-04-16
US20140101576A1 (en) 2014-04-10
KR102083937B1 (ko) 2020-03-04
EP2720127A2 (en) 2014-04-16

Similar Documents

Publication Publication Date Title
JP6431255B2 (ja) マルチディスプレイ装置及びそのツール提供方法
US11360728B2 (en) Head mounted display apparatus and method for displaying a content
US9348504B2 (en) Multi-display apparatus and method of controlling the same
JP6585876B2 (ja) マルチディスプレイ装置およびその制御方法
KR102063952B1 (ko) 멀티 디스플레이 장치 및 멀티 디스플레이 방법
TWI624786B (zh) 多顯示裝置及控制其顯示器的方法
US20160282964A9 (en) Multi display apparatus, input pen, multi display apparatus controlling method, and multi display system
US10152226B2 (en) Portable device and method of changing screen of portable device
KR102184269B1 (ko) 디스플레이장치, 휴대장치 및 그 화면 표시방법
US20140285453A1 (en) Portable terminal and method for providing haptic effect
CN104471513A (zh) 柔性显示设备及其操作方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181102

R150 Certificate of patent or registration of utility model

Ref document number: 6431255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees