JP7284853B1 - 情報処理装置、情報処理システム、及び制御方法 - Google Patents

情報処理装置、情報処理システム、及び制御方法 Download PDF

Info

Publication number
JP7284853B1
JP7284853B1 JP2022082034A JP2022082034A JP7284853B1 JP 7284853 B1 JP7284853 B1 JP 7284853B1 JP 2022082034 A JP2022082034 A JP 2022082034A JP 2022082034 A JP2022082034 A JP 2022082034A JP 7284853 B1 JP7284853 B1 JP 7284853B1
Authority
JP
Japan
Prior art keywords
pen
screen
unit
display unit
input mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022082034A
Other languages
English (en)
Other versions
JP2023170349A (ja
Inventor
圭一 吉冨
義従 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Priority to JP2022082034A priority Critical patent/JP7284853B1/ja
Priority to US18/297,002 priority patent/US11954272B2/en
Priority to CN202310562643.4A priority patent/CN117093090A/zh
Application granted granted Critical
Publication of JP7284853B1 publication Critical patent/JP7284853B1/ja
Publication of JP2023170349A publication Critical patent/JP2023170349A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04162Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0383Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

Figure 0007284853000001
【課題】ユーザーエクスペリエンスを向上する。
【解決手段】情報処理装置は、第1表示部と、前記第1表示部の画面上における物体の接触位置の検出と、ペンが非接触状態で前記第1表示部の画面上に閾値距離以内に接近した前記ペンの接近及び前記画面上の前記ペンの位置の検出とを検出可能なタッチセンサ部と、前記タッチセンサ部が検出した前記第1表示部の画面上の前記ペンの接触位置を取得し、前記ペンの接触位置に基づく前記第1表示部の画面上の前記ペンの移動軌跡を、前記第1表示部に表示させる第1ペン入力モードと、前記ペンの移動軌跡を、第2表示部に表示させる第2ペン入力モードとを切り替えて実行するペン入力処理部と、前記タッチセンサ部が、前記ペンの接近を検出した後に、前記ペンの非接触状態での移動操作に応じて、前記第1ペン入力モードと、前記第2ペン入力モードとを、相互に切り替える入力切替処理部とを備える。
【選択図】図4

Description

本発明は、情報処理装置、情報処理システム、及び制御方法に関する。
近年、表示部を備えてペン入力が可能なタブレット端末などの情報処理装置では、単体でのペン入力の動作の他に、例えば、外部モニタやパーソナルコンピュータ(PC)に接続して拡張ペンタブレットとして動作するものが知られている(例えば、特許文献1を参照)。
特開2021-51766号公報
例えば、タブレット端末をPCに接続して拡張ペンタブレットとして動作させる際に、PCの画面とタブレット端末の画面とで、ペン入力の対象画面を切り替えて使用することが考えられる。しかしながら、従来技術では、このような場合に、設定変更メニューを開いて、ペン入力の対象画面を切り替える必要があり、使用勝手が悪いために、ユーザーエクスペリエンスが得られないとう問題があった。
本発明は、上記問題を解決すべくなされたもので、その目的は、ペン入力の対象画面の切り替えを容易に行うことができ、ユーザーエクスペリエンスを向上させることができる情報処理装置、情報処理システム、及び制御方法を提供することにある。
上記問題を解決するために、本発明の一態様は、第1表示部と、前記第1表示部の画面上に配置され、前記画面上における物体の接触位置の検出と、ペンが非接触状態で前記第1表示部の画面上に閾値距離以内に接近した前記ペンの接近及び前記画面上の前記ペンの位置の検出とを検出可能なタッチセンサ部と、前記タッチセンサ部が検出した前記第1表示部の画面上の前記ペンの接触位置を取得し、前記ペンの接触位置に基づく前記第1表示部の画面上の前記ペンの移動軌跡を、前記第1表示部に表示させる第1ペン入力モードと、前記ペンの移動軌跡を、前記第1表示部と特定の配置関係に設定された第2表示部に表示させる第2ペン入力モードとを切り替えて実行するペン入力処理部と、前記タッチセンサ部が、前記ペンの接近を検出した後に、前記特定の配置関係に基づく前記ペンの非接触状態での移動操作に応じて、前記第1ペン入力モードと、前記第2ペン入力モードとを、相互に切り替える入力切替処理部とを備える情報処理装置である。
また、本発明の一態様は、上記の情報処理装置において、前記第1表示部と、前記第2表示部との配置関係を示す配置情報を記憶する配置情報記憶部を備え、前記入力切替処理部は、前記第1表示部の画面上に非接触状態で、且つ、前記閾値距離以内に接近した状態を、前記ペンが一定期間維持するホバリング状態が前記タッチセンサ部によって検出された後に、前記配置情報に基づいて、切替先の画面を示す方向に前記第1表示部の画面を超えて前記ペンを移動させる操作を検出した場合に、前記第1ペン入力モードと、前記第2ペン入力モードとのうちの、前記切替先の画面に対応する入力モードに切り替えるようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、前記第2表示部の画面サイズを示す画面サイズ情報を記憶する画面サイズ情報記憶部と、前記画面サイズ情報記憶部が記憶する前記画面サイズ情報に基づいて、前記第1表示部の画面上の座標を、前記第2表示部の画面上の座標に変換する座標変換部とを備え、前記ペン入力処理部は、前記第2ペン入力モードにおいて、前記座標変換部が変換した前記第2表示部の画面上の座標に基づく前記ペンの移動軌跡を、前記第2表示部に表示させるようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、OS(オペレーティングシステム)に基づく処理を実行するメイン制御部と、前記メイン制御部とは異なる独立した組込み制御部とを備え、前記メイン制御部は、前記ペン入力処理部を備え、前記組込み制御部は、前記入力切替処理部及び前記座標変換部を備えるようにしてもよい。
また、本発明の一態様は、第1表示部と、前記第1表示部の画面上に配置され、前記画面上における物体の接触位置の検出と、ペンが非接触状態で前記第1表示部の画面上に閾値距離以内に接近した前記ペンの接近及び前記画面上の前記ペンの位置の検出とを検出可能なタッチセンサ部と、前記第1表示部と特定の配置関係に設定された第2表示部と、前記タッチセンサ部が検出した前記第1表示部の画面上の前記ペンの接触位置を取得し、前記ペンの接触位置に基づく前記第1表示部の画面上の前記ペンの移動軌跡を、前記第1表示部に表示させる第1ペン入力モードと、前記ペンの移動軌跡を、前記第2表示部に表示させる第2ペン入力モードとを切り替えて実行するペン入力処理部と、前記タッチセンサ部が、前記ペンの接近を検出した後に、前記特定の配置関係に基づく前記ペンの非接触状態での移動操作に応じて、前記第1ペン入力モードと、前記第2ペン入力モードとを、相互に切り替える入力切替処理部とを備える情報処理システムである。
また、本発明の一態様は、第1表示部と、前記第1表示部の画面上に配置され、前記画面上における物体の接触位置の検出と、ペンが非接触状態で前記第1表示部の画面上に閾値距離以内に接近した前記ペンの接近及び前記画面上の前記ペンの位置の検出とを検出可能なタッチセンサ部と、前記第1表示部と特定の配置関係に設定された第2表示部とを備える情報処理システムの制御方法であって、ペン入力処理部が、前記タッチセンサ部が検出した前記第1表示部の画面上の前記ペンの接触位置を取得し、前記ペンの接触位置に基づく前記第1表示部の画面上の前記ペンの移動軌跡を、前記第1表示部に表示させる第1ペン入力モードと、前記ペンの移動軌跡を、前記第2表示部に表示させる第2ペン入力モードとを切り替えて実行するステップと、入力切替処理部が、前記タッチセンサ部が、前記ペンの接近を検出した後に、前記特定の配置関係に基づく前記ペンの非接触状態での移動操作に応じて、前記第1ペン入力モードと、前記第2ペン入力モードとを、相互に切り替えるステップとを含む制御方法である。
本発明の上記態様によれば、ペン入力の対象画面の切り替えを容易に行うことができ、ユーザーエクスペリエンスを向上させることができる。
第1の実施形態による情報処理システムの一例を示す外観図である。 第1の実施形態によるタブレット端末の主要なハードウェア構成の一例を示す図である。 第1の実施形態によるノートPCの主要なハードウェア構成の一例を示す図である。 第1の実施形態による情報処理システムの機能構成の一例を示すブロック図である。 第1の実施形態における配置情報記憶部のデータ例を示す図である。 第1の実施形態におけるホバリングスワイプアウトの操作の一例を示す第1の図である。 第1の実施形態におけるホバリングスワイプアウトの操作の一例を示す第2の図である。 第1の実施形態による情報処理システムにおけるモニタ配置の設定変更処理の一例を示すフローチャートである。 第1の実施形態による情報処理システムにおけるペン入力切替処理の一例を示すフローチャートである。 第1の実施形態による情報処理システムの動作の一例を示す図である。 第2の実施形態による情報処理システムの機能構成の一例を示すブロック図である。 第2の実施形態による情報処理システムの動作の一例を示す図である。 第3の実施形態による情報処理システムの機能構成の一例を示すブロック図である。 第3の実施形態による情報処理システムの動作の一例を示す図である。
以下、本発明の一実施形態に情報処理装置、及び情報処理システムについて、図面を参照して説明する。
[第1の実施形態]
図1は、本実施形態による情報処理システム100の一例を示す外観図である。
図1に示すように、情報処理システム100は、タブレット端末1と、ノートPC2とを備える。なお、本実施形態において、タブレット端末1及びノートPC2は、情報処理装置の一例である。
図1では、情報処理システム100が、ノートPC2に、タブレット端末1を拡張ペンタブレットとして接続し、タブレット端末1の表示部14-1と、ノートPC2の表示部14-2とに異なる画像を表示する一例を示している。
タブレット端末1は、タッチスクリーン20を備えており、タッチスクリーン20は、表示部14-1と、タッチセンサ部33とを備え、表示部14-1は、画面DFに各種情報を表示する。
タッチセンサ部33は、表示部14-1に重ねて配置されており、表示部14-1の画面DF上における物体(例えば、利用者の指、等)の接触位置の検出と、ペン30が非接触状態で表示部14-1の画面DF上に閾値距離以内に接近したペン30の接近及び画面DF上のペン30の位置の検出とを検出可能である。
なお、タッチスクリーン20、表示部14-1、及びタッチセンサ部33の詳細については、後述する。
次に、図2を参照して、タブレット端末1の主要なハードウェア構成について説明する。
図2は、本実施形態によるタブレット端末1の主要なハードウェア構成の一例を示す図である。タブレット端末1は、例えば、OS(Operating System:オペレーティングシステム)がWindows(登録商標)であるノートPCをベースにした端末装置である。タブレット端末1は、通常のノートPCの形態と、タブレット端末の形態との両方で使用可能な情報処理装置である。
図2に示すように、タブレット端末1は、CPU11と、メインメモリ12と、ビデオサブシステム13と、表示部14-1と、チップセット21と、BIOSメモリ22と、SSD23と、USBコネクタ24と、オーディオシステム25と、WLANカード26と、ペン30と、エンベデッドコントローラ31と、入力部32と、タッチセンサ部33と、電源回路34と、センサ部35とを備える。
CPU(Central Processing Unit)11は、プログラム制御により種々の演算処理を実行し、タブレット端末1全体を制御する。
メインメモリ12は、CPU11の実行プログラムの読み込み領域として、又は、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ12は、例えば、複数個のDRAM(Dynamic Random Access Memory)チップで構成される。この実行プログラムには、OS、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種サービス/ユーティリティ、アプリケーションプログラム(アプリケーションソフトウェア)、等が含まれる。
ビデオサブシステム13は、画像表示に関連する機能を実現するためのサブシステムであり、ビデオコントローラを含んでいる。このビデオコントローラは、CPU11からの描画命令を処理し、処理した描画情報をビデオメモリに書き込むとともに、ビデオメモリからこの描画情報を読み出して、表示部14-1に描画データ(表示データ)として出力する。
表示部14-1(14)は、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイであり、ビデオサブシステム13から出力された描画データ(表示データ)に基づく表示画面を表示する。表示部14-1は、上述した図1に示すように、タッチスクリーン20の一部として構成されている。
チップセット21は、USB(Universal Serial Bus)、シリアルATA(AT Attachment)、SPI(Serial Peripheral Interface)バス、PCI(Peripheral Component Interconnect)バス、PCI-Expressバス、及びLPC(Low Pin Count)バスなどのコントローラを備えており複数のデバイスが接続される。図2では、デバイスの例示として、BIOSメモリ22と、SSD23と、USBコネクタ24と、オーディオシステム25と、WLANカード26と、エンベデッドコントローラ31とが、チップセット21に接続されている。
BIOS(Basic Input Output System)メモリ22は、例えば、EEPROM(Electrically Erasable Programmable Read Only Memory)やフラッシュROMなどの電気的に書き換え可能な不揮発性メモリで構成される。BIOSメモリ22は、BIOS、及びエンベデッドコントローラ31などを制御するためのシステムファームウェアなどを記憶する。
SSD(Solid State Drive)23(不揮発性記憶装置の一例)は、OS、各種ドライバ、各種サービス/ユーティリティ、アプリケーションプログラム(以下、アプリケーションということがある)、及び各種データを記憶する。
USBコネクタ24は、USBを利用した周辺機器類を接続するためのコネクタである。
オーディオシステム25は、音データの記録、再生、出力を行う。
WLAN(Wireless Local Area Network)カード26は、ワイヤレスLAN(無線LAN)により、ネットワークに接続して、データ通信を行う。WLANカード26は、例えば、ネットワークからのデータを受信した際に、データを受信したことを示すイベントトリガを発生する。
エンベデッドコントローラ31は、タブレット端末1のシステム状態に関わらず、各種デバイス(周辺装置やセンサ等)を監視し制御するワンチップマイコン(One-Chip Microcomputer)である。また、エンベデッドコントローラ31は、電源回路34を制御する電源管理機能を有している。なお、エンベデッドコントローラ31は、不図示のCPU、ROM、RAMなどで構成されるとともに、複数チャネルのA/D入力端子、D/A出力端子、タイマ、及びデジタル入出力端子を備えている。エンベデッドコントローラ31には、それらの入出力端子を介して、例えば、入力部32、タッチセンサ部33、電源回路34、及びセンサ部35などが接続されており、エンベデッドコントローラ31は、これらの動作を制御する。
入力部32は、例えば、電源スイッチ、キーボード、ポインティングデバイスなどの入力デバイスである。
タッチセンサ部33は、例えば、ペン30(ペン形状の媒体)が表示部14-1の画面DFに対して所定の距離以内(閾値距離以内)に接近したことを検出し、ペン30が画面DFに対して所定の距離以内に接近した場合に、非接触状態で、画面DF上におけるペン30の位置を検出可能である。すなわち、タッチセンサ部33は、表示部14-1の画面DF上に非接触状態で、且つ、閾値距離以内に接近した状態を、ペン30が一定期間維持するホバリング状態を検出可能である。なお、タッチセンサ部33と、表示部14-1とは、タッチスクリーン20を構成する。
また、タッチセンサ部33は、接触検出部331と、ペン検出部332とを備える。
接触検出部331は、例えば、静電容量式のタッチセンサであり、表示部14の画面DFに接触した操作媒体(ペン30や指などの物体)を検出するとともに、操作媒体が接触している位置を検出する。
ペン検出部332は、例えば、電磁誘導方式のタッチセンサであり、ペン30の共振回路LC1を利用して、非接触により、ペン30の表示部14の画面DF上の位置を検出する。ペン検出部332は、例えば、ペン30が表示部14の画面DFに対して閾値距離以内に近づいたことを検出可能である。
このように、タッチセンサ部33は、画面DF上における物体(例えば、指など)の接触によるタッチ入力と、ペン30の接触によるペン入力とを検出可能である。
なお、タッチセンサ部33は、ペン検出部332が、ペン30が表示部14の画面DFに対して閾値距離以内に近づいたことを検出した際に、接触検出部331が、ペン30の未接触を検出することで、ペン30のホバリングを検出可能である。
ペン30は、ペン形状の操作媒体であり、例えば、タッチペン、スタイラスペンなどである。ペン30は、共振回路LC1を備えている。ペン30は、共振回路LC1のコイルへの電磁誘導により、電源が供給され、共振回路を利用して、表示部14-1の画面DF上におけるペン30の位置を検出可能に構成されている。
電源回路34は、例えば、DC/DCコンバータ、充放電ユニット、電池ユニット、AC/DCアダプタなどを含んでおり、AC/DCアダプタ、又は電池ユニットから供給される直流電圧を、タブレット端末1を動作させるために必要な複数の電圧に変換する。また、電源回路34は、エンベデッドコントローラ31からの制御に基づいて、タブレット端末1の各部に電力を供給する。
センサ部35は、例えば、加速度センサやジャイロセンサなどであり、タブレット端末1の使用状態を示す画面表示向きを検出する。センサ部35は、例えば、重力加速度の向きを検出して、タブレット端末1(表示部14-1)の画面表示向きを検出する。
なお、本実施形態において、上述したCPU11及びチップセット21は、メイン制御部10-1(10)に対応する。メイン制御部10-1(10)は、OS(例えば、Windows(登録商標))に基づく処理を実行する。
次に、図3を参照して、ノートPC2の主要なハードウェア構成について説明する。
図3に示すように、ノートPC2は、CPU11と、メインメモリ12と、ビデオサブシステム13と、表示部14-2と、チップセット21と、BIOSメモリ22と、SSD23と、USBコネクタ24と、オーディオシステム25と、WLANカード26と、エンベデッドコントローラ31と、入力部32と、電源回路34と、センサ部35とを備える。
なお、図3において、ノートPC2の各構成は、図2に示すタブレット端末1の各構成と同様のものは、同様の符号を付与してここではその説明を省略する。また、各構成において、タブレット端末1とノートPC2とで区別する場合には、タブレット端末1の構成の符号に“-1”を付与し、ノートPC2の構成の符号に“-2”を付与して区別する。
ノートPC2は、表示部14-1及びタッチセンサ部33であるタッチスクリーン20の代わりに、表示部14-2を備える点が異なる。
次に、図4を参照して、本実施形態による情報処理システム100の機能構成について説明する。
図4は、本実施形態による情報処理システム100の機能構成の一例を示すブロック図である。
図4に示すように、情報処理システム100は、タブレット端末1と、ノートPC2と、ペン30とを備える。また、タブレット端末1は、メイン制御部10-1と、タッチスクリーン20と、エンベデッドコントローラ31-1と、記憶部40-1とを備える。また、ノートPC2は、メイン制御部10-2と、表示部14-2と、記憶部40-2とを備える。
タブレット端末1のメイン制御部10-1と、ノートPC2のメイン制御部10-2とは、例えば、HDMI(登録商標、High-Definition Multimedia Interface)、USB-C、Display Port、WiDi、及びUSB又はBluetooth(登録商標)などにより接続されている。
なお、図4において、情報処理システム100の構成として、本実施形態の発明に関する主要な機能構成のみを記載している。
記憶部40-2は、例えば、ノートPC2のメインメモリ12又はSSD23により実現される記憶部であり、例えば、表示部14-1と表示部14-2との配置関係を示す情報、表示部14-2の画面サイズなどの各種情報を記憶する。記憶部40-2は、配置関係記憶部42と、画面サイズ情報記憶部43とを備える。
配置関係記憶部42は、例えば、ノートPC2のメインメモリ12又はSSD23により実現される記憶部であり、表示部14-1の画面(モニタ)と、表示部14-2の画面(モニタ)との配置関係を示す設定情報を記憶する。配置関係記憶部42は、例えば、OSにおけるモニタ配置の設定情報を記憶する。
また、例えば、図1に示す例では、ノートPC2の表示部14-2の画面に、タブレット端末1の表示部14-1の画面が拡張されて1つの画面となっており、ノートPC2の表示部14-2の画面が左側に配置され、タブレット端末1の表示部14-1が右側に配置されている。この場合、配置関係記憶部42は、ノートPC2の表示部14-2の画面が左側に配置され、タブレット端末1の表示部14-1が右側に配置されていることを示す配置関係を記憶する。
画面サイズ情報記憶部43は、例えば、ノートPC2のメインメモリ12又はSSD23により実現される記憶部であり、表示部14-2の画面サイズ情報を記憶する。画面サイズ情報記憶部43は、例えば、表示部14-2の画面の縦横の画素数、又は縦横の長さ、等を記憶する。
メイン制御部10-2は、ノートPC2のCPU11及びチップセット21が、ノートPC2のメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、OSに基づく各種処理を実行する。メイン制御部10-2は、例えば、利用者によって、配置関係記憶部42が記憶するモニタ配置の設定情報(配置関係情報)が変更された場合、変更に応じた配置関係情報を、タブレット端末1のメイン制御部10-1に送信する。
また、メイン制御部10-2は、例えば、アプリケーション104と、表示処理部105とを備える。
アプリケーション104は、ノートPC2のCPU11及びチップセット21が、ノートPC2のメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、OSに基づく各種処理を実行する。アプリケーション104は、例えば、描画ソフトや手書きメモなどのペン入力を含む処理を実行する。
表示処理部105は、ノートPC2のCPU11及びチップセット21が、ノートPC2のメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、例えば、ディスプレイドライバである。表示処理部105は、例えば、アプリケーション104の要求に応じて、表示部14-2に画像を表示させるとともに、表示部14-1に表示させる画像を、タブレット端末1のメイン制御部10-1に出力する。なお、本実施形態では、図1に示すように、表示部14-1と表示部14-2とで異なる画像を表示する。
表示部14-2は、ノートPC2のメインの表示部であり、表示処理部105を介して、アプリケーション104から出力された画像を表示する。
記憶部40-1は、例えば、タブレット端末1のメインメモリ12又はSSD23により実現される記憶部であり、例えば、ペン入力情報などの各種情報を記憶する。記憶部40-1は、ペン入力情報記憶部41を備える。
ペン入力情報記憶部41は、タブレット端末1のメインメモリ12又はSSD23により実現される記憶部であり、タッチスクリーン20により検出したペン入力情報(例えば、ペン30の移動軌跡などの手書き入力情報、等)を記憶する。ペン入力情報記憶部41が記憶するペン入力情報は、拡張ペンタブレットの入力情報として、ノートPC2に送信される。
メイン制御部10-1は、タブレット端末1のCPU11及びチップセット21が、タブレット端末1のメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、OSに基づく各種処理を実行する。メイン制御部10-1は、タブレット端末1を拡張ペンタブレットとして機能させる制御を実行する。また、メイン制御部10-1は、例えば、ECドライバ101と、ペン入力処理部102と、表示処理部103とを備える。
ECドライバ101は、タブレット端末1のCPU11及びチップセット21が、タブレット端末1のメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、エンベデッドコントローラ31の制御を行うデバイスドライバである。ECドライバ101は、エンベデッドコントローラ31を制御して、タッチセンサ部33が検出したタッチ入力及びペン入力を取得して、後述するペン入力処理部102に供給する。
ペン入力処理部102は、タブレット端末1のCPU11及びチップセット21が、タブレット端末1のメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、タッチスクリーン20及びペン30による手書き入力などのペン入力処理を制御する。ペン入力処理部102は、タッチスクリーン20のタッチセンサ部33が検出した表示部14-1の画面DF上のペン30の接触位置を取得し、タブレット画面(表示部14-1の画面DF)の入力モード(第1ペン入力モード)と、ノートPC画面(表示部14-2の画面)の入力モード(第2ペン入力モード)とを切り替えて実行する。
ここで、タブレット画面の入力モード(第1ペン入力モード)は、ペン30の接触位置に基づく表示部14-1の画面DF上のペン30の移動軌跡を、表示部14-1に表示させるペン入力モードである。また、ノートPC画面の入力モード(第2ペン入力モード)は、ペン30の移動軌跡を、表示部14-2(第2表示部)に表示させる。
ペン入力処理部102は、例えば、エンベデッドコントローラ31-1からの入力モードの切替要求に応じて、タブレット画面の入力モードと、ノートPC画面の入力モードとを切り替える。
また、ペン入力処理部102は、タブレット画面の入力モードにおいて、表示部14-1の画面DF上のペン30の移動軌跡を、表示処理部103を介して、表示部14-1に表示させる。
また、ペン入力処理部102は、ノートPC画面の入力モードにおいて、エンベデッドコントローラ31-1の座標変換部314が変換した表示部14-2の画面上の座標に基づくペン30の移動軌跡を、表示部14-2に表示させる。この場合、ペン入力処理部102は、ペン30の移動軌跡を、ノートPC2のメイン制御部10-2に送信して、表示処理部105を介して、表示部14-2に表示させる。
また、ペン入力処理部102は、ペン30の移動軌跡をペン入力情報として、ペン入力情報記憶部41に記憶する。ペン入力処理部102は、ペン入力情報記憶部41が記憶するペン入力情報を、ノートPC2のメイン制御部10-2に送信する。
表示処理部103は、タブレット端末1のCPU11及びチップセット21が、タブレット端末1のメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、例えば、ディスプレイドライバである。表示処理部103は、例えば、ノートPC2のメイン制御部10-2から受信した表示部14-1用の表示画像データを、表示部14-1に表示させる。また、表示処理部103は、ペン入力処理部102の要求に応じて、表示部14-1の画面DF上のペン30の移動軌跡を、表示部14-1に表示させる。
エンベデッドコントローラ31-1は、タッチセンサ部33が検出したペン入力情報(例えば、画面DF上のペン30の座標情報)を取得し、当該ペン入力情報を、メイン制御部10-1に送信する。ここで、エンベデッドコントローラ31-1は、メイン制御部10-1とは異なる独立した組込み制御部の一例である。また、エンベデッドコントローラ31-1は、後述するペン30によるホバリングスワイプアウトの操作を検出した場合に、ホバリングスワイプアウトの操作に応じた入力モードに切り替える切替要求を、メイン制御部10-1に送信する。
また、エンベデッドコントローラ31-1は、ノートPC2のメイン制御部10-2から、配置関係及び画面サイズ情報を受信し、配置関係を示す配置情報を、配置情報記憶部311に記憶させるとともに、画面サイズ情報を画面サイズ情報記憶部312に記憶させる。
エンベデッドコントローラ31-1は、配置情報記憶部311と、画面サイズ情報記憶部312と、入力切替処理部313と、座標変換部314とを備える。
配置情報記憶部311は、エンベデッドコントローラ31-1が内蔵するRAMなどにより実現される記憶部である。配置情報記憶部311は、表示部14-1の画面DFと、表示部14-2の画面との配置関係を示す配置情報を記憶する。配置情報記憶部311は、例えば、図5に示すように、後述するホバリングスワイプアウトの操作と、切り替える入力モードとを対応付けた配置情報を記憶する。
図5は、本実施形態における配置情報記憶部311のデータ例を示す図である。
図5に示すように、配置情報記憶部311は、画面エッジと、入力切替とを対応付けて記憶する。ここで、画面エッジは、ホバリングスワイプアウトの操作における移動方向の画面の端を示している。すなわち、画面エッジは、画面の配置関係に基づく、入力切替のための移動方向の画面の端を示している。また、入力切替は、入力切替を行う入力モードを示している。
なお、図5に示す例は、画面の配置関係が図1に示すように、表示部14-1の画面DFが右側であり、表示部14-2の画面が左側である場合の一例である。
図5に示すように、画面エッジが、“右側エッジ”である場合に、“タブレット画面にペン入力”(タブレット画面の入力モード)に切り替えることを示している。
また、画面エッジが、“左側エッジ”である場合に、“ノートPC画面にペン入力”(ノートPC画面の入力モード)に切り替えることを示している。
また、画面エッジが、“上側エッジ”又は“下側エッジ”である場合に、“入力切替なし”であることを示している。
このように、配置情報記憶部311は、表示部14-1と、表示部14-2との配置関係を示す配置情報として、画面エッジと入力切替とを対応付けた入力切替テーブルを記憶する。
図4の説明に戻り、画面サイズ情報記憶部312は、エンベデッドコントローラ31-1が内蔵するRAMなどにより実現される記憶部である。画面サイズ情報記憶部312は、ノートPC2のメイン制御部10-2から受信した画面サイズ情報を記憶する。
入力切替処理部313は、エンベデッドコントローラ31-1が内蔵するCPUが、ROMが記憶するプログラムを実行することで実現される機能部である。入力切替処理部313は、タッチセンサ部33が、ペン30の接近を検出した後に、特定の配置関係に基づくペンの非接触状態での移動操作に応じて、タブレット画面の入力モードと、ノートPC画面の入力モードとを、相互に切り替える。入力切替処理部313は、ペン30によるホバリングスワイプアウトの操作を検出した場合に、タブレット画面の入力モードと、ノートPC画面の入力モードとのうちの、切替先の画面に対応する入力モードに切り替える。
ここで、ペン30によるホバリングスワイプアウトの操作とは、表示部14-1の画面DF上に非接触状態で、且つ、閾値距離以内に接近した状態を、ペン30が一定期間維持するホバリング状態がタッチセンサ部33によって検出された後に、配置情報に基づいて、切替先の画面を示す方向に表示部14-1の画面DFを超えてペンを移動させる操作である。また、配置情報は、上述した配置情報記憶部311が記憶する情報である。
ここで、図6及び図7を参照して、ペン30によるホバリングスワイプアウトの操作の一例について説明する。
図6及び図7は、本実施形態におけるホバリングスワイプアウトの操作の一例を示す図である。図6及び図7において、距離Lは、表示部14-1の画面DFと、ペン30との距離を示し、閾値距離Lthは、タッチセンサ部33のペン検出部332が、ペン30を非接触状態で検出可能な閾値である。また、画面DFのエッジLEは、画面DFの左側の端(エッジ)を示し、画面DFのエッジREは、画面DFの右側の端(エッジ)を示している。
また、図6に示すように、ペン30が、閾値距離Lth以内の距離Lに近づけられて、画面DFのエッジLEを超えて移動された場合に、エンベデッドコントローラ31-1は、左側エッジのホバリングスワイプアウトの操作として検出する。
また、図7に示すように、ペン30が、閾値距離Lth以内の距離Lに近づけられて、画面DFのエッジREを超えて移動された場合に、エンベデッドコントローラ31-1は、右側エッジのホバリングスワイプアウトの操作として検出する。
再び、図4の説明に戻り、入力切替処理部313は、例えば、図7に示すような右側エッジのホバリングスワイプアウトの操作を検出した場合に、図5に示すように、配置情報記憶部311が記憶する配置情報に基づいて、タブレット画面の入力モードに切り替える切替要求を、メイン制御部10-1に送信する。
また、入力切替処理部313は、例えば、図6に示すような左側エッジのホバリングスワイプアウトの操作を検出した場合に、図5に示すように、配置情報記憶部311が記憶する配置情報に基づいて、ノートPC画面の入力モードに切り替える切替要求を、メイン制御部10-1に送信する。
また、入力切替処理部313は、例えば、上側エッジ又は下側エッジのホバリングスワイプアウトの操作を検出した場合に、図5に示すように、配置情報記憶部311が記憶する配置情報に基づいて、入力モードの切り替えを実行しない。
座標変換部314は、エンベデッドコントローラ31-1が内蔵するCPUが、ROMが記憶するプログラムを実行することで実現される機能部である。座標変換部314は、画面サイズ情報記憶部312が記憶する画面サイズ情報に基づいて、表示部14-1の画面DF上の座標を、表示部14-2の画面上の座標に変換する。座標変換部314は、ノートPC画面の入力モードである場合に、表示部14-1の画面DF上の座標を、表示部14-2の画面上の座標に変換し、変換した表示部14-2の画面上の座標を、メイン制御部10-1のペン入力処理部102に送信する。
次に、図面を参照して、本実施形態による情報処理システム100の動作について説明する。
図8は、本実施形態による情報処理システム100におけるモニタ配置の設定変更処理の一例を示すフローチャートである。
ここでは、利用者によって、配置関係記憶部42が記憶するモニタ配置の設定情報が変更された場合の処理の一例について説明する。
図8に示すように、ノートPC2のメイン制御部10-2は、モニタ配置の設定変更を検出したか否かを判定する(ステップS101)。メイン制御部10-2は、利用者によって、配置関係記憶部42が記憶するモニタ配置の設定情報が変更されたか否かによって、モニタ配置の設定変更を検出したか否かを判定する。メイン制御部10-2は、モニタ配置の設定変更を検出した場合(ステップS101:YES)に、処理をステップS102に進める。また、メイン制御部10-2は、モニタ配置の設定変更を検出していない場合(ステップS101:NO)に、処理をステップS101に戻す。
ステップS102において、メイン制御部10-2は、配置情報を変更する。メイン制御部10-2は、配置関係記憶部42が記憶するモニタ配置の設定情報(配置関係情報)を、タブレット端末1のメイン制御部10-1に送信し、配置情報記憶部311が記憶する配置情報を変更させる。メイン制御部10-1は、受信したモニタ配置の設定情報(配置関係情報)を、エンベデッドコントローラ31-1に送信し、上述した図5に示すような配置情報記憶部311の配置情報を変更させる。ステップS102の処理後に、メイン制御部10-2は、処理をステップS101に戻す。
次に、図9を参照して、本実施形態による情報処理システム100におけるペン入力切替処理について説明する。
図9は、本実施形態による情報処理システム100におけるペン入力切替処理の一例を示すフローチャートである。
図9に示すように、タブレット端末1の入力切替処理部313は、まず、ホバリングスワイプアウトの操作を検出したか否かを判定する(ステップS201)。入力切替処理部313は、タッチセンサ部33のペン検出部332によるペン30の検出により、ホバリングスワイプアウトの操作を検出したか否かを判定する。入力切替処理部313は、ホバリングスワイプアウトの操作を検出した場合(ステップS201:YES)に、処理をステップS202に進める。また、入力切替処理部313は、ホバリングスワイプアウトの操作を検出していない場合(ステップS201:NO)に、処理をステップS201に戻す。
ステップS202において、入力切替処理部313は、配置関係情報に応じて、ペン入力先の画面を切り替える。すなわち、入力切替処理部313は、ホバリングスワイプアウトの操作の画面のエッジと、配置情報記憶部311が記憶する図5に示すような配置情報とに基づいて、入力モードを切り替える。入力切替処理部313は、配置情報記憶部311から取得した画面のエッジに対応する入力モードに切り替える切替要求を、メイン制御部10-1に送信する。ステップS202の処理後に、入力切替処理部313は、処理をステップS201に戻す。
次に、図10を参照して、本実施形態による情報処理システム100の動作の具体例について説明する。
図10は、本実施形態による情報処理システム100の動作の一例を示す図である。ここでは、配置関係情報及び画面サイズ情報の設定処理と、タブレット画面の入力モードからノートPC画面の入力モードに切り替えた後、再びタブレット画面の入力モードに気鋭換える処理の一例について説明する。
図10において、ノートPC2は、まず、モニタ画面の設定情報である配置関係情報と、表示部14-2の画面サイズ情報とをタブレット端末1のメイン制御部10-1に送信する(ステップS301)。ノートPC2のメイン制御部10-2は、配置関係情報と画面サイズ情報とをメイン制御部10-1に送信する。
次に、メイン制御部10-1は、配置関係情報と画面サイズ情報とをエンベデッドコントローラ31-1に送信する(ステップS302)。メイン制御部10-1は、ECドライバ101を介して、配置関係情報と画面サイズ情報とをエンベデッドコントローラ31-1に送信する。
次に、エンベデッドコントローラ31-1は、配置関係情報、及び画面サイズ情報を記憶する(ステップS303)。エンベデッドコントローラ31-1は、受信した配置関係情報に基づく図5に示すような配置情報を、配置情報記憶部311に記憶させる。また、エンベデッドコントローラ31-1は、受信した画面サイズ情報を、画面サイズ情報記憶部312に記憶させる。
次に、ノートPC2が、タブレット画面の表示画像をメイン制御部10-1に送信する(ステップS304)。例えば、ノートPC2のアプリケーション104は、タブレット画面の表示画像を、メイン制御部10-1に送信する。
次に、メイン制御部10-1は、タブレット画面に画像を表示する(ステップS305)。メイン制御部10-1の表示処理部103は、受信したタブレット画面の表示画像を、表示部14-1に表示させる。
また、ノートPC2は、ノートPC画面に画像を表示する(ステップS306)。ノートPC2のアプリケーション104は、表示処理部105を介して、ノートPC画面の表示画像を表示部14-2に表示させる。なお、タブレット画面の表示画像と、ノートPC画面の表示画像とは、異なる画像であるものとする。
次に、エンベデッドコントローラ31-1は、ペン入力を検出したか否かを判定する(ステップS307)。エンベデッドコントローラ31-1は、タッチセンサ部33の接触検出部331及びペン検出部332によってペン入力が検出されたか否かを判定する。エンベデッドコントローラ31-1は、ペン入力を検出した場合(ステップS307:YES)に、処理をステップS308に進める。また、エンベデッドコントローラ31-1は、ペン入力を検出していない場合(ステップS307:NO)に、処理をステップS307に戻す。
ステップS308において、エンベデッドコントローラ31-1は、ペン入力情報をメイン制御部10-1に送信する。エンベデッドコントローラ31-1は、例えば、ペン30の移動軌跡(ペンストローク)を、ペン入力情報として、メイン制御部10-1に送信する。
次に、メイン制御部10-1は、ペン入力情報をタブレット画面に表示する(ステップS309)。メイン制御部10-1のペン入力処理部102は、タブレット画面の入力モードの処理として、エンベデッドコントローラ31-1からECドライバ101を介して受信したペン入力情報(ペン30の移動軌跡)を、表示処理部103を介して、表示部14-1に表示させる。
次に、ペン入力処理部102は、ペン入力情報を、ノートPC2に送信する(ステップS310)。ノートPC2に送信されたペン入力情報は、例えば、アプリケーション104の処理に利用される。
また、エンベデッドコントローラ31-1は、ホバリングスワイプアウト(左側エッジ)の操作を検出したか否かを判定する(ステップS311)。エンベデッドコントローラ31-1は、タッチセンサ部33のペン検出部332によって、ホバリングスワイプアウト(左側エッジ)の操作を検出したか否かを判定する。エンベデッドコントローラ31-1は、ホバリングスワイプアウト(左側エッジ)の操作を検出した場合(ステップS311:YES)に、処理をステップS312に進める。また、エンベデッドコントローラ31-1は、ホバリングスワイプアウト(左側エッジ)の操作を検出していない場合(ステップS311:NO)に、処理をステップS311に戻す。
ステップS312において、エンベデッドコントローラ31-1は、ノートPC画面の入力モードに切り替える切替要求を、メイン制御部10-1に送信する。すなわち、エンベデッドコントローラ31-1の入力切替処理部313は、配置情報記憶部311が記憶する図5に示すような配置情報とに基づいて、ノートPC画面の入力モードに切り替える切替要求を、メイン制御部10-1に送信する。これにより、メイン制御部10-1のペン入力処理部102は、タブレット画面の入力モードからノートPC画面の入力モードに切り替えられる。
エンベデッドコントローラ31-1は、ペン入力を検出したか否かを判定する(ステップS313)。エンベデッドコントローラ31-1は、タッチセンサ部33の接触検出部331及びペン検出部332によってペン入力が検出されたか否かを判定する。エンベデッドコントローラ31-1は、ペン入力を検出した場合(ステップS313:YES)に、処理をステップS314に進める。また、エンベデッドコントローラ31-1は、ペン入力を検出していない場合(ステップS313:NO)に、処理をステップS313に戻す。
ステップS314において、エンベデッドコントローラ31-1は、ペン入力座標を画面サイズ情報に基づいて変換する。すなわち、エンベデッドコントローラ31-1の座標変換部314は、タッチセンサ部33の接触検出部331及びペン検出部332によって検出されたペン入力座標を、画面サイズ情報記憶部312が記憶する画面サイズ情報に基づいて、表示部14-2の画面サイズに対応じたペン入力座標に変換する。
次に、エンベデッドコントローラ31-1は、変換されたペン入力座標に基づくペン入力情報をメイン制御部10-1に送信する(ステップS315)。エンベデッドコントローラ31-1は、変換されたペン入力座標に基づくペン30の移動軌跡(ペンストローク)を、ペン入力情報として、メイン制御部10-1に送信する。
次に、メイン制御部10-1は、ペン入力情報を、ノートPC2に送信する(ステップS316)。すなわち、メイン制御部10-1のペン入力処理部102は、エンベデッドコントローラ31-1からECドライバ101を介して受信したペン入力情報(ペン30の移動軌跡)を、ノートPC2に送信する。
次に、ノートPC2は、ペン入力情報をノートPC画面に表示する(ステップS317)。ノートPC2のメイン制御部10-2は、受信したペン入力情報(ペン30の移動軌跡)を、表示処理部105を介して、表示部14-2に表示させる。
また、エンベデッドコントローラ31-1は、ホバリングスワイプアウト(右側エッジ)の操作を検出したか否かを判定する(ステップS318)。エンベデッドコントローラ31-1は、タッチセンサ部33のペン検出部332によって、ホバリングスワイプアウト(左側エッジ)の操作を検出したか否かを判定する。エンベデッドコントローラ31-1は、ホバリングスワイプアウト(右側エッジ)の操作を検出した場合(ステップS318:YES)に、処理をステップS319に進める。また、エンベデッドコントローラ31-1は、ホバリングスワイプアウト(右側エッジ)の操作を検出していない場合(ステップS318:NO)に、処理をステップS318に戻す。
ステップS319において、エンベデッドコントローラ31-1は、タブレット画面の入力モードに切り替える切替要求を、メイン制御部10-1に送信する。すなわち、エンベデッドコントローラ31-1の入力切替処理部313は、配置情報記憶部311が記憶する図5に示すような配置情報とに基づいて、タブレット画面の入力モードに切り替える切替要求を、メイン制御部10-1に送信する。これにより、メイン制御部10-1のペン入力処理部102は、ノートPC画面の入力モードからタブレット画面の入力モードに切り替えられる。
以上説明したように、本実施形態によるタブレット端末1(情報処理装置)は、表示部14-1(第1表示部)と、タッチセンサ部33と、ペン入力処理部102と、入力切替処理部313とを備える。タッチセンサ部33は、表示部14-1の画面上に配置され、画面上における物体の接触位置の検出と、ペンが非接触状態で表示部14-1の画面上に閾値距離以内に接近したペン30の接近及び画面上のペン30の位置の検出とを検出可能である。ペン入力処理部102は、タブレット画面の入力モード(第1ペン入力モード)と、ノートPC画面の入力モード(第2ペン入力モード)とを切り替えて実行する。ここで、タブレット画面の入力モード(第1ペン入力モード)は、タッチセンサ部33が検出した表示部14-1の画面DF上のペンの接触位置を取得し、ペン30の接触位置に基づく表示部14-1の画面DF上のペンの移動軌跡を、表示部14-1に表示させる入力モードである。また、ノートPC画面の入力モード(第2ペン入力モード)は、ペン30の移動軌跡を、表示部14-1と特定の配置関係に設定された表示部14-2(第2表示部)に表示させる入力モードである。入力切替処理部313は、タッチセンサ部33が、ペンの接近を検出した後に、特定の配置関係に基づくペンの非接触状態での移動操作に応じて、タブレット画面の入力モードと、ノートPC画面の入力モードとを、相互に切り替える。
これにより、本実施形態によるタブレット端末1(情報処理装置)は、2つの表示部14(2つの表示画面)を有する情報処理システム100の1つの表示部14-1でペン入力を切り替えて行う場合に、ペン30の操作によって、ペン入力の対象画面の切り替えを容易に行うことができる。すなわち、本実施形態によるタブレット端末1は、タブレット端末1(情報処理装置)は、例えば、タブレット端末1を拡張ペンタブレットとして動作させる際に、ノートPC画面とタブレット画面とで、設定変更メニューを開いて、ペン入力の対象画面を切り替える必要がなく、ペン30の操作によって、ペン入力の対象画面の切り替えを容易に行うことができる。よって、本実施形態によるタブレット端末1は、ペン入力の対象画面の切り替えを容易に行うことができ、ユーザーエクスペリエンスを向上させることができる。
また、本実施形態によるタブレット端末1は、表示部14-1と、表示部14-2との配置関係を示す配置情報を記憶する配置情報記憶部311を備える。入力切替処理部313は、ホバリングスワイプアウトの操作を検出した場合に、タブレット画面の入力モードと、ノートPC画面の入力モードとのうちの、切替先の画面に対応する入力モードに切り替える。ここで、ホバリングスワイプアウトの操作とは、表示部14-1の画面上に非接触状態で、且つ、閾値距離以内に接近した状態を、ペン30が一定期間維持するホバリング状態がタッチセンサ部33によって検出された後に、配置情報に基づいて、切替先の画面を示す方向に表示部14-1の画面を超えてペンを移動させる操作である。
これにより、本実施形態によるタブレット端末1は、ホバリングスワイプアウトの操作という画面DFに非接触な簡易な操作により、ペン入力の対象画面の切り替えを容易に行うことができる。
また、本実施形態によるタブレット端末1は、画面サイズ情報記憶部312と、座標変換部314とを備える。画面サイズ情報記憶部312は、表示部14-2の画面サイズを示す画面サイズ情報を記憶する。座標変換部314は、画面サイズ情報記憶部312が記憶する画面サイズ情報に基づいて、表示部14-1の画面DF上の座標を、表示部14-2の画面上の座標に変換する。ペン入力処理部102は、第2ペン入力モードにおいて、座標変換部314が変換した表示部14-2の画面上の座標に基づくペンの移動軌跡を、表示部14-2に表示させる。
これにより、本実施形態によるタブレット端末1は、座標変換部314を用いることで、表示部14-1の画面DF上で入力されたペン入力情報(例えば、ペン30の移動軌跡)を、表示部14-2の画面に、適切に表示させることができる。
また、本実施形態によるタブレット端末1は、メイン制御部10-1と、エンベデッドコントローラ31-1(組込み制御部)とを備える。メイン制御部10-1は、OS(例えば、Windows(登録商標))に基づく処理を実行する。エンベデッドコントローラ31-1は、メイン制御部10-1とは異なる独立した制御部である。メイン制御部10-1は、ペン入力処理部102を備え、エンベデッドコントローラ31-1は、入力切替処理部313及び座標変換部314を備える。
これにより、本実施形態によるタブレット端末1は、入力切替処理及び座標変換処理を、メイン制御部10-1とは異なる独立したエンベデッドコントローラ31-1が実行するため、これらの処理を、メイン制御部10-1に処理負荷を軽減しつつ、迅速に実行することができる。
また、本実施形態による情報処理システム100は、表示部14-1(第1表示部)と、表示部14-2(第2表示部)と、タッチセンサ部33と、ペン入力処理部102と、入力切替処理部313とを備える。タッチセンサ部33は、表示部14-1の画面上に配置され、画面上における物体の接触位置の検出と、ペンが非接触状態で表示部14-1の画面上に閾値距離以内に接近したペン30の接近及び画面上のペン30の位置の検出とを検出可能である。表示部14-2は、表示部14-1と特定の配置関係に設定されている。ペン入力処理部102は、タブレット画面の入力モード(第1ペン入力モード)と、ノートPC画面の入力モード(第2ペン入力モード)とを切り替えて実行する。入力切替処理部313は、タッチセンサ部33が、ペンの接近を検出した後に、特定の配置関係に基づくペンの非接触状態での移動操作に応じて、タブレット画面の入力モードと、ノートPC画面の入力モードとを、相互に切り替える。
これにより、本実施形態による情報処理システム100は、上述したタブレット端末1と同様の効果を奏し、ペン入力の対象画面の切り替えを容易に行うことができ、ユーザーエクスペリエンスを向上させることができる。
また、本実施形態による制御方法は、表示部14-1と、表示部14-1の画面DF上に配置され、画面DF上における物体の接触位置の検出と、ペンが非接触状態で表示部14-1の画面DF上に閾値距離以内に接近したペンの接近及び画面上のペンの位置の検出とを検出可能なタッチセンサ部33と、表示部14-1と特定の配置関係に設定された表示部14-2とを備える情報処理システム100の制御方法であって、ペン入力処理ステップと、ペン入力切替ステップとを含む。ペン入力処理ステップにおいて、ペン入力処理部102が、タッチセンサ部33が検出した表示部14-1の画面DF上のペン30の接触位置を取得し、ペン30の接触位置に基づく表示部14-1の画面DF上のペン30の移動軌跡を、表示部14-1に表示させるタブレット画面の入力モード(第1ペン入力モード)と、ペン30の移動軌跡を、表示部14-2に表示させるノートPC画面の入力モード(第2ペン入力モード)とを切り替えて実行する。
これにより、本実施形態による制御方法は、上述したタブレット端末1及び情報処理システム100と同様の効果を奏し、ペン入力の対象画面の切り替えを容易に行うことができ、ユーザーエクスペリエンスを向上させることができる。
[第2の実施形態]
次に、図面を参照して、第2の実施形態による情報処理システム100aについて説明する。本実施形態では、ペン入力処理及びペン入力切替処理を、タブレット端末1aのメイン制御部10a-1で実行する変形例について説明する。
図11は、第2の実施形態による情報処理システム100aの機能構成の一例を示すブロック図である。
なお、第2の実施形態による情報処理システム100aのタブレット端末1aの外観及びハードウェア構成は、上述した図1及び図2に示す第1の実施形態と同様であるため、ここではその説明を省略する。
図11に示すように、情報処理システム100aは、タブレット端末1aと、ノートPC2と、ペン30とを備える。また、タブレット端末1aは、メイン制御部10a-1と、タッチスクリーン20と、エンベデッドコントローラ31a-1と、記憶部40a-1とを備える。また、ノートPC2は、メイン制御部10-2と、表示部14-2と、記憶部40-2とを備える。
図11において、上述した図4と同一の構成には同一の符号を付与して、その説明を省略する。本実施形態では、エンベデッドコントローラ31a-1は、配置情報記憶部311と、画面サイズ情報記憶部312と、入力切替処理部313と、座標変換部314とを備えずに、配置情報記憶部311及び画面サイズ情報記憶部312を記憶部40a-1が備え、入力切替処理部313及び座標変換部314をメイン制御部10a-1が備える。
記憶部40a-1は、例えば、タブレット端末1aのメインメモリ12又はSSD23により実現される記憶部であり、例えば、ペン入力情報などの各種情報を記憶する。記憶部40a-1は、ペン入力情報記憶部41と、配置情報記憶部44と、画面サイズ情報記憶部45とを備える。
配置情報記憶部44は、タブレット端末1aのメインメモリ12又はSSD23により実現される記憶部であり、表示部14-1の画面DFと、表示部14-2の画面との配置関係を示す配置情報を記憶する。配置情報記憶部44は、上述した配置情報記憶部311と同様の構成であるため、ここではその説明を省略する。すなわち、配置情報記憶部44は、上述した図5と同様のデータ構成である。
画面サイズ情報記憶部45は、タブレット端末1aのメインメモリ12又はSSD23により実現される記憶部であり、ノートPC2のメイン制御部10-2から受信した画面サイズ情報を記憶する。画面サイズ情報記憶部45は、上述した画面サイズ情報記憶部312と同様の構成であるため、ここではその説明を省略する。
メイン制御部10a-1は、タブレット端末1aのCPU11及びチップセット21が、タブレット端末1aのメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、OSに基づく各種処理を実行する。メイン制御部10a-1は、タブレット端末1aを拡張ペンタブレットとして機能させる制御を実行する。また、メイン制御部10a-1は、例えば、ECドライバ101と、ペン入力処理部102と、表示処理部103と、入力切替処理部106と、座標変換部107とを備える。
入力切替処理部106は、タブレット端末1aのCPU11及びチップセット21が、タブレット端末1aのメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、ホバリングスワイプアウトの操作に応じて、タブレット画面の入力モードと、ノートPC画面の入力モードとを、相互に切り替える。入力切替処理部106は、上述した入力切替処理部313と同様の処理を実行するため、ここではその説明を省略する。
座標変換部107は、タブレット端末1aのCPU11及びチップセット21が、タブレット端末1aのメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、画面サイズ情報記憶部45が記憶する画面サイズ情報に基づいて、表示部14-1の画面DF上の座標を、表示部14-2の画面上の座標に変換する。座標変換部107は、上述した座標変換部314と同様の処理を実行するため、ここではその説明を省略する。
次に、図面を参照して、本実施形態による情報処理システム100aの動作について説明する。
ここで、図12を参照して、本実施形態による情報処理システム100aの動作の具体例について説明する。
図12は、本実施形態による情報処理システム100aの動作の一例を示す図である。ここでは、配置関係情報及び画面サイズ情報の設定処理と、タブレット画面の入力モードからノートPC画面の入力モードに切り替えた後、再びタブレット画面の入力モードに気鋭換える処理の一例について説明する。
図12において、ノートPC2は、まず、モニタ画面の設定情報である配置関係情報と、表示部14-2の画面サイズ情報とをタブレット端末1aのメイン制御部10a-1に送信する(ステップS401)。ノートPC2のメイン制御部10-2は、配置関係情報と画面サイズ情報とをメイン制御部10a-1に送信する。
次に、メイン制御部10a-1は、配置関係情報、及び画面サイズ情報を記憶する(ステップS402)。メイン制御部10a-1は、受信した配置関係情報に基づく図5に示すような配置情報を、配置情報記憶部44に記憶させる。また、メイン制御部10a-1は、受信した画面サイズ情報を、画面サイズ情報記憶部45に記憶させる。
次のステップS403からステップS405までの処理は、上述した図10に示すステップS304からステップS306までの処理と同様であるため、ここではその説明を省略する。
次に、メイン制御部10a-1は、ペン入力を検出したか否かを判定する(ステップS406)。メイン制御部10a-1は、エンベデッドコントローラ31a-1を介して、タッチセンサ部33の接触検出部331及びペン検出部332によってペン入力が検出されたか否かを判定する。メイン制御部10a-1は、ペン入力を検出した場合(ステップS406:YES)に、処理をステップS407に進める。また、メイン制御部10a-1は、ペン入力を検出していない場合(ステップS406:NO)に、処理をステップS406に戻す。
ステップS407において、メイン制御部10a-1は、ペン入力情報をタブレット画面に表示する。メイン制御部10a-1のペン入力処理部102は、タブレット画面の入力モードの処理として、エンベデッドコントローラ31a-1からECドライバ101を介して受信したペン入力情報(ペン30の移動軌跡)を、表示処理部103を介して、表示部14-1に表示させる。
次に、ペン入力処理部102は、ペン入力情報を、ノートPC2に送信する(ステップS408)。ノートPC2に送信されたペン入力情報は、例えば、アプリケーション104の処理に利用される。
また、メイン制御部10a-1は、ホバリングスワイプアウト(左側エッジ)の操作を検出したか否かを判定する(ステップS409)。メイン制御部10a-1は、タッチセンサ部33のペン検出部332によって、ホバリングスワイプアウト(左側エッジ)の操作を検出したか否かを判定する。メイン制御部10a-1は、ホバリングスワイプアウト(左側エッジ)の操作を検出した場合(ステップS409:YES)に、処理をステップS410に進める。また、メイン制御部10a-1は、ホバリングスワイプアウト(左側エッジ)の操作を検出していない場合(ステップS409:NO)に、処理をステップS409に戻す。
ステップS410において、メイン制御部10a-1は、ノートPC画面の入力モードに切り替える。すなわち、メイン制御部10a-1の入力切替処理部106は、配置情報記憶部44が記憶する図5に示すような配置情報とに基づいて、ノートPC画面の入力モードに切り替える。これにより、ペン入力処理部102は、タブレット画面の入力モードからノートPC画面の入力モードに切り替えられる。
また、メイン制御部10a-1は、ペン入力を検出したか否かを判定する(ステップS411)。メイン制御部10a-1は、エンベデッドコントローラ31a-1を介して、タッチセンサ部33の接触検出部331及びペン検出部332によってペン入力が検出されたか否かを判定する。メイン制御部10a-1は、ペン入力を検出した場合(ステップS411:YES)に、処理をステップS412に進める。また、メイン制御部10a-1は、ペン入力を検出していない場合(ステップS411:NO)に、処理をステップS411に戻す。
ステップS412において、メイン制御部10a-1は、ペン入力座標を画面サイズ情報に基づいて変換する。すなわち、メイン制御部10a-1の座標変換部107は、タッチセンサ部33の接触検出部331及びペン検出部332によって検出されたペン入力座標を、画面サイズ情報記憶部45が記憶する画面サイズ情報に基づいて、表示部14-2の画面サイズに対応じたペン入力座標に変換する。
次に、メイン制御部10a-1は、変換されたペン入力座標に基づくペン入力情報を、ノートPC2に送信する(ステップS413)。すなわち、メイン制御部10a-1のペン入力処理部102は、座標変換部107が変換したペン入力座標に基づくペン入力情報(ペン30の移動軌跡)を、ノートPC2に送信する。
次に、ノートPC2は、ペン入力情報をノートPC画面に表示する(ステップS414)。ノートPC2のメイン制御部10-2は、受信したペン入力情報(ペン30の移動軌跡)を、表示処理部105を介して、表示部14-2に表示させる。
また、メイン制御部10a-1は、ホバリングスワイプアウト(右側エッジ)の操作を検出したか否かを判定する(ステップS415)。メイン制御部10a-1は、ホバリングスワイプアウト(右側エッジ)の操作を検出した場合(ステップS415:YES)に、処理をステップS416に進める。また、メイン制御部10a-1は、ホバリングスワイプアウト(右側エッジ)の操作を検出していない場合(ステップS415:NO)に、処理をステップS415に戻す。
ステップS416において、メイン制御部10a-1は、タブレット画面の入力モードに切り替える。すなわち、メイン制御部10a-1の入力切替処理部106は、配置情報記憶部44が記憶する図5に示すような配置情報とに基づいて、タブレット画面の入力モードに切り替える。これにより、メイン制御部10a-1のペン入力処理部102は、ノートPC画面の入力モードからタブレット画面の入力モードに切り替えられる。
以上説明したように、本実施形態によるタブレット端末1aは、表示部14-1と、タッチセンサ部33と、メイン制御部10a-1とを備える。メイン制御部10a-1は、ペン入力処理部102と、入力切替処理部106と、座標変換部107とを備える。
これにより、本実施形態によるタブレット端末1a及び情報処理システム100aは、上述した第1の実施形態と同様の効果を奏し、ペン入力の対象画面の切り替えを容易に行うことができ、ユーザーエクスペリエンスを向上させることができる。
なお、本実施形態によるタブレット端末1aは、エンベデッドコントローラ31a-1を備えない形態であってもよい。この場合、タブレット端末1aは、タッチセンサ部33からメイン制御部10a-1に直接、ペン30の検出及びタッチの検出を送信するようにしてもよい。
[第3の実施形態]
次に、図面を参照して、第3の実施形態による情報処理システム100bについて説明する。本実施形態では、ペン入力処理及びペン入力切替処理を、ノートPC2aのメイン制御部10a-2で実行する変形例について説明する。
図13は、第3の実施形態による情報処理システム100bの機能構成の一例を示すブロック図である。
なお、第3の実施形態による情報処理システム100bのタブレット端末1b及びノートPC2aの外観及びハードウェア構成は、上述した図1、図2、及び図3に示す第1の実施形態と同様であるため、ここではその説明を省略する。
図13に示すように、情報処理システム100bは、タブレット端末1bと、ノートPC2aと、ペン30とを備える。また、タブレット端末1bは、メイン制御部10b-1と、タッチスクリーン20と、エンベデッドコントローラ31a-1と、記憶部40-1とを備える。また、ノートPC2aは、メイン制御部10a-2と、表示部14-2と、記憶部40a-2とを備える。
図13において、上述した図4又は図11と同一の構成には同一の符号を付与して、その説明を省略する。
メイン制御部10b-1は、タブレット端末1bのCPU11及びチップセット21が、タブレット端末1bのメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、OSに基づく各種処理を実行する。メイン制御部10b-1は、タブレット端末1bを拡張ペンタブレットとして機能させる制御を実行する。メイン制御部10b-1は、タッチセンサ部33の接触検出部331及びペン検出部332によって検出した検出データを、エンベデッドコントローラ31a―1を介して取得し、取得した検出データをノートPC2aに送信する。
また、メイン制御部10b-1は、例えば、ECドライバ101と、表示処理部103aとを備える。
表示処理部103aは、タブレット端末1bのCPU11及びチップセット21が、タブレット端末1bのメインメモリ12が記憶するプログラムを実行することで実現される機能部である。表示処理部103aは、ノートPC2aから受信したタブレット画面用の表示画像及びペン入力情報(ペン30の移動軌跡)を表示部14-1に表示させる。
ノートPC2aは、メイン制御部10a-2と、表示部14-2と、記憶部40a-2とを備える。
記憶部40a-2は、例えば、ノートPC2aのメインメモリ12又はSSD23により実現される記憶部であり、例えば、表示部14-1と表示部14-2との配置関係を示す情報、表示部14-2の画面サイズなどの各種情報を記憶する。記憶部40a-2は、配置関係記憶部42と、画面サイズ情報記憶部43と、配置情報記憶部44aとを備える。
配置情報記憶部44aは、ノートPC2aのメインメモリ12又はSSD23により実現される記憶部であり、表示部14-1の画面DFと、表示部14-2の画面との配置関係を示す配置情報を記憶する。配置情報記憶部44aは、上述した配置情報記憶部311と同様の構成であるため、ここではその説明を省略する。すなわち、配置情報記憶部44aは、上述した図5と同様のデータ構成である。
メイン制御部10a-2は、ノートPC2aのCPU11及びチップセット21が、ノートPC2aのメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、OSに基づく各種処理を実行する。メイン制御部10a-2は、例えば、利用者によって、配置関係記憶部42が記憶するモニタ配置の設定情報(配置関係情報)が変更された場合に、配置情報記憶部44aの配置情報を変更する。
また、メイン制御部10a-2は、タブレット端末1bを用いたペン入力の処理を実行する。
また、メイン制御部10-2は、アプリケーション104と、表示処理部105と、ペン入力処理部102aと、入力切替処理部106aと、座標変換部107aとを備える。
ペン入力処理部102aは、ノートPC2aのCPU11及びチップセット21が、ノートPC2aのメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、タッチスクリーン20及びペン30による手書き入力などのペン入力処理を制御する。ペン入力処理部102aは、タッチスクリーン20のタッチセンサ部33が検出した表示部14-1の画面DF上のペン30の接触位置を取得し、タブレット画面(表示部14-1の画面DF)の入力モード(第1ペン入力モード)と、ノートPC画面(表示部14-2の画面)の入力モード(第2ペン入力モード)とを切り替えて実行する。ペン入力処理部102aは、上述したペン入力処理部102と同様の処理を実行するため、ここではその説明を省略する。
入力切替処理部106aは、ノートPC2aのCPU11及びチップセット21が、ノートPC2aのメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、ホバリングスワイプアウトの操作に応じて、タブレット画面の入力モードと、ノートPC画面の入力モードとを、相互に切り替える。入力切替処理部106aは、上述した入力切替処理部106と同様の処理を実行するため、ここではその説明を省略する。
座標変換部107aは、ノートPC2aのCPU11及びチップセット21が、ノートPC2aのメインメモリ12が記憶するプログラムを実行することで実現される機能部であり、画面サイズ情報記憶部43が記憶する画面サイズ情報に基づいて、表示部14-1の画面DF上の座標を、表示部14-2の画面上の座標に変換する。座標変換部107aは、上述した座標変換部107と同様の処理を実行するため、ここではその説明を省略する。
次に、図面を参照して、本実施形態による情報処理システム100bの動作について説明する。
ここで、図14を参照して、本実施形態による情報処理システム100bの動作の具体例について説明する。
図14は、本実施形態による情報処理システム100bの動作の一例を示す図である。ここでは、タブレット画面の入力モードからノートPC画面の入力モードに切り替えた後、再びタブレット画面の入力モードに気鋭換える処理の一例について説明する。
図14において、ステップS501からステップS503までの処理は、上述した図12に示すステップS403からステップS405までの処理と同様であるため、ここではその説明を省略する。
次に、メイン制御部10b-1は、ペン入力を検出したか否かを判定する(ステップS504)。メイン制御部10b-1は、エンベデッドコントローラ31a-1を介して、タッチセンサ部33の接触検出部331及びペン検出部332によってペン入力が検出されたか否かを判定する。メイン制御部10b-1は、ペン入力を検出した場合(ステップS504:YES)に、処理をステップS505に進める。また、メイン制御部10b-1は、ペン入力を検出していない場合(ステップS504:NO)に、処理をステップS504に戻す。
ステップS505において、メイン制御部10b-1は、ペン入力情報を、ノートPC2aに送信する。ノートPC2aに送信されたペン入力情報は、例えば、アプリケーション104の処理に利用される。
次に、ノートPC2aは、受信したペン入力情報を含むタブレット画面の表示画像をタブレット端末1bのメイン制御部10b-1に送信する(ステップS506)。ノートPC2aのメイン制御部10a―2は、ペン入力情報(ペン30の移動軌跡)を含むタブレット画面の表示画像をタブレット端末1bのメイン制御部10b-1に送信する。
メイン制御部10b-1は、ペン入力情報を含むタブレット画面の表示画像をタブレット画面に表示する(ステップS507)。メイン制御部10b-1のペン入力処理部102aは、タブレット画面の入力モードの処理として、ノートPC2aから受信したペン入力情報(ペン30の移動軌跡)を含むタブレット画面の表示画像を、表示部14-1に表示させる。
また、メイン制御部10b-1は、ホバリングスワイプアウト(左側エッジ)の操作を検出したか否かを判定する(ステップS508)。メイン制御部10b-1は、タッチセンサ部33のペン検出部332によって、ホバリングスワイプアウト(左側エッジ)の操作を検出したか否かを判定する。メイン制御部10b-1は、ホバリングスワイプアウト(左側エッジ)の操作を検出した場合(ステップS508:YES)に、処理をステップS509に進める。また、メイン制御部10b-1は、ホバリングスワイプアウト(左側エッジ)の操作を検出していない場合(ステップS508:NO)に、処理をステップS508に戻す。
ステップS509において、メイン制御部10b-1は、ホバリングスワイプアウト(左側エッジ)の操作の検出情報を、ノートPC2aに送信する。
ノートPC2aは、ノートPC画面の入力モードに切り替える(ステップS510)。すなわち、メイン制御部10a-2の入力切替処理部106aは、配置情報記憶部44aが記憶する図5に示すような配置情報とに基づいて、ノートPC画面の入力モードに切り替える。これにより、ペン入力処理部102aは、タブレット画面の入力モードからノートPC画面の入力モードに切り替えられる。
また、メイン制御部10b-1は、ペン入力を検出したか否かを判定する(ステップS511)。メイン制御部10b-1は、エンベデッドコントローラ31a-1を介して、タッチセンサ部33の接触検出部331及びペン検出部332によってペン入力が検出されたか否かを判定する。メイン制御部10b-1は、ペン入力を検出した場合(ステップS511:YES)に、処理をステップS512に進める。また、メイン制御部10b-1は、ペン入力を検出していない場合(ステップS511:NO)に、処理をステップS511に戻す。
ステップS512において、メイン制御部10b-1は、ペン入力情報を、ノートPC2aに送信する。ノートPC2aに送信されたペン入力情報は、例えば、アプリケーション104の処理に利用される。
次に、ノートPC2aは、ペン30の入力座標を画面サイズ情報に基づいて変換する(ステップS513)。すなわち、メイン制御部10a-2の座標変換部107aは、タッチセンサ部33の接触検出部331及びペン検出部332によって検出されたペン入力座標を、画面サイズ情報記憶部43が記憶する画面サイズ情報に基づいて、表示部14-2の画面サイズに対応じたペン入力座標に変換する。
次に、ノートPC2aは、ペン入力情報を含むノートPC画面の表示画像をノートPC画面に表示する(ステップS514)。メイン制御部10a-2のペン入力処理部102aは、ノートPC画面の入力モードの処理として、座標変換部107aが変換したペン入力情報(ペン30の移動軌跡)を含むノートPC画面の表示画像を、表示部14-2に表示させる。
また、メイン制御部10b-1は、ホバリングスワイプアウト(右側エッジ)の操作を検出したか否かを判定する(ステップS515)。メイン制御部10b-1は、ホバリングスワイプアウト(右側エッジ)の操作を検出した場合(ステップS515:YES)に、処理をステップS516に進める。また、メイン制御部10b-1は、ホバリングスワイプアウト(右側エッジ)の操作を検出していない場合(ステップS515:NO)に、処理をステップS515に戻す。
ステップS516において、メイン制御部10b-1は、ホバリングスワイプアウト(右側エッジ)の操作の検出情報を、ノートPC2aに送信する。
ノートPC2aは、タブレット画面の入力モードに切り替える(ステップS517)。すなわち、メイン制御部10a-2の入力切替処理部106aは、配置情報記憶部44aが記憶する図5に示すような配置情報とに基づいて、タブレット画面の入力モードに切り替える。これにより、ペン入力処理部102aは、ノートPC画面の入力モードからタブレット画面の入力モードに切り替えられる。
以上説明したように、本実施形態による情報処理システム100bは、タブレット端末1bと、ノートPC2aとを備える。ノートPC2a(情報処理装置)は、表示部14-2と、メイン制御部10a-2とを備える。メイン制御部10a-2は、ペン入力処理部102aと、入力切替処理部106aと、座標変換部107aとを備える。
これにより、本実施形態による情報処理システム100bは、上述した第1及び第2の実施形態と同様の効果を奏し、ペン入力の対象画面の切り替えを容易に行うことができ、ユーザーエクスペリエンスを向上させることができる。
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、情報処理装置がタブレット端末1(1a、1b)である例を説明したが、これに限定されるものではなく、例えば、ノートPC、スマートフォンなどの他の情報処理装置であってもよい。また、ノートPC2(2a)は、デスクトップPCであってもよい。
また、上記の第1及び第2の実施形態において、ノートPC2(2a)が、アプリケーション104により、表示部14-1及び表示部14-2に表示する画像を生成する例を説明したが、タブレット端末1(1a)が、表示部14-1及び表示部14-2に表示する画像を生成するようにしてもよい。この場合、情報処理システム100(100a)は、ノートPC2(2a)の代わりに、モバイルモニタなどの表示装置を備えるようにしてもよい。
また、上記の第3の実施形態において、情報処理システム100bは、タブレット端末1bを接続せずに、表示部14-1及びタッチセンサ部33を含むタッチスクリーン20と、表示部14-2とを内蔵するようにしてもよい。
また、上記の各実施形態において、タブレット端末1(1a、1b)及びノートPC2(2a)のOSが、Windows(登録商標)である例を説明したが、これに限定されるものではなく、Android(登録商標)などの他のOSを適用してもよい。
なお、上述した情報処理システム100(100a、100b)が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した情報処理システム100(100a、100b)が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した情報処理システム100(100a、100b)が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に情報処理システム100(100a、100b)が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
1、1a、1b タブレット端末
2、2a ノートPC
10、10-1、10-2、10a-1、10a-2、10b-1 メイン制御部
11 CPU
12 メインメモリ
13 ビデオサブシステム
14、14-1、14-2 表示部
20 タッチスクリーン
21 チップセット
22 BIOSメモリ
23 HDD
24 USBコネクタ
25 オーディオシステム
26 WLANカード
30 ペン
31、31-1、31a-1、31-2 エンベデッドコントローラ
32 入力部
33 タッチセンサ部
34 電源回路
35 センサ部
40-1、40-2、40a-1 記憶部
41 ペン入力情報記憶部
42 配置関係記憶部
44、44a、311 配置情報記憶部
43、45、312 画面サイズ情報記憶部
100、100a、100b 情報処理システム
101 ECドライバ
102、102a ペン入力処理部
103、103a、105 表示処理部
104 アプリケーション
106、106a、313 入力切替処理部
107、107a、314 座標変換部
331 接触検出部
332 ペン検出部
DF 画面
LC1 共振回路

Claims (6)

  1. 第1表示部と、
    前記第1表示部の画面上に配置され、前記画面上における物体の接触位置の検出と、ペンが非接触状態で前記第1表示部の画面上に閾値距離以内に接近した前記ペンの接近及び前記画面上の前記ペンの位置の検出とを検出可能なタッチセンサ部と、
    前記タッチセンサ部が検出した前記第1表示部の画面上の前記ペンの接触位置を取得し、前記ペンの接触位置に基づく前記第1表示部の画面上の前記ペンの移動軌跡を、前記第1表示部に表示させる第1ペン入力モードと、前記ペンの移動軌跡を、前記第1表示部と特定の配置関係に設定された第2表示部に表示させる第2ペン入力モードとを切り替えて実行するペン入力処理部と、
    前記タッチセンサ部が、前記ペンの接近を検出した後に、前記特定の配置関係に基づく前記ペンの非接触状態での移動操作に応じて、前記第1ペン入力モードと、前記第2ペン入力モードとを、相互に切り替える入力切替処理部と
    を備える情報処理装置。
  2. 前記第1表示部と、前記第2表示部との配置関係を示す配置情報を記憶する配置情報記憶部を備え、
    前記入力切替処理部は、前記第1表示部の画面上に非接触状態で、且つ、前記閾値距離以内に接近した状態を、前記ペンが一定期間維持するホバリング状態が前記タッチセンサ部によって検出された後に、前記配置情報に基づいて、切替先の画面を示す方向に前記第1表示部の画面を超えて前記ペンを移動させる操作を検出した場合に、前記第1ペン入力モードと、前記第2ペン入力モードとのうちの、前記切替先の画面に対応する入力モードに切り替える
    請求項1に記載の情報処理装置。
  3. 前記第2表示部の画面サイズを示す画面サイズ情報を記憶する画面サイズ情報記憶部と、
    前記画面サイズ情報記憶部が記憶する前記画面サイズ情報に基づいて、前記第1表示部の画面上の座標を、前記第2表示部の画面上の座標に変換する座標変換部と
    を備え、
    前記ペン入力処理部は、前記第2ペン入力モードにおいて、前記座標変換部が変換した前記第2表示部の画面上の座標に基づく前記ペンの移動軌跡を、前記第2表示部に表示させる
    請求項1に記載の情報処理装置。
  4. OS(オペレーティングシステム)に基づく処理を実行するメイン制御部と、
    前記メイン制御部とは異なる独立した組込み制御部と
    を備え、
    前記メイン制御部は、前記ペン入力処理部を備え、
    前記組込み制御部は、前記入力切替処理部及び前記座標変換部を備える
    請求項3に記載の情報処理装置。
  5. 第1表示部と、
    前記第1表示部の画面上に配置され、前記画面上における物体の接触位置の検出と、ペンが非接触状態で前記第1表示部の画面上に閾値距離以内に接近した前記ペンの接近及び前記画面上の前記ペンの位置の検出とを検出可能なタッチセンサ部と、
    前記第1表示部と特定の配置関係に設定された第2表示部と、
    前記タッチセンサ部が検出した前記第1表示部の画面上の前記ペンの接触位置を取得し、前記ペンの接触位置に基づく前記第1表示部の画面上の前記ペンの移動軌跡を、前記第1表示部に表示させる第1ペン入力モードと、前記ペンの移動軌跡を、前記第2表示部に表示させる第2ペン入力モードとを切り替えて実行するペン入力処理部と、
    前記タッチセンサ部が、前記ペンの接近を検出した後に、前記特定の配置関係に基づく前記ペンの非接触状態での移動操作に応じて、前記第1ペン入力モードと、前記第2ペン入力モードとを、相互に切り替える入力切替処理部と
    を備える情報処理システム。
  6. 第1表示部と、前記第1表示部の画面上に配置され、前記画面上における物体の接触位置の検出と、ペンが非接触状態で前記第1表示部の画面上に閾値距離以内に接近した前記ペンの接近及び前記画面上の前記ペンの位置の検出とを検出可能なタッチセンサ部と、前記第1表示部と特定の配置関係に設定された第2表示部とを備える情報処理システムの制御方法であって、
    ペン入力処理部が、前記タッチセンサ部が検出した前記第1表示部の画面上の前記ペンの接触位置を取得し、前記ペンの接触位置に基づく前記第1表示部の画面上の前記ペンの移動軌跡を、前記第1表示部に表示させる第1ペン入力モードと、前記ペンの移動軌跡を、前記第2表示部に表示させる第2ペン入力モードとを切り替えて実行するステップと、
    入力切替処理部が、前記タッチセンサ部が、前記ペンの接近を検出した後に、前記特定の配置関係に基づく前記ペンの非接触状態での移動操作に応じて、前記第1ペン入力モードと、前記第2ペン入力モードとを、相互に切り替えるステップと
    を含む制御方法。
JP2022082034A 2022-05-19 2022-05-19 情報処理装置、情報処理システム、及び制御方法 Active JP7284853B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022082034A JP7284853B1 (ja) 2022-05-19 2022-05-19 情報処理装置、情報処理システム、及び制御方法
US18/297,002 US11954272B2 (en) 2022-05-19 2023-04-07 Information processing device, information processing system and controlling method
CN202310562643.4A CN117093090A (zh) 2022-05-19 2023-05-18 信息处理装置、信息处理系统以及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022082034A JP7284853B1 (ja) 2022-05-19 2022-05-19 情報処理装置、情報処理システム、及び制御方法

Publications (2)

Publication Number Publication Date
JP7284853B1 true JP7284853B1 (ja) 2023-05-31
JP2023170349A JP2023170349A (ja) 2023-12-01

Family

ID=86538337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022082034A Active JP7284853B1 (ja) 2022-05-19 2022-05-19 情報処理装置、情報処理システム、及び制御方法

Country Status (3)

Country Link
US (1) US11954272B2 (ja)
JP (1) JP7284853B1 (ja)
CN (1) CN117093090A (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218468A (ja) 2012-04-06 2013-10-24 Sharp Corp 情報処理システム、表示端末装置、サーバ、情報処理方法およびプログラム
US20140189602A1 (en) 2012-12-28 2014-07-03 Mediatek Inc. Method and associated system for displaying graphic content on extension screen
JP2015170879A (ja) 2014-03-05 2015-09-28 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器の使用環境を切り換える方法、携帯式電子機器およびコンピュータ・プログラム
JP2015172861A (ja) 2014-03-12 2015-10-01 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器の使用環境を切り換える方法、携帯式電子機器およびコンピュータ・プログラム
US20160342258A1 (en) 2014-03-25 2016-11-24 Intel Corporation Switchable input modes for external display operation
JP2017510868A (ja) 2014-01-21 2017-04-13 マイクロソフト テクノロジー ライセンシング,エルエルシー 把持状態検出
JP2020527809A (ja) 2017-07-25 2020-09-10 中興通訊股▲ふん▼有限公司Zte Corporation タッチスクリーンのエッジ処理方法及び装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11416205B2 (en) * 2019-04-16 2022-08-16 Apple Inc. Systems and methods for initiating and interacting with a companion-display mode for an electronic device with a touch-sensitive display
JP6999014B2 (ja) 2020-12-07 2022-01-18 株式会社ワコム 手書きデータ記録装置、手書きデータ描画方法、及び手書きデータ合成方法
WO2023009580A2 (en) * 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218468A (ja) 2012-04-06 2013-10-24 Sharp Corp 情報処理システム、表示端末装置、サーバ、情報処理方法およびプログラム
US20140189602A1 (en) 2012-12-28 2014-07-03 Mediatek Inc. Method and associated system for displaying graphic content on extension screen
JP2017510868A (ja) 2014-01-21 2017-04-13 マイクロソフト テクノロジー ライセンシング,エルエルシー 把持状態検出
JP2015170879A (ja) 2014-03-05 2015-09-28 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器の使用環境を切り換える方法、携帯式電子機器およびコンピュータ・プログラム
JP2015172861A (ja) 2014-03-12 2015-10-01 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器の使用環境を切り換える方法、携帯式電子機器およびコンピュータ・プログラム
US20160342258A1 (en) 2014-03-25 2016-11-24 Intel Corporation Switchable input modes for external display operation
JP2020527809A (ja) 2017-07-25 2020-09-10 中興通訊股▲ふん▼有限公司Zte Corporation タッチスクリーンのエッジ処理方法及び装置

Also Published As

Publication number Publication date
US11954272B2 (en) 2024-04-09
JP2023170349A (ja) 2023-12-01
US20230376128A1 (en) 2023-11-23
CN117093090A (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
US10401964B2 (en) Mobile terminal and method for controlling haptic feedback
US9406281B2 (en) Multi-display device and method of controlling thereof
US10387014B2 (en) Mobile terminal for controlling icons displayed on touch screen and method therefor
KR102139526B1 (ko) 전자 장치의 화면상에 표시되는 복수의 객체들을 실행하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US20140285453A1 (en) Portable terminal and method for providing haptic effect
KR102184269B1 (ko) 디스플레이장치, 휴대장치 및 그 화면 표시방법
EP2703978B1 (en) Apparatus for measuring coordinates and control method thereof
JP2022108147A (ja) 情報処理装置、及び制御方法
US20150002420A1 (en) Mobile terminal and method for controlling screen
US20180203602A1 (en) Information terminal device
JP7284853B1 (ja) 情報処理装置、情報処理システム、及び制御方法
US10401959B1 (en) Information processing device, method for controlling display, and program
US11762501B2 (en) Information processing apparatus and control method
JP6998436B1 (ja) 情報処理装置、情報処理システム、及び制御方法
JP7346977B2 (ja) 制御装置、電子機器、制御システム、制御方法、およびプログラム
CN112783267A (zh) 信息处理装置和信息处理方法
US20240028152A1 (en) Information processing apparatus, touch device, and control method
JP2023179072A (ja) 情報処理装置、及び制御方法
JP7304446B1 (ja) 情報処理装置、及び制御方法
US20200125215A1 (en) Electronic device that executes assigned operation in response to touch pressure, and method therefor
JP7354643B2 (ja) 制御装置、方法、プログラム、および情報処理システム
JP7444939B1 (ja) 情報処理装置、及び制御方法
JP7342485B2 (ja) 制御装置、方法、プログラム、および情報処理システム
JP7432777B1 (ja) 情報処理システム、及び制御方法
JP2016038619A (ja) 携帯端末装置及びその操作方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220519

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20221216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230519

R150 Certificate of patent or registration of utility model

Ref document number: 7284853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350