JP7209076B2

JP7209076B2 - Information processing device, control method, and processor

Info

Publication number: JP7209076B2
Application number: JP2021203539A
Authority: JP
Inventors: 芳充今西; 誠一河野; 一則山村; 義従鈴木; 充弘山▲ざき▼; 良太野村
Original assignee: Lenovo Singapore Pte Ltd
Current assignee: Lenovo Singapore Pte Ltd
Priority date: 2020-10-09
Filing date: 2021-12-15
Publication date: 2023-01-19
Anticipated expiration: 2040-10-09
Also published as: JP2022063264A

Description

本発明は、情報処理装置、制御方法、及びプロセッサに関する。 The present invention relates to an information processing device, control method, and processor.

近年、ノートブック型パーソナルコンピュータ（以下、ノートＰＣ：Personal Computer）などの情報処理装置では、表示画面をソフトウェアキーボードなどの仮想入力デバイスとして使用するものが知られている。また、１台で複数の表示部を使用できる複数表示（Multiple display）環境を提供可能な情報処理装置が提案されている。 2. Description of the Related Art In recent years, an information processing apparatus such as a notebook personal computer (hereinafter referred to as a notebook PC) is known to use a display screen as a virtual input device such as a software keyboard. Further, an information processing apparatus capable of providing a multiple display environment in which a single unit can use a plurality of display units has been proposed.

特開２０１５－２３３１９８号公報JP 2015-233198 A

ところで、一般的に、仮想入力デバイスをソフトウェアで実装すると、他のソフトウェアから、仮想入力デバイスへの入力が読み取られるなど、セキュリティ上、及びプライバシー上のリスクが懸念される。このため、仮想入力デバイスをソフトウェアで実装する際は、例えば、Ｗｉｎｄｏｗｓ（登録商標）などのＯＳ（オペレーティングシステム）付属のツールとして実装され、他者による独自の仮想入力デバイスの実装が認められないことがほとんどである。そのため、従来の情報処理装置では、このようなＯＳの制約などから、自由度の高い仮想入力デバイスを実現することは困難であった。 By the way, in general, if a virtual input device is implemented by software, there are concerns about security and privacy risks, such as the input to the virtual input device being read by other software. Therefore, when implementing a virtual input device in software, for example, it must be implemented as a tool attached to an OS (operating system) such as Windows (registered trademark), and implementation of a unique virtual input device by others is not permitted. is mostly Therefore, in the conventional information processing apparatus, it was difficult to realize a virtual input device with a high degree of freedom due to such restrictions of the OS.

本発明は、上記問題を解決すべくなされたもので、その目的は、機密とプライバシーとを保護しつつ、自由度の高い仮想入力デバイスを実現することができる情報処理装置、制御方法、及びプロセッサを提供することにある。 The present invention has been made to solve the above problems, and an object thereof is an information processing apparatus, a control method, and a processor capable of realizing a virtual input device with a high degree of freedom while protecting confidentiality and privacy. is to provide

上記問題を解決するために、本発明の一態様はタッチスクリーンと、ＯＳ（オペレーティングシステム）に基づく処理を実行する第１プロセッサと、前記第１プロセッサとは異なる独立した第２プロセッサであって、仮想入力デバイスのための入力領域の画像データを示すデータを、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力するとともに、前記タッチスクリーンが検出した接触情報に基づく入力情報を、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力する第２プロセッサとを備える情報処理装置である。 In order to solve the above problem, one aspect of the present invention is a touch screen, a first processor that executes processing based on an OS (operating system), and a second processor that is independent from the first processor, Data indicating image data of an input area for a virtual input device is output to the first processor using a general-purpose interface protected by the first processor, and input based on contact information detected by the touch screen. and a second processor that outputs information to the first processor using a general-purpose interface protected by the first processor.

また、本発明の一態様は、上記の情報処理装置において、前記第１プロセッサは、前記第２プロセッサが出力した前記入力領域の画像データを前記タッチスクリーンに表示するようにしてもよい。 In one aspect of the present invention, in the above information processing apparatus, the first processor may display the image data of the input area output by the second processor on the touch screen.

また、本発明の一態様は、上記の情報処理装置において、前記第２プロセッサは、ＵＳＢ（Universal Serial Bus）インターフェースのＨＩＤ（Human Interface Device）クラスを用いて、前記仮想入力デバイスが受け付けた入力情報を、前記第１プロセッサに出力し、ＵＶＣ（USB Video Class）を用いて、前記入力領域の画像データを前記第１プロセッサに出力するようにしてもよい。 In one aspect of the present invention, in the above information processing apparatus, the second processor uses a HID (Human Interface Device) class of a USB (Universal Serial Bus) interface to input information received by the virtual input device. may be output to the first processor, and the image data of the input area may be output to the first processor using UVC (USB Video Class).

また、本発明の一態様は、上記の情報処理装置において、前記第１プロセッサは、前記タッチスクリーンにおける前記入力領域の表示位置を示す表示位置情報を前記第２プロセッサに送信し、前記第２プロセッサが出力した前記入力領域の画像データを、前記タッチスクリーンにおける前記入力領域の表示位置に表示し、前記第２プロセッサは、前記第１プロセッサから送信された前記表示位置情報に基づいて、前記入力領域を設定するようにしてもよい。 In one aspect of the present invention, in the above information processing apparatus, the first processor transmits display position information indicating a display position of the input area on the touch screen to the second processor, displays the image data of the input area output by at the display position of the input area on the touch screen, and the second processor displays the input area based on the display position information transmitted from the first processor may be set.

また、本発明の一態様は、上記の情報処理装置において、前記第１プロセッサは、前記仮想入力デバイスの種類を示す種類情報を前記第２プロセッサに送信し、前記第２プロセッサは、前記第１プロセッサから送信された前記種類情報に基づいて、前記入力領域の種類を設定するようにしてもよい。 In one aspect of the present invention, in the information processing apparatus described above, the first processor transmits type information indicating a type of the virtual input device to the second processor, and the second processor transmits the first The type of the input area may be set based on the type information transmitted from the processor.

また、本発明の一態様は、上記の情報処理装置において、前記第２プロセッサは、前記仮想入力デバイスが受け付けた入力情報に応じたフィードバックにより、前記入力領域の画像データを変更するようにしてもよい。 Further, according to one aspect of the present invention, in the above information processing apparatus, the second processor may change the image data of the input area by feedback according to the input information received by the virtual input device. good.

また、本発明の一態様は、上記の情報処理装置において、前記第１プロセッサの主画面の画像データを表示する第１表示領域と、前記入力領域の画像データを含む画像データを表示する第２表示領域とを備えるようにしてもよい。 Further, according to one aspect of the present invention, in the information processing apparatus described above, a first display area for displaying image data of the main screen of the first processor and a second display area for displaying image data including image data of the input area are displayed. A display area may be provided.

また、本発明の一態様は、タッチスクリーンと、ＯＳ（オペレーティングシステム）に基づく処理を実行する第１プロセッサと、前記第１プロセッサとは異なる独立した第２プロセッサとを備える情報処理装置の制御方法であって、前記第２プロセッサが、仮想入力デバイスのための入力領域の画像データを示すデータを、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力するステップと、前記第２プロセッサが、前記タッチスクリーンが検出した接触情報に基づく入力情報を、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力するステップとを含む制御方法である。 Another aspect of the present invention is a control method for an information processing apparatus including a touch screen, a first processor that executes processing based on an OS (operating system), and a second processor that is independent from the first processor. wherein said second processor outputs data indicating image data of an input area for a virtual input device to said first processor using a general purpose interface protected by said first processor; and outputting input information based on contact information detected by the touch screen to the first processor using a general-purpose interface protected by the first processor.

また、本発明の一態様は、ＯＳ（オペレーティングシステム）に基づく処理を実行する第１プロセッサとは異なる独立した第２プロセッサであって、仮想入力デバイスのための入力領域の画像データを示すデータを、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力するとともに、タッチスクリーンが検出した接触情報に基づく入力情報を、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力する第２プロセッサである。 Further, according to one aspect of the present invention, a second processor that is independent from a first processor that executes processing based on an OS (Operating System) stores data representing image data of an input area for a virtual input device. , using a general-purpose interface protected by the first processor to output to the first processor, and input information based on contact information detected by the touch screen using a general-purpose interface protected by the first processor , a second processor that outputs to the first processor.

また、本発明の一態様は、タッチスクリーンと、ＯＳ（オペレーティングシステム）に基づく処理を実行する第１プロセッサと、前記第１プロセッサとは異なる独立した第２プロセッサであって、前記タッチスクリーンが検出した接触情報に基づく入力情報を、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力する第２プロセッサとを備える情報処理装置である。 Further, one aspect of the present invention is a touch screen, a first processor that executes processing based on an OS (operating system), and a second processor that is independent from the first processor, wherein the touch screen detects and a second processor that outputs input information based on contact information received to the first processor using a general-purpose interface protected by the first processor.

本発明の上記態様によれば、機密とプライバシーとを保護しつつ、自由度の高い仮想入力デバイスを実現することができる。 According to the aspect of the present invention, it is possible to realize a highly flexible virtual input device while protecting confidentiality and privacy.

第１の実施形態によるノートＰＣの一例を示す外観図である。1 is an external view showing an example of a notebook PC according to a first embodiment; FIG. 第１の実施形態によるノートＰＣの主要なハードウェア構成の一例を示す図である。1 is a diagram showing an example of a main hardware configuration of a notebook PC according to a first embodiment; FIG. 第１の実施形態によるノートＰＣの機能構成の一例を示すブロック図である。1 is a block diagram showing an example of a functional configuration of a notebook PC according to a first embodiment; FIG. 第１の実施形態によるノートＰＣの仮想入力デバイスの動作の一例を示す図である。FIG. 4 is a diagram showing an example of the operation of the virtual input device of the notebook PC according to the first embodiment; 第１の実施形態によるノートＰＣの仮想入力デバイスの変形例を示す図である。FIG. 5 is a diagram showing a modification of the virtual input device of the notebook PC according to the first embodiment; 第２の実施形態によるノートＰＣの主要なハードウェア構成の一例を示す図である。FIG. 10 is a diagram showing an example of a main hardware configuration of a notebook PC according to a second embodiment; FIG. 第２の実施形態によるノートＰＣの機能構成の一例を示すブロック図である。FIG. 11 is a block diagram showing an example of a functional configuration of a notebook PC according to a second embodiment; FIG.

以下、本発明の一実施形態による情報処理装置、及び制御方法について、図面を参照して説明する。 An information processing apparatus and a control method according to an embodiment of the present invention will be described below with reference to the drawings.

［第１の実施形態］
図１は、第１の実施形態によるノートＰＣ１の一例を示す外観図である。なお、本実施形態において、情報処理装置の一例として、ノートＰＣ１について説明する。
図１に示すように、ノートＰＣ１は、第１筐体１０１と、第２筐体１０２とを備え、ヒンジ機構により一方の筐体（第１筐体１０１）の側面が他方の筐体（第２筐体１０２）の側面に係合され、ヒンジ機構の回転軸周りに第１筐体１０１が第２筐体１０２に対して回動可能に構成されている。 [First embodiment]
FIG. 1 is an external view showing an example of a notebook PC 1 according to the first embodiment. Note that, in the present embodiment, a notebook PC 1 will be described as an example of an information processing apparatus.
As shown in FIG. 1, the notebook PC 1 includes a first housing 101 and a second housing 102. A side surface of one housing (first housing 101) is attached to the other housing (second housing) by a hinge mechanism. 2 housing 102), and the first housing 101 is configured to be rotatable with respect to the second housing 102 about the rotation axis of the hinge mechanism.

また、ノートＰＣ１は、タッチスクリーン１４と表示部１５とを備える。表示部１５は、第１筐体１０１に配置されており、メインの表示部として機能する。タッチスクリーン１４は、第２筐体１０２に配置されており、表示部１４１と、タッチセンサ部１４２とを備える。
本実施形態では、第２筐体１０２に配置されたタッチスクリーン１４により、仮想入力デバイスであるＯＳＫ（On Screen Keyboard）を実行する場合に一例について説明する。 The notebook PC 1 also includes a touch screen 14 and a display unit 15 . The display unit 15 is arranged in the first housing 101 and functions as a main display unit. The touch screen 14 is arranged in the second housing 102 and includes a display section 141 and a touch sensor section 142 .
In this embodiment, an example will be described in which OSK (On Screen Keyboard), which is a virtual input device, is executed by the touch screen 14 arranged on the second housing 102 .

図２は、本実施形態によるノートＰＣ１の主要なハードウェア構成の一例を示す図である。
図２に示すように、ノートＰＣ１は、ＣＰＵ１１と、メインメモリ１２と、ビデオサブシステム１３と、タッチスクリーン１４と、表示部１５と、チップセット２１と、ＢＩＯＳメモリ２２と、ＨＤＤ２３と、オーディオシステム２４と、ＷＬＡＮカード２５と、ＵＳＢコネクタ２６と、撮像部２７と、エンベデッドコントローラ３１と、入力部３２と、電源回路３３と、ＭＣＵ（Micro Control Unit）４０とを備える。 FIG. 2 is a diagram showing an example of the main hardware configuration of the notebook PC 1 according to this embodiment.
As shown in FIG. 2, the notebook PC 1 includes a CPU 11, a main memory 12, a video subsystem 13, a touch screen 14, a display unit 15, a chipset 21, a BIOS memory 22, an HDD 23, and an audio system. 24 , a WLAN card 25 , a USB connector 26 , an imaging unit 27 , an embedded controller 31 , an input unit 32 , a power supply circuit 33 , and an MCU (Micro Control Unit) 40 .

なお、本実施形態において、ＣＰＵ１１と、メインメモリ１２と、ビデオサブシステム１３と、チップセット２１と、ＢＩＯＳメモリ２２と、ＨＤＤ２３と、オーディオシステム２４と、ＷＬＡＮカード２５と、ＵＳＢコネクタ２６と、撮像部２７と、エンベデッドコントローラ３１と、入力部３２と、電源回路３３とは、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステム１０に対応する。
メインシステム１０は、例えば、Ｗｉｎｄｏｗｓ（登録商標）に基づいて、各種処理を実行する。 In this embodiment, the CPU 11, the main memory 12, the video subsystem 13, the chipset 21, the BIOS memory 22, the HDD 23, the audio system 24, the WLAN card 25, the USB connector 26, the imaging The unit 27, the embedded controller 31, the input unit 32, and the power supply circuit 33 correspond to the main system 10 that executes processing based on an OS (Operating System).
The main system 10 executes various processes based on, for example, Windows (registered trademark).

ＣＰＵ（Central Processing Unit）１１は、プログラム制御により種々の演算処理を実行し、ノートＰＣ１全体を制御している。
メインメモリ１２は、ＣＰＵ１１の実行プログラムの読み込み領域として、又は、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップで構成される。この実行プログラムには、ＯＳ、周辺機器類をハードウェア操作するための各種ドライバ、各種サービス／ユーティリティ、アプリケーションプログラム等が含まれる。 A CPU (Central Processing Unit) 11 executes various arithmetic processes under program control and controls the notebook PC 1 as a whole.
The main memory 12 is a writable memory used as a read area for the execution program of the CPU 11 or as a work area for writing processing data of the execution program. The main memory 12 is composed of, for example, a plurality of DRAM (Dynamic Random Access Memory) chips. The execution program includes an OS, various drivers for hardware operation of peripheral devices, various services/utilities, application programs, and the like.

ビデオサブシステム１３は、画像表示に関連する機能を実現するためのサブシステムであり、ビデオコントローラを含んでいる。このビデオコントローラは、ＣＰＵ１１からの描画命令を処理し、処理した描画情報をビデオメモリに書き込むとともに、ビデオメモリからこの描画情報を読み出して、表示部１５及び表示部１４１に描画データ（画像データ）として出力する。ビデオサブシステム１３は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface（登録商標））やＤＰ（Display Port）により出力する。 The video subsystem 13 is a subsystem for realizing functions related to image display, and includes a video controller. The video controller processes drawing commands from the CPU 11, writes the processed drawing information to the video memory, reads the drawing information from the video memory, and outputs it to the display unit 15 and the display unit 141 as drawing data (image data). Output. The video subsystem 13 outputs by, for example, HDMI (High-Definition Multimedia Interface (registered trademark)) or DP (Display Port).

タッチスクリーン１４は、図１に示すように、第２筐体１０２に配置され、表示部１４１と、タッチセンサ部１４２とを備える。
表示部１４１は、例えば、液晶ディスプレイや電子ペーパーなどであり、画像データを表示画面に表示する。 The touch screen 14 is arranged in the second housing 102 and includes a display section 141 and a touch sensor section 142, as shown in FIG.
The display unit 141 is, for example, a liquid crystal display or electronic paper, and displays image data on a display screen.

タッチセンサ部１４２は、表示部１４１の表示画面に重ねて配置され、表示部１４１の表示画面上における物体（人体の一部を含む）との接触を検出する。タッチセンサ部１４２は、表示画面上の検出領域内に接触した位置である接触位置を示す接触位置情報をＭＣＵ４０に出力する。 The touch sensor unit 142 is arranged to overlap the display screen of the display unit 141 and detects contact with an object (including a part of a human body) on the display screen of the display unit 141 . The touch sensor unit 142 outputs to the MCU 40 contact position information indicating the contact position, which is the contact position within the detection area on the display screen.

表示部１５は、第１筐体１０１に配置され、ノートＰＣ１のメイン表示部として機能する。表示部１５は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどであり、画像データを表示画面に表示する。 The display unit 15 is arranged in the first housing 101 and functions as a main display unit of the notebook PC 1 . The display unit 15 is, for example, a liquid crystal display or an organic EL display, and displays image data on a display screen.

チップセット２１は、ＵＳＢ（Universal Serial Bus）、シリアルＡＴＡ（AT Attachment）、ＳＰＩ（Serial Peripheral Interface）バス、ＰＣＩ（Peripheral Component Interconnect）バス、ＰＣＩ－Ｅｘｐｒｅｓｓバス、及びＬＰＣ（Low Pin Count）バスなどのコントローラを備えており複数のデバイスが接続される。図２では、デバイスの例示として、ＢＩＯＳメモリ２２と、ＨＤＤ２３と、オーディオシステム２４と、ＷＬＡＮカード２５と、ＵＳＢコネクタ２６と、撮像部２７とが、チップセット２１に接続されている。 The chipset 21 supports USB (Universal Serial Bus), serial ATA (AT Attachment), SPI (Serial Peripheral Interface) bus, PCI (Peripheral Component Interconnect) bus, PCI-Express bus, and LPC (Low Pin Count) bus. It has a controller and multiple devices are connected. In FIG. 2, as an example of devices, a BIOS memory 22, an HDD 23, an audio system 24, a WLAN card 25, a USB connector 26, and an imaging unit 27 are connected to the chipset 21. FIG.

ＢＩＯＳ（Basic Input Output System）メモリ２２は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュＲＯＭなどの電気的に書き換え可能な不揮発性メモリで構成される。ＢＩＯＳメモリ２２は、ＢＩＯＳ、及びエンベデッドコントローラ３１などを制御するためのシステムファームウェアなどを記憶する。 The BIOS (Basic Input Output System) memory 22 is composed of electrically rewritable non-volatile memory such as EEPROM (Electrically Erasable Programmable Read Only Memory) and flash ROM. The BIOS memory 22 stores the BIOS, system firmware for controlling the embedded controller 31 and the like.

ＨＤＤ（Hard Disk Drive）２３（不揮発性記憶装置の一例）は、ＯＳ、各種ドライバ、各種サービス／ユーティリティ、アプリケーションプログラム、及び各種データを記憶する。
オーディオシステム２４は、音データの記録、再生、出力を行う。 A HDD (Hard Disk Drive) 23 (an example of a nonvolatile storage device) stores an OS, various drivers, various services/utilities, application programs, and various data.
The audio system 24 records, reproduces, and outputs sound data.

ＷＬＡＮ（Wireless Local Area Network）カード２５は、ワイヤレス（無線）ＬＡＮにより、ネットワークに接続して、データ通信を行う。ＷＬＡＮカード２５は、例えば、ネットワークからのデータを受信した際に、データを受信したことを示すイベントトリガを発生する。 A WLAN (Wireless Local Area Network) card 25 connects to a network via a wireless (wireless) LAN to perform data communication. For example, when receiving data from the network, the WLAN card 25 generates an event trigger indicating that the data has been received.

ＵＳＢコネクタ２６は、ＵＳＢを利用した周辺機器類を接続するためのコネクタである。
撮像部２７は、例えば、Ｗｅｂカメラであり、画像を撮像する。撮像部２７は、例えば、ＵＳＢインターフェースによりチップセット２１と接続されている。 The USB connector 26 is a connector for connecting peripheral devices using USB.
The image capturing unit 27 is, for example, a web camera, and captures an image. The imaging unit 27 is connected to the chipset 21 via, for example, a USB interface.

エンベデッドコントローラ３１は、ノートＰＣ１のシステム状態に関わらず、各種デバイス（周辺装置やセンサ等）を監視し制御するワンチップマイコン（One-Chip Microcomputer）である。また、エンベデッドコントローラ３１は、電源回路３３を制御する電源管理機能を有している。なお、エンベデッドコントローラ３１は、不図示のＣＰＵ、ＲＯＭ、ＲＡＭなどで構成されるとともに、複数チャネルのＡ／Ｄ入力端子、Ｄ／Ａ出力端子、タイマ、及びデジタル入出力端子を備えている。エンベデッドコントローラ３１には、それらの入出力端子を介して、例えば、入力部３２、及び電源回路３３などが接続されており、エンベデッドコントローラ３１は、これらの動作を制御する。 The embedded controller 31 is a one-chip microcomputer that monitors and controls various devices (peripheral devices, sensors, etc.) regardless of the system state of the notebook PC 1 . The embedded controller 31 also has a power management function for controlling the power supply circuit 33 . The embedded controller 31 includes a CPU, a ROM, a RAM, etc. (not shown), and has multiple channels of A/D input terminals, D/A output terminals, timers, and digital input/output terminals. For example, an input unit 32 and a power supply circuit 33 are connected to the embedded controller 31 via their input/output terminals, and the embedded controller 31 controls these operations.

入力部３２は、例えば、電源スイッチなどの制御スイッチである。
電源回路３３は、例えば、ＤＣ／ＤＣコンバータ、充放電ユニット、電池ユニット、ＡＣ／ＤＣアダプタなどを含んでおり、ＡＣ／ＤＣアダプタ、又は電池ユニットから供給される直流電圧を、ノートＰＣ１を動作させるために必要な複数の電圧に変換する。また、電源回路３３は、エンベデッドコントローラ３１からの制御に基づいて、ノートＰＣ１の各部に電力を供給する。 The input unit 32 is, for example, a control switch such as a power switch.
The power supply circuit 33 includes, for example, a DC/DC converter, a charge/discharge unit, a battery unit, an AC/DC adapter, etc., and operates the notebook PC 1 with a DC voltage supplied from the AC/DC adapter or the battery unit. To convert to multiple voltages required. Also, the power supply circuit 33 supplies power to each part of the notebook PC 1 based on the control from the embedded controller 31 .

ＭＣＵ４０は、例えば、ＣＰＵなどを含むプロセッサであり、内蔵するファームウェアを実行することで、メインシステム１０とは異なる独立した組込みシステムとして機能する。ＭＣＵ４０は、例えば、ＵＳＢインターフェースによって、チップセット２１と接続されている。ＭＣＵ４０は、仮想入力デバイスのための入力領域の画像データを生成し、入力領域の画像データを、メインシステム１０により保護された汎用インターフェース（例えば、ＵＶＣ（USB Video Class））を用いて、メインシステム１０に出力する。 The MCU 40 is, for example, a processor including a CPU, etc., and functions as an independent embedded system different from the main system 10 by executing built-in firmware. The MCU 40 is connected to the chipset 21 via, for example, a USB interface. The MCU 40 generates image data of the input area for the virtual input device, and sends the image data of the input area to the main system 10 using a general-purpose interface (for example, UVC (USB Video Class)) protected by the main system 10. Output to 10.

また、ＭＣＵ４０は、タッチセンサ部１４２が入力領域において検出した検出情報に基づく入力情報を、仮想入力デバイスが受け付けた入力情報として、メインシステム１０により保護された汎用インターフェース（例えば、ＵＳＢのＨＩＤ（Human Interface Device）クラス）を用いて、メインシステム１０（チップセット２１）に出力する。なお、ＭＣＵ４０の詳細については、図３を参照して後述する。 Further, the MCU 40 treats the input information based on the detection information detected in the input area by the touch sensor unit 142 as the input information received by the virtual input device through a general-purpose interface (for example, USB HID (Human Interface) protected by the main system 10 . Interface Device class) is used to output to the main system 10 (chipset 21). Details of the MCU 40 will be described later with reference to FIG.

次に、図３を参照して、本実施形態によるノートＰＣ１の機能構成について説明する。図３は、本実施形態によるノートＰＣ１の機能構成の一例を示すブロック図である。図３に示すように、ノートＰＣ１は、メインシステム１０と、タッチスクリーン１４と、ＭＣＵ４０とを備える。なお、図３において、ノートＰＣ１の構成として、本実施形態の発明に関する主要な機能構成のみを記載している。 Next, with reference to FIG. 3, the functional configuration of the notebook PC 1 according to this embodiment will be described. FIG. 3 is a block diagram showing an example of the functional configuration of the notebook PC 1 according to this embodiment. As shown in FIG. 3, the notebook PC 1 includes a main system 10, a touch screen 14, and an MCU 40. As shown in FIG. In addition, in FIG. 3, as the configuration of the notebook PC 1, only the main functional configuration related to the invention of the present embodiment is described.

メインシステム１０は、ＵＳＢドライバ５１と、ＯＳＫアプリケーション５２とを備える。
ＵＳＢドライバ５１は、ＣＰＵ１１とチップセット２１とにより実現される機能部であり、ＵＳＢインターフェースを制御する。本実施形態では、ＵＳＢインターフェースとして、ＨＩＤクラスと、ＶＩＤＥＯクラス（ＵＶＣ）とを使用する。 The main system 10 has a USB driver 51 and an OSK application 52 .
The USB driver 51 is a functional unit realized by the CPU 11 and the chipset 21, and controls the USB interface. In this embodiment, HID class and VIDEO class (UVC) are used as USB interfaces.

ＯＳＫアプリケーション５２は、例えば、ＯＳＫを使用するためのＡＰＩ（Application Programming Interface）である。ＯＳＫアプリケーション５２は、ＯＳＫを使用する場合に、まず、ＵＳＢドライバ５１のＨＩＤクラスを用いて、ＯＳＫの設定情報であるＯＳＫ情報をＭＣＵ４０に送信する。ここで、ＯＳＫ情報には、例えば、仮想入力デバイスの種類を示す種類情報や、表示部１４１における入力領域の表示位置を示す表示位置情報が含まれる。 The OSK application 52 is, for example, an API (Application Programming Interface) for using OSK. When using OSK, the OSK application 52 first uses the HID class of the USB driver 51 to transmit OSK information, which is OSK setting information, to the MCU 40 . Here, the OSK information includes, for example, type information indicating the type of virtual input device and display position information indicating the display position of the input area on the display section 141 .

ＯＳＫアプリケーション５２は、ＵＳＢドライバ５１のＶＩＤＥＯクラスを用いて、ＭＣＵ４０から出力されたＯＳＫの画像データ（以下、ＯＳＫ画像データという）を受信し、上述した表示部１４１における入力領域の表示位置に、当該ＯＳＫ画像データを表示させる。例えば、ＯＳＫの入力領域が表示部１４１の一部である場合には、表示部１４１に表示している画像データの一部に、ＯＳＫ画像データをオーバーレイして表示データを生成し、表示データを表示部１４１に出力する。
また、ＯＳＫアプリケーション５２は、ＵＳＢドライバ５１のＨＩＤクラスを用いて、ＯＳＫのキーコードなどの入力情報をＭＣＵ４０から受信する。 The OSK application 52 uses the VIDEO class of the USB driver 51 to receive OSK image data (hereinafter referred to as OSK image data) output from the MCU 40 , and displays the relevant Display the OSK image data. For example, when the OSK input area is part of the display unit 141, the OSK image data is overlaid on part of the image data displayed on the display unit 141 to generate display data. Output to the display unit 141 .
Also, the OSK application 52 uses the HID class of the USB driver 51 to receive input information such as an OSK key code from the MCU 40 .

なお、ＯＳＫアプリケーション５２は、ＯＳＫが操作された際に、ＯＳＫの操作に応じたフィードバックのＯＳＫ画像データを、ＵＳＢドライバ５１のＶＩＤＥＯクラスを用いて、ＭＣＵ４０から受信し、当該フィードバックのＯＳＫ画像データを表示部１４１に表示させる。また、ＯＳＫアプリケーション５２は、ＯＳＫ画像データが圧縮されている場合に、圧縮されたＯＳＫ画像データを伸張して、表示部１４１に出力する。 When the OSK is operated, the OSK application 52 receives feedback OSK image data corresponding to the OSK operation from the MCU 40 using the VIDEO class of the USB driver 51, and sends the feedback OSK image data. Displayed on the display unit 141 . Also, when the OSK image data is compressed, the OSK application 52 decompresses the compressed OSK image data and outputs it to the display unit 141 .

ＭＣＵ４０は、入力処理部４１と、表示処理部４２とを備える。
入力処理部４１は、ＵＳＢインターフェースのＨＩＤクラスを用いて、種類情報及び表示位置情報をメインシステム１０から受信し、種類情報に基づいて、仮想入力デバイスの入力領域の種類を設定するとともに、表示位置情報に基づいて、仮想入力デバイスの入力領域を設定する。なお、入力処理部４１は、入力領域の種類及び入力領域の設定情報を不図示の記憶部に記憶させる。また、種類情報には、例えば、ＯＳＫ、タッチパッド、手書き入力デバイスなどが含まれる。また、入力処理部４１は、受信した種類情報及び表示位置情報を表示処理部４２に出力して、ＯＳＫ画像データを生成させる。 The MCU 40 includes an input processing section 41 and a display processing section 42 .
The input processing unit 41 receives the type information and the display position information from the main system 10 using the HID class of the USB interface, sets the type of the input area of the virtual input device based on the type information, and sets the display position. Based on the information, set the input area of the virtual input device. Note that the input processing unit 41 stores the type of input area and setting information of the input area in a storage unit (not shown). Also, the type information includes, for example, OSK, touch pad, handwriting input device, and the like. The input processing unit 41 also outputs the received type information and display position information to the display processing unit 42 to generate OSK image data.

また、入力処理部４１は、タッチセンサ部１４２が検出した検出情報を取得し、上述により設定された入力領域において検出した検出情報を、キーコードなどの入力情報に変換する。入力処理部４１は、変換した入力情報をＵＳＢインターフェースのＨＩＤクラスを用いて、メインシステム１０に出力する。
また、入力処理部４１は、タッチセンサ部１４２の検出情報を表示処理部４２に出力して、検出情報に応じたフィードバックのＯＳＫ画像データを生成させる。 The input processing unit 41 also acquires detection information detected by the touch sensor unit 142, and converts the detection information detected in the input area set as described above into input information such as a key code. The input processing unit 41 outputs the converted input information to the main system 10 using the HID class of the USB interface.
Further, the input processing unit 41 outputs the detection information of the touch sensor unit 142 to the display processing unit 42 to generate feedback OSK image data according to the detection information.

表示処理部４２は、種類情報及び表示位置情報に基づいて、ＯＳＫ画像データを生成し、生成したＯＳＫ画像データを、ＵＳＢインターフェースのＶＩＤＥＯクラス（ＵＶＣ）を用いてメインシステム１０に出力する。なお、表示処理部４２は、生成したＯＳＫ画像データを、例えば、ＪＰＥＧ（Joint Photographic Experts Group）などの圧縮形式により、圧縮して、メインシステム１０に出力するようにしてもよい。 The display processing unit 42 generates OSK image data based on the type information and the display position information, and outputs the generated OSK image data to the main system 10 using the VIDEO class (UVC) of the USB interface. Note that the display processing unit 42 may compress the generated OSK image data in a compression format such as JPEG (Joint Photographic Experts Group) and output the data to the main system 10 .

次に、図面を参照して、本実施形態によるノートＰＣ１の動作について説明する。
図４は、本実施形態によるノートＰＣ１の仮想入力デバイスの動作の一例を示す図である。なお、ここでは、仮想入力デバイスがＯＳＫである場合の一例について説明する。 Next, the operation of the notebook PC 1 according to this embodiment will be described with reference to the drawings.
FIG. 4 is a diagram showing an example of the operation of the virtual input device of the notebook PC 1 according to this embodiment. An example in which the virtual input device is OSK will be described here.

図４に示すように、ノートＰＣ１のメインシステム１０は、まず、ＯＳＫ情報をＭＣＵ４０に出力する（ステップＳ１０１）。メインシステム１０のＯＳＫアプリケーション５２は、ＵＳＢドライバ５１のＨＩＤクラスを用いて、例えば、種類情報及び表示位置情報を含むＯＳＫ情報をＭＣＵ４０に送信する。 As shown in FIG. 4, the main system 10 of the notebook PC 1 first outputs OSK information to the MCU 40 (step S101). The OSK application 52 of the main system 10 uses the HID class of the USB driver 51 to send OSK information including, for example, type information and display position information to the MCU 40 .

次に、ＭＣＵ４０は、ＯＳＫ画像を生成する（ステップＳ１０２）。すなわち、ＭＣＵ４０の表示処理部４２は、種類情報及び表示位置情報に基づいて、例えば、図１の表示部１４１に示すようなＯＳＫ画像データを生成する。なお、ＭＣＵ４０の入力処理部４１は、受信した種類情報及び表示位置情報に基づいて、仮想入力デバイスの入力領域及び種類を設定する。 The MCU 40 then generates an OSK image (step S102). That is, the display processing unit 42 of the MCU 40 generates OSK image data as shown in the display unit 141 of FIG. 1, for example, based on the type information and the display position information. The input processing unit 41 of the MCU 40 sets the input area and type of the virtual input device based on the received type information and display position information.

次に、ＭＣＵ４０の表示処理部４２は、生成したＯＳＫ画像データを、ＵＳＢインターフェースのＶＩＤＥＯクラス（ＵＶＣ）を用いてメインシステム１０に出力する（ステップＳ１０３）。なお、表示処理部４２は、ＯＳＫ画像データをＪＰＥＧなどで圧縮して、メインシステム１０に出力するようにしてもよい。 Next, the display processing unit 42 of the MCU 40 outputs the generated OSK image data to the main system 10 using the VIDEO class (UVC) of the USB interface (step S103). Note that the display processing unit 42 may compress the OSK image data by JPEG or the like and output it to the main system 10 .

次に、メインシステム１０のＯＳＫアプリケーション５２は、ＭＣＵ４０から受信したＯＳＫ画像データを表示部１４１に出力する（ステップＳ１０４）。ＯＳＫアプリケーション５２は、ＯＳＫ画像データが圧縮されている場合に、ＯＳＫ画像データを伸張する。また、ＯＳＫアプリケーション５２は、タッチセンサ部１４２において、設定された入力領域とＯＳＫ画像データが一致するように、ＯＳＫ画像データを表示部１４１に表示させるように、ＯＳＫ画像データを、例えば、ＨＤＭＩ（登録商標）などのインターフェースにより、表示部１４１に出力する。 Next, the OSK application 52 of the main system 10 outputs the OSK image data received from the MCU 40 to the display section 141 (step S104). The OSK application 52 decompresses the OSK image data when the OSK image data is compressed. In addition, the OSK application 52 displays the OSK image data on the display unit 141 so that the OSK image data matches the input area set by the touch sensor unit 142, for example, via HDMI ( The data is output to the display unit 141 through an interface such as a registered trademark).

次に、表示部１４１は、受信したＯＳＫ画像データを表示する（ステップＳ１０５）。表示部１４１は、ＯＳＫ画像データが、タッチセンサ部１４２に設定されたＯＳＫの入力領域と一致するように、ＯＳＫ画像データを表示する。 Next, the display unit 141 displays the received OSK image data (step S105). The display unit 141 displays the OSK image data so that the OSK image data matches the OSK input area set on the touch sensor unit 142 .

また、一方で、タッチセンサ部１４２は、ＯＳＫの入力を検出したか否かを判定する（ステップＳ１０６）。タッチセンサ部１４２は、ＯＳＫの入力を検出した場合（ステップＳ１０６：ＹＥＳ）に、処理をステップＳ１０７に進める。また、タッチセンサ部１４２は、ＯＳＫの入力を検出していない場合（ステップＳ１０６：ＮＯ）に、処理をステップＳ１０６に戻す。 On the other hand, the touch sensor unit 142 determines whether or not an OSK input has been detected (step S106). When the touch sensor unit 142 detects the input of OSK (step S106: YES), the process proceeds to step S107. If the touch sensor unit 142 does not detect an OSK input (step S106: NO), the process returns to step S106.

ステップＳ１０７において、タッチセンサ部１４２は、ＯＳＫの入力を検出した検出情報を、ＭＣＵ４０に送信する。 In step S<b>107 , the touch sensor unit 142 transmits to the MCU 40 detection information indicating that the input of OSK has been detected.

次に、ＭＣＵ４０の入力処理部４１は、ＯＳＫの入力を検出した検出情報をキーコードに変換し、変換したキーコードをＵＳＢインターフェースのＨＩＤクラスを用いて、メインシステム１０に送信する（ステップＳ１０８）。 Next, the input processing unit 41 of the MCU 40 converts the detection information for detecting the OSK input into a key code, and transmits the converted key code to the main system 10 using the HID class of the USB interface (step S108). .

次に、メインシステム１０のＯＳＫアプリケーション５２は、受信したキーコードを、ＯＳＫの入力として受け付ける（ステップＳ１０９）。ＯＳＫアプリケーション５２は、受信したキーコードを各種処理の入力として利用する。 Next, the OSK application 52 of the main system 10 accepts the received key code as an OSK input (step S109). The OSK application 52 uses the received key code as input for various processes.

また、ＭＣＵ４０の表示処理部４２は、ＯＳＫの入力フィードバック画像を生成する（ステップＳ１１０）。表示処理部４２は、例えば、ＯＳＫの押下されたキーの位置に対応するＯＳＫ画像の位置を反転するなどの入力フィードバックのＯＳＫ画像データを生成する。 Further, the display processing unit 42 of the MCU 40 generates an OSK input feedback image (step S110). The display processing unit 42 generates OSK image data for input feedback such as inverting the position of the OSK image corresponding to the position of the pressed OSK key, for example.

次に、ＭＣＵ４０の表示処理部４２は、生成した入力フィードバックのＯＳＫ画像データを、ＵＳＢインターフェースのＶＩＤＥＯクラス（ＵＶＣ）を用いてメインシステム１０に出力する（ステップＳ１１１）。 Next, the display processing unit 42 of the MCU 40 outputs the generated input feedback OSK image data to the main system 10 using the VIDEO class (UVC) of the USB interface (step S111).

次に、メインシステム１０のＯＳＫアプリケーション５２は、ＭＣＵ４０から受信した入力フィードバックのＯＳＫ画像データを表示部１４１に出力する（ステップＳ１１２）。 Next, the OSK application 52 of the main system 10 outputs the OSK image data of the input feedback received from the MCU 40 to the display unit 141 (step S112).

次に、表示部１４１は、入力フィードバックのＯＳＫ画像を表示する（ステップＳ１１３）。表示部１４１は、受信した入力フィードバックのＯＳＫ画像データにより、例えば、ＯＳＫの押下されたキーの部分が反転するなどのフィードバック画像を表示する。 Next, the display unit 141 displays an OSK image for input feedback (step S113). The display unit 141 displays a feedback image in which, for example, the pressed key portion of the OSK is reversed, based on the OSK image data of the received input feedback.

なお、図４に示す処理において、ステップＳ１０２からステップＳ１０５の処理は、所定の時間間隔で、繰り返し実行されるようにしてもよい。 In the processing shown in FIG. 4, the processing from step S102 to step S105 may be repeatedly executed at predetermined time intervals.

以上説明したように、本実施形態によるノートＰＣ１（情報処理装置）は、表示部１４１と、タッチセンサ部１４２と、メインシステム１０と、ＭＣＵ４０とを備える。タッチセンサ部１４２は、表示部１４１上に配置され、表示部１４１上における物体との接触を検出する。メインシステム１０は、ＯＳ（例えば、Ｗｉｎｄｏｗｓ（登録商標））に基づく処理を実行する。ＭＣＵ４０（組込みシステム）は、メインシステム１０とは異なる独立した組込みシステムであって、仮想入力デバイスのための入力領域の画像データを生成し、入力領域の画像データを、メインシステム１０により保護された汎用インターフェースを用いて、メインシステム１０に出力する。また、ＭＣＵ４０は、タッチセンサ部１４２が入力領域において検出した検出情報に基づく入力情報を、仮想入力デバイスが受け付けた入力情報として、メインシステム１０により保護された汎用インターフェースを用いて、メインシステム１０に出力する。そして、メインシステム１０は、ＭＣＵ４０が出力した入力領域の画像データを表示部１４１に表示する。 As described above, the notebook PC 1 (information processing device) according to this embodiment includes the display unit 141, the touch sensor unit 142, the main system 10, and the MCU 40. FIG. The touch sensor unit 142 is arranged on the display unit 141 and detects contact with an object on the display unit 141 . The main system 10 executes processing based on an OS (Windows (registered trademark), for example). The MCU 40 (embedded system) is an independent embedded system different from the main system 10, generates image data of the input area for the virtual input device, and protects the image data of the input area by the main system 10. Output to the main system 10 using a general-purpose interface. In addition, the MCU 40 uses the general-purpose interface protected by the main system 10 to send the input information based on the detection information detected in the input area by the touch sensor unit 142 to the main system 10 as the input information received by the virtual input device. Output. Then, the main system 10 displays the image data of the input area output by the MCU 40 on the display section 141 .

これにより、本実施形態によるノートＰＣ１は、独立したＭＣＵ４０内の処理により、例えば、ＯＳＫなどの仮想入力デバイスを実現するため、メインシステム１０のＯＳ（例えば、Ｗｉｎｄｏｗｓ（登録商標））による制約を受けずに自由度の高い仮想入力デバイスを実現することができる。また、本実施形態によるノートＰＣ１は、メインシステム１０により保護された汎用インターフェースを用いて、入力情報及び入力領域の画像データをメインシステム１０に出力するため、他のソフトウェアから干渉を受ける懸念を低減することができる。すなわち、本実施形態によるノートＰＣ１では、例えば、メインシステム１０のＯＳが、コンピュータウイルスやマルウェアなどに感染した場合であっても、仮想入力デバイスへの入力が読み取られる心配がない。よって、本実施形態によるノートＰＣ１は、プライバシーを保護しつつ、自由度の高い仮想入力デバイスを実現することができる。 As a result, the notebook PC 1 according to the present embodiment realizes a virtual input device such as an OSK by processing in the independent MCU 40, and thus is restricted by the OS (for example, Windows (registered trademark)) of the main system 10. It is possible to realize a virtual input device with a high degree of freedom. In addition, the notebook PC 1 according to the present embodiment uses a general-purpose interface protected by the main system 10 to output input information and image data of the input area to the main system 10, thereby reducing concerns about interference from other software. can do. That is, in the notebook PC 1 according to this embodiment, even if the OS of the main system 10 is infected with a computer virus, malware, or the like, there is no concern that the input to the virtual input device will be read. Therefore, the notebook PC 1 according to this embodiment can realize a virtual input device with a high degree of freedom while protecting privacy.

また、本実施形態によるノートＰＣ１は、独立した組込みシステムであるＭＣＵ４０を追加するだけで、仮想入力デバイスを実現することができるため、簡易な構成の追加により、安全で自由度の高い仮想入力デバイスを実現することができる。 In addition, the notebook PC 1 according to the present embodiment can implement a virtual input device simply by adding the MCU 40, which is an independent embedded system. can be realized.

また、本実施形態では、ＭＣＵ４０は、ＵＳＢインターフェースのＨＩＤクラスを用いて、仮想入力デバイスが受け付けた入力情報を、メインシステム１０に出力し、ＵＶＣを用いて、入力領域の画像データをメインシステム１０に出力する。 Further, in this embodiment, the MCU 40 uses the HID class of the USB interface to output the input information received by the virtual input device to the main system 10, and uses UVC to output the image data of the input area to the main system 10. output to

ＵＳＢインターフェースのＨＩＤクラス、及びＵＶＣは、いずれも、ＯＳ（例えば、Ｗｉｎｄｏｗｓ（登録商標））により保護された安全なインターフェースであるため、本実施形態によるノートＰＣ１は、簡易な手法により、プライバシーを保護することができる。 Both the HID class and UVC of the USB interface are safe interfaces protected by the OS (for example, Windows (registered trademark)). can do.

また、本実施形態では、メインシステム１０は、表示部１４１における入力領域の表示位置を示す表示位置情報をＭＣＵ４０に送信し、ＭＣＵ４０が出力した入力領域の画像データを、表示部１４１における入力領域の表示位置に表示する。ＭＣＵ４０は、メインシステム１０から送信された表示位置情報に基づいて、入力領域を設定する。
これにより、本実施形態によるノートＰＣ１は、表示部１４１の任意の領域に仮想入力デバイスを適切に作成することができる。 Further, in the present embodiment, the main system 10 transmits display position information indicating the display position of the input area on the display unit 141 to the MCU 40, and converts the image data of the input area output by the MCU 40 into the display position of the input area on the display unit 141. Display at display position. MCU 40 sets the input area based on the display position information transmitted from main system 10 .
Thereby, the notebook PC 1 according to the present embodiment can appropriately create a virtual input device in an arbitrary area of the display unit 141 .

また、本実施形態では、メインシステム１０は、仮想入力デバイスの種類を示す種類情報をＭＣＵ４０に送信する。ＭＣＵ４０は、メインシステム１０から送信された種類情報に基づいて、入力領域の種類を設定する。
これにより、本実施形態によるノートＰＣ１は、様々な種類の仮想入力デバイスに適切に対応することができる。 Also, in this embodiment, the main system 10 transmits type information indicating the type of virtual input device to the MCU 40 . The MCU 40 sets the type of input area based on the type information transmitted from the main system 10 .
As a result, the notebook PC 1 according to this embodiment can appropriately handle various types of virtual input devices.

また、本実施形態では、ＭＣＵ４０は、仮想入力デバイスが受け付けた入力情報に応じたフィードバックにより、入力領域の画像データを変更する。
これにより、本実施形態によるノートＰＣ１は、機密とプライバシーとを保護しつつ、仮想入力デバイスの入力情報に応じたフィードバックの画像の表示を実現することができる。 Further, in this embodiment, the MCU 40 changes the image data of the input area by feedback according to the input information received by the virtual input device.
As a result, the notebook PC 1 according to the present embodiment can display a feedback image according to the input information of the virtual input device while protecting confidentiality and privacy.

また、本実施形態による制御方法は、表示部１４１と、表示部１４１上に配置され、表示部１４１上における物体との接触を検出するタッチセンサ部１４２と、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステム１０と、メインシステム１０とは異なる独立したＭＣＵ４０とを備えるノートＰＣ１の制御方法であって、第１の出力ステップと、表示ステップと、第２の出力ステップとを含む。第１の出力ステップにおいて、ＭＣＵ４０が、仮想入力デバイスのための入力領域の画像データを生成し、入力領域の画像データを、メインシステム１０により保護された汎用インターフェースを用いて、メインシステム１０に出力する。表示ステップにおいて、メインシステム１０が、ＭＣＵ４０が出力した入力領域の画像データを表示部１４１に表示する。第２の出力ステップにおいて、ＭＣＵ４０が、タッチセンサ部１４２が入力領域において検出した検出情報に基づく入力情報を、仮想入力デバイスが受け付けた入力情報として、メインシステム１０により保護された汎用インターフェースを用いて、メインシステム１０に出力する。
これにより、本実施形態による制御方法は、上述したノートＰＣ１と同様の効果を奏し、機密とプライバシーとを保護しつつ、自由度の高い仮想入力デバイスを実現することができる。 In addition, the control method according to the present embodiment includes a display unit 141, a touch sensor unit 142 arranged on the display unit 141 and detecting contact with an object on the display unit 141, and processing based on an OS (operating system). A control method for a notebook PC 1 having a main system 10 to execute and an MCU 40 independent from the main system 10, comprising a first output step, a display step, and a second output step. In the first output step, the MCU 40 generates image data of the input area for the virtual input device, and outputs the image data of the input area to the main system 10 using a general-purpose interface protected by the main system 10. do. In the display step, the main system 10 displays the image data of the input area output by the MCU 40 on the display section 141 . In the second output step, the MCU 40 uses the general-purpose interface protected by the main system 10 as the input information received by the virtual input device based on the detection information detected by the touch sensor unit 142 in the input area. , to the main system 10 .
As a result, the control method according to the present embodiment has the same effect as the notebook PC 1 described above, and can realize a virtual input device with a high degree of freedom while protecting confidentiality and privacy.

なお、上述した本実施形態では、タッチスクリーン１４に１つのＯＳＫを実現する例を説明したが、図５に示すように、タッチスクリーン１４に複数の仮想入力デバイスを実現するようにしてもよい。 In the above-described embodiment, an example in which one OSK is implemented on the touch screen 14 has been described, but as shown in FIG. 5, a plurality of virtual input devices may be implemented on the touch screen 14.

図５は、本実施形態によるノートＰＣ１の仮想入力デバイスの変形例を示す図である。図５では、ノートＰＣ１の第２筐体に配置された表示部１４１を示しており、表示部１４１には、ＯＳＫ（領域Ａ１）と、手書き入力デバイス（領域Ａ２）との２つの仮想入力デバイスが表示されている。 FIG. 5 is a diagram showing a modification of the virtual input device of the notebook PC 1 according to this embodiment. FIG. 5 shows the display unit 141 arranged in the second housing of the notebook PC 1. The display unit 141 has two virtual input devices, an OSK (area A1) and a handwriting input device (area A2). is displayed.

図５に示す例では、ＭＣＵ４０は、ＯＳＫと手書き入力デバイスとの２つの仮想入力デバイスの入力情報をメインシステム１０に出力するとともに、ＯＳＫ（領域Ａ１）と、手書き入力デバイス（領域Ａ２）との２つの画像データを生成して、メインシステム１０に出力する。 In the example shown in FIG. 5, the MCU 40 outputs the input information of the two virtual input devices, the OSK and the handwriting input device, to the main system 10, and also outputs the input information of the OSK (area A1) and the handwriting input device (area A2). Two pieces of image data are generated and output to the main system 10 .

また、上述した本実施形態において、ＭＣＵ４０は、画像データの更新処理の負荷が大きい場合、ＵＳＢでの画像の転送のための通信帯域が不足する場合、もしくは、効率的にそれらを実装したい場合に、画像データをブロック分けして、ブロックごとに必要に応じて処理するようにしてもよい。このようにすることによって、ノートＰＣ１は、処理負荷を軽減し、使用される通信帯域を低減することができる。 Further, in the above-described embodiment, the MCU 40 can be used when the image data update processing load is large, when the communication band for USB image transfer is insufficient, or when it is desired to implement them efficiently. Alternatively, the image data may be divided into blocks, and each block may be processed as required. By doing so, the notebook PC 1 can reduce the processing load and reduce the communication band used.

［第２の実施形態］
次に、図面を参照して、第２の実施形態によるノートＰＣ１ａについて説明する。
第２の実施形態では、主画面を表示する表示部１５の代わりに、タッチスクリーン１４を備える変形例について説明する。 [Second embodiment]
Next, a notebook PC 1a according to a second embodiment will be described with reference to the drawings.
In the second embodiment, a modification including a touch screen 14 instead of the display unit 15 that displays the main screen will be described.

図６は、本実施形態によるノートＰＣ１ａの主要なハードウェア構成の一例を示す図である。
図６に示すように、ノートＰＣ１ａは、ＣＰＵ１１と、メインメモリ１２と、ビデオサブシステム１３と、２つのタッチスクリーン１４と、表示部１５と、チップセット２１と、ＢＩＯＳメモリ２２と、ＨＤＤ２３と、オーディオシステム２４と、ＷＬＡＮカード２５と、ＵＳＢコネクタ２６と、撮像部２７と、エンベデッドコントローラ３１と、入力部３２と、電源回路３３と、ＭＣＵ４０ａとを備える。
なお、図８において、上述した図２と同一の構成には、同一の符号を付与して、その説明を省略する。 FIG. 6 is a diagram showing an example of the main hardware configuration of the notebook PC 1a according to this embodiment.
As shown in FIG. 6, the notebook PC 1a includes a CPU 11, a main memory 12, a video subsystem 13, two touch screens 14, a display unit 15, a chipset 21, a BIOS memory 22, an HDD 23, It has an audio system 24, a WLAN card 25, a USB connector 26, an imaging unit 27, an embedded controller 31, an input unit 32, a power supply circuit 33, and an MCU 40a.
In addition, in FIG. 8, the same components as in FIG. 2 described above are given the same reference numerals, and the description thereof will be omitted.

本実施形態では、ノートＰＣ１ａは、２つのタッチスクリーン１４（１４－１、１４－２）を備える。タッチスクリーン１４－１は、第１筐体１０１に配置されており、メインの表示部として機能する。タッチスクリーン１４－１は、表示部１４１－１と、タッチセンサ部１４２－１とを備える。
タッチスクリーン１４－２は、第２筐体１０２に配置されており、表示部１４１－２と、タッチセンサ部１４２－２とを備える。 In this embodiment, the notebook PC 1a has two touch screens 14 (14-1, 14-2). The touch screen 14-1 is arranged in the first housing 101 and functions as a main display. The touch screen 14-1 includes a display section 141-1 and a touch sensor section 142-1.
The touch screen 14-2 is arranged in the second housing 102 and includes a display section 141-2 and a touch sensor section 142-2.

なお、タッチスクリーン１４－１と、タッチスクリーン１４－２とは、同一の構成であり、ノートＰＣ１ａが備える任意のタッチスクリーンを示す場合、又は特に区別しない場合には、タッチスクリーン１４として説明する。
また、表示部１４１－１と表示部１４１－２とは、上述した表示部１４１と同一の構成であるため、ここではその説明を省略する。また、タッチセンサ部１４２－１とタッチセンサ部１４２－２とは、上述したタッチセンサ部１４２と同一の構成であるため、ここではその説明を省略する。 Note that the touch screen 14-1 and the touch screen 14-2 have the same configuration, and will be described as the touch screen 14 when an arbitrary touch screen provided in the notebook PC 1a is shown or when there is no particular distinction.
Further, since the display units 141-1 and 141-2 have the same configuration as the display unit 141 described above, description thereof is omitted here. Further, since the touch sensor units 142-1 and 142-2 have the same configuration as the touch sensor unit 142 described above, description thereof will be omitted here.

また、本実施形態では、表示部１４１－１と表示部１４１－２とを一つの表示部１４０として扱うことが可能である。表示部１４０において、表示部１４１－１を第１表示領域とし、表示部１４１－２を第２表示領域としてもよい。 Further, in this embodiment, the display section 141-1 and the display section 141-2 can be treated as one display section 140. FIG. In the display section 140, the display section 141-1 may be the first display area and the display section 141-2 may be the second display area.

ＭＣＵ４０ａ（組込みシステムの一例）は、基本的な機能は、上述した第１の実施形態のＭＣＵ４０と同様である。ＭＣＵ４０ａは、２つのタッチスクリーン１４に対して、仮想入力デバイスの制御を行う点が第１の実施形態のＭＣＵ４０と異なる。 The MCU 40a (an example of an embedded system) has the same basic functions as the MCU 40 of the first embodiment described above. The MCU 40 a differs from the MCU 40 of the first embodiment in that it controls virtual input devices for two touch screens 14 .

次に、図７を参照して、本実施形態によるノートＰＣ１ａの機能構成について説明する。
図７は、本実施形態によるノートＰＣ１ａの機能構成の一例を示すブロック図である。図７に示すように、ノートＰＣ１ａは、メインシステム１０と、２つのタッチスクリーン１４（１４－１、１４－２）と、ＭＣＵ４０ａとを備える。なお、図７において、ノートＰＣ１ａの構成として、本実施形態の発明に関する主要な機能構成のみを記載している。また、図７において、上述した図３と同一の構成には同一の符号を付与して、その説明を省略する。 Next, the functional configuration of the notebook PC 1a according to this embodiment will be described with reference to FIG.
FIG. 7 is a block diagram showing an example of the functional configuration of the notebook PC 1a according to this embodiment. As shown in FIG. 7, the notebook PC 1a includes a main system 10, two touch screens 14 (14-1, 14-2), and an MCU 40a. Note that FIG. 7 shows only the main functional configuration related to the invention of the present embodiment as the configuration of the notebook PC 1a. Moreover, in FIG. 7, the same components as in FIG. 3 described above are denoted by the same reference numerals, and description thereof will be omitted.

ＭＣＵ４０ａは、入力処理部４１ａと、表示処理部４２ａとを備える。
入力処理部４１ａは、上述した第１の実施形態の入力処理部４１と同様の機能を有し、２つのタッチセンサ部（１４２－１、１４２－２）に対応する点が異なる。
入力処理部４１ａは、ＵＳＢインターフェースのＨＩＤクラスを用いて、種類情報及び表示位置情報をメインシステム１０から受信し、種類情報に基づいて、仮想入力デバイスの入力領域の種類を設定するとともに、表示位置情報に基づいて、仮想入力デバイスの入力領域を設定する。また、入力処理部４１ａは、受信した種類情報及び表示位置情報を表示処理部４２ａに出力して、ＯＳＫ画像データを生成させる。 The MCU 40a includes an input processing section 41a and a display processing section 42a.
The input processing unit 41a has the same function as the input processing unit 41 of the first embodiment described above, but differs in that it corresponds to two touch sensor units (142-1, 142-2).
The input processing unit 41a receives the type information and the display position information from the main system 10 using the HID class of the USB interface, sets the type of the input area of the virtual input device based on the type information, and sets the display position. Based on the information, set the input area of the virtual input device. The input processing unit 41a also outputs the received type information and display position information to the display processing unit 42a to generate OSK image data.

また、入力処理部４１ａは、２つのタッチセンサ部（１４２－１、１４２－２）が検出した検出情報を取得し、上述により設定された入力領域において検出した検出情報を、キーコードなどの入力情報に変換する。入力処理部４１ａは、変換した入力情報をＵＳＢインターフェースのＨＩＤクラスを用いて、メインシステム１０に出力する。
また、入力処理部４１は、上述により設定された入力領域の入力を検出した場合に、２つのタッチセンサ部（１４２－１、１４２－２）の検出情報を表示処理部４２ａに出力して、検出情報に応じたフィードバックのＯＳＫ画像データを生成させる。 Further, the input processing unit 41a acquires the detection information detected by the two touch sensor units (142-1, 142-2), and uses the detection information detected in the input area set as described above to input a key code or the like. Convert to information. The input processing unit 41a outputs the converted input information to the main system 10 using the HID class of the USB interface.
Further, when the input processing unit 41 detects an input in the input area set as described above, the input processing unit 41 outputs the detection information of the two touch sensor units (142-1, 142-2) to the display processing unit 42a, OSK image data for feedback corresponding to the detection information is generated.

表示処理部４２ａは、種類情報及び表示位置情報に基づいて、表示部１４１－１及び表示部１４１－２に対応するＯＳＫ画像データを生成し、生成したＯＳＫ画像データを、ＵＳＢインターフェースのＶＩＤＥＯクラス（ＵＶＣ）を用いてメインシステム１０に出力する。 The display processing unit 42a generates OSK image data corresponding to the display units 141-1 and 141-2 based on the type information and the display position information, and transmits the generated OSK image data to the VIDEO class ( UVC) is used to output to the main system 10 .

なお、本実施形態のＯＳＫアプリケーション５２は、ＵＳＢドライバ５１のＶＩＤＥＯクラスを用いて、ＭＣＵ４０ａから出力されたＯＳＫ画像データを受信する。ＯＳＫアプリケーション５２は、ＯＳＫ画像データが、表示部１４１－１の仮想入力デバイスである場合に、表示部１４１－１の入力領域の表示位置に、当該ＯＳＫ画像データを表示させる表示データＡを出力して、表示部１４１－１に表示させる。また、ＯＳＫアプリケーション５２は、ＯＳＫ画像データが、表示部１４１－２の仮想入力デバイスである場合に、表示部１４１－２の入力領域の表示位置に、当該ＯＳＫ画像データを表示させる表示データＡを出力して、表示部１４１－２に表示させる。 The OSK application 52 of this embodiment uses the VIDEO class of the USB driver 51 to receive OSK image data output from the MCU 40a. The OSK application 52 outputs display data A for displaying the OSK image data at the display position of the input area of the display unit 141-1 when the OSK image data is the virtual input device of the display unit 141-1. to display on the display unit 141-1. Further, when the OSK image data is the virtual input device of the display unit 141-2, the OSK application 52 generates display data A for displaying the OSK image data at the display position of the input area of the display unit 141-2. It is output and displayed on the display unit 141-2.

以上説明したように、本実施形態によるノートＰＣ１ａは、メインシステム１０と、２つのタッチスクリーン１４（１４－１、１４－２）と、ＭＣＵ４０ａとを備える。ＭＣＵ４０ａは、２つのタッチスクリーン１４（１４－１、１４－２）に対応した仮想入力デバイスの制御を行う。
これにより、本実施形態によるノートＰＣ１ａは、主画面を表示する１４－１に対しても仮想入力デバイスを使用することが可能になり、プライバシーを保護しつつ、さらに自由度の高い仮想入力デバイスを実現することができる。 As described above, the notebook PC 1a according to this embodiment includes the main system 10, two touch screens 14 (14-1, 14-2), and the MCU 40a. The MCU 40a controls virtual input devices corresponding to the two touch screens 14 (14-1, 14-2).
As a result, the notebook PC 1a according to the present embodiment can use the virtual input device also for the 14-1 that displays the main screen, and the virtual input device can be used with a higher degree of freedom while protecting privacy. can be realized.

また、本実施形態において、表示部１４０は、メインシステム１０の主画面の画像データを表示する表示部１４１－１（第１表示領域）と、入力領域の画像データを含む画像データを表示する表示部１４１－２（第２表示領域）とを備えるようにしてもよい。
これにより、本実施形態によるノートＰＣ１ａは、２つの表示領域（表示部１４１－１及び表示部１４１－２）を用いて、様々な画像データを柔軟に表示させることができる。 In this embodiment, the display unit 140 includes a display unit 141-1 (first display area) for displaying image data of the main screen of the main system 10, and a display unit 141-1 (first display area) for displaying image data including image data for the input area. A section 141-2 (second display area) may be provided.
Thus, the notebook PC 1a according to the present embodiment can flexibly display various image data using two display areas (the display section 141-1 and the display section 141-2).

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、情報処理装置がノートＰＣ１（１ａ）である例を説明したが、これに限定されるものではなく、例えば、タブレット端末装置、デスクトップＰＣなどの他の情報処理装置であってもよい。 It should be noted that the present invention is not limited to the above embodiments, and can be modified without departing from the scope of the present invention.
For example, in each of the above embodiments, an example in which the information processing device is the notebook PC 1 (1a) has been described, but the present invention is not limited to this, and other information processing devices such as tablet terminal devices and desktop PCs can be used. may be

また、上記の第２の実施形態において、表示部１４０を２つの表示領域（表示部１４１－１及び表示部１４１－２）に分割して使用する例、もしくは、ノートＰＣ１ａが、２つの表示部１４１（１４１－１、１４１－２）を備える例を説明したが、これらに限定されるものではない。例えば、表示部１４０を３つの表示領域に分割して用いる、もしくは、ノートＰＣ１ａが、３つ以上の表示部１４１を備えるようにしてもよい。 In the above second embodiment, an example in which the display unit 140 is divided into two display areas (display unit 141-1 and display unit 141-2) is used, or the notebook PC 1a has two display units. 141 (141-1, 141-2) has been described, but it is not limited to this. For example, the display unit 140 may be divided into three display areas for use, or the notebook PC 1a may include three or more display units 141. FIG.

また、上記の各実施形態において、仮想入力デバイスの一例として、ＯＳＫを行う入力装置の例を説明したが、これに限定されるものではない。仮想入力デバイスは、例えば、手書き入力デバイス、ソフトウェアキーボード、ポインティングデバイス、などであってもよい。 Also, in each of the above-described embodiments, an example of an input device that performs OSK has been described as an example of a virtual input device, but the present invention is not limited to this. A virtual input device may be, for example, a handwriting input device, a software keyboard, a pointing device, or the like.

また、上記の各実施形態において、メインシステム１０（ＯＳ）により保護された汎用インターフェースの例として、ＵＳＢインターフェースのＨＩＤクラス、及びＵＶＣを用いる例を説明したが、これに限定されるものではなく、メインシステム１０（ＯＳ）により保護されたインターフェースであれば、他の汎用インターフェースをもちいてもよい。 Further, in each of the above-described embodiments, as an example of a general-purpose interface protected by the main system 10 (OS), an example using the HID class of the USB interface and UVC has been described, but the present invention is not limited to this. Other general-purpose interfaces may be used as long as they are protected by the main system 10 (OS).

また、上記の各実施形態において、ＭＣＵ４０（４０ａ）は、フィードバックのＯＳＫ画像データを生成する例を説明したが、ＯＳＫ画像データとともに、例えば、クリック音などの音データを生成するようにしてもよい。 In each of the above-described embodiments, an example in which the MCU 40 (40a) generates feedback OSK image data has been described, but sound data such as a click sound may be generated together with the OSK image data. .

（１）表示部と、前記表示部上に配置され、前記表示部上における物体との接触を検出するタッチセンサ部と、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステムと、前記メインシステムとは異なる独立した組込みシステムであって、仮想入力デバイスのための入力領域の画像データを生成し、前記入力領域の画像データを、前記メインシステムにより保護された汎用インターフェースを用いて、前記メインシステムに出力するとともに、前記タッチセンサ部が前記入力領域において検出した検出情報に基づく入力情報を、前記仮想入力デバイスが受け付けた入力情報として、前記メインシステムにより保護された汎用インターフェースを用いて、前記メインシステムに出力する組込みシステムとを備え、前記メインシステムは、前記組込みシステムが出力した前記入力領域の画像データを前記表示部に表示する情報処理装置。
（２）前記組込みシステムは、ＵＳＢ（Universal Serial Bus）インターフェースのＨＩＤ（Human Interface Device）クラスを用いて、前記仮想入力デバイスが受け付けた入力情報を、前記メインシステムに出力し、ＵＶＣ（USB Video Class）を用いて、前記入力領域の画像データを前記メインシステムに出力する（１）に記載の情報処理装置。
（３）前記メインシステムは、前記表示部における前記入力領域の表示位置を示す表示位置情報を前記組込みシステムに送信し、前記組込みシステムが出力した前記入力領域の画像データを、前記表示部における前記入力領域の表示位置に表示し、前記組込みシステムは、前記メインシステムから送信された前記表示位置情報に基づいて、前記入力領域を設定する（１）又は（２）に記載の情報処理装置。
（４）前記メインシステムは、前記仮想入力デバイスの種類を示す種類情報を前記組込みシステムに送信し、前記組込みシステムは、前記メインシステムから送信された前記種類情報に基づいて、前記入力領域の種類を設定する（１）から（３）のいずれかに記載の情報処理装置。
（５）前記組込みシステムは、前記仮想入力デバイスが受け付けた入力情報に応じたフィードバックにより、前記入力領域の画像データを変更する（１）から（４）のいずれかに記載の情報処理装置。
（６）前記表示部は、前記メインシステムの主画面の画像データを表示する第１表示領域と、前記入力領域の画像データを含む画像データを表示する第２表示領域とを備える（１）から（５）のいずれかに記載の情報処理装置。
（７）表示部と、前記表示部上に配置され、前記表示部上における物体との接触を検出するタッチセンサ部と、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステムと、前記メインシステムとは異なる独立した組込みシステムとを備える情報処理装置の制御方法であって、前記組込みシステムが、仮想入力デバイスのための入力領域の画像データを生成し、前記入力領域の画像データを、前記メインシステムにより保護された汎用インターフェースを用いて、前記メインシステムに出力するステップと、前記メインシステムが、前記組込みシステムが出力した前記入力領域の画像データを前記表示部に表示するステップと、前記組込みシステムが、前記タッチセンサ部が前記入力領域において検出した検出情報に基づく入力情報を、前記仮想入力デバイスが受け付けた入力情報として、前記メインシステムにより保護された汎用インターフェースを用いて、前記メインシステムに出力するステップとを含む制御方法。 (1) a display unit, a touch sensor unit that is arranged on the display unit and detects contact with an object on the display unit, a main system that executes processing based on an OS (operating system), and the main system An independent embedded system different from the main system, which generates image data of an input area for a virtual input device, and transmits the image data of the input area to the main system using a general-purpose interface protected by the main system and outputs input information based on detection information detected in the input area by the touch sensor unit as input information received by the virtual input device using a general-purpose interface protected by the main system. and an embedded system for outputting to a system, wherein the main system displays the image data of the input area output by the embedded system on the display unit.
(2) The embedded system uses a HID (Human Interface Device) class of a USB (Universal Serial Bus) interface to output the input information received by the virtual input device to the main system, a UVC (USB Video Class ) to output the image data of the input area to the main system.
(3) The main system transmits display position information indicating the display position of the input area on the display unit to the embedded system, and transmits the image data of the input area output by the embedded system to the display unit on the display unit. The information processing apparatus according to (1) or (2), wherein an input area is displayed at a display position, and the embedded system sets the input area based on the display position information transmitted from the main system.
(4) The main system transmits type information indicating the type of the virtual input device to the embedded system, and the embedded system determines the type of the input area based on the type information transmitted from the main system. The information processing apparatus according to any one of (1) to (3), which sets the
(5) The information processing apparatus according to any one of (1) to (4), wherein the embedded system changes the image data of the input area by feedback according to the input information received by the virtual input device.
(6) The display unit includes a first display area for displaying image data of the main screen of the main system, and a second display area for displaying image data including image data of the input area. The information processing device according to any one of (5).
(7) a display unit, a touch sensor unit that is arranged on the display unit and detects contact with an object on the display unit, a main system that executes processing based on an OS (operating system), and the main system A control method for an information processing apparatus comprising an independent embedded system different from a virtual input device, wherein the embedded system generates image data of an input area for a virtual input device, and transmits the image data of the input area to the main virtual input device. a step of outputting to the main system using a general-purpose interface protected by the system; a step of the main system displaying the image data of the input area output by the embedded system on the display; The input information based on the detection information detected in the input area by the touch sensor unit is output to the main system as the input information received by the virtual input device using a general-purpose interface protected by the main system. and a control method.

なお、上述したノートＰＣ１（１ａ）が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したノートＰＣ１（１ａ）が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したノートＰＣ１（１ａ）が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。 Note that each component of the notebook PC 1 (1a) described above has a computer system inside. Then, a program for realizing the function of each configuration of the notebook PC 1 (1a) described above is recorded in a computer-readable recording medium, and the program recorded in this recording medium is read and executed by the computer system. Therefore, the processing in each configuration included in the notebook PC 1 (1a) may be performed. Here, "loading and executing the program recorded on the recording medium into the computer system" includes installing the program in the computer system. The "computer system" here includes hardware such as an OS and peripheral devices.
Also, the "computer system" may include a plurality of computer devices connected via a network including communication lines such as the Internet, WAN, LAN, and dedicated lines. The term "computer-readable recording medium" refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage devices such as hard discs incorporated in computer systems. Thus, the recording medium storing the program may be a non-transitory recording medium such as a CD-ROM.

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にノートＰＣ１（１ａ）が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Recording media also include internal or external recording media accessible from the distribution server for distributing the program. Note that the program may be divided into a plurality of programs and downloaded at different timings, and then combined in each configuration provided in the notebook PC 1 (1a), or the distribution server that distributes each of the divided programs may be different. In addition, "computer-readable recording medium" is a volatile memory (RAM) inside a computer system that acts as a server or client when the program is transmitted via a network, and retains the program for a certain period of time. It shall also include things. Further, the program may be for realizing part of the functions described above. Further, it may be a so-called difference file (difference program) that can realize the above functions by combining with a program already recorded in the computer system.

また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。 Also, part or all of the functions described above may be implemented as an integrated circuit such as an LSI (Large Scale Integration). Each function mentioned above may be processor-ized individually, and may integrate|stack and processor-ize a part or all. Also, the method of circuit integration is not limited to LSI, but may be realized by a dedicated circuit or a general-purpose processor. In addition, when an integration circuit technology that replaces LSI appears due to advances in semiconductor technology, an integrated circuit based on this technology may be used.

１、１ａノートＰＣ
１０メインシステム
１１ＣＰＵ
１２メインメモリ
１３ビデオサブシステム
１４、１４－１、１４－２タッチスクリーン
１５表示部
２１チップセット
２２ＢＩＯＳメモリ
２３ＨＤＤ
２４オーディオシステム
２５ＷＬＡＮカード
２６ＵＳＢコネクタ
２７撮像部
３１エンベデッドコントローラ（ＥＣ）
３２入力部
３３電源回路
４０、４０ａＭＣＵ
４１、４１ａ入力処理部
４２、４２ａ表示処理部
１０１第１筐体
１０２第２筐体
１４０、１４１、１４１－１、１４１－２表示部
１４２、１４２－１、１４２－２タッチセンサ部 1, 1a Notebook PC
10 main system 11 CPU
12 main memory 13 video subsystem 14, 14-1, 14-2 touch screen 15 display unit 21 chipset 22 BIOS memory 23 HDD
24 audio system 25 WLAN card 26 USB connector 27 imaging unit 31 embedded controller (EC)
32 input unit 33 power supply circuit 40, 40a MCU
41, 41a input processing unit 42, 42a display processing unit 101 first housing 102 second housing 140, 141, 141-1, 141-2 display unit 142, 142-1, 142-2 touch sensor unit

Claims

touch screen and
a first processor that executes processing based on an OS (operating system);
A second processor that is independent from the first processor, and transmits data indicating image data of an input area for a virtual input device to the first processor using a general-purpose interface protected by the first processor. and outputting input information based on contact information detected by the touch screen to the first processor using a general-purpose interface protected by the first processor.

The information processing apparatus according to claim 1, wherein the first processor displays the image data of the input area output by the second processor on the touch screen.

The second processor uses a HID (Human Interface Device) class of a USB (Universal Serial Bus) interface to output the input information received by the virtual input device to the first processor, and a UVC (USB Video Class) 3. The information processing apparatus according to claim 1, wherein the image data of the input area is output to the first processor using a.

The first processor transmits display position information indicating a display position of the input area on the touch screen to the second processor, and transmits image data of the input area output by the second processor to the touch screen on the touch screen. Display at the display position of the input area,
The information processing apparatus according to any one of claims 1 to 3, wherein the second processor sets the input area based on the display position information transmitted from the first processor.

The first processor transmits type information indicating the type of the virtual input device to the second processor,
The information processing apparatus according to any one of claims 1 to 4, wherein the second processor sets the type of the input area based on the type information transmitted from the first processor.

The information processing apparatus according to any one of claims 1 to 5, wherein the second processor changes the image data of the input area by feedback according to the input information received by the virtual input device.

The touch screen comprises a first display area displaying image data of the main screen of the first processor, and a second display area displaying image data including image data of the input area. 7. The information processing device according to any one of 6.

A control method for an information processing device comprising a touch screen, a first processor that executes processing based on an OS (operating system), and a second processor that is independent from the first processor,
the second processor outputting data indicating image data of an input area for a virtual input device to the first processor using a general purpose interface protected by the first processor;
and a step of outputting input information based on contact information detected by the touch screen to the first processor using a general-purpose interface protected by the first processor.

A second processor that is independent from the first processor that executes processing based on an OS (operating system),
Data indicating image data of an input area for a virtual input device is output to the first processor using a general-purpose interface protected by the first processor, and input information based on contact information detected by the touch screen. to the first processor using a general purpose interface protected by the first processor.

touch screen and
a first processor that executes processing based on an OS (operating system);
A second processor that is independent from the first processor and outputs input information based on contact information detected by the touch screen to the first processor using a general-purpose interface protected by the first processor. an information processing apparatus comprising: a second processor that