JP6916339B1 - 情報処理装置、及び制御方法 - Google Patents

Abstract

【課題】プライバシーを保護しつつ、自由度の高い仮想入力デバイスを実現する。【解決手段】情報処理装置は、表示部と、表示部上に配置され、表示部上における物体との接触を検出するタッチセンサ部と、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステムと、メインシステムとは異なる独立した組込みシステムであって、メインシステムから出力された第１画像データと、仮想入力デバイスのための入力領域の画像データである第２画像データとを合成した第３画像データを表示部に表示させるとともに、タッチセンサ部が入力領域において検出した検出情報に基づく入力情報を、仮想入力デバイスが受け付けた入力情報としてメインシステムに出力する組込みシステムとを備える。【選択図】図３

Description

本発明は、情報処理装置、及び制御方法に関する。

近年、ノートブック型パーソナルコンピュータ（以下、ノートＰＣ：Personal Computer）などの情報処理装置では、表示画面をソフトウェアキーボードなどの仮想入力デバイスとして使用するものが知られている。また、１台で複数の表示部を使用できる複数表示（Multiple display）環境を提供可能な情報処理装置が提案されている。

特開２０１５−２３３１９８号公報

ところで、一般的に、仮想入力デバイスをソフトウェアで実装すると、他のソフトウェアから、仮想入力デバイスへの入力が読み取られるなど、セキュリティ上、及びプライバシー上のリスクが懸念される。このため、仮想入力デバイスをソフトウェアで実装する際は、例えば、Ｗｉｎｄｏｗｓ（登録商標）などのＯＳ（オペレーティングシステム）付属のツールとして実装され、他者による独自の仮想入力デバイスの実装が認められないことがほとんどである。そのため、従来の情報処理装置では、このようなＯＳの制約などから、自由度の高い仮想入力デバイスを実現することは困難であった。

本発明は、上記問題を解決すべくなされたもので、その目的は、プライバシーを保護しつつ、自由度の高い仮想入力デバイスを実現することができる情報処理装置、及び制御方法を提供することにある。

上記問題を解決するために、本発明の一態様は、表示部と、前記表示部上に配置され、前記表示部上における物体との接触を検出するタッチセンサ部と、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステムと、前記メインシステムとは異なる独立した組込みシステムであって、前記メインシステムから出力された第１画像データと、仮想入力デバイスのための入力領域の画像データである第２画像データとを合成した第３画像データを前記表示部に表示させるとともに、前記タッチセンサ部が前記入力領域において検出した検出情報に基づく入力情報を、前記仮想入力デバイスが受け付けた入力情報として前記メインシステムに出力する組込みシステムとを備える情報処理装置である。

また、本発明の一態様は、上記の情報処理装置において、前記組込みシステムは、前記第１画像データの一部領域に、前記第２画像データを合成して、前記第３画像データを生成するようにしてもよい。

また、本発明の一態様は、上記の情報処理装置において、前記組込みシステムは、前記第２画像データの一部領域に、前記第１画像データを合成して、前記第３画像データを生成するようにしてもよい。

また、本発明の一態様は、上記の情報処理装置において、前記組込みシステムは、前記第１画像データの一部領域に、前記第２画像データを合成する処理と、前記第２画像データの一部領域に、前記第１画像データを合成する処理とを切り替えて実行するようにしてもよい。

また、本発明の一態様は、上記の情報処理装置において、前記組込みシステムは、前記タッチセンサ部が所定の操作を受け付けた場合に、前記第１画像データを前記表示部に表示させる状態から、前記第３画像データを前記表示部に表示させる状態に切り替えるようにしてもよい。

また、本発明の一態様は、上記の情報処理装置において、前記表示部は、前記第１画像データと前記第３画像データとのいずれかを表示する第１表示領域と、前記メインシステムが出力された画像データを直接受信し、当該画像データを表示する第２表示領域とを備えるようにしてもよい。

また、本発明の一態様は、上記の情報処理装置において、前記メインシステムから出力された前記第１画像データを前記組込みシステムを経由させずに、前記表示部に出力する第１経路と、前記メインシステムから出力された前記第１画像データを前記組込みシステムを経由させ、前記組込みシステムから出力された前記第３画像データを前記表示部に出力する第２経路と、を切り替える切替部を備え、前記組込みシステムは、前記第３画像データを前記表示部に表示させる場合に、前記切替部を前記第１経路から前記第２経路に切り替えるようにしてもよい。

また、本発明の一態様は、上記の情報処理装置において、前記組込みシステムは、色空間における前記第１画像データの色と前記第２画像データの色との距離が、所定の閾値以内である場合に、前記第２画像データを視認できるように、前記第２画像データの色を変更して、前記第３画像データを生成するようにしてもよい。

また、本発明の一態様は、表示部と、前記表示部上に配置され、前記表示部上における物体との接触を検出するタッチセンサ部と、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステムと、前記メインシステムとは異なる独立した組込みシステムとを備える情報処理装置の制御方法であって、前記組込みシステムが、前記メインシステムから出力された第１画像データと、仮想入力デバイスのための入力領域の画像データである第２画像データとを合成した第３画像データを前記表示部に表示させるステップと、前記組込みシステムが、前記タッチセンサ部が前記入力領域において検出した検出情報に基づく入力情報を、前記仮想入力デバイスが受け付けた入力情報として前記メインシステムに出力するステップとを含む制御方法である。

本発明の上記態様によれば、プライバシーを保護しつつ、自由度の高い仮想入力デバイスを実現することができる。

第１の実施形態によるノートＰＣの一例を示す外観図である。 第１の実施形態によるノートＰＣの主要なハードウェア構成の一例を示す図である。 第１の実施形態によるノートＰＣの機能構成の一例を示すブロック図である。 第１の実施形態における仮想入力デバイスの表示の合成処理の一例を示す図である。 第１の実施形態におけるＳｏＣの合成処理の一例を示すフローチャートである。 第１の実施形態における仮想入力デバイスの表示の合成処理の変形例を示す図である。 第２の実施形態によるノートＰＣの一例を示す外観図である。 第２の実施形態によるノートＰＣの主要なハードウェア構成の一例を示す図である。 第２の実施形態によるノートＰＣの機能構成の一例を示すブロック図である。 第２の実施形態におけるＳｏＣの切替処理の一例を示すフローチャートである。 第２の実施形態によるノートＰＣの画像表示パターンの変形例を示す図である。

以下、本発明の一実施形態による情報処理装置、及び制御方法について、図面を参照して説明する。

［第１の実施形態］
図１は、第１の実施形態によるノートＰＣ１の一例を示す外観図である。なお、本実施形態において、情報処理装置の一例として、ノートＰＣ１について説明する。
図１に示すように、ノートＰＣ１は、第１筐体１０１と、第２筐体１０２とを備え、ヒンジ機構により一方の筐体（第１筐体１０１）の側面が他方の筐体（第２筐体１０２）の側面に係合され、ヒンジ機構の回転軸周りに第１筐体１０１が第２筐体１０２に対して回動可能に構成されている。

また、ノートＰＣ１は、タッチスクリーン１４と入力部３２とを備える。タッチスクリーン１４は、第１筐体１０１に配置されており、メインの表示部として機能する。タッチスクリーン１４は、表示部１４１と、タッチセンサ部１４２とを備える。
入力部３２は、例えば、キーボードやポインティングデバイスであり、第２筐体１０２に配置されている。

図２は、本実施形態によるノートＰＣ１の主要なハードウェア構成の一例を示す図である。
図２に示すように、ノートＰＣ１は、ＣＰＵ１１と、メインメモリ１２と、ビデオサブシステム１３と、タッチスクリーン１４と、チップセット２１と、ＢＩＯＳメモリ２２と、ＨＤＤ２３と、オーディオシステム２４と、ＷＬＡＮカード２５と、ＵＳＢコネクタ２６と、撮像部２７と、エンベデッドコントローラ３１と、入力部３２と、電源回路３３と、ＳｏＣ（System-on-a-Chip）４０と、Ｉ／Ｆ（インタフェース）ブリッジ５２とを備える。

なお、本実施形態において、ＣＰＵ１１と、メインメモリ１２と、ビデオサブシステム１３と、チップセット２１と、ＢＩＯＳメモリ２２と、ＨＤＤ２３と、オーディオシステム２４と、ＷＬＡＮカード２５と、ＵＳＢコネクタ２６と、撮像部２７と、エンベデッドコントローラ３１と、入力部３２と、電源回路３３とは、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステム１０に対応する。
メインシステム１０は、例えば、Ｗｉｎｄｏｗｓ（登録商標）に基づいて、各種処理を実行する。

ＣＰＵ（Central Processing Unit）１１は、プログラム制御により種々の演算処理を実行し、ノートＰＣ１全体を制御している。
メインメモリ１２は、ＣＰＵ１１の実行プログラムの読み込み領域として、又は、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップで構成される。この実行プログラムには、ＯＳ、周辺機器類をハードウェア操作するための各種ドライバ、各種サービス／ユーティリティ、アプリケーションプログラム等が含まれる。

ビデオサブシステム１３は、画像表示に関連する機能を実現するためのサブシステムであり、ビデオコントローラを含んでいる。このビデオコントローラは、ＣＰＵ１１からの描画命令を処理し、処理した描画情報をビデオメモリに書き込むとともに、ビデオメモリからこの描画情報を読み出して、表示部１４１に描画データ（画像データ）として出力する。ビデオサブシステム１３は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface（登録商標））により出力する。

チップセット２１は、ＵＳＢ（Universal Serial Bus）、シリアルＡＴＡ（AT Attachment）、ＳＰＩ（Serial Peripheral Interface）バス、ＰＣＩ（Peripheral Component Interconnect）バス、ＰＣＩ−Ｅｘｐｒｅｓｓバス、及びＬＰＣ（Low Pin Count）バスなどのコントローラを備えており複数のデバイスが接続される。図２では、デバイスの例示として、ＢＩＯＳメモリ２２と、ＨＤＤ２３と、オーディオシステム２４と、ＷＬＡＮカード２５と、ＵＳＢコネクタ２６と、撮像部２７とが、チップセット２１に接続されている。

ＢＩＯＳ（Basic Input Output System）メモリ２２は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュＲＯＭなどの電気的に書き換え可能な不揮発性メモリで構成される。ＢＩＯＳメモリ２２は、ＢＩＯＳ、及びエンベデッドコントローラ３１などを制御するためのシステムファームウェアなどを記憶する。

ＨＤＤ（Hard Disk Drive）２３（不揮発性記憶装置の一例）は、ＯＳ、各種ドライバ、各種サービス／ユーティリティ、アプリケーションプログラム、及び各種データを記憶する。
オーディオシステム２４は、音データの記録、再生、出力を行う。

ＷＬＡＮ（Wireless Local Area Network）カード２５は、ワイヤレス（無線）ＬＡＮにより、ネットワークに接続して、データ通信を行う。ＷＬＡＮカード２５は、例えば、ネットワークからのデータを受信した際に、データを受信したことを示すイベントトリガを発生する。

ＵＳＢコネクタ２６は、ＵＳＢを利用した周辺機器類を接続するためのコネクタである。
撮像部２７は、例えば、Ｗｅｂカメラであり、画像を撮像する。撮像部２７は、例えば、ＵＳＢインタフェースによりチップセット２１と接続されている。

エンベデッドコントローラ３１は、ノートＰＣ１のシステム状態に関わらず、各種デバイス（周辺装置やセンサ等）を監視し制御するワンチップマイコン（One-Chip Microcomputer）である。また、エンベデッドコントローラ３１は、電源回路３３を制御する電源管理機能を有している。なお、エンベデッドコントローラ３１は、不図示のＣＰＵ、ＲＯＭ、ＲＡＭなどで構成されるとともに、複数チャネルのＡ／Ｄ入力端子、Ｄ／Ａ出力端子、タイマ、及びデジタル入出力端子を備えている。エンベデッドコントローラ３１には、それらの入出力端子を介して、例えば、入力部３２、及び電源回路３３などが接続されており、エンベデッドコントローラ３１は、これらの動作を制御する。

入力部３２は、例えば、キーボードなどの、ポインティング・デバイス、タッチパッドなどの入力デバイスである。
電源回路３３は、例えば、ＤＣ／ＤＣコンバータ、充放電ユニット、電池ユニット、ＡＣ／ＤＣアダプタなどを含んでおり、ＡＣ／ＤＣアダプタ、又は電池ユニットから供給される直流電圧を、ノートＰＣ１を動作させるために必要な複数の電圧に変換する。また、電源回路３３は、エンベデッドコントローラ３１からの制御に基づいて、ノートＰＣ１の各部に電力を供給する。

ＳｏＣ４０は、例えば、ＣＰＵなどを含むプロセッサであり、例えば、内蔵するファームウェアを実行することで実現され、メインシステム１０とは異なる独立した組込みシステムとして機能する。ＳｏＣ４０は、例えば、ソフトウェアキーボードなどの仮想入力デバイスを制御する。ＳｏＣ４０は、メインシステム１０から出力された画像データである出力画像データ（第１画像データ）と、仮想入力デバイスのための入力領域の画像データである入力画像データ（第２画像データ）とを合成した合成画像データ（第３画像データ）を表示部１４１に表示させる。また、ＳｏＣ４０は、タッチセンサ部１４２が仮想入力デバイスの入力領域において検出したセン検出情報に基づく入力情報を、仮想入力デバイスが受け付けた入力情報としてメインシステム１０（例えば、エンベデッドコントローラ３１）に出力する。なお、ＳｏＣ４０の詳細については、図３を参照して後述する。

Ｉ／Ｆブリッジ５１は、ＨＤＭＩ（登録商標）からＭＩＰＩ−ＣＳＩ（Mobile Industry Processor Interface-Camera Serial Interface）に画像データのインタフェースを変換する。すなわち、Ｉ／Ｆブリッジ５１は、メインシステム１０から出力された画像データを、ＨＤＭＩ（登録商標）からＭＩＰＩ−ＣＳＩに変換して、ＳｏＣ４０に出力する。

タッチスクリーン１４は、図１に示すように、第１筐体１０１に配置され、表示部１４１と、タッチセンサ部１４２とを備える。
表示部１４１は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどであり、画像データを表示画面に表示する。

タッチセンサ部１４２は、表示部１４１の表示画面に重ねて配置され、表示部１４１の表示画面上における物体（人体の一部を含む）との接触を検出する。タッチセンサ部１４２は、表示画面上の検出領域内に接触した位置である接触位置を示す接触位置情報をＳｏＣ４０に出力する。

次に、図３を参照して、本実施形態によるノートＰＣ１の機能構成について説明する。
図３は、本実施形態によるノートＰＣ１の機能構成の一例を示すブロック図である。
図３に示すように、ノートＰＣ１は、メインシステム１０と、タッチスクリーン１４と、ＳｏＣ４０と、Ｉ／Ｆブリッジ５１とを備える。なお、図３において、ノートＰＣ１の構成として、本実施形態の発明に関する主要な機能構成のみを記載している。

ＳｏＣ４０は、例えば、合成処理部４１と、入力処理部４２とを備える。
合成処理部４１は、メインシステム１０から出力された出力画像データをＩ／Ｆブリッジ５１を介して、ＭＩＰＩ−ＣＳＩにより取得し、当該出力画像データと、仮想入力デバイスのため入力画像データとを合成して、合成画像データを生成する。

以下の説明において、メインシステム１０から出力された画像データを出力画像データとし、仮想入力デバイスのための入力領域の表示画像データを入力画像データとして説明する。また、入力画像データは、ＳｏＣ４０が備える不図示の記憶部に予め記憶されている画像データに基づいて、ＳｏＣ４０が生成するものとする。

合成処理部４１は、例えば、出力画像データの一部領域に、入力画像データを合成して、合成画像データを生成する。すなわち、合成処理部４１は、出力画像データを背景として、入力画像データをオーバーレイして合成画像データを生成する。なお、合成処理部４１は、例えば、タッチセンサ部１４２が、仮想入力デバイスを開始する所定の操作を受け付けた場合に、合成画像データを生成する。ここで、仮想入力デバイスを開始する所定の操作とは、タッチセンサ部１４２をタップする操作（例えば、複数回タップする、長押しする、など）、複数の指で入力領域のウインドウを作るような操作、等である。

合成処理部４１は、生成した合成画像データを、例えば、ＭＩＰＩ−ＤＳＩ（Mobile Industry Processor Interface-Display Serial Interface）により、表示部１４１に出力し、表示部１４１に合成画像データを表示させる。また、合成処理部４１は、仮想入力デバイスを使用していない場合、又は、タッチセンサ部１４２が、仮想入力デバイスを終了する所定の操作を受け付けた場合に、メインシステム１０から出力された出力画像データを、そのままＭＩＰＩ−ＤＳＩにより、表示部１４１に出力し、表示部１４１に出力画像データを表示させる。ここで、仮想入力デバイスを終了する所定の操作とは、例えば、入力領域のウインドウを閉じる操作などである。

このように、合成処理部４１は、タッチセンサ部１４２が仮想入力デバイスを開始する所定の操作を受け付けた場合に、出力画像データを表示部１４１に表示させる状態から、合成画像データを表示部１４１に表示させる状態に切り替える。また、合成処理部４１は、タッチセンサ部１４２が仮想入力デバイスを終了する所定の操作を受け付けた場合に、合成画像データを表示部１４１に表示させる状態から、出力画像データを表示部１４１に表示させる状態に切り替える。

なお、合成処理部４１は、合成画像データを生成する際に、アルファブレンド処理（アルファブレンディング）して合成してもよい。また、合成処理部４１は、出力画像データの色（背景色）と、入力画像データの色が近い場合には、仮想入力デバイスの表示を視認し易いように、入力画像データの色を変更して、合成画像データを生成するようにしてもよい。具体的に、合成処理部４１は、色空間における出力画像データの色と入力画像データの色との距離が、所定の閾値以内である場合に、色が近いと判定し、入力画像データを視認できるように、入力画像データの色を変更して、合成画像データを生成する。

なお、合成処理部４１は、例えば、出力画像データの平均画素値と、入力画像データの平均画素値との差分が所定の閾値以内である場合に、色が近いと判定するようにしてもよい。また、合成処理部４１は、出力画像データの背景色を検出して、入力画像データの色が、当該背景色と異なるように（色の差がでるように）、入力画像データの色を変更して、合成してもよい。

入力処理部４２は、タッチセンサ部１４２が検出した検出情報を取得し、仮想入力デバイスの入力領域における検出である場合に、検出情報に基づいて仮想入力デバイスの入力情報に変換し、当該入力情報をメインシステム１０に出力する。なお、この仮想入力デバイスの入力情報は、メインシステム１０において、例えば、外付け入力装置の入力情報として扱われる。

また、入力処理部４２は、仮想入力デバイスの入力領域における検出でない場合に、検出情報をそのままメインシステム１０に出力する。検出情報は、例えば、メインシステム１０のＯＳの管理下で処理されるタッチセンサ部１４２の検出情報として扱われる。

また、入力処理部４２は、検出情報に基づいて、上述した仮想入力デバイスを開始する所定の操作を受け付けたか否かを判定し、仮想入力デバイスを開始する所定の操作を受け付けた場合に、合成処理部４１に仮想入力デバイスを開始する所定の操作を受け付けたことを通知する。また、入力処理部４２は、検出情報に基づいて、上述した仮想入力デバイスを終了する所定の操作を受け付けたか否かを判定し、仮想入力デバイスを終了する所定の操作を受け付けた場合に、合成処理部４１に仮想入力デバイスを終了する所定の操作を受け付けたことを通知する。

次に、図面を参照して、本実施形態によるノートＰＣ１の動作について説明する。
まず、図３及び図４を参照して、ノートＰＣ１における仮想入力デバイスを使用する場合の動作について説明する。

図３に示すように、ノートＰＣ１のメインシステム１０は、通常の処理において、表示部１４１に表示させる画像データを出力画像データとして、ＨＤＭＩ（登録商標）によりＩ／Ｆブリッジ５１に出力する。Ｉ／Ｆブリッジ５１は、受信した出力画像データを、カメラ用の画像データを送信するインタフェースであるＭＩＰＩ−ＣＳＩに変換して、ＳｏＣ４０に出力する。

次に、ＳｏＣ４０の合成処理部４１は、仮想入力デバイスを使用する場合に、メインシステム１０から出力された出力画像データと、仮想入力デバイスの入力画像データとを合成して、合成画像データを生成する。

図４は、本実施形態における仮想入力デバイスの表示の合成処理の一例を示す図である。
図４に示すように、合成処理部４１は、例えば、画像Ｇ１のような出力画像データの一部領域に、画像Ｇ２のような入力画像データをオーバーレイして、画像Ｇ３のような合成画像データを生成する。なお、画像Ｇ３において、画像Ｇ２の表示領域は、仮想入力デバイスの入力領域ＶＩＡ１として機能する。なお、図４に示す仮想入力デバイスは、手書き入力を行う入力装置の例である。

図３の説明に戻り、合成処理部４１は、合成した合成画像データ（図４の画像Ｇ３など）を、ディスプレイ用のインタフェースであるＭＩＰＩ−ＤＳＩにより、表示部１４１に出力する。
表示部１４１は、ＳｏＣ４０から受信した合成画像データに基づいて、例えば、図４に示す画像Ｇ３のような合成画像を表示する。

また、タッチセンサ部１４２が、例えば、図４の画像Ｇ３内の入力領域ＶＩＡ１の操作を検出した場合に、ＳｏＣ４０の入力処理部４２は、タッチセンサ部１４２が検出した検出情報に基づいて仮想入力デバイスの入力情報に変換し、当該入力情報をメインシステム１０に出力する。
メインシステム１０は、この仮想入力デバイスの入力情報を、例えば、外付け入力装置などの入力情報として受信し、入力情報に基づく各種処理を実行する。

例えば、図４に示す例は、メモ帳などの文字入力を行うアプリケーションのウインドウが表示されている画像Ｇ１に、手書き入力の入力領域ＶＩＡ１をオーバーレイしている。入力領域ＶＩＡ１の仮想入力デバイスでは、手書き認識された文字列（図４では、“ａｂｃ”）が、メインシステム１０のフォアグラウンドのメモ帳などの文字入力を行うアプリケーションへの文字入力などに用いられる。

次に、図５を参照して、ＳｏＣ４０の合成処理の詳細について説明する。
図５は、本実施形態におけるＳｏＣ４０の合成処理の一例を示すフローチャートである。

図５に示すように、ＳｏＣ４０は、まず、タッチセンサ部１４２が、仮想入力デバイスを開始する所定の操作を受け付けたか否かを判定する（ステップＳ１０１）。ＳｏＣ４０の入力処理部４２は、タッチセンサ部１４２から検出情報を取得し、取得した検出情報に基づいて、仮想入力デバイスを開始する所定の操作を受け付けたか否かを判定し、仮想入力デバイスを開始する所定の操作を受け付けた場合に、ＳｏＣ４０の合成処理部４１に通知する。合成処理部４１は、入力処理部４２からの通知により、仮想入力デバイスを開始する所定の操作を受け付けた場合（ステップＳ１０１：ＹＥＳ）に、処理をステップＳ１０２に進める。また、合成処理部４１は、仮想入力デバイスを開始する所定の操作を受け付けていない場合（ステップＳ１０１：ＮＯ）に、処理をステップＳ１０５に進める。

ステップＳ１０２において、合成処理部４１は、メインシステム１０からの画像データ（出力画像データ）と、入力領域の画像データ（入力画像データ）とを合成して、合成画像データを生成する。合成処理部４１は、例えば、上述した図４の画像Ｇ３のような合成画像データを生成する。

次に、合成処理部４１は、合成画像データを表示部１４１に出力する（ステップＳ１０３）。合成処理部４１は、生成した合成画像データを、ＭＩＰＩ−ＤＳＩにより、表示部１４１に出力する。

次に、合成処理部４１は、仮想入力デバイスの処理が終了であるか否かを判定する（ステップＳ１０４）。ここで、入力処理部４２は、タッチセンサ部１４２から検出情報を取得し、取得した検出情報に基づいて、仮想入力デバイスを終了する所定の操作を受け付けたか否かを判定し、仮想入力デバイスを終了する所定の操作を受け付けた場合に、ＳｏＣ４０の合成処理部４１に通知する。合成処理部４１は、入力処理部４２からの当該通知により、仮想入力デバイスの処理が終了であるか否かを判定する。合成処理部４１は、仮想入力デバイスの処理が終了である場合（ステップＳ１０４：ＹＥＳ）に、処理をステップＳ１０５に進める。また、合成処理部４１は、仮想入力デバイスの処理が終了でない場合（ステップＳ１０４：ＮＯ）に、処理をステップＳ１０２に戻し、仮想入力デバイスを終了する所定の操作を受け付けるまで、ステップＳ１０２からステップＳ１０４の処理を繰り返す。

また、ステップＳ１０５において、合成処理部４１は、メインシステム１０からの画像データ（出力画像データ）を表示部１４１に出力する。合成処理部４１は、出力画像データをＭＩＰＩ−ＤＳＩにより、表示部１４１に出力する。ステップＳ１０５の処理後に、合成処理部４１は、処理をステップＳ１０１に戻し、仮想入力デバイスを開始する所定の操作を受け付けるまで、ステップＳ１０１及びステップＳ１０５の処理を繰り返す。

なお、上述した例では、合成処理部４１は、出力画像データの一部領域に、入力画像データを合成して、合成画像データを生成する例を説明したが、入力画像データの一部領域に、出力画像データを合成して、合成画像データを生成するようにしてもよい。すなわち、合成処理部４１は、入力画像データを背景として、出力画像データをオーバーレイして合成画像データを生成するようにしてもよい。ここで、図６を参照して、入力画像データの一部領域に、出力画像データを合成して、合成画像データを生成する変形例について説明する。

図６は、本実施形態における仮想入力デバイスの表示の合成処理の変形例を示す図である。
図６に示すように、合成処理部４１は、例えば、画像Ｇ５のような入力画像データの一部領域に、画像Ｇ４のような出力画像データをオーバーレイして、画像Ｇ６のような合成画像データを生成する。なお、画像Ｇ６において、画像全体が、仮想入力デバイスの表示になっており、この場合、表示部１４１は、画像Ｇ６の一部領域に、画像Ｇ４を縮小した画像Ｇ４ａを表示する。

また、合成処理部４１は、出力画像データの一部領域に、入力画像データを合成する処理と、入力画像データの一部領域に、出力画像データを合成する処理とを切り替えて実行するようにしてもよい。すなわち、合成処理部４１は、例えば、仮想入力デバイスを開始する所定の操作を使い分けて、所定の操作に応じて、図４に示す合成処理と、図６に示す合成処理とを切り替えて実行するようにしてもよい。

以上説明したように、本実施形態によるノートＰＣ１（情報処理装置）は、表示部１４１と、タッチセンサ部１４２と、メインシステム１０と、メインシステム１０とは異なる独立したＳｏＣ４０（組込みシステム）とを備える。タッチセンサ部１４２は、表示部１４１上に配置され、表示部１４１上における物体との接触を検出する。メインシステム１０は、ＯＳ（オペレーティングシステム）に基づく処理を実行する。ＳｏＣ４０は、メインシステム１０から出力された出力画像データ（第１画像データ）と、仮想入力デバイスのための入力領域の画像データである入力画像データ（第２画像データ）とを合成した合成画像データ（第３画像データ）を表示部１４１に表示させるとともに、タッチセンサ部１４２が仮想入力デバイスの入力領域において検出した検出情報に基づく入力情報を、仮想入力デバイスが受け付けた入力情報としてメインシステム１０に出力する。

これにより、本実施形態によるノートＰＣ１は、独立したＳｏＣ４０内の処理により、例えば、ソフトウェアキーボードなどの仮想入力デバイスを実現するため、メインシステム１０のＯＳ（例えば、Ｗｉｎｄｏｗｓ（登録商標））による制約を受けずに自由度の高い仮想入力デバイスを実現することができる。また、ＳｏＣ４０は、独立したシステムであるため、他のソフトウェアから干渉を受ける懸念を低減することができる。すなわち、本実施形態によるノートＰＣ１では、例えば、メインシステム１０のＯＳが、コンピュータウイルスやマルウェアなどに感染した場合であっても、仮想入力デバイスへの入力が読み取られる心配がない。よって、本実施形態によるノートＰＣ１は、プライバシーを保護しつつ、自由度の高い仮想入力デバイスを実現することができる。

また、本実施形態では、ＳｏＣ４０は、出力画像データの一部領域に、入力画像データを合成して、合成画像データを生成する。
これにより、本実施形態によるノートＰＣ１は、メインシステム１０が出力した出力画像データの一部領域に、任意の仮想入力デバイスを表示することができるので、さらに自由度の高い仮想入力デバイスを実現することができる。

また、本実施形態では、ＳｏＣ４０は、入力画像データの一部領域に、出力画像データを合成して、合成画像データを生成するようにしてもよい。また、ＳｏＣ４０は、出力画像データの一部領域に、入力画像データを合成する処理と、入力画像データの一部領域に、出力画像データを合成する処理とを切り替えて実行するようにしてもよい。
これにより、本実施形態によるノートＰＣ１は、実行可能な仮想入力デバイスのバリエーションを増やすことができ、さらに自由度を高めることができる。

また、本実施形態では、ＳｏＣ４０は、色空間における出力画像データの色と入力画像データの色との距離が、所定の閾値以内である場合に、入力画像データを視認できるように、入力画像データの色を変更して、合成画像データを生成する。すなわち、ＳｏＣ４０は、出力画像データの色と、入力画像データの色とが近い場合に、入力画像データの色を変更して、合成画像データを生成する。
これにより、本実施形態によるノートＰＣ１は、出力画像データの色に応じて、視認し易い適切な仮想入力デバイスを実現することができる。

また、本実施形態によるノートＰＣ１は、メインシステム１０がＨＤＭＩ（登録商標）により出力した出力画像データを、カメラ用の画像データの送信インタフェースであるＭＩＰＩ−ＣＳＩに変換して、ＳｏＣ４０に出力するＩ／Ｆブリッジ５１を備える。ＳｏＣ４０は、ＭＩＰＩ−ＣＳＩにより出力画像データを取得し、表示部１４１に表示させる画像データ（出力画像データ、又は合成画像データ）を、ＭＩＰＩ−ＤＳＩにより表示部１４１に出力する。

これにより、本実施形態によるノートＰＣ１では、ＭＩＰＩ−ＣＳＩによりカメラ用の画像データを取得して処理可能な一般的なＳｏＣ製品（ＳｏＣチップなど）を、ＳｏＣ４０に流用することができ、独自の仮想入力デバイスを用意に実現することができる。

また、本実施形態による制御方法は、上述した表示部１４１と、タッチセンサ部１４２と、メインシステム１０と、メインシステム１０とは異なる独立したＳｏＣ４０とを備えるノートＰＣ１（情報処理装置）の制御方法であって、表示処理ステップと、入力処理ステップとを含む。表示処理ステップにおいて、ＳｏＣ４０が、メインシステム１０から出力された出力画像データ（第１画像データ）と、仮想入力デバイスのための入力領域の画像データである入力画像データ（第２画像データ）とを合成した合成画像データ（第３画像データ）を表示部１４１に表示させる。入力処理ステップにおいて、ＳｏＣ４０が、タッチセンサ部１４２が入力領域において検出した検出情報に基づく入力情報を、仮想入力デバイスが受け付けた入力情報としてメインシステム１０に出力する。
これにより、本実施形態による制御方法は、上述したノートＰＣ１と同様の効果を奏し、プライバシーを保護しつつ、自由度の高い仮想入力デバイスを実現することができる。

［第２の実施形態］
次に、図面を参照して、第２の実施形態によるノートＰＣ１ａについて説明する。
図７は、第２の実施形態によるノートＰＣ１ａの一例を示す外観図である。なお、本実施形態において、情報処理装置の一例として、ノートＰＣ１ａについて説明する。

図７に示すように、ノートＰＣ１ａは、第１筐体１０１と、第２筐体１０２とを備え、ヒンジ機構により一方の筐体（第１筐体１０１）の側面が他方の筐体（第２筐体１０２）の側面に係合され、ヒンジ機構の回転軸周りに第１筐体１０１が第２筐体１０２に対して回動可能に構成されている。なお、本実施形態では、第１筐体１０１と第２筐体１０２との両方にタッチスクリーン１４（１４−１、１４−２）を備える変形例について説明する。

ノートＰＣ１ａは、２つのタッチスクリーン１４（１４−１、１４−２）を備える。タッチスクリーン１４−１は、第１筐体１０１に配置されており、メインの表示部として機能する。また、タッチスクリーン１４−１は、表示部１４１−１と、タッチセンサ部１４２−１とを備える。

タッチスクリーン１４−２は、第２筐体１０２に配置されており、表示部１４１−２と、タッチセンサ部１４２−２とを備える。
なお、タッチスクリーン１４−１と、タッチスクリーン１４−２とは、同一の構成であり、ノートＰＣ１ａが備える任意のタッチスクリーンを示す場合、又は特に区別しない場合には、タッチスクリーン１４として説明する。

また、表示部１４１−１と表示部１４１−２とは、上述した表示部１４１と同一の構成であるため、ここではその説明を省略する。また、タッチセンサ部１４２−１とタッチセンサ部１４２−２とは、上述したタッチセンサ部１４２と同一の構成であるため、ここではその説明を省略する。

また、本実施形態では、表示部１４１−１と表示部１４１−２とを一つの表示部１４０として扱うことが可能である。表示部１４０において、表示部１４１−１を第１表示領域とし、表示部１４１−２を第２表示領域としてもよい。

図８は、本実施形態によるノートＰＣ１ａの主要なハードウェア構成の一例を示す図である。
図８に示すように、ノートＰＣ１ａは、ＣＰＵ１１と、メインメモリ１２と、ビデオサブシステム１３と、２つのタッチスクリーン１４（１４−１、１４−２）と、チップセット２１と、ＢＩＯＳメモリ２２と、ＨＤＤ２３と、オーディオシステム２４と、ＷＬＡＮカード２５と、ＵＳＢコネクタ２６と、撮像部２７と、エンベデッドコントローラ３１と、入力部３２と、電源回路３３と、ＳｏＣ４０ａと、切替部５０とを備える。
なお、図８において、上述した図２と同一の構成には、同一の符号を付与して、その説明を省略する。

切替部５０は、２つの表示部１４１（１４１−１、１４１−２）に表示させる際に、メインシステム１０から出力される出力画像データを、ＳｏＣ４０ａの制御に基づいて、切り替える。切替部５０は、例えば、Ｉ／Ｆブリッジ５１〜５３と、切替スイッチ５４〜５６とを備える。

Ｉ／Ｆブリッジ５１は、上述した第１の実施形態と同様であり、ＨＤＭＩ（登録商標）からＭＩＰＩ−ＣＳＩに画像データのインタフェースを変換する。Ｉ／Ｆブリッジ５１は、切替スイッチ５４を経由してメインシステム１０から出力された出力画像データを、ＭＩＰＩ−ＣＳＩに変換して、ＳｏＣ４０ａに出力する。

Ｉ／Ｆブリッジ５２は、ＨＤＭＩ（登録商標）からＭＩＰＩ−ＤＳＩに画像データのインタフェースを変換する。Ｉ／Ｆブリッジ５２は、切替スイッチ５４を経由してメインシステム１０から出力された出力画像データを、ＭＩＰＩ−ＤＳＩに変換して、切替スイッチ５５に出力する。

Ｉ／Ｆブリッジ５３は、ＨＤＭＩ（登録商標）からＭＩＰＩ−ＤＳＩに画像データのインタフェースを変換する。Ｉ／Ｆブリッジ５３は、メインシステム１０から出力された出力画像データを、ＭＩＰＩ−ＤＳＩに変換して、表示部１４１−２と切替スイッチ５６との両方に出力する。

切替スイッチ５４は、メインシステム１０から出力された出力画像データを、Ｉ／Ｆブリッジ５１とＩ／Ｆブリッジ５２とのいずれかに出力するのかを切り替えるスイッチであり、ＳｏＣ４０ａの制御に基づいて出力が切り替えられる。

切替スイッチ５５は、切替スイッチ５４からの出力画像データと、ＳｏＣ４０ａからの合成画像データとのいずれかを切り替えて、切替スイッチ５６を経由して表示部１４１−１に出力するスイッチである。切替スイッチ５５は、ＳｏＣ４０ａの制御に基づいて入力が切り替えられる。

このように、切替スイッチ５４及び切替スイッチ５５は、メインシステム１０から出力された出力画像データをＳｏＣ４０ａを経由させずに、表示部１４１−１に出力する第１経路と、メインシステム１０から出力された出力画像データをＳｏＣ４０ａを経由させ、ＳｏＣ４０ａから出力された合成画像データを表示部１４１−１に出力する第２経路と、を切り替える。

切替スイッチ５６は、Ｉ／Ｆブリッジ５３からの出力画像データと、切替スイッチ５５からの画像データ（出力画像データ、又は合成画像データ）とのいずれかを切り替えて、表示部１４１−１に出力するスイッチである。切替スイッチ５６は、ＳｏＣ４０ａの制御に基づいて入力が切り替えられる。

ＳｏＣ４０ａ（組込みシステムの一例）は、例えば、ＣＰＵなどを含むプロセッサであり、例えば、内蔵するファームウェアを実行することで実現される。ＳｏＣ４０ａの基本的な機能は、上述した第１の実施形態のＳｏＣ４０と同様であるが、ＳｏＣ４０ａでは、切替部５０の切り替えを制御する機能が追加されている。

ＳｏＣ４０ａは、例えば、合成画像データを表示部１４１−１に表示させる場合に、切替部５０（切替スイッチ５４及び切替スイッチ５５）を第１経路から第２経路に切り替える制御を行う。また、ＳｏＣ４０ａは、例えば、仮想入力デバイスを使用しない場合に、切替部５０（切替スイッチ５４及び切替スイッチ５５）を第２経路から第１経路に切り替える。

また、ＳｏＣ４０ａは、Ｉ／Ｆブリッジ５３から出力された画像データと、切替スイッチ５５から出力された画像データとのいずれかを表示部１４１−１に表示させるかを切り替える際に、切替部５０（切替スイッチ５６）を切り替える制御を行う。なお、この場合、ＳｏＣ４０ａは、メインシステム１０からの切り替え要求に基づいて、切替部５０（切替スイッチ５６）を切り替えるようにしてもよい。

なお、表示部１４１−１及び表示部１４１−２は、１つの表示部１４０とみなした場合、表示部１４０は、出力画像データと合成画像データとのいずれかを表示する表示部１４１−１（第１表示領域）と、メインシステム１０が出力された画像データを直接受信し、当該画像データを表示する表示部１４１−２（第２表示領域）とを備える。

次に、図９を参照して、本実施形態によるノートＰＣ１ａの機能構成について説明する。
図９は、本実施形態によるノートＰＣ１ａの機能構成の一例を示すブロック図である。
図９に示すように、ノートＰＣ１ａは、メインシステム１０と、タッチスクリーン１４−１と、ＳｏＣ４０ａと、Ｉ／Ｆブリッジ５１と、Ｉ／Ｆブリッジ５２と、切替スイッチ５４と、切替スイッチ５５とを備える。なお、図９において、ノートＰＣ１ａの構成として、本実施形態の発明に関する主要な機能構成のみを記載している。また、図９において、上述した図３と同一の構成には同一の符号を付与して、その説明を省略する。

ＳｏＣ４０ａは、例えば、合成処理部４１と、入力処理部４２と、切替処理部４３とを備える。
切替処理部４３は、上述した切替部５０の各種切り替えを制御する。切替処理部４３は、仮想入力デバイスを使用している場合（合成画像データを表示部１４１に表示させる場合）に、切替スイッチ５４をＩ／Ｆブリッジ５１への出力に切り替えるとともに、切替スイッチ５５をＳｏＣ４０ａからの出力を表示部１４１−１に出力するように切り替える。

また、切替処理部４３は、仮想入力デバイスを使用していない場合（出力画像データを表示部１４１に表示させる場合）に、切替スイッチ５４をＩ／Ｆブリッジ５２への出力に切り替えるとともに、切替スイッチ５５をＩ／Ｆブリッジ５２からの出力を表示部１４１−１に出力するように切り替える。

次に、図面を参照して、本実施形態によるノートＰＣ１ａの動作について説明する。
図１０は、本実施形態におけるＳｏＣ４０ａの切替処理の一例を示すフローチャートである。

図１０に示すように、ＳｏＣ４０ａの切替処理部４３は、まず、ＳｏＣ４０ａが合成画像データを出力するか否かを判定する（ステップＳ２０１）。切替処理部４３は、例えば、合成処理部４１によって合成画像データが生成されているか否かによって、ＳｏＣ４０ａが合成画像データを出力するか否かを判定してもよい。切替処理部４３は、ＳｏＣ４０ａが合成画像データを出力する（仮想入力デバイスを使用する）場合（ステップＳ２０１：ＹＥＳ）に、処理をステップＳ２０２に進める。また、切替処理部４３は、ＳｏＣ４０ａが合成画像データを出力しない（仮想入力デバイスを使用していない）場合（ステップＳ２０１：ＮＯ）に、処理をステップＳ２０３に進める。

ステップＳ２０２において、切替処理部４３は、ＳｏＣ４０ａを経由する経路（第２経路）に、切替部５０を切り替える。すなわち、切替処理部４３は、切替スイッチ５４をＩ／Ｆブリッジ５１への出力に切り替えるとともに、切替スイッチ５５をＳｏＣ４０ａからの出力を表示部１４１−１に出力するように切り替える。ステップＳ２０２の処理後に、切替処理部４３は、処理をステップＳ２０１に戻す。

また、ステップＳ２０３において、切替処理部４３は、ＳｏＣ４０ａを経由しない経路（第１経路）に、切替部５０を切り替える。すなわち、切替処理部４３は、切替スイッチ５４をＩ／Ｆブリッジ５２への出力に切り替えるとともに、切替スイッチ５５をＩ／Ｆブリッジ５２からの出力を表示部１４１−１に出力するように切り替える。ステップＳ２０３の処理後に、切替処理部４３は、処理をステップＳ２０１に戻す。

なお、本実施形態における合成処理部４１及び入力処理部４２の動作は、上述した第１の実施形態と同様であるため、ここではその説明を省略する。

次に、図１１を参照して、本実施形態によるノートＰＣ１ａの表示のバリエーションについて説明する。
図１１は、本実施形態によるノートＰＣ１ａの画像表示パターンの変形例を示す図である。

図１１（ａ）に示す例は、表示部１４１−１と、表示部１４１−２とを利用して１つの画像データを表示する場合の一例である。この場合、ＳｏＣ４０ａの切替処理部４３は、切替部５０を制御して、表示部１４１−１と表示部１４１−２とで１つの画像を表示するように、例えば、表示部１４１−１に１つの画像データの上半分の画像データを出力させ、表示部１４１−２に１つの画像データの下半分の画像データを出力させる。

この場合、メインシステム１０は、１つの画像データを半分に分割し、一方の分割画像データ（例えば、上半分の画像データ）を、切替スイッチ５４に出力し、もう一方の分割画像データ（例えば、下半分の画像データ９をＩ／Ｆブリッジ５３に出力する。切替処理部４３は、例えば、切替スイッチ５６を、切替スイッチ５５からの入力に切り替えるように制御する。

また、図１１（ｂ）に示す例は、表示部１４１−１と、表示部１４１−２とで同一の画像データを表示する場合の一例である。この場合、切替処理部４３は、切替部５０を制御して、表示部１４１−１と表示部１４１−２とに同一の画像データを出力させる。すなわち、切替処理部４３は、切替スイッチ５６を、Ｉ／Ｆブリッジ５３からの入力に切り替えるように制御する。

また、図１１（ｃ）に示す例は、表示部１４１−１と、表示部１４１−２とで異なる画像データを表示する場合の一例である。この場合、切替処理部４３は、切替部５０を制御して、表示部１４１−１と表示部１４１−２とに異なる画像データを出力させる。

また、この場合、メインシステム１０は、２つの異なる画像データを、切替スイッチ５４及びにＩ／Ｆブリッジ５３に出力する。すなわち、メインシステム１０は、例えば、画像データ（“Ａ”）を切替スイッチ５４に出力し、例えば、画像データ（“Ｂ”）をＩ／Ｆブリッジ５３に出力する。また、切替処理部４３は、切替スイッチ５６を、切替スイッチ５５からの入力に切り替えるように制御する。

また、図１１（ｄ）に示す例は、表示部１４１−１に画像データを表示して、表示部１４１−２の表示を停止する場合の一例である。この場合、切替処理部４３は、上述した図１１（ｃ）に示す例と同様の制御を行い、メインシステム１０は、例えば、画像データ（“Ｂ”）のＩ／Ｆブリッジ５３への出力を停止する。

このように、本実施形態によるノートＰＣ１ａでは、２つの表示部１４１（１４１−１、１４１−２）に様々な表示を可能にするとともに、表示部１４１−１において、独自の仮想入力デバイスの表示を可能にする。

以上説明したように、本実施形態によるノートＰＣ１ａは、上述したＳｏＣ４０ａと、切替部５０とを備える。切替部５０は、メインシステム１０から出力された第１画像データをＳｏＣ４０ａを経由させずに、表示部１４１に出力する第１経路と、メインシステム１０から出力された出力画像データをＳｏＣ４０ａを経由させ、ＳｏＣ４０ａから出力された合成画像データを表示部１４１−１に出力する第２経路と、を切り替える。ＳｏＣ４０ａは、合成画像データを表示部１４１−１に表示させる場合に、切替部５０を第１経路から第２経路に切り替える。また、ＳｏＣ４０ａは、出力画像データを表示部１４１−１に表示させる場合に、切替部５０を第２経路から第１経路に切り替える。

これにより、本実施形態によるノートＰＣ１ａは、仮想入力デバイスを使用しない場合に、ＳｏＣ４０ａを経由せずに表示部１４１−１に出力されるため、ＳｏＣ４０ａによる処理遅延による影響を低減することができる。例えば、上述した図１１（ａ）に示す表示例に場合などに、本実施形態によるノートＰＣ１ａは、表示部１４１−１と、表示部１４１−２との間で表示タイミングの違いが生じて、利用者が表示の違和感を感じることを低減することができる。

また、本実施形態では、表示部１４０は、出力画像データと合成画像データとのいずれかを表示する表示部１４１−１（第１表示領域）と、メインシステム１０が出力された画像データを直接受信し、当該画像データを表示する表示部１４１−２（第２表示領域）とを備える。
これにより、本実施形態によるノートＰＣ１ａは、２つの表示領域（表示部１４１−１及び表示部１４１−２）を用いて、様々な画像データを柔軟に表示させることができる。

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、情報処理装置がノートＰＣ１（１ａ）である例を説明したが、これに限定されるものではなく、例えば、タブレット端末装置、デスクトップＰＣなどの他の情報処理装置であってもよい。

また、上記の各実施形態において、ＳｏＣ４０（４０ａ）は、ＭＩＰＩ−ＣＳＩにより画像データを取得し、ＭＩＰＩ−ＤＳＩにより画像データを出力する例を説明したが、これに限定されるものではなく、取得及び出力に他のインタフェースを用いてもよい。

また、上記の各実施形態において、メインシステム１０が、画像データをＨＤＭＩ（登録商標）により出力する例を説明したが、これに限定されるものではなく、例えば、ＵＳＢやＤｉｓｐｌａｙＰｏｒｔなどの他のインタフェースを用いてもよい。また、ノートＰＣ１（１ａ）は、用いるインタフェースに応じて、Ｉ／Ｆブリッジ５１〜５３を備えない構成であってもよい。

また、上記の各実施形態において、ＳｏＣ４０（４０ａ）は、仮想入力デバイスの入力情報を、エンベデッドコントローラ３１に出力する例を説明したが、これに限定されるものではなく、例えば、ＵＳＢインタフェースを用いて、チップセット２１に出力するようにしてもよい。

また、上記の第２の実施形態において、表示部１４０を２つの表示領域（表示部１４１−１及び表示部１４１−２）に分割して使用する例、もしくは、ノートＰＣ１ａが、２つの表示部１４１（１４１−１、１４１−２）を備える例を説明したが、これらに限定されるものではない。例えば、表示部１４０を３つの表示領域に分割して用いる、もしくは、ノートＰＣ１ａが、３つ以上の表示部１４１を備えるようにしてもよい。

また、上記の各実施形態において、仮想入力デバイスの一例として、手書き入力を行う入力装置の例を説明したが、これに限定されるものではない。仮想入力デバイスは、例えば、ソフトウェアキーボード、ポインティングデバイス、などであってもよい。

また、合成処理部４１による合成画像データの生成方法は、上記の各実施形態で説明した方法に限定されるものではなく、他の方法を用いてもよい。合成処理部４１は、例えば、出力画像データの上に、入力画像データを透過させて合成するようにしてもよい。

なお、上述したノートＰＣ１（１ａ）が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したノートＰＣ１（１ａ）が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したノートＰＣ１（１ａ）が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にノートＰＣ１（１ａ）が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１、１ａ ノートＰＣ
１０ メインシステム
１１ ＣＰＵ
１２ メインメモリ
１３ ビデオサブシステム
１４、１４−１、１４−２ タッチスクリーン
２１ チップセット
２２ ＢＩＯＳメモリ
２３ ＨＤＤ
２４ オーディオシステム
２５ ＷＬＡＮカード
２６ ＵＳＢコネクタ
２７ 撮像部
３１ エンベデッドコントローラ（ＥＣ）
３２ 入力部
３３ 電源回路
４０、４０ａ ＳｏＣ
４１ 合成処理部
４２ 入力処理部
４３ 切替処理部
５０ 切替部
５１、５２、５３ Ｉ／Ｆブリッジ
５４、５５、５６ 切替スイッチ
１４０、１４１、１４１−１、１４１−２ 表示部
１４２、１４２−１、１４２−２ タッチセンサ部

Claims (9)

1. 表示部と、
   前記表示部上に配置され、前記表示部上における物体との接触を検出するタッチセンサ部と、
   ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステムと、
   前記メインシステムとは異なる独立した組込みシステムであって、前記メインシステムから出力された第１画像データと、仮想入力デバイスのための入力領域の画像データである第２画像データとを合成した第３画像データを前記表示部に表示させるとともに、前記タッチセンサ部が前記入力領域において検出した検出情報に基づく入力情報を、前記仮想入力デバイスが受け付けた入力情報として前記メインシステムに出力する組込みシステムと
   を備える情報処理装置。
2. 前記組込みシステムは、前記第１画像データの一部領域に、前記第２画像データを合成して、前記第３画像データを生成する
   請求項１に記載の情報処理装置。
3. 前記組込みシステムは、前記第２画像データの一部領域に、前記第１画像データを合成して、前記第３画像データを生成する
   請求項１に記載の情報処理装置。
4. 前記組込みシステムは、前記第１画像データの一部領域に、前記第２画像データを合成する処理と、前記第２画像データの一部領域に、前記第１画像データを合成する処理とを切り替えて実行する
   請求項１に記載の情報処理装置。
5. 前記組込みシステムは、前記タッチセンサ部が所定の操作を受け付けた場合に、前記第１画像データを前記表示部に表示させる状態から、前記第３画像データを前記表示部に表示させる状態に切り替える
   請求項１から請求項４のいずれか一項に記載の情報処理装置。
6. 前記表示部は、前記第１画像データと前記第３画像データとのいずれかを表示する第１表示領域と、前記メインシステムが出力された画像データを直接受信し、当該画像データを表示する第２表示領域とを備える
   請求項１から請求項５のいずれか一項に記載の情報処理装置。
7. 前記メインシステムから出力された前記第１画像データを前記組込みシステムを経由させずに、前記表示部に出力する第１経路と、前記メインシステムから出力された前記第１画像データを前記組込みシステムを経由させ、前記組込みシステムから出力された前記第３画像データを前記表示部に出力する第２経路と、を切り替える切替部を備え、
   前記組込みシステムは、
   前記第３画像データを前記表示部に表示させる場合に、前記切替部を前記第１経路から前記第２経路に切り替える
   請求項１から請求項６のいずれか一項に記載の情報処理装置。
8. 前記組込みシステムは、色空間における前記第１画像データの色と前記第２画像データの色との距離が、所定の閾値以内である場合に、前記第２画像データを視認できるように、前記第２画像データの色を変更して、前記第３画像データを生成する
   請求項１から請求項７のいずれか一項に記載の情報処理装置。
9. 表示部と、前記表示部上に配置され、前記表示部上における物体との接触を検出するタッチセンサ部と、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステムと、前記メインシステムとは異なる独立した組込みシステムとを備える情報処理装置の制御方法であって、
   前記組込みシステムが、前記メインシステムから出力された第１画像データと、仮想入力デバイスのための入力領域の画像データである第２画像データとを合成した第３画像データを前記表示部に表示させるステップと、
   前記組込みシステムが、前記タッチセンサ部が前記入力領域において検出した検出情報に基づく入力情報を、前記仮想入力デバイスが受け付けた入力情報として前記メインシステムに出力するステップと
   を含む制御方法。

Images