WO2010050562A1

WO2010050562A1 - 処理制御ユニット、処理実行ユニット、情報処理装置、制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: WO2010050562A1
Application number: PCT/JP2009/068609
Authority: WO
Inventors: 健太郎谷; 守弘河原崎
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2008-10-31
Filing date: 2009-10-29
Publication date: 2010-05-06
Anticipated expiration: 2011-04-30
Also published as: JP2010108447A

Abstract

　メイン表示装置（２１０）とは独立して動作可能なセンサ付きサブ表示装置（２３０）は、メイン表示装置（２１０）がメイン側ＢＩＯＳプログラム（Ｐ１１）を実行しながら生成したＰＯＳＴコードを取得するとともに、当該取得したＰＯＳＴコードが所定値であるか否かを判定するＰＯＳＴコード検査部（２４）と、ＰＯＳＴコードが上記所定値であると判定された場合、メイン表示装置（２１０）において実行可能な複数のメイン側ＯＳプログラム（Ｐ２１）から（Ｐ２３）のいずれか１つを実行するように指定するメイン側起動ＯＳ指定部（２５）とを備える。

Description

処理制御ユニット、処理実行ユニット、情報処理装置、制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体

　本発明は、外部装置にて実行される処理を制御する処理制御ユニット、処理実行ユニット、情報処理装置、制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。

　近年、ノートＰＣ（Personal Computer）に代表されるような、携帯型の情報処理装置が種々開発されており、広く普及している。このような情報処理装置では、その操作性の向上を図るために、様々な機能が設けられている。その一例として、メインディスプレイを含むメイン表示装置とは別に、サブディスプレイを含むサブ表示装置を設け、サブ表示装置にて、マウスポインティング操作、テンキー入力操作、メニュー画面表示などを可能とする機能がある。

　このようなサブ表示装置を搭載したノートＰＣに関する従来技術が、特許文献１～４に開示されている。

　特許文献１では、ＢＩＯＳ（Basic Input Output System）にパスワードが設定されている場合、ＢＩＯＳは、まず、サブ表示装置およびそのコントローラを表示可能な状態とし、パスワードの入力要求を当該サブ表示装置に表示するように制御する技術が開示されている。

　特許文献２では、メイン表示装置に表示されているマウスポインタの近くに表示エリアを確保し、当該表示エリアに、サブ表示装置で扱う切り替えメニュー画面を表示する技術が開示されている。

　特許文献３では、主表示装置に表示される主操作画面を含むデスクトップ全体の画面イメージを、タッチ操作によりマウスポインタの位置を指示する操作画面として、サブ表示装置に表示する技術が開示されている。

　特許文献４では、ノートＰＣが備える機能ボタンが操作されたとき、機能を選択するメニューをサブ表示装置に表示するとともに、ユーザがサブ表示装置を操作して、上記メニューからテンキーを選択すると、ユーザ操作可能なテンキーをサブ表示装置に表示する技術が開示されている。

日本国公開特許公報「特開２００４－５１０５号公報（公開日：２００４年１月８日）」日本国公開特許公報「特開２００４－５２１２号公報（公開日：２００４年１月８日）」日本国公開特許公報「特開２００４－２３４５０４号公報（公開日：２００４年８月１９日）」日本国公開特許公報「特開２０００－３３９０９７号公報（公開日：２０００年１２月８日）」

　しかしながら、従来のノートＰＣは、メイン表示装置に制御部（具体的には、ＣＰＵ（central processing unit））が設けられ、サブ表示装置は当該制御部によって制御される構成となっている。

　そのため、メイン表示装置の処理中に不具合が生じ、メイン表示装置の制御だけでなく、サブ表示装置の表示制御も不可能な状態にある場合、不具合の状況（ステータス）をユーザに提示することができないという問題がある。

　また、メイン表示装置の動作状況に応じた処理を、サブ表示装置が実行することができないという問題がある。具体例を挙げれば、メイン表示装置の起動処理に不具合がある場合、サブ表示装置にてその旨を表示したり、上記起動処理に不具合が無い場合、メイン表示装置が起動するＯＳ（Operating System）をサブ表示装置から指定するといった処理を行うことができない。

　上記問題点を解決するために、メイン表示装置およびサブ表示装置のそれぞれが制御部を備える構成とし、サブ表示装置からメイン表示装置の動作状況を参照したり、メイン表示装置の動作状況に応じて、サブ表示装置からメイン表示装置を制御することが考えられる。このようなノートＰＣは、上述した特許文献１～４には開示されていない。

　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、メイン装置およびサブ装置を有する情報処理装置において、メイン装置での処理の実行状況に応じて、メイン装置が実行すべき処理を、サブ装置から制御することができる処理制御ユニット、処理実行ユニット、情報処理装置、制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。

　上記課題を解決するために、本発明に係る処理制御ユニットは、第１処理を実行しながら、その実行状況を示す実行状況情報を生成し、かつ、上記第１処理の後、第２処理を実行する処理実行ユニットと通信可能であり、上記処理実行ユニットとは独立して動作可能な処理制御ユニットであって、上記生成された上記実行状況情報を上記処理実行ユニットから取得するとともに、当該取得した実行状況情報が所定値であるか否かを判定する実行状況判定手段と、上記実行状況判定手段が、上記取得した実行状況情報が上記所定値であると判定した場合、上記処理実行ユニットにおいて実行可能な複数の候補処理のいずれか１つを上記第２処理として実行するように、上記処理実行ユニットに対して指定する実行指定手段とを備えることを特徴としている。

　また、本発明に係る処理制御ユニットの制御方法は、第１処理を実行しながら、その実行状況を示す実行状況情報を生成し、かつ、上記第１処理の後、第２処理を実行する処理実行ユニットと通信可能であり、上記処理実行ユニットとは独立して動作可能な処理制御ユニットの制御方法であって、上記生成された上記実行状況情報を上記処理実行ユニットから取得するとともに、当該取得した実行状況情報が所定値であるか否かを判定する実行状況判定ステップと、上記実行状況判定ステップにて、上記取得した実行状況情報が上記所定値であると判定した場合、上記処理実行ユニットにおいて実行可能な複数の候補処理のいずれか１つを上記第２処理として実行するように、上記処理実行ユニットに対して指定する実行指定ステップとを含むことを特徴としている。

　上記の構成によれば、上記実行状況情報を処理実行ユニットから取得し、当該取得した実行状況情報が所定値であるか否かを判定することができる。また、上記取得した実行状況情報が上記所定値であると判定した場合、上記複数の候補処理のいずれか１つを、処理実行ユニットにて第１処理の後に実行される第２処理として指定することができる。

　よって、処理制御ユニットは、処理実行ユニットが実行している第１処理の実行状況が所定の状況である場合に、処理実行ユニットが実行可能な複数の候補処理のうちの１つを第２処理として指定することできる。

　したがって、処理制御ユニットは、処理実行ユニットでの前段処理（第１処理）の実行状況に応じて、処理実行ユニットが実行する後段処理（第２処理）を制御することができるという効果を奏する。

　なお、処理制御ユニットは、処理実行ユニットとは独立して動作可能であるので、処理実行ユニットでの前段処理（第１処理）の実行結果に依存することなく、処理制御ユニットから上記実行状況を確認することができる。そのため、処理実行ユニットでの前段処理（第１処理）中に何らかの不具合が生じた場合であっても、処理制御ユニットから処理実行ユニットでの処理の実行状況を確認することができる。

　上記課題を解決するために、本発明に係る処理実行ユニットは、第１処理を実行しながら、その実行状況を示す実行状況情報を生成し、かつ、上記第１処理の後、自ユニットにて実行可能な複数の候補処理のいずれか１つを第２処理として実行する、処理制御ユニットと通信可能な処理実行ユニットであって、上記実行状況情報を読み出し可能な処理制御ユニットから上記第２処理の実行の指定を受け付けるとともに、上記第１処理の後、当該指定された上記第２処理を実行する実行制御手段とを備えることを特徴としている。

　また、本発明に係る処理実行ユニットの制御方法は、第１処理を実行しながら、その実行状況を示す実行状況情報を生成し、かつ、上記第１処理の後、自ユニットにて実行可能な複数の候補処理のいずれか１つを第２処理として実行する、処理制御ユニットと通信可能な処理実行ユニットの制御方法であって、上記実行状況情報を読み出し可能な処理制御ユニットから上記第２処理の実行の指定を受け付けるとともに、上記第１処理の後、当該指定された上記第２処理を実行する実行制御ステップとを含むことを特徴としている。

　上記の構成によれば、第１処理が実行され、所定の上記実行状況情報を生成した後、処理制御ユニットから指定された上記第２処理を実行することができる。

　よって、処理実行ユニットは、第１処理の実行状況が所定の状況に達した場合、処理制御ユニットからの指示に応じて第２処理を実行することできる。

　したがって、処理実行ユニットは、前段処理（第１処理）の実行状況に応じて、処理制御ユニットからの指定された後段処理（第２処理）を実行することができるという効果を奏する。

　本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。

本発明の実施形態を示すものであり、メイン表示装置およびセンサ付きサブ表示装置の詳細構成を示すブロック図である。同図の（ａ）は、２画面表示装置の具体例を示す模式図であり、同図の（ｂ）は、同図の（ａ）に示した２画面表示装置の具体例において、メイン表示装置とセンサ付きサブ表示装置とを分離した状態を示す模式図である。上記センサ付きサブ表示装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。同図の（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、同図の（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。上記メイン表示装置およびセンサ付きサブ表示装置の要部構成を示すブロック図である。上記センサ付きサブ表示装置が備える表示／光センサ部、表示／光センサ回路制御部、およびデータ処理部のより詳細な構成を示すブロック図である。上記センサ付きサブ表示装置が備える表示部および表示回路制御部の構成例を示すブロック図である。サブ表示装置内コマンドのフレーム構造の一例を模式的に示す図である。サブ表示装置内コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。装置間コマンドのフレーム構造の一例を示す模式図である。スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報を示す説明図である。スキャンコマンドの第１から第５フィールドに指定可能な値の一例、および、その概要の説明図である。表示コマンドの第１および第２フィールドに指定可能な値の一例、および、その概要の説明図である。処理コマンドの第１から第３フィールドに指定可能な値の一例、および、その概要の説明図である。同図の（ａ）は、対象物がセンサ内蔵液晶パネル上に載置されていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データの一例を示す図であり、同図の（ｂ）は、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データの一例を示す図である。上記表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。上記メイン表示装置にてＯＳが起動するまでの処理の流れの一例を示すフローチャートである。

　本発明の一実施形態について図１から図１７に基づいて説明すると以下の通りである。

　（発明の概要）
　本発明の概要は、メイン表示装置（処理実行ユニット）２１０で実行される第１処理の実行状況が所定の状況である場合に、メイン表示装置２１０にて実行可能な第２処理を、メイン表示装置とは独立して動作可能なセンサ付きサブ表示装置（処理制御ユニット）２３０から指定することである。本実施形態では、特に、メイン表示装置２１０の電源投入直後のＢＩＯＳ（Basic Input Output System）の実行状況が所定の状況である場合に、メイン表示装置２１０にて実行可能なＯＳ（Operating System）の起動処理を、センサ付きサブ表示装置２３０から指定するケースを例に挙げて説明する。なお、メイン表示装置２１０は、自装置で実行可能な複数のＯＳがインストールされており、そのうちのいずれか１つを起動するようになっている（マルチブートの状態である）ものとする。

　まず、メイン表示装置２１０にセンサ付きサブ表示装置２３０を装着させた、２画面表示装置（情報処理装置）２００の概要について説明し、その後、メイン表示装置２１０およびセンサ付きサブ表示装置２３０について説明する。

　（２画面表示装置の概要）
　２画面表示装置２００は、データの表示が可能な液晶パネル３１１を備えるメイン表示装置２１０と、データの表示に加え、近傍の対象物の画像検出が可能なセンサ内蔵液晶パネル３０１（後述する）を備えるセンサ付きサブ表示装置２３０とを有する装置である。

　メイン表示装置２１０とセンサ付きサブ表示装置２３０とは、着脱可能な構成となっている。そして、メイン表示装置２１０にセンサ付きサブ表示装置２３０が装着されている場合、相互に有線通信可能な状態となり、互いに相手側の装置に「装置間コマンド」を送信することによって、相手側の装置を制御可能な構成となっている。装置間コマンドの詳細については後述する。

　なお、メイン表示装置２１０およびセンサ付きサブ表示装置２３０は、それぞれ、自装置を制御する制御部を備えている。そのため、メイン表示装置２１０とセンサ付きサブ表示装置２３０とを分離した状態では、それぞれ単体で動作可能である。

　図２を参照しながら、２画面表示装置２００の具体例について説明する。図２の（ａ）は、２画面表示装置２００の具体例を示す模式図である。図示のように、本実施の形態では、２画面表示装置２００として、従来のタッチパッドの代わりにセンサ付きサブ表示装置２３０を内部に備える、ノートＰＣ（Personal Computer）を想定している。この場合、センサ付きサブ表示装置２３０以外の部分（表示部３１０やキーボード９２０を含む部分）が、メイン表示装置２１０に相当する。なお、図２の（ａ）に示した状態は、メイン表示装置２１０の内部にセンサ付きサブ表示装置２３０が装着されている状態である。メイン表示装置２１０のタッチパッドに相当する部分は透明であり、ユーザは、内部に装着されたセンサ付きサブ表示装置２３０のセンサ内蔵液晶パネル３０１を操作できるようになっている。

　図２の（ｂ）は、図２の（ａ）に示したノートＰＣにおいて、センサ付きサブ表示装置２３０をメイン表示装置２１０の内部から取り出して分離した状態を示す模式図である。上述したように、メイン表示装置２１０およびセンサ付きサブ表示装置２３０は、それぞれ単体でも動作可能であるので、この状態では、メイン表示装置２１０は、タッチパッド機能が無いノートＰＣとして動作することが可能である。また、センサ付きサブ表示装置２３０は、例えば、センサ内蔵液晶パネル３０１を備えるリモコンやＰＤＡ（Personal Digital Assistant）などとして動作することができる。

　（センサ内蔵液晶パネルの概要）
　上述したように、センサ付きサブ表示装置２３０が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、近傍の対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

　図３を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図３は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

　図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

　なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

　次に、図４の（ａ）および図４の（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした場合を例に挙げ、そのタッチした位置を検出する２種類の方法について説明する。

　図４の（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

　また、図４の（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４の（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

　上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

　（メイン表示装置およびセンサ付きサブ表示装置の要部構成）
　次に、図５を参照しながら、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の要部構成について説明する。図５は、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の要部構成を示すブロック図である。

　（センサ付きサブ表示装置の要部構成）
　まず、センサ付きサブ表示装置２３０の要部構成について説明する。図示のように、センサ付きサブ表示装置２３０は、表示／光センサ部３３０、表示／光センサ回路制御部６３０、データ処理部７３０、サブ側主制御部８３０、記憶部９３１、一次記憶部９３２、通信制御部９３３、有線通信部９３４、近距離無線通信部９３５、電界強度検出部９３６、バッテリー９３７、および電源切替部９３８を備えている。

　表示／光センサ部３３０は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３３０は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。表示／光センサ部３３０の詳細な構成については後述する。

　次に、表示／光センサ回路制御部６３０は、表示／光センサ部３３０の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。表示／光センサ回路制御部６３０の詳細な構成については後述する。

　次に、データ処理部７３０は、サブ側主制御部８３０から受信する「サブ表示装置内コマンド」に基づいて、表示／光センサ回路制御部６３０に指示を与えるミドルウェアとしての機能を備えるものである。データ処理部７３０の詳細な構成については後述する。また、サブ表示装置内コマンドの詳細についても後述する。

　次に、サブ側主制御部８３０は、センサ付きサブ表示装置２３０が備える各部の動作を制御するものである。サブ側主制御部８３０は、記憶部９３１に記憶されている各種プログラムを読み出して、センサ付きサブ表示装置２３０の各部を制御し、センサ付きサブ表示装置２３０が備える各種機能を実現する。

　サブ側主制御部８３０は、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７３０に対して、サブ表示装置内コマンドおよび表示データを送信する。なお、サブ表示装置内コマンドに「データ種別」を指定した場合は、当該サブ表示装置内コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７３０から受信する。

　また、サブ側主制御部８３０は、メイン表示装置２１０からの制御を受け付ける。具体的には、メイン表示装置２１０のメイン側主制御部８１０が送信した装置間コマンドを受信し、当該受信した装置間コマンドの種類に応じて、下記（１）から（３）のいずれかに示す処理を実行する。

　まず、（１）受信した装置間コマンドが、表示／光センサ部３３０の近傍に位置する対象物のスキャンを行なわせることを指定する「スキャンコマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該受信したスキャンコマンドを、サブ表示装置内コマンドに変換するとともに、当該変換後のサブ表示装置内コマンドをデータ処理部７３０に送信する。なお、上記変換は、スキャンコマンドから「第０」フィールド（後述する）を取り除くことにより行なわれる。

　なお、サブ側主制御部８３０は、上記変換後のサブ表示装置内コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つをデータ処理部７３０から受信した場合、当該受信したデータを、メイン側主制御部８１０に送信する。

　次に、（２）受信した装置間コマンドが、表示／光センサ部３３０に、写真やアイコンなどの画像データの表示を行なわせることを指定する「表示コマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該表示コマンドに指定された情報に基づいて表示データを生成するとともに、当該生成した表示データをデータ処理部７３０に送信する。

　次に、（３）受信した装置間コマンドが、所定処理を実行させることを指定する「処理コマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該処理コマンドに指定された所定処理を実行する。

　サブ側主制御部８３０が実行する上記所定処理とは、例えば、データ処理部７３０から得られた画像データに対する文字認識処理や画像処理、センサ付きサブ表示装置２３０の通信制御部９３３を用いた通信接続処理やファイル転送処理など、センサ付きサブ表示装置２３０が有する各種アプリケーションやミドルウェア等の実行処理である。

　さらに、サブ側主制御部８３０は、メイン表示装置２１０に対して所定処理の実行を指示する。具体的には、処理コマンドとしての装置間コマンドを、メイン表示装置２１０のメイン側主制御部８１０に送信する。メイン側主制御部８１０が実行する上記所定処理とは、例えば、メイン表示装置２１０のＯＳ（Operating System）の起動処理、メイン表示装置２１０の通信制御部９１３を用いた通信接続処理やファイル転送処理などの、メイン表示装置２１０が有する各種アプリケーションやミドルウェア等の実行処理である。

　なお、表示／光センサ回路制御部６３０、データ処理部７３０、およびサブ側主制御部８３０は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７３０は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

　次に、記憶部９３１は、サブ側主制御部８３０が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９３１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。

　一次記憶部９３２は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置によって構成されるものであり、サブ側主制御部８３０が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。

　次に、通信制御部９３３は、センサ付きサブ表示装置２３０が、メイン表示装置２１０と通信を行なうための有線通信部９３４、並びに、メイン表示装置２１０および図示しない外部装置のいずれかと通信を行なうための近距離無線通信部９３５を制御するものである。

　すなわち、通信制御部９３３は、メイン表示装置２１０から、有線通信部９３４および近距離無線通信部９３５のいずれかを介して送信される装置間コマンドおよび各種データをサブ側主制御部８３０に送信する。また、通信制御部９３３は、サブ側主制御部８３０からの指示に応じて、サブ側主制御部８３０から送信される装置間コマンドおよび各種データを、有線通信部９３４および近距離無線通信部９３５のいずれかを介して、メイン表示装置２１０へ送信する。

　また、通信制御部９３３は、近距離無線通信部９３５を介して、外部装置との間で各種データをやりとりする。

　有線通信部９３４は、メイン表示装置２１０の有線通信部９１４と接続可能な構成となっている。本実施の形態では、有線通信部９３４と、メイン表示装置２１０の有線通信部９１４とは、ＵＳＢ（universal serial bus）接続されることを想定している。

　そして、接続時には、有線通信部９３４は、通信線を用いて、メイン表示装置２１０の有線通信部９１４と相互に信号の送受信が可能であるとともに、電力線を用いて、メイン表示装置２１０の有線通信部９１４から電力の供給を受けることができる。そして、メイン表示装置２１０の有線通信部９１４から電力の供給を受けると、有線通信部９３４は、電源切替部９３８へ電力を供給する。

　近距離無線通信部９３５は、メイン表示装置２１０の近距離無線通信部９１５との間、および、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっている。本実施の形態では、上記無線通信経路に、Ｂｌｕｅｔｏｏｔｈ（登録商標）（以下、単にＢｌｕｅｔｏｏｔｈと表記する）通信を適用することを想定している。すなわち、近距離無線通信部９３５は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行なうことのできる通信部である。なお、上記無線通信経路は、信号の送受信を行なえるものであればよく、ＩＥＥＥ８０２．１１無線やＺｉｇＢｅｅ（登録商標）等を適用してもよい。

　次に、電界強度検出部９３６は、サブ側主制御部８３０からの指示に応じて、近距離無線通信部９３５が受信する信号の強度（ＲＳＳＩ（Received Signal Strength Indication）：受信電界強度）を検出するものである。そして、当該検出の結果を、サブ側主制御部８３０に送信する。

　次に、電源切替部９３８は、有線通信部９３４がメイン表示装置２１０の有線通信部９１４から電力の供給を受けている場合、センサ付きサブ表示装置２３０が備える各部に、メイン表示装置２１０から供給されている電力を供給する。一方、有線通信部９３４がメイン表示装置２１０の有線通信部９１４から電力の供給を受けていない場合、電源切替部９３８は、センサ付きサブ表示装置２３０が備える各部に、バッテリー９３７の電力を供給する。

　（メイン表示装置の要部構成）
　次に、メイン表示装置２１０の要部構成について説明する。図示のように、メイン表示装置２１０は、表示部３１０、表示回路制御部６１０、表示データ処理部７１０、メイン側主制御部８１０、記憶部９１１、一次記憶部９１２、通信制御部９１３、有線通信部９１４、近距離無線通信部９１５、有線／無線ネットワーク通信部９１６、電源９１７、操作部９１９、音声出力部９２４、および音声入力部９２５を備えている。

　表示部３１０は、データを表示するためのものであって、液晶パネル３１１、バックライト３１７、それらを駆動するための周辺回路３１９を含んで構成される。表示回路制御部６１０は、周辺回路３１９を制御するデバイスドライバとしての機能を備えるものである。表示データ処理部７１０は、メイン側主制御部８１０から受信する表示データに基づいて、表示回路制御部６１０に指示を与えるミドルウェアとしての機能を備えるものである。なお、表示部３１０、表示回路制御部６１０、および表示データ処理部７１０は、一般的に知られている技術を用いて構成することができる。

　次に、メイン側主制御部８１０は、メイン表示装置２１０が備える各部の動作を制御するものである。メイン側主制御部８１０は、記憶部９１１に記憶されている各種プログラムを読み出して、メイン表示装置２１０の各部を制御し、メイン表示装置２１０が備える各種機能を実現する。

　また、メイン側主制御部８１０は、センサ付きサブ表示装置２３０のサブ側主制御部８３０に装置間コマンドを送信し、センサ付きサブ表示装置２３０に所定処理を実行させる。なお、装置間コマンドの一つであるスキャンコマンドに「データ種別」（後述する）を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、サブ側主制御部８３０から受信する。

　また、メイン側主制御部８１０は、センサ付きサブ表示装置２３０のサブ側主制御部８３０から装置間コマンドの一つである処理コマンドを受信し、当該受信した装置間コマンドに指定された所定処理（ＯＳの起動処理、各種アプリケーションやミドルウェア等の実行処理）を行なう。

　なお、表示回路制御部６１０、表示データ処理部７１０、およびメイン側主制御部８１０は、それぞれ、ＣＰＵおよびメモリ等で構成することができる。

　次に、記憶部９１１は、メイン側主制御部８１０が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９１１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。

　一次記憶部９１２は、ＲＡＭなどの揮発性の記憶装置によって構成されるものであり、メイン側主制御部８１０が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。

　通信制御部９１３は、メイン表示装置２１０が、センサ付きサブ表示装置２３０と通信を行なうための有線通信部９１４、センサ付きサブ表示装置２３０および図示しない外部装置と通信を行なうための近距離無線通信部９１５、並びに、図示しない外部装置と通信を行なうための有線／無線ネットワーク通信部９１６を制御するものである。

　すなわち、通信制御部９１３は、センサ付きサブ表示装置２３０から、有線通信部９１４および近距離無線通信部９１５のいずれかを介して送信される装置間コマンドおよび各種データをメイン側主制御部８１０に送信する。また、通信制御部９１３は、メイン側主制御部８１０からの指示に応じて、メイン側主制御部８１０から送信される装置間コマンドおよび各種データを、有線通信部９１４および近距離無線通信部９１５のいずれかを介して、センサ付きサブ表示装置２３０へ送信する。

　また、通信制御部９３３は、近距離無線通信部９３５および有線／無線ネットワーク通信部９１６のいずれかを介して、外部装置との間で各種データをやりとりする。

　有線通信部９１４は、上述したように、センサ付きサブ表示装置２３０の有線通信部９３４と接続可能な構成となっており、有線通信部９１４と、センサ付きサブ表示装置２３０の有線通信部９３４とは、ＵＳＢ接続されることを想定している。

　近距離無線通信部９１５は、センサ付きサブ表示装置２３０の近距離無線通信部９３５との間、および、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっており、上記無線通信経路には、Ｂｌｕｅｔｏｏｔｈ通信を適用することを想定している。すなわち、近距離無線通信部９１５は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行なうことのできる通信部である。

　有線／無線ネットワーク通信部９１６は、外部の通信ネットワークと通信可能に接続される構成となっており、外部装置との間で通信を行なうものである。上記通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。

　電源９１７は、メイン表示装置２１０が備える各部に電力を供給するものである。また、有線通信部９１４がセンサ付きサブ表示装置２３０の有線通信部９３４と接続されているときは、有線通信部９１４を介して、センサ付きサブ表示装置２３０へも電力を供給する。なお、電源のオン／オフは、ユーザが電源スイッチ９２２を操作することによって、切り替えることができる。

　次に、操作部９１９は、メイン表示装置２１０のユーザの入力操作を受け付けるものである。操作部９１９は、例えば、キーボード９２０、スイッチ、マウス、リモコンなどの入力デバイスで構成される。そして、操作部９１９は、メイン表示装置２１０のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号をメイン側主制御部８１０へ送信する。

　なお、上記スイッチの例としては、メイン表示装置２１０の筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９２１、電源のオン／オフを切り替える電源スイッチ９２２、予め所定の機能が割り当てられているユーザスイッチ９２３などのハードウェアスイッチを想定している。

　その他、メイン表示装置２１０は、音声を出力するためのスピーカ等の音声出力部９２４、音声信号を入力するためのマイク等の音声入力部９２５を備えている。

　（センサ付きサブ表示装置の詳細な構成）
　次に、図６を参照しながら、センサ付きサブ表示装置２３０の表示／光センサ部３３０、表示／光センサ回路制御部６３０、およびデータ処理部７３０のより詳細な構成について説明する。図６は、表示／光センサ部３３０、表示／光センサ回路制御部６３０、およびデータ処理部７３０のより詳細な構成を示すブロック図である。

　まず、表示／光センサ部３３０のより詳細な構成について説明する。図示のように、表示／光センサ部３３０は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

　センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

　周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

　液晶パネル駆動回路３０４は、表示／光センサ回路制御部６３０の液晶パネル制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

　光センサ駆動回路３０５は、表示／光センサ回路制御部６３０のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

　信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

　バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

　バックライト駆動回路３０８は、表示／光センサ回路制御部６３０のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

　次に、表示／光センサ回路制御部６３０について説明する。表示／光センサ回路制御部６３０は、液晶パネル制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

　液晶パネル制御部６０１は、データ処理部７３０の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３３０の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

　なお、液晶パネル制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

　センサ制御部６０２は、データ処理部７３０のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３３０の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

　また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

　バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３３０のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

　次に、データ処理部７３０について説明する。データ処理部７３０は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。

　表示データ処理部７０１は、サブ側主制御部８３０から表示データを受信するとともに、液晶パネル制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

　センサデータ処理部７０３は、データ処理部７３０が受信したサブ表示装置内コマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

　また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７３０が受信したサブ表示装置内コマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、サブ側主制御部８３０に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、サブ表示装置内コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

　（メイン表示装置の詳細な構成）
　上述したように、メイン表示装置２１０の表示部３１０および表示回路制御部６１０は、一般的に知られている技術を用いて構成することができるが、図７を参照しながら、これらの構成例について簡単に説明する。図７は、表示部３１０および表示回路制御部６１０の構成例を示すブロック図である。

　表示部３１０は、マトリクス状に配置された複数の画素回路３８を含む液晶パネル３１１と、複数の白色ＬＥＤを含んでおり、液晶パネル３１１の背面に配置されるバックライト３１７と、それらを駆動するための周辺回路３１９とを含んで構成される。なお、バックライト３１７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよいし、ＬＥＤに代えて冷陰極管を含むものであってもよい。

　周辺回路３１９は、画素回路３８を駆動する液晶パネル駆動回路３１４、および、バックライト３１７に電源電圧を印加するバックライト駆動回路３１８を含む。なお、バックライト駆動回路３１８から電源電圧が印加されると、バックライト３１７は点灯し、液晶パネル３１１に光を照射する。

　次に、表示回路制御部６１０は、液晶パネル制御部６１１、バックライト制御部６１３、および表示データ記憶部６１４を備えている。

　液晶パネル制御部６１１は、表示データ処理部７１０から表示データを受信するとともに、表示データ処理部７１０からの指示に従って、液晶パネル駆動回路３１４に制御信号およびデータ信号を送信し、上記受信した表示データを液晶パネル３１１に表示させる。なお、液晶パネル制御部６１１は、表示データ処理部７１０から受信した表示データを、表示データ記憶部６１４（ＶＲＡＭなど）に一次記憶させ、当該一次記憶させた表示データに基づいて、データ信号を生成する。

　バックライト制御部６１３は、表示データ処理部７１０からの指示に従って、バックライト駆動回路３１８に制御信号を送信し、バックライト３１７を駆動させる。

　（サブ表示装置内コマンド）
　次に、図８および図９を参照しながら、サブ側主制御部８３０からデータ処理部７３０に送信されるサブ表示装置内コマンドの詳細について説明する。図８は、サブ表示装置内コマンドのフレーム構造の一例を模式的に示す図である。また、図９は、サブ表示装置内コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

　図８に示すように、サブ表示装置内コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図９に示す値が指定可能である。

　「ヘッダ」フィールドは、サブ表示装置内コマンドのフレームの開始を示すフィールドである。フレームの開始であることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

　次に、「データ取得タイミング」フィールドは、センサデータ処理部７０３からデータを取得するタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

　ここで、“センス”は、センサデータ処理部７０３に対して、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、サブ側主制御部８３０に送信する。

　また、“イベント”は、センサデータ処理部７０３に対して、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、サブ側主制御部８３０に送信する。

　また、“オール”は、センサデータ処理部７０３に対して、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、サブ側主制御部８３０に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

　次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

　センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるサブ表示装置内コマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものをサブ側主制御部８３０に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

　また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるサブ表示装置内コマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データをサブ側主制御部８３０に送信する。ここで、当該画像データを、「部分画像データ」と称する。

　なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした領域のそれぞれを部分画像データとして抽出し、サブ側主制御部８３０に送信する。

　さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるサブ表示装置内コマンドを受信したとき、部分画像における代表点を検出し、当該代表点の部分画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。なお、上記代表点とは、例えば、上記部分画像データの中心、上記部分画像データの重心などが挙げられる。

　なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれの代表点を検出し、当該検出された各代表点の、部分画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、各領域における位置を示す代表座標の座標データを、サブ側主制御部８３０に送信する。

　次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるサブ表示装置内コマンドを受信すると、上記代表点の、全体画像データにおける位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。

　なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像のそれぞれの代表点の、全体画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、全体画像における位置を示す代表座標の座標データを、サブ側主制御部８３０に送信する。

　すなわち、センサ付きサブ表示装置２３０は、ユーザが指やペンなどでセンサ内蔵液晶パネル３０１をタッチした数に関わらず、該タッチした領域の代表点を検出することができる（多点検出）。そして、該検出された代表点の、部分画像における位置を示す代表座標の座標データ、および、全体画像における位置を示す代表座標の座標データをサブ側主制御部８３０にすることができる。

　なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

　次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

　“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるサブ表示装置内コマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

　また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるサブ表示装置内コマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

　次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

　ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、サブ側主制御部８３０に送信する。

　また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、サブ側主制御部８３０に送信する。

　次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

　ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを高解像度でサブ側主制御部８３０に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

　また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを低解像度でサブ側主制御部８３０に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

　次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

　なお、サブ表示装置内コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

　また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信することとなるが、指やペンなど動きを検出したい場合には、さらに、当該サブ表示装置内コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、この場合には、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記サブ表示装置内コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

　また、サブ表示装置内コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

　また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

　（装置間コマンド）
　次に、図１０および図１１を参照しながら、装置間コマンドのフレーム構造について説明する。まず、図１０は、装置間コマンドのフレーム構造の一例を示す模式図である。図示のように、装置間コマンドは、先頭から順に、「ヘッダ」フィールド、「第０」から「第５」までの各フィールド、および、「予備」フィールドを含んでいる。

　「ヘッダ」フィールドは、装置間コマンドのフレームの開始を示すフィールドである。フレームの開始であることが識別可能であれば、ヘッダフィールドの値は、どのような値であってもよい。

　次に、「第０」フィールドは、装置間コマンドの種類を識別するための「コマンド識別子」を指定するフィールドである。

　コマンド識別子の値が“000”である装置間コマンドを、ここでは「スキャンコマンド」と称する。スキャンコマンドは、メイン表示装置２１０が、センサ付きサブ表示装置２３０に対して、センサ内蔵液晶パネル３０１の近傍に位置する対象物のスキャンを行なわせるために、メイン側主制御部８１０からサブ側主制御部８３０に送信される。なお、スキャンコマンドを受信したサブ側主制御部８３０は、スキャンコマンドから第０フィールドを取り除くことによって、スキャンコマンドをサブ表示装置内コマンドに変換するとともに、当該変換後のサブ表示装置内コマンドをデータ処理部７３０に送信する。

　また、コマンド識別子の値が、“001”である装置間コマンドを、ここでは「表示コマンド」と称する。表示コマンドは、メイン表示装置２１０が、センサ付きサブ表示装置２３０に対して、表示／光センサ部３３０に写真やアイコンなどの画像データの表示を行なわせるために、メイン側主制御部８１０からサブ側主制御部８３０に送信される。

　また、コマンド識別子の値が、“010”である装置間コマンドを、ここでは「処理コマンド」と称する。処理コマンドは、センサ付きサブ表示装置２３０およびメイン表示装置２１０のいずれかが、相手側に所定処理を実行させるために、メイン側主制御部８１０とサブ側主制御部８３０との間で送受信される。

　次に、「第１」から「第５」までの各フィールドに指定可能な情報は、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれで異なる。第１から第５までの各フィールドに指定可能な情報については、後述する。

　次に、「予備」フィールドは、上述した各フィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

　なお、上述した各フィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

　次に、図１１を参照しながら、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報について説明する。図１１は、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報を示す説明図である。

　図示のように、スキャンコマンドでは、第１から第５フィールドに、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、および「スキャン解像度」を指定することができる。なお、スキャンコマンドの第１から第５までの各フィールドに指定可能な情報は、サブ表示装置内コマンドの各フィールドに指定可能な情報と同じである。

　なお、スキャンコマンドの第１から第５フィールドに指定可能な情報と、サブ表示装置内コマンドの各フィールドに指定可能な情報とを同じにしていることによって、スキャンコマンドを受信したサブ側主制御部８３０が、メイン側主制御部８１０から受信したスキャンコマンドの第０フィールドを取り除くだけで、当該受信したスキャンコマンドをサブ表示装置内コマンドに変換することができるようにしている。

　また、表示コマンドでは、第１および第２フィールドに、「表示個数」、および「表示データ／表示位置」を指定することができる。なお、第３から第５フィールドは使用されない（ＮＵＬＬ値である）。

　また、処理コマンドでは、第１から第３フィールドに、「実行処理種別」、「引数個数」、および「引数情報」を指定することができる。なお、第４および第５フィールドは使用されない（ＮＵＬＬ値である）。

　次に、図１２から図１４を参照しながら、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な値の一例、および、その概要を説明する。

　図１２は、スキャンコマンドの第１から第５フィールドに指定可能な値の一例、および、その概要の説明図である。図示のとおり、スキャンコマンドの第１から第５までの各フィールドは、サブ表示装置内コマンドの各フィールドと同じであるので、ここでは説明を省略する。

　次に、表示コマンドについて説明する。図１３は、表示コマンドの第１および第２フィールドに指定可能な値の一例、および、その概要の説明図である。

　表示コマンドの第１フィールド（表示個数）は、センサ付きサブ表示装置２３０の表示／光センサ部３３０に表示させるデータの数を指定するフィールドである。つまり、第２フィールド（表示データ／表示位置）に指定する組の数を示すものである。

　表示コマンドの第２フィールド（表示データ／表示位置）は、センサ付きサブ表示装置２３０の表示／光センサ部３３０に表示させる画像データそのものと、当該データの表示位置（座標）との組を示すフィールドである。複数の画像データを表示させる場合、第２フィールドには、上記組を複数指定する。

　次に、処理コマンドについて説明する。図１４は、処理コマンドの第１から第３フィールドに指定可能な値の一例、および、その概要の説明図である。

　処理コマンドの第１フィールド（実行処理種別）は、処理コマンドの送信先の主制御部に実行させる処理（各種アプリケーション、ミドルウェア、ＯＳ等）の識別情報を指定するフィールドである。当該識別情報は、処理が識別可能なものであれば、どのような値であってもよい。

　処理コマンドの第２フィールド（引数個数）は、第１フィールドにて指定した識別情報で示される処理が、起動時または起動後に用いる各種情報（引数）の個数を指定するフィールドである。つまり、第３フィールド（引数情報）に指定するデータの数を示すものである。

　処理コマンドの第３フィールド（引数情報）は、第１フィールドにて指定した識別情報で示される処理が、起動時または起動後に用いる各種情報（引数）を指定するフィールドである。

　起動時に用いる情報とは、例えば、第１フィールドにて指定された所定処理の動作モードや、表示領域などを指定するパラメータなどが挙げられる。

　また、起動後に用いる情報とは、例えば、第１フィールドに文字認識アプリケーションが指定されている場合、当該文字認識アプリケーションが文字認識する対象の画像データなどが挙げられる。また、第１フィールドにファイル転送アプリケーションが指定されている場合、当該ファイル転送アプリケーションが転送する対象のファイルなどが挙げられる。

　（全体画像データ／部分画像データ／座標データ）
　次に、図１５を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図１５の（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図１５の（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

　ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

　図１５の（ｂ）に示す画像データでは、図１５の（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図１５の（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

　なお、領域ＡＰで示される画像データが、“全体画像データ”である。

　また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

　（センサ内蔵液晶パネルの構成）
　次に、図１６を参照しながら、センサ付きサブ表示装置２３０が備えるセンサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図１６は、表示／光センサ部３３０の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

　センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

　画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

　画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

　次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

　光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

　次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

　液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

　走査信号線駆動回路３０４１は、液晶パネル制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１～Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

　データ信号線駆動回路３０４２は、液晶パネル制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

　光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１～ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１～ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

　センシングデータ出力信号線ＳＰ１～ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１～ＳＳｐ）として、信号変換回路３０６へ出力する。

　（メイン表示装置およびセンサ付きサブ表示装置のより詳細な構成）
　次に、図１を参照しながら、メイン表示装置２１０およびセンサ付きサブ表示装置２３０のより詳細な構成について説明する。図１は、メイン表示装置２１０およびセンサ付きサブ表示装置２３０のより詳細な構成を示すブロック図である。

　（メイン表示装置のより詳細な構成）
　まず、メイン表示装置２１０の記憶部９１１について説明する。図示のように、記憶部９１１は、メイン側ＢＩＯＳプログラム（第１処理）Ｐ１１、メイン側ブートローダーＢ１１、並びに、複数の、メイン側２次ブートローダーおよびメイン側ＯＳプログラムの組（第２処理、候補処理）を記憶している。なお、メイン側２次ブートローダーおよびメイン側ＯＳプログラムの組として、図１では、メイン側２次ブートローダーＢ２１およびメイン側ＯＳプログラムＰ２１、メイン側２次ブートローダーＢ２２およびメイン側ＯＳプログラムＰ２２、メイン側２次ブートローダーＢ２３およびメイン側ＯＳプログラムＰ２３の３組を記憶している。なお、メイン側２次ブートローダーとメイン側ＯＳプログラムとは必ずしも別々のプログラムにする必要はなく、メイン側２次ブートローダーとメイン側ＯＳプログラムとを１つのプログラムにまとめてもよい。

　なお、メイン側ＢＩＯＳプログラムＰ１１は、例えばフラッシュメモリ１６などに記憶され、メイン側ブートローダーＢ１１、並びに、複数の、メイン側２次ブートローダーおよびメイン側ＯＳプログラムの組は、例えばハードディスク１７などに記憶されていることを想定している。また、メイン側２次ブートローダーおよびメイン側ＯＳプログラムの組のそれぞれは、図示のように、所定のパーティション（領域）ＰＡ１～ＰＡ３に分けられて記憶されるものとする。なお、通常、少なくともいずれかのパーティションがアクティブに設定されている（起動フラグが立っている）。

　メイン側ＢＩＯＳプログラムＰ１１は、メイン表示装置２１０のＢＩＯＳ（Basic Input Output System）のプログラムである。メイン表示装置２１０のＢＩＯＳを、以下、メイン側ＢＩＯＳと称する。メイン側ＢＩＯＳプログラムＰ１１は、一般的に知られているＢＩＯＳのプログラムを想定しており、メイン表示装置２１０に電力が供給された直後に、メイン側主制御部８１０によって実行される。メイン側ＢＩＯＳプログラムＰ１１により行われる処理は、一般的に知られているＢＩＯＳのプログラムにより行われる処理と同様であるので、ここでは詳細な説明を省略する。

　なお、メイン側ＢＩＯＳプログラムＰ１１によって、メイン表示装置２１０に接続されている各種デバイスの初期化処理（ＰＯＳＴ：Power On Self Test）が行われる。そして、ＰＯＳＴ処理中は、その処理経過（実行状況）を示す情報である「ＰＯＳＴコード」（実行状況情報）が生成され、逐次、ＰＯＳＴコード保持部１８に出力される。したがって、ＰＯＳＴコード保持部１８に出力されたＰＯＳＴコードを参照することによって、ＰＯＳＴ処理の実行状況を知ることができる。ＰＯＳＴコードは、一般的に知られているものであるので、ここでは詳細な説明を省略する。

　なお、ＰＯＳＴ処理が最後まで正常に終わったときは、その旨を示すＰＯＳＴコードがＰＯＳＴコード保持部１８に出力される。また、ＰＯＳＴ処理中になんらかの問題が発生した（例えば、あるデバイスの初期化に失敗した等）場合は、ＰＯＳＴ処理は中断される。当該中断された場合、ＰＯＳＴコード保持部１８には、当該中断された時点の処理経過を示すＰＯＳＴコードが出力されている。

　なお、ＰＯＳＴコード保持部１８は、ＰＯＳＴコードの値を保持可能であって、当該保持している値が外部から参照可能な回路等であるものとする。ＰＯＳＴコード保持部１８は、例えば、マザーボード等に設けられていることを想定している。

　次に、メイン側ブートローダーＢ１１は、メイン側ＢＩＯＳプログラムＰ１１によって呼び出されるプログラムである。メイン側ブートローダーＢ１１は、一般的に知られているブートローダーが備える機能を具備しており、メイン側ＯＳプログラムＰ２１～Ｐ２３が格納されているディスク等の先頭のセクタ（ブートセクタ）に格納されている。なお、当該セクタは、ハードディスクドライブの場合、一般的に、マスターブートレコード（ＭＢＲ）と称されるセクタである。

　なお、メイン側ブートローダーＢ１１は、メイン側主制御部８１０に読み込まれて実行される。メイン側ブートローダーＢ１１は、参照すべきパーティションを決定し、当該決定したパーティションの先頭のセクタに格納されているメイン側２次ブートローダーを実行する。通常は、アクティブに設定されているパーティションを、参照すべきパーティションとする。なお、各パーティションの先頭のセクタは、一般的には、ボリュームブートレコード（ＶＢＲ）やパーティションブートレコード（ＰＢＲ）などと称されるセクタである。

　次に、メイン側２次ブートローダーＢ２１、Ｂ２２、Ｂ２３は、メイン側ブートローダーＢ１１が実行された結果、メイン側主制御部８１０に読み込まれて実行されるものであって、メイン側ＯＳのプログラムを起動するためのプログラムである。メイン側２次ブートローダーＢ２１、Ｂ２２、Ｂ２３は、一般的に知られている２次ブートローダーを想定しており、メイン側ＯＳが格納されているディスク等の各パーティションの先頭のセクタに格納されている。なお、メイン側２次ブートローダーＢ２１、Ｂ２２、Ｂ２３の具体例は、ＬＩＬＯ（LInux LOader）、ＧＲＵＢ（GRand Unified Bootloader）、Windows Boot Manager、ＮＴＬＤＲ（NT Loader）などが挙げられる。

　なお、メイン側２次ブートローダーが実行されると、当該メイン側２次ブートローダーが格納されているパーティション内に格納されているメイン側ＯＳプログラムが、メイン側主制御部８１０に読み込まれて、起動される。

　次に、メイン側ＯＳプログラムＰ２１、Ｐ２２、Ｐ２３は、メイン表示装置２１０のＯＳ（以下、メイン側ＯＳ）のプログラムである。メイン表示装置２１０では、メイン側２次ブートローダーによって、いずれかのメイン側ＯＳのプログラムが起動される。なお、メイン側ＯＳの種類は限定されるものではない。例えば、メイン側ＯＳプログラムＰ２１、Ｐ２２、Ｐ２３は、それぞれ、Ｗｉｎｄｏｗｓ（登録商標）ＸＰのプログラム、ＷｉｎｄｏｗｓＶｉｓｔａ（登録商標）のプログラム、ＯＳを復旧させるためのリカバリのプログラムなどである。

　なお、メイン側ＯＳプログラムＰ２１、Ｐ２２、Ｐ２３には、それぞれ対応するメイン側ＯＳの識別情報が、外部から参照可能に付加されているものとする。

　次に、メイン側主制御部８１０について説明する。図示のように、メイン側主制御部８１０は、メイン側ブートローダー実行部１３（実行制御手段）、メイン側２次ブートローダー実行部１４、およびメイン側ＯＳ起動部１５を含んでいる。なお、メイン側２次ブートローダーとメイン側ＯＳプログラムとが１つのプログラムにまとめられている場合は、メイン側２次ブートローダー実行部１４とメイン側ＯＳ起動部１５とを１つに併合してもよい。

　メイン側ブートローダー実行部１３は、メイン側ブートローダーＢ１１がメイン側主制御部８１０に読み込まれた結果として、動作するものである。メイン側ブートローダー実行部１３は、少なくとも、タイムアウト検出部１３１、および２次ブートローダー起動部１３２を含んでいる。さらに、センサ付きサブ表示装置２３０から、メイン表示装置２１０にて起動可能なメイン側ＯＳの識別情報（候補処理情報）の一覧が要求される場合、メイン側ブートローダー実行部１３は、さらに、メイン側ＯＳ一覧送信部１３３を含むように構成される（具体的には、メイン側ブートローダー実行部１３がメイン側ＯＳ一覧送信部１３３を含むように、メイン側ブートローダーＢ１１に記述される）。なお、以下では、メイン表示装置２１０にて起動可能なメイン側ＯＳの識別情報の一覧を、「メイン側ＯＳ一覧」と称する。

　タイムアウト検出部１３１は、メイン側ブートローダーＢ１１がメイン側主制御部８１０に読み込まれてから所定時間が経過したことを検出するものである。

　２次ブートローダー起動部１３２は、通常、タイムアウト検出部１３１によって、上記所定時間が経過したことが検出されたことをトリガとして動作し、アクティブに設定されているパーティションを、参照すべきパーティションとして決定する。そして、当該決定したパーティションに格納されているメイン側２次ブートローダー（Ｂ１１～Ｂ１３のいずれか）をメイン側主制御部８１０に読み込む。

　ただし、上記所定時間が経過する前に、メイン側ブートローダー実行部１３が、センサ付きサブ表示装置２３０のメイン側起動ＯＳ指定部２５（後述する）から、通信制御部９１３を介して、起動すべきメイン側ＯＳの識別情報が指定された処理コマンドを受信した場合、２次ブートローダー起動部１３２は、当該受信に応じて動作するとともに、当該指定された識別情報に対応するメイン側ＯＳが格納されているパーティションを、参照すべきパーティションとして決定する。

　次に、メイン側ＯＳ一覧送信部１３３は、メイン側ブートローダー実行部１３が、通信制御部９１３を介して、メイン側ＯＳ一覧の要求が指定された処理コマンドを受信した場合、当該受信に応じて動作する。そして、上記要求の応答として、記憶部９１１から取得したメイン側ＯＳの識別情報を、メイン側ＯＳ一覧として、上記処理コマンドの要求元に送信する。

　このとき、タイムアウト検出部１３１は、さらに、メイン側ＯＳ一覧送信部１３３が、上記受信した処理コマンドの要求元に、メイン側ＯＳ一覧を送信してから所定時間が経過したことを検出する。そして、起動すべきメイン側ＯＳが指示されないまま上記所定時間が経過した場合、２次ブートローダー起動部１３２が、アクティブに設定されているパーティションに格納されているメイン側２次ブートローダー（Ｂ１１～Ｂ１３のいずれか）をメイン側主制御部８１０に読み込む。

　次に、メイン側２次ブートローダー実行部１４は、２次ブートローダー起動部１３２によってメイン側２次ブートローダーＢ１１～Ｂ１３のいずれかがメイン側主制御部８１０に読み込まれて実行された結果として動作するものである。そして、メイン側主制御部８１０に読み込んだ、メイン側２次ブートローダーと同じパーティション内に格納されているメイン側ＯＳプログラムをメイン側主制御部８１０に読み込むことによって、メイン側ＯＳを起動する。

　次に、メイン側ＯＳ起動部１５は、メイン側２次ブートローダー実行部１４によってメイン側ＯＳプログラムＰ２１、Ｐ２２、Ｐ２３のいずれかがメイン側主制御部８１０に読み込まれて実行された結果として動作するものであり、メイン側ＯＳを起動するものである。

　（センサ付きサブ表示装置のより詳細な構成）
　次に、センサ付きサブ表示装置２３０の記憶部９３１について説明する。図示のように、記憶部９３１は、サブ側ＢＩＯＳプログラムＰ３１、サブ側ブートローダーＢ３１、並びに、サブ側２次ブートローダーＢ４１およびサブ側ＯＳプログラムＰ４１の組を記憶している。なお、サブ側２次ブートローダーＢ４１とサブ側ＯＳプログラムＰ４１とは必ずしも別々のプログラムにする必要はなく、サブ側２次ブートローダーＢ４１とサブ側ＯＳプログラムＰ４１とを１つのプログラムにまとめてもよい。

　なお、サブ側ＢＩＯＳプログラムＰ３１は、例えばフラッシュメモリ２６などに記憶され、サブ側ブートローダーＢ３１、並びに、サブ側２次ブートローダーＢ４１およびサブ側ＯＳプログラムＰ４１の組は、例えばハードディスク２７などに記憶されていることを想定している。また、サブ側２次ブートローダーＢ４１およびサブ側ＯＳプログラムＰ４１の組は、所定のパーティションＰＡ４に記憶されるものとする。

　サブ側ＢＩＯＳプログラムＰ３１は、センサ付きサブ表示装置２３０のＢＩＯＳ（以下、サブ側ＢＩＯＳ）のプログラムである。サブ側ＢＩＯＳプログラムＰ３１は、一般的に知られているＢＩＯＳのプログラムを想定しており、センサ付きサブ表示装置２３０に電力が供給された直後に、サブ側主制御部８３０によって実行される。サブ側ＢＩＯＳプログラムＰ３１により行われる処理は、一般的に知られているＢＩＯＳのプログラムにより行われる処理と同様であるので、ここでは詳細な説明を省略する。

　次に、サブ側ブートローダーＢ３１は、サブ側ＢＩＯＳプログラムＰ３１によって呼び出されるプログラムである。サブ側ブートローダーＢ３１は、一般的に知られているブートローダーが備える機能を具備しており、サブ側ＯＳプログラムＰ４１が格納されているディスク等の先頭のセクタ（ブートセクタ）に格納されている。

　なお、サブ側ブートローダーＢ３１は、サブ側主制御部８３０に読み込まれて実行される。そして、サブ側ブートローダーＢ３１は、パーティションの先頭のセクタに格納されているサブ側２次ブートローダーＢ４１を実行する。

　次に、サブ側２次ブートローダーＢ４１は、サブ側ブートローダーＢ３１が実行された結果、サブ側主制御部８３０に読み込まれて実行されるものであって、サブ側ＯＳのプログラムを起動するためのプログラムである。サブ側２次ブートローダーＢ４１は、一般的に知られている２次ブートローダーを想定しており、サブ側ＯＳが格納されているディスク等の各パーティションの先頭のセクタに格納されている。サブ側２次ブートローダーＢ４１は、具体的には、ＬＩＬＯ、ＧＲＵＢ、ＷｉｎｄｏｗｓＢｏｏｔＭａｎａｇｅｒ、ＮＴＬＤＲなどである。

　なお、サブ側２次ブートローダーが実行されると、当該サブ側２次ブートローダーが格納されているパーティション内に格納されているサブ側ＯＳプログラムＰ４１が、サブ側主制御部８３０に読み込まれて起動される。

　次に、サブ側ＯＳプログラムＰ４１は、センサ付きサブ表示装置２３０のＯＳ（以下、サブ側ＯＳ）のプログラムである。

　なお、メイン表示装置２１０とセンサ付きサブ表示装置２３０とに同時に電源が投入された場合であっても、メイン表示装置２１０のＯＳの起動を、センサ付きサブ表示装置２３０から指定することを可能とするために、センサ付きサブ表示装置２３０にてサブ側ＯＳの起動が完了するまでに要する時間は、メイン表示装置２１０にてメイン側ＯＳの起動が開始されるまでに要する時間よりも、できるだけ短い方が望ましい。そのため、サブ側ＯＳには、Ｌｉｎｕｘや、Ｔｒｏｎなどのように、起動処理に要する時間が比較的短いＯＳが適している。

　なお、センサ付きサブ表示装置２３０がメイン表示装置２１０に装着されているとき（つまり、メイン表示装置２１０の有線通信部９１４とセンサ付きサブ表示装置２３０の有線通信部９３４とが接続されているとき）は、上述したように、メイン表示装置２１０の電源９１７をオンにすることによって、センサ付きサブ表示装置２３０へ電力が供給され、その結果、センサ付きサブ表示装置２３０の各部に電力が供給される。

　次に、サブ側主制御部８３０について説明する。図示のように、サブ側主制御部８３０は、サブ側ブートローダー実行部２１、サブ側２次ブートローダー実行部２２、サブ側ＯＳ起動部２３、ＰＯＳＴコード検査部（実行状況判定手段）２４、およびメイン側起動ＯＳ指定部（実行指定手段）２５を含んでいる。なお、ＰＯＳＴコード検査部２４、およびメイン側起動ＯＳ指定部２５は、サブ側ＯＳが起動した後に動作するものである。また、サブ側２次ブートローダーＢ４１とサブ側ＯＳプログラムＰ４１とが１つのプログラムにまとめられている場合は、サブ側２次ブートローダー実行部２２とサブ側ＯＳ起動部２３とを１つに併合してもよい。

　サブ側ブートローダー実行部２１は、サブ側ブートローダーＢ３１がサブ側主制御部８３０に読み込まれた結果として、動作するものである。サブ側ブートローダー実行部２１は、パーティションに格納されているサブ側２次ブートローダーＢ４１をサブ側主制御部８３０に読み込む。

　次に、サブ側２次ブートローダー実行部２２は、サブ側ブートローダー実行部２１によってサブ側２次ブートローダーＢ４１がサブ側主制御部８３０に読み込まれて実行された結果として動作するものである。そして、サブ側ＯＳプログラムＰ４１をサブ側主制御部８３０に読み込むことによって起動する。

　次に、サブ側ＯＳ起動部２３は、サブ側２次ブートローダー実行部２２によってサブ側ＯＳプログラムＰ４１がサブ側主制御部８３０に読み込まれて実行された結果として動作するものであり、サブ側ＯＳを起動する。

　次に、ＰＯＳＴコード検査部２４は、サブ側ＯＳが起動した直後、メイン表示装置２１０のメイン側ＢＩＯＳプログラムＰ１１が出力しているＰＯＳＴコードを検査するものである。そのために、ＰＯＳＴコード検査部２４は、通信制御部９３３を介して、メイン表示装置２１０のＰＯＳＴコード保持部１８に出力されているＰＯＳＴコードを参照する。そして、上記参照したＰＯＳＴコードに基づいて、メイン表示装置２１０のメイン側ＢＩＯＳプログラムＰ１１が行なっているＰＯＳＴ処理の進行状況を調べ、（Ａ）ＰＯＳＴ処理が最後まで正常に終わったか、および、（Ｂ）ＰＯＳＴ処理が中断されたか、のいずれかを判断する。

　具体的には、上記参照したＰＯＳＴコードが、ＰＯＳＴ処理が最後まで正常に終わったことを示す値である場合、ＰＯＳＴコード検査部２４は、ＰＯＳＴ処理は最後まで正常に終わったと判断する。そして、その旨を、メイン側起動ＯＳ指定部２５に通知する。

　一方、上記参照したＰＯＳＴコードが、ＰＯＳＴ処理が最後まで正常に終わったことを示す値以外である場合、ＰＯＳＴコード検査部２４は、ＰＯＳＴコード保持部１８に出力されているＰＯＳＴコードを参照する処理を繰り返す。なお、上記繰り返し参照する回数、および、参照する間隔は、予め定めておいてもよいし、所定の計算により決定してもよい。

　そして、上記繰り返し参照した結果、ＰＯＳＴコードが常に同じ値である場合、ＰＯＳＴコード保持部１８に新たにＰＯＳＴコードが出力されていないこととなるので、ＰＯＳＴコード検査部２４は、ＰＯＳＴ処理が中断されたと判断する。そして、ＰＯＳＴコード検査部２４は、最後に参照したＰＯＳＴコードに対応する所定メッセージを表示／光センサ部３３０に表示させることにより、ＰＯＳＴ処理が中断されたことをユーザに知らせる。なお、ＰＯＳＴコード検査部２４は、上記所定メッセージを含む表示用データを生成し、当該生成した表示用データをデータ処理部７３０に送信することによって、表示／光センサ部３３０に上記所定メッセージ表示させる。

　一方、上記繰り返し参照した結果、ＰＯＳＴコードの値に変化が生じた場合、ＰＯＳＴコード保持部１８に新たなＰＯＳＴコードが出力されていることとなるので、ＰＯＳＴ処理は進行中であるとみなす。そこで、この場合は、上記（Ａ）および（Ｂ）のいずれかが判断可能となるまで、ＰＯＳＴコード保持部１８に出力されているＰＯＳＴコードを参照する処理を繰り返す。

　次に、メイン側起動ＯＳ指定部２５は、ＰＯＳＴコード検査部２４からの通知を受けると、メイン表示装置２１０に起動させるメイン側ＯＳを指示するために、メイン表示装置２１０にて起動させるメイン側ＯＳの識別情報を、通信制御部９３３を介してメイン表示装置２１０に送信する。

　より詳細には、メイン側起動ＯＳ指定部２５は、第１フィールドに、２次ブートローダー起動部１３２を識別する情報を指定し、第２フィールドに、“１”を指定し、第３フィールドに、メイン表示装置２１０にて起動させるメイン側ＯＳの識別情報を指定した処理コマンドを、メイン表示装置２１０に送信する。

　なお、メイン側ＯＳの識別情報は、予め記憶部９３１に記憶されていてもよいし、メイン表示装置２１０に問合せてもよい。メイン表示装置２１０に問合せる場合は、メイン側起動ＯＳ指定部２５は、さらに、メイン側ＯＳ一覧要求部（候補処理情報取得手段）２５１を含むように構成される。メイン側ＯＳ一覧要求部２５１は、通信制御部９３３を介して、メイン表示装置２１０のメイン側ＯＳ一覧送信部１３３に対して、メイン側ＯＳ一覧を要求する。そして、上記要求の応答としてメイン側ＯＳ一覧送信部１３３から送信されるメイン側ＯＳ一覧を受信する。

　なお、メイン側ＯＳ一覧を要求するにあたり、メイン側ＯＳ一覧要求部２５１は、第１フィールドに、メイン側ＯＳ一覧送信部１３３を識別する情報を指定し、第２フィールドに、“１”を指定し、第３フィールドに、メイン側ＯＳ一覧の返信元としてメイン側ＯＳ一覧要求部２５１の識別情報を指定した処理コマンドを、メイン表示装置２１０に送信する。

　また、メイン側起動ＯＳ指定部２５がメイン表示装置２１０に起動させるメイン側ＯＳは、所定のルールに基づいて算出して特定してもよいし、ユーザに選択させて特定してもよい。ユーザに選択させる場合は、メイン側起動ＯＳ指定部２５は、さらに、ユーザ提示処理部（候補処理選択手段）２５２を含むように構成される。ユーザ提示処理部２５２は、予め記憶部９３１に記憶されているメイン側ＯＳ一覧、または、メイン側ＯＳ一覧要求部２５１がメイン側ＯＳ一覧を受信した場合は、当該受信したメイン側ＯＳ一覧を、表示／光センサ部３３０のセンサ内蔵液晶パネル３０１に、ユーザが選択可能に表示させるとともに、ユーザが選択したメイン側ＯＳがいずれであるかを特定する。

　このとき、ユーザ提示処理部２５２は、上記メイン側ＯＳ一覧を含む表示用データを生成し、当該生成した表示用データをデータ処理部７３０に送信することによって、表示／光センサ部３３０に上記メイン側ＯＳ一覧を表示させる。

　また、ユーザ提示処理部２５２は、ユーザがタッチした位置を示す座標データを取得するために、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したサブ表示装置内コマンドを、データ処理部７３０に送信する。なお、座標データおよび部分画像データ（部分画像における座標データを含む）の両方を取得したい場合は、「データ種別」フィールドに、“座標”および“部分画像”の両方を指定する。

　そして、ユーザがセンサ内蔵液晶パネル３０１をタッチしたとき、センサ内蔵液晶パネル３０１の光センサ回路３２が、ユーザのタッチした指やペンなどの影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部７３０がセンサ制御部６０２から受信する画像データに変化が生じる。

　その結果、データ処理部７３０は、上記サブ表示装置内コマンドの応答として、座標データをユーザ提示処理部２５２に送信するので、ユーザ提示処理部２５２は、データ処理部７３０から受信した座標データで示される位置と、メイン側ＯＳの識別情報を表示させた位置とに基づいて、ユーザが選択したメイン側ＯＳがいずれであるかを特定することができる。

　なお、メイン側ＯＳ一覧を、表示／光センサ部３３０のセンサ内蔵液晶パネル３０１に表示させてから、ユーザからの選択が無いまま所定時間経過したとき、メイン側起動ＯＳ指定部２５は、メイン表示装置２１０の２次ブートローダー起動部１３２に対して、所定のメイン側ＯＳの識別情報を送信することによって、メイン表示装置２１０に起動させるメイン側ＯＳを指示する。所定のメイン側ＯＳは、予め定められたものでもよいし、所定の演算によって決定されたものでもよい。

　（メイン表示装置にてＯＳが起動するまでの処理の流れ）
　次に、図１７を参照しながら、本実施の形態に係る２画面表示装置２００において、メイン表示装置にてＯＳが起動するまでの処理の流れの一例について説明する。図１７は、メイン表示装置にてＯＳが起動するまでの処理の流れの一例を示すフローチャートである。

　なお、ここでは、センサ付きサブ表示装置２３０が、メイン側ＯＳの識別情報を、メイン表示装置２１０に問合せるとともに、センサ付きサブ表示装置２３０にて、メイン側ＯＳをユーザに選択させるものとして説明する。

　まず、メイン表示装置２１０の電源が投入されると（Ｓ１１にてＹＥＳ）、メイン表示装置２１０の有線通信部９１４からセンサ付きサブ表示装置２３０の有線通信部９３４に電力が供給される（Ｓ１２）。そして、メイン側ＢＩＯＳプログラムＰ１１が実行される（Ｓ１３）。なお、これによって、ＰＯＳＴコードがＰＯＳＴコード保持部１８に出力される。

　また、メイン側ＢＩＯＳプログラムＰ１１が実行された後、メイン側ブートローダーＢ１１がメイン側主制御部８１０に読み込まれ、実行される（Ｓ１４）。

　一方、ステップＳ１２にてセンサ付きサブ表示装置２３０の有線通信部９３４に電力が供給された結果、センサ付きサブ表示装置２３０の各部に電力が供給される（Ｓ１５にてＹＥＳ）。それによって、サブ側ＢＩＯＳプログラムＰ３１が実行される（Ｓ１６）。その後、サブ側ブートローダーＢ３１がサブ側主制御部８３０に読み込まれ、実行される（Ｓ１７）。さらにその後、サブ側２次ブートローダーＢ４１がサブ側主制御部８３０に読み込まれ、サブ側ＯＳプログラムＰ４１が実行される（Ｓ１８）。これにより、サブ側ＯＳが起動される。

　続いて、ＰＯＳＴコード検査部２４が、メイン表示装置２１０のＰＯＳＴコード保持部１８に出力されているＰＯＳＴコードを参照し、（Ａ）ＰＯＳＴ処理が最後まで正常に終わったか、および、（Ｂ）ＰＯＳＴ処理が中断されたか、のいずれかを判断する（Ｓ１９）。ＰＯＳＴ処理が最後まで正常に終了していない（ＰＯＳＴ処理が中断されている）と判断した場合（Ｓ２０にてＮＯ）、ＰＯＳＴコード検査部２４は、参照したＰＯＳＴコードに対応する所定メッセージを表示／光センサ部３３０に表示させる（Ｓ２１）。

　一方、ＰＯＳＴ処理が最後まで正常に終了したと判断した場合（Ｓ２０にてＹＥＳ）、メイン側ＯＳ一覧要求部２５１が、メイン表示装置２１０に対して、メイン側ＯＳ一覧を要求する（Ｓ２２）。

　そして、メイン側ブートローダー実行部１３が上記要求を受信すると（Ｓ２３にてＹＥＳ）、メイン側ＯＳ一覧送信部１３３がメイン側ＯＳ一覧をメイン側ＯＳ一覧要求部２５１に送信する（Ｓ２４）。一方、メイン側ブートローダー実行部１３が上記要求を受信せずに（Ｓ２３にてＮＯ）、メイン側ブートローダーＢ１１がメイン側主制御部８１０に読み込まれてから所定時間が経過したことをタイムアウト検出部１３１が検出すると（Ｓ２５にてＹＥＳ）、２次ブートローダー起動部１３２が、アクティブに設定されているパーティションに格納されているメイン側２次ブートローダー（Ｂ１１～Ｂ１３のいずれか）をメイン側主制御部８１０に読み込み、当該読み込んだメイン側２次ブートローダーが、同じパーティション内に格納されているメイン側ＯＳプログラムをメイン側主制御部８１０に読み込むことによって、メイン側ＯＳを起動する（Ｓ２６）。

　一方、ステップＳ２４にて送信されたメイン側ＯＳ一覧を、メイン側ＯＳ一覧要求部２５１が受信すると、ユーザ提示処理部２５２が当該受信したメイン側ＯＳ一覧を表示／光センサ部３３０のセンサ内蔵液晶パネル３０１に表示させる（Ｓ２７）。

　そして、ユーザが、センサ内蔵液晶パネル３０１に表示されているメイン側ＯＳのいずれかを、指やペンなどでタッチして選択すると（Ｓ２８にてＹＥＳ）、メイン側起動ＯＳ指定部２５が、上記選択されたメイン側ＯＳの起動を指示するために、上記選択されたメイン側ＯＳの識別情報をメイン表示装置２１０に送信する（Ｓ２９）。

　なお、ユーザからの選択が無いまま所定時間経過したとき（Ｓ３０にてＹＥＳ）、メイン側起動ＯＳ指定部２５は、所定のメイン側ＯＳの起動を指示するために、所定のメイン側ＯＳの識別情報をメイン表示装置２１０に送信する（Ｓ３１）。

　そして、メイン側ブートローダー実行部１３は、メイン側起動ＯＳ指定部２５から、起動すべきメイン側ＯＳが指示されると（つまり、メイン側ＯＳの識別情報を受信すると）（Ｓ３２にてＹＥＳ）、２次ブートローダー起動部１３２が、当該受信に応じて動作するとともに、当該受信した識別情報に対応するメイン側ＯＳが格納されているパーティションを、参照すべきパーティションとして決定する。そして、当該決定したパーティションに格納されているメイン側２次ブートローダー（Ｂ１１～Ｂ１３のいずれか）をメイン側主制御部８１０に読み込むことによって、メイン側２次ブートローダーを実行し、メイン側ＯＳを起動する（Ｓ３３）。

　なお、メイン側ブートローダー実行部１３が、メイン側起動ＯＳ指定部２５から、起動すべきメイン側ＯＳの識別情報を受信せず（Ｓ３２にてＮＯ）、タイムアウト検出部１３１が、メイン側ＯＳ一覧送信部１３３がメイン側ＯＳ一覧をメイン側ＯＳ一覧要求部２５１に送信してから所定時間が経過したことを検出した場合（Ｓ３４にてＹＥＳ）、２次ブートローダー起動部１３２が、アクティブに設定されているパーティションに格納されているメイン側２次ブートローダー（Ｂ１１～Ｂ１３のいずれか）をメイン側主制御部８１０に読み込み、当該読み込んだメイン側２次ブートローダーが、同じパーティション内に格納されているメイン側ＯＳプログラムをメイン側主制御部８１０に読み込むことによって、メイン側ＯＳを起動する（Ｓ３５）。

　〔変形例〕
　上述の実施形態では、メイン表示装置２１０のＢＩＯＳの実行状況をセンサ付きサブ表示装置２３０にて検査するとともに、メイン表示装置２１０にて起動させるＯＳを、センサ付きサブ表示装置２３０から指定するケースを例に挙げて説明したが、本発明は、他のケースにも適用できる。

　例えば、複数のユーザのそれぞれが、メイン側ＯＳの環境設定を独自にカスタマイズした状態で記憶させたセンサ付きサブ表示装置２３０を所有しており、各ユーザが、自身の所有するセンサ付きサブ表示装置２３０をメイン表示装置２１０に装着させて使用するケースが考えられる。この場合、メイン表示装置２１０にてＯＳが起動する際、センサ付きサブ表示装置２３０から、上記起動するＯＳに対して、上記環境設定を指定するようにしてもよい。

　同様に、例えば、複数のユーザのそれぞれが、メイン側ＯＳのログインパスワードを設定したセンサ付きサブ表示装置２３０をそれぞれ所有しており、各ユーザが、自身の所有するセンサ付きサブ表示装置２３０をメイン表示装置２１０に装着させて使用するケースが考えられる。この場合、メイン表示装置２１０にてＯＳが起動する際、センサ付きサブ表示装置２３０から、上記ログインパスワードを指定するようにしてもよい。

　〔付記事項〕
　上述の実施形態では、センサ付きサブ表示装置２３０を、メイン表示装置２１０から取り外し可能にする構成について説明したが、センサ付きサブ表示装置２３０は、メイン表示装置２１０と一体に構成されていてもよい。

　上述の実施形態では、センサ付きサブ表示装置２３０の構成として、データ処理部７３０や表示／光センサ回路制御部６３０を備える構成について説明したが、この構成に限定されるものではない。例えば、サブ側主制御部８３０が表示／光センサ回路制御部６３０を直接制御し、サブ側主制御部８３０が全体画像データ／部分画像データ／座標データを生成するような構成であってもよい。また、サブ側主制御部８３０が表示／光センサ部３３０を直接制御するような構成であってもよい。

　上述の実施形態では、第１処理としてＢＩＯＳプログラムを例に挙げて説明したが、これに限定されるものではなく、例えば、温度等を取得する環境取得プログラムなどであってもよい。

　以上のように、本発明に係る処理制御ユニットは、第１処理を実行しながら、その実行状況を示す実行状況情報を生成し、かつ、上記第１処理の後、第２処理を実行する処理実行ユニットと通信可能であり、上記処理実行ユニットとは独立して動作可能な処理制御ユニットであって、上記生成された上記実行状況情報を上記処理実行ユニットから取得するとともに、当該取得した実行状況情報が所定値であるか否かを判定する実行状況判定手段と、上記実行状況判定手段が、上記取得した実行状況情報が上記所定値であると判定した場合、上記処理実行ユニットにおいて実行可能な複数の候補処理のいずれか１つを上記第２処理として実行するように、上記処理実行ユニットに対して指定する実行指定手段とを備えている。

　また、本発明に係る処理制御ユニットの制御方法は、第１処理を実行しながら、その実行状況を示す実行状況情報を生成し、かつ、上記第１処理の後、第２処理を実行する処理実行ユニットと通信可能であり、上記処理実行ユニットとは独立して動作可能な処理制御ユニットの制御方法であって、上記生成された上記実行状況情報を上記処理実行ユニットから取得するとともに、当該取得した実行状況情報が所定値であるか否かを判定する実行状況判定ステップと、上記実行状況判定ステップにて、上記取得した実行状況情報が上記所定値であると判定した場合、上記処理実行ユニットにおいて実行可能な複数の候補処理のいずれか１つを上記第２処理として実行するように、上記処理実行ユニットに対して指定する実行指定ステップとを含んでいる。

　よって、処理制御ユニットは、処理実行ユニットが実行している第１処理の実行状況が所定の状況である場合に、処理実行ユニットにて実行させる第２処理を指定することできる。

　さらに、本発明に係る処理制御ユニットは、上記の構成において、上記実行指定手段は、さらに、上記複数の候補処理のそれぞれを示す候補処理情報を、上記処理実行ユニットから取得する候補処理情報取得手段を備え、上記実行指定手段は、上記取得した候補処理情報のいずれか１つを指定する情報を、上記処理実行ユニットに送信する構成としてもよい。

　上記の構成によれば、さらに、上記複数の候補処理のそれぞれを示す候補処理情報を、処理実行ユニットから取得することができる。そして、上記取得した候補処理情報で示される候補処理のいずれか１つを、処理実行ユニットに送信することができる。

　よって、処理制御ユニットは、処理実行ユニットから取得した候補処理情報のいずれか１つを上記処理実行ユニットに送信することにより、処理実行ユニットに実行させる第２処理を指定することができる。

　したがって、処理制御ユニットは、第２処理として指定可能な候補処理を、予め知らなくても、第２処理を指定することができるという効果を奏する。

　さらに、本発明に係る処理制御ユニットは、上記の構成において、上記実行指定手段は、さらに、上記候補処理情報取得手段が取得した候補処理情報をユーザに提示するともに、上記提示した候補処理情報のいずれか１つをユーザに選択させる候補処理選択手段を備え、上記実行指定手段は、上記選択させた上記候補処理情報を指定する情報を、上記処理実行ユニットに送信する構成としてもよい。

　上記の構成によれば、さらに、候補処理情報をユーザに提示するともに、上記提示した候補処理情報のいずれか１つをユーザに選択させることができる。そして、上記選択させた候補処理情報を、処理実行ユニットに送信することができる。

　よって、ユーザに選択させた候補処理をユーザが処理実行ユニットに実行させることができる。

　したがって、複数の候補処理のうち、ユーザが選択したものを、処理実行ユニットに実行させることができるという効果を奏する。

　さらに、本発明に係る処理制御ユニットは、上記の構成において、上記実行指定手段は、上記候補処理選択手段が上記提示した上記候補処理情報が、所定時間内に選択されない場合、所定の上記候補処理情報を指定する情報を、上記処理実行ユニットに送信する構成としてもよい。

　上記の構成によれば、さらに、所定時間内に候補処理情報がユーザに選択されない場合、所定の候補処理情報を、処理実行ユニットに送信することができる。

　よって、候補処理情報がユーザに選択されなくても、処理実行ユニットに第２処理を実行させることができる。

　したがって、処理実行ユニットが、いつまでも第２処理の実行開始待ちになることを防止することができるという効果を奏する。

　さらに、本発明に係る処理制御ユニットは、上記の構成において、上記処理実行ユニットは、ＢＩＯＳを上記第１処理として実行した後、自ユニットにて実行可能な複数のオペレーティングシステムのいずれか１つを上記第２処理として実行するものであって、上記実行指定手段は、上記オペレーティングシステムのいずれか１つを上記第２処理として指定する構成としてもよい。

　上記の構成によれば、さらに、上記処理実行ユニットは、第１処理であるＢＩＯＳの実行後、オペレーティングシステムを第２処理として実行するものであり、処理制御ユニットは、第２処理として上記オペレーティングシステムを指定することができる。

　よって、処理実行ユニットにてＢＩＯＳが生成する実行状況情報が所定値である場合、処理制御ユニットから、処理実行ユニットにて起動させるオペレーティングシステムを指定することができる。

　なお、この場合、実行状況情報とは、具体的には、ＢＩＯＳを実行することによって出力されるＰＯＳＴ（Power On Self Test）コードであり、その値が、ＰＯＳＴ処理の正常終了を示すものである場合、処理制御ユニットは、処理実行ユニットにて起動させるオペレーティングシステムを指定する。

　また、本発明に係る処理実行ユニットは、第１処理を実行しながら、その実行状況を示す実行状況情報を生成し、かつ、上記第１処理の後、自ユニットにて実行可能な複数の候補処理のいずれか１つを第２処理として実行する、処理制御ユニットと通信可能な処理実行ユニットであって、上記実行状況情報を読み出し可能な処理制御ユニットから上記第２処理の実行の指定を受け付けるとともに、上記第１処理の後、当該指定された上記第２処理を実行する実行制御手段とを備えている。

　また、本発明に係る処理実行ユニットの制御方法は、第１処理を実行しながら、その実行状況を示す実行状況情報を生成し、かつ、上記第１処理の後、自ユニットにて実行可能な複数の候補処理のいずれか１つを第２処理として実行する、処理制御ユニットと通信可能な処理実行ユニットの制御方法であって、上記実行状況情報を読み出し可能な処理制御ユニットから上記第２処理の実行の指定を受け付けるとともに、上記第１処理の後、当該指定された上記第２処理を実行する実行制御ステップとを含んでいる。

　よって、処理実行ユニットは、第１処理の実行状況が所定の状況に達した場合、処理制御ユニットからの指示に応じて第２処理を実行することができる。

　さらに、本発明に係る処理実行ユニットは、上記の構成において、上記第１処理の実行後、所定時間内に上記処理制御ユニットが上記第２処理を指定しない場合、上記実行制御手段は、所定の上記第２処理を実行する構成としてもよい。

　上記の構成によれば、さらに、所定時間内に処理制御ユニットが第２処理を指定しない場合、所定の第２処理を実行することができる。

　よって、第１処理の実行後、第２処理が指定されなくても、処理実行ユニットは第２処理を実行することができる。

　本発明に係る情報処理装置は、上記処理制御ユニットと、上記処理実行ユニットとが有線接続されてなることを特徴としている。

　上記情報処理装置は、上記処理制御ユニットおよび上記処理実行ユニットと同様の効果を奏する。

　なお、上記処理制御ユニットおよび上記処理実行ユニットは、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記処理制御ユニットおよび上記処理実行ユニットをコンピュータにて実現させる上記表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

　最後に、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の各ブロック、特に、メイン側主制御部８１０、サブ側主制御部８３０、データ処理部７３０、表示／光センサ回路制御部６３０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

　すなわち、メイン表示装置２１０およびセンサ付きサブ表示装置２３０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるメイン表示装置２１０およびセンサ付きサブ表示装置２３０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、メイン表示装置２１０およびセンサ付きサブ表示装置２３０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ－Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

　また、メイン表示装置２１０およびセンサ付きサブ表示装置２３０を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

　本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求事項の範囲内で、いろいろと変更して実施することができるものである。

　本発明は、メイン装置（メイン表示装置）とサブ装置（センサ付きサブ表示装置）とを備えた情報処理装置に適用できる。特に、メインディスプレイとサブディスプレイとを備えたノートパソコンなどに好適に適用できる。

　１３　　　　　メイン側ブートローダー実行部（実行制御手段）
　１４　　　　　メイン側２次ブートローダー実行部
　１５　　　　　メイン側ＯＳ起動部
　１８　　　　　ＰＯＳＴコード保持部
　２１　　　　　サブ側ブートローダー実行部
　２２　　　　　サブ側２次ブートローダー実行部
　２３　　　　　サブ側ＯＳ起動部
　２４　　　　　ＰＯＳＴコード検査部（実行状況判定手段）
　２５　　　　　メイン側起動ＯＳ指定部（実行指定手段）
１３３　　　　　メイン側ＯＳ一覧送信部
２００　　　　　２画面表示装置（情報処理装置）
２１０　　　　　メイン表示装置（処理実行ユニット）
２３０　　　　　センサ付きサブ表示装置（処理制御ユニット）
２５１　　　　　メイン側ＯＳ一覧要求部（候補処理情報取得手段）
２５２　　　　　ユーザ提示処理部（候補処理選択手段）
Ｐ１１　　　　　メイン側ＢＩＯＳプログラム（第１処理）
Ｂ２１～Ｂ２３　メイン側２次ブートローダー（第２処理、候補処理）
Ｐ２１～Ｐ２３　メイン側ＯＳプログラム（第２処理、候補処理）

Claims

　第１処理を実行しながら、その実行状況を示す実行状況情報を生成し、かつ、上記第１処理の後、第２処理を実行する処理実行ユニットと通信可能であり、上記処理実行ユニットとは独立して動作可能な処理制御ユニットであって、
　上記生成された上記実行状況情報を上記処理実行ユニットから取得するとともに、当該取得した実行状況情報が所定値であるか否かを判定する実行状況判定手段と、
　上記実行状況判定手段が、上記取得した実行状況情報が上記所定値であると判定した場合、上記処理実行ユニットにおいて実行可能な複数の候補処理のいずれか１つを上記第２処理として実行するように、上記処理実行ユニットに対して指定する実行指定手段とを備えることを特徴とする処理制御ユニット。
　上記実行指定手段は、さらに、上記複数の候補処理のそれぞれを示す候補処理情報を、上記処理実行ユニットから取得する候補処理情報取得手段を備え、
　上記実行指定手段は、上記取得した候補処理情報のいずれか１つを指定する情報を、上記処理実行ユニットに送信することを特徴とする請求項１に記載の処理制御ユニット。
　上記実行指定手段は、さらに、上記候補処理情報取得手段が取得した候補処理情報をユーザに提示するともに、上記提示した候補処理情報のいずれか１つをユーザに選択させる候補処理選択手段を備え、
　上記実行指定手段は、上記選択させた上記候補処理情報を指定する情報を、上記処理実行ユニットに送信することを特徴とする請求項２に記載の処理制御ユニット。
　上記実行指定手段は、上記候補処理選択手段が上記提示した上記候補処理情報が、所定時間内に選択されない場合、所定の上記候補処理情報を指定する情報を、上記処理実行ユニットに送信することを特徴とする請求項３に記載の処理制御ユニット。
　上記処理実行ユニットは、ＢＩＯＳ（Basic Input Output System）を上記第１処理として実行した後、自ユニットにて実行可能な複数のオペレーティングシステムのいずれか１つを上記第２処理として実行するものであって、
　上記実行指定手段は、上記オペレーティングシステムのいずれか１つを上記第２処理として指定することを特徴とする請求項１から４のいずれか１項に記載の処理制御ユニット。
　第１処理を実行しながら、その実行状況を示す実行状況情報を生成し、かつ、上記第１処理の後、自ユニットにて実行可能な複数の候補処理のいずれか１つを第２処理として実行する、処理制御ユニットと通信可能な処理実行ユニットであって、
　上記実行状況情報を読み出し可能な処理制御ユニットから上記第２処理の実行の指定を受け付けるとともに、上記第１処理の後、当該指定された上記第２処理を実行する実行制御手段とを備えることを特徴とする処理実行ユニット。
　上記第１処理の実行後、所定時間内に上記処理制御ユニットから上記第２処理の指定を受け付けない場合、上記実行制御手段は、所定の上記第２処理を実行することを特徴とする請求項６に記載の処理実行ユニット。
　請求項１に記載の処理制御ユニットと、請求項６に記載の処理実行ユニットとが有線接続されてなる情報処理装置。
　第１処理を実行しながら、その実行状況を示す実行状況情報を生成し、かつ、上記第１処理の後、第２処理を実行する処理実行ユニットと通信可能であり、上記処理実行ユニットとは独立して動作可能な処理制御ユニットの制御方法であって、
　上記生成された上記実行状況情報を上記処理実行ユニットから取得するとともに、当該取得した実行状況情報が所定値であるか否かを判定する実行状況判定ステップと、
　上記実行状況判定ステップにて、上記取得した実行状況情報が上記所定値であると判定した場合、上記処理実行ユニットにおいて実行可能な複数の候補処理のいずれか１つを上記第２処理として実行するように、上記処理実行ユニットに対して指定する実行指定ステップとを含むことを特徴とする処理制御ユニットの制御方法。
　第１処理を実行しながら、その実行状況を示す実行状況情報を生成し、かつ、上記第１処理の後、自ユニットにて実行可能な複数の候補処理のいずれか１つを第２処理として実行する、処理制御ユニットと通信可能な処理実行ユニットの制御方法であって、
　上記実行状況情報を読み出し可能な処理制御ユニットから上記第２処理の実行の指定を受け付けるとともに、上記第１処理の後、当該指定された上記第２処理を実行する実行制御ステップとを含むことを特徴とする処理実行ユニットの制御方法。
　請求項１から５のいずれか１項に記載の処理制御ユニットとしてコンピュータを機能させるための制御プログラムであって、コンピュータを上記の各手段として機能させるための制御プログラム。
　請求項６または７に記載の処理実行ユニットとしてコンピュータを機能させるための制御プログラムであって、コンピュータを上記の各手段として機能させるための制御プログラム。
　請求項１１に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
　請求項１２に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。