本発明に係るデータ表示/センサ装置(画像表示装置)の一実施形態について図面を参照しながら以下に説明する。
(データ表示/センサ装置の外観)
図9(a)〜図9(c)は、データ表示/センサ装置100の外観を示す斜視図である。これらの図に示すように、データ表示/センサ装置100は、上部筐体(第1筐体)40、下部筐体(第2筐体)41を備えている。
上部筐体40の1つの面と下部筐体41の1つの面とは互いに接しており、この接続面を介して両者が接続されている。そして、上部筐体40と下部筐体41とは、両者の接続面に平行な方向に互いに相対移動するスライド機構を備えている。本実施形態では、このスライド機構は、第1の方向、および、該第1の方向に垂直な第2の方向への相対移動が可能な構造となっている。
図9(a)は、上部筐体40と下部筐体41とが完全に重なっている配置状態を示しており、図9(b)は、上部筐体40と下部筐体41とが上記第1の方向で相対移動してずれている配置状態を示しており、図9(c)は、上部筐体40と下部筐体41とが上記第2の方向で相対移動してずれている配置状態を示している。
このようなスライド機構を実現する構成としては、例えば、上部筐体40における上記接続面、または、下部筐体41における上記接続面にT字状もしくは+字状のレールを設けておき、下部筐体41における上記接続面、または、上部筐体40における上記接続面に設けられた突起構造が上記レールに沿って移動するような構成が考えられる。なお、スライド機構の構成としては、特にこのような構成に限定されるものではなく、上部筐体40と下部筐体41との相対移動ができる構造であればどのようなものであってもよい。また、上記第1の方向と第2の方向とがなす角度が90度以外であってもよい。さらに、上部筐体40と下部筐体41との相対移動の方向も、上記のような2方向ではなく、より多くの方向への相対移動が可能となっていてもよい。
また、上部筐体40は、第1表示/光センサ部(第1表示部・第1入力検知部)300Aを備えており、下部筐体41は、第2表示/光センサ部(第2表示部・第2入力検知部)300Bを備えている。第1表示/光センサ部300Aは、上部筐体40における上記接続面の反対側となる面に設けられている。また、第2表示/光センサ部300Bは、下部筐体41における上記接続面に設けられている。すなわち、第1表示/光センサ部300Aは、上部筐体40と下部筐体41との配置状態によらず、外部に全て露出されている一方、第2表示/光センサ部300Bは、下部筐体41を上部筐体40に対してずらした配置状態とした場合に、ずれ量に応じて露出することになる。
(センサ内蔵液晶パネルの概要)
上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング(タッチ)した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
図2を参照しながら、センサ内蔵液晶パネル301の構造について説明する。図2は、センサ内蔵液晶パネル301の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル301は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
図示のとおり、センサ内蔵液晶パネル301は、背面側に配置されるアクティブマトリクス基板51Aと、表面側に配置される対向基板51Bとを備え、これら基板の間に液晶層52を挟持した構造を有している。アクティブマトリクス基板51Aには、画素電極56、データ信号線57、光センサ回路32(図示せず)、配向膜58、偏光板59などが設けられる。対向基板51Bには、カラーフィルタ53r(赤)、53g(緑)、53b(青)、遮光膜54、対向電極55、配向膜58、偏光板59などが設けられる。また、センサ内蔵液晶パネル301の背面には、バックライト307が設けられている。
なお、光センサ回路32に含まれるフォトダイオード6は、青のカラーフィルタ53bを設けた画素電極56の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ53rを設けた画素電極56の近傍に設けてもよいし、緑のカラーフィルタ53gを設けた画素電極56の近傍に設けてもよい。
次に、図3(a)および図3(b)を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル301上をタッチした位置を検出する2種類の方法について説明する。
図3(a)は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト307から光63が出射されると、フォトダイオード6を含む光センサ回路32は、指などの対象物64により反射された光63を検知する。これにより、対象物64の反射像を検知することができる。このように、センサ内蔵液晶パネル301は、反射像を検知することにより、タッチした位置を検出することができる。
また、図3(b)は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)に示すように、フォトダイオード6を含む光センサ回路32は、対向基板51Bなどを透過した外光61を検知する。しかしながら、ペンなどの対象物62がある場合は、外光61の入射が妨げられるので、光センサ回路32が検知する光量が減る。これにより、対象物62の影像を検知することができる。このように、センサ内蔵液晶パネル301は、影像を検知することにより、タッチした位置を検出することもできる。
上述のように、フォトダイオード6は、バックライト307より出射された光の反射光(影像)を検知してもよいし、外光による影像を検知してもよい。また、上記2種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
(データ表示/センサ装置の要部構成)
次に、図4を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図4は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。ここでは、データ表示/センサ装置100は、表示/光センサ部300を2つ(第1表示/光センサ部300Aおよび第2表示/光センサ部300B)備えているものとして説明する。なお、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bを区別しないときは、表示/光センサ部300と表記する。
表示/光センサ部300は、いわゆる光センサ内蔵液晶表示装置である。表示/光センサ部300は、センサ内蔵液晶パネル301、バックライト307、それらを駆動するための周辺回路309を含んで構成される。
センサ内蔵液晶パネル301は、マトリクス状に配置された複数の画素回路31および光センサ回路32を含んで構成される。センサ内蔵液晶パネル301の詳細な構成については後述する。
周辺回路309は、液晶パネル駆動回路304、光センサ駆動回路305、信号変換回路306、バックライト駆動回路308を含む。
液晶パネル駆動回路304は、回路制御部600の表示制御部601からのタイミング制御信号(TC1)およびデータ信号(D)に従って、制御信号(G)およびデータ信号(S)を出力し、画素回路31を駆動する回路である。画素回路31の駆動方法の詳細については後述する。
光センサ駆動回路305は、回路制御部600のセンサ制御部602からのタイミング制御信号(TC2)に従って、信号線(R)に電圧を印加し、光センサ回路32を駆動する回路である。光センサ回路32の駆動方法の詳細については後述する。
信号変換回路306は、光センサ回路32から出力されるセンサ出力信号(SS)をデジタル信号(DS)に変換し、該変換後の信号をセンサ制御部602に送信する回路である。
バックライト307は、複数の白色LED(Light Emitting Diode)を含んでおり、センサ内蔵液晶パネル301の背面に配置される。そして、バックライト駆動回路308から電源電圧が印加されると、バックライト307は点灯し、センサ内蔵液晶パネル301に光を照射する。なお、バックライト307は、白色LEDに限らず、他の色のLEDを含んでいてもよい。また、バックライト307は、LEDに代えて、例えば、冷陰極管(CCFL:Cold Cathode Fluorescent Lamp)を含むものであってもよい。
バックライト駆動回路308は、回路制御部600のバックライト制御部603からの制御信号(BK)がハイレベルであるときは、バックライト307に電源電圧を印加し、逆に、バックライト制御部603からの制御信号がローレベルであるときは、バックライト307に電源電圧を印加しない。
次に、回路制御部600について説明する。回路制御部600は、表示/光センサ部300の周辺回路309を制御するデバイスドライバとしての機能を備えるものである。回路制御部600は、表示制御部601、センサ制御部602、バックライト制御部603、および表示データ記憶部604を備えている。
表示制御部601は、データ処理部700の表示データ処理部701から表示データを受信するとともに、表示データ処理部701からの指示に従って、表示/光センサ部300の液晶パネル駆動回路304に、タイミング制御信号(TC1)およびデータ信号(D)を送信し、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。
なお、表示制御部601は、表示データ処理部701から受信した表示データを、表示データ記憶部604に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号(D)を生成する。表示データ記憶部604は、例えば、VRAM(video random access memory)などである。
センサ制御部602は、データ処理部700のセンサデータ処理部703からの指示に従って、表示/光センサ部300の光センサ駆動回路305に、タイミング制御信号(TC2)を送信し、センサ内蔵液晶パネル301にてスキャンを実行させる。
また、センサ制御部602は、信号変換回路306からデジタル信号(DS)を受信する。そして、センサ内蔵液晶パネル301に含まれる全ての光センサ回路32から出力されたセンサ出力信号(SS)に対応するデジタル信号(DS)に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル301の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部703に送信する。
バックライト制御部603は、表示データ処理部701およびセンサデータ処理部703からの指示に従って、表示/光センサ部300のバックライト駆動回路308に制御信号(BK)を送信し、バックライト307を駆動させる。
なお、データ表示/センサ装置100が、複数の表示/光センサ部300を備える場合、表示制御部601は、データ処理部700から、どの表示/光センサ部300にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示/光センサ部300の液晶パネル駆動回路304を制御する。また、センサ制御部602は、データ処理部700から、どの表示/光センサ部300にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示/光センサ部300の光センサ駆動回路305を制御するとともに、当該指示に応じた表示/光センサ部300の信号変換回路306からデジタル信号(DS)を受信する。
次に、データ処理部700について説明する。データ処理部700は、主制御部800から受信する「コマンド」に基づいて、回路制御部600に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
データ処理部700は、表示データ処理部701およびセンサデータ処理部703を備えている。そして、データ処理部700が、主制御部800からコマンドを受信すると、該受信したコマンドに含まれる各フィールド(後述する)の値に応じて、表示データ処理部701およびセンサデータ処理部703の少なくとも一方が動作する。
表示データ処理部701は、主制御部800から表示データを受信するとともに、データ処理部700が受信したコマンドに従って、表示制御部601およびバックライト制御部603に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。なお、コマンドに応じた、表示データ処理部701の動作については、後述する。
センサデータ処理部703は、データ処理部700が受信したコマンドに従って、センサ制御部602およびバックライト制御部603に指示を与える。
また、センサデータ処理部703は、センサ制御部602から画像データを受信し、当該画像データをそのまま画像データバッファ704に格納する。そして、センサデータ処理部703は、データ処理部700が受信したコマンドに従って、画像データバッファ704に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ(部分画像の座標データを含む)」、および「座標データ」の少なくともいずれか1つを、主制御部800に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部703の動作については、後述する。
次に、主制御部800は、オペレーションシステム(OS)の処理、各種アプリケーションの処理、および、入力アプリケーションの処理を実行するものである。主制御部800は、記憶部901に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部902に読み出して実行する。この主制御部800の構成および処理の詳細については後述する。
主制御部800で実行されるプログラムは、センサ内蔵液晶パネル301に表示データを表示させたり、センサ内蔵液晶パネル301にて対象物のスキャンを行わせるために、データ処理部700に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか1つを、データ処理部700から受信する。
なお、回路制御部600、データ処理部700、および主制御部800は、それぞれ、CPU(Central Processing Unit)およびメモリ等で構成することができる。また、データ処理部700は、ASIC(application specific integrate circuit)などの回路で構成されていてもよい。
次に、記憶部901は、図示のように、主制御部800が実行するプログラムおよびデータを格納するものである。なお、主制御部800が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
次に、操作部903は、データ表示/センサ装置100のユーザの入力操作を受けつけるものである。操作部903は、本実施形態では、例えばスイッチなどによって構成される。上記スイッチの例としては、上部筐体40と下部筐体41との接続面近傍に設けられ、上部筐体40と下部筐体41とが完全に重なった状態であるか、ずれた状態であるかを検出するスライド部スイッチ904、電源のオンとオフとを切り替える電源スイッチ905、および、予め所定の機能が割り当てられているユーザスイッチ906などのハードウェアスイッチなどが挙げられる。なお、詳細は後述するが、上部筐体40と下部筐体41とのスライド状態は、センサデータ処理部703による出力結果に基づいて主制御部800が判定することが可能であるので、上記のスライド部スイッチ904を設けない構成としてもよい。
その他操作部903としては、例えば、リモコン、マウス、キーボードなどの入力デバイスが含まれていても良い。そして、操作部903は、データ表示/センサ装置100のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部800へ送信する。
その他、データ表示/センサ装置100は、無線/有線通信によって外部装置と通信を行うための外部通信部907、音声を出力するためのスピーカ等の音声出力部908、音声信号を入力するためのマイク等の音声入力部909などを適宜備えていてもよい。
(コマンドの詳細)
次に、図5および図6を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図5は、コマンドのフレーム構造の一例を模式的に示す図である。また、図6は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
図5に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図6に示す値が指定可能である。
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
次に、「データ取得タイミング」フィールドは、データを主制御部800へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”(センス)、“01”(イベント)、および“10”(オール)という値が指定可能である。
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部800に送信する。
また、“イベント”は、センサ制御部602から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部602から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部800に送信する。
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部800に送信する。なお、上記所定周期は、光センサ回路32にてスキャンを行う周期と一致する。
次に、「データ種別」フィールドは、センサデータ処理部703から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”(座標)、“010”(部分画像)、および“100”(全体画像)という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”/“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
センサデータ処理部703は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ704に記憶している画像データそのものを主制御部800に送信する。画像データバッファ704に記憶している画像データそのものを、「全体画像データ」と称する。
また、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部602から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部800に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出されたそれぞれの部分画像データを主制御部800に送信する。
さらに、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
次に、センサデータ処理部703は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部800に送信する(多点検出)。
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト307を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”(反射)、“01”(透過)、および“10”(反射/透過)という値が指定可能である。
“反射”は、バックライト307を点灯した状態でスキャンを行うこと指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路305とバックライト駆動回路308とが同期して動作するように、センサ制御部602とバックライト制御部603とに指示を与える。
また、“透過”は、バックライト307を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路305を動作させ、バックライト駆動回路308と動作させないようにセンサ制御部602とバックライト制御部603とに指示を与える。なお、“反射/透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”(2値)、および“01”(多値)という値が指定可能である。
ここで、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“2値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部800に送信する。
また、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部800に送信する。
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”(高)および“1”(低)という値が指定可能である。
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部800に送信する。例えば、画像認識などの画像処理を行う対象の画像データ(指紋などの画像データ)には、“高”を指定することが望ましい。
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部800に送信する。例えば、タッチした位置等が分かる程度でよい画像データ(タッチした指や手の画像データなど)には、“低”を指定することが望ましい。
次に、「スキャンパネル」フィールドは、どの表示/光センサ部300にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
ここで、センサデータ処理部703は、「スキャンパネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aの光センサ駆動回路305およびバックライト駆動回路308を制御するように、センサ制御部602およびバックライト制御部603に指示を与える。
次に、「表示パネル」フィールドは、どの表示/光センサ部300にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
ここで、表示データ処理部701は、例えば、「表示パネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aに表示データを表示させるために、第1表示/光センサ部300Aの液晶パネル駆動回路304およびバックライト駆動回路308を制御するように、表示制御部601およびバックライト制御部603に指示を与える。
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
なお、主制御部800にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値(NULL値など)を設定しておけばよい。
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部700に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる(多点検出)。
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部700に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
(全体画像データ/部分画像データ/座標データ)
次に、図7を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図7(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、図7(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。
ユーザが指でセンサ内蔵液晶パネル301をタッチしたとき、当該タッチした近傍の光センサ回路32が受光する光量が変化するため、当該光センサ回路32が出力する電圧に変化が生じ、その結果として、センサ制御部602が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
図7(b)に示す画像データでは、図7(a)に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図7(b)に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域(領域PP)が、“部分画像データ”である。
なお、領域APで示される画像データが、“全体画像データ”である。
また、部分画像データ(領域PP)の代表座標Zの、全体画像データ(領域AP)における座標データは(Xa,Ya)であり、部分画像データ(領域PP)における座標データは(Xp,Yp)である。
(センサ内蔵液晶パネルの構成)
次に、図8を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図8は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
センサ内蔵液晶パネル301は、光透過率(輝度)を設定するための画素回路31、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路32を備えている。なお、画素回路31は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するR画素回路31r、G画素回路31g、B画素回路31bを総称して用いる。
画素回路31は、センサ内蔵液晶パネル301上の列方向(縦方向)にm個、行方向(横方向)に3n個配置される。そして、R画素回路31r、G画素回路31g、およびB画素回路31bの組が、行方向(横方向)に連続して配置される。この組が1つの画素を形成する。
画素回路31の光透過率を設定するには、まず、画素回路31に含まれるTFT(Thin Film Transistor)33のゲート端子に接続される走査信号線Giにハイレベル電圧(TFT33をオン状態にする電圧)を印加する。その後、R画素回路31rのTFT33のソース端子に接続されているデータ信号線SRjに、所定の電圧を印加する。同様に、G画素回路31gおよびB画素回路31bについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル301上に画像が表示される。
次に、光センサ回路32は、一画素毎に配置される。なお、R画素回路31r、G画素回路31g、およびB画素回路31bのそれぞれの近傍に1つずつ配置されてもよい。
光センサ回路32にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ35の一方の電極に接続されているセンサ読み出し線RWiと、フォトダイオード36のアノード端子に接続されているセンサリセット線RSiとに所定の電圧を印加する。この状態において、フォトダイオード36に光が入射されると、入射した光量に応じた電流がフォトダイオード36に流れる。そして、当該電流に応じて、コンデンサ35の他方の電極とフォトダイオード36のカソード端子との接続点(以下、接続ノードV)の電圧が低下する。そして、センサプリアンプ37のドレイン端子に接続される電圧印加線SDjに電源電圧VDDを印加すると、接続ノードVの電圧は増幅され、センサプリアンプ37のソース端子からセンシングデータ出力線SPjに出力される。そして、当該出力された電圧に基づいて、光センサ回路32が受光した光量を算出することができる。
次に、センサ内蔵液晶パネル301の周辺回路である、液晶パネル駆動回路304、光センサ駆動回路305、およびセンサ出力アンプ44について説明する。
液晶パネル駆動回路304は、画素回路31を駆動するための回路であり、走査信号線駆動回路3041およびデータ信号線駆動回路3042を含んでいる。
走査信号線駆動回路3041は、表示制御部601から受信したタイミング制御信号TC1に基づいて、1ライン時間毎に、走査信号線G1〜Gmの中から1本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
データ信号線駆動回路3042は、表示制御部601から受信した表示データD(DR、DG、およびDB)に基づいて、1ライン時間毎に、1行分の表示データに対応する所定の電圧を、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnに印加する(線順次方式)。なお、データ信号線駆動回路3042は、点順次方式で駆動するものであってもよい。
光センサ駆動回路305は、光センサ回路32を駆動するための回路である。光センサ駆動回路305は、センサ制御部602から受信したタイミング制御信号TC2に基づいて、センサ読み出し信号線RW1〜RWmの中から、1ライン時間毎に1本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号TC2に基づいて、センサリセット信号線RS1〜RSmの中から、1ライン時間毎に1本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
センシングデータ出力信号線SP1〜SPnはp個(pは1以上n以下の整数)のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ47を介して、センサ出力アンプ44に接続される。センサ出力アンプ44は、スイッチ47により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号SS(SS1〜SSp)として、信号変換回路306へ出力する。
(主制御部の構成)
次に、データ表示/センサ装置100が備える主制御部800の機能構成について図1を参照しながら詳細に説明する。同図に示すように、主制御部800は、OS(Operation System)部810、アプリケーション処理部820、入力アプリケーション部830、および、スライド状態検出部(スライド状態検出手段)840を備えた構成となっている。
OS部810は、主制御部800のシステム管理と、基本的なユーザー操作環境を提供する機能を実行するものである。より具体的には、OS部810は、メモリ管理、入出力管理、およびタスク管理などの基本管理処理、および、GUI(Graphical User Interface)や各種ユーティリティの提供処理などを行う。このOS部810には、画面表示制御部(画面表示制御手段)811および入力制御部812が設けられている。
画面表示制御部811は、表示/光センサ部300における表示内容を統括的に制御するブロックである。表示内容の制御としては、表示すべき情報の選択、表示すべき画像の選択、および各情報の表示の配置設定、サイズ設定などが挙げられる。より具体的には、画面表示制御部811は、後述するスライド状態検出部840から、上部筐体40と下部筐体41とのスライド状態を示す情報を受信し、これに基づいて、後述する入力アプリケーション部830によって表示されるキーボード画像の表示領域、および、実行中のアプリケーションの表示領域を決定する。そして、画面表示制御部811は、上記の表示領域の決定に従って、後述するアプリケーション表示制御部821およびキー表示制御部831と連携して、各種アプリケーションの表示状態、およびキーボード画像の表示状態を制御する。この画面表示制御部811による画面表示制御結果に応じた表示データおよびコマンドが、データ処理部700における表示データ処理部701に送信される。
入力制御部812は、ユーザからの各種入力操作を受け付けて、その入力操作内容に応じた処理を実行する制御を行う。ユーザからの入力操作としては、操作部903によって受け付けられた入力操作、および、後述する入力アプリケーション部830によって受け付けられた入力操作が挙げられる。入力制御部812は、これらの入力操作に応じた入力指示情報を、OS部810、入力アプリケーション部830、およびアプリケーション処理部820に対して送信する。
なお、OS部810は、記憶部901に記憶されているOSプログラム912が呼び出されて実行されることによって実現される。また、画面表示制御部811は、記憶部901に記憶されているOS部画像データ911に基づいて、OSの処理に関わる画像の表示制御を実行する。
アプリケーション処理部820は、各種アプリケーションプログラムを実行するブロックである。アプリケーションプログラムの一例としては、メール送受信アプリケーション、インターネットのブラウザアプリケーション、文書作成アプリケーション、計算機アプリケーション、および電話機能アプリケーションなどが挙げられる。すなわち、アプリケーション処理部820は、実際には、主制御部800にインストールされているアプリケーションの種類に応じて1以上設けられていることになる。このアプリケーション処理部820には、アプリケーション表示制御部821が設けられている。
アプリケーション表示制御部821は、アプリケーション処理部820において実行されている処理に応じた表示を制御する処理を行う。具体的には、アプリケーション表示制御部821は、画面表示制御部811から、実行しているアプリケーションに与えられた表示領域(アプリケーション表示領域)を示す情報を取得し、該アプリケーション表示領域内で該アプリケーションの表示を行うように制御を行い、この表示制御に関する情報を画面表示制御部811に送信する。
なお、アプリケーション処理部820は、記憶部901に記憶されているアプリケーションプログラム914が呼び出されて実行されることによって実現される。また、アプリケーション表示制御部821は、記憶部901に記憶されているアプリケーション画像データ913に基づいて、アプリケーションの処理に関わる画像の表示制御を実行する。なお、アプリケーション画像データ913は、アプリケーション特有の画像データに加え、OSが提供するAPI(Application Program Interface)の形式の画像データを含んでいてもよい。
入力アプリケーション部830は、表示/光センサ部300にキーボード画像を表示させるとともに、該キーボード画像に対して、ユーザが指やペンなどでポインティング(タッチ)した位置の検出結果に基づいて入力情報を取得する処理を行う。すなわち、入力アプリケーション部830は、いわゆるソフトウェアキーボードに相当する機能を提供するブロックである。この入力アプリケーション部830には、キー表示制御部831およびキー入力制御部832が設けられている。
キー表示制御部831は、入力アプリケーション部830によるキーボード画像の表示を制御する処理を行う。具体的には、キー表示制御部831は、画面表示制御部811から、キーボード画像の表示に与えられた表示領域(キーボード表示領域)に関する情報を取得し、該キーボード表示領域内でキーボード画像の表示を行うように制御を行い、この表示制御に関する情報を画面表示制御部811に送信する。
キー入力制御部832は、データ処理部700におけるセンサデータ処理部703からのセンシング結果に基づいて、どのキーに対してタッチが行われたかを判定し、その判定結果を入力情報として入力制御部812に送信する処理を行う。
なお、入力アプリケーション部830は、記憶部901に記憶されている入力アプリケーションプログラム916が呼び出されて実行されることによって実現される。また、キー表示制御部831は、記憶部901に記憶されている入力アプリケーション画像データ915に基づいて、入力アプリケーションの処理に関わる画像の表示制御を実行する。なお、入力アプリケーション画像データ915は、入力アプリケーション特有の画像データに加え、OSが提供するAPI(Application Program Interface)の形式の画像データを含んでいてもよい。
スライド状態検出部840は、データ処理部700におけるセンサデータ処理部703からのセンシング結果に基づいて、上部筐体40と下部筐体41とのスライド状態を判定する。そして、この判定結果を、スライド状態を示す情報として画面表示制御部811に送信する。
(表示制御処理の流れ)
次に、主制御部800による表示制御処理の流れについて、図10に示すフローチャートを参照しながら説明する。
まず、ステップ1(以降、S1のように称する)において、スライド状態検出部840が、上部筐体40と下部筐体41とのスライド状態検出結果に基づいて、スライド方向を検出する。また、S2において、同じくスライド状態検出部840が、上部筐体40と下部筐体41とのスライド状態検出結果に基づいて、スライド量を検出する。このスライド方向およびスライド量の検出の詳細について説明する。
まず、スライド状態検出部840は、センサデータ処理部703から定期的にセンシング結果としての画像データを取得する。ここで取得される画像データは、第2表示/光センサ部300Bにおける「全体画像」とし、「低い解像度のスキャンデータ」とする。ここで、例えば上部筐体40と下部筐体41とが第1の方向でスライドしていたとすると、第2表示/光センサ部300Bにおける「全体画像」としての画像データは、第1の方向に垂直な方向の直線を境界として、画素値の明度が異なる2つの領域が存在することになる。また逆に、上部筐体40と下部筐体41とが第2の方向でスライドしていたとすると、第2表示/光センサ部300Bにおける「全体画像」としての画像データは、第2の方向に垂直な方向の直線を境界として、画素値の明度が異なる2つの領域が存在することになる。
すなわち、スライド状態検出部840は、取得した第2表示/光センサ部300Bにおける「全体画像」としての画像データを解析し、第1の方向に垂直な方向の直線を境界として、画素値の明度が異なる2つの領域が存在することを検出した場合に、上部筐体40と下部筐体41とが第1の方向でスライドしていると判定し、第2の方向に垂直な方向の直線を境界として、画素値の明度が異なる2つの領域が存在することを検出した場合に、上部筐体40と下部筐体41とが第2の方向でスライドしていると判定することになる。
ここで、例えば第2表示/光センサ部300Bの領域において、第1の方向または第2の方向と同じ方向の直線を端部とする何らかの物体が存在した場合、その位置に上部筐体40のスライド方向の端部が存在していると誤判定する可能性が考えられる。この誤判定を抑制するために、次のような判定をさらに行っても良い。すなわち、第1の方向または第2の方向に垂直な方向の直線を境界として、画素値の明度が異なる2つの領域が存在することを検出した場合に、上部筐体40の陰になっている領域と判定される領域の明度が、所定の範囲の値である場合に、その位置に上部筐体40のスライド方向の端部が存在していると判定する。これは、上記のように何らかの物体が存在する場合と、上部筐体40の陰になっている場合とでは、その領域の明度は互いに異なっていることが予想されるからである。
また、上記のように、第1の方向または第2の方向に垂直な方向の直線を境界として、画素値の明度が異なる2つの領域が存在することを検出した場合に、スライド状態検出部840は、上記の直線の位置に上部筐体40のスライド方向の端部が存在すると判定し、これに基づいてスライド量を特定する。
次にS3において、画面表示制御部811が、その時点において、入力アプリケーション部830によるキーボード画像の表示が必要であるか否かを判定する。この判定は、その時点で実行されており、かつアクティブになっているアプリケーションが、ソフトウェアキーボードによる入力を必要とするものであるか否かに基づいて行われる。すなわち、画面表示制御部811が、アプリケーション処理部820から、ソフトウェアキーボードによる入力を必要とするものであるか否かの情報を取得し、キーボード画像の表示が必要であるか否かを判定する。
S3においてNO、すなわち、入力アプリケーション部830によるキーボード画像の表示が不要であると判定された場合、後述するS7からの処理に移行する。一方、S3においてYES、すなわち、入力アプリケーション部830によるキーボード画像の表示が必要であると判定された場合、S4において、キー表示制御部831が、表示するキーボードのタイプ(表示キータイプ)を決定する。
詳しく説明すると、キー表示制御部831は、画面表示制御部811から、上部筐体40と下部筐体41とのスライド方向に関する情報を取得し、このスライド方向に応じて表示すべきキーボードのタイプを決定する。例えば、スライド方向としての第1の方向が、上部筐体40および下部筐体41の長手方向に垂直な方向であるとすると、第1の方向にスライドしている場合には、図12(a)および(b)に示すように、QWERTYタイプのキーボードが選択され、第2の方向にスライドしている場合には、図13(a)および(b)に示すように、テンキータイプのキーボードが選択される。
S4において、表示キータイプが設定されると、S5において、画面表示制御部811が、キーボード画像を表示する領域であるキーボード表示領域を設定する。詳しく説明すると、画面表示制御部811は、S4において選択された表示キータイプと、その時点で実行されており、かつアクティブになっているアプリケーションの種類と、S2において検出されたスライド量との少なくともいずれか1つに基づいて、キーボード表示領域の大きさおよび位置を設定する。
キーボード表示領域が設定されると、S6において、画面表示制御部811がキーボード画像の表示処理(キー表示処理)を行う。具体的には、画面表示制御部811は、キー表示制御部831からキーボード画像の表示制御に関わる情報を取得し、設定されたキーボード表示領域におけるキーボード画像の表示を制御する。ここで、画面表示制御部831は、キーボード表示領域の大きさに応じて、第2表示/光センサ部300Bのみに対してキーボード画像の表示制御を行うか、さらに第1表示/光センサ部300Aに対してもキーボード画像の表示制御を行うかを決定する。この制御結果が、表示データ処理部701に送信される。
なお、キー表示制御部831が、キーボード表示領域の大きさに応じて、表示すべきキーボード画像の内容を変更する制御を行うようになっていてもよい。キーボード画像の内容を変更する制御としては、例えば、各キーの大きさを変更する制御、および、表示するキーの種類を変更する制御などが挙げられる。
具体的には、キー表示制御部831は、画面表示制御部811からキーボード表示領域の大きさおよび位置に関する情報を取得する。そして、キー表示制御部831は、取得したキーボード表示領域の情報に基づいて、表示するキーボード画像を選択する。例えば、キーボード表示領域の大きさが大きい場合には、キーボードにおける各キーの大きさを大きめにする、表示するキーの種類を多くするなどの制御をする一方、キーボード表示領域の大きさが小さい場合には、キーボードにおける各キーの大きさを小さめにする、表示するキーの種類を少なくするなどの制御が考えられる。
そして、S7において、アプリケーション表示領域に対して、画面表示制御部811が、その時点で実行されており、かつアクティブとなっているアプリケーションの画像を表示する制御を行う。具体的には、画面表示制御部811は、アプリケーション表示制御部821からアプリケーションの画像の表示制御に関わる情報を取得し、設定されたアプリケーション表示領域におけるアプリケーションの画像の表示を制御する。ここで、画面表示制御部831は、アプリケーション表示領域の大きさに応じて、第1表示/光センサ部300Aのみに対してアプリケーションの画像の表示制御を行うか、さらに第2表示/光センサ部300Bに対してもアプリケーションの画像の表示制御を行うかを決定する。この制御結果が、表示データ処理部701に送信される。
例えば図12(a)および(b)に示す例では、スライド方向が上部筐体40および下部筐体41の長手方向に垂直な方向であり、QWERTYタイプのキーボードが選択されている。また、別の例として、図13(a)および(b)に示す例では、スライド方向が上部筐体40および下部筐体41の長手方向に平行な方向であり、テンキータイプのキーボードが選択されている。また、実行されているアプリケーションとして、メールアプリケーションが選択されている。
そして、図12(a)または図13(a)に示す例では、スライド量が比較的大きくなっている。よって、キーボード表示領域は、第2表示/光センサ部300Bの外部露出領域全域に相当するA1の領域に設定されている。また、アプリケーション表示領域は、第1表示/光センサ部300Aの全域に相当するA2の領域に設定されている。
一方、図12(b)または図13(b)に示す例では、スライド量が比較的小さくなっている。よって、キーボード表示領域は、第2表示/光センサ部300Bの外部露出領域全域に加えて、第1表示/光センサ部300Aにおける、第2表示/光センサ部300Bに隣接する部分領域までのA1の領域に設定されている。また、アプリケーション表示領域は、第1表示/光センサ部300Aの領域のうち、キーボード表示領域に割り当てられた領域以外の部分に設定されている。
また、図11(a)および(b)に示す例では、キーボード画像の表示が行われていない状態を示している。この場合、アプリケーション表示領域は、第1表示/光センサ部300Aの全域、および、第2表示/光センサ部300Bの外部露出領域の全域となる。よって、スライド量に応じて、アプリケーション表示領域の大きさが変化することになる。
例えば、図11(a)に示す例では、アプリケーション表示領域内に所定の画像が示されているが、この所定の画像は、第2表示/光センサ部300Bの領域にのみ表示されている。一方、図11(b)に示す例では、図11(a)に示す例と比較して、スライド量が小さい、すなわち、第2表示/光センサ部300Bの外部露出領域が狭くなっている。この場合、上記の所定の画像は、第2表示/光センサ部300Bと、第1表示/光センサ部300Aとの両方にまたがった状態で表示されている。
その後、S8において、電源がOFFされたか否かが判定され、電源がOFFされるまで上記の処理が繰り返される。
(その他の構成例)
上記の例では、上部筐体40と下部筐体41とのスライド状態の検出は、第2表示/光センサ部300Bにおけるセンシング結果に基づいて行われている。しかしながら、この例に限定されるものではなく、上記スライド状態の検出を行うことができる構成であればどのような構成であってもよい。
このような構成としては、例えば、上部筐体40と下部筐体41とのスライド状態を機械的な構成で検出するものが挙げられる。より具体的には、上部筐体40と下部筐体41との接続面またはその近傍に、スライド状態に応じて配置位置が変化する構造物が1以上設けられ、この構造物の配置状態の変化に応じてスライド状態を検出する構成が考えられる。また、上部筐体40と下部筐体41との接続面に、表示/光センサ部300とは別に、フォトダイオードなどの光センサを1以上設け、この光センサの検出結果に基づいてスライド状態を検出する構成なども考えられる。
このような構成の場合、ユーザが指やペンなどでポインティング(タッチ)した位置の検出を、上記のような光センサではなく、その他のタッチパネル、例えば透明電極を用いた圧力検出型や、赤外線センサを用いた光学式非接触型などのタッチパネルで実現してもよい。
しかしながら、上記の例のように、上部筐体40と下部筐体41とのスライド状態の検出が、第2表示/光センサ部300Bにおけるセンシング結果に基づいて行われることにより、スライド状態の検出のための構成を別途設ける必要をなくすことができる。すなわち、上記の例によれば、構成の簡素化および装置コストの低減を実現できる。
(プログラムおよび記録媒体)
最後に、データ表示/センサ装置100に含まれている回路制御部600、データ処理部700、および主制御部800は、ハードウェアロジックによって構成すればよい。または、次のように、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
すなわち、回路制御部600、データ処理部700および主制御部800は、各機能を実現するプログラムの命令を実行するMPUなどのCPU、このプログラムを格納したROM(Read Only Memory)、上記プログラムを実行可能な形式に展開するRAM(Random Access Memory)、および、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)を備えている。
そして、本発明の目的は、回路制御部600、データ処理部700および主制御部800のプログラムメモリに固定的に担持されている場合に限らず、上記プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、または、ソースプログラム)を記録した記録媒体をデータ表示/センサ装置100に供給し、データ表示/センサ装置100が上記記録媒体に記録されている上記プログラムコードを読み出して実行することによっても、達成可能である。
上記記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などとすることができる。
また、回路制御部600、データ処理部700および主制御部800(またはデータ表示/センサ装置100)を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して回路制御部600、データ処理部700および主制御部800に供給する。この通信ネットワークは回路制御部600、データ処理部700および主制御部800にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等であればよい。
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばIEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
以上、本発明を実施形態に基づいて具体的に説明したが、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。