JPH07261932A

JPH07261932A - センサ内蔵型液晶表示装置及びこれを用いた情報処理システム

Info

Publication number: JPH07261932A
Application number: JP4824494A
Authority: JP
Inventors: Soshiro Kuzunuki; 壮四郎葛貫; Masaaki Kitajima; 雅明北島; Yasuyuki Mishima; 康之三島; Masuyuki Ota; 益幸太田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-03-18
Filing date: 1994-03-18
Publication date: 1995-10-13

Abstract

(57)【要約】【目的】ペン操作と手の動作を検知でき、かつ、安価で
ポータビリティ性のある入力表示を有する液晶表示装置
及びシステムを提供するにある。【構成】すくなくとも一方が透明な一対の基板と、液晶
組成物層と、電極と、偏光部と、画素毎にアクティブ素
子と各画素に対応して、センサ素子を前記液晶のアクテ
ィブ素子と同一基板上に備えた液晶表示装置に、予め保
持されたスタイラスペンによる入力検出用及び手の動作
による入力検出用の２つのしきい値のうち、いずれか一
方を設定するしきい値設定部と、前記センサ素子の出力
と前記しきい値とを比較し２値化する比較部とを備え
た。【効果】ペン操作と手による操作の両方の機能が実現で
き、かつ安価に構成できる効果がある。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、表示装置に表示された
表示対象物を手やペンで操作する場合、その操作を検知
できる表示装置とそれを用いた情報処理システムに係
り、特にアクティブマトリックス型液晶表示装置に好適
な液晶表示装置及びそれを利用した情報処理システムに
関する。

【０００２】

【従来の技術】液晶の素子毎に対応して感光素子を実装
し、ライトペンの入力機能を付加したものとして、従来
（１）特開平2−211421号公報，（２）特開平4−222018
号公報がある。

【０００３】また、透明硝子の下側に光センサを置き、
指タッチを検出するものに（３）特開昭61−3232号公報
がある。

【０００４】

【発明が解決しようとする課題】上記従来例（１）
（２）は、ライトペンで座標指示を行うには好適だが、
手の形や指操作（手のジェスチャ操作）を入力すること
は配慮されていない。また、上記従来例（３）では、指
タッチを検出しその座標を検出するには好適だが、タッ
チした手の形を検出することまでは考慮されていない。

【０００５】本発明は、上記問題点に鑑みてなされたも
ので、目的とするところは、ペン入力（座標入力）と手
のジェスチャ入力ができ、かつ、安価でポータビリティ
性のある入力表示機能を有する液晶表示装置と、この液
晶表示装置を用いて表示対象物の操作を直感的に行うこ
とのできる情報処理システムを提供するにある。

【０００６】

【課題を解決するための手段】本発明は、すくなくとも
一方が透明な一対の基板と、この基板間に設けられた液
晶組成物層と、前記基板上に形成された電極と、偏光部
と、画素毎にアクティブ素子と各画素に対応して、セン
サ素子を前記液晶のアクティブ素子と同一基板上に備え
たセンサ内蔵型液晶表示装置に、予め保持されたスタイ
ラスペンによる入力検出用及び手の動作による入力検出
用の２つのしきい値のうち、いずれか一方を設定するし
きい値設定手段と、前記センサ素子の出力と前記しきい
値とを比較し２値化する比較手段とを備えたことに特徴
がある。

【０００７】また、更に、前記比較手段の結果を画像処
理して操作者の動作を認識する手段と、前記認識された
操作者の動作に対応して表示物に対する操作処理を行う
手段を設け、入力される情報に対応して処理を実行する
ように構成したことに特徴がある。

【０００８】

【作用】本発明によれば、液晶表示装置の一対の基板の
うちの一方の同一基板上に外光等を感知するセンサ素子
と液晶のアクティブ素子とを備え、センサ素子の出力と
しきい値設定手段で設定されたしきい値とが比較され２
値画像が得られる。例えば、ペン検出用しきい値が設定
されると、ペンの座標位置を得るための画像となり、一
方、手のジェスチャ検出用しきい値では、手の接触部分
を検知した画像が得られる。なお、各々のしきい値は、
予め使用環境において誤動作しないように選定してある
ものとする。

【０００９】そして、これらのセンス機能を持った液晶
表示装置を情報処理システムに用いると、操作者の動作
を認識する動作理解手段により、リアルタイムに比較手
段の結果を画像処理し、手の移動や指操作を理解した
り、ペンの座標を検知することができる。手や指の動作
が理解できると、認識された操作者の動作に対応して表
示物に対する操作処理を行う手段により、直接掴む感覚
で表示対象物を移動したり、ページめくり等の手による
ジェスチャ操作ができるようになる。また、ペンでは、
座標を検知できるため、ペン操作が出来る。

【００１０】このように、センサ素子の出力を複数の異
なるしきい値で比較することにより、手の動作とペン操
作をそれぞれ検知できるようになり、２つのセンサが不
要で安価にセンサ内蔵型液晶表示装置を構成することが
可能となる。

【００１１】

【実施例】以下、本発明の一実施例を、図１〜図２０を
用いて説明する。本発明の一実施例では、液晶表示装置
（ＬＣＤ）として、反射型カラーアクティブマトリック
ス液晶表示装置を、センサ素子として光センサ素子を対
象に説明する。従って、スタイラスペンはライトペンで
あることを前提とする。また、しきい値の切り換え時期
はスタイラスペンを操作したとき（ペンダウンＳＷが動
作時）のタイミングとする。さらに、センサ内蔵型ＬＣ
Ｄの応用例として、オフィスの机上を想定した情報処理
システムを対象に説明する。

【００１２】まず、最初に情報処理システムの全体概要
とその必要性を述べ、次に、センサ内蔵型ＬＣＤの具体
的な構造および動作を述べる。最後に、情報処理システ
ムの具体的な応用例を詳細に述べる。

【００１３】図１は、本発明の一実施例の情報処理シス
テムの全体構成を示したものである。１００は机全体の
筐体（電子机）で、水平に設置したセンサ内蔵型LCD101
と垂直に設置した前面ディスプレイ１０２が一体化され
ている。この２つのディスプレイは２０〜３０インチ程
度のサイズで書類等の文書(表示オブジェクト)１０３，
１０４が実サイズで表示することが出来る。センサ内蔵
型LCD101は手等の接触部分の検知とライトペン１０５の
座標位置を感知出来るようになっている。従って、セン
サ内蔵型LCD101を、表示対象物（オブジェクト）の手と
ペンによるハンドリングに利用し、もう、一方の前面デ
ィスプレイ１０２を、作業を中断し保留状態のものや組
織図や電話番号等掲示板代わりの情報表示に利用する。
なお、２００は操作者である。

【００１４】ブロック４００は機能を実現する処理装置
（コンピュータ）である。さて、センサ内蔵型LCD101か
らはカメラで取り込んだ動画像と同じように、逐次、画
像（２値）が出力される。この画像を画像取込５００に
より取り込み、動作理解６００により画像処理し、手の
移動や、回転，指の動きを判断したり、ペンの座標を判
断したりする。その結果はオブジェクトハンドリング処
理７００により処理し、表示されているオブジェクト
（文書等）の移動や回転、さらにページめくり等のハン
ドリング処理とペン入力処理を実施する。なお、オブジ
ェクトハンドリング処理７００の処理結果はセンサ内蔵
型LCD101にフェードバック表示される。

【００１５】以上、述べたように、本発明の情報処理シ
ステムでは、センサ内蔵型LCD101のセンサ機能により、
手の動きやペンの動きをモニタし、表示されているオブ
ジェクトをハンドリングすることにより、実際の紙の感
覚と同様な操作環境を提供している。

【００１６】次に、本発明の一実施例である情報処理シ
ステムのハードブロックを図２により説明する。

【００１７】センサ内蔵型LCD101への表示画像は処理装
置４００の画像入力／表示I/F 408から出力し、前面デ
ィスプレイ１０２への表示画像は、同様に表示I/F 409
から出力する。また、センサ内蔵型LCD101からの動画像
は画像入力／表示I/F 408 に取り込まれ、メモリ４０２
に格納される。メモリ４０２のデータはCPU401で処理さ
れ、その結果は画像入力／表示I/F 408 あるいは表示I/
F 409 により、それぞれ表示出力される。また、手等の
操作時には、疑似効果音を音声I/F 406 を介してスピー
カ４０７から出力する。ペン１０５はペンI/F 410 を介
して駆動される。このペン１０５は先端に発光素子ＬＥ
Ｄ等が埋め込まれており、ペンダウンＳＷ（図示無し）
が動作時、この発光素子が駆動されるようになってい
る。その他、CPU401には、通常のパーソナルコンピュー
タやワークステーションと同様にファイル４０３や通信
インタフェースLANI/F 404，FAXI/F 405が接続されてい
る。通信インタフェースLANI/F 404はネットワーク機能
を利用するためのもの、通信インタフェースFAXI/F 405
は電話回線を利用して、ファクシミリの通信を行うもの
である。

【００１８】図３は、ライトペン操作が無いときの手の
接触位置検出の概念を説明する図である。センサ内蔵型
LCD101は、前述のように、表示機能は勿論のこと、手の
接触位置検出機能がある。従って、図３（ａ）に示すよ
うに、表示物１０４と左手２００−１と右手２００−２
がある場合、図３（ｂ）２００−１−Ｓ，２００−２−
Ｓのように、手が接触している部分のみを検出できる。
すなわち、手が接触している部分の外部照明が各画素に
対応する光センサに入射しないため、影となる。この影
を取り込み処理することで、手の操作を理解することが
出来る。勿論、手以外の物体でも影ができるが、予め登
録していない影は無視するように動作する。一方、ライ
トペン操作時は、しきい値を切り換えて、自然光には感
知せず、ライトペンの光のみ感知するようになっている
（図示無し）。

【００１９】次に、本発明の一実施例の特徴である、セ
ンサ内蔵型LCD101と画像入力／表示I/F 408 の具体的な
ブロック構成を図４で説明する。図４の１０１はセンサ
内蔵型ＬＣＤで液晶基板ＳＵＢ１，ＳＵＢ２と垂直走査
回路ＶＳＣ、映像信号駆動回路ＩＳＣで構成される。一
方、画像入力／表示I/F 408 はCPU I/F 回路，タイミン
グ回路で構成される。液晶基板ＳＵＢ１はＴＦＴのある
基板（ドレイン及びゲートバスライン，ＴＦＴ等で構
成）、ＳＵＢ２は、これに対向する基板である。さて、
垂直走査は垂直走査回路ＶＳＣの垂直レジスタで駆動さ
れ、タイミングは画像入力／表示I/F 408 のタイミング
回路により与えられる。映像信号駆動回路ＩＳＣは画像
表示と画像入力の２つの機能ブロックに別れる。映像信
号駆動回路ＩＳＣの左側ブロックのデータレジスタ回
路，Ｄ／Ａ回路１は画像表示ブロック，右側ブロックの
シフトレジスタ回路，比較＆転送回路，Ｄ／Ａ回路２は
画像入力ブロックである。そして、２つのブロック切り
換えをタイミング回路の指令により行う。なお、モード
切り換えは、垂直表示帰線期間になると、表示処理を休
むため、この期間に画像入力モードとし、センサで検出
した画像を読みだす。全てのラインの画像の読みだしが
１垂直表示帰線期間中に終了しないときは、複数の垂直
表示帰線期間を掛けて読みだしてもよい。垂直表示帰線
期間はリフレッシュ時間（５０サイクル：２０ｍｓ）の
１０％とすると２ｍｓとなる。例えば、画像の読み出し
に１０ｍｓを必要とすると５回の垂直表示帰線期間を要
することになる。なお、水平表示帰線期間に画像読みだ
しを行ってもよい。

【００２０】さて、表示および画像入力のデータフロー
を次に説明する。まず、表示データはCPU I/F 内にある
表示用フレームメモリ（図示無し）を１ライン毎に読み
だし、データレジスタに与える。データレジスタのデー
タはＤ／Ａ回路１でデジタルからアナログデータに変換
され、切り換え器を介して液晶基板ＳＵＢ１のドレイン
バスラインに印加される。なお、フレームメモリの読み
だしを垂直レジスタを切り換えながら垂直走査本数だけ
行う。

【００２１】次に、垂直表示帰線期間のタイミングにな
ると、切り換え器を画像入力モード側に切り換え、液晶
基板にあるセンサの画像をやはりライン毎に読みだす。
比較＆転送回路では、Ｄ／Ａ回路２を介し与えられたし
きい値で比較し、その結果はシフトレジスタ回路に書き
込まれる。シフトレジスタ回路に書き込まれたデータ
は、ライン毎に画像取り込み用フレームメモリ（図示無
し）に書き込まれる。この動作を全ライン行うと１フレ
ームの２値動画像が得られる。なお、センサのセンス時
間を少なくするため、とびとびのラインを走査しても良
い。これは、指や手のひら等では液晶表示の分解能（３
本／mm）は不要であるからである。ここで、前述の表示
用フレームメモリと画像取り込み用フレームメモリは図
２に示したＣＰＵバス４１１を介して、ＣＰＵから随時
読みだし／書き込みができるように構成されている。

【００２２】反射型カラー液晶基板の詳細な構造を図５
を用いて説明する。光センサとしては、一般的にＣＣＤ
センサとＭＯＳセンサが多く用いられている。本発明の
一実施例では、ＭＯＳセンサをＬＣＤの各画素に対応し
て、設置した場合の例で示す。図５はＭＯＳセンサ内蔵
のＬＣＤの断面構造を示したものである。まず、パネル
の上基板は偏光膜ＰＯＬ２，ガラス基板ＳＵＢ２，透明
なコモン電極ＣＯＭ，配向膜ＯＲＩ２で構成される。次
に下基板は配向膜ＯＲＩ１，波長選択性反射体ＲＥＦ，
薄膜トランジスタ(ＴＦＴ)基板ＳＵＢ１で構成される。
波長選択性反射体ＲＥＦで赤，緑，青の波長を反射する
反射体をＲＥＦＲ，ＲＥＦＧ，ＲＥＦＢとする。そし
て、上下基板間には液晶組成物層ＬＣがある。なお、薄
膜トランジスタ（ＴＦＴ）基板ＳＵＢ１には表示用薄膜
トランジスタＴＦＴＰとセンサ用薄膜トランジスタＴＦ
ＴＳが各画素毎にある。薄膜トランジスタＴＦＴＰの詳
細構造は省略するが、ガラス基板上にゲート電極，ゲー
ト絶縁膜，アモルファスシリコン（ａ−Ｓｉ）層，ソー
ス／ドレイン電極で構成する。一方、薄膜トランジスタ
ＴＦＴＳはｐ型シリコン層に２つのｎ層を設け、このｎ
層間をオン／オフするゲート電極、フォトダイオード層
で構成する。図５のセンサ内蔵液晶基板は、反射型のた
め、下基板は不透明でよく、ガラス基板以外の不透明
な、例えば、シリコン層基板を用い、この基板上に薄膜
トランジスタ層を形成してもよい。

【００２３】さて、図５のＭＯＳ型センサ内蔵液晶基板
の動作概要を以下に説明する。まず、液晶表示は、コモ
ン電極ＣＯＭと対応する電極がオン（例では赤の電極TF
TP（Ｒ）がオン）すると、液晶組成物に電界FIELDVが加
わり、液晶分子が整列し、反射板ＲＥＦＲで赤の光ＲＥ
ＦＬ（Ｒ）を反射する。一方、オンしていない電極は反
射しないことになる。

【００２４】次に、光センサによる画像位置検出の原理
を説明する。図５のように人体の１部、例えば指ＦＩＮ
Ｇが液晶パネルの表面の緑や青の画素上にあると外光Ｉ
ＮＬは指で遮られるため、光センサの薄膜トランジスタ
ＴＦＴＳ(Ｇ)，ＴＦＴＳ(Ｂ)には光は到達しない。従っ
て、この画素の光センサはオフとなる。一方、指で遮ら
ない画素（例えば、ＴＦＴＳ（Ｒ））は光センサがオン
となる。以上のようにして、手の接触している面を求め
ることことが出来る。逆に、ライトペン操作時では、こ
の外光ＩＮＬには検知せず、かつ、ライトペンの光（外
光より光量を高くとる）のみ検知するようにしきい値を
切り換えることにより、対応する光センサのみがオンと
なる。この場合、ライトペンのサイズから複数の光セン
サがオンとなるため、必要に応じて重心位置を求め、ラ
イトペンの座標とする必要がある。

【００２５】次に、図６により、波長選択性反射体ＲＥ
Ｆの特性を具体的に述べる。反射体ＲＥＦＲ，ＲＥＦ
Ｇ，ＲＥＦＢは透明電極ＩＴＯ（インジウム−チン−オ
キサイド）と窒化シリコンの界面の反射光と透過光の干
渉を利用する。即ち、反射体ＲＥＦＲは５５０ｎｍ〜７
５０ｎｍの光（１／３）を選択的に反射し、それ以外の
光（２／３）を透過するように、前述のＩＴＯと窒化シ
リコンの膜厚を調節する。同様に、反射体ＲＥＦＧ，Ｒ
ＥＦＢは、それぞれ、４５０ｎｍ〜６５０ｎｍ，３５０
ｎｍ〜５５０ｎｍの膜厚とする。なお、各反射体はＩＴ
Ｏを用いているので電極として利用できる。

【００２６】図７は、ＭＯＳ型センサ内蔵型液晶基板の
１画素の等価回路を示したものである。図７において、
ＭＯＳ１，ＭＯＳ２はＭＯＳトランジスタ、Ｃは信号蓄
積キャパシタ、ＬＳは液晶素子、ＣＯＭはコモン電極、
ＦＤはフォトダイオードである。ＭＯＳ１トランジスタ
はドレイン電極Ｘｉとゲート電極Ｙｊに接続され、ゲー
ト電極がオンされると、ドレイン電極を介して信号電圧
が信号蓄積キャパシタＣにチャージされ、次の走査時ま
で保持され、液晶素子ＬＳに印加され続ける。一方、Ｍ
ＯＳ２トランジスタも同様にドレイン電極Ｘｉとゲート
電極Ｙｊに接続され、ゲート電極がオンされると、フォ
トダイオードＦＤの信号電荷がドレイン電極を介して、
読みだされることになる。このように、１つの画素内に
液晶素子とセンサ素子を内蔵し、信号線（ゲートバスラ
イン，ドレインバスライン）を共用することにより、安
価にＭＯＳ型センサ内蔵型液晶基板を構成することが出
来る。なお、光センサにＭＯＳ型センサを用いたが、こ
の代わりにＣＣＤセンサを利用してもよい。薄膜トラン
ジスタの構成がことなるのみで考え方は同じである。

【００２７】なお、前記した反射体ＲＥＦは、Ｒ，Ｇ，
Ｂの波長選択性を有するものでなく、例えば、Ｒのみ、
あるいはＲ，Ｇなど１種類〜２種類の波長選択性を有す
るものでも良い。更に、全く波長選択性を有しないもの
でも良い。この場合は、反射体の１部を除去し、この部
分に後述するセンサを設けると都合が良い。

【００２８】以上、ＭＯＳ型センサ内蔵型液晶基板の構
造と動作概要を述べたが、センサ内蔵型ＬＣＤの別なセ
ンサの実施例を図８〜図９でさらに述べる。

【００２９】図８は静電センサ内蔵型ＬＣＤの断面構造
例を示したものである。静電型センサは図５に示すよう
に、上基板に電極（コモン電極）があると、容量変化を
検出できないので、図８のように横電界方式の液晶構造
を利用する。図８において、上基板は偏光膜ＰＯＬ２，
ガラス基板ＳＵＢ２，赤（Ｒ），緑（Ｇ），青（Ｂ）の
カラーフィルタＦＩＬ，配向膜ＯＲＩ２で構成される。
一方、下基板は配向膜ＯＲＩ１，反射体ＲＥＦ付き薄膜
トランジスタ（ＴＦＴ）基板ＳＵＢ１で構成される。な
お、薄膜トランジスタ（ＴＦＴ）基板ＳＵＢ１には、各
画素ごとに対応してコモン電極ＣＯＭ（Ｒ，Ｇ，Ｂ），
液晶素子駆動用トランジスタと対応電極ＴＦＴＰ（Ｒ，
Ｇ，Ｂ），対応電極ＴＦＴＰの信号電圧の変化を読みだ
す薄膜トランジスタＴＦＴＳがある。そして、上下基板
間には液晶組成物層ＬＣがある。図８では反射体ＲＥＦ
を基板ＳＵＢ１と一体にしたが、基板ＳＵＢ１を透明材
料で構成し、バックライトで光を透過するようにすれ
ば、反射体ＲＥＦを省略しても良い。

【００３０】さて、動作概要を以下にのべる。ここで、
Ｒ，Ｇ，Ｂ各画素の内、Ｇ画素を例に説明する。他の画
素についても動作は同じである。コモン電極ＣＯＭと対
応電極ＴＦＴＰ間で横電界ＦＩＥＬＤＨを印加すると、
液晶組成物ＬＣの分子の向きが変わり、液晶表示を行う
ことが出来る。一方、指等の人体が上基板に接触すると
対応電極ＴＦＴＰ（Ｇ）は図８のように指で接地される
ため、電極に印加されている信号電圧が変化する。した
がって、この信号電圧の変化を薄膜トランジスタＴＦＴ
Ｓ（Ｇ）で読みだせば指位置を検出することが出来る。
指の接触面は画素サイズに対して大きいため、複数の画
素サイズが接地されることになる。したがって、指位置
検出は接触している面の座標を求めることになる。一
方、ペン入力のとき、特開平3−2949919号に開示されて
いるように、ペン先から静電パルスを発生し、そのパル
スをセンサＴＦＴＳで読みだすことで座標を検出でき
る。このペン入力の場合、ペンを持つ手のひらでセンサ
が誤動作しなく、かつ、ペン先から発生する静電パルス
に動作するように、しきい値を変化させる必要が生じ
る。

【００３１】図９は静電センサ内蔵型ＬＣＤの等価回路
である。液晶素子ＬＳを駆動する薄膜トランジスタはＭ
ＯＳｎ，静電センサ用薄膜トランジスタはＭＯＳｐと
し、前者をｎ型に、後者をｐ型のトランジスタとする。
ここで、コンデンサＣ′は人体の指等で接地されるとき
の容量である。液晶素子の駆動は図７の等価回路と同様
であるが薄膜トランジスタＭＯＳｎのソース電極の電圧
を読みだせるようにしているところが異なっている。す
なわち、ＭＯＳｎのソース電極の電圧はゲート電極Ｙｊ
をオンすることでＭＯＳｐがオンし、ドレイン電極Ｘｉ
を介して読みだされる。なお、読みだされる信号電圧は
コンデンサＣ，Ｃ′の比で決まる値となる。

【００３２】以上、静電センサ内蔵型ＬＣＤの構造と動
作原理を述べたが、この方式は光センサ内蔵型ＬＣＤに
比べ、液晶表示装置の上に書類等を置いてもこれを感知
しない利点がある。これに対し、光センサ方式では、書
類を表示装置の上に置くと光がセンスできず、影を検出
してしまう欠点がある。したがって、この方式の場合、
パターンマッチングを行い、手による操作でないと判断
する処理が必要になる。

【００３３】さて、次にセンサ内蔵型ＬＣＤを用いた情
報処理システムの具体的例を、オフィスでの文書操作を
例に、以下、説明する。なお、センサとしては、光セン
サ方式のものを利用して説明する。したがって、センサ
の出力画像は手の影の形か（手以外の影は無視すること
にする）あるいはライトペン領域が得られ、これを処理
して、手のジェスチャやペン座標を判断処理する。

【００３４】最初に、図１に示した動作理解処理６００
とオブジェクトハンドリング処理７００の動作説明を図
１０〜図１７により、まず行い、次にその処理フローの
説明を図１８〜図２０を用いて行う。

【００３５】本発明の一実施例の手のジェスチャ動作と
オブジェクトハンドリングの対応の基本的な考え方は、
以下の通りとする。

【００３６】（１）表示対象物（表示オブジェクトと同
意味）を片手で押さえたとき、表示オブジェクト全体の
レイアウトとファイル処理に対応させる。これは実際
に、机の上の文書を片手で行うことが多いことを考える
と自然な方法である。なお、レイアウト処理として、移
動，回転がある。また、ファイル処理では補助記憶装置
（補助メモリ）へのファイルと外部ネットワーク（ＬＡ
Ｎ，ＦＡＸ）へのファイルがある。

【００３７】（２）表示オブジェクトを両手で押さえた
とき、表示オブジェクトのページハンドリング（複数ペ
ージある場合）に対応させる。これは実際に、机上の文
書のページめくりやページばらしを両手で行うことが多
いことを考えると自然な方法である。なお、ページハン
ドリングとしては、ページめくり，ページの出し入れ，
ページばらし，ページ揃え、ならびにページ入れ換えが
ある。

【００３８】（３）手の動作として、（ａ）オブジェク
トの押さえ（ホールド）、（ｂ）オブジェクトのリリー
ス、（ｃ）押さえての移動、（ｄ）押さえての回転、
（ｅ）親指の振りの５つの動作を考える。ここで、
（ｃ）の押さえての移動は、オブジェクトの移動に対
応、（ｄ）の押さえての回転は、オブジェクト全体の回
転とページめくりの度合いに対応、（ｅ）の親指の振り
は、ページめくり動作に対応させる。

【００３９】上記考え方に基づき、具体的な動作例を、
以下に示す。図１０は表示対象物の移動／回転を説明す
る図である。図１０（ａ）は表示対象物１０４を左手２
００−１でホールドしている図である。ここで、表示対
象物１０４をホールドしたかどうかは表示対象物１０４
のエリアに手の画像２００−１があり、かつ、手の画像
のサイズが予め学習した手のサイズとほぼ等しいかどう
かで判断する。即ち、取り込んだ手の画像サイズが予め
学習した手のサイズとほぼ等しいとき、オブジェクトを
ホールドしたと判断し、これが小さいとき、オブジェク
トをリリースしたと判断する。これは、手が机上の接触
面から離れるに従いと外部の光が入射し、図３で述べた
影画像が小さくなることを利用している。もし、静電セ
ンサ方式を利用すると、出力画像の有無で、これは容易
に判断できる。

【００４０】図１０(ａ)において、右手２００−２は表
示対象物１０４をホールドしていないため、上記基本的
な考え方により、この動作は片手の操作と判断される。
従って、図１０(ｂ)はオブジェクト全体の移動(１０
４′−＞１０４)であり、図１０(ｃ)は手首の回転を検
出しているため、オブジェクト全体の回転（１０４′−
＞１０４）となる。

【００４１】図１１は、表示対象物のファイリングを説
明する図である。この図１１（ａ）においても、図１０
と同様に片手の操作と判断される。ここで、センサ内蔵
型LCD101には、ファイルＡとファイルＢの２つが予め表
示されており、さらに、ファイルＡは必要なページが開
かれているものとする。このファイル表示は、例えば、
前面のディスプレイ１０２の書庫ファイルから取りだ
し、このセンサ内蔵型LCD101に表示することで簡単に実
現出来る。

【００４２】さて、図１１（ｂ）のように表示オブジェ
クト１０４を押さえ、手を移動するとオブジェクト１０
４もそれにつれて移動（１０４′−＞１０４）する。し
かし、オブジェクト１０４の画像がファイルＡに重なる
とファイルＡがハイライティングし、ファイル動作の受
け付けアクションを表示する。ここで、オブジェクトの
リリースを行うとファイル動作が実行される。そして、
オブジェクト１０４は消えてなくなる。

【００４３】図１２は、表示対象物のＦＡＸ転送を説明
する図である。この図１２（ａ）においても、図１０と
同様に片手の操作と判断される。図１２（ａ）では、予
めＦＡＸ送受信ファイルがセンサ内蔵型LCD101に有り、
しかも、送り先が開かれているものとする。この例では
（株）Ａ社鈴木様がＦＡＸの送り先とシステムが判断
する。

【００４４】さて、図１１と同様にオブジェクトをＦＡ
Ｘ送受信ファイル１１２まで移動させると、ＦＡＸ送受
信ファイル１１２の画像がハイライティングし、受付可
能であることを操作者に知らせる。ここで、オブジェク
トをリリースすると、このオブジェクトが送信先に自動
的にダイヤリングし送信される。

【００４５】以上のように、オブジェクトのレイアウト
やファイル動作を直感的に行えることができるため、極
めて操作性が良くなる。

【００４６】次に、ページハンドリングの動作例を図１
３〜図１６により説明する。

【００４７】図１３は、ページめくりの動作説明図であ
る。この図のように、表示オブジェクトに対して、両手
でオブジェクトを押さえると、これをページハンドリン
グ動作と判断する。

【００４８】図１３（ａ）〜（ｄ）に示すように左手の
中指の方向Ｄ１〜Ｄ２，親指と人差し指の中間くぼみ点
座標Ｐ１〜Ｐ４により、めくり箇所とめくり量が変化す
る。図１３（ａ）（ｂ）では、方向Ｄ１〜Ｄ２が左上り
方向（北西方向）のため、ページ箇所は右上から左下の
方向になる。しかも、中間くぼみ点座標Ｐが下に来るほ
どめくり度合いが大きくなる。一方、図１３(ｃ)（ｄ）
では、方向Ｄ１〜Ｄ２が右上り方向（北東方向）のた
め、ページ箇所は右下から左上の方向となる。以上のよ
うに、方向Ｄと中間くぼみ点座標Ｐによりめくり箇所と
めくり量が自由に変更することが出来る。

【００４９】さらに、ページめくり方向（順方向／逆方
向）は、親指の振りで判断する。本発明の応用例では、
手でオブジェクトをホールドした後、親指を人差し指に
対し広げた状態が所定時間あったとき、以後親指の振り
は順方向とする。一方、親指と人差し指が合わせた状態
が所定時間あったとき、以後親指の振りは逆方向とす
る。即ち、方向を切り換えるときは、一旦、指振りを中
止して、親指が人差し指に対して開いた状態に所定時間
停れば順方向、閉じた状態であれば逆方向に切り替わ
る。めくりのスピードは指振りの振り速度に比例させ
る。

【００５０】図１３の例は左手でページめくり操作をし
ている例であるが、これを右手で行っても良い。どちら
の手で操作するかは押さえている手がオブジェクトにど
れだけかかっているかで判断する。

【００５１】ページめくりの別のやり方として、オブジ
ェクトを両手でホールドした時の場所（４隅）でページ
めくり箇所やめくり度合いを決めるやり方が考えられ
る。また、ページめくり方向も左手の指振りは順方向，
右手の指振りは逆方向のようにしてもよい。

【００５２】なお、ページめくりは手をリリース（オブ
ジェクトから手を離す）したとき、リセットされるもの
とする。

【００５３】次に、図１４で任意ページの出し入れの操
作方法を示す。ページの出し入れはページめくり途中で
目的とするページが見つかった場合に生ずる。従って、
図１４（ａ）のように、ページめくりの途中において、
めくり動作をやっていないもう一方の手を同図（ｂ）の
ように移動すると、そのページのみを抜き出す（ページ
出し）ものである。逆に、移動した手を戻せばページが
元の位置になる（ページ入れ）。

【００５４】図１５〜図１６はページバラシとページ集
めの動作方法を説明したものである。この動作はページ
めくりがされていない状態で、両手のうち、一方の手を
移動するとそれに連れてページがバラバラになる（図１
５（ａ)（ｂ)）。移動距離により、ページ間の距離が決
定される。即ち、移動距離が小さいとページ間の重なり
も大きい、一方、移動距離が大きいとページ間の重なり
が小さくバラバラになる。図１６はバラバラになったペ
ージ文書をかき集めている状態を示している。ページの
差し替えはページめくりの状態で入れ替えたいページ
を、一旦抜き出し、入れたいページまでめくり動作を行
い、その箇所にページ入れの動作を行うことによってで
きる。その他の方法として、ページバラシを行い、次
に、片手でページ間の並び移動を行うことによってもで
きる。

【００５５】次に、直感的なオブジェクト操作に加え、
表示対象物にペン（図１の１０５）で文字や図形を入力
したり、入力したものを編集する場合について、図１７
を用いて、以下、説明する。なお、ペン操作（ペンダウ
ン）が行われると、ペン入力用のしきい値に設定され、
手の影の検出からライトペンの検出に切り替わるように
なっている。

【００５６】図１７（ａ）は表示対象物を移動後（１０
４′−−＞１０４）、その表示対象物１０４にペン１０
５で文字を入力している状況を示している。既に“文字
入”は認識が終了し、清書表示されている。一方“力”
は座標を入力途中で筆跡表示のみが現われている。文字
切り出し（枠切り出しやタイムアウト切り出し等）が終
了すると、認識を開始して、そのコードに対応する文字
が表示される。

【００５７】次に、既に入力されている文字や図形を編
集する場合、図１７（ｂ）に示すように、まず、ペン１
０５を入力モードから編集モードに切り換える（切り換
え例：メニューで切り換える方法，編集対象物とストロ
ークの長さ情報により切り換える方法，ペン上にあるス
イッチで切り換える方法等）。そして、編集対象物、こ
こでは“文字入力”の文字列の上にＸ印のペンによる編
集ジェスチャを入力する。すると、この編集ジェスチャ
が認識され、文字列“文字入力”は、直ちに消去され
る。これは丁度、紙の上から赤ペンで校正する方法と同
様であり、マンマシン性が大幅に向上する効果がある。

【００５８】以上述べたように、オブジェクトハンドリ
ング動作は、実際の机上でやっているやり方とほぼ同様
な方法を取っている。このため、極めて直感的な操作と
なり、マンマシン性が大幅に向上する。

【００５９】次に、本発明の応用例の処理フローを、図
１８〜図２０を用いて、以下、順次、説明する。

【００６０】図１８は、画像取込処理のフローである。
まず、光センサの出力と比較するためのしきい値を設定
する。ステップ５１０でペン入力モード（ペンダウンＳ
Ｗで判断）かどうか判断し、もし、ペン入力モードであ
ればペン検出用のしきい値を設定（ステップ５２０）
し、そうでなければ、影検出用（手の影）のしきい値を
設定（ステップ５３０）する。このしきい値設定によ
り、以後とりこまれる画像が影検出用画像かペン検出用
画像かが決定される。図２ハードブロック図の画像入力
／表示I/F 408 には光センサからリアルタイムで取り込
む動画メモリ（図示無し）がある。従って、画像処理を
行うためには、この動画メモリの内容を一旦、処理装置
内のメモリ４０２取り込む必要がある。この処理が本フ
ローのステップ５４０〜５６０である。画像を取り込ん
でいるうちは（ステップ５５０）、動画メモリを書き換
えないように画像取り込み禁止（ステップ５４０）し、
取り込み終了後は画像取り込み許可（ステップ５６０）
を与える。

【００６１】図１９は、動作理解処理６００のフローで
ある。本処理は、手やペンの動作から判断し、処理モー
ドやパラメータを求めるものである。まず、ペン入力モ
ードかどうか判断（ステップ６１０）し、ペン入力モー
ドのとき、ペン処理モードに設定する（ステップ６６
０）。ペン入力モードでないとき、手による操作と判断
し、一旦画像を反転させ後、手の画像の輪郭を抽出する
（ステップ６１５）。これは、机上には手以外のものが
置かれていた場合に、これを除去する（手の形を認識
し、この形以外を除去））こと、手の位置，手の移動方
向や傾き等を検知することのためである。なお、輪郭抽
出は空間フィルタの微分操作を利用して行う。

【００６２】次に、手の位置（センサ内蔵型LCD101に対
する）が表示対象物の上に重なっているかどうか判断す
る（ステップ６２０）。もし重なっていなければ、オブ
ジェクトを離していると判断し、“オブジェクトリリー
ス”モードを設定する（ステップ６５５）。一方、重な
っていれば、オブジェクトを押さえていると判断し“オ
ブジェクトホールド”モードに設定する（ステップ６２
５）。

【００６３】“オブジェクトホールド”モードになって
いるとき、次に、両手ともが表示対象物の画像の上にあ
るかどうか判定する（ステップ６３０）。この判定で片
手のみのとき、“レイアウト／ファイル”モードに設定
し（ステップ６３５）、両手ともあるとき、“ページハ
ンドリング”モードに設定する（ステップ６４５）。
“レイアウト／ファイル”モードと判定されたら、オブ
ジェクトをホールドしている一方の手の各種パラメータ
を演算する（ステップ６４０）。パラメータとして、移
動後の座標ならびに手首の傾きを計算する。手首の傾き
は図１３で説明したように、中指の方向Ｄを見ることに
よって実現できる。

【００６４】一方、“ページハンドリング”モードと判
定されたら、オブジェクトをホールドしている両方の手
の各種パラメータを演算する（ステップ６５０）。前述
した片手のパラメータに付け加え、親指の振り状態を検
出する。親指の振り状態は親指の先端座標位置を検出
し、前回の座標位置との差で容易に判定出来る。

【００６５】次に、処理モード判定とパラメータ演算が
出来たことにより、このデータをもとに表示対象物のハ
ンドリング処理を行う。図２０はこの処理フローを示し
たものである。最初に、処理モードを判定し、“レイア
ウト／ファイル”，“ページハンドリング”，“リリー
ス”，“ペン処理”のいずれかを判定する（ステップ７
０５）。

【００６６】“レイアウト／ファイル”モードのとき、
まず、レイアウト処理を行う（ステップ７１０）。そし
て、オブジェクトの移動先がファイルオブジェクトの座
標位置に重なったとき、ファイル処理を行う（ステップ
７１５，７２０）。

【００６７】レイアウト処理は、手の移動先座標と傾き
データを下に、ホールドされたオブジェクトの移動また
は回転表示をする。なお、回転表示のとき、文字や図形
等の内容そのもの全体を回転表示し、あたかも紙を傾け
たと同じように表示する。オブジェクトの傾き表示は最
近プリンタで使用されているポストスクリプト言語を利
用することにより容易に実現できる。レイアウト処理で
表示オブジェクトの移動や回転操作を行ったとき、机と
紙の間で発生するような摩擦音を疑似発生させる。これ
により臨場感を出すことが出来る。

【００６８】ファイル処理はファイル表示オブジェクト
の属性が補助メモリか外部への通信（ＦＡＸ等）かによ
り、ファイルのデバイスが異なる。即ち、補助メモリの
とき、図２のファイル４０３と交信し、外部への通信で
はＦＡＸではFAXI/F 405，ＬＡＮではLANI/F 404と交信
する。

【００６９】ステップ７０５の判定において、“ページ
ハンドリング”モードのとき、まず、ページめくりかど
うか判定する（ステップ７２５）。なお、ページめくり
動作中かどうかは親指の振りが有るかどうかで判定でき
る。もし、ページめくりであれば、“ページめくり／ペ
ージ出し入れ”処理を行う(ステップ７３０)。ページめ
くりでなければ、“ページバラシ／ページ集め”処理を
行う(ステップ７３５)。“ページバラシ／ページ集め”
処理では図１５〜図１６のように、一方の手の移動座標
ともう一方の手の固定座標との関係からページバラシか
ページ集めかを処理する。ページめくりのとき、レイア
ウト処理と同様にめくり音(パラパラ等)を疑似発生させ
る。

【００７０】次に、ステップ７０５の判定で、“リリー
ス”モードのとき、“リリース”処理される（ステップ
７４０）。“リリース”処理７４０は、表示対象物から
手を離した場合の処理で、その例としてレイアウト処理
中にリリースする場合、ページハンドリング中に一方の
手をリリースして、その手でペン入力する場合等が考え
られる。

【００７１】最後に、“ペン処理”モードのとき、図１
７に述べたようなペン入力処理が行われる。ペン入力処
理は、従来からペンコンピュータで行われている処理の
ため、説明を割愛する。

【００７２】以上、本発明の一実施例を説明したが、以
下に、効果を述べる。

【００７３】まず、第１の効果として、液晶素子毎に光
センサを内蔵した表示装置とし、かつ、光センサの出力
をライトペン検出かあるいは物体の影検出のいずれかを
検出できるようなしきい値設定できるように構成したこ
とで、ペン操作と手のジェスチャ操作の両方機能が実現
できる効果がある。

【００７４】第２の効果として、しきい値の設定変更を
ライトペンのペンダウンＳＷで行っているため、メニュ
ー指示や他のＳＷ指示が不要で、自然にペン操作かある
いは手のジェスチャ操作かの切り換えができる効果があ
る。

【００７５】第３の効果として、センサ用薄膜トランジ
スタを液晶表示用薄膜トランジスタと同一基板に構成し
ているため、安価に構成できる。また、アクテイブマト
リック型液晶表示装置のゲートバスライン，ドレインバ
スラインは表示用，センサ用とも共用しているため、セ
ンサ内蔵型ＬＣＤ装置を安価に構成できる。

【００７６】第４の効果として、反射型カラー液晶表示
としたことで、薄膜トランジスタを構成する基板を不透
明とすることができ、薄型，軽量化できるとともに省電
力効果がある。

【００７７】第５の効果として、センサが液晶表示装置
内に内蔵されているため、カメラのように監視されるこ
とによる精神的な圧迫感がない利点がある。また、カメ
ラを固定したり、照明を気にする必要性がなく、かつ、
どこにでも持ち運べるポータビリテイ性の効果がある。

【００７８】第６の効果として、センサ内蔵型ＬＣＤを
情報処理システムに応用すると、表示装置上に表示され
た表示対象物を手で掴む感覚で直接操作することが出来
る。したがって、あたかも、実際の紙を操作しているが
ごとくのマンマシンインタフェースとすることが出来
る。

【００７９】次に、本発明の他の実施例を以下にのべ
る。

【００８０】本発明の一実施例では静電センサ内蔵型液
晶表示装置を反射型カラー液晶方式で説明したが、これ
を、透過型カラー液晶装置としても良い。更に、本発明
の一実施例では、液晶表示素子毎にセンサを内蔵した
が、これを、１つ置きにしたり、１ライン毎にするなど
して、センサ用薄膜トランジスタを間引いても良い。こ
のようにすることにより、安価に構成できる。また、本
発明の一実施例では、光センサとしてＭＯＳ型センサを
利用したが、これを、ＣＣＤ型センサとしても良い。光
センサを利用した液晶表示装置では、液晶の上基板への
光源照射とセンサまでの焦点距離を考えたレンズを利用
して、簡単なモノクロスキャナの代わりとすることが出
来る。液晶表示の分解能が現在３本／mmのため、簡単な
イラストや、メモ程度ならスキャナ代わりとすることが
出来る。

【００８１】さらに、本発明の一実施例の情報処理シス
テムとして、オフィスの環境で述べたが、手や物で操作
する他の応用例として、銀行のキャッシュカードシステ
ム，ゲーム，車のナビゲーションシステム等、表示と操
作が伴う情報処理システムのマンマシンインタフェース
として、広く応用することができる。

【００８２】さらに、本発明の一実施例ではしきい値変
更をペンダウンＳＷで実施したが、これを画面上にペン
操作と手のジェスチャ操作を切り換えるメニューやアイ
コンを表示し、これを指示してもよい。

【００８３】

【発明の効果】本発明によれば、液晶素子毎に光センサ
を内蔵した表示装置とし、かつ、センサの出力を複数の
しきい値を設定できるように構成したことで、ペン操作
と手のジェスチャ操作の両方の機能が実現でき、かつ、
安価な装置を実現できる効果がある。また、このセンサ
内蔵型液晶装置を利用した情報処理システムでは、従来
のペン操作に加え、さらに、表示対象物を手で掴む感覚
で操作でき、マンマシン性を飛躍的に向上させることが
出来る。

【図面の簡単な説明】

【図１】情報処理システムのシステム構成図。

【図２】情報処理システムのハードブロック構成図。

【図３】情報処理システムの操作説明とセンサの必要性
を説明する図。

【図４】センサ内蔵型液晶表示装置とインタフェースの
ブロック構成図。

【図５】光センサ内蔵型液晶表示装置の断面構造図。

【図６】光センサ内蔵型液晶表示装置の反射板の反射特
性図。

【図７】光センサ内蔵型液晶表示装置の等価回路図。

【図８】静電センサ内蔵型液晶表示装置の断面構造図。

【図９】静電センサ内蔵型液晶表示装置の等価回路図。

【図１０】情報処理システムの操作説明図。

【図１１】情報処理システムの操作説明図。

【図１２】情報処理システムの操作説明図。

【図１３】情報処理システムの操作説明図。

【図１４】情報処理システムの操作説明図。

【図１５】情報処理システムの操作説明図。

【図１６】情報処理システムの操作説明図。

【図１７】情報処理システムの操作説明図。

【図１８】情報処理システムの画像取込処理フロー。

【図１９】情報処理システムの手の動作理解処理フロ
ー。

【図２０】情報処理システムのオブジェクトハンドリン
グ処理フロー。

【符号の説明】

１００…電子机、１０１…センサ内蔵型ＬＣＤ、１０２
…前面ディスプレイ、１０３，１０４…表示オブジェク
ト、１０５…ライトペン、２００…操作者、４００…処
理装置、５００…画像取込部、６００…動作理解部、７
００…オブジェクトハンドリング処理部、４０８…画像
入力／表示Ｉ／Ｆ、ＩＳＣ…映像信号駆動回路、ＶＳＣ
…垂直走査回路、ＰＯＬ２…偏光膜、ＳＵＢ１，ＳＵＢ
２…上基板，下基板、ＦＩＬ…カラーフィルタ、ＣＯＭ
…コモン電極、ＯＲＩ１，ORI2…上下配向膜、ＬＣ…液
晶組成物、ＲＥＦ…波長選択性反射体、ＴＦＴＰ…表示
用薄膜トランジスタ、ＴＦＴＳ…センサ用薄膜トランジ
スタ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０９Ｇ 3/36 (72)発明者太田益幸茨城県日立市大みか町七丁目１番１号株式会社日立製作所日立研究所内

Claims

【特許請求の範囲】

【請求項１】すくなくとも一方が透明な一対の基板と、
当該基板間に設けられた液晶組成物層と、前記基板上に
形成された電極と、偏光部と、画素毎にアクティブ素子
と各画素に対応して、センサ素子を前記液晶のアクティ
ブ素子と同一基板上に備えたセンサ内蔵型液晶表示装置
であって、第１の入力部からの入力を検出するための第
１のしきい値と、第２の入力部からの入力を検出するた
めの第２のしきい値を予め保持し、前記第１及び第２の
しきい値のうちいずれか一方を設定するしきい値設定手
段と、前記センサ素子の出力と前記設定されたしきい値
とを比較し２値化する比較手段とを備えたことを特徴と
するセンサ内蔵型液晶表示装置。
【請求項２】請求項１において、前記第１の入力部から
入力される情報は、スタイラスペンにより入力される情
報であり、且つ、前記第２の入力部から入力される情報
は、操作者の手の動作により入力される情報であること
を特徴とするセンサ内蔵型液晶表示装置。
【請求項３】すくなくとも一方が透明な一対の基板と、
当該基板間に設けられた液晶組成物層と、前記基板上に
形成された電極と、偏光部と、画素毎にアクティブ素子
と各画素に対応して、センサ素子を前記液晶のアクティ
ブ素子と同一基板上に備えたセンサ内蔵型液晶表示装置
であって、予め保持されたスタイラスペンによる入力検
出用及び手の動作による入力検出用の２つのしきい値の
うち、いずれか一方を設定するしきい値設定手段と、前
記センサ素子の出力と前記設定されたしきい値とを比較
し２値化する比較手段とを備えたことを特徴とするセン
サ内蔵型液晶表示装置。
【請求項４】請求項３において、前記しきい値設定手段
は、前記スタイラスペンがダウンされた場合、前記ペン
による入力検出用のしきい値を設定し、前記ペンがアッ
プされた場合、前記手の動作による入力検出用のしきい
値を設定することを特徴とするセンサ内蔵型液晶表示装
置。
【請求項５】請求項３又は４において、所定の波長を反
射し、入射光の少なくとも１部の波長を透過する反射体
を設け、前記センサ素子は、反射体の透過光を検出する
光センサ素子であること特徴とするセンサ内蔵型液晶表
示装置。
【請求項６】請求項５において、前記センサ素子は、Ｍ
ＯＳ型光素子又はＣＣＤ型光素子であること特徴とする
センサ内蔵型液晶表示装置。
【請求項７】請求項１又は３において、前記液晶のアク
ティブ素子を駆動していない垂直帰線期間に前記センサ
素子を駆動し信号の有無を検出することを特徴とするセ
ンサ内蔵型液晶表示装置。
【請求項８】すくなくとも一方が透明な一対の基板と、
当該基板間に設けられた液晶組成物層と、前記基板上に
形成された電極と、偏光部と、画素毎にアクティブ素子
と各画素に対応して、センサ素子を前記液晶のアクティ
ブ素子と同一基板上に備えたセンサ内蔵型液晶表示装置
と、前記表示装置に対し情報を入力する入力部を有する
情報処理システムであって、予め保持されたスタイラス
ペンによる入力検出用及び手の動作による入力検出用の
２つのしきい値のうち、いずれか一方を設定するしきい
値設定手段と、前記センサ素子の出力と前記しきい値と
を比較し２値化する比較手段と、前記比較手段の結果を
画像処理して操作者の動作を認識する手段と、前記認識
された操作者の動作に対応して表示物に対する操作処理
を行う手段とで構成されたことを特徴とする情報処理シ
ステム。