JP4480289B2 - 表示制御装置 - Google Patents
表示制御装置 Download PDFInfo
- Publication number
- JP4480289B2 JP4480289B2 JP2001075296A JP2001075296A JP4480289B2 JP 4480289 B2 JP4480289 B2 JP 4480289B2 JP 2001075296 A JP2001075296 A JP 2001075296A JP 2001075296 A JP2001075296 A JP 2001075296A JP 4480289 B2 JP4480289 B2 JP 4480289B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- display
- line
- drawing data
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- Drawing Aids And Blackboards (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、文字や描画線等の描画データをカラー表示装置に表示させる表示制御装置に関する。
【０００２】
【従来の技術】
電子黒板システムに代表される情報入出力システムにおいては、従来から、カラーパレットを表示装置に表示して、筆記色および背景色を選択できるにようになっている。この場合、例えば描画する線種として３種類の線種を線種選択メニューに登録することができるようなシステムにおいては、その筆記色はユーザが線の色の設定操作を行わない限り、第１の線は背景色に対する補色（色相環の反対側の色であり、混ぜるとグレーになる色）、第２の線は赤色、第３の線は青色である。なお、第１の線は背景色に対する補色を自動的に設定するが、背景色が緑色の場合には、その補色である赤紫色を線の色にすると、この色の組合せがビジネスの場に合わず不快感を与える可能性があることを考慮して、線の色を白色としている。
【０００３】
ところで、近年、プレゼンテーション等を行う場合に、プロジェクターや大画面ディスプレイを備えた情報入出力システム等を使用する機会が多くなってきている。このような表示画面が大画面である場合には、文字や線等のグラフィックは、多くの人にとって見易いことが望まれる。
【０００４】
ところが、情報入出力システム等で用いるプレゼンテーション用資料を作成するＰＣ等の文書作成装置においては、強調したい文字や線等のグラフィックの色はユーザが判断して設定するようにしているが、このグラフィックの設定色とその表示画面の背景色との組合せによっては、強調したい部分がそれ以外の部分に対して必ずしも強調して見えない場合があった。
【０００５】
特に、プロジェクターのように大画面に投影して表示するタイプでは、投影光量が十分でない場合にはこの現象が顕著になる。このように投影して表示するタイプでこの現象が顕著になるのは、例えば、背景が青色で通常の文字色が白色の場合、強調したい文字を赤色にすると、文書作成装置に接続されたディスプレイの表示では強調して見ることができても、これをプロジェクターを介して大画面に投影して表示した場合には、投影光量が十分でない場合には表示される各色の明度が低下し、赤色と青色との色の違いが小さく見える。すなわち、強調する意図で赤色に設定した文字が、プロジェクターを介して投影表示されると逆に見づらくなってしまうという不具合が生じるからである。
【０００６】
そこで、このような不具合を解消すべく、特開平１１−３２７７８９号公報に記載されているカラー表示装置および電子黒板システムにおいては、文字（フォント）の色および筆記描画色と、それらの背景色とが類似している場合には、文字（フォント）の色および筆記描画色を変化させる方法が開示されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、特開平１１−３２７７８９号公報において開示された技術によれば、文字（フォント）の色および筆記描画色が１色である場合には、背景色に対する補色を設定することで対応できるが、文字（フォント）の色および筆記描画色が複数の場合には対応することができないという問題がある。
【０００８】
また、カーソルを表示画面に表示させる際に、その色が背景色やそのカーソルの周りに表示されている文字や筆記描画線の色と類似している場合には、カーソルが目立たずにカーソルを視認しづらいといった問題もある。
【０００９】
さらに、特開平１１−３２７７８９号公報に記載されているカラー表示装置および電子黒板システムにおける色の選択は、表示装置（大画面ディスプレイ）が設置される背後や周囲、あるいはプロジェクターで投影される領域の周囲の色とは無関係に行われていたため、表示される色と表示装置が設置される背後や周囲、あるいはプロジェクターで投影される領域の周囲の色との組合せによっては、その色合いがよくない場合がある。
【００１０】
さらにまた、文字（フォント）や筆記描画線の背景が単色ではなく、複数色から成る絵柄や静止画像、さらに動画像である場合があるが、このような場合には、特開平１１−３２７７８９号公報に記載されているカラー表示装置および電子黒板システムでは、背景色の出現頻度の平均に基づいて評価したカラー評価値に対応した筆記描画色を選定する方法を示している。しかしながら、様々な色が混ざり合った静止画像や、各色の出現頻度が時間とともに変化する動画像が背景の場合には、目立つ文字（フォント）の色および筆記描画色を選定することが困難な場合がある。
【００１１】
加えてに、文字（フォント）や筆記描画線が細いと、これらの文字や筆記描画線が非常に見づらいといった問題もある。
【００１２】
本発明の目的は、カラー表示装置に表示された文字や描画線等の描画データが見づらいといった不具合を防止することである。
【００１３】
本発明の目的は、ユーザが文字や描画線等の描画データの色を設定する作業負担を軽減させ、装置の利便性を向上させることである。
【００１４】
本発明の目的は、カーソルが見づらいといった不具合を防止することである。
【００１５】
【課題を解決するための手段】
請求項１記載の発明は、文字や描画線等の描画データをカラー表示装置に表示させる表示制御装置において、前記カラー表示装置が設置された環境に応じた環境色を登録する環境色登録手段とを備え、前記環境色登録手段にて登録された前記環境色に基づき、１つまたは複数種類の前記描画データの表示色と前記表示領域の背景色とを設定することを特徴とする。
【００１６】
請求項２記載の発明は、請求項１記載の表示制御装置において、前記描画データを表示する表示領域の背景色に基づき、１つまたは複数種類の前記描画データの表示色を設定する表示色第一設定手段をさらに備えることを特徴とする。
【００１７】
請求項３記載の発明は、請求項１または２記載の表示制御装置において、複数種類の前記描画データの中に特に視覚的に強調させることが必要な前記描画データがある場合、その強調が必要な描画データが他の描画データよりも強調して見えるように各描画データの表示色を調整することを特徴とする。
【００１８】
請求項４記載の発明は、請求項１〜３のいずれか一つに記載の表示制御装置において、前記表示領域の背景色に対する前記描画データの表示色の組合せ候補色を複数用意するとともに、各組合せ候補色に対して視覚的に好ましい順序に順位付けを行い、前記順位に従った優先度で前記組合せ候補色の中から一の前記組合せ候補色を前記描画データの表示色として選択させる表示色選択手段をさらに備えることを特徴とする。
【００１９】
請求項５記載の発明は、請求項１〜４のいずれか一つに記載の表示制御装置において、前記描画データの表示色及び前記描画データを表示する表示領域の背景色に基づき、カーソルの表示色を設定するカーソル表示色設定手段をさらに備えることを特徴とする。
【００２０】
請求項６記載の発明は、請求項１〜５のいずれか一つに記載の表示制御装置において、前記環境色に対する前記描画データの表示色及び前記表示領域の背景色の組合せを複数用意し、前記組合せの中から一の前記組合せを選択させる組合せ選択手段をさらに備えることを特徴とする。
【００２１】
請求項７記載の発明は、請求項１〜６のいずれか一つに記載の表示制御装置において、前記描画データを表示する領域の背景画像の空間周波数分布を調べ、その背景画像に高い空間周波数成分が多いか否かを判断する背景画像判断手段と、前記背景画像判断手段により高い空間周波数成分が多い画像であると判断した場合、前記描画データを表示する領域の背景画像の各画素の輝度値の平均が所定の値よりも大きいか否かを判断する輝度値判断手段と、前記輝度値判断手段により平均輝度値が所定の値よりも大きいと判断した場合には前記描画データの表示色を黒とし、平均輝度値が所定の値よりも小さいと判断した場合には前記描画データの表示色を白とする表示色第二設定手段と、をさらに備えることを特徴とする。
【００２２】
請求項８記載の発明は、請求項７に記載の表示制御装置において、前記背景画像判断手段により高い空間周波数成分が少ない画像であると判断した場合、前記描画データを表示する領域の背景画像の各画素中で最も多い色に基づき、前記描画データの表示色を設定する表示色第三設定手段をさらに備えることを特徴とする。
【００２８】
【発明の実施の形態】
本発明の第一の実施の形態を図１ないし図１９に基づいて説明する。なお、本実施の形態は、情報入出力システムとして、カラー表示装置として大画面のＰＤＰ（Plasma Display Panel）を使用し、そのディスプレイ面の右上部と左上部にそれぞれ電子カメラを取り付けて、各電子カメラから入力された画像情報に基づいてディスプレイ面に接触する物体の接触位置座標を求める電子黒板システムを適用した例である。
【００２９】
本実施の形態の情報入出力システム１００のシステム構成図を図１に示す。この情報入出力システム１００は、情報入出力装置１と表示制御装置（以下、制御装置という）２とから構成されており、情報入出力装置１は２個の電子カメラ１０，１１とカラー表示装置１２、さらに２個のスピーカー１３，１４を具備している。
【００３０】
電子カメラ１０および電子カメラ１１は、カラー表示装置１２に高画素タイプのＸＧＡ(1024×768画素)で表示された場合にも、メニュー選択や筆記動作等が支障なく実行される程度に高画素で画像信号の出力フレームレートが大きく、また光電変換された信号を画素単位に独立して出力することができる２次元撮像素子を具備している。この２次元撮像素子としては、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサがある。これらの電子カメラは、撮像素子にて光電変換された電気信号をＡ／Ｄ(Analog/Digital)変換して、デジタル画像データを出力する。また、各電子カメラの光軸はカラー表示装置１２の平面と平行となるように取り付けられている。なお、これらの電子カメラのレンズは画角が９０度以上の広角レンズであり、カラー表示装置１２全体の領域について接触する所定の座標入力物体を撮像できるようになっている。
【００３１】
また、前述したように、カラー表示装置１２は大画面のＰＤＰ（Plasma Display Panel）である。さらに、スピーカー１３とスピーカー１４は情報入出力装置１に内蔵されており、制御装置２から入力されるオーディオ信号を音として出力する。
【００３２】
次に、制御装置２に内蔵される各部の電気的接続を図２に示す。図中、ＣＰＵ（Central Processing Unit）２０、メインメモリ２１、クロック２２、バスコントローラ２３、ＲＯＭ(Read Only Memory)２４、ＰＣＩ(Peripheral Component Interconnect)ブリッジ２５、キャッシュメモリ２６、ハードディスク２７、ＨＤ(Hard Disk)コントローラ２８、画像処理回路（１）２９、画像処理回路（２）３０、表示コントローラ３１、ＭＰＥＧ（Moving Picture Experts Group）デコーダ３２、ＬＡＮ（Local Area Network）コントローラ４３、ＬＡＮ Ｉ／Ｆ(Interface)４４、ＦＤ(Floppy Disk)コントローラ３３、ＦＤドライブ３４、ＤＶＤ−ＲＡＭ(Digital Video Disc Random Access Memory)コントローラ３５、ＤＶＤ−ＲＡＭドライブ３６、キーボードコントローラ３７、マウスＩ／Ｆ３８、ＲＴＣ(Real Time Clock)３９、ＣＰＵバス４０、ＰＣＩバス４１、Ｘバス（内部バス）４２は、制御装置２に実装されている。
【００３３】
ＲＯＭ２４には、電源オン時のシステム立ち上げや各種デバイスの制御を行うためのプログラムが予め書き込まれており、ＣＰＵ２０は、ＲＯＭ２４に記憶された制御処理プログラム、ハードディスク２７からメインメモリ２１に読み出されたＯＳ(Operating System)や各種のアプリケーションプログラムを実行、処理する。メインメモリ２１は、ＤＲＡＭ(Dynamic Random Access Memory)より構成されており、ＣＰＵ２０のワークエリア等で使用される。クロック２２は、水晶発振子と分周回路から構成されており、ＣＰＵ２０やバスコントローラ２３の動作タイミングを制御するためのクロックを生成している。バスコントローラ２３は、ＣＰＵバス４０とＸバス４２でのデータ転送を制御する。
【００３４】
ＰＣＩブリッジ２５は、キャッシュメモリ２６を使用して、ＰＣＩバス４１とＣＰＵ２０との間のデータ転送を行う。キャッシュメモリ２６は、ＤＲＡＭより構成されており、ＰＣＩブリッジ２５により使用される。
【００３５】
ハードディスク２７は、システムソフトウェア、各種のアプリケーションプログラム、多数のユーザデータ等を記憶する。ＨＤコントローラ２８は、ハードディスク２７とのインタフェースとして例えばＩＤＥ(Integrated Device Electronics)インタフェースを持ち、ハードディスク２７と高速データ転送を行う。
【００３６】
画像処理回路（１）２９は、情報入出力装置１の電子カメラ１０から出力されたデジタル画像データをＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介して入力し、その画像データから物体の抽出処理や物体の形状の認識処理等を行う。また、画像処理回路（１）２９は、電子カメラ１０に与えるクロックや画像転送パルスをＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介して出力する。画像処理回路（２）３０は画像処理回路（１）２９と同じハードウェアであり、情報入出力装置１の電子カメラ１１から出力されたデジタル画像データを入力し、画像処理回路（１）２９と同様な動作を実行する。なお、画像処理回路（１）２９と画像処理回路（２）３０からそれぞれ電子カメラ１０と電子カメラ１１へ与えるクロックや画像転送パルスは同期するようになっている。
【００３７】
表示コントローラ３１は、文字データやグラフィックデータ等をＤ/Ａ(Digital/Analog)変換するとともに、これらのデータを情報入出力装置１のカラー表示装置１２に表示するための制御を行う。この表示コントローラ３１の内部構成および動作については、後で詳しく説明する。
【００３８】
ＭＰＥＧデコーダ３２は、ＤＶＤ−ＲＡＭ（ＤＶＤ−ＲＡＭドライブ３６によりデータが読み取られる）やハードディスク２７に記憶されたＭＰＥＧファイルをデコードして、デコードされたＹＵＶ（Ｙ：Ｕ：Ｖ＝４：２：２）ビデオデータを表示コントローラ３１へ出力し、またデコードされたオーディオデータはＤ/Ａ変換してスピーカー１３とスピーカー１４へ出力する。ここで、Ｙは輝度成分、ＵとＶは色差（クロマ）成分であり、Ｕ＝Ｂ（青）−Ｙ、Ｖ＝Ｒ（赤）−Ｙである。
【００３９】
ＬＡＮコントローラ４３は、例えばＩＥＥＥ(Institute of Electrical and Electronics Engineers)８０２．３規格に準拠した通信プロトコルを実行して、ＬＡＮ Ｉ／Ｆ４４を介してイーサネットに接続された他の機器との通信を制御する。
【００４０】
ＦＤコントローラ３３は、ＦＤドライブ３４とデータ転送を行う。ＤＶＤ−ＲＡＭコントローラ３５は、ＤＶＤ−ＲＡＭドライブ３６とのインタフェースとして例えばＳＣＳＩ−２(Small Computer System Interface-2)インタフェースを持ち、ＤＶＤ−ＲＡＭドライブ３６とデータ転送を行う。
【００４１】
キーボードコントローラ３７は、キーボード３から入力されたシリアルデータからパラレルデータへの変換を行う。マウスＩ／Ｆ３８は、マウス用のポートを持ち、マウスドライバ（制御プログラム）によって制御される。なお、情報入出力装置１が制御装置２の入力装置であるため、保守用の作業時を除き、キーボード３およびマウス４は接続する必要はない。
【００４２】
ＲＴＣ３９は、日付時計であり、図示していないバッテリーによりバックアップされている。
【００４３】
次に、表示コントローラ３１の内部構成および動作について詳細に説明する。表示コントローラ３１に内蔵される各部の電気的接続を図３に示す。表示コントローラ３１は、グラフィックコントローラ６０、グラフィック用ビデオメモリ６１、グラフィックデータ変換部６２、表示データ生成部６３、ＤＡＣ（Digital to Analog Converter）６４、ビデオデコーダ６５、動画／静止画用ビデオメモリ６６、ビデオデータ変換部６７、ビデオデータ重畳部６８、空間周波数チェック部６９より構成される。
【００４４】
グラフィックコントローラ６０は、ＣＰＵ２０からアクセスする描画用プレーン（ユーザプレーン）を複数枚管理しており、例えば背景用の描画データ（第１のプレーン）と文字や描画線等のグラフィックの描画データ（第２のプレーン）を別々のユーザプレーンで管理する。そして、ＣＰＵ２０から受け取った文字（フォント）データやグラフィックデータの描画コマンドに従って表示用の描画データを生成する。また、ＣＰＵ２０から指定領域の塗りつぶしコマンドを受けると、その指定された領域の全ての画素に対して指定された色の描画データを生成する。これらの描画データはＲ（赤）、Ｇ（緑）、Ｂ（青）、Ｉ（Intensity）のそれぞれ１ビットにより１画素が表現される。また、グラフィックコントローラ６０は、描画データの重ね合わせ（ユーザプレーン間の重ね合わせ）、例えば背景と文字や線との重ね合わせ処理も行う。グラフィック用ビデオメモリ６１はＶＲＡＭ(Video Random Access Memory)であり、Ｒ、Ｇ、Ｂ、Ｉの各ビットプレーンを持っている。
【００４５】
グラフィックデータ変換部６２は、グラフィック用ビデオメモリ６１から８画素ずつ、すなわち３２ビットずつデータを読み出して、内蔵されたカラーパレットを使用して１画素あたり８ビットのデータに変換する。表示データ生成部６３は、グラフィックデータ変換部６２から１画素ずつ、すなわち８ビットずつデータを読み出して、内蔵されたカラールックアップテーブルを使用して１画素あたりＲ、Ｇ、Ｂそれぞれ６ビットの表示データを生成する。そして、動画や静止画のビデオデータと重ね合わせて表示する場合には、このデータをビデオデータ重畳部６８へ出力し、そうでない場合はＤＡＣ６４へ出力する。ＤＡＣ６４は、Ｒ、Ｇ、Ｂの各デジタルデータからアナログ映像信号に変換して情報入出力装置１のカラー表示装置１２へ出力する。
【００４６】
ビデオデコーダ６５は、ＭＰＥＧデコーダ３２から入力されるＹＵＶビデオデータ、あるいはＣＰＵ２０にてソフトウェアにより伸長された静止画（例えば、ＪＰＥＧ伸長画像）のＹＵＶビデオデータを１画素（１６ビット）あたりＲ、Ｇ、Ｂそれぞれ８ビットのデータに変換する。なお、動画や静止画の空間周波数のチェック処理が実行される場合には、空間周波数チェック部６９からＹＵＶビデオデータが入力される。
【００４７】
動画／静止画用ビデオメモリ６６はＶＲＡＭであり、Ｒ、Ｇ、Ｂの各ビットプレーンを持っている。ビデオデータ変換部６７は、内蔵された変換テーブルを使用してＲ、Ｇ、Ｂ各８ビットのデータをそれぞれ６ビットのデータに変換する。ビデオデータ重畳部６８は、ビデオデータ変換部６７から入力されたＲ、Ｇ、Ｂの各データに対して表示データ生成部６３から入力されたＲ、Ｇ、Ｂの各データを上書きするか、あるいはこれらのデータをビット毎のＯＲをとって（描画データの透過表示）ＤＡＣ６４へ出力する。空間周波数チェック部６９は、ＭＰＥＧデコーダ３２から入力されるＹＵＶビデオデータあるいはＣＰＵ２０にてソフトウェアにより伸長された静止画のＹＵＶビデオデータの中のＹ信号から輝度成分の空間周波数の分布を調べたり、また輝度成分の平均値を求める処理を行う。
【００４８】
以下に、表示コントローラ３１中の動画または静止画の信号の流れを場合に分けて示す。
【００４９】
▲１▼ 動画
・空間周波数のチェックあり
ＭＰＥＧデコーダ３２→空間周波数チェック部６９→ビデオデコーダ６５→動画／静止画用ビデオメモリ６６→ビデオデータ変換部６７→ビデオデータ重畳部６８→ＤＡＣ６４→カラー表示装置１２
・空間周波数のチェックなし
ＭＰＥＧデコーダ３２→ビデオデコーダ６５→動画／静止画用ビデオメモリ６６→ビデオデータ変換部６７→ビデオデータ重畳部６８→ＤＡＣ６４→カラー表示装置１２
以上が動画の場合の信号の流れである。
【００５０】
▲２▼ 静止画
・空間周波数のチェックあり
ＰＣＩバス４１→空間周波数チェック部６９→ビデオデコーダ６５→動画／静止画用ビデオメモリ６６→ビデオデータ変換部６７→ビデオデータ重畳部６８→ＤＡＣ６４→カラー表示装置１２
・空間周波数のチェックなし
ＰＣＩバス４１→ビデオデコーダ６５→動画／静止画用ビデオメモリ６６→ビデオデータ変換部６７→ビデオデータ重畳部６８→ＤＡＣ６４→カラー表示装置１２
以上が静止画の場合の信号の流れである。
【００５１】
続いて、筆記部材が情報入出力装置１のカラー表示装置１２に接触したときの接触位置を幾何学的に求める方法を説明する。図４に示すように、情報入出力装置１の電子カメラ１０は広角レンズ５０、ＣＭＯＳイメージセンサ５１を具備し、電子カメラ１１は広角レンズ５２、ＣＭＯＳイメージセンサ５３を具備しており、それぞれの入射光の光軸が情報入出力装置１のカラー表示装置１２の平面と平行であり、また、それぞれの電子カメラがカラー表示装置１２全体の領域について接触する座標入力物体を撮像できるように配置されている。
【００５２】
ここで、広角レンズ５０と広角レンズ５２との距離をＬ、カラー表示装置１２の平面における指やペン等の筆記部材の接触点をＡ、点Ａの位置座標を（ｘ，ｙ）、広角レンズ５０と広角レンズ５２とを結ぶ直線をＸ−Line、広角レンズ５０における接触点Ａの方向とＸ−Lineとのなす角度をβ１、広角レンズ５２における接触点Ａの方向とＸ−Lineとのなす角度をβ２とする。
【００５３】
また、電子カメラ１０の広角レンズ５０およびＣＭＯＳイメージセンサ５１付近の拡大図を図５に示す。図５において、ｆは広角レンズ５０とCMOSイメージセンサ５１との間の距離、ｈはＣＭＯＳイメージセンサ５１における広角レンズ５０の光軸の結像位置と接触点Ａの結像位置との間の距離（カラー表示装置１２の平面に平行な方向における距離）、αは広角レンズ５０の光軸とＸ−Lineとのなす角度、θは接触点Ａとその結像点とを結ぶ線と広角レンズ５０の光軸とのなす角度である。これらを用いると、
θ＝arctan(ｈ／ｆ) ・・・・（１）
β１＝α−θ ・・・・（２）
の２式が成り立つ。ここで、角度αは組み付け仕様として予め判っているため、これら２式より角度β１を求めることができる。また、電子カメラ１１についても同様にして角度β２を求めることができる。
【００５４】
このようにして角度β１と角度β２が求まると、接触点Ａの位置座標（ｘ，ｙ）は、三角測量の原理により
ｘ＝Ｌtanβ２／（tanβ１＋tanβ２） ・・・・（３）
ｙ＝ｘtanβ１ ・・・・（４）
として算出される。
【００５５】
次に、ＣＭＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ５３上に結像されるカラー表示装置１２の平面に該当するエッジ部の像（直線）と各ＣＭＯＳイメージセンサ５１，５３の画素配列との関係について説明する。ＣＭＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ５３は２次元の画素配列を持つが、縦方向と横方向とで画素数が異なる場合、画素数の小さい方向をＸ軸方向、画素数の大きい方向をＹ軸方向として、そのＹ軸方向がカラー表示装置１２の平面にできるだけ平行となるように電子カメラ１０と電子カメラ１１が組み付けられる。縦方向と横方向の画素数が同じ場合は、いずれかの方向をＹ軸方向とする。
【００５６】
ここで、各ＣＭＯＳイメージセンサ５１，５３上に結像されるカラー表示装置１２の平面に該当するエッジ部の像（直線）が画素配列のＹ軸方向と一致しない場合は、カラー表示装置１２の平面に該当するエッジ部の像（直線）と画素配列のＹ軸方向との成す角度δを求める。この角度δは、エッジ部の像（直線）上の数点の画素位置を調べることで求めることができる。この説明のための図を図６に示す。図６のエッジ部の像（直線）の端点を基準画素位置として、この直線上の任意の点、Ａ、Ｂ、ＣにおけるＸ軸方向の画素数ｘとＹ軸方向の画素数ｙを調べる。これらの各点において、
tanδ*＝ｘ／ｙ ・・・・（５）
によりδ*が求まるため、これらの平均値を角度δとする。
【００５７】
各ＣＭＯＳイメージセンサ５１，５３で撮像した画像データからカラー表示装置１２の平面と物体（筆記部材）との距離を求める場合、カラー表示装置１２の平面に該当するエッジ部の像（直線）をその画像データの座標系のＹ軸とした方が便利である。そこで、画像データを用いてカラー表示装置１２の平面と物体（筆記部材）との距離を求める場合、その画像データの座標値を上記で求めた角度δだけ回転させて処理する。図６に示すように、エッジ部の像（直線）が右に傾いている場合は左方向へ回転させ、逆に左に傾いている場合は右方向へ回転させる。この回転後の座標（ｘ'，ｙ'）は、回転前の座標を（ｘ，ｙ）として、
ｘ'＝ｘ×cosδ − ｙ×sinδ ・・・・（６）
ｙ'＝ｘ×sinδ ＋ ｙ×cosδ ・・・・（７）
の２式により求められる。δが正の値の場合は右回り、負の値の場合は左回りに回転する。
【００５８】
次に、電子カメラ１０と電子カメラ１１により撮像された画像データから筆記部材とカラー表示装置１２の平面との接触を判断する方法について説明する。情報入出力装置１の電子カメラ１０は、ＣＭＯＳイメージセンサ５１の撮像領域の中で、カラー表示装置１２の平面と垂直方向については画像信号を出力させる画素を制限する。すなわち、カラー表示装置１２の平面から所定の距離までの範囲を撮像している画素のみについて画像信号を出力するように制御する。そして、この画像信号をＡ／Ｄ変換して、このデジタル画像データを制御装置２の画像処理回路（１）２９へ出力する。画像処理回路（１）２９は、この入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う。このような物体の輪郭線の抽出は、例えば、微分により画素間の濃度勾配を求め、その方向と大きさから輪郭線を判定する方法等がある。この方法の１つが、特公平８−１６９３１号公報において開示されている。
【００５９】
このようにして輪郭線が抽出されると、その輪郭線の形状よりその物体が筆記部材であるか否かを判断する。この形状判断は、画像認識技術を用いて行う。この形状認識の方法としては、例えば、まず物体の重心を求め、この重心と輪郭線までの距離を重心の回り（３６０°）について順次求め、この角度と距離の関係から輪郭線の形状を特定する方法がある（特開平８−３１５１５２号公報参照）。
【００６０】
こうして得られた輪郭線の形状に関するデータは、筆記部材の形状としてＲＯＭ２４またはハードディスク２７に予め記憶されたデータと比較することで、その形状の物体が筆記部材であるか否かを判断する。筆記動作時は、筆記部材の筆記面に対する傾きが一定でないため、物体の重心と輪郭線とを結ぶ基準線（０°の位置）をある角度の範囲内で回転させて予め記憶されたデータと比較する。この筆記部材の画像および基準線の回転の例を図７に示す。なお、筆記部材の形状に関するデータを複数種類用意しておき、形状の判断処理時にこれらを全て利用してもよい。
【００６１】
次に、上記の判断処理により筆記部材であると判断した場合は、その筆記部材が筆記面に接触したか否かを判断する。ここで、筆記面は図７に示したように撮像領域の１つの辺に相当している。そこで、筆記部材の像がこの筆記面に相当した辺に接触したか否かを判断すればよい。筆記部材が筆記面に接触したと判断した場合、この接触点の結像位置と広角レンズ５０の光軸の結像位置との距離ｈを求める。図８の例では、広角レンズ５０の光軸の結像位置をｈ０、接触点の結像位置をｈ１としてｈは、
ｈ＝ｈ０−ｈ１
で求められる。なお、ｈ０とｈ１は、ＣＭＯＳイメージセンサ５１の縦方向の基準となる辺からの画素数と画素間の距離（画素ピッチ）より求められる。
【００６２】
このようにして距離ｈが求まると、式（１）と式（２）より既知の値を持つｆとαを用いて角度β１が求まることになる。
【００６３】
画像処理回路（２）３０においても上記と同様な処理を行うことにより、角度β２を求めることができる。
【００６４】
これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より筆記面における接触点の座標（ｘ，ｙ）を求めることができる。
【００６５】
次に、本実施の形態の情報入出力システム１００において実行される処理の内、従来の情報入出力システムによって行われている処理と同様の処理についてはその説明を省略し、情報入出力システム１００が備える特長的な機能を実現する処理について以下に説明する。ここでは、制御装置２のＣＰＵ２０がプログラムに基づいて実行する特長的な機能について説明する。
【００６６】
なお、本実施の形態においては、動画や静止画は使用しないため、表示コントローラ３１中の信号の流れは、
ＰＣＩバス４１→グラフィックコントローラ６０→グラフィック用ビデオメモリ６１→グラフィックデータ変換部６２→表示データ生成部６３→ＤＡＣ６４→カラー表示装置１２
のみとなる。背景と描画データ、カーソルデータの重ね合わせ処理は、グラフィックコントローラ６０にて実行される。
【００６７】
図９の表示例に示すように、カラー表示装置１２には、描画線（手書き線）の色を設定したり筆記領域（黒板）の背景色を設定するためのアイコンが表示されており、ユーザがこれにタッチするとプルダウンメニューが表示され、このメニュー操作により描画線や背景の色を適宜設定、変更できるようになっている。「描画線」（鉛筆マーク）アイコンが選択されると、２種類の線についての属性を表示する。「線１」の線は、色が黒、太さが１．５pt（ポイント）であり、「線２」の線は、色が赤、太さが２ptである。各線はその色で表示する。また、いずれの線も色の設定が背景色から自動的に決まる自動モードに設定されている。図９の表示例は、背景色が白である場合を示している。背景色と「線１」の線色、「線２」の線色の組合せデータテーブルは予め制御装置２のＲＯＭ２４に記憶されており、設定されている背景色に従って２つの線色が一義的に決まるようになっている。
【００６８】
図９に示したプルダウンメニューで「線の設定」が選択されると、「線の設定」を行うウィンドウを表示させる。この「線の設定」ウィンドウの表示例を図１０に示す。図１０は「線２」の線の属性を表示しており、「自動」のチェックボックスのチェックを解除すると、線の色の自動設定モードが解除される。また、線種は実線の他に点線や一点鎖線等を選択できるようになっている。線の色の自動設定モードが解除されている状態では、線の色は４０色のカラーパレットの中から選択できる。また、「線１」を選択すると、「線１」の線の属性が表示される。
【００６９】
背景色の設定は、ユーザが「背景色」アイコンを選択して「背景色の設定」ウィンドウを開き、このウィンドウ中にあるカラーパレットを使用して色を設定（変更）することができる。このウィンドウの表示例は省略する。２つの線の色が共に自動設定モードになっているときに背景色が変更されると、ＲＯＭ２４に記憶された背景色と２つの線色の組合せデータテーブルを参照して、「線１」の線色および「線２」の線色をそれぞれ変更する。この変更は、線の属性情報（メインメモリ２１またはハードディスク２７に記憶）の変更とカラー表示装置１２への表示データの変更である。例えば、背景色が白から緑に変更されると、「線１」は白、「線２」は桃色にそれぞれ変更される。なお、背景色の緑と「線２」の線色である桃色とは補色の関係にあり、「線２」の線は目立って見える。背景色が変更されると、ＣＰＵ２０は背景用ユーザプレーン番号と変更後の色情報（緑）を含めた塗りつぶしコマンドと「線１」の線描画用ユーザプレーン番号と変更後のその線の色情報（白）を含めた描画色変更コマンド、「線２」の線描画用ユーザプレーン番号と変更後のその線の色情報（桃色）を含めた描画色変更コマンドをグラフィックコントローラ６０へ渡す。そして、それぞれの変更された色に従って、カラー表示装置１２の表示画面が更新される。表示色第一設定手段を実現する上記の制御装置２の動作フローを図１１に示す。
【００７０】
なお、「線１」の線または「線２」の線のいずれか一方のみが自動設定モードになっている場合は、背景色と自動設定モードでない線の色に基づいて対象の線の色を変更するようにしてもよい。この場合、１つの背景色に対する２つの線色の組合せを複数用意しておき（ＲＯＭ２４にテーブルで記憶）、その中から適応的に選択する方法がある。この詳細な説明については省略する。
【００７１】
次に、「線１」と「線２」の２種類の線のほかに、さらに視覚的に強調させる「強調」の線がある場合について説明する。前述した「線１」と「線２」の２種類の線のみがある場合と同様に、「描画線」（鉛筆マーク）アイコンが選択されると、３種類の線についての属性が表示される。この表示例を図１２に示す。「強調」の線は、色が赤、太さが２ptであり、「線１」の線は、色が黒、太さが１．５pt、「線２」の線は、色が青、太さが１．５ptである。また、いずれの線も色の設定が背景色から自動的に決まる自動モードに設定されている。今、背景色が白である場合を示している。背景色と「強調」の線色、「線１」と「線２」の線色の組合せデータテーブルは予め制御装置２のＲＯＭ２４に記憶されており、設定されている背景色に従って３つの線色が一義的に決まるようになっている。
【００７２】
図１２に示したプルダウンメニューで「線の設定」が選択されると、「線の設定」を行うウィンドウを表示させる。この「線の設定」ウィンドウの表示例を図１３に示す。図１３は「強調」の線の属性を表示している。表示されている各メニューの機能は図１０と同様である。
【００７３】
３つの線の色が全て自動設定モードになっているときに背景色が変更されると、ＲＯＭ２４に記憶された背景色と３つの線色の組合せデータテーブルを参照して、３つの線色をそれぞれ変更する。例えば、背景色が白から緑に変更されると、「強調」の線は桃色、「線１」は白、「線２」は水色にそれぞれ変更される。なお、背景色の緑と「強調」の線色である桃色とは補色の関係にあり、「強調」の線は目立って見える。そして、それぞれ変更された色に従って、カラー表示装置１２の表示画面が更新される。
【００７４】
なお、「強調」、「線１」、「線２」の全ての線が自動設定モードになっていない場合は、背景色と自動設定モードでない線の色に基づいて対象の線の色を変更するようにしてもよい。この場合、１つの背景色に対する３つの線色の組合せを複数用意しておき（ＲＯＭ２４にテーブルで記憶）、その中から適応的に選択する方法がある。この詳細な説明については省略する。
【００７５】
続いて、描画線の色が全て自動設定モードになっているときに背景色が変更されるとその背景色に従って全ての線色が一義的に決まるのではなく、この全ての線色の組合せを１つの背景色に対して複数用意しておき、これらの中からユーザに選択させる場合について説明する。ここでは、描画線の種類として、「強調」、「線１」、「線２」の３種類がある場合について説明する。
【００７６】
ユーザにより「描画線」アイコンが選択されると、３種類の線についての属性を表示する。この表示例を図１４に示す。ここでは、背景色が緑、「強調」の線が桃色、「線１」が白、「線２」が水色であるとする。
【００７７】
図１４に示したプルダウンメニューの一番下にある「次」が選択されると、３種類の中の１つ以上の線の色を変更する。例えば、「強調」の線だけを黄色に変更する。この３つの線色の組合せは、１つの背景色に対して複数組が視覚的に好ましい順序にＲＯＭ２４にテーブルで記憶されており、ユーザにより次の組合せが選択されると、このデータテーブルの次の組合せを参照して、線の属性（色）を変更する。前記のプルダウンメニューが表示された状態で「描画線」アイコンが選択されると、そのときに表示していた線の属性を有効なデータとして設定する。表示色選択手段を実現する上記の制御装置２の動作フローを図１５に示す。
【００７８】
なお、１つの背景色に対するこの線色の組合せの優先順位は、本システムが使用される用途に応じて変わるように動作させることもできる。例えば、ビジネス用途で使用する場合、桃色はビジネスの場にそぐわないため、桃色を使用した線の組合せは優先順位を低く設定する。この使用用途の設定は、例えば装置の設置時に保守モードにて設定できるようにする。そして、この使用用途と各線色の組合せの優先順位はＲＯＭ２４に記憶しておく。
【００７９】
ところで、カラー表示装置１２には、描画線の色を設定したり筆記領域の背景色を設定するためのアイコンに加えて「カーソル」の色を設定するためのアイコンが表示されており（図９参照）、ユーザがこれにタッチすると「カーソル色の設定」ウィンドウを開き、このウィンドウ中にあるカラーパレットを使用して色を設定（変更）することができる。このウィンドウの表示例は省略する。なお、ここでは、描画線が２種類の場合を例にとって説明する。
【００８０】
背景色と「カーソル」の色、「線１」の線色、「線２」の線色の組合せデータテーブルは予め制御装置２のＲＯＭ２４に記憶されており、設定されている背景色に従ってカーソルの色と２つの線色が一義的に決まるようになっている。例えば、背景色が白の場合、「カーソル」は緑、「線１」は黒、「線２」は赤であり、背景色が白から緑に変更されると、「カーソル」は水色、「線１」は白、「線２」は桃色にそれぞれ変更される。カーソル表示色設定手段を実現する上記の制御装置２の動作フローを図１６に示す。
【００８１】
次に、情報入出力システム１００が設置される背後あるいは周囲の色（環境色）に近い色を設定し、この色に基づいて筆記領域の背景色および描画線の色を自動的に設定する場合について説明する。環境色は、保守モードにて設定される。
【００８２】
保守モードにて「環境色の設定」が選択されると、図１０に示したのと同様なカラーパレットをカラー表示装置１２に表示する。環境色と筆記領域の背景色および描画線の色の組合せデータテーブルは予め制御装置２のＲＯＭ２４に記憶されており、ユーザが表示されたカラーパレットの中から情報入出力システム１００が設置される背後あるいは周囲の色に近い色を選択すると、その選択された環境色に従って筆記領域の背景色および描画線の色が一義的に決まるようになっている。例えば、描画線が「線１」と「線２」の２種類あり、環境色として薄茶色（ベージュ）が設定されている場合には、背景色を薄い黄色、「線１」を黒、「線２」を赤に設定する。また、環境色として桃色が設定されている場合には、背景色を薄い赤、「線１」を青、「線２」を黄色に設定する。環境色登録手段を実現する上記の制御装置２の動作フローを図１７に示す。
【００８３】
続いて、背景色と描画線の色の組合せを１つの環境色に対して複数用意しておき、これらの中からユーザに選択させる場合について説明する。
【００８４】
保守モードにて「環境色の設定」が選択されると、カラーパレットをカラー表示装置１２に表示し、ユーザがその中から情報入出力システム１００が設置される背後あるいは周囲の色に近い色を選択すると、背景色と描画線の色の組合せを選択するための「色設定」ウィンドウを表示させる。この「色設定」ウィンドウの表示例を図１８に示す。今、環境色として薄茶色が設定されており、背景色が薄い黄色、「線１」が黒、「線２」が赤に表示されている。図１８に示すウィンドウ中の「次」ボタンが選択されると、背景色を薄茶色、「線１」を黒、「線２」を青に表示する。ここで、「設定」ボタンが選択されると、背景色および各線の色を現在表示されている色に確定する。組合せ選択手段を実現する上記の制御装置２の動作フローを図１９に示す。
【００８５】
次に、本発明の第二の実施の形態を図２０ないし図３１に基づいて説明する。なお、前述した第一の実施の形態と同一部分は同一符号で示し説明も省略する。第一の実施の形態においては、情報入出力システム１００が備える特長的な機能として描画線や背景の色を適宜設定、変更する機能について説明したが、本実施の形態においては、文字や背景の色を適宜設定、変更する機能について説明について説明するものである。
【００８６】
なお、本実施の形態においても、動画や静止画は使用しないため、表示コントローラ３１中の信号の流れは、
ＰＣＩバス４１→グラフィックコントローラ６０→グラフィック用ビデオメモリ６１→グラフィックデータ変換部６２→表示データ生成部６３→ＤＡＣ６４→カラー表示装置１２
のみとなる。背景と描画データ、カーソルデータの重ね合わせ処理は、グラフィックコントローラ６０にて実行される。
【００８７】
図２０の表示例に示すように、カラー表示装置１２には、文字の色を設定したり背景色を設定するためのアイコンが表示されており、これらのアイコンを選択することにより、文字や背景の色を適宜設定、変更できるようになっている。
【００８８】
ユーザにより「文字」アイコンが選択されると、「文字の設定」を行うウィンドウを表示させる。この「文字の設定」ウィンドウの表示例を図２１に示す。図２１中、「フォント」は「明朝」、「ゴシック」等のフォントの種類を、「大きさ」は文字の大きさを、「スタイル」は「太字」、「斜体」等の文字のスタイルを、それぞれ変更できる。文字の色は４０色のカラーパレットの中から選択できる。このウィンドウ中の「色の変更」が選択されると、既に表示されている文字の色以外で背景色に対して目立つ色を４０色のカラーパレットの中から自動的に選択する。なお、１つの背景色に対して、その上に表示する文字の色を、例えば目立つ色の順にＲＯＭ２４に予めデータテーブルとして記憶しておき、「色の変更」が選択されたときには、このデータテーブルを参照して目立つ色の順に文字の色を選択するとよい。例えば、背景色が白で現在の文字の色が黒のみの場合に「色の変更」が選択されると、それ以降にキーボード３から入力される文字の色を赤で表示する。既に表示されている文字の色を変更する場合は、色を変更したい文字列を指定してから「文字」アイコンを選択して「文字の設定」ウィンドウを開いて色の変更操作を行うことで指定した文字列の色を変更することができる。
【００８９】
また、図２０に示した「背景色」アイコンが選択されると、「背景色の設定」を行うウィンドウを表示させる。このウィンドウには図２１（「文字の設定」ウィンドウ）に示したのと同じ４０色のカラーパレットを表示する。そして、このカラーパレットを使用して背景色を設定（変更）することができる。なお、このウィンドウの表示例は省略する。
【００９０】
次に、背景色を変更したときに、文字の表示色を変更する場合について説明する。背景色が白で文字の色が黒と赤である場合に背景色が緑に変更されると、黒の文字色は白に、赤の文字色は桃色にそれぞれ変更される。なお、背景色の緑と文字色である桃色とは補色の関係にあり、この色の文字は目立って見える。背景色が変更されると、ＣＰＵ２０は背景用ユーザプレーン番号と変更後の色情報（緑）を含めた塗りつぶしコマンド、および文字表示用ユーザプレーン番号と黒の文字色は白に、赤の文字色は桃色にそれぞれ変更する表示色変更コマンドをグラフィックコントローラ６０へ渡す。そして、それぞれの変更された色に従って、カラー表示装置１２の表示画面が更新される。なお、背景色とそれに対応した各文字色との組合せデータテーブルは予めＲＯＭ２４に記憶されており、設定されている背景色に従って２つ、あるいはそれ以上の文字色が一義的に決まるようになっている。表示色第一設定手段を実現する上記の制御装置２の動作フローを図２２に示す。
【００９１】
なお、上記は文字の色を変更する場合について説明したが、閉領域内（図形内）の塗りつぶし等のグラフィックについても、背景色に対して目立つ色を自動的に選択させることができる。この詳細な説明については省略する。
【００９２】
次に、２つの文字色のほかに、さらに視覚的に強調させる「強調」の文字色がある場合について説明する。前述した２つの文字色がある場合と同様に、「文字」アイコンが選択されると、「文字の設定」ウィンドウを表示させる。この表示例を図２３に示す。図２３は図２１に対して「強調色」のメニューが追加されている。ここで「強調色」が選択されると、それ以降にキーボード３から入力される文字の色を背景色に対して最も目立つ色で表示する。この最も目立つ色として、背景色に対する補色を選択するとよい。強調色に変更したい文字列が指定されている状態で「強調色」が選択されると、その指定された文字列を背景色に対して最も目立つ色で表示する。なお、「強調色」の選択操作が行われたときに強調色と同じ色の文字が既に存在している場合には、その既存の文字の色を他の色に変更する。背景色とそれに対応した強調色および各文字色との組合せデータテーブルは予めＲＯＭ２４に記憶されており、設定されている背景色に従ってこれらの文字色が一義的に決まるようになっている。例えば、背景色が緑で白と桃色の文字が表示されている状態で「強調色」が選択されると、既存の桃色の文字を水色に変更し、それ以降にキーボード３から入力される文字の色を桃色で表示する。上記の制御装置２の動作フローを図２４に示す。
【００９３】
なお、上記は文字の色を変更する場合について説明したが、閉領域内（図形内）の塗りつぶし等のグラフィックについても、背景色に対して最も目立つ色を自動的に選択させることができる。この詳細な説明については省略する。
【００９４】
続いて、背景色が変更されるとその背景色に従って複数の文字色が一義的に決まるのではなく、この文字色の組合せを１つの背景色に対して複数用意しておき、これらの中からユーザに選択させる場合について説明する。ここでは、文字色の種類として、「強調色」、「文字色１」、「文字色２」の３種類がある場合について説明する。
【００９５】
ユーザにより「文字」アイコンが選択されると、「文字の設定」ウィンドウを表示させる。この表示例を図２５に示す。図２５は図２３の「強調色」のメニューが「色の組合せ」のメニューに変更されたものである。
【００９６】
ここで「色の組合せ」が選択されると、「表示色の組合せ」ウィンドウを表示させる。この表示例を図２６に示す。図２６で、表示文字色の数は可変に設定できるようになっており、現在は３が設定されている。この表示文字色の数に対応して３種類の色が実際に表示されている（「強調色」は桃色、「文字色１」は白、「文字色２」は水色）。ここで、１番目の色は強調色である。表示文字色の数に４以上が設定されると、「表示色の組合せ」ウィンドウ中の右の空白領域に「文字色３」、「文字色４」・・・・と文字色が追加して表示される。この「表示色の組合せ」ウィンドウ中の「次」メニューが選択されると、３種類の中の１つ以上の文字色を変更する。例えば、「強調色」だけを黄色に変更する。この３つの文字色の組合せは、１つの背景色に対して複数組が視覚的に好ましい順序にＲＯＭ２４にテーブルで記憶されており、ユーザにより次の組合せが選択されると、このデータテーブルの次の組合せを参照して、表示色を変更する。組合せ選択手段を実現する上記の制御装置２の動作フローを図２７に示す。
【００９７】
なお、１つの背景色に対するこの文字色の組合せの優先順位は、本システムが使用される用途に応じて変わるように動作させることもできる。例えば、ビジネス用途で使用する場合、桃色はビジネスの場にそぐわないため、桃色を使用した色の組合せは優先順位を低く設定する。この使用用途の設定は、例えば装置の設置時に保守モードにて設定できるようにする。そして、この使用用途と各文字色の組合せの優先順位はＲＯＭ２４に記憶しておく。
【００９８】
ところで、カラー表示装置１２には、文字の色を設定したり背景色を設定するためのアイコンに加えて「カーソル」の色を設定するためのアイコンが表示されており（図２０参照）、ユーザがこれにタッチすると「カーソル色の設定」ウィンドウを開き、このウィンドウ中にあるカラーパレットを使用して色を設定（変更）することができる。このウィンドウの表示例は省略する。
【００９９】
背景色とそれに対応した複数の文字色、および「カーソル」の色の組合せデータテーブルは予め制御装置２のＲＯＭ２４に記憶されており、設定されている背景色に従ってカーソルの色と複数の文字色が一義的に決まるようになっている。例えば、背景色が白の場合、「カーソル」は緑、第１の文字色は黒、第２の文字色は赤であり、背景色が白から緑に変更されると、「カーソル」は水色、第１の文字色は白、第２の文字色は桃色にそれぞれ変更する。カーソル表示色設定手段を実現する上記の制御装置２の動作フローを図２８に示す。
【０１００】
次に、情報入出力システム１００が設置される背後あるいは周囲の色（環境色）に近い色を設定し、この色に基づいて背景色および文字の色を自動的に設定する場合について説明する。環境色は、保守モードにて設定される。
【０１０１】
保守モードにて「環境色の設定」が選択されると、図２１に示したのと同様なカラーパレットをカラー表示装置１２に表示する。環境色と背景色および複数の文字の色の組合せデータテーブルは予めＲＯＭ２４に記憶されており、ユーザが表示されたカラーパレットの中から情報入出力システム１００が置かれる背後あるいは周囲の色に近い色を選択すると、その選択された環境色に従って背景色および複数の文字の色が一義的に決まるようになっている。例えば、環境色として薄茶色（ベージュ）が設定されている場合には、背景色を薄い黄色、第１の文字色を黒、第２の文字色を赤に設定する。また、環境色として桃色が設定されている場合には、背景色を薄い赤、第１の文字色を青、第２の文字色を黄色に設定する。環境色登録手段を実現する上記の制御装置２の動作フローを図２９に示す。
【０１０２】
続いて、背景色と文字の色の組合せを１つの環境色に対して複数用意しておき、これらの中からユーザに選択させる場合について説明する。
【０１０３】
保守モードにて「環境色の設定」が選択されると、カラーパレットをカラー表示装置１２に表示し、ユーザがその中から情報入出力システム１００が設置される背後あるいは周囲の色に近い色を選択すると、背景色と文字の色の組合せを選択するための「表示色の組合せ」ウィンドウを表示させる。この「表示色の組合せ」ウィンドウの表示例を図３０に示す。今、環境色として薄茶色が設定されており、背景色が薄い黄色、第１の文字色が黒、第２の文字色が赤に表示されているときに、このウィンドウ中の「次」ボタンが選択されると、背景色を薄茶色、第１の文字色を黒、第２の文字色を青にする。ここで、「設定」ボタンが選択されると、背景色および各文字の色を現在「表示色の組合せ」ウィンドウに表示されている色に変更する。組合せ選択手段を実現する上記の制御装置２の動作フローを図３１に示す。
【０１０４】
次に、本発明の第三の実施の形態を図３２ないし図３５に基づいて説明する。なお、前述した第一の実施の形態および第二の実施の形態と同一部分は同一符号で示し説明も省略する。本実施の形態は、筆記領域の背景が単色である場合を示した前述した第一の実施の形態および第二の実施の形態と異なり、筆記領域の背景として静止画像や動画像が使用されている場合を示したものである。
【０１０５】
なお、本実施の形態においては、動画や静止画を使用するため、表示コントローラ３１中のグラフィックデータの信号の流れは、
ＰＣＩバス４１→グラフィックコントローラ６０→グラフィック用ビデオメモリ６１→グラフィックデータ変換部６２→表示データ生成部６３→ビデオデータ重畳部６８→ＤＡＣ６４→カラー表示装置１２
となる。
【０１０６】
ＹＵＶビデオ信号は、情報の大部分が輝度（Ｙ）に集中している。そこで、画像の輝度成分について空間周波数分布を調べることで、その画像の特徴を判断することができる。本実施の形態においては、静止画や動画のデータは空間周波数チェック部６９を通り、ここで空間周波数分布が調べられる。空間周波数チェック部６９は、ＭＰＥＧデコーダ３２から入力されるＹＵＶビデオデータあるいはＣＰＵ２０にてソフトウェアにより伸長された静止画のＹＵＶビデオデータを８×８画素ずつのブロックに分割して、各ブロック毎に輝度成分（Ｙ）について空間周波数分布を調べる。
【０１０７】
この方法として、例えば、２次元の離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いる。２次元の離散コサイン変換は次式で示される。
【０１０８】
【数１】
【０１０９】
式（８）で、Nはブロックの水平方向および垂直方向の画素数であり、ここではN＝８である。ｆ（ｉ，ｊ）は空間周波数チェック部６９に入力された各画素の輝度値、Ｆ（ｕ，ｖ）は水平方向の空間周波数ｕと垂直方向の空間周波数ｖにおけるＤＣＴ係数である。この空間周波数ｕ，ｖとＤＣＴ係数Ｆ（ｕ，ｖ）との関係から空間周波数分布を判断することができる。すなわち、大きな値のｕ，ｖに対してＦ（ｕ，ｖ）の値が大きければ高い空間周波数成分の多い画像であると判断できる。
【０１１０】
このようにして、各ブロック毎に高い空間周波数成分の多い画像であるか否かが判断され（背景画像判断手段）、高い空間周波数成分の多い画像と判断されたブロックの数が全てのブロックの数に対して所定の割合以上であった場合に、その画像全体が高い空間周波数成分の多い画像であるとみなす。そして、画像全体が高い空間周波数成分の多い画像であると判断した場合には、全ての画素の輝度成分（Ｙ）の平均を求める。
【０１１１】
そして、この平均値が所定の値よりも大きい場合には（輝度値判断手段）、空間周波数チェック部６９は高い空間周波数成分が多く、また輝度の大きい画像である旨をＣＰＵ２０へ通知する。ＣＰＵ２０はこの通知を受けると、描画線の色を黒に設定する（表示色第二設定手段）。なお、描画線が複数ある場合には、いずれの線も明度の低い（暗い）色に設定する。加えて、ＣＰＵ２０はこの通知を受けると、全ての文字の色を黒に設定する。なお、文字の色を全て黒にするのではなく、各文字色毎にその明度を低くした（暗くした）色に設定してもよい。
【０１１２】
一方、画像全体が高い空間周波数成分の多い画像であると判断し、全ての画素の輝度成分（Ｙ）の平均が所定の値よりも小さい場合には、空間周波数チェック部６９は高い空間周波数成分が多く、また輝度の小さい画像である旨をＣＰＵ２０へ通知する。ＣＰＵ２０はこの通知を受けると、描画線の色を白に設定する（表示色第二設定手段）。なお、描画線が複数ある場合には、いずれの線も明度の高い（明るい）色に設定する。加えて、ＣＰＵ２０はこの通知を受けると、全ての文字の色を白に設定する。なお、文字の色を全て白にするのではなく、各文字色毎にその明度を高くした（明るくした）色に設定してもよい。
【０１１３】
その後、ユーザにより筆記入力があると、それに対応した描画線や文字を設定された色にて静止画または動画に重ねて表示する。
【０１１４】
なお、動画の場合には、空間周波数チェック部６９は所定の時間間隔で、例えば１０秒間隔で空間周波数分布のチェックをするようにするとよい。
【０１１５】
上記の空間周波数チェック部６９の動作フローを図３２に示す。上記の動作フローでは、筆記領域の背景画像全体について判断処理する場合を示したが、背景画像を複数の領域に分割して、分割された各領域毎に空間周波数の分布をチェックしたり、輝度の判断処理をして、描画線の色や文字の色の設定をより適応的にすることもできる。この詳細な説明は省略する。
【０１１６】
次に、高い空間周波数成分が少ない静止画や動画が筆記領域の背景画像である場合について説明する。この場合、描画線の色や文字の色を背景画像に対して目立つような色に設定する。
【０１１７】
空間周波数分布のチェックは、空間周波数チェック部６９にて前述したような２次元の離散コサイン変換を用いた方法で行う。そして、画像全体が高い空間周波数成分の少ない画像であると判断した場合には、空間周波数チェック部６９から出力されビデオデコーダ６５を通って動画／静止画用ビデオメモリ６６に入力されたR、G、Bデータより、この画像全体の中で最も多く使用されている色（画像の特徴色）を調べる。この方法として、例えば、１画素ずつその色をいくつかの代表的な色に色の類似度に基づいてグループ化し、最も多い代表色を特定してもよい。そして、描画線の色や文字の色を、この特定された代表色に対して目立つ色、例えば補色の関係にある色に設定する（表示色第三設定手段）。なお、描画線の色や文字の色が複数ある場合には、１つの背景色に対する複数の線色の組合せをＲＯＭ２４にテーブルで用意しておき、特定された代表色を背景色としてこのテーブルを参照し、描画線の色や文字の色を設定する。上記の制御装置２の動作フローを図３３に示す。
【０１１８】
続いて、高い空間周波数成分が多い静止画や動画が筆記領域の背景画像である場合に、描画線や文字が目立つように、描画線や文字の太さを太くする動作について説明する。
【０１１９】
空間周波数分布のチェックは、空間周波数チェック部６９にて前述したような２次元の離散コサイン変換を用いた方法で行う。そして、画像全体が高い空間周波数成分の多い画像であると判断した場合には、この情報をＣＰＵ２０へ通知する。ＣＰＵ２０はこの通知を受けると、現在の描画線や文字の太さをチェックして、所定の太さよりも細い場合には、その描画線や文字を所定の太さに設定する（サイズ切替手段）。なお、複数の太さの描画線や文字がある場合、各描画線や文字の太さに応じて太さを変更してもよい。例えば、「線１」が１．５pt、「線２」が２ptであった場合、それぞれ３pt、４ptに変更する。上記の制御装置２の動作フローを図３４に示す。
【０１２０】
次に、高い空間周波数成分が多い静止画や動画が筆記領域の背景画像である場合に、描画線や文字が目立つように、描画線や文字に縁を付加して表示する動作について説明する。
【０１２１】
空間周波数分布のチェックは、空間周波数チェック部６９にて前述したような２次元の離散コサイン変換を用いた方法で行う。そして、画像全体が高い空間周波数成分の多い画像であると判断した場合には、この情報をＣＰＵ２０へ通知する。ＣＰＵ２０はこの通知を受けると、描画線の色に対応した色を含めた縁を付加する描画コマンドや文字の色に対応した色を含めた縁を付加する描画コマンドをグラフィックコントローラ６０へ渡す。グラフィックコントローラ６０はこの描画コマンドを受けると、現在の描画線よりも太く又は現在の文字よりも大きい、描画コマンドで指定された色の描画線や文字を生成し、この新しく生成した描画線や文字の上に既存の描画線や文字を重ねる。このようにして、新しく生成した描画線や文字の中で既存の描画線や文字が重なっていない部分が線の縁となる。そして、この縁の付いた描画線や文字を静止画あるいは動画に重ね合わせてカラー表示装置１２に表示する。なお、描画線や文字の色と、それに付加する縁の色は、ＲＯＭ２４に対応付けて記憶しておき、ＣＰＵ２０はこの情報を参照して付加する縁の色を特定する。上記の制御装置２の動作フローを図３５に示す。
【０１２２】
なお、静止画や動画が筆記領域の背景画像である場合には、描画線や文字が目立つように、上述した方法で線の太さを太くしたり、また／または線に縁を付加して表示するようにしても良い。この動作は、背景画像が静止画や動画であれば実行し、画像の空間周波数のチェックは行う必要がない。
【０１２３】
なお、各実施の形態においては、カラー表示装置１２を含む情報入出力装置１と表示制御装置２とから構成されている情報入出力システム１００である電子黒板システムを適用したが、これに限るものはなく、カラー表示装置１２と表示制御装置２とで構成されるものであっても良い。
【０１２４】
【発明の効果】
請求項１記載の発明によれば、文字や描画線等の描画データをカラー表示装置に表示させる表示制御装置において、前記カラー表示装置が設置された環境に応じた環境色を登録する環境色登録手段とを備え、前記環境色登録手段にて登録された前記環境色に基づき、１つまたは複数種類の前記描画データの表示色と前記表示領域の背景色とを設定することにより、描画データの表示色及び表示領域の背景色とカラー表示装置が設置された環境に応じた環境色とを視覚的に好ましい組合せにすることができるので、装置の利便性を向上させることができる。
【０１２５】
請求項２記載の発明によれば、請求項１記載の表示制御装置において、前記描画データを表示する表示領域の背景色に基づき、１つまたは複数種類の前記描画データの表示色を設定する表示色第一設定手段をさらに備えることにより、カラー表示装置に表示される文字や描画線等の描画データの表示色を背景色に対して目立つように設定することで、文字や描画線等の描画データの色と背景色とが類似した色のために描画データが見づらいといった不具合を防止することができるとともに、ユーザが描画データの色を設定する作業負担を軽減することができる。
【０１２６】
請求項３記載の発明によれば、請求項１または２記載の表示制御装置において、複数種類の前記描画データの中に特に視覚的に強調させることが必要な前記描画データがある場合、その強調が必要な描画データが他の描画データよりも強調して見えるように各描画データの表示色を調整することにより、カラー表示装置に表示される文字や描画線等の描画データの表示色が複数ある場合、それらの描画データが背景色に対して目立つように表示色が設定されるとともに、特に視覚的に強調させることが必要な描画データについては他の描画データに比べてさらに目立つように表示色が設定されるため、装置の利便性を向上させることができる。
【０１２７】
請求項４記載の発明によれば、請求項１〜３のいずれか一つに記載の表示制御装置において、前記表示領域の背景色に対する前記描画データの表示色の組合せ候補色を複数用意するとともに、各組合せ候補色に対して視覚的に好ましい順序に順位付けを行い、前記順位に従った優先度で前記組合せ候補色の中から一の前記組合せ候補色を前記描画データの表示色として選択させる表示色選択手段をさらに備えることにより、カラー表示装置に表示される文字や描画線等の描画データの表示色が複数ある場合、表示領域の背景色に対する描画データの表示色を視覚的に好ましい順序でユーザに選択させることができるので、ユーザが描画データの色を設定する作業負担を軽減することができ、装置の利便性を向上させることができる。
【０１２８】
請求項５記載の発明によれば、請求項１〜４のいずれか一つに記載の表示制御装置において、前記描画データの表示色及び前記描画データを表示する表示領域の背景色に基づき、カーソルの表示色を設定するカーソル表示色設定手段をさらに備えることにより、カラー表示装置に表示されるカーソルの表示色を背景色に対して目立つように設定することで、文字や描画線等の描画データの色又は背景色とカーソルの表示色が類似した色のためにカーソルが見づらいといった不具合を防止することができる。
【０１２９】
請求項６記載の発明によれば、請求項１〜５のいずれか一つに記載の表示制御装置において、前記環境色に対する前記描画データの表示色及び前記表示領域の背景色の組合せを複数用意し、前記組合せの中から一の前記組合せを選択させる組合せ選択手段をさらに備えることにより、描画データの表示色及び表示領域の背景色とカラー表示装置が設置された環境に応じた環境色とを視覚的に好ましい組合せにすることができるとともに、ので、ユーザの好みに合った色を設定することができるため、装置の利便性を向上させることができる。
【０１３０】
請求項７記載の発明によれば、請求項１〜６のいずれか一つに記載の表示制御装置において、前記描画データを表示する領域の背景画像の空間周波数分布を調べ、その背景画像に高い空間周波数成分が多いか否かを判断する背景画像判断手段と、前記背景画像判断手段により高い空間周波数成分が多い画像であると判断した場合、前記描画データを表示する領域の背景画像の各画素の輝度値の平均が所定の値よりも大きいか否かを判断する輝度値判断手段と、前記輝度値判断手段により平均輝度値が所定の値よりも大きいと判断した場合には前記描画データの表示色を黒とし、平均輝度値が所定の値よりも小さいと判断した場合には前記描画データの表示色を白とする表示色第二設定手段と、をさらに備えることにより、カラー表示装置に表示される文字や描画線等の描画データの背景が単色ではなく複数色から成る絵柄や静止画像または動画像であり、かつ、高い空間周波数成分が多い場合には、その背景画像の輝度によって描画データが黒あるいは白に設定されるため、描画データが見づらくなるのを防止することができる。
【０１３１】
請求項８記載の発明によれば、請求項７に記載の表示制御装置において、前記背景画像判断手段により高い空間周波数成分が少ない画像であると判断した場合、前記描画データを表示する領域の背景画像の各画素中で最も多い色に基づき、前記描画データの表示色を設定する表示色第三設定手段をさらに備えることにより、カラー表示装置に表示される文字や描画線等の描画データの背景が単色ではなく複数色から成る絵柄や静止画像または動画像であり、かつ、高い空間周波数成分が少ない場合には、描画データの表示色がその背景画像に最も多い色に対して目立つように設定されるため、描画データが見づらくなるのを防止することができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態の情報入出力システムを概略的に示すシステム構成図である。
【図２】制御装置に内蔵される各部の電気的接続を示すブロック図である。
【図３】表示コントローラに内蔵される各部の電気的接続を示すブロック図である。
【図４】情報入出力装置の各電子カメラの配置状態を示す説明図である。
【図５】電子カメラの広角レンズおよびＣＭＯＳイメージセンサ付近を示す拡大図である。
【図６】エッジ部の像上の数点の画素位置を示す説明図である。
【図７】筆記部材の画像および基準線の回転の例を示す説明図である。
【図８】接触点の結像位置と広角レンズの光軸の結像位置との距離の算出手法を示す説明図である。
【図９】「描画線」アイコンが選択された場合のプルダウンメニューの一例を示す平面図である。
【図１０】「線の設定」ウィンドウの表示例を示す平面図である。
【図１１】背景色の変更に伴い描画線の表示色を変更する際の制御装置の動作を示すフローチャートである。
【図１２】視覚的に強調させる「強調」の線がある場合の「描画線」アイコンが選択された場合のプルダウンメニューの一例を示す平面図である。
【図１３】視覚的に強調させる「強調」の線がある場合の「線の設定」ウィンドウの表示例を示す平面図である。
【図１４】線色の組合せを１つの背景色に対して複数用意した場合に「描画線」アイコンが選択された場合のプルダウンメニューの一例を示す平面図である。
【図１５】線色の組合せを１つの背景色に対して複数用意した場合における背景色の変更に伴い描画線の表示色を変更する際の制御装置の動作を示すフローチャートである。
【図１６】背景色及び描画線の表示色の変更に伴いカーソルの表示色を変更する際の制御装置の動作を示すフローチャートである。
【図１７】環境色の設定に伴い背景色及び描画線の表示色を設定する際の制御装置の動作を示すフローチャートである。
【図１８】背景色と描画線の色の組合せを選択するための「色設定」ウィンドウの表示例を示す平面図である。
【図１９】環境色の設定に伴い背景色と描画線の色との組合せを選択する際の制御装置の動作を示すフローチャートである。
【図２０】本発明の第二の実施の形態の情報入出力システムにおいて「文字」アイコンが選択された場合のプルダウンメニューの一例を示す平面図である。
【図２１】「文字の設定」ウィンドウの表示例を示す平面図である。
【図２２】背景色の変更に伴い文字の表示色を変更する際の制御装置の動作を示すフローチャートである。
【図２３】視覚的に強調させる「強調」の文字色がある場合の「文字の設定」ウィンドウの表示例を示す平面図である。
【図２４】視覚的に強調させる「強調」の文字の表示色を変更する際の制御装置の動作を示すフローチャートである。
【図２５】背景色と文字の色の組合せを選択するための「文字の設定」ウィンドウの表示例を示す平面図である。
【図２６】「表示色の組合せ」ウィンドウの表示例を示す平面図である。
【図２７】文字色の組合せを１つの背景色に対して複数用意した場合における背景色の変更に伴い文字の表示色を変更する際の制御装置の動作を示すフローチャートである。
【図２８】背景色及び文字の表示色の変更に伴いカーソルの表示色を変更する際の制御装置の動作を示すフローチャートである。
【図２９】環境色の設定に伴い背景色及び文字の表示色を設定する際の制御装置の動作を示すフローチャートである。
【図３０】背景色と文字の色の組合せを選択するための「表示色の組合せ」ウィンドウの表示例を示す平面図である。
【図３１】環境色の設定に伴い背景色と文字の色との組合せを選択する際の制御装置の動作を示すフローチャートである。
【図３２】本発明の第二の実施の形態の情報入出力システムにおいて制御装置の空間周波数チェック部の動作を示すフローチャートである。
【図３３】画像の特徴色に基づく描画線の色や文字の色を設定する際の制御装置の動作を示すフローチャートである。
【図３４】描画線や文字の太さを太くする際の制御装置の動作を示すフローチャートである。
【図３５】描画線や文字に縁を付加して表示する際の制御装置の動作を示すフローチャートである。
【符号の説明】
１ 情報入出力装置
２ 表示制御装置
１２ カラー表示装置
１００ 情報入出力システム
【発明の属する技術分野】
本発明は、文字や描画線等の描画データをカラー表示装置に表示させる表示制御装置に関する。
【０００２】
【従来の技術】
電子黒板システムに代表される情報入出力システムにおいては、従来から、カラーパレットを表示装置に表示して、筆記色および背景色を選択できるにようになっている。この場合、例えば描画する線種として３種類の線種を線種選択メニューに登録することができるようなシステムにおいては、その筆記色はユーザが線の色の設定操作を行わない限り、第１の線は背景色に対する補色（色相環の反対側の色であり、混ぜるとグレーになる色）、第２の線は赤色、第３の線は青色である。なお、第１の線は背景色に対する補色を自動的に設定するが、背景色が緑色の場合には、その補色である赤紫色を線の色にすると、この色の組合せがビジネスの場に合わず不快感を与える可能性があることを考慮して、線の色を白色としている。
【０００３】
ところで、近年、プレゼンテーション等を行う場合に、プロジェクターや大画面ディスプレイを備えた情報入出力システム等を使用する機会が多くなってきている。このような表示画面が大画面である場合には、文字や線等のグラフィックは、多くの人にとって見易いことが望まれる。
【０００４】
ところが、情報入出力システム等で用いるプレゼンテーション用資料を作成するＰＣ等の文書作成装置においては、強調したい文字や線等のグラフィックの色はユーザが判断して設定するようにしているが、このグラフィックの設定色とその表示画面の背景色との組合せによっては、強調したい部分がそれ以外の部分に対して必ずしも強調して見えない場合があった。
【０００５】
特に、プロジェクターのように大画面に投影して表示するタイプでは、投影光量が十分でない場合にはこの現象が顕著になる。このように投影して表示するタイプでこの現象が顕著になるのは、例えば、背景が青色で通常の文字色が白色の場合、強調したい文字を赤色にすると、文書作成装置に接続されたディスプレイの表示では強調して見ることができても、これをプロジェクターを介して大画面に投影して表示した場合には、投影光量が十分でない場合には表示される各色の明度が低下し、赤色と青色との色の違いが小さく見える。すなわち、強調する意図で赤色に設定した文字が、プロジェクターを介して投影表示されると逆に見づらくなってしまうという不具合が生じるからである。
【０００６】
そこで、このような不具合を解消すべく、特開平１１−３２７７８９号公報に記載されているカラー表示装置および電子黒板システムにおいては、文字（フォント）の色および筆記描画色と、それらの背景色とが類似している場合には、文字（フォント）の色および筆記描画色を変化させる方法が開示されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、特開平１１−３２７７８９号公報において開示された技術によれば、文字（フォント）の色および筆記描画色が１色である場合には、背景色に対する補色を設定することで対応できるが、文字（フォント）の色および筆記描画色が複数の場合には対応することができないという問題がある。
【０００８】
また、カーソルを表示画面に表示させる際に、その色が背景色やそのカーソルの周りに表示されている文字や筆記描画線の色と類似している場合には、カーソルが目立たずにカーソルを視認しづらいといった問題もある。
【０００９】
さらに、特開平１１−３２７７８９号公報に記載されているカラー表示装置および電子黒板システムにおける色の選択は、表示装置（大画面ディスプレイ）が設置される背後や周囲、あるいはプロジェクターで投影される領域の周囲の色とは無関係に行われていたため、表示される色と表示装置が設置される背後や周囲、あるいはプロジェクターで投影される領域の周囲の色との組合せによっては、その色合いがよくない場合がある。
【００１０】
さらにまた、文字（フォント）や筆記描画線の背景が単色ではなく、複数色から成る絵柄や静止画像、さらに動画像である場合があるが、このような場合には、特開平１１−３２７７８９号公報に記載されているカラー表示装置および電子黒板システムでは、背景色の出現頻度の平均に基づいて評価したカラー評価値に対応した筆記描画色を選定する方法を示している。しかしながら、様々な色が混ざり合った静止画像や、各色の出現頻度が時間とともに変化する動画像が背景の場合には、目立つ文字（フォント）の色および筆記描画色を選定することが困難な場合がある。
【００１１】
加えてに、文字（フォント）や筆記描画線が細いと、これらの文字や筆記描画線が非常に見づらいといった問題もある。
【００１２】
本発明の目的は、カラー表示装置に表示された文字や描画線等の描画データが見づらいといった不具合を防止することである。
【００１３】
本発明の目的は、ユーザが文字や描画線等の描画データの色を設定する作業負担を軽減させ、装置の利便性を向上させることである。
【００１４】
本発明の目的は、カーソルが見づらいといった不具合を防止することである。
【００１５】
【課題を解決するための手段】
請求項１記載の発明は、文字や描画線等の描画データをカラー表示装置に表示させる表示制御装置において、前記カラー表示装置が設置された環境に応じた環境色を登録する環境色登録手段とを備え、前記環境色登録手段にて登録された前記環境色に基づき、１つまたは複数種類の前記描画データの表示色と前記表示領域の背景色とを設定することを特徴とする。
【００１６】
請求項２記載の発明は、請求項１記載の表示制御装置において、前記描画データを表示する表示領域の背景色に基づき、１つまたは複数種類の前記描画データの表示色を設定する表示色第一設定手段をさらに備えることを特徴とする。
【００１７】
請求項３記載の発明は、請求項１または２記載の表示制御装置において、複数種類の前記描画データの中に特に視覚的に強調させることが必要な前記描画データがある場合、その強調が必要な描画データが他の描画データよりも強調して見えるように各描画データの表示色を調整することを特徴とする。
【００１８】
請求項４記載の発明は、請求項１〜３のいずれか一つに記載の表示制御装置において、前記表示領域の背景色に対する前記描画データの表示色の組合せ候補色を複数用意するとともに、各組合せ候補色に対して視覚的に好ましい順序に順位付けを行い、前記順位に従った優先度で前記組合せ候補色の中から一の前記組合せ候補色を前記描画データの表示色として選択させる表示色選択手段をさらに備えることを特徴とする。
【００１９】
請求項５記載の発明は、請求項１〜４のいずれか一つに記載の表示制御装置において、前記描画データの表示色及び前記描画データを表示する表示領域の背景色に基づき、カーソルの表示色を設定するカーソル表示色設定手段をさらに備えることを特徴とする。
【００２０】
請求項６記載の発明は、請求項１〜５のいずれか一つに記載の表示制御装置において、前記環境色に対する前記描画データの表示色及び前記表示領域の背景色の組合せを複数用意し、前記組合せの中から一の前記組合せを選択させる組合せ選択手段をさらに備えることを特徴とする。
【００２１】
請求項７記載の発明は、請求項１〜６のいずれか一つに記載の表示制御装置において、前記描画データを表示する領域の背景画像の空間周波数分布を調べ、その背景画像に高い空間周波数成分が多いか否かを判断する背景画像判断手段と、前記背景画像判断手段により高い空間周波数成分が多い画像であると判断した場合、前記描画データを表示する領域の背景画像の各画素の輝度値の平均が所定の値よりも大きいか否かを判断する輝度値判断手段と、前記輝度値判断手段により平均輝度値が所定の値よりも大きいと判断した場合には前記描画データの表示色を黒とし、平均輝度値が所定の値よりも小さいと判断した場合には前記描画データの表示色を白とする表示色第二設定手段と、をさらに備えることを特徴とする。
【００２２】
請求項８記載の発明は、請求項７に記載の表示制御装置において、前記背景画像判断手段により高い空間周波数成分が少ない画像であると判断した場合、前記描画データを表示する領域の背景画像の各画素中で最も多い色に基づき、前記描画データの表示色を設定する表示色第三設定手段をさらに備えることを特徴とする。
【００２８】
【発明の実施の形態】
本発明の第一の実施の形態を図１ないし図１９に基づいて説明する。なお、本実施の形態は、情報入出力システムとして、カラー表示装置として大画面のＰＤＰ（Plasma Display Panel）を使用し、そのディスプレイ面の右上部と左上部にそれぞれ電子カメラを取り付けて、各電子カメラから入力された画像情報に基づいてディスプレイ面に接触する物体の接触位置座標を求める電子黒板システムを適用した例である。
【００２９】
本実施の形態の情報入出力システム１００のシステム構成図を図１に示す。この情報入出力システム１００は、情報入出力装置１と表示制御装置（以下、制御装置という）２とから構成されており、情報入出力装置１は２個の電子カメラ１０，１１とカラー表示装置１２、さらに２個のスピーカー１３，１４を具備している。
【００３０】
電子カメラ１０および電子カメラ１１は、カラー表示装置１２に高画素タイプのＸＧＡ(1024×768画素)で表示された場合にも、メニュー選択や筆記動作等が支障なく実行される程度に高画素で画像信号の出力フレームレートが大きく、また光電変換された信号を画素単位に独立して出力することができる２次元撮像素子を具備している。この２次元撮像素子としては、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサがある。これらの電子カメラは、撮像素子にて光電変換された電気信号をＡ／Ｄ(Analog/Digital)変換して、デジタル画像データを出力する。また、各電子カメラの光軸はカラー表示装置１２の平面と平行となるように取り付けられている。なお、これらの電子カメラのレンズは画角が９０度以上の広角レンズであり、カラー表示装置１２全体の領域について接触する所定の座標入力物体を撮像できるようになっている。
【００３１】
また、前述したように、カラー表示装置１２は大画面のＰＤＰ（Plasma Display Panel）である。さらに、スピーカー１３とスピーカー１４は情報入出力装置１に内蔵されており、制御装置２から入力されるオーディオ信号を音として出力する。
【００３２】
次に、制御装置２に内蔵される各部の電気的接続を図２に示す。図中、ＣＰＵ（Central Processing Unit）２０、メインメモリ２１、クロック２２、バスコントローラ２３、ＲＯＭ(Read Only Memory)２４、ＰＣＩ(Peripheral Component Interconnect)ブリッジ２５、キャッシュメモリ２６、ハードディスク２７、ＨＤ(Hard Disk)コントローラ２８、画像処理回路（１）２９、画像処理回路（２）３０、表示コントローラ３１、ＭＰＥＧ（Moving Picture Experts Group）デコーダ３２、ＬＡＮ（Local Area Network）コントローラ４３、ＬＡＮ Ｉ／Ｆ(Interface)４４、ＦＤ(Floppy Disk)コントローラ３３、ＦＤドライブ３４、ＤＶＤ−ＲＡＭ(Digital Video Disc Random Access Memory)コントローラ３５、ＤＶＤ−ＲＡＭドライブ３６、キーボードコントローラ３７、マウスＩ／Ｆ３８、ＲＴＣ(Real Time Clock)３９、ＣＰＵバス４０、ＰＣＩバス４１、Ｘバス（内部バス）４２は、制御装置２に実装されている。
【００３３】
ＲＯＭ２４には、電源オン時のシステム立ち上げや各種デバイスの制御を行うためのプログラムが予め書き込まれており、ＣＰＵ２０は、ＲＯＭ２４に記憶された制御処理プログラム、ハードディスク２７からメインメモリ２１に読み出されたＯＳ(Operating System)や各種のアプリケーションプログラムを実行、処理する。メインメモリ２１は、ＤＲＡＭ(Dynamic Random Access Memory)より構成されており、ＣＰＵ２０のワークエリア等で使用される。クロック２２は、水晶発振子と分周回路から構成されており、ＣＰＵ２０やバスコントローラ２３の動作タイミングを制御するためのクロックを生成している。バスコントローラ２３は、ＣＰＵバス４０とＸバス４２でのデータ転送を制御する。
【００３４】
ＰＣＩブリッジ２５は、キャッシュメモリ２６を使用して、ＰＣＩバス４１とＣＰＵ２０との間のデータ転送を行う。キャッシュメモリ２６は、ＤＲＡＭより構成されており、ＰＣＩブリッジ２５により使用される。
【００３５】
ハードディスク２７は、システムソフトウェア、各種のアプリケーションプログラム、多数のユーザデータ等を記憶する。ＨＤコントローラ２８は、ハードディスク２７とのインタフェースとして例えばＩＤＥ(Integrated Device Electronics)インタフェースを持ち、ハードディスク２７と高速データ転送を行う。
【００３６】
画像処理回路（１）２９は、情報入出力装置１の電子カメラ１０から出力されたデジタル画像データをＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介して入力し、その画像データから物体の抽出処理や物体の形状の認識処理等を行う。また、画像処理回路（１）２９は、電子カメラ１０に与えるクロックや画像転送パルスをＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介して出力する。画像処理回路（２）３０は画像処理回路（１）２９と同じハードウェアであり、情報入出力装置１の電子カメラ１１から出力されたデジタル画像データを入力し、画像処理回路（１）２９と同様な動作を実行する。なお、画像処理回路（１）２９と画像処理回路（２）３０からそれぞれ電子カメラ１０と電子カメラ１１へ与えるクロックや画像転送パルスは同期するようになっている。
【００３７】
表示コントローラ３１は、文字データやグラフィックデータ等をＤ/Ａ(Digital/Analog)変換するとともに、これらのデータを情報入出力装置１のカラー表示装置１２に表示するための制御を行う。この表示コントローラ３１の内部構成および動作については、後で詳しく説明する。
【００３８】
ＭＰＥＧデコーダ３２は、ＤＶＤ−ＲＡＭ（ＤＶＤ−ＲＡＭドライブ３６によりデータが読み取られる）やハードディスク２７に記憶されたＭＰＥＧファイルをデコードして、デコードされたＹＵＶ（Ｙ：Ｕ：Ｖ＝４：２：２）ビデオデータを表示コントローラ３１へ出力し、またデコードされたオーディオデータはＤ/Ａ変換してスピーカー１３とスピーカー１４へ出力する。ここで、Ｙは輝度成分、ＵとＶは色差（クロマ）成分であり、Ｕ＝Ｂ（青）−Ｙ、Ｖ＝Ｒ（赤）−Ｙである。
【００３９】
ＬＡＮコントローラ４３は、例えばＩＥＥＥ(Institute of Electrical and Electronics Engineers)８０２．３規格に準拠した通信プロトコルを実行して、ＬＡＮ Ｉ／Ｆ４４を介してイーサネットに接続された他の機器との通信を制御する。
【００４０】
ＦＤコントローラ３３は、ＦＤドライブ３４とデータ転送を行う。ＤＶＤ−ＲＡＭコントローラ３５は、ＤＶＤ−ＲＡＭドライブ３６とのインタフェースとして例えばＳＣＳＩ−２(Small Computer System Interface-2)インタフェースを持ち、ＤＶＤ−ＲＡＭドライブ３６とデータ転送を行う。
【００４１】
キーボードコントローラ３７は、キーボード３から入力されたシリアルデータからパラレルデータへの変換を行う。マウスＩ／Ｆ３８は、マウス用のポートを持ち、マウスドライバ（制御プログラム）によって制御される。なお、情報入出力装置１が制御装置２の入力装置であるため、保守用の作業時を除き、キーボード３およびマウス４は接続する必要はない。
【００４２】
ＲＴＣ３９は、日付時計であり、図示していないバッテリーによりバックアップされている。
【００４３】
次に、表示コントローラ３１の内部構成および動作について詳細に説明する。表示コントローラ３１に内蔵される各部の電気的接続を図３に示す。表示コントローラ３１は、グラフィックコントローラ６０、グラフィック用ビデオメモリ６１、グラフィックデータ変換部６２、表示データ生成部６３、ＤＡＣ（Digital to Analog Converter）６４、ビデオデコーダ６５、動画／静止画用ビデオメモリ６６、ビデオデータ変換部６７、ビデオデータ重畳部６８、空間周波数チェック部６９より構成される。
【００４４】
グラフィックコントローラ６０は、ＣＰＵ２０からアクセスする描画用プレーン（ユーザプレーン）を複数枚管理しており、例えば背景用の描画データ（第１のプレーン）と文字や描画線等のグラフィックの描画データ（第２のプレーン）を別々のユーザプレーンで管理する。そして、ＣＰＵ２０から受け取った文字（フォント）データやグラフィックデータの描画コマンドに従って表示用の描画データを生成する。また、ＣＰＵ２０から指定領域の塗りつぶしコマンドを受けると、その指定された領域の全ての画素に対して指定された色の描画データを生成する。これらの描画データはＲ（赤）、Ｇ（緑）、Ｂ（青）、Ｉ（Intensity）のそれぞれ１ビットにより１画素が表現される。また、グラフィックコントローラ６０は、描画データの重ね合わせ（ユーザプレーン間の重ね合わせ）、例えば背景と文字や線との重ね合わせ処理も行う。グラフィック用ビデオメモリ６１はＶＲＡＭ(Video Random Access Memory)であり、Ｒ、Ｇ、Ｂ、Ｉの各ビットプレーンを持っている。
【００４５】
グラフィックデータ変換部６２は、グラフィック用ビデオメモリ６１から８画素ずつ、すなわち３２ビットずつデータを読み出して、内蔵されたカラーパレットを使用して１画素あたり８ビットのデータに変換する。表示データ生成部６３は、グラフィックデータ変換部６２から１画素ずつ、すなわち８ビットずつデータを読み出して、内蔵されたカラールックアップテーブルを使用して１画素あたりＲ、Ｇ、Ｂそれぞれ６ビットの表示データを生成する。そして、動画や静止画のビデオデータと重ね合わせて表示する場合には、このデータをビデオデータ重畳部６８へ出力し、そうでない場合はＤＡＣ６４へ出力する。ＤＡＣ６４は、Ｒ、Ｇ、Ｂの各デジタルデータからアナログ映像信号に変換して情報入出力装置１のカラー表示装置１２へ出力する。
【００４６】
ビデオデコーダ６５は、ＭＰＥＧデコーダ３２から入力されるＹＵＶビデオデータ、あるいはＣＰＵ２０にてソフトウェアにより伸長された静止画（例えば、ＪＰＥＧ伸長画像）のＹＵＶビデオデータを１画素（１６ビット）あたりＲ、Ｇ、Ｂそれぞれ８ビットのデータに変換する。なお、動画や静止画の空間周波数のチェック処理が実行される場合には、空間周波数チェック部６９からＹＵＶビデオデータが入力される。
【００４７】
動画／静止画用ビデオメモリ６６はＶＲＡＭであり、Ｒ、Ｇ、Ｂの各ビットプレーンを持っている。ビデオデータ変換部６７は、内蔵された変換テーブルを使用してＲ、Ｇ、Ｂ各８ビットのデータをそれぞれ６ビットのデータに変換する。ビデオデータ重畳部６８は、ビデオデータ変換部６７から入力されたＲ、Ｇ、Ｂの各データに対して表示データ生成部６３から入力されたＲ、Ｇ、Ｂの各データを上書きするか、あるいはこれらのデータをビット毎のＯＲをとって（描画データの透過表示）ＤＡＣ６４へ出力する。空間周波数チェック部６９は、ＭＰＥＧデコーダ３２から入力されるＹＵＶビデオデータあるいはＣＰＵ２０にてソフトウェアにより伸長された静止画のＹＵＶビデオデータの中のＹ信号から輝度成分の空間周波数の分布を調べたり、また輝度成分の平均値を求める処理を行う。
【００４８】
以下に、表示コントローラ３１中の動画または静止画の信号の流れを場合に分けて示す。
【００４９】
▲１▼ 動画
・空間周波数のチェックあり
ＭＰＥＧデコーダ３２→空間周波数チェック部６９→ビデオデコーダ６５→動画／静止画用ビデオメモリ６６→ビデオデータ変換部６７→ビデオデータ重畳部６８→ＤＡＣ６４→カラー表示装置１２
・空間周波数のチェックなし
ＭＰＥＧデコーダ３２→ビデオデコーダ６５→動画／静止画用ビデオメモリ６６→ビデオデータ変換部６７→ビデオデータ重畳部６８→ＤＡＣ６４→カラー表示装置１２
以上が動画の場合の信号の流れである。
【００５０】
▲２▼ 静止画
・空間周波数のチェックあり
ＰＣＩバス４１→空間周波数チェック部６９→ビデオデコーダ６５→動画／静止画用ビデオメモリ６６→ビデオデータ変換部６７→ビデオデータ重畳部６８→ＤＡＣ６４→カラー表示装置１２
・空間周波数のチェックなし
ＰＣＩバス４１→ビデオデコーダ６５→動画／静止画用ビデオメモリ６６→ビデオデータ変換部６７→ビデオデータ重畳部６８→ＤＡＣ６４→カラー表示装置１２
以上が静止画の場合の信号の流れである。
【００５１】
続いて、筆記部材が情報入出力装置１のカラー表示装置１２に接触したときの接触位置を幾何学的に求める方法を説明する。図４に示すように、情報入出力装置１の電子カメラ１０は広角レンズ５０、ＣＭＯＳイメージセンサ５１を具備し、電子カメラ１１は広角レンズ５２、ＣＭＯＳイメージセンサ５３を具備しており、それぞれの入射光の光軸が情報入出力装置１のカラー表示装置１２の平面と平行であり、また、それぞれの電子カメラがカラー表示装置１２全体の領域について接触する座標入力物体を撮像できるように配置されている。
【００５２】
ここで、広角レンズ５０と広角レンズ５２との距離をＬ、カラー表示装置１２の平面における指やペン等の筆記部材の接触点をＡ、点Ａの位置座標を（ｘ，ｙ）、広角レンズ５０と広角レンズ５２とを結ぶ直線をＸ−Line、広角レンズ５０における接触点Ａの方向とＸ−Lineとのなす角度をβ１、広角レンズ５２における接触点Ａの方向とＸ−Lineとのなす角度をβ２とする。
【００５３】
また、電子カメラ１０の広角レンズ５０およびＣＭＯＳイメージセンサ５１付近の拡大図を図５に示す。図５において、ｆは広角レンズ５０とCMOSイメージセンサ５１との間の距離、ｈはＣＭＯＳイメージセンサ５１における広角レンズ５０の光軸の結像位置と接触点Ａの結像位置との間の距離（カラー表示装置１２の平面に平行な方向における距離）、αは広角レンズ５０の光軸とＸ−Lineとのなす角度、θは接触点Ａとその結像点とを結ぶ線と広角レンズ５０の光軸とのなす角度である。これらを用いると、
θ＝arctan(ｈ／ｆ) ・・・・（１）
β１＝α−θ ・・・・（２）
の２式が成り立つ。ここで、角度αは組み付け仕様として予め判っているため、これら２式より角度β１を求めることができる。また、電子カメラ１１についても同様にして角度β２を求めることができる。
【００５４】
このようにして角度β１と角度β２が求まると、接触点Ａの位置座標（ｘ，ｙ）は、三角測量の原理により
ｘ＝Ｌtanβ２／（tanβ１＋tanβ２） ・・・・（３）
ｙ＝ｘtanβ１ ・・・・（４）
として算出される。
【００５５】
次に、ＣＭＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ５３上に結像されるカラー表示装置１２の平面に該当するエッジ部の像（直線）と各ＣＭＯＳイメージセンサ５１，５３の画素配列との関係について説明する。ＣＭＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ５３は２次元の画素配列を持つが、縦方向と横方向とで画素数が異なる場合、画素数の小さい方向をＸ軸方向、画素数の大きい方向をＹ軸方向として、そのＹ軸方向がカラー表示装置１２の平面にできるだけ平行となるように電子カメラ１０と電子カメラ１１が組み付けられる。縦方向と横方向の画素数が同じ場合は、いずれかの方向をＹ軸方向とする。
【００５６】
ここで、各ＣＭＯＳイメージセンサ５１，５３上に結像されるカラー表示装置１２の平面に該当するエッジ部の像（直線）が画素配列のＹ軸方向と一致しない場合は、カラー表示装置１２の平面に該当するエッジ部の像（直線）と画素配列のＹ軸方向との成す角度δを求める。この角度δは、エッジ部の像（直線）上の数点の画素位置を調べることで求めることができる。この説明のための図を図６に示す。図６のエッジ部の像（直線）の端点を基準画素位置として、この直線上の任意の点、Ａ、Ｂ、ＣにおけるＸ軸方向の画素数ｘとＹ軸方向の画素数ｙを調べる。これらの各点において、
tanδ*＝ｘ／ｙ ・・・・（５）
によりδ*が求まるため、これらの平均値を角度δとする。
【００５７】
各ＣＭＯＳイメージセンサ５１，５３で撮像した画像データからカラー表示装置１２の平面と物体（筆記部材）との距離を求める場合、カラー表示装置１２の平面に該当するエッジ部の像（直線）をその画像データの座標系のＹ軸とした方が便利である。そこで、画像データを用いてカラー表示装置１２の平面と物体（筆記部材）との距離を求める場合、その画像データの座標値を上記で求めた角度δだけ回転させて処理する。図６に示すように、エッジ部の像（直線）が右に傾いている場合は左方向へ回転させ、逆に左に傾いている場合は右方向へ回転させる。この回転後の座標（ｘ'，ｙ'）は、回転前の座標を（ｘ，ｙ）として、
ｘ'＝ｘ×cosδ − ｙ×sinδ ・・・・（６）
ｙ'＝ｘ×sinδ ＋ ｙ×cosδ ・・・・（７）
の２式により求められる。δが正の値の場合は右回り、負の値の場合は左回りに回転する。
【００５８】
次に、電子カメラ１０と電子カメラ１１により撮像された画像データから筆記部材とカラー表示装置１２の平面との接触を判断する方法について説明する。情報入出力装置１の電子カメラ１０は、ＣＭＯＳイメージセンサ５１の撮像領域の中で、カラー表示装置１２の平面と垂直方向については画像信号を出力させる画素を制限する。すなわち、カラー表示装置１２の平面から所定の距離までの範囲を撮像している画素のみについて画像信号を出力するように制御する。そして、この画像信号をＡ／Ｄ変換して、このデジタル画像データを制御装置２の画像処理回路（１）２９へ出力する。画像処理回路（１）２９は、この入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う。このような物体の輪郭線の抽出は、例えば、微分により画素間の濃度勾配を求め、その方向と大きさから輪郭線を判定する方法等がある。この方法の１つが、特公平８−１６９３１号公報において開示されている。
【００５９】
このようにして輪郭線が抽出されると、その輪郭線の形状よりその物体が筆記部材であるか否かを判断する。この形状判断は、画像認識技術を用いて行う。この形状認識の方法としては、例えば、まず物体の重心を求め、この重心と輪郭線までの距離を重心の回り（３６０°）について順次求め、この角度と距離の関係から輪郭線の形状を特定する方法がある（特開平８−３１５１５２号公報参照）。
【００６０】
こうして得られた輪郭線の形状に関するデータは、筆記部材の形状としてＲＯＭ２４またはハードディスク２７に予め記憶されたデータと比較することで、その形状の物体が筆記部材であるか否かを判断する。筆記動作時は、筆記部材の筆記面に対する傾きが一定でないため、物体の重心と輪郭線とを結ぶ基準線（０°の位置）をある角度の範囲内で回転させて予め記憶されたデータと比較する。この筆記部材の画像および基準線の回転の例を図７に示す。なお、筆記部材の形状に関するデータを複数種類用意しておき、形状の判断処理時にこれらを全て利用してもよい。
【００６１】
次に、上記の判断処理により筆記部材であると判断した場合は、その筆記部材が筆記面に接触したか否かを判断する。ここで、筆記面は図７に示したように撮像領域の１つの辺に相当している。そこで、筆記部材の像がこの筆記面に相当した辺に接触したか否かを判断すればよい。筆記部材が筆記面に接触したと判断した場合、この接触点の結像位置と広角レンズ５０の光軸の結像位置との距離ｈを求める。図８の例では、広角レンズ５０の光軸の結像位置をｈ０、接触点の結像位置をｈ１としてｈは、
ｈ＝ｈ０−ｈ１
で求められる。なお、ｈ０とｈ１は、ＣＭＯＳイメージセンサ５１の縦方向の基準となる辺からの画素数と画素間の距離（画素ピッチ）より求められる。
【００６２】
このようにして距離ｈが求まると、式（１）と式（２）より既知の値を持つｆとαを用いて角度β１が求まることになる。
【００６３】
画像処理回路（２）３０においても上記と同様な処理を行うことにより、角度β２を求めることができる。
【００６４】
これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より筆記面における接触点の座標（ｘ，ｙ）を求めることができる。
【００６５】
次に、本実施の形態の情報入出力システム１００において実行される処理の内、従来の情報入出力システムによって行われている処理と同様の処理についてはその説明を省略し、情報入出力システム１００が備える特長的な機能を実現する処理について以下に説明する。ここでは、制御装置２のＣＰＵ２０がプログラムに基づいて実行する特長的な機能について説明する。
【００６６】
なお、本実施の形態においては、動画や静止画は使用しないため、表示コントローラ３１中の信号の流れは、
ＰＣＩバス４１→グラフィックコントローラ６０→グラフィック用ビデオメモリ６１→グラフィックデータ変換部６２→表示データ生成部６３→ＤＡＣ６４→カラー表示装置１２
のみとなる。背景と描画データ、カーソルデータの重ね合わせ処理は、グラフィックコントローラ６０にて実行される。
【００６７】
図９の表示例に示すように、カラー表示装置１２には、描画線（手書き線）の色を設定したり筆記領域（黒板）の背景色を設定するためのアイコンが表示されており、ユーザがこれにタッチするとプルダウンメニューが表示され、このメニュー操作により描画線や背景の色を適宜設定、変更できるようになっている。「描画線」（鉛筆マーク）アイコンが選択されると、２種類の線についての属性を表示する。「線１」の線は、色が黒、太さが１．５pt（ポイント）であり、「線２」の線は、色が赤、太さが２ptである。各線はその色で表示する。また、いずれの線も色の設定が背景色から自動的に決まる自動モードに設定されている。図９の表示例は、背景色が白である場合を示している。背景色と「線１」の線色、「線２」の線色の組合せデータテーブルは予め制御装置２のＲＯＭ２４に記憶されており、設定されている背景色に従って２つの線色が一義的に決まるようになっている。
【００６８】
図９に示したプルダウンメニューで「線の設定」が選択されると、「線の設定」を行うウィンドウを表示させる。この「線の設定」ウィンドウの表示例を図１０に示す。図１０は「線２」の線の属性を表示しており、「自動」のチェックボックスのチェックを解除すると、線の色の自動設定モードが解除される。また、線種は実線の他に点線や一点鎖線等を選択できるようになっている。線の色の自動設定モードが解除されている状態では、線の色は４０色のカラーパレットの中から選択できる。また、「線１」を選択すると、「線１」の線の属性が表示される。
【００６９】
背景色の設定は、ユーザが「背景色」アイコンを選択して「背景色の設定」ウィンドウを開き、このウィンドウ中にあるカラーパレットを使用して色を設定（変更）することができる。このウィンドウの表示例は省略する。２つの線の色が共に自動設定モードになっているときに背景色が変更されると、ＲＯＭ２４に記憶された背景色と２つの線色の組合せデータテーブルを参照して、「線１」の線色および「線２」の線色をそれぞれ変更する。この変更は、線の属性情報（メインメモリ２１またはハードディスク２７に記憶）の変更とカラー表示装置１２への表示データの変更である。例えば、背景色が白から緑に変更されると、「線１」は白、「線２」は桃色にそれぞれ変更される。なお、背景色の緑と「線２」の線色である桃色とは補色の関係にあり、「線２」の線は目立って見える。背景色が変更されると、ＣＰＵ２０は背景用ユーザプレーン番号と変更後の色情報（緑）を含めた塗りつぶしコマンドと「線１」の線描画用ユーザプレーン番号と変更後のその線の色情報（白）を含めた描画色変更コマンド、「線２」の線描画用ユーザプレーン番号と変更後のその線の色情報（桃色）を含めた描画色変更コマンドをグラフィックコントローラ６０へ渡す。そして、それぞれの変更された色に従って、カラー表示装置１２の表示画面が更新される。表示色第一設定手段を実現する上記の制御装置２の動作フローを図１１に示す。
【００７０】
なお、「線１」の線または「線２」の線のいずれか一方のみが自動設定モードになっている場合は、背景色と自動設定モードでない線の色に基づいて対象の線の色を変更するようにしてもよい。この場合、１つの背景色に対する２つの線色の組合せを複数用意しておき（ＲＯＭ２４にテーブルで記憶）、その中から適応的に選択する方法がある。この詳細な説明については省略する。
【００７１】
次に、「線１」と「線２」の２種類の線のほかに、さらに視覚的に強調させる「強調」の線がある場合について説明する。前述した「線１」と「線２」の２種類の線のみがある場合と同様に、「描画線」（鉛筆マーク）アイコンが選択されると、３種類の線についての属性が表示される。この表示例を図１２に示す。「強調」の線は、色が赤、太さが２ptであり、「線１」の線は、色が黒、太さが１．５pt、「線２」の線は、色が青、太さが１．５ptである。また、いずれの線も色の設定が背景色から自動的に決まる自動モードに設定されている。今、背景色が白である場合を示している。背景色と「強調」の線色、「線１」と「線２」の線色の組合せデータテーブルは予め制御装置２のＲＯＭ２４に記憶されており、設定されている背景色に従って３つの線色が一義的に決まるようになっている。
【００７２】
図１２に示したプルダウンメニューで「線の設定」が選択されると、「線の設定」を行うウィンドウを表示させる。この「線の設定」ウィンドウの表示例を図１３に示す。図１３は「強調」の線の属性を表示している。表示されている各メニューの機能は図１０と同様である。
【００７３】
３つの線の色が全て自動設定モードになっているときに背景色が変更されると、ＲＯＭ２４に記憶された背景色と３つの線色の組合せデータテーブルを参照して、３つの線色をそれぞれ変更する。例えば、背景色が白から緑に変更されると、「強調」の線は桃色、「線１」は白、「線２」は水色にそれぞれ変更される。なお、背景色の緑と「強調」の線色である桃色とは補色の関係にあり、「強調」の線は目立って見える。そして、それぞれ変更された色に従って、カラー表示装置１２の表示画面が更新される。
【００７４】
なお、「強調」、「線１」、「線２」の全ての線が自動設定モードになっていない場合は、背景色と自動設定モードでない線の色に基づいて対象の線の色を変更するようにしてもよい。この場合、１つの背景色に対する３つの線色の組合せを複数用意しておき（ＲＯＭ２４にテーブルで記憶）、その中から適応的に選択する方法がある。この詳細な説明については省略する。
【００７５】
続いて、描画線の色が全て自動設定モードになっているときに背景色が変更されるとその背景色に従って全ての線色が一義的に決まるのではなく、この全ての線色の組合せを１つの背景色に対して複数用意しておき、これらの中からユーザに選択させる場合について説明する。ここでは、描画線の種類として、「強調」、「線１」、「線２」の３種類がある場合について説明する。
【００７６】
ユーザにより「描画線」アイコンが選択されると、３種類の線についての属性を表示する。この表示例を図１４に示す。ここでは、背景色が緑、「強調」の線が桃色、「線１」が白、「線２」が水色であるとする。
【００７７】
図１４に示したプルダウンメニューの一番下にある「次」が選択されると、３種類の中の１つ以上の線の色を変更する。例えば、「強調」の線だけを黄色に変更する。この３つの線色の組合せは、１つの背景色に対して複数組が視覚的に好ましい順序にＲＯＭ２４にテーブルで記憶されており、ユーザにより次の組合せが選択されると、このデータテーブルの次の組合せを参照して、線の属性（色）を変更する。前記のプルダウンメニューが表示された状態で「描画線」アイコンが選択されると、そのときに表示していた線の属性を有効なデータとして設定する。表示色選択手段を実現する上記の制御装置２の動作フローを図１５に示す。
【００７８】
なお、１つの背景色に対するこの線色の組合せの優先順位は、本システムが使用される用途に応じて変わるように動作させることもできる。例えば、ビジネス用途で使用する場合、桃色はビジネスの場にそぐわないため、桃色を使用した線の組合せは優先順位を低く設定する。この使用用途の設定は、例えば装置の設置時に保守モードにて設定できるようにする。そして、この使用用途と各線色の組合せの優先順位はＲＯＭ２４に記憶しておく。
【００７９】
ところで、カラー表示装置１２には、描画線の色を設定したり筆記領域の背景色を設定するためのアイコンに加えて「カーソル」の色を設定するためのアイコンが表示されており（図９参照）、ユーザがこれにタッチすると「カーソル色の設定」ウィンドウを開き、このウィンドウ中にあるカラーパレットを使用して色を設定（変更）することができる。このウィンドウの表示例は省略する。なお、ここでは、描画線が２種類の場合を例にとって説明する。
【００８０】
背景色と「カーソル」の色、「線１」の線色、「線２」の線色の組合せデータテーブルは予め制御装置２のＲＯＭ２４に記憶されており、設定されている背景色に従ってカーソルの色と２つの線色が一義的に決まるようになっている。例えば、背景色が白の場合、「カーソル」は緑、「線１」は黒、「線２」は赤であり、背景色が白から緑に変更されると、「カーソル」は水色、「線１」は白、「線２」は桃色にそれぞれ変更される。カーソル表示色設定手段を実現する上記の制御装置２の動作フローを図１６に示す。
【００８１】
次に、情報入出力システム１００が設置される背後あるいは周囲の色（環境色）に近い色を設定し、この色に基づいて筆記領域の背景色および描画線の色を自動的に設定する場合について説明する。環境色は、保守モードにて設定される。
【００８２】
保守モードにて「環境色の設定」が選択されると、図１０に示したのと同様なカラーパレットをカラー表示装置１２に表示する。環境色と筆記領域の背景色および描画線の色の組合せデータテーブルは予め制御装置２のＲＯＭ２４に記憶されており、ユーザが表示されたカラーパレットの中から情報入出力システム１００が設置される背後あるいは周囲の色に近い色を選択すると、その選択された環境色に従って筆記領域の背景色および描画線の色が一義的に決まるようになっている。例えば、描画線が「線１」と「線２」の２種類あり、環境色として薄茶色（ベージュ）が設定されている場合には、背景色を薄い黄色、「線１」を黒、「線２」を赤に設定する。また、環境色として桃色が設定されている場合には、背景色を薄い赤、「線１」を青、「線２」を黄色に設定する。環境色登録手段を実現する上記の制御装置２の動作フローを図１７に示す。
【００８３】
続いて、背景色と描画線の色の組合せを１つの環境色に対して複数用意しておき、これらの中からユーザに選択させる場合について説明する。
【００８４】
保守モードにて「環境色の設定」が選択されると、カラーパレットをカラー表示装置１２に表示し、ユーザがその中から情報入出力システム１００が設置される背後あるいは周囲の色に近い色を選択すると、背景色と描画線の色の組合せを選択するための「色設定」ウィンドウを表示させる。この「色設定」ウィンドウの表示例を図１８に示す。今、環境色として薄茶色が設定されており、背景色が薄い黄色、「線１」が黒、「線２」が赤に表示されている。図１８に示すウィンドウ中の「次」ボタンが選択されると、背景色を薄茶色、「線１」を黒、「線２」を青に表示する。ここで、「設定」ボタンが選択されると、背景色および各線の色を現在表示されている色に確定する。組合せ選択手段を実現する上記の制御装置２の動作フローを図１９に示す。
【００８５】
次に、本発明の第二の実施の形態を図２０ないし図３１に基づいて説明する。なお、前述した第一の実施の形態と同一部分は同一符号で示し説明も省略する。第一の実施の形態においては、情報入出力システム１００が備える特長的な機能として描画線や背景の色を適宜設定、変更する機能について説明したが、本実施の形態においては、文字や背景の色を適宜設定、変更する機能について説明について説明するものである。
【００８６】
なお、本実施の形態においても、動画や静止画は使用しないため、表示コントローラ３１中の信号の流れは、
ＰＣＩバス４１→グラフィックコントローラ６０→グラフィック用ビデオメモリ６１→グラフィックデータ変換部６２→表示データ生成部６３→ＤＡＣ６４→カラー表示装置１２
のみとなる。背景と描画データ、カーソルデータの重ね合わせ処理は、グラフィックコントローラ６０にて実行される。
【００８７】
図２０の表示例に示すように、カラー表示装置１２には、文字の色を設定したり背景色を設定するためのアイコンが表示されており、これらのアイコンを選択することにより、文字や背景の色を適宜設定、変更できるようになっている。
【００８８】
ユーザにより「文字」アイコンが選択されると、「文字の設定」を行うウィンドウを表示させる。この「文字の設定」ウィンドウの表示例を図２１に示す。図２１中、「フォント」は「明朝」、「ゴシック」等のフォントの種類を、「大きさ」は文字の大きさを、「スタイル」は「太字」、「斜体」等の文字のスタイルを、それぞれ変更できる。文字の色は４０色のカラーパレットの中から選択できる。このウィンドウ中の「色の変更」が選択されると、既に表示されている文字の色以外で背景色に対して目立つ色を４０色のカラーパレットの中から自動的に選択する。なお、１つの背景色に対して、その上に表示する文字の色を、例えば目立つ色の順にＲＯＭ２４に予めデータテーブルとして記憶しておき、「色の変更」が選択されたときには、このデータテーブルを参照して目立つ色の順に文字の色を選択するとよい。例えば、背景色が白で現在の文字の色が黒のみの場合に「色の変更」が選択されると、それ以降にキーボード３から入力される文字の色を赤で表示する。既に表示されている文字の色を変更する場合は、色を変更したい文字列を指定してから「文字」アイコンを選択して「文字の設定」ウィンドウを開いて色の変更操作を行うことで指定した文字列の色を変更することができる。
【００８９】
また、図２０に示した「背景色」アイコンが選択されると、「背景色の設定」を行うウィンドウを表示させる。このウィンドウには図２１（「文字の設定」ウィンドウ）に示したのと同じ４０色のカラーパレットを表示する。そして、このカラーパレットを使用して背景色を設定（変更）することができる。なお、このウィンドウの表示例は省略する。
【００９０】
次に、背景色を変更したときに、文字の表示色を変更する場合について説明する。背景色が白で文字の色が黒と赤である場合に背景色が緑に変更されると、黒の文字色は白に、赤の文字色は桃色にそれぞれ変更される。なお、背景色の緑と文字色である桃色とは補色の関係にあり、この色の文字は目立って見える。背景色が変更されると、ＣＰＵ２０は背景用ユーザプレーン番号と変更後の色情報（緑）を含めた塗りつぶしコマンド、および文字表示用ユーザプレーン番号と黒の文字色は白に、赤の文字色は桃色にそれぞれ変更する表示色変更コマンドをグラフィックコントローラ６０へ渡す。そして、それぞれの変更された色に従って、カラー表示装置１２の表示画面が更新される。なお、背景色とそれに対応した各文字色との組合せデータテーブルは予めＲＯＭ２４に記憶されており、設定されている背景色に従って２つ、あるいはそれ以上の文字色が一義的に決まるようになっている。表示色第一設定手段を実現する上記の制御装置２の動作フローを図２２に示す。
【００９１】
なお、上記は文字の色を変更する場合について説明したが、閉領域内（図形内）の塗りつぶし等のグラフィックについても、背景色に対して目立つ色を自動的に選択させることができる。この詳細な説明については省略する。
【００９２】
次に、２つの文字色のほかに、さらに視覚的に強調させる「強調」の文字色がある場合について説明する。前述した２つの文字色がある場合と同様に、「文字」アイコンが選択されると、「文字の設定」ウィンドウを表示させる。この表示例を図２３に示す。図２３は図２１に対して「強調色」のメニューが追加されている。ここで「強調色」が選択されると、それ以降にキーボード３から入力される文字の色を背景色に対して最も目立つ色で表示する。この最も目立つ色として、背景色に対する補色を選択するとよい。強調色に変更したい文字列が指定されている状態で「強調色」が選択されると、その指定された文字列を背景色に対して最も目立つ色で表示する。なお、「強調色」の選択操作が行われたときに強調色と同じ色の文字が既に存在している場合には、その既存の文字の色を他の色に変更する。背景色とそれに対応した強調色および各文字色との組合せデータテーブルは予めＲＯＭ２４に記憶されており、設定されている背景色に従ってこれらの文字色が一義的に決まるようになっている。例えば、背景色が緑で白と桃色の文字が表示されている状態で「強調色」が選択されると、既存の桃色の文字を水色に変更し、それ以降にキーボード３から入力される文字の色を桃色で表示する。上記の制御装置２の動作フローを図２４に示す。
【００９３】
なお、上記は文字の色を変更する場合について説明したが、閉領域内（図形内）の塗りつぶし等のグラフィックについても、背景色に対して最も目立つ色を自動的に選択させることができる。この詳細な説明については省略する。
【００９４】
続いて、背景色が変更されるとその背景色に従って複数の文字色が一義的に決まるのではなく、この文字色の組合せを１つの背景色に対して複数用意しておき、これらの中からユーザに選択させる場合について説明する。ここでは、文字色の種類として、「強調色」、「文字色１」、「文字色２」の３種類がある場合について説明する。
【００９５】
ユーザにより「文字」アイコンが選択されると、「文字の設定」ウィンドウを表示させる。この表示例を図２５に示す。図２５は図２３の「強調色」のメニューが「色の組合せ」のメニューに変更されたものである。
【００９６】
ここで「色の組合せ」が選択されると、「表示色の組合せ」ウィンドウを表示させる。この表示例を図２６に示す。図２６で、表示文字色の数は可変に設定できるようになっており、現在は３が設定されている。この表示文字色の数に対応して３種類の色が実際に表示されている（「強調色」は桃色、「文字色１」は白、「文字色２」は水色）。ここで、１番目の色は強調色である。表示文字色の数に４以上が設定されると、「表示色の組合せ」ウィンドウ中の右の空白領域に「文字色３」、「文字色４」・・・・と文字色が追加して表示される。この「表示色の組合せ」ウィンドウ中の「次」メニューが選択されると、３種類の中の１つ以上の文字色を変更する。例えば、「強調色」だけを黄色に変更する。この３つの文字色の組合せは、１つの背景色に対して複数組が視覚的に好ましい順序にＲＯＭ２４にテーブルで記憶されており、ユーザにより次の組合せが選択されると、このデータテーブルの次の組合せを参照して、表示色を変更する。組合せ選択手段を実現する上記の制御装置２の動作フローを図２７に示す。
【００９７】
なお、１つの背景色に対するこの文字色の組合せの優先順位は、本システムが使用される用途に応じて変わるように動作させることもできる。例えば、ビジネス用途で使用する場合、桃色はビジネスの場にそぐわないため、桃色を使用した色の組合せは優先順位を低く設定する。この使用用途の設定は、例えば装置の設置時に保守モードにて設定できるようにする。そして、この使用用途と各文字色の組合せの優先順位はＲＯＭ２４に記憶しておく。
【００９８】
ところで、カラー表示装置１２には、文字の色を設定したり背景色を設定するためのアイコンに加えて「カーソル」の色を設定するためのアイコンが表示されており（図２０参照）、ユーザがこれにタッチすると「カーソル色の設定」ウィンドウを開き、このウィンドウ中にあるカラーパレットを使用して色を設定（変更）することができる。このウィンドウの表示例は省略する。
【００９９】
背景色とそれに対応した複数の文字色、および「カーソル」の色の組合せデータテーブルは予め制御装置２のＲＯＭ２４に記憶されており、設定されている背景色に従ってカーソルの色と複数の文字色が一義的に決まるようになっている。例えば、背景色が白の場合、「カーソル」は緑、第１の文字色は黒、第２の文字色は赤であり、背景色が白から緑に変更されると、「カーソル」は水色、第１の文字色は白、第２の文字色は桃色にそれぞれ変更する。カーソル表示色設定手段を実現する上記の制御装置２の動作フローを図２８に示す。
【０１００】
次に、情報入出力システム１００が設置される背後あるいは周囲の色（環境色）に近い色を設定し、この色に基づいて背景色および文字の色を自動的に設定する場合について説明する。環境色は、保守モードにて設定される。
【０１０１】
保守モードにて「環境色の設定」が選択されると、図２１に示したのと同様なカラーパレットをカラー表示装置１２に表示する。環境色と背景色および複数の文字の色の組合せデータテーブルは予めＲＯＭ２４に記憶されており、ユーザが表示されたカラーパレットの中から情報入出力システム１００が置かれる背後あるいは周囲の色に近い色を選択すると、その選択された環境色に従って背景色および複数の文字の色が一義的に決まるようになっている。例えば、環境色として薄茶色（ベージュ）が設定されている場合には、背景色を薄い黄色、第１の文字色を黒、第２の文字色を赤に設定する。また、環境色として桃色が設定されている場合には、背景色を薄い赤、第１の文字色を青、第２の文字色を黄色に設定する。環境色登録手段を実現する上記の制御装置２の動作フローを図２９に示す。
【０１０２】
続いて、背景色と文字の色の組合せを１つの環境色に対して複数用意しておき、これらの中からユーザに選択させる場合について説明する。
【０１０３】
保守モードにて「環境色の設定」が選択されると、カラーパレットをカラー表示装置１２に表示し、ユーザがその中から情報入出力システム１００が設置される背後あるいは周囲の色に近い色を選択すると、背景色と文字の色の組合せを選択するための「表示色の組合せ」ウィンドウを表示させる。この「表示色の組合せ」ウィンドウの表示例を図３０に示す。今、環境色として薄茶色が設定されており、背景色が薄い黄色、第１の文字色が黒、第２の文字色が赤に表示されているときに、このウィンドウ中の「次」ボタンが選択されると、背景色を薄茶色、第１の文字色を黒、第２の文字色を青にする。ここで、「設定」ボタンが選択されると、背景色および各文字の色を現在「表示色の組合せ」ウィンドウに表示されている色に変更する。組合せ選択手段を実現する上記の制御装置２の動作フローを図３１に示す。
【０１０４】
次に、本発明の第三の実施の形態を図３２ないし図３５に基づいて説明する。なお、前述した第一の実施の形態および第二の実施の形態と同一部分は同一符号で示し説明も省略する。本実施の形態は、筆記領域の背景が単色である場合を示した前述した第一の実施の形態および第二の実施の形態と異なり、筆記領域の背景として静止画像や動画像が使用されている場合を示したものである。
【０１０５】
なお、本実施の形態においては、動画や静止画を使用するため、表示コントローラ３１中のグラフィックデータの信号の流れは、
ＰＣＩバス４１→グラフィックコントローラ６０→グラフィック用ビデオメモリ６１→グラフィックデータ変換部６２→表示データ生成部６３→ビデオデータ重畳部６８→ＤＡＣ６４→カラー表示装置１２
となる。
【０１０６】
ＹＵＶビデオ信号は、情報の大部分が輝度（Ｙ）に集中している。そこで、画像の輝度成分について空間周波数分布を調べることで、その画像の特徴を判断することができる。本実施の形態においては、静止画や動画のデータは空間周波数チェック部６９を通り、ここで空間周波数分布が調べられる。空間周波数チェック部６９は、ＭＰＥＧデコーダ３２から入力されるＹＵＶビデオデータあるいはＣＰＵ２０にてソフトウェアにより伸長された静止画のＹＵＶビデオデータを８×８画素ずつのブロックに分割して、各ブロック毎に輝度成分（Ｙ）について空間周波数分布を調べる。
【０１０７】
この方法として、例えば、２次元の離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いる。２次元の離散コサイン変換は次式で示される。
【０１０８】
【数１】
式（８）で、Nはブロックの水平方向および垂直方向の画素数であり、ここではN＝８である。ｆ（ｉ，ｊ）は空間周波数チェック部６９に入力された各画素の輝度値、Ｆ（ｕ，ｖ）は水平方向の空間周波数ｕと垂直方向の空間周波数ｖにおけるＤＣＴ係数である。この空間周波数ｕ，ｖとＤＣＴ係数Ｆ（ｕ，ｖ）との関係から空間周波数分布を判断することができる。すなわち、大きな値のｕ，ｖに対してＦ（ｕ，ｖ）の値が大きければ高い空間周波数成分の多い画像であると判断できる。
【０１１０】
このようにして、各ブロック毎に高い空間周波数成分の多い画像であるか否かが判断され（背景画像判断手段）、高い空間周波数成分の多い画像と判断されたブロックの数が全てのブロックの数に対して所定の割合以上であった場合に、その画像全体が高い空間周波数成分の多い画像であるとみなす。そして、画像全体が高い空間周波数成分の多い画像であると判断した場合には、全ての画素の輝度成分（Ｙ）の平均を求める。
【０１１１】
そして、この平均値が所定の値よりも大きい場合には（輝度値判断手段）、空間周波数チェック部６９は高い空間周波数成分が多く、また輝度の大きい画像である旨をＣＰＵ２０へ通知する。ＣＰＵ２０はこの通知を受けると、描画線の色を黒に設定する（表示色第二設定手段）。なお、描画線が複数ある場合には、いずれの線も明度の低い（暗い）色に設定する。加えて、ＣＰＵ２０はこの通知を受けると、全ての文字の色を黒に設定する。なお、文字の色を全て黒にするのではなく、各文字色毎にその明度を低くした（暗くした）色に設定してもよい。
【０１１２】
一方、画像全体が高い空間周波数成分の多い画像であると判断し、全ての画素の輝度成分（Ｙ）の平均が所定の値よりも小さい場合には、空間周波数チェック部６９は高い空間周波数成分が多く、また輝度の小さい画像である旨をＣＰＵ２０へ通知する。ＣＰＵ２０はこの通知を受けると、描画線の色を白に設定する（表示色第二設定手段）。なお、描画線が複数ある場合には、いずれの線も明度の高い（明るい）色に設定する。加えて、ＣＰＵ２０はこの通知を受けると、全ての文字の色を白に設定する。なお、文字の色を全て白にするのではなく、各文字色毎にその明度を高くした（明るくした）色に設定してもよい。
【０１１３】
その後、ユーザにより筆記入力があると、それに対応した描画線や文字を設定された色にて静止画または動画に重ねて表示する。
【０１１４】
なお、動画の場合には、空間周波数チェック部６９は所定の時間間隔で、例えば１０秒間隔で空間周波数分布のチェックをするようにするとよい。
【０１１５】
上記の空間周波数チェック部６９の動作フローを図３２に示す。上記の動作フローでは、筆記領域の背景画像全体について判断処理する場合を示したが、背景画像を複数の領域に分割して、分割された各領域毎に空間周波数の分布をチェックしたり、輝度の判断処理をして、描画線の色や文字の色の設定をより適応的にすることもできる。この詳細な説明は省略する。
【０１１６】
次に、高い空間周波数成分が少ない静止画や動画が筆記領域の背景画像である場合について説明する。この場合、描画線の色や文字の色を背景画像に対して目立つような色に設定する。
【０１１７】
空間周波数分布のチェックは、空間周波数チェック部６９にて前述したような２次元の離散コサイン変換を用いた方法で行う。そして、画像全体が高い空間周波数成分の少ない画像であると判断した場合には、空間周波数チェック部６９から出力されビデオデコーダ６５を通って動画／静止画用ビデオメモリ６６に入力されたR、G、Bデータより、この画像全体の中で最も多く使用されている色（画像の特徴色）を調べる。この方法として、例えば、１画素ずつその色をいくつかの代表的な色に色の類似度に基づいてグループ化し、最も多い代表色を特定してもよい。そして、描画線の色や文字の色を、この特定された代表色に対して目立つ色、例えば補色の関係にある色に設定する（表示色第三設定手段）。なお、描画線の色や文字の色が複数ある場合には、１つの背景色に対する複数の線色の組合せをＲＯＭ２４にテーブルで用意しておき、特定された代表色を背景色としてこのテーブルを参照し、描画線の色や文字の色を設定する。上記の制御装置２の動作フローを図３３に示す。
【０１１８】
続いて、高い空間周波数成分が多い静止画や動画が筆記領域の背景画像である場合に、描画線や文字が目立つように、描画線や文字の太さを太くする動作について説明する。
【０１１９】
空間周波数分布のチェックは、空間周波数チェック部６９にて前述したような２次元の離散コサイン変換を用いた方法で行う。そして、画像全体が高い空間周波数成分の多い画像であると判断した場合には、この情報をＣＰＵ２０へ通知する。ＣＰＵ２０はこの通知を受けると、現在の描画線や文字の太さをチェックして、所定の太さよりも細い場合には、その描画線や文字を所定の太さに設定する（サイズ切替手段）。なお、複数の太さの描画線や文字がある場合、各描画線や文字の太さに応じて太さを変更してもよい。例えば、「線１」が１．５pt、「線２」が２ptであった場合、それぞれ３pt、４ptに変更する。上記の制御装置２の動作フローを図３４に示す。
【０１２０】
次に、高い空間周波数成分が多い静止画や動画が筆記領域の背景画像である場合に、描画線や文字が目立つように、描画線や文字に縁を付加して表示する動作について説明する。
【０１２１】
空間周波数分布のチェックは、空間周波数チェック部６９にて前述したような２次元の離散コサイン変換を用いた方法で行う。そして、画像全体が高い空間周波数成分の多い画像であると判断した場合には、この情報をＣＰＵ２０へ通知する。ＣＰＵ２０はこの通知を受けると、描画線の色に対応した色を含めた縁を付加する描画コマンドや文字の色に対応した色を含めた縁を付加する描画コマンドをグラフィックコントローラ６０へ渡す。グラフィックコントローラ６０はこの描画コマンドを受けると、現在の描画線よりも太く又は現在の文字よりも大きい、描画コマンドで指定された色の描画線や文字を生成し、この新しく生成した描画線や文字の上に既存の描画線や文字を重ねる。このようにして、新しく生成した描画線や文字の中で既存の描画線や文字が重なっていない部分が線の縁となる。そして、この縁の付いた描画線や文字を静止画あるいは動画に重ね合わせてカラー表示装置１２に表示する。なお、描画線や文字の色と、それに付加する縁の色は、ＲＯＭ２４に対応付けて記憶しておき、ＣＰＵ２０はこの情報を参照して付加する縁の色を特定する。上記の制御装置２の動作フローを図３５に示す。
【０１２２】
なお、静止画や動画が筆記領域の背景画像である場合には、描画線や文字が目立つように、上述した方法で線の太さを太くしたり、また／または線に縁を付加して表示するようにしても良い。この動作は、背景画像が静止画や動画であれば実行し、画像の空間周波数のチェックは行う必要がない。
【０１２３】
なお、各実施の形態においては、カラー表示装置１２を含む情報入出力装置１と表示制御装置２とから構成されている情報入出力システム１００である電子黒板システムを適用したが、これに限るものはなく、カラー表示装置１２と表示制御装置２とで構成されるものであっても良い。
【０１２４】
【発明の効果】
請求項１記載の発明によれば、文字や描画線等の描画データをカラー表示装置に表示させる表示制御装置において、前記カラー表示装置が設置された環境に応じた環境色を登録する環境色登録手段とを備え、前記環境色登録手段にて登録された前記環境色に基づき、１つまたは複数種類の前記描画データの表示色と前記表示領域の背景色とを設定することにより、描画データの表示色及び表示領域の背景色とカラー表示装置が設置された環境に応じた環境色とを視覚的に好ましい組合せにすることができるので、装置の利便性を向上させることができる。
【０１２５】
請求項２記載の発明によれば、請求項１記載の表示制御装置において、前記描画データを表示する表示領域の背景色に基づき、１つまたは複数種類の前記描画データの表示色を設定する表示色第一設定手段をさらに備えることにより、カラー表示装置に表示される文字や描画線等の描画データの表示色を背景色に対して目立つように設定することで、文字や描画線等の描画データの色と背景色とが類似した色のために描画データが見づらいといった不具合を防止することができるとともに、ユーザが描画データの色を設定する作業負担を軽減することができる。
【０１２６】
請求項３記載の発明によれば、請求項１または２記載の表示制御装置において、複数種類の前記描画データの中に特に視覚的に強調させることが必要な前記描画データがある場合、その強調が必要な描画データが他の描画データよりも強調して見えるように各描画データの表示色を調整することにより、カラー表示装置に表示される文字や描画線等の描画データの表示色が複数ある場合、それらの描画データが背景色に対して目立つように表示色が設定されるとともに、特に視覚的に強調させることが必要な描画データについては他の描画データに比べてさらに目立つように表示色が設定されるため、装置の利便性を向上させることができる。
【０１２７】
請求項４記載の発明によれば、請求項１〜３のいずれか一つに記載の表示制御装置において、前記表示領域の背景色に対する前記描画データの表示色の組合せ候補色を複数用意するとともに、各組合せ候補色に対して視覚的に好ましい順序に順位付けを行い、前記順位に従った優先度で前記組合せ候補色の中から一の前記組合せ候補色を前記描画データの表示色として選択させる表示色選択手段をさらに備えることにより、カラー表示装置に表示される文字や描画線等の描画データの表示色が複数ある場合、表示領域の背景色に対する描画データの表示色を視覚的に好ましい順序でユーザに選択させることができるので、ユーザが描画データの色を設定する作業負担を軽減することができ、装置の利便性を向上させることができる。
【０１２８】
請求項５記載の発明によれば、請求項１〜４のいずれか一つに記載の表示制御装置において、前記描画データの表示色及び前記描画データを表示する表示領域の背景色に基づき、カーソルの表示色を設定するカーソル表示色設定手段をさらに備えることにより、カラー表示装置に表示されるカーソルの表示色を背景色に対して目立つように設定することで、文字や描画線等の描画データの色又は背景色とカーソルの表示色が類似した色のためにカーソルが見づらいといった不具合を防止することができる。
【０１２９】
請求項６記載の発明によれば、請求項１〜５のいずれか一つに記載の表示制御装置において、前記環境色に対する前記描画データの表示色及び前記表示領域の背景色の組合せを複数用意し、前記組合せの中から一の前記組合せを選択させる組合せ選択手段をさらに備えることにより、描画データの表示色及び表示領域の背景色とカラー表示装置が設置された環境に応じた環境色とを視覚的に好ましい組合せにすることができるとともに、ので、ユーザの好みに合った色を設定することができるため、装置の利便性を向上させることができる。
【０１３０】
請求項７記載の発明によれば、請求項１〜６のいずれか一つに記載の表示制御装置において、前記描画データを表示する領域の背景画像の空間周波数分布を調べ、その背景画像に高い空間周波数成分が多いか否かを判断する背景画像判断手段と、前記背景画像判断手段により高い空間周波数成分が多い画像であると判断した場合、前記描画データを表示する領域の背景画像の各画素の輝度値の平均が所定の値よりも大きいか否かを判断する輝度値判断手段と、前記輝度値判断手段により平均輝度値が所定の値よりも大きいと判断した場合には前記描画データの表示色を黒とし、平均輝度値が所定の値よりも小さいと判断した場合には前記描画データの表示色を白とする表示色第二設定手段と、をさらに備えることにより、カラー表示装置に表示される文字や描画線等の描画データの背景が単色ではなく複数色から成る絵柄や静止画像または動画像であり、かつ、高い空間周波数成分が多い場合には、その背景画像の輝度によって描画データが黒あるいは白に設定されるため、描画データが見づらくなるのを防止することができる。
【０１３１】
請求項８記載の発明によれば、請求項７に記載の表示制御装置において、前記背景画像判断手段により高い空間周波数成分が少ない画像であると判断した場合、前記描画データを表示する領域の背景画像の各画素中で最も多い色に基づき、前記描画データの表示色を設定する表示色第三設定手段をさらに備えることにより、カラー表示装置に表示される文字や描画線等の描画データの背景が単色ではなく複数色から成る絵柄や静止画像または動画像であり、かつ、高い空間周波数成分が少ない場合には、描画データの表示色がその背景画像に最も多い色に対して目立つように設定されるため、描画データが見づらくなるのを防止することができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態の情報入出力システムを概略的に示すシステム構成図である。
【図２】制御装置に内蔵される各部の電気的接続を示すブロック図である。
【図３】表示コントローラに内蔵される各部の電気的接続を示すブロック図である。
【図４】情報入出力装置の各電子カメラの配置状態を示す説明図である。
【図５】電子カメラの広角レンズおよびＣＭＯＳイメージセンサ付近を示す拡大図である。
【図６】エッジ部の像上の数点の画素位置を示す説明図である。
【図７】筆記部材の画像および基準線の回転の例を示す説明図である。
【図８】接触点の結像位置と広角レンズの光軸の結像位置との距離の算出手法を示す説明図である。
【図９】「描画線」アイコンが選択された場合のプルダウンメニューの一例を示す平面図である。
【図１０】「線の設定」ウィンドウの表示例を示す平面図である。
【図１１】背景色の変更に伴い描画線の表示色を変更する際の制御装置の動作を示すフローチャートである。
【図１２】視覚的に強調させる「強調」の線がある場合の「描画線」アイコンが選択された場合のプルダウンメニューの一例を示す平面図である。
【図１３】視覚的に強調させる「強調」の線がある場合の「線の設定」ウィンドウの表示例を示す平面図である。
【図１４】線色の組合せを１つの背景色に対して複数用意した場合に「描画線」アイコンが選択された場合のプルダウンメニューの一例を示す平面図である。
【図１５】線色の組合せを１つの背景色に対して複数用意した場合における背景色の変更に伴い描画線の表示色を変更する際の制御装置の動作を示すフローチャートである。
【図１６】背景色及び描画線の表示色の変更に伴いカーソルの表示色を変更する際の制御装置の動作を示すフローチャートである。
【図１７】環境色の設定に伴い背景色及び描画線の表示色を設定する際の制御装置の動作を示すフローチャートである。
【図１８】背景色と描画線の色の組合せを選択するための「色設定」ウィンドウの表示例を示す平面図である。
【図１９】環境色の設定に伴い背景色と描画線の色との組合せを選択する際の制御装置の動作を示すフローチャートである。
【図２０】本発明の第二の実施の形態の情報入出力システムにおいて「文字」アイコンが選択された場合のプルダウンメニューの一例を示す平面図である。
【図２１】「文字の設定」ウィンドウの表示例を示す平面図である。
【図２２】背景色の変更に伴い文字の表示色を変更する際の制御装置の動作を示すフローチャートである。
【図２３】視覚的に強調させる「強調」の文字色がある場合の「文字の設定」ウィンドウの表示例を示す平面図である。
【図２４】視覚的に強調させる「強調」の文字の表示色を変更する際の制御装置の動作を示すフローチャートである。
【図２５】背景色と文字の色の組合せを選択するための「文字の設定」ウィンドウの表示例を示す平面図である。
【図２６】「表示色の組合せ」ウィンドウの表示例を示す平面図である。
【図２７】文字色の組合せを１つの背景色に対して複数用意した場合における背景色の変更に伴い文字の表示色を変更する際の制御装置の動作を示すフローチャートである。
【図２８】背景色及び文字の表示色の変更に伴いカーソルの表示色を変更する際の制御装置の動作を示すフローチャートである。
【図２９】環境色の設定に伴い背景色及び文字の表示色を設定する際の制御装置の動作を示すフローチャートである。
【図３０】背景色と文字の色の組合せを選択するための「表示色の組合せ」ウィンドウの表示例を示す平面図である。
【図３１】環境色の設定に伴い背景色と文字の色との組合せを選択する際の制御装置の動作を示すフローチャートである。
【図３２】本発明の第二の実施の形態の情報入出力システムにおいて制御装置の空間周波数チェック部の動作を示すフローチャートである。
【図３３】画像の特徴色に基づく描画線の色や文字の色を設定する際の制御装置の動作を示すフローチャートである。
【図３４】描画線や文字の太さを太くする際の制御装置の動作を示すフローチャートである。
【図３５】描画線や文字に縁を付加して表示する際の制御装置の動作を示すフローチャートである。
【符号の説明】
１ 情報入出力装置
２ 表示制御装置
１２ カラー表示装置
１００ 情報入出力システム
Claims (8)
- 文字や描画線等の描画データをカラー表示装置に表示させる表示制御装置において、
前記カラー表示装置が設置された環境に応じた環境色を登録する環境色登録手段とを備え、
前記環境色登録手段にて登録された前記環境色に基づき、１つまたは複数種類の前記描画データの表示色と前記表示領域の背景色とを設定することを特徴とする表示制御装置。 - 前記描画データを表示する表示領域の背景色に基づき、１つまたは複数種類の前記描画データの表示色を設定する表示色第一設定手段をさらに備えることを特徴とする請求項１に記載の表示制御装置。
- 複数種類の前記描画データの中に特に視覚的に強調させることが必要な前記描画データがある場合、その強調が必要な描画データが他の描画データよりも強調して見えるように各描画データの表示色を調整することを特徴とする請求項１または２に記載の表示制御装置。
- 前記表示領域の背景色に対する前記描画データの表示色の組合せ候補色を複数用意するとともに、各組合せ候補色に対して視覚的に好ましい順序に順位付けを行い、前記順位に従った優先度で前記組合せ候補色の中から一の前記組合せ候補色を前記描画データの表示色として選択させる表示色選択手段をさらに備えることを特徴とする請求項１〜３のいずれか一つに記載の表示制御装置。
- 前記描画データの表示色及び前記描画データを表示する表示領域の背景色に基づき、カーソルの表示色を設定するカーソル表示色設定手段をさらに備えることを特徴とする請求項１〜４のいずれか一つに記載の表示制御装置。
- 前記環境色に対する前記描画データの表示色及び前記表示領域の背景色の組合せを複数用意し、前記組合せの中から一の前記組合せを選択させる組合せ選択手段をさらに備えることを特徴とする請求項１〜５のいずれか一つに記載の表示制御装置。
- 前記描画データを表示する領域の背景画像の空間周波数分布を調べ、その背景画像に高い空間周波数成分が多いか否かを判断する背景画像判断手段と、
前記背景画像判断手段により高い空間周波数成分が多い画像であると判断した場合、前記描画データを表示する領域の背景画像の各画素の輝度値の平均が所定の値よりも大きいか否かを判断する輝度値判断手段と、
前記輝度値判断手段により平均輝度値が所定の値よりも大きいと判断した場合には前記描画データの表示色を黒とし、平均輝度値が所定の値よりも小さいと判断した場合には前記描画データの表示色を白とする表示色第二設定手段と、をさらに備えることを特徴とする請求項１〜６のいずれか一つに記載の表示制御装置。 - 前記背景画像判断手段により高い空間周波数成分が少ない画像であると判断した場合、前記描画データを表示する領域の背景画像の各画素中で最も多い色に基づき、前記描画データの表示色を設定する表示色第三設定手段をさらに備えることを特徴とする請求項７に記載の表示制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001075296A JP4480289B2 (ja) | 2001-03-16 | 2001-03-16 | 表示制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001075296A JP4480289B2 (ja) | 2001-03-16 | 2001-03-16 | 表示制御装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010028988A Division JP2010146026A (ja) | 2010-02-12 | 2010-02-12 | 表示制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002278538A JP2002278538A (ja) | 2002-09-27 |
| JP4480289B2 true JP4480289B2 (ja) | 2010-06-16 |
Family
ID=18932399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001075296A Expired - Fee Related JP4480289B2 (ja) | 2001-03-16 | 2001-03-16 | 表示制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4480289B2 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5058462B2 (ja) * | 2005-07-28 | 2012-10-24 | 京セラ株式会社 | 表示装置及び表示制御方法 |
| JP5002997B2 (ja) * | 2006-03-30 | 2012-08-15 | カシオ計算機株式会社 | 投影装置及びプログラム |
| JP2007286296A (ja) * | 2006-04-17 | 2007-11-01 | Sony Corp | メニュー画面表示制御装置、自発光表示装置及びプログラム |
| JP4813317B2 (ja) * | 2006-10-10 | 2011-11-09 | ソニー・エリクソン・モバイルコミュニケーションズ株式会社 | 携帯端末、装飾設定方法及び装飾設定プログラム |
| JP5228310B2 (ja) * | 2006-11-06 | 2013-07-03 | コニカミノルタ株式会社 | 映像表示装置 |
| JP2009193323A (ja) * | 2008-02-14 | 2009-08-27 | Sharp Corp | 表示装置 |
| JP2009259083A (ja) * | 2008-04-18 | 2009-11-05 | Koyo Electronics Ind Co Ltd | 画面表示方式 |
| US8490026B2 (en) * | 2008-10-27 | 2013-07-16 | Microsoft Corporation | Painting user controls |
| JP2010140199A (ja) * | 2008-12-10 | 2010-06-24 | Fujitsu Ltd | 情報処理装置、表示変更方法及び表示変更プログラム |
| JP4528858B2 (ja) * | 2008-12-25 | 2010-08-25 | 株式会社東芝 | 画像表示装置及び出力画像補正方法 |
| JP2011066738A (ja) * | 2009-09-18 | 2011-03-31 | Sanyo Electric Co Ltd | 投写型映像表示装置 |
| JP5209654B2 (ja) * | 2010-03-18 | 2013-06-12 | 株式会社コナミデジタルエンタテインメント | 表示装置、表示方法、ならびに、プログラム |
| JP4981946B2 (ja) * | 2010-03-29 | 2012-07-25 | 株式会社エヌ・ティ・ティ・ドコモ | 携帯端末及び携帯端末における文字色変更方法 |
| JP5252046B2 (ja) * | 2011-08-09 | 2013-07-31 | カシオ計算機株式会社 | 画像投影装置及びプログラム |
| JP5950161B2 (ja) * | 2012-09-10 | 2016-07-13 | カシオ計算機株式会社 | 印刷装置及びその印刷方法 |
| WO2014162604A1 (ja) * | 2013-04-05 | 2014-10-09 | 株式会社 東芝 | 電子機器および手書きデータ処理方法 |
| KR102176681B1 (ko) * | 2013-07-10 | 2020-11-09 | 삼성전자주식회사 | 객체 표시를 위한 전자 장치 및 방법 |
| JP2017021237A (ja) * | 2015-07-13 | 2017-01-26 | キヤノン株式会社 | 画像投影装置、画像投影システム、表示装置、および、表示システム |
| JP2019096098A (ja) * | 2017-11-24 | 2019-06-20 | セイコーエプソン株式会社 | 画像表示装置及びその制御方法 |
| JP7155842B2 (ja) * | 2018-10-05 | 2022-10-19 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
| CN113544002B (zh) * | 2019-03-29 | 2024-04-23 | 罗姆股份有限公司 | 半导体装置、使用了它的车载用显示器系统、电子设备 |
-
2001
- 2001-03-16 JP JP2001075296A patent/JP4480289B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002278538A (ja) | 2002-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4480289B2 (ja) | 表示制御装置 | |
| JP3870109B2 (ja) | 画像表示装置、画像表示方法、及び画像表示プログラム | |
| US9489165B2 (en) | System and method for virtual displays | |
| US5473740A (en) | Method and apparatus for interactively indicating image boundaries in digital image cropping | |
| US6275234B1 (en) | Display control system and method for controlling display of three-dimensional graphics data | |
| US8565525B2 (en) | Edge comparison in segmentation of video sequences | |
| CN107274351B (zh) | 图像处理设备、图像处理系统和图像处理方法 | |
| US8306353B2 (en) | Information processing apparatus with light processing, indication system, and computer readable medium | |
| US20050156943A1 (en) | Super imposed image display color selection system and method | |
| CN108647351B (zh) | 文本图像的处理方法、装置、存储介质及终端 | |
| JP5907196B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
| WO2017217011A1 (ja) | 画像処理装置および重畳画像生成方法 | |
| JP2015165608A (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
| JPH08123658A (ja) | アイコンパターンまたはアイコンの登録方法及び登録装置並びにアイコンの表示方法及び表示装置 | |
| JP2010146026A (ja) | 表示制御装置 | |
| US20020051155A1 (en) | Super imposed image display color selection system and method | |
| WO2024055531A1 (zh) | 照度计数值识别方法、电子设备及存储介质 | |
| JP4372494B2 (ja) | 画像処理装置、画像処理方法、プログラム、記録媒体 | |
| KR100580264B1 (ko) | 자동 화상 처리 방법 및 장치 | |
| US20210082155A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
| JP6930091B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
| JP3887151B2 (ja) | カラー表示制御装置、その表示色設定方法、記憶媒体、カラー表示装置及びその筆記色設定方法 | |
| JP2006215146A (ja) | 画像表示装置及び画像表示方法 | |
| JP2005045769A (ja) | 画像表示装置及び画像表示方法 | |
| US11495010B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040930 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060828 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100309 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100316 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140326 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |