JPH0869544A

JPH0869544A - 入出力装置

Info

Publication number: JPH0869544A
Application number: JP6202637A
Authority: JP
Inventors: Tatsuo Itabashi; 達夫板橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-08-26
Filing date: 1994-08-26
Publication date: 1996-03-12

Abstract

(57)【要約】（修正有）【目的】画面上の所定領域を選択することにより、その
領域に対応づけられた所定の処理を処理装置に起動させ
る入出力装置において、画面上の所定領域として任意の
形状の領域を設定可能にする。【構成】任意の形状の所定の処理に対応付けられた領域
を有する画像を表示部１１に表示し、その表示画面の任
意の位置を選択する。情報記憶部３３には、表示部１１
に表示された画像の各画素に対応した情報、例えば色情
報が記憶されており、処理テーブル４２には、色情報と
所定の処理が対応付けられて記憶されている。選択され
た画面の位置に対応する色情報が情報記憶部３３より読
み出され、その色情報に対応する所定の処理が処理テー
ブル４２を参照して決定される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、たとえばマウスなど
の、画面上の任意の位置を直接的に指定し選択すること
が可能な手段を用いて、画面上に表示した画像の所定の
領域を選択することにより、その領域に対応付けられた
所定の処理を処理装置に指示することができる入出力装
置に関する。

【０００２】

【従来の技術】従来、コンピュータなどの演算処理装置
や各種の情報機器に情報を入力したり、所定の処理の実
行を指示したりする手段としては、キーボードなどのボ
タン操作によるものがほとんどであった。しかし、演算
装置・表示装置などの性能向上や各種入力機器の出現、
またユーザインターフェイス向上への要求などにより、
各種の処理装置に対してより直接的・直感的に、データ
や動作の指示を入力する方法が種々の場面で用いられて
いる。

【０００３】特に、画面上に特定の動作や、特定のデー
タの選択、特定のプログラムの起動などを意味する画像
を表示し、その画像を画面上で直接選択することによ
り、所望の動作をさせるようなグラフィックユーザイン
ターフェイスを基本にした前記入力装置が急速に普及し
ている。前記特定の機能を意味する画像としては、色や
境界線により矩形や円形などの形状に区切られた領域の
中に、選択するデータ・動作を連想させる絵柄を表示し
たり、その領域の中に選択するデータ・動作をテキスト
で明記したり、あるいは、その領域をボタンのように表
示したりしたものが用いられている。また、前記直接選
択する手段としては、マウス、トラックボール、電子ペ
ン、画面上に設けられた透明なタッチパネルなどであ
る。

【０００４】

【発明が解決しようとする課題】しかし、これまでの入
出力装置においては、前記選択手段により選択される領
域の形状は、矩形や円形などの規則的な幾何学形状に限
られていた。そのため、画面上で選択行為を行っている
ものの、通常のボタンを操作している場合と大差ないユ
ーザインターフェイスであった。画面上に複雑な図形を
表示させること自体は容易に可能なので、より動作を連
想させやすい形状の図形を表示し、その図形を選択領域
とすることも可能である。しかし、選択領域の形状が複
雑になると、前記選択手段により選択された画面上の座
標値がその選択領域内の座標であるか否かを判定するの
に時間がかかり、応答性が悪くなるという問題を生じ
た。

【０００５】また、これまでの入出力装置において、画
面上の選択領域が選択されたことに対応して所定の処理
を起動させる処理を行うためには、選択させる領域を有
する入力要求画像を作成し、作成した入力要求画像の各
選択領域と所定の処理の関連を選択領域の座標データに
基づいて定義する、という処理が必要であった。そのた
め、選択領域の位置を変えた場合には前記定義データの
変更も行わなければならず、入力要求画像の変更が容易
ではなかった。また、入力要求画像において、選択領域
のための画像と、通常の背景画像とを区別するためには
前記定義データ中の座標データを参照しなくてはならず
非常に手間がかかった。そのため、自由度の少ない、応
用性の低い入力要求画像しかできなかった。すなわち、
選択領域の背景画像だけを任意の画像に変更したり、選
択領域のデータのみを記憶あるいは伝送するなどの処理
を行うことが困難であった。

【０００６】したがって本発明の目的は、画面上の所定
領域を選択することにより、その領域に対応づけられた
所定の処理を処理装置に起動させる入出力装置におい
て、前記画面上の所定領域として任意の形状の領域を設
定可能とすることにある。そして、どのように複雑な形
状の選択領域が選択されても、その領域に対応した処理
の起動を迅速に行うことの可能な入出力装置を提供する
ことにある。また本発明の他の目的は、前記選択領域の
位置を変更しても他のデータの変更が必要なく、容易に
画面設計の変更が行える入出力装置を提供することにあ
る。また、選択領域と背景領域の区別が容易で、そのた
め選択領域の位置・形状を維持したまま、任意の画像デ
ータを背景画像データとした新たな入力要求画像を容易
に生成可能な入出力装置を提供することにある。さらに
は、前記選択領域とその選択領域に対応する処理のデー
タのみを抽出し、記憶、圧縮、伝送などが可能な入出力
装置を提供することにある。

【０００７】

【課題を解決するための手段】前述した従来の入出力装
置における、前記種々の制約は、選択させる領域と所定
の処理の関連を選択領域の座標データに基づいて定義し
ていることに起因していることに着目し、前記関連を選
択領域の座標データ以外の手段により定義するようにし
た。すなわち、画面を構成する各画素は各々所定の記憶
領域を有し、その記憶領域にその画素に関する情報を記
憶しておき、その情報に基づいて選択された処理の決定
を含む種々の処理を行うようにした。

【０００８】したがって本発明の入出力装置は、所定の
処理に対応づけられた視覚的に特徴のある領域を有する
入力要求画像を画面上に表示し、該画面上の前記領域を
選択操作することにより、該選択された領域に対応した
前記所定の処理の実行を処理装置に指示する入出力装置
であって、任意の形状の前記領域を有する入力要求画像
を表示可能な画面を有する表示手段と、前記表示手段の
画面の任意の位置を選択可能な選択手段と、前記表示手
段の画面の位置に対応して所定の情報を記憶する記憶手
段と、前記選択手段により選択された位置の、前記記憶
手段に記憶されている前記所定の情報を出力する情報検
出手段と、前記検出された情報に基づいて前記処理装置
において実行する処理を決定する処理決定手段とを有す
る。

【０００９】好適には、前記記憶手段は、前記表示手段
および前記選択手段において前記表示手段の画面の位置
を特定する番号を用いて、当該位置の前記所定の情報を
直接的にアクセス可能なように前記情報を記憶し、前記
情報検出手段は、前記選択手段により選択された前記表
示手段の画面の位置に基づいて、前記記憶手段に記憶さ
れている当該位置に対応する情報を直接的に読み出す。

【００１０】また好適には、前記記憶手段は、前記表示
手段の画面の各位置ごとに、前記入力要求画像を前記表
示手段の画面に表示するための情報を記憶し、前記情報
検出手段は、前記選択手段により選択された位置の前記
表示するための情報を検出し、前記処理決定手段は、前
記検出された当該位置の表示するための情報に基づいて
前記処理装置において実行する処理を決定する。特定的
には、前記入力要求画像を前記表示手段の画面に表示す
るための情報とは、前記入力要求画像の画素ごとの色情
報であって、前記記憶手段は、前記表示手段の画面に表
示されている前記入力要求画像の画素ごとの色情報を記
憶し、前記情報検出手段は、前記選択手段により選択さ
れた画素の色情報を検出し、前記処理決定手段は、前記
検出された当該画素の色情報に基づいて前記実行する処
理を決定する。

【００１１】さらに好適には、本発明の入出力装置は、
前記入力要求画像である第１の画像と、任意の第２の画
像の各画素について、前記記憶手段に記憶されている前
記第１の画像の各位置に対応した情報に基づいて、当該
画素が前記第１の画像において所定の処理に対応付けら
れている視覚的に特徴のある選択領域内の画素である場
合には前記第１の画像の画素データを抽出し、当該画素
が前記第１の画像において所定の処理に対応付けられて
いない領域の画素である場合には前記第２の画像の画素
データを抽出することにより、前記第１の画像と前記第
２の画像を合成し新たな入力要求画像を得る画像合成手
段をさらに有する。

【００１２】さらに好適には、本発明の入出力装置は、
伝送路により伝送された、前記入力要求画像の所定の処
理に対応づけられた視覚的に特徴のある領域の画像デー
タと、前記各領域に対応する処理を決定するデータとを
受信する受信手段をさらに有し、前記受信した画像デー
タと、任意の背景用画像のデータより前記画像合成手段
により新たな入力要求画像を合成し、該合成された入力
要求画像を用いて前記処理装置において実行する処理を
決定する。

【００１３】さらに好適には、本発明の入出力装置は、
前記入力要求画像の各画素ごとの表示情報と前記所定の
処理とが対応づけられた対応データを参照して、前記入
力要求画像の前記所定の処理と対応付けられていない表
示情報を有する画素のデータを任意のデータに変換し、
前記変換された画素データを含む画像データを圧縮する
ことにより、前記入力要求画像の前記所定の処理に対応
づけられた視覚的に特徴のある領域のデータのみを有意
なデータとして圧縮する圧縮手段をさらに有する。

【００１４】

【作用】本発明の入力装置によれば、表示する画像デー
タの各画素ごとに所定の情報を記憶し、その情報に基づ
いて処理装置に実行を指示する処理を決定可能にしたの
で、マウスなどにより画面上の画素が選択されると、そ
の画素の位置よりその画素に対応する前記情報を読み出
し、さらに、その読み出された情報に基づいて予め定め
たテーブルを検索することにより処理装置に実行を指示
する処理を決定する。したがって、選択された画素に対
して付与されている情報のみより処理装置に実行を指示
する処理が決定され、座標を用いて演算をすることはな
い。

【００１５】また、前記各画素に対して付与されている
情報を検出することにより、その画素が背景画像の画素
か、所定の処理に対応づけられた前記選択領域の画素か
を容易い判定可能であるので、任意の背景画像との合
成、選択領域の画像のみの伝送、圧縮などの処理も容易
に行える。

【００１６】

【実施例】第１実施例本発明の入出力装置の第１実施例を図１〜図３を参照し
て説明する。第１実施例は、本発明の入出力装置を地図
検索装置に適用した場合について説明する。この地図検
索装置は、画面上に地図を表示し、その地図上の任意の
地域を画面上でマウスにより選択することにより、その
選択した地域のより詳細な地図を得ることができる装置
である。

【００１７】図１は第１実施例の地図検索装置の構成を
示すブロック図である。地図検索装置９０は、入出力装
置１と処理装置５０より構成される。本発明の実施例で
ある入出力装置１は、入出力部１０、入力動作検出部２
０、色情報処理部３０、および、処理決定部４０を有す
る構成である。以下、各部の構成について説明する。

【００１８】入出力部１０は、表示部１１、マウス１２
より構成される。表示部１１は、マウス１２による選択
操作の対象となる画像であって、図示せぬ画像メモリに
記憶された画像データを表示するＣＲＴディスプレイで
あり、１画素あたり８ビット（＝２５６色）の色表現で
表示される。マウス１２は、表示部１１の画面上で、直
接的に任意の場所を選択するためのポインティングデバ
イスである。表示部１１上には、マウス１２の動きに応
じて移動するマウスカーソル１４が表示されており、こ
れを見ながらマウス１２を移動させることにより表示部
１１上の任意の場所を指定することができる。また、マ
ウス１２にはマウスボタン１３が設けられており、この
マウスボタン１３をクリックすることにより、マウスカ
ーソル１４の存在する場所を選択したことが入力され
る。

【００１９】入力動作検出部２０は、座標検出部２１、
ウィンドウ管理部２２、ウィンドウ処理部２３、クリッ
ク検出部２４、および、画面フィードバック部２５より
構成される。座標検出部２１は、まず、マウス１２より
入力される信号に基づいて、マウス１２の移動（移動方
向、および、移動量）を検出し、座標検出部２１内に記
憶されている現在の座標を前記移動を累積した値に更新
する。更新した座標は、マウスカーソル１４の位置を更
新するために画面フィードバック部２５、および、アド
レス変換部３１に出力される。

【００２０】表示部１１が、マルチウィンドウ環境下で
動作している場合には、前記画面上の座標と、各ウィン
ドウに表示されている画像の座標とは異なっているた
め、画面上の座標から画像上の座標へ変換を行う必要が
ある。この変換はウィンドウ管理部２２およびウィンド
ウ処理部２３において行う。マルチウィンドウ環境であ
った場合には、座標検出部２１で求められた画面上の座
標は、ウィンドウ管理部２２に入力される。ウィンドウ
管理部２２は、まず、座標検出部２１より入力された画
面上の座標がいずれのウィンドウに属するかを検出す
る。そのウィンドウが検出されたら、そのウィンドウの
動作制御を行っているウィンドウ処理部２３に、その画
面上の座標を入力する。また、ウィンドウ管理部２２
は、ウィンドウ処理部２３により変換された画像上の座
標を、アドレス変換部３１に出力する。

【００２１】ウィンドウ処理部２３は、表示部１１をマ
ルチウィンドウの状態にしている時に、各ウィンドウの
動作制御を行う制御部である。ウィンドウ処理部２３
は、各々１つのウィンドウを制御する複数のウィンドウ
処理部２３ａ〜２３ｎより構成される。そして、ウィン
ドウ管理部２２より画面上の座標が入力されたいずれか
のウィンドウ処理部２３ｉ（ｉ＝ａ〜ｎ）においては、
その画面上の座標を、そのウィンドウで表示している画
像上の座標に変換する。変換した座標はウィンドウ管理
部２２に戻される。

【００２２】クリック検出部２４は、マウス１２のマウ
スボタン１３がクリックされた場合にマウス１２より出
力される信号を検出する手段である。マウスボタン１３
がクリックされると、その旨の信号は、クリック検出部
２４を介して画面フィードバック部２５、および、処理
決定部４０の処理対応表検索部４１に出力される。

【００２３】画面フィードバック部２５は、座標検出部
２１によるマウス１２の移動、クリック検出部２４にお
けるマウスボタン１３のクリック、ウィンドウ管理部２
２におけるマウスカーソル１４の属するウィンドウの検
出を、表示部１１に表示されている表示データに反映さ
せる。具体的には、前記事象にともなって、マウスカー
ソル１４の移動、マウスカーソル１４の形状の変化、マ
ウスカーソル１４により選択されているウィンドウの枠
の色の変化を行う。また、画面フィードバック部２５
は、後述する色情報変化通知部３５による表示画像デー
タの色表現の変化、画面情報変化通知部４５による処理
結果による表示画像データの変化が生じた場合には、各
々その変化した画像にともなって表示部１１に表示され
ている画像データを更新する。

【００２４】色情報処理部３０は、アドレス変換部３
１、色情報検索部３２、色情報記憶部３３、色情報圧縮
伸長部３４、および、色情報変化通知部３５より構成さ
れる。アドレス変換部３１は、入力動作検出部２０の座
標検出部２１またはウィンドウ管理部２２より入力され
たマウス１２で指定した画像上の座標を、色情報記憶部
３３のその座標に対応するデータが格納されているアド
レスに変換する。その変換は、入力された画像上の座標
を、まず、画像データの画素番号に変換し、その画素番
号を所定のオフセット値でオフセットすることにより行
う。マルチウィンドウ環境の場合には、マウスカーソル
１４の属するウィンドウに応じて前記オフセット値を変
えることにより、所望のウィンドウの画像データに対す
るアドレスが得られる。変換されたアドレスは色情報検
索部３２に出力される。またアドレス変換部３１は、色
情報検索部３２により検索されたその画素の色情報を色
情報変化通知部３５、および、処理決定部４０の処理対
応表検索部４１に出力する。

【００２５】色情報検索部３２は、アドレス変換部３１
より入力されたアドレスのデータを色情報記憶部３３よ
り読み出し、読み出したデータをアドレス変換部３１に
入力する。これにより、マウス１２により選択された画
素の色が検出される。色情報記憶部３３は、表示部１１
に表示されている画像データの色情報が記憶されている
記憶部であり、バイトアクセス可能に構成されている。
本実施例において画像データの１画素は１バイト（＝８
ビット）の色情報で表現されている。したがって、色情
報記憶部３３の一度のアクセスにより１画素の色情報が
出力される。また、色情報記憶部３３のデータは、表示
部１１の表示画像データを更新する際に、前述した図示
せぬ画像メモリと同時に更新される。

【００２６】色情報変化通知部３５は、マウス１２によ
り指定された領域を表示部１１上で示すために、表示部
１１上の当該領域の色を変化させるための手段である。
色情報変化通知部３５は、その選択された領域を検出
し、アドレス変換部３１により得られたアドレスを用い
て、その領域の前記図示せぬ画像メモリおよび色情報記
憶部３３の色情報を変化させる。前記選択された領域の
検出は、座標検出部２１より入力されたマウス１２の座
標、および、色情報検索部３２により検出された当該座
標の色情報に基づいて、マウス１２の座標の色と同一の
色が連続している領域を検出することにより行う。ま
た、変化させられた色情報は、色情報変化通知部３５内
の図示せぬ記憶部に退避しておき、マウス１２がその領
域から離れた時点で、前記領域の色情報を前記記憶部に
退避しておいた色情報に戻す。

【００２７】処理決定部４０は、処理対応表検索部４
１、処理テーブル４２、処理起動部４３、処理装置情報
４４、および、画面情報変化通知部４５より構成され
る。処理対応表検索部４１は、入力動作検出部２０のク
リック検出部２４よりマウス１２がクリックされた旨の
信号が入力された時点の、アドレス変換部３１より入力
されるマウス１２の位置の色に基づいて、処理テーブル
４２を参照して処理装置５０で行う処理内容を決定す
る。決定された処理内容は処理起動部４３に出力され
る。処理テーブル４２は、色情報と処理内容が対応づけ
られて記憶されているテーブルである。なお、処理テー
ブル４２に定義されている処理内容は、具体的な機器に
依存しない上位概念で記述されており、このテーブルよ
り得られた処理内容は、後述する処理装置情報４４を参
照して具体的な処理手順を示すデータに変換される。

【００２８】処理起動部４３は、処理対応表検索部４１
より入力された処理内容より、実際に行うための信号を
生成し、その処理を実際に起動する。処理起動部４３
は、前記処理内容に基づいて、処理装置情報４４を検索
し、所望の処理を行うための処理手順、処理装置、オペ
レーション等の情報を得、それらの情報に基づいて実際
にその処理の実行を処理装置５０に指示する。処理装置
情報４４は、前述したように、処理対応表検索部４１に
よって得られた一般的な処理内容を、具体的に処理装置
５０で実行するための処理に変換するための変換テーブ
ルである。したがって、処理装置情報４４の内容は、処
理装置５０の構成などに依存して決定されるものであ
る。

【００２９】画面情報変化通知部４５は、処理装置情報
４４により起動された処理の結果に応じて、表示部１１
の表示画像を変化させるための手段である。画面情報変
化通知部４５は、処理装置５０からの信号に応じ、表示
部１１の内容を任意に更新する。具体的には、表示部１
１の表示画面を終了し次の画面を表示させたり、前記表
示画面の一部を変化させたり、前記表示画面に新たな情
報を付加したりするもので、前記図示せぬ画像メモリお
よび色情報記憶部３３の色情報を変化させ実行する。

【００３０】処理装置５０は、演算装置、記憶装置を有
する演算処理装置であり、処理決定部４０からの信号に
基づいて、順次所定の処理を行う。本実施例の地図検索
装置９０においては、たとえば、新たな地図データを検
索し表示させる処理や、所定の情報を出力する処理など
を行う。

【００３１】以上説明した構成において、表示部１１に
おける表示と、色情報記憶部３３における色情報の格納
方法、アドレス変換部３１のアドレス変換、および、処
理対応表検索部４１おける処理の決定について、図２、
表１、および、表２を参照して具体的に説明する。図２
は、表示部１１の表示画面の画素データと色情報記憶部
３３の色情報のデータの対応を示す図である。表示部１
１の表示画面の各画素は、左から右に水平走査をしなが
ら上から下に向かって、すなわち左上から右下に向かっ
て、一意にその画素を決定できる画素番号で表現されて
いる。たとえば、図２の表示画面は左上の１番目の画素
から右下のＮ番目の画素までＮ個の画素により構成され
ている。図２の表示画面においては、各々特定の処理と
対応した３つの領域Ａ〜Ｃが表示されている。各領域は
表１に示すような色情報により指定される色により各々
表示されている。また、領域Ａ〜Ｃ以外の領域について
は、領域Ａ〜Ｃの色以外の色を用いて、任意の画像が表
示されている。

【００３２】

【表１】

【００３３】色情報記憶部３３には、前記画面の画素番
号の順に連続して記憶領域が確保されている。すなわ
ち、ｚ番地をオフセットアドレスとして、ｚ番地よりｚ
＋Ｎ−１番地までの領域がこの表示画面の色情報を記憶
する領域として用いられている。各番地は１バイト（＝
８ビット）の記憶領域を有しており、８ビット（２５６
色）の色情報が格納されている。このような構成で色情
報を記憶しておけば、アドレス変換部３１により画素の
番号が得られたら、その画素番号にオフセット値（ｚ−
１）を加えることにより、その画素の色情報が格納され
ているアドレスが得られる。そして、そのアドレスに基
づいて色情報記憶部３３より容易にその画素の色情報が
得られる。

【００３４】たとえば、図２のｎ画素目かｎ＋５画素目
の画素は、ｎ＋ｚ−１番地からｎ＋ｚ＋４番地までの領
域にその色情報が格納されている。その色情報は、ｎ＋
１画素目、ｎ＋２画素目、ｎ＋３画素目、および、ｎ＋
５画素目の各画素は、領域Ｃを構成する画素なので、そ
れらの画素に対応するｎ＋ｚ番地、ｎ＋ｚ＋１番地、ｎ
＋ｚ＋２番地、および、ｎ＋ｚ＋４番地には、領域Ｃの
色である色情報〔０１０００１１０〕が格納されてい
る。また、背景であるｎ画素目、ｎ＋４画素目の各画素
は領域Ａ〜Ｃ以外の色情報が格納されている。

【００３５】このようにして、マウス１２で指定した画
素の色情報が検出されたら、処理対応表検索部４１にお
いて処理テーブル４２を参照して、その色情報に対応す
る処理を決定する。その処理テーブル４２の例を表２に
示す。

【００３６】

【表２】

【００３７】表２に示すように、処理テーブル４２には
色情報と実行する処理が対応づけられて記憶されてい
る。そこで、処理対応表検索部４１は、求められた色情
報をキーにして処理テーブル４２を順次検索し、その色
情報に対応する処理を読み出す。たとえば、図２の領域
Ｃについてれ前述したように色情報処理部３０により得
られた色情報〔０１０００１１０〕については、処理３
を実行することが表２より決定される。

【００３８】次に、この地図検索装置９０を用いて、実
際に所望の地域の地図を検索す場合の動作について図３
を参照して説明する。図３は、日本地図より順次画面上
の所望の地域をマウスで選択して行き、所定の地域の地
図、および、当該地域の情報を得ることのできる地図検
索装置９０の動作を説明する図である。この地図検索装
置９０においては、まず図３（Ａ）に示すように表示部
１１に日本地図が表示される。この日本地図は、北海道
Ｄ、東北Ｅ、関東Ｆ、中部Ｇ、近畿Ｈ、中国Ｉ、四国
Ｊ、九州Ｋ、沖縄Ｌ、および、背景Ｍの１０の領域の集
合として表示されている。これら各領域は異なる色によ
り表示されている。そして、処理テーブル４２には、北
海道Ｄから沖縄Ｌまでの９の領域について各々処理が定
義されている。その処理は、各々各地域の拡大図を表示
するという処理である。

【００３９】図３（Ａ）に示すように表示部１１に日本
地図が表示されている段階で、近畿Ｈの領域にマウス１
２を移動させクリックすると、そのクリックさせた場所
の色情報に基づいて、近畿地方の拡大図を表示する処理
が起動され、その結果図３（Ｂ）に示す画像が表示され
る。図３（Ｂ）の近畿地方の地図も、兵庫県Ｄ、京都府
Ｅ、滋賀県Ｆ、三重県Ｇ、奈良県Ｈ、和歌山県Ｉ、大阪
府Ｊ、淡路島Ｋ、および、背景Ｍの１０の領域の集合と
して表示さている。これら各領域は、異なる色により表
示されており、そして、処理テーブル４２には、兵庫県
Ｄから淡路島Ｋまでの８の領域について各々処理が定義
されている。その処理は、各地区の話題を表示するとい
う処理である。

【００４０】図３（Ｂ）に示すように表示部１１に近畿
地方の地図が表示されている段階で、兵庫県Ｄの領域に
マウス１２を移動させクリックすると、そのクリックさ
せた場所の色情報に基づいて、兵庫県の話題を表示する
処理が起動され、その結果図３（Ｃ）に示す画像が表示
される。なお、図３（Ａ）に示した日本地図における北
海道と、図３（Ｂ）に示した近畿地方の地図における兵
庫県Ｄは同一の色により表示されているが、処理テーブ
ル４２は、近畿地方の拡大図を表示する処理の中で、そ
の表示に対応した処理テーブル４２に更新されるので、
各表示画面において適切な処理が選択される。

【００４１】以上説明したように、本発明の入出力装置
を適用した地図検索装置９０では、地図のような複雑な
形状をした領域であっても、１つの地方を同じ色で表示
しておけば、その地方のどの位置、すなわち、どの画素
を選択しても適切にその領域に対応した処理が実行でき
る。また、その処理を決定するデータは画素ごとに対応
してメモリに格納されているため、マウスにより指定し
た画面上の位置情報より直接的にその画素の色情報が検
出でき、さらに処理の決定が行える。

【００４２】第２実施例本発明の入出力装置の第２実施例を図４〜図５を参照し
て説明する。第２実施例は、第１実施例の地図検索装置
９０の色情報処理部３０において、各画素に対応した色
情報を圧縮して記憶するようにしたものである。図４は
第２実施例の地図検索装置の色情報処理部３０の構成を
示すブロック図である。色情報処理部３０以外の各部の
構成は第１実施例と同じである。第２実施例の色情報処
理部３０は、アドレス変換部３１、色情報検索部３２、
色情報記憶部３３、および、色情報変化通知部３５に、
さらに、色情報圧縮伸長部３４を有する構成である。

【００４３】第２実施例の色情報処理部３０において
は、色情報記憶部３３に直接各画素の色情報を記憶した
のではなく、色情報の識別値を記憶するようにした。そ
して、その識別値から色情報の変換を色情報圧縮伸長部
３４内のテーブルを参照して行うようにした。表示画面
上の、所定の処理に対応した領域の数がａあるとする
と、各画素のデータは、その他を１の領域とみなして、
ａ＋１の領域を識別する必要がある。そのためには、式
１を満たす最小のｂだけ各画素ごとにビット数が必要で
ある。

【数１】（ａ＋１）≦２^b ・・・（１）したがって、各画素に対してｂビットの記憶領域を用意
すれば、ａ個の所定の色を用いて、ａ個の所定の処理を
指定することが可能となる。

【００４４】アドレス変換部３１は、マウス１２で指定
した画像上の座標より、色情報記憶部３３に格納されて
いるその座標の画素に対応したデータを読み出すための
アドレスおよびビット位置を得る。それらアドレスおよ
びビット位置は、色情報記憶部３３の１ワード当たりの
ビット幅と、前述した表示画面の識別値のビット幅、お
よび、その画像のデータが格納されている領域のオフセ
ットアドレスより求められる。色情報検索部３２は、ア
ドレス変換部３１より入力されたアドレスに基づいて
は、色情報記憶部３３よりその画素の識別値を読み出
す。読み出された識別値は再びアドレス変換部３１に入
力される。アドレス変換部３１は得られた識別値を色情
報圧縮伸長部３４に出力して、識別値から色情報への変
換を行う。

【００４５】色情報圧縮伸長部３４は、前記識別値から
色情報への変換、および、色情報から識別値への変換を
行うデータ変換手段である。色情報圧縮伸長部３４は、
識別値と色情報が対応づけられて記憶されたテーブルを
有しており、このテーブルを参照して前記変換を行う。
色情報圧縮伸長部３４で変換された色情報はアドレス変
換部３１に出力される。以降、第１実施例同様にアドレ
ス変換部３１はその色情報を処理決定部４０に出力し、
処理の決定・実行をする。

【００４６】以上説明した第２実施例において、表示部
１１における表示と、色情報記憶部３３における識別情
報の格納方法、色情報圧縮伸長部３４の識別値−色情報
の変換、および、処理対応表検索部４１おける処理の決
定について、図５、表３、および、表４を参照して具体
的に説明する。図５は、表示部１１の表示画面の画素デ
ータ、色情報記憶部３３の識別値のデータ、および、色
情報圧縮伸長部３４の識別値−色情報変換テーブルを表
す図である。なお、図５において、色情報記憶部３３の
識別値のデータと色情報圧縮伸長部３４の識別値−色情
報変換テーブルは、実体的に同一のメモリ上に格納され
ているものとして、ともにメモリマップ中に示してあ
る。すなわち、図５の情報格納状態を示す図のｚ番地か
らｚ＋３番地までにヘッダ情報として付加されている情
報が識別値−色情報変換テーブルであり、ｚ＋４番地以
降が識別値のデータである。

【００４７】図５の表示画面の状態は、図２の表示画面
の状態と同じである。図５の情報格納状態を示す図のｚ
番地からｚ＋３番地までに格納されている識別値−色情
報変換テーブルは、第１番目のデータとして識別値の個
数が記述されている、図５の例においてはｚ番地のデー
タは〔０００００１００〕で４である。この例において
は、特定の処理と対応づけられない背景部のその他の画
像を識別値００の１つのデータとしている。したがっ
て、実際に特定の処理と対応付けられる識別値の数はｚ
番地のデータより１少ない数（この例では３）となる。
そして、続くその特定の処理と対応付けられた識別値の
数に相当するデータが、その識別値に対応する色情報が
格納されているデータである。すなわち、ｚ＋１番地に
は識別値０１が示す色情報が、ｚ＋２番地には識別値１
０が示す色情報が、ｚ＋３番地には識別値１１が示す色
情報が各々格納されている。

【００４８】このような識別値−色情報変換テーブルを
用いれば、図５に示す表示画面の各画素は背景を含めて
４種類の値で表現できる。領域Ａ内の各画素に対しては
識別値０１を付与し、領域Ｂ内の各画素に対しては識別
値１０を付与し、領域Ｃ内の各画素に対しては識別値１
１を付与し、その他の画素に対しては識別値００を付与
すればよい。これにより、各画素は２ビットで表現でき
るため、１バイトには４画素のデータが格納可能とな
る。ｚ＋４番地にはＭＳＢ側（左側）より１画素目〜４
画素目までの画素に対応する識別値が格納される。表示
画面の最後のＮ番目の画素に対応する識別値は、ｚ＋
（Ｎ／４）＋３番地の最もＬＳＢ側（右側）の２ビット
に格納される。

【００４９】そして、色情報圧縮伸長部３４において
は、ｚ番地からｚ＋３番地に示したテーブルを参照して
マウス１２の指定した画素の識別値を色情報に変換す
る。その画素の読み出した識別値が０１ならばｚ＋１番
地のデータを色情報として出力し、識別値が１０ならば
ｚ＋２番地のデータを色情報として出力し、識別値が１
１ならばｚ＋３番地のデータを色情報として出力する。

【００５０】したがって、図５において、たとえば、ｎ
画素目からｎ＋５画素目に対しては、色情報記憶部３３
より各々００，１１，１１，１１，００，１１という識
別値が読み出され、色情報圧縮伸長部３４おいて、識別
値１１の値が色情報〔０１０００１１０〕に変換され、
処理決定部４０に出力される。

【００５１】以上説明したように、第２実施例の入出力
装置においては、所定の処理に対応した識別値を、各画
素ごとの情報として記憶するようにしたので、表示に必
要な色情報を識別するのに必要なビット数ではなく、所
定の処理を識別するのに必要なビット数を、各画素の情
報記憶容量として用意すればよい。したがって、各画素
ごとに設けられた記憶手段の記憶容量を少なくすること
ができる。

【００５２】なお、上述した第２実施例においては、色
情報記憶部３３に各画素に対する識別値を記憶してお
き、色情報圧縮伸長部３４においてその識別値から色情
報に変換し、処理決定部４０において第１実施例と同様
にそん色情報より実行する処理を決定していた。しか
し、色情報記憶部３３より読みだした識別情報をそのま
ま実行する処理を決定するキーとして用いるような構成
にしてもよい。その場合、色情報圧縮伸長部３４は必要
なく、処理テーブル４２を、たとえば表３に示すような
識別値をキーとして処理を決定可能な構成にすればよ
い。

【００５３】

【表３】

【００５４】第３実施例本発明の入出力装置の第３実施例を図６を参照して説明
する。第３実施例の入出力装置は、第１実施例および第
２実施例で説明した入出力装置に、さらに表示部１１で
表示する画像を合成する画像合成部を有する構成の入出
力装置である。この画像合成部は、上述したような所定
の処理に対応づけられた所定の色の領域を有する画像
と、任意の画像データを合成する。すなわち、マウス１
２により選択することにより所定の処理に対応づけられ
ている所定領域の画像データはそのまま維持し、背景の
画像データとして任意の画像データを利用したような、
新たな入力要求用の画像データを合成する。

【００５５】この画像合成部について図６を参照して説
明する。図６は、表示部１１で表示される画像データを
合成する画像合成部８０の構成を示すブロック図であ
る。画像合成部８０は、座標系調整部８１、重複判定部
８２、色情報変更部８３、および、画面合成部８４より
構成される。座標系調整部８１は、入力要求用の画像デ
ータと、背景画像として用いる任意の画像データについ
て、各画素同士で比較可能に両画像の整合をとる。その
ために座標系調整部８１は、背景画像の画像データを適
宜所定の方向に拡大／縮小、或いは削除して、入力要求
画像の画素と画素同士が１対１に対応するようにする。

【００５６】また、座標系調整部８１は、入力要求用の
画像データで、所定の処理と対応付けられている色情報
を全て抽出する。これは、処理決定部４０の処理テーブ
ル４２を参照して、処理テーブル４２内で所定の処理と
対応付けられている色情報をそのまま取り出すことによ
り抽出できる。また、入力要求用の画像データが、前述
した第２実施例で示したような図５に示すような構成の
画像データであれば、ヘッダとして存在する色情報のデ
ータをそのまま取り出してもよい。抽出した色情報は重
複判定部８２に出力される。

【００５７】重複判定部８２は、座標系調整部８１より
入力された色情報のデータに基づいて、入力要求用の画
像データで所定の処理に対応づけられていた色が、前記
背景の画像データ中で使用されているか否かを判定す
る。この判定は前記背景の画像データの全画素を順次し
らべ、前記抽出された色情報と比較することにより行
う。前記背景の画像データ中に前記所定の処理に対応づ
けられていた色が使用されていた場合には、色情報変更
部８３において、その色をいずれの所定の処理にも対応
づけられていない色に変更する。色情報変更部８３は、
重複判定部８２の判定結果に基づいて、前述したよう
に、背景画像データの画像データを変更する。

【００５８】以上の処理が終了したら、画面合成部８４
において、前記入力要求用の画像と、前記背景画像デー
タの合成を行う。画面合成部８４においては、重複判定
部８２より入力された所定の処理に対応付けられている
全ての色の情報に基づいて、前記入力要求用の画像の各
画素の色情報を順に調べる。そして、その画素のデータ
が、所定の処理に対応付けられている色であった場合に
は、その画素については入力要求用の画像より画素デー
タを抽出する。その画素のデータが所定の処理に対応付
けられている色ではなかった場合には、その画素につい
ては前記背景画像データより画素データを抽出する。抽
出されたデータにより新たな入力要求用の画像データが
生成される。生成された入力要求用の画像データは、第
１実施例、第２実施例で示したように画像メモリおよび
色情報記憶部３３に記憶され、表示部１１に記憶され、
処理を決定する入力要求用の画像データとして用いられ
る。

【００５９】以上説明したように、第３実施例の入出力
装置によれば、所定の処理と対応付けられた所定の領域
を有する入力要求用の画像データを、前記領域を維持し
たままで、任意の画像データと合成することができる。
すなわち、前記入力要求用の画像データの所定の選択領
域以外の背景の画像として任意の画像と組み合わせるこ
とができる。したがって、画面設計の自由度が向上し、
ユーザインターフェイスの優れた入出力装置を提供する
ことができる。また、前記所定の処理と対応付けられた
選択領域の画像のみが有意な画像データより、任意の画
像を背景画像として表示可能な画像データを容易に生成
することができる。したがって、前記入出力要求の画像
の必要な情報のみを記憶、伝送することにより入出力装
置が十分機能するので、汎用性に富んだ入出力装置が提
供できる。

【００６０】第４実施例本発明の入出力装置によれば、所定の処理と対応づけら
れた所定の選択領域を有する入力要求画像について、そ
の選択領域のデータのみを効率よく圧縮することができ
る。その圧縮方法について第４実施例として説明する。

【００６１】本発明の入出力装置においては、入力要求
画像の各画素に対応して記憶されている情報（たとえ
ば、色情報）に基づいて、その画素が所定の処理と対応
付けられた画素か、あるいは、背景の画素かの判定でき
る。したがって、画像データの全画素について、この判
定を行い、背景の画素に対してはその画素のデータを任
意の圧縮に都合のよいデータに変換する。その結果、前
記画像は、前記選択領域の部分のみが意味のあるデータ
を有した画像データで、高率で圧縮可能なデータに変換
される。その変換した値が、所定の処理に対応付けられ
た色情報と異なるデータであれば、伸長部においても前
記選択領域についてのみ所定の処理と対応づけられた画
像データが得られる。

【００６２】このように入力要求用画像を高率で圧縮可
能であれば、多数の入力要求用画像を記憶可能になると
同時に、これらの画像の伝送が容易に行える。前述した
圧縮を行って入力要求画像を伝送路を介して伝送する画
像伝送方式について図７を参照して説明する。図７は、
本発明の入出力装置により入力要求画像を圧縮し伝送す
る状態を説明する図である。送信側の、本発明の入出力
装置、あるいは、メインコンピュータ、サーバ装置など
の装置においては、送信する入力要求画像である領域情
報と、選択領域と処理内容を対応付けるテーブルである
処理情報を送信部６０に入力する。なお、図７の例にお
いては、画像データは第２実施例で示した各画素ごとに
識別値が記憶されている構成の画像データである。

【００６３】送信部６０に入力された前記各データは、
情報合成部６１により、１のデータに一体化される。こ
の一体化は、１つのレコードとして処理可能なように、
連続した記憶領域に記憶することを意味する。情報圧縮
部６２においては、前記処理情報を参照して、前記領域
情報の前記背景に相当する選択領域でない画素のデータ
を所定の値のデータに変換する。直列化部６３において
は、前記変換されたデータをビットストリームとして順
次送出部６４に送出する。送出部６４においては、入力
されたビットストリームに対して、適宜伝送路符号化を
施し、伝送路９１に出力する。

【００６４】受信部７０においては、伝送路９１を介し
て伝送されてきたデータを、受信部７１において受信
し、並列化部７２においてビットストリームからバイト
ごとのデータに変換する。そして、情報再構築部７４に
おいては、前記領域情報と処理情報を各々所定のレコー
ドとして分離する。なお、情報再構築部７４において出
力されたデータは、前記選択領域のみが有意なデータで
ある。したがって、直ちに表示部に表示可能な領域情報
が必要な場合には、情報再構築部７４は、図示せぬ背景
画像を用いて、前述した第３実施例の画像合成部と同様
の処理を行い、表示可能な画像を構成する。

【００６５】このように、選択領域と処理を対応付ける
処理情報を用いて、入力要求用の領域情報を圧縮する
と、選択領域のみを高率で圧縮し伝送することができ
る。したがって、入力要求画像を伝送路を介して任意に
伝送することができるので、ネットワークに接続された
処理装置などから制御可能な汎用性の高い入出力装置を
提供できる。

【００６６】なお、本発明は上述した第１〜第４実施例
に限られるものではなく、種々の改変が可能である。た
とえば、表示部１１における表示装置は、本実施例にお
いてはＣＲＴディスプレイとしたが、ＬＣＤ、ＰＤＰな
どの他の任意の表示媒体を用いてもよい。また、その表
示部１１において、本実施例においては１画素あたり８
ビットの色表現で表示されるものとしたが、これはたと
えば、１６ビット、２４ビット（たとえば、Ｒ，Ｇ，Ｂ
各々８ビット）などの色表現が可能な表示部１１であっ
てもよい。また、モノクロ画像であってもよい。その場
合、その８ビットは階調表現として使用される。

【００６７】また、表示部１１の画面上の任意の位置を
選択する手段として、本実施例においてはマウスを用い
るものした。しかし、トラックボールや電子ペンなどを
用いてもよい。その場合、マウスボタン１３に相当する
スイッチとしては、キーボードの任意のキーを用いれば
よい。また、車などに搭載するナビゲーションシステム
に本発明を適用する場合には、表示部１１の画面上に透
明な静電タッチパネルを設けて、画面を直接指で触れて
任意の位置を入力するようにしてもよい。

【００６８】

【発明の効果】本発明の入出力装置によれば、入力要求
画像の各画素ごとに記憶されている情報に基づいて、実
行する処理の決定などの種々の処理を行うようにしたの
で、任意の形状の領域を選択領域とした入力要求画像を
構成することができ、さらに、複雑な形状の選択領域が
選択されても、その領域に対応した処理の起動を迅速に
行うことが可能となった。したがって、ユーザインター
フェイスの優れた入出力装置が提供できた。

【００６９】さらに、前記選択領域の位置を変更しても
他のデータの変更が必要ないため、容易に画面設計の変
更が行える。また、選択領域と背景領域の区別が容易な
ので、選択領域の位置・形状を維持したまま、任意の画
像データを背景画像データとした新たな入力要求画像が
容易に生成できる。また、前記選択領域とその選択領域
に対応する画素データのみを抽出して記憶、圧縮、伝送
などが容易に行える。その結果、入力要求画像の設計、
取扱等の自由度が大幅に向上し、より一層ユーザインタ
ーフェイスの優れた入出力装置が提供できた。

【図面の簡単な説明】

【図１】本発明の入出力装置の第１実施例の構成を示す
ブロック図である。

【図２】図１に示した入出力装置の表示画面の画素デー
タと色情報記憶部の色情報のデータの対応を示す図であ
る。

【図３】図１に示した地図検索装置の動作を示す図であ
り、（Ａ）は日本地図が表示された状態を示す図、
（Ｂ）は近畿地方の地図が表示された状態を示す図、
（Ｃ）は兵庫県の情報が表示された状態を示す図であ
る。

【図４】本発明の第２実施例の入出力装置の色情報処理
部の構成を示すブロック図である。

【図５】図４に示した入出力装置の表示画面の画素デー
タと色情報記憶部の識別情報のデータの対応を示す図で
ある。

【図６】本発明の第３実施例の入出力装置の画像合成部
の構成を示すブロック図である。

【図７】本発明の第４実施例であって、本発明の入出力
装置により入力要求画像を圧縮し伝送する状態を説明す
る図である。

【符号の説明】

１…入出力装置１０…入出力部１１…表示部１２…マウス１３…マウスボタン１４…マウスカーソル２０…入力動作検出部２１…座標検出部２２…ウィンドウ管理
部２３…ウィンドウ処理部２４…クリック検出部２５…画面フィードバック部３０…色情報処理部３１…アドレス変換部３２…色情報検索部３３…色情報記憶部３４…色情報圧縮伸長
部３５…色情報変化通知部４０…処理決定部４１…処理対応表検索部４２…処理テーブル４３…処理起動部４４…処理装置情報４５…画面情報変化通知部５０…処理装置６０…送信部６１…情報合成部６２…情報圧縮部６３…直列化部６４…送出部７０…受信部７１…受信部７２…並列化部７３…情報伸長部７４…情報再構築部８０…画像合成部８１…座標系調整部８２…重複判定部８３…色情報変更部８４…画面合成部９０…地図検索装置９１…伝送路

Claims

【特許請求の範囲】

【請求項１】所定の処理に対応づけられた領域を有する
画像を画面上に表示し、該画面上の前記領域を選択操作
することにより、該選択された領域に対応した前記所定
の処理の実行を処理装置に指示する入出力装置であっ
て、任意の形状の前記領域を有する画像を画面に表示可能な
表示手段と、前記表示手段の画面の任意の位置を選択可能な選択手段
と前記表示手段の画面の位置に対応して所定の情報を記憶
する記憶手段と、前記選択手段により選択された位置の、前記記憶手段に
記憶されている前記所定の情報を出力する情報検出手段
と、前記検出された情報に基づいて前記処理装置において実
行する処理を決定する処理決定手段とを有する入出力装
置。
【請求項２】前記記憶手段は、前記表示手段の画面の位
置を特定する番号を用いて、当該位置の前記所定の情報
を直接的にアクセス可能なように前記情報を記憶し、前記情報検出手段は、前記選択手段により選択された前
記表示手段の画面の位置に基づいて、前記記憶手段に記
憶されている当該位置に対応する情報を直接的に読み出
す請求項１記載の入出力装置。
【請求項３】前記記憶手段は、前記表示手段の画面の各
位置ごとに、前記画像を表示するための情報を記憶し、前記情報検出手段は、前記選択手段により選択された位
置の前記表示するための情報を検出し、前記処理決定手段は、前記検出された当該位置の表示す
るための情報に基づいて前記処理装置において実行する
処理を決定する請求項１または２記載の入出力装置。
【請求項４】前記記憶手段は、前記表示手段の画面に表
示されている前記画像の画素ごとの色情報を記憶し、前記情報検出手段は、前記選択手段により選択された画
素の色情報を検出し、前記処理決定手段は、前記検出された当該画素の色情報
に基づいて前記実行する処理を決定する請求項１〜３い
ずれか記載の入出力装置。
【請求項５】前記所定の処理に対応づけられた領域を有
する入力要求画像である第１の画像と、任意の第２の画
像の各画素について、前記記憶手段に記憶されている前
記第１の画像の各位置に対応した情報に基づいて、当該
画素が前記第１の画像において所定の処理に対応付けら
れている領域内の画素である場合には前記第１の画像の
画素データを抽出し、当該画素が前記第１の画像におい
て所定の処理に対応付けられていない領域の画素である
場合には前記第２の画像の画素データを抽出することに
より、前記第１の画像と前記第２の画像を合成し新たな
入力要求画像を得る画像合成手段をさらに有する請求項
１〜４いずれか記載の入出力装置。
【請求項６】伝送路により伝送された前記入力要求画像
の所定の処理に対応づけられた領域の画像データと、前
記各領域に対応する処理を決定するデータとを受信する
受信手段をさらに有し、前記受信した画像データと、任意の背景用画像のデータ
より前記画像合成手段により新たな入力要求画像を合成
し、該合成された入力要求画像を用いて前記処理装置に
おいて実行する処理を決定する請求項５記載の入出力装
置。
【請求項７】前記所定の処理に対応づけられた領域を有
する画像の各画素ごとの表示情報と前記所定の処理とが
対応づけられた対応データを参照して、前記画像の前記
所定の処理と対応付けられていない表示情報を有する画
素のデータを任意のデータに変換し、前記変換された画
素データを含む画像データを圧縮することにより、前記
画像の前記所定の処理に対応づけられた視覚的に特徴の
ある領域のデータのみを有意なデータとして圧縮する圧
縮手段をさらに有する請求項１〜６いずれか記載の入出
力装置。