JPH07129312A

JPH07129312A - 画像処理装置

Info

Publication number: JPH07129312A
Application number: JP30104793A
Authority: JP
Inventors: Toru Miyamae; 徹宮前
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1993-11-05
Filing date: 1993-11-05
Publication date: 1995-05-19

Abstract

(57)【要約】【目的】操作を簡単化し、ヒューマンインタフェース
を向上させる。【構成】画像表示部１０４には、文字パターンや図、
写真等の画像データが表示されるが、これらの位置を示
すためのカーソル等をマウス等で移動させる必要はな
い。オペレータが画像データの所定位置を指定するため
には、指先等を使って指示する。このときの指先の位置
は、入力部１０５により何らかの手段で検出される。ま
た、画像データを文字パターンとして切り出すか図や写
真等のイメージデータとして切り出すかは、例えば指を
１本出すか３本出すかにより指定することができる。そ
して、入力部１０５で検出された指定に従って、制御部
１０６で文字パターンとして切り出された部分について
は文字認識処理を行なうようにされ、イメージとして切
り出された部分についてはデータ圧縮等を行なって格納
するようにされる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、人間の動作を検出し、
当該動作に基づいてディスプレイに表示された画像デー
タの処理の種別を決定する画像処理装置に関するもので
ある。

【０００２】

【従来の技術】従来、図２に示すように、文字の他に図
や写真等を含む一般の文書の画像データをディスプレイ
に表示し、その画像データの領域をオペレータの指示に
従って切り出す画像処理装置がある（特開平２−２９３
９８０号公報参照）。このような画像処理装置では、マ
ウスやタブレット等のいわゆるワンポイントデバイスを
用いることによって、切り出すべき所望の領域の範囲を
指定するとともに、文字か図かの種別を指定していた。

【０００３】例えば、特開平２−２９３９８０号以前の
技術では、マウスで領域の指定を行なう場合、マウスで
ある一点をクリックし、そのままクリックした状態で他
の一点のところでクリックをオフにすると、それらの２
点を対角とする矩形領域の画像が切り出される。更に、
その領域が文字かそれとも写真等の図かを指定するため
に画像上の当該指定領域でもう一度クリックするという
操作が必要であった。これに対し、特開平２−２９３９
８０号公報に開示された技術では、領域指定の場合、あ
る一点をクリックした後、クリックをオフにしてもよ
く、フリーの状態でもう１度他の一点をクリックするこ
とによってその２点を対角とする矩形領域を抽出してい
た。そして、当該指定領域の種類が文字か図形かの種別
を、当該領域を指定する際にクリックした２点を結ぶ直
線の傾きが右斜めか左斜めかによって決定していた。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
た従来の技術には、次のような問題があった。即ち、上
述した画像処理装置で使用されるマウスやタブレット
は、一点だけしか指定できないいわゆるワンポイントデ
バイスであり、簡単な画像の切り出し編集作業だけの場
合には、それなりに操作性の向上及び入力の迅速化が図
られるが、複雑な切り出し編集作業には対処できない。
編集作業が複雑となるのは、３か所以上の領域を指定し
たりするため、マウス等を３回以上動作させることが必
要となる場合等である。例えば、切り出し領域が単純な
矩形でなく、２点を指定しただけでは定まらないような
領域である場合、切り出したい文字列が１画面内に多数
分散している場合、文字と図が同一領域内に存在する場
合、独立したブロックを順序に従って結合していく場合
等である。これらの場合には、マウス等では操作が複雑
になるという問題があった。

【０００５】本発明は、以上の点に着目してなされたも
ので、マウス等のように、オペレータが入力装置を動作
させることによりその入力装置の動作を入力情報として
入力するのではなく、オペレータの指等の動作を検出し
てそれを入力情報として入力して画像データを処理する
ようにした操作性のよい画像処理装置を提供することを
目的とするものである。

【０００６】

【課題を解決するための手段】本発明の画像処理装置
は、画像データを表示する画像表示部と、当該画像表示
部に表示される画像データの一部を指定する操作動作と
それと同時に行なわれる当該画像データの処理種別を指
定する操作動作とを検出してそれらの情報を入力する入
力部と、当該入力部により入力された情報により指定さ
れた画像データの部分を切り出し、当該画像データに対
して指定された種別の処理を施す制御部とから成ること
を特徴とするものである。

【０００７】

【作用】本発明の画像処理装置においては、画像表示部
には、文字パターンや図、写真等の画像データが表示さ
れるが、これらの位置を示すためのカーソル等をマウス
等で移動させる必要はない。従って、カーソル等を移動
させるための装置も必要でない。オペレータが画像デー
タの所定位置を指定するためには、指先等を使って指示
する。このときの指先の位置は、入力部により何らかの
手段で検出される。この手段は、どのようなものでもよ
いが、例えば、画像表示部の画面上に格子状に張り巡ら
されたビームの遮断により検出する手段を用いることが
できる。また、画像データを文字パターンとして切り出
すか図や写真等のイメージデータとして切り出すかは、
例えば指を１本出すか３本出すか等により指定すること
ができる。そして、入力部で検出された指定に従って、
制御部で文字パターンとして切り出された部分について
は文字認識処理を行なうようにされ、イメージとして切
り出された部分についてはデータ圧縮等を行なって格納
するようにされる。

【０００８】

【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。図１は、本発明の画像処理装置の一実施例
のブロック図である。図示の画像処理装置は、文字認識
機能を有する画像処理装置であり、画像メモリ１０３、
画像表示部１０４、入力部１０５、制御部１０６、画像
切り出し部１０７、認識処理部１１０等から成る。画像
メモリ１０３は、ＲＡＭ（ランダム・アクセス・メモ
リ）等から成り、２値又は多値の画像データを格納す
る。画像表示部１０４は、ＣＲＴや液晶表示装置等のデ
ィスプレイから成る。

【０００９】入力部１０５は、オペレータがデータの入
力を行なうためのものであり、例えば、画像表示部１０
４の画面上に張り巡らしたビームの遮断位置を検出する
ようなセンサから成る。制御部１０６は、画像メモリ１
０３に格納されたデータの画像表示部１０４への表示制
御や、画像切り出し部１０７の制御等の各部の制御を行
なう。画像切り出し部１０７は、入力部１０５に入力さ
れたデータに従って画像メモリ１０３から画像データの
一部を切り出して文字認識処理部１１０又は合成編集部
１１２に送る。認識処理部１１０は、文字パターンの認
識のための認識辞書や単語照合のための単語辞書を備え
ており、画像メモリ１０３から切り出した文字パターン
について文字コードへの変換や単語照合による後処理等
を行なう。

【００１０】このような装置を使って、オペレータは、
画像データを見ながら所望の文字パターンブロックを切
り出し、認識させることが可能である。また、所望の図
形ブロックを切り出して、文字認識結果とともに合成及
び編集を行ない、その結果を例えば用紙等にプリントア
ウトすることが可能である。

【００１１】次に、上述した実施例の動作を説明する。
まず、文字と図、写真等が混在した一般文書等を光学的
に走査することによって得られた光信号１０１は、光電
変換部１０２に入力される。光電変換部１０２は、光信
号１０１を量子化して２値又は多値の画像データに変換
する。この画像データは画像メモリ１０３に格納され
る。画像表示部１０４は、画像メモリ１０３に格納され
た画像データを例えば図２に示すようにディスプレイ上
に表示する。オペレータはその表示された画像を見なが
ら、所望の領域を捜し、当該領域を切り出すための切り
出し情報を入力部１０５を通して入力する。この切り出
し情報とは、当該切り出し領域を規定する座標系列と文
字か図形かの種別又は当該領域をどのように切り出すの
かといった情報等から成る。このような切り出し情報
は、制御部１０６に入力される。

【００１２】制御部１０６は、切り出し情報を解読し、
当該解読結果に基づき、画像切り出し部１０７に画像デ
ータを切り出すための指令及び切り出し領域を示すデー
タを与える。画像切り出し部１０７は、当該指令によ
り、画像メモリ１０３上の画像データを制御部１０６よ
り送られた切り出しデータに従って、分離及び抽出し、
その結果、切り出された文字パターンブロック画像１０
８は認識処理部１１０に出力され、図形ブロック画像１
０９は合成編集部１１２に直接出力される。認識処理部
１１０では、画像切り出し部１０７から入力された文字
パターンブロック画像１０８を個々の文字パターンに切
り出し、その１つ１つに対して、外接枠検出、特徴抽
出、辞書照合といった一連の認識処理をおこなう。ま
た、必要ならば、単語辞書との照合等の知識処理等を行
ない、最終的にオペレータが望む文字パターンブロック
の認識結果を合成編集部１１２へ出力する。

【００１３】合成編集部１１２は、切り出された図形ブ
ロック画像１０９及び切り出された文字パターンブロッ
ク画像１０８の認識結果１１１とを内部の規則に従って
自動的に合成し、又は制御部１０６からの指令に従って
編集する。そして、当該合成編集結果１１３を出力す
る。尚、この合成編集結果１１３は、例えば、用紙等に
プリントアウトされたり、磁気ディスク上にファイルと
して落されたりする等、様々なケースがあり得る。

【００１４】以上が本発明の画像処理装置の一実施例の
処理の流れの説明であるが、この中で、本発明の最大の
特徴は、入力部１０５のところにある。入力部１０５に
は、オペレータがその体の一部を接触することによって
入力が可能なボードが備えられている。このボードは、
接触したところの情報、即ち、接触領域の位置、数、面
積、動作等を検出する機能を有する。そして、該情報に
基づいて命令をコード化し、また切り出し領域に関する
情報を所定のフォーマットに従って、データ化すること
ができる。

【００１５】以上のような入力手段を備えた入力部１０
５を使用することによって、例えばマウスやタブレット
等を使用した場合のように常に一点のみを指示するので
はなく、一回の動作で多数の点の入力が可能となってい
る。従って、入力が迅速となり、かつ操作も簡単で済む
というメリットが生れ、されに自分の体の一部を直接触
れることによって入力することができるので、操作感覚
も向上し、ヒューマンインタフェースの優れた環境を提
供することができる。このように、本発明は、オペレー
タがボード上に直接触れることによって、接触点の位
置、数、接触面積、動作等を検出する手段を画像処理装
置等に設けたことに特徴があり、当該接触情報を検出す
る技術はどのようなものでもよい。尚、接触情報を検出
する方法は公知の技術で実現可能である。

【００１６】ここで、以下に入力部１０５について、更
に詳しく説明する。入力部１０５の形態としては、大き
く分けて２つある。１つ目の例としては、入力部１０５
が画像表示部１０４に組み込まれており、そのディスプ
レイ上にオペレータの指先等、体の一部が触れたとき
に、その接触点の位置、数、動作等を検出するものがあ
る。また、２つ目の例としては、入力部１０５が画像表
示部１０４とは別々の装置となっており、入力部１０５
における入力ボード上にオペレータの指先が触れること
によって、同様に、その接触点の位置、数、動作等を検
出するものがある。但し、後者においては、入力ボード
上の位置とディスプレイ上の位置とに対応関係を持たせ
る必要がある。

【００１７】図３に、入力部の具体的構成例を示す。図
示のように、画面の上側にＸ方向光ビーム放射器３１を
設け、画面の下側にＸ方向光センサ３２を設ける。ま
た、画面の右側にＹ方向光ビーム放射器３３を設け、画
面の左側にＹ方向光センサ３４を設ける。これらは、例
えば発光ダイオードとフォトダイオード等の配列により
構成することができる。これらの装置で囲まれた仮想的
な平面内には、常時図中点線で示すような光ビームが放
射され、これらの光ビームが格子状に張り巡らされてい
る。この仮想的な平面上の一点を図示のように指で指す
と、その点でＸ方向及びＹ方向の光ビームが遮断され
る。光ビームが遮断された点は、Ｘ方向光センサ３２及
びＹ方向光センサ３４で強度分布を測定すると、図示の
ように極小付近に相当する。従って、極小値の座標（Ｘ
1 ，Ｙ1 ）が指先の接触点として検出される。

【００１８】また、入力部１０５で入力された位置に関
する情報は、例えばマウスのように現時点における入力
ボード上の接触点の位置やその軌跡をディスプレイ上に
矢印や曲線等で表わし、オペレータは常にその位置をモ
ニタしながら、入力することができるようになってい
る。尚、モニタの際に、入力許可を指定するためのモー
ドや軌跡をキャンセルするモードが別に用意されてい
る。次に、オペレータが入力した時の接触点の位置、
数、動作等をいかに用いてオペレータの意思を制御部１
０６に伝達するかという手段について説明する。入力部
１０５は、複数のモードを持ち、接触点の数や動作によ
って、自動的にモードが切替わるようになっている。こ
こで、入力部１０５に入力している状態の例を図４に示
す。

【００１９】まず、接触点の数が１点である場合、即
ち、人差し指等で、ディスプレイ又は入力ボード上の１
点を指している状態を図４（ａ）に示す。この時、モー
ドは文字パターンブロックの切り出し指定モードに自動
的に変換される。ここで、入力モードを指定するには、
ディスプレイ又は入力ボード上の任意の位置で指等を接
触すればよく、マウスやタブレットのようにクリックす
る指定領域等を定めておく必要はない。従って、オペレ
ータの操作負担を軽減することができる。尚、後述する
ようにこの１点接触を、切り出し範囲に確定している領
域を実際に切り出し、文字パターンブロックとして認識
処理部１１０に出力する許可を与える指令として用いる
こともできる。

【００２０】図４（ｂ）は、図形ブロックを切り出すモ
ードを示す。入力部１０５において、接触点が３点検出
された場合、自動的に図形ブロック切り出しモードに変
換される。この場合も文字パターンブロック切り出しモ
ードと同様にディスプレイ又は入力ボード上の任意の場
所に触れれば良い。また、後述するように、切り出し範
囲の確定している領域を実際に切り出し、文字パターン
ブロックとして認識処理部１１０に出力する許可を与え
る指令として用いることもできる。

【００２１】図４（ｃ）、図５（ａ）は、切り出し範囲
を指定するモードである。図４（ｃ）においては、接触
点が２点検出された場合に自動的に切り出し領域の範囲
指定モードに変換される例を示す。このとき、２つの接
触点を対角とする矩形領域が切り出し範囲となり、画面
表示部１０４のディスプレイ上には図中点線で示すよう
に当該矩形の境界線が表示される。ここで、指を離すと
範囲指定モードは再びオフになり、表示された境界線は
消える。このように、オペレータは、切り出し領域を確
認しながら操作することが可能になり、しかも２つの指
を接触させるという１回の動作で範囲を指定することが
可能となるので、操作性の向上、入力の迅速さといった
効果が得られる。

【００２２】オペレータは、このモードで所望の領域が
決定した時、この領域内の画像データが実際に切り出さ
れるよう命令しなければならない。この命令の与え方と
して、例えば、２点を接触させた状態で残りの指をディ
スプレイ又は入力ボードの任意の箇所に触れるという操
作等を用いることができる。この時、領域指定のために
使用している接触点以外の接触点の数が１点であった場
合、当該切り出し指定領域は、画像切り出し部１０７に
よって文字パターンブロック画像１０８として切り出さ
れ、認識処理部１１０に出力される。一方、領域指定の
ために使用している接触点以外の接触点の数が３点であ
った場合、当該切り出し指定範囲は、画像切り出し部１
０７によって図形ブロック画像１０９として切り出さ
れ、合成編集部１１２に出力される。もちろん、これら
の操作の場合、片手の指に限らず、両手の指を使用して
も本質的に同じであることはいうまでもない。以上のよ
うに、入力部１０５は、現時点の接触点の数を検出し
て、モードを切り換えるだけでなく、接触点の数の変化
によって、連続する２以上の作業を実行させることがで
きる。

【００２３】図５（ａ）も領域指定モードであるが、こ
れは、１つの接触点の位置変化を検出し、その接触点の
軌跡を領域の範囲指定に用いるモードである。オペレー
タが、所望の切り出し領域を囲む曲線をディスプレイ又
はキーボード上に描いていく時、入力部１０５は、接触
点の位置変化が所定の閾値を超えた時、自動的に上記指
定モードに変換し、描かれた接触点の軌跡を当該閾値に
基づく離散点の座標系列として内部メモリに格納する。
この時、その軌跡はディスプレイ上に表示され、オペレ
ータが確認できるようになっている。また、接触点を離
しても軌跡は残ったままにしておくほうが操作性が良好
となると思われるが、誤った軌跡を描いてしまった場合
には、誤った軌跡の部分を消去できるようにしなければ
ならない。そのような場合には、２本の指等を２点接触
させた状態で、誤った軌跡のところをなぞるとなぞった
部分が消去されるというような機能を付与しておけばよ
い。

【００２４】尚、本実施例では、全ての設定をリセット
するモードも用意されており、このモードは、例えば図
５（ｂ）に示すように４点接触により指定される。この
リセットモードによって、描かれた軌跡は、全てクリア
される。

【００２５】以上の操作で、切り出し領域が定められた
とき、その領域内で指等を接触させると、その接触点の
数に応じた種類の切り出しが実行される。即ち、その領
域内の接触点が１個である時は、当該領域内は文字パタ
ーンブロック画像１０８として切り出され、認識処理部
１１０に出力される。また、その領域内の接触点が３個
である時は、当該領域内は図形ブロック画像１０９とし
て切り出され、合成編集部１１２に出力される。この
時、軌跡で示された切り出し領域の外部で接触させた場
合、その外部の領域も切り出しの対象となる。例えば、
図形ブロックを範囲指定し、その領域内部で３点接触を
行ない、その外部で１点接触を行なうと、その領域内部
の画像は、図形ブロックとして切り出され、その領域外
部の画像は文字パターンブロックとして切り出される。
尚、以上のように描かれた軌跡が閉ループである時だけ
指定領域が定められるので、入力部１０５は、当該軌跡
が閉ループをなすか否かをチェックし、閉ループと判定
された時だけ、上述の処理を行ない、それ以外の場合は
警告メッセージを発してオペレータに軌跡の修正を促
す。

【００２６】尚、同一画面上に複数の切り出し領域があ
り、それぞれの切り出し領域を同時に確認しながら、一
度に出力許可を与えたいという場合もある。更に所望の
順序に従って、画像を連結させたい場合等もある。本実
施例では、このような場合に対処するために次のような
手段を設けている。即ち、２点接触あるいは接触点の軌
跡によって、定められた複数の領域のそれぞれに対し
て、文字か図形かの別を接触数によって指定した後、そ
れぞれの領域を１点で指しながら、数字をキーボードで
入力していく。そして、最後に図５（ｃ）のように５点
接触を行なうと、指定された領域が切り出され、各領域
に対して与えられた数字の小さい順に画像が連結され、
画像の種類に応じて各々の処理が行なわれる。尚、順序
を指定する数字のキーボード入力を接触点数に変えても
よい。

【００２７】また、上述した図５（ｃ）は、５点以上の
接触点によるモードの入力例である。ところが、５点の
接触は、操作性が悪くなる場合があるので、例えば、手
のひら全てを接触させて、所定のモードの指定を行なう
ようにしてもよい。つまり、入力部１０５は、接触面積
を検出することが可能なので、接触面積の相異による指
定、モード変換等も可能となる。尚、図５（ｃ）に示さ
れたモード指定において領域の指定がなかった場合に
は、ディスプレイ上の全体の画像データが、文字ブロッ
ク切り出しモードか図形ブロック切り出しモードかに従
って、認識処理部１１０又は合成編集部１１２に出力さ
れる。

【００２８】以上の入力制御手順は、図６及び図７のフ
ローチャートに示す手順で行なわれる。即ち、図６に示
すように、入力ボードへの接触点数が１点から５点まで
のいずれかかを検出し（ステップＳ１〜Ｓ５）、各接触
点数に対応したモードに切り換えて処理を行なう（ステ
ップＳ６〜Ｓ１１）。接触点が１点のときは（ステップ
Ｓ１）、接触点の位置が所定の閾値以上変化したか否か
を検出し（ステップＳ６）、所定の閾値以上変化があっ
た場合、切り出し領域の範囲指定モード（ステップＳ
９）に切り換える。

【００２９】また、図７に示すように、すべての画像デ
ータの指定処理を終えた後、１点接触を検出すると（ス
テップＳ１２）、そのときのキーボードによる数字入力
を検出し（ステップＳ１３）、入力された数字の順に画
像を連結する（ステップＳ１４）。そして、画像連結を
完了した後、５点接触を検出すると（ステップＳ１
６）、指定された数字の順に画像を出力する（ステップ
Ｓ１６）。以上の実施例は、認識処理前の画像データの
切り出しに関するものであるが、文字ブロックと図形ブ
ロックとが自動的に分離・抽出され、文字パターンがす
でに認識されている場合にも本発明を適用することがで
きる。このような場合の実施例を以下に説明する。

【００３０】図８は、本発明の画像処理装置の他の実施
例のブロック図である。図示の装置は、図１の装置と同
様な要素から成るが、それらの接続関係が異なる。ま
ず、文字と図、写真が混在した一般文書等を光学的に走
査することによって得られた光信号２０１は光電変換部
２０２において、量子化され、２値又は多値の画像デー
タに変換され、画像メモリ２０３に格納される。画像切
り出し部２０４は、画像メモリ２０３内の画像データに
対して、文字パターンブロックと図形との分離・抽出を
行ない、図形ブロックの画像データを画像表示部２０７
に出力する。文字パターンブロックに対しては、更に個
々の文字パターンにも切り出して外接枠を検出し、当該
外接枠座標を当該文字パターンの画像データとともに認
識処理部２０５に出力し、更に切り出しに関する情報の
すべてを制御部２０６に伝達する。また、オペレータ
は、入力部２０８を通して制御部２０６に画像データを
切り出す命令を入力する。そして、画像切り出し部２０
４は、制御部２０６からの命令によって、指定された画
像データを切り出し、合成編集部２０９に出力する。

【００３１】認識処理部２０５では、画像切り出し部２
０４から出力された文字パターンの画像データの各々に
対し、特徴抽出、辞書照合といった一連の認識処理を行
ない、また必要であれば、単語辞書との照合等の知識処
理等を行ない、当該認識結果を画像表示部２０７に出力
する。更に、入力部２０８を通して入力されたオペレー
タの意思に基づく制御部２０６からの命令により、指定
された文字パターンのみを合成編集部２０９に出力する
ことも可能である。画像表示部２０７は、画像切り出し
部２０４によって切り出された図形ブロック画像及び認
識処理部２０５によって出力された認識結果を内部の規
則に従って自動的に合成し、又は、制御部２０６からの
指令に従って編集し、当該合成編集結果２１０を出力す
る。尚、この合成編集結果２１０は、例えば、用紙等に
プリントアウトしたり、磁気ディスク上にファイルとし
て落したりする等、様々な出力形態が考えられる。

【００３２】この第２の実施例でも、第１の実施例と同
様に入力部２０８に本発明の特徴がある。即ち、入力部
２０８も、ディスプレイ又は入力ボード上にオペレータ
の指先等、体の一部が接触することによって情報の入力
が可能となっている。但し、図１の装置と異なる点は、
画像表示部２０７で表示された文字は、画像イメージで
はなく、既に認識された文字コードであるという点及び
画像切り出し部２０４では自動的に図形ブロックと文字
パターンブロックとを分離・抽出する機能があるという
点である。

【００３３】ディスプレイ上に表示された文字あるいは
文章が認識結果であることを利用して、この第２の実施
例とは異なる入力手段を用意することができる。例え
ば、認識処理部２０５において文字パターンブロックに
おける行及び段落を抽出する機能を持たせた場合、行あ
るいは段落指定といった入力モードを設けることができ
る。このような入力モードでは、例えば図４（ｃ）のよ
うに接触点が２つあり、しかも、その接触点が２つとも
文字パターンブロック内に存在した場合、自動的に行抽
出モードに切り替わるようにする。これにより、それら
の２つの接触点が属する行及びそれらの間の行が切り出
され、合成編集部２０９に出力される。また、図４
（ａ）のように接触点が１点しかない場合でもそれが示
す位置が段落の先頭の空白部分であった場合には、その
段落のすべてが抽出され、合成編集部２０９に出力され
る。また、図５（ａ）のように、文字ブロック領域内で
範囲指定することもできるが、文字列をなぞってもよ
く、その際、なぞられた文字列が自動的に抽出され、合
成編集部２０９に出力される。これらの入力制御手順
は、図６のフローチャートに適宜判定及び処理を追加す
ることにより容易に実施できる。

【００３４】尚、本実施例では、オペレータの指示に従
って所望の領域を切り出すモードの他に、画像切り出し
部２０４において、文字パターンブロックと図形ブロッ
クとに分離・抽出された領域を修正するモードも用意さ
れている。この修正モードでは、まず、ディスプレイ上
に文字パターンブロックと図形ブロックの境界線が表示
され、もしそれらの分離領域が誤っていた場合、オペレ
ータはその境界を修正することが可能である。例えば、
図形ブロックの領域が誤って抽出されている場合、図５
（ａ）に示すようにその領域範囲を指定した後に、例え
ば図４（ｂ）の操作のように当該領域が図形ブロックで
あることを知らせればよい。この時、分離抽出されてい
た文字パターンブロックの領域が修正された図形ブロッ
クの領域と重複してしまった場合、自動的に文字パター
ンブロック領域から当該重複領域が排除される。同様
に、文字パターンブロックの修正の場合も図５（ａ）の
ように領域範囲を指定した後に、例えば、図４（ａ）の
操作で当該領域が文字ブロックであることを知らせれば
よい。また、修正に伴なう重複領域の処置は、図７に示
す処理手順に従い、前述した第１の実施例の場合と同様
にして行なうことができる。尚、修正に伴なって、図形
ブロック領域から文字ブロック領域に変更された文字画
像は、認識処理部２０５において認識処理され、認識結
果として出力される。

【００３５】更に、認識結果を修正するモードも用意さ
れている。このモードでは、修正をする文字を図４
（ａ）のように指定するか又は修正をする単語を図５
（ａ）のようにその上をなぞることによって指定し、修
正を行なうことができる。上述した実施例では、主とし
て、画像や認識結果の切り出し編集作業に、本発明を適
用したが、本発明は、これ以外の用途、例えば、ディス
プレイ上に表示されたウィンドウ等の表示形式の変換や
画像の頁めくり等の表示変換にも適用できる。この場合
にも、上述した実施例で示したように入力ボード等に接
触する接触点数、面積等の態様によって、モード変換さ
せる場合の例がいくつか考えられるが、より利便性の優
れた入力手段として以下の実施例を挙げてその詳細を説
明する。

【００３６】上述した第１及び第２の実施例において
は、ディスプレイ又は入力キーボード等の入力装置の接
触入力面は、平面又は平面に近い曲面であり、かつその
面は変形を受けることなく常に一定であった。ところ
が、その入力面が変形可能であるならば、それが変形さ
れた度合いや変形後の幾何学的形状等をも入力情報とし
て利用可能となる。従って、１回の入力操作で、更に多
くの情報を入力できる。そのような入力装置の例とし
て、第３の実施例を挙げる。

【００３７】第３の実施例では、例えば、入力面が伸縮
可能な透明なゴム状の膜でできた入力装置を用意する。
この入力装置では、第１及び第２の実施例の場合と全く
同様に、接触点の位置、数、動作等を検出することがで
きるが、同時にその膜を押し込んだときのへこみの度合
いを検出できる。そのへこみの度合いによって、画像等
のなんらかのパラメータ、例えば、ある１つのウィンド
ウ内の画像の拡大率又は縮小率を決定する。つまり、例
えば、図９（ａ）に示すように１本の指等で１つのウィ
ンドウを示し、その状態で、指を押し込んでいくと、指
し示されたウィンドウの表示は、図９（ｂ）に示すよう
にその膜のへこみの度合いに対応した拡大率まで拡大し
ていく。逆に、図１０（ａ）に示すように２本の指でそ
のウィンドウを示すと、縮小モードに変換され、その状
態で、指を押し込んでいくと、そのウィンドウ表示は、
図１０（ｂ）に示すようにその膜のへこみの度合いに対
応した縮小率まで縮小する。あるいは、入力ボードを画
像表示部と別体とし、２本の指の代わりに膜の裏側から
押し込むと縮小するという方法を採ってもよい。

【００３８】このように、第３の実施例は、画像等の表
示に関するパラメータを、変形可能な物体を入力媒体と
して用い、その変形の度合いに対応づけることによっ
て、一度の操作でパラメータ指定及び変更を可能として
いる。もちろん、変形可能な物体であれば、伸縮自在な
膜だけでなく、バネや弾力性のあるグリップ、一部のコ
ンポーネントが移動可能なもの等、何でもよい。また、
変形の度合いをパラメータではなく、各モードの変更に
対応づける方法を採ってもよい。あるいは、変形の度合
いまでは検出せず、変形の前後の形状のみを検出し、変
形後の形状を、パラメータやモードの変更に対応づける
ことも可能である。

【００３９】第３の実施例では、第１及び第２の実施例
と比較して変形というパラメータが導入された分、情報
の指定の自由度が大きくなり、それだけ利用可能な入力
情報が多くなる。ところが、例えば、上述した拡大・縮
小率を指定する例では、指で膜を押し込んだ状態で、左
右にシフトする動作等は極めてやりにくいかあるいは大
きな制約を受けることになる。従って、更に自由度を向
上させるためには、本発明を非接触で入力可能な画像処
理装置に拡張する必要がある。これによって、物理的な
入力媒体に現実に接触して入力することに伴なう制約か
らオペレータを開放できる。この非接触入力を実現する
ためには、オペレータの体の一部の位置や動作等を正確
に検出する手段が必要となる。このような手段として、
例えば、指等の手の動きを追跡することの可能なセンサ
のついたグローブやグリップ、ＣＣＤカメラ等によって
捕らえられた手の形状等の画像から指先等を抽出する手
段、あるいは、電磁場の遮断を利用する方法等、多々あ
り得る。本発明では、その手段が具体的に何であるかを
問わない。この非接触入力の例を第４の実施例として以
下に説明する。

【００４０】第４の実施例では、前述した第１、第２及
び第３の実施例における入力ボード又はディスプレイの
入力平面は、すべて、操作空間上に存在すると見立てら
れた仮想入力空間に置き換えられる。また、入力ボード
等への接触入力とは、当該仮想入力空間内の１点又は２
点以上を指示して入力することとなり、オペレータの指
先等は物理的に何者とも接触していない。このようにし
て、前述した第１、第２及び第３の実施例のモード変
換、パラメータ指定、領域指定、方法等又はディスプレ
イとの対応関係は、すべてこの非接触入力の場合に適用
できる。例えば、図１１に示すように本実施例の画像処
理装置の付近に設定された仮想入力空間の範囲内に、セ
ンサ等によって捕らえられた指先の１本が入ってきた
時、図４（ａ）の１点接触とみなすという具合である。

【００４１】また、第３の実施例のように、入力媒体の
変形を捕らえる場合には、例えば、入力平面である膜の
表面をその仮想入力空間の表面に対応させ、その膜のへ
こみ具合を当該表面に垂直なｚ方向における指先の座標
値等に対応させればよい。更に、入力媒体の形状の変形
に対応した量としては、例えば、仮想入力空間に入って
きた複数の指先の点を結ぶ幾何学的図形、例えば３本の
指の先で作られる三角形の面積等を用いる。又は、指の
曲がり具合等、体の一部の形状の変形量そのものを用い
ることもできる。

【００４２】図１２に、第４の実施例の具体的構成例を
示す。図示の装置は、上面図撮影システム４１、側面図
撮影システム４２から成る。各システムは、ＣＣＤ４
３、４４、オートフォーカスレンズ４５、４６から成
る。そして、これらのシステムに対向する位置に反射ボ
ード４７が設けられている。反射ボード４７は、人の手
と背景とを明確に区別できるように、人の肌の反射率よ
り低い反射率にされている。このようなシステムによっ
て撮影された人の手は、図１３に示すような２値パター
ンに変換される。次に、２値パターンの輪郭線から輪郭
点が抽出され、輪郭点座標系列が求められる。そして、
輪郭点座標系列に基づいて図示のような端点（先端のと
がった点）が抽出される。この結果、端点を接触点とみ
なし、端点数及び座標が求められる。図示の例では、
（Ｘ1,Ｙ1,Ｚ1 ）、（Ｘ2,Ｙ2,Ｚ2 ）の２点が求められ
る。これにより、オペレータの所望の処理が行なわれ
る。尚、端点の抽出方法としては特願平４−２８０１３
０号に開示されている方法を用いることができる。

【００４３】以上のようにして、第４の実施例では、第
１、第２及び第３の実施例のようにたかだか２次元か又
は入力媒体に拘束された３次元の入力空間とは異なり、
その仮想入力空間の範囲内で自由に入力が可能となるの
で、入力の迅速さや操作性の向上が期待できる。例え
ば、次のような場合等にその真価が発揮できる。

【００４４】まず、多数のウィンドウが折り重なって表
示されている画面があり、前のウィンドウによってすべ
て隠されたウィンドウの１つを一番前に表示させ、そこ
にカーソルを持ってくるときの操作を行なうとする。こ
の場合、仮想入力空間の接触面積及びその面積に並行な
面が、ディスプレイ上の画面に対応しており、更にその
表面に対して垂直な方向の座標が折り重なっているウィ
ンドウの前から順番に対応しているとする。すると、そ
の仮想空間内で、１点を示してやれば、まず、その１点
を含む平面に対応している画面がディスプレイ上に表示
される。オペレータは、その画面を見ながら、所望のウ
ィンドウを捜し、それがない場合には、接触点を仮想入
力空間内で移動させれば、その座標に応じて表示される
ウィンドウも代わる。

【００４５】従って、このような操作でウィンドウを検
索することができる。そして、所望のウィンドウが表示
されたとき、その平面内で接触点を動かして、そのウィ
ンドウにカーソルを移動させる。そこで、接触点数を変
化させる等の操作を行なって制御部にその旨を知らせる
と、ウィンドウ検索モードは終了し、そのウィンドウが
確定される。従って、幾重にも折り重なったウィンドウ
の内、所望のものを高速に検索することが可能となり、
従来のマウスを使用する時のようにクリックとカーソル
移動の操作を何回も行なう必要はなくなる。このように
第４の実施例では、３次元の自由度を持つ入力が可能に
なるので、２次元の画面上では複雑に錯綜したものでも
検索が容易となる。これらの例の他にも例えば、複数の
ウィンドウにイメージとして表示された論文等の頁検索
の例等がある。このためには、接触点の座標値に応じ
て、表示される画像データのアドレスを変更する手段を
設ける必要がある。

【００４６】以上が本発明による４つの実施例である
が、本発明は上述した実施例にのみ限定されるものでは
ないことはもちろんである。例えば、両手の指をそれぞ
れ同時に使って、同時に２つの文字ブロックあるいは図
形ブロック又はそれらの組み合わせ等の切り出し領域の
指定を行なえるように本発明を拡張することが可能であ
る。また、多点接触の場合にも１点接触と同様に１回毎
の入力を記憶しておき、オペレータが入力を許可したと
きにそれらすべての入力記憶に基づいた処理を行なうよ
うにすることも可能である。また、上述した実施例によ
る入力情報として用いる接触に関する物理量は、上述し
たもの以外にも考えられ、例えば、接触圧力、接触時
間、接触点間の距離、複数の接触点から構成される幾何
学的形状又は接触領域の形状そのものにまで拡張でき
る。

【００４７】更に、上述した実施例による入力手段は、
他の入力手段、例えば、マウス、タブレット、キーボー
ド等との併用を何ら妨げるものではなく、それらとの併
用によって更に多彩な入力機能を有するように変更する
ことが可能である。更にまた、上述した実施例では、接
触手段として指先を用いたが、もちろん、指先以外の体
の一部、例えば足や舌等を用いてもよい。更に、直接触
れることによる入力だけではなく、何らかの物体を介し
て間接的に触れる方法でもよい。例えば、接触部分のピ
ンポイント性及び入力の確実性の向上を図るため、入力
ボードやディスプレイのセンサにとって、図１４に示す
ように応答性のよい何らかの物体やデバイスを個々の指
先に取り付けられるようにする手段、又は、はし等のよ
うに多点入力が可能なものを使用してもよい。

【００４８】図１４に示す装置では、オペレータの指先
に電場又は磁場を検出するセンサ５１、５２等を取り付
けるようにする。これらのセンサは、オペレータが指を
折り曲げると、自動的にオフになるようになっている。
オペレータは、このようなセンサを取り付けた手を図１
５に示すように入力ボックス５３に入れる。入力ボック
ス５３の内部には、非対象な電場又は磁場が生じてお
り、オペレータはその中で手を動かす。入力ボックス５
３内の電場又は磁場の強度は各位置で異なっているの
で、その強度を測定することによって指先の位置が検出
できる。また、指が折り曲げられた場合にはセンサが自
動的にオフになるので、オンになっているセンサの数を
接触点の数とすることができる。

【００４９】また、入力ボード等の形状に関しても、必
ずしも平面状である必要はなく、入力し易い形状、例え
ば、球面、楕円面等の曲面に適宜設定できる。更に、文
字パターンに対する認識結果を用いる場合だけでなく、
シンボル等の図形認識を使用することも可能である。更
に、第１の実施例で、認識処理部が存在しないものも本
発明に含まれる。この場合、切り出された文字パターン
の画像データは、認識処理を受けることなく、そのまま
合成編集部に出力されることになる。更にまた、図４及
び図５に示す指先の接触点数、位置及びその動作による
入力とそれらに応じたモードとの対応関係はあくまでも
１つの例であり、操作性の許す範囲及び本発明の範囲内
で任意に設定可能である。また、これら接触状態の相異
と各モードとの対応関係は、一対一であるとは限らず、
異なる接触状態の組み合わせをもって、各モードに対応
させることも可能である。例えば、１点接触と２点接触
を連続して行なった場合に、他のモードに切り換える等
である。

【００５０】以上の発明の範囲に関する説明は、上述し
た第４の実施例における仮想入力空間に関しても同様で
あるが、第４の実施例の変形例としてはこれら以外にも
例えば、次のようなものがある。即ち、第４の実施例で
は、接触点の仮想入力空間における座標値が問題となっ
ていたが、接触点の相対的位置関係等の位相的な情報を
利用したり、オペレータ自らが操作性の向上等のため基
底となる座標系を定められるようにすることもできる。
尚、図１及び図８における各構成部分の処理、入出力信
号の流れ、配置等の条件は、本発明の範囲内で適宜変更
可能である。

【００５１】

【発明の効果】以上説明したように、本発明の画像処理
装置によれば、ディスプレイ上に表示された画像データ
に基づいて、オペレータが指先等を使ってディスプレイ
や入力ボード上に触れることによって領域の指定やデー
タの処理種別の指定を入力できるようにしたので、マウ
スやタブレット等を使って所望の切り出し領域を指定す
る方法と比較して、１回の操作に様々な入力機能を持た
せることができる。従って、操作性を向上でき、迅速な
入力をすることができる。即ち、マウスやタブレットの
操作に不慣れなオペレータでも自分の手を使って容易に
入力操作をすることができ、ヒューマンインタフェース
の向上を図ることができる。特に、オペレータの指先の
接触点数を検出し、その接触点数により入力モードを自
動的に切り換えるようにすることにより、これらの入力
機能を容易に実現できる。

【図面の簡単な説明】

【図１】本発明の画像処理装置の第１の実施例のブロッ
ク図である。

【図２】画像データのディスプレイ表示例の説明図であ
る。

【図３】入力部の具体的構成例の説明図である。

【図４】入力部による入力方法（その１）の説明図であ
る。

【図５】入力部による入力方法（その２）の説明図であ
る。

【図６】本発明に係る入力制御手順（その１）を説明す
るフローチャートである。

【図７】本発明に係る入力制御手順（その２）を説明す
るフローチャートである。

【図８】本発明の画像処理装置の第２の実施例のブロッ
ク図である。

【図９】本発明の第３の実施例（その１）の説明図であ
る。

【図１０】本発明の第３の実施例（その２）の説明図で
ある。

【図１１】本発明の第４の実施例の説明図である。

【図１２】第４の実施例の具体的構成例の説明図であ
る。

【図１３】図１２の装置による端点検出状況の説明図で
ある。

【図１４】第４の実施例の他の具体的構成例の説明図で
ある。

【図１５】図１４の装置による操作例の説明図である。

【符号の説明】

１０２光電変換部１０３画像メモリ１０４画像表示部１０５入力部１０６制御部１０７画像切り出し部１１０認識処理部１１２合成編集部

Claims

【特許請求の範囲】

【請求項１】画像データを表示する画像表示部と、当該画像表示部に表示される画像データの一部を指定す
る操作動作とそれと同時に行なわれる当該画像データの
処理種別を指定する操作動作とを検出してそれらの情報
を入力する入力部と、当該入力部により入力された情報により指定された画像
データの部分を切り出し、当該画像データに対して指定
された種別の処理を施す制御部とから成ることを特徴と
する画像処理装置。
【請求項２】前記入力部は、前記画像表示部に表示さ
れる画像データ上の１又は２以上の点を指定し、当該指
定により前記画像データの一部を指定すると同時に、当
該指定する点の数により前記画像データの処理種別を指
定することを特徴とする請求項１記載の画像処理装置。
【請求項３】前記制御部は、前記入力部により入力さ
れる情報に応じて、当該入力部により情報を入力するモ
ードを自動的に設定し、当該モードに対応したデータ処
理を行なうことを特徴とする請求項１または請求項２記
載の画像処理装置。