JPH1165753A

JPH1165753A - 文字列入力方法及び装置、並びに、文字列入力プログラムを格納した記憶媒体

Info

Publication number: JPH1165753A
Application number: JP23099797A
Authority: JP
Inventors: Akira Suzuki; 章鈴木; Kimitomo Kobayashi; 公知小林; Osamu Nakamura; 修中村; Kenji Ogura; 健司小倉
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1997-08-27
Filing date: 1997-08-27
Publication date: 1999-03-09
Anticipated expiration: 2017-08-27
Also published as: JP3514085B2

Abstract

(57)【要約】【課題】本発明は、文書の画像を利用して、文書の上
に書かれたキーワードを操作者が指やペンで指示するだ
けで計算機に入力される文字列入力方法及び装置の提供
を目的とする。【解決手段】本発明の文字列入力装置は、画像中の文
書領域のエッジを検出する手段１と、エッジから文書領
域を表わす長方形を特定する手段２と、長方形の平面に
おける傾きから細長い物体を動かす方向を算出する手段
３と、その物体の移動を検出する手段４と、物体の移動
情報を用いて、物体が表わす指定点の座標の時系列デー
タを求める手段５と、求められた指定点の座標の時系列
データの中から、操作者の指定動作に該当する部分を認
識し、動作で指定される領域を算出する手段６と、指定
領域の近くに存在する文字列パターンを抽出する手段７
と、文字列パターンを文字認識により文字コードに変換
する手段８とからなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、操作者により指定
された文書中の文字列パターンを文字列コードとして計
算機に入力する文字列入力方法及び装置に係わり、特
に、カメラからの画像を利用することにより、操作者が
指やペンなどの細長い物体で指定した紙の文書に書かれ
た文字列をデータベース検索のためのキーワードとして
計算機に入力する文字列入力方法及び装置に関する。

【０００２】

【従来の技術】従来、キーワードを計算機に入力するた
め、操作者がキーボードからキーワードを入力すること
が多い。カメラを用いて文書の上にかかれた文字列をキ
ーワードとして入力する従来技術によれば、文書の画像
がディスプレイ上に表示され、操作者がその画像の中か
らキーワードとして入力されるべき文字列の部分を目視
により探し、マウス等の入力デバイスを用いて画面上で
文字列を指定する。次に、指定された文字列は計算機に
より自動的に切り出され、文字認識され、キーワードと
して計算機に入力される。

【０００３】

【発明が解決しようとする課題】上記従来技術の中で、
操作者がキーボードを用いる方法には以下の問題点があ
る。（１）キーボードの操作にはある程度の訓練を必要とす
るので、誰でも容易に用いるというわけにはいかない。（２）キーワードが文書の上に文字列パターンとして存
在していても、操作者がその文字列パターンを目視によ
り見つけだし、キーボードの打鍵により入力する必要が
あるので、手間がかかる。（３）キーボードを持ち運ぶのは不便であり、特に、屋
外ではキーボードを利用しづらい。

【０００４】また、カメラを用いてディスプレイに文書
画像を表示し、操作者がマウスでキーワードを指定する
従来の方法には、以下の問題点がある。（１）ディスプレイの画面上でキーワードの文字列を探
すのには時間がかかる。（２）マウスは持ち運びが不便であり、キーボードと同
様に特に屋外にて利用しづらい。

【０００５】本発明は上記従来技術の問題点に鑑みてな
されたものであり、その目的とするところは、従来の技
術における上記の如き問題点を解消し、カメラで撮影さ
れた文書の画像を利用することを前提として、文書の上
に書かれたキーワードを操作者が指やペンで指示するだ
けでキーワードを計算機に入力する技術を実現すること
により、計算機の扱いに不慣れな操作者にも簡単に修得
でき、かつ、キーボードやマウスを持ち込めないような
場所でも適用可能なキーワードの入力方法及び装置を提
供することである。

【０００６】

【課題を解決するための手段】図１は上記目的を達成す
る本発明の原理を説明する図である。同図に示す如く、
操作者により指定された文書中の文字列パターンを文字
列コードとして計算機に入力する本発明の文字列入力方
法は、上記文字列パターンを指定する細長い物体の画像
から上記細長い物体の移動を検出する段階（ステップ
１）と、上記検出された物体の移動の情報から上記細長
い物体により示された指定点の座標の時系列データを算
出する段階（ステップ２）と、上記指定点の座標の時系
列データの中から上記操作者が上記文字列パターンを指
定する動作に対応する領域を算出する指定領域算出段階
（ステップ３）と、上記算出された領域の近くに存在す
る文字列パターンを抽出する段階（ステップ４）と、上
記抽出された文字列パターンを文字認識により文字コー
ドに変換する段階（ステップ５）とからなる。

【０００７】図２は本発明の文字列入力方法における上
記指定領域算出段階（ステップ３）の構成を説明する図
である。上記指定領域算出段階（ステップ３）は、上記
指定点の座標の時系列データの中から、上記操作者の上
記文字列パターンの指定動作の候補に対応する部分を識
別する段階（ステップ３１）と、上記指定動作の候補に
対応する部分の中で上記細長い物体が動かされる方向に
近い座標の移動方向を有する時系列データから、上記操
作者が上記文字列パターンを指定する動作に対応する領
域を算出する段階（ステップ３５）とにより構成しても
よい。

【０００８】本発明の文字列入力方法によれば、上記細
長い物体が動かされる方向は、上記画像の中の文書領域
のエッジを検出し（ステップ６）、上記検出されたエッ
ジから上記文書領域を表わす長方形を特定し（ステップ
７）、上記画像の平面内での上記長方形の傾きを算出す
る（ステップ８）ことにより得ることが可能である。

【０００９】上記指定動作の候補に対応する部分を識別
する段階（ステップ３１）は、上記指定点の座標の時系
列データの中で、指定点の座標の移動の速度が所定の閾
値よりも低いレベルから上記閾値よりも高いレベルに変
わる第１の点と、上記第１の点の後で指定点の座標の移
動の速度が所定の閾値よりも低いレベルに変わる第２の
点とを得る段階（ステップ３２）と、上記第１の点と上
記第２の点との間に挟まれた上記時系列データを上記指
定動作の候補に対応する部分として判定する段階（ステ
ップ３３）と、上記指定動作の候補に対応する部分の座
標の移動方向を得る段階（ステップ３４）とにより構成
され得る。

【００１０】上記指定する動作に対応する領域を算出す
る段階（ステップ３５）は、座標の移動方向と動作方向
とを比較する段階（ステップ３６）と、移動方向と動作
方向が近似しているかどうかを判定する段階（ステップ
３７）と、近似している場合に、上記指定動作の候補に
対応する部分は上記文字列パターンを指定する動作に対
応する領域であると判定する段階（ステップ３８）とに
より構成され得る。

【００１１】図３は本発明の操作者により指定された文
書中の文字列パターンを文字列コードとして計算機に入
力する文字列入力装置１０の構成図であり、指示物体移
動検出手段２０と、指定点座標算出手段３０と、指定領
域算出手段４０と、文字列パターン抽出手段５０と、文
字認識手段６０とからなる。指示物体移動検出手段２０
は、上記文字列パターンを指定する細長い物体の画像か
ら上記細長い物体の移動を検出する。

【００１２】指定点座標算出手段３０は、上記検出され
た物体の移動の情報から上記細長い物体により示された
指定点の座標の時系列データを算出する。指定領域算出
手段４０は、上記指定点の座標の時系列データの中から
上記操作者が上記文字列パターンを指定する動作に対応
する領域を算出する。文字列パターン抽出手段５０は、
上記算出された領域の近くに存在する文字列パターンを
抽出する。

【００１３】文字認識手段６０は、上記抽出された文字
列パターンを文字認識により文字コードに変換する。上
記指定領域算出手段４０は、上記指定点の座標の時系列
データの中から、上記操作者の上記文字列パターンの指
定動作の候補に対応する部分を識別する指定動作候補抽
出手段４２と、上記指定動作の候補に対応する部分の中
で上記細長い物体が動かされる方向に近い座標の移動方
向を有する時系列データから、上記操作者が上記文字列
パターンを指定する動作に対応する領域を判定する指定
動作判定手段４４とにより構成してもよい。

【００１４】更に、本発明の文字列入力装置１０は、画
像の中の文書領域のエッジを検出するエッジ検出手段７
０と、上記検出されたエッジから上記文書領域を表わす
長方形を特定する長方形検出手段８０と、上記画像の平
面内での上記長方形の傾きから上記細長い物体が動かさ
れる方向を算出する動作方向算出手段９０とを備える方
が有利である。

【００１５】本発明によれば、上記指定動作候補抽出手
段４２は、上記指定点の座標の時系列データの中で、指
定点の座標の移動の速度が所定の閾値よりも低いレベル
から上記閾値よりも高いレベルに変わる第１の点と、上
記第１の点の後で、指定点の座標の移動の速度が所定の
閾値よりも低いレベルに変わる第２の点とを求め、上記
第１の点と上記第２の点との間に挟まれた上記時系列デ
ータを上記指定動作の候補に対応する部分として判定
し、上記指定動作の候補に対応する部分の座標の移動方
向を得ることを特徴とする。

【００１６】本発明は、操作者により指定された文書中
の文字列パターンを文字列コードとして計算機に入力す
る文字列入力プログラムを格納した記憶媒体であって、
上記文字列パターンを指定する細長い物体の画像から上
記細長い物体の移動を検出させる指示物体移動検出プロ
セスと、上記検出された物体の移動の情報から上記細長
い物体により示された指定点の座標の時系列データを算
出させる指定点座標算出プロセスと、上記指定点の座標
の時系列データの中から上記操作者が上記文字列パター
ンを指定する動作に対応する領域を算出させる指定領域
算出プロセスと、上記算出された領域の近くに存在する
文字列パターンを抽出させる文字列パターン抽出プロセ
スと、上記抽出された文字列パターンを文字認識により
文字コードに変換させる文字認識プロセスとからなるこ
とを特徴とする文字列入力プログラムを格納する。

【００１７】更に、本発明は、操作者により指定された
文書中の文字列パターンを文字列コードとして計算機に
入力する文字列入力プログラムを格納した記憶媒体であ
って、画像中の文書領域のエッジを検出させるプロセス
と、エッジの情報から文書領域を表わす長方形を特定さ
せるプロセスと、長方形の平面における傾きから操作者
が特定の文字列の指示のために細長い物体を動かす方向
を算出させるプロセスと、上記細長い物体の移動を検出
させるプロセスと、上記検出された細長い物体の移動の
情報を用いて、上記細長い物体が表わす指定点の座標の
時系列データを求めさせるプロセスと、上記求められた
指定点の座標の時系列データの中から、操作者が指定す
る動作に該当する部分を認識させ、その動作によって指
定される領域を算出させるプロセスと、上記算出された
指定領域の近くに存在する文字列パターンを抽出させる
プロセスと、上記抽出された文字列パターンを文字認識
により文字コードに変換させるプロセスとからなる文字
列入力プログラムを格納する。

【００１８】

【発明の実施の形態】本発明によれば、文書中の特定の
文字列パターンを文字コード列として計算機に入力する
ために、操作者が文字列の上を文字列に沿った方向に指
やペン等の細長い物体を移動させ、操作者の動作をカメ
ラで捉えて、その動作によって指定された文字列を入力
する文字列入力装置が実現される。以下、本発明を実施
する文字列入力装置で行われる動作について説明する。
ステップ番号は図１に示されたステップと対応する。

【００１９】ステップ１：細長い物体が表わす指定点の
座標の時系列データの抽出は、特定の文字列の指定のた
めに操作者が用いる細長い物体の移動を検出し、検出の
結果の情報を用いて上記細長い物体が表わす指定点の座
標の時系列データを求めることにより行われる。ステップ２：操作者が特定の文字列の指示のために細長
い物体を動かす方向の算出は、画像中の文書領域のエッ
ジを検出し、エッジの情報から文書領域を表わす長方形
を特定し、画像の平面における長方形の傾きから操作者
が特定の文字列の指示のために指や細長い物体を動かす
方向を算出することにより行われる。

【００２０】ステップ３：操作者の動作によって指定さ
れる領域の算出は、指定点の座標の時系列データの中か
ら、操作者が指定する動作に該当する部分を認識するこ
とにより行われる。指定する動作に該当する部分は、指
定点の座標の時系列データの中で、指定点の座標の移動
の速度が一定の閾値より低いレベルから上記閾値よりも
高いレベルに変わる点と、その点の後で、指定点の座標
の移動の速度が一定の閾値より低いレベルに変わる点と
を求め、その２点に挟まれた時系列データに対して指定
の動作らしいか否かを判定し、かつ、指定点の座標の移
動の方向が上記の指や細長い物体を動かす方向に近いこ
とを指定動作の条件とすることにより認識される。

【００２１】ステップ４：文字列パターンの抽出は、か
くして、指定された領域の近くに存在する文字列パター
ンを抽出する。ステップ５：抽出されたパターンから文字コードへの変
換は文字認識により行われる。以上の通り、本発明の文字列入力方法及び装置によれ
ば、操作者が文書上で文字列に沿って指や細長い物体を
移動させるだけで、操作者の動作により指定された文字
列をキーワードとして計算機に取り込むことが可能であ
る。このような操作者の簡単な動作により計算機にキー
ワードを取り込む技術は広い分野での適用が可能であ
る。

【００２２】

【実施例】以下、本発明の一実施例を説明する。図４は
本発明の一実施例の文字列入力システムの構成図であ
る。同図には、文字列入力装置１０と、指やペンなどの
細長い物体の画像及び文書の画像を捉え、文字列入力装
置１０に画像を供給するカメラ１２と、文字列入力装置
１０で生成された文字列をキーワードとして受ける計算
機１４とが示される。

【００２３】次に、文字列入力装置１０の構成を説明す
る。文字列入力装置１０は、画像中の文書領域のエッジ
を検出するエッジ検出部１と、エッジの情報から文書領
域を表わす長方形を特定する長方形検出部２と、長方形
の平面における傾きから操作者が特定の文字列の指示の
ために指やペン等の細長い物体を動かす方向を算出する
動作方向算出手段３とからなる。

【００２４】文字列入力装置１０は、特定の文字列の指
定のために操作者が用いる物体の移動を検出する指示物
体移動検出部４と、指示物体移動検出部４の出力情報を
用いて細長い物体が表わす指定点の座標の時系列データ
を求める指定点座標算出部５と、指定点座標算出部５か
ら出力される指定点の座標の時系列データの中から、操
作者が指定する動作に該当する部分を認識し、その動作
によって指定される領域を算出する指定領域算出部６と
を更に有する。

【００２５】文字列入力装置１０には、指定領域算出部
６から出力された指定領域の近くに存在する文字列パタ
ーンを抽出する文字列パターン抽出部７と、文字列パタ
ーン抽出部７から出力された文字列パターンを文字認識
により文字コードに変換する文字認識部８とが設けられ
る。以下、図４の各構成ブロックの詳細な動作について
説明する。本発明の一実施例の動作は、（１）画像中の
文書の領域を長方形として抽出し、かつ、その傾きから
操作者の文字列指定動作の方向を算出する第１のフェー
ズと、（２）操作者の指示動作を検出し、指示された文
字列パターンを認識して文字列変換する第２のフェーズ
とを有する。

【００２６】最初に、第１のフェーズについて説明す
る。図５は第１のフェーズの動作フローチャートであ
る。ステップ１０１：エッジ検出部１は、画像中の文書領域
のエッジを検出する。エッジの検出については様々な方
法があり、例えば、画像の各画素の濃度の微分値を用
い、濃度が急峻に変化する箇所を探す方法を使用しても
よい。図６及び図７は本発明の一実施例によるエッジ検
出の結果の例を表わす図であり、図６にはカメラの画面
に文書のイメージが入っている画像の例が示される。図
７には図６の画像についてエッジ検出を行い、抽出され
たエッジが示される。

【００２７】ステップ１０２：長方形検出部２はエッジ
の情報から文書領域を表わす長方形を特定するため、エ
ッジの情報から直線を検出する。この直線の検出には、
例えば、ハフ変換を利用してもよい。ハフ変換に関する
説明は、例えば、「画像解析ハンドブック」（高木幹
雄、下田陽久監修）に記載されている。ステップ１０３：次に、長方形検出部２は、検出された
４本の直線から４個の交点を求め、長方形を特定する。
図８は本発明の一実施例により特定された長方形を表わ
す図である。

【００２８】ステップ１０４：動作方向算出部３は、長
方形の平面における傾きから操作者が特定の文字列の指
示のために指や細い棒を動かす方向を算出する。具体的
には、長方形の各辺と、垂直軸若しくは水平軸とがなす
角度を調べる。図９は図８の長方形の各辺が垂直軸若し
くは水平軸となす角度を調べた結果を表わす図である。
この例では、図９に示される如く、長方形は左回りに５
°回転していることが算出される。

【００２９】説明の簡単のために、操作者が特定の文字
列の指示のために指や細い棒を動かす方向を左から右へ
の向きだけに限定すると、この結果から、動作方向算出
部３は、指や細い棒を動かす方向が水平軸に対し左回り
に５°回転させた方向であると算出する。図１０は、画
面の中心を原点とし、水平方向をＸ軸、垂直方向をＹ軸
とした場合の指定動作の方向を表わすベクトルを示す図
である。

【００３０】次に、第２のフェーズについて説明する。
図１１は本発明の一実施例による第２のフェーズの動作
フローチャートである。ステップ２０１：指定物体移動検出部４は、特定の文字
列の指定のために操作者が用いる物体の移動を検出す
る。本実施例では、説明の簡単のために細長い物体とし
てペン先に赤い小球の付いたペンを用いることと、文書
には赤い色が用いられていない場合を考える。この場
合、ペンの先の赤い小球の移動を検出するためには、カ
メラで撮影した画像から赤い色の成分だけを抽出すれば
よい。

【００３１】ステップ２０２：指定点座標算出部５は、
指示物体移動検出部４の出力情報を受けて、指定点の座
標の時系列データを求める。本実施例の場合には、赤い
小球の領域の中心座標を計算することにより指定点の座
標の時系列データが求められる。指定領域算出手段６
は、指定点座標算出手段５から出力された指定点の座標
の時系列データの中から、操作者が指定する動作に該当
する部分を認識し、その動作によって指定される領域を
算出する。そのため、指定領域算出手段６は、最初に、
概略的に、指定点の座標の時系列データの中から操作者
が指定する動作に該当する部分の候補を抽出して開始点
及び終了点を出力する。

【００３２】指定領域算出部６は、次に、抽出された候
補を評価して判定する。図１２は本発明の一実施例の指
定領域算出部６の構成図である。指定領域算出部６は、
指定点の座標の時系列データを格納する時系列座標格納
テーブル６２と、時系列座標格納テーブル６２を制御す
る時系列座標格納テーブル制御部６１と、指定点の座標
の時系列データから指定動作に該当する候補を抽出する
指定動作候補抽出部６３と、上記部分を記述する指定動
作候補レジスタ６４と、指定動作候補抽出部６３によっ
て抽出された候補を評価して最終的に判定する指定動作
判定部６５とからなる。

【００３３】図１２に示された指定領域算出部６は、１
個の指定点の座標が入力される毎に１回の処理を行い、
その指定点によって終端される指定領域があるか否かを
判断する。指定領域がないと判断された場合には、何も
出力しない。指定点によって終端された指定領域がある
と判断された場合には、その領域を出力する。ここで、
カメラが撮影するフレームの時間間隔は一定であるとす
る。最初の指定領域は文書の領域内に検出された時刻を
ｔ₀として表され、その後の時刻は、フレームの時間間
隔毎に、ｔ₁、ｔ₂、・・・で表される。また、任意の
時刻ｔ _iに観測された指定点をＰ_iで表わす。

【００３４】図１３は本発明の一実施例による時系列座
標格納テーブルの初期状態を表す図である。このテーブ
ルは、入力され得る点Ｐ₀、・・・の各座標を格納する
フィールドを有し、格納されていない指定点の座標は、
同図ではＮＵＬＬで示される。ステップ２０３：時系列座標格納テーブル制御部６１
は、個別のＰ_iの座標を受け取ったら、単にその座標を
時系列座標テーブル６２の該当するフィールドに格納
し、座標と時刻とを示す値ｉを指定動作候補抽出部６３
に送る。

【００３５】次に、指定動作候補抽出部６３は、指定動
作に該当する部分の候補と抽出する処理を行うが、その
ために、「操作者が特定の文字列を指定する動作は、最
初と最後で指定点の移動速度が非常に遅くなる」という
性質を利用して、この最初の点（開始点と称する）と最
後の点（終端点と称する）を検出する。指定動作候補レ
ジスタ６４は、開始点及び終端点の検出のために用いら
れるレジスタであり、開始点の値を入れるフィールドと
終端点を入れるフィールドとがあり、初期状態ではどち
らも何も格納されていない状態を表わす値が入れられ
る。

【００３６】指定動作候補抽出部６３がＰ_iの座標を受
け取った後の具体的な処理内容は以下の通りである。ステップ２０４：指定動作候補抽出部６３は、Ｐ_iが開
始点であるか否かを判定する。この判定は、以下の４条
件を満足しているか否かを順番に調べ、全部満足してい
れば開始点とし、満足しない条件があれば、開始点では
ないと判定する。

【００３７】条件Ａ：ｉ≧Ｎ条件Ｂ：指定動作候補レジスタ６４の開始点の値が何も
入っていない。条件Ｃ：Ｒ（Ｐ_i-1，Ｐ_i）が一定の閾値Ｒ_Lよりも大
きい。条件Ｄ：座標点の集合｛Ｐ_i-N，・・・，Ｐ_i-1｝の重
心からの各点のユークリッド距離の平均値が一定の閾値
Ｋより小さい。

【００３８】ここで、Ｒ（Ｐ_i-1，Ｐ_i）とは、Ｐ_i-1
とＰ_iの座標間のユークリッド距離である。また、Ｎは
Ｐ_iを判断するために考慮するＰ_iより以前の指定点の
座標データの個数である。ステップ２０５：Ｐ_iが開始点と判定された場合には、
指定動作候補抽出部６３は、その値を指定動作候補レジ
スタ６４の中の開始点を入れるフィールドに記入し、指
定領域算出手段６のＰ_iの入力に対する処理が終了し、
次の座標があるかどうかを判定するステップ２０８に進
む。

【００３９】ステップ２０６：Ｐ_iが開始点でないと判
定された場合には、指定動作候補抽出部６３は、Ｐ_iが
終端点であるか否かを判定する。この判定は、以下の４
条件を満足しているか否かを順番に調べ、全部満足して
いれば終端点とし、満足しなければ終端点ではないと判
定する。条件ａ：指定動作候補レジスタ６４の開始点の値に何ら
かの値が入っている。

【００４０】条件ｂ：ｉ≧（Ｎ−１）条件ｃ：Ｒ（Ｐ_i-1，Ｐ_i）が一定の閾値Ｒ_Lより小さ
い。条件ｄ：座標点の集合｛Ｐ_i-(N-1)，・・・，Ｐ_i｝の
重心からの各点のユークリッド距離の平均値が一定の閾
値Ｋより小さい。ステップ２０７：Ｐ_iが終端点と判定された場合には、
その値を指定動作候補レジスタ６４の終端点を入れるフ
ィールドに記入し、その後で、指定動作候補レジスタ６
４の開始点の値と終端点の値とを出力し、次いで、指定
動作候補レジスタ６４を初期状態に戻す。

【００４１】ステップ２０８：Ｐ_iが終了点でないと判
定された場合には、指定領域算出手段６のＰ_iの入力に
対する処理が終了し、次の座標Ｐ_i+1があるかどうかが
判定され、次の座標があれば、ステップ２０３に戻り、
次の座標がなければ指定領域算出の処理が終了する。以
上説明した指定動作候補抽出部６３の具体的な動作を示
すため、図１４に示す本発明の一実施例による指定点の
時系列データの例が指定点座標算出部５から送られたと
きの動作例を説明する。図１４において、Ｐ₄〜Ｐ₇の
４点と、Ｐ₉〜Ｐ₁₁の３点は、同一座標に留まるので、
重複して見える。

【００４２】図１５は指定動作候補レジスタ６４の初期
状態の例を示す図である。同図において、「ＮＵＬＬ」
は何も格納されていない状態を表す値である。また、指
定動作候補抽出部６３で使用される３個の閾値Ｒ_L、
Ｎ、Ｋは、夫々、Ｒ_L＝０．５、Ｎ＝３、Ｋ＝０．１で
ある場合を考える。図１５に示されたＰ₀〜Ｐ₂が入力
されたとき、開始点であるか否かの判定において、条件
Ａを満足しないので、「否」と判定される。また、終端
点であるか否かの判定においても、指定動作候補レジス
タ６４に開始点の値が入っていないので、条件ａを満足
せず、「否」と判定される。

【００４３】また、Ｐ₃及びＰ₄に対しては、開始点で
あるか否かの判定において、条件Ａを満足し、指定動作
候補レジスタ６４の開始点の値は何も入っていないので
条件Ｂも満足し、Ｒ（Ｐ_i-1，Ｐ_i）は共通して１であ
りＲ_L＝０．５よりも大きいので、条件Ｃも満足する。
しかし、座標点の集合｛Ｐ_i-N，・・・，Ｐ_i-1｝の重
心からの各点のユークリッド距離の平均値が共通して２
／３＝０．６７であり、閾値Ｋ＝０．１よりも大きいた
め条件Ｄを満足しないので、「否」と判定される。そし
て、終端点であるか否かの判定においても、指定動作候
補レジスタ６４に開始点の値が入っていないので、条件
ａを満足せず、「否」と判定される。

【００４４】次に、Ｐ₅〜Ｐ₇に対しては、開始点であ
るか否かの判定において、条件Ａは満足し、指定動作候
補レジスタ６４の開始点の値は何も入っていないので条
件Ｂも満足するが、Ｒ（Ｐ_i-1，Ｐ_i）は共通して０で
ありＲ_L＝０．５よりも小さいので、条件Ｃを満足しな
いので「否」と判定される。そして、終端点であるか否
かの判定においても、指定動作候補レジスタ６４に開始
点の値が入っていないので、条件ａを満足せず、「否」
と判定される。

【００４５】次に、Ｐ₈に対しては、開始点であるか否
かの判定において、条件Ａは満足し、指定動作候補レジ
スタ６４の開始点の値は何も入っていないので条件Ｂも
満足し、Ｒ（Ｐ_i-1，Ｐ_i）は１でありＲ_L＝０．５よ
りも大きいので条件Ｃを満足し、座標点の集合
｛Ｐ_i-N，・・・，Ｐ_i-1｝の重心からの各点のユーク
リッド距離の平均値が０であり、閾値Ｋ＝０．１よりも
小さいので条件Ｄを満足する。従って、Ｐ₈は開始点で
あると判定され、指定動作候補レジスタ６４の内容は図
１６のようになる。

【００４６】開始点Ｐ₈に対する終端点が検出されるの
は、Ｐ₁₁が入力されたときである。この場合、指定動作
候補レジスタ６４の開始点には既にＰ₈の値が入ってい
るので、条件Ｂを満足せず、開始点とは判定されない。
そして、終端点であるか否かの判定においても、指定動
作候補レジスタ６４に開始点の値が入っているので条件
ａは満足し、Ｒ（Ｐ_i-1，Ｐ_i）＝０であり一定の閾値
Ｒ_L＝０．５よりも小さいので条件ｃを満足し、座標点
の集合｛Ｐ_i-N，・・・，Ｐ_i-1｝の重心からの各点の
ユークリッド距離の平均値が０であり、閾値Ｋ＝０．１
よりも小さいので条件ｄを満足する。そこで、指定動作
候補抽出部６３は指定動作候補レジスタ６４の終端点の
値に図１７に示される如く、Ｐ₁₁を入れ、次いで、指定
動作判定部６５に指定動作候補レジスタ６４の内容を出
力し、続いて、指定動作候補レジスタ６４を初期化す
る。

【００４７】次に、指定動作判定部６５の動作を説明す
る。例として、指定動作候補抽出部６３から、「開始点
＝Ｐ₈、終端点＝Ｐ₁₁」という出力を受けた指定動作判
定部６５の動作を説明する。ステップ２０９：指定動作判定部６５は、まず、時系列
座標格納テーブル６２から開始点の一つ前の指定点で始
まり、終端点で終わる指定点の座標の時系列データを取
り出す。この例では、時系列座標格納テーブル６２か
ら、Ｐ₇で始まりＰ₁₁で終わる指定点の座標の時系列デ
ータを取り出す。このときの時系列座標格納テーブル６
２の内容が図１８に示される。

【００４８】図１８の時系列座標格納テーブル６２から
Ｐ₇で始まり、Ｐ₁₁で終わる指定点の座標の時系列デー
タを取り出した後の指定動作判定部６５の動作を図１９
を参照して説明する。ステップ２１０：指定動作判定部６５は、時間的に隣接
する二つの指定点が構成するベクトル（移動ベクトル）
をすべて取り出し、一定の閾値以上の大きさを持つ移動
ベクトルだけを抽出する。この場合には、値が（１，
０）である移動ベクトルが２個取り出される。次に、指
定動作判定部６５は、上記の各移動ベクトルの方向と、
動作方向算出部３が既に算出している動作の方向との差
分を算出する。この動作の方向は、操作者が特定の文字
列の指示をする動作の方向である。本実施例の説明で
は、図９に示されるように、操作者が特定の文字列を指
示する動作の方向は、水平軸から左回りに５°回転させ
た方向であると算出されているので、差分は、夫々、
「−５°」及び「−５°」である。

【００４９】ステップ２１１：指定動作判定部６５は、
上記の方向の差分の平均値を計算し、上記差分の平均値
が一定の条件を満足するかどうかを判定する。本実施例
では、例えば、方向の差分の平均値が±１０°以内であ
ることを条件とする。上記の例において、差分は−５°
であり上記条件を満たしているので、指定動作判定部６
５は「指定動作である」と判定する。

【００５０】ステップ２１２：「指定動作である」と判
定された場合、開始点の一つ前の指定点の座標と、終了
点の座標とを指定領域として出力する。この例では、
「（−１，−１）、（１，１）」と出力される。ステップ２１３：「指定動作ではない」と判定された場
合、次の座標があるかどうかが判定され、次の座標があ
ればステップ２０３に戻り、次の座標がなければ処理を
終了する。

【００５１】指定領域算出部６から出力される指定領域
に基づいて、文字列パターン抽出部７は指定領域の近く
に存在する文字列パターンを抽出する。図２０は文字列
パターン抽出部７の動作を説明するための図である。ステップ２１４：文字列パターン抽出部７は、指定領域
算出部６から出力される指定領域の近傍を切り出し、２
値化する。図２０の（ａ）には、２値化の例が示され
る。この中で、文字列「ｒｅｇａｒｄｉｎｇ」のイメー
ジが操作者により指定された文字列であるとする。

【００５２】ステップ２１５：次に、文字列パターン抽
出部７は、２値化した画像から文字列の領域を切り出
す。この処理は、例えば、文書の傾きの角度を用いて、
文書の横方向に黒画素の周辺分布を求め、黒画素の少な
い部分を見つけて行の切れ目とし、続いて、各行につい
て文書の縦方向に黒画素の周辺分布を求めて、黒画素の
少ない部分を見つけて文字列の切れ目とすることにより
行われる。図２０の（ｂ）は文字列の領域を切り出した
結果の例を表わす。図２０の（ｃ）は各文字列の領域の
輪郭だけを抽出して識別番号を割り当てた様子を示す図
である。

【００５３】ステップ２１６：文字列パターン抽出部７
は、各文字列領域の中心及び長さと、指定領域算出部６
から出力された指定領域の中心及び長さを比較し、最も
近い文字列領域の文字列のイメージを出力する。この例
では、図２０の（ｄ）に示される如く、識別番号４の文
字列領域の中心及び長さが指定領域の中心及び長さと最
も近いので、「ｒｅｇａｒｄｉｎｇ」のイメージが正し
く出力される。

【００５４】ステップ２１７：最後に、文字認識部８
は、文字列パターン抽出部７から出力された文字列パタ
ーンを文字コードに変換する。具体的に言うと、文字列
パターンを個別文字パターンに分割し、個別の文字パタ
ーンを文字認識する方法、或いは、文字列パターン全体
を認識対象として作成した認識辞書と照合する方法等に
より、文字認識が行われる。

【００５５】また、文字列入力装置１０の構成は、上記
の実施例で説明された例に限定されることなく、文字列
入力装置１０の各々の構成要件をソフトウェア（プログ
ラム）で構築し、ディスク装置等に格納しておき、必要
に応じて情報提供装置のコンピュータにインストールし
て文字列の計算機への入力を行うことも可能である。さ
らに、構築されたプログラムをフロッピーディスクやＣ
Ｄ−ＲＯＭ等の可搬記憶媒体に格納し、このようなシス
テムを用いる場面で汎用的に使用することも可能であ
る。

【００５６】本発明は、上記の実施例に限定されること
なく、特許請求の範囲内で種々変更・応用が可能であ
る。

【００５７】

【発明の効果】以上、詳細に説明した如く、本発明によ
れば、操作者が文書上で文字列に沿って指や細い棒を移
動させるだけで、その文字列をキーワードとして計算機
に入力できる技術が実現されるので、操作者が計算機の
扱いに不慣れであっても、容易にキーワード入力がで
き、かつ、キーボードやマウスが持ち込めない場所でも
適用できるという顕著な効果が得られる。

【００５８】また、本発明によれば、操作者が指やペン
などの細長い物体を用いて指定した紙の文書に書かれた
文字列をデータベース検索等のためのキーワードとして
計算機に入力することが可能になるので、データベース
検索の際のキーワード入力が容易になるという利点があ
る。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】本発明の文字列入力方法における指定領域の算
出の説明図である。

【図３】本発明の文字列入力装置の構成図である。

【図４】本発明の一実施例の文字列入力システムの構成
図である。

【図５】本発明の一実施例による第１のフェーズの動作
フローチャートである。

【図６】本発明の一実施例による文書の画像の例を表わ
す図である。

【図７】本発明の一実施例によるエッジ検出の結果の例
を表わす図である。

【図８】本発明の一実施例により特定された長方形の例
を表わす図である。

【図９】本発明の一実施例による長方形の傾きの例を表
わす図である。

【図１０】本発明の一実施例による指示動作の方向ベク
トルの例を表わす図である。

【図１１】本発明の一実施例による第２のフェーズの動
作フローチャートである。

【図１２】本発明の一実施例による指定領域算出部の構
成図である。

【図１３】本発明の一実施例による時系列座標格納テー
ブルの初期状態の例を表わす図である。

【図１４】本発明の一実施例による指定点の時系列デー
タの例を表わす図である。

【図１５】本発明の一実施例による指定動作候補レジス
タの初期状態の例を表わす図である。

【図１６】本発明の一実施例において開始点が検出され
たときの指定動作候補レジスタの内容を表わす図であ
る。

【図１７】本発明の一実施例において終端点が検出され
たときの指定動作候補レジスタの内容を表わす図であ
る。

【図１８】本発明の一実施例による時系列座標格納テー
ブルの内容を表わす図である。

【図１９】本発明の一実施例による指定動作判定部の動
作説明図である。

【図２０】本発明の一実施例による文字列パターン抽出
部の動作説明図である。

【符号の説明】

１エッジ検出部２長方形検出部３動作方向算出部４指示物体移動検出部５指定点座標算出部６指定領域算出部７文字列パターン抽出部８文字認識部１０文字列入力装置１２計算機１４カメラ

───────────────────────────────────────────────────── フロントページの続き (72)発明者小倉健司東京都新宿区西新宿三丁目19番２号日本電信電話株式会社内

Claims

【特許請求の範囲】

【請求項１】操作者により指定された文書中の文字列
パターンを文字列コードとして計算機に入力する文字列
入力方法において、上記文字列パターンを指定する細長い物体の画像から上
記細長い物体の移動を検出する段階と、上記検出された物体の移動の情報から上記細長い物体に
より示された指定点の座標の時系列データを算出する段
階と、上記指定点の座標の時系列データの中から上記操作者が
上記文字列パターンを指定する動作に対応する領域を算
出する指定領域算出段階と、上記算出された領域の近くに存在する文字列パターンを
抽出する段階と、上記抽出された文字列パターンを文字認識により文字コ
ードに変換する段階とからなることを特徴とする文字列
入力方法。
【請求項２】上記指定領域算出段階は、上記指定点の座標の時系列データの中から、上記操作者
の上記文字列パターンの指定動作の候補に対応する部分
を識別する段階と、上記指定動作の候補に対応する部分の中で上記細長い物
体が動かされる方向に近い座標の移動方向を有する時系
列データから、上記操作者が上記文字列パターンを指定
する動作に対応する領域を算出する段階とを有すること
を特徴とする請求項１記載の文字列入力方法。
【請求項３】上記細長い物体が動かされる方向は、上記画像の中の文書領域のエッジを検出し、上記検出されたエッジから上記文書領域を表わす長方形
を特定し、上記画像の平面内での上記長方形の傾きを算出すること
により得られることを特徴とする請求項２記載の文字列
入力方法。
【請求項４】上記指定動作の候補に対応する部分を識
別する段階は、上記指定点の座標の時系列データの中で、指定点の座標
の移動の速度が所定の閾値よりも低いレベルから上記閾
値よりも高いレベルに変わる第１の点と、上記第１の点
の後で指定点の座標の移動の速度が所定の閾値よりも低
いレベルに変わる第２の点とを得る段階と、上記第１の点と上記第２の点との間に挟まれた上記時系
列データを上記指定動作の候補に対応する部分として判
定する段階と、上記指定動作の候補に対応する部分の座標の移動方向を
得る段階とを有することを特徴とする請求項２又は３記
載の文字列入力方法。
【請求項５】操作者により指定された文書中の文字列
パターンを文字列コードとして計算機に入力する文字列
入力装置において、上記文字列パターンを指定する細長い物体の画像から上
記細長い物体の移動を検出する指示物体移動検出手段
と、上記検出された物体の移動の情報から上記細長い物体に
より示された指定点の座標の時系列データを算出する指
定点座標算出手段と、上記指定点の座標の時系列データの中から上記操作者が
上記文字列パターンを指定する動作に対応する領域を算
出する指定領域算出手段と、上記算出された領域の近くに存在する文字列パターンを
抽出する文字列パターン抽出手段と、上記抽出された文字列パターンを文字認識により文字コ
ードに変換する文字認識手段とからなることを特徴とす
る文字列入力装置。
【請求項６】上記指定領域算出手段は、上記指定点の座標の時系列データの中から、上記操作者
の上記文字列パターンの指定動作の候補に対応する部分
を識別する指定動作候補抽出手段と、上記指定動作の候補に対応する部分の中で上記細長い物
体が動かされる方向に近い座標の移動方向を有する時系
列データから、上記操作者が上記文字列パターンを指定
する動作に対応する領域を判定する指定動作判定手段と
を有することを特徴とする請求項５記載の文字列入力装
置。
【請求項７】画像の中の文書領域のエッジを検出する
エッジ検出手段と、上記検出されたエッジから上記文書領域を表わす長方形
を特定する長方形検出手段と、上記画像の平面内での上記長方形の傾きから上記細長い
物体が動かされる方向を算出する動作方向算出手段とを
更に有することを特徴とする請求項６記載の文字列入力
装置。
【請求項８】上記指定動作候補抽出手段は、上記指定点の座標の時系列データの中で、指定点の座標
の移動の速度が所定の閾値よりも低いレベルから上記閾
値よりも高いレベルに変わる第１の点と、上記第１の点
の後で、指定点の座標の移動の速度が所定の閾値よりも
低いレベルに変わる第２の点とを求め、上記第１の点と上記第２の点との間に挟まれた上記時系
列データを上記指定動作の候補に対応する部分として判
定し、上記指定動作の候補に対応する部分の座標の移動方向を
得ることを特徴とする請求項６又は７記載の文字列入力
装置。
【請求項９】操作者により指定された文書中の文字列
パターンを文字列コードとして計算機に入力する文字列
入力装置において、画像中の文書領域のエッジを検出するエッジ検出手段
と、エッジの情報から文書領域を表わす長方形を特定する長
方形検出手段と、長方形の平面における傾きから操作者が特定の文字列の
指示のために細長い物体を動かす方向を算出する動作方
向算出手段と、上記細長い物体の移動を検出する指示物体移動検出手段
と、上記指示物体移動検出手段の出力情報を用いて、上記細
長い物体が表わす指定点の座標の時系列データを求める
指定点座標算出手段と、上記指定点座標算出手段から出力される指定点の座標の
時系列データの中から、操作者が指定する動作に該当す
る部分を認識し、その動作によって指定される領域を算
出する指定領域算出手段と、上記指定領域算出手段から出力された指定領域の近くに
存在する文字列パターンを抽出する文字列パターン抽出
手段と、上記文字列パターン抽出手段から出力された文字列パタ
ーンを文字認識により文字コードに変換する文字認識手
段とからなることを特徴とする文字列入力装置。
【請求項１０】操作者により指定された文書中の文字
列パターンを文字列コードとして計算機に入力する文字
列入力プログラムを格納した記憶媒体において、上記文字列パターンを指定する細長い物体の画像から上
記細長い物体の移動を検出させる指示物体移動検出プロ
セスと、上記検出された物体の移動の情報から上記細長い物体に
より示された指定点の座標の時系列データを算出させる
指定点座標算出プロセスと、上記指定点の座標の時系列データの中から上記操作者が
上記文字列パターンを指定する動作に対応する領域を算
出させる指定領域算出プロセスと、上記算出された領域の近くに存在する文字列パターンを
抽出させる文字列パターン抽出プロセスと、上記抽出された文字列パターンを文字認識により文字コ
ードに変換させる文字認識プロセスとからなることを特
徴とする文字列入力プログラムを格納した記憶媒体。
【請求項１１】上記指定領域算出プロセスは、上記指定点の座標の時系列データの中から、上記操作者
の上記文字列パターンの指定動作の候補に対応する部分
を識別させる指定動作候補抽出プロセスと、上記指定動作の候補に対応する部分の中で上記細長い物
体が動かされる方向に近い座標の移動方向を有する時系
列データから、上記操作者が上記文字列パターンを指定
する動作に対応する領域を判定させる指定動作判定プロ
セスとを有することを特徴とする請求項１０記載の文字
列入力プログラムを格納した記憶媒体。
【請求項１２】画像の中の文書領域のエッジを検出さ
せるエッジ検出プロセスと、上記検出されたエッジから上記文書領域を表わす長方形
を特定させる長方形検出プロセスと、上記画像の平面内での上記長方形の傾きから上記細長い
物体が動かされる方向を算出する動作方向算出プロセス
とを更に有することを特徴とする請求項１１記載の文字
列入力プログラムを格納した記憶媒体。
【請求項１３】上記指定動作候補抽出プロセスは、上記指定点の座標の時系列データの中で、指定点の座標
の移動の速度が所定の閾値よりも低いレベルから上記閾
値よりも高いレベルに変わる第１の点と、上記第１の点
の後で指定点の座標の移動の速度が所定の閾値よりも低
いレベルに変わる第２の点とを求めさせ、上記第１の点と上記第２の点との間に挟まれた上記時系
列データを上記指定動作の候補に対応する部分として判
定させ、上記指定動作の候補に対応する部分の座標の移動方向を
取得させることを特徴とする請求項１１又は１２記載の
文字列入力プログラムを格納した記憶媒体。
【請求項１４】操作者により指定された文書中の文字
列パターンを文字列コードとして計算機に入力する文字
列入力プログラムを格納した記憶媒体において、画像中の文書領域のエッジを検出させるプロセスと、エッジの情報から文書領域を表わす長方形を特定させる
プロセスと、長方形の平面における傾きから操作者が特定の文字列の
指示のために細長い物体を動かす方向を算出させるプロ
セスと、上記細長い物体の移動を検出させるプロセスと、上記検出された細長い物体の移動の情報を用いて、上記
細長い物体が表わす指定点の座標の時系列データを求め
させるプロセスと、上記求められた指定点の座標の時系列データの中から、
操作者が指定する動作に該当する部分を認識させ、その
動作によって指定される領域を算出させるプロセスと、上記算出された指定領域の近くに存在する文字列パター
ンを抽出させるプロセスと、上記抽出された文字列パターンを文字認識により文字コ
ードに変換させるプロセスとからなる文字列入力プログ
ラムを格納した記憶媒体。