JPH0876913A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】指示入力を簡単かつ容易に行なうことができ、
操作性と信頼性の向上が図れる画像処理装置を提供す
る。 【構成】撮像装置１と画像入力部２で紙媒体Ｐ全体の画
像を取込み、記憶部４に記憶し、また、紙媒体Ｐ上を指
Ｕで指示した状態の画像を同様に取込み、記憶部５に記
憶する。位置検出部６は、記憶部４，５内の各画像デー
タを用いて指の画像のみを抽出し、この抽出した画像か
ら指の先端位置を検出する。回転正規化補正部８、歪み
補正部９は、記憶部４内の画像データと位置検出部６で
検出された指先端位置情報により紙媒体Ｐの位置を検出
し、それに対する指先端の相対位置を認識する。命令特
定部１１は、回転正規化補正部８あるいは歪み補正部９
で求められた相対座標値からアドレスを生成して命令記
憶部１０ををアクセスし、対応する命令を特定する。特
定された命令は動作実行部１２で実行される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、たとえば、電車の予約
情報の確認など使用者が欲しい情報を検索する情報検索
装置などに適用して好適な画像処理装置に関する。

【０００２】

【従来の技術】従来、たとえば、電車の予約情報の確認
など使用者が欲しい情報を検索する情報検索装置など、
人間の指示に基づいてコンピュータ処理を行なう画像処
理装置の指示入力方法としては、キーボードを用いるも
の、タッチパネル上で指やペンによって指示するもの、
あるいは、表示装置（ディスプレイ）上でマウスの連動
によるものなどがあった。

【０００３】

【発明が解決しようとする課題】キーボードを用いるも
のや、タッチパネル上での指示や、表示装置上でのマウ
スを用いるものでは、物理的な接触を必要とするので、
操作が面倒で操作性に劣り、また、故障し易く、信頼性
にも劣るという問題があった。

【０００４】そこで、本発明は、指示入力を簡単かつ容
易に行なうことができ、操作性と信頼性の向上が図れる
画像処理装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明の画像処理装置
は、被撮像媒体を撮像する撮像手段と、前記被撮像媒体
上の所定位置を指示する指示手段と、前記撮像手段によ
って撮像された前記被撮像媒体全体の画像を記憶する第
１の記憶手段と、前記撮像手段によって撮像された前記
指示手段による指示を行なっている状態の前記被撮像媒
体の画像を記憶する第２の記憶手段と、前記第１の記憶
手段に記憶された画像と前記第２の記憶手段に記憶され
た画像とに基づき、前記指示手段による前記被撮像媒体
上の指示位置を検出する検出手段と、前記第１の記憶手
段に記憶された画像に基づき前記被撮像媒体の位置を検
出し、この検出した被撮像媒体の位置に対する前記指示
手段の相対位置を、前記検出手段の検出結果に基づき認
識する認識手段と、前記指示手段の相対位置と実行する
命令とを対応づける情報をあらかじめ記憶している第３
の記憶手段と、前記認識手段の認識結果に基づき前記第
３の記憶手段の内容を参照することにより対応する命令
を特定する特定手段と、この特定手段で特定された命令
に対応する動作を実行する実行手段とを具備している。

【０００６】また、本発明の画像処理装置は、被撮像媒
体を撮像する撮像手段と、前記被撮像媒体上の所定位置
を指示する指示手段と、前記撮像手段によって撮像され
た前記被撮像媒体全体の画像を記憶する第１の記憶手段
と、前記撮像手段によって撮像された前記指示手段によ
る指示を行なっている状態の前記被撮像媒体の画像を記
憶する第２の記憶手段と、前記第１の記憶手段に記憶さ
れた画像と前記第２の記憶手段に記憶された画像とに基
づき、前記指示手段による前記被撮像媒体上の指示位置
を検出する検出手段と、前記第１の記憶手段に記憶され
た画像に基づき前記被撮像媒体の位置を検出し、この検
出した被撮像媒体の位置に対する前記指示手段の相対位
置を、前記検出手段の検出結果に基づき前記第１の記憶
手段に記憶された画像に対して回転補正を施すことによ
り認識する認識手段と、前記指示手段の相対位置と実行
する命令とを対応づける情報をあらかじめ記憶している
第３の記憶手段と、前記認識手段の認識結果に基づき前
記第３の記憶手段の内容を参照することにより対応する
命令を特定する特定手段と、この特定手段で特定された
命令に対応する動作を実行する実行手段とを具備してい
る。

【０００７】さらに、発明の画像処理装置は、被撮像媒
体を撮像する撮像手段と、前記被撮像媒体上の所定位置
を指示する指示手段と、前記撮像手段によって撮像され
た前記被撮像媒体全体の画像を記憶する第１の記憶手段
と、前記撮像手段によって撮像された前記指示手段によ
る指示を行なっている状態の前記被撮像媒体の画像を記
憶する第２の記憶手段と、前記第１の記憶手段に記憶さ
れた画像と前記第２の記憶手段に記憶された画像とに基
づき、前記指示手段による前記被撮像媒体上の指示位置
を検出する検出手段と、前記第１の記憶手段に記憶され
た画像に基づき前記被撮像媒体の位置を検出し、この検
出した被撮像媒体の位置に対する前記指示手段の相対位
置を、前記検出手段の検出結果に基づき前記第１の記憶
手段に記憶された画像に対して歪み補正を施すことによ
り認識する認識手段と、前記指示手段の相対位置と実行
する命令とを対応づける情報をあらかじめ記憶している
第３の記憶手段と、前記認識手段の認識結果に基づき前
記第３の記憶手段の内容を参照することにより対応する
命令を特定する特定手段と、この特定手段で特定された
命令に対応する動作を実行する実行手段とを具備してい
る。

【０００８】

【作用】たとえば、命令が印刷してある紙媒体などのメ
ディアを用いて撮像手段によって入力された画像から、
人間の指で指示された位置を認識し、その紙媒体に対す
る相対的な位置情報から命令を特定し、動作を実行する
ことにより、人間の指による指示だけで、指示入力が簡
単かつ容易に行なうことができ、従来の指示入力方法に
比して操作性および信頼性が著しく向上する。

【０００９】

【実施例】以下、本発明の一実施例について図面を参照
して説明する。

【００１０】図１は、本実施例に係る画像処理装置の構
成を概略的に示すものである。本画像処理装置は、たと
えば、指などを用いて人間が指示した紙媒体上の画像の
位置情報によって命令を特定する場合を示すものであ
り、紙媒体（被撮像媒体）Ｐ上の画像を撮像するビデオ
カメラなどからなる撮像装置（撮像手段）１、撮像装置
１から出力されるアナログの画像信号をデジタル化する
Ａ／Ｄ変換などの機能を持つ画像入力部２、図示しない
制御ボタンや音声による人間の指示を電気信号に変換
し、画像入力部２に対して画像データの取込み命令を与
える外部信号制御部３、撮像装置１で撮像された紙媒体
Ｐ全体の画像データを記憶する第１の画像データ記憶部
（第１の記憶手段）４、撮像装置１で撮像された人間の
指Ｕによる指示を行なっている状態の紙媒体Ｐの画像デ
ータを記憶する第２の画像データ記憶部（第２の記憶手
段）５、第１の画像データ記憶部４および第２の画像デ
ータ記憶部５に記憶された各画像データに基づき指Ｕの
先端の位置座標を検出する位置検出部（検出手段）６、
第１の画像データ記憶部４に記憶された画像データを２
値化する２値化部７、位置検出部６の出力に基づき２値
化部７からの画像データに対して回転補正処理を行なう
回転正規化補正部８、位置検出部６の出力に基づき２値
化部７からの画像データに対して歪み補正処理を行なう
歪み補正部９、命令を特定するための指Ｕの相対位置と
命令との対応データを記憶している命令記憶部（第３の
記憶手段）１０、回転正規化補正部８あるいは歪み補正
部９の出力に基づき命令記憶部１０の内容を参照するこ
とにより命令を特定する命令特定部（特定手段）１１、
命令特定部１１で特定された命令の動作を実行する動作
実行部（実行手段）１２などによって構成されている。

【００１１】図１について、さらに詳細に説明する。撮
像装置１は、たとえば、ビデオカメラなどからなり、撮
像エリア内の紙媒体Ｐの画像を撮像して電気信号に変換
する。この撮像された紙媒体Ｐの画像は、画像入力部２
において、黒レベルを「０」、白レベルを「２５６」に
するようなデジタル信号に変換され、Ｍ×Ｎ（画素）の
大きさの画像データとして入力される。

【００１２】外部信号制御部３は、紙媒体Ｐの画像デー
タを入力する際に、外から信号を与えることにより画像
入力部２に命令信号を与え、画像データを取込むもの
で、たとえば、制御ボタン（スイッチ）、あるいは、音
声入力装置（マイクロホン）などを示している。

【００１３】画像入力部２で取込まれたＭ×Ｎ（画素）
の大きさの画像データは、第１，第２画像データ記憶部
４，５に記憶される。この場合、まず最初に紙媒体Ｐ全
体の画像データが取込まれて、第１画像データ記憶部４
に記憶され、その後、人間の指Ｕによる指示を行なって
いる状態の紙媒体Ｐの画像データが取込まれて、第２画
像データ記憶部５に記憶される。これは、外部信号制御
部３によって画像入力部２を制御することにより行なわ
れる。

【００１４】位置検出部６は、たとえば、図２に示すよ
うに構成されている。すなわち、位置検出部６では、第
１の画像データ記憶部４に記憶されている紙媒体Ｐの画
像データと、第２の画像データ記憶部５に記憶されてい
る指Ｕで指示した状態（指Ｕは静止している状態）の紙
媒体Ｐの指示画像データとを用いて、指Ｕのみの画像を
抽出する。

【００１５】たとえば、画像データの大きさをＭ×Ｎ
（画素）とし、紙媒体Ｐの画像データの各画素における
濃度値をＦｉｊ（０≦ｉ＜Ｍ、０≦ｊ＜Ｎ）、紙媒体Ｐ
内の用語Ｐ１の先頭の文字付近の指示画像データの各画
素における濃度値をＧｉｊ（０≦ｉ＜Ｍ、０≦ｊ＜Ｎ）
とすると、下記式（１）で定義されるＤｉｊ（０≦ｉ＜
Ｍ、０≦ｊ＜Ｎ）が、一定の値Ｋ１とＫ２との間にある
場合はＦｉｊ＝１、それ以外をＦｉｊ＝０として指Ｕの
画像を抽出する（図３参照）。

【００１６】Ｄｉｊ＝Ｇｉｊ−Ｆｉｊ …… （１） その後、上記処理によって得られた指Ｕのみの画像に対
して、連結性を失わないようにして細線化を施す（図４
参照）。この細線化処理は、たとえば、図５に示すよう
に、隣りに‘０’がある‘１’の部分を‘０’にして、
１画素のみが‘１’になるまで続けることにより行なわ
れる。この細線化という線図形化法を用いると、図形の
トポロジカルな性質が保存される。

【００１７】次に、指Ｕの先端の位置を抽出するが、こ
の抽出方法について以下に説明する。上記処理によって
得られた細線化後の指Ｕの画像は、画像データ上の４辺
のいずれか一辺から画像の中央に向かって存在している
ため（図６参照）、画像の存在している４辺のいずれか
一辺から中央に向かって走査していくことにより、指Ｕ
の先端の位置が抽出できる。

【００１８】たとえば、図７（ａ）に示すように、画像
の左辺から中央に向かって存在している場合の４辺のい
ずれか一辺の抽出方法、および、先端の位置の抽出方法
について述べる。画像データの大きさをＭ×Ｎ（画素）
とし、各画素における濃度値をＦｉｊ（０≦ｉ＜Ｍ、０
≦ｊ＜Ｎ、Ｆｉｊ＝「１」または「０」）とすると、図
８に示すように、まず、画像の左上から右方向と下方向
に、一列だけ検索し、Ｆｉｊ＝１なる上部あるいは左部
のいずれか一辺の位置（以下、開始位置と呼ぶ）を抽出
する。

【００１９】もし抽出されなければ、次に右下から左方
向と上方向に上記同様に検索し、開始位置を検出する。
上記「一列だけ検索する」とは、たとえば、左上から右
方向に検索する場合、Ｆｉｊのｉとｊの値を、ｊ＝０と
して、０≦ｉ＜Ｍと変化させていくことを意味してい
る。

【００２０】たとえば、図７（ａ）の場合、その開始位
置は左辺であり、この開始位置から画像の中央に向かっ
て先端の位置を検索していく。先端の検索方法は、たと
えば、この場合、図８に示すように、今注目の画素Ｆｉ
ｊとすると、８近傍の画素値を用いてＦｉｊ＋１から反
時計回りに検索し、Ｆ＝１なる画素が検出されると、そ
の画素の値をＦ＝２とし、順にＦ＝１なる画素が８近傍
に存在しない、すなわち、検出されなくなったとき、そ
の位置でのｉとｊの値を先端の位置として算出し、位置
検出部６内の指画像バッファ（図示しない）に格納す
る。

【００２１】また、図７（ｂ）の場合は、Ｆｉｊ−１か
ら反時計回りに、図７（ｃ）の場合は、Ｆｉ−１ｊから
反時計回りに、図７（ｄ）の場合は、Ｆｉ＋１ｊから反
時計回りに、それぞれ先端の位置を検索する。こうして
検索終了後、位置データを指画像バッファに格納する。

【００２２】２値化部７は、第１の画像データ記憶部４
からの画像データを２値化する。すなわち、第１の画像
データ記憶部４に記憶された画像データに対して、一定
値ＴＨＲ１以上の値をとる画素のみを‘１’、その他の
画素を‘０’とする閾値処理を行ない、その２値化した
画像データを２値化部７内のメモリ（図示しない）に記
憶する。

【００２３】回転正規化補正部８は、具体的には、たと
えば、図９に示すような構成で実現できる。すなわち、
２値化部７内のメモリから、バッファ制御部２１が発生
するアドレス信号ＡＤＲ１にしたがって画像データが読
出され、閾値処理部２２に送られる。閾値処理部２２
は、入力される画像データに対して、一定値ＴＨＲ２以
上の値をとる画素のみを‘１’、その他の画素を‘０’
とする閾値処理を行なう。

【００２４】続いて、終了点座標記憶部２３、開始点座
標記憶部２４、および、最上位点座標記憶部２５が、バ
ッファ制御部２１から出力されるアドレス信号ＡＤＲ１
のうち、閾値処理部２２で初めて‘１’の画素が検出さ
れた時点のアドレス信号ＡＤＲ１を保持することによ
り、図１０に示す矢印の先端に相当する方向をｙ軸、そ
れに垂直な方向をｘ軸として、それぞれの座標値を求め
ていく。

【００２５】そして、開始点座標記憶部２４は、ｙ方向
の座標値が撮像装置１のｙ方向視野幅ＳＷ以下の最初の
端点Ｍ1 （ｘ1 ，ｙ1 ）を、最上位点座標記憶部２５
は、ｙ方向の座標値が撮像装置１のｙ方向視野幅ＳＷ以
下の最も小さい最上位点Ｍ2 （ｘ2 ，ｙ2 ）を、終了点
座標記憶部２３は、ｙ方向の座標値が撮像装置１のｙ方
向視野幅ＳＷ以下の最後の端点Ｍ4 （ｘ4 ，ｙ4 ）を、
それぞれ記憶する。座標変換パラメータ計算部２６は、
この３点の座標値を用いて座標変換のパラメータを求め
る。

【００２６】座標変換パラメータ計算部２６は、たとえ
ば、図１１に示すような構成で座標変換の８つのパラメ
ータを求める。ここで説明を容易にするため、以下、数
式と併記して図１１を説明する。減算器４０は、開始点
の座標値ｘ1 と最上位点の座標値ｘ2 との差を計算する
と同時に、減算器４１は、終了点の座標値ｙ4 と最上位
点の座標値ｙ2 との差を求め、比較器４２は、この２つ
の差の値を比較する。

【００２７】２つの差の値を求めることは、図１２およ
び図１３に示すように、紙媒体Ｐの２つの長さＬ1 とＬ
2 とを求めることに等しく、この２つの値を比較器４２
が比較することにより，紙媒体Ｐの長い方の辺の長さＬ
1 （すなわち、図１２）か、短い方の辺が長さＬ1 （す
なわち、図１３）かを判定し、選別信号ＳＥＬを出力す
る。

【００２８】図１２と図１３の２つの場合に対して、そ
れぞれ図１４および図１５に示すように、角度θだけ回
転させて目的とする画像データに変換する。回転角度θ
を求めるために、減算器４０が図１２の長さＬ1 を求
め、減算器４３が図１２の長さＬ3 を開始点および最上
位点の各座標値から求め、除算器４４と正接逆演算器４
５により、 θ＝ｔａｎ^-1（Ｌ1 ／Ｌ3 ） …… （２） の計算を行なう。

【００２９】ここで、正接逆演算器４５は、公知のテー
ラー展開など解析的繰り返し構造、または、あらかじめ
計算した値が記憶されているルックアップテーブルを読
出す構造で実現することができる。この角度θの値を用
いて、正弦演算器４６がＳｉｎθを、余弦演算器４７が
Ｃｏｓθを、符号反転器４８が−Ｓｉｎθをそれぞれ求
める。図１４で示す端点Ｍ1 （ｘ1 ，ｙ1 ）を中心とし
た角度θの回転は、下記数１による計算で点（ｘ，ｙ）
を（ｘ′，ｙ′）に変換することであるが、その変換に
必要なパラメータを計算しているわけである。

【００３０】

【数１】 また、図１５の変換は、下記数２による計算で実現でき
るので、その変換行列のパラメータを、減算器４９を介
して正弦演算器５０でＳｉｎ（θ−π／２）、余弦演算
器５１でＣｏｓ（θ−π／２）、符号反転器５２で−Ｓ
ｉｎ（θ−π／２）として求める。

【００３１】

【数２】 それぞれのパラメータは、上記数１あるいは数２のいず
れの場合かを比較器 ４２で選別して、その出力ＳＥＬ
に基づき、パラメータ１選択器５３、パラメータ２選択
器５４、パラメータ３選択器５５、および、パラメータ
４選択器５６が相当する変換行列のパラメータを選択し
て出力する。これと同時に、パラメータ５バッファ５
７、および、パラメータ６バッファ５８が回転中心の座
標値を出力する。

【００３２】また、座標変換パラメータ計算部２６は、
変換対象の画像範囲をも求める。すなわち、変換された
画像について、その範囲を考えると、図１４の場合は、
点（０，０）から点（ｘ4 ′，ｙ2 ′）、図１５の場合
は、点（０，０）から点（ｘ4 ′，ｙ4 ′）の範囲をと
る。図１１の構成にしたがえば、選択器５９によってｙ
2 あるいはｙ4 のいずれかを選択し、減算器６０および
６１、乗算器６２，６３，６５，６６、および、加算器
６４，６７を用いて、前記数１もしくは数２の変換式に
したがい、画像範囲（ｘ4 ′，ｙ2 ′）もしくは（ｘ4
′，ｙ4 ′）を求め、パラメータ７バッファ６８、お
よび、パラメータ８バッファ６９から、その画像範囲を
出力する。

【００３３】このように、座標変換パラメータ計算部２
６は、座標変換に必要な６つのパラメータと、変換範囲
の２つのパラメータを出力する。

【００３４】この結果に基づき、指Ｕの先端位置の紙媒
体Ｐに対する相対座標を算出する。すなわち、座標変換
部２７は、位置検出部６の指画像バッファから読出され
た指先端位置の座標値を、座標変換パラメータ計算部２
６で求めた回転パラメータを用いて変換し、その変換値
を（ｘ，ｙ）として出力する。また、座標変換パラメー
タ計算部２６で求められた画像範囲のパラメータは、開
始点を（ｘｓｓ，ｙｓｓ）、終了点（ｘｓｅ，ｙｓｅ）
として画像範囲出力部２８から出力される。

【００３５】これらの各出力は、それぞれ相対座標計算
部２９に送られる。相対座標計算部２９は、たとえば、
図１６に示すように、４つの減算器７１，７２，７３，
７４、および、２つの除算器７５，７６によって構成さ
れていて、これらにより、紙媒体Ｐの縦、横を「１」と
したときの指Ｕの先端の相対位置（ｒ1 ，ｒ2 ）が求め
られるようになっている。なお、図中、各演算器の出力
側に示した数式は、各演算をした後の値を示している。

【００３６】このようにして、相対座標計算部２９で求
められた相対座標の値（ｒ1 ，ｒ2）は、相対位置バッ
ファ３０に格納される。

【００３７】歪み補正部９は、具体的には、たとえば、
図１７に示すような構成で実現できる。すなわち、２値
化部７内のメモリから、バッファ制御８１が発生するア
ドレス信号ＡＤＲ２にしたがって画像データが読出さ
れ、頂点検出部８２に送られる。頂点検出部８２は、入
力される画像データに対して、縦方向および横方向の
‘０’でない連結の開始位置および終了位置を、縦横の
各列ごとに求め、それらの点は境界画素として認識す
る。

【００３８】図１８は、２値化部７内のメモリに格納さ
れた紙媒体Ｐの画像データ例を示す。図中、白丸は
‘１’の画素、黒丸は‘０’の画素であり、特に黒丸は
境界画素である。頂点検出部８２では、図１８に示すよ
うに、境界画素ｎに対して、ある近傍をとり（図１８で
は３×３近傍）、‘１’の連結がａ，ｂ，ｃ，ｄのよう
に９０度曲がっている場合を頂点とみなし、エッジの曲
り方向（ａ，ｂ，ｃ，ｄ）とともに、頂点検出部８２内
の頂点座標バッファ（図示しない）に記憶する。図１８
には、４つの頂点ａ，ｂ，ｃ，ｄと、その他の２点につ
いて３×３近傍のエッジの情報を示した。

【００３９】補正パラメータ・相対座標計算部８３で
は、上記のようにして求められた４つの頂点の位置情報
を用いて、指Ｕの先端座標を変換するパラメータを決定
する。図１９に示すように、２つの頂点を結ぶ線分ａｂ
とｄｃをそれぞれ１−ｒ2 ：ｒ2 の比で内分する点を
ｆ，ｈ、線分ａｄとｂｃをそれぞれｒ1 ：１−ｒ1 の比
で内分する点をｉ，ｇとすると、点ｆとｈ、点ｉとｇと
を結ぶ直線が指Ｕの先端点ｅを通るように、比ｒ1 とｒ
2 を求める。

【００４０】補正パラメータ・相対座標計算部８３の構
成例を図２０、図２１に示す。まず、図２０について説
明する。なお、説明を容易にするため、以下、数式と併
記して説明する。まず、上記のようにして求めた４つの
頂点の座標と曲りの方向の情報を頂点検出部８２内の頂
点座標バッファから読出す。また、指Ｕの先端の位置情
報も、位置検出部６内の指画像バッファから読出す。こ
の読出した指先端の座標値をｅ（ｘ5 ，ｙ5 ）とする。
ここでは、説明のため、各点に図１９のように点ａ，
ｂ，ｃ，ｄと名前を付けた。たとえば、頂点ａｂとｄｃ
との間を同じくｒ：１−ｒで内分するとき、その内分点
はそれぞれ下記数３で表される。

【００４１】

【数３】 次に、この２つの点を結んだ直線が指Ｕの先端点ｅ（ｘ
5 ，ｙ5 ）を通るとすると、下記数４が得られる。

【００４２】

【数４】 この式は、ｒについての２次方程式になり、その係数を
求めることによって比ｒを求めることができる。図２０
の減算器９１〜９８、乗算器９９〜１０６、加算器１０
７〜１０８、および、減算器１０９〜１１１は、その係
数を求める演算器である。なお、図中、各演算器の出力
側に示した数式は、各演算をした後の値を示している。

【００４３】こうして係数を求めた後、乗算器１１２、
２乗演算器１１３、符号反転器１１４、減算器１１５、
平方根演算器１１６、加算器１１７、減算器１１８、お
よび、除算器１１９，１２０によってｒを求め、比較器
１２１，１２２によってｒの値が０＜ｒ＜１のものを選
び（他の範囲は意味を持たない）、その値をｒ2として
相対位置バッファ８４に格納する。

【００４４】次に、ａｄとｂｃについても、内分点が指
Ｕの先端座標ｅを通るように、内分比（ｒ1 ）を求め
る。これについては図２１に示す回路によって行なわれ
る。なお、図２１は、入力されるデータの位置が一部異
なるだけで、回路構成は図２０と同様であるので、同一
符号を付して説明は省略する。

【００４５】このようにして、補正パラメータ・相対座
標計算部８３で求められた相対座標の値（ｒ1 、ｒ2 ）
は、相対位置バッファ８４に格納される。

【００４６】命令特定部１１は、たとえば、図２２に示
すように、除算器２１１，２１２および演算器２１３に
よって構成されている。すなわち、たとえば、紙媒体Ｐ
には、図２３に示すように等間隔に命令用語Ｐ１が記入
されているとする。本命令特定部１１は、回転正規化補
正部８、あるいは、歪み補正部９から読出された指Ｕの
相対座標値（ｒ1 、ｒ2 ）を用いて、命令記憶部１０の
メモリ上のアクセスするアドレスを決定する。除算器２
１１，２１２では、指Ｕの相対座標値（ｒ1 、ｒ2 ）を
正規座標の区切り幅Ｓで割り、その演算結果に対し演算
器２１３で小数点を切り捨てる演算を行なうことによっ
てアドレス値を生成し、そのアドレス値を用いて命令記
憶部１０をアクセスし、対応する命令を特定する。

【００４７】命令記憶部１０には、たとえば、図２４に
示すように、命令を特定するための指Ｕの相対位置と命
令との対応データがあらかじめ記憶されている。

【００４８】動作実行部１２は、命令特定部１１で特定
された命令を受けて、たとえば、図２５に示すように、
ディスプレイ表示などの動作を実行する。

【００４９】次に、図２６に示すフローチャートを参照
して、たとえば、列車の空席情報を検索する情報検索装
置を例にとって具体的な動作の説明を行なう。紙媒体Ｐ
としては、図２３のような行き先の書かれたものを考え
る。

【００５０】まず、外部信号制御部３において、たとえ
ば、外部信号入力ボタンを押下することにより（Ｓ
１）、撮像装置１と画像入力部２とによって紙媒体Ｐ全
体の画像を取込み（Ｓ２）、第１の画像データ記憶部４
に記憶する（Ｓ３）。その後、紙媒体Ｐの命令用語（ま
たは、動作用語など）Ｐ１の書いてある部分付近を、人
間が指Ｕで指示した状態の画像を、再び外部信号入力ボ
タンを押下することにより（Ｓ４）、撮像装置１と画像
入力部２とによって取込み（Ｓ５）、第２の画像データ
記憶部５に指示画像データとして記憶する（Ｓ６）。

【００５１】こうして、２つの画像データを取込んだ
後、位置検出部６では、第１の画像データ記憶部４に記
憶されている紙媒体Ｐの画像データと、第２の画像デー
タ記憶部５に記憶されている指示画像データとを用い
て、画像データ上の指Ｕの画像のみを抽出し、この抽出
された画像から指Ｕの先端位置を検出し（Ｓ７）、位置
検出部６内の指画像バッファに格納しておく。

【００５２】２値化部７では、第１の画像データ記憶部
４からの紙媒体Ｐの画像データを２値化する。このと
き、紙媒体Ｐの部分は‘１’、背景の部分は‘０’で２
値化される。回転正規化補正部８、歪み補正部９では、
この２値化された画像データおよび位置検出部６で検出
された指Ｕの先端位置情報により、紙媒体Ｐの位置を検
出するとともに、それに対する指Ｕの先端の相対位置を
認識する（Ｓ８ａ、Ｓ８ｂ）。

【００５３】なお、回転正規化補正部８は、画像の入力
に用いる撮像装置１の撮像面の長方形枠に対して、紙媒
体Ｐの面は平行だが、枠が傾いている場合に用いると有
効である。また、歪み補正部９は、紙媒体Ｐの面が撮像
装置１の撮像面に平行でない場合に用いると有効であ
る。したがって、実際には、動作を行なう前に、あらか
じめ回転正規化補正部８を用いるか、歪み補正部９を用
いるかを選択しておき、いずれか一方を用いる。

【００５４】命令記憶部１０には、図２４に示したよう
に命令が記憶されている。命令特定部１１では、回転正
規化補正部８、あるいは、歪み補正部９で求められた相
対座標値からアドレスを生成することによって、命令記
憶部１０ををアクセスし、対応する命令を特定する（Ｓ
９）。

【００５５】こうして、特定された命令は、動作実行部
１２で、たとえば、図２５に示すように、ディスプレイ
表示という形で実行される（Ｓ１０）。なお、図２５の
表示例は、図２３に示した紙媒体Ｐ上の命令用語「東
京」を指Ｕで指示した場合を示している。

【００５６】このように、上記実施例によれば、たとえ
ば、命令用語が印刷してある紙媒体などのメディアを用
いて撮像装置によって入力された画像から、人間の指で
指示された位置を認識し、その紙媒体に対する相対的な
位置情報から命令を特定し、動作を実行することによ
り、人間の指による指示だけで、指示入力が簡単かつ容
易に行なうことができ、従来の指示入力方法に比して操
作性および信頼性が著しく向上する。

【００５７】なお、前記実施例では、紙媒体上の命令用
語を人間の指で指示する場合について説明したが、本発
明はこれに限定されるものでなく、たとえば、鉛筆、ペ
ン、差し棒などで指示する場合にも同様に適用できる。

【００５８】

【発明の効果】以上詳述したように本発明によれば、指
示入力を簡単かつ容易に行なうことができ、操作性と信
頼性の向上が図れる画像処理装置を提供できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る画像処理装置の構成を
概略的に示すブロック図。

【図２】位置検出部の構成例を示すブロック図。

【図３】指画像の抽出例を説明する図。

【図４】指画像の細線化処理の一例を説明する図。

【図５】指画像の細線化処理の一例を説明する図。

【図６】細線化後の指画像の４辺のいずれか一辺を検出
する方法を説明する図。

【図７】細線化後の指画像の例を示す図。

【図８】指の先端位置を検出する８近傍画素を示す図。

【図９】回転正規化補正部の構成例を示すブロック図。

【図１０】回転正規化補正部が検出する３つの端点の配
置例を示す図。

【図１１】回転正規化補正部の座標変換パラメータ決定
部の構成例を示すブロック図。

【図１２】回転正規化補正部が測定する辺の長さを示す
図。

【図１３】回転正規化補正部が測定する辺の長さを示す
図。

【図１４】回転正規化補正部が求める変換パラメータを
示す図。

【図１５】回転正規化補正部が求める変換パラメータを
示す図。

【図１６】回転正規化補正部の相対座標計算部の構成例
を示すブロック図。

【図１７】歪み補正部の構成例を示すブロック図。

【図１８】歪み補正部での４頂点の求め方を説明する
図。

【図１９】歪み補正部での補正の仕方を説明する図。

【図２０】歪み補正部の補正パラメータ・相対座標計算
部の構成例を示すブロック図。

【図２１】歪み補正部の補正パラメータ・相対座標計算
部の構成例を示すブロック図。

【図２２】命令特定部の構成例を示すブロック図。

【図２３】紙媒体の一例を示す図。

【図２４】命令記憶部の記憶内容を概略的に示す図。

【図２５】動作実行部の実行例を示す図。

【図２６】具体的な動作を説明するフローチャート。

【符号の説明】 Ｐ……紙媒体（被撮像媒体） Ｐ１……命令用語 Ｕ……人間の指 １……撮像装置（撮像手段） ２……画像入力部 ３……外部信号制御部 ４……第１の画像データ記憶部（第１の記憶手段） ５……第２の画像データ記憶部（第２の記憶手段） ６……位置検出部（検出手段） ７……２値化部 ８……回転正規化補正部 ９……歪み補正部 １０……命令記憶部（第３の記憶手段） １１……命令特定部（特定手段） １２……動作実行部（実行手段）

Claims (3)

【特許請求の範囲】
1. 【請求項１】 被撮像媒体を撮像する撮像手段と、 前記被撮像媒体上の所定位置を指示する指示手段と、 前記撮像手段によって撮像された前記被撮像媒体全体の
   画像を記憶する第１の記憶手段と、 前記撮像手段によって撮像された前記指示手段による指
   示を行なっている状態の前記被撮像媒体の画像を記憶す
   る第２の記憶手段と、 前記第１の記憶手段に記憶された画像と前記第２の記憶
   手段に記憶された画像とに基づき、前記指示手段による
   前記被撮像媒体上の指示位置を検出する検出手段と、 前記第１の記憶手段に記憶された画像に基づき前記被撮
   像媒体の位置を検出し、この検出した被撮像媒体の位置
   に対する前記指示手段の相対位置を、前記検出手段の検
   出結果に基づき認識する認識手段と、 前記指示手段の相対位置と実行する命令とを対応づける
   情報をあらかじめ記憶している第３の記憶手段と、 前記認識手段の認識結果に基づき前記第３の記憶手段の
   内容を参照することにより対応する命令を特定する特定
   手段と、 この特定手段で特定された命令に対応する動作を実行す
   る実行手段と、 を具備したことを特徴とする画像処理装置。
2. 【請求項２】 被撮像媒体を撮像する撮像手段と、 前記被撮像媒体上の所定位置を指示する指示手段と、 前記撮像手段によって撮像された前記被撮像媒体全体の
   画像を記憶する第１の記憶手段と、 前記撮像手段によって撮像された前記指示手段による指
   示を行なっている状態の前記被撮像媒体の画像を記憶す
   る第２の記憶手段と、 前記第１の記憶手段に記憶された画像と前記第２の記憶
   手段に記憶された画像とに基づき、前記指示手段による
   前記被撮像媒体上の指示位置を検出する検出手段と、 前記第１の記憶手段に記憶された画像に基づき前記被撮
   像媒体の位置を検出し、この検出した被撮像媒体の位置
   に対する前記指示手段の相対位置を、前記検出手段の検
   出結果に基づき前記第１の記憶手段に記憶された画像に
   対して回転補正を施すことにより認識する認識手段と、 前記指示手段の相対位置と実行する命令とを対応づける
   情報をあらかじめ記憶している第３の記憶手段と、 前記認識手段の認識結果に基づき前記第３の記憶手段の
   内容を参照することにより対応する命令を特定する特定
   手段と、 この特定手段で特定された命令に対応する動作を実行す
   る実行手段と、 を具備したことを特徴とする画像処理装置。
3. 【請求項３】 被撮像媒体を撮像する撮像手段と、 前記被撮像媒体上の所定位置を指示する指示手段と、 前記撮像手段によって撮像された前記被撮像媒体全体の
   画像を記憶する第１の記憶手段と、 前記撮像手段によって撮像された前記指示手段による指
   示を行なっている状態の前記被撮像媒体の画像を記憶す
   る第２の記憶手段と、 前記第１の記憶手段に記憶された画像と前記第２の記憶
   手段に記憶された画像とに基づき、前記指示手段による
   前記被撮像媒体上の指示位置を検出する検出手段と、 前記第１の記憶手段に記憶された画像に基づき前記被撮
   像媒体の位置を検出し、この検出した被撮像媒体の位置
   に対する前記指示手段の相対位置を、前記検出手段の検
   出結果に基づき前記第１の記憶手段に記憶された画像に
   対して歪み補正を施すことにより認識する認識手段と、 前記指示手段の相対位置と実行する命令とを対応づける
   情報をあらかじめ記憶している第３の記憶手段と、 前記認識手段の認識結果に基づき前記第３の記憶手段の
   内容を参照することにより対応する命令を特定する特定
   手段と、 この特定手段で特定された命令に対応する動作を実行す
   る実行手段と、 を具備したことを特徴とする画像処理装置。