JP3487494B2 - メニュー選択方法及び装置 - Google Patents
メニュー選択方法及び装置Info
- Publication number
- JP3487494B2 JP3487494B2 JP10748198A JP10748198A JP3487494B2 JP 3487494 B2 JP3487494 B2 JP 3487494B2 JP 10748198 A JP10748198 A JP 10748198A JP 10748198 A JP10748198 A JP 10748198A JP 3487494 B2 JP3487494 B2 JP 3487494B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- image
- character string
- region
- function name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、計算機が人間に提
供する機能をメニューでグラフィカルに簡易に選択する
メニュー選択方法及び装置に関するものである。
供する機能をメニューでグラフィカルに簡易に選択する
メニュー選択方法及び装置に関するものである。
【０００２】
【従来の技術】この種の従来技術として、ディスプレイ
にメニュー項目の一覧を表示し、選択を希望する項目を
マウス等のポインティングデバイスにより選択する、い
わゆるグラフィカルユーザインタフェース（ＧＵＩ）が
ある。
にメニュー項目の一覧を表示し、選択を希望する項目を
マウス等のポインティングデバイスにより選択する、い
わゆるグラフィカルユーザインタフェース（ＧＵＩ）が
ある。
【０００３】
【発明が解決しようとする課題】本発明者は、前記従来
技術を検討した結果、以下の問題点を見いだした。
技術を検討した結果、以下の問題点を見いだした。
【０００４】前述の従来の技術では、ポインティングデ
バイスとして、マウス、タッチパネル、電子ペン等を使
うが、いずれもＯＡ機器にある程度慣れたユーザを対象
としており、全く経験のない人間には使いにくいという
問題点があった。
バイスとして、マウス、タッチパネル、電子ペン等を使
うが、いずれもＯＡ機器にある程度慣れたユーザを対象
としており、全く経験のない人間には使いにくいという
問題点があった。
【０００５】また、メニューの内容を変更するにはシス
テムを変更する必要があり、そのシステムの扱いに習熟
した人間が作業する必要があるという問題点があった。
テムを変更する必要があり、そのシステムの扱いに習熟
した人間が作業する必要があるという問題点があった。
【０００６】また、ポインティングデバイスとしてマウ
ス、タッチパネル、電子ペン等を用いるが、いずれも人
間とシステムとの間に機械的な接触が生じ、故障の原因
になる。これは、特に、システムをメンテナンス無しに
長期に渡って使う場合に問題となる。
ス、タッチパネル、電子ペン等を用いるが、いずれも人
間とシステムとの間に機械的な接触が生じ、故障の原因
になる。これは、特に、システムをメンテナンス無しに
長期に渡って使う場合に問題となる。
【０００７】本発明の目的は、ＯＡ機器に慣れていない
人間にとっても使いやすく、メニューの内容をシステム
の扱いに習熟した人間でなくても容易に行え、人間とシ
ステムとの間に機械的な接触が生じないメニュー選択方
法及び装置を提供することにある。
人間にとっても使いやすく、メニューの内容をシステム
の扱いに習熟した人間でなくても容易に行え、人間とシ
ステムとの間に機械的な接触が生じないメニュー選択方
法及び装置を提供することにある。
【０００８】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
【０００９】
【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
以下のとおりである。
発明のうち、代表的なものの概要を簡単に説明すれば、
以下のとおりである。
【００１０】
【００１１】（１）文字プレートの画像と指示物の画像
をカメラで撮影する過程と、撮影された画像から文字プ
レート領域画像を抽出する過程と、抽出された文字プレ
ート領域画像の傾斜及び回転の補正及び２値化を行う過
程と、該画像補正変換された画像領域から各文字列領域
の位置情報を文字列情報テーブルに記録する過程と、前
記各文字列領域において文字パターンの認識を行う過程
と、該各文字列領域における文字切り出しと個々の文字
パターンの認識結果を、所定の文字列と所定の機能に対
応付けられた関数名とを含む単語辞書と照合し、前記各
文字パターンの認識結果に対応する関数名を得る過程
と、該照合によって得られた関数名を前記文字列領域に
対応付けて文字列情報テーブルに記録する過程と、前記
指示物の動作を検出する過程と、指示物の先端の座標を
算出する過程と、算出された指示物の先端の座標を文字
列情報テーブルと照合し、指示された文字列領域とそれ
に対応する関数名を得る過程と、得られた前記関数名に
該当する機能を実行する過程とを有することを特徴とす
るメニュー選択方法である。
をカメラで撮影する過程と、撮影された画像から文字プ
レート領域画像を抽出する過程と、抽出された文字プレ
ート領域画像の傾斜及び回転の補正及び２値化を行う過
程と、該画像補正変換された画像領域から各文字列領域
の位置情報を文字列情報テーブルに記録する過程と、前
記各文字列領域において文字パターンの認識を行う過程
と、該各文字列領域における文字切り出しと個々の文字
パターンの認識結果を、所定の文字列と所定の機能に対
応付けられた関数名とを含む単語辞書と照合し、前記各
文字パターンの認識結果に対応する関数名を得る過程
と、該照合によって得られた関数名を前記文字列領域に
対応付けて文字列情報テーブルに記録する過程と、前記
指示物の動作を検出する過程と、指示物の先端の座標を
算出する過程と、算出された指示物の先端の座標を文字
列情報テーブルと照合し、指示された文字列領域とそれ
に対応する関数名を得る過程と、得られた前記関数名に
該当する機能を実行する過程とを有することを特徴とす
るメニュー選択方法である。
【００１２】
【００１３】（２）文字プレートの画像と指示物の画像
をカメラで撮影する画像入力手段と、該入力された画像
から文字プレート領域画像を抽出する文字プレート領域
画像抽出手段と、該抽出された文字プレート領域画像の
傾斜及び回転の補正及び２値化を行う画像補正変換手段
と、該画像補正変換された画像領域から文字列領域を抽
出し、その位置情報を得る文字列領域抽出手段と、前記
抽出された各文字列領域において文字切り出しと個々の
文字パターンの認識を行う文字切り出し／認識手段と、
該各文字列領域における前記文字パターンの認識結果
を、所定の文字列と所定の機能に対応付けられた関数名
とを含む単語辞書と照合し、前記各文字パターンの認識
結果に対応する関数名を得る単語照合手段と、前記文字
列領域の位置情報と前記単語照合手段の照合によって得
られた関数名とを前記文字列領域に対応付けて記録する
文字列情報テーブルと、前記指示物の動作を検出する指
示物動作検出手段と、前記指示物の先端の座標を算出す
る指示物先端座標算出手段と、前記算出された指示物の
先端の座標を前記文字列情報テーブルと照合し、指示さ
れた文字列領域とそれに対応する関数名を得る指示対象
文字列識別手段と、前記得られた関数名に該当する機能
を実行する被指示機能実行手段とを有することを特徴と
するメニュー選択装置である。
をカメラで撮影する画像入力手段と、該入力された画像
から文字プレート領域画像を抽出する文字プレート領域
画像抽出手段と、該抽出された文字プレート領域画像の
傾斜及び回転の補正及び２値化を行う画像補正変換手段
と、該画像補正変換された画像領域から文字列領域を抽
出し、その位置情報を得る文字列領域抽出手段と、前記
抽出された各文字列領域において文字切り出しと個々の
文字パターンの認識を行う文字切り出し／認識手段と、
該各文字列領域における前記文字パターンの認識結果
を、所定の文字列と所定の機能に対応付けられた関数名
とを含む単語辞書と照合し、前記各文字パターンの認識
結果に対応する関数名を得る単語照合手段と、前記文字
列領域の位置情報と前記単語照合手段の照合によって得
られた関数名とを前記文字列領域に対応付けて記録する
文字列情報テーブルと、前記指示物の動作を検出する指
示物動作検出手段と、前記指示物の先端の座標を算出す
る指示物先端座標算出手段と、前記算出された指示物の
先端の座標を前記文字列情報テーブルと照合し、指示さ
れた文字列領域とそれに対応する関数名を得る指示対象
文字列識別手段と、前記得られた関数名に該当する機能
を実行する被指示機能実行手段とを有することを特徴と
するメニュー選択装置である。
【００１４】すなわち、本発明は、文字プレートに文字
列の形式で書かれたメニュー項目の内容と画像としての
位置情報を抽出する手段を設ける。そして、指等の指示
物による指示の動作の識別と、文字プレート内の指示さ
れた点の座標を抽出する手段を設け、その抽出された座
標と各メニュー項目の画像としての位置情報の記録を照
合して指示された項目を割り出し、その項目に該当する
機能を実行する手段を設けたことを特徴とする。
列の形式で書かれたメニュー項目の内容と画像としての
位置情報を抽出する手段を設ける。そして、指等の指示
物による指示の動作の識別と、文字プレート内の指示さ
れた点の座標を抽出する手段を設け、その抽出された座
標と各メニュー項目の画像としての位置情報の記録を照
合して指示された項目を割り出し、その項目に該当する
機能を実行する手段を設けたことを特徴とする。
【００１５】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態（実施例）を詳細に説明する。
施形態（実施例）を詳細に説明する。
【００１６】図１は本発明の一実施形態（実施例）のメ
ニュー選択装置の概略構成を示すブロック構成図であ
り、図２は図１のメニュー選択装置による文字列領域抽
出方法の処理手順を示すフローチャートである。
ニュー選択装置の概略構成を示すブロック構成図であ
り、図２は図１のメニュー選択装置による文字列領域抽
出方法の処理手順を示すフローチャートである。
【００１７】本実施形態のメニュー選択装置は、図１に
示すように、文字プレートの画像と指示物の画像をカメ
ラで撮影する画像入力手段１と、該入力された画像から
文字プレート領域画像を抽出する文字プレート領域画像
抽出手段２と、抽出された文字プレート領域画像の傾斜
及び回転の補正及び２値化を行う画像補正変換手段３
と、該画像補正変換された画像領域から文字列領域を抽
出する文字列領域抽出手段４と、各文字列領域画像の文
字切り出しと個々の文字パターンの認識を行う文字切り
出し／認識手段５と、該各文字列領域画像の文字切り出
しと個々の文字パターンの認識結果を単語辞書９と照合
する単語照合手段６と、前記文字切り出し／認識手段５
の結果と単語照合手段６の結果を記録する文字列情報テ
ーブル８と、前記指示物の動作を検出する指示動作検出
手段７と、前記指示物の先端の座標を算出する指示物先
端座標算出手段１０と、前記指示物の先端の座標を文字
列情報テーブル８と照合し、指示された文字列の識別子
を識別する指示対象文字列識別手段１１と、識別された
文字列の識別子に該当する機能を実行する被指示機能実
行手段１２とを備えた装置である。
示すように、文字プレートの画像と指示物の画像をカメ
ラで撮影する画像入力手段１と、該入力された画像から
文字プレート領域画像を抽出する文字プレート領域画像
抽出手段２と、抽出された文字プレート領域画像の傾斜
及び回転の補正及び２値化を行う画像補正変換手段３
と、該画像補正変換された画像領域から文字列領域を抽
出する文字列領域抽出手段４と、各文字列領域画像の文
字切り出しと個々の文字パターンの認識を行う文字切り
出し／認識手段５と、該各文字列領域画像の文字切り出
しと個々の文字パターンの認識結果を単語辞書９と照合
する単語照合手段６と、前記文字切り出し／認識手段５
の結果と単語照合手段６の結果を記録する文字列情報テ
ーブル８と、前記指示物の動作を検出する指示動作検出
手段７と、前記指示物の先端の座標を算出する指示物先
端座標算出手段１０と、前記指示物の先端の座標を文字
列情報テーブル８と照合し、指示された文字列の識別子
を識別する指示対象文字列識別手段１１と、識別された
文字列の識別子に該当する機能を実行する被指示機能実
行手段１２とを備えた装置である。
【００１８】以下、前記図１のメニュー選択装置による
メニュー選択方法を図２を用いて説明する。本実施形態
のメニュー選択方法は、図２に示すように、以下の処理
手順で実行される。
メニュー選択方法を図２を用いて説明する。本実施形態
のメニュー選択方法は、図２に示すように、以下の処理
手順で実行される。
【００１９】Ｓ２０１：文字プレートの画像と指示物の
画像を画像入力手段１のカメラで撮影し、文字プレート
領域画像抽出手段２により、前記撮影された画像から文
字プレート領域画像を抽出する。
画像を画像入力手段１のカメラで撮影し、文字プレート
領域画像抽出手段２により、前記撮影された画像から文
字プレート領域画像を抽出する。
【００２０】Ｓ２０２：画像補正変換手段３により、前
記抽出された文字プレート領域画像の傾斜及び回転の補
正及び２値化を行う。
記抽出された文字プレート領域画像の傾斜及び回転の補
正及び２値化を行う。
【００２１】Ｓ２０３：前記画像補正変換された画像領
域から文字列領域及び各文字列領域の位置情報を文字列
情報テーブル８に記録する。
域から文字列領域及び各文字列領域の位置情報を文字列
情報テーブル８に記録する。
【００２２】Ｓ２０４：文字切り出し／認識手段５によ
り、前記各文字列領域画像の文字切り出しと個々の文字
パターンの認識を行う。
り、前記各文字列領域画像の文字切り出しと個々の文字
パターンの認識を行う。
【００２３】Ｓ２０５：単語照合手段６により、前記各
文字列領域画像の文字切り出しと個々の文字パターンの
認識結果を単語辞書と照合し、その照合結果を文字列情
報テーブル８に記録する。
文字列領域画像の文字切り出しと個々の文字パターンの
認識結果を単語辞書と照合し、その照合結果を文字列情
報テーブル８に記録する。
【００２４】Ｓ２０６：指示動作検出手段７により、前
記指示物の動作を検出する。
記指示物の動作を検出する。
【００２５】Ｓ２０７：指示物先端座標算出手段１０に
より、指示物の先端の座標を算出する。
より、指示物の先端の座標を算出する。
【００２６】Ｓ２０８：指示対象文字列識別手段１１に
より、前記算出された指示物の先端の座標を文字列情報
テーブルと照合し、指示された文字列の識別子を識別す
る。
より、前記算出された指示物の先端の座標を文字列情報
テーブルと照合し、指示された文字列の識別子を識別す
る。
【００２７】Ｓ２０９：被指示機能実行手段１２によ
り、前記識別された文字列の識別子に該当する機能を実
行し終了する。
り、前記識別された文字列の識別子に該当する機能を実
行し終了する。
【００２８】図３は図１における単語辞書９の内容の例
を示す図である。本実施形態では、メニューに記載可能
なサービス機能と文字列として、図３に示す６種類を扱
う。各サービス機能の実行は被指示機能実行手段１２に
おいて、該当する関数を呼び出すことによって行われ
る。
を示す図である。本実施形態では、メニューに記載可能
なサービス機能と文字列として、図３に示す６種類を扱
う。各サービス機能の実行は被指示機能実行手段１２に
おいて、該当する関数を呼び出すことによって行われ
る。
【００２９】図４（ａ）は文字プレートを含む原画像の
模式図である。図４（ａ）に示す文字プレートを含む原
画像から、図４（ｂ）に示すような文字プレートの領域
画像を抽出する具体的な方法としては、例えば、文献
「船越、美濃、坂井：“情景画像中の文字抽出の検
討”、昭和６２年電子情報通信学会全国大会１５０３
（ｐ６−１８１）」で開示されている方法を用いる。
模式図である。図４（ａ）に示す文字プレートを含む原
画像から、図４（ｂ）に示すような文字プレートの領域
画像を抽出する具体的な方法としては、例えば、文献
「船越、美濃、坂井：“情景画像中の文字抽出の検
討”、昭和６２年電子情報通信学会全国大会１５０３
（ｐ６−１８１）」で開示されている方法を用いる。
【００３０】図５（ａ）は図４（ｂ）の文字プレートの
領域画像に対して、３次元的な傾斜による歪みの補正を
行った後で、２次元的な回転の補正を行った結果であ
る。３次元的な傾斜による歪みの補正像斜影歪みを利用
した文字平面の単眼視姿勢推定は、例えば、文献：平成
９年電子情報通信学会全国大会Ｄ−１２−５８（ｐ２５
０）」で開示されている方法を用いて行うことができ
る。
領域画像に対して、３次元的な傾斜による歪みの補正を
行った後で、２次元的な回転の補正を行った結果であ
る。３次元的な傾斜による歪みの補正像斜影歪みを利用
した文字平面の単眼視姿勢推定は、例えば、文献：平成
９年電子情報通信学会全国大会Ｄ−１２−５８（ｐ２５
０）」で開示されている方法を用いて行うことができ
る。
【００３１】図５（ｂ）は図５（ａ）を２値化した画像
である。２値化方法としては、例えば、各画素の明度を
一定のしきい値と比較し、しきい値を越える明度を持つ
画素を白画素に、それ以外を黒画素にすることで行え
る。
である。２値化方法としては、例えば、各画素の明度を
一定のしきい値と比較し、しきい値を越える明度を持つ
画素を白画素に、それ以外を黒画素にすることで行え
る。
【００３２】図６は図５（ｂ）の２値画像から文字列の
領域の画像を抽出し、その位置情報を文字列情報テーブ
ル８に記録する処理過程を説明するための図である。文
字列の領域の画像の抽出は、本実施形態では、まず、水
平方向に黒画素の射影を取って周辺分布を作成し、黒画
素が連続して多く分布する領域を見つけることで行の画
像を切り出し、次に各行の画像について垂直方向に黒画
素の射影を取って周辺分布を作成し、左右から走査して
黒画素が指定値以上分布している座標を左右の端とする
ことで行える。文字列の位置情報は、文字列に外接する
長方形の左上の角の座標と右下の角の座標で表す。
領域の画像を抽出し、その位置情報を文字列情報テーブ
ル８に記録する処理過程を説明するための図である。文
字列の領域の画像の抽出は、本実施形態では、まず、水
平方向に黒画素の射影を取って周辺分布を作成し、黒画
素が連続して多く分布する領域を見つけることで行の画
像を切り出し、次に各行の画像について垂直方向に黒画
素の射影を取って周辺分布を作成し、左右から走査して
黒画素が指定値以上分布している座標を左右の端とする
ことで行える。文字列の位置情報は、文字列に外接する
長方形の左上の角の座標と右下の角の座標で表す。
【００３３】図７は図６に示した各文字列画像の切り出
し結果について、文字切り出しを行い、個々の文字パタ
ーンについて認識し、各文字列における文字認識結果を
単語辞書と照合して該当する機能を実現する関数名を文
字列情報テーブル８に格納する処理過程を説明するため
の図である。
し結果について、文字切り出しを行い、個々の文字パタ
ーンについて認識し、各文字列における文字認識結果を
単語辞書と照合して該当する機能を実現する関数名を文
字列情報テーブル８に格納する処理過程を説明するため
の図である。
【００３４】図８は指などの指示物による指示動作の検
出の処理過程を説明するための図である。図８（ａ）
は、動作の検出のために撮影した、指示物が存在しない
時の文字プレートを含む情景の初期画像である。指示動
作を検出する処理は、例えば、画像入力手段１によって
画像の入力を一定時間間隔で連続して行い、各画像につ
いて図８（ａ）で示す画像との間で画素間の差分を取
り、差分の大きさか一定値以上の画素の個数が一定のし
きい値より大きい場合に指示動作があったと判定するこ
とで行える。図８（ｂ）は指示動作があったと判定され
た画像の例を示す図である。
出の処理過程を説明するための図である。図８（ａ）
は、動作の検出のために撮影した、指示物が存在しない
時の文字プレートを含む情景の初期画像である。指示動
作を検出する処理は、例えば、画像入力手段１によって
画像の入力を一定時間間隔で連続して行い、各画像につ
いて図８（ａ）で示す画像との間で画素間の差分を取
り、差分の大きさか一定値以上の画素の個数が一定のし
きい値より大きい場合に指示動作があったと判定するこ
とで行える。図８（ｂ）は指示動作があったと判定され
た画像の例を示す図である。
【００３５】図９は指示物の先端の位置とメニューの項
目の対応付けを説明するための図である。まず、図９
（ａ）に示すように、図８（ｂ）における指先端の位置
を検出する。この方法は、本実施形態では、例えば、図
８（ａ）で示す画像と図８（ｂ）の間で画素間の差分を
取り、差分の大きさが一定値以上の画素の集合の中で最
も右に存在する画素の座標を採用することで実現でき
る。
目の対応付けを説明するための図である。まず、図９
（ａ）に示すように、図８（ｂ）における指先端の位置
を検出する。この方法は、本実施形態では、例えば、図
８（ａ）で示す画像と図８（ｂ）の間で画素間の差分を
取り、差分の大きさが一定値以上の画素の集合の中で最
も右に存在する画素の座標を採用することで実現でき
る。
【００３６】次に、図４（ｂ）から図５（ａ）ヘの画像
の補正に用いた、３次元的な傾斜の補正と２次元的な回
転の補正に用いたパラメータを用いて、指示物の先端の
座標を変換する（図９（ｂ）参照）。そしてこの座標と
図７の文字列情報テーブル８の各文字列番号の位置情報
を照合し、該当する文字列番号の関数名を得る。
の補正に用いた、３次元的な傾斜の補正と２次元的な回
転の補正に用いたパラメータを用いて、指示物の先端の
座標を変換する（図９（ｂ）参照）。そしてこの座標と
図７の文字列情報テーブル８の各文字列番号の位置情報
を照合し、該当する文字列番号の関数名を得る。
【００３７】関数の実行は、被指示機能実行手段１２で
行う。被指示機能実行手段１２には、単語辞書９に含ま
れる関数名に該当する機能を実現する手段を備えておく
必要がある。例えば、図３に示す単語辞書９に含まれる
関数名を実行するには、特定の電話番号に自動的に電話
するための回線と電話端末、工作室と図書室の場所を案
内するための画像データと表示装置、電話番号と作業者
名を表示するための一覧表が必要である。
行う。被指示機能実行手段１２には、単語辞書９に含ま
れる関数名に該当する機能を実現する手段を備えておく
必要がある。例えば、図３に示す単語辞書９に含まれる
関数名を実行するには、特定の電話番号に自動的に電話
するための回線と電話端末、工作室と図書室の場所を案
内するための画像データと表示装置、電話番号と作業者
名を表示するための一覧表が必要である。
【００３８】本発明では、メニューの項目を変えるに
は、文字プレートの文字列を単語辞書に含まれる他の文
字列に変えるだけで良い。例えば、図３の単語辞書を備
える装置の場合、図４の文字プレートを図１０のように
変えれば、それ以上のシステムの変更をせずに、「工作
室の場所案内」、「図書室の場所案内」、作業者名一
覧」のメニューに変わる。
は、文字プレートの文字列を単語辞書に含まれる他の文
字列に変えるだけで良い。例えば、図３の単語辞書を備
える装置の場合、図４の文字プレートを図１０のように
変えれば、それ以上のシステムの変更をせずに、「工作
室の場所案内」、「図書室の場所案内」、作業者名一
覧」のメニューに変わる。
【００３９】以上、本発明を、前記実施例に基づき具体
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。
【００４０】
【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。
【００４１】本発明によれば、メニューの選択を文字プ
レート上の項目を指等の指示物で示すだけで行えるた
め、ＯＡ機器に全く経験のない人間にも使いやすい。
レート上の項目を指等の指示物で示すだけで行えるた
め、ＯＡ機器に全く経験のない人間にも使いやすい。
【００４２】
【００４３】また、人間とシステムとの間には機械的な
接触が生じないため、機械的な接触が原因で発生する故
障が発生しなくなる。
接触が生じないため、機械的な接触が原因で発生する故
障が発生しなくなる。
【図１】本発明の一実施形態（実施例）のメニュー選択
装置の概略構成を示すブロック構成図である。
装置の概略構成を示すブロック構成図である。
【図２】図１の文字列領域抽出装置によるメニュー選択
方法の処理手順を示すフローチャートである。
方法の処理手順を示すフローチャートである。
【図３】図１における単語辞書の内容の例を示す図であ
る。
る。
【図４】本実施形態の文字プレートを含む原画像の模式
図及び文字プレートの領域画像を抽出した図である。
図及び文字プレートの領域画像を抽出した図である。
【図５】図４の文字プレートの領域画像に対して、３次
元的な傾斜による歪みの補正及び回転の補正を行った結
果及び２値化した画像を示す図である。
元的な傾斜による歪みの補正及び回転の補正を行った結
果及び２値化した画像を示す図である。
【図６】本実施形態の図５の処理過程から文字列情報テ
ーブルに記録するまでの処理過程を説明するための図で
ある。
ーブルに記録するまでの処理過程を説明するための図で
ある。
【図７】本実施形態の図６の処理過程から文字列情報テ
ーブルに格納するまでの処理過程を説明するための図で
ある。
ーブルに格納するまでの処理過程を説明するための図で
ある。
【図８】本実施形態の指示物による指示動作の検出の処
理過程を説明するための図である。
理過程を説明するための図である。
【図９】本実施形態の指示物の先端の位置とメニューの
項目の対応付けを説明するための図である。
項目の対応付けを説明するための図である。
【図１０】本実施形態のメニューの内容を変える場合
に、システムの変更をせずに文字プレートの内容を変え
るだけでよい例を示す図である。
に、システムの変更をせずに文字プレートの内容を変え
るだけでよい例を示す図である。
１…画像入力手段、２…文字プレート領域画像抽出手
段、３…画像補正変換手段、４…文字列領域抽出手段、
５…文字切り出し／認識手段、６…単語照合手段、７…
指示動作検出手段、８…文字列情報テーブル、９…単語
辞書、１０…指示物先端座標算出手段、１１…指示対象
文字列識別手段、１２…被指示機能実行手段。
段、３…画像補正変換手段、４…文字列領域抽出手段、
５…文字切り出し／認識手段、６…単語照合手段、７…
指示動作検出手段、８…文字列情報テーブル、９…単語
辞書、１０…指示物先端座標算出手段、１１…指示対象
文字列識別手段、１２…被指示機能実行手段。
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平２−132510（ＪＰ，Ａ)
特開 平６−242884（ＪＰ，Ａ)
特開 平７−49748（ＪＰ，Ａ)
特開 平７−168949（ＪＰ，Ａ)
特開 平９−319556（ＪＰ，Ａ)
特開 平10−105331（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06F 3/03
G06F 3/00
G06F 3/033 - 3/037
Claims (2)
- 【請求項１】 文字プレートの画像と指示物の画像をカ
メラで撮影する過程と、撮影された画像から文字プレー
ト領域画像を抽出する過程と、 抽出された文字プレート領域画像の傾斜及び回転の補正
及び２値化を行う過程と、該画像補正変換された画像領
域から各文字列領域の位置情報を文字列情報テーブルに
記録する過程と、 前記各文字列領域において文字切り出しと個々の文字パ
ターンの認識を行う過程と、 該各文字列領域における文字パターンの認識結果を、所
定の文字列と所定の機能に対応付けられた関数名とを含
む単語辞書と照合し、前記各文字パターンの認識結果に
対応する関数名を得る過程と、該 照合によって得られた関数名を前記文字列領域に対応
付けて文字列情報テーブルに記録する過程と、 前記指示物の動作を検出する過程と、 指示物の先端の座標を算出する過程と、 算出された指示物の先端の座標を文字列情報テーブルと
照合し、指示された文字列領域とそれに対応する関数名
を得る過程と、得ら れた前記関数名に該当する機能を実行する過程とを
有することを特徴とするメニュー選択方法。 - 【請求項２】 文字プレートの画像と指示物の画像をカ
メラで撮影する画像入力手段と、 該入力された画像から文字プレート領域画像を抽出する
文字プレート領域画像抽出手段と、該 抽出された文字プレート領域画像の傾斜及び回転の補
正及び２値化を行う画像補正変換手段と、 該画像補正変換された画像領域から文字列領域を抽出
し、その位置情報を得る文字列領域抽出手段と、前記抽出された 各文字列領域において文字切り出しと個
々の文字パターンの認識を行う文字切り出し／認識手段
と、 該各文字列領域における前記文字パターンの認識結果
を、所定の文字列と所定の機能に対応付けられた関数名
とを含む単語辞書と照合し、前記各文字パターンの認識
結果に対応する関数名を得る単語照合手段と、前記文字列領域の位置情報と 前記単語照合手段の照合に
よって得られた関数名とを前記文字列領域に対応付けて
記録する文字列情報テーブルと、 前記指示物の動作を検出する指示物動作検出手段と、 前記指示物の先端の座標を算出する指示物先端座標算出
手段と、 前記算出された指示物の先端の座標を前記文字列情報テ
ーブルと照合し、指示された文字列領域とそれに対応す
る関数名を得る指示対象文字列識別手段と、前記得られた関数名 に該当する機能を実行する被指示機
能実行手段とを有することを特徴とするメニュー選択装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10748198A JP3487494B2 (ja) | 1998-04-17 | 1998-04-17 | メニュー選択方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10748198A JP3487494B2 (ja) | 1998-04-17 | 1998-04-17 | メニュー選択方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11305910A JPH11305910A (ja) | 1999-11-05 |
| JP3487494B2 true JP3487494B2 (ja) | 2004-01-19 |
Family
ID=14460320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10748198A Expired - Fee Related JP3487494B2 (ja) | 1998-04-17 | 1998-04-17 | メニュー選択方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3487494B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4822645B2 (ja) * | 1999-12-23 | 2011-11-24 | アノト アクティエボラーク | ユーザ・ユニットおよびグローバル情報取り扱いシステム |
| JP4636064B2 (ja) * | 2007-09-18 | 2011-02-23 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP2013025612A (ja) * | 2011-07-22 | 2013-02-04 | Kddi Corp | Ｕｉ作成装置およびｕｉ作成プログラム |
| JP5148004B1 (ja) * | 2012-04-26 | 2013-02-20 | 株式会社三菱東京Ｕｆｊ銀行 | 情報処理装置、電子機器およびプログラム |
| KR20150031384A (ko) * | 2013-09-13 | 2015-03-24 | 현대자동차주식회사 | 맞춤형 인터페이스 시스템 및 그 동작 방법 |
-
1998
- 1998-04-17 JP JP10748198A patent/JP3487494B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11305910A (ja) | 1999-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20040207600A1 (en) | System and method for transforming an ordinary computer monitor into a touch screen | |
| US9712717B2 (en) | Image processing apparatus, region detection method and computer-readable, non-transitory medium | |
| JPH03290774A (ja) | 文書画像の文章領域抽出装置 | |
| WO2023165616A1 (zh) | 图像模型隐蔽后门的检测方法及系统、存储介质、终端 | |
| JP6903966B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
| CN110288040B (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
| JP3487494B2 (ja) | メニュー選択方法及び装置 | |
| CN114299478A (zh) | 结合rpa和ai的图像处理方法、装置及电子设备 | |
| CN106156774B (zh) | 影像处理方法及影像处理系统 | |
| CN112532884A (zh) | 识别方法、装置及电子设备 | |
| JP2898562B2 (ja) | ナンバープレート決定方法 | |
| JP2022185872A (ja) | 画像処理装置、画像処理方法、撮像装置 | |
| JP4796165B2 (ja) | 画像処理装置 | |
| CN106775701A (zh) | 一种客户端自动取证方法和系统 | |
| JP7478628B2 (ja) | 画像処理装置、制御方法及び制御プログラム | |
| JP5402417B2 (ja) | 画像処理装置 | |
| JP3095470B2 (ja) | 文字認識装置 | |
| JP4881722B2 (ja) | 帳票識別装置、及び帳票識別プログラム | |
| JP3936039B2 (ja) | 網がけ領域抽出装置 | |
| JPH0991425A (ja) | 画像処理装置 | |
| JP3903540B2 (ja) | 画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体 | |
| JP2834130B2 (ja) | 認識データの確認方法 | |
| Usuda et al. | Viewing Tablet: A Pointing System Applicable to any Sheet Object | |
| WO2015181580A1 (en) | Automated review of forms through augmented reality | |
| JP2016194835A (ja) | 情報抽出方法、情報抽出プログラム及び情報抽出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081031 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091031 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101031 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |