JPH11305910A - メニュー選択方法及び装置 - Google Patents
メニュー選択方法及び装置Info
- Publication number
- JPH11305910A JPH11305910A JP10748198A JP10748198A JPH11305910A JP H11305910 A JPH11305910 A JP H11305910A JP 10748198 A JP10748198 A JP 10748198A JP 10748198 A JP10748198 A JP 10748198A JP H11305910 A JPH11305910 A JP H11305910A
- Authority
- JP
- Japan
- Prior art keywords
- character
- image
- character string
- menu
- extracting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 ＯＡ機器に慣れていない人間にとっても使い
やすく、メニューの内容をシステムの扱いに習熟した人
間でなくても容易に行え、人間とシステムとの間に機械
的な接触が生じないメニュー選択方法及び装置を提供す
る。 【解決手段】 文字プレートに文字列で記入されたメニ
ューの項目を使用者が指示物で示すことによりメニュー
選択を行うメニュー選択装置であって、文字プレートの
画像と指示物の画像をカメラで撮影する画像入力手段を
設け、前記文字プレートに文字列の形式で書かれたメニ
ュー項目の内容と画像としての位置情報を抽出する位置
情報抽出手段を設け、前記指示物による指示の動作の識
別と、文字プレート内の指示された点の座標を抽出する
指示点座標抽出手段を設け、その抽出された座標と各メ
ニュー項目の画像としての位置情報の記録を照合して指
示された項目を割り出し、その項目に該当する機能を実
行する手段を設けたメニュー選択装置である。
やすく、メニューの内容をシステムの扱いに習熟した人
間でなくても容易に行え、人間とシステムとの間に機械
的な接触が生じないメニュー選択方法及び装置を提供す
る。 【解決手段】 文字プレートに文字列で記入されたメニ
ューの項目を使用者が指示物で示すことによりメニュー
選択を行うメニュー選択装置であって、文字プレートの
画像と指示物の画像をカメラで撮影する画像入力手段を
設け、前記文字プレートに文字列の形式で書かれたメニ
ュー項目の内容と画像としての位置情報を抽出する位置
情報抽出手段を設け、前記指示物による指示の動作の識
別と、文字プレート内の指示された点の座標を抽出する
指示点座標抽出手段を設け、その抽出された座標と各メ
ニュー項目の画像としての位置情報の記録を照合して指
示された項目を割り出し、その項目に該当する機能を実
行する手段を設けたメニュー選択装置である。
Description
【０００１】
【発明の属する技術分野】本発明は、計算機が人間に提
供する機能をメニューでグラフィカルに簡易に選択する
メニュー選択方法及び装置に関するものである。
供する機能をメニューでグラフィカルに簡易に選択する
メニュー選択方法及び装置に関するものである。
【０００２】
【従来の技術】この種の従来技術として、ディスプレイ
にメニュー項目の一覧を表示し、選択を希望する項目を
マウス等のポインティングデバイスにより選択する、い
わゆるグラフィカルユーザインタフェース（ＧＵＩ）が
ある。
にメニュー項目の一覧を表示し、選択を希望する項目を
マウス等のポインティングデバイスにより選択する、い
わゆるグラフィカルユーザインタフェース（ＧＵＩ）が
ある。
【０００３】
【発明が解決しようとする課題】本発明者は、前記従来
技術を検討した結果、以下の問題点を見いだした。
技術を検討した結果、以下の問題点を見いだした。
【０００４】前述の従来の技術では、ポインティングデ
バイスとして、マウス、タッチパネル、電子ペン等を使
うが、いずれもＯＡ機器にある程度慣れたユーザを対象
としており、全く経験のない人間には使いにくいという
問題点があった。
バイスとして、マウス、タッチパネル、電子ペン等を使
うが、いずれもＯＡ機器にある程度慣れたユーザを対象
としており、全く経験のない人間には使いにくいという
問題点があった。
【０００５】また、メニューの内容を変更するにはシス
テムを変更する必要があり、そのシステムの扱いに習熟
した人間が作業する必要があるという問題点があった。
テムを変更する必要があり、そのシステムの扱いに習熟
した人間が作業する必要があるという問題点があった。
【０００６】また、ポインティングデバイスとしてマウ
ス、タッチパネル、電子ペン等を用いるが、いずれも人
間とシステムとの間に機械的な接触が生じ、故障の原因
になる。これは、特に、システムをメンテナンス無しに
長期に渡って使う場合に問題となる。
ス、タッチパネル、電子ペン等を用いるが、いずれも人
間とシステムとの間に機械的な接触が生じ、故障の原因
になる。これは、特に、システムをメンテナンス無しに
長期に渡って使う場合に問題となる。
【０００７】本発明の目的は、ＯＡ機器に慣れていない
人間にとっても使いやすく、メニューの内容をシステム
の扱いに習熟した人間でなくても容易に行え、人間とシ
ステムとの間に機械的な接触が生じないメニュー選択方
法及び装置を提供することにある。
人間にとっても使いやすく、メニューの内容をシステム
の扱いに習熟した人間でなくても容易に行え、人間とシ
ステムとの間に機械的な接触が生じないメニュー選択方
法及び装置を提供することにある。
【０００８】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
【０００９】
【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
以下のとおりである。
発明のうち、代表的なものの概要を簡単に説明すれば、
以下のとおりである。
【００１０】（１）文字プレートに文字列で記入された
メニューの項目を使用者が指示物で示すことによりメニ
ュー選択を行うメニュー選択方法であって、前記文字プ
レートの画像と指示物の画像をカメラで撮影し、画像処
理、文字認識、及び単語照合により、使用者がどのメニ
ュー項目を選んだかを識別し、その項目に該当する機能
を実行する方法である。
メニューの項目を使用者が指示物で示すことによりメニ
ュー選択を行うメニュー選択方法であって、前記文字プ
レートの画像と指示物の画像をカメラで撮影し、画像処
理、文字認識、及び単語照合により、使用者がどのメニ
ュー項目を選んだかを識別し、その項目に該当する機能
を実行する方法である。
【００１１】（２）文字プレートの画像と指示物の画像
をカメラで撮影する過程と、撮影された画像から文字プ
レート領域画像を抽出する過程と、抽出された文字プレ
ート領域画像の傾斜及び回転の補正及び２値化を行う過
程と、該画像補正変換された画像領域から文字列領域及
び各文字列領域の位置情報を文字列情報テーブルに記録
する過程と、前記各文字列領域画像の文字切り出しと個
々の文字パターンの認識を行う過程と、該各文字列領域
画像の文字切り出しと個々の文字パターンの認識結果を
単語辞書と照合する過程と、その照合結果を文字列情報
テーブルに記録する過程と、前記指示物の動作を検出す
る過程と、指示物の先端の座標を算出する過程と、算出
された指示物の先端の座標を文字列情報テーブルと照合
し、指示された文字列の識別子を識別する過程と、識別
された文字列の識別子に該当する機能を実行する過程と
を有するメニュー選択方法である。
をカメラで撮影する過程と、撮影された画像から文字プ
レート領域画像を抽出する過程と、抽出された文字プレ
ート領域画像の傾斜及び回転の補正及び２値化を行う過
程と、該画像補正変換された画像領域から文字列領域及
び各文字列領域の位置情報を文字列情報テーブルに記録
する過程と、前記各文字列領域画像の文字切り出しと個
々の文字パターンの認識を行う過程と、該各文字列領域
画像の文字切り出しと個々の文字パターンの認識結果を
単語辞書と照合する過程と、その照合結果を文字列情報
テーブルに記録する過程と、前記指示物の動作を検出す
る過程と、指示物の先端の座標を算出する過程と、算出
された指示物の先端の座標を文字列情報テーブルと照合
し、指示された文字列の識別子を識別する過程と、識別
された文字列の識別子に該当する機能を実行する過程と
を有するメニュー選択方法である。
【００１２】（３）文字プレートに文字列で記入された
メニューの項目を使用者が指示物で示すことによりメニ
ュー選択を行うメニュー選択装置であって、文字プレー
トの画像と指示物の画像をカメラで撮影する画像入力手
段を設け、前記文字プレートに文字列の形式で書かれた
メニュー項目の内容と画像としての位置情報を抽出する
位置情報抽出手段を設け、前記指示物による指示の動作
の識別と、文字プレート内の指示された点の座標を抽出
する指示点座標抽出手段を設け、その抽出された座標と
各メニュー項目の画像としての位置情報の記録を照合し
て指示された項目を割り出し、その項目に該当する機能
を実行する手段を設けた装置である。
メニューの項目を使用者が指示物で示すことによりメニ
ュー選択を行うメニュー選択装置であって、文字プレー
トの画像と指示物の画像をカメラで撮影する画像入力手
段を設け、前記文字プレートに文字列の形式で書かれた
メニュー項目の内容と画像としての位置情報を抽出する
位置情報抽出手段を設け、前記指示物による指示の動作
の識別と、文字プレート内の指示された点の座標を抽出
する指示点座標抽出手段を設け、その抽出された座標と
各メニュー項目の画像としての位置情報の記録を照合し
て指示された項目を割り出し、その項目に該当する機能
を実行する手段を設けた装置である。
【００１３】（４）文字プレートの画像と指示物の画像
をカメラで撮影する画像入力手段と、該入力された画像
から文字プレート領域画像を抽出する文字プレート領域
画像抽出手段と、抽出された文字プレート領域画像の傾
斜及び回転の補正及び２値化を行う画像補正変換手段
と、該画像補正変換された画像領域から文字列領域を抽
出する文字列領域抽出手段と、各文字列領域画像の文字
切り出しと個々の文字パターンの認識を行う文字切り出
し／認識手段と、該各文字列領域画像の文字切り出しと
個々の文字パターンの認識結果を単語辞書と照合する単
語照合手段と、前記文字切り出し／認識手段の結果と単
語照合手段の結果を記録する文字列情報テーブルと、前
記指示物の動作を検出する指示物動作検出手段と、前記
指示物の先端の座標を算出する指示先端座標算出手段
と、前記指示物の先端の座標を文字列情報テーブルと照
合し、指示された文字列の識別子を識別する指示対象文
字列識別手段と、識別された文字列の識別子に該当する
機能を実行する被指示機能実行手段とを有するメニュー
選択装置である。
をカメラで撮影する画像入力手段と、該入力された画像
から文字プレート領域画像を抽出する文字プレート領域
画像抽出手段と、抽出された文字プレート領域画像の傾
斜及び回転の補正及び２値化を行う画像補正変換手段
と、該画像補正変換された画像領域から文字列領域を抽
出する文字列領域抽出手段と、各文字列領域画像の文字
切り出しと個々の文字パターンの認識を行う文字切り出
し／認識手段と、該各文字列領域画像の文字切り出しと
個々の文字パターンの認識結果を単語辞書と照合する単
語照合手段と、前記文字切り出し／認識手段の結果と単
語照合手段の結果を記録する文字列情報テーブルと、前
記指示物の動作を検出する指示物動作検出手段と、前記
指示物の先端の座標を算出する指示先端座標算出手段
と、前記指示物の先端の座標を文字列情報テーブルと照
合し、指示された文字列の識別子を識別する指示対象文
字列識別手段と、識別された文字列の識別子に該当する
機能を実行する被指示機能実行手段とを有するメニュー
選択装置である。
【００１４】すなわち、本発明は、文字プレートに文字
列の形式で書かれたメニュー項目の内容と画像としての
位置情報を抽出する手段を設ける。そして、指等の指示
物による指示の動作の識別と、文字プレート内の指示さ
れた点の座標を抽出する手段を設け、その抽出された座
標と各メニュー項目の画像としての位置情報の記録を照
合して指示された項目を割り出し、その項目に該当する
機能を実行する手段を設けたことを特徴とする。
列の形式で書かれたメニュー項目の内容と画像としての
位置情報を抽出する手段を設ける。そして、指等の指示
物による指示の動作の識別と、文字プレート内の指示さ
れた点の座標を抽出する手段を設け、その抽出された座
標と各メニュー項目の画像としての位置情報の記録を照
合して指示された項目を割り出し、その項目に該当する
機能を実行する手段を設けたことを特徴とする。
【００１５】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態（実施例）を詳細に説明する。
施形態（実施例）を詳細に説明する。
【００１６】図１は本発明の一実施形態（実施例）のメ
ニュー選択装置の概略構成を示すブロック構成図であ
り、図２は図１のメニュー選択装置による文字列領域抽
出方法の処理手順を示すフローチャートである。
ニュー選択装置の概略構成を示すブロック構成図であ
り、図２は図１のメニュー選択装置による文字列領域抽
出方法の処理手順を示すフローチャートである。
【００１７】本実施形態のメニュー選択装置は、図１に
示すように、文字プレートの画像と指示物の画像をカメ
ラで撮影する画像入力手段１と、該入力された画像から
文字プレート領域画像を抽出する文字プレート領域画像
抽出手段２と、抽出された文字プレート領域画像の傾斜
及び回転の補正及び２値化を行う画像補正変換手段３
と、該画像補正変換された画像領域から文字列領域を抽
出する文字列領域抽出手段４と、各文字列領域画像の文
字切り出しと個々の文字パターンの認識を行う文字切り
出し／認識手段５と、該各文字列領域画像の文字切り出
しと個々の文字パターンの認識結果を単語辞書９と照合
する単語照合手段６と、前記文字切り出し／認識手段５
の結果と単語照合手段６の結果を記録する文字列情報テ
ーブル８と、前記指示物の動作を検出する指示動作検出
手段７と、前記指示物の先端の座標を算出する指示物先
端座標算出手段１０と、前記指示物の先端の座標を文字
列情報テーブル８と照合し、指示された文字列の識別子
を識別する指示対象文字列識別手段１１と、識別された
文字列の識別子に該当する機能を実行する被指示機能実
行手段１２とを備えた装置である。
示すように、文字プレートの画像と指示物の画像をカメ
ラで撮影する画像入力手段１と、該入力された画像から
文字プレート領域画像を抽出する文字プレート領域画像
抽出手段２と、抽出された文字プレート領域画像の傾斜
及び回転の補正及び２値化を行う画像補正変換手段３
と、該画像補正変換された画像領域から文字列領域を抽
出する文字列領域抽出手段４と、各文字列領域画像の文
字切り出しと個々の文字パターンの認識を行う文字切り
出し／認識手段５と、該各文字列領域画像の文字切り出
しと個々の文字パターンの認識結果を単語辞書９と照合
する単語照合手段６と、前記文字切り出し／認識手段５
の結果と単語照合手段６の結果を記録する文字列情報テ
ーブル８と、前記指示物の動作を検出する指示動作検出
手段７と、前記指示物の先端の座標を算出する指示物先
端座標算出手段１０と、前記指示物の先端の座標を文字
列情報テーブル８と照合し、指示された文字列の識別子
を識別する指示対象文字列識別手段１１と、識別された
文字列の識別子に該当する機能を実行する被指示機能実
行手段１２とを備えた装置である。
【００１８】以下、前記図１のメニュー選択装置による
メニュー選択方法を図２を用いて説明する。本実施形態
のメニュー選択方法は、図２に示すように、以下の処理
手順で実行される。
メニュー選択方法を図２を用いて説明する。本実施形態
のメニュー選択方法は、図２に示すように、以下の処理
手順で実行される。
【００１９】Ｓ２０１：文字プレートの画像と指示物の
画像を画像入力手段１のカメラで撮影し、文字プレート
領域画像抽出手段２により、前記撮影された画像から文
字プレート領域画像を抽出する。
画像を画像入力手段１のカメラで撮影し、文字プレート
領域画像抽出手段２により、前記撮影された画像から文
字プレート領域画像を抽出する。
【００２０】Ｓ２０２：画像補正変換手段３により、前
記抽出された文字プレート領域画像の傾斜及び回転の補
正及び２値化を行う。
記抽出された文字プレート領域画像の傾斜及び回転の補
正及び２値化を行う。
【００２１】Ｓ２０３：前記画像補正変換された画像領
域から文字列領域及び各文字列領域の位置情報を文字列
情報テーブル８に記録する。
域から文字列領域及び各文字列領域の位置情報を文字列
情報テーブル８に記録する。
【００２２】Ｓ２０４：文字切り出し／認識手段５によ
り、前記各文字列領域画像の文字切り出しと個々の文字
パターンの認識を行う。
り、前記各文字列領域画像の文字切り出しと個々の文字
パターンの認識を行う。
【００２３】Ｓ２０５：単語照合手段６により、前記各
文字列領域画像の文字切り出しと個々の文字パターンの
認識結果を単語辞書と照合し、その照合結果を文字列情
報テーブル８に記録する。
文字列領域画像の文字切り出しと個々の文字パターンの
認識結果を単語辞書と照合し、その照合結果を文字列情
報テーブル８に記録する。
【００２４】Ｓ２０６：指示動作検出手段７により、前
記指示物の動作を検出する。
記指示物の動作を検出する。
【００２５】Ｓ２０７：指示物先端座標算出手段１０に
より、指示物の先端の座標を算出する。
より、指示物の先端の座標を算出する。
【００２６】Ｓ２０８：指示対象文字列識別手段１１に
より、前記算出された指示物の先端の座標を文字列情報
テーブルと照合し、指示された文字列の識別子を識別す
る。
より、前記算出された指示物の先端の座標を文字列情報
テーブルと照合し、指示された文字列の識別子を識別す
る。
【００２７】Ｓ２０９：被指示機能実行手段１２によ
り、前記識別された文字列の識別子に該当する機能を実
行し終了する。
り、前記識別された文字列の識別子に該当する機能を実
行し終了する。
【００２８】図３は図１における単語辞書９の内容の例
を示す図である。本実施形態では、メニューに記載可能
なサービス機能と文字列として、図３に示す６種類を扱
う。各サービス機能の実行は被指示機能実行手段１２に
おいて、該当する関数を呼び出すことによって行われ
る。
を示す図である。本実施形態では、メニューに記載可能
なサービス機能と文字列として、図３に示す６種類を扱
う。各サービス機能の実行は被指示機能実行手段１２に
おいて、該当する関数を呼び出すことによって行われ
る。
【００２９】図４（ａ）は文字プレートを含む原画像の
模式図である。図４（ａ）に示す文字プレートを含む原
画像から、図４（ｂ）に示すような文字プレートの領域
画像を抽出する具体的な方法としては、例えば、文献
「船越、美濃、坂井：“情景画像中の文字抽出の検
討”、昭和６２年電子情報通信学会全国大会１５０３
（ｐ６−１８１）」で開示されている方法を用いる。
模式図である。図４（ａ）に示す文字プレートを含む原
画像から、図４（ｂ）に示すような文字プレートの領域
画像を抽出する具体的な方法としては、例えば、文献
「船越、美濃、坂井：“情景画像中の文字抽出の検
討”、昭和６２年電子情報通信学会全国大会１５０３
（ｐ６−１８１）」で開示されている方法を用いる。
【００３０】図５（ａ）は図４（ｂ）の文字プレートの
領域画像に対して、３次元的な傾斜による歪みの補正を
行った後で、２次元的な回転の補正を行った結果であ
る。３次元的な傾斜による歪みの補正像斜影歪みを利用
した文字平面の単眼視姿勢推定は、例えば、文献：平成
９年電子情報通信学会全国大会Ｄ−１２−５８（ｐ２５
０）」で開示されている方法を用いて行うことができ
る。
領域画像に対して、３次元的な傾斜による歪みの補正を
行った後で、２次元的な回転の補正を行った結果であ
る。３次元的な傾斜による歪みの補正像斜影歪みを利用
した文字平面の単眼視姿勢推定は、例えば、文献：平成
９年電子情報通信学会全国大会Ｄ−１２−５８（ｐ２５
０）」で開示されている方法を用いて行うことができ
る。
【００３１】図５（ｂ）は図５（ａ）を２値化した画像
である。２値化方法としては、例えば、各画素の明度を
一定のしきい値と比較し、しきい値を越える明度を持つ
画素を白画素に、それ以外を黒画素にすることで行え
る。
である。２値化方法としては、例えば、各画素の明度を
一定のしきい値と比較し、しきい値を越える明度を持つ
画素を白画素に、それ以外を黒画素にすることで行え
る。
【００３２】図６は図５（ｂ）の２値画像から文字列の
領域の画像を抽出し、その位置情報を文字列情報テーブ
ル８に記録する処理過程を説明するための図である。文
字列の領域の画像の抽出は、本実施形態では、まず、水
平方向に黒画素の射影を取って周辺分布を作成し、黒画
素が連続して多く分布する領域を見つけることで行の画
像を切り出し、次に各行の画像について垂直方向に黒画
素の射影を取って周辺分布を作成し、左右から走査して
黒画素が指定値以上分布している座標を左右の端とする
ことで行える。文字列の位置情報は、文字列に外接する
長方形の左上の角の座標と右下の角の座標で表す。
領域の画像を抽出し、その位置情報を文字列情報テーブ
ル８に記録する処理過程を説明するための図である。文
字列の領域の画像の抽出は、本実施形態では、まず、水
平方向に黒画素の射影を取って周辺分布を作成し、黒画
素が連続して多く分布する領域を見つけることで行の画
像を切り出し、次に各行の画像について垂直方向に黒画
素の射影を取って周辺分布を作成し、左右から走査して
黒画素が指定値以上分布している座標を左右の端とする
ことで行える。文字列の位置情報は、文字列に外接する
長方形の左上の角の座標と右下の角の座標で表す。
【００３３】図７は図６に示した各文字列画像の切り出
し結果について、文字切り出しを行い、個々の文字パタ
ーンについて認識し、各文字列における文字認識結果を
単語辞書と照合して該当する機能を実現する関数名を文
字列情報テーブル８に格納する処理過程を説明するため
の図である。
し結果について、文字切り出しを行い、個々の文字パタ
ーンについて認識し、各文字列における文字認識結果を
単語辞書と照合して該当する機能を実現する関数名を文
字列情報テーブル８に格納する処理過程を説明するため
の図である。
【００３４】図８は指などの指示物による指示動作の検
出の処理過程を説明するための図である。図８（ａ）
は、動作の検出のために撮影した、指示物が存在しない
時の文字プレートを含む情景の初期画像である。指示動
作を検出する処理は、例えば、画像入力手段１によって
画像の入力を一定時間間隔で連続して行い、各画像につ
いて図８（ａ）で示す画像との間で画素間の差分を取
り、差分の大きさか一定値以上の画素の個数が一定のし
きい値より大きい場合に指示動作があったと判定するこ
とで行える。図８（ｂ）は指示動作があったと判定され
た画像の例を示す図である。
出の処理過程を説明するための図である。図８（ａ）
は、動作の検出のために撮影した、指示物が存在しない
時の文字プレートを含む情景の初期画像である。指示動
作を検出する処理は、例えば、画像入力手段１によって
画像の入力を一定時間間隔で連続して行い、各画像につ
いて図８（ａ）で示す画像との間で画素間の差分を取
り、差分の大きさか一定値以上の画素の個数が一定のし
きい値より大きい場合に指示動作があったと判定するこ
とで行える。図８（ｂ）は指示動作があったと判定され
た画像の例を示す図である。
【００３５】図９は指示物の先端の位置とメニューの項
目の対応付けを説明するための図である。まず、図９
（ａ）に示すように、図８（ｂ）における指先端の位置
を検出する。この方法は、本実施形態では、例えば、図
８（ａ）で示す画像と図８（ｂ）の間で画素間の差分を
取り、差分の大きさが一定値以上の画素の集合の中で最
も右に存在する画素の座標を採用することで実現でき
る。
目の対応付けを説明するための図である。まず、図９
（ａ）に示すように、図８（ｂ）における指先端の位置
を検出する。この方法は、本実施形態では、例えば、図
８（ａ）で示す画像と図８（ｂ）の間で画素間の差分を
取り、差分の大きさが一定値以上の画素の集合の中で最
も右に存在する画素の座標を採用することで実現でき
る。
【００３６】次に、図４（ｂ）から図５（ａ）ヘの画像
の補正に用いた、３次元的な傾斜の補正と２次元的な回
転の補正に用いたパラメータを用いて、指示物の先端の
座標を変換する（図９（ｂ）参照）。そしてこの座標と
図７の文字列情報テーブル８の各文字列番号の位置情報
を照合し、該当する文字列番号の関数名を得る。
の補正に用いた、３次元的な傾斜の補正と２次元的な回
転の補正に用いたパラメータを用いて、指示物の先端の
座標を変換する（図９（ｂ）参照）。そしてこの座標と
図７の文字列情報テーブル８の各文字列番号の位置情報
を照合し、該当する文字列番号の関数名を得る。
【００３７】関数の実行は、被指示機能実行手段１２で
行う。被指示機能実行手段１２には、単語辞書９に含ま
れる関数名に該当する機能を実現する手段を備えておく
必要がある。例えば、図３に示す単語辞書９に含まれる
関数名を実行するには、特定の電話番号に自動的に電話
するための回線と電話端末、工作室と図書室の場所を案
内するための画像データと表示装置、電話番号と作業者
名を表示するための一覧表が必要である。
行う。被指示機能実行手段１２には、単語辞書９に含ま
れる関数名に該当する機能を実現する手段を備えておく
必要がある。例えば、図３に示す単語辞書９に含まれる
関数名を実行するには、特定の電話番号に自動的に電話
するための回線と電話端末、工作室と図書室の場所を案
内するための画像データと表示装置、電話番号と作業者
名を表示するための一覧表が必要である。
【００３８】本発明では、メニューの内容を変えるに
は、文字プレートの内容を変えるだけで良い。例えば、
図１０のように変えれば、それ以上のシステムの変更を
せずに、「工作室の場所案内」、「図書室の場所案
内」、「作業者名一覧」のメニューに変わる。
は、文字プレートの内容を変えるだけで良い。例えば、
図１０のように変えれば、それ以上のシステムの変更を
せずに、「工作室の場所案内」、「図書室の場所案
内」、「作業者名一覧」のメニューに変わる。
【００３９】以上、本発明を、前記実施例に基づき具体
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。
【００４０】
【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。
【００４１】本発明によれば、メニューの選択を文字プ
レート上の項目を指等の指示物で示すだけで行えるた
め、ＯＡ機器に全く経験のない人間にも使いやすい。
レート上の項目を指等の指示物で示すだけで行えるた
め、ＯＡ機器に全く経験のない人間にも使いやすい。
【００４２】また、メニュー内容の変更を文字プレート
を書き換えるだけで行えるため、システムの扱いに不慣
れな者でも容易に変更できる。
を書き換えるだけで行えるため、システムの扱いに不慣
れな者でも容易に変更できる。
【００４３】また、人間とシステムとの間には機械的な
接触が生じないため、機械的な接触が原因で発生する故
障が発生しなくなる。
接触が生じないため、機械的な接触が原因で発生する故
障が発生しなくなる。
【図１】本発明の一実施形態（実施例）のメニュー選択
装置の概略構成を示すブロック構成図である。
装置の概略構成を示すブロック構成図である。
【図２】図１の文字列領域抽出装置によるメニュー選択
方法の処理手順を示すフローチャートである。
方法の処理手順を示すフローチャートである。
【図３】図１における単語辞書の内容の例を示す図であ
る。
る。
【図４】本実施形態の文字プレートを含む原画像の模式
図及び文字プレートの領域画像を抽出した図である。
図及び文字プレートの領域画像を抽出した図である。
【図５】図４の文字プレートの領域画像に対して、３次
元的な傾斜による歪みの補正及び回転の補正を行った結
果及び２値化した画像を示す図である。
元的な傾斜による歪みの補正及び回転の補正を行った結
果及び２値化した画像を示す図である。
【図６】本実施形態の図５の処理過程から文字列情報テ
ーブルに記録するまでの処理過程を説明するための図で
ある。
ーブルに記録するまでの処理過程を説明するための図で
ある。
【図７】本実施形態の図６の処理過程から文字列情報テ
ーブルに格納するまでの処理過程を説明するための図で
ある。
ーブルに格納するまでの処理過程を説明するための図で
ある。
【図８】本実施形態の指示物による指示動作の検出の処
理過程を説明するための図である。
理過程を説明するための図である。
【図９】本実施形態の指示物の先端の位置とメニューの
項目の対応付けを説明するための図である。
項目の対応付けを説明するための図である。
【図１０】本実施形態のメニューの内容を変える場合
に、システムの変更をせずに文字プレートの内容を変え
るだけでよい例を示す図である。
に、システムの変更をせずに文字プレートの内容を変え
るだけでよい例を示す図である。
１…画像入力手段、２…文字プレート領域画像抽出手
段、３…画像補正変換手段、４…文字列領域抽出手段、
５…文字切り出し／認識手段、６…単語照合手段、７…
指示動作検出手段、８…文字列情報テーブル、９…単語
辞書、１０…指示物先端座標算出手段、１１…指示対象
文字列識別手段、１２…被指示機能実行手段。
段、３…画像補正変換手段、４…文字列領域抽出手段、
５…文字切り出し／認識手段、６…単語照合手段、７…
指示動作検出手段、８…文字列情報テーブル、９…単語
辞書、１０…指示物先端座標算出手段、１１…指示対象
文字列識別手段、１２…被指示機能実行手段。
Claims (4)
- 【請求項１】 文字プレートに文字列で記入されたメニ
ューの項目を使用者が指示物で示すことによりメニュー
選択を行うメニュー選択方法であって、前記文字プレー
トの画像と指示物の画像をカメラで撮影し、画像処理、
文字認識、及び単語照合により、使用者がどのメニュー
項目を選んだかを識別し、その項目に該当する機能を実
行することを特徴とするメニュー選択方法。 - 【請求項２】 文字プレートの画像と指示物の画像をカ
メラで撮影する過程と、撮影された画像から文字プレー
ト領域画像を抽出する過程と、抽出された文字プレート
領域画像の傾斜及び回転の補正及び２値化を行う過程
と、該画像補正変換された画像領域から文字列領域及び
各文字列領域の位置情報を文字列情報テーブルに記録す
る過程と、前記各文字列領域画像の文字切り出しと個々
の文字パターンの認識を行う過程と、該各文字列領域画
像の文字切り出しと個々の文字パターンの認識結果を単
語辞書と照合する過程と、その照合結果を文字列情報テ
ーブルに記録する過程と、前記指示物の動作を検出する
過程と、指示物の先端の座標を算出する過程と、算出さ
れた指示物の先端の座標を文字列情報テーブルと照合
し、指示された文字列の識別子を識別する過程と、識別
された文字列の識別子に該当する機能を実行する過程と
を有することを特徴とするメニュー選択方法。 - 【請求項３】 文字プレートに文字列で記入されたメニ
ューの項目を使用者が指示物で示すことによりメニュー
選択を行うメニュー選択装置であって、文字プレートの
画像と指示物の画像をカメラで撮影する画像入力手段を
設け、前記文字プレートに文字列の形式で書かれたメニ
ュー項目の内容と画像としての位置情報を抽出する位置
情報抽出手段を設け、前記指示物による指示の動作の識
別と、文字プレート内の指示された点の座標を抽出する
指示点座標抽出手段を設け、その抽出された座標と各メ
ニュー項目の画像としての位置情報の記録を照合して指
示された項目を割り出し、その項目に該当する機能を実
行する手段を設けたことを特徴とするメニュー選択装
置。 - 【請求項４】 文字プレートの画像と指示物の画像をカ
メラで撮影する画像入力手段と、該入力された画像から
文字プレート領域画像を抽出する文字プレート領域画像
抽出手段と、抽出された文字プレート領域画像の傾斜及
び回転の補正及び２値化を行う画像補正変換手段と、該
画像補正変換された画像領域から文字列領域を抽出する
文字列領域抽出手段と、各文字列領域画像の文字切り出
しと個々の文字パターンの認識を行う文字切り出し／認
識手段と、該各文字列領域画像の文字切り出しと個々の
文字パターンの認識結果を単語辞書と照合する単語照合
手段と、前記文字切り出し／認識手段の結果と単語照合
手段の結果を記録する文字列情報テーブルと、前記指示
物の動作を検出する指示物動作検出手段と、前記指示物
の先端の座標を算出する指示先端座標算出手段と、前記
指示物の先端の座標を文字列情報テーブルと照合し、指
示された文字列の識別子を識別する指示対象文字列識別
手段と、識別された文字列の識別子に該当する機能を実
行する被指示機能実行手段とを有することを特徴とする
メニュー選択装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10748198A JP3487494B2 (ja) | 1998-04-17 | 1998-04-17 | メニュー選択方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10748198A JP3487494B2 (ja) | 1998-04-17 | 1998-04-17 | メニュー選択方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11305910A true JPH11305910A (ja) | 1999-11-05 |
| JP3487494B2 JP3487494B2 (ja) | 2004-01-19 |
Family
ID=14460320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10748198A Expired - Fee Related JP3487494B2 (ja) | 1998-04-17 | 1998-04-17 | メニュー選択方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3487494B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009070314A (ja) * | 2007-09-18 | 2009-04-02 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| JP4822645B2 (ja) * | 1999-12-23 | 2011-11-24 | アノト アクティエボラーク | ユーザ・ユニットおよびグローバル情報取り扱いシステム |
| JP2013025612A (ja) * | 2011-07-22 | 2013-02-04 | Kddi Corp | Ｕｉ作成装置およびｕｉ作成プログラム |
| JP2013242889A (ja) * | 2012-04-26 | 2013-12-05 | Bank Of Tokyo-Mitsubishi Ufj Ltd | 情報処理装置 |
| JP2015056179A (ja) * | 2013-09-13 | 2015-03-23 | 現代自動車株式会社 | 注文型インターフェースシステムおよびその操作方法 |
-
1998
- 1998-04-17 JP JP10748198A patent/JP3487494B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4822645B2 (ja) * | 1999-12-23 | 2011-11-24 | アノト アクティエボラーク | ユーザ・ユニットおよびグローバル情報取り扱いシステム |
| JP2009070314A (ja) * | 2007-09-18 | 2009-04-02 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| JP4636064B2 (ja) * | 2007-09-18 | 2011-02-23 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| US8379986B2 (en) | 2007-09-18 | 2013-02-19 | Sony Corporation | Device, method, and computer-readable storage medium for recognizing an object in an image |
| US9098770B2 (en) | 2007-09-18 | 2015-08-04 | Sony Corporation | Image processing device and image processing method, and program |
| US9968845B2 (en) | 2007-09-18 | 2018-05-15 | Sony Corporation | Image processing device and image processing method, and program |
| JP2013025612A (ja) * | 2011-07-22 | 2013-02-04 | Kddi Corp | Ｕｉ作成装置およびｕｉ作成プログラム |
| JP2013242889A (ja) * | 2012-04-26 | 2013-12-05 | Bank Of Tokyo-Mitsubishi Ufj Ltd | 情報処理装置 |
| JP2015056179A (ja) * | 2013-09-13 | 2015-03-23 | 現代自動車株式会社 | 注文型インターフェースシステムおよびその操作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3487494B2 (ja) | 2004-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7342572B2 (en) | System and method for transforming an ordinary computer monitor into a touch screen | |
| US9292186B2 (en) | Note capture and recognition with manual assist | |
| GB2378073A (en) | Paper document to computer interface. | |
| JP2000076415A (ja) | カメラ付きペン型入力装置 | |
| US10095940B2 (en) | Image processing apparatus, image processing method and non-transitory computer readable medium | |
| JP2012027908A (ja) | 視覚処理装置、視覚処理方法、および、視覚処理システム | |
| JP6903966B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
| CN114299478A (zh) | 结合rpa和ai的图像处理方法、装置及电子设备 | |
| JP3487494B2 (ja) | メニュー選択方法及び装置 | |
| JP6156740B2 (ja) | 情報表示装置及び入力情報補正プログラム並びに入力情報補正方法 | |
| CN115331019A (zh) | 一种数据处理方法、装置、计算机设备和存储介质 | |
| JP2003099196A (ja) | 会議等支援用画像投影装置 | |
| CN106775701A (zh) | 一种客户端自动取证方法和系统 | |
| JP2013134549A (ja) | データ入力装置およびデータ入力方法 | |
| JP6639257B2 (ja) | 情報処理装置及びその制御方法 | |
| CN111652182B (zh) | 一种悬空手势识别的方法、装置、电子设备和存储介质 | |
| JP2016194835A (ja) | 情報抽出方法、情報抽出プログラム及び情報抽出装置 | |
| JP7478628B2 (ja) | 画像処理装置、制御方法及び制御プログラム | |
| JP3903540B2 (ja) | 画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体 | |
| JP2005217721A (ja) | 静止画像生成装置および生成方法 | |
| JP5402417B2 (ja) | 画像処理装置 | |
| JP4881722B2 (ja) | 帳票識別装置、及び帳票識別プログラム | |
| JP3805161B2 (ja) | 文字読取装置、文字読取方法、文字読取プログラムを記録したコンピュータ読み取り可能な情報記憶媒体 | |
| JP2834130B2 (ja) | 認識データの確認方法 | |
| CN115909338A (zh) | 一种光学字符识别方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081031 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091031 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101031 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |