JP3903540B2 - 画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力/選択方法及び装置並びに情報入出力/選択処理プログラムが記録された記録媒体 - Google Patents
画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力/選択方法及び装置並びに情報入出力/選択処理プログラムが記録された記録媒体 Download PDFInfo
- Publication number
- JP3903540B2 JP3903540B2 JP20698797A JP20698797A JP3903540B2 JP 3903540 B2 JP3903540 B2 JP 3903540B2 JP 20698797 A JP20698797 A JP 20698797A JP 20698797 A JP20698797 A JP 20698797A JP 3903540 B2 JP3903540 B2 JP 3903540B2
- Authority
- JP
- Japan
- Prior art keywords
- background image
- area
- image
- threshold value
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、カメラを用いて撮像した人間や物体の画像を抽出する画像抽出方法、装置及びプログラム記録媒体に関する。また、本発明は、カメラを用いて撮像した人間や物体の指示情報を画像認識する情報入出力/選択方法、装置及びプログラム記録媒体に関する。
【0002】
【従来の技術】
従来、既存のAV(オーディオ・ビジュアル)機器、情報機器や通信機器の各機能を組み合わせることにより、マルチメディア情報の入出力を可能にした装置として、通信機能付き携帯型情報端末や通信機能付きカメラ一体型VTR、さらには通信機能と共にAV機能を搭載したパーソナルコンピュータなどの各種マルチメディア機器が提供されている。そして、インターネット,イサーネットやトークンリング、ATMによるネットワークなどの有線通信網あるいは赤外線通信やPHS通信、衛星通信などの無線通信網を介して、各種マルチメディア機器を接続するようにしたマルチメディアシステムの構築が進められている。
【0003】
従来のマルチメディア機器においては、パーソナルコンピュータの入力装置として用いられたキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどがそのまま入力装置として使用されていた。
【0004】
【発明が解決しようとする課題】
ところで、従来のマルチメディア機器の入力装置として用いられているキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどの操作方法は、人間の感覚に適合した操作方法であるとはいえず、コンピュータなどの操作に慣れていないユーザにとっては直感的に操作方法をイメージすることが困難であり、熟練するのに専門的な知識と訓練が必要であった。
【0005】
また、従来のマルチメディア機器の入力装置として、人間の身振りや物体の動き等の動作を撮像して画像処理を行い、この画像処理の結果を情報として取り込む装置がある。しかしながら、人間の身振り等により情報の入力を行うには、この人間等の物体の認識をする必要があり、そのために、例えばクラスタリング、パターンマッチング、色情報変換等の複雑な処理が必要であった。従って、既存のシステムではコストと処理速度の面で問題があった。
【0006】
そこで、本発明の目的は、複雑な画像処理を行わず人間や物体の画像を抽出する画像抽出方法、装置及びプログラム記録媒体を提供することにある。
【0007】
本発明の目的は、画像処理を用いてユーザがハードウエアを直接意識する必要なく、容易に操作を行うことができる情報入出力/選択方法、装置及びプログラム記録媒体を提供することにある。
【0008】
【課題を解決するための手段】
本発明は、背景画像を撮像し、上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、上記背景画像上に進入した物体を撮像し、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、この物体の形状を抽出する画像抽出方法であって、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求めるにあたり、上記背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像を2値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めることを特徴とする。
【0009】
この画像抽出方法では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求める。
【0010】
本発明に係る画像抽出装置は、背景画像と、この背景画像上に進入する物体とを撮像する撮像手段と、背景画像を所定領域毎に領域分割して各領域の濃淡値を求め、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較し、この物体の形状を抽出する画像抽出手段とを備え、上記画像抽出手段は、上記背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像を2値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めることを特徴とする。
【0011】
この画像抽出装置では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求める。
【0012】
本発明は、画像抽出装置に搭載されたコンピュータにより実行される画像抽出プログラムが記録された記録媒体であって、背景画像を撮像する処理と、上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求める処理と、上記背景画像上に進入した物体を撮像する処理と、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理と、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、この物体の形状を抽出する処理とを行い、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理では、上記背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像を2値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めることを特徴とする。
【0013】
この画像抽出プログラムが記録された記録媒体では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求める。
【0014】
本発明は、所定の情報内容及び/又は指示内容を示す指示情報が記載された表示領域が1又は複数設けられた背景画像を撮像し、上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び/又は指示内容を関連付ける情報参照テーブルを生成し、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、上記背景画像上に進入した物体を撮像し、上記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を2値で抽出したマトリクス状の特徴抽出テーブルを生成し、上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定し、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び/又は指示内容に応じた制御動作を行う情報入出力/選択方法であって、上記背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求めるにあたり、上記背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めることを特徴とする。
【0015】
この情報入出力/選択方法では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求め、抽出したこの物体が示す指示位置から背景画像の指示情報を確定し、この指示情報に応じた制御を行う。
【0016】
本発明に係る情報入出力/選択装置は、所定の情報内容及び/又は指示内容を示す指示情報が記載された表示領域が1又は複数設けられた背景画像と、上記背景画像上に進入する物体を撮像する撮像手段と、上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び/又は指示内容を関連付ける情報参照テーブルを生成し、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を2値で抽出したマトリクス状の特徴抽出テーブルを生成し、上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定する画像抽出手段と、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び/又は指示内容に応じた制御動作を行う制御手段とを備え、上記画像抽出手段は、上記背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めることを特徴とする。
【0017】
この情報入出力/選択装置では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求め、抽出したこの物体が示す指示位置から背景画像の指示情報を確定し、この指示情報に応じた制御を行う。
【0018】
本発明は、情報入出力/選択装置に搭載されたコンピュータにより実行される情報入出力/選択処理プログラムが記録された記録媒体であって、所定の情報内容及び/又は指示内容を示す指示情報が記載された表示領域が1又は複数設けられた背景画像を撮像する処理と、上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び/又は指示内容を関連付ける情報参照テーブルを生成する処理と、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求める処理と、上記背景画像上に進入した物体を撮像する処理と、上記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理と、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を2値で抽出したマトリクス状の特徴抽出テーブルを生成する処理と、上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定する処理と、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び/又は指示内容に応じた制御処理とを行い、上記背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理では、上記背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めることを特徴とする。
【0019】
この情報入出力/選択処理プログラムが記録された記録媒体では、記録されたプログラムが、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求め、抽出したこの物体が示す指示位置から背景画像の指示情報を確定し、この指示情報に応じた制御を行う。
【0020】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【0021】
本発明に係る情報入出力/選択装置は、例えば図1に示すように構成される。この情報入出力/選択装置は、撮像部1、画像認識部2、制御部3、記憶部4、出力部5、情報配信部6及び外部デバイス7を備えてなり、例えば図2に示すような構成のマルチメディアシステムに適用される。
【0022】
このような情報入出力/選択装置は、紙などの静的な物体である情報選択媒体をインターフェースとし、この静的な情報選択媒体に記載された指示情報が示された領域をユーザが指やその他の指示体により動的に入力/選択指示し、その入力/選択指示した指示情報に対応するコンテンツを出力したり、また、その指示情報に対応する制御をしたりするものである。
【0023】
上記撮像部1は、静的な物体である情報選択媒体の表面上に記載されている認証対象パターン,位置補正マーク,提供するコンテンツのインデックス等、及び、ユーザの指やその他の指示体により指示入力されたときの動的な指示入力画像を撮像する手段であって、図2に示したマルチメディアシステムにおけるビューワ10に設置されたCCDビデオカメラ11からなる。上記CCDビデオカメラ11は、上記ビューワ10が立設されたメディアベース12に載置される入力シート13を撮像し、また、この入力シート13に対して入力/選択指示するユーザの指やその他の指示体を撮像する。
【0024】
入力シート13は、あるコンテンツを提供する為の指示情報であるインデックスが記録された紙等の静的な物体からなる情報選択媒体である。例えば、この入力シート13が野球などを告示した印刷物であれば、表面上には、該当する野球の試合の組み合わせ、チケット情報、選手等に関する情報等の指示情報であるインデックスが記載されている。さらに、この入力シート13は、パンフレットやカタログのように複数の種類のものが提供される。ユーザは、所望のコンテンツを示すインデックスが記載された入力シート13を選び出し、この入力シート13をメディアベース12に載置する。
【0025】
この入力シート13は、例えば図3に示すように、5つのカテゴリーエリアA〜Eに区分されている。この入力シート13における第1のカテゴリーエリアAには認識対象パターンとして認証絵文字が記載され、第2のカテゴリーエリアBには認識対象パターンとして識別絵文字が記載され、第3のカテゴリーエリアCには位置補正マークが記載され、第4のカテゴリーエリアDには認識対象パターンとして指示マークが記載され、さらに、第5のカテゴリーエリアEには提供するコンテンツのインデックスが記載されている。
【0026】
この入力シート13の第1のカテゴリーエリアAに認識対象パターンとして記載されている認証絵文字は、例えば、この入力シート13が正式に発効された情報選択媒体であるか等を認証する為のものである。
【0027】
この入力シート13の上記第2のカテゴリーエリアBに認識対象パターンとして記載されている識別絵文字は、方向によってコードが定義された回転モードを有する認証対象パターンによりこの入力シート13の識別コードを定義するものである。例えば、この識別絵文字は、図4に示すように1つの絵文字が8方向の回転モードを持ち、その方向によって8種類のコードが定義されており、4個の識別絵文字によって、84 =4096種類のコードが定義できるようになっている。入力シート13をこの識別絵文字により定義することにより、複数の入力シート13の中からいずれの種類の入力シート13がメディアベース12上に載置されたかを判断することができる。
【0028】
この入力シート13の上記第3のカテゴリーエリアCに記載されている位置補正マークは、この入力シート13の載置された位置を、画像処理により補正するためのマークである。この位置補正マークが撮像されることにより、入力シート13は、撮像された画像の切り出し位置が補正され、上記認識対象パターンやインデックス等の画像処理がされる。。
【0029】
この入力シート13の上記第4のカテゴリーエリアDに認識対象パターンとして記載されている指示マークは、例えば、この情報入力装置の表示出力を制御等するためのマークとなっている。
【0030】
この入力シート13の上記第5のカテゴリーエリアEに記載されているインデックスは、この入力シート13により提供されるコンテンツの内容をユーザに対して示すものである。この第5のカテゴリーエリアEには、提供するコンテンツの内容を示すインデックスが1又は複数記載されており、図形や文字により表されている。さらに、この第5のカテゴリーエリアEは、記載されているインデックスの位置に応じて領域が分割されており、各インデックスに対応してそれぞれ表示領域が形成されている。このインデックスが記載される表示領域は、他のインデックスが記載されている表示領域と濃淡の違いで区切られている。例えば、
この入力シート13が野球の試合などを告示した印刷物であれば、図5に示すように、該当する野球の試合のインフォメーション(Game Information)を示すインデックスが記載されている表示領域E1、チケット情報(Ticket Information)を示すインデックスが記載される表示領域E2、選手等に関する情報(Player Information)を示すインデックスが記載される表示領域E3、この試合のクイズ等に関する情報(Quiz & Present)を示すインデックスが記載される表示領域E4、メッセージボード等の情報(Message Board)を示すインデックスが記載される表示領域E5に分割されている。これらの各表示領域E1〜E5は、領域毎に濃淡が変えられ、それぞれの領域が区切られている。
【0031】
上記画像認識部2は、上記撮像部1により撮像された画像情報を画像認識する画像認識手段であって、図2に示すマルチメディアシステムにおけるコントロールボックス14内に設けられており、上記CCDビデオカメラ11による入力シート13の撮像出力として得られる画像情報が供給されるようになっている。そして、この画像認識部2では、上記CCDビデオカメラ11による入力シート13の撮像出力として得られる画像情報に基づいて、入力シート13の認証処理、識別処理、及び、この入力シート13に対してされるユーザの入力/選択指示に対応するコンテンツの提供処理の為の画像認識処理を行う。
【0032】
上記制御部3は、図2に示すマルチメディアシステムにおけるコントロールボックス14内に設けられており、各部間でのデータの送受信を制御する。上記画像認識部2のユーザによる入力/選択指示の結果を情報配信部6に伝えて、この結果に基づく情報をこの情報配信部6から取得する。また、上記画像認識部2からの入力/選択指示の結果に応じて記憶部4に対するのデータの入出力及び外部デバイス7に対する制御を行い、その操作内容と情報の配信結果を出力部5に表示させる。
【0033】
上記記憶部4は、図2に示すマルチメディアシステムにおけるコントロールボックス14内に設けられており、上記画像認識部2が入力シート13の撮像出力として得られる画像情報についての識別や認証結果を記憶し、また、情報配信部6から提供される情報を記憶している。また、この記憶部4は、カタログやパンフレットのようなかたちで提供される複数の入力シート13に関する情報を、上述した識別絵文字として提供される識別コードに対応させて記憶している。例えば、各入力シート13のインデックスが記載されている表示領域の位置の情報や、各インデックスが示すコンテンツの格納場所を記憶している。また、この記憶部4は、入力シート13の認証絵文字の認証パターンや、位置補正マークのパターン、指示マークの指示パターン等を記憶している。なお、この記憶部4は、図2に示すマルチメディアシステムにおけるワークステーション15内に設けられていても良い。
【0034】
上記出力部5は、ユーザによる入力/選択指示の結果やそれに応じたコンテンツの表示を行い、ディスプレイ,スピーカやプリンタなどからなる。なお、上記出力部5は、図6に示すように、制御する各種デバイスの映像出力を合成して出力することもでき、また、ユーザによる入力/選択指示による操作内容を出力することもできる。ここでは、図2に示すマルチメディアシステムにおけるビューワ10が上記出力部5として用いられる。
【0035】
上記情報配信部6は、上記第5のカテゴリーエリアEに示される各インデックスに対応するコンテンツを格納する手段であり、図2に示すマルチメディアシステムにおけるワークステーション15からなる。この情報配信部6は、インターネット,イサーネットやトークンリング,ATMによるネットワークなどの有線通信網あるいは赤外線通信やPHS通信,衛星通信などの無線通信網を介して上記制御部3と接続され、この制御部3からのデータの配信要求に応じてコンテンツを提供する。具体的には、図5に示す入力シート13に記載されたインデックスに対応するコンテンツを提供するのであれば、表示領域E1に記載されたインデックスに対応するこの試合のインフォメーションの情報の内容、表示領域E2に記載されたインデックスに対応するチケット情報の内容、表示領域E3に記載されたインデックスに対応する選手等に関する情報の内容、表示領域E4に記載されたインデックスに対応するこの試合のクイズ等に関する情報の内容、表示領域E5に記載されたインデックスに対応するメッセージボード等の情報の内容を格納し、これらを制御部3に配信する。なお、この情報配信部6は、ネットワークを介さず図2に示すマルチメディアシステムにおけるコントロールボックス内の記憶手段として設けられていても良い。
【0036】
さらに、上記外部デバイス7は、ユーザからの入力/選択指示に応じて制御されるAV機器,通信機器,コンピュータ,ゲーム機,各種産業機器等である。ここでは、図2に示すマルチメディアシステムにおけるビデオテープレコーダ(VTR)16,カメラ17,電話機18である。また、この外部デバイス7は、各種インターフェース等を介して有線通信又は無線通信により上記制御部と接続されている。この各種インターフェース等としては、図2に示すマルチメディアシステムにおけるコントロールボックス14とVTR16との間のVISCAコントローラ19A、コントロールボックス14と電話機18との間のモデム19B、コントロールボックス14及びVTR16とビューワ10との間のビデオスキャンコンバータ19C等となる。
【0037】
つぎに、このような構成のマルチメディアシステムの処理内容について説明する。
【0038】
このような構成のマルチメディアシステムは、ユーザにより入力シート13がマルチメディアベース12に載置されると、まず、この入力シート13の認証処理を行う。この認証処理によってこの入力シート13が正規なものであることを認証すると、続いて入力シート13の撮像出力として得られる画像情報と、この入力シート13により提供するコンテンツとの関連付けを行う識別処理を行う。そして、この関連付けがされた入力シート13に対して、ユーザが指等により入力/選択指示をすると、入力/選択指示をした指示情報に対応するコンテンツを出力する情報提供処理を行う。
【0039】
以下、このマルチメディアシステムにおける入力シート13の認証処理、識別処理、情報提供処理についてそれぞれ説明していく。
【0040】
まず、入力シート13の認証処理では、上記CCDビデオカメラ11による入力シート13の撮像出力として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理を行ってから位置補正を行い、上記入力シート13の上部中央の第1のカテゴリーエリアAに認識対象パターンとして記載されている認証絵文字の例えば重心座標と輪郭を抽出して、その認証絵文字パターンとのマッチングをとる。この認証絵文字のパターンは、上記コントロールボックス14内のメモリ等に格納されている。
【0041】
つぎに、入力シート13の識別処理では、例えば図7のフローチャートに示すように、上記CCDビデオカメラ11による入力シート13の撮像出力として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理(S1)を行ってから、上記入力シート13の四隅に設けられている第3のカテゴリーエリアCに記載されている位置補正マークの画像情報に基づいて位置ずれを検出して、その位置ずれ量に応じた座標系の変換処理によって位置補正(S2)を行う。次に、上記入力シート13の第2のカテゴリーエリアBに認識対象パターンとして記載されている回転絵文字の抽出処理(S3)を行い、さらに、回転絵文字コードの決定処理(S4)を行う。
【0042】
上記回転絵文字の抽出処理(S3)では、上記CCDビデオカメラ11による入力シート13の第2のカテゴリーエリアBの撮像出力として得られる画像情報から、図8に示すように、各々の絵文字毎に濃淡値の重心座標と外接する長方形を求める。なお、図8では、各絵文字の重心座標を○とし、また、外接長方形を破線で示している。
【0043】
上記回転絵文字コードの決定処理(S4)では、上記回転絵文字の抽出処理(S3)で求めた重心座標と外接長方形の縦横比をパラメータとした回転絵文字の方向特徴テーブルを参照することにより、四つの絵文字の方向を求める。ここで、上記方向特徴テーブルは、例えば『外接長方形の縦横比が2.5以上で且つ重心の位置が長方形の上半分内にあれば回転絵文字は下方を向いている』のような各方向の特徴を示す条件に基づいて予め形成されている。そして、この回転絵文字コードの決定処理(S4)では、四つの絵文字の方向から求められる回転絵文字コードと、予め定義した図9に示すような回転絵文字コード群とのマッチングを行い、最も距離の短いものを、上記入力シート13の回転絵文字コードとして特定する。ここでの距離とは、回転絵文字コードの各要素の差の総和を表す。そして、回転絵文字コード群との距離が何れも予め定めたしきい値を越えている場合には、認識対象はどのコードとしても認識されることなく、認識不可とする。
このように回転絵文字コードの決定処理(S4)を行うことにより、複数ある入力シート13の内、ユーザが入力シート13を載置したか、すなわち、入力シート13の種類の識別処理をすることができる。
【0044】
また、入力シート13の識別処理では、図7のフローチャートに示すようにこの回転絵文字コードの決定処理(S4)が行われると、上記入力シート13の第5のカテゴリーエリアEに記載されているインデックスが記載された表示領域を決定する領域決定処理(S5)を行い、決定された各表示領域と、この表示領域に記載された各インデックスが示すコンテンツが格納されている場所例えばワークステーション15の格納アドレス等とを関連付ける情報参照テーブルを作成する情報参照テーブル作成処理(S6)を行う。次に、このカテゴリーエリアEの画像情報をマトリクス分割して、各マトリクスの1コマ領域の画像の濃淡値の平均値等を求める平均値の演算処理(S7)を行う。さらに、新たな入力シート13が載置されたかどうか、或いは、載置された入力シート13が移動したかを判断(S8)する。新たな入力シート13が載置等された場合は、前処理(S1)からの処理を繰り返す。また、新たな入力シート13が載置等されない場合は入力/選択指示を促すGUI等を表示(S9)して、新たな入力シート13が載置等されるまで待機し、新たな入力シート13が載置等されると前処理(S1)からの処理を繰り返す。
【0045】
上記領域決定処理(S5)では、上記CCDビデオカメラ11による入力シート13の第5のカテゴリーエリアEの撮像出力として得られる画像情報から、この入力シート13の濃淡値の違いを検出し、各表示領域を認識する。例えば、入力シート13が上述した図5に示す野球の試合をなどを告示した印刷物であれば、該当する野球の試合のインフォメーションを示すインデックスが記載された表示領域E1と、チケット情報を示すインデックスが記載された表示領域E2と、選手等に関する情報を示すインデックスが記載された表示領域E3と、この試合のクイズ等に関する情報を示すインデックスが記載された表示領域E4と、メッセージボード等の情報を示すインデックスが記載された表示領域E5とを認識する。すなわち、この領域決定処理(S5)では、第5のカテゴリーエリアEの全体の画像情報から、濃淡値が異なる表示領域には異なるインデックスが記載されていると判断し、各インデックスが示されている表示領域の位置情報を認識する。
【0046】
なお、入力シート13のカテゴリーエリアEに記載されている各インデックスに対応する各表示領域の相対的な記載位置は、予めコントロールボックス14内の記憶部4、或いは、ワークステーション15に登録してある。上述した絵文字コードの決定処理(S4)において載置された入力シート13の識別がされるが、その際に、載置された入力シート13の表示領域の相対的な位置情報を取得し、記憶部4に格納しておく。従って、その位置情報と、第5のカテゴリーエリアEの撮像出力として得られる画像情報から得た濃淡値の違いの結果に基づき、各表示領域の位置情報をマッチングさせ認識することができる。
【0047】
上記情報参照テーブル作成処理(S6)では、上記領域決定処理(S5)で認識した各表示領域の位置情報と、インデックスが記載された表示領域とインデックスが示すコンテンツを関連付ける処理を行う。すなわち、上記表示領域と、各インデックスが示すコンテンツが格納されている場所例えばワークステーション15の格納アドレス等とを関連付ける情報参照テーブルを作成する。例えば、図10に示すように、第5のカテゴリーエリアEの認識画像を20×10のマトリクス状に分割した情報参照テーブルを作成する。この情報参照テーブルに対して、表示領域E1に対応する位置の要素に1を入れ、表示領域E2に対応する位置の要素に2を入れ、表示領域E3に対応する位置の要素に3を入れ、表示領域E4に対応する位置の要素に4を入れ、表示領域E5に対応する位置の要素に5を入れ、どの表示領域にも対応しない位置の要素に0を入れる。この情報参照テーブルの各要素に入れられた数値は、各インデックスが示すコンテンツが格納される例えばワークステーション15上のアドレスに対応する。
【0048】
なお、各インデックスが示すコンテンツの格納場所は、予めコントロールボックス14内の記憶部、或いは、ワークステーション15に登録してある。上述した絵文字コードの決定処理(S4)において載置された入力シート13の識別をするが、その際に、載置された入力シート13のインデックスが示すコンテンツの格納場所を取得し、記憶部4に格納しておく。
【0049】
上記濃淡値の平均値演算処理(S7)では、上記CCDビデオカメラ11による入力シート13の第5のカテゴリーエリアEの画像情報をマトリクス状に分割して、各マトリクスの1コマ領域の画像の濃淡から、この1コマ領域の画像の濃淡値の平均値を求める。例えば、図11に示すように、20×10のマトリクス状に区切った1コマ領域毎に濃淡値の平均値Gpを求める。また、この第5のカテゴリーエリアEの画像全体の濃淡値の平均値Gaも求める。なお、この1コマ領域の平均値Gp及び全体の平均値Gaは、後述する情報提供処理において、しきい値調整係数Gp/Gaとして用いる。
【0050】
また、この濃淡値の平均値演算処理(S7)で用いるマトリクスは、上述した情報参照テーブル作成処理(S6)と対応する必要はないが、後に説明する特徴抽出テーブルと情報参照テーブルを照合するため、この照合が可能な関係となっている。
【0051】
以上のように、入力シート13の識別処理では、載置された入力シート13の種類を確定して、この入力シート13に記載されているインデックスとそのコンテンツとの関連付けを行う情報参照テーブルを作成することができる。また、この識別処理では、後の情報提供処理で用いられるしきい値調整係数も求めることがきる。
【0052】
つぎに、上記入力シート13の情報提供処理について説明する。上述した入力シート13の識別処理が終了すると、ユーザは、この入力シート13の第5のカテゴリーエリアEに対して、入力/選択指示を行う。具体的には、図12に示すように、この第5のカテゴリーエリアEのインデックスが記載されるいずれかの表示領域を指で選択する。このようにユーザにより入力シート13への入力/選択指示がされると、図13のフローチャート示す情報提供処理がされる。なお、本例では、指でインデックスを選択する場合について説明するが、本発明は指に限られるものではない。
【0053】
この情報提供処理では、まず、CCDビデオカメラ11による入力シート13の第5のカテゴリーエリアEに対する入力/選択指示を行う人間の指等の指示体を取り込む入力画像の取り込み処理(S11)を行い、この取り込んだ指等の指示体の形状を入力シート13の元画像との差分画像を得るためのしきい値を決定するしきい値決定処理(S12)を行う。次に、このしきい値から得た差分画像から特徴抽出テーブルを作成する特徴抽出テーブル作成処理(S13)を行い、指などの指示体の注目点となる先端領域を確定する先端領域確定処理(S14)を行う。さらに、確定した先端領域に基づいて先に求めた情報参照テーブルとの照合処理(S15)を行い、照合した場所に該当するコンテンツがあるかどうかを判断(S16)する。該当するコンテンツがあればそのコンテンツを出力(S17)し、入力画像の取り込み処理(S11)からの処理を繰り返す。また、該当するコンテンツがなければそのまま、入力画像の取り込み処理(S11)からの処理を繰り返す。
【0054】
上記入力画像の取り込み処理(S11)では、CCDビデオカメラ11が一定の間隔で入力シート13の画像の取り込み続けており、この入力画像の取り込みが行われると次の処理を行う。
【0055】
上記しきい値決定処理(S12)では、入力シート13上に進入してきた指等の指示体の画像を抽出する為のしきい値を決定する。このしきい値を決定することによって、入力シート13と指等の指示体の差分画像から、正確な指等の指示体の形状を抽出することができる。また、入力画像の取り込みを一定期間毎に行い、この形状の抽出することによって、その物体の動きも検出することができる。
【0056】
このしきい値決定処理(S12)では、具体的には、以下に説明するようにしきい値を決定する。
【0057】
最初に、取り込んだ入力画像と入力シート13の元画像との差分画像を求め、この差分画像をあるしきい値で2値化する。この元画像は、先の入力シート13の識別処理で取り込んでいる第5のカテゴリーエリアEの画像である。ここで、2値化したときの差分画像が占める面積と、予め登録してある指等の指示体の面積とを比較する。このとき、この比較した誤差の値が最小となるように、しきい値を上下する。そして、比較した誤差の値が最小となるときのしきい値を2値化しきい値Tbとする。なお、しきい値を上下しても、正確な2値化しきい値Tbを求めることができい場合は、或いは、その2値化しきい値Tbの絶対値が非常に小さい場合は、指等の指示体が進入していないものとして、入力画像の取り込み処理(S11)を行う。
【0058】
続いて、この2値化しきい値Tbに対し、先の入力シート13の識別処理における濃淡値の平均値演算処理(S7)で求めた20×10のマトリクス状に区切った1コマ領域毎のしきい値調整係数Gp/Gaを乗算する。ここで、この2値化しきい値Tbにしきい値調整係数Gp/Gaを掛け合わせて得られる値を分割領域しきい値とする。すなわち、この分割領域しきい値は、以下の式で表される。
【0059】
分割領域しきい値=Tb×Gp/Ga
なお、この分割領域しきい値は、図11に示した20×10のマトリクス状に区切った1コマ領域毎に求める。
【0060】
このようにしきい値の決定処理(S12)を行うことによって、進入した指等の指示物体の形状の抽出するためのしきい値を、マトリクスの各コマ毎に求めることができる。
【0061】
上記特徴抽出テーブル作成処理(S13)では、図11に示した20×10のマトリクス状に区切ったコマ領域毎に、差分画像が上記分割領域しきい値より大きければ1、この分割領域しきい値以下のもの0と定義して、図14に示すような特徴抽出テーブルを作成する。このように、分割領域しきい値により差分画像の2値化を行うことにより、入力シート13上に進入してきた指等の指示物体の形状を、パターンマッチング等の複雑な処理を行うことなく抽出することができる。
【0062】
そして、この特徴抽出テーブルから図14中の領域Aに示すように、指等のパターンを抽出して、抽出した指等のパターンに外接する長方形と領域内の画素分布を求める。
【0063】
上記先端領域の確定処理(S14)では、まず、この外接する長方形の配置によって、指等の進入方向を定める。例えば、進入方向として、入力シート13に対して、上、下、左、右、左上、左下、右上、右下の8通りの進入パターンを求める。そして、次の表1及び図15に示すようなような進入方向に応じた長方形内の画像データの走査を行い、指の端点位置を検出する。この場合は、進入方向に応じて方向を変えてデータの走査をし、データの走査の結果、データが存在しなくなる点の手前の位置が指の先端領域と確定する。例えば、指が上から進入した場合、まず、手首方向の短辺左側から横方向にデータを走査し、続いて指先側に順次走査する。そして、データが存在しなくなる手前の位置を先端領域として確定する。
【0064】
【表1】
【0065】
なお、入力シート13に対して指により入力/選択指示を行わず、他の物体により入力/選択指示を行う場合には、抽出した画像に応じてその物体の所定の注目点を検出する。この物体の注目点を検出する為には、その物体に応じたデータの走査を行う必要がある。このように物体の所定の注目点を検出することにより、入力/選択指示がされた位置を認識することができる。
【0066】
上記情報参照テーブルとの照合処理(S15)では、上記先端領域の確定処理(S14)で確定した指等の先端領域の入力シート13上の位置と、この位置に対応する入力シート13の表示領域を照合する。例えば、図16に示すように、先端領域として特徴抽出テーブル上のX1の部分が確定されていれば、このX1に対応する情報参照テーブルのコマの位置の情報を参照する。この場合は、図16に示す情報参照テーブルのX2の位置の要素が参照され、表示領域E3がユーザにより入力/選択指示されたことがわかる。
【0067】
上記照合した場所に該当するコンテンツがあるかどうかの判断(S16)では、上記情報参照テーブル上の入力/選択指示された位置に対応する要素が入れられているかどうかを判断する。例えば、入力シート13が図5に示した野球などを告示した印刷物であれば、各要素に1〜5まで入れられている表示領域E1〜E5までの領域を、ユーザが入力/選択指示をしたかどうかを判断する。入力/選択指示がされた位置に対応する表示領域が無い場合、例えば、情報参照テーブルの要素が0の部分を入力/選択指示した場合は、入力画像の取り込み処理(S11)からの処理を繰り返す。入力/選択指示された位置に対応する表示領域がある場合は、続くコンテンツの表示処理(S17)を行う。
【0068】
コンテンツの表示処理(S17)では、入力/選択指示がされた情報参照テーブルに示されるワークステーション15上のアドレスを認識し、このアドレスに格納されるコンテンツの配信要求をする。そして、このコンテンツが配信されると、このコンテンツの内容を表示する。
【0069】
以上のように、このような構成のマルチメディアシステムでは、ユーザがハードウエアを直接意識する必要なく、容易に入力/選択指示を行うことができる。さらに、被接触で、指等を撮像して入力/選択指示をした位置を確定するので、コストの面で汎用性が高い。また、画像抽出をするためにパターンマッチング等の複雑な処理を必要とせず、高速な画像抽出ができる。また、入力シート13や指等を撮像する際にシールドや特別な証明等がなくても画像抽出をすることができる。そのため、屋外等でも利用可能なマルチメディアシステムを構成することができる。
【0070】
さらに、このような構成のマルチメディアシステムでは、入力シート13に記載されるインデックスやこのインデックスが記載されている表示領域の形式に依存せずコンテンツの提供をすることができ、また、入力シート13の印刷による濃淡や色彩の誤差等に依存にコンテンツの提供をすることができる。従って、例えば情報提供者が入力シート13を自由なフォーマットでレイアウトをすることがき、幅広い分野における情報サービスに活用することができる。
【0071】
また、このような構成のマルチメディアシステムでは、入力シート13を簡易に配布することができる。また、情報内容及び/又は指示内容に応じた制御動作を変えることにより、簡単に提供する情報の更新をすることができる。さらに、ユーザの個人認証やセキュリティーにも柔軟に対応することができる。
【0072】
【発明の効果】
本発明に係る画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体では、撮像した背景画像を所定領域毎に領域分割し、背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めるので、パターンマッチング等の複雑な処理を必要とせず、高速な画像抽出ができる。また、本発明では、物体を撮像する際にシールドや特別な証明等がなくても画像抽出をすることができる。
【0073】
本発明に係る情報入出力/選択方法及び装置並びに情報入出力/選択処理プログラムが記録された記録媒体では、撮像した背景画像を所定領域毎に領域分割し、各領域の濃淡値を求めて背景画像上に進入した物体とのしきい値を求め、この物体の形状を抽出し、背景画像に示される表示領域を確定するので、ユーザがハードウエアを直接意識する必要なく、容易に情報入出力/選択操作を行うことができる。さらに、被接触により物体を撮像して表示領域を確定するので、コストの面で汎用性が高い。
【0074】
また、本発明に係る情報入出力/選択方法及び装置並びに情報入出力/選択処理プログラムが記録された記録媒体では、画像抽出をするためにパターンマッチング等の複雑な処理を必要とせず、高速な画像抽出ができる。また、本発明では、物体を撮像する際にシールドや特別な証明等がなくても画像抽出をすることができる。
【0075】
また、本発明に係る情報入出力/選択方法及び装置並びに情報入出力/選択処理プログラムが記録された記録媒体では、背景画像に記載される指示情報の形式に依存せず、また、印刷による濃淡や色彩の誤差等に依存しない画像認識をすることができる。また、本発明では、背景画像を紙状の媒体として簡易に配布することができ、情報内容及び/又は指示内容に応じた制御動作を変えることにより、簡単に提供する情報の更新をすることができる。
【図面の簡単な説明】
【図1】本発明に係る情報入出力/選択装置の構成を示すブロック図である。
【図2】上記情報入出力/選択装置を適用したマルチメディアシステムの構成を示すブロック図である。
【図3】上記情報入出力/選択装置における入力シートの構成を示す平面図である。
【図4】上記入力シートに記載された回転絵文字コードの一例を示す図である。
【図5】上記入力シートに記載されたインデックス等の一例を示す図である。
【図6】上記情報入出力/選択装置の出力部による出力例を示す図である。
【図7】上記情報入出力/選択装置の画像認識部における識別処理の手順を示すフローチャートである。
【図8】上記識別処理における回転絵文字の抽出処理で抽出する各絵文字の重心と外接長方形を示す図である。
【図9】上記識別処理における回転絵文字コードの決定処理で用いられる予め定義した回転絵文字コード群の一部を示す図である。
【図10】上記識別処理における情報参照テーブルの作成処理で作成される情報参照テーブルを説明する図である。
【図11】上記識別処理における情報参照テーブルの作成処理で演算される濃淡値の平均値を説明する図である。
【図12】上記入力シートに記載されたインデックスをユーザが入力/選択指示をした場合について説明する図である。
【図13】上記情報入出力/選択装置の画像認識部における情報提供処理の手順を示すフローチャートである。
【図14】上情報提供別処理における特徴抽出テーブルの作成処理で作成される特徴抽出テーブルを説明する図である。
【図15】上記情報入出力/選択装置の画像認識部による入力/選択指示の抽出処理で抽出されるユーザの指を示す図である。
【図16】上情報提供別処理における情報参照テーブルとの認証処理を説明するための図である。
【符号の説明】
1 撮像部、2 画像認識部、3 制御部、4 記憶部、5 出力部、6 情報配信部、7 外部デバイス、10 ビューワ、11 CCDカメラ、12 メディアベース、13 入力シート、14 コントロールボックス、15 ワークステーション、16 AV機器、17 カメラ、18 電話機
Claims (6)
- 背景画像を撮像し、上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、上記背景画像上に進入した物体を撮像し、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、この物体の形状を抽出する画像抽出方法であって、
上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求めるにあたり、上記背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像を2値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めることを特徴とする画像抽出方法。 - 背景画像と、この背景画像上に進入する物体とを撮像する撮像手段と、
背景画像を所定領域毎に領域分割して各領域の濃淡値を求め、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較し、この物体の形状を抽出する画像抽出手段とを備え、
上記画像抽出手段は、上記背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像を2値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めることを特徴とする画像抽出装置。 - 画像抽出装置に搭載されたコンピュータにより実行される画像抽出プログラムが記録された記録媒体であって、
背景画像を撮像する処理と、
上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求める処理と、
上記背景画像上に進入した物体を撮像する処理と、
上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理と、
上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、この物体の形状を抽出する処理とを行い、
上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理では、上記背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像を2値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めることを特徴とする画像抽出プログラムが記録された記録媒体。 - 所定の情報内容及び/又は指示内容を示す指示情報が記載された表示領域が1又は複数設けられた背景画像と、上記背景画像上に進入する物体を撮像し、上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び/又は指示内容を関連付ける情報参照テーブルを生成し、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を2値で抽出したマトリクス状の特徴抽出テーブルを生成し、上記特徴抽出テーブルと上記情報参照 テーブルとを参照して、この物体により選択された表示領域を確定し、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び/又は指示内容に応じた制御動作を行う情報入出力/選択方法であって、
上記背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求めるにあたり、上記背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めることを特徴とする情報入出力/選択方法。 - 所定の情報内容及び/又は指示内容を示す指示情報が記載された表示領域が1又は複数設けられた背景画像と、上記背景画像上に進入する物体を撮像する撮像手段と、
上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び/又は指示内容を関連付ける情報参照テーブルを生成し、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を2値で抽出したマトリクス状の特徴抽出テーブルを生成し、上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定する画像抽出手段と、
確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び/又は指示内容に応じた制御動作を行う制御手段とを備え、
上記画像抽出手段は、上記背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めることを特徴とする情報入出力/選択装置。 - 情報入出力/選択装置に搭載されたコンピュータにより実行される情報入出力/選択処理プログラムが記録された記録媒体であって、
所定の情報内容及び/又は指示内容を示す指示情報が記載された表示領域が1又は複数設けられた背景画像を撮像する処理と、
上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び/又は指示内容を関連付ける情報参照テーブルを生成する処理と、
撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求める処理と、
上記背景画像上に進入した物体を撮像する処理と、上記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理と、
上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を2値で抽出したマトリクス状の特徴抽出テーブルを生成する処理と、
上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定する処理と、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び/又は指示内容に応じた制御処理とを行い、
上記背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理では、上記背景画像の各領域の濃淡値Gp、及び、上記背景画像の全領域の濃淡値の平均Gaを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Tbを求め、背景画像とこの背景画像上に進入した物体とのしきい値をTb×Gp/Gaにより求めることを特徴とする情報入出力/選択処理プログラムが記録された記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20698797A JP3903540B2 (ja) | 1997-07-31 | 1997-07-31 | 画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力/選択方法及び装置並びに情報入出力/選択処理プログラムが記録された記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20698797A JP3903540B2 (ja) | 1997-07-31 | 1997-07-31 | 画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力/選択方法及び装置並びに情報入出力/選択処理プログラムが記録された記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1153560A JPH1153560A (ja) | 1999-02-26 |
JP3903540B2 true JP3903540B2 (ja) | 2007-04-11 |
Family
ID=16532313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20698797A Expired - Fee Related JP3903540B2 (ja) | 1997-07-31 | 1997-07-31 | 画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力/選択方法及び装置並びに情報入出力/選択処理プログラムが記録された記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3903540B2 (ja) |
-
1997
- 1997-07-31 JP JP20698797A patent/JP3903540B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1153560A (ja) | 1999-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4304729B2 (ja) | 情報入力方法及び情報入力装置 | |
JPS6042990B2 (ja) | パタ−ン認識方法 | |
US20150371103A1 (en) | System and method for identification of printed matter in an image | |
KR100698976B1 (ko) | 정보입력 방법 및 정보 입력장치 | |
KR101535435B1 (ko) | 전자 악보 제공 시스템, 그 장치 및 그 방법 | |
JP3903540B2 (ja) | 画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力/選択方法及び装置並びに情報入出力/選択処理プログラムが記録された記録媒体 | |
JP3879208B2 (ja) | 情報入力方法、情報入力媒体及び情報入力装置 | |
JP2003099196A (ja) | 会議等支援用画像投影装置 | |
JP3487494B2 (ja) | メニュー選択方法及び装置 | |
US6483943B1 (en) | Feature value extraction methods and apparatus for image recognition and storage medium for storing image analysis program | |
JP2000187705A (ja) | 文書読取装置および方法および記憶媒体 | |
JP4881722B2 (ja) | 帳票識別装置、及び帳票識別プログラム | |
JP2616447B2 (ja) | 地図データ入力方式 | |
EP0701226B1 (en) | Method for segmenting handwritten lines of text in a scanned image | |
JP2937607B2 (ja) | レイアウト作成装置 | |
JPS6165378A (ja) | 文字図形認識方法及び装置 | |
JP2021022285A (ja) | 媒体判別装置、媒体判別システム及び媒体判別方法 | |
KR19980042731A (ko) | 정보 입력 방법 및 장치 | |
JPH0433082A (ja) | 文書認識装置 | |
JPH05128309A (ja) | 文字認識におけるエツジ検出方法 | |
Usuda et al. | Viewing Tablet: A Pointing System Applicable to any Sheet Object | |
JPS6330666B2 (ja) | ||
KR20080100371A (ko) | 화상 정보 처리 장치, 판정 방법 및 기록 매체 | |
JPS6031682A (ja) | 印刷文書画像の領域抽出方法および装置 | |
JPH11126254A (ja) | 画像処理装置及びプログラム記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040428 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070101 |
|
LAPS | Cancellation because of no payment of annual fees |