JP3903540B2 - 画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体 - Google Patents
画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体 Download PDFInfo
- Publication number
- JP3903540B2 JP3903540B2 JP20698797A JP20698797A JP3903540B2 JP 3903540 B2 JP3903540 B2 JP 3903540B2 JP 20698797 A JP20698797 A JP 20698797A JP 20698797 A JP20698797 A JP 20698797A JP 3903540 B2 JP3903540 B2 JP 3903540B2
- Authority
- JP
- Japan
- Prior art keywords
- background image
- area
- image
- threshold value
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラを用いて撮像した人間や物体の画像を抽出する画像抽出方法、装置及びプログラム記録媒体に関する。また、本発明は、カメラを用いて撮像した人間や物体の指示情報を画像認識する情報入出力／選択方法、装置及びプログラム記録媒体に関する。
【０００２】
【従来の技術】
従来、既存のＡＶ（オーディオ・ビジュアル）機器、情報機器や通信機器の各機能を組み合わせることにより、マルチメディア情報の入出力を可能にした装置として、通信機能付き携帯型情報端末や通信機能付きカメラ一体型ＶＴＲ、さらには通信機能と共にＡＶ機能を搭載したパーソナルコンピュータなどの各種マルチメディア機器が提供されている。そして、インターネット，イサーネットやトークンリング、ＡＴＭによるネットワークなどの有線通信網あるいは赤外線通信やＰＨＳ通信、衛星通信などの無線通信網を介して、各種マルチメディア機器を接続するようにしたマルチメディアシステムの構築が進められている。
【０００３】
従来のマルチメディア機器においては、パーソナルコンピュータの入力装置として用いられたキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどがそのまま入力装置として使用されていた。
【０００４】
【発明が解決しようとする課題】
ところで、従来のマルチメディア機器の入力装置として用いられているキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどの操作方法は、人間の感覚に適合した操作方法であるとはいえず、コンピュータなどの操作に慣れていないユーザにとっては直感的に操作方法をイメージすることが困難であり、熟練するのに専門的な知識と訓練が必要であった。
【０００５】
また、従来のマルチメディア機器の入力装置として、人間の身振りや物体の動き等の動作を撮像して画像処理を行い、この画像処理の結果を情報として取り込む装置がある。しかしながら、人間の身振り等により情報の入力を行うには、この人間等の物体の認識をする必要があり、そのために、例えばクラスタリング、パターンマッチング、色情報変換等の複雑な処理が必要であった。従って、既存のシステムではコストと処理速度の面で問題があった。
【０００６】
そこで、本発明の目的は、複雑な画像処理を行わず人間や物体の画像を抽出する画像抽出方法、装置及びプログラム記録媒体を提供することにある。
【０００７】
本発明の目的は、画像処理を用いてユーザがハードウエアを直接意識する必要なく、容易に操作を行うことができる情報入出力／選択方法、装置及びプログラム記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、背景画像を撮像し、上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、上記背景画像上に進入した物体を撮像し、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、この物体の形状を抽出する画像抽出方法であって、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求めるにあたり、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像を２値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする。
【０００９】
この画像抽出方法では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求める。
【００１０】
本発明に係る画像抽出装置は、背景画像と、この背景画像上に進入する物体とを撮像する撮像手段と、背景画像を所定領域毎に領域分割して各領域の濃淡値を求め、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較し、この物体の形状を抽出する画像抽出手段とを備え、上記画像抽出手段は、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像を２値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする。
【００１１】
この画像抽出装置では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求める。
【００１２】
本発明は、画像抽出装置に搭載されたコンピュータにより実行される画像抽出プログラムが記録された記録媒体であって、背景画像を撮像する処理と、上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求める処理と、上記背景画像上に進入した物体を撮像する処理と、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理と、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、この物体の形状を抽出する処理とを行い、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理では、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像を２値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする。
【００１３】
この画像抽出プログラムが記録された記録媒体では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求める。
【００１４】
本発明は、所定の情報内容及び／又は指示内容を示す指示情報が記載された表示領域が１又は複数設けられた背景画像を撮像し、上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び／又は指示内容を関連付ける情報参照テーブルを生成し、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、上記背景画像上に進入した物体を撮像し、上記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を２値で抽出したマトリクス状の特徴抽出テーブルを生成し、上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定し、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び／又は指示内容に応じた制御動作を行う情報入出力／選択方法であって、上記背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求めるにあたり、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする。
【００１５】
この情報入出力／選択方法では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求め、抽出したこの物体が示す指示位置から背景画像の指示情報を確定し、この指示情報に応じた制御を行う。
【００１６】
本発明に係る情報入出力／選択装置は、所定の情報内容及び／又は指示内容を示す指示情報が記載された表示領域が１又は複数設けられた背景画像と、上記背景画像上に進入する物体を撮像する撮像手段と、上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び／又は指示内容を関連付ける情報参照テーブルを生成し、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を２値で抽出したマトリクス状の特徴抽出テーブルを生成し、上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定する画像抽出手段と、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び／又は指示内容に応じた制御動作を行う制御手段とを備え、上記画像抽出手段は、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする。
【００１７】
この情報入出力／選択装置では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求め、抽出したこの物体が示す指示位置から背景画像の指示情報を確定し、この指示情報に応じた制御を行う。
【００１８】
本発明は、情報入出力／選択装置に搭載されたコンピュータにより実行される情報入出力／選択処理プログラムが記録された記録媒体であって、所定の情報内容及び／又は指示内容を示す指示情報が記載された表示領域が１又は複数設けられた背景画像を撮像する処理と、上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び／又は指示内容を関連付ける情報参照テーブルを生成する処理と、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求める処理と、上記背景画像上に進入した物体を撮像する処理と、上記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理と、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を２値で抽出したマトリクス状の特徴抽出テーブルを生成する処理と、上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定する処理と、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び／又は指示内容に応じた制御処理とを行い、上記背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理では、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする。
【００１９】
この情報入出力／選択処理プログラムが記録された記録媒体では、記録されたプログラムが、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求め、抽出したこの物体が示す指示位置から背景画像の指示情報を確定し、この指示情報に応じた制御を行う。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２１】
本発明に係る情報入出力／選択装置は、例えば図１に示すように構成される。この情報入出力／選択装置は、撮像部１、画像認識部２、制御部３、記憶部４、出力部５、情報配信部６及び外部デバイス７を備えてなり、例えば図２に示すような構成のマルチメディアシステムに適用される。
【００２２】
このような情報入出力／選択装置は、紙などの静的な物体である情報選択媒体をインターフェースとし、この静的な情報選択媒体に記載された指示情報が示された領域をユーザが指やその他の指示体により動的に入力／選択指示し、その入力／選択指示した指示情報に対応するコンテンツを出力したり、また、その指示情報に対応する制御をしたりするものである。
【００２３】
上記撮像部１は、静的な物体である情報選択媒体の表面上に記載されている認証対象パターン，位置補正マーク，提供するコンテンツのインデックス等、及び、ユーザの指やその他の指示体により指示入力されたときの動的な指示入力画像を撮像する手段であって、図２に示したマルチメディアシステムにおけるビューワ１０に設置されたＣＣＤビデオカメラ１１からなる。上記ＣＣＤビデオカメラ１１は、上記ビューワ１０が立設されたメディアベース１２に載置される入力シート１３を撮像し、また、この入力シート１３に対して入力／選択指示するユーザの指やその他の指示体を撮像する。
【００２４】
入力シート１３は、あるコンテンツを提供する為の指示情報であるインデックスが記録された紙等の静的な物体からなる情報選択媒体である。例えば、この入力シート１３が野球などを告示した印刷物であれば、表面上には、該当する野球の試合の組み合わせ、チケット情報、選手等に関する情報等の指示情報であるインデックスが記載されている。さらに、この入力シート１３は、パンフレットやカタログのように複数の種類のものが提供される。ユーザは、所望のコンテンツを示すインデックスが記載された入力シート１３を選び出し、この入力シート１３をメディアベース１２に載置する。
【００２５】
この入力シート１３は、例えば図３に示すように、５つのカテゴリーエリアＡ〜Ｅに区分されている。この入力シート１３における第１のカテゴリーエリアＡには認識対象パターンとして認証絵文字が記載され、第２のカテゴリーエリアＢには認識対象パターンとして識別絵文字が記載され、第３のカテゴリーエリアＣには位置補正マークが記載され、第４のカテゴリーエリアＤには認識対象パターンとして指示マークが記載され、さらに、第５のカテゴリーエリアＥには提供するコンテンツのインデックスが記載されている。
【００２６】
この入力シート１３の第１のカテゴリーエリアＡに認識対象パターンとして記載されている認証絵文字は、例えば、この入力シート１３が正式に発効された情報選択媒体であるか等を認証する為のものである。
【００２７】
この入力シート１３の上記第２のカテゴリーエリアＢに認識対象パターンとして記載されている識別絵文字は、方向によってコードが定義された回転モードを有する認証対象パターンによりこの入力シート１３の識別コードを定義するものである。例えば、この識別絵文字は、図４に示すように１つの絵文字が８方向の回転モードを持ち、その方向によって８種類のコードが定義されており、４個の識別絵文字によって、８4 ＝４０９６種類のコードが定義できるようになっている。入力シート１３をこの識別絵文字により定義することにより、複数の入力シート１３の中からいずれの種類の入力シート１３がメディアベース１２上に載置されたかを判断することができる。
【００２８】
この入力シート１３の上記第３のカテゴリーエリアＣに記載されている位置補正マークは、この入力シート１３の載置された位置を、画像処理により補正するためのマークである。この位置補正マークが撮像されることにより、入力シート１３は、撮像された画像の切り出し位置が補正され、上記認識対象パターンやインデックス等の画像処理がされる。。
【００２９】
この入力シート１３の上記第４のカテゴリーエリアＤに認識対象パターンとして記載されている指示マークは、例えば、この情報入力装置の表示出力を制御等するためのマークとなっている。
【００３０】
この入力シート１３の上記第５のカテゴリーエリアＥに記載されているインデックスは、この入力シート１３により提供されるコンテンツの内容をユーザに対して示すものである。この第５のカテゴリーエリアＥには、提供するコンテンツの内容を示すインデックスが１又は複数記載されており、図形や文字により表されている。さらに、この第５のカテゴリーエリアＥは、記載されているインデックスの位置に応じて領域が分割されており、各インデックスに対応してそれぞれ表示領域が形成されている。このインデックスが記載される表示領域は、他のインデックスが記載されている表示領域と濃淡の違いで区切られている。例えば、
この入力シート１３が野球の試合などを告示した印刷物であれば、図５に示すように、該当する野球の試合のインフォメーション（Game Information）を示すインデックスが記載されている表示領域Ｅ１、チケット情報（Ticket Information）を示すインデックスが記載される表示領域Ｅ２、選手等に関する情報（Player Information）を示すインデックスが記載される表示領域Ｅ３、この試合のクイズ等に関する情報（Quiz & Present）を示すインデックスが記載される表示領域Ｅ４、メッセージボード等の情報（Message Board）を示すインデックスが記載される表示領域Ｅ５に分割されている。これらの各表示領域Ｅ１〜Ｅ５は、領域毎に濃淡が変えられ、それぞれの領域が区切られている。
【００３１】
上記画像認識部２は、上記撮像部１により撮像された画像情報を画像認識する画像認識手段であって、図２に示すマルチメディアシステムにおけるコントロールボックス１４内に設けられており、上記ＣＣＤビデオカメラ１１による入力シート１３の撮像出力として得られる画像情報が供給されるようになっている。そして、この画像認識部２では、上記ＣＣＤビデオカメラ１１による入力シート１３の撮像出力として得られる画像情報に基づいて、入力シート１３の認証処理、識別処理、及び、この入力シート１３に対してされるユーザの入力／選択指示に対応するコンテンツの提供処理の為の画像認識処理を行う。
【００３２】
上記制御部３は、図２に示すマルチメディアシステムにおけるコントロールボックス１４内に設けられており、各部間でのデータの送受信を制御する。上記画像認識部２のユーザによる入力／選択指示の結果を情報配信部６に伝えて、この結果に基づく情報をこの情報配信部６から取得する。また、上記画像認識部２からの入力／選択指示の結果に応じて記憶部４に対するのデータの入出力及び外部デバイス７に対する制御を行い、その操作内容と情報の配信結果を出力部５に表示させる。
【００３３】
上記記憶部４は、図２に示すマルチメディアシステムにおけるコントロールボックス１４内に設けられており、上記画像認識部２が入力シート１３の撮像出力として得られる画像情報についての識別や認証結果を記憶し、また、情報配信部６から提供される情報を記憶している。また、この記憶部４は、カタログやパンフレットのようなかたちで提供される複数の入力シート１３に関する情報を、上述した識別絵文字として提供される識別コードに対応させて記憶している。例えば、各入力シート１３のインデックスが記載されている表示領域の位置の情報や、各インデックスが示すコンテンツの格納場所を記憶している。また、この記憶部４は、入力シート１３の認証絵文字の認証パターンや、位置補正マークのパターン、指示マークの指示パターン等を記憶している。なお、この記憶部４は、図２に示すマルチメディアシステムにおけるワークステーション１５内に設けられていても良い。
【００３４】
上記出力部５は、ユーザによる入力／選択指示の結果やそれに応じたコンテンツの表示を行い、ディスプレイ，スピーカやプリンタなどからなる。なお、上記出力部５は、図６に示すように、制御する各種デバイスの映像出力を合成して出力することもでき、また、ユーザによる入力／選択指示による操作内容を出力することもできる。ここでは、図２に示すマルチメディアシステムにおけるビューワ１０が上記出力部５として用いられる。
【００３５】
上記情報配信部６は、上記第５のカテゴリーエリアＥに示される各インデックスに対応するコンテンツを格納する手段であり、図２に示すマルチメディアシステムにおけるワークステーション１５からなる。この情報配信部６は、インターネット，イサーネットやトークンリング，ＡＴＭによるネットワークなどの有線通信網あるいは赤外線通信やＰＨＳ通信，衛星通信などの無線通信網を介して上記制御部３と接続され、この制御部３からのデータの配信要求に応じてコンテンツを提供する。具体的には、図５に示す入力シート１３に記載されたインデックスに対応するコンテンツを提供するのであれば、表示領域Ｅ１に記載されたインデックスに対応するこの試合のインフォメーションの情報の内容、表示領域Ｅ２に記載されたインデックスに対応するチケット情報の内容、表示領域Ｅ３に記載されたインデックスに対応する選手等に関する情報の内容、表示領域Ｅ４に記載されたインデックスに対応するこの試合のクイズ等に関する情報の内容、表示領域Ｅ５に記載されたインデックスに対応するメッセージボード等の情報の内容を格納し、これらを制御部３に配信する。なお、この情報配信部６は、ネットワークを介さず図２に示すマルチメディアシステムにおけるコントロールボックス内の記憶手段として設けられていても良い。
【００３６】
さらに、上記外部デバイス７は、ユーザからの入力／選択指示に応じて制御されるＡＶ機器，通信機器，コンピュータ，ゲーム機，各種産業機器等である。ここでは、図２に示すマルチメディアシステムにおけるビデオテープレコーダ（ＶＴＲ）１６，カメラ１７，電話機１８である。また、この外部デバイス７は、各種インターフェース等を介して有線通信又は無線通信により上記制御部と接続されている。この各種インターフェース等としては、図２に示すマルチメディアシステムにおけるコントロールボックス１４とＶＴＲ１６との間のＶＩＳＣＡコントローラ１９Ａ、コントロールボックス１４と電話機１８との間のモデム１９Ｂ、コントロールボックス１４及びＶＴＲ１６とビューワ１０との間のビデオスキャンコンバータ１９Ｃ等となる。
【００３７】
つぎに、このような構成のマルチメディアシステムの処理内容について説明する。
【００３８】
このような構成のマルチメディアシステムは、ユーザにより入力シート１３がマルチメディアベース１２に載置されると、まず、この入力シート１３の認証処理を行う。この認証処理によってこの入力シート１３が正規なものであることを認証すると、続いて入力シート１３の撮像出力として得られる画像情報と、この入力シート１３により提供するコンテンツとの関連付けを行う識別処理を行う。そして、この関連付けがされた入力シート１３に対して、ユーザが指等により入力／選択指示をすると、入力／選択指示をした指示情報に対応するコンテンツを出力する情報提供処理を行う。
【００３９】
以下、このマルチメディアシステムにおける入力シート１３の認証処理、識別処理、情報提供処理についてそれぞれ説明していく。
【００４０】
まず、入力シート１３の認証処理では、上記ＣＣＤビデオカメラ１１による入力シート１３の撮像出力として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理を行ってから位置補正を行い、上記入力シート１３の上部中央の第１のカテゴリーエリアＡに認識対象パターンとして記載されている認証絵文字の例えば重心座標と輪郭を抽出して、その認証絵文字パターンとのマッチングをとる。この認証絵文字のパターンは、上記コントロールボックス１４内のメモリ等に格納されている。
【００４１】
つぎに、入力シート１３の識別処理では、例えば図７のフローチャートに示すように、上記ＣＣＤビデオカメラ１１による入力シート１３の撮像出力として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理（Ｓ１）を行ってから、上記入力シート１３の四隅に設けられている第３のカテゴリーエリアＣに記載されている位置補正マークの画像情報に基づいて位置ずれを検出して、その位置ずれ量に応じた座標系の変換処理によって位置補正（Ｓ２）を行う。次に、上記入力シート１３の第２のカテゴリーエリアＢに認識対象パターンとして記載されている回転絵文字の抽出処理（Ｓ３）を行い、さらに、回転絵文字コードの決定処理（Ｓ４）を行う。
【００４２】
上記回転絵文字の抽出処理（Ｓ３）では、上記ＣＣＤビデオカメラ１１による入力シート１３の第２のカテゴリーエリアＢの撮像出力として得られる画像情報から、図８に示すように、各々の絵文字毎に濃淡値の重心座標と外接する長方形を求める。なお、図８では、各絵文字の重心座標を○とし、また、外接長方形を破線で示している。
【００４３】
上記回転絵文字コードの決定処理（Ｓ４）では、上記回転絵文字の抽出処理（Ｓ３）で求めた重心座標と外接長方形の縦横比をパラメータとした回転絵文字の方向特徴テーブルを参照することにより、四つの絵文字の方向を求める。ここで、上記方向特徴テーブルは、例えば『外接長方形の縦横比が２．５以上で且つ重心の位置が長方形の上半分内にあれば回転絵文字は下方を向いている』のような各方向の特徴を示す条件に基づいて予め形成されている。そして、この回転絵文字コードの決定処理（Ｓ４）では、四つの絵文字の方向から求められる回転絵文字コードと、予め定義した図９に示すような回転絵文字コード群とのマッチングを行い、最も距離の短いものを、上記入力シート１３の回転絵文字コードとして特定する。ここでの距離とは、回転絵文字コードの各要素の差の総和を表す。そして、回転絵文字コード群との距離が何れも予め定めたしきい値を越えている場合には、認識対象はどのコードとしても認識されることなく、認識不可とする。
このように回転絵文字コードの決定処理（Ｓ４）を行うことにより、複数ある入力シート１３の内、ユーザが入力シート１３を載置したか、すなわち、入力シート１３の種類の識別処理をすることができる。
【００４４】
また、入力シート１３の識別処理では、図７のフローチャートに示すようにこの回転絵文字コードの決定処理（Ｓ４）が行われると、上記入力シート１３の第５のカテゴリーエリアＥに記載されているインデックスが記載された表示領域を決定する領域決定処理（Ｓ５）を行い、決定された各表示領域と、この表示領域に記載された各インデックスが示すコンテンツが格納されている場所例えばワークステーション１５の格納アドレス等とを関連付ける情報参照テーブルを作成する情報参照テーブル作成処理（Ｓ６）を行う。次に、このカテゴリーエリアＥの画像情報をマトリクス分割して、各マトリクスの１コマ領域の画像の濃淡値の平均値等を求める平均値の演算処理（Ｓ７）を行う。さらに、新たな入力シート１３が載置されたかどうか、或いは、載置された入力シート１３が移動したかを判断（Ｓ８）する。新たな入力シート１３が載置等された場合は、前処理（Ｓ１）からの処理を繰り返す。また、新たな入力シート１３が載置等されない場合は入力／選択指示を促すＧＵＩ等を表示（Ｓ９）して、新たな入力シート１３が載置等されるまで待機し、新たな入力シート１３が載置等されると前処理（Ｓ１）からの処理を繰り返す。
【００４５】
上記領域決定処理（Ｓ５）では、上記ＣＣＤビデオカメラ１１による入力シート１３の第５のカテゴリーエリアＥの撮像出力として得られる画像情報から、この入力シート１３の濃淡値の違いを検出し、各表示領域を認識する。例えば、入力シート１３が上述した図５に示す野球の試合をなどを告示した印刷物であれば、該当する野球の試合のインフォメーションを示すインデックスが記載された表示領域Ｅ１と、チケット情報を示すインデックスが記載された表示領域Ｅ２と、選手等に関する情報を示すインデックスが記載された表示領域Ｅ３と、この試合のクイズ等に関する情報を示すインデックスが記載された表示領域Ｅ４と、メッセージボード等の情報を示すインデックスが記載された表示領域Ｅ５とを認識する。すなわち、この領域決定処理（Ｓ５）では、第５のカテゴリーエリアＥの全体の画像情報から、濃淡値が異なる表示領域には異なるインデックスが記載されていると判断し、各インデックスが示されている表示領域の位置情報を認識する。
【００４６】
なお、入力シート１３のカテゴリーエリアＥに記載されている各インデックスに対応する各表示領域の相対的な記載位置は、予めコントロールボックス１４内の記憶部４、或いは、ワークステーション１５に登録してある。上述した絵文字コードの決定処理（Ｓ４）において載置された入力シート１３の識別がされるが、その際に、載置された入力シート１３の表示領域の相対的な位置情報を取得し、記憶部４に格納しておく。従って、その位置情報と、第５のカテゴリーエリアＥの撮像出力として得られる画像情報から得た濃淡値の違いの結果に基づき、各表示領域の位置情報をマッチングさせ認識することができる。
【００４７】
上記情報参照テーブル作成処理（Ｓ６）では、上記領域決定処理（Ｓ５）で認識した各表示領域の位置情報と、インデックスが記載された表示領域とインデックスが示すコンテンツを関連付ける処理を行う。すなわち、上記表示領域と、各インデックスが示すコンテンツが格納されている場所例えばワークステーション１５の格納アドレス等とを関連付ける情報参照テーブルを作成する。例えば、図１０に示すように、第５のカテゴリーエリアＥの認識画像を２０×１０のマトリクス状に分割した情報参照テーブルを作成する。この情報参照テーブルに対して、表示領域Ｅ１に対応する位置の要素に１を入れ、表示領域Ｅ２に対応する位置の要素に２を入れ、表示領域Ｅ３に対応する位置の要素に３を入れ、表示領域Ｅ４に対応する位置の要素に４を入れ、表示領域Ｅ５に対応する位置の要素に５を入れ、どの表示領域にも対応しない位置の要素に０を入れる。この情報参照テーブルの各要素に入れられた数値は、各インデックスが示すコンテンツが格納される例えばワークステーション１５上のアドレスに対応する。
【００４８】
なお、各インデックスが示すコンテンツの格納場所は、予めコントロールボックス１４内の記憶部、或いは、ワークステーション１５に登録してある。上述した絵文字コードの決定処理（Ｓ４）において載置された入力シート１３の識別をするが、その際に、載置された入力シート１３のインデックスが示すコンテンツの格納場所を取得し、記憶部４に格納しておく。
【００４９】
上記濃淡値の平均値演算処理（Ｓ７）では、上記ＣＣＤビデオカメラ１１による入力シート１３の第５のカテゴリーエリアＥの画像情報をマトリクス状に分割して、各マトリクスの１コマ領域の画像の濃淡から、この１コマ領域の画像の濃淡値の平均値を求める。例えば、図１１に示すように、２０×１０のマトリクス状に区切った１コマ領域毎に濃淡値の平均値Ｇｐを求める。また、この第５のカテゴリーエリアＥの画像全体の濃淡値の平均値Ｇａも求める。なお、この１コマ領域の平均値Ｇｐ及び全体の平均値Ｇａは、後述する情報提供処理において、しきい値調整係数Ｇｐ／Ｇａとして用いる。
【００５０】
また、この濃淡値の平均値演算処理（Ｓ７）で用いるマトリクスは、上述した情報参照テーブル作成処理（Ｓ６）と対応する必要はないが、後に説明する特徴抽出テーブルと情報参照テーブルを照合するため、この照合が可能な関係となっている。
【００５１】
以上のように、入力シート１３の識別処理では、載置された入力シート１３の種類を確定して、この入力シート１３に記載されているインデックスとそのコンテンツとの関連付けを行う情報参照テーブルを作成することができる。また、この識別処理では、後の情報提供処理で用いられるしきい値調整係数も求めることがきる。
【００５２】
つぎに、上記入力シート１３の情報提供処理について説明する。上述した入力シート１３の識別処理が終了すると、ユーザは、この入力シート１３の第５のカテゴリーエリアＥに対して、入力／選択指示を行う。具体的には、図１２に示すように、この第５のカテゴリーエリアＥのインデックスが記載されるいずれかの表示領域を指で選択する。このようにユーザにより入力シート１３への入力／選択指示がされると、図１３のフローチャート示す情報提供処理がされる。なお、本例では、指でインデックスを選択する場合について説明するが、本発明は指に限られるものではない。
【００５３】
この情報提供処理では、まず、ＣＣＤビデオカメラ１１による入力シート１３の第５のカテゴリーエリアＥに対する入力／選択指示を行う人間の指等の指示体を取り込む入力画像の取り込み処理（Ｓ１１）を行い、この取り込んだ指等の指示体の形状を入力シート１３の元画像との差分画像を得るためのしきい値を決定するしきい値決定処理（Ｓ１２）を行う。次に、このしきい値から得た差分画像から特徴抽出テーブルを作成する特徴抽出テーブル作成処理（Ｓ１３）を行い、指などの指示体の注目点となる先端領域を確定する先端領域確定処理（Ｓ１４）を行う。さらに、確定した先端領域に基づいて先に求めた情報参照テーブルとの照合処理（Ｓ１５）を行い、照合した場所に該当するコンテンツがあるかどうかを判断（Ｓ１６）する。該当するコンテンツがあればそのコンテンツを出力（Ｓ１７）し、入力画像の取り込み処理（Ｓ１１）からの処理を繰り返す。また、該当するコンテンツがなければそのまま、入力画像の取り込み処理（Ｓ１１）からの処理を繰り返す。
【００５４】
上記入力画像の取り込み処理（Ｓ１１）では、ＣＣＤビデオカメラ１１が一定の間隔で入力シート１３の画像の取り込み続けており、この入力画像の取り込みが行われると次の処理を行う。
【００５５】
上記しきい値決定処理（Ｓ１２）では、入力シート１３上に進入してきた指等の指示体の画像を抽出する為のしきい値を決定する。このしきい値を決定することによって、入力シート１３と指等の指示体の差分画像から、正確な指等の指示体の形状を抽出することができる。また、入力画像の取り込みを一定期間毎に行い、この形状の抽出することによって、その物体の動きも検出することができる。
【００５６】
このしきい値決定処理（Ｓ１２）では、具体的には、以下に説明するようにしきい値を決定する。
【００５７】
最初に、取り込んだ入力画像と入力シート１３の元画像との差分画像を求め、この差分画像をあるしきい値で２値化する。この元画像は、先の入力シート１３の識別処理で取り込んでいる第５のカテゴリーエリアＥの画像である。ここで、２値化したときの差分画像が占める面積と、予め登録してある指等の指示体の面積とを比較する。このとき、この比較した誤差の値が最小となるように、しきい値を上下する。そして、比較した誤差の値が最小となるときのしきい値を２値化しきい値Ｔｂとする。なお、しきい値を上下しても、正確な２値化しきい値Ｔｂを求めることができい場合は、或いは、その２値化しきい値Ｔｂの絶対値が非常に小さい場合は、指等の指示体が進入していないものとして、入力画像の取り込み処理（Ｓ１１）を行う。
【００５８】
続いて、この２値化しきい値Ｔｂに対し、先の入力シート１３の識別処理における濃淡値の平均値演算処理（Ｓ７）で求めた２０×１０のマトリクス状に区切った１コマ領域毎のしきい値調整係数Ｇｐ／Ｇａを乗算する。ここで、この２値化しきい値Ｔｂにしきい値調整係数Ｇｐ／Ｇａを掛け合わせて得られる値を分割領域しきい値とする。すなわち、この分割領域しきい値は、以下の式で表される。
【００５９】
分割領域しきい値＝Ｔｂ×Ｇｐ／Ｇａ
なお、この分割領域しきい値は、図１１に示した２０×１０のマトリクス状に区切った１コマ領域毎に求める。
【００６０】
このようにしきい値の決定処理（Ｓ１２）を行うことによって、進入した指等の指示物体の形状の抽出するためのしきい値を、マトリクスの各コマ毎に求めることができる。
【００６１】
上記特徴抽出テーブル作成処理（Ｓ１３）では、図１１に示した２０×１０のマトリクス状に区切ったコマ領域毎に、差分画像が上記分割領域しきい値より大きければ１、この分割領域しきい値以下のもの０と定義して、図１４に示すような特徴抽出テーブルを作成する。このように、分割領域しきい値により差分画像の２値化を行うことにより、入力シート１３上に進入してきた指等の指示物体の形状を、パターンマッチング等の複雑な処理を行うことなく抽出することができる。
【００６２】
そして、この特徴抽出テーブルから図１４中の領域Ａに示すように、指等のパターンを抽出して、抽出した指等のパターンに外接する長方形と領域内の画素分布を求める。
【００６３】
上記先端領域の確定処理（Ｓ１４）では、まず、この外接する長方形の配置によって、指等の進入方向を定める。例えば、進入方向として、入力シート１３に対して、上、下、左、右、左上、左下、右上、右下の８通りの進入パターンを求める。そして、次の表１及び図１５に示すようなような進入方向に応じた長方形内の画像データの走査を行い、指の端点位置を検出する。この場合は、進入方向に応じて方向を変えてデータの走査をし、データの走査の結果、データが存在しなくなる点の手前の位置が指の先端領域と確定する。例えば、指が上から進入した場合、まず、手首方向の短辺左側から横方向にデータを走査し、続いて指先側に順次走査する。そして、データが存在しなくなる手前の位置を先端領域として確定する。
【００６４】
【表１】
【００６５】
なお、入力シート１３に対して指により入力／選択指示を行わず、他の物体により入力／選択指示を行う場合には、抽出した画像に応じてその物体の所定の注目点を検出する。この物体の注目点を検出する為には、その物体に応じたデータの走査を行う必要がある。このように物体の所定の注目点を検出することにより、入力／選択指示がされた位置を認識することができる。
【００６６】
上記情報参照テーブルとの照合処理（Ｓ１５）では、上記先端領域の確定処理（Ｓ１４）で確定した指等の先端領域の入力シート１３上の位置と、この位置に対応する入力シート１３の表示領域を照合する。例えば、図１６に示すように、先端領域として特徴抽出テーブル上のＸ１の部分が確定されていれば、このＸ１に対応する情報参照テーブルのコマの位置の情報を参照する。この場合は、図１６に示す情報参照テーブルのＸ２の位置の要素が参照され、表示領域Ｅ３がユーザにより入力／選択指示されたことがわかる。
【００６７】
上記照合した場所に該当するコンテンツがあるかどうかの判断（Ｓ１６）では、上記情報参照テーブル上の入力／選択指示された位置に対応する要素が入れられているかどうかを判断する。例えば、入力シート１３が図５に示した野球などを告示した印刷物であれば、各要素に１〜５まで入れられている表示領域Ｅ１〜Ｅ５までの領域を、ユーザが入力／選択指示をしたかどうかを判断する。入力／選択指示がされた位置に対応する表示領域が無い場合、例えば、情報参照テーブルの要素が０の部分を入力／選択指示した場合は、入力画像の取り込み処理（Ｓ１１）からの処理を繰り返す。入力／選択指示された位置に対応する表示領域がある場合は、続くコンテンツの表示処理（Ｓ１７）を行う。
【００６８】
コンテンツの表示処理（Ｓ１７）では、入力／選択指示がされた情報参照テーブルに示されるワークステーション１５上のアドレスを認識し、このアドレスに格納されるコンテンツの配信要求をする。そして、このコンテンツが配信されると、このコンテンツの内容を表示する。
【００６９】
以上のように、このような構成のマルチメディアシステムでは、ユーザがハードウエアを直接意識する必要なく、容易に入力／選択指示を行うことができる。さらに、被接触で、指等を撮像して入力／選択指示をした位置を確定するので、コストの面で汎用性が高い。また、画像抽出をするためにパターンマッチング等の複雑な処理を必要とせず、高速な画像抽出ができる。また、入力シート１３や指等を撮像する際にシールドや特別な証明等がなくても画像抽出をすることができる。そのため、屋外等でも利用可能なマルチメディアシステムを構成することができる。
【００７０】
さらに、このような構成のマルチメディアシステムでは、入力シート１３に記載されるインデックスやこのインデックスが記載されている表示領域の形式に依存せずコンテンツの提供をすることができ、また、入力シート１３の印刷による濃淡や色彩の誤差等に依存にコンテンツの提供をすることができる。従って、例えば情報提供者が入力シート１３を自由なフォーマットでレイアウトをすることがき、幅広い分野における情報サービスに活用することができる。
【００７１】
また、このような構成のマルチメディアシステムでは、入力シート１３を簡易に配布することができる。また、情報内容及び／又は指示内容に応じた制御動作を変えることにより、簡単に提供する情報の更新をすることができる。さらに、ユーザの個人認証やセキュリティーにも柔軟に対応することができる。
【００７２】
【発明の効果】
本発明に係る画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体では、撮像した背景画像を所定領域毎に領域分割し、背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めるので、パターンマッチング等の複雑な処理を必要とせず、高速な画像抽出ができる。また、本発明では、物体を撮像する際にシールドや特別な証明等がなくても画像抽出をすることができる。
【００７３】
本発明に係る情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体では、撮像した背景画像を所定領域毎に領域分割し、各領域の濃淡値を求めて背景画像上に進入した物体とのしきい値を求め、この物体の形状を抽出し、背景画像に示される表示領域を確定するので、ユーザがハードウエアを直接意識する必要なく、容易に情報入出力／選択操作を行うことができる。さらに、被接触により物体を撮像して表示領域を確定するので、コストの面で汎用性が高い。
【００７４】
また、本発明に係る情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体では、画像抽出をするためにパターンマッチング等の複雑な処理を必要とせず、高速な画像抽出ができる。また、本発明では、物体を撮像する際にシールドや特別な証明等がなくても画像抽出をすることができる。
【００７５】
また、本発明に係る情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体では、背景画像に記載される指示情報の形式に依存せず、また、印刷による濃淡や色彩の誤差等に依存しない画像認識をすることができる。また、本発明では、背景画像を紙状の媒体として簡易に配布することができ、情報内容及び／又は指示内容に応じた制御動作を変えることにより、簡単に提供する情報の更新をすることができる。
【図面の簡単な説明】
【図１】本発明に係る情報入出力／選択装置の構成を示すブロック図である。
【図２】上記情報入出力／選択装置を適用したマルチメディアシステムの構成を示すブロック図である。
【図３】上記情報入出力／選択装置における入力シートの構成を示す平面図である。
【図４】上記入力シートに記載された回転絵文字コードの一例を示す図である。
【図５】上記入力シートに記載されたインデックス等の一例を示す図である。
【図６】上記情報入出力／選択装置の出力部による出力例を示す図である。
【図７】上記情報入出力／選択装置の画像認識部における識別処理の手順を示すフローチャートである。
【図８】上記識別処理における回転絵文字の抽出処理で抽出する各絵文字の重心と外接長方形を示す図である。
【図９】上記識別処理における回転絵文字コードの決定処理で用いられる予め定義した回転絵文字コード群の一部を示す図である。
【図１０】上記識別処理における情報参照テーブルの作成処理で作成される情報参照テーブルを説明する図である。
【図１１】上記識別処理における情報参照テーブルの作成処理で演算される濃淡値の平均値を説明する図である。
【図１２】上記入力シートに記載されたインデックスをユーザが入力／選択指示をした場合について説明する図である。
【図１３】上記情報入出力／選択装置の画像認識部における情報提供処理の手順を示すフローチャートである。
【図１４】上情報提供別処理における特徴抽出テーブルの作成処理で作成される特徴抽出テーブルを説明する図である。
【図１５】上記情報入出力／選択装置の画像認識部による入力／選択指示の抽出処理で抽出されるユーザの指を示す図である。
【図１６】上情報提供別処理における情報参照テーブルとの認証処理を説明するための図である。
【符号の説明】
１ 撮像部、２ 画像認識部、３ 制御部、４ 記憶部、５ 出力部、６ 情報配信部、７ 外部デバイス、１０ ビューワ、１１ ＣＣＤカメラ、１２ メディアベース、１３ 入力シート、１４ コントロールボックス、１５ ワークステーション、１６ ＡＶ機器、１７ カメラ、１８ 電話機
【発明の属する技術分野】
本発明は、カメラを用いて撮像した人間や物体の画像を抽出する画像抽出方法、装置及びプログラム記録媒体に関する。また、本発明は、カメラを用いて撮像した人間や物体の指示情報を画像認識する情報入出力／選択方法、装置及びプログラム記録媒体に関する。
【０００２】
【従来の技術】
従来、既存のＡＶ（オーディオ・ビジュアル）機器、情報機器や通信機器の各機能を組み合わせることにより、マルチメディア情報の入出力を可能にした装置として、通信機能付き携帯型情報端末や通信機能付きカメラ一体型ＶＴＲ、さらには通信機能と共にＡＶ機能を搭載したパーソナルコンピュータなどの各種マルチメディア機器が提供されている。そして、インターネット，イサーネットやトークンリング、ＡＴＭによるネットワークなどの有線通信網あるいは赤外線通信やＰＨＳ通信、衛星通信などの無線通信網を介して、各種マルチメディア機器を接続するようにしたマルチメディアシステムの構築が進められている。
【０００３】
従来のマルチメディア機器においては、パーソナルコンピュータの入力装置として用いられたキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどがそのまま入力装置として使用されていた。
【０００４】
【発明が解決しようとする課題】
ところで、従来のマルチメディア機器の入力装置として用いられているキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどの操作方法は、人間の感覚に適合した操作方法であるとはいえず、コンピュータなどの操作に慣れていないユーザにとっては直感的に操作方法をイメージすることが困難であり、熟練するのに専門的な知識と訓練が必要であった。
【０００５】
また、従来のマルチメディア機器の入力装置として、人間の身振りや物体の動き等の動作を撮像して画像処理を行い、この画像処理の結果を情報として取り込む装置がある。しかしながら、人間の身振り等により情報の入力を行うには、この人間等の物体の認識をする必要があり、そのために、例えばクラスタリング、パターンマッチング、色情報変換等の複雑な処理が必要であった。従って、既存のシステムではコストと処理速度の面で問題があった。
【０００６】
そこで、本発明の目的は、複雑な画像処理を行わず人間や物体の画像を抽出する画像抽出方法、装置及びプログラム記録媒体を提供することにある。
【０００７】
本発明の目的は、画像処理を用いてユーザがハードウエアを直接意識する必要なく、容易に操作を行うことができる情報入出力／選択方法、装置及びプログラム記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、背景画像を撮像し、上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、上記背景画像上に進入した物体を撮像し、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、この物体の形状を抽出する画像抽出方法であって、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求めるにあたり、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像を２値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする。
【０００９】
この画像抽出方法では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求める。
【００１０】
本発明に係る画像抽出装置は、背景画像と、この背景画像上に進入する物体とを撮像する撮像手段と、背景画像を所定領域毎に領域分割して各領域の濃淡値を求め、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較し、この物体の形状を抽出する画像抽出手段とを備え、上記画像抽出手段は、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像を２値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする。
【００１１】
この画像抽出装置では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求める。
【００１２】
本発明は、画像抽出装置に搭載されたコンピュータにより実行される画像抽出プログラムが記録された記録媒体であって、背景画像を撮像する処理と、上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求める処理と、上記背景画像上に進入した物体を撮像する処理と、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理と、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、この物体の形状を抽出する処理とを行い、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理では、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像を２値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする。
【００１３】
この画像抽出プログラムが記録された記録媒体では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求める。
【００１４】
本発明は、所定の情報内容及び／又は指示内容を示す指示情報が記載された表示領域が１又は複数設けられた背景画像を撮像し、上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び／又は指示内容を関連付ける情報参照テーブルを生成し、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、上記背景画像上に進入した物体を撮像し、上記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を２値で抽出したマトリクス状の特徴抽出テーブルを生成し、上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定し、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び／又は指示内容に応じた制御動作を行う情報入出力／選択方法であって、上記背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求めるにあたり、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする。
【００１５】
この情報入出力／選択方法では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求め、抽出したこの物体が示す指示位置から背景画像の指示情報を確定し、この指示情報に応じた制御を行う。
【００１６】
本発明に係る情報入出力／選択装置は、所定の情報内容及び／又は指示内容を示す指示情報が記載された表示領域が１又は複数設けられた背景画像と、上記背景画像上に進入する物体を撮像する撮像手段と、上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び／又は指示内容を関連付ける情報参照テーブルを生成し、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を２値で抽出したマトリクス状の特徴抽出テーブルを生成し、上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定する画像抽出手段と、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び／又は指示内容に応じた制御動作を行う制御手段とを備え、上記画像抽出手段は、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする。
【００１７】
この情報入出力／選択装置では、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求め、抽出したこの物体が示す指示位置から背景画像の指示情報を確定し、この指示情報に応じた制御を行う。
【００１８】
本発明は、情報入出力／選択装置に搭載されたコンピュータにより実行される情報入出力／選択処理プログラムが記録された記録媒体であって、所定の情報内容及び／又は指示内容を示す指示情報が記載された表示領域が１又は複数設けられた背景画像を撮像する処理と、上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び／又は指示内容を関連付ける情報参照テーブルを生成する処理と、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求める処理と、上記背景画像上に進入した物体を撮像する処理と、上記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理と、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を２値で抽出したマトリクス状の特徴抽出テーブルを生成する処理と、上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定する処理と、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び／又は指示内容に応じた制御処理とを行い、上記背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理では、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする。
【００１９】
この情報入出力／選択処理プログラムが記録された記録媒体では、記録されたプログラムが、背景画像の各領域の濃淡値を求め、この濃淡値から物体の形状を抽出するしきい値を求め、抽出したこの物体が示す指示位置から背景画像の指示情報を確定し、この指示情報に応じた制御を行う。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２１】
本発明に係る情報入出力／選択装置は、例えば図１に示すように構成される。この情報入出力／選択装置は、撮像部１、画像認識部２、制御部３、記憶部４、出力部５、情報配信部６及び外部デバイス７を備えてなり、例えば図２に示すような構成のマルチメディアシステムに適用される。
【００２２】
このような情報入出力／選択装置は、紙などの静的な物体である情報選択媒体をインターフェースとし、この静的な情報選択媒体に記載された指示情報が示された領域をユーザが指やその他の指示体により動的に入力／選択指示し、その入力／選択指示した指示情報に対応するコンテンツを出力したり、また、その指示情報に対応する制御をしたりするものである。
【００２３】
上記撮像部１は、静的な物体である情報選択媒体の表面上に記載されている認証対象パターン，位置補正マーク，提供するコンテンツのインデックス等、及び、ユーザの指やその他の指示体により指示入力されたときの動的な指示入力画像を撮像する手段であって、図２に示したマルチメディアシステムにおけるビューワ１０に設置されたＣＣＤビデオカメラ１１からなる。上記ＣＣＤビデオカメラ１１は、上記ビューワ１０が立設されたメディアベース１２に載置される入力シート１３を撮像し、また、この入力シート１３に対して入力／選択指示するユーザの指やその他の指示体を撮像する。
【００２４】
入力シート１３は、あるコンテンツを提供する為の指示情報であるインデックスが記録された紙等の静的な物体からなる情報選択媒体である。例えば、この入力シート１３が野球などを告示した印刷物であれば、表面上には、該当する野球の試合の組み合わせ、チケット情報、選手等に関する情報等の指示情報であるインデックスが記載されている。さらに、この入力シート１３は、パンフレットやカタログのように複数の種類のものが提供される。ユーザは、所望のコンテンツを示すインデックスが記載された入力シート１３を選び出し、この入力シート１３をメディアベース１２に載置する。
【００２５】
この入力シート１３は、例えば図３に示すように、５つのカテゴリーエリアＡ〜Ｅに区分されている。この入力シート１３における第１のカテゴリーエリアＡには認識対象パターンとして認証絵文字が記載され、第２のカテゴリーエリアＢには認識対象パターンとして識別絵文字が記載され、第３のカテゴリーエリアＣには位置補正マークが記載され、第４のカテゴリーエリアＤには認識対象パターンとして指示マークが記載され、さらに、第５のカテゴリーエリアＥには提供するコンテンツのインデックスが記載されている。
【００２６】
この入力シート１３の第１のカテゴリーエリアＡに認識対象パターンとして記載されている認証絵文字は、例えば、この入力シート１３が正式に発効された情報選択媒体であるか等を認証する為のものである。
【００２７】
この入力シート１３の上記第２のカテゴリーエリアＢに認識対象パターンとして記載されている識別絵文字は、方向によってコードが定義された回転モードを有する認証対象パターンによりこの入力シート１３の識別コードを定義するものである。例えば、この識別絵文字は、図４に示すように１つの絵文字が８方向の回転モードを持ち、その方向によって８種類のコードが定義されており、４個の識別絵文字によって、８4 ＝４０９６種類のコードが定義できるようになっている。入力シート１３をこの識別絵文字により定義することにより、複数の入力シート１３の中からいずれの種類の入力シート１３がメディアベース１２上に載置されたかを判断することができる。
【００２８】
この入力シート１３の上記第３のカテゴリーエリアＣに記載されている位置補正マークは、この入力シート１３の載置された位置を、画像処理により補正するためのマークである。この位置補正マークが撮像されることにより、入力シート１３は、撮像された画像の切り出し位置が補正され、上記認識対象パターンやインデックス等の画像処理がされる。。
【００２９】
この入力シート１３の上記第４のカテゴリーエリアＤに認識対象パターンとして記載されている指示マークは、例えば、この情報入力装置の表示出力を制御等するためのマークとなっている。
【００３０】
この入力シート１３の上記第５のカテゴリーエリアＥに記載されているインデックスは、この入力シート１３により提供されるコンテンツの内容をユーザに対して示すものである。この第５のカテゴリーエリアＥには、提供するコンテンツの内容を示すインデックスが１又は複数記載されており、図形や文字により表されている。さらに、この第５のカテゴリーエリアＥは、記載されているインデックスの位置に応じて領域が分割されており、各インデックスに対応してそれぞれ表示領域が形成されている。このインデックスが記載される表示領域は、他のインデックスが記載されている表示領域と濃淡の違いで区切られている。例えば、
この入力シート１３が野球の試合などを告示した印刷物であれば、図５に示すように、該当する野球の試合のインフォメーション（Game Information）を示すインデックスが記載されている表示領域Ｅ１、チケット情報（Ticket Information）を示すインデックスが記載される表示領域Ｅ２、選手等に関する情報（Player Information）を示すインデックスが記載される表示領域Ｅ３、この試合のクイズ等に関する情報（Quiz & Present）を示すインデックスが記載される表示領域Ｅ４、メッセージボード等の情報（Message Board）を示すインデックスが記載される表示領域Ｅ５に分割されている。これらの各表示領域Ｅ１〜Ｅ５は、領域毎に濃淡が変えられ、それぞれの領域が区切られている。
【００３１】
上記画像認識部２は、上記撮像部１により撮像された画像情報を画像認識する画像認識手段であって、図２に示すマルチメディアシステムにおけるコントロールボックス１４内に設けられており、上記ＣＣＤビデオカメラ１１による入力シート１３の撮像出力として得られる画像情報が供給されるようになっている。そして、この画像認識部２では、上記ＣＣＤビデオカメラ１１による入力シート１３の撮像出力として得られる画像情報に基づいて、入力シート１３の認証処理、識別処理、及び、この入力シート１３に対してされるユーザの入力／選択指示に対応するコンテンツの提供処理の為の画像認識処理を行う。
【００３２】
上記制御部３は、図２に示すマルチメディアシステムにおけるコントロールボックス１４内に設けられており、各部間でのデータの送受信を制御する。上記画像認識部２のユーザによる入力／選択指示の結果を情報配信部６に伝えて、この結果に基づく情報をこの情報配信部６から取得する。また、上記画像認識部２からの入力／選択指示の結果に応じて記憶部４に対するのデータの入出力及び外部デバイス７に対する制御を行い、その操作内容と情報の配信結果を出力部５に表示させる。
【００３３】
上記記憶部４は、図２に示すマルチメディアシステムにおけるコントロールボックス１４内に設けられており、上記画像認識部２が入力シート１３の撮像出力として得られる画像情報についての識別や認証結果を記憶し、また、情報配信部６から提供される情報を記憶している。また、この記憶部４は、カタログやパンフレットのようなかたちで提供される複数の入力シート１３に関する情報を、上述した識別絵文字として提供される識別コードに対応させて記憶している。例えば、各入力シート１３のインデックスが記載されている表示領域の位置の情報や、各インデックスが示すコンテンツの格納場所を記憶している。また、この記憶部４は、入力シート１３の認証絵文字の認証パターンや、位置補正マークのパターン、指示マークの指示パターン等を記憶している。なお、この記憶部４は、図２に示すマルチメディアシステムにおけるワークステーション１５内に設けられていても良い。
【００３４】
上記出力部５は、ユーザによる入力／選択指示の結果やそれに応じたコンテンツの表示を行い、ディスプレイ，スピーカやプリンタなどからなる。なお、上記出力部５は、図６に示すように、制御する各種デバイスの映像出力を合成して出力することもでき、また、ユーザによる入力／選択指示による操作内容を出力することもできる。ここでは、図２に示すマルチメディアシステムにおけるビューワ１０が上記出力部５として用いられる。
【００３５】
上記情報配信部６は、上記第５のカテゴリーエリアＥに示される各インデックスに対応するコンテンツを格納する手段であり、図２に示すマルチメディアシステムにおけるワークステーション１５からなる。この情報配信部６は、インターネット，イサーネットやトークンリング，ＡＴＭによるネットワークなどの有線通信網あるいは赤外線通信やＰＨＳ通信，衛星通信などの無線通信網を介して上記制御部３と接続され、この制御部３からのデータの配信要求に応じてコンテンツを提供する。具体的には、図５に示す入力シート１３に記載されたインデックスに対応するコンテンツを提供するのであれば、表示領域Ｅ１に記載されたインデックスに対応するこの試合のインフォメーションの情報の内容、表示領域Ｅ２に記載されたインデックスに対応するチケット情報の内容、表示領域Ｅ３に記載されたインデックスに対応する選手等に関する情報の内容、表示領域Ｅ４に記載されたインデックスに対応するこの試合のクイズ等に関する情報の内容、表示領域Ｅ５に記載されたインデックスに対応するメッセージボード等の情報の内容を格納し、これらを制御部３に配信する。なお、この情報配信部６は、ネットワークを介さず図２に示すマルチメディアシステムにおけるコントロールボックス内の記憶手段として設けられていても良い。
【００３６】
さらに、上記外部デバイス７は、ユーザからの入力／選択指示に応じて制御されるＡＶ機器，通信機器，コンピュータ，ゲーム機，各種産業機器等である。ここでは、図２に示すマルチメディアシステムにおけるビデオテープレコーダ（ＶＴＲ）１６，カメラ１７，電話機１８である。また、この外部デバイス７は、各種インターフェース等を介して有線通信又は無線通信により上記制御部と接続されている。この各種インターフェース等としては、図２に示すマルチメディアシステムにおけるコントロールボックス１４とＶＴＲ１６との間のＶＩＳＣＡコントローラ１９Ａ、コントロールボックス１４と電話機１８との間のモデム１９Ｂ、コントロールボックス１４及びＶＴＲ１６とビューワ１０との間のビデオスキャンコンバータ１９Ｃ等となる。
【００３７】
つぎに、このような構成のマルチメディアシステムの処理内容について説明する。
【００３８】
このような構成のマルチメディアシステムは、ユーザにより入力シート１３がマルチメディアベース１２に載置されると、まず、この入力シート１３の認証処理を行う。この認証処理によってこの入力シート１３が正規なものであることを認証すると、続いて入力シート１３の撮像出力として得られる画像情報と、この入力シート１３により提供するコンテンツとの関連付けを行う識別処理を行う。そして、この関連付けがされた入力シート１３に対して、ユーザが指等により入力／選択指示をすると、入力／選択指示をした指示情報に対応するコンテンツを出力する情報提供処理を行う。
【００３９】
以下、このマルチメディアシステムにおける入力シート１３の認証処理、識別処理、情報提供処理についてそれぞれ説明していく。
【００４０】
まず、入力シート１３の認証処理では、上記ＣＣＤビデオカメラ１１による入力シート１３の撮像出力として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理を行ってから位置補正を行い、上記入力シート１３の上部中央の第１のカテゴリーエリアＡに認識対象パターンとして記載されている認証絵文字の例えば重心座標と輪郭を抽出して、その認証絵文字パターンとのマッチングをとる。この認証絵文字のパターンは、上記コントロールボックス１４内のメモリ等に格納されている。
【００４１】
つぎに、入力シート１３の識別処理では、例えば図７のフローチャートに示すように、上記ＣＣＤビデオカメラ１１による入力シート１３の撮像出力として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理（Ｓ１）を行ってから、上記入力シート１３の四隅に設けられている第３のカテゴリーエリアＣに記載されている位置補正マークの画像情報に基づいて位置ずれを検出して、その位置ずれ量に応じた座標系の変換処理によって位置補正（Ｓ２）を行う。次に、上記入力シート１３の第２のカテゴリーエリアＢに認識対象パターンとして記載されている回転絵文字の抽出処理（Ｓ３）を行い、さらに、回転絵文字コードの決定処理（Ｓ４）を行う。
【００４２】
上記回転絵文字の抽出処理（Ｓ３）では、上記ＣＣＤビデオカメラ１１による入力シート１３の第２のカテゴリーエリアＢの撮像出力として得られる画像情報から、図８に示すように、各々の絵文字毎に濃淡値の重心座標と外接する長方形を求める。なお、図８では、各絵文字の重心座標を○とし、また、外接長方形を破線で示している。
【００４３】
上記回転絵文字コードの決定処理（Ｓ４）では、上記回転絵文字の抽出処理（Ｓ３）で求めた重心座標と外接長方形の縦横比をパラメータとした回転絵文字の方向特徴テーブルを参照することにより、四つの絵文字の方向を求める。ここで、上記方向特徴テーブルは、例えば『外接長方形の縦横比が２．５以上で且つ重心の位置が長方形の上半分内にあれば回転絵文字は下方を向いている』のような各方向の特徴を示す条件に基づいて予め形成されている。そして、この回転絵文字コードの決定処理（Ｓ４）では、四つの絵文字の方向から求められる回転絵文字コードと、予め定義した図９に示すような回転絵文字コード群とのマッチングを行い、最も距離の短いものを、上記入力シート１３の回転絵文字コードとして特定する。ここでの距離とは、回転絵文字コードの各要素の差の総和を表す。そして、回転絵文字コード群との距離が何れも予め定めたしきい値を越えている場合には、認識対象はどのコードとしても認識されることなく、認識不可とする。
このように回転絵文字コードの決定処理（Ｓ４）を行うことにより、複数ある入力シート１３の内、ユーザが入力シート１３を載置したか、すなわち、入力シート１３の種類の識別処理をすることができる。
【００４４】
また、入力シート１３の識別処理では、図７のフローチャートに示すようにこの回転絵文字コードの決定処理（Ｓ４）が行われると、上記入力シート１３の第５のカテゴリーエリアＥに記載されているインデックスが記載された表示領域を決定する領域決定処理（Ｓ５）を行い、決定された各表示領域と、この表示領域に記載された各インデックスが示すコンテンツが格納されている場所例えばワークステーション１５の格納アドレス等とを関連付ける情報参照テーブルを作成する情報参照テーブル作成処理（Ｓ６）を行う。次に、このカテゴリーエリアＥの画像情報をマトリクス分割して、各マトリクスの１コマ領域の画像の濃淡値の平均値等を求める平均値の演算処理（Ｓ７）を行う。さらに、新たな入力シート１３が載置されたかどうか、或いは、載置された入力シート１３が移動したかを判断（Ｓ８）する。新たな入力シート１３が載置等された場合は、前処理（Ｓ１）からの処理を繰り返す。また、新たな入力シート１３が載置等されない場合は入力／選択指示を促すＧＵＩ等を表示（Ｓ９）して、新たな入力シート１３が載置等されるまで待機し、新たな入力シート１３が載置等されると前処理（Ｓ１）からの処理を繰り返す。
【００４５】
上記領域決定処理（Ｓ５）では、上記ＣＣＤビデオカメラ１１による入力シート１３の第５のカテゴリーエリアＥの撮像出力として得られる画像情報から、この入力シート１３の濃淡値の違いを検出し、各表示領域を認識する。例えば、入力シート１３が上述した図５に示す野球の試合をなどを告示した印刷物であれば、該当する野球の試合のインフォメーションを示すインデックスが記載された表示領域Ｅ１と、チケット情報を示すインデックスが記載された表示領域Ｅ２と、選手等に関する情報を示すインデックスが記載された表示領域Ｅ３と、この試合のクイズ等に関する情報を示すインデックスが記載された表示領域Ｅ４と、メッセージボード等の情報を示すインデックスが記載された表示領域Ｅ５とを認識する。すなわち、この領域決定処理（Ｓ５）では、第５のカテゴリーエリアＥの全体の画像情報から、濃淡値が異なる表示領域には異なるインデックスが記載されていると判断し、各インデックスが示されている表示領域の位置情報を認識する。
【００４６】
なお、入力シート１３のカテゴリーエリアＥに記載されている各インデックスに対応する各表示領域の相対的な記載位置は、予めコントロールボックス１４内の記憶部４、或いは、ワークステーション１５に登録してある。上述した絵文字コードの決定処理（Ｓ４）において載置された入力シート１３の識別がされるが、その際に、載置された入力シート１３の表示領域の相対的な位置情報を取得し、記憶部４に格納しておく。従って、その位置情報と、第５のカテゴリーエリアＥの撮像出力として得られる画像情報から得た濃淡値の違いの結果に基づき、各表示領域の位置情報をマッチングさせ認識することができる。
【００４７】
上記情報参照テーブル作成処理（Ｓ６）では、上記領域決定処理（Ｓ５）で認識した各表示領域の位置情報と、インデックスが記載された表示領域とインデックスが示すコンテンツを関連付ける処理を行う。すなわち、上記表示領域と、各インデックスが示すコンテンツが格納されている場所例えばワークステーション１５の格納アドレス等とを関連付ける情報参照テーブルを作成する。例えば、図１０に示すように、第５のカテゴリーエリアＥの認識画像を２０×１０のマトリクス状に分割した情報参照テーブルを作成する。この情報参照テーブルに対して、表示領域Ｅ１に対応する位置の要素に１を入れ、表示領域Ｅ２に対応する位置の要素に２を入れ、表示領域Ｅ３に対応する位置の要素に３を入れ、表示領域Ｅ４に対応する位置の要素に４を入れ、表示領域Ｅ５に対応する位置の要素に５を入れ、どの表示領域にも対応しない位置の要素に０を入れる。この情報参照テーブルの各要素に入れられた数値は、各インデックスが示すコンテンツが格納される例えばワークステーション１５上のアドレスに対応する。
【００４８】
なお、各インデックスが示すコンテンツの格納場所は、予めコントロールボックス１４内の記憶部、或いは、ワークステーション１５に登録してある。上述した絵文字コードの決定処理（Ｓ４）において載置された入力シート１３の識別をするが、その際に、載置された入力シート１３のインデックスが示すコンテンツの格納場所を取得し、記憶部４に格納しておく。
【００４９】
上記濃淡値の平均値演算処理（Ｓ７）では、上記ＣＣＤビデオカメラ１１による入力シート１３の第５のカテゴリーエリアＥの画像情報をマトリクス状に分割して、各マトリクスの１コマ領域の画像の濃淡から、この１コマ領域の画像の濃淡値の平均値を求める。例えば、図１１に示すように、２０×１０のマトリクス状に区切った１コマ領域毎に濃淡値の平均値Ｇｐを求める。また、この第５のカテゴリーエリアＥの画像全体の濃淡値の平均値Ｇａも求める。なお、この１コマ領域の平均値Ｇｐ及び全体の平均値Ｇａは、後述する情報提供処理において、しきい値調整係数Ｇｐ／Ｇａとして用いる。
【００５０】
また、この濃淡値の平均値演算処理（Ｓ７）で用いるマトリクスは、上述した情報参照テーブル作成処理（Ｓ６）と対応する必要はないが、後に説明する特徴抽出テーブルと情報参照テーブルを照合するため、この照合が可能な関係となっている。
【００５１】
以上のように、入力シート１３の識別処理では、載置された入力シート１３の種類を確定して、この入力シート１３に記載されているインデックスとそのコンテンツとの関連付けを行う情報参照テーブルを作成することができる。また、この識別処理では、後の情報提供処理で用いられるしきい値調整係数も求めることがきる。
【００５２】
つぎに、上記入力シート１３の情報提供処理について説明する。上述した入力シート１３の識別処理が終了すると、ユーザは、この入力シート１３の第５のカテゴリーエリアＥに対して、入力／選択指示を行う。具体的には、図１２に示すように、この第５のカテゴリーエリアＥのインデックスが記載されるいずれかの表示領域を指で選択する。このようにユーザにより入力シート１３への入力／選択指示がされると、図１３のフローチャート示す情報提供処理がされる。なお、本例では、指でインデックスを選択する場合について説明するが、本発明は指に限られるものではない。
【００５３】
この情報提供処理では、まず、ＣＣＤビデオカメラ１１による入力シート１３の第５のカテゴリーエリアＥに対する入力／選択指示を行う人間の指等の指示体を取り込む入力画像の取り込み処理（Ｓ１１）を行い、この取り込んだ指等の指示体の形状を入力シート１３の元画像との差分画像を得るためのしきい値を決定するしきい値決定処理（Ｓ１２）を行う。次に、このしきい値から得た差分画像から特徴抽出テーブルを作成する特徴抽出テーブル作成処理（Ｓ１３）を行い、指などの指示体の注目点となる先端領域を確定する先端領域確定処理（Ｓ１４）を行う。さらに、確定した先端領域に基づいて先に求めた情報参照テーブルとの照合処理（Ｓ１５）を行い、照合した場所に該当するコンテンツがあるかどうかを判断（Ｓ１６）する。該当するコンテンツがあればそのコンテンツを出力（Ｓ１７）し、入力画像の取り込み処理（Ｓ１１）からの処理を繰り返す。また、該当するコンテンツがなければそのまま、入力画像の取り込み処理（Ｓ１１）からの処理を繰り返す。
【００５４】
上記入力画像の取り込み処理（Ｓ１１）では、ＣＣＤビデオカメラ１１が一定の間隔で入力シート１３の画像の取り込み続けており、この入力画像の取り込みが行われると次の処理を行う。
【００５５】
上記しきい値決定処理（Ｓ１２）では、入力シート１３上に進入してきた指等の指示体の画像を抽出する為のしきい値を決定する。このしきい値を決定することによって、入力シート１３と指等の指示体の差分画像から、正確な指等の指示体の形状を抽出することができる。また、入力画像の取り込みを一定期間毎に行い、この形状の抽出することによって、その物体の動きも検出することができる。
【００５６】
このしきい値決定処理（Ｓ１２）では、具体的には、以下に説明するようにしきい値を決定する。
【００５７】
最初に、取り込んだ入力画像と入力シート１３の元画像との差分画像を求め、この差分画像をあるしきい値で２値化する。この元画像は、先の入力シート１３の識別処理で取り込んでいる第５のカテゴリーエリアＥの画像である。ここで、２値化したときの差分画像が占める面積と、予め登録してある指等の指示体の面積とを比較する。このとき、この比較した誤差の値が最小となるように、しきい値を上下する。そして、比較した誤差の値が最小となるときのしきい値を２値化しきい値Ｔｂとする。なお、しきい値を上下しても、正確な２値化しきい値Ｔｂを求めることができい場合は、或いは、その２値化しきい値Ｔｂの絶対値が非常に小さい場合は、指等の指示体が進入していないものとして、入力画像の取り込み処理（Ｓ１１）を行う。
【００５８】
続いて、この２値化しきい値Ｔｂに対し、先の入力シート１３の識別処理における濃淡値の平均値演算処理（Ｓ７）で求めた２０×１０のマトリクス状に区切った１コマ領域毎のしきい値調整係数Ｇｐ／Ｇａを乗算する。ここで、この２値化しきい値Ｔｂにしきい値調整係数Ｇｐ／Ｇａを掛け合わせて得られる値を分割領域しきい値とする。すなわち、この分割領域しきい値は、以下の式で表される。
【００５９】
分割領域しきい値＝Ｔｂ×Ｇｐ／Ｇａ
なお、この分割領域しきい値は、図１１に示した２０×１０のマトリクス状に区切った１コマ領域毎に求める。
【００６０】
このようにしきい値の決定処理（Ｓ１２）を行うことによって、進入した指等の指示物体の形状の抽出するためのしきい値を、マトリクスの各コマ毎に求めることができる。
【００６１】
上記特徴抽出テーブル作成処理（Ｓ１３）では、図１１に示した２０×１０のマトリクス状に区切ったコマ領域毎に、差分画像が上記分割領域しきい値より大きければ１、この分割領域しきい値以下のもの０と定義して、図１４に示すような特徴抽出テーブルを作成する。このように、分割領域しきい値により差分画像の２値化を行うことにより、入力シート１３上に進入してきた指等の指示物体の形状を、パターンマッチング等の複雑な処理を行うことなく抽出することができる。
【００６２】
そして、この特徴抽出テーブルから図１４中の領域Ａに示すように、指等のパターンを抽出して、抽出した指等のパターンに外接する長方形と領域内の画素分布を求める。
【００６３】
上記先端領域の確定処理（Ｓ１４）では、まず、この外接する長方形の配置によって、指等の進入方向を定める。例えば、進入方向として、入力シート１３に対して、上、下、左、右、左上、左下、右上、右下の８通りの進入パターンを求める。そして、次の表１及び図１５に示すようなような進入方向に応じた長方形内の画像データの走査を行い、指の端点位置を検出する。この場合は、進入方向に応じて方向を変えてデータの走査をし、データの走査の結果、データが存在しなくなる点の手前の位置が指の先端領域と確定する。例えば、指が上から進入した場合、まず、手首方向の短辺左側から横方向にデータを走査し、続いて指先側に順次走査する。そして、データが存在しなくなる手前の位置を先端領域として確定する。
【００６４】
【表１】
なお、入力シート１３に対して指により入力／選択指示を行わず、他の物体により入力／選択指示を行う場合には、抽出した画像に応じてその物体の所定の注目点を検出する。この物体の注目点を検出する為には、その物体に応じたデータの走査を行う必要がある。このように物体の所定の注目点を検出することにより、入力／選択指示がされた位置を認識することができる。
【００６６】
上記情報参照テーブルとの照合処理（Ｓ１５）では、上記先端領域の確定処理（Ｓ１４）で確定した指等の先端領域の入力シート１３上の位置と、この位置に対応する入力シート１３の表示領域を照合する。例えば、図１６に示すように、先端領域として特徴抽出テーブル上のＸ１の部分が確定されていれば、このＸ１に対応する情報参照テーブルのコマの位置の情報を参照する。この場合は、図１６に示す情報参照テーブルのＸ２の位置の要素が参照され、表示領域Ｅ３がユーザにより入力／選択指示されたことがわかる。
【００６７】
上記照合した場所に該当するコンテンツがあるかどうかの判断（Ｓ１６）では、上記情報参照テーブル上の入力／選択指示された位置に対応する要素が入れられているかどうかを判断する。例えば、入力シート１３が図５に示した野球などを告示した印刷物であれば、各要素に１〜５まで入れられている表示領域Ｅ１〜Ｅ５までの領域を、ユーザが入力／選択指示をしたかどうかを判断する。入力／選択指示がされた位置に対応する表示領域が無い場合、例えば、情報参照テーブルの要素が０の部分を入力／選択指示した場合は、入力画像の取り込み処理（Ｓ１１）からの処理を繰り返す。入力／選択指示された位置に対応する表示領域がある場合は、続くコンテンツの表示処理（Ｓ１７）を行う。
【００６８】
コンテンツの表示処理（Ｓ１７）では、入力／選択指示がされた情報参照テーブルに示されるワークステーション１５上のアドレスを認識し、このアドレスに格納されるコンテンツの配信要求をする。そして、このコンテンツが配信されると、このコンテンツの内容を表示する。
【００６９】
以上のように、このような構成のマルチメディアシステムでは、ユーザがハードウエアを直接意識する必要なく、容易に入力／選択指示を行うことができる。さらに、被接触で、指等を撮像して入力／選択指示をした位置を確定するので、コストの面で汎用性が高い。また、画像抽出をするためにパターンマッチング等の複雑な処理を必要とせず、高速な画像抽出ができる。また、入力シート１３や指等を撮像する際にシールドや特別な証明等がなくても画像抽出をすることができる。そのため、屋外等でも利用可能なマルチメディアシステムを構成することができる。
【００７０】
さらに、このような構成のマルチメディアシステムでは、入力シート１３に記載されるインデックスやこのインデックスが記載されている表示領域の形式に依存せずコンテンツの提供をすることができ、また、入力シート１３の印刷による濃淡や色彩の誤差等に依存にコンテンツの提供をすることができる。従って、例えば情報提供者が入力シート１３を自由なフォーマットでレイアウトをすることがき、幅広い分野における情報サービスに活用することができる。
【００７１】
また、このような構成のマルチメディアシステムでは、入力シート１３を簡易に配布することができる。また、情報内容及び／又は指示内容に応じた制御動作を変えることにより、簡単に提供する情報の更新をすることができる。さらに、ユーザの個人認証やセキュリティーにも柔軟に対応することができる。
【００７２】
【発明の効果】
本発明に係る画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体では、撮像した背景画像を所定領域毎に領域分割し、背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めるので、パターンマッチング等の複雑な処理を必要とせず、高速な画像抽出ができる。また、本発明では、物体を撮像する際にシールドや特別な証明等がなくても画像抽出をすることができる。
【００７３】
本発明に係る情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体では、撮像した背景画像を所定領域毎に領域分割し、各領域の濃淡値を求めて背景画像上に進入した物体とのしきい値を求め、この物体の形状を抽出し、背景画像に示される表示領域を確定するので、ユーザがハードウエアを直接意識する必要なく、容易に情報入出力／選択操作を行うことができる。さらに、被接触により物体を撮像して表示領域を確定するので、コストの面で汎用性が高い。
【００７４】
また、本発明に係る情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体では、画像抽出をするためにパターンマッチング等の複雑な処理を必要とせず、高速な画像抽出ができる。また、本発明では、物体を撮像する際にシールドや特別な証明等がなくても画像抽出をすることができる。
【００７５】
また、本発明に係る情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体では、背景画像に記載される指示情報の形式に依存せず、また、印刷による濃淡や色彩の誤差等に依存しない画像認識をすることができる。また、本発明では、背景画像を紙状の媒体として簡易に配布することができ、情報内容及び／又は指示内容に応じた制御動作を変えることにより、簡単に提供する情報の更新をすることができる。
【図面の簡単な説明】
【図１】本発明に係る情報入出力／選択装置の構成を示すブロック図である。
【図２】上記情報入出力／選択装置を適用したマルチメディアシステムの構成を示すブロック図である。
【図３】上記情報入出力／選択装置における入力シートの構成を示す平面図である。
【図４】上記入力シートに記載された回転絵文字コードの一例を示す図である。
【図５】上記入力シートに記載されたインデックス等の一例を示す図である。
【図６】上記情報入出力／選択装置の出力部による出力例を示す図である。
【図７】上記情報入出力／選択装置の画像認識部における識別処理の手順を示すフローチャートである。
【図８】上記識別処理における回転絵文字の抽出処理で抽出する各絵文字の重心と外接長方形を示す図である。
【図９】上記識別処理における回転絵文字コードの決定処理で用いられる予め定義した回転絵文字コード群の一部を示す図である。
【図１０】上記識別処理における情報参照テーブルの作成処理で作成される情報参照テーブルを説明する図である。
【図１１】上記識別処理における情報参照テーブルの作成処理で演算される濃淡値の平均値を説明する図である。
【図１２】上記入力シートに記載されたインデックスをユーザが入力／選択指示をした場合について説明する図である。
【図１３】上記情報入出力／選択装置の画像認識部における情報提供処理の手順を示すフローチャートである。
【図１４】上情報提供別処理における特徴抽出テーブルの作成処理で作成される特徴抽出テーブルを説明する図である。
【図１５】上記情報入出力／選択装置の画像認識部による入力／選択指示の抽出処理で抽出されるユーザの指を示す図である。
【図１６】上情報提供別処理における情報参照テーブルとの認証処理を説明するための図である。
【符号の説明】
１ 撮像部、２ 画像認識部、３ 制御部、４ 記憶部、５ 出力部、６ 情報配信部、７ 外部デバイス、１０ ビューワ、１１ ＣＣＤカメラ、１２ メディアベース、１３ 入力シート、１４ コントロールボックス、１５ ワークステーション、１６ ＡＶ機器、１７ カメラ、１８ 電話機
Claims (6)
- 背景画像を撮像し、上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、上記背景画像上に進入した物体を撮像し、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、この物体の形状を抽出する画像抽出方法であって、
上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求めるにあたり、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像を２値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする画像抽出方法。 - 背景画像と、この背景画像上に進入する物体とを撮像する撮像手段と、
背景画像を所定領域毎に領域分割して各領域の濃淡値を求め、上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較し、この物体の形状を抽出する画像抽出手段とを備え、
上記画像抽出手段は、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像を２値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする画像抽出装置。 - 画像抽出装置に搭載されたコンピュータにより実行される画像抽出プログラムが記録された記録媒体であって、
背景画像を撮像する処理と、
上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求める処理と、
上記背景画像上に進入した物体を撮像する処理と、
上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理と、
上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、この物体の形状を抽出する処理とを行い、
上記各領域の濃淡値に基づき背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理では、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像を２値化した場合の面積を予め登録してある物体の面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする画像抽出プログラムが記録された記録媒体。 - 所定の情報内容及び／又は指示内容を示す指示情報が記載された表示領域が１又は複数設けられた背景画像と、上記背景画像上に進入する物体を撮像し、上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び／又は指示内容を関連付ける情報参照テーブルを生成し、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を２値で抽出したマトリクス状の特徴抽出テーブルを生成し、上記特徴抽出テーブルと上記情報参照 テーブルとを参照して、この物体により選択された表示領域を確定し、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び／又は指示内容に応じた制御動作を行う情報入出力／選択方法であって、
上記背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求めるにあたり、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする情報入出力／選択方法。 - 所定の情報内容及び／又は指示内容を示す指示情報が記載された表示領域が１又は複数設けられた背景画像と、上記背景画像上に進入する物体を撮像する撮像手段と、
上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び／又は指示内容を関連付ける情報参照テーブルを生成し、撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求め、記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求め、上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を２値で抽出したマトリクス状の特徴抽出テーブルを生成し、上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定する画像抽出手段と、
確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び／又は指示内容に応じた制御動作を行う制御手段とを備え、
上記画像抽出手段は、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする情報入出力／選択装置。 - 情報入出力／選択装置に搭載されたコンピュータにより実行される情報入出力／選択処理プログラムが記録された記録媒体であって、
所定の情報内容及び／又は指示内容を示す指示情報が記載された表示領域が１又は複数設けられた背景画像を撮像する処理と、
上記背景画像の各表示領域が設けられた位置と、各表示領域に記載される指示情報が示す所定の情報内容及び／又は指示内容を関連付ける情報参照テーブルを生成する処理と、
撮像した上記背景画像を所定領域毎に領域分割し、各領域の濃淡値を求める処理と、
上記背景画像上に進入した物体を撮像する処理と、上記各領域の濃淡値に基づき、背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理と、
上記背景画像とこの背景画像に進入した物体の差分画像をこのしきい値と比較して、上記物体の形状を２値で抽出したマトリクス状の特徴抽出テーブルを生成する処理と、
上記特徴抽出テーブルと上記情報参照テーブルとを参照して、この物体により選択された表示領域を確定する処理と、確定した指示情報に記載される指示情報に関連付けられる所定の情報内容及び／又は指示内容に応じた制御処理とを行い、
上記背景画像とこの背景画像上に進入した物体とのしきい値を上記所定領域毎に求める処理では、上記背景画像の各領域の濃淡値Ｇｐ、及び、上記背景画像の全領域の濃淡値の平均Ｇａを求め、撮像した物体と背景画像との差分画像の面積を予め登録してある物体との面積と比較して、この比較した誤差が最小となる場合のしきい値Ｔｂを求め、背景画像とこの背景画像上に進入した物体とのしきい値をＴｂ×Ｇｐ／Ｇａにより求めることを特徴とする情報入出力／選択処理プログラムが記録された記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20698797A JP3903540B2 (ja) | 1997-07-31 | 1997-07-31 | 画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20698797A JP3903540B2 (ja) | 1997-07-31 | 1997-07-31 | 画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1153560A JPH1153560A (ja) | 1999-02-26 |
| JP3903540B2 true JP3903540B2 (ja) | 2007-04-11 |
Family
ID=16532313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20698797A Expired - Fee Related JP3903540B2 (ja) | 1997-07-31 | 1997-07-31 | 画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3903540B2 (ja) |
-
1997
- 1997-07-31 JP JP20698797A patent/JP3903540B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1153560A (ja) | 1999-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4304729B2 (ja) | 情報入力方法及び情報入力装置 | |
| JPS6042990B2 (ja) | パタ−ン認識方法 | |
| US20150371103A1 (en) | System and method for identification of printed matter in an image | |
| KR100698976B1 (ko) | 정보입력 방법 및 정보 입력장치 | |
| KR101535435B1 (ko) | 전자 악보 제공 시스템, 그 장치 및 그 방법 | |
| JP3903540B2 (ja) | 画像抽出方法及び装置並びに画像抽出プログラムが記録された記録媒体、情報入出力／選択方法及び装置並びに情報入出力／選択処理プログラムが記録された記録媒体 | |
| JP3879208B2 (ja) | 情報入力方法、情報入力媒体及び情報入力装置 | |
| JP2003099196A (ja) | 会議等支援用画像投影装置 | |
| JP3487494B2 (ja) | メニュー選択方法及び装置 | |
| US6483943B1 (en) | Feature value extraction methods and apparatus for image recognition and storage medium for storing image analysis program | |
| JP2000187705A (ja) | 文書読取装置および方法および記憶媒体 | |
| JP4881722B2 (ja) | 帳票識別装置、及び帳票識別プログラム | |
| JP2616447B2 (ja) | 地図データ入力方式 | |
| EP0701226B1 (en) | Method for segmenting handwritten lines of text in a scanned image | |
| JP2937607B2 (ja) | レイアウト作成装置 | |
| JPS6165378A (ja) | 文字図形認識方法及び装置 | |
| JP2021022285A (ja) | 媒体判別装置、媒体判別システム及び媒体判別方法 | |
| KR19980042731A (ko) | 정보 입력 방법 및 장치 | |
| JPH0433082A (ja) | 文書認識装置 | |
| JPH05128309A (ja) | 文字認識におけるエツジ検出方法 | |
| Usuda et al. | Viewing Tablet: A Pointing System Applicable to any Sheet Object | |
| JPS6330666B2 (ja) | ||
| KR20080100371A (ko) | 화상 정보 처리 장치, 판정 방법 및 기록 매체 | |
| JPS6031682A (ja) | 印刷文書画像の領域抽出方法および装置 | |
| JPH11126254A (ja) | 画像処理装置及びプログラム記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040428 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070101 |
|
| LAPS | Cancellation because of no payment of annual fees |