JP3879208B2 - Information input method, information input medium, and information input device - Google Patents

Information input method, information input medium, and information input device Download PDF

Info

Publication number
JP3879208B2
JP3879208B2 JP32492397A JP32492397A JP3879208B2 JP 3879208 B2 JP3879208 B2 JP 3879208B2 JP 32492397 A JP32492397 A JP 32492397A JP 32492397 A JP32492397 A JP 32492397A JP 3879208 B2 JP3879208 B2 JP 3879208B2
Authority
JP
Japan
Prior art keywords
information
area
input
image
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32492397A
Other languages
Japanese (ja)
Other versions
JPH10214318A (en
Inventor
裕 臼田
充弘 宮嵜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP32492397A priority Critical patent/JP3879208B2/en
Publication of JPH10214318A publication Critical patent/JPH10214318A/en
Application granted granted Critical
Publication of JP3879208B2 publication Critical patent/JP3879208B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、画像認識を用いた情報入力方法、情報入力媒体及び情報入力装置に関する。
【０００２】
【従来の技術】
従来、既存のＡＶ（オーディオ・ビジュアル）機器、情報機器や通信機器の各機能を組み合わせることにより、マルチメディア情報の入出力を可能にした装置として、通信機能付け携帯型情報端末や通信機能付けカメラ一体型ＶＴＲ(Video Tape Recorder) 、さらに通信機能と共にＡＶ機能を搭載したパーソナルコンピュータなどの各種マルチメディア機器が提供されている。そして、イーサネットやトークンリング、ＡＴＭ等による通信ネットワークや公衆電話回線などの有線通信網あるいは赤外線通信や無線電話通信、衛星通信などの無線通信網を介して、各種マルチメディア機器を接続するようにしたマルチメディアシステムの構築が進められている。
【０００３】
従来のマルチメディア機器においては、パーソナルコンピュータの入力装置として用いられているキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどがそのまま入力装置として使用されていた。
【０００４】
また、従来、例えば図１５の（Ａ），（Ｂ）に示すように、商品や物品の識別に１次元あるいは２次元方向に配置された二値符号で構成されたコード、いわゆるバーコードを用いて対象物を特定化することが行われていた。図１５の（Ａ）は１次元バーコードを示し、（Ｂ）は２次元バーコードを示している。
【０００５】
【発明が解決しようとする課題】
ところで、従来のマルチメディア機器に用いられているキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどの入力装置の操作方法は、人間の感覚に適合した操作方法であるとはいえず、コンピュータなどの操作になれていないユーザにとっては直感的に操作方法を理解することが困難であり、操作方法に熟練するためには専門的な知識と訓練が必要となる。
【０００６】
また、従来、商品や物品の識別に１次元あるいは２次元の二値符号のコードを用いて対象物を特定化することが行われていたが、識別対象物の種類の増加に伴い、対応するコードそのものが足りなくなってきている。この解決策として、コードそのものの桁数を増加させることにより対応しているが、単位面積当たりの最小情報量は高々２ビット程度であって、全体としてコードの専有面積が増加してしまう。コードの専有面積は、識別対象物である商品や物品の表面積を奪うことになり好ましいものでなく、また、コードの認識時間を増加させることになってしまう。
【０００７】
そこで、本発明の目的は、ユーザがハードウエアを直接意識する必要なく、容易に操作を行うことができる情報入力方法、情報入力媒体及び情報入力装置を提供することにある。
【０００８】
また、本発明の他の目的は、ユーザの簡易な操作によって、大量のデータの中から特定の情報との関連付けを行うことができる情報入力方法、情報入力媒体及び情報入力装置を提供することにある。
【０００９】
また、商品や物品の識別に際して単位面積当たりの識別数を飛躍的に増加させることができる情報入力方法、情報入力媒体及び情報入力装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体の上記画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有する情報入力装置における情報入力方法であって、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載された識別エリアを有する上記情報記録媒体の画像表示領域を撮像し、画像認識された上記識別エリアの識別画像情報に基づいて上記画像パターンの回転方向を判別することにより識別コードを特定することを特徴とする。
【００１３】
また、本発明は、領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体の上記画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有する情報入力装置における情報入力媒体であって、領域を指定することにより選択的に入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられ、上記識別エリアには、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載されていることを特徴とする。
【００１５】
さらに、本発明に係る情報入力装置は、領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体と、上記情報入力媒体の画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有し、上記情報入力媒体の識別エリアには、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載されており、上記認証処理手段は、上記画像認識手段により画像認識された上記識別エリアの識別画像情報に基づいて上記画像パターンの回転方向を判別することにより識別コードを特定することを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
本発明は、例えば図１に示すような構成の情報入力装置１００により実施される。この図１に示した情報入力装置１００は、撮像部１０１、画像認識部１０２、制御部１０３、記憶部１０４、出力部１０５を備えている。さらに制御部１０３は、ネットワークやホームバス等の通信回線１０８，１０９を介して情報配信部１０６及び外部デバイス１０７に接続されている。この情報入力装置１００は、例えば図２に示すような構成のマルチメディアシステムに適用される。
【００１８】
撮像部１０１は、紙などの物体表面上に付加された認識対象パターンとユーザによって指などで行われるアクセス指示パターンを撮像する。具体的には、図２に示したマルチメディアシステムにおけるビューア２０５Ａ上に設置されたＣＣＤビデオカメラ２０１からなる。ＣＣＤビデオカメラ２０１は、ビューア２０５Ａが立設されたメディアベース２０８上に載置される入力シート２０９を撮像する。
【００１９】
ここで、入力シート２０９は、例えば図４に示すように、５つのカテゴリエリアＡ，Ｂ，Ｃ，Ｄ，Ｅに区分された紙などで構成された情報選択媒体である。この入力シート２０９における第１のカテゴリエリアＡには、認識対象パターンとして、このシートが図１に示した情報入力装置用のシートであることを認証するための認証絵文字が記載されている。第２のカテゴリエリアＢには、認識対象パターンとして、このシートと電子的な情報とを対応付けるための識別絵文字が記載されている。第３のカテゴリエリアＣには位置補正マークが記載される。第４のカテゴリエリアＤにはユーザが選択指示を行うためのマークが記載されている。第５のカテゴリエリアＥには情報内容が記載されている。なお、このシートの構成については、後でもう一度詳細に説明する。
【００２０】
また、画像認識部１０２は、撮像部１０１により撮像された画像情報を画像認識する。図２に示すマルチメディアシステムにおけるコントロールボックス２０２内に設けられており、ＣＣＤビデオカメラ２０１による入力シート２０９の撮像出力として得られる画像情報が供給されるようになっている。そして、この画像認識部１０２では、ＣＣＤビデオカメラ２０１による入力シート２０９の撮像出力として得られる画像情報について、認識対象の識別と認証処理を行い、その識別結果及び認証結果を制御部１０３に出力する。また、画像認識部１０２は、後述する認識対象の認識結果に対応した情報との関連付けが行われた後には、随時、ユーザによる入力／選択指示を認識して、その認識結果を制御部１０３に出力する。
【００２１】
制御部１０３は、図２に示すマルチメディアシステムにおけるコントロールボックス２０２内に設けられており、各部間での情報の送受信を次のように制御する。
【００２２】
先ず、画像認識部１０２の認識対象の認識結果と記憶部１０４に記憶されている情報との関連付けが行えるか否かを判断する。記憶部１０４内に記憶されている情報と関連付けが行える場合には、記憶部１０４に記憶されている情報との関連付けを行う。すなわち、自己の装置内に記憶されている情報と関連付けが行える場合には、その情報と関連付けを行う。記憶部１０４に記憶されている情報と関連付けが行えなかった場合には、画像認識部１０２の認識対象の認識結果を情報配信部１０６に送信し、情報配信部１０６から関連付け結果を受信する。この場合、関連付けられた情報は情報配信部１０６若しくは情報配信部１０６に接続された外部通信ネットワークに存在する情報処理装置内に記憶されている。このようにして、画像認識部１０２の認識対象の認識結果と対応する情報との関連付けが得られた後、制御部１０３は、制御部１０３内に設けられた一時記憶部に関連付けられた情報を読み込む。この読み込まれる情報には、出力部１０５に出力し表示する表示情報や外部デバイス１０７を制御するための制御情報、他の情報へのリンク情報、入力シート２０９の構成情報等が含まれている。その後、画像認識部１０２からの入力／選択指示に対して、その都度認証を行い、表示画面の更新や外部デバイス１０７に対する制御を行い、その操作内容と情報の配信結果を出力部１０５に表示させる。
【００２３】
ここで、上述した制御部１０３内の一時記憶部に読み込まれる各種情報について説明する。
【００２４】
表示情報は、文字、画像、レイアウト情報、音情報などを含む。制御部１０３は、この表示情報に基づいて、出力部１０５への画面表示や発音制御を行う。
【００２５】
制御情報は、ユーザから入力／指示された際に外部デバイス１０７を制御するための制御命令を含む。制御部１０３は、この御情報に基づいて、外部デバイス１０７を制御する。例えば外部デバイス１０７がＶＴＲ(Video Tape Recorder) の場合、ＶＴＲの動作を制御するための再生制御情報、停止制御情報、早送り制御情報、巻き戻し制御情報、一時停止制御情報等が含まれている。
【００２６】
リンク情報は、ユーザから入力／指示された際に記憶部１０４、情報配信部１０６若しくは通信ネットワークに接続された外部の情報処理装置に記憶された他の情報を読み出すためのアドレス等を含む。制御部１０３は、このリンク情報に基づいて、他の情報をさらに読み込む処理を行う。例えば、インターネットで用いられているＵＲＬ(Uniform Resource Locator)などをこのリンク情報として用いることも可能である。
【００２７】
構成情報は、情報入力シート２０９のカテゴリエリアＤ及びカテゴリエリアＥに、何が記載されているかを表す情報が含まれており、ユーザが入力／選択指示をした際に、ユーザが指し示したシート上の物理的位置とその位置に対応する次の処理命令が含まれている。例えば、位置座標とその位置がユーザによって指し示されたときに上述した制御情報若しくはリンク情報を実行するための処理命令とが対応付けられて記述されている。
【００２８】
また、記憶部１０４は、図２に示すマルチメディアシステムにおけるコントロールボックス２０２内に設けられており、認識対象パターンと関連付けられる情報を記憶している。記憶部１０４に記憶されている情報は、外部デバイス１０７を制御するための情報が記憶されている。これらの情報は、事前に情報配信部１０６を介してネットワークに接続された外部の情報処理装置や衛星通信などを用いて記憶部１０４に転送されている。このようにコントロールボックス２０２内部に記憶部１０４を備えることにより、ネットワークのトラフィックを減少させることができ、かつ、ユーザの入力／選択指示に対する応答時間を短くすることが可能になる。
【００２９】
出力部１０５は、画像認識部１０２からの入出力指示による操作内容と、情報の配信結果を出力するディスプレイ，スピーカやプリンタなどからなる。図２に示すマルチメディアシステムにおいては、出力部１０５は、ビューア２０５Ａ及びビデオスキャンコンバータ２０５Ｂから構成されている。なお、出力部１０５は、図７に示すように、制御する各種デバイスの映像出力を合成して出力することもできる。図７では、表示画面７００の左側には、ユーザによって選択される操作機能を示す画像７１０が表示され、ユーザにより選択されたＶＴＲの再生命令を示す右向き三角形の再生命令記号７２０の表示領域は網掛けを施して表示されている。また、表示画面７００の右側には、情報の配信結果として外部デバイス１０７から出力された画像７３０が表示されている。
【００３０】
情報配信部１０６は、イーサネットやトークンリング，ＡＴＭによるネットワークなどの有線通信網あるいは赤外線通信やＰＨＳ通信，衛星通信などの無線通信網を介して制御部１０３と接続されている。情報配信部１０６は、制御部１０３が画像認識部１０２の認識対象の認識結果と記憶部１０４に記憶されている情報との関連付けが行えなかった場合に、認識対象の認識結果とネットワークに接続された外部の情報処理装置に記憶された情報との関連付けを行う。図２に示すマルチメディアシステムにおいては、ワークステーション２０６からなる。
【００３１】
外部デバイス１０７は、入力／選択指示に応じて制御部１０３によって制御される機器であり、例えば図２においてはＡＶ機器２０７Ａ，ＶＴＲ２０８Ｂ，モデム２０７Ｃ，電話機２０７Ｄ，カメラ２０７Ｅである。この他に、コンピュータやゲーム機等の各種電子機器であってもかまわない。この外部デバイス１０７は、有線通信線又は無線通信線により制御部１０３に接続されている。
【００３２】
図３は、図２のコントロールボックス２０２のハードウェア構成の一例を示している。図２のコントロールボックス２０２は、ＣＰＵ(Central Processing Unit) ３０１、画像処理装置３０２、カメラインターフェース３０３、ディスプレイインターフェース３０４、ネットワークインターフェース３０５、ホームネットワークインターフェース３０６、ＲＯＭ(Read Only Memory)３０７、ＲＡＭ(Random Access Memory)３０８及びＨＤＤ(Hard Disk Drive) ３０９、ＢＵＳ３１０から構成されている。
【００３３】
ＣＰＵ３０１は、ＲＯＭ３０７に記憶されているシステムプログラムや、ＲＡＭ３０８に展開されたプログラムに基づいてコントロールボックス２０２の制御を行うようになされている。ＣＰＵ３０１は、図１の画像認識部１０２の機能の一部及び制御部１０３の機能の一部を実現する装置である。
【００３４】
画像処理装置３０２は、ＣＣＤビデオカメラ２０１によって撮像された画像をカメラインターフェース３０３を介して入力し、画像認識処理等の各種画像処理を行う。この画像処理装置３０２は、図１の画像認識部１０２の機能の一部を実現する装置である。カメラインターフェース３０３は、ＣＣＤビデオカメラ２０１によって撮像された画像を入力し、画像処理装置３０２に対応した信号フォーマットに変換して出力する。
【００３５】
ディスプレイインターフェース３０４は、ＣＰＵ３０１及び画像処理装置３０２において処理された表示データを入力し、ビューア２０５Ａに対応した信号に変換して出力する。ディスプレイインターフェース３０４とビューア２０５Ａは、図１の出力部１０５の機能の一部を実現する装置である。
【００３６】
ネットワークインターフェース３０５は、ワークステーション２０６に接続するためのインターフェースであり、これにより、外部のネットワークに接続される。ネットワークインターフェース３０５とワークステーション２０６は、図１の情報分配部１０６と通信回線１０８の機能の一部を実現する装置である。
【００３７】
ホームネットワークインターフェース３０６は、外部デバイス１０７に接続するためのインターフェースである。ＣＰＵ３０１は、このホームネットワークインターフェース３０６を介して外部機器３０７Ａ〜３０７Ｅを制御する。ホームネットワークインターフェース３０６と外部機器３０７Ａ〜３０７Ｅは、図１の外部デバイス１０７と通信回線１０９の機能の一部を実現する装置である。
【００３８】
ＲＯＭ３０７は、ＣＰＵ３０１が各種処理を実行する上において必要なプログラムやデータが記憶されている。ＲＡＭ３０８は、ＣＰＵ３０１が各種処理を実行する上において必要なプログラムやデータを一時的に展開して記憶するようになされている。ＲＯＭ３０７とＲＡＭ２０８は、図１の制御部１０３の機能の一部を実現する装置である。
【００３９】
ＨＤＤ３０９は、入力シート２０９に関連付けられる情報が記憶されている。ＨＤＤ３０９は、図１の記憶部１０４の機能を実現する装置である。
【００４０】
これら各構成要素３０１乃至３０９が、ＢＵＳ３１０を介してそれぞれ接続され、これにより図１を用いて説明した情報入力装置の各機能が実現される。
【００４１】
次に図１乃至図３を用いて説明した情報入力装置によって撮像される入力シート２０９について、図４を用いて説明する。上述したように、入力シート２０９は、５つのカテゴリエリアＡ，Ｂ，Ｃ，Ｄ，Ｅに区分されている。
【００４２】
入力シート２０９の第１のカテゴリエリアＡには、認識対象パターンとして、このシートが図１乃至図３を用いて説明した情報入力装置用のシートであることを認証するための認証絵文字が記載されている。ＣＣＤビデオカメラ２０１によって撮像されたカテゴリエリアＡの認証絵文字とＲＯＭ３０７に記憶されている比較絵文字情報とがＣＰＵ３０１で比較され、一致したときにはカテゴリエリアＢの認識に進み、不一致のときにはエラーメッセージをビューア２０５Ａに表示する。
【００４３】
第２のカテゴリエリアＢには、認識対象パターンとして、このシートと電子的な情報とを対応付けるための識別絵文字が記載されている。この識別絵文字は、方向性を有する絵文字の回転方向によってコード化されている。この実施の形態において、第２のカテゴリエリアＢに認識対象パターンとして記載されている識別絵文字は、図５の（Ａ）に示すように１つの絵文字が８方向の回転モードを持ち、その方向によって８種類のコードが定義されている。したがって、例えば４個の識別絵文字では、第１の識別絵文字の回転モード（＝８）×第２の識別絵文字の回転モード（＝８）×第３の識別絵文字の回転モード（＝８）×第４の識別絵文字の回転モード（＝８）＝８4 ＝４０９６種類のコードが定義できる。例えば、図５の（Ｂ）に示すように、４個の識別絵文字５１０，５２０，５３０，５４０を並べた識別絵文字列５００は、“２５７４”のコードを表している。すなわち、第１の識別絵文字５１０は“２”を示し、第２の識別絵文字５２０は“５”を示し、第３の識別絵文字５３０は“７”を示し、第４の識別絵文字５４０は、“４”を示している。
【００４４】
第３のカテゴリエリアＣには位置補正マークが記載される。位置補正マークは、ＣＣＤビデオカメラ２０１で撮像される画像の位置補正を行うのに用いられる。
【００４５】
第４のカテゴリエリアＤにはユーザが選択指示を行うためのマークが記載されている。ユーザはこのマークを選択することにより、ビューア２０５Ａには表示されているが入力シートのカテゴリエリアＥには表示されていない情報を選択することができる。すなわち、カテゴリエリアＤは、入力シート２０９のカテゴリエリアＥに記載されている選択情報と、ビューア２０５Ａに表示されている選択情報とが異なる場合に、ユーザが選択指示を行うために用いられる。
【００４６】
例えば、図４に示したように、カテゴリエリアＤに上下左右の矢印キーが割り当てられている場合には、ビューア２０５Ａ上に表示されたメニュー画面においてカーソルの移動及びメニュー決定などをユーザがカテゴリエリアＤの任意の矢印図を指示することによって行うことができる。なお、ここでは、上下左右の矢印図が記載された例を用いて説明したが、カテゴリエリアＤに記されるマークは、これに限られることはなく、例えば、入力シートがＶＴＲ及びオーディオシステムをコントロールするための共有の媒体である場合には、再生ボタン・停止ボタン・記録ボタン等共通に使用できるボタン類を割り当ててもよい。すなわち上述した制御部１０３内の一時記憶部に読み込まれる構成情報にカテゴリエリアＤに割り当てる処理命令（前述の例では、上下左右へのカーソル移動命令や、再生・停止・記録命令）と位置情報を埋め込んでおけば、その埋め込まれた処理を実行することが可能になる。
【００４７】
第５のカテゴリエリアＥには情報内容が記載されている。ユーザは、このカテゴリエリアＥに記述された情報を見ることによって、この入力シートを用いることによってどのような情報にアクセスすることができるかを知ることができる。また、図１に示した情報入力装置１００によって入力シート２０９を認識させた後には、ユーザは、このカテゴリエリアＥに記述されている情報を指示することにより、制御部１０３に所定の処理を行うように指示することができる。例えば図６に示した入力シート２０９では、ユーザはカテゴリエリアＥに記述された制御ボタン６００に対応する制御命令記号６１０，６２０，６３０，６４０，６５０を指し示すことによって、制御部１０３に対してＶＴＲをコントロールするための指示、例えば再生、停止、一時停止、巻き戻し、早送り、イジェクトなどの指示を行うことができる。なお、ここでは、ＶＴＲの制御ボタンが記述された例を用いて説明したが、カテゴリエリアＥに記される情報内容は、これに限られることはなく、例えば、メニューが記述されていてもよい。この場合には、ユーザがカテゴリエリアＥに記述されたメニューを指で差し示すことによって、ビューア２０５Ａには、選択されたメニューに対応する次の表示画面が表示される。すなわち上述した制御部１０３内の一時記憶部に読み込まれる構成情報にカテゴリエリアＥに割り当てる処理命令（前述の例では、ＶＴＲの制御情報や次に表示される表示画面情報へのリンク情報）と位置情報を埋め込んでおけば、その埋め込まれた処理を実行することが可能になる。
【００４８】
以上のような構成のマルチメディアシステムでは、ＣＣＤビデオカメラ２０１による入力シート２０９の撮像出力として得られる画像情報について、入力シート２０９が正規のものであることを認証するための認証処理を行って認証された正規の入力シート２０９の種別を識別する識別処理を画像認識部１０２により行う。
【００４９】
認証処理は、ＣＣＤビデオカメラ３０１による入力シート２０９の撮像出力として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理を行ってから位置補正を行い、上記入力シート２０９の上部中央の第１のカテゴリエリアＡに認識対象パターンとして記載されている認証絵文字の例えば重心座標と輪郭を抽出して、その認証絵文字パターンとのマッチングをとることにより行われる。
【００５０】
そして、識別処理では、例えば図８のフローチャートに示すように、ＣＣＤビデオカメラ３０１による入力シート２０９の撮像出力として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理（Ｓ８０１）を行ってから、入力シート２０９の四隅に設けられている第３のカテゴリエリアＣに記載されている位置補正マークの画像情報に基づいて位置ずれを検出して、その位置ずれ量に応じた座標系の変換処理によって位置補正処理（Ｓ８０２）を行う。次に、入力シート２０９の第２のカテゴリエリアＢに認識対象パターンとして記載されている識別絵文字の抽出処理（Ｓ８０３）を行い、さらに、回転絵文字コードの決定処理（Ｓ８０４）を行う。
【００５１】
位置補正処理（Ｓ８０２）では、ＣＣＤビデオカメラ３０１による入力シート２０９の第３のカテゴリエリアＣの撮像出力として得られる画像情報から、図９に示すように、基準位置からの位置ずれを検出し、その位置ずれ量に応じた座標系の変換処理によって位置補正を行う。図９には、ＣＣＤビデオカメラ３０１による入力シート２０９の第３のカテゴリエリアＣの撮像出力として、入力シート２０９が適正に配置された場合の合致パターン９００、入力シート２０９が左上方へずれたパターン９１０、入力シート２０９が右上方へずれたパターン９２０を例示してある。
【００５２】
識別絵文字の抽出処理（Ｓ８０３）では、ＣＣＤビデオカメラ３０１による入力シート２０９の第２のカテゴリエリアＢの撮像出力として得られる画像情報から、図１０に示すように、各々の絵文字毎に濃淡値の重心座標と外接する長方形を求める。なお、図１０には、識別絵文字の抽出処理（Ｓ８０３）により求められる各絵文字の重心座標が○で示され、また、外接長方形を破線で示されている。
【００５３】
そして、回転絵文字コードの決定処理（Ｓ８０４）では、識別絵文字の抽出処理（Ｓ８０３）で求めた重心座標と外接長方形の縦横比をパラメータとした回転絵文字の方向特徴テーブルを参照することにより、四つの絵文字の方向を求める。ここで、方向特徴テーブルは、表１のように表され、例えば『外接長方形の縦横比が２．５以上でかつ重心の位置が長方形の上半分内にあれば回転絵文字は下方を向いている』のような各方向の特徴を示す条件に基づいて予め形成されている。そして、図５の（Ａ）に示した回転絵文字とコードとの対応付けに基づいて、回転絵文字をコードに変換する。その後、四つの絵文字の方向から求められる回転絵文字コードと、予め定義した図１１に示すように回転絵文字コード群との比較を行い、最も距離の短いものを、入力シート２０９の回転絵文字コードとして特定する。ここでの距離とは、回転絵文字コードの各要素の差の総和を表す。そして、回転絵文字コード群との距離が何れも予め定めたしきい値を越えている場合には、認識対象はどのコードとしても認識されることなく、認識不可とする。
【００５４】
【表１】

Figure 0003879208
【００５５】
そして、制御部１０３において、画像認識部１０２の認識対象の認識結果と記憶部１０４に記憶されている情報との関連付けが行えるか否かを判断する。記憶部１０４内に記憶されている情報と関連付けが行える場合には、記憶部１０４に記憶されている情報との関連付けを行う。すなわち、自己の装置内に記憶されている情報と関連付けが行える場合には、その情報と関連付けを行う。記憶部１０４に記憶されている情報と関連付けが行えなかった場合には、画像認識部１０２の認識対象の認識結果を情報配信部１０６に送信し、情報配信部１０６から関連付け結果を受信する。この場合、関連付けられた情報は情報配信部１０６若しくは情報配信部１０６に接続された外部通信ネットワークに存在する情報処理装置内に記憶されている。このようにして、画像認識部１０２の認識対象の認識結果と対応する情報との関連付けが得られた後、制御部１０３は、制御部１０３内に設けられた一時記憶部に関連付けられた情報を読み込む。
【００５６】
上記のようにして、正規の入力シート２０９の種別を識別し終えると、その後は、画像認識部１０２からの入力／選択指示に応じて、制御部１０３内に設けられた一時記憶部に読み込まれた情報に基づいて処理を行う。
【００５７】
画像認識部１０２による入力／選択指示処理では、例えば図１２のフローチャートに示すように、ＣＣＤビデオカメラ３０１による入力シート２０９上での入力／選択指示の撮像結果として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理（Ｓ１２０１）を行ってから、入力シート２０９の四隅に設けられている第３のカテゴリエリアＣに記載されている位置補正マークの画像情報に基づいて図９に示すような位置ずれを検出して、その位置ずれ量に応じた座標系の変換処理によって位置補正処理（Ｓ１２０２）を行うことにより、位置補正済みの二値画像情報を得る。そして、入力／選択指示の抽出処理（Ｓ１２０３）を行い、さらに、入力／選択指示の決定処理（Ｓ１２０４）を行う。
【００５８】
位置補正処理（Ｓ１２０２）では、ＣＣＤビデオカメラ３０１による入力シート２０９の第３のカテゴリエリアＣの撮像出力として得られる画像情報から、図９に例示したように、基準位置からの位置ずれを検出し、その位置ずれ量に応じた座標系の変換処理によって位置補正を行う。
【００５９】
入力／選択指示の抽出処理（Ｓ１２０３）では、上記位置補正済みの濃淡画像情報について、濃淡画像の中で入力／選択指示が検出される領域内において、予め取り込まれている上記入力シート２０９の原画像との差分画像すなわち入力／選択指示を与えるアクセス指示入力パターンとして、例えば図１３に示すように指のパターンを抽出して、外接する長方形と領域内の画素分布を求める。
【００６０】
さらに、入力／選択指示の決定処理（Ｓ１２０４）では、上記入力／選択指示の抽出処理（Ｓ１２０３）で求めた外接長方形の各辺上の画素分布から指の進入方向を求め、進入方向に応じた長方形内の画像走査を行い、指の端点位置を検出する。ここで、指の進入方向を求めるためには、濃度の濃い画素がその辺上に多く分布しているかを見ることにより求められる。また、カテゴリエリアＥ上は、所定の領域を有する複数のブロックに分割されており、端点位置を検出するための画像走査は、これらのブロック内の画素ピクセルを表２に示すような方法で進入方向に応じた画像走査を行う。このようにブロック分割された領域を画像走査することにより、走査エリアを限定した高速な端点検出をすることが可能になる。
【００６１】
【表２】
Figure 0003879208
【００６２】
そして、検出された端点位置を対応する命令／情報に変換して制御部１０３へ伝達する。図１３に示す例では、指の端点位置が対応するエリア番号“６”に変換される。なお、図１３において、斜線で示されているエリアは、エリア番号“６”に対応するカテゴリエリアＥ内でのブロックである。
【００６３】
その後、制御部１０３は、制御部１０３内の一時記憶領域に記憶されている入力シート２０９の構成情報に基づいてエリア番号“６”に対応する処理を実行する。
【００６４】
したがって、このような構成の情報入力装置では、静的な媒体である認識対象すなわち入力シート２０９に記載された認識対象パターンを画像認識することにより認証処理を行って認識対象と対応する情報との関連付けを行い、関連付けられた情報に対するアクセス指示入力をアクセス指示入力パターンの画像認識により受け付けて、静的な媒体である認識対象に対して動的な情報提供を行うことができる。
【００６５】
認識対象パターンは、この実施の形態における鍵型形状に限定されるものでなく、画像認識可能なパターンであればよいので、例えば図１４に示した他の認識対象パターンの形状と回転方向とを組み合わせることにより、入力シート２０９の種別を無限に定義することができる。
【００６６】
また、ユーザは、入力シート２０９を認識させた後は、入力シート２０９の記載された入力／選択指示内容を例えば指で指し示すことにより、入力／選択指示を与えることができるので、ハードウエアを直接意識する必要なく、容易に情報入出力／選択操作を行うことができ、また、その入力／選択指示内容に大量のデータの中から特定の情報を関連付けることができる。
【００６７】
さらに、上述の実施の形態においては、回転絵文字コードの認識に濃淡値の重心座標と外接する長方形を用いて処理する例を説明したが、予め準備されたテンプレート画像に対する回転量をマッチング処理によって求めるようにしてもよい。
【００６８】
【発明の効果】
本発明では、領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体の上記画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有する情報入力装置における情報入力方法において、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載された識別エリアを有する上記情報記録媒体の画像表示領域を撮像し、画像認識された上記識別エリアの識別画像情報に基づいて上記画像パターンの回転方向を判別することにより識別コードを特定するので、ユーザがハードウエアを直接意識する必要なく、容易に操作を行うことができ、また、ユーザの簡易な操作によって、大量のデータの中から特定の情報との関連付けを行うことができ、さらに、画像パターンの回転方向によって符号化された情報を入力することにより、商品や物品の識別に際して単位面積当たりの識別数を飛躍的に増加させることができる。
【００７１】
また、本発明では、領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体の上記画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有する情報入力装置における情報入力媒体であって、領域を指定することにより選択的に入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられ、上記識別エリアには、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載されているので、ユーザがハードウエアを直接意識する必要なく情報を入力して容易に操作を行うことができ、また、ユーザの簡易な操作によって、大量のデータの中から特定の情報との関連付けを行うことができ、さらに、画像パターンの回転方向によって符号化された情報を入力することにより、商品や物品の識別に際して単位面積当たりの識別数を飛躍的に増加させることができる。
【００７３】
さらに、本発明に係る情報入力装置では、領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体と、上記情報入力媒体の画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有し、上記情報入力媒体の識別エリアには、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載されており、上記認証処理手段は、上記画像認識手段により画像認識された上記識別エリアの識別画像情報に基づいて上記画像パターンの回転方向を判別することにより識別コードを特定するので、ユーザがハードウエアを直接意識する必要なく情報を入力して容易に操作を行うことができ、また、ユーザの簡易な操作によって、大量のデータの中から特定の情報との関連付けを行うことができ、さらに、画像パターンの回転方向によって符号化された情報を入力することにより、商品や物品の識別に際して単位面積当たりの識別数を飛躍的に増加させることができる。
【００７４】
したがって、本発明によれば、ユーザがハードウエアを直接意識する必要なく、容易に操作を行うことができる情報入力方法、情報入力媒体及び情報入力装置を提供することができる。
【００７５】
また、本発明によれば、商品や物品の識別に際して単位面積当たりの識別数を飛躍的に増加させることができる情報入力方法、情報入力媒体及び情報入力装置を提供することができる。
【図面の簡単な説明】
【図１】情報入力装置の機能的なブロック図である。
【図２】図１に示した情報入力装置を適用したマルチメディアシステムの構成を示すブロック図である。
【図３】図１に示した情報入力装置のハードウェア構成を示すブロック図である。
【図４】情報入力装置における入力シートの構成を示す平面図である。
【図５】入力シートに記載された回転絵文字コードのコード割当ての一例を示す図である。
【図６】情報入力装置における入力シートの一例を示す平面図である。
【図７】図６における入力シートを用いた情報入力装置の出力部による出力例を示す図である。
【図８】情報入力装置の画像認識部における認識対象の識別処理の手順を示すフローチャートである。
【図９】情報入力装置の画像認識部による位置補正で検出される位置ずれ量を示す図である。
【図１０】認識対象の識別処理における回転絵文字の抽出処理で抽出する各絵文字の重心と外接長方形を示す図である。
【図１１】認識対象の識別処理における回転絵文字コードの決定処理で用いられる予め定義した回転絵文字コード群の一部を示す図である。
【図１２】情報入力装置の画像認識部における入力／選択指示処理の手順を示すフローチャートである。
【図１３】情報入力装置の画像認識部による入力／選択指示の抽出処理で抽出される入力／選択指示を与えるアクセス指示入力パターンを示す図である。
【図１４】入力シートに記載された回転絵文字の他の例を示す図である。
【図１５】バーコードの例を示す図である。
【符号の説明】
１０１ 撮像部、１０２ 画像認識部、１０３ 制御部、１０４ 記憶部、１０５ 出力部、１０６ 情報配信部、１０７ 外部デバイス、２１０ ＣＣＤカメラ、２０２ コントロールボックス、２０５Ａ ビューア、２０５Ｂ ビデオスキャンコンバータ、２０６ ワークステーション、２０７Ａ ビデオコントローラ、２０７Ｂ ＶＴＲ、２０７Ｃ モデム、２０７Ｄ 電話機、２０７Ｅ カメラ、２０８ メディアベース、２０９ 入力シート、３０１ ＣＰＵ、３０２画像処理部、３０３ カメラインターフェース、３０４ ディスプレイインターフェース、３０５ ネットワークインターフェース、３０６ ホームネットワークインターフェース、３０７ ＲＯＭ、３０８ ＲＡＭ、３０９ ＨＤＤ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information input method, an information input medium, and an information input device using image recognition.
[0002]
[Prior art]
Conventionally, as a device that enables input / output of multimedia information by combining the functions of existing AV (audio / visual) devices, information devices and communication devices, portable information terminals with communication functions and cameras with communication functions Various multimedia devices such as an integrated VTR (Video Tape Recorder) and a personal computer equipped with an AV function as well as a communication function are provided. Various multimedia devices are connected via a communication network such as Ethernet, token ring, and ATM, a wired communication network such as a public telephone line, or a wireless communication network such as infrared communication, wireless telephone communication, and satellite communication. Construction of multimedia system is in progress.
[0003]
In conventional multimedia devices, keyboards, mice, touch panels, dedicated controllers, microphones, and the like used as input devices for personal computers are used as input devices as they are.
[0004]
Conventionally, as shown in FIGS. 15A and 15B, for example, a code composed of binary codes arranged in a one-dimensional or two-dimensional direction, that is, a so-called bar code is used to identify a product or an article. The object was specified. FIG. 15A shows a one-dimensional barcode, and FIG. 15B shows a two-dimensional barcode.
[0005]
[Problems to be solved by the invention]
By the way, the operation methods for input devices such as keyboards, mice, touch panels, dedicated controllers, and microphones used in conventional multimedia devices are not suitable for human senses. It is difficult for a user who is not familiar with the operation method to intuitively understand the operation method, and specialized knowledge and training are required to master the operation method.
[0006]
Conventionally, the identification of an object using a one-dimensional or two-dimensional binary code code for identifying a product or article has been performed. The code itself is running out. A solution to this problem is to increase the number of digits of the code itself. However, the minimum amount of information per unit area is about 2 bits at most, and the exclusive area of the code increases as a whole. The exclusive area of the code is unfavorable because it takes away the surface area of the product or article that is the identification target, and increases the recognition time of the code.
[0007]
Therefore, an object of the present invention is to provide an information input method, an information input medium, and an information input device that can be easily operated without requiring the user to be aware of the hardware directly.
[0008]
Another object of the present invention is to provide an information input method, an information input medium, and an information input device capable of associating with specific information from a large amount of data by a simple user operation. is there.
[0009]
It is another object of the present invention to provide an information input method, an information input medium, and an information input device that can dramatically increase the number of identifications per unit area when identifying products or articles.
[0010]
[Means for Solving the Problems]
The present invention provides an image display area having an input information area in which input information input by designating an area is described, and an identification area described as identification image information in which an identification code of the input information is encoded And an image recognition means for recognizing the identification image information in the identification area based on the imaging information of the image display area imaged by the imaging means. And the image display area in a state where the identification code is specified based on the identification image information recognized by the image recognition means, and the area where the input information is described is selectively designated on the input information area. The input information selectively instructed on the input information area is recorded based on the imaging information of the image display area obtained by imaging the image by the imaging means. By specifying the specified area, an input instruction for selecting the input information area is received, and based on the received selection instruction for the input information area, information associated with the specified identification code is specified and input An information input method in an information input device having a processing means, wherein an image of the information recording medium has an identification area in which an identification code of the input information is described as identification image information encoded according to a rotation direction of an image pattern An identification code is identified by imaging the display area and determining the rotation direction of the image pattern based on the identification image information of the identification area that has been image-recognized. It is characterized by that.
[0013]
The present invention also provides: An image display area having an input information area in which input information input by designating an area is described and an identification area described as identification image information in which an identification code of the input information is encoded is provided Imaging means for imaging the image display area of the information input medium; image recognition means for recognizing identification image information of the identification area based on imaging information of the image display area imaged by the imaging means; An identification code is specified based on the identification image information image-recognized by the recognition means, and the image display area is selected in the state where the area where the input information is described is selectively designated on the input information area. An area in which the input information selectively instructed on the input information area is described based on the imaging information of the image display area obtained by imaging with An authentication processing means for accepting an instruction for selecting the input information area by identifying the input information area and identifying and inputting information associated with the identified identification code based on the accepted instruction for selecting the input information area; An information input medium in an information input device having an input information area in which input information selectively inputted by designating an area is described, and identification image information in which an identification code of the input information is encoded And an identification area described in the above, and an identification code of the input information is described in the identification area as identification image information encoded by the rotation direction of the image pattern. It is characterized by that.
[0015]
Furthermore, the information input device according to the present invention is: Entered by specifying the area An information input medium provided with an image display area having an input information area in which input information is described and an identification area described as identification image information in which an identification code of the input information is encoded, and the information input medium Imaging means for imaging the image display area, image recognition means for recognizing the identification image information of the identification area based on imaging information of the image display area captured by the imaging means, and an image by the image recognition means Identify the identification code based on the recognized identification image information, Obtained by imaging the image display area by the imaging means in a state where the area where the input information is described is selectively designated on the input information area Based on the imaging information of the image display area By specifying an area in which the input information selectively indicated on the input information area is described, The selection instruction for the input information area is received, and the information associated with the identified identification code is based on the received selection instruction for the input information area. Identify Authentication processing means as input and In the identification area of the information input medium, the identification code of the input information is described as identification image information encoded by the rotation direction of the image pattern, and the authentication processing means includes the image recognition means The identification code is identified by determining the rotation direction of the image pattern based on the identification image information of the identification area recognized by the It is characterized by that.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0017]
The present invention is implemented by an information input device 100 configured as shown in FIG. 1, for example. The information input device 100 illustrated in FIG. 1 includes an imaging unit 101, an image recognition unit 102, a control unit 103, a storage unit 104, and an output unit 105. Further, the control unit 103 is connected to the information distribution unit 106 and the external device 107 via communication lines 108 and 109 such as a network and a home bus. This information input device 100 is applied to a multimedia system having a configuration as shown in FIG. 2, for example.
[0018]
The imaging unit 101 images a recognition target pattern added on an object surface such as paper and an access instruction pattern performed by a user with a finger or the like. Specifically, it comprises a CCD video camera 201 installed on a viewer 205A in the multimedia system shown in FIG. The CCD video camera 201 images the input sheet 209 placed on the media base 208 on which the viewer 205A is erected.
[0019]
Here, the input sheet 209 is an information selection medium composed of paper or the like divided into five category areas A, B, C, D, and E as shown in FIG. In the first category area A of the input sheet 209, an authentication pictograph for authenticating that the sheet is a sheet for the information input device shown in FIG. 1 is described as a recognition target pattern. In the second category area B, an identification pictograph for associating this sheet with electronic information is described as a recognition target pattern. In the third category area C, position correction marks are described. In the fourth category area D, a mark for a user to make a selection instruction is described. In the fifth category area E, information content is described. The configuration of this sheet will be described in detail again later.
[0020]
Further, the image recognition unit 102 recognizes the image information captured by the imaging unit 101. It is provided in the control box 202 in the multimedia system shown in FIG. 2, and image information obtained as an imaging output of the input sheet 209 by the CCD video camera 201 is supplied. The image recognition unit 102 performs recognition processing and identification processing on the image information obtained as the imaging output of the input sheet 209 by the CCD video camera 201, and outputs the identification result and the authentication result to the control unit 103. . The image recognition unit 102 recognizes an input / selection instruction from the user at any time after association with information corresponding to a recognition result of a recognition target described later, and sends the recognition result to the control unit 103. Output.
[0021]
The control unit 103 is provided in the control box 202 in the multimedia system shown in FIG. 2, and controls transmission / reception of information between the units as follows.
[0022]
First, it is determined whether or not the recognition result of the recognition target of the image recognition unit 102 can be associated with the information stored in the storage unit 104. When the information stored in the storage unit 104 can be associated, the information stored in the storage unit 104 is associated. In other words, when the information can be associated with the information stored in its own device, the information is associated with the information. When the association with the information stored in the storage unit 104 cannot be performed, the recognition result of the recognition target of the image recognition unit 102 is transmitted to the information distribution unit 106 and the association result is received from the information distribution unit 106. In this case, the associated information is stored in the information distribution unit 106 or an information processing apparatus that exists in an external communication network connected to the information distribution unit 106. In this manner, after the association between the recognition result of the recognition target of the image recognition unit 102 and the corresponding information is obtained, the control unit 103 displays the information associated with the temporary storage unit provided in the control unit 103. Read. This read information includes display information to be output and displayed on the output unit 105, control information for controlling the external device 107, link information to other information, configuration information of the input sheet 209, and the like. Thereafter, authentication is performed for each input / selection instruction from the image recognition unit 102, the display screen is updated and the external device 107 is controlled, and the operation content and information distribution result are displayed on the output unit 105. .
[0023]
Here, various information read into the temporary storage part in the control part 103 mentioned above is demonstrated.
[0024]
The display information includes characters, images, layout information, sound information, and the like. The control unit 103 performs screen display on the output unit 105 and sound generation control based on the display information.
[0025]
The control information includes a control command for controlling the external device 107 when input / instructed by the user. The control unit 103 controls the external device 107 based on this information. For example, when the external device 107 is a VTR (Video Tape Recorder), playback control information, stop control information, fast-forward control information, rewind control information, pause control information, and the like for controlling the operation of the VTR are included.
[0026]
The link information includes an address for reading other information stored in the storage unit 104, the information distribution unit 106, or an external information processing apparatus connected to the communication network when input / instructed by the user. The control unit 103 performs processing for further reading other information based on the link information. For example, a URL (Uniform Resource Locator) used on the Internet can be used as the link information.
[0027]
The configuration information includes information indicating what is described in the category area D and the category area E of the information input sheet 209. On the sheet indicated by the user when an input / selection instruction is given by the user. And the next processing instruction corresponding to that position is included. For example, the position coordinates and the processing command for executing the control information or link information described above when the position is pointed by the user are described in association with each other.
[0028]
The storage unit 104 is provided in the control box 202 in the multimedia system shown in FIG. 2 and stores information associated with the recognition target pattern. As information stored in the storage unit 104, information for controlling the external device 107 is stored. These pieces of information are transferred to the storage unit 104 in advance using an external information processing apparatus or satellite communication connected to the network via the information distribution unit 106. By providing the storage unit 104 in the control box 202 in this way, it is possible to reduce network traffic and shorten the response time for user input / selection instructions.
[0029]
The output unit 105 includes a display, a speaker, a printer, and the like that output the operation contents according to the input / output instruction from the image recognition unit 102 and the information distribution result. In the multimedia system shown in FIG. 2, the output unit 105 includes a viewer 205A and a video scan converter 205B. The output unit 105 can also synthesize and output video outputs of various devices to be controlled, as shown in FIG. In FIG. 7, an image 710 indicating an operation function selected by the user is displayed on the left side of the display screen 700, and a display area of a right-pointing triangular playback command symbol 720 indicating a VTR playback command selected by the user is a network. It is displayed with hung. On the right side of the display screen 700, an image 730 output from the external device 107 as an information distribution result is displayed.
[0030]
The information distribution unit 106 is connected to the control unit 103 via a wired communication network such as an Ethernet, token ring, or ATM network, or a wireless communication network such as infrared communication, PHS communication, or satellite communication. The information distribution unit 106 is connected to the recognition target recognition result and the network when the control unit 103 cannot associate the recognition result of the recognition target of the image recognition unit 102 with the information stored in the storage unit 104. The information is stored in the external information processing apparatus. In the multimedia system shown in FIG.
[0031]
The external device 107 is a device controlled by the control unit 103 in accordance with an input / selection instruction. For example, in FIG. 2, the AV device 207A, VTR 208B, modem 207C, telephone 207D, and camera 207E are used. In addition, various electronic devices such as a computer and a game machine may be used. The external device 107 is connected to the control unit 103 by a wired communication line or a wireless communication line.
[0032]
FIG. 3 shows an example of the hardware configuration of the control box 202 of FIG. 2 includes a CPU (Central Processing Unit) 301, an image processing apparatus 302, a camera interface 303, a display interface 304, a network interface 305, a home network interface 306, a ROM (Read Only Memory) 307, a RAM (Random Access). Memory) 308, HDD (Hard Disk Drive) 309, and BUS 310.
[0033]
The CPU 301 controls the control box 202 based on a system program stored in the ROM 307 and a program expanded in the RAM 308. The CPU 301 is a device that implements part of the functions of the image recognition unit 102 and part of the control unit 103 in FIG.
[0034]
The image processing apparatus 302 inputs an image captured by the CCD video camera 201 via the camera interface 303 and performs various image processing such as image recognition processing. The image processing apparatus 302 is an apparatus that realizes part of the functions of the image recognition unit 102 in FIG. The camera interface 303 inputs an image captured by the CCD video camera 201, converts it into a signal format corresponding to the image processing apparatus 302, and outputs it.
[0035]
The display interface 304 receives display data processed by the CPU 301 and the image processing apparatus 302, converts the display data into a signal corresponding to the viewer 205A, and outputs the signal. The display interface 304 and the viewer 205A are devices that implement some of the functions of the output unit 105 in FIG.
[0036]
The network interface 305 is an interface for connecting to the workstation 206, and is thereby connected to an external network. The network interface 305 and the workstation 206 are devices that realize part of the functions of the information distribution unit 106 and the communication line 108 in FIG.
[0037]
The home network interface 306 is an interface for connecting to the external device 107. The CPU 301 controls the external devices 307A to 307E via the home network interface 306. The home network interface 306 and the external devices 307A to 307E are devices that realize some of the functions of the external device 107 and the communication line 109 in FIG.
[0038]
The ROM 307 stores programs and data necessary for the CPU 301 to execute various processes. The RAM 308 temporarily expands and stores programs and data necessary for the CPU 301 to execute various processes. The ROM 307 and the RAM 208 are devices that implement some of the functions of the control unit 103 in FIG.
[0039]
The HDD 309 stores information associated with the input sheet 209. The HDD 309 is a device that implements the functions of the storage unit 104 in FIG.
[0040]
These components 301 to 309 are connected to each other via the BUS 310, thereby realizing each function of the information input apparatus described with reference to FIG.
[0041]
Next, the input sheet 209 captured by the information input device described with reference to FIGS. 1 to 3 will be described with reference to FIG. As described above, the input sheet 209 is divided into five category areas A, B, C, D, and E.
[0042]
In the first category area A of the input sheet 209, an authentication pictogram for authenticating that the sheet is a sheet for the information input device described with reference to FIGS. 1 to 3 is described as a recognition target pattern. ing. The CPU 301 compares the authentication pictogram of the category area A imaged by the CCD video camera 201 and the comparison pictogram information stored in the ROM 307. If they match, the process proceeds to recognition of the category area B. To display.
[0043]
In the second category area B, an identification pictograph for associating this sheet with electronic information is described as a recognition target pattern. This identification pictograph is coded by the rotation direction of the pictograph having directionality. In this embodiment, the identification pictogram described as the recognition target pattern in the second category area B has one pictogram having an eight-direction rotation mode as shown in FIG. Eight types of codes are defined. Thus, for example, with four identification pictograms, the first identification pictogram rotation mode (= 8) × the second identification pictogram rotation mode (= 8) × the third identification pictogram rotation mode (= 8) × the number Rotation mode of 4 identification pictograms (= 8) = 8 Four = 4096 types of codes can be defined. For example, as shown in FIG. 5B, an identification pictogram string 500 in which four identification pictograms 510, 520, 530, and 540 are arranged represents a code of “2574”. That is, the first identification pictogram 510 indicates “2”, the second identification pictogram 520 indicates “5”, the third identification pictogram 530 indicates “7”, and the fourth identification pictogram 540 indicates “ 4 ".
[0044]
In the third category area C, position correction marks are described. The position correction mark is used to correct the position of an image picked up by the CCD video camera 201.
[0045]
In the fourth category area D, a mark for a user to make a selection instruction is described. By selecting this mark, the user can select information that is displayed in the viewer 205A but not displayed in the category area E of the input sheet. That is, the category area D is used for the user to issue a selection instruction when the selection information described in the category area E of the input sheet 209 is different from the selection information displayed on the viewer 205A.
[0046]
For example, as shown in FIG. 4, when the up / down / left / right arrow keys are assigned to the category area D, the user can move the cursor and determine the menu on the menu screen displayed on the viewer 205A. This can be done by pointing to any arrow diagram in D. In addition, although it demonstrated using the example in which the up-down / left-right arrow figure was described here, the mark described in the category area D is not restricted to this, For example, an input sheet is VTR and an audio system. In the case of a shared medium for control, buttons that can be used in common, such as a play button, a stop button, and a record button, may be assigned. That is, processing instructions (in the above example, cursor movement commands up and down, left and right, playback / stop / record commands in the above example) and position information assigned to the configuration information read into the temporary storage unit in the control unit 103 described above and position information If embedded, the embedded processing can be executed.
[0047]
In the fifth category area E, information content is described. The user can know what information can be accessed by using the input sheet by looking at the information described in the category area E. In addition, after the input sheet 209 is recognized by the information input device 100 illustrated in FIG. 1, the user performs predetermined processing on the control unit 103 by instructing information described in the category area E. Can be instructed. For example, in the input sheet 209 shown in FIG. 6, the user indicates the control command symbol 610, 620, 630, 640, 650 corresponding to the control button 600 described in the category area E, thereby causing the control unit 103 to perform VTR. For example, instructions such as playback, stop, pause, rewind, fast forward, and eject can be given. In addition, although it demonstrated using the example in which the control button of VTR was described here, the information content described in the category area E is not restricted to this, For example, the menu may be described. . In this case, when the user points the menu described in the category area E with a finger, the viewer 205A displays the next display screen corresponding to the selected menu. That is, a processing command (link information to VTR control information and display screen information to be displayed next) and position assigned to the category area E to the configuration information read into the temporary storage unit in the control unit 103 described above and the position If the information is embedded, the embedded processing can be executed.
[0048]
In the multimedia system configured as described above, authentication processing is performed to authenticate that the input sheet 209 is authentic with respect to image information obtained as an imaging output of the input sheet 209 by the CCD video camera 201. Identification processing for identifying the type of the regular input sheet 209 is performed by the image recognition unit 102.
[0049]
In the authentication process, image information obtained as an imaging output of the input sheet 209 by the CCD video camera 301 is subjected to position correction after performing preprocessing such as noise removal, density processing, threshold adjustment, and the like. For example, the center of gravity coordinates and the contour of the authentication pictogram described as the recognition target pattern in the first category area A in the upper center are extracted and matched with the authentication pictogram pattern.
[0050]
In the identification process, for example, as shown in the flowchart of FIG. 8, pre-processing (S801) such as noise removal, density processing, and threshold adjustment is performed on the image information obtained as the imaging output of the input sheet 209 by the CCD video camera 301 ) Is detected, based on the image information of the position correction marks described in the third category area C provided at the four corners of the input sheet 209, and the amount of the position shift is detected. A position correction process (S802) is performed by a coordinate system conversion process. Next, an identification pictogram extraction process (S803) described as a recognition target pattern in the second category area B of the input sheet 209 is performed, and a rotation pictogram code determination process (S804) is further performed.
[0051]
In the position correction process (S802), as shown in FIG. 9, a positional deviation from the reference position is detected from the image information obtained as the imaging output of the third category area C of the input sheet 209 by the CCD video camera 301. Position correction is performed by a coordinate system conversion process corresponding to the amount of displacement. In FIG. 9, as an imaging output of the third category area C of the input sheet 209 by the CCD video camera 301, a matching pattern 900 when the input sheet 209 is properly arranged, and a pattern in which the input sheet 209 is shifted to the upper left are shown. 910, a pattern 920 in which the input sheet 209 is shifted to the upper right is illustrated.
[0052]
In the identification pictogram extraction process (S803), from the image information obtained as the imaging output of the second category area B of the input sheet 209 by the CCD video camera 301, as shown in FIG. Find the rectangle circumscribing the barycentric coordinates. In FIG. 10, the center-of-gravity coordinates of each pictogram obtained by the identification pictogram extraction process (S803) are indicated by ◯, and the circumscribed rectangle is indicated by a broken line.
[0053]
Then, in the rotation pictogram code determination process (S804), by referring to the rotation pictogram direction feature table using the center of gravity coordinates obtained in the identification pictogram extraction process (S803) and the aspect ratio of the circumscribed rectangle as parameters, Find the direction of the emoji. Here, the direction feature table is represented as shown in Table 1. For example, if the aspect ratio of the circumscribed rectangle is 2.5 or more and the position of the center of gravity is in the upper half of the rectangle, the rotated pictogram faces downward. ”Is preliminarily formed based on the conditions indicating the characteristics in each direction. Then, based on the association between the rotated pictogram and the code shown in FIG. 5A, the rotated pictogram is converted into a code. Thereafter, the rotation pictogram codes obtained from the directions of the four pictograms are compared with the rotation pictogram code groups defined in advance as shown in FIG. 11, and the one with the shortest distance is identified as the rotation pictogram code of the input sheet 209. To do. The distance here represents the total sum of the differences between the elements of the rotating pictograph code. If the distance from the rotated pictogram code group exceeds a predetermined threshold value, the recognition target is not recognized as any code and cannot be recognized.
[0054]
[Table 1]
Figure 0003879208
[0055]
Then, the control unit 103 determines whether or not the recognition result of the recognition target of the image recognition unit 102 can be associated with the information stored in the storage unit 104. When the information stored in the storage unit 104 can be associated, the information stored in the storage unit 104 is associated. In other words, when the information can be associated with the information stored in its own device, the information is associated with the information. When the association with the information stored in the storage unit 104 cannot be performed, the recognition result of the recognition target of the image recognition unit 102 is transmitted to the information distribution unit 106 and the association result is received from the information distribution unit 106. In this case, the associated information is stored in the information distribution unit 106 or an information processing apparatus that exists in an external communication network connected to the information distribution unit 106. In this manner, after the association between the recognition result of the recognition target of the image recognition unit 102 and the corresponding information is obtained, the control unit 103 displays the information associated with the temporary storage unit provided in the control unit 103. Read.
[0056]
When the type of the regular input sheet 209 is identified as described above, it is read into a temporary storage unit provided in the control unit 103 in accordance with an input / selection instruction from the image recognition unit 102 thereafter. Process based on the information.
[0057]
In the input / selection instruction processing by the image recognition unit 102, as shown in the flowchart of FIG. 12, for example, noise removal is performed on image information obtained as an imaging result of the input / selection instruction on the input sheet 209 by the CCD video camera 301. Based on the image information of the position correction mark described in the third category area C provided at the four corners of the input sheet 209 after performing preprocessing (S1201) such as density processing and threshold adjustment. By detecting a position shift as shown in FIG. 9 and performing a position correction process (S1202) by a coordinate system conversion process according to the amount of the position shift, binary image information whose position has been corrected is obtained. Then, an input / selection instruction extraction process (S1203) is performed, and an input / selection instruction determination process (S1204) is further performed.
[0058]
In the position correction process (S1202), as illustrated in FIG. 9, the positional deviation from the reference position is detected from the image information obtained as the imaging output of the third category area C of the input sheet 209 by the CCD video camera 301. Then, position correction is performed by a coordinate system conversion process corresponding to the amount of positional deviation.
[0059]
In the input / selection instruction extraction process (S1203), the position-corrected grayscale image information in the area of the grayscale image where the input / selection instruction is detected is captured in advance in the original input sheet 209. For example, as shown in FIG. 13, a finger pattern is extracted as a difference image with an image, that is, an access instruction input pattern for giving an input / selection instruction, and a pixel distribution in a circumscribed rectangle and region is obtained.
[0060]
Further, in the input / selection instruction determination process (S1204), the finger entry direction is obtained from the pixel distribution on each side of the circumscribed rectangle obtained in the input / selection instruction extraction process (S1203), and the entry direction is determined according to the entry direction. Image scanning within the rectangle is performed to detect the position of the end point of the finger. Here, in order to determine the approach direction of the finger, it is determined by checking whether a large number of dark pixels are distributed on the side. Further, the category area E is divided into a plurality of blocks having a predetermined area, and the image scanning for detecting the end point position enters the pixel pixels in these blocks by the method shown in Table 2. Image scanning according to the direction is performed. By scanning an image of the block-divided area in this way, it becomes possible to detect an end point at a high speed with a limited scanning area.
[0061]
[Table 2]
Figure 0003879208
[0062]
Then, the detected end point position is converted into a corresponding command / information and transmitted to the control unit 103. In the example shown in FIG. 13, the position of the end point of the finger is converted into the corresponding area number “6”. In FIG. 13, the hatched area is a block in the category area E corresponding to the area number “6”.
[0063]
Thereafter, the control unit 103 executes processing corresponding to the area number “6” based on the configuration information of the input sheet 209 stored in the temporary storage area in the control unit 103.
[0064]
Therefore, in the information input device having such a configuration, the recognition target, which is a static medium, that is, the recognition target pattern described in the input sheet 209 is image-recognized to perform authentication processing and the information corresponding to the recognition target. Association is performed, and an access instruction input for the associated information is received by image recognition of the access instruction input pattern, and dynamic information can be provided to a recognition target that is a static medium.
[0065]
The recognition target pattern is not limited to the key shape in this embodiment, and may be any image recognizable pattern. For example, the shape and rotation direction of another recognition target pattern shown in FIG. By combining them, the types of the input sheet 209 can be defined infinitely.
[0066]
In addition, after the user recognizes the input sheet 209, the user can give the input / selection instruction by pointing the contents of the input / selection instruction described on the input sheet 209 with, for example, a finger. Information input / output / selection operation can be easily performed without needing to be conscious, and specific information from a large amount of data can be associated with the input / selection instruction content.
[0067]
Further, in the above-described embodiment, an example has been described in which a rotating pictograph code is recognized by using a rectangle circumscribing a barycentric coordinate of a gray value, but a rotation amount with respect to a template image prepared in advance is obtained by a matching process. You may do it.
[0068]
【The invention's effect】
In the present invention, an image display area having an input information area in which input information input by designating an area is described, and an identification area described as identification image information in which an identification code of the input information is encoded And an image recognition means for recognizing the identification image information in the identification area based on the imaging information of the image display area imaged by the imaging means. And the image display area in a state where the identification code is specified based on the identification image information recognized by the image recognition means, and the area where the input information is described is selectively designated on the input information area. The input information selectively instructed on the input information area is based on the imaging information of the image display area obtained by imaging by the imaging means. The input area is selected by specifying the loaded area, and the information associated with the specified identification code is specified and input based on the received input information area selection instruction. In the information input method in the information input device having the authentication processing means, the image display of the information recording medium having an identification area in which the identification code of the input information is described as identification image information encoded by the rotation direction of the image pattern Since the identification code is identified by imaging the region and determining the rotation direction of the image pattern based on the identification image information of the identification area that has been image-recognized, Easy operation without requiring the user to be aware of the hardware Can also By associating with specific information from a large amount of data by simple user operations In addition, by inputting information encoded according to the rotation direction of the image pattern, The number of identifications per unit area can be dramatically increased when identifying products and articles.
[0071]
In the present invention, An image display area having an input information area in which input information input by designating an area is described and an identification area described as identification image information in which an identification code of the input information is encoded is provided Imaging means for imaging the image display area of the information input medium; image recognition means for recognizing identification image information of the identification area based on imaging information of the image display area imaged by the imaging means; An identification code is specified based on the identification image information image-recognized by the recognition means, and the image display area is selected in the state where the area where the input information is described is selectively designated on the input information area. An area in which the input information selectively instructed on the input information area is described based on the imaging information of the image display area obtained by imaging with An authentication processing means for accepting an instruction for selecting the input information area by identifying the input information area and identifying and inputting information associated with the identified identification code based on the accepted instruction for selecting the input information area; An information input medium in an information input device having an input information area in which input information selectively inputted by designating an area is described, and identification image information in which an identification code of the input information is encoded Since the image display area having the identification area described as is provided, and the identification code of the input information is described in the identification area as identification image information encoded by the rotation direction of the image pattern, Users can input information easily without having to be aware of the hardware directly, and can be associated with specific information from a large amount of data by a simple user operation. Yes, and By inputting information encoded according to the rotation direction of the image pattern, the number of identifications per unit area can be dramatically increased when identifying products or articles.
[0073]
Furthermore, the information input device according to the present invention Is input by specifying the area An information input medium provided with an image display area having an input information area in which input information is described and an identification area described as identification image information in which an identification code of the input information is encoded, and the information input medium Imaging means for imaging the image display area, image recognition means for recognizing the identification image information of the identification area based on imaging information of the image display area captured by the imaging means, and an image by the image recognition means Identify the identification code based on the recognized identification image information, Obtained by imaging the image display area by the imaging means in a state where the area where the input information is described is selectively designated on the input information area Based on the imaging information of the image display area By specifying an area in which the input information selectively indicated on the input information area is described, The selection instruction for the input information area is received, and the information associated with the identified identification code is based on the received selection instruction for the input information area. Identify Authentication processing means as input and In the identification area of the information input medium, the identification code of the input information is described as identification image information encoded by the rotation direction of the image pattern, and the authentication processing means includes the image recognition means Since the identification code is specified by determining the rotation direction of the image pattern based on the identification image information of the identification area recognized by the Users can input information easily without having to be aware of the hardware directly, and can be associated with specific information from a large amount of data by a simple user operation. Yes, and By inputting information encoded according to the rotation direction of the image pattern, the number of identifications per unit area can be dramatically increased when identifying products or articles.
[0074]
Therefore, according to the present invention, it is possible to provide an information input method, an information input medium, and an information input device that can be easily operated without requiring the user to be aware of the hardware directly.
[0075]
Further, according to the present invention, it is possible to provide an information input method, an information input medium, and an information input device capable of dramatically increasing the number of identifications per unit area when identifying products or articles.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of an information input device.
FIG. 2 is a block diagram showing a configuration of a multimedia system to which the information input device shown in FIG. 1 is applied.
FIG. 3 is a block diagram illustrating a hardware configuration of the information input device illustrated in FIG. 1;
FIG. 4 is a plan view showing a configuration of an input sheet in the information input device.
FIG. 5 is a diagram illustrating an example of code assignment of rotating pictograph codes described on an input sheet.
FIG. 6 is a plan view showing an example of an input sheet in the information input device.
7 is a diagram illustrating an output example by an output unit of the information input device using the input sheet in FIG. 6;
FIG. 8 is a flowchart illustrating a recognition target identification process performed by an image recognition unit of the information input device.
FIG. 9 is a diagram illustrating a positional deviation amount detected by position correction by an image recognition unit of the information input device.
FIG. 10 is a diagram showing the centroid and circumscribed rectangle of each pictogram extracted by the rotating pictogram extraction process in the recognition target identification process.
FIG. 11 is a diagram illustrating a part of a predefined rotated pictogram code group used in a determination process of a rotated pictogram code in a recognition target identification process.
FIG. 12 is a flowchart illustrating a procedure of input / selection instruction processing in an image recognition unit of the information input device.
FIG. 13 is a diagram showing an access instruction input pattern for giving an input / selection instruction extracted in an input / selection instruction extraction process by an image recognition unit of the information input device;
FIG. 14 is a diagram illustrating another example of the rotated pictogram described on the input sheet.
FIG. 15 is a diagram illustrating an example of a barcode.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 101 Image pick-up part, 102 Image recognition part, 103 Control part, 104 Storage part, 105 Output part, 106 Information distribution part, 107 External device, 210 CCD camera, 202 Control box, 205A Viewer, 205B Video scan converter, 206 Workstation, 207A Video controller, 207B VTR, 207C modem, 207D telephone, 207E camera, 208 media base, 209 input sheet, 301 CPU, 302 image processing unit, 303 camera interface, 304 display interface, 305 network interface, 306 home network interface, 307 ROM, 308 RAM, 309 HDD

Claims (12)

領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体の上記画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有する情報入力装置における情報入力方法であって、
上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載された識別エリアを有する上記情報記録媒体の画像表示領域を撮像し、画像認識された上記識別エリアの識別画像情報に基づいて上記画像パターンの回転方向を判別することにより識別コードを特定することを特徴とする情報入力方法。 An image display area having an input information area in which input information input by designating an area is described and an identification area described as identification image information in which an identification code of the input information is encoded is provided Imaging means for imaging the image display area of the information input medium; image recognition means for recognizing identification image information of the identification area based on imaging information of the image display area imaged by the imaging means; An identification code is specified based on the identification image information image-recognized by the recognition means, and the image display area is selected in the state where the area where the input information is described is selectively designated on the input information area. An area in which the input information selectively instructed on the input information area is described based on the imaging information of the image display area obtained by imaging with An authentication processing means for accepting an instruction for selecting the input information area by identifying the input information area and identifying and inputting information associated with the identified identification code based on the accepted instruction for selecting the input information area; An information input method in an information input device having:
An image display area of the information recording medium having an identification area described as identification image information in which the identification code of the input information is encoded according to the rotation direction of the image pattern is captured, and the identification image of the identification area recognized as an image An information input method for identifying an identification code by determining a rotation direction of the image pattern based on information. 位置補正を行うための位置補正マークが記載された位置補正エリアをさらに有する上記情報記録媒体の画像表示領域を撮像し、撮像された上記位置補正エリアの撮像情報に基づいて上記画像表示領域の撮像情報の位置補正処理を行い、撮像された上記識別エリアの識別画像情報を画像認識することを特徴とする請求項１記載の情報入力方法。  An image display area of the information recording medium further having a position correction area in which a position correction mark for performing position correction is described is picked up, and the image display area is picked up based on the picked-up image information of the position correction area. The information input method according to claim 1, wherein an information position correction process is performed, and the identification image information of the imaged identification area is recognized. 上記情報入力媒体は、情報を選択するためのマークが記述された操作エリアを上記画像表示領域にさらに有し、
上記操作エリア上で上記マークが選択指示された状態で上記情報記録媒体の画像表示領域を撮像し、
上記画像表示領域の撮像情報に基づいて、選択指示された上記マークを特定することにより、上記操作エリアに記載されたマークに対応した選択情報による上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とすることを特徴とする請求項１記載の情報入力方法。 The information input medium further includes an operation area in which a mark for selecting information is described in the image display area,
The image display area of the information recording medium is imaged in a state where the mark is selected on the operation area ,
Based on the imaging information of the image display area, by specifying the mark that has been instructed to be selected, an instruction to select the input information area based on the selection information corresponding to the mark described in the operation area is received and received. 2. The information input method according to claim 1, wherein information associated with the specified identification code is specified and input based on an input information area selection instruction. （元の請求項５）
情報入力媒体の種別を判別するためのマークが当該情報入力媒体の正当性を判断可能に記述された判別エリアをさらに有する上記情報記録媒体の画像表示領域を撮像し、撮像された上記判別エリアの撮像情報に基づいて、上記マークのパターン認識により情報記録媒体の正当性を判断する処理を行い、正当性を認めた場合に、上記入力情報エリアの選択指示に基づき、上記特定された識別コードに関連付けた情報を入力とすることを特徴とする請求項１記載の情報入力方法。(Original claim 5)
An image display area of the information recording medium further having a discrimination area in which a mark for discriminating the type of the information input medium is described so that the legitimacy of the information input medium can be judged is captured. Based on the imaging information, the process of judging the validity of the information recording medium by pattern recognition of the mark is performed, and when the validity is recognized, the identification code specified above is applied based on the input information area selection instruction. The information input method according to claim 1, wherein the associated information is input. 領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体の上記画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示 を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有する情報入力装置における情報入力媒体であって、
領域を指定することにより選択的に入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられ、
上記識別エリアには、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載されていることを特徴とする情報入力媒体。 An image display area having an input information area in which input information input by designating an area is described and an identification area described as identification image information in which an identification code of the input information is encoded is provided Imaging means for imaging the image display area of the information input medium; image recognition means for recognizing identification image information of the identification area based on imaging information of the image display area imaged by the imaging means; An identification code is specified based on the identification image information image-recognized by the recognition means, and the image display area is selected in the state where the area where the input information is described is selectively designated on the input information area. An area in which the input information selectively instructed on the input information area is described based on the imaging information of the image display area obtained by imaging with By identifying, accepting a selection instruction of the input information area, based on the selection instruction received the input information area, and the authentication processing means for the input to identify the information associated with the identification code specified above An information input medium in an information input device having
An image display area having an input information area in which input information selectively input by designating an area is described, and an identification area described as identification image information in which an identification code of the input information is encoded Provided,
In the identification area, the identification code of the input information is described as identification image information encoded by the rotation direction of the image pattern. 上記画像表示領域には、画像認識するための位置補正を行うための位置補正マークが記載された位置補正エリアをさらに有することを特徴とする請求項５記載の情報入力媒体。6. The information input medium according to claim 5 , wherein the image display area further includes a position correction area in which position correction marks for performing position correction for image recognition are described. 上記画像表示領域には、上記入力情報エリアを選択指示するためのマークが記述された操作エリアをさらに有することを特徴とする請求項５記載の情報入力媒体。6. The information input medium according to claim 5 , wherein the image display area further includes an operation area in which a mark for selecting and instructing the input information area is described. 上記画像表示領域には、情報入力媒体の種別を判別するためのマークが記述された判別エリアをさらに有することを特徴とする請求項５記載の情報入力媒体。6. The information input medium according to claim 5 , wherein the image display area further includes a determination area in which a mark for determining the type of the information input medium is described. 領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体と、
上記情報入力媒体の画像表示領域を撮像する撮像手段と、
上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、
上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有し、
上記情報入力媒体の識別エリアには、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載されており、上記認証処理手段は、上記画像認識手段により画像認識された上記識別エリアの識別画像情報に基づいて上記画像パターンの回転方向を判別することにより識別コードを特定することを特徴とする情報入力装置。An image display area having an input information area in which input information input by designating an area is described and an identification area described as identification image information in which an identification code of the input information is encoded is provided An information input medium;
Imaging means for imaging an image display area of the information input medium;
Image recognition means for recognizing the identification image information of the identification area based on the imaging information of the image display area imaged by the imaging means;
An identification code is specified based on the identification image information image-recognized by the image recognition means , and the image display area is set in the state where the area where the input information is described is selectively designated on the input information area. Based on the imaging information of the image display area obtained by imaging by the imaging means , the input information area is specified by specifying an area in which the input information instructed selectively is described on the input information area. Authentication processing means for specifying and inputting information associated with the identified identification code based on the received selection instruction for the input information area ,
In the identification area of the information input medium, the identification code of the input information is described as identification image information encoded by the rotation direction of the image pattern, and the authentication processing means is image-recognized by the image recognition means. An identification code is specified by identifying a rotation direction of the image pattern based on identification image information of the identification area . 上記情報入力媒体は、位置補正を行うための位置補正マークが記載された位置補正エリアを上記画像表示領域にさらに有し、上記画像認識手段は、上記撮像手段により撮像された上記位置補正エリアの位置補正マークの撮像情報に基づいて上記画像表示領域の撮像情報の位置補正を行って、上記識別エリアの識別画像情報を画像認識することを特徴とする請求項９記載の情報入力装置。The information input medium further includes a position correction area in which a position correction mark for performing position correction is described in the image display area, and the image recognition unit is configured to store the position correction area captured by the imaging unit. The information input device according to claim 9, wherein the position of the imaging information in the image display area is corrected based on the imaging information of the position correction mark, and the identification image information in the identification area is recognized. 上記情報入力媒体は、情報を選択するためのマークが記述された操作エリアを上記画像表示領域にさらに有し、
上記操作エリア上で上記マークが選択指示された状態で上記撮像手段により上記情報記録媒体の画像表示領域を撮像し、
上記認証処理手段は、上記撮像手段による上記画像表示領域の撮像情報に基づいて、選択指示された上記マークを特定することにより、上記操作エリアに記載されたマークに対応した選択情報による上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とすることを特徴とする請求項９記載の情報入力装置。The information input medium further includes an operation area in which a mark for selecting information is described in the image display area,
The image display area of the information recording medium is imaged by the imaging means in a state where the mark is selected on the operation area ,
The authentication processing unit identifies the mark that is instructed to be selected based on imaging information of the image display area by the imaging unit, and thus the input information based on selection information corresponding to the mark described in the operation area. 10. The information input device according to claim 9 , wherein an area selection instruction is received, and information associated with the identified identification code is specified and input based on the received input information area selection instruction. . 上記情報入力媒体は、情報入力媒体の種別を判別するためのマークが当該情報入力媒体の正当性を判断可能に記述された判別エリアを上記画像表示領域にさらに有し、
上記画像認識手段は、上記撮像手段により撮影された上記判別エリアの撮像情報に基づいて、上記マークのパターン認識により情報記録媒体の正当性を判断する処理を行い、正当性を認めた場合に、上記入力情報エリアの選択指示に基づき、上記特定された識別コードに関連付けた情報を入力とすることを特徴とする請求項９記載の情報入力装置。The information input medium further includes a determination area in which the mark for determining the type of the information input medium is described so that the validity of the information input medium can be determined in the image display area,
The image recognition means performs a process of judging the validity of the information recording medium by pattern recognition of the mark based on the imaging information of the discrimination area photographed by the imaging means, and when the validity is recognized, 10. The information input device according to claim 9 , wherein information associated with the identified identification code is input based on an instruction to select the input information area.
JP32492397A 1996-11-26 1997-11-26 Information input method, information input medium, and information input device Expired - Fee Related JP3879208B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32492397A JP3879208B2 (en) 1996-11-26 1997-11-26 Information input method, information input medium, and information input device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP31528996 1996-11-26
JP8-315289 1996-11-26
JP32492397A JP3879208B2 (en) 1996-11-26 1997-11-26 Information input method, information input medium, and information input device

Publications (2)

Publication Number Publication Date
JPH10214318A JPH10214318A (en) 1998-08-11
JP3879208B2 true JP3879208B2 (en) 2007-02-07

Family

ID=26568251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32492397A Expired - Fee Related JP3879208B2 (en) 1996-11-26 1997-11-26 Information input method, information input medium, and information input device

Country Status (1)

Country Link
JP (1) JP3879208B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003007137A1 (en) 2001-07-12 2004-11-04 ソニー株式会社 Information input / instruction method and information input / instruction device
JP4048836B2 (en) * 2002-05-24 2008-02-20 ソニー株式会社 Terminal device, content acquisition method of terminal device, and server
JP4211415B2 (en) * 2002-07-10 2009-01-21 ソニー株式会社 Terminal device and content acquisition method thereof
JP4114444B2 (en) 2002-09-09 2008-07-09 ソニー株式会社 Terminal device and communication method
JP4306250B2 (en) * 2003-01-08 2009-07-29 ソニー株式会社 Information processing apparatus, information processing method, and computer program
JP2008052403A (en) * 2006-08-23 2008-03-06 Univ Of Tokyo Pattern with coded two-dimensional location information and location identification system and method using the pattern

Also Published As

Publication number Publication date
JPH10214318A (en) 1998-08-11

Similar Documents

Publication Publication Date Title
JP4304729B2 (en) Information input method and information input device
TWI397835B (en) Input device, control method of input device, and program
KR100698976B1 (en) Information input method and information input device
EP2339536B1 (en) Image processing system, image processing apparatus, image processing method, and program
TWI428798B (en) Information processing devices, information processing methods and program products
US20070018966A1 (en) Predicted object location
CN101160950B (en) Image processing device, image processing method
CN107408133B (en) Image management apparatus, image management method, image management program, and presentation system
CN106412410A (en) Mobile terminal and method for controlling the same
KR20150029253A (en) A method for automatically authenticating a user and a electronic device therefor
JP3819096B2 (en) User interface device and operation range presentation method
JP3804212B2 (en) Information input device
JP2007122400A (en) Authentication device, program, and recording medium
JP3879208B2 (en) Information input method, information input medium, and information input device
JP2000207489A (en) Character extracting method and device and record medium
JPH07220026A (en) Method and device for picture processing
JPH1166310A (en) Device and method for detecting amount of image feature and record medium recording amount of image feature extraction program
JP2004280205A (en) Input device
JP3903540B2 (en) Image extraction method and apparatus, recording medium on which image extraction program is recorded, information input / output / selection method and apparatus, and recording medium on which information input / output / selection processing program is recorded
KR19980042731A (en) Information input method and device
JP2003337937A (en) Terminal device with fingerprint sensor
JP2001202174A (en) Image display device, method and storage medium
CN107609452A (en) Processing method and processing device
JP2957729B2 (en) Line direction determination device
JPH11250221A (en) Method and device for photographing facial picture

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040430

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060502

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060725

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061030

LAPS Cancellation because of no payment of annual fees