しかし、前記従来技術を用いて、機器への情報入力を行う場合、ユーザが入力を所望する特定の情報(以下、特定情報という)が機器に入力されるようにするためには、印刷媒体や画面上に表示されるコンテンツ上に、予めマスク領域を定義し、マスク領域に特定情報に対応するドットコードを埋め込んだドットパターンを印刷または表示すると共に、ドットコードに対応した特定の情報を定義したドットコード・特定情報対応テーブルを作成しておく手間がかかった。
また、特定情報の関連情報を機器に表示させる場合、前記のドットコード・特定情報対応テーブルに代えて、ドットコードに対応した関連情報の存在するアドレスを示すドットコード・アドレス対応テーブルを予め作成する手間がかかった。
また、画面上に表示されるHTML等により記述されたコンテンツの場合、ハイパーリンク等が設定されていない特定情報に対しては、ユーザがキーボード入力等により処理したい特定情報の入力を明示的に行わない限り、その特定情報を処理することは出来なかった。
本発明はこのような点に鑑みてなされたものであり、印刷されたまたは画面表示された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来る情報入力装置を提供することを技術的課題とする。
(1) 本発明に係る情報入力装置は、前記課題を解決するために、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、前記2次元書式情報が印刷された媒体上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記媒体上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、前記2次元書式情報のxy座標系における座標値(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、を備えたことを特徴としている。
2次元書式情報とは、印刷物を作成する際に、基の電子データとなるDTP(Desk Top Publishing)データ等のことである。DTPデータ以外に、HTML、フラッシュ等で作成されたコンテンツデータでもよいし、CADデータ、地図データでもよい。
特定情報とは、2次元書式情報に含に含まれる、テキスト、図表、イラスト、写真等の情報であり、構文解析および画像解析により識別される単位である。
例えば、ワードプロセッサにより、東京タワーとビルと空とが写った写真と、「花の都 東京」というテキストとをレイアウトした印刷物を作成する場合、そのワードプロセッサにより作成された電子データが2次元書式情報であり、電子データに含まれる写真およびテキストが特定情報である。また、写真は、画像解析により、東京タワー、ビル、空に分解され、テキストは、「花の都」、「東京」、「花」、「都」、「東」、「京」に分解され、それぞれ特定情報となる。
選択用位置情報とは、ユーザがタッチした位置により、印刷物上の特定情報を選択するために用いられる情報であり、例えば、DTPデータ上において、語句「東京」がレイアウトされる領域の中心座標値である。
解析され、選択用位置情報が設定された特定情報を含む2次元書式情報は、2次元書式情報保管選択手段において保管される。
識別情報とは、2次元書式情報を一意に特定するための情報であり、例えば、DTPデータのファイル名であってもよいし、予め決めたドキュメントIDを用いてもよい。また、URLであってもよい。
媒体上には、前記の例では、写真とテキストとが印刷されており、それに重ねて、XY座標値および/またはコード値をパターン化したドットパターンが重畳印刷されている。
前記の構成によれば、ユーザが、媒体上の入力したい情報の上を、ドットパターン読み取り手段を用いて、タッチすると、タッチ位置のXY座標値および/またはコード値が読み込まれる。次に、読み込まれたXY座標値および/またはコード値から、ユーザがタッチした媒体が特定され、その媒体に対応した2次元書式情報が、2次元書式情報保管選択手段から取り出される。次に、取り出された2次元書式情報とタッチ位置の媒体上のXY座標値とから、座標変換手段が、2次元書式情報上におけるタッチ位置のxy座標値を計算する。次に、特定情報選択手段が、2次元書式情報上のxy座標系により表されたタッチ位置の座標と、2次元書式情報内の各特定情報が有している選択用位置情報とを用いて、所定のアルゴリズムにより、タッチ位置の特定情報を選択し、情報入力装置への入力とする。それ故、印刷された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来るという効果を奏する。
(2) 本発明に係る情報入力装置では、前記識別情報は、前記媒体上に印刷された前記ドットパターンの前記コード値であり、前記ドットパターンのXY座標値が印刷されている領域の少なくとも一部に、該ドットパターンのXY座標値と共に印刷されるか、または該領域とは異なる領域に印刷されることが好ましい。
前記の構成によれば、前記識別情報が前記コード値であることにより、ユーザのタッチ操作により識別情報が読み込まれるため、ユーザが別途識別情報を入力する手間が省けるというさらなる効果を奏する。
また、識別情報を印刷する場所を調整することにより、ユーザがタッチする位置により、読み込まれる情報を調整することが出来るというさらなる効果を奏する。
(3) 本発明に係る情報入力装置では、前記識別情報は、前記2次元書式情報を一意に識別する、前記ドットパターンのXY座標値であり、該XY座標値は、前記ドットパターンのXY座標値が印刷される領域の全体に印刷されることが好ましい。
前記の構成によれば、広大なXY座標面を分割し、各DTPデータが使用する領域を、領域同士が重ならないように予め定めておけば、いずれのXY座標値を用いているかにより、DTPデータを識別することが出来る。
前記識別情報が2次元書式情報を一意に識別する、前記ドットパターンのXY座標値であることにより、識別情報をコード値としてドットパターンに含める処理が不要になるというさらなる効果を奏する。
(4) 本発明に係る情報入力装置では、前記媒体は、前記ドットパターン読み取り手段が備えた赤外線照射手段から照射された赤外線を拡散反射する構造であり、前記2次元書式情報は、赤外線透過材料または赤外線反射材料からなるインクを用いて前記媒体に印刷されており、前記ドットパターンは、赤外線吸収材料からなるインクを用いて前記媒体に印刷されていることが好ましい。
前記の構成によれば、前記媒体が赤外線を拡散反射することにより、鏡面反射時に起こる反射ムラを防ぐことが出来るというさらなる効果を奏する。
また、前記ドットパターンが、赤外線吸収材料からなるインクを用いて印刷されていることにより、ドットパターン読み取り手段により撮影される画像において、ドットとそれ以外の部分のコントラスト比を強め、確実にドットパターンが読み取られる様に出来るというさらなる効果を奏する。
(5) 本発明に係る情報入力装置は、前記課題を解決するために、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、ディスプレイに表示するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、前記2次元書式情報が表示されるディスプレイと、前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、を備えたことを特徴としている。
2次元書式情報とは、ディスプレイに表示されるコンテンツの電子データとなるコンテンツデータ等のことである。
選択用位置情報とは、ユーザがタッチした位置により、ディスプレイ上の特定情報を選択するために用いられる情報である。
ディスプレイ上には、コンテンツが表示されており、それに重ねて、XY座標値および/またはコード値をパターン化したドットパターンが表示されている。
前記の構成によれば、ユーザが、ディスプレイ上の入力したい情報の上を、ドットパターン読み取り手段を用いて、タッチすると、タッチ位置のXY座標値および/またはコード値が読み込まれる。次に、読み込まれたXY座標値および/またはコード値から、ユーザがタッチしたコンテンツが特定され、そのコンテンツの2次元書式情報が、2次元書式情報保管選択手段から取り出される。次に、取り出された2次元書式情報とタッチ位置のディスプレイ上のXY座標値とから、座標変換手段が、2次元書式情報上におけるタッチ位置のxy座標値を計算する。次に、特定情報選択手段が、2次元書式情報上のxy座標系により表されたタッチ位置の座標と、2次元書式情報内の各特定情報が有している選択用位置情報とを用いて、所定のアルゴリズムにより、タッチ位置の特定情報を選択し、情報入力装置への入力とする。それ故、ディスプレイ上に表示された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来るという効果を奏する。
(6) 本発明に係る情報入力装置では、前記識別情報は、前記ディスプレイ上に表示された前記ドットパターンの前記コード値であり、前記ドットパターンのXY座標値が表示されている領域の少なくとも一部に、該ドットパターンのXY座標値と共に表示されるか、または該領域とは異なる領域に表示されることが好ましい。
前記の構成によれば、前記識別情報が前記コード値であることにより、ユーザのタッチ操作により識別情報が読み込まれるため、ユーザが別途識別情報を入力する手間が省けるというさらなる効果を奏する。
(7) 本発明に係る情報入力装置では、前記識別情報は、前記2次元書式情報を一意に識別する、前記ドットパターンのXY座標値であり、該XY座標値は、前記ドットパターンのXY座標値が表示される領域の全体に表示されることが好ましい。
前記の構成によれば、前記識別情報が2次元書式情報を一意に識別する、前記ドットパターンのXY座標値であることにより、識別情報をコード値としてドットパターンに含める処理が不要になるというさらなる効果を奏する。
(8) 本発明に係る情報入力装置では、前記ディスプレイは、前記ドットパターン読み取り手段が備えた赤外線照射手段から照射された赤外線を前記ドットパターンのドット部が吸収または透過する構造であり、前記ドット部を除く領域は、前記赤外線を拡散反射する構造であることが好ましい。
前記の構成によれば、前記ディスプレイのドット部以外の領域は、赤外線を拡散反射することにより、鏡面反射時に起こる反射ムラを防ぐことが出来るというさらなる効果を奏する。
また、前記ドット部が、赤外線を吸収または透過する構造であることにより、ドットパターン読み取り手段により撮影される画像において、ドットとそれ以外の部分のコントラスト比を強め、確実にドットパターンが読み取られる様に出来るというさらなる効果を奏する。
(9) 本発明に係る情報入力装置では、前記ディスプレイは、画面上に表示されるピクセルのRGB値を調整することにより、前記ドットパターンのドットを表すことが好ましい。
前記の構成によれば、前記ディスプレイは、画面上に表示されるピクセルのRGB値を調整することにより、前記ドットパターンのドットを表すので、特殊なディスプレイではなく、汎用のディスプレイを用いることが出来るというさらなる効果を奏する。
(10) 本発明に係る情報入力装置は、前記課題を解決するために、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンが印刷され、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、前記2次元書式情報が、印刷された媒体上または表示されるディスプレイ上に、配置または貼付された情報入力補助シートと、前記媒体または前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記情報入力補助シートを透して、前記媒体または前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、または、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、
前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、
を備えたことを特徴としている。
情報入力補助シートは、透明なシートであり、ドットパターンが印刷等により設けられている。コンテンツが印刷された媒体またはコンテンツが表示されたディスプレイと重ね合わせて用いられる。ユーザは、媒体またはディスプレイ上の特定情報を入力するために、情報入力補助シートの上から、ドットパターン読み取り手段により、所望の特定情報をタッチする。
前記の構成によれば、ユーザが、必要に応じ、印刷または表示されたコンテンツを特定する情報を入力する。そのコンテンツに対応した2次元書式情報が、2次元書式情報保管選択手段から取り出される。次に、ユーザが、入力したい情報の上を、ドットパターン読み取り手段を用いて、情報入力補助シートを透してタッチすると、タッチ位置のXY座標値および/またはコード値が読み込まれる。次に、取り出された2次元書式情報とタッチ位置の情報入力補助シート上のXY座標値とから、座標変換手段が、2次元書式情報上におけるタッチ位置のxy座標値を計算する。次に、特定情報選択手段が、2次元書式情報上のxy座標系により表されたタッチ位置の座標と、2次元書式情報内の各特定情報が有している選択用位置情報とを用いて、所定のアルゴリズムにより、タッチ位置の特定情報を選択し、情報入力装置への入力とする。それ故、本や雑誌、新聞等の印刷物に直接ドットパターンを印刷しなくても、印刷または表示された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来るという効果を奏する。
(11) 本発明に係る情報入力装置では、前記情報入力補助シートには、前記媒体上に印刷されたまたは前記ディスプレイ上に表示された前記2次元書式情報を特定するためのインデックスを、ユーザが入力するための複数のアイコンが、前記ドットパターンと共に印刷されており、前記2次元書式情報保管選択手段は、前記ドットパターン読み取り手段を用いて該アイコンがタッチされることにより入力された該インデックスを前記識別情報に変換し、変換された該識別情報を用いて、前記2次元書式情報を選択することが好ましい。
前記の構成によれば、情報入力補助シートには、インデックスが設けられているので、ユーザは、簡単に識別情報を入力することが出来るというさらなる効果を奏する。
(12) 本発明に係る情報入力装置では、前記情報入力補助シートは、一面側からの赤外線を拡散反射すると共に、可視光を透過する特性を有する赤外線拡散反射層と、前記赤外線拡散反射層の一面側に設けられ、赤外線を吸収する特性を有する材料からなる、前記ドットパターンのドットを、配列したドットパターン層と、前記ドットパターン層の、赤外線拡散反射層と反対側に設けられ、赤外線および可視光を透過する特性を有する保護層とが積層されていることが好ましい。
前記の構成によれば、前記情報入力補助シートは、一面側からの赤外線を拡散反射するので、鏡面反射による画像のムラを防ぐことが出来るというさらなる効果を奏する。また、外側に保護層が設けられているので、タッチ操作によるドット部の摩耗や汚れ等により、ドットパターンの読み取りが困難になることを防ぐというさらなる効果を奏する。
(13) 本発明に係る情報入力装置では、前記情報入力補助シートは、それぞれの面へ入射した赤外線を拡散反射すると共に、可視光を透過する特性を有する赤外線拡散反射層と、前記赤外線拡散反射層の両面に設けられ、赤外線を吸収する特性を有する材料からなる、前記ドットパターンのドットを、配列したドットパターン層と、前記ドットパターン層のそれぞれのさらに外側に設けられ、それぞれの方向から入射した赤外線および可視光を透過する特性を有する保護層とが積層されており、前記ドットパターン層のそれぞれに配列された前記ドットパターンにパターン化された座標値および/またはコード値は、互いに同一であるかまたは互いに異なることが好ましい。
前記の構成によれば、前記情報入力補助シートは、その両面にドットパターンが設けられているので、両面のドットパターンが異なる場合は、1つの媒体またはディスプレイに対して、2種類のドットパターンを利用することができ、両面のドットパターンが同じ場合は、片面のドットパターンが使用不可能になっても、もう1面を利用することが出来るというさらなる効果を奏する。
(14) 本発明に係る情報入力装置では、前記ドットパターン層またはその他の層には、赤外線を透過するかまたは反射する特性を有する材料からなるインクを用いて、テキスト、図表、イラスト、写真等が重畳印刷されていることが好ましい。
前記の構成によれば、前記情報入力補助シートには、テキスト、図表、イラスト、写真等が重畳印刷されているので、ユーザが情報入力補助シートにタッチする際のガイドとなり、ユーザの操作性を高めることが出来るというさらなる効果を奏する。
(15) 本発明に係る情報入力装置では、前記所定の操作は、ユーザが、前記ドットパターン読み取り手段を用いて、可視化された前記特定情報にタッチする操作であることが好ましい。
(16) 本発明に係る情報入力装置では、前記所定の操作は、ユーザが、前記ドットパターン読み取り手段を用いて、可視化された前記特定情報にタッチし、該特定情報上をなぞる操作であることが好ましい。
(17) 本発明に係る情報入力装置では、前記所定の操作は、ユーザが、前記ドットパターン読み取り手段を用いて、可視化された前記特定情報にタッチし、該特定情報が表示された領域をなぞって囲む操作であることが好ましい。
(18) 本発明に係る情報入力装置では、前記特定情報選択手段は、前記特定情報が表示された領域をなぞって囲む前記操作により得られた軌跡に対応する、前記2次元書式情報のxy座標系における複数の座標値(xt,yt)により囲まれた、前記選択用位置情報を有する特定情報を選択し、前記特定情報が複数ある場合は、前記特定情報の候補を表示し選択するか、または所定のアルゴリズムにより1つの前記特定情報を選定することが好ましい。
前記の構成によれば、特定情報選択手段は、囲まれた選択用位置情報を有する特定情報を選択すればよいので、タッチ操作により得られる1点のみの座標値により特定情報を選択する場合に比較し、より確実に、ユーザの所望する特定情報を選択することが出来るというさらなる効果を奏する。
(19) 本発明に係る情報入力装置では、前記特定情報は、該特定情報が、1つの語句でありかつ該語句を構成する文字間が離れている場合、該文字ごとに、前記選択用位置情報を有し、該特定情報が、1つの図表、イラスト、写真等でありかつこれらを構成するオブジェクトが複数ある場合、該オブジェクトごとに、前記選択用位置情報を有することが好ましい。
前記の構成によれば、前記特定情報は、位置が離れた文字ごとに、また図表、イラスト、写真ごとに、選択用位置情報を持つので、それらの特定情報を確実に選択できるというさらなる効果を奏する。
(20) 本発明に係る情報入力装置では、前記選択用位置情報は、特定情報である語句または該語句を構成する各文字の中心座標値であるか、または特定情報である図表、イラスト、写真等、またはそれらを構成するオブジェクトの図心座標値であることが好ましい。
前記の構成によれば、ユーザが、所望する特定情報の中心を指定する操作を行うことにより、その特定情報を確実に選択できるというさらなる効果を奏する。
(21) 本発明に係る情報入力装置では、前記選択用位置情報は、特定情報である語句または該語句を構成する各文字の高さ方向の、中央または任意の位置における該語句または該文字の幅を示す線分の、始点座標値(xi1,yi1)および終点座標値(xi2,yi2)の組み合わせであり、前記特定情報選択手段は、前記タッチ位置の座標値(xt,yt)から該線分までの距離が、任意の距離内でありかつ最も近い線分を有する前記特定情報を選択することが好ましい。
前記の構成によれば、選択用位置情報が線分により表されるので、タッチ位置の座標値との距離の計算が簡潔になるというさらなる効果を奏する。
(22) 本発明に係る情報入力装置では、前記選択用位置情報は、前記特定情報である語句または該語句を構成する各文字を囲むマスク内に含まれる全ての座標値(xia,yia)の集合であるか、または前記特定情報である図表、イラスト、写真等、またはそれらを構成するオブジェクト内に含まれる全ての座標値(xia,yia)の集合であり、前記特定情報選択手段は、前記タッチ位置の座標値(xt,yt)が前記全ての座標値(xia,yia)のいずれかと一致する場合は、対応する前記特定情報を選択し、前記タッチ位置の座標値(xt,yt)が前記全ての座標値(xia,yia)のいずれとも一致しない場合は、該座標値(xt,yt)から任意の距離内でありかつ最も近い該マスクまたは該オブジェクトの輪郭部の座標値(xie,yie)を有する前記特定情報を選択することが好ましい。
前記の構成によれば、選択用位置情報がマスク領域により表されるので、どのような形状の特定情報であっても、適切に選択用位置情報を持たせることが出来るというさらなる効果を奏する。
(23) 本発明に係る情報入力装置では、前記特定情報選択手段は、特定情報である語句または該語句を構成する各文字の高さ方向の、中央または任意の位置における該語句または該文字の幅を示す線分における、始点座標値(xi1,yi1)および終点座標値(xi2,yi2)と、該文字の高さhiとの組み合わせから、該語句または該文字を囲む前記マスクを、所定のアルゴリズムにより生成することが好ましい。
前記の構成によれば、語句である特定情報は、選択用位置情報として、語句または該文字の幅を示す線分と文字の高さhiとの組み合わせを持つので、正確にマスク領域を定義出来るというさらなる効果を奏する。
(24) 本発明に係る情報入力装置では、前記特定情報選択手段は、前記2次元書式情報において、所定のアルゴリズムにより、タッチ位置の前記座標値(xt,yt)から任意の距離内にあるテキストの構文解析、および/または、図形、イラスト、写真等のファイル検索および/または画像解析を行うことにより、1または2以上の前記特定情報を認識し、該特定情報の前記選択用位置情報を所定のアルゴリズムにより算定し、前記座標値(xt,yt)と、認識した該特定情報と、算定した該選択用位置情報とから、前記特定情報を選択することが好ましい。
前記の構成によれば、特定情報選択手段は、2次元書式情報を取得してから、その内容のうち、タッチ位置に近い限られた範囲について、構文解析・画像解析を行うので、予め構文解析・画像解析がなされ、選択用位置情報が設定された2次元書式情報を用意しておく手間が省けるというさらなる効果を奏する。
また、2次元書式情報の全体を構文解析・画像解析する場合に比較し、短時間で解析を行うことが出来るというさらなる効果を奏する。
(25) 本発明に係る情報入力装置では、前記特定情報は、前記2次元書式情報に含まれる、テキストの構文解析、および/または、図形、イラスト、写真等の、ファイル検索および/または画像解析を行うことにより、予め特定され、該特定情報の前記選択用位置情報は、所定のアルゴリズムにより予め算定され、該2次元書式情報には、該特定情報と該選択用位置情報とが記録されていることが好ましい。
前記の構成によれば、2次元書式情報は、予め解析され、選択用位置情報が設定され、特定情報が特定されており、特定情報選択手段は、2次元書式情報を取得した後に、構文解析・画像解析を行う必要が無いので、2次元書式情報を取得してから特定情報を選択するまでの処理時間を短縮出来るというさらなる効果を奏する。
(26) 本発明に係る情報入力装置では、前記2次元書式情報は、CADにより描かれた、前記特定情報としての、テキスト、および/または、点、線分、平面、立体物を有した図形であることが好ましい。
前記の構成によれば、CAD図面等、CADにより作成されたコンテンツも入力処理に利用することが出来るというさらなる効果を奏する。
(27) 本発明に係る情報入力装置では、前記2次元書式情報は、地図データであり、該地図データは、テキスト、道路、地物、交差点等のカテゴリに分類された特定情報を有しており、該特定情報は、道路により囲まれた領域、地物領域、道路中心線、および地物図心を選択用位置情報として有することが好ましい。
前記の構成によれば、地図も入力処理に利用することが出来るというさらなる効果を奏する。
(28) 本発明に係る情報入力装置では、画面表示された前記2次元書式情報を、前記ドットパターンと共に媒体上に印刷する印刷手段をさらに備えたことが好ましい。
前記の構成によれば、画面表示されたコンテンツにドットパターンが重畳印刷された印刷物を作成できるので、新しく取得したコンテンツを入力に利用することが出来るというさらなる効果を奏する。
(29) 本発明に係る情報処理装置は、前記課題を解決するために、前記情報入力装置と、該情報入力装置により選択された前記特定情報の関連情報を検索し、検索された該関連情報を出力する関連情報検索手段とを備えたことを特徴としている。
前記の構成によれば、情報入力装置により入力された情報の関連情報が出力されるので、ユーザが、印刷媒体上またはディスプレイ上を、ドットパターン読取手段によりタッチするだけで、ディスプレイ上のテキストやイラスト、写真等を特定して、その詳細な説明を画面に表示させることが出来る。そのため、ホームページ等でリンクが設定されていないテキストやイラスト、写真、アドレス等であっても、タッチすることにより、それらに関連する情報にアクセスすることが可能となり、よりユーザにとっての利便性が高まるという効果を奏する。なお、特定情報はオペレーションを指示するものであってもよい。
(30) 本発明に係る情報処理装置では、前記関連情報検索手段は、前記関連情報を検索する際、予め設定されたリンクテーブル、データベース、および/または電子辞書から、該関連情報を検索することが好ましい。
前記の構成によれば、タッチ位置のテキスト、イラスト、写真等を認識し、認識した特定情報に対応する音声情報、画像情報等の種々のマルチメディア情報を、電子辞書や予め対応するマルチメディア情報を設定したデータベースから検索し、関連した情報を自動的に出力することが出来るという効果を奏する。
(31) 本発明に係る情報処理装置では、前記リンクテーブル、前記データベース、および前記電子辞書は、それぞれ、ネットワーク上の1または2以上の汎用リンクテーブル、汎用データベース、および汎用電子辞書であり、前記関連情報検索手段は、前記関連情報を、所定のアルゴリズムにより、該汎用リンクテーブル、該汎用データベース、および/または該汎用電子辞書から検索することが好ましい。
前記の構成によれば、インターネット等のネットワーク上にある既存の汎用リンクテーブル、汎用データベース、および/または汎用電子辞書を利用できるので、より多くの関連情報が検索でき、また、汎用リンクテーブル、汎用データベース、および/または汎用電子辞書のメンテナンスが不要になるというさらなる効果を奏する。
(32) 本発明に係る情報入力システムは、前記課題を解決するために、情報入力装置と、2次元書式情報サーバと、これらを接続するネットワークとから構成される情報入力システムであって、前記情報入力装置は、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、前記2次元書式情報が印刷された媒体上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記媒体上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を、前記2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、受信した前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、を備え、前記2次元書式情報サーバは、前記情報入力装置から受信した、前記識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した2次元書式情報を選択する2次元書式情報保管選択手段と、前記識別情報を前記情報入力装置から受信し、選択された該2次元書式情報を該情報入力装置へ送信する通信手段と、を備えたことを特徴としている。
2次元書式情報サーバは、予め解析され、選択用位置情報が設定された特定情報を含む2次元書式情報を提供するサーバでもよいし、通常のWebサーバでもよい。なお、通常のWebサーバを用いる場合、Webサーバから取得する2次元書式情報には、選択用位置情報や特定情報が設定されていないので、特定情報選択手段は、2次元書式情報の取得後、選択用位置情報および特定情報を設定するように、解析を行う。
前記の構成によれば、情報入力装置は、ネットワーク上の2次元書式情報サーバから識別情報に対応した2次元書式情報を取得する、クライアント・サーバ型構成となるので、複数の情報入力装置が、2次元書式情報サーバを共有することが出来るという効果を奏する。
また、既存のWebサーバ等を、2次元書式情報サーバとして利用することが出来るという効果を奏する。
(33) 本発明に係る情報入力装置は、前記課題を解決するために、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、前記2次元書式情報が印刷された媒体上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記媒体上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を、2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、受信した前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、を備えたことを特徴としている。
前記の構成によれば、情報入力装置は、ネットワーク上の2次元書式情報サーバと通信するので、入力処理に、2次元書式情報サーバを利用することが出来るという効果を奏する。
(34) 本発明に係る2次元書式情報サーバは、前記課題を解決するために、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、前記2次元書式情報が印刷された媒体上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記媒体上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を、2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、受信した前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、を備えた情報入力装置から受信した、前記識別情報を用いて、予め保管している1または2以上の該2次元書式情報の中から該識別情報に対応した2次元書式情報を選択する2次元書式情報保管選択手段と、選択した該2次元書式情報を該情報入力装置へ送信する通信手段とを備えたことを特徴としている。
前記の構成によれば、2次元書式情報サーバは、ネットワーク上の情報入力装置と通信するので、情報入力装置の入力処理に必要な2次元書式情報を提供出来るという効果を奏する。
(35) 本発明に係る情報入力システムは、前記課題を解決するために、情報入力装置と、2次元書式情報サーバと、これらを接続するネットワークとから構成される情報入力システムであって、前記情報入力装置は、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、ディスプレイに表示するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、前記2次元書式情報が表示されるディスプレイと、前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を、前記2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、受信した前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、を備え、前記2次元書式情報サーバは、前記情報入力装置から受信した、前記識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した2次元書式情報を選択する2次元書式情報保管選択手段と、前記識別情報を前記情報入力装置から受信し、選択された該2次元書式情報を該情報入力装置へ送信する通信手段とを備えたことを特徴としている。
前記の構成によれば、情報入力装置は、ネットワーク上の2次元書式情報サーバから識別情報に対応した2次元書式情報を取得する、クライアント・サーバ型構成となるので、複数の情報入力装置が、2次元書式情報サーバを共有することが出来るという効果を奏する。
(36) 本発明に係る情報入力装置は、前記課題を解決するために、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、ディスプレイに表示するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、前記2次元書式情報が表示されるディスプレイと、前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を、2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、受信した前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、を備えたことを特徴としている。
前記の構成によれば、情報入力装置は、ネットワーク上の2次元書式情報サーバと通信するので、入力処理に、2次元書式情報サーバを利用することが出来るという効果を奏する。
(37) 本発明に係る2次元書式情報サーバは、前記課題を解決するために、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、ディスプレイに表示するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、前記2次元書式情報が表示されるディスプレイと、前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を、2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、受信した前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、を備えた情報入力装置から受信した、前記識別情報を用いて、予め保管している1または2以上の該2次元書式情報の中から該識別情報に対応した2次元書式情報を選択する2次元書式情報保管選択手段と、選択した該2次元書式情報を該情報入力装置へ送信する通信手段とを備えたことを特徴としている。
前記の構成によれば、2次元書式情報サーバは、ネットワーク上の情報入力装置と通信するので、情報入力装置の入力処理に必要な2次元書式情報を提供出来るという効果を奏する。
(38) 本発明に係る情報入力システムは、前記課題を解決するために、情報入力装置と、2次元書式情報サーバと、これらを接続するネットワークとから構成される情報入力システムであって、前記情報入力装置は、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンが印刷され、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、前記2次元書式情報が、印刷された媒体上または表示されるディスプレイ上に、配置または貼付された情報入力補助シートと、前記媒体または前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記情報入力補助シートを透して、前記媒体または前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を、前記2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、受信した前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、または、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、を備え、前記2次元書式情報サーバは、前記情報入力装置から受信した、前記識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した2次元書式情報を選択する2次元書式情報保管選択手段と、前記識別情報を前記情報入力装置から受信し、選択された該2次元書式情報を該情報入力装置へ送信する通信手段とを備えたことを特徴としている。
前記の構成によれば、情報入力装置は、ネットワーク上の2次元書式情報サーバから識別情報に対応した2次元書式情報を取得する、クライアント・サーバ型構成となるので、複数の情報入力装置が、2次元書式情報サーバを共有することが出来るという効果を奏する。
(39) 本発明に係る情報入力装置は、前記課題を解決するために、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンが印刷され、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、前記2次元書式情報が、印刷された媒体上または表示されるディスプレイ上に、配置または貼付された情報入力補助シートと、前記媒体または前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記情報入力補助シートを透して、前記媒体または前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を、2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、受信した前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、または、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、を備えたことを特徴としている。
前記の構成によれば、情報入力装置は、ネットワーク上の2次元書式情報サーバと通信するので、入力処理に、2次元書式情報サーバを利用することが出来るという効果を奏する。
(40) 本発明に係る2次元書式情報サーバは、前記課題を解決するために、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンが印刷され、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、前記2次元書式情報が、印刷された媒体上または表示されるディスプレイ上に、配置または貼付された情報入力補助シートと、前記媒体または前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記情報入力補助シートを透して、前記媒体または前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を、2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、受信した前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、
前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、または、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、
を備えた情報入力装置から受信した、前記識別情報を用いて、予め保管している1または2以上の該2次元書式情報の中から該識別情報に対応した2次元書式情報を選択する2次元書式情報保管選択手段と、選択した該2次元書式情報を該情報入力装置へ送信する通信手段とを備えたことを特徴としている。
前記の構成によれば、2次元書式情報サーバは、ネットワーク上の情報入力装置と通信するので、情報入力装置の入力処理に必要な2次元書式情報を提供出来るという効果を奏する。
(41) 本発明に係る情報入力システムでは、前記特定情報選択手段は、前記2次元書式情報において、所定のアルゴリズムにより、タッチ位置の前記座標値(xt,yt)から任意の距離内にあるテキストの構文解析、および/または、図形、イラスト、写真等のファイル検索および/または画像解析を行うことにより、1または2以上の前記特定情報を認識し、該特定情報の前記選択用位置情報を所定のアルゴリズムにより算定し、前記座標値(xt,yt)と、認識した該特定情報と、算定した該選択用位置情報とから、前記特定情報を選択することが好ましい。
前記の構成によれば、特定情報選択手段は、2次元書式情報を取得してから、その内容のうち、タッチ位置に近い限られた範囲について、構文解析・画像解析を行うので、予め構文解析・画像解析がなされ、選択用位置情報が設定された2次元書式情報を用意しておく手間が省けるというさらなる効果を奏する。
また、2次元書式情報の全体を構文解析・画像解析する場合に比較し、短時間で解析を行うことが出来るというさらなる効果を奏する。
(42) 本発明に係る情報入力装置では、前記特定情報選択手段は、前記2次元書式情報において、所定のアルゴリズムにより、タッチ位置の前記座標値(xt,yt)から任意の距離内にあるテキストの構文解析、および/または、図形、イラスト、写真等のファイル検索および/または画像解析を行うことにより、1または2以上の前記特定情報を認識し、該特定情報の前記選択用位置情報を所定のアルゴリズムにより算定し、前記座標値(xt,yt)と、認識した該特定情報と、算定した該選択用位置情報とから、前記特定情報を選択することが好ましい。
前記の構成によれば、特定情報選択手段は、2次元書式情報を取得してから、その内容のうち、タッチ位置に近い限られた範囲について、構文解析・画像解析を行うので、予め構文解析・画像解析がなされ、選択用位置情報が設定された2次元書式情報を用意しておく手間が省けるというさらなる効果を奏する。
また、2次元書式情報の全体を構文解析・画像解析する場合に比較し、短時間で解析を行うことが出来るというさらなる効果を奏する。
(43) 本発明に係る情報入力システムでは、前記特定情報は、前記2次元書式情報に含まれる、テキストの構文解析、および/または、図形、イラスト、写真等の、ファイル検索および/または画像解析を行うことにより、予め特定され、該特定情報の前記選択用位置情報は、所定のアルゴリズムにより予め算定され、該2次元書式情報には、該特定情報と該選択用位置情報とが記録されていることが好ましい。
前記の構成によれば、2次元書式情報は、予め解析され、選択用位置情報が設定され、特定情報が特定されており、特定情報選択手段は、2次元書式情報を取得した後に、構文解析・画像解析を行う必要が無いので、2次元書式情報を取得してから特定情報を選択するまでの処理時間を短縮出来るというさらなる効果を奏する。
(44) 本発明に係る2次元書式情報サーバでは、前記特定情報は、前記2次元書式情報に含まれる、テキストの構文解析、および/または、図形、イラスト、写真等の、ファイル検索および/または画像解析を行うことにより、予め特定され、該特定情報の前記選択用位置情報は、所定のアルゴリズムにより予め算定され、該2次元書式情報には、該特定情報と該選択用位置情報とが記録されていることが好ましい。
前記の構成によれば、2次元書式情報は、予め解析され、選択用位置情報が設定され、特定情報が特定されており、情報入力装置の特定情報選択手段は、2次元書式情報を取得した後に、構文解析・画像解析を行う必要が無いので、2次元書式情報を取得してから特定情報を選択するまでの処理時間を短縮出来るというさらなる効果を奏する。
(45) 本発明に係る情報入力方法は、前記課題を解決するために、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、前記2次元書式情報が印刷された媒体上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記媒体上をタッチするために、ドットパターン読み取り手段を用いて、タッチ位置のドットパターンを読み込むドットパターン読み取りステップと、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択ステップと、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換ステップと、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択ステップとを含んだことを特徴としている。
前記の構成によれば、ユーザが、媒体上の入力したい情報の上を、ドットパターン読み取り手段を用いて、タッチすると、タッチ位置のXY座標値および/またはコード値が読み込まれる。次に、読み込まれたXY座標値および/またはコード値から、ユーザがタッチした媒体が特定され、その媒体に対応した2次元書式情報が、2次元書式情報保管選択手段から取り出される。次に、取り出された2次元書式情報とタッチ位置の印刷媒体上のXY座標値とから、座標変換手段が、2次元書式情報上におけるタッチ位置のxy座標値を計算する。次に、特定情報選択手段が、2次元書式情報上のxy座標系により表されたタッチ位置の座標と、2次元書式情報内の各特定情報が有している選択用位置情報とを用いて、所定のアルゴリズムにより、タッチ位置の特定情報を選択し、情報入力装置への入力とする。それ故、印刷された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来るという効果を奏する。
(46) 本発明に係る情報入力方法は、前記課題を解決するために、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、ディスプレイに表示するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めてを書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、前記2次元書式情報が表示されたディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記ディスプレイ上をタッチするために、ドットパターン読み取り手段を用いて、タッチ位置のドットパターンを読み込むドットパターン読み取りステップと、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択ステップと、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換ステップと、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択ステップとを含んだことを特徴としている。
前記の構成によれば、ユーザが、ディスプレイ上の入力したい情報の上を、ドットパターン読み取り手段を用いて、タッチすると、タッチ位置のXY座標値および/またはコード値が読み込まれる。次に、読み込まれたXY座標値および/またはコード値から、ユーザがタッチしたコンテンツが特定され、そのコンテンツの2次元書式情報が、2次元書式情報保管選択手段から取り出される。次に、取り出された2次元書式情報とタッチ位置のディスプレイ上のXY座標値とから、座標変換手段が、2次元書式情報上におけるタッチ位置のxy座標値を計算する。次に、特定情報選択手段が、2次元書式情報上のxy座標系により表されたタッチ位置の座標と、2次元書式情報内の各特定情報が有している選択用位置情報とを用いて、所定のアルゴリズムにより、タッチ位置の特定情報を選択し、情報入力装置への入力とする。それ故、ディスプレイ上に表示された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来るという効果を奏する。
(47) 本発明に係る情報入力方法は、前記課題を解決するために、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンが印刷され、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、前記2次元書式情報が、印刷された媒体上または表示されるディスプレイ上に、配置または貼付された情報入力補助シートと、前記媒体または前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記情報入力補助シートを透して、前記媒体または前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段とを用いて、タッチ位置のドットパターンを読み込むドットパターン読み取りステップと、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択ステップと、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換ステップと、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、または、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択ステップとを含んだことを特徴としている。
前記の構成によれば、ユーザが、必要に応じ、印刷または表示されたコンテンツを特定する情報を入力する。そのコンテンツに対応した2次元書式情報が、2次元書式情報保管選択手段から取り出される。次に、ユーザが、入力したい情報の上を、ドットパターン読み取り手段を用いて、情報入力補助シートを透してタッチすると、タッチ位置のXY座標値および/またはコード値が読み込まれる。次に、取り出された2次元書式情報とタッチ位置の情報入力補助シート上のXY座標値とから、座標変換手段が、2次元書式情報上におけるタッチ位置のxy座標値を計算する。次に、特定情報選択手段が、2次元書式情報上のxy座標系により表されたタッチ位置の座標と、2次元書式情報内の各特定情報が有している選択用位置情報とを用いて、所定のアルゴリズムにより、タッチ位置の特定情報を選択し、情報入力装置への入力とする。それ故、本や雑誌、新聞等の印刷物に直接ドットパターンを印刷しなくても、印刷または表示された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来るという効果を奏する。
(48) 本発明に係る情報入力方法では、前記特定情報選択ステップは、前記2次元書式情報において、所定のアルゴリズムにより、タッチ位置の前記座標値(xt,yt)から任意の距離内にあるテキストの構文解析、および/または、図形、イラスト、写真等のファイル検索および/または画像解析を行うことにより、1または2以上の前記特定情報を認識するステップと、該特定情報の前記選択用位置情報を所定のアルゴリズムにより算定するステップと、前記座標値(xt,yt)と、認識した該特定情報と、算定した該選択用位置情報とから、前記特定情報を選択するステップとを含むことが好ましい。
前記構成によれば、特定情報選択ステップでは、2次元書式情報を取得してから、その内容のうち、タッチ位置に近い限られた範囲について、構文解析・画像解析を行うので、予め構文解析・画像解析がなされ、選択用位置情報が設定された2次元書式情報を用意しておく手間が省けるというさらなる効果を奏する。
また、2次元書式情報の全体を構文解析・画像解析する場合に比較し、短時間で解析を行うことが出来るというさらなる効果を奏する。
(49) 本発明に係る情報入力方法では、前記特定情報は、前記2次元書式情報に含まれる、テキストの構文解析、および/または、図形、イラスト、写真等の、ファイル検索および/または画像解析を行うことにより、予め特定され、該特定情報の前記選択用位置情報は、所定のアルゴリズムにより予め算定され、該2次元書式情報には、該特定情報と該選択用位置情報とが記録されていることが好ましい。
前記の構成によれば、2次元書式情報は、予め解析され、選択用位置情報が設定され、特定情報が特定されており、特定情報選択ステップでは、2次元書式情報を取得した後に、構文解析・画像解析を行う必要が無いので、2次元書式情報を取得してから特定情報を選択するまでの処理時間を短縮出来るというさらなる効果を奏する。
(50) ところで、前記情報入力装置および情報処理装置は、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、少なくとも上述した座標変換手段・特定情報選択手段・関連情報検索手段としてコンピュータを動作させる制御プログラムであり、本発明に係る記録媒体には、当該制御プログラムが記録されている。
この制御プログラムがコンピュータによって実行されると、当該コンピュータは、前記情報入力装置または情報処理装置として動作する。従って、前記情報入力装置または情報処理装置と同様に、印刷・表示された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来るという効果を奏する。
本発明に係る情報入力装置は、以上のように、テキスト、図表、イラスト、写真等として可視化される特定情報を書式化した2次元書式情報が、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、印刷された媒体上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記媒体上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、前記特定情報が有している選択用位置情報を用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、任意の距離内でありかつ最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段とを備えたことを特徴としている。
また、本発明に係る情報入力装置は、前記課題を解決するために、テキスト、図表、イラスト、写真等として可視化される特定情報を書式化した2次元書式情報が、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、表示されるディスプレイと、前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、前記特定情報が有している選択用位置情報を用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、任意の距離内でありかつ最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段とを備えたことを特徴としている。
また、本発明に係る情報入力装置は、以上のように、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンが印刷され、テキスト、図表、イラスト、写真等として可視化される特定情報を書式化した2次元書式情報が、印刷された媒体上または表示されるディスプレイ上に、配置または貼付された情報入力補助シートと、前記媒体または前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記情報入力補助シートを透して、前記媒体または前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、前記特定情報が有している選択用位置情報を用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、任意の距離内でありかつ最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段とを備えたことを特徴としている。
また、本発明に係る情報入力方法は、以上のように、テキスト、図表、イラスト、写真等として可視化される特定情報を書式化した2次元書式情報が、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、印刷された媒体上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記媒体上をタッチするために、ドットパターン読み取り手段を用いて、タッチ位置のドットパターンを読み込むドットパターン読み取りステップと、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択ステップと、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換ステップと、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、前記特定情報が有している選択用位置情報を用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、任意の距離内でありかつ最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択ステップとを含んだことを特徴としている。
また、本発明に係る情報入力方法は、以上のように、テキスト、図表、イラスト、写真等として可視化される特定情報を書式化した2次元書式情報が、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、表示されたディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記ディスプレイ上をタッチするために、ドットパターン読み取り手段を用いて、タッチ位置のドットパターンを読み込むドットパターン読み取りステップと、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択ステップと、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換ステップと、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、前記特定情報が有している選択用位置情報を用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、任意の距離内でありかつ最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択ステップとを含んだことを特徴としている。
また、本発明に係る情報入力方法は、以上のように、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンが印刷され、テキスト、図表、イラスト、写真等として可視化される特定情報を書式化した2次元書式情報が、印刷された媒体上または表示されるディスプレイ上に、配置または貼付された情報入力補助シートと、前記媒体または前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記情報入力補助シートを透して、前記媒体または前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段とを用いて、タッチ位置のドットパターンを読み込むドットパターン読み取りステップと、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択ステップと、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換ステップと、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、前記特定情報が有している選択用位置情報を用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、任意の距離内でありかつ最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択ステップとを含んだことを特徴としている。
それ故、印刷・表示された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来るという効果を奏する。
[第1の実施形態]
本発明に係る情報入力装置のうち、コンテンツと共にドットパターンが印刷された媒体を用いる一実施形態について、図1から図23に基づいて説明すると、以下の通りである。
<概要>
図1において、本実施形態の概要を示す。図1(a)は、本実施形態における操作の様子を示す図であり、図1(b)は、特定情報を選択する様子を示す図である。
図1(a)において示すように、まずユーザは、コンテンツと共にドットパターン3(詳細は、後述)が印刷された印刷物1a(媒体)上の、情報入力装置5に入力したい情報に、スキャナ4(ドットパターン読み取り手段)を用いてタッチする。
この例では、ユーザは、情報入力装置5の画面上に表示された入力フォームの場所欄に「東京」の語句を入力したいので、印刷物1a上に印刷された語句「東京」2aを、スキャナ4によりタッチしている。
ドットパターン3には、予め印刷物1a上のXY座標値と、印刷物1aを特定するためのドキュメントID(識別情報)とが、コード化されており、ユーザが印刷物1a上をスキャナ4によりタッチすると、タッチ位置の印刷物1a上のXY座標系における座標値(Xt,Yt)と、印刷物1aのドキュメントIDとが、情報入力装置5に読み込まれる。
情報入力装置5は、読み込まれたXY座標値と、ドキュメントIDと、予め用意してある印刷物1aの元になった電子データであるDTP(Desk Top Publishing)データ1b(2次元書式情報)とから、タッチ位置には、語句「東京」2aがあることを認識(詳細は後述)し、語句「東京」2aが、情報入力装置5に入力される。
図1(a)に示す例では、情報入力装置5に入力された語句「東京」2aが、画面上に表示された入力フォームの場所欄に記入された様子を示している。
図1(b)において示すように、DTPデータ1bは、独自のxy座標系を持つ。DTPデータ1bに含まれる、テキスト、図表、イラスト、写真等(特定情報)には、これらを選択するために用いられる選択用位置情報が設定されている。
例えば、語句「東京」2aには、対応するマスク領域2bおよび/または中心座標値(xi,yi)が設定されている。
図1(b)は、スキャナ4によりタッチされた印刷物1a上のタッチ位置の座標値(Xt,Yt)から変換された、DTPデータ1b上におけるタッチ位置の座標値(xt,yt)と、語句「東京」2aに対応するマスク領域2bおよび中心座標値(xi,yi)との位置関係の例を示している。
例えば、タッチ位置の座標値(xt,yt)がマスク領域2bに含まれることにより、DTPデータ1bに含まれる多くの特定情報のうち、語句「東京」2aが、情報入力装置5への入力として選択される。
なお、特定情報を選択する方法は、タッチ位置の座標値(xt,yt)から、他の特定情報の中心座標値(xi,yi)までの距離よりも、タッチ位置の座標値(xt,yt)から、語句「東京」2aの中心座標値(xi,yi)までの距離の方が短いことから、語句「東京」2aを入力として選択する方法でもよい。特定情報を選択する方法の詳細は、後述する。
<ドットパターンについて>
図2から図7に基づいて、本実施形態において用いるドットパターン3の一例(以下、GRID1と呼ぶ)を説明する。また、図8に基づいて、他のドットパターン3bの例(以下、GRID5と呼ぶ)を説明する。なお、これらの図において、縦横斜め方向の格子線は説明の便宜のために付したものであり実際の印刷面には存在していない。
図2において、ドットパターン3の構成要素とその位置関係を示す。ドットパターン3は、キードット6、情報ドット7、基準格子点ドット8から構成される。
ドットパターン3は、ドットコード生成アルゴリズムにより、数値情報を認識させるために微細なドット、すなわち、キードット6、情報ドット7、基準格子点ドット8を所定の規則に則って配列することにより生成される。
図2に示すように、情報を表すドットパターン3のブロックは、キードット6を基準に5×5の基準格子点ドット8を配置し、4点の基準格子点ドット8に囲まれた中心の仮想格子点の周囲に情報ドット7を配置して構成される。このブロックには任意の数値情報が定義される。なお、図2の例では、ドットパターン3のブロック(太線枠内)を4個並列させた状態を示している。ただし、ドットパターン3は4ブロックに限定されないことは勿論である。
キードット6は、図2に示すように、ブロックの四隅の角部にある4個の基準格子点ドット8を一定方向にずらして配置したドットである。このキードット6は、情報ドット7を含んだ1ブロック分のドットパターン3の代表点である。例えば、ドットパターン3のブロックの四隅の角部にある基準格子点ドット8を上方に0.1mmずらしたものである。ただし、この数値はこれに限定されずに、ドットパターン3のブロックの大小に応じて可変し得るものである。
キードット6のずれは、基準格子点ドット8および情報ドット7との誤認を避けるために、格子間隔の20%前後が望ましい。
情報ドット7は、種々の情報を認識させるドットである。情報ドット7は、キードット6を代表点にして、その周辺に配置されると共に、4点の基準格子点ドット8により囲まれた格子の中心を仮想格子点として、この仮想格子点を始点としたベクトルにより表現された終点に配置したものである。
情報ドット7と、4点の基準格子点ドット8で囲まれた仮想格子点との間隔は、隣接する仮想格子点との間の距離の15〜30%程度の間隔であることが望ましい。情報ドット7と仮想格子点間の距離がこの間隔より近いと、ドット同士が大きな塊と視認されやすく、ドットパターン3として見苦しくなるからである。逆に、情報ドット7と仮想格子点との間の距離がこの間隔より遠いと、隣接するいずれの仮想格子点を始点としてベクトル方向性を持たせた情報ドット7であるかの認定が困難になるためである。
基準格子点ドット8は、スキャナ4を用いてドットパターン3を画像データとして取り込む際に、スキャナ4のレンズの歪みや斜めからの撮像、紙面の伸縮、媒体表面の湾曲、印刷時の歪みを矯正することが出来る。具体的には歪んだ4点の基準格子点ドット8を元の正方形に変換する補正用の関数(Xn,Yn)=f(Xn’,Yn’)を求め、その同一の関数を用いて情報ドット7を補正して、正しい情報ドット7のベクトルを求める。
ドットパターン3に基準格子点ドット8を配置してあると、このドットパターン3をスキャナ4により取り込んだ画像データでは、スキャナ4が原因となる歪みが補正されるので、歪み率の高いレンズを付けた普及型のスキャナ4によりドットパターン3の画像データを取り込む時にも、ドットの配置を正確に認識することが出来る。また、ドットパターン3の面に対してスキャナ4を傾けて読み取っても、そのドットパターン3を正確に認識することが出来る。
キードット6、情報ドット7、基準格子点ドット8は、スキャナ4が赤外線の照射によるドット読み取りを行う場合、当該赤外光を吸収する不可視インクまたはカーボンインクを用いて印刷されていることが望ましい。
通常のインクジェットプリンタ等により、ドットパターン3を印刷する場合、基準格子点ドット8同士の間隔(すなわち格子のサイズ)は、0.5mm程度でもよい。オフセット印刷の場合、最小限0.3mm程度でもよい。
半導体製造工程における露光技術等を用いてドットパターン3を形成する場合、基準格子点ドット8同士の間隔は、数μm程度でもよいし、nm単位のデザインルールを用いれば、さらに微細なドット間隔を持つドットパターン3を形成することも出来る。
もちろん、基準格子点ドット8同士の間隔は、前記最小値以上であれば、ドットパターン3の用途により、どのような値を用いてもよい。
また、キードット6、情報ドット7、基準格子点ドット8の直径は、基準格子点ドット8同士の間隔の10%程度が望ましい。
図3および図4において、情報ドット7の配置方法による情報定義方法の例を示す。これらの図は、情報ドット7の位置と、その位置により定義された情報のビット表示の一例とを示す拡大図である。
図3(a)において、情報ドット7が、ベクトルで表現される方向と長さを有するように、仮想格子点9から距離をずらされ(例えば0.1mm)、時計方向に45度ずつ回転させて8方向に配置され、3ビットの情報を表現する定義方法の例を示す。この例では、ドットパターン3は、1ブロックあたり16個の情報ドット7を含むので、3ビット×16個=48ビットの情報を表現することが出来る。
図3(b)において、ドットパターン3が格子毎に2ビットの情報を有する情報ドット7の定義方法の例を示す。この例では、プラス(+)方向および斜め(×)方向に情報ドット7を仮想格子点9からずらして、情報ドット7あたり2ビットの情報を定義している。この定義方法では、図3(a)に示す定義方法(本来48ビットの情報を定義できる)と異なり、用途によっては1個のブロック内を、プラス(+)方向にずらす格子と、斜め(×)方向にずらす格子とに分割して、32ビット(2ビットX16格子)のデータを与えることが出来る。
なお、1個のブロックに含まれる16個の格子に配置する情報ドット7をずらす方向の組み合わせとして、格子毎にプラス(+)方向および斜め(×)方向へのずらし方を組み合わせると、最大216(約65000)通りのドットパターンフォーマットが実現できる。
図4において、情報ドット7の他の配置方法による情報の定義方法の例を示す。この定義方法では、情報ドット7を配置する際、基準格子点ドット8により囲まれた仮想格子点9からのずらし量として、長・短の2種類を使用し、ベクトル方向を8方向とするので、16通りの配置を定義でき、4ビットの情報を表現することが出来る。
この定義方法を用いるとき、長い方のずらし量は、隣接する仮想格子点9間の距離の25〜30%程度とし、短い方のずらし量は、15〜20%程度とする事が望ましい。但し、長・短の情報ドット7をずらす方向が同一となる場合でも、それらの情報ドット7を区別して認識できるように、それらの情報ドット7の中心間隔は、情報ドット7の径より離れていることが望ましい。
なお、4ビットの情報を定義する方法は、前記の定義方法に限定されず、情報ドット7を16方向に配置して4ビットを表現することも可能であり、種々変更できることは勿論である。
図5において、1個の格子あたり複数の情報ドット7を配置する方法による情報の定義方法の例を示す。図5(a)は、情報ドット7を2個配置する例であり、図5(b)は、情報ドット7を4個配置する例であり、図5(c)は、情報ドット7を5個配置する例を示す。
4点の基準格子点ドット8により囲まれた1個の格子あたりの情報ドット7の個数は、見栄えを考慮し、1個が望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、1ベクトル毎に、1ビットを割り当て、情報ドット7として複数のドットを用いて表現することにより、多量の情報を定義することが出来る。例えば、同心円8方向のベクトルでは、1個の格子あたり28の情報を表現でき、16個の格子を含む1ブロックあたり2128の情報を表現できる。
ドットパターン3の認識は、ドットパターン3をスキャナ4により画像データとして取り込み、まず、基準格子点ドット8を抽出し、次に、本来ならば基準格子点ドット8があるべき位置にドットが打たれていないことによってキードット6を抽出し、次に、情報ドット7を抽出することにより行われる。
図6において、情報ドット7をドットパターン3から抽出するに用いるフォーマットの例を示す。図6は、ブロックの中心から右回りの螺旋状にI1からI16までの格子を配置したフォーマット例である。なお、図中のI1からI16は、各格子の配置を表すと共に、1個の格子あたり1個の情報ドット7が含まれる場合は、各格子内の情報ドット7の配置場所を示す。
図7において、情報ドット7を含んだ格子の他の配列例を示す。図7(a)は、1個のブロック内に格子を6個(2×3)配置した例であり、図7(b)は、1個のブロック内に格子を9個(3×3)配置した例であり、図7(c)は、1個のブロック内に格子を12個(3×4)配置した例であり、図7(d)は、1個のブロック内に格子を36個配置した例である。このように、ドットパターン3において、1ブロックに含まれる格子の数は、16個に限定されずに、種々変更することが出来る。
すなわち、必要とする情報量の多少またはスキャナ4の解像度に応じて、1ブロックに含まれる格子の数と1つの格子に含まれる情報ドット7の数を調整することにより、ドットパターン3に記録できる情報の量を柔軟に調整することが出来る。
図8において、他のドットパターン3bの例(GRID5)を示す。図8(a)において、ドットパターン3bにおける、基準点ドット8a〜8e、仮想基準点9a〜9d、および情報ドット7の位置関係を示す。
ドットパターン3bは、ブロックの形状により、ドットパターン3bの方向を定義したものである。GRID5では、まず基準点ドット8a〜8eが配置される。基準点ドット8a〜8eを順に結ぶ線により、ブロックの向きを示す形状(ここでは上方を向いた5角形)が定義される。次に、基準点ドット8a〜8eの配置に基づき、仮想基準点9a〜9dが定義される。次に、仮想基準点9a〜9dのそれぞれを始点として方向と長さを有するベクトルが定義される。最後に、ベクトルの終点に情報ドット7が配置される。
このように、GRID5では、ブロックの向きを基準点ドット8a〜8eの配置の仕方によって定義することが出来る。そしてブロックの向きが定義されることにより、ブロック全体の大きさも定義される。
図8(b)において、ブロックの仮想基準点9a〜9d上に情報ドット7があるか否かにより、情報を定義する例を示す。
図8(c)において、GRID5のブロックを縦横方向に2個ずつ連結した例を示す。ただし、ブロックを連結して配置する方向は、縦横方向に限定されず、いかなる方向に配置して連結してもよい。
なお、図8においては、基準点ドット8a〜8eおよび情報ドット7は、全て同一形状として示しているが、基準点ドット8a〜8eと情報ドット7とは、異なる形状でもよく、例えば、基準点ドット8a〜8eが、情報ドット7よりも大きな形状としてもよい。また、基準点ドット8a〜8eと情報ドット7とは、識別可能であればいかなる形状としてもよく、円形、三角形、四角形、またはそれ以上の多角形であってもよい。
<ドットコードのフォーマットについて>
図9および図10に基づき、ドットコードとそのフォーマット例を説明する。ドットコードとは、ドットパターン3に記録される情報である。
図9において、ドットパターン3の1ブロック内での情報ビットのフォーマット例を示す。この例では、1つの格子あたり、2ビットの情報が記録されている。例えば、左上の格子であれば、ビットC0およびC1が、ビットC1を上位ビットとする形で定義されている。これら2個のビットを合わせてC1−0と表記する。なお、これらのビットは、格子あたり1個の情報ドット7により記録されてもよいし、格子あたり複数の情報ドット7により記録されてもよい。
図10において、ドットコードのフォーマット例を示す。この例では、ドットコードは、32ビットの長さを持ち、ビットC0からビットC31により表される。
図10(a)は、ドットコードがXY座標値とコード値とパリティとを含むフォーマットの例であり、図10(b)は、ドットパターン3を設ける場所によりフォーマットを変更する例であり、図10(c)は、ドットコードがXY座標値とパリティとを含むフォーマットの例である。
図10(a)において示すフォーマット例では、ドットパターン3を設ける位置のX座標値が、ビットC0からC7の8ビットを用いて表現され、同じくY座標値がビットC8からC15を用いて表現される。次いで、コード値が、ビットC16からC29の14ビットを用いて表現される。このコード値には、ドットパターン3の使用目的に合わせて、任意の情報を表すために用いる事が出来る。本実施形態では、ドキュメントIDを表現するために用いる事が出来る。最後にドットコードのパリティとして、ビットC30およびC31の2ビットが使用される。なお、パリティの計算方法は、一般的に知られている方法を用いればよいので、説明は省略する。
図10(b)において示すフォーマット例では、ドットパターン3を設ける場所によりフォーマットが変更される。この例では、ドットパターン3を設ける場所を、XY座標領域とコード値領域とに区分する。XY座標領域では、XY座標領域用フォーマットが用いられ、コード値領域では、コード値領域用フォーマットが用いられる。
XY座標領域用フォーマットでは、X座標がビットC0からC14の15ビットを用いて表され、同じくY座標がC15からC29の15ビットを用いて表現される。また、コード値領域用フォーマットでは、コード値がC0からC29の30ビットを用いて表現される。
なお、読み取られた情報がXY座標値を表すものであるか、コード値を表すものであるかの区別が出来るように、XY座標値およびコード値を表すビット列が重ならない様に、ビット列の表現規則を決めておくのがよい。
このように、図10(b)に示すフォーマット例では、図10(a)に示すフォーマット例に較べ、より多くのビットをXY座標値およびコード値に割り当てることができるので、より広範囲のXY座標値およびより多くのコード値を表現することが出来る。
図10(c)において示すフォーマット例では、図10(b)のXY座標領域用フォーマットと同じフォーマットが用いられる。コード値の欄がフォーマット中に無いので、ドキュメントIDを直接ドットパターン3に記録することは出来ず、XY座標値の割り当て領域を区分することにより、間接的にドキュメントIDを区別する。
例えば、X座標が0から100の範囲にあり、Y座標が0から100の範囲にある領域は、ドキュメントID=1のDTPデータ専用に割り当てる。同様に、ドキュメントID=2のDTPデータには、X座標が101から200の範囲にあり、Y座標が0から100の範囲にある領域を割り当てる。この様な割り当てを予め行うことにより、例えば、ドットパターン3から読み込まれたXY座標値が(150,50)である場合、この座標値は、X座標が101から200の範囲にあり、Y座標が0から100の範囲にある領域に含まれることから、このドットパターン3が設けられている印刷物1aのドキュメントIDは2であると特定することが出来る。
<ドキュメントIDの入力方法について>
印刷物1aがいずれのDTPデータに対応するかを示すドキュメントIDは、前記において説明したように、印刷物1a上に印刷されるドットパターン3の少なくとも一部の領域において、XY座標値と共にドットコードに含めて設定されてもよいし、印刷物1a上をXY座標値のみを含むドットコードの領域とドキュメントIDのみを含むドットコードの領域とに分けて印刷してもよい。
また、ドキュメントIDは、ユーザがキーボード等の入力手段を用いて、手動により情報入力装置5に入力されてもよい。
<印刷物の構造について>
図11に基づき、印刷物1aの構造を説明する。図11は、印刷物1aの断面図であり、図11(a)は、赤外線が印刷媒体1cの何も印刷されていない箇所に当たり拡散反射する様子を示す図であり、図11(b)は、赤外線が印刷物1aのコンテンツ印刷箇所に当たり拡散反射する様子を示す図であり、図11(c)は、赤外線がドットパターン3に当たり吸収される様子を示す図である。なお、ここでは、図示し易いように、インクが印刷媒体の表面上に盛り上がる様に示しているが、このような配置になるのは、印刷媒体1cがインクを吸収しない特性を有する場合と、印刷媒体1cはインクを吸収する特性を有するがインクの粘性が極めて高い場合とであり、通常は、印刷媒体ににじむ様に印刷される。
図11(a)に示すように、印刷媒体1cの、コンテンツおよびドットパターン3が印刷される表面は、赤外線を拡散反射する特性を持つことが望ましい。その理由は、印刷媒体1cの表面が赤外線を鏡面反射する特性を持つ場合、スキャナ4により読み取られる面の一部からの反射光がレンズ(後述)に適切に入射せず、読み取った画像の一部が暗く写ってしまい、画像解析が困難になるためである。
図11(b)において、赤外線拡散反射インク10を用いて印刷した箇所に赤外線が当たり拡散反射する様子と、赤外線透過インク11を用いて印刷した箇所に赤外線が当たり、赤外線が赤外線透過インク11を透過した後、印刷媒体1cの表面において拡散反射する様子とを示す。
図11(c)において、上から順に、ドットパターン3と赤外線拡散反射インク10とが重畳印刷された表面において、ドットパターン3に向かって入射した赤外線が吸収される様子と、ドットパターン3のみが印刷された表面において、ドットパターン3に向かって入射した赤外線が吸収される様子と、ドットパターン3と赤外線透過インク11とが重畳印刷された表面において、ドットパターン3に向かって入射した赤外線が吸収される様子とを示す。
このように、ドットパターン3と、赤外線拡散反射インク10または赤外線透過インク11とを重畳印刷した場合、粘性が極めて高いと、先に印刷したドットパターン3の周りにドーナツ状に赤外線拡散反射インク10または赤外線透過インク11が配置される。通常の粘性のインクであれば、互いににじみ合う。
スキャナ4は、印刷物1aのドットパターン3が印刷された読み取り面に対して赤外線を照射し、その反射光を画像として撮影する(詳細は後述)ので、赤外線吸収インクにより印刷されたドットパターン3は、画像において、黒く表され、赤外線を拡散反射する箇所は、白く表される。
なお、赤外線拡散反射インク10および赤外線透過インク11は、可視光の特定の波長を反射または吸収する特性を持つので、これらのインクを用いて印刷された印刷物1aを人が見る場合、印刷されたコンテンツを通常の印刷と同様に読むことが出来る。
このように、印刷媒体1c上にドットパターン3を印刷し、さらにその上にコンテンツを重畳印刷する際に用いるインクを、赤外線拡散反射インク10と赤外線透過インク11とで切り替えることにより、様々な、ドットパターン印刷とコンテンツ印刷の組み合わせを実現することが出来る。
<スキャナ4について>
図12において、スキャナ4の構造のうち、ドットパターン3を読み取る部分の構造と、印刷物1a上のドットパターン3を読み取る様子を示す。スキャナ4は、赤外線を照射する手段であるIR−LEDと、IR−LEDから照射された赤外線が印刷物1aの表面において反射された反射光を集光するレンズと、レンズを通過した反射光のうち所定の波長成分をカットするIRフィルタと、撮像素子であるC−MOSセンサとを内蔵している。
スキャナ4は、印刷物1aに赤外線を照射し、印刷媒体1cの表面および赤外線拡散反射インク10により印刷された箇所から拡散反射された反射光を撮影する。上述したように、ドットパターン3は赤外線を吸収する特性を有するインクで印刷されているため、C−MOSセンサにおいて撮像された画像では、ドットパターン3のドット部分のみ黒く撮像されることとなる。
また、スキャナ4は、前記の構成に加えて、中央処理装置(図示せず)を備えており、中央処理装置は、C−MOSセンサから入力されたドットパターン3を、解析ソフトウェアにより解析し、ドットコードに変換して出力する。
なお、スキャナ4は、中央処理装置および解析ソフトウェアの代わりに、同様の機能を備えたハードウェア回路を備えていてもよい。
また、ドットパターン3を解析してドットコードに変換する処理は、スキャナ4上の中央処理装置により行う代わりに、スキャナ4が接続された装置、例えばパーソナルコンピュータ上において処理を行う構成でもよい。
スキャナ4とスキャナ4が接続される装置との間は、USBケーブルなどの有線方式により接続されてもよいし、無線方式により接続されてもよい。
<情報入力装置5の構成について>
図13において、本実施形態に係る情報入力装置5の機能ブロック図を示す。情報入力装置5は、スキャナ4と、ドキュメント管理部20(2次元書式情報保管選択手段)と、座標変換部30(座標変換手段)と、特定情報選択部40(特定情報選択手段)とを備えている。
スキャナ4は、印刷物1a上においてユーザがスキャナ4を用いてタッチした位置のドットパターン3を読み込み、ドットコードに変換後、ドットコード内のドキュメントID部分をドキュメント管理部20に出力する。また、スキャナ4は、ドットコード内のXY座標値(xt,yt)部分を座標変換部30に出力する。なお、ここでは、ドットコードが、XY座標値およびコード値を含む場合について説明する。
ドキュメント管理部20は、スキャナ4から入力されたドキュメントIDを用いて、ドキュメント管理部20内に予め保存されている、ドキュメントのDTPデータを検索する。そして、入力されたドキュメントIDに対応したDTPデータ1bを座標変換部30および特定情報選択部40に出力する。
座標変換部30は、スキャナ4から入力されたXY座標値(Xt,Yt)と、ドキュメント管理部20から入力されたDTPデータ1bとを用いて、タッチ位置の座標を、印刷物1a上の座標系におけるXY座標値(Xt,Yt)から、DTPデータ1b上の座標系におけるxy座標値(xt,yt)に変換し、変換したxy座標値(xt,yt)を特定情報選択部40に出力する。
特定情報選択部40は、ドキュメント管理部20から入力されたDTPデータ1bと、座標変換部30から入力されたxy座標値(xt,yt)とを用いて、DTPデータ1bに含まれるテキスト、図表、イラスト、写真等の特定情報のうち、ユーザがタッチ操作により指示したと考えられる特定情報を選択し出力する。特定情報の選択方法の詳細は後述するが、例えば、タッチ位置のxy座標値(xt,yt)から最も近い位置にある特定情報を選択する方法などがある。
特定情報選択部40から出力された特定情報が、他の機器等において、入力として利用される。
なお、情報入力装置5の具体例としては、パーソナルコンピュータ、PDA、テレビ受信装置、フロントプロジェクタ、リアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、POS端末装置、ATM、KIOSK端末、カーナビ、パチンコ、時計、スマートフォン等が挙げられる。
<DTPデータについて>
本実施形態では、2次元書式情報の例として、DTPデータを挙げている。DTPデータは、さらに具体的には、ワードプロセッサなどのDTPソフトウェアや、CADソフトウェア、HTML、XML、フラッシュ、PDF等の形式のファイルを作成するオーサリングソフトウェア等により作成された電子データであり、その電子データには、例えば、テキスト本文に加えて、そのテキストを表示したり印刷したりする際に使用するフォント(ベクターフォント)の種類および大きさの指定やレイアウト情報などが含まれている。
また、DTPデータには、図表、イラスト、写真等を含む場合、各画像データが格納されているファイルの名前や、表示したり印刷したりする際に、それらが占める領域の位置情報なども含まれている。
DTPデータは、ドキュメントIDにより、一意に特定できるように管理される。DTPデータを印刷した時に複数ページとなる場合、すなわち、印刷物1aが複数ページにより構成されている場合には、ドキュメントIDは、その各ページを区別できるように構成されていることが望ましい。
なお、DTPデータは、地図データであってもよい。
<選択用位置情報について>
DTPデータ中のテキスト、図表、イラスト、写真等の特定情報には、これらのうちいずれの特定情報がユーザにより指示されたかを、タッチ位置のxy座標(xt,yt)との位置関係から判断するために、選択用位置情報が設けられる。
選択用位置情報を各特定情報に対して設定するタイミングは、DTPデータをドキュメント管理部20に格納する際に予め設定されていてもよいし、特定情報選択部40が、ドキュメント管理部20からDTPデータ1bを受け取った後に、特定情報選択部40により設定されてもよい。
また、特定情報選択部40は、ドキュメント管理部20から受け取ったDTPデータ1bの全体を一度に解析して、DTPデータ1bに含まれるすべての特定情報に対する選択用位置情報を設定してもよいし、DTPデータ1bのうち、タッチ位置の座標値(xt,yt)近傍にある特定情報のみを解析し、選択用位置情報を設定してもよい。
特定情報の解析方法としては、特定情報がテキストの場合、一般的に知られている通常の構文解析方法を用いればよい。また、特定情報が階層化されたオブジェクトの集合として表される、図表、イラスト、CADデータ(点、線分、平面、立体物等)である場合は、その階層構造およびオブジェクトを扱えるソフトウェア等により、解析を行えばよい。また、特定情報がビットマップにより表されるイラストまたは写真等である場合は、DTPデータに含まれるそれら特定情報のファイル名からビットマップのデータを取得し、一般的に知られている通常の画像解析方法を用いてビットマップを解析すればよい。
図14において、特定情報の選択用位置情報として、オブジェクトの中心座標値または図心座標値を用いる場合の例を示す。図14(a)は、特定情報がテキストの場合の例であり、図14(b)は、特定情報が図表(パイチャート)の場合の例であり、図14(c)は、特定情報がイラスト・写真の場合の例である。なお、この図では、オブジェクトの中心座標値または図心座標値の位置を示すために、プラス印のマークを用いているが、このマークは、説明のために示したものであり、印刷または表示されるものではない。
図14(a)に示す例では、特定情報として、語句「花の都」、「大阪」、および「東京タワー」が示されている。語句「東京タワー」に対しては、その表示領域の中心が選択用位置情報として設定されている。
これに対し、語句「花の都」の場合は、語句を構成する各文字の間隔が離れており、その表示領域の中心座標値のみを選択用位置情報として設定すると、ユーザが語句「花の都」を選択するために文字「花」の近傍をタッチした際、語句「花の都」の中心座標値とタッチ位置の座標値とが離れているため、語句「花の都」が選択されない可能性が高い。
そのため、語句を構成する各文字の間隔が離れている場合は、その語句を構成する各文字に対して、各文字の中心座標値を選択用位置情報として設定するのがよい。
なお、ユーザが文字「花」の近傍をタッチした場合、ユーザが指定したい語句は、語句「花の都」であるか語句「花」であるかの判断を、特定情報選択部40が出来ない場合がある。その場合、特定情報選択部40は、語句「花の都」および語句「花」の両方を選択候補としてユーザに提示し、ユーザが所望の語句を選択候補から選択する構成としてもよい。
また、語句「大阪」の場合、改行により文字「大」と文字「阪」との間隔が離れてしまっている。この場合も、選択用位置情報として、各文字に対して、文字の中心座標値を設定することにより、ユーザは、適切に語句「大阪」を選択することが出来る。
図14(b)に示す例では、特定情報として、パイチャートおよびそのパイチャートを構成するパイが示されている。パイチャート全体の選択用位置情報として、円の中心点座標が設定されると共に、27%、18%、および55%の各パイ(それぞれ、オブジェクトA、B、およびCとする)の図心座標値が、各オブジェクトの選択用位置情報として設定される。
図14(c)に示す例では、特定情報として、河馬(オブジェクトD)および熊(オブジェクトE)のイラストの輪郭が示されている。各オブジェクトの図心座標値が選択用位置情報として設定される。なお、設定される図心座標値は、正確に計算される必要はなく、オブジェクトの選択が適切に出来る程度の概算値であればよい。
このように、一つの大きなオブジェクトが複数の小さなオブジェクトにより構成されている場合、これらの小さなオブジェクト毎に選択用位置情報を設定することにより、ユーザはより柔軟な特定情報の指示を行うことが出来る。
図15において、テキストおよび語句を特定情報とする場合の、他の選択用位置情報の例を示す。図15(a)は、語句の始点座標と高さを選択用位置情報とする例であり、図15(b)は、語句の始点座標と終点座標と高さとを選択用位置情報とする例であり、図15(c)は、語句を構成する文字が離れている場合に文字ごとの始点座標と終点座標と高さとを選択用位置情報とする例である。
図15(a)に示す例では、語句「東京」の高さhiと、語句「東京」が占める長方形の領域の左辺(長さはhi)の中点の座標値(xi,yi)とを、選択用位置情報としている。
図15(b)に示す例では、語句「東京」の高さhiと、語句「東京」の幅を示す、高さ方向において任意の位置の線分の始点座標(xi1,yi1)および終点座標(xi2,yi2)とを、選択用位置情報としている。
図15(c)に示す例では、語句「大阪」を構成する各文字が離れているので、文字「大」および「阪」のそれぞれに対して、図15(b)に示す例と同様に、文字の高さと幅を示す線分とにより選択用位置情報を設定している。すなわち、文字「大」は、高さhi1と、始点座標(xi11,yi11)と、終点座標(xi12,yi12)とを選択用位置情報として有し、文字「阪」は、高さhi2と、始点座標(xi21,yi21)と、終点座標(xi22,yi22)とを選択用位置情報として有している。
なお、テキスト、語句、および文字に対して、図15に示す各種の選択用位置情報を用いることにより、これらテキスト、語句、および文字の占める領域の位置、高さ、および幅がわかるので、xy座標系における、これらテキスト、語句、および文字のマスク領域を容易に計算することが出来る。
また、選択用位置情報は、前記マスク領域に含まれる全ての座標値(xia,yia)の集合とマスク領域の輪郭部の座標値(xie,yie)の集合とから構成されてもよい。
なお、図表、イラスト、写真等を特定情報とする場合にも、これらオブジェクトの輪郭部を定めることにより、オブジェクトに含まれる全ての座標値(xia,yia)の集合とオブジェクトの輪郭部の座標値(xie,yie)の集合とを選択用位置情報としてもよい。
なお、DTPデータが、地図データの場合、道路により囲まれた領域、地物領域、道路中心線、および/または地物図心が選択用位置情報となる。地図データ内では、特定情報がテキスト、道路、地物、交差点等のカテゴリに分類される。特定情報を選択する際、いずれかのカテゴリを選択して、特定情報を認識する。当然、特定情報の候補から選択してもよいし、予めカテゴリを選択してからタッチしてもよい。
<タッチ操作について>
図16から図18に基づき、ユーザが印刷物1a上の特定情報を指定する際に、スキャナ4を用いて行う操作について説明する。
図16において、スキャナ4を用いて、ユーザが特定情報の1点にタッチする操作の例を示す。タッチ位置の座標値(Xt,Yt)が、点座標として、特定情報選択部40に認識される。
図17において、スキャナ4を用いて、ユーザが特定情報の1点にタッチした後、指定したい特定情報上をなぞる操作の例を示す。タッチしてなぞった軌跡の座標値(Xt,Yt)が、線分として、特定情報選択部40に認識される。
この操作法を用いると、例えば、語句「東京」2a全体をなぞった場合には、語句「東京」2aが、入力する特定情報として特定情報選択部40に認識されるのに対し、文字「東」のみをなぞった場合には、文字「東」のみが、入力する特定情報として特定情報選択部40に認識させることが出来る。
図18において、スキャナ4を用いて、ユーザが特定情報の1点にタッチした後、指定したい特定情報の周囲をなぞって囲む操作の例を示す。タッチしてなぞって囲んだ軌跡の座標値(Xt,Yt)が、閉曲線として、特定情報選択部40に認識される。
なお、なぞって囲む操作により、完全な閉曲線が形成されない場合、特定情報選択部40は、タッチしてなぞった軌跡の始点と終点とを結ぶ補正により、完全な閉曲線を形成してもよい。
この操作法を用いると、タッチしてなぞる操作と同様に、語句「東京」2aの指定と文字「東」の指定とを区別するような、特定情報の正確な指示を情報入力装置5に与えることが出来る。
なお、ここでいう囲む操作には、指定したい特定情報が中に含まれるように完全に囲む場合と、なぞった軌跡が特定情報上に重なるように囲む場合とが含まれる。なぞった軌跡が特定情報上に重なるように囲む場合には、少なくとも選択用位置情報が表す位置が囲まれていればよい。もし、少なくとも選択用位置情報が表す位置が囲まれていない場合は、なぞった軌跡を構成する複数の座標値(xt,yt)から最も近い、選択用位置情報の位置に対応した特定情報が選択される。
<特定情報の選択方法について>
図19から図21に基づき、タッチ位置の座標値(xt,yt)と各特定情報に備えられた選択用位置情報とから、特定情報を選択する方法について説明する。なお、ユーザによるタッチ操作が3種類あり、選択用位置情報の種類が3種類あるので、以下では、これらの組み合わせとして、9通りのケースについて、特定情報の選択方法を説明する。
ケース1:タッチ操作の軌跡が点であり、選択用位置情報が中心点の場合
特定情報選択部40は、タッチ位置の座標値(xt,yt)の点から最も近い中心座標(xi,yi)または図心座標(xi,yi)を持つ特定情報を選択する。
ケース2:タッチ操作の軌跡が点であり、選択用位置情報が線分の場合
図19において、ユーザがタッチ操作により特定情報の指定を行い、かつ語句「東京」2aが選択用位置情報として、線分を持っている場合の、特定情報を選択する方法の例を示す。
図19(a)は、タッチ位置の座標値(xt,yt)の点から線分に対して下ろした垂線の足が線分と交わらない場合の例である。この場合、座標値(xt,yt)の点から線分までの距離dは、座標値(xt,yt)と線分の始点座標値(xi1,yi1)または終点座標値(xi2,yi2)との距離のうち、いずれか短い方となる。
図19(b)は、タッチ位置の座標値(xt,yt)の点から線分に対して下ろした垂線の足が線分と交わる場合の例である。この場合、座標値(xt,yt)の点から線分までの距離dは、座標値(xt,yt)の点から線分に対して下ろした垂線の長さとなる。
特定情報選択部40は、前記の方法により、各特定情報を表す線分とタッチ位置の座標値(xt,yt)の点との距離dを求め、距離dが最も短くなる特定情報を選択する。
ケース3:タッチ操作の軌跡が点であり、選択用位置情報がマスク領域の場合
図20において、ユーザがタッチ操作により特定情報の指定を行い、かつ語句「東京」2aが選択用位置情報として、マスク領域2bを持っている場合に、特定情報を選択する方法の例を示す。
この方法では、タッチ位置の座標値(xt,yt)が、マスク領域内の全座標値(xia,yia)のいずれかと一致すれば、特定情報選択部40は、一致した座標値を持つ特定情報を選択する。もし一致する座標値が無い場合は、タッチ位置の座標値(xt,yt)から最も近い、マスク領域輪郭部の座標値(xie,yie)を持つ特定情報を選択すればよい。
このマスク領域を利用する選択方法は、テキストのみならず、図表、イラスト、写真等のオブジェクトが特定情報である場合にも使用できる。
図20(a)は、タッチ位置の座標値(xt,yt)がマスク領域2b内である場合の例である。この場合、特定情報選択部40は、マスク領域2bに対応した特定情報である語句「東京」2aを選択する。
図20(b)は、タッチ位置の座標値(xt,yt)が、語句「東京」2aのマスク領域2b内にも、語句「大阪」2a’のマスク領域2b’内にも入らない場合の例である。この場合、特定情報選択部40は、タッチ位置の座標値(xt,yt)からマスク領域2bおよびマスク領域2b’までの距離d1およびd2を求め、これらの距離を比較する。距離d1の方が短いので、特定情報選択部40は、マスク領域2bに対応した特定情報である語句「東京」2aを選択する。
ケース4:タッチ操作の軌跡が線分であり、選択用位置情報が中心点の場合
特定情報選択部40は、ケース2と同様に、中心座標(xi,yi)または図心座標(xi,yi)から、軌跡の線分までの距離dが最も短くなる特定情報を選択する。
ケース5:タッチ操作の軌跡が線分であり、選択用位置情報が線分の場合
特定情報選択部40は、例えば、軌跡である線分の始点座標値(xt1,yt1)と、終点座標値(xt2,yt2)と、選択用位置情報である線分の始点座標値(xi1,yi1)と、終点座標値(xi2,yi2)とにより形成される四角形の面積が最小となる特定情報を選択する。
ケース6:タッチ操作の軌跡が線分であり、選択用位置情報がマスク領域の場合
特定情報選択部40は、軌跡である線分を構成する複数の座標値(xt,yt)のうち、最も多くの座標値(xt,yt)が含まれるマスク領域を持つ特定情報を選択する。
ケース7:タッチ操作の軌跡が閉曲線であり、選択用位置情報が中心点の場合
図21において、ユーザがタッチしてなぞって囲む操作により特定情報の指定を行い、かつ語句「東京」2aが選択用位置情報として、中心座標値(xi,yi)を持っている場合に、特定情報を選択する方法の例を示す。この場合、特定情報選択部40は、なぞって囲む操作により入力された軌跡により囲まれた選択用位置情報を有する特定情報を選択する。
ケース8:タッチ操作の軌跡が閉曲線であり、選択用位置情報が線分の場合
特定情報選択部40は、ケース6と同様に、選択用位置情報である線分を構成する複数の座標値(xi,yi)のうち、最も多くの座標値が、軌跡である閉曲線内に含まれる特定情報を選択する。
ケース9:タッチ操作の軌跡が閉曲線であり、選択用位置情報がマスク領域の場合
特定情報選択部40は、軌跡である閉曲線とマスク領域との重なりの面積が最大となる特定情報を選択する。
<情報入力処理の手順について>
図22に示すフローチャートに基づき、情報入力装置5が行う情報入力処理の手順について説明する。なお、以下では、1つのドットコードがXY座標値およびコード値の両方を含む場合であり、かつ印刷物1a上の語句「東京」2aに対応したDTPデータ1b内の特定情報には選択用位置情報として予めマスク領域2bが設定されている場合について説明する。
まず、ユーザがスキャナ4を用いて所望の特定情報を指定する操作を行うと、スキャナ4が、ユーザがスキャナ4を用いてタッチした、印刷物1a上の箇所に印刷されているドットパターン3を読み取る。読み取られたドットパターン3は、スキャナ4の中央処理装置において、解析ソフトウェアによりドットコードに変換される。スキャナ4は、変換したドットコードのうち、ドキュメントID部分を、ドキュメント管理部20に送り、XY座標値部分を座標変換部30に送る(ステップ10、以下S10と略す)。
次に、ドキュメント管理部20が、スキャナ4から受け取ったドキュメントIDを用いて、予め保管されているDTPデータの中から、そのドキュメントIDに対応するDTPデータ1bを選択する。そして選択したDTPデータ1bを座標変換部30および特定情報選択部40に送る(S20)。
次に、座標変換部30が、スキャナ4から受け取ったXY座標系の座標値(Xt,Yt)を、ドキュメント管理部20から受け取ったDTPデータ1b内のxy座標系における座標値(xt,yt)に変換する(S30)。
次に、特定情報選択部40が、座標変換部30から受け取った座標値(xt,yt)に基づき、ドキュメント管理部20から受け取ったDTPデータ1b内の特定情報のうち、適切な特定情報を選択する(S40)。特定情報選択部40は、選択した特定情報を、他の機器の入力となるように、または情報入力装置5において行われる次の任意の処理の入力となるように、出力する。
図23に示すフローチャートに基づき、前記S40において行われる特定情報の選択処理について詳細に説明すると、以下の通りである。
まず、特定情報選択部40は、ユーザのタッチ操作により得られたタッチ位置の座標値(xt,yt)の軌跡が、点であるか否かを判断する(S41a)。
点である場合は、S42aの処理に進む。
点でない場合は、S41bの処理に進む。
次に、特定情報選択部40は、点の座標値(xt,yt)がマスク領域2b内の全座標値(xia,yia)のいずれかと一致するか否かを判断する(S42a)。
一致する場合には、S43aの処理に進む。
一致しない場合には、S44aの処理に進む。
S42aにおいて、点の座標値(xt,yt)がマスク領域2b内の全座標値(xia,yia)のいずれかと一致する場合、特定情報選択部40は、点の座標値(xt,yt)と一致する座標値(xia,yia)を持つ特定情報を選択して処理を終了する(S43a)。
S42aにおいて、点の座標値(xt,yt)がマスク領域2b内の全座標値(xia,yia)のいずれとも一致しない場合、特定情報選択部40は、点の座標値(xt,yt)に最も近い、輪郭部の座標値(xie,yie)を持つ特定情報を選択し、処理を終了する(S44a)。
S41aにおいて、タッチ位置の座標値(xt,yt)の軌跡が、点ではない場合、特定情報選択部40は、次に、タッチ位置の座標値(xt,yt)の軌跡が、線分であるか否かを判断する(S41b)。
線分である場合は、S42bの処理に進む。
線分でない場合は、S41cの処理に進む。
S41bにおいて、タッチ位置の座標値(xt,yt)の軌跡が、線分である場合、特定情報選択部40は、線分の少なくとも一部がマスク領域2b内に含まれるか否かを判断する(S42b)。
線分の少なくとも一部がマスク領域2b内に含まれる場合は、S43bの処理に進む。
線分がマスク領域2b内に含まれない場合は、S44bの処理に進む。
S42bにおいて、線分の少なくとも一部がマスク領域2b内に含まれる場合、特定情報選択部40は、最も多くの座標値(xt,yt)をマスク領域内に含む特定情報を選択し、処理を終了する(S43b)。
S42bにおいて、線分がマスク領域2b内に含まれない場合、特定情報選択部40は、線分に最も近い輪郭部の座標値(xie,yie)を持つ特定情報を選択し、処理を終了する(S44b)。
S41bにおいて、タッチ位置の座標値(xt,yt)の軌跡が、線分ではない場合、特定情報選択部40は、次に、タッチ位置の座標値(xt,yt)の軌跡が、閉曲線であるか否かを判断する(S41c)。
閉曲線である場合は、S42cの処理に進む。
閉曲線でない場合は、必要に応じエラー処理等を行い、処理を終了する。
S41cにおいて、タッチ位置の座標値(xt,yt)の軌跡が、閉曲線である場合、特定情報選択部40は、閉曲線により囲まれた領域の少なくとも一部がマスク領域2bと重なるか否かを判断する(S42c)。
重なる場合は、S43cの処理に進む。
重ならない場合は、S44cの処理に進む。
S42cにおいて、閉曲線により囲まれた領域の少なくとも一部がマスク領域2bと重なる場合、特定情報選択部40は、閉曲線により囲まれた領域と最も多くの重なりを持つマスク領域2bに対応した特定情報を選択し、処理を終了する(S43c)。
S42cにおいて、閉曲線により囲まれた領域がいずれのマスク領域2bとも重ならない場合、特定情報選択部40は、閉曲線により囲まれた領域に最も近い輪郭部の座標値(xie,yie)を持つ特定情報を選択し、処理を終了する(S44c)。
[第2の実施形態]
本発明に係る情報入力装置のうち、コンテンツと共にドットパターンが印刷された媒体を用い、かつDTPデータをネットワーク上のサーバから取得する一実施形態について、図24に基づいて説明すると、以下の通りである。
なお、以下では、第1の実施形態と異なる箇所のみを説明し、同様の箇所に関しては説明を省略する。
<情報入力装置5aおよび情報処入力システムの構成について>
図24において、本実施形態に係る情報入力装置5aの機能ブロック図を示す。情報入力装置5aは、スキャナ4aと、座標変換部30aと、特定情報選択部40aと、通信部50(通信手段)とを備えている。
また、本実施形態に係る情報入力システムは、情報入力装置5aと、ドキュメント管理サーバ13(2次元書式情報サーバ)と、これらを接続するネットワークとから構成される。
情報入力装置5aにおいて、スキャナ4aは、タッチ位置のドットパターン3を読み込み、ドットコードのうちドキュメントID部分を通信部50に送り、ドットコードのうちXY座標値部分を座標変換部30aに送る。
通信部50は、スキャナ4aから受け取ったドキュメントIDをドキュメント管理サーバ13に送信すると共に、ドキュメント管理サーバ13から受信した、ドキュメントIDに対応したDTPデータ1bを、座標変換部30aおよび特定情報選択部40aに送る。
特定情報選択部40aは、座標変換部30aから受け取ったxy座標値と、通信部50から受け取ったDTPデータ1bとを用いて、DTPデータ1b内の特定情報を選択し、選択した特定情報を出力する。
ドキュメント管理サーバ13は、ドキュメント管理部20a(2次元書式情報保管選択手段)と通信部51(通信手段)とを備える。ドキュメント管理部20aの機能は、第1の実施形態におけるドキュメント管理部20と同じである。
なお、前記構成では、ドキュメント管理部20aは、ドキュメント管理サーバ13上にのみ備えられているが、第1の実施形態と同様に、ドキュメント管理部20が情報入力装置5aにも備えられていてもよい。
この場合、ドキュメント管理部20内のDTPデータを先に検索し、必要なDTPデータ1bが検索されれば、改めてネットワーク上のドキュメント管理サーバ13にアクセスする必要が無くなるので、ネットワーク上のトラフィックを軽減するとともに、処理を高速化できる。また、ドキュメント管理部20が、ドキュメント管理部20aから取得したDTPデータ1bをキャッシュする構成としてもよい。
<情報入力処理の手順について>
情報入力装置5aが行う情報入力処理の手順について説明する。以下の説明における各ステップS10aからS40aの処理は、図22に示すフローチャートのS10からS40のそれぞれに対応するものである。なお、以下では、1つのドットコードがXY座標値およびコード値の両方を含む場合について説明する。
まず、ユーザがスキャナ4aを用いて所望の特定情報を指定する操作を行うと、スキャナ4aが、ユーザがスキャナ4aを用いてタッチした、印刷物1a上の箇所に印刷されているドットパターン3を読み取る。読み取られたドットパターン3は、スキャナ4aの中央処理装置において、解析ソフトウェアによりドットコードに変換される。スキャナ4は、変換したドットコードのうち、ドキュメントID部分を、通信部50および51を介して、ドキュメント管理サーバ上のドキュメント管理部20aに送り、XY座標値部分を座標変換部30に送る(S10a)。
次に、ドキュメント管理部20aが、スキャナ4aから受け取ったドキュメントIDを用いて、予め保管されているDTPデータの中から、そのドキュメントIDに対応するDTPデータ1bを選択する。そして選択したDTPデータ1bを、通信部51および50を介して、座標変換部30aおよび特定情報選択部40aに送る(S20a)。
次に、座標変換部30aが、スキャナ4aから受け取ったXY座標系の座標値(Xt,Yt)を、ドキュメント管理部20aから受け取ったDTPデータ1b内のxy座標系における座標値(xt,yt)に変換する(S30a)。
次に、特定情報選択部40aが、座標変換部30aから受け取った座標値(xt,yt)に基づき、ドキュメント管理部20aから受け取ったDTPデータ1b内の特定情報のうち、適切な特定情報を選択する(S40a)。特定情報選択部40aは、選択した特定情報を、他の機器の入力となるように、または情報入力装置5aにおいて行われる次の任意の処理の入力となるように、出力する。
<コンテンツおよびドットパターンの印刷について>
情報入力装置5aは、さらに印刷部(図示せず)(印刷手段)を備え、新たに取得したDTPデータ1bを、ドットパターン3と共に、媒体上に印刷できる構成でもよい。ドットパターン3のドットコードには、XY座標値に加えて、新たに取得したDTPデータ1bを識別するドキュメントIDが含まれていることが望ましい。
この構成によると、新たに取得したDTPデータ1bから、入力処理に用いる印刷物1aを作成することが出来る。
[第3の実施形態]
本発明に係る情報処理装置のうち、コンテンツと共にドットパターンが印刷された媒体を用い、かつDTPデータをネットワーク上のサーバから取得して特定情報の入力を行い、その特定情報の関連情報を検索し、表示する情報処理装置の一実施形態について、図25から図27に基づいて説明すると、以下の通りである。
なお、以下では、第1および第2の実施形態と異なる箇所のみを説明し、同様の箇所に関しては説明を省略する。
<情報処理装置12および情報処理システムの構成について>
図25において、本実施形態に係る情報処理装置12の機能ブロック図を示す。情報処理装置12は、スキャナ4aと、座標変換部30aと、特定情報選択部40bと、通信部50bと、関連情報検索部60(関連情報検索手段)と、表示部70とを備えている。情報処理装置12の具体例として、例えばパーソナルコンピュータが挙げられる。
なお、情報処理装置12は、PDA、テレビ受信装置、フロントプロジェクタ、リアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、POS端末装置、ATM、KIOSK端末、カーナビ、パチンコ、時計、スマートフォン等であってもよい。
また、本実施形態に係る情報処理システムは、情報処理装置12と、ドキュメント管理サーバ13と、辞書サーバ14と、これらを接続するネットワークとから構成される。
情報処理装置12において、スキャナ4aは、タッチ位置のドットパターン3を読み込み、ドットコードのうちドキュメントID部分を通信部50bに送り、ドットコードのうちXY座標値部分を座標変換部30aに送る。
通信部50bは、スキャナ4aから受け取ったドキュメントIDをドキュメント管理サーバ13に送信すると共に、ドキュメント管理サーバ13から受信した、ドキュメントIDに対応したDTPデータ1bを、座標変換部30aおよび特定情報選択部40bに送る。また、通信部50bは、関連情報検索部60から受け取った特定情報を辞書サーバ14に送信すると共に、送信した特定情報を基に辞書サーバ14において検索された特定情報の関連情報を、辞書サーバ14から受信し、関連情報検索部60に渡す。
特定情報選択部40bは、座標変換部30aから受け取ったxy座標値と、通信部50bから受け取ったDTPデータ1bとを用いて、DTPデータ1b内の特定情報を選択し、選択した特定情報を関連情報検索部60に出力する。
関連情報検索部60は、特定情報選択部40bから受け取った特定情報を、通信部50bを介して辞書サーバ14に送り、検索結果である関連情報を辞書サーバ14から通信部50bを介して受け取り、受け取った関連情報を表示部70に出力する。
なお、本実施の形態では、関連情報検索部60は、ネットワーク上の1または複数の辞書サーバ14を検索する構成としているが、ネットワーク上の辞書サーバ14に代わる機能として、予め設定されたリンクテーブル、データベース、および/または電子辞書を情報処理装置12内に備え、関連情報検索部60は、ネットワークにアクセスすること無しに関連情報の検索を行ってもよい。
なお、辞書サーバ14の例としては、汎用リンクテーブル、汎用データベース、汎用電子辞書などが挙げられる。
表示部70は、関連情報検索部60から受け取った関連情報を、ディスプレイ等を用いてユーザに提示する。
なお、前記の構成では、情報処理装置12に備えられた関連情報検索部60が、辞書サーバ14と通信を行い、関連情報を取得しているが、この構成に代えて、ドキュメント管理サーバ13が、関連情報検索部60を備えていてもよい。この場合、特定情報選択部40bは、選択した特定情報を、通信部を介してドキュメント管理サーバ13上の関連情報検索部60に送信する。関連情報検索部60は、辞書サーバ14と通信を行い、選択された特定情報の関連情報を取得し、情報処理装置12に送信する。
辞書サーバ14には、テキストやイラスト、写真等を示すデータファイルに対応する説明やURL、マルチメディア情報等の関連情報が格納されている。辞書サーバ14では、選択された特定情報であるテキストやイラスト、写真等の関連情報を示すデータファイルが検索される。辞書サーバ14は、ウィキペディア、ヤフー、グーグル等の検索エンジンまたは会員制の専門データベースであってもよい。
<情報処理の手順について>
図26に示すフローチャートおよび図27に基づき、情報処理装置12が行う情報処理の手順について説明する。なお、以下では、1つのドットコードがXY座標値およびコード値の両方を含む場合であり、かつ印刷物1a上の語句「東京」2aに対応したDTPデータ1b内の特定情報には選択用位置情報として予め中心座標値(xi,yi)が設定されている場合について説明する。
まず、ユーザがスキャナ4aを用いて所望の特定情報を指定する操作を行うと、スキャナ4aが、ユーザがスキャナ4aを用いてタッチした、印刷物1a上の箇所に印刷されているドットパターン3を読み取る。読み取られたドットパターン3は、スキャナ4aの中央処理装置において、解析ソフトウェアによりドットコードに変換される。スキャナ4aは、変換したドットコードのうち、ドキュメントID部分を、通信部50bおよび51を介して、ドキュメント管理サーバ13上のドキュメント管理部20aに送り、XY座標値部分を座標変換部30に送る(S10a)。
次に、ドキュメント管理部20aが、スキャナ4aから受け取ったドキュメントIDを用いて、予め保管されているDTPデータの中から、そのドキュメントIDに対応するDTPデータ1bを選択する。そして選択したDTPデータ1bを、通信部51および50bを介して、座標変換部30aおよび特定情報選択部40bに送る(S20a)。
次に、座標変換部30aが、スキャナ4aから受け取ったXY座標系の座標値(Xt,Yt)を、ドキュメント管理部20aから受け取ったDTPデータ1b内のxy座標系における座標値(xt,yt)に変換し、特定情報選択部40bに渡す(S30a)。
次に、特定情報選択部40bが、座標変換部30aから受け取った座標値(xt,yt)に基づき、ドキュメント管理部20aから受け取ったDTPデータ1b内の特定情報のうち、適切な特定情報を選択する。特定情報選択部40bは、選択した特定情報を関連情報検索部60へ渡す(S40a)。
例えば、タッチ位置の座標値(xt,yt)から、DTPデータ1b内の他の特定情報の中心座標値(xi,yi)までの距離よりも、タッチ位置の座標値(xt,yt)から、語句「東京」2aの中心座標値(xi,yi)までの距離の方が短いことから、語句「東京」2aが、情報処理装置12への入力として選択される。
次に、関連情報検索部60が、特定情報選択部40bから受け取った特定情報を、通信部50bを介して、辞書サーバ14に送信し、辞書サーバにおいて検索された、特定情報の関連情報を、通信部50bを介して、辞書サーバ14から受信する。そして、関連情報検索部60は、受信した関連情報を、表示部70を介して、ユーザに提示する(S50a)。
図27に示す例では、語句「東京」2aがネットワークを介して辞書サーバ14に送信される。辞書サーバ14上では、見出し語「東京」に対応した説明文「東京とは」が検索され、情報処理装置12に返信される。情報処理装置12の画面上には、語句「東京」2aに対応した関連情報である説明文「東京とは」が、画面上に表示される。
なお、関連情報は、テキスト以外に、イラストや写真等を示すデータファイルであってもよい。
[第4の実施形態]
本発明に係る情報処理装置のうち、コンテンツと共にドットパターン3が表示されたディスプレイを用いる一実施形態について、図28から図32に基づいて説明すると、以下の通りである。
なお、第1の実施形態における情報入力装置5、第2の実施形態における情報入力装置5a、および第3の実施形態における情報処理装置12においては、印刷物1aを用いた。本実施形態では、印刷物1aに代わりディスプレイを用いる例を説明するにあたり、情報処理装置12を変形した例として、情報処理装置12bを挙げて説明する。情報入力装置5および情報入力装置5aを、印刷物1aに代わりディスプレイを用いる構成に変形する方法は、同様なので説明を省略する。
また、以下では、第3の実施形態と異なる箇所のみを説明し、同様の箇所に関しては説明を省略する。
<概要>
図28において、本実施形態の概要を例示する。
図28において示すように、まずユーザは、Webサーバ13b(2次元書式情報サーバ)から適当なコンテンツをダウンロードし、情報処理装置12bの画面15上に表示させる。
次に、ユーザは、コンテンツと共にドットパターン3が表示されたディスプレイ15上の、情報処理装置12bを用いて検索したい情報に、スキャナ4bを用いてタッチする。
この例では、ユーザは、ディスプレイ15上に表示されたコンテンツのうち、語句「東京」2aに関する関連情報を検索したいので、ディスプレイ15上に表示された語句「東京」2aを、スキャナ4bによりタッチしている。
ドットパターン3には、予めディスプレイ15のXY座標値が、コード化されており、ユーザがディスプレイ15上をスキャナ4bによりタッチすると、タッチ位置のディスプレイ15上のXY座標系における座標値(Xt,Yt)が、情報処理装置12bに読み込まれる。
情報処理装置12bは、読み込まれたXY座標値と、Webサーバ13bからダウンロードし表示しているコンテンツのコンテンツデータ1d(2次元書式情報)とを用いて、タッチ位置にある特定情報を認識する。
図に示すように、コンテンツファイル内のコンテンツデータは、独自のxy座標系を持つ。コンテンツデータに含まれる、テキスト、図表、イラスト、写真等の特定情報には、これらを選択するために用いられる選択用位置情報が設定されている。
例えば、語句「東京」2aには、対応するマスク領域2bおよび/または中心座標値(xi,yi)が設定されている。
例えば、タッチ位置の座標値(xt,yt)がマスク領域2bに含まれることにより、コンテンツデータ1dに含まれる多くの特定情報のうち、語句「東京」2aが、選択される。
情報処理装置12bは、選択された語句「東京」2aを用いて、辞書サーバ14を検索する。検索結果である関連情報が辞書サーバ14から情報処理装置12bに返信され、ディスプレイ15上に表示される。
図28に示す例では、検索結果として、語句「東京」2aの関連情報である説明文「東京とは」が、ディスプレイ15上に表示されている。
このように、コンテンツ内の、ハイパーリンク等が設定されていない特定情報でも、ユーザがスキャナ4bによりタッチして指示することにより、情報処理装置12bへの入力とすることが出来る。また、入力した特定情報の関連情報を検索し表示することが出来る。
<ドットコードのフォーマットについて>
本実施形態におけるドットコードは、XY座標値のみを含むものでよい。コンテンツIDは、前記の実施形態におけるドキュメントIDに相当するものである。
なお、ディスプレイ15を複数持つ情報処理装置12bの場合は、ディスプレイ15を区別するために、コード値として、ディスプレイIDを含んだドットコードを用いることも出来る。
<ディスプレイの構造について>
ディスプレイ15は、一般的なディスプレイを用いて、RGB値を調整することにより、ドットパターン3のドットを表示してもよいし、ディスプレイ15の画素とは別に、ドットパターン3を表すドット部をディスプレイ15上に配列して設けてもよい。
本実施の形態等の説明においては、ドット等を「表示する」との表現を用いているが、前記の説明の通り、この表現には、「ドット部をディスプレイ15上に配列して設ける」という場合も含まれる。
図29において、画素とは別にドット部を設けた有機ELディスプレイの断面図を示す。図29(a)は、ドット部に入射した赤外線が、透過または吸収される様子を示す図であり、図29(b)は、ドット部以外の発光素子に赤外線が入射し、拡散反射される様子を示す図である。
このように、発光素子の部分とドット部とにおいて赤外線反射特性を異ならせることにより、ドットパターンを表現することが出来る。
図30において、ディスプレイ15の変形例として、フロントプロジェクタまたはリアプロジェクタのスクリーンにドット部を設ける例を示す。図30(a)は、ドット部に入射した赤外線が、透過または吸収される様子を示す図であり、図30(b)は、ドット部以外のスクリーン部分に赤外線が入射し、拡散反射される様子を示す図である。
<コンテンツデータについて>
コンテンツデータの例として、HTML、XML、フラッシュ等により作成されたものが挙げられる。もちろん、前記の実施形態において例示したDTPデータもコンテンツデータとして扱うことが出来る。
<情報処理装置12bおよび情報処理システムの構成について>
図31において、本実施形態に係る情報処理装置12bの機能ブロック図を示す。情報処理装置12bは、スキャナ4bと、座標変換部30bと、特定情報選択部40cと、通信部50cと、関連情報検索部60と、表示部70bと、ディスプレイ15と、コンテンツ取得部80とを備えている。情報処理装置12bの具体例として、例えばパーソナルコンピュータが挙げられる。
また、本実施形態に係る情報処理システムは、情報処理装置12bと、Webサーバ13bと、辞書サーバ14と、これらを接続するネットワークとから構成される。
情報処理装置12bにおいて、コンテンツ取得部80は、通信部50cを介して、Webサーバ13bにコンテンツ要求を送信し、Webサーバ13bから返信されたコンテンツデータ1dを、通信部50cを介して受け取り、受け取ったコンテンツデータ1dを、表示部70bおよびディスプレイ15を介して、ユーザに提示する。
スキャナ4bは、タッチ位置のドットパターン3を読み込み、ドットコードのXY座標値を座標変換部30bに送る。
座標変換部30bは、スキャナ4bから受け取ったXY座標値(Xt,Yt)を、コンテンツ取得部80から受け取ったコンテンツデータ1dを用いて、コンテンツデータ1d上のxy座標系におけるタッチ位置の座標値(xt,yt)に変換し、変換した座標値(xt,yt)を特定情報選択部40cに送る。
特定情報選択部40cは、座標変換部30bから受け取ったxy座標値と、コンテンツ取得部80から受け取ったコンテンツデータ1dとを用いて、コンテンツデータ1d内の特定情報を選択し、選択した特定情報を関連情報検索部60に出力する。
関連情報検索部60は、特定情報選択部40cから受け取った特定情報を、通信部50cを介して辞書サーバ14に送り、検索結果である関連情報を辞書サーバ14から通信部50cを介して受け取り、受け取った関連情報を表示部70bおよびディスプレイ15を介してユーザに提示する。
通信部50cは、コンテンツ取得部80から受け取ったコンテンツ要求をWebサーバ13bに送信すると共に、Webサーバ13bから受信した、コンテンツ要求に対応したコンテンツデータ1dを、表示部70b、座標変換部30bおよび特定情報選択部40cに送る。また、通信部50cは、関連情報検索部60から受け取った特定情報を辞書サーバ14に送信すると共に、送信した特定情報を基に辞書サーバ14において検索された特定情報の関連情報を、辞書サーバ14から受信し、関連情報検索部60に渡す。
表示部70bは、コンテンツ取得部80から受け取ったコンテンツデータ1dと、関連情報検索部60から受け取った関連情報とを、ディスプレイ15を介してユーザに提示する。
なお、本構成例では、ディスプレイ15の画面上に、赤外線を吸収するドット部が設けられている構成とするので、ドットパターン3をRGB値の調整により表示するための機能ブロックは設けられていない。
<情報処理の手順について>
図32に示すフローチャートに基づき、情報処理装置12bが行う情報処理の手順について説明する。なお、以下では、ディスプレイ15上に表示された語句「東京」2aに対応したコンテンツデータ1d内の特定情報には、選択用位置情報として予め中心座標値(xi,yi)が設定されている場合について説明する。
まず、コンテンツ取得部80が、コンテンツ要求を、通信部50cを介して、Webサーバ13bに送信し、Webサーバ13bから、コンテンツ要求に対応したコンテンツデータ1dを、通信部50cを介して受信する。コンテンツ取得部80は、受信したコンテンツデータ1dを、表示部70bを介して、ディスプレイ15上に表示する(S5)。また、コンテンツ取得部80は、表示中のコンテンツのコンテンツデータ1dを、座標変換部30bおよび特定情報選択部40cにも出力する。
S5の処理は、具体的には、ユーザが一般的なWebブラウザを用いてネットサーフィンを行い、Webサーバ13bからダウンロードしたコンテンツデータを、ユーザが閲覧している状態を表している。
次に、ユーザがスキャナ4bを用いて所望の特定情報を指定する操作を行うと、スキャナ4bが、ユーザがスキャナ4bを用いてタッチした、ディスプレイ15上の箇所に設定されているドットパターン3を読み取る。読み取られたドットパターン3は、スキャナ4bの中央処理装置において、解析ソフトウェアによりドットコードに変換される。スキャナ4bは、変換したドットコードのXY座標値を座標変換部30bに送る(S10b)。
次に、座標変換部30bが、スキャナ4bから受け取ったXY座標系の座標値(Xt,Yt)を、コンテンツ取得部80から受け取ったコンテンツデータ1d内のxy座標系における座標値(xt,yt)に変換し、特定情報選択部40cに渡す(S30a)。
次に、特定情報選択部40cが、座標変換部30bから受け取った座標値(xt,yt)に基づき、コンテンツ取得部80から受け取ったコンテンツデータ1d内の特定情報のうち、適切な特定情報を選択する。特定情報選択部40cは、選択した特定情報を関連情報検索部60へ渡す(S40b)。
例えば、タッチ位置の座標値(xt,yt)から、コンテンツデータ1d内の他の特定情報の中心座標値(xi,yi)までの距離よりも、タッチ位置の座標値(xt,yt)から、語句「東京」2aの中心座標値(xi,yi)までの距離の方が短いことから、語句「東京」2aが、情報処理装置12bへの入力として選択される。
次に、関連情報検索部60が、特定情報選択部40cから受け取った特定情報を、通信部50cを介して、辞書サーバ14に送信し、辞書サーバにおいて検索された、特定情報の関連情報を、通信部50cを介して、辞書サーバ14から受信する。そして、関連情報検索部60は、受信した関連情報を、表示部70bおよびディスプレイ15を介して、ユーザに提示する(S50a)。
図28に示す例では、語句「東京」2aがネットワークを介して辞書サーバ14に送信される。辞書サーバ14上では、見出し語「東京」に対応した説明文「東京とは」が検索され、情報処理装置12bに返信される。情報処理装置12bの画面上には、語句「東京」2aに対応した関連情報である説明文「東京とは」が、画面上に表示される。
[第5の実施形態]
本発明に係る情報処理装置のうち、ドットパターン3が印刷された透明シートを、通常の印刷物の印刷面に重ねて配置し用いる一実施形態について、図33から図38に基づいて説明すると、以下の通りである。なお、以下ではこの透明シートをグリッドシート1g(情報入力補助シート)という。
なお、以下の説明では、コンテンツと共にドットパターンが印刷された媒体を用い、かつDTPデータをネットワーク上のサーバから取得して特定情報の入力を行い、その特定情報の関連情報を検索し、表示するという第3の実施形態と異なる箇所のみ説明を行う。
<概要>
図33において、本実施形態の概要を示す。
まず、ユーザが、ドットパターン3が印刷されていない、通常の印刷物1eを特定するためのインデックスを情報処理装置12cに入力する。入力方法は、ユーザがグリッドシート1gに印刷されたアイコン(後述)にタッチして印刷物1eを特定するインデックスを入力する方法でもよいし、ユーザがキーボード等を用いてインデックスを入力する方法でもよい。
なお、インデックスは、ドキュメント管理サーバ13において、ドキュメントIDに変換され、変換されたドキュメントIDを用いて、ドキュメント管理サーバ13上のDTPデータが検索されても良い。
次に、ユーザは、印刷物1eの印刷面上に、グリッドシート1gを正確に重ねる。
次に、ユーザは、グリッドシート1gを通して印刷面上の、関連情報を検索したい特定情報である、語句「東京」2aを、スキャナ4aを用いて、タッチする。
次に、スキャナ4aが、タッチ位置のグリッドシート1g上のXY座標系における座標値(Xt,Yt)を読み込む。
インデックスとタッチ位置の座標値(Xt,Yt)とが情報処理装置12cに入力された後の処理は、第3の実施形態における処理と同一である。
このように、印刷物1e上にグリッドシート1gを被せ、その上をスキャナ4aによりタッチするだけで、印刷物1e上のテキストやイラスト、写真等の詳細な説明(関連情報)を画面に表示させることが出来る。
第1から第3の実施形態においては、印刷物1aに、テキストやイラスト、写真等とドットパターン3とを重畳印刷し、ユーザが印刷物1aをスキャナ4によりタッチし、タッチした特定情報に対応する関連情報を表示していた。
しかし、この方法では、ドットパターン3が印刷されていない通常の印刷物1eを特定情報の入力に用いることは出来なかった。本実施形態では、印刷物1eにグリッドシート1gを被せて使用するため、既存の印刷物1eを対象とすることが出来る。また、グリッドシート1gは、複数の印刷物1eを対象として、1枚あれば共通して使用できるので、利便性が高まる。
<グリッドシートについて>
図34において、グリッドシート1gの表面の正面図を示す。
グリッドシート1gには、ほぼ全域に、XY座標値を含んだドットパターン3が印刷されている。グリッドシート1gの下部には、0から9までの数字、「頁入力」、「中止」、および「決定」の文字が記載されたアイコンが、各アイコンに対応したコード値を含んだドットパターン3と共に、重畳印刷されている。これらのアイコンは、印刷物1eを特定するためインデックスを、ユーザがスキャナ4aを用いて入力するためのアイコンである。
<グリッドシートの使用方法について>
図35は、ドットパターン3が片面にのみ印刷されたグリッドシート1gを、印刷物1eに重ねて使用する方法を示す図である。
ユーザは、本や雑誌、新聞等の印刷物1e上に、グリッドシート1gを被せて使用する。図35(a)に示すように、向かって右側のページに使用する場合であっても、図35(b)に示すように、向かって左側のページに使用する場合であっても、ユーザは、シートの表側を上に向けて使用する。
<グリッドシートの断面構造について>
図36から図38において、代表的なグリッドシート1gの断面図を示す。
図36に示すグリッドシート1gの内部構造は、裏側から順に、赤外線拡散反射層、ドットパターン層、保護層が積層された構造となっている。
赤外線拡散反射層は、ドットパターン層側からの赤外線を拡散反射するとともに、可視光を透過する特性を有する。赤外線拡散反射層は、ビニール、塩ビペット、ポリプロピレン等、可視光線を透過する材料で生成された蒸着用透明シートに、赤外線拡散反射材料が蒸着された構成となっている。赤外線拡散反射層は、スキャナ4aのIR−LEDから照射され保護層を透過した赤外線を、スキャナ4aに対して反射すると共に、可視光を透過する。
なお、赤外線拡散反射層は、ドットパターン層と反対側(裏面側)からの赤外線も反射する特性を有していてもよい。このような特性を有するグリッドシート1gを、ディスプレイ画面等に装着すると、ディスプレイ画面やスクリーンからの赤外線を遮断し、IR−LEDから照射された赤外線光のみを反射光とすることが出来る。そのため、明るく鮮明なドットパターン3を撮影でき、ドットコードを正確に解析できる。
ドットパターン層には、カーボンインク等の赤外線吸収特性材料からなるドットを所定の規則により配列したドットパターン3が印刷されている。
保護層は、ビニール、塩ビペット、ポリプロピレン等、可視光線および赤外線を透過する材料で生成されている。ドットパターンを繰り返しスキャナでタッチすると、ドットが磨耗し、正確にドットパターンを読み取れなくなるという問題が生じる。そこで、保護層を設けることにより、ドットの磨耗と汚れを防ぎ、シートを長期間使用することが可能となる。
図に示すように、IR−LEDから照射された赤外線は、まず、保護層を透過し、ドットパターン層のドット部で吸収されるか、またはドット以外の領域では透過する。次に、ドットパターン層を透過した赤外線は、赤外線拡散反射層において拡散反射する。
図37に示すグリッドシート1gの内部構造は、裏側から順に、保護層、ドットパターン層、赤外線拡散反射層、ドットパターン層、保護層が積層された構造となっている。すなわち、グリッドシート1gの両面にドットパターン層を設けたことを特徴とする。
これにより、グリッドシート1gの両面を利用することが出来るため、利便性が向上する。
なお、同図に示したグリッドシート1gにおいては、表側および裏側のドットパターン層では、同一座標値および/またはコード値がパターン化されていてもよいし、異なる座標値および/またはコード値がパターン化されていてもよい。
図38に示すグリッドシート1gの内部構造は、裏側から順に、赤外線拡散反射層、ドットパターン+グラフィック印刷層、保護層が積層された構造となっている。
このように、ドットパターン層またはその他の層において、赤外線透過材料または赤外線反射材料からなるインクを用いて、テキスト、イラスト、写真等が重畳印刷されていてもよい。テキスト、イラスト、写真等が重畳印刷されるグラフィック印刷層は、可視的な印刷層である。
[第6の実施形態]
本発明に係る情報処理装置のうち、ドットパターン3が印刷されたグリッドシート1gを、通常のディスプレイ画面に重ねて配置し用いる一実施形態について、図39に基づいて説明すると、以下の通りである。
なお、以下の説明では、コンテンツと共にドットパターンが表示されたディスプレイを用いる第4の実施形態と異なる箇所のみ説明を行う。
<概要>
図39において、本実施形態の概要を示す。
まず、ユーザが、グリッドシート1gを情報処理装置12dのディスプレイ画面上に配置する。配置は、グリッドシート1gをディスプレイに貼付することにより行ってもよい。グリッドシート1gの配置後、キャリブレーション作業が行われることが望ましい。
次に、ユーザは、Webブラウザ等を用いて、所望のコンテンツファイルをWebサーバ13bから情報処理装置12dにダウンロードする。ダウンロードされたコンテンツファイル内のコンテンツが、情報処理装置12dの画面上に表示される。
次に、ユーザは、ディスプレイ画面上配置されたグリッドシート1gを通して、画面上の、関連情報を検索したい特定情報である、語句「東京」2aを、スキャナ4aを用いて、タッチする。
次に、スキャナ4aが、タッチ位置のグリッドシート1g上のXY座標系における座標値(Xt,Yt)を読み込む。
情報処理装置12dは、読み込まれたXY座標値と、Webサーバ13bからダウンロードし表示しているコンテンツのコンテンツデータ1dとを用いて、タッチ位置にある特定情報を認識する。
特定情報を認識した後の処理は、第4の実施形態における処理と同一である。
このように、ディスプレイ画面上にグリッドシート1gを被せ、その上をスキャナ4aによりタッチするだけで、ディスプレイ画面上のテキストやイラスト、写真等の詳細な説明(関連情報)を画面に表示させることが出来る。
[第7の実施形態]
本発明に係る情報処理装置のうち、コンテンツと共にドットパターン3が表示されたディスプレイを備えたテレビジョン受像機を用いる一実施形態について、図40から図42に基づいて説明すると、以下の通りである。
なお、第1の実施形態における情報入力装置5、第2の実施形態における情報入力装置5a、および第3の実施形態における情報処理装置12においては、印刷物1aを用いた。本実施形態では、印刷物1aに代わりテレビ受像機のディスプレイを用いる例を説明するにあたり、情報処理装置12を変形した例として、テレビ受像機12eを挙げて説明する。情報入力装置5および情報入力装置5aを、印刷物1aに代わりディスプレイを用いる構成に変形する方法は、同様なので説明を省略する。
また、以下では、第4の実施形態と異なる箇所のみを説明し、同様の箇所に関しては説明を省略する。
<概要>
図40において、本実施形態の概要を示す。
図40において示すように、まずユーザは、テレビ受像機12eを用いて、通常の画像にドットパターン3が重ね合わされた放送電波を受信し、ディスプレイ15上に受信画像を表示する。そして、ユーザは、受信画像と共にドットパターン3が表示されたディスプレイ15上の、テレビ受像器12eに入力し検索したい情報に、スキャナ4cを用いてタッチする。
この例では、ユーザは、ディスプレイ15上に表示された受信画像のうち、語句「東京」2aに関する関連情報を検索したいので、ディスプレイ15上に表示された語句「東京」2aを、スキャナ4cによりタッチしている。
ドットパターン3には、ディスプレイ15のXY座標値と受信画像を特定するコンテンツIDとが、コード化されており、ユーザがディスプレイ15上をスキャナ4cによりタッチすると、タッチ位置のディスプレイ15上のXY座標系における座標値(Xt,Yt)とコンテンツIDとが、テレビ受像器12eに読み込まれる。
テレビ受像器12eは、読み込まれたコンテンツIDを用いて、コンテンツサーバ13c(2次元書式情報サーバ)から、予め特定情報および選択用位置情報が設定されたコンテンツデータのうち、コンテンツIDに対応したコンテンツデータ1dをダウンロードする。そして、読み込まれたXY座標値とダウンロードしたコンテンツデータ1dとを用いて、タッチ位置にある特定情報を選択する。
図に示すように、コンテンツファイル内のコンテンツデータは、独自のxy座標系を持つ。コンテンツデータに含まれる、テキスト、図表、イラスト、写真等の特定情報には、これらを選択するために用いられる選択用位置情報が設定されている。
例えば、語句「東京」2aには、対応するマスク領域2bおよび/または中心座標値(xi,yi)が設定されている。
例えば、タッチ位置の座標値(xt,yt)がマスク領域2bに含まれることにより、コンテンツデータ1dに含まれる多くの特定情報のうち、語句「東京」2aが、選択される。
テレビ受像器12eは、選択された語句「東京」2aを用いて、辞書サーバ14を検索する。検索結果である関連情報が辞書サーバ14からテレビ受像器12eに返信され、ディスプレイ15上に表示される。
図40に示す例では、検索結果として、語句「東京」2aの関連情報である説明文「東京とは」が、ディスプレイ15上に表示されている。
このように、放送波から受信した画像内の、ハイパーリンク等が設定されていない特定情報でも、ユーザがスキャナ4cによりタッチして指示することにより、テレビ受像器12eへの入力とすることが出来る。また、入力した特定情報の関連情報を検索し表示することが出来る。
<ドットコードのフォーマットについて>
前記の概要説明では、本実施形態におけるドットパターン3のドットコードは、放送波としてテレビ受像機12eに受信されたコンテンツを識別するコンテンツIDとXY座標値とを含むものとした。これ以外に、テレビ受像機12e自身により生成されたXY座標値と、テレビ受像機12eが入手したEPG(Electronic Program Guide)データから取得したコンテンツIDとからドットコードおよびドットパターン3が生成され、ディスプレイ15上に表示される構成でもよい。
また、ディスプレイ15上に表示されるドットパターン3のドットコードは、XY座標値のみを含むものでよい。その場合、ドットパターン3は、RGBの画素により表現される構成に代わり、ディスプレイ15上に画素と並んでドットパターン3のドット部が予め固定的に設けられている構成でもよい。
なお、ディスプレイ15上に表示されるドットパターン3のドットコードがコンテンツIDを含まない構成では、コンテンツIDは、コンテンツIDがドットパターン3として印刷されたテレビガイド等の印刷媒体の該当箇所をスキャナ4cによりタッチすることで読み込まれる構成でもよいし、ユーザがペーパーキーボードとスキャナ4cと用いて手入力により入力される構成でもよい。
ディスプレイ15上に表示されるコンテンツIDは、ドットパターン3のXY座標値が表示されている領域の少なくとも一部に、ドットパターン3のXY座標値と共に表示されてもよいし、その領域とは異なる領域に表示されてもよい。
また、ディスプレイ15上に表示されるコンテンツIDは、コンテンツデータを一意に識別する、ドットパターン3のXY座標値であり、このXY座標値は、ドットパターン3のXY座標値が表示される領域の全体に表示される構成でもよい。
<コンテンツデータについて>
コンテンツデータの例として、MPEGなどの動画データ、および、HTML、XML、フラッシュ等により作成されたものが挙げられる。もちろん、前記の実施形態において例示したDTPデータもコンテンツデータとして扱うことが出来る。
コンテンツデータは、2次元の書式情報を含むものが基本であるが、これに加え、MPEGデータなどは、時間軸を含んだ3次元の書式情報を持ってもよい。また、3次元立体画像データであれば、ディスプレイ15に向かって前後方向のZ軸を含んだ3次元の書式情報を持ってもよい。さらに、3次元立体画像の動画データであれば、XYZ軸および時間軸を持った4次元の書式情報を持ってもよい。
<テレビ受像機12eおよび情報処理システムの構成について>
図41において、本実施形態に係るテレビ受像機12eの機能ブロック図を示す。テレビ受像機12eは、スキャナ4cと、座標変換部30cと、特定情報選択部40dと、通信部50dと、関連情報検索部60と、表示部70cと、ディスプレイ15と、テレビ受像部90とを備えている。
また、本実施形態に係る情報処理システムは、テレビ受像機12eと、コンテンツサーバ13cと、辞書サーバ14と、これらを接続するネットワークとから構成される。
テレビ受像機12eにおいて、テレビ受像部90は、放送波を受信する。受信画像に対して、放送波に含まれるかまたはEPG等から取得したコンテンツIDとディスプレイ画面上のXY座標値とを組み合わせたドットパターン3を加え、表示部70cおよびディスプレイ15を介して、ユーザに提示する。なお、ドットパターン3を受信画像に加えるのは、ユーザがスキャナ4cを使用する時のみとする構成でもよい。
スキャナ4cは、タッチ位置のドットパターン3を読み込み、ドットコードのXY座標値を座標変換部30cに送り、ドットコードのコンテンツIDを、通信部50dを介して、コンテンツサーバ13cに送る。なお、コンテンツIDは、一度ドットパターン3に変換されスキャナ4cにより読み込む代わりに、スキャナ4cがXY座標値を読み込む際に、テレビ受像部90から直接、コンテンツサーバ13cに送られる構成でもよい。
座標変換部30cは、スキャナ4cから受け取ったタッチ位置のXY座標値(Xt,Yt)を、通信部50dを介してコンテンツサーバ13cから受け取ったコンテンツデータ1dを用いて、コンテンツデータ1d上のxy座標系におけるタッチ位置の座標値(xt,yt)に変換し、変換した座標値(xt,yt)を特定情報選択部40dに送る。
特定情報選択部40dは、座標変換部30cから受け取ったxy座標値と、通信部50dを介してコンテンツサーバ13cから受け取ったコンテンツデータ1dとを用いて、コンテンツデータ1d内の特定情報を選択し、選択した特定情報を関連情報検索部60に出力する。
関連情報検索部60は、特定情報選択部40dから受け取った特定情報を、通信部50dを介して辞書サーバ14に送り、検索結果である関連情報を辞書サーバ14から通信部50dを介して受け取り、受け取った関連情報を表示部70cおよびディスプレイ15を介してユーザに提示する。
通信部50dは、スキャナ4cから受け取ったコンテンツIDをコンテンツサーバ13cに送信すると共に、コンテンツサーバ13cから受信した、コンテンツIDに対応したコンテンツデータ1dを、座標変換部30cおよび特定情報選択部40dに送る。また、通信部50dは、関連情報検索部60から受け取った特定情報を辞書サーバ14に送信すると共に、送信した特定情報を基に辞書サーバ14において検索された特定情報の関連情報を、辞書サーバ14から受信し、関連情報検索部60に渡す。
表示部70cは、テレビ受像部90から受け取った、ドットパターン3が加えられた受信画像と、関連情報検索部60から受け取った関連情報とを、ディスプレイ15を介してユーザに提示する。
<情報処理の手順について>
図42に示すフローチャートに基づき、テレビ受像機12eが行う情報処理の手順について説明する。なお、以下では、ディスプレイ15上に表示された語句「東京」2aに対応したコンテンツデータ1d内の特定情報には、選択用位置情報として予め中心座標値(xi,yi)が設定されている場合について説明する。
まず、テレビ受像部90が、放送波を受信し、放送波またはインターネット等から取得したコンテンツIDとディスプレイ15の画面上のXY座標値とを含んだドットパターン3を受信画像に重ねて、表示部70cを介して、ディスプレイ15上に表示する(S5b)。
次に、ユーザがスキャナ4cを用いて所望の特定情報を指定する操作を行うと、スキャナ4cが、ユーザがスキャナ4cを用いてタッチした、ディスプレイ15上の箇所に設定されているドットパターン3を読み取る。読み取られたドットパターン3は、スキャナ4cの中央処理装置において、解析ソフトウェアによりドットコードに変換される。スキャナ4cは、変換したドットコードのXY座標値を座標変換部30cに送ると共に、変換したドットコードのコンテンツIDを、通信部50dを介して、コンテンツサーバ13cに送信する(S10c)。
次に、コンテンツサーバ13cが、スキャナ4cから受け取ったコンテンツIDを用いて、予め保管されているコンテンツデータの中から、そのコンテンツIDに対応するコンテンツデータ1dを選択する。そして選択したコンテンツデータ1dを、通信部50dを介して、座標変換部30cおよび特定情報選択部40dに送る(S20b)。
次に、座標変換部30cが、スキャナ4cから受け取ったXY座標系の座標値(Xt,Yt)を、コンテンツサーバ13cから取得したコンテンツデータ1d内のxy座標系における座標値(xt,yt)に変換し、特定情報選択部40dに渡す(S30a)。
次に、特定情報選択部40dが、座標変換部30cから受け取った座標値(xt,yt)に基づき、コンテンツサーバ13cから受け取ったコンテンツデータ1d内の特定情報のうち、適切な特定情報を選択する。特定情報選択部40dは、選択した特定情報を関連情報検索部60へ渡す(S40b)。
例えば、タッチ位置の座標値(xt,yt)から、コンテンツデータ1d内の他の特定情報の中心座標値(xi,yi)までの距離よりも、タッチ位置の座標値(xt,yt)から、語句「東京」2aの中心座標値(xi,yi)までの距離の方が短いことから、語句「東京」2aが、テレビ受像機12eへの入力として選択される。
次に、関連情報検索部60が、特定情報選択部40dから受け取った特定情報を、通信部50dを介して、辞書サーバ14に送信し、辞書サーバ14において検索された、特定情報の関連情報を、通信部50dを介して、辞書サーバ14から受信する。そして、関連情報検索部60は、受信した関連情報を、表示部70cおよびディスプレイ15を介して、ユーザに提示する(S50a)。
図40に示す例では、語句「東京」2aがネットワークを介して辞書サーバ14に送信される。辞書サーバ14上では、見出し語「東京」に対応した説明文「東京とは」が検索され、テレビ受像機12eに返信される。テレビ受像機12eの画面上には、語句「東京」2aに対応した関連情報である説明文「東京とは」が、画面上に表示される。
なお、前記においては、コンテンツデータが予め解析され、特定情報および選択用位置情報が既に設定されている構成について説明したが、この構成に限らず、テレビ受像部90が放送波を受信した段階またはユーザがスキャナ4cによりディスプレイ15上のドットパターン3をタッチした段階において、特定情報選択部40dが初めてタッチ位置の座標値(xt,yt)から所定の距離内にあるテキスト、図形、イラスト、写真等のコンテンツデータの解析を行い、特定情報の認識と選択用位置情報の設定とを行う構成でもよい。
また、本実施形態では、情報処理装置の例として、テレビ受像機12eを挙げたが、これ以外に、テレビ受像機は通常のものとし、追加で設置するセットトップボックスと組み合わせることにより、テレビ受像機12eの機能が実現される構成としてもよい。
[補足事項]
前記の実施形態においては、ユーザが位置を指示するために、ドットパターンが印刷された媒体、ドットパターンが表示または設けられたディスプレイ、または、ドットパターンが設けられたグリッドシートを、スキャナによりタッチしたが、座標位置の入力方法はこれらに限らず、通常のディスプレイ上に設けられた通常のタッチパネルやタッチスクリーン上を指でタッチする方法、または、通常のマウス操作による方法でもよい。
前記情報入力装置は、前記タッチ位置の座標値(xt,yt)を用いて、前記特定情報を検索するために、前記のいずれか一項に記載の選択用位置情報の設定方法に基づく該特定情報の検索方法を、1または2以上割り当て、所定のアルゴリズムにより前記検索方法のいずれかを選択し、前記特定情報を検索することを特徴としてもよい。
前記情報入力装置は、前記座標値(xt,yt)から任意の距離内において検索された複数の前記特定情報から、1または2以上の当該特定情報を選択し、前記特定情報の関連情報を予め設定されたリンクテーブル、データベース、または、電子辞書から検索し、該関連情報を出力することを特徴としてもよい。
前記情報入力装置は、前記座標値(xt,yt)から任意の距離内において検索された複数の前記特定情報のうち、前記タッチ位置の座標値(xt,yt)が前記マスク内の全座標値(xia,yia)のいずれかの座標値と同一であることにより検索された該特定情報を、少なくとも1以上含む場合、該特定情報の選択用位置情報を前記マスクの図心とし、前記タッチ位置の座標値(xt,yt)から、複数検索された前記特定情報の選択用位置情報までの距離が最も近い該特定情報を検索するか、または該距離の近い順から該特定情報の候補を検索し、選択することを特徴としてもよい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、情報入力装置5、5a、情報処理装置12〜12d、およびテレビ受像機12eの各ブロック、特に座標変換部30〜30c、特定情報選択部40〜40d、および関連情報検索部60は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、情報入力装置5、5a、情報処理装置12〜12d、およびテレビ受像機12eは、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、前記プログラムを格納したROM(read only memory)、前記プログラムを展開するRAM(random access memory)、前記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである情報入力装置5、5a、情報処理装置12〜12d、およびテレビ受像機12eの制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、前記情報入力装置5、5a、情報処理装置12〜12d、およびテレビ受像機12eに供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
前記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、情報入力装置5、5a、情報処理装置12〜12d、およびテレビ受像機12eを通信ネットワークと接続可能に構成し、前記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。