次に、本発明を図面に基づいて説明する。
図1は、本発明に係る入出力装置の一実施形態に係る構成を説明する図であり、カメラ入力による情報入出力方法を用いた入出力装置を説明する機能ブロック図である。
まず、入出力装置の基本的な構成を、図1を参照しながら説明する。
当該入出力装置は、光学読取手段33としてのカメラユニット599からなるセンサ部8と、制御手段27と記憶手段(メモリ)10とからなる本体処理部11とを備えたものである。このセンサ部8は、印刷物中のドットパターン部の画像データのみを取り込むカメラユニット599と、この画像データをデジタル化して数値化する処理手段12とを備えたものである。このカメラユニット599の近くに印刷物に赤外線を照射する赤外線発光手段13を備えている。
本体処理部11は、接続手段38による無線又は有線による情報処理装置1002(パソコン、PDA、携帯電話、オーディオ装置など)との通信接続を認識する接続認識手段22と、コード値および/または座標値とコンテンツデータおよび/または操作命令と、を関係付けて登録するリンクテーブルと、コンテンツデータおよび/または操作命令を登録する記憶手段10と、処理手段12で画像処理した数値より、ドットパターン部に対応する、予め登録させた記憶手段(メモリ)10のコンテンツデータを出力させる制御手段27(光学読取手段、処理手段、接続手段、接続認識手段、出力手段による動作および/または操作命令による動作の制御を行う)を備えたものである。
上記ドットコードは処理手段12で数値化されたコードであり、コード値および/または座標値は当該ドットコードが変換された情報である。座標値を使用しない場合は、ドットコードをそのままコード値としてもよい。
この本体処理部11は、スピーカ1007、イヤホン58または液晶モニタ25等の出力手段15が接続される。なお、音声による出力以外に、接続手段38を通じて音声出力(ライン)、TVモニタまたは情報処理装置1002に画像出力することも可能である。
記憶手段10には、予めコンテンツデータおよび/または操作命令を登録させるほか、後からコンテンツデータおよび/または操作命令を登録させることができる。たとえば、この記憶手段10に、別途入力手段17となるマイクやカメラを用いて音声や写真・動画によりコンテンツデータを登録させることも可能である。
音声データを用いることで、語学教育、音楽などの教育関連や観光地、美術館、博物館、イベント、マニュアル等の様々なガイド、絵本、小説などの読み聞かせなどスピーキングペンとして、様々な分野で、対象となる音声だけを再生して理解を深めるだけでなく、それに続く音声を連続再生して前後の関係も理解を深めることができる。同様に、写真・動画データを用いることにより、さらにその効果を高めることができる。
また、記憶手段10を、例えば操作命令が登録された内蔵フラッシュメモリと、コンテンツデータおよびリンクテーブルが登録された着脱可能なmicroSDカード(登録商標)とにより二部構成とし、該microSDカード(登録商標)を一旦脱着させて情報処理装置に接続してコンテンツデータおよび/または操作命令を登録させ、再度装着させる使用態様も考えられる。記憶手段10を内蔵メモリと外部メモリとの二部構成にする場合、内蔵メモリには入出力装置を前記情報処理装置に接続して使用するためのドライバや処理プログラム等を格納させ、外部メモリにはコンテンツデータや操作命令、リンクテーブル等を格納させてもよい。
次に、コンテンツデータと任意のドットパターンをリンクさせる方法について説明する。
この場合、ユーザは、まず初めにリンク用ドットパターンを光学読取手段33により読み取り、入出力装置をリンクモードへと切り替える。リンク用ドットパターンとは、ドットパターンが印刷形成された媒体表面上において、ユーザが所定のドットパターンへのリンク付けの操作を開始するために設けられたドットパターンをいい、多くの場合ユーザがわかりやすいよう文字や図形、記号等がその周辺もしくは重畳して可視的に印刷されているものである。
このリンク用ドットパターンに定義されたコード値および/または座標値には、入出力装置をリンクモードへと切り替える操作命令が関係付けてリンクテーブルに登録されており、このリンク用ドットパターンを読み取ることで対応する操作命令によりリンクモードへと入出力装置は切り替わることになる。このリンクモードは、そのモード中に読み取られた所定のドットパターンと記憶手段10に登録されているコンテンツデータとを関係付けてリンクテーブルに登録するモードであり、ドットパターンが印刷された媒体面において、ユーザが任意に選択できる自由な領域・位置にコンテンツデータをリンクすることができる。この所定のドットパターンは、リンクモードにおいてユーザがコンテンツデータを対応付けて登録するドットパターンをいい、多くの場合それを示唆する文字や図形等が重畳的に印刷形成されている。
リンク用ドットパターンは、他の操作命令(音声の再生や音量の調節等)を定義するドットパターンと併せて後述するペーパーコントローラに形成してもよいし、リンク付けを行う所定のドットパターンと同一の印刷媒体に形成してもよい。
リンクモードへと入出力装置が切り替わると、制御手段27により、その後に読み取った所定のドットパターンと音声等のコンテンツデータを関係付けて記憶手段10のリンクテーブルに登録し、再度所定のドットパターンを読み取った際に、対応するコンテンツデータを出力手段15に出力させることになる。すなわち、所定のドットパターンを読み取ると、処理手段12で変換されたコード値および/または座標値と関係付けて登録されたコンテンツデータが選択される。関係付けられるコンテンツデータはユーザにより任意に定めることができ、リンクテーブルに切り替わる直前に、入出力装置に設けられた入力手段17としての音声を入力するマイクや、写真・動画を入力するカメラなどにより入力したコンテンツデータや、入出力装置に別途設けられたボタン部(図4図示例参照)の操作により選択したコンテンツデータや、ドットパターンを読み取った際に、出力手段15に出力させるコンテンツデータなどが挙げられる。
入力中または入力したコンテンツデータのリンクは詳しく後述するが、すでに登録してあるコンテンツデータのリンクは、ボタン操作により既に登録されているコンテンツデータおよび/または、そのインデックス(ファイル名や番号等の表示)を次々に出力し、該当するコンテンツデータが出力された後、または既にコンテンツデータが関連付けられて登録されている所定のドットパターンを光学読取手段33により読み取り、当該コンテンツデータを出力された後、直ちにリンクモードに切り替え所定のドットパターンを光学読取手段33により読み取り、処理手段12で変換されたコード値および/または座標値当該とコンテンツデータを関係付けてリンクテーブルに登録すればよい。もちろん、リンク中にボタン操作などで当該コンテンツデータを選択してもよい。なお、リンクのタイミングは、当該コンテンツデータの出力中でもよいし、出力終了後所定の時間内に行ってもよい。リンクモードの切り替えとリンクの方法は、入出力装置に別途設けられたボタンを操作後、または操作しながら所定のドットパターンを読み取りリンクするか、リンク用ドットパターンを読み取り、続けて所定のドットパターンを読み取りリンクすればよい。
これにより、入出力装置のユーザの要望に合わせた自由な位置にコンテンツデータを関係付けることができ、システム手帳や読み聞かせ絵本、英会話教材、シール・カードなどあらゆる媒体に音声情報や写真・動画を初めとする種々の情報を定義することが可能となる。
コンテンツデータと任意のドットパターンとの関係付けは、入力手段によるコンテンツデータの入力中にも行うことができ、例えば、入力手段による入力の開始を、入出力装置に別途設けられた入力開始・終了ボタンの操作あるいは媒体表面上に形成された入力開始・終了用ドットパターンの読み取りにより行う。入力手段17によりコンテンツデータを入力している最中に入出力装置がリンクモードに切り替わったときは入力を終了するよう、プログラムにより処理を行ってもよい。
当該入力開始・終了用ドットパターンも、他の操作命令(音声の再生や音量の調節等)を定義するドットパターンと併せて後述するペーパーコントローラに形成してもよいし、リンク付けを行う所定のドットパターンと同一の印刷媒体に形成してもよい。
リンクモードへの切り替えに応じてコンテンツデータの入力を終了させることで、一回一回または所定の回数毎に入力を終了してリンク付けを行うことができるため、入力されたコンテンツデータと所定のドットパターンの関係がユーザにとって明確となる。
また、入力手段を音声入力手段とすることで、会議や発表、Q&Aにおいてテーマや喋り手、時間の経過ごとに分割録音して、連続再生するだけでなく、対象となる音声だけを再生して理解を深めることができる。同様に、入力手段を映像入力手段とすることにより、さらにその効果を高めることができる。
このコンテンツデータと所定のドットパターンの関係付けは、上述したリンク用ドットパターンにより行うほか、入出力装置にリンクボタンを別途設けて行うことが可能である。すなわち、リンクボタンを操作して光学読取手段33により所定のドットパターンを読み取ったときは、その所定のドットパターンとすでにあるコンテンツデータや入力中のコンテンツデータとの関係付けとリンクテーブルに登録する。このリンクボタンの操作は、操作しながらリンクしてもよいし、操作した後にリンクしてもよい。
これにより、一度リンク用ドットパターンを読み取って入出力装置をリンクモードへと切り替えてから所定のドットパターンを読み取るという操作を行う必要性が無く、操作性に優れたリンク付けが可能となる。このリンクボタンの操作の態様には、タッチやスライド、プッシュ、長押しなどが考えられる。
コンテンツデータがすでに他のドットパターンと対応付けられて登録されている時は、新たに読み取ったドットパターンにのみコンテンツデータを対応させるよう制御手段27により制御してもよいし、すでに対応付けられているドットパターンと新たに読み取ったドットパターンの双方に対応させるよう制御することも可能である。1のドットパターンには1のコンテンツデータのみを定義させたり、2以上のドットパターンから同一のコンテンツデータを出力させるようにするなど、用途にあった対応付けを行えばよい。
なお、入力手段17によりコンテンツデータを入力しながらリンクさせたい場合、別途入力を開始する入力ボタンを設けて当該ボタンを操作し、入力を終了させるときに当該ボタンをトグルとして再度操作すれば、ボタンの数を減らしてシンプルなデザインでコストも抑えられる。もちろん、入力中のコンテンツデータのリンク付けを行うことなく入力を終了したい場合、入力ボタンか入力終了用ドットパターンのいずれかの操作により行うことが可能である。
これにより、入出力装置を例えばビデオカメラやデジカメ、携帯電話、録音機器等として使用しながら任意のタイミングでドットパターンをタッチして、入力した動画・画像データや音声データとタッチしたドットパターンを関連付けてリンクテーブルに登録し、再度それらのドットパターンを読み取った際には対応付けて登録された動画・画像データや音声データが出力手段により出力させるというような使用が可能となる。ここで、ドットパターンが重畳印刷されたアイコンの隣に書き込み領域を設ければ、直接筆記用具で撮影場所の特徴の書き込みや、覚え書きなどができるため、紙媒体としての利便性を兼ね備えながら動画・画像データや音声データの入出力を行うなど、一般的なビデオカメラやデジカメ、携帯電話、録音機器と比して、簡易に頭出しができる利便性の高い入出力機能を実現できる。
また、入力手段17によるコンテンツデータを入力している最中にリンクボタンを操作しながら複数のドットパターンが読み取られた場合には、コンテンツデータを当該読取りの回数と複数のドットパターンを読み取る時間間隔に応じて分割してそれぞれリンク付けをし、入力終了後、直ちにリンクボタンを操作しながら1または複数のドットパターンが読み取られた場合には入力開始から終了時までに入力されたコンテンツデータを分割せずに1または複数のドットパターンにリンク付けができる。なお、分割してリンクした後、直ちにドットトパターンにリンクした場合、入力開始から終了時までに入力された一連のコンテンツデータか、分割されて最後に入力されたコンテンツデータのみの、いずれかをリンク付けするよう入出力装置を設定してもよい。
同一のコンテンツデータを複数のドットパターンにリンク付け(マルチリンク)する場合の動作は入出力装置に別途設けられたマルチリンク開始ボタンとマルチリンク終了ボタンとで行うことができる。
すなわち、マルチリンク開始ボタンが操作された場合には入出力装置をマルチリンクモードへと切り替え、複数のドットパターンにリンク付けした後に、マルチリンク終了ボタンでマルチリンクモードを終了させればよい。
マルチリンクモードへと切り替えられた入出力装置においては、連続して所定のドットパターンを読み取ることでそれらドットパターンに同一のコンテンツデータを連続してリンク付けすることが可能である。このモードにおいてはリンク付けの終了を定義させておく必要があるため、ユーザ自身がマルチリンク終了ボタンを操作し、その操作を制御手段27により認識してマルチリンクモードを終了させることが望ましい。
その他、所定のドットパターン以外の、操作命令が関係付けられたドットパターンを読み取った時にマルチリンクモードを終了させることも可能である。このマルチリンクの終了以降、コンテンツデータが関係付けて登録されている所定のドットパターンを読み取ることでコンテンツデータの出力が可能となり、マルチリンクモード中にリンクされたドットパターンからは同一のコンテンツデータが出力されることになる。
また、前述のようにマルチリンクモードへの切り替えと終了はドットパターンに対応して登録されている操作命令により行うことが可能である。ユーザが使用する媒体にマルチリンク開始・終了用ドットパターンを設け、それらを光学読取手段33により読み取り、処理手段12で変換されたコード値および/または座標値と関係付けて登録されている操作命令による動作を行ってもよい。
これにより、コンテンツデータを所定のドットパターンにリンク付けする度にリンク用ドットパターンを読取り、リンクモードへと入出力装置の動作を切り替える必要が無くなり、連続した同一コンテンツデータの異なるドットパターンへの快適な複数リンクが容易となる。
さらに、マルチリンクモード中に、異なるコンテンツデータを所定のドットパターンにリンク付けする場合、ボタン操作などで当該コンテンツデータを選択しリンクしてもよい。また、既にコンテンツデータがリンク付けされたドットパターンを読み取って再生されたコンテンツデータを1または複数の所定のドットパターンにリンクしてもよい。その際、既にコンテンツデータがリンク付けされた所定のドットパターンか、再生専用のドットパターンを読み取った場合は当該コンテンツを再生し、無リンクの所定のドットパターンのみにリンクできることや、再生専用のドットパターンを読み取って再生したコンテンツを所定のドットパターンに、既にコンテンツデータがリンク付けされているか否かに関わらずリンクできることなどの設定を行えば操作性の高いオペレーションが可能となる。つまり、マルチリンクモード中にドットパターンを読み取ったときにコンテンツを再生する条件と、どの所定のドットパターンにリンクできるかの条件が重ならないようにすればよい。これにより、ドットパターンを読み取ってコンテンツを再生して、当該コンテンツを所定のドットパターンにリンクする操作により、異なるコンテンツの再生・マルチリンクをマルチリンクモード中に何度でも繰り返すことができる。
なお、マルチリンク開始用ドットパターンもしくはマルチリンク終了用ドットパターンのいずれかをトグルとして、1つのドットパターンを読み取る毎に、マルチリンクの開始と終了を交互に操作できるようにしてもよい。この際、マルチリンクモードであることを、音や光でユーザに明示させる必要があることは言うまでもない。
なお、リンクボタン、マルチリンク開始ボタン、マルチリンク終了ボタンは操作の違い、例えば長押し、二回押し等を持たせて同一のボタンによりそれぞれの機能を発揮させることが可能である。
例えば、一回押しはシングルリンクモード、二回押し(または長押し)、はマルチリンクモード、マルチリンクモード中の一回押しはマルチリンク終了とすればよい。また、リンクボタンを操作し(押し)ながら入出力装置で所定のドットパターンにリンクする操作であれば、リンクボタンを操作し(押し)ながら1または複数のドットパターンにリンク付けができる。このように、ボタンの数を減らしてシンプルなデザインでコストも抑えられる。
以上のようなドットパターンに対応する操作命令やリンクボタンの操作により所定のドットパターンのコード値および/または座標値と関係付けて登録されたコンテンツデータは、当該所定のドットパターンを再度読み取り、制御手段27によりリンクテーブルを参照して記憶手段10から読み出すことにより出力手段15から出力される。もちろん、ドットパターンに対応する操作命令による動作とボタンの操作による切り替えを種々選択して行うことが可能であり、上述した実施形態の他、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
次に、入出力装置にUSBメモリとしての機能を持たせる場合について説明する。この場合、当該入出力装置にUSBメモリボタンを設け、制御手段27によりUSBメモリボタンの操作の有無を認識し、USBメモリボタンが操作されて接続手段38を通じてパソコン等の情報処理装置に接続された場合には入出力装置をUSBメモリとして機能させ、該パソコンの記憶手段に登録されているコード値および/または座標値とコンテンツデータおよび/または操作命令と、を関係付けて登録するリンクテーブルや、該コンテンツデータおよび/または操作命令を入出力装置の記憶手段10に登録させることになる。
もちろん、入出力装置の記憶手段10に登録されている内容とパソコンの記憶手段に登録されている内容とを相互にコピーしたり移動したり、削除するなどの動作が可能であり、すでに情報処理装置と接続されている場合においては、コード値および/または座標値を送信する通常のモードからUSBメモリボタンが操作されたときに入出力装置をUSBメモリとして機能させるようにしてもよい。
また、入出力装置にインストールボタンを設け、制御手段27によりインストールボタンの操作の有無を認識し、インストールボタンが操作されてパソコン等の情報処理装置や他の入出力装置に接続された場合には、当該入出力装置をパソコンに接続して使用するために記憶手段10に登録されたドライバおよび/またはコンテンツデータを、情報処理装置や他の入出力装置に自動的にインストールすることも可能である。同様に、接続した時点においてはインストールボタンの操作が行われなかったが、接続を認識している最中にインストールボタンの操作が行われた時は、入出力装置に登録されている該ドライバ等を情報処理装置に送信することも可能である。
すなわち、入出力装置にインストールボタンまたはUSBメモリボタンが設けられている場合は、それらのボタンの操作の有無を制御手段27により認識させ、対応する処理を行う。いずれのボタンも操作されていないときに、接続認識手段22が接続手段38を通じた情報処理装置との接続を認識した場合には、制御手段27は処理手段12で変換されたコード値および/または座標値を接続手段38を通じて情報処理装置に送信し、接続の際または接続中にインストールボタンの操作を認識したときは情報入出力装置を情報処理装置に接続して使用するためのドライバおよび/またはコンテンツデータを情報処理装置に自動的にインストールする。このドライバおよび/またはコンテンツデータは記憶手段10に格納されているものである。
USBメモリボタンの操作を接続時または接続中に認識したときは、情報入出力装置をUSBメモリとして機能させ、情報入出力装置の記憶手段または前記情報処理装置の記憶手段に登録されている、コード値および/または座標値とコンテンツデータおよび/または操作命令と、を関係付けて登録するリンクテーブルと、該コンテンツデータおよび/または操作命令を、該入出力装置の記憶手段と該情報処理装置の記憶手段の相互にコピー・移動・削除する。
これにより、PC側に登録されたリンクテーブルやコンテンツデータの入出力装置へのコピーや、入出力装置の入力手段で入力されたコンテンツデータや作成されたリンクテーブルの情報処理装置へのコピーが容易に行える。
これらインストールボタン、USBメモリボタンの操作による処理の切り替えを媒体表面上に形成されたインストール用ドットパターンや、USBメモリ用ドットパターンを変換して取得したコード値/または座標値により行うことも可能である。すなわち、コード値/または座標値と上述した操作命令(動作の切り替えを行う)を対応させて登録したリンクテーブルを記憶手段10に登録させておき、当該値が得られた後に情報処理装置と接続を行うと登録された操作命令による動作を行うというような場合である。もちろん、接続を認識している最中に当該ドットパターンを読取ることでこのような動作を行うことが可能である。
これにより、所定の媒体表面上に形成された絵やアイコンなどの可視的な情報(多くの場合、インストール用ドットパターンやUSBメモリ用ドットパターン付近或いは重畳して形成されている)によるわかりやすい説明を視認しながら入出力装置の処理の切り替えを行うことができるため、ボタンによる処理を行うことが困難なお年寄りや若年者においても簡単に操作を行うことができる。
このように、本発明の特徴はスタンドアローンで使用できる入出力装置としての機能と、情報処理装置と接続された状態で情報処理装置側のアプリケーションに依存する入出力装置としての機能の両立を図ることにあり、当該機能の切り替えの方法としては接続手段38による情報処理装置との接続の有無のみならず、読み取ったドットパターンに対応するコード値および/または座標値と関係付けられた操作命令により直接行ったり、所定の操作ボタンを設けて行うことができる。
この場合、切り替えを行った時に情報処理装置との接続をするために無線通信を自動で行うよう操作命令を作成しておいてもよいし、モードを情報処理装置側のアプリケーションに依存する入出力装置に切り替えたまま待機し、USBケーブルや通信などで情報処理装置と接続した際にそれまでに読み取られたドットパターンに対応するコード値および/または座標値を情報処理装置に送信するようにしてもよい。無線通信による接続は、入出力装置に接続ボタンなどを設けて行ってもよいし、媒体表面上のドットパターンをタッチして、前述したドットコードから変換されたコード値および/または座標値と関係付けられたリンクテーブルに登録されている操作命令により行ってもよい。
次に、記憶手段10に登録されている内容により、入出力装置の動作を切り替える場合について説明する。
この場合、記憶手段10に、光学読取手段33により読み取られたドットパターンに対応するコード値および/または座標値が、リンクテーブルにコンテンツデータおよび/または操作命令と関係付けて登録されているか否かによる動作の切り替えに基づいて行うことが考えられる。
例えば、入出力装置が情報処理装置との接続を認識している場合において、前記リンクテーブルに、コード値および/または座標値と対応するコンテンツデータまたは操作命令が登録されていない場合若しくはコンテンツデータまたは操作命令自体が記憶手段10に登録されていない場合は、処理手段27で変換されたコード値および/または座標値を、接続手段38を通じた無線または有線通信により該情報処理装置に送信し、対応するコンテンツデータを情報処理装置で出力する。コード値および/または座標値と対応するコンテンツデータまたは操作命令が登録されている場合若しくはコンテンツデータまたは操作命令自体が記憶手段10に登録されている場合は、処理手段27で変換されたコード値および/または座標値と対応するコンテンツデータの出力または操作命令による動作を入出力装置自体で行う。
情報処理装置との接続を認識していない場合においては、前記リンクテーブルに、コード値および/または座標値と対応するコンテンツデータまたは操作命令が登録されていない場合若しくはコンテンツデータまたは操作命令自体が記憶手段10に登録されていないときに、制御手段27により情報処理装置と接続するための無線通信を自動で開始し、接続を認識した後に処理手段27で変換されたコード値および/または座標値を、該情報処理装置に送信する。
これにより、情報処理装置と接続されている場合において、情報処理装置にコード値および/または座標値もしくは対応するコンテンツデータを出力するための操作命令を送信する必要が無い場合には入出力装置のみで情報の入出力を行い、コード値および/または座標値が、前記コンテンツデータおよび/または前記操作命令と関係付けて前記リンクテーブルに登録されていない場合には、コード値および/または座標値を情報処理装置に送信して情報処理装置内でリンクテーブルを参照してコンテンツの出力やWEBアクセスなどを行うことができる。
このように、情報処理装置との接続回数を最小限に抑えることが可能になると同時に膨大なコンテンツデータを登録できる情報処理装置側の記憶手段を有効的に利用できるという効果を奏する。
さらに、情報処理装置へのコード値および/または座標値の送信の際、そのコンテンツデータやリンクテーブルを入出力装置の記憶手段10にダウンロードすることも可能である。
送信したコード値および/または座標値と関係するコンテンツデータの出力は、当該コンテンツデータの性質に合わせて入出力装置で行ったり情報処理装置で行ってもよい。
その他、コンテンツデータが入出力装置の記憶手段10に登録することが予期されない大容量のものである場合やネットワークから直接最新のデータを入手する必要がある場合は、コード値および/または座標値と関係付けられた操作命令を、周辺の情報処理装置と通信接続を開始し、情報処理装置の記憶手段に登録されている大容量のデータを入出力装置、情報処理装置あるいは情報処理装置に接続されたコンテンツデータ出力装置により出力させる処理としたり、情報処理装置によりWEBを閲覧して関連するコンテンツデータをダウンロードしてくる処理等と定義しておくことも可能である。
このように、コンテンツデータや操作命令自体が記憶手段に登録されているか否かのみならず、操作命令の内容により、処理手段で変換されたコード値および/または座標値と関係付けて前記リンクテーブルに登録された前記操作命令により、該処理手段で変換されたコード値および/または座標値を、前記接続手段を通じて該情報処理装置に送信するか、前記コンテンツデータを前記出力手段から出力させるか、該操作命令による動作を制御するか、の動作の切り替えを行うことが可能である。
これにより、入出力装置に設けられたボタンによる操作ではなく、ドットパターンの読取りにより入出力装置の処理の切り替えを行うことで、いずれの処理に切り替えるのかに応じてボタンを作成する必要がないという製造上の優位性が生まれることになる。すなわち、WEB上で処理の切り替えを行う操作命令を記録したデータを提供したり、切り替えを簡単に行うためのマニュアル本、ペーパーコントローラを配布したりすることにより、ボタンを別途設けた入出力装置を新たに製造販売することなく、種々の処理の切り替えが可能な入出力装置を一台で実現・提供できることになる。具体的な例としては、教材やハウトゥ本等のスピーキングペン(スタンドアローンとしての音声再生)対応印刷媒体で音声による解説を聞いている途中、ペーパーコントローラの紙面上のWEBアイコンを読取って入出力装置の動作の切り替えを行った後、印刷媒体面上のURLに重畳印刷されているドットパターンを読取り、ドットコードから変換されたコード値および/または座標値を情報処理装置に送信して該当するWEBにアクセスすることができる。勿論、ペーパーコントローラを使用しなくとも、印刷媒体面上にWEBアイコンを設けてもよい。さらに、印刷媒体面上のURLからドットパターンを読取り、変換したコード値および/または座標値に切り替えの操作命令を関係付け、入出力装置の動作の切り替えを行うと共に変換したコード値および/または座標値を情報処理装置に送信してもよい。そうすれば、切り替え用のアイコンを設けなくてもよい。切り替えの終了は、再度切り替え用または切り替え終了のアイコンを用いて単独で使用するスピーキングペンに切り替えるか、印刷媒体のスピーキングペン(音声再生)対応のドットパターンを読取り自動的に切り換えてもよい。
また、所定の媒体表面上に形成された絵やアイコンなどの可視的な情報によるわかりやすい説明を視認しながら入出力装置の処理の切り替えを行うことができるため、ボタンによる処理を行うことが困難なお年寄りや若年者においても簡単に操作を行うことができる。
前述のように、入力手段17として例えばマイクを用いて音声を後から入力することができるので、情報入出力装置は、絵本等の印刷物に関係した自分や知人の声を、マイクを用いて登録させておき、その後、この情報入出力装置でその印刷物を読み取ることで、別の人がその印刷物の内容に対応した音声情報を聞き取ることができる。たとえば、「親子の伝言装置」として、あるいは写真に声を入れた「ボイスメッセージの入った写真」といった用い方が可能である。
入出力装置の本体処理部11には、接続手段38に通信カード16を接続して外部のコンテンツデータおよび操作命令を出力または実行させることができる。たとえば、カメラユニット599で入力したドットパターンが解析され、ドットコードから変換されたコード値および/または座標値を、通信カード16を介してサーバ等のコンピュータ23に送信することができる。
また、カメラユニット599で入力したドットパターンに定義されたドットコードを、通信カード16を介してサーバ23等に送信し、そのドットコードをコード値および/または座標値に変換し、対応するコンテンツデータおよび/または操作命令を受信することも可能である。そして、通信カード16を接続して前記記憶手段10にコンテンツデータおよび/または操作命令を登録させる。
このように通信カード16を用いることで、コンテンツデータおよび/または操作命令を容易に送信し、受信することができる。たとえば、入出力装置を用いてアンケートに声で答え、この音声情報をサーバ23等のコンピュータに送信することができる。問題集またはテストに声で回答し、その音声情報をサーバ23等のコンピュータに送信して、発音テストや添削することができる。
さらに、印刷物等その他の媒体のドットパターン部にURL情報を埋め込み、スキャンしたら自動的にそのサイトに接続する。あるいはその接続後、特定の動作を行うように構成することも可能である。
また、音の出る出版物を自作することができる。ドットパターンが印刷された絵葉書、手紙に音声情報を後から付加(リンク)することができる。たとえば、これらの印刷物にBGM(バック グラウンド ミュージック)、SE(サウンド・エフェクト)等を後で付加(リンク)することができる。
この本体処理部11にはGPS24をさらに設けることにより、現在の位置情報を容易に表示することができる。
以上のような機能を有する入出力装置は、本体処理部11に備えられた制御手段27により接続認識手段22を動作させ、入出力装置が接続手段38を通じて情報処理装置と無線(赤外線通信、光通信、BLUETOOTH(登録商標)、ZigBee、微弱電波を含む)又は有線により接続されたかを認識する。
制御手段27により、接続認識手段22が接続手段38を通じた情報処理装置との接続を認識した場合には、制御手段27は処理手段12で変換されたコード値および/または座標値を、該接続手段38を通じて情報処理装置に送信し、接続認識手段22が接続手段38と情報処理装置との接続を認識していないときには、記憶手段10に登録されたコンテンツデータを出力手段15から出力する。
コンテンツデータの代わりに電子機器を制御する制御コードが記憶手段10に登録されている場合には、制御手段27は、対応するリンクテーブルを参照して対応する制御コードを1または複数の光信号または無線信号に変換し、該1または複数の光信号または無線信号を出力手段15から出力させる。光信号としては赤外線方式、無線信号としてはRF方式、BLUETOOTH(登録商標)による通信が挙げられる。
これにより、情報処理装置と接続していない状況ではスタンドアローンとして使用可能な入出力装置としての機能を持たせつつ、情報処理装置と接続された場合には情報処理装置側のアプリケーションに依存する入出力装置として機能させることが可能となる。出力の対象となる電子機器としては、TV、STB、録画・再生機、録音・再生機、エアコンなど、あらゆる家電、携帯電話、PDA、PC、ゲーム機器、玩具などがある。もちろん、これらを情報処理装置として用いてもよい。
次に、ドットコードフォーマット、リンクテーブル、コンテンツデータ、操作命令の例を図2〜図3に示す。図2は、ドットコードとコード値および/または座標値の関係を示す図であり、図3はコード値および/または座標値とコンテンツデータおよび/または操作命令の関係を示す図である。
図2(a)は、一の情報ドットに対して8方向のずれ、すなわち3ビットの情報量を持たせたドットパターンの例を示しており、図2(b)において、XY座標値の定義を初めとするドットコードの様々なフォーマットの例を示し、例えばC0〜C8にはX座標値、C9〜C17にはY座標値、C18〜C27にはZ座標値が定義され、ドットパターンを読み取った時に、ドットコードから自動的に変換されるようになっている。
これらのフォーマットを基に、コード値および/または座標値とコンテンツデータおよび/または操作命令の関係付けを登録するリンクテーブルを図3に示す。本図示例においては、(a)においてはドットコードから変換されたX座標値、Y座標値、Z座標値に対して音声データaが関係付けて登録されており、ドットパターンを読み取った場合には、音声データaの再生を開始する。
本フォーマットではZ座標値も定義されているため、ドットパターンが形成された媒体が立体地図である場合、読み取った箇所の標高なども加えた音声データの再生が可能である。例えば、富士山の山頂を読み取った時は、「標高3776m、一日の平均気温マイナス15度以下です。」といった音声データを再生する。
(b)においてはドットコードから変換されたコード値、X座標値、Y座標値に対して音声データbが関係付けられて登録されており、ドットパターンを読み取った場合には、音声データbの再生を開始する。本フォーマットではZ座標値が定義されておらず、半径が一定である曲面体(球体など)の表面位置を定義する際に用いることが望ましい。
その他、(c)に示すように、コード値と音声入力の開始を行う操作命令を関係付けたり、(d)〜(e)に示すような変更例が考えられる。また、コンテンツデータには種々のデータが含まれ、例えば読み取ったドットパターンと重畳して印刷されている可視的な情報と対応する画像や映像、音声、テキストデータ、またはそのドットパターンが印刷されている印刷物の題名や作者名、ページ番号などが挙げられる。
操作命令には、入出力装置や情報処理装置を動作させる様々な命令を定義することができ、情報処理装置にWEBの閲覧を行わせたり、音量の上げ下げや、リンクモードへの切り替え、コンテンツデータの入力開始・終了(録音開始・終了)、情報処理装置との接続開始・切断開始などの動作を実行させることができる。入出力装置自体でコンテンツデータの出力や音声等の入力を行うモードや、情報処理装置にコード値および/または座標値を送信するのみで入出力装置自体でコンテンツデータの出力を行わないモードへの切り替えも操作命令により行うことができ、そのような操作命令が関係付けられているドットパターンを読み取った後に他のドットパターンを読み取ったときは、他のドットパターンに定義されているコード値および/または座標値を、当該入出力装置のモードに応じて制御手段27により入出力装置自体で処理するか情報処理装置に送信して情報処理装置で処理するかを制御することになる。
図4は、入出力装置をペン型スキャナ1001としてペン状のケース1015に収容したものである。
ケース1015内には、バッテリー1010、スピーカ1007、PCB1331が内設されている。PCB1331上には中央処理装置(CPU)とメモリが面付実装されている。また、ケース1015の後端(図で左上部)には音声データ入力用のマイク1291が内蔵されている。図示は省略したが、メモリカートリッジを着脱可能に装着してもよい。メモリカートリッジには操作命令またはコンテンツデータ等が登録されるようになっており、着脱可能であるため、ROMカートリッジ、マイクユニットカートリッジ等に交換可能である。
ケース1015の表面には、ボタン1130a〜1130fが設けられており、読取開始・終了、録音開始・終了、音声再生・停止、音量調整、コンテンツデータの分割、コンテンツデータの消去、リンクモードへの切り替え等が制御できるようになっている。もちろん、当該ボタンと併せてまたは代えて上述したインストールボタン、USBメモリボタンを設けてもよいし、所定の操作方法(タッチ、スライド、長押し等)に応じてボタン1130a〜1130fにその役割を担わせることも可能である。
当該ボタンの中の録音ボタンを押すことによってマイク1291で音声を録音することができる。録音した音声データはメモリカートリッジに記録される。消去ボタンを押しながらドットパターン部をスキャンすると音声のドットパターン部への関係付けが解除される。なお、このとき音声データはメモリカートリッジに保存されたままであってもよい。
同図において、ケース1015の先端(図で右下端部)には、ケース1015を約45度程度傾けて媒体面に当接したときに、媒体面の鉛直軸に沿ってC−MOSカメラユニットおよび先細り状のノーズ1125が設けられている。ノーズ1125内空間にはC−MOSカメラユニットのレンズ1126が該空間に臨むように取り付けられており、ノーズ1125先端の窓部を撮像可能となっている。
ノーズ1125内空間にはIRLED1122が備えられており、IRLED1122の照射光がディフューザー1111内に入射されるようになっている。ディフューザー1111壁面で照射光の拡散成分(光軸に対して45度よりも大きな角度の光成分)はディフューザー1111壁面を通過して外部に放射される。そして照射光の直進成分(光軸に対して45度よりも小さな角度の光成分)はディフューザー1111壁面で反射されて管内を進行する。照射光はディフューザー1111内で光軸とほぼ平行な成分だけが先端面からノーズ1125の開口部に対して照射されるようになっている。
このように、照射光は、透明樹脂で構成されたクランク状のディフューザー1111を通過することによって光軸に平行な集束光となるため、ノーズ1125部の開口部の全域にわたって均一な光量を供給することができる。このように本実施形態によれば、拡散光のような場合に生じる周辺部の暗がりがないため、ドットパターン部の読取り精度を高めることができる。
図5は、ペン型スキャナ1001に液晶表示部1131とスピーカ1007を設けた構成を説明している。
液晶表示部1131には、読み取ったドットコードから変換されたコード値および/または座標値に関係付けられたコンテンツデータや、操作命令の内容を説明する文章や図を表示する。時刻やカレンダー、さらには別途入力手段として設けられたカメラにより撮影した画像を表示することも可能である。
このように、入出力装置自体にディスプレイを設けることで、当該入出力装置がいかなるモードであるのかを視覚を通じて確認でき、メモリ残量やバッテリー残量、コンテンツデータの情報などを表示させることでより利便性に富んだ入出力装置の実現が可能となる。液晶表示部1131は、表示させる情報の特性に応じて解像度の高低、ディスプレイの大きさなどを設定することが望ましい。
図6は、このようなペン型スキャナ1001を情報処理装置1002に接続したものである。同図において、情報処理装置1002にはメモリカードスロット1003を備えており、音声データやプログラムが登録されたメモリカード1004を挿入可能となっている。また、情報処理装置1002にはマイクロホン1005が接続されて外部から音声データを情報処理装置内のメモリに登録することができるようになっている。音声データは情報処理装置1002のスピーカ1007又は情報処理装置1002に接続された音声発生装置1006から出力させることができるようになっている。
なお、図6(a)ではペン型スキャナ1001と情報処理装置本体とはケーブルで接続されているが、図6(b)に示すようにスキャナ内に無線インターフェースを内蔵して情報処理装置1002とは無線で通信を行うようにしてもよい。
図7はペン型スキャナの変形例を示している。同図に示すように、ペン型スキャナ1001は、着脱可能なバッテリー1010、スピーカ1007を備えており、SDカードやメモリースティックまたはスマートメディア等のメモリーカード1004を装着できるようになっている。
なお、当該バッテリーは、情報処理装置との無線または有線による接続で充電可能である。
図8(a)は、ペン型スキャナ1001を、USBケーブルを介してパソコン1201に接続したものである。ペン型スキャナ1001とパソコン1201との接続はUSBインターフェースを用いる場合の他、RS−232Cによるシリアルインターフェース、LANインターフェース、IEEE1394インターフェース等を用いてもよい。
また、パソコンに無線インターフェースカード1209を装着してペン型スキャナ1001と無線通信で接続してもよい。無線インターフェースについては、BLUETOOTH(登録商標)、無線LAN等を用いることができる。また、無線インターフェースの他に赤外線通信等の光インターフェースを用いてペン型スキャナ1001とパソコン1201とを接続するようにしてもよい。
図8(b)は、PDA1202にケーブルでペン型スキャナ1001を接続した図である。PDA1202とペン型スキャナ1001との接続も有線接続の他、無線接続、光通信接続で実現してもよい。
図9(a)は、入出力装置にマウスとしての機能を持たせた場合のパソコン1201との接続を示したものである。図示例にあるように、マウス型スキャナ1301はUSBインターフェイスを介してパソコン1201にケーブル接続する場合が一般的であるが、無線接続を用いてもよい。
パソコン1201に接続された場合においては、マウス型スキャナ1301をパソコンのマウスとして機能させることも可能である。すなわち、パソコン1201にドットパターンを読み取った際のコード値および/または座標値を送信し対応するコンテンツデータの出力や操作命令を当該情報処理装置において実行する通常モードと、ドットパターンを読み取った際のコード値および/または座標値、またはドットパターンを滑らせて読み取った際の視点から終点までの座標値、またはその滑らせて読み取った複数地点の座標情報を基に算出した増分量を、コード値および/または座標値と対応するマウス操作コードに変換して送信し、マウスとして機能させるマウスモードとを切り替え可能なスイッチを設けることにより行う。
通常モードにおいて入出力装置にマウスとしての機能を持たせる場合、入出力装置においてはドットパターンに定義されたコード値および/または座標値を情報処理装置に送信し、情報処理装置において送信されたコード値および/または座標値を、リンクテーブルを参照してマウス操作コードに変換する。マウスの移動を認識する場合には複数地点の座標値または、コード値および座標値を連続して送信することになる。
マウスモードにおいては、入出力装置内でコード値および/または座標値を記憶手段のリンクテーブルに登録された対応するマウス操作コードに変換し、該変換されたマウス操作コードを情報処理装置に送信する。なお、マウス型スキャナ1301には、マウスボタンが設けられるのが望ましいが、マウスボタン用として媒体上に形成されたドットパターンにより行ってもよい。もちろん、マウスボタン操作はマウス操作コードに変換されて情報処理装置に送信される。
マウス操作コードは、情報処理装置を制御するためのマウス操作やキーボード操作、タブレット操作などを予め定めたコード規格であり、ASCIIコードやHIDコードなど、入力デバイスとしての様々な規格に対応できる。
通常モードとマウスモードとをコード値および/または座標値に関係付けて登録された操作命令により切り替えることもできる。同様に、マウスモード切り替え開始・終了ボタンの操作により行うこともできる。マウスモードとして機能している場合のクリック操作は、マウス型スキャナ1301に別途設けられたボタンのいずれかに担わせてもよいし、媒体上に形成されたドットパターンにより行ってもよい。また、パソコン1201との接続で入出力装置を充電させることも可能である。
通常モードは、処理手段で変換されたコード値および/または座標値を、他のコードに変換することなく送信するモードであり、情報処理装置側のアプリケーションでそのコード値および/または座標値に対応する処理が行われる。なお、コード値および/または座標値は、暗号が掛けられて送信される場合も多々ある。また、光学読取手段でドットパターンを読み取った際のドットパターンの回転角(光学読取手段の軸回転)や明暗(光学読取手段の媒体との傾斜角)、エラー情報などの状態コードなどの様々な付加的情報を送信する場合もある。
なお、図9(a)においては入出力装置を一般的なマウスの形状としてのマウス型スキャナ1301より構成しているが、前述したペン形状やその他の形状を用いてもよいことはもちろんである。
次に、図9(b)、(c)を参照して、マウス型スキャナのその他の実施例を示す。
図に示したマウス40Aは、ドットパターンが形成された媒体面に対して光を照射する照射光源としてのIRLED1122と、ドットパターンからの反射光を入射させるためのレンズ1126と、IRLED1122からの照射光及び媒体面Xからの反射光の出入口となる開口部41cが形成されたマウス本体41と、開口部41cからドットパターンが形成された媒体面の読取点42Aを照射するポインタ光源42と、IRLED1122の照射方向前方に配置され、内部が導光路として機能するライトガイド306と、CCDカメラ44(CMOSカメラでも良い)と、を備え、ポインタ光源42からのポインタ光を媒体面に照射しつつ、IRLED1122の照射光をドットパターンに照射し、その照射光の反射光によりドットパターンを読み取る。なお、開口部41cにはガラス板又は透明樹脂板からなるキャップ部材を取り付けてマウス内部への塵挨の侵入を防止するようにしても良い。
前記ポインタ光源42によって媒体面の読取点42Aが照射されるため、読取可能なドットパターンの位置を正確に認識することができ、読み取るべきドットパターンに対して適切にマウス40Aを操作することが可能となる。なお、マウス40Aは、マウス本体41の外周面に読取機能を作動させるスイッチ43を備えおき、必要なときのみ読取機能を作動させることができる。このとき、前記スイッチ43の操作により通常のマウス機能を停止させることができ、左右のマウスボタン401a,401bのいずれかを撮影ボタンとして読取機能を作動させても良い。
また、読取機能を作動させるスイッチ43を特に設けなくても、例えば左右のマウスボタン(401a,401b)を同時に押した場合に読取機能が作動するようにしても良い。
次に、図10を参照して入力されたコンテンツデータを分割して登録する場合、および所定のドットパターンに、分割して登録されたコンテンツデータを複数リンクさせる場合について説明する。
図10は、コンテンツデータを複数リンクさせる場合のドットパターンが印刷形成された印刷物5と入出力装置816の関係を示す図である。
コンテンツデータを分割して登録する場合の手順として、ユーザはまず入力開始・終了用ボタンの操作や入力開始・終了用ドットパターン871を読み取ることでコンテンツデータの入力を開始する。すなわち、入力開始・終了ボタンの操作および/または光学読取手段により媒体表面の所定の領域に形成された入力開始・終了用ドットパターン871を読み取って、該入力手段による該コンテンツデータの入力を開始する。入力開始・終了ボタンは入出力装置816に設けられているボタン1130a〜1130fのいずれかを用い、ドットパターンによる入力の場合は、媒体表面に形成された入力開始・終了用ドットパターン871を入出力装置816に備えられている光学読取手段で読取り、処理手段でコード値および/または座標値に変換し、そのコード値および/または座標値と関係付けて登録された操作命令により入力を開始する。入力されているコンテンツデータは入出力装置816の記憶手段に順次登録されることになる。
次に、コンテンツデータの入力中に、前記入出力装置816に設けられているボタン1130a〜1130fのいずれかの操作または前記光学読取手段により媒体表面の所定の領域に形成された分割用ドットパターン812の読み取りを、ユーザが分割したい回数に応じて行う。
例えば、コンテンツデータの入力中に分割ボタンの操作が2回(N回)行われた場合には、制御手段は、入力を開始してから一番初めに分割ボタンが操作された時点までのコンテンツデータを第1のコンテンツデータとして記憶手段に分割して登録し、該一番初めに分割ボタンが操作された時点から2回目に分割ボタンが操作された時点までに入力されたコンテンツデータを第2のコンテンツデータ(第iのコンテンツデータ)として記憶手段に分割して登録する。そして、最後に、2回目に分割ボタンが操作された時点から入力開始・終了用ボタンの操作や入力開始・終了用ドットパターン871の読取り、言い換えるとコンテンツデータの入力が終了された時点までのコンテンツデータを第3のコンテンツデータ(第N+1のコンテンツデータ)として記憶手段に分割して登録する。
すなわち、入出力装置816の制御手段は、コンテンツデータの入力中に、前記入出力装置816にさらに設けられた分割ボタンの操作または前記光学読取手段により媒体表面の所定の領域に形成された分割用ドットパターン812の読み取りがN回(Nは自然数)行われたときは、入力を開始してから、該分割ボタンの操作または該光学読取手段により媒体表面の所定の領域に形成された該分割用ドットパターン812の読み取りが行われた時点までのコンテンツデータを第1のコンテンツデータとして前記記憶手段に分割して登録し、続けて、該コンテンツデータの入力中に、少なくとも1回以上、該分割ボタンを操作または該光学読取手段により媒体表面の所定の領域に形成された該分割用ドットパターン812を読み取ったときは、i−1回目の分割を操作した時点からi回目の分割を操作した時点までのコンテンツデータを第iのコンテンツデータとして該記憶手段に分割して登録し、最後に、前記入力開始・終了ボタンの操作または該光学読取手段により媒体表面の所定の領域に形成された前記入力開始・終了用ドットパターン871の読み取りにより、該入力手段による該コンテンツデータの入力を終了し、N回目の分割を操作した時点から該コンテンツデータの入力を終了した時点までのコンテンツデータを第N+1のコンテンツデータとして該記憶手段に分割して登録することになる。
なお、制御手段は、コンテンツデータを分割して登録する際、少なくとも第1から第Nのコンテンツデータのそれぞれを示す第1のファイル名と併せて、次に続けて分割して登録されるコンテンツデータを示す第2のファイル名を前記記憶手段に登録することが望ましい。
例えば、通常、コンテンツデータは、当該コンテンツデータ自体を示す第一のファイル名と併せてコンテンツファイルに登録されるが、上述した分割して登録された第1〜第3のコンテンツデータは、それぞれ固有のコンテンツデータを示す第一のファイル名と併せて、次に続けて分割して登録されるコンテンツデータを示す第2のファイル名が記憶手段に登録されることになる。
すなわち、第1のコンテンツデータのコンテンツファイルには、「第1のコンテンツデータ」と、第1のコンテンツデータを示す「第1のファイル名」と、続けて分割して登録された第2のコンテンツデータを示す「第2のファイル名」と、が登録され、第2のコンテンツデータのコンテンツファイルには、「第2のコンテンツデータ」と、第2のコンテンツデータを示す「第1のファイル名」と、第3のコンテンツデータを示す「第2のファイル名」と、が登録され、第3のコンテンツデータのコンテンツファイルには、「第3のコンテンツデータ」と、第3のコンテンツデータを示す「第1のファイル名」と、が登録されることになる。
これにより、長時間の録画や録音でも、収録が途切れることなく、そのテーマや時間、様々な対象等の所定の意味合いで任意に分割して登録でき、さらに、再生する際には頭出しや連続出力を容易にできるという効果を奏する。
さらに、上記構成によれば、コンテンツデータを連続して出力する際には、コード値および/または座標値と分割して入力されたコンテンツデータを関係付けてリンクテーブルに登録することなく、コンテンツファイルに格納されているコンテンツファイル名を読み取って、所望のコンテンツデータを出力した後に出力するコンテンツデータの所在を示す指示情報とすることができる。そのため、上記構成によってコンテンツデータを連続して出力する場合においても、記憶手段に登録されているリンクテーブルにおいてコード値および/または座標値と関連付けて登録されているコンテンツデータは少なくとも一組であっても良い。なお、コンテンツデータを示す第1のファイル名と併せて、次に登録されるコンテンツデータを示す第2のファイル名は、分割・登録とは別途、任意に関係付けることもできる。さらに、コンテンツデータを示す第1のファイル名と、次に登録されるコンテンツデータを示す第2のファイル名に併せて、先に登録されたコンテンツデータを示す第3のファイル名を登録し、逆順で連続再生することも可能である。
次に、分割して登録されたコンテンツデータを所定のドットパターンに複数リンクさせる場合の手順について説明する。
この場合も前述したコンテンツデータを分割して登録する場合の手順と同様に、ユーザはまず入力開始・終了用ボタンの操作や入力開始・終了用ドットパターン871を読み取ることでコンテンツデータの入力を開始する。
次に、コンテンツデータの入力中に、入出力装置にさらに設けられた分割・リンクボタンの操作または光学読取手段により媒体表面の所定の領域に形成された分割・リンク用ドットパターン820の読み取りを行い、第1の所定のドットパターン826を読み取る。
ここで、「第1の所定のドットパターン」とは、分割して登録される複数のコンテンツデータを複数のドットパターンにリンクさせる際に、最初に読み取られるドットパターンをいう。本図示例においては1の欄に形成されているドットパターンを第1のドットパターン826としているが、ユーザは自由な位置に関係するコンテンツデータをリンク付けるため、媒体表面上の形成位置に関係なくユーザの操作により定まるものである。
分割・リンクボタンは、入力開始・終了ボタンと同様にボタン1130a〜1130fのいずれかを用いる。入力開始・終了ボタンと分割・リンクボタンを兼用させたい場合は、動作させたい機能、処理毎にそれぞれ異なるボタン操作(長押しや二度押し)を行えばよい。また、コンテンツデータを入力する際、または再生する際の音量を調節する音声UP・DOWNボタンや音声UP・DOWN用ドットパターンを設けることも可能である。
リンクモードに切り替えるための上記動作が行われずに第1の所定のドットパターン826が読み取られた場合には通常の動作、すなわち、第1のドットパターン826の定義するコード値および/または座標値が登録されているリンクテーブルを参照し、コンテンツデータおよび/または操作命令が関係付けて登録されているかを確認する。登録されているときは対応するコンテンツデータの出力や操作命令による動作を制御し、登録されていないときは情報処理装置との接続をするための処理を開始するなどである。
第1の所定のドットパターン826を読み取った場合、入出力装置816の制御手段は、入力を開始してから分割・リンクボタンの操作または該光学読取手段により媒体表面の所定の領域に形成された該分割・リンク用ドットパターン820の読み取りが行われた時点までのコンテンツデータを第1のコンテンツデータとして前記記憶手段に分割して登録し、処理手段により変換される第1の所定のドットパターン826に定義されたコード値および/または座標値と登録された該第1のコンテンツデータを関係付け、該コード値および/または座標値と該第1のコンテンツデータの関係付けを該記憶手段の前記リンクテーブルに登録する。
続けて、コンテンツデータの入力中に該分割・リンクボタンを操作して、または該光学読取手段により媒体表面の所定の領域に形成された分割・リンク用ドットパターン820を読み取って、該光学読取手段により第iの所定のドットパターン828を読み取る。
入力手段によるコンテンツデータの入力を第1の所定のドットパターン826を読み取った時に終了させずに続けて行うことにより、一旦入力を開始してしまえば、その後は分割・リンクボタンの操作あるいは分割・リンク用ドットパターン820と、第iの所定のドットパターン828を次々に読み取っていくだけで当該第iの所定のドットパターン828と第1の所定のドットパターン826の読取り後に入力された第iのコンテンツデータとのリンク付けを行うことが可能となる。
この「第iの所定のドットパターン」とは、第1の所定のドットパターン826に対応する概念であり、第1の所定のドットパターン826の後にコンテンツデータをリンクさせていくために読み取るドットパターンである。この第iの所定のドットパターン828と第1の所定のドットパターン826を併せて前述した「所定のドットパターン」という。当該第iの所定のドットパターン828も第1の所定のドットパターン826と同様にユーザが任意に定めるものであり、第1の所定のドットパターン826の後に読み取る第2の所定のドットパターン、第2の所定のドットパターンの後に読み取る第3の所定のドットパターン、というように、iの値は分割・リンク付けを操作した回数に対応して増加していくものである。ユーザの読取りの順序によって、例えば印刷物5中の1の欄のドットパターンが第1の所定のドットパターン826となったり、第iの所定のドットパターン828となったりする。
第iの所定のドットパターン828を読み取った場合、入出力装置816の制御手段は、該分割・リンクボタンの操作回数を第1の所定のドットパターン826を読み取ったときを含めてN回(Nは自然数)とすると、i−1回目の分割を操作した時点からi回目の分割を操作した時点までのコンテンツデータを第iのコンテンツデータとして該記憶手段に分割して登録し、該第iの所定のドットパターン828が該処理手段により変換される第iのコード値および/または座標値と、登録された該第iのコンテンツデータを関係付け、該第iのコード値および/または座標値と該第iのコンテンツデータの関係付けを該記憶手段のリンクテーブルに登録する。
そして、最後に、前記入力開始・終了ボタンの操作または該光学読取手段により媒体表面の所定の領域に形成された前記入力開始・終了用ドットパターン871の読み取りにより、前記入力手段による該コンテンツデータの入力を終了し、該光学読取手段より該第iのドットパターン828を再度読み取ったときは、該リンクテーブルを参照し、対応する該第iのコンテンツデータを該記憶手段から読み出して該出力手段により出力することになる。なお、最後の分割・リンク付けから、入力の終了までのコンテンツを第N+1の所定のドットパターンにリンクする場合は、分割・リンクボタンの操作または光学読取手段により媒体表面の所定の領域に形成された分割・リンク用ドットパターン820の読み取りを行い、第N+1の所定のドットパターンを読み取ればよい。これにより、該光学読取手段より該第N+1の所定のドットパターン828を再度読み取ったときは、該リンクテーブルを参照し、対応する該第N+1のコンテンツデータを該記憶手段から読み出して該出力手段により出力することになる。
すなわち、コンテンツデータの入力中に、分割・リンクボタンの操作と所定のドットパターンの読取りが2回ずつ行われた場合、入出力装置の制御手段は、入力を開始してから一番初めに分割・リンクボタンの操作が行われた時点までのコンテンツデータを第1のコンテンツデータとして前記記憶手段に分割して登録し、処理手段により変換される第1の所定のドットパターン826に定義されたコード値および/または座標値と登録された該第1のコンテンツデータを関係付け、該コード値および/または座標値と該第1のコンテンツデータの関係付けを該記憶手段の前記リンクテーブルに登録する。
次に、該一番初めに分割・リンクボタンの操作が行われた時点から2回目(N回目)に分割・リンクボタンの操作をした時点までのコンテンツデータを第2(i)のコンテンツデータとして該記憶手段に分割して登録し、該第2(i)の所定のドットパターン828が該処理手段により変換される第2のコード値および/または座標値と、登録された該第2のコンテンツデータを関係付け、該第2のコード値および/または座標値と該第2のコンテンツデータの関係付けを該記憶手段のリンクテーブルに登録する。
そして、最後に前記入力開始・終了ボタンの操作または該光学読取手段により媒体表面の所定の領域に形成された前記入力開始・終了用ドットパターン871の読み取りにより、前記入力手段による該コンテンツデータの入力を終了し、該光学読取手段より該第1〜第2のドットパターンを再度読み取ったときは、該リンクテーブルを参照し、対応する該第1〜第2のコンテンツデータを該記憶手段から読み出して該出力手段により出力することになる。なお、2回目に分割・リンクボタンの操作をした時点から、入力の終了までの第3のコンテンツデータを第3(N+1)の所定のドットパターンに関係付けする場合は、入力の終了直後に、分割・リンクボタンの操作または光学読取手段により媒体表面の所定の領域に形成された分割・リンク用ドットパターン820の読み取りを行い、第3(N+1)の所定のドットパターン828を読み取ればよい。後に、該光学読取手段より該第3のドットパターンを再度読み取ったときは、該リンクテーブルを参照し、対応する該第3のコンテンツデータを該記憶手段から読み出して該出力手段により出力することになる。
これにより、例えば会議などにおいて、入出力装置をボイスレコーダとして使用しながら任意のタイミングで複数回、ドットパターンをタッチして、入力した動画・画像データや音声データとタッチしたドットパターンを関連付けてリンクテーブルに登録し、再度それらのドットパターンを読み取った際には対応付けて登録された動画・画像データや音声データが出力手段により出力させるというような使用が可能となる。ドットパターンが印刷されている媒体には直接筆記用具で要点の書き込みや、覚え書きなどができるため、紙媒体としての利便性を兼ね備えながら動画・画像や音声の入出力を行うなど、従来のビデオカメラやデジカメ、携帯電話、録音機器等と比して利便性の高い入出力機能を持たせることができる。
この場合、第iの所定のドットパターン828と第iのコンテンツデータを関係付けてリンクテーブルに登録するときに、第1の所定のドットパターン826に定義されているコード値および/または座標値と第1のコンテンツデータが関係付けて登録されているリンクテーブルに、第iの所定のドットパターン828に定義されているコード値および/または座標値を併せて登録することが望ましい。すなわち、制御手段は、所定の方法によって、処理手段により変換される、所定のN+1個のドットパターンに定義されたコード値および/または座標値と前記分割された第1から第N+1のコンテンツデータを関係付け、該コード値および/または座標値と該分割されたコンテンツデータの関係付けを前記記憶手段の前記リンクテーブルに登録し、前記光学読取手段より前記第iのドットパターン828を読み取ったときは、該リンクテーブルを参照し、対応する該第iから該N+1までのコンテンツデータを所定の方法で該記憶手段から読み出して前記出力手段により連続して出力させることが望ましい。
これにより、第1の所定のドットパターン826を読み取った時には、まず第1のコンテンツデータを出力手段から出力し、その後第iのコンテンツデータを続けて出力するというような関連するコンテンツデータの連続した出力が可能となる。
また、上記構成によれば、リンクテーブルには一のコード値および/または座標値と関係付けて2以上のコンテンツデータが登録されているため、1つのドットパターンを読み取って解析し、ドットコードから変換するだけで、当該コード値および/または座標値と関係付けられて登録されているコンテンツデータを連続して出力させることが可能である。
同様に第2の所定のドットパターンを読み取った時には第2のコンテンツデータ、第3のコンテンツデータ、第4のコンテンツデータが連続して出力されるようリンクテーブルを構成することも可能である。もちろん、読み取った順序により連続してコンテンツデータが出力されるようリンクテーブルを作成してもよいし、読み取った順序と関係なく媒体表面上に可視的に形成された文字や図形等と対応する形で出力できるようリンクテーブルを作成してもよい。
以上のように、ドットパターンの定義するコード値および/または座標値とコンテンツデータの関係付けをリンクテーブルに登録するほか、コンテンツデータ同士にそれぞれを繋ぐアドレスを登録したり、ドットコード自体に、リンク付けしたコンテンツデータを出力するためのコード値および/または座標値に加えて、リンク付けをした後に他のドットパターンにリンク付けをしたコンテンツデータを出力するためのコード値および/または座標値を併せて定義するなどして、コンテンツデータを連続して出力することも可能である。すなわち、このドットコードからは、2つのコード値および/または座標値が変換されることになる。
次に、図11〜図13を参照しながら本発明に用いられるドットパターンの形成方法の一例について説明する。
図11、図12は、ストリームドットパターンを形成する工程の一例を順に示すものである。
本発明に係るドットパターンは、従来のドットパターンとは異なり、まず工程1として媒体表面上の可視的な情報に対応して、情報を入出力させたい箇所に基準ドット4を線状に連続して複数個配置する。
図11(a)では基準ドット4を曲線状に配置しているが、基準ドット4の配置はこれに限定されるものではなく、直線と曲線を織り交ぜたり、複数の線分により構成される折れ線状にするなど、情報を入出力させる領域にあわせた形状にドットパターンを形成するための種々の変更が可能である。
また、媒体表面上に可視的に形成された実在線上に基準ドット4を配置してもよいし、実在線に沿って所定の規則により基準ドット4を配置してもよい。ここでいう実在線とは仮想線に対する概念で、実際に存在している線の全てを含むものである。例えば、実線、破線、点線、直線や曲線などが挙げられ、本発明においては、線が形成される媒体(例えば映像表示装置のディスプレイ)や、線を構成する物質(例えばインク)の如何を問わない。なお、ドットパターンは、印刷やディスプレイ表示、さらに金属やプラスチック上での穴や溝等の凸凹であってもよい。
なお、基準ドットは読取り精度向上の観点から、等間隔に配置することが望ましいが、これに限定されるものではなく、複数の間隔を混在させてドットパターンの一定情報のまとまりを定義したり、一定情報のまとまり内における3つの異なる基準ドットの配置間隔によりドットパターンの一定情報のまとまりとドットパターンの方向の両方を定義することも可能である。
次に、工程2として、線状に配置された基準ドット4を結ぶ、第一の仮想基準線6を設ける。図11(b)では第一の仮想基準線6を曲線により設けているが、第一の仮想基準線6はこれに限定されるものではなく、曲線状に配置された基準ドット4に対して直線の第一の仮想基準線6を設けてもよいし、直線状に配置された基準ドット4に対して曲線の第一の仮想基準線6を設けてもよい。すなわち、後述する工程3〜工程5における第二の仮想基準線7、仮想基準点74、情報ドット72をどの位置に配置するかによって、基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線6を自由に定義することが可能である。
なお、図13に例を示すように、曲線である場合の第一の仮想基準線6は、ベジェ曲線によることが望ましい。
すなわち、まず、第一の仮想基準線上にある基準ドットをP0、P3とし、P1、P2を与えられた制御点とする。次に、制御点を順に結んで得られる3つの線分・P0―P1、P1―P2、P2―P3・をそれぞれ1対1の比率で分割する点P4、P5、P6を求める。そして、これらの点を順に結んで得られる2つの線分・P4―P5、P5―P6・を、それぞれ1対1の比率で分割する点P7、P8を求める。
最後に、この2点を結ぶ線分・P7―P8・をさらに1対1の比率で分割する点P9を求め、この点がベジェ曲線上の点となる。
この手順を繰り返し行うことで、P0、P1、P2、P3を制御点とするベジェ曲線が得られる。
なお、ベジェ曲線に限らず、スプライン関数を利用して求められるスプライン曲線、n次多項式、楕円弧など、種々のアルゴリズムを用いて第一の仮想基準線6を設けてもよい。
また、第二の仮想基準線においても、第一の仮想基準線と同様に当該方法を用いて曲線を定義することが可能である。
次に、工程3として、線状に配置された基準ドット4および/または第一の仮想基準線6から所定の位置に定義される第二の仮想基準線7を設ける。図11(c)では第二の仮想基準線7を、隣り合う基準ドット4の中間点における第一の仮想基準線6の接線に対して垂直線上の所定位置に向かって、隣り合う基準ドット4から任意の角度をもって設けているが、第二の仮想基準線7はこれに限定されるものではなく、後に示すようにドットパターンにより情報を入出力させたい領域に合わせて仮想基準点を設けるために、種々の方法により定義することが可能である。
また、第一の仮想基準線6に対して片側のみに第二の仮想基準線7を設けてドットパターンの方向を定義してもよいし、情報量を増やすために両側各々に設けてもよい。
次に、工程4として、第二の仮想基準線7上の所定の位置に複数の仮想基準点74を設ける。図12(a)では仮想基準点74を、第二の仮想基準線7の交点、すなわち隣り合う基準ドット4を結んだ直線を底辺とし、第二の仮想基準線7を対辺とする二等辺三角形の頂点に設けているが、仮想基準点74の位置はこれに限定されるものではなく、第二の仮想基準線7の中点に設けたり、第二の仮想基準線7上に代えて基準ドット4上に設けるなど、種々の変更が可能である。
そして、工程5として、仮想基準点74を始点としてベクトルにより表現した終点に情報ドット72を配置する。図12(b)では情報ドット72を、仮想基準点74からのベクトル方向を8方向、仮想基準点74からの距離が等距離となるよう、一個の仮想基準点74に対し1個配置しているが、情報ドット72の配置はこれに限定されるものではなく、仮想基準点74上に配置したり、ベクトル方向を16方向として配置したり、一個の仮想基準点74に対し2個配置するなど、任意の方向に任意の長さに、複数配置することが可能である。
このように、本発明に係るストリームドットパターンは、本発明者が提唱している従来のドットパターンでは2次元的に格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。
これにより、ドットパターンが2次元コードとして形成される矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状の一定情報のまとまりによるドットパターンを形成することが可能となる。
なお、本発明に係る仮想基準線及び仮想基準点は、実際に媒体表面上に印刷形成されるわけではなく、あくまでコンピュータの画像メモリ上に、ドットパターンの配置の際、またはドットパターンの読み取りの際に仮想的に設定されるものである。
このストリームドットパターンを用いることで、地球儀を初めとする曲面体や、人体模型、立体地図などの三次元造形物にもドットパターンを形成することができ、平面地図や絵本等に限らず本発明に係る入出力装置を利用することが可能となる。
図14は、ストリームドットパターンを上下方向に並べた状態の一例について示す図である。
同図では、基準ドット、情報ドットの他に、キードットおよびサイドドットを配置している。キードットは、一定情報のまとまりの両端に配置されたドットである。このキードットは、ひとまとまりの情報ドット群を表す1領域分のドットパターン1の代表点である。サイドドットは、キードット2のずれの正負の延長線上に配置されたドットである。
同図(b)は、基準ドットおよびストリームドットパターンを等間隔に並べている。このように、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が書き込み領域に隙間なく定義され軌跡情報を生成することができ手書き入力が可能となる。しかし、本発明に係るストリームドットパターンはこれに限らず、同図(a)に示すように、ドットパターン同士の間隔を任意に設定してよい。また、基準ドット同士の間隔も、任意に設定することができる。
これにより、XY座標が定義されたドットパターンを2次元コードとして形成される際(インデックスとして使用)の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
次に、ドットパターンが定義するコード値や座標値と関連付けてリンクテーブルに登録されているコンテンツデータを連続して出力する方法について説明する。
まず、図15を参照して、第一の方法について説明する
図15は、ドットパターンを解析して変換されたドットコード(a)、当該ドットコードから変換されたコード値と出力するコンテンツデータが関係付けられているリンクテーブル(b)、及び当該コンテンツデータが格納されているコンテンツファイル(c)の例を示している。
まず、ドットパターンは処理手段により解析されると、デジタル化され同図(a)に示すようなドットコードへと変換される。同図(a)においては、当該変換されたドットコードがコード値(560)およびパリティチェックを定義するドットコードフォーマットを示している。なお、ドットコードが定義する情報は、コード値に限られず、座標値を定義することも可能である。コード値(560)は、変換されたドットコードのうち、パリティチェックに用いられる領域の値を除いたコード値を定義する領域の値(1000110000)から10進数に変換されたものである。もちろん、10進数に変換せずに、2進数のままリンクテーブルを構成してもよい。
そして制御手段は、当該コード値(560)で、リンクテーブルを参照し、当該リンクテーブルにおいて該コード値と関係付けられているコンテンツデータを出力するよう出力手段に対して指示をおこなう。
コンテンツデータを出力する際には、制御手段が、リンクテーブルにコード値と関係付けて登録されているコンテンツファイルのファイル名またはコンテンツファイルのアドレスを確認し、記憶手段から読み出して、出力手段により出力する。
当該コンテンツデータは、コンテンツファイルに、そのファイル名とともに格納されており、当該コンテンツファイルは、記憶手段に登録されている。
また、同図(b)において示すように、当該リンクテーブルにおいて、1つのコード値に対して複数のコンテンツファイルのファイル名またはアドレスを関係付けて登録することも可能である。
この場合に、まず、1のコード値と関係付けられている複数のコンテンツデータのうち、最上位にあるものを出力手段によって出力する。その後、1のコード値と関係付けられている複数のコンテンツデータのうち、次に上位となっているものを連続して出力する。この作業を繰り返し行って、1のコード値と関係付けられている全てのコンテンツデータを出力し終えたときに、コンテンツデータの連続出力を終了する。
なお、リンクテーブルに登録されているコンテンツデータの並びは、例えば、音声のコンテンツデータであればその録音を行った日時の順やであっても良いし、ファイル名順であてても良い。また後述する方法によって、リンクテーブルに登録した後であってもその並びを変更することもできる。
次に、図16を参照して、コンテンツデータを連続して出力する第二の方法について説明する。
図16(a)は、印刷領域に形成されているドットパターンを示す拡大図である。
なお、同図(a)のドットパターンにおいては、基準ドット4同士を結ぶ格子線が実線で表されているが、これは便宜のために表したものであり、本来のドットパターンは、同図(b)において示すドットパターンのように、このような実線は存在しない。
ここで、ドットパターン1の情報ドットは、4方向に配置することができ、一つの情報ドットを含む点線で表した円の領域が有する情報量は2ビットである。
このドットパターン1が、スキャナによって読み取られると、処理手段によって解析され、C0からC31までのドットコードに変換される。
同図(c)、(d)、(e)、(f)は、これらの情報ドットの集合を構成する1ブロック分のドットパターン1のドットコードフォーマットを示すものである。
同図(c)におけるドットコードには、パリティチェック及びコード値が定義されている。なお、当該ドットコードが、該コード値に代えて、XY座標値を定義することとしてもよいし、該コード値と併せてXY座標値を定義することとしても良いことは勿論である。
同図(c)における、ドットコードには、ドットパターンが形成されている印刷領域をスキャナにより読み取った後に、最初に出力されるコンテンツデータと関係付けられているコード値(572)と、併せて、他のコンテンツデータと関係付けられているコード値(583・560)が定義されている。
すなわち、ドットパターン1には、コンテンツデータと関係付けられる第1のコード値および/または座標値に加え、少なくとも1以上、他のコンテンツデータと関係付けられる第2から第Nのコード値および/または座標値が定義されていることになる。このNの値は、1のドットパターンに定義するコンテンツデータの個数に応じて増減するものである。
処理手段が解析したコード値から、制御手段は、リンクテーブルを参照して、まずコード値572と関係付けられているコンテンツデータを出力するよう命令を行う。
そして、次に、同じドットコードおいて定義されている他のコード値583と関係付けられているコンテンツデータを連続して出力するよう命令を行う。
さらに、同じドットコードに他のコード値583が残っているため、該コード値583と関係付けられているコンテンツデータを続けて連続して出力するよう命令を行う。
すなわち、制御手段は、光学読取手段(スキャナ)により該ドットパターンを読み取ったときは、リンクテーブルを参照し、該第1のコード値および/または座標値に対応するコンテンツデータを該記憶手段から読み出して前記出力手段から出力し、続けて、該リンクテーブルを参照し、少なくとも1以上の該第2から第Nのコード値および/または座標値に対応するコンテンツデータを該記憶手段から所定の順番で読み出して前記出力手段から連続して出力させることになる。
なお、ここでは一例として、コード値572、583、560の順に、これらと関係付けられているコンテンツデータを出力することとしているが、たとえばコード値560、572、583の順に関係付けられているコンテンツデータを出力することとしても良いし、また、1のドットコードが定義するコード値の数を、2つまたは4つ以上とし、連続して出力するコンテンツデータの数を適宜増減することも可能である。
また、リンクテーブルにおいて、1のコード値と関係付けられているコンテンツデータを複数としても良い。この場合には、1つのコード値と関係付けられているコンテンツデータの全てを出力した後に、次のコード値と関係付けられているコンテンツデータを出力するよう制御を行う。
なお、コンテンツデータを連続して出力するようにするか、所定のコード値との関連付けを持つコンテンツデータのみを出力するようにするかを、出力のモードによって切り換えることができるようにしても良く、このモードの切り替えは入出力装置に設けられたボタンや、ペーパーコントローラにより行う。
また、例えば、いくつかのドットパターンが重畳印刷されている写真が乖離して印刷されている印刷媒体において、当該写真ごとに異なる固有のコード値を持つドットパターンを形成しても良いし、全面にドットパターンが重畳印刷されている印刷媒体において、所定の領域で範囲を区切り、当該範囲ごとに異なる固有のコード値を持つドットパターンを形成するようにしても良い。
同図(d)における、ドットコードは、所定のコンテンツデータとの関連付けを示すためのコード値(572)を示すものと、併せて、他のコンテンツデータとの関係付けを示すためのコード値(556・583)を定義している。
これら3種のコード値とは、それぞれ、現時点で出力するコンテンツデータと関連付けられているコード値(572)、次に出力するコンテンツデータと関連付けられているコード値(583)と、現時点で出力されているコンテンツデータの前に出力されるコンテンツデータと関連付けられているコード値(556)である。
スキャナによってドットパターンが撮影された場合、制御手段は、処理手段により当該ドットパターンを解析し、ドットコードからコード値に変換した後に、前記リンクテーブルを参照し、前記ドットコード固有のコード値(572)と関連づけられているコンテンツデータを、ハードディスク等の記憶手段から読み出し、出力手段により出力する。
また、中央処理装置は、前記コンテンツデータを出力する命令と、併せて、ドットコードフォーマットを参照して、次に出力するコンテンツデータと関連付けられているコード値(583)を確認し、現時点で出力しているコンテンツデータを出力し終えた後に、当該次のコード値(583)と関連付けられているコンテンツデータを出力するように命令を行う。
また、図16(d)は、当該固有のコード値と次のコード値の他に、前のコード値をドットコードによって定義することにより、再生モードを切り替えて、コンテンツデータの順番を逆にして再生を行うことが容易となる。
このような逆再生モードにおいて、コンテンツデータの順番を逆にして再生するときには、前述した、通常のコンテンツデータを連続して出力する方法と同じように、固有のコード値と関連付けられているコンテンツデータを出力する命令と併せて、前のコード値を確認し、前のコードと関係付けられているコンテンツデータを出力すれば良い。
図16(e)において示すように、最初に出力されるコンテンツデータの次に出力されるコンテンツデータと関連付けられているコード値は、ドットコードフォーマット上において、最初に出力されるコンテンツデータと関係付けられているコード値に対しての差分値によっても表すことができる。
すなわち、図16(c)において示すように、最初に出力されるコンテンツデータと関係付けられているコード値が572であり、該次のコード値が583であった場合において、該次のコード値である583を、最初に出力されるコンテンツデータと関係付けられているコード値である572の+11として表すことができる。同様に、前記次の次のコード値である560を、−4と表すことができる。差分で連続出力するコード値を定義することにより、コード値の範囲を多くすることができ数多くのコンテンツデータを扱える。また、増えた領域に座標等を定義して同時に扱うことができる。
以上のように、ドットパターン(ドットコード自体)が、所望のコンテンツデータを出力した後の出力する他のコンテンツデータを示す指示情報としての機能を持っているため、ユーザが連続しているコンテンツデータを出力し始めるためには、当該連続しているコンテンツデータのうち、それらと関連付けられた一のドットパターンを読み取る作業だけ行えばよく、異なるドットパターンを次々と読み取っていく必要が無くなる。すなわち、位置のドットコードから複数のコード値が変換されることになる。
また、ドットコードが、それぞれの印刷領域に形成されたドットパターンを読み取ることによって出力されるコンテンツデータとリンクテーブルにおいて関係付けられているコード値および/または座標値のみならず、他のコンテンツデータ(例えば、現在出力されているコンテンツデータの後に出力されるべきコンテンツデータ、又は、すでにその前に出力されたコンテンツデータ)を示すコード値および/または座標値を有していることにより、所望のコンテンツデータを出力した後に出力する他のコンテンツデータのコード値を示す指示情報としている。これは、該指示情報が、単に次に連続して出力するコンテンツデータと関係付けられて登録されているコード値および/または座標値のみを指定するものであるため、該コードと値コンテンツデータのリンクテーブルにおける関連付けを変えるだけで、連続して出力するコンテンツデータの順番を自由に変えることができるという効果を奏する。
また、ドットパターンに、出力しているコンテンツデータの前後のコンテンツデータのコード値および/または座標値が定義されていることにより、ユーザが最初のコンテンツデータから出力を開始したくはない場合(例えば、ある小説の第3章までのコンテンツは既に聞き終えていて、次に聞きたいコンテンツが第4章のコンテンツからである場合)には、途中からコンテンツデータの出力を開始した場合であっても、第4章の冒頭に形成・定義されたドットパターンを読み取ることにより、第4章のコンテンツから連続してコンテンツデータを出力することができる。さらに、コンテンツデータの再生モードを変更することにより、容易に逆再生を行うこともできる。
2回目以降に出力されるコンテンツデータは、最初に出力されるコンテンツデータとの関係付けを示すためのコード値および/または座標値に対しての差分値で示されたコード値および/または座標値と関係付けることが望ましい。すなわち、最初に出力されるコンテンツデータが定義されたドットパターンを解析して、該最初に出力される所定のコンテンツデータと関連付けを示すためのコード値および/または座標値に加え、少なくとも1以上の他のコンテンツデータと関連付けを示すためのコード値および/または座標値を差分値で表すことになる。
上記のように、最初に出力するコンテンツデータとの関連付けを示すためのコード値や座標値と、2回目以降に出力されるコンテンツデータとの関係付けを示すためのコード値や座標値が一つのドットコードによって定義されている場合において、当該他のコンテンツデータとの関係付けを示すためのコード値や座標値が、当該最初に出力する所定のコンテンツデータとの関連付けを示すためのコード値や座標値との差分値によって表わされていることにより、一のドットコードが有する情報量を節約して、所望のコンテンツデータを出力した後に出力する他のコンテンツデータのコード値を示す指示情報とすることができる。
情報量を節約して、所望のコンテンツデータを出力した後に出力する他のコンテンツデータのコード値を示す指示情報とすることができるため、例えば、使用できるコード値の範囲を大きくでき、また、高度なセキュリティや、XY座標値などをドットコードに定義することができる。
なお、第2のコード値および/または座標値は、複数あってもよい。
次にコンテンツデータを連続して出力する第三の方法について説明する。
図17はドットコードフォーマットと、ドットコード連結テーブルの例について示している説明図である。
図17(a)において例示するドットコードのように、1のドットコードに、コンテンツファイルと関連付を示すためのコード値が一つしかない場合であっても、図16(b)に示すようなドットコード連結テーブルを設けることにより、コンテンツデータを連続して出力することが可能である。
すなわち、制御手段は、処理手段によりドットパターンを解析してドットコードに変換し、そのドットコードをコード値に変換した後、まず、リンクテーブルを参照して、該コード値と関係付けられているコンテンツデータを記憶手段から読み出して出力するように命令を行う。
次に、ドットコード連結テーブルを参照して、該コード値と関係付けてドットコード連結テーブルに登録されているコード値を確認し、該コード値と関係付けられているコンテンツデータを連続して出力するように命令を行う。
また、制御手段は、光学前記読取手段より第iのドットパターンを読み取ったときは、複数のドットパターンに定義された第1から第Nのコード値および/または座標値を所定の順番で関係付けて登録するドットコード連結テーブルを参照し、前記処理手段により変換される第iのコード値および/または座標値で該ドットコード連結テーブルを参照し、該第1から第Nのコード値および/または座標値を検索した後、該第iから第Nのコード値および/または座標値の順番で前記リンクテーブルを参照し、少なくとも2以上の対応するコンテンツデータを該記憶手段から読み出して前記出力手段により連続して出力させることになる。
以上のように、コード値の連結に基づいてコンテンツデータを連続して出力する場合においては、ドットコードが定義するコード値やXY座標値とコンテンツデータのリンクテーブルにおける関係付けおよびドットコード連結テーブルを変更することにより、連続して出力するコンテンツデータの順番を容易に変更することができる。
上記構成のように、ドットコード連結テーブルが記憶手段に登録されており、ドットコードに定義されたコード値同士が関連付けて登録されていれば、制御手段はドットコード連結テーブルおよびリンクテーブルを参照して、所望のコンテンツデータを出力した後に連続して次のコンテンツデータを出力することができる。また、ドットコード連結テーブルを参照してコード値の連結を確認すればよいため、一のドットコードが有する情報量に限定されることなく連続して出力するコンテンツデータを読み出して出力することができる。
なお、上記構成によってコンテンツデータを連続して出力する場合おいては、記憶手段に登録されているリンクテーブルにおいて、コード値と2以上のコンテンツデータが関係付けて登録されていることは必ずしも必要はない。なお、本件発明において、前記記憶手段には、コンテンツデータに各々関連付けられているコード値が、その連続して出力する順番に従い所定の方法で登録されたドットコード連結テーブルを用いて、その順番に従って降順または昇順で、少なくとも一回以上、コンテンツデータが、連続して出力されることとしても良い。また、降順または昇順で、最初または最後に定義されたドットコードが関連付けているコンテンツデータを出力した後、さらに最後または最初に定義されたドットコードが関連付けているコンテンツデータから連続出力するリピート機能を有してもよい。
次に、コンテンツデータを連続して出力するための、第四の方法について説明する。
図18(a)は、コード値とコンテンツファイルのファイル名が関係付けて登録されているリンクテーブル、および当該ファイル名とコンテンツデータが格納されているコンテンツファイルの例を示している図である。コンテンツデータは、当該コンテンツファイルに格納されており、当該リンクテーブルにおいては、コード値とコンテンツファイル名が関係付けられていることにより、出力するコンテンツデータの所在を明らかにしている。
図18(a)において、各コンテンツファイルには、前に出力するコンテンツファイル名および次に出力するコンテンツファイル名も併せて格納している。
すなわち、当該コンテンツファイルには、一のコンテンツデータを示す第1のファイル名と併せて、異なるコンテンツデータを示す第2のファイル名をさらに登録し、該異なるコンテンツデータを示す該第2のファイル名を第1のファイル名として、さらに異なるコンテンツデータを示す第2のファイル名を連鎖状に繋ぐよう、連鎖するファイル名が登録されていることになる。
このように、ファイル同士を結びつけ、現時点で出力しているコンテンツデータの次に出力するコンテンツデータを示すための指示情報とすることにより、コンテンツデータの出力を終えた後に、連続して次のコンテンツデータを出力することが可能である。
すなわち、制御手段は、光学読取手段によりドットパターンを読み取ったときは、該記憶手段に連鎖状に登録されたファイル名で示されるコンテンツデータを該記憶手段から、次々と読み出して前記出力手段から連続して出力させることになる。
また、現時点で出力しているコンテンツデータの前に出力するコンテンツデータが格納されているコンテンツファイル名を、併せてコンテンツファイルに格納しておくこともでき、これにより、逆再生モードでコンテンツデータを連続して出力することが容易になる。
また、図18(b)において例示するように、インデックステーブルにおいて、各コンテンツファイルに番号(インデックス)を設けることにより、前記他のコンテンツ情報のファイル名を番号で登録することもできる。
上記構成によれば、コンテンツデータを連続して出力する際には、コード値および/または座標値とコンテンツデータを関係付けてリンクテーブルに登録することなく、コンテンツファイルに格納されているコンテンツファイル名を読み取って、所望のコンテンツデータを出力した後に出力する所望のコンテンツデータの所在を示す指示情報とすることができる。そのため、上記構成によってコンテンツデータを連続して出力する場合おいても、記憶手段に登録されているリンクテーブルにおいてコード値および/または座標値と関連付けて登録されているコンテンツデータは少なくとも一組であっても良い。さらに、コンテンツデータを示す第1のファイル名と、次に登録されるコンテンツデータを示す第2のファイル名に併せて、先に登録されたコンテンツデータを示す第3のファイル名を登録し、逆順で連続再生することも可能である。
次に、コンテンツデータを連続して出力するための、第五の方法について説明する。
図19は、リンクテーブルにおいてコード値が昇順に並んでおり、コンテンツファイルのファイル名がこれに関連付けられて登録されている。また、コンテンツデータを連続して出力する範囲(連続出力範囲)が予め決められて登録されている。なおこの図においては、当該連続出力範囲は、コード値200〜203となっている。
この場合において、コード値の昇順に従って、これと関係付けられているコンテンツデータを出力していくことにより、連続出力が可能となる。
当該連続出力範囲内において、最初に読み取られたドットコードのコード値と関係付けられているコンテンツデータから、所定の指示に従ってコード値の昇順または降順に当該連続出力範囲内のコード値と関係付けられているコンテンツデータを連続出力すれば良い。
また、このようにドットコードが昇順に並んでいる場合において、コンテンツデータを逆再生するときには、ドットコードの降順で出力すればよい。なお、所定の指示に従って降順でコード値が並んでいる場合に、コンテンツデータの通常再生を行ってもよいし、昇順でコード値が並んでいる場合に、コンテンツデータの逆再生を行うようにしても良い。
予め定められた連続出力範囲内のコンテンツデータを出力し終えたときに、コンテンツデータの連続出力を終了する。もちろん、入出力装置のモードによっては、この範囲のコンテンツデータをリピートして出力してもよい。
また、1のコード値に複数のファイル名が関係付けて登録されている場合には、当該1のコード値に関係付けられてコンテンツデータをすべて出力し終えた後に、次のコード値と関係付けられているコンテンツデータを出力するようにすれば良い。
図20は、昇順に並べられたコード値が、音声コンテンツや、URL、動画コンテンツ等の種々のコンテンツデータと関連付けられている図を示している。
この場合に、コード値の昇順に従って、コンテンツデータを連続して出力することとすると、音声コンテンツを出力した後に、ウェブサイトのURLを表示したり、その後に音量を上げたりと種類の異なるコンテンツデータが連続して出力されることとなる。そこで、所定の指示に従って同種類のコンテンツ(音声コンテンツ同士や、動画コンテンツ同士)だけを抽出して、連続して出力するようにしても良い。
次に、コンテンツデータとコード値のリンクについて説明する。
図21は、コンテンツデータとファイル名が格納されているコンテンツファイルと、ドットコードによって定義されるコード値と当該コンテンツファイル名が関係付けて登録されるリンクテーブルを示している。
同図(a)における、当該リンクテーブルにおいては、コンテンツファイル名またはアドレスが登録されるべきスペースが登録スペースとなっている。
当該登録スペースに、記憶手段において登録されているコンテンツデータが格納されたコンテンツファイルのファイル名またはアドレスを登録していくことにより、コンテンツデータとコード値をリンクさせていくことができる。
また同図(b)において示すように、すでにコード値とコンテンツファイルのファイル名またはアドレスが関係付けて登録されている場合であっても、該1のコード値に対して複数のコンテンツファイルのファイル名またはアドレスを関係付けて登録することとしても良い。例えば、図に示すように、コンテンツファイル名A−3が関係付けられているコード値(572)に、さらにA−4を関係付けるような場合である。
図22、図23は上記のリンクテーブルを作成するための、パーソナルコンピュータ上において実行するアプリケーションを説明する。図22はアプリケーションを実行中の様子を示す図であり、図23はアプリケーションの実行により作成されたリンクテーブルを示す図である。
図22に示すように、リンクテーブル作成用のアプリケーションを起動すると、表示装置上の画面左側にはコンピュータに予め登録された各コンテンツデータを表示するアイコンが表示され、画面右側にはコード値が表示され、画面中央にはリンクテーブルが表示される。ユーザーはポインティングデバイスによる操作により、表示されたコンテンツデータないしコード値を画面中央のリンクテーブルへとドラッグ&ドロップにより挿入する。
なお、コード値欄にコード値を挿入する際には、最も値の小さいコード値を先頭に挿入した際には、そのコード値と昇順で、他のコード値も自動的に挿入されることとしても良い。もちろん、コード値を10進数に変換して表示してもよい。
すると、図23に示すように、画面中央のリンクテーブルには新たなコンテンツとコード値の対応付けが登録され、コード値欄には挿入した数値情報が表示され、コンテンツ欄にはコンテンツのファイル名が表示される。
このように、リンクテーブルは専用のアプリケーションを用いてパーソナルコンピュータ上でも作成することができる。
前述したコンテンツデータの複数リンク付けと連続出力とは組み合わせて用いることができ、以下その実施形態の一例について、図10を参照しながら説明する。
複数リンク付けと連続したコンテンツデータの出力を組み合わせて用いる手順として、ユーザはまず入力開始・終了用ボタンの操作や入力開始・終了用ドットパターン871を読み取ることでコンテンツデータの入力を開始する。
次に、コンテンツデータの入力中に、入出力装置にさらに設けられた分割・リンクボタンの操作または光学読取手段により媒体表面の所定の領域に形成された分割・リンク用ドットパターン820の読み取りを行い、第1の所定のドットパターン826を読み取る。
ここで、「第1の所定のドットパターン」とは、分割して登録される複数のコンテンツデータを複数のドットパターンにリンクさせる際に、最初に読み取られるドットパターンをいう。本図示例においては1の欄に形成されているドットパターンを第1のドットパターン826としているが、ユーザは自由な位置に関係するコンテンツデータをリンク付けるため、媒体表面上の形成位置に関係なくユーザの操作により定まるものである。
分割・リンクボタンは、入力開始・終了ボタンと同様にボタン1130a〜1130fのいずれかを用いる。入力開始・終了ボタンと分割・リンクボタンを兼用させたい場合は、動作させたい機能、処理毎にそれぞれ異なるボタン操作(長押しや二度押し)を行えばよい。また、コンテンツデータを入力する際、または再生する際の音量を調節する音声UP・DOWNボタンや音声UP・DOWN用ドットパターンを設けることも可能である。
リンクモードに切り替えるための上記動作が行われずに第1の所定のドットパターン826が読み取られた場合には通常の動作、すなわち、第1のドットパターン826の定義するコード値および/または座標値が登録されているリンクテーブルを参照し、コンテンツデータおよび/または操作命令が関係付けて登録されているかを確認する。登録されているときは対応するコンテンツデータの出力や操作命令による動作を制御し、登録されていないときは情報処理装置との接続をするための処理を開始するなどである。
第1の所定のドットパターン826を読み取った場合、入出力装置816の制御手段は、入力を開始してから分割・リンクボタンの操作または該光学読取手段により媒体表面の所定の領域に形成された該分割・リンク用ドットパターン820の読み取りが行われた時点までのコンテンツデータを第1のコンテンツデータとして前記記憶手段に分割して登録し、処理手段により変換される第1の所定のドットパターン826に定義されたコード値および/または座標値と登録された該第1のコンテンツデータを関係付け、該コード値および/または座標値と該第1のコンテンツデータの関係付けを該記憶手段の前記リンクテーブルに登録する。
続けて、コンテンツデータの入力中に該分割・リンクボタンを操作して、または該光学読取手段により媒体表面の所定の領域に形成された分割・リンク用ドットパターン820を読み取って、該光学読取手段により第iの所定のドットパターン828を読み取る。
入力手段によるコンテンツデータの入力を第1の所定のドットパターン826を読み取った時に終了させずに続けて行うことにより、一旦入力を開始してしまえば、その後は分割・リンクボタンの操作あるいは分割・リンク用ドットパターン820の読取りと、第iの所定のドットパターン828を次々に読み取っていくだけで当該第iの所定のドットパターン828と第1の所定のドットパターン826の読取り後に入力された第iのコンテンツデータとのリンク付けを行うことが可能となる。
この「第iの所定のドットパターン」とは、第1の所定のドットパターン826に対応する概念であり、第1の所定のドットパターン826の後にコンテンツデータをリンクさせていくために読み取るドットパターンである。この第iの所定のドットパターン828と第1の所定のドットパターン826を併せて前述した「所定のドットパターン」という。当該第iの所定のドットパターン828も第1の所定のドットパターン826と同様にユーザが任意に定めるものであり、第1の所定のドットパターン826の後に読み取る第2の所定のドットパターン、第2の所定のドットパターンの後に読み取る第3の所定のドットパターン、というように、iの値は分割・リンク付けを操作した回数に対応して増加していくものである。ユーザの読取りの順序によって、例えば印刷物5中の1の欄のドットパターンが第1の所定のドットパターン826となったり、第iの所定のドットパターン828となったりする。
第iの所定のドットパターン828を読み取った場合、入出力装置816の制御手段は、該分割・リンクボタンの操作回数を第1の所定のドットパターン826を読み取ったときを含めてN回(Nは自然数)とすると、i−1回目の分割を操作した時点からi回目の分割を操作した時点までのコンテンツデータを第iのコンテンツデータとして該記憶手段に分割して登録し、該第iの所定のドットパターン828が該処理手段により変換される第iのコード値および/または座標値と、登録された該第iのコンテンツデータを関係付け、該第iのコード値および/または座標値と該第iのコンテンツデータの関係付けを該記憶手段のリンクテーブルに登録する。
そして、この第1の所定のドットパターンおよび第iの所定のドットパターンへのリンク付けの際に、上述した方法で第1のコンテンツデータと第iのコンテンツデータを連続して出力するための動作を制御手段により行う。
第一の方法としては、入力されたコンテンツデータと関係付けられているドットパターン(第1の所定のドットパターンと第iの所定のドットパターン)に定義されているそれぞれのコード値および/または座標値が登録されているリンクテーブルに、他のドットパターンに定義されているコード値および/または座標値を併せて登録する事が挙げられる。例えば、第1のコンテンツデータを出力した後にそのまま連続して第2のコンテンツデータを出力させたい場合には、第1の所定のドットパターンに定義されているコード値および/または座標値と第1のコンテンツデータが関係付けられているリンクテーブルに、第1の所定のドットパターンに定義されているコード値および/または座標値を併せて登録するなどである。
そして、第1の所定のドットパターンを再度読み取った時には、処理手段で変換されたコード値および/または座標値と第1のコンテンツデータが関係付けられたリンクテーブルを参照し、まず初めに直接的に関係付けられた当該第1のコンテンツデータを出力した後、そのリンクテーブルに併せて登録された第2の所定のドットパターンに定義されているコード値および/または座標値に基づいて、第2の所定のドットパターンに対応するコード値および/または座標値と第2のコンテンツデータが関係付けて登録された他のリンクテーブルを参照し、該第2のコンテンツデータを出力することになる。
第二の方法としては、コード値および/または座標値を定義するドットコードに他のコード値および/または座標値を併せて定義することが挙げられる。通常、一のドットコードには一のコード値および/または座標値とパリティチェックなどが登録されるが、コンテンツデータを連続して出力させる場合には一のドットコードに2以上のコード値および/または座標値を定義することが望ましい。
例えば、第3のコンテンツデータを出力した後に連続して第6のコンテンツデータを出力させたい場合には、第3の所定のドットパターンを処理手段により解析したドットコードの所定範囲を第6の所定のドットパターンに定義されたコード値および/または座標値を定義する領域として用いるなどである。
そして、第3の所定のドットパターンを再度読み取った際には、処理手段で変換されたドットコードに基づく処理、すなわち、本実施例では第3の所定のドットパターンに定義されたドットコードのある部分には第3の所定のドットパターンのコード値および/または座標値が定義されており、その他の部分には第6の所定のドットパターンのコード値および/または座標値が定義されているので、まず初めに第3の所定のドットパターンに対応するコード値および/または座標値に基づいてリンクテーブルを参照して第3のコンテンツデータを出力し、その後第6の所定のドットパターンに対応するコード値および/または座標値に基づいてリンクテーブルを参照して、第6のコンテンツデータを出力することになる。
なお、使用できるコード値および/または座標値の範囲を大きくしたり、高度なセキュリティや、XY座標値などを定義するために情報量を節約したい場合には、上記第6の所定のドットパターンに定義されたコード値および/または座標値を、上記第3の所定のドットパターンに定義されたコード値および/または座標値の差分値として表すことが望ましい。すなわち、2回目以降に出力されるコンテンツデータは、最初に出力されるコンテンツデータとの関係付けを示すためのコード値および/または座標値に対しての差分値で示されたコード値および/または座標値と関係付けられることになる。そのため、最初に出力されるコンテンツデータが定義されたドットパターンを解析すると、該最初に出力される所定のコンテンツデータと関連付けを示すためのコード値および/または座標値に加え、少なくとも1以上の他のコンテンツデータと関連付けを示すためのコード値および/または座標値を差分値で表すことになる。
上記のように、最初に出力するコンテンツデータとの関連付けを示すためのコード値や座標値と、2回目以降に出力されるコンテンツデータとの関係付けを示すためのコード値や座標値が一つのドットコードによって定義されている場合において、当該他のコンテンツデータとの関係付けを示すためのコード値や座標値が、当該最初に出力する所定のコンテンツデータとの関連付けを示すためのコード値や座標値との差分値によって表わされていることにより、一のドットコードが有する情報量を節約して、所望のコンテンツデータを出力した後に出力する他のコンテンツデータのコード値を示す指示情報とすることができる。
第三の方法としては、第1の所定のドットパターンおよび/または第iの所定のドットパターンに定義されたコード値同士を少なくとも1以上関係付けて登録するドットコード連結テーブルを用いることが挙げられる。すなわち、第1の所定のドットパターンおよび/または第iの所定のドットパターンに定義されたコード値同士を少なくとも1以上関係付けて登録するドットコード連結テーブルを記憶手段にさらに登録する。
そして、再度それらのドットパターンを読み取った際には、制御手段は、前記処理手段により変換されたコード値と関係付けられているリンクテーブルを参照して、登録されている第1のコンテンツデータまたは第iのコンテンツデータを前記出力手段から出力すると共に、該ドットコード連結テーブルを参照して、該コード値とさらに関係付けてドットコード連結テーブルに登録されている他のコード値と関係付けてリンクテーブルに登録されている第1のコンテンツデータまたは第iのコンテンツデータを該出力手段から連続して出力する。
このように、ドットコード連結テーブルが記憶手段に登録されており、コード値同士が関連付けて登録されていれば、制御手段は該ドットコード連結テーブルおよびリンクテーブルを参照して、所望のコンテンツデータを出力した後に連続して次のコンテンツデータを出力することができる。また、ドットコード連結テーブルを参照してコード値の連結を確認すればよいため、一のドットコードが有する情報量に限定されることなく連続して出力するコンテンツデータを読み出して出力することができる。
なお、上記構成によってコンテンツデータを連続して出力する場合おいては、記憶手段に登録されているリンクテーブルにおいて、コード値と2以上のコンテンツデータが関係付けて登録されていることは必ずしも必要はない。なお、本件発明において、前記記憶手段には、前記コンテンツデータに各々関連付けられているコード値が、その連続して出力する順番に従い所定の方法で登録されたドットコード連結テーブルを用いて、その順番に従って降順または昇順で、少なくとも一回以上、コンテンツデータが、連続して出力されることとしても良い。
第四の方法としては、コンテンツデータとコンテンツのファイル名からなるコンテンツファイルに、該コンテンツファイル固有のファイル名と併せて他のコンテンツデータを示すファイル名を格納することが挙げられる。すなわち、第1のコンテンツデータまたは第iのコンテンツデータとファイル名からなるコンテンツファイルに、該コンテンツファイル固有のファイル名と併せて少なくとも1以上の他のコンテンツファイルを示すファイル名を格納し、再度ドットパターンを読み取った際には、制御手段は、前記処理手段により変換されたコード値と関係付けられた前記リンクテーブルを参照して、登録されている第1のコンテンツデータまたは第iのコンテンツデータを前記出力手段から出力すると共に、該コンテンツファイルに格納している他のコンテンファイルを示すファイル名を参照して該他のコンテンツファイルに格納している第1のコンテンツデータまたは第iのコンテンツデータを該出力手段から連続して出力することになる。
上記構成によれば、コンテンツデータを連続して出力する際には、ドットコードが定義するコード値やXY座標値にかかわらず、コンテンツファイルに格納されているコンテンツファイル名を読み取って、所望のコンテンツデータを出力した後に出力するコンテンツデータの所在を示す指示情報とすることができる。そのため、上記構成によってコンテンツデータ連続して出力する場合おいても、記憶手段に登録されているリンクテーブルにおいてコード値と関連付けて登録されているコンテンツデータは一つであっても良い。
このような連続してコンテンツデータを出力させるための処理が行われた後にコンテンツデータの入力を終了することになるが、この場合の入力の終了は前述した入力開始・終了用ドットパターンに定義されたコード値および/または座標値と関係付けて登録された操作命令により行うか、入出力装置に設けられたいずれかのボタンを操作することにより行う。すなわち、入力開始・終了ボタンの操作および/または光学読取手段により媒体表面の所定の領域に形成された入力開始・終了用ドットパターンを読み取って、該入力手段による該コンテンツデータの入力を終了することになる。
なお、最後の分割・リンク付けから、入力の終了までのコンテンツを第N+1の所定のドットパターンにリンクする場合は、分割・リンクボタンの操作または光学読取手段により媒体表面の所定の領域に形成された分割・リンク用ドットパターン820の読み取りを行い、第N+1の所定のドットパターンを読み取ればよい。これにより、該光学読取手段より該第N+1のドットパターン828を再度読み取ったときは、該リンクテーブルを参照し、対応する該第N+1のコンテンツデータを該記憶手段から読み出して該出力手段により出力することになる。
以上のようなコンテンツデータの入力とドットパターンへのリンク付けを行った後、それらのドットパターンを光学読取手段により読み取る。第1の所定のドットパターンを読み取った際には、まず第1のコンテンツデータが出力手段から出力され、次に上述した方法により関係付けられた第iのコンテンツデータが連続して少なくとも1以上出力される。第5の所定のドットパターンを読み取った際には、第5のコンテンツデータが出力手段から出力され、続いて例えば第6、第7のコンテンツデータが連続して出力されることになる。
図24において、他のドットパターンの例(GRID5)を示す。図24(a)において、ドットパターンにおける、基準点ドット73a〜73e、仮想基準点74a〜74d、および情報ドット72の位置関係を示す。
当該ドットパターンは、ブロックの形状により、ドットパターンの方向を定義したものである。GRID5では、まず基準点ドット73a〜73eが配置される。基準点ドット73a〜73eを順に結ぶ線により、ブロックの向きを示す形状(ここでは上方を向いた5角形)が定義される。次に、基準点ドット73a〜73eの配置に基づき、仮想基準点74a〜74dが定義される。次に、仮想基準点74a〜74dのそれぞれを始点として方向と長さを有するベクトルが定義される。最後に、ベクトルの終点に情報ドット72が配置される。
このように、GRID5では、ブロックの向きを基準点ドット73a〜73eの配置の仕方によって定義することができる。そしてブロックの向きが定義されることにより、ブロック全体の大きさも定義される。
図24(b)において、ブロックの仮想基準点74a〜74d上に情報ドット72があるか否かにより、情報を定義する例を示す。
図24(c)において、GRID5のブロックを縦横方向に2個ずつ連結した例を示す。ただし、ブロックを連結して配置する方向は、縦横方向に限定されず、いかなる方向に配置して連結してもよい。
なお、図24においては、基準点ドット73a〜73eおよび情報ドット72は、全て同一形状として示しているが、基準点ドット73a〜73eと情報ドット72とは、異なる形状でもよく、例えば、基準点ドット73a〜73eが、情報ドット72よりも大きな形状としてもよい。また、基準点ドット73a〜73eと情報ドット72とは、識別可能であればいかなる形状としてもよく、円形、三角形、四角形、またはそれ以上の多角形としてもよい。
次に、図25から図39を参照して、本発明に係る手書き入力機能を備えた入出力装置について説明する。
図25は本発明の使用状態のうち、手書き入力操作を示すイメージ図である。
同図によれば、印刷媒体302としての手書き入力シートに入出力装置816を用いて書き込みをすると、書き込んだとおりの文書がディスプレイ303に表示される。これは、入出力装置816に内蔵されたC−MOSカメラが書き込みのされた軌跡上のドットパターンを撮像し、処理手段が当該ドットパターンの定義する数値化情報(ドットコード)を解析して、当該数値化情報に対応した情報としての文字を出力することにより実現する。
本発明に係る文字、文字列、文字または文字列に対応するコンテンツデータを出力させる方法についての入出力装置816の態様としては、入出力装置816内で書き込みされた(読み取られた)コード値および/または座標値を情報処理装置1002に送信する第一の態様、入出力装置816内で書き込みされたコード値および/または座標値から軌跡を認識し、該軌跡を情報処理装置1002に送信する第二の態様、入出力装置816内で書き込まれたコード値および/または座標値から軌跡を認識し、該軌跡と対応する文字または文字列を認識し、該文字または文字列に対応するコンテンツデータを出力手段から出力するか、操作命令による動作を制御する第三の態様、入出力装置816内で書き込みされたコード値および/または座標値から軌跡を認識し、該軌跡と対応する文字または文字列を認識し、該文字または文字列を文字コードまたは文字列コードに変換し、該文字コードまたは文字列コードを情報処理装置1002に送信する第四の態様、が考えられる。
すなわち、第一の態様の場合、入出力装置816は、情報処理装置1002と無線または有線により接続しており、該入出力装置816はユーザによる手書き入力操作を受け付け、光学読取手段により連続して読み取られるドットパターンに定義されたコード値および/または座標値を次々に情報処理装置1002に送信する。
情報処理装置1002は、手書き入力操作を判別する判別手段と、該手書き入力操作を受け付けることにより得られる認識結果として、ひらがな、カタカナ、漢字、英数字、記号等の複数の字種を含む文字または文字列を認識する文字認識手段と、該文字または文字列とコンテンツデータおよび/または操作命令を関係付けて登録するリンクテーブルを登録する記憶手段と、該コンテンツデータを出力する出力手段と、該判別手段、該文字認識手段、該記憶手段、該出力手段による動作および/または該操作命令による動作を制御する制御手段と、を備えている。
そして、情報処理装置1002は、入出力装置816から次々に送信されたコード値の少なくとも一部に定義された操作判別コードによりユーザによる手書き入力の受付を判別手段により判別し、該座標値の変化により該入出力装置の前記光学読取手段の軌跡を認識し、該軌跡と対応する文字または文字列を該文字認識手段により認識し、該リンクテーブルを参照して、該文字認識手段により認識された文字または文字列に対応するコンテンツデータを前記出力手段から出力するか、該操作命令による動作を制御することになる。
なお、手書き入力の受け付けの有無は、操作判別コードにより行うことが望ましいが、所定の座標値内での連続したドットパターンの読み取りが行われたときは、手書き入力操作が行われているものと判断して手書き入力の受付を開始するようにしてもよい。
これにより、ユーザが媒体上の所望の位置をペン型スキャナでタッチすることにより(本発明において「タッチ入力操作」と呼称する。)、タッチした位置に印刷したドットパターンと対応する情報を出力するのみならず、ユーザが媒体上をペンで手書きをするようにペン型スキャナでなぞることにより(本発明において「手書き入力操作」と呼称する。)、なぞった軌跡上のドットパターンを逐次読み取って軌跡を認識し、当該軌跡に対応する情報を出力する双方の動作を実現することが可能となる。すなわち、開始する際に特別な操作を行うことなく、書き込み領域にペン型スキャナでタッチし、なぞるだけで手書き入力操作が開始されたことを認識し、その処理が実行される。
第二の態様の場合、入出力装置816は、情報処理装置1002と無線または有線により接続しており、該入出力装置816はユーザによる手書き入力操作を受け付け、光学読取手段により連続して読み取られるドットパターンに定義された座標値の変化から軌跡を認識し、該軌跡を情報処理装置1002に送信することになる。
情報処理装置1002は、手書き入力操作を受け付けることにより得られる認識結果として、ひらがな、カタカナ、漢字、英数字、記号等の複数の字種を含む文字または文字列を認識する文字認識手段と、該文字または文字列とコンテンツデータおよび/または操作命令を関係付けて登録するリンクテーブルを登録する記憶手段と、該文字または文字列から変換された文字コードまたは文字列コードおよび/または該コンテンツデータを出力する出力手段と、該文字認識手段、該記憶手段、該出力手段による動作および/または該操作命令による動作を制御する制御手段と、を備えている。
そして、情報処理装置1002は、入出力装置816から送信される軌跡と対応する文字または文字列を該文字認識手段により認識し、文字コードまたは文字列コードに変換し、該文字コードまたは文字列コードを該出力手段から出力させるか、および/または該リンクテーブルを参照して、該文字または文字列に対応するコンテンツデータを該情報処理装置の出力手段から出力させるか、該操作命令による動作を制御することになる。
これにより、入出力装置の文字認識手段よりも、膨大な処理を正確に速く行うことができる情報処理装置側の文字認識手段を用いることができる。文字認識は、文字を認識するための様々な辞書が必要であり、入出力装置では、その容量および処理スピードが十分でない。もちろん、情報処理装置に接続されたインターネットも文字認識に活用できることは言うまでもない。
第三の態様の場合、入出力装置816はユーザによる手書き入力操作を受け付け、該手書き入力操作を受け付けることにより得られる認識結果として、ひらがな、カタカナ、漢字、英数字、記号等の複数の字種を含む文字または文字列を認識する文字認識手段をさらに備えており、記憶手段には、該文字認識手段により認識された文字または文字列とコンテンツデータおよび/または操作命令を関係付けて登録するリンクテーブルをさらに登録しており、光学読取手段により連続して読み取られるドットパターンに定義された座標値の変化から軌跡を認識し、該軌跡と対応する文字または文字列を該文字認識手段により認識し、該リンクテーブルを参照して、該文字認識手段により認識された文字または文字列に対応するコンテンツデータを前記出力手段から出力させるか、該操作命令による動作を制御することになる。
第四の態様の場合、入出力装置816は、情報処理装置1002と無線または有線により接続しており、該入出力装置816はユーザによる手書き入力操作を受け付け、該手書き入力操作を受け付けることにより得られる認識結果として、ひらがな、カタカナ、漢字、英数字、記号等の複数の字種を含む文字または文字列を認識する文字認識手段をさらに備えており、光学読取手段により連続して読み取られるドットパターンに定義された座標値の変化から軌跡を認識し、該軌跡と対応する文字または文字列を該文字認識手段により認識し、該認識された文字または文字列を文字コードまたは文字列コードに変換し、情報処理装置1002に該文字コードまたは文字列コードを送信することになる。
情報処理装置1002は、入出力装置816から送信された文字コードまたは文字列コードを該出力手段から出力させるか、および/または該情報処理装置のリンクテーブルを参照し、該文字コードまたは文字列コードと対応するコンテンツデータを該情報処理装置の該出力手段から出力させるか、該操作命令による動作を制御することになる。
これにより、入出力装置の出力手段の形式や記憶手段に登録されたコンテンツだけでなく、情報処理装置に内蔵または、接続される様々な形式の出力手段を用いて、インターネット等も利用した多くの魅力あるコンテンツを出力することもできる。
なお、文字、文字列、文字または文字列に対応するコンテンツデータの出力にはディスプレイ303を用いることが望ましいが、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
図26は本発明における各種の処理、すなわち前述した入出力装置あるいは情報処理装置内で行われる処理の一例を示すブロック図である。
本発明は、媒体面に印刷されたドットパターンを光学読取手段が読取り、処理手段がドットパターンから数値化情報を解析し、制御手段が、数値化情報に基づいてユーザが行なった操作を判別するとともに、テーブルを参照して数値化情報と対応する情報(外部の情報処理装置に対する中央処理を含む)を出力する。
判別した操作がタッチ入力操作であれば、数値化情報と対応する音声を出力手段から出力したり、情報処理装置に対してコード値および/または座標値を送信する。
判別した操作が手書き入力操作であれば、数値化情報のうち座標情報から軌跡を認識して、当該軌跡に対応した情報を出力する(あるいは軌跡そのものを信号化して情報処理装置に出力し、当該情報出力装置において軌跡に対応した情報を出力する)。
次に、前述した手書き入力操作の判別手法の一例について説明する。
図27は、ドットパターンのフォーマットのうち、コード値の少なくとも一部を操作判別コードとして用いたフォーマットを説明する図である。
操作判別コードとは、ユーザが行なっている操作がタッチ入力操作であるのか手書き入力操作であるのかを判別手段が自動的に判別するためのコードであり、図示はしないが、ドットコードから変換された操作判定コードが「0」であるときはタッチ入力操作、操作判定コードが「1」であるときは手書き入力操作、といった判別を判別手段は行なう。
ただし、操作判別コードを2ビット以上とし、より複数の操作について自動判別できるようにしてもよい。
この場合、入出力装置は、ユーザによる前記手書き入力操作の受け付けを判別する判別手段をさらに備えており、そのような操作判別コードに基づき、制御手段により該手書き入力操作の受付を光学読取手段によるドットパターンの読取り毎に該判別手段により判別する。
このように、手書き入力操作の受付を操作判別コードにより行うことで、スキャナーペンでなぞらなくても、タッチしただけで操作判別コードを読みとり、手書き入力操作の受け付けをより正確に素早く開始できる。また、コード値および/または座標値にコンテンツデータおよび/または操作命令を関係付けて使用する媒体との明確な区別ができる。
すなわち、このような媒体にペンでなぞる操作をしても、操作判別コードにより直ちに手書き入力操作を受け付けないようにできる。通常は、読みとったコード値および/または座標値がリンクテーブルに登録されているかを探して、登録されていない状態でペンをなぞって初めて手書き入力を受け付けるため計算時間を要することから、反応を速くするためには高速なCPUが必要となる。
基準位置からの距離と方向とを持って情報ドットを配置することにより情報を定義する(第一の数値化情報)ドットパターンを用いる場合、情報ドットを+方向線上(上下左右方向線上)に配置するか、×方向線上(斜め方向線上)に配置するかの、情報ドットの配置方向基準そのものに情報を定義する(第二の数値化情報)こともできるため、×方向線上に情報ドットが配置される場合を「0」、+方向線上に情報ドットが配置される場合を「1」とした場合、図28(b)のドットパターンにおける第二の数値化情報は「1010010110100101」であり、図29(b)のドットパターンにおける第二の数値化情報は「0000000011111111」である。
当該第二の数値化情報と、タッチ入力操作または手書き入力操作とが対応付けられたテーブルを参照することで、ユーザの行なっている操作を自動判別することも可能である。
なお、入出力装置に手書き入力開始・終了ボタンなどを設け、当該ボタンの操作により操作を切り替えても当然よいが、ドットパターンのフォーマットにより操作を自動判別することで、入出力装置にどのような機能を持たせても金型を変える必要がなくなるため、製造コスト上最も好適である。
手書き入力開始・終了ボタンを用いる場合には、すでに備えられているボタンを手書き入力開始・終了ボタンに操作態様に応じて切り替えて用いてもよいし、操作方法により手書き入力開始・終了ボタンとしての機能を持たせてもよい。書き込みを行う領域以外の領域に形成される手書き入力開始・終了用ドットパターンを読み取り、そのドットパターンに定義された操作命令により手書き入力操作、タッチ入力操作の切り替えを行ってもよい。
手書き入力開始・終了ボタンを用いることで、コード値および/または座標値にコンテンツデータおよび/または操作命令を関係付けて使用する場合と、同じ領域を書き込み領域として使用することができる。書き込み領域には、軌跡を描くための座標値が必要であり、座標値は異なる多くのドットコードを必要とするため、限られたドットコードを有効活用するために、異なる書き込み領域でも使用する座標は同一のドットコードを使用して、個々の手書き入力開始・終了用ドットパターンにより、書き込み領域を特定することができる。
図29は、ドットパターンに定義されたドットコードから変換されるコード値のうち、2ビットを書き込み領域特定コードとして用いたフォーマットである。
書き込み領域特定コードとは、ユーザが手書き入力操作をする場合に、書き込みをしている領域を制御手段が特定するためのコードである。
手書き入力操作を実現するためにはドットパターンが少なくとも座標情報を定義していることが必要であるが、座標情報のみでは光学読取手段が媒体面のどこを読み取ったかを座標系全体から探索する必要があるため、制御手段における処理に時間がかかる。
また、座標情報のみを用いて書き込み領域を特定しようとすると、書き込み領域の境界を示す座標をテーブルないし関数で予め定義しておき、入力した座標値が当該テーブルないし関数の範疇に入るものであるか逐次判定しなければならず、解析が複雑化するため、座標情報のみを用いて書き込み領域を特定する場合、解析効率を維持するため書き込み領域はほぼ矩形である必要がある。
そこで、書き込み領域特定コードにより媒体面のドットパターンを区分し、光学読取手段の座標情報を階層的に特定することで処制御手段における処理効率を上げることが可能である。
書き込み領域特定コードを用いる場合と用いない場合とを図31および図32を用いて比較説明する。
図31は書き込み領域特定コードを用いた場合を示すイメージ図であり、図32は書き込み領域特定コードを用いない場合を示すイメージ図である。
図31に示すように、書き込み領域特定コードを用いる事で、特定された書き込み領域内だけを探索して、光学読取手段の座標を特定することができるが、図31のように書き込み領域特定コードを用いない場合は、座標全体から光学読取手段の座標を特定する必要がある。
図31の場合、探索範囲は図32の4分の1であるから、座標の探索速度は最大4倍になる。
図示はしないが書き込み領域特定コードを用いる場合、書き込み領域の形状(例えば円形、楕円形、あるいはイラストを重畳印刷する場合、当該イラストを構成する実在線に沿った形状)はどのようなものであっても、同様の解析効率を発揮することができる。
以上のように、書き込み領域特定コードを用いることで、スキャナーペンでなぞらなくても、タッチしただけで書き込み領域特定コードを読みとり、手書き入力操作の受け付けをより正確に素早く開始でき、さらに、どの書き込み領域への書き込みかを特定できるため、例えば書き込み領域が住所欄であれば、書き込んだ軌跡を住所データベース(辞書)と照合し容易に文字または文字列を認識できる。つまり、書き込み領域が特定できることにより、書き込む文字または文字列に限定した辞書を特定し、文字認識率を大幅に向上できる。もちろん、タッチしただけで書き込み領域特定コードを読みとれるので、高速なCPUを用いればペンをなぞりながらリアルタイムに文字認識もできる。
また、解析効率を向上させる書き込み領域特定コードを用いれば、例えば媒体表面上に形成された異なる書き込み領域AおよびBに手書き入力操作を行い文字認識を行う際、初めにAに書き込みを開始し、その後途中でBに書き込みを開始し、さらにその後、Aに残りを書き込んで、再びBに書き込みを行う場合においても、その書き込みの順番を記憶して連結し、正確に書き込み領域AまたはBへの書き込みの認識および文字認識が可能となる。
なお、書き込み領域特定コードを用いて文字認識を行う場合においては、書き込んだ文字を、リアルタイムで順次認識していくことが可能となる。もちろん、書き込みを終了した後、それらの軌跡から文字認識を行ってもよい。
図33は、手書き入力に用いられる入出力装置の先端部を示す断面図である。かかる入出力装置は、内部に中空部が形成され、その先端に開口部を有するライトガイド306と、このライトガイド306の開口部を臨む位置に配置されたレンズ1126と、このレンズ1126と同一面上に配置され、ドットパターンが形成された媒体面に所定波長の光を照射する光源としてのIRLED1122と、レンズ1126から後退した位置に配置されたC−MOSセンサ309と、さらに後退した位置にPCB1331とそれに設置される図示しないCPUとを備えている。ライトガイド306の中空部は、レンズ1126から開口部に向かって次第に大径となるテーパ状に形成されている。
また、入出力装置には、筆記具としてのペン311が装着されている。通常ペン等の筆記具で印字する際は、傾斜させた状態で用いるため、入出力装置の外周は、45度まで傾斜可能になるように形成されている。この場合、ペン311の先端近傍の媒体面を撮像することにより、撮像中心から離れた位置のペン311の印字の際の筆跡や移動距離等を正確に解析することも可能となる。
筆記具としてのペン311は、種々の方法により格納して、媒体上に筆跡を残さないようにすることも可能である。格納する方法は、一般的なボールペンなどのペンにおいて用いられている技術をそのまま利用できる。たとえば、ノック式、回転式による格納方法を採用してもよいし、キャップを被せてもよい。
また、一般的な三色ボールペンのようにペンを換えられるようにすることもできる。この場合、色の異なるペン同士を換えるだけでなく、ペンに代えて消しゴムや修正液が使えるようにしてもよい。
さらに、ペン311に代えて指示用突起部(スタイラスペン)を設け、指示用突起部の筆跡近傍を撮像するものとしてもよい。指示用突起部内に格納スペースを設けてペン311を格納して、指示用突起部としても使用してよい。入出力装置本体に格納スペースを設けてもよい。
図33に示すように、入出力装置において、撮像手段が撮像するドットパターンが定義するXY座標値と、ペン311が実際に書き込む軌跡上のドットパターンが定義するXY座標値は異なる。さらに、軌跡上のドットパターンが定義するXY座標値は、媒体面上の書き込み領域におけるxy座標値に変換して、書き込み入力や操作指示を行う必要がある。
以下、本発明における入出力装置が撮像するドットパターンのXY座標値を、ペン311が実際に書き込む軌跡上のドットパターンを補正する方法と、ドットパターン座標系のXY座標値から書き込み領域座標系のxy座標値への変換方法を説明する。
図34を参照して、書き込み領域の座標系とドットパターンの座標系の関係を説明する。
書き込み領域座標系は左下隅を(0,0)とする。書き込み領域のxy座標値は、mm表示とする。例えば、(16,40)の座標位置であれば、書き込み領域の左下隅から右へ16mm、上へ40mm移動した位置を示す。
書き込み領域内には、ドットパターン座標系のXY座標値を1組定義したドットパターンのブロックが連続して形成されている。XY座標値は、ブロックの中心点の位置を示す。ドットパターン座標系の座標値を書き込み領域座標系の座標値と区別するため、〔X,Y〕と表す。
書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのブロックの左下隅と原点(0,0)を一致させると、ドットパターン座標系におけるXY座標値は、図35のように、どの書き込み領域でも左下隅が〔−0.5,−0.5〕となるようにドットパターンが形成される。この場合は、各書き込み領域に形成されたドットパターンには、固有のコード値を定義して各書き込み領域を特定する。互いに特定する必要のない場合は、同一のコード値を定義してもよい。
また、図37のように、紙面全面にXY座標値を定義したドットパターンを形成し、書き込み領域には、上記XY座標値の他、固有のコード値を定義する。この場合、書き込み領域の左下隅のXY座標値は、〔Xn0,Yn0〕(nは書き込み領域を特定する番号)となる。
次に、各ブロックの一辺をLmmとすると、XY座標値は以下のように書き込み領域座標系に変換する。
図35のように、原点(0,0)のXY座標値を〔−0.5,−0.5〕としてドットパターンを形成した場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域座標系では、
(X×L+L/2,Y×L+L/2)となる。
なお、図36のように、書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのブロックの中心点と原点を一致させると、
(X×L,Y×L)となる。
なお、図36の例における書き込み領域座標系とドットパターン座標系との関係は、図34の拡大図部分の例と同じである。
図37のように、書き込み領域の左下隅のXY座標値が〔Xn0,Yn0〕となる場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域n座標系では、
((X−Xn0)×L,(Y−Yn0)×L) となる。
図38を用いて、撮像中心CのXY座標値〔Xc,Yc〕の算出方法を説明する。
撮像画像を所定の解像度のフレームバッファに一時記憶し、画像解析することにより、隣り合うブロックの中心間隔を構成するピクセル数Mを求める。ブロックの中心間隔は、ブロックの一辺の長さLに等しいので、Lに対する撮像画像の1ピクセル当たりのサイズを、ドットパターン座標系での値kとすると、k=L/Mとなる。
同じく画像解析により、撮像中心Cから最も近いブロック中心P〔Xp,Yp〕と、撮像中心Cとの間隔を構成するピクセル数uが求まる。撮像中心Cから、撮像中心から最も近いブロック中心Pまでの距離CPは、CP=k×uとなる。
次に、ドットパターンの向き(書き込み領域の向き)が書き込み領域の上方向になるようにドットパターンが紙面に形成されている場合、ドットパターンの向きとPCベクトルとのなす角をθ'(左回転を正の方向とする)とすると、〔Xc,Yc〕=〔Xp−Cp×sinθ', Yp+Cp×cosθ'〕が求まる。
図39は、ドットパターンをカメラにより撮像したときの撮像中心を求める方法について説明する図である。
ドットパターンをカメラにより画像データとして取り込むときに、ブロックの中心位置におけるXY座標値を算定した後に、キードットから得られるドットパターンの向きと、隣り合うブロック中心位置におけるXY座標値の増分値を基に、XY座標値が算定された中心位置から、撮像中心位置までの距離Δx、Δyより、座標値を補間することによって、撮像中心のx、y座標値を算定する。
次に、上記入出力装置と、該入出力装置と接続して動作を行う情報処理装置とからなる情報処理システムの一例について説明する。
本実施例に係る入出力装置の構成は、コード値および/または座標値とコンテンツデータおよび/または操作命令を関係付けて登録するリンクテーブルと、該コンテンツデータおよび/または操作命令を登録する記憶手段と、媒体表面に形成されたドットパターンを読み取る光学読取手段と、該光学読取手段により読み取られたドットパターンの画像情報からドットパターンを解析して、コード値および/または座標値に変換する処理手段と、情報処理装置と無線又は有線により接続する接続手段と、情報処理装置との接続の有無を認識する接続認識手段と、該光学読取手段でドットパターンを読み取った後に、該処理手段により変換されたコード値および/または座標値と関係付けられた該コンテンツデータを該記憶手段から読み出して出力する出力手段と、該光学読取手段、該処理手段、該接続手段、該接続認識手段、該出力手段による動作、および/または該操作命令による動作を制御する制御手段と、からなり、情報処理装置の構成は、入出力装置から接続手段を通じて送信された該コード値および/または座標値とコンテンツデータおよび/または操作命令が関係付けて登録されたリンクテーブルと、該コンテンツデータおよび/または操作命令を登録する記憶手段と、入出力装置と無線または有線により接続する接続手段と、接続手段による動作および/または操作命令による動作を制御する制御手段と、からなる。
入出力装置から送信されたコード値および/または座標値と関係付けられた該コンテンツデータを該記憶手段から読み出して出力するために、情報処理装置に出力手段を備えてもよいし、もしくは情報処理装置に別途出力装置を接続し、該出力装置でコンテンツデータの出力を行ってもよい。
もちろん、対応するコンテンツデータの出力を入出力装置で行ってもよい。
以上のような入出力子装置と情報処理装置を含む情報入出力システムであって、該入出力装置の該制御手段は、該接続認識手段による該接続手段と該情報処理装置の接続の認識の有無により動作の切り替えを行い、該接続認識手段が該接続手段と該情報処理装置との接続を認識したときには、該処理手段で変換されたコード値および/または座標値もしくは該コード値および/または座標値と関係付けて登録された該操作命令を、該接続手段を通じて該情報処理装置に送信し、該情報処理装置において該コード値および/または座標値もしくは該コード値および/または座標値と関係付けて登録された該操作命令に基づき動作を行い、該接続認識手段が該接続手段と該情報処理装置との接続を認識していないときには、該コンテンツデータを該出力手段から出力するか、該操作命令による動作を制御する。
これにより、単独使用においては独立した情報の入出力を可能としつつ、情報処理装置(パソコンを含む、以下同じ)と接続された状態においては情報処理装置のソフトウェアに依存する入力デバイスとしての機能を発揮するなどの利便性の高い入出力装置を用いた情報処理システムの実現が可能となる。
次に、図40を参照して、本発明に係る入出力装置の他の実施形態について説明する。
図40は、本発明に係る入出力装置の他の実施形態を説明する図であり、本図示例(a)は入出力装置をスピーキングペンとした場合の概要を示し、図示例(b)では当該スピーキングペンの構成をブロック図により表す。
当該スピーキングペンは本図示例に示すように、音量調節ボタン、シーソーボタン(上側)、シーソーボタン(下側)、プッシュボタン、ペン先スイッチ、マイク、スピーカー、LED、CMOSセンサ、FlashROM、Firmware、MPUにより構成されている。
本実施例における入出力装置は、音声の再生、録音、等が可能なスピーキングペンであり、主な機能は音声の再生と録音、およびリンク付けである。再生機能では、スピーキングペンがドットパターンを読み取ると、上述した方法で関係付け(リンク)されている音声を内蔵スピーカーで再生する。録音機能では、内蔵マイクで録音した音声を保存し、ドットパターンに定義されたコード値とリンクする。ユーザは、リンクしたドットパターンを読み取ると、再生機能によって録音した音声を再生することができる。
また、ペン先にはペン先スイッチが付いており、印刷物等を読み取った時のみドットパターンの解析を行うため、省電力を実現する。
次に、本スピーキングペンの主要な機能仕様について説明する。
ドットパターンを用いた音声の再生の場合、本スピーキングペンはドットパターンを読み取るとそのドットパターンに定義されたコード値および/または座標値と関係付けられた音声を再生する。リンクテーブルに音声がリンクされていない場合には、何も行わない。
スピーキングペンに備えられたプッシュボタンによる音声の再生の場合、本スピーキングペンはプッシュボタンを押すと現在選択されている音声(アクティブファイル)を再生する。アクティブファイルは、電源投入時に音声ファイルのインデックス番号1番が選択される。なお、プッシュボタンを何度押してもアクティブファイルは変わらないよう設定することが望ましい。
ここで、アクティブファイルとは、1つ前に再生されたファイル、または後述するように、シーソーボタンを長押しした直後に頭出しした先頭ファイル、または録音した直後のファイルをいう。
音楽の再生中にドットパターンを読み取った場合には、再生を停止し、対応する音声ファイルを再生する。ドットパターンを読み取った時、対応する音声ファイルがない、または解析に失敗した場合には再生の停止は行わない。
再生されている音声の停止は、プッシュボタンを押すことにより行う。
音声の録音には、プッシュボタンを用い、プッシュボタンの特定の操作(2秒以上の長押し等)を行うと、スピーキングペンは録音を開始する。
録音中にプッシュボタンが押されたときは、スピーキングペンは録音を停止する。録音した音声ファイルはインデックス末尾に保存される。なお、前述したようにこのファイルはアクティブファイルとなる。
異なる音声ファイルを再生したい場合には、スピーキングペンに備えられたシーソーボタンを用いる。シーソーボタン(下側)が押されたときは、アクティブファイルの次のインデックス番号の音声ファイルを再生する。なお、アクティブファイルも1つ後に変更になる。なお、最後の音声ファイル(インデックス番号が最後)がアクティブファイルの場合にシーソーボタン(下側)を押した場合、先頭の音声ファイル(インデックス番号1)へ戻ることになる。
シーソーボタン(上側)が押されたときは、アクティブファイルの前のインデックス番号の音声ファイルを再生する。アクティブファイルも1つ前に変更になる。同様に、最初の音声ファイル(インデックス番号が1)がアクティブファイルの場合にシーソーボタン(上側)を押した場合、最後の音声ファイル(インデックス番号が最後)へ戻ることになる
シーソーボタン(上側)の特定の操作(2秒以上の長押し等)を行うと、アクティブファイルをインデックス番号1へ戻し、対応する音声ファイルを再生する。
本スピーキングペンを用いてリンク付けを行う場合、(1)音声再生中、(2)音声再生後2秒以内。(3)音声録音中、(4)音声録音後2秒以内、のいずれかの条件下でシーソーボタン(下側)の特定の操作(2秒以上の長押し等)を行い、スピーキングペンをリンク待ち状態にする。
このように条件を設けることで、ユーザー(主として子供)が意図せずに、誤ってリンクしてしまうことを防ぐことができる。
なお、(1)音声再生中、(3)音声録音中にシーソーボタン(下側)の特定の操作を行った場合、再生または録音を終了してリンク待ち状態となる。
そして、リンク待ち状態において、再度シーソーボタン(下側)の特定の操作(2秒以上の長押し等)を行いながらドットパターンを読み取った場合、アクティブファイルと当該ドットパターンに定義されたコード値および/または座標値とリンク付けをする。なお、すでにリンクに使われているドットパターンが選択された場合、所定の警告音(ブザー音)を再生する。つまり、1のドットパターンに複数の音声ファイルをリンクすることは、後述する場合を除いて行うことができない。
次に、ペーパーコントローラを用いたスピーキングペンの機能の詳細について、図41を参照しながら説明する。
図41は、ペーパーコントローラの概要を説明する図である。ペーパーコントローラには、前述した録音、再生、停止、リンク開始・終了、前再生、次再生、先頭・再生、後尾・再生といった機能を実現するために用いられるドットパターンの他、その他の機能、すなわち、早送り、一時停止、リンク解除、音声ファイルの消去を実現するために用いられるドットパターンが印刷されており、加えて、それらドットパターンに対応する可視的な情報が印刷されている。
これらのドットパターンを読み取ると、そのドットパターンに定義されたコード値および/または座標値と関係付けられた操作命令により、読み取ったドットパターンに対応する動作を行う
「早送り」と印刷された付近に設けられているアイコンを読み取ると、それと重畳して印刷されているドットパターンがスピーキングペンにより読み取られ、再生している音声の再生速度が2倍になる。もう一度そのアイコンを読み取ると、元のスピードに戻る。
「一時停止」と印刷された付近に設けられているアイコンを読み取ると、再生中の音声を一時停止し、再度タッチすると一時停止を解除し再生を始める。
「解除」と印刷された付近の「リンク」と印刷されたアイコンをタッチすると、アクティブファイルにリンクしてある複数のコード値および/または座標値のうち、1つの解除を試みる。その際、「リンクを解除します。OKであれば実行ボタンをタッチしてください。」とアナウンスされ、この後、「実行」と印刷されたアイコンをタッチすると、解除が行われる。「中止」と印刷されたアイコンをタッチすると解除を中止する。
同様に、「解除と」印刷された付近の「全てのリンク」と印刷されたアイコンをタッチすると、アクティブファイルにリンクしてある複数のコード値および/または座標値の全ての解除を試みる。その際、「リンクを解除します。OKであれば実行ボタンをタッチしてください。」とアナウンスされ、この後「実行」と印刷されたアイコンをタッチすると解除が行われる。「中止」と印刷されたアイコンをタッチすると解除を中止する。
「消去」と印刷された付近の「音声」と印刷されたアイコンをタッチすると、アクティブな音声ファイルの消去を試みる。その際、「音声ファイルを削除します。OKであれば実行ボタンをタッチしてください。」とアナウンスされ、この後「実行」と印刷されたアイコンをタッチすると消去を行う。「中止」をタッチすると消去を中止する。
同様に、「全ての音」と印刷されたアイコンをタッチすると、スピーキングペンに登録してある全ての音声ファイルの消去を試み、「実行」、「中止」の操作に従って動作を行う。
次に、本スピーキングペンの拡張仕様について説明する。拡張された機能は、特定のドットパターンを読み取ることで実行される。すなわち、機能拡張用ペーパーコントローラを別途用意し、そのコントローラによって下記の機能のモード変更を行うことができる。
角度対応モードでは、読み取った1のドットパターンに複数の音声ファイルをリンクさせることができる。すなわち、ドットパターンに定義されたドットコードを変換したコード値および読取り角度毎に異なる音声ファイルをリンク、再生することができる。
例えば、対応する角度の範囲を、(1)2種類「271度〜90度、91度〜270度」、(2)4種類「316度〜45度、46度〜135度、136度〜225度、226度〜315度」、(3)8種類「33度〜22度、23度〜67度、68度〜112度、113度〜157度、158度〜202度、203度〜247度、248度〜292度、293度〜337度」とすると、(3)の場合、同じドットパターンを読み取った場合でも読取り角度が0度では音声ファイルAを再生し、45度では音声ファイルBを再生することができる。
この角度対応モードにおけるリンクはペーパーコントローラで行い、角度の範囲毎に選択することが可能である。
座標対応モードでは、読み取ったドットパターンのコード値に1の音声ファイル、座標値に他の音声ファイルをリンク、再生することができる。
ドットパターンに定義されたコード値、座標値のどちらにリンクするか、またはコード値+座標値にリンクするかなどの優先順位はペーパーコントローラで選択することが可能である。
例えば、優先順位の高い順に、(1)コード値にリンクされた音声ファイルを再生する、(2)座標値にリンクされた音声ファイルを再生する、(3)コード値+座標値にリンクされた音声ファイルを再生する、(4)コード値、座標値のどちらかにリンクされた音声ファイルを再生する。両方にリンクされている場合、コード値にリンクされた音声ファイルを再生する、といった方法が考えられる。
多言語対応モードでは、読み取ったドットパターンに複数の音声ファイルをリンク、再生することができる。どのモードにスピーキングペンを移行するかは、ペーパーコントローラをタッチすることにより行う。
例えば、印刷物に「ありがとう」という文字と重畳してドットパターンが印刷されている場合に、英語モードにスピーキングペンを移行させた状態で「Thankyou」と、中国語モードに移行させた状態で「謝謝」と音声ファイルをドットパターンにリンクさせておき、再度ドットパターンを読み取った時には、英語モードにおいては「Thankyou」と、中国語モードにおいては「謝謝」と異なる音声ファイルが再生されることになる。
当該スピーキングペンは、PC等の情報処理装置との接続の有無に応じて、情報処理装置に依存する入出力装置としての機能と、スタンドアローンで使用可能な入出力装置としての機能の双方の機能を実現することができる。
情報処理装置に依存する入出力装置としての機能は、上記いずれかのボタンを操作せずに接続されたときに実現される。情報処理装置に依存する入出力装置としての機能には、通常モードとマウスモードがあり、この二つの機能はシーソーボタン(上側)の操作によって切り替えることが可能である。
通常モードにおいては、プッシュボタンの長押しで電源のON、OFFを行い、それ以外のボタンおよびプッシュボタンの長押し以外の操作は情報処理装置側のアプリケーションの機能に委ねられる。推奨される使用方法としては、(1)プッシュボタンに決定、アクティブになっているコンテンツの再生開始、再生中のコンテンツの終了、一時停止、(2)シーソーボタン(上側)にメニューのアクティブ項目を一つ前に戻る、UNDO機能の戻る、いいえの回答、中止、(3)シーソーボタン(下側)にメニューのアクティブ項目を一つ前に進む、UNDO機能の進む、はいの回答、終了、といった方法が考えられる。
マウスモードでは、(1)プッシュボタンに中央ボタン(プッシュボタンを押しながらスピーキングペンをマウスパッド上で滑らしてスクロールさせる、またはスピーキングペンをスクロールする方向に傾ける。ただし、その際、スピーキングペンの表側と、モニターの画面の上方向が一致しなければならない。マウスパッド上では、マウスパッドの座標の向きが認識され、スピーキングペンの表側と、モンターの画面の上方向を一致させる必要はない。)、(2)シーソーボタン(上側)に右クリック、(3)シーソーボタン(下側)に左クリック、というような動作を対応させることが望ましい。
マウスパッドを使用しないでカーソルを移動させたい場合は、カーソルを移動させたい方向にスピーキングペンを傾ける。ただし、その際、スピーキングペンの表側と、モニターの画面の上方向が一致しなければならない。マウスパッド上では、マウスパッドの座標の向きが認識され、スピーキングペンの表側と、モンターの画面の上方向を一致させる必要はない。
シーソーボタン(上側)を操作しながら情報処理装置と接続すると、ドライバーまたは後述するGAMが自動的に情報処理装置にインストールすることができる。
シーソーボタン(下側)を操作しながら情報処理装置と接続すると、スピーキングペンはUSBメモリーとして情報処理装置に認識され、リンクファイル、音声ファイルの移動、コピーができる。この際、スピーキングペン側に複数のファイルが登録された場合、最後に登録されたファイルがアクティブファイルとなる。
次に、図42、43を参照しながら、上述したGAMの基本的な使用方法について説明する。
図42および43は、本発明にかかるスキャナと、インデックステーブル、サーバ管理テーブル等を応用した一つの実施形態を技術紹介として配布資料の形式にしたものである。
この配布資料(図42および43)に示すように、本技術はGrid Onput(商標名)として実現することが可能である。
図42および図43は、GAM(Grid Application Manager、このGAMはパーソナルコンピュータのハードディスク装置内にインストールされたアプリケーションプログラムの名称である)として、ハードウエアとしてはパーソナルコンピュータ(PC)でスキャナを使用する場合の例を示したものである。
同図において、(1)〜(5)、(7)までは実際の運用例を示したものである。すなわち図42の(1)に示すように、ユーザはCD−ROM、もしくはインターネットの配信サーバにアクセスしてダウンロードしたインストールプログラムをパーソナルコンピュータ(PC)上で実行し、OS(オペレーティングシステム)上にGAMとドライバプログラムを常駐プログラムとして登録する。また、そのときにGAMにバンドルされたアプリケーションプログラムや画像、動画等のコンテンツデータもハードディスク装置(HD)内にインストールする。
次に、USB端子にスキャナが接続されると、常駐状態のドライバプログラムがこれを認識する。
次に、スキャナによってタグの表面が読み取られると、その撮影画像(ドットパターン)がUSBケーブルを介してパーソナルコンピュータ(PC)に読み込まれて、ビデオメモリ(VRAM)に展開される。中央処理装置(CPU)に読み込まれたGAMは、当該撮影画像(ドットパターン)からドットコードに復号する。
ここでスキャナによってはじめてタグをスキャンしたときには、パーソナルコンピュータ(PC)のディスプレイ装置(DISP)には、当該タグに対応した個人情報の入力を促す画面が表示され、この表示画面にしたがって、ユーザは氏名、住所、クレジットカード番号等の個人情報を登録する。このようにして入力された個人情報は、管理サーバテーブルに登録されて、以後の認証に使われる。
つまり、その後はパーソナルコンピュータ(PC)を起動する際に、スキャナでタグをスキャンすることにより、管理サーバでの認証が行われ、この認証が完了すると、GAMが起動するようになる。
次に、ドットパターンが印刷された紙媒体やペーパーコントローラがスキャナで走査される(読み取られる)ことにより、ドットパターンが撮影され撮影画像データがパーソナルコンピュータに入力されて32ビットの数字列からなるドットコード(コード番号)が復号される。
このドットコード(コード番号)に基づいて、GAMのドットコード管理テーブル(インデックステーブル)が参照される。
ここで、インデックステーブルに既に当該ドットコード(コード番号)が登録されていれば、そのパーソナルコンピュータ(PC)内に既にインストールされたコンテンツデータであるということが認識され、そのコンテンツデータが読み出されて再生される。このコンテンツデータが動画や画像であれば、それに対応した動画再生アプリケーションプログラムや画像表示プログラムによって、ムービーや画像がディスプレイ装置(DISP)に表示される。
また、インデックステーブルのドットコード(コード番号)にインターネット上のアドレス(URL)が登録されている場合には、閲覧プログラム(マイクロソフト社のインターネットエクスプローラ等)が起動して当該アドレスへのアクセスが行われる。
ところで、図42の(5)に示すように、ドットパターンを読み取った結果のドットコード(コード番号)がローカル(パーソナルコンピュータ内)のドットコード管理テーブル(インデックステーブル)に登録されていないときには、インターネット上のドットコード管理サーバを参照するようになっている。ここで、ドットコード管理サーバの管理サーバテーブルにドットコード(コード番号)が登録されていればそのドットコード(コード番号)に対してのインストラクション(命令)にしたがって、指定されたWebサーバから(1)コンテンツのダウンロード、具体的にはサーバAからのコンテンツのダウンロード、(2)動画のストリーミング配信、具体的にはストリーミング配信サーバとしてのサーバBからのデータ配信、(3)Webの閲覧、具体的にはサーバCのアドレス(URL)で指定されたWebファイルのダウンロードが自動的に開始されるようになっている。
次にコンテンツデータがパーソナルコンピュータ(PC)にダウンロードされたときには、そのコンテンツデータとともに、そのコンテンツデータを起動するためのドットコード管理テーブル(インデックステーブル)の追加データ(コード番号とアドレスとが対になったデータ)もダウンロードされ、以後はパーソナルコンピュータ内のドットコード管理テーブル(インデックステーブル)で管理されるようになっている。
したがって、その後は前記と同一のコード番号が読み取られた場合、再度インターネット上のサーバA,BまたはCにアクセスすることはなく、新たに追加されたデータを含むドットコード管理テーブル(インデックステーブル)に基づいて、パーソナルコンピュータのハードディスク装置(HD)内にダウンロードされたコンテンツデータが再生されることになる。
次に、図44を参照しながら情報入力用の地図を用いた情報入出力方法について説明する。
この実施形態における地図には、道路の幅を示す輪郭線や、道路を示す中心線、文字および文字列を初めとする、交通情報を表す各種線が可視的に設けられており、また道路の中央を示す中心線が仮想的に定義されている。
また、それら線上には基準ドットが所定の間隔で連続して複数個配置されており、線状に配置された基準ドットを結ぶ第一の仮想基準線が、図44図示例にそれぞれ示すよう、可視的な道路の幅を示す輪郭線や、道路を示す中心線、文字および文字列上を初めとする、交通情報を表す各種線上または、道路の中央を示す仮想的な中心線上に定義されている。
なお、図44(e)図示例のように、点線からなる道路を示す中心線上に基準ドットを配置せず、その中心線に沿って線状の基準ドットを設け、第一の仮想基準線を定義し、第二の仮想基準線および仮想基準点を中心線上に定義してもよい。
これにより、直線、折れ線、曲線、実線、各種点線、太線、二重線等で示された道路等に沿ってストリームドットパターンを形成することが可能となり、光学読取手段を用いて任意のどの位置でも座標情報および/またはコード情報を読み取ることができる。
また、それら直線、折れ線、曲線、実線、各種点線、太線、二重線等で示された道路等の長さから最適な各種ドットの間隔、個数、大きさを予め定め、ストリームドットパターンを形成することが可能となる。
図44(a)、(d)は、それぞれ「中央通り」、「肉の万世」なる文字列上にストリームドットパターンが形成される例を示す図であり、図44(b)は、「り」という文字上にストリームドットパターンが形成される例を示す図である。
図44(d)に示すように、「肉の万世」という文字列上にストリームドットパターンが形成されるため、ユーザが当該文字列の任意の位置をタッチしたときには、店舗案内や駐車場の空き情報、サービス情報など、当該文字列に関連する情報を出力させることができる。
図44(c)は、複数の線分からなるJR秋葉原駅を示す実在線に沿って形成されるドットパターンの例を示す図である。
実在線が角を成す場合、図に示すようにドットパターンを折れ線付近で不連続にすることが望ましい。
これにより、連続してドットパターンを形成した場合に、端点付近を読み取った際、本来読み取るべき情報ドットではなく、その周辺に配置された情報ドットの読み取りによる誤った情報の入出力を防止することが可能となる。
図44(f)は、曲線からなる線路を表す実在線上にストリームドットパターンを形成した例を示す図であり、図44(h)は、折れ線からなる道路の輪郭線上にストリームドットパターンを形成した例を示す図である。
また、図44(i)は、道路を表す2つの可視的な輪郭線と、該輪郭線の中央に定義される道路の中央を示す仮想的な中心線上にストリームドットパターンがそれぞれ形成される例を示す図である。
道路の幅が狭い場合、輪郭線のみに沿ってストリームドットパターンを形成して情報を入出力させればよいが、道路の幅が広い場合、本図示例のように、その中央にストリームドットパターンを形成して、左右の輪郭線か中央のいずれかをスキャナでタッチして情報を読み取れるようにすることが望ましい。もちろん、定義する情報を統一するために、道路を表す2つの可視的な輪郭線と、該輪郭線の中央に定義される道路の中央を示す仮想的な中心線上のドットパターンを同一にしてもよいし、本図示例のように、道路補左側と右側と中央とで異なる情報を定義するためにドットパターンを異ならせてもよい。
また、図44(g)は、太線からなる道路を表す実在線上にストリームドットパターンを形成した例を示す図である。
以上のようなストリームドットパターンに定義されたドットコードから変換されるコード情報に道路名を定義したり、関連情報を関係付けることにより、利便性の優れたグリッドマップ(ドットパターンを用いた地図の仮称)が提供できる。また、地名や施設、交差点等様々な地図情報を示す文字および文字列に沿った所定の位置にストリームドットパターンを形成して、関連情報を関係付ければ、地図の詳しい情報を簡易に取得できる。さらに、詳しい情報を取得できることから、地図情報を示す文字および文字列をできるだけ簡潔に表現し、または削除することにより見やすい地図を提供できる。
また、アイコン部を地図の下部に印刷しておき、入出力装置と接続されるディスプレイ等に表示される電子地図を移動させるための、「上へ」「右へ」「下へ」「左へ」「戻る」の各アイコン、電子地図のサイズを変更させるための、「拡大する」「標準」「縮小する」の各アイコンとしての機能を持たせてもよい。
地図部には、道路に関する情報のみならず、それ以外の観光施設等を表示するシンボルを印刷してもよい。この領域には、観光施設の位置に対応したXY座標を意味するドットパターンが印刷され、また、シンボルには、施設等の位置に対応したXY座標に加えて、施設の情報等をコード化したドットパターンが重畳印刷される。
次に、図45を参照しながら本発明に係る情報入力用の図面を用いた情報入出力方法について説明する。
この実施形態は、情報入力用媒体を、CADを初めとする図面としたものであり、図面をペン型のスキャナ(光学読取手段)で撮像すると、撮像した画像データが情報処理装置に送信され、情報処理装置で画像データをドットコードに変換し、ドットコードから変換された座標情報および/またはコード情報に対応するリンクテーブルを参照して、撮像内容に対応した情報が出力手段であるディスプレイ装置(モニタ)に表示されるようになっている。ディスプレイ装置には、情報処理装置にインストールされた電子データや、それに対応する文字、図形、音声、動画等が表示されるようになっている。もちろん、電子データや音声等が情報処理装置内に記憶されていない場合には、サーバや他の情報処理装置からダウンロード等してディスプレイに表示することも可能である。
図45は、本発明に係る情報入力用の図面を用いた情報入出力方法の一例を示している。図面には、機械、建築、建築設備、電気系などの設計情報と、ディスプレイ装置上で各種表示を行なうための操作を指示するアイコンが印刷されたアイコン部が媒体上のその他の位置に形成されている。
アイコン部における各アイコンの領域には、操作指示に対応したコードを意味するドットパターンが印刷されているが、ここで印刷されるドットパターンは前述したストリームドットパターンに限られない。従来から用いられている矩形状のドットパターン、例えば、情報ドットを配置するブロックの領域内に当該ブロックの大きさと向きを定義する複数の基準点を設け、該基準点から定義される複数の仮想基準点を配置し、前記仮想基準点からの距離と方向とで情報が定義される情報ドットを配置してもよい。
様々な設計情報を構成する可視的な実在線、例えば輪郭線、もしくは指示線、もしくは引き出し線、もしくは寸法線、もしくは文字および文字列や、対象物の中央を示す仮想的な中心線上にはストリームドットパターンが印刷される。
本図示例では、玄関床の説明が記載されたブロックを構成する線上にはストリームドットパターン(a)が、玄関を示す指示線上にはストリームドットパターン(b)が、6畳の和室の輪郭線を表す実在線上にはストリームドットパターン(c)が、浴槽の中央を示す仮想的な中心線上にはストリームドットパターン(d)が、浴室を示す文字列上にはストリームドットパターン(e)が、ドアを表現する実在線上にはストリームドットパターン(f)が、寸法線の長さを表す文字「4500」上にはストリームドットパターン(g)が、9帖のLDKの横幅を示す寸法線上にはストリームドットパターン(h)が、それぞれ印刷されることになる。
もちろん、本図示例に記載されている「LDK9.5帖」や「洗面」、「押入」などの文字上に、あるいは文字列上にストリームドットパターンを形成してもよい。
ストリームドットパターンの形成方法は、前述した第一の工程として、媒体表面上の情報を入出力させたい箇所に基準ドットを線状に連続して複数個配置し、第二の工程として、線状に配置された基準ドットを結ぶ、第一の仮想基準線を輪郭線、もしくは指示線、もしくは引き出し線、もしくは寸法線、もしくは文字および文字列や、対象物の中央を示す仮想的な中心線などと重畳する形で設ける。
もちろん、基準ドットをそれらの各種線付近に設け、第一の仮想基準線のみをそれらの線上に定義してもよいし、基準ドットと第一の仮想基準線を各種線の両側に設け、第二の仮想基準線や第四の仮想基準線をそれらの線上に設けてもよい。
アイコン部は、図面の左部に印刷されており、電子データをスクロールさせるための、「上へ」「右へ」「下へ」「左へ」「戻る」の各アイコン、電子データのサイズを変更させるための、「拡大する」「標準」「縮小する」の各アイコンが印刷されている。
本発明実施例によれば、直線、折れ線、曲線、実線、各種点線、太線、二重線等で示された実在線に沿ってストリームドットパターンを配置すれば、光学読取手段を用いて任意のどの位置でも座標情報および/またはコード情報を読み取ることがでる。さらに、実在線に沿ってストリームドットパターンに実在線を描くための情報(ベクター情報)を定義すれば、読み取った座標情報および/またはコード情報を元に、CADで描画・表示・編集し、再度図面を出力することができる。
また、設計対象となる対象物を示す実在線および/または図面上に記された文字および文字列に沿ってストリームドットパターンを形成し、対象物の種類、製品番号、仕様、色、模様、材質、材料、取り付け部品、加工方法、施工方法、作業日程等様々な関連情報を関係付ければ、1枚の図面で様々な情報を取得でき利便性にすぐれたグリッドドローイング(ドットパターンを用いた図面の仮称)が提供できる。
また、ユーザが視認できる各種実在線の付近に定義される仮想中心線上にストリームドットパターンが形成されていればよく、図面全体にドットパターンを印刷してXY情報を定義することなく入出力装置で撮像した可視的な情報と出力される情報との関係が明確となる。
次に同図を参照して、ストリームドットパターンが形成された図面の使用状態の一例を説明する。
図に示す如く、本発明における図面(媒体)は、パーソナルコンピュータ等の電子機器およびペン型のスキャナ(撮像手段)と連動させて用いる。すなわち、ペン型のスキャナを、USBケーブル等による有線や、赤外線通信、BLUETOOTH(登録商標)などの無線でコンピュータに接続する。ユーザは、スキャナを用いて、図面上の任意の位置や、柱や壁、扉、引き出し線等をクリック(撮像)する。
図面の付近に印刷形成されているアイコンには、CADデータのアドレスが登録されており、ユーザが当該アイコンをクリックすることにより、パーソナルコンピュータのハードディスク装置やサーバーに登録された電子データが読み出されてディスプレイに出力表示される。
なお、図45においては、スキャナはコンピュータに接続されているが、本発明はこれに限らず、携帯電話、PDA(Personal Data Assistant)等、他の通信機器と連動させて用いるようにしてもよい。
本実施例におけるパーソナルコンピュータは、中央処理装置(CPU)を中心に、メインメモリ(MM)、バスで接続されたハードディスク装置(HD)、出力手段としての表示装置(DISP)、入力手段としてのキーボード(KBD)とで構成されることが望ましい。
そして、USBインターフェース(USB I/F)を介して撮像手段としてのスキャナが接続されている。
なお、ディスプレイ装置(DISP)の他に、出力装置として、プリンタ、スピーカ等を接続してもよい。
また、バス(BUS)は、ネットワークインターフェース(NW I/F)を介してインターネット等の汎用ネットワーク(NW)に接続されており、電子図面データ、文字情報、画像情報、音声情報、動画情報、プログラム等が図示しないサーバよりダウンロード可能となっている。
ハードディスク(HD)内には、オペレーティングシステム(OS)とともに、本実施形態で用いられるドットパターンの解析プログラム等のアプリケーションプログラム、電子CADデータ、文字情報、画像情報、音声情報、動画情報や各種テーブル等のデータが登録されている。
中央処理装置(CPU)は、ハードディスク内のアプリケーションプログラムをバス(BUS)およびメインメモリ(MM)を介して順次読み込んで実行処理するとともに、データを読み出してディスプレイ装置(DISP)に出力表示することによって、本実施形態に説明する機能が実現されることになる。
<実施の形態の補足的な説明>
上記実施の形態は、以下の技術思想を包含するものである。
(1)上記実施の形態に係る入出力装置は、コード値および/または座標値とコンテンツデータおよび/または操作命令を関係付けて登録するリンクテーブルと、該コンテンツデータおよび/または操作命令を登録する記憶手段と、媒体表面に形成されたドットパターンを読み取る光学読取手段と、該光学読取手段により読み取られたドットパターンの画像情報からドットパターンを解析して、コード値および/または座標値に変換する処理手段と、情報処理装置と無線又は有線により接続する接続手段と、情報処理装置との接続の有無を認識する接続認識手段と、該光学読取手段でドットパターンを読み取った後に、該処理手段により変換されたコード値および/または座標値と関係付けられた該コンテンツデータを該記憶手段から読み出して出力する出力手段と、該光学読取手段、該処理手段、該接続手段、該接続認識手段、該出力手段による動作、および/または該操作命令による動作を制御する制御手段と、を備えた入出力装置であって、該制御手段は、該接続認識手段による該接続手段と該情報処理装置の接続の認識の有無により動作の切り替えを行い、該接続認識手段が該接続手段と該情報処理装置との接続を認識したときには、該処理手段で変換されたコード値および/または座標値もしくは該コード値および/または座標値と関係付けて登録された該操作命令を、該接続手段を通じて該情報処理装置に送信し、該接続認識手段が該接続手段と該情報処理装置との接続を認識していないときには、該コンテンツデータを該出力手段から出力させるか、該操作命令による動作を制御することを特徴とする。
これにより、単独使用においては独立した情報の入出力を可能としつつ、情報処理装置(パソコン、PDA、携帯電話などを含む、以下同じ)と接続された状態においては情報処理装置のソフトウェアに依存する入力デバイスとしての機能を発揮する利便性の高い入出力装置の実現が可能となる。
また、コード値および/または座標値もしくは操作命令を情報処理装置に送信した場合においても、アプリケーションによっては、音声や光、文字・グラフィックなどのコンテンツデータの出力を入出力装置自体で行うことはもちろん可能である。さらに、コード値および/または座標値もしくは操作命令を受信した情報処理装置が、入出力装置に制御情報をさらに送信して入出力装置を制御することも可能である。接続には従来から用いられている有線によるUSB接続の他、赤外線通信、BLUETOOTH(登録商標)、ZigBee、微弱電波等の無線による通信接続を用いることが可能である。
なお、接続手段と情報処理装置とが、物理的(結線されている状態)に接続または通信待機状態であっても、接続認識手段が認識しない場合や、入出力装置および/または情報処理装置から接続の要請がない場合、接続を拒否する場合は、制御手段は動作の切り替えを行わない。
(2)上記実施の形態に係る入出力装置においては、前記制御手段は、前記接続認識手段が前記接続手段と前記情報処理装置との接続を認識している場合において、前記処理手段で変換されたコード値および/または座標値と関係付けて前記リンクテーブルに登録された前記操作命令により、該処理手段で変換されたコード値および/または座標値を、前記接続手段を通じて該情報処理装置に送信するか、前記コンテンツデータを前記出力手段から出力させるか、該操作命令による動作を制御するか、の動作の切り替えを行うことを特徴とする上記(1)記載の入出力装置である。
このように、コード値および/または座標値と関係付けられた操作命令により、入出力装置の動作の切り替えを行うことも可能である。
これにより、入出力装置に設けられたボタンによる操作ではなく、ドットパターンの読取りにより入出力装置の処理の切り替えを行うことで、いずれの処理に切り替えるのかに応じてボタンを作成する必要がないという製造上の優位性が生まれることになる。すなわち、WEB上で処理の切り替えを行う操作命令を記録したデータを提供したり、切り替えを簡単に行うためのマニュアル本、ペーパーコントローラを配布したりすることにより、ボタンを別途設けた入出力装置を新たに製造販売することなく、種々の処理の切り替えが可能な入出力装置を一台で実現・提供できることになる。
具体的な例としては、教材やハウトゥ本等のスピーキングペン(スタンドアローンとしての音声再生)対応印刷媒体で音声による解説を聞いている途中、ペーパーコントローラの紙面上のWEBアイコンを読取って入出力装置の動作の切り替えを行った後、印刷媒体面上のURLに重畳印刷されているドットパターンを読取り、ドットコードから自動的に変換されたコード値および/または座標値を情報処理装置に送信して該当するWEBにアクセスすることができる。勿論、ペーパーコントローラを使用しなくとも、印刷媒体面上にWEBアイコンを設けてもよい。
なお、ドットコードとは、情報ドットの仮想基準点からの距離と方向で定義された情報、すなわち2進数で表された数字の羅列であり、コード値および/または座標値の定義やパリティチェックなどに割り当てられる。
さらに、印刷媒体面上のURLからドットパターンを読取り、変換したコード値および/または座標値に切り替えの操作命令を関係付け、入出力装置の動作の切り替えを行うと共に変換したコード値および/または座標値を情報処理装置に送信してもよい。そうすれば、切り替え用のアイコンを設けなくてもよい。切り替えの終了は、再度切り替え用または切り替え終了のアイコンを用いて単独で使用するスピーキングペンに切り替えるか、印刷媒体のスピーキングペン(音声再生)対応のドットパターンを読取り自動的に切り換えてもよい。
また、所定の媒体表面上に形成された絵やアイコンなどの可視的な情報によるわかりやすい説明を視認しながら入出力装置の処理の切り替えを行うことができるため、ボタンによる処理を行うことが困難なお年寄りや若年者においても簡単に操作を行うことができる。
(3)上記実施の形態に係る入出力装置においては、前記制御手段は、前記接続認識手段が前記接続手段と前記情報処理装置との接続を認識している場合において、前記処理手段で変換されたコード値および/または座標値が、前記コンテンツデータおよび/または前記操作命令と関係付けて前記リンクテーブルに登録されているか否かにより動作の切り替えを行い、登録されている場合には、該コンテンツデータを前記出力手段から出力するか、該操作命令による動作を制御し、登録されていない場合には、該処理手段で変換されたコード値および/または座標値を、該接続手段を通じて該情報処理装置に送信することを特徴とする上記(1)記載の入出力装置である。
このように、本発明の特徴であるスタンドアローンとしての使用が可能な入出力装置としての機能と、PC側のアプリケーションに依存する入出力装置としての機能の切り替えは種々の方法・条件により行うことができ、リンクテーブルにコード値とコンテンツデータが関係付けて登録されていない場合に当該動作を行うことが可能である。
これにより、情報処理装置と接続されている場合において、情報処理装置にコード値および/または座標値もしくは対応するコンテンツデータを出力するための操作命令を送信する必要性が無い場合には入出力装置のみで情報の入出力を行い、コード値および/または座標値が、前記コンテンツデータおよび/または前記操作命令と関係付けて前記リンクテーブルに登録されていない場合には、コード値および/または座標値を情報処理装置に送信して情報処理装置内でリンクテーブルを参照してコンテンツの出力やWEBアクセスなどを行うことができ、また、その際に、情報処理装置からリンクテーブルおよび/またはコンテンツデータを入出力装置の記憶手段にダウンロードして入出力装置で出力することも可能である。ダウンロードの指示は、自動的に行われてもよいし、その際にダウンロードの可否のメッセージを入出力装置または情報処理装置から出力し、入出力装置に備えた実行・中止ボタンやダウンロードボタンの操作や、実行・中止アイコンやダウンロードアイコンの読み取りで行ってもよい。
もちろん、リンクテーブルは入出力装置の記憶手段に登録されていないが、コンテンツデータ自体が登録されている場合においては、テーブルの参照のみを情報処理装置で行い、対応するコンテンツデータの出力は入出力装置で行うこともできる。なお、情報処理装置の記憶手段に登録されたコンテンツデータの出力は、情報処理装置または入出力装置に備えられた出力手段だけでなく、情報処理装置と接続された他の出力手段を用いてもよい。
(4)上記実施の形態に係る入出力装置においては、前記制御手段は、前記接続認識手段が前記接続手段と前記情報処理装置との接続を認識している場合において、前記コード値および/または座標値が関係付けられて前記リンクテーブルに登録されているコンテンツデータが前記記憶手段に登録されているか否かにより動作の切り替えを行い、該コンテンツデータが登録されている場合には、前記出力手段から該コンテンツデータを出力し、該コンテンツデータが登録されていない場合には、前記処理手段で変換されたコード値および/または座標値もしくは該コンテンツデータを出力するための前記操作命令を、該接続手段を通じて該情報処理装置に送信し、該情報処理装置の記憶手段に登録された該コンテンツデータを出力させることを特徴とする上記(1)記載の入出力装置である。
これにより、情報処理装置と接続されている場合において、情報処理装置にコード値および/または座標値もしくは対応するコンテンツデータを出力するための操作命令を送信する必要が無い場合には入出力装置のみで情報の入出力を行い、リンクテーブルにはコンテンツデータが関係付けられて登録されているが、コンテンツデータ量が大きく入出力装置の記憶手段に登録できない場合やデータの中身が変化する場合、コンテンツデータ自体が入出力装置から削除されている場合などに情報処理装置に送信し情報処理装置でコンテンツを出力すればよい。その際に、情報処理装置からコンテンツデータを入出力装置の記憶手段にダウンロードして入出力装置で出力することも可能である。
ダウンロードの指示は、自動的に行われてもよいし、その際にダウンロードの可否のメッセージを入出力装置または情報処理装置から出力し、入出力装置に備えた実行・中止ボタンやダウンロードボタンの操作や、実行・中止アイコンやダウンロードアイコンの読み取りで行ってもよい。本発明によれば、当該処理を自動的に行うため、情報処理装置との接続回数を最小限に抑えることが可能となると同時に膨大なコンテンツデータを登録できる情報処理装置側の記憶手段を有効的に利用できるという効果を奏する。
なお、情報処理装置の記憶手段に登録されたコンテンツデータの出力は、情報処理装置または入出力装置に備えられた出力手段だけでなく、情報処理装置と接続された他の出力手段を用いてもよい。
(5)上記実施の形態に係る入出力装置においては、前記入出力装置は、リンクボタンをさらに備えており、前記制御手段は、前記リンクボタンを操作して前記光学読取手段により少なくとも1以上の所定のドットパターンを読み取ったときは、前記処理手段により変換されるコード値および/または座標値と所定の前記コンテンツデータを関係付け、該コード値および/または座標値と該コンテンツデータの関係付けを前記記憶手段の前記リンクテーブルに登録し、該光学読取手段により該所定のドットパターンを再度読み取ったときは、該リンクテーブルを参照し、対応する該コンテンツデータを該記憶手段から読み出して前記出力手段により出力させることを特徴とする上記(1)記載の入出力装置である。
この場合、当該コンテンツデータがすでに他のドットパターンと対応付けられて登録されている場合は、新たにリンクテーブルを作成して登録し、複数のドットパターンから同一のコンテンツを出力させるようにしてもよいし、すでにあるリンクテーブルに上書きして登録し、直前に読み取ったドットパターンのみから当該コンテンツデータを出力させるようにしてもよい。
これにより、入出力装置の使用者の要望に合わせた自由な位置にコンテンツデータを関係付けることができ、システム手帳や読み聞かせ絵本、英会話教材、シール・カードなどあらゆる媒体に音声情報を初めとする種々の情報を定義することが可能となる。
また、新たなコンテンツデータをリンクさせるべきではない領域においてリンクボタンを操作しながらドットパターンを読み取ったときは、ドットコードの所定の範囲に定義されたコード値および/または座標値に基づいてアラームや音声・光・文字等の所定の方法で注意喚起を行うことあるいはエラーとして処理することも可能である。さらに、1つのコード値または座標値に複数のコンテンツデータをリンクし、所定の方法で、複数のコンテンツデータから出力対象とするコンテンツデータを選び、所定の順番で出力することもできる。
ここで、「所定のドットパターン」とは、リンクモードにおいてユーザがコンテンツデータを対応付けて登録するためのドットパターンをいい、ユーザに示唆する文字や図形等が重畳的に印刷形成されていれば、より分かり易く利便性を高めることができる。なお、リンク前に出力済みまたは出力中など所定の方法で選択したコンテンツデータをリンクする際に、光学読取手段により所定のドットパターンを、リンクボタンを押して離した後に光学読取手段により所定のドットパターンを読み取ってもよいし、リンクボタンを押しながら読み取ってもよい。
(6)上記実施の形態に係る入出力装置においては、前記制御手段は、前記光学読取手段により媒体表面の所定の領域に形成されたリンク用ドットパターンを読み取ったときは、前記処理手段で変換されたコード値および/または座標値と関係付けて登録された操作命令により、所定のドットパターンに対応するコード値および/または座標値と前記コンテンツデータを関連付けて登録するための動作の切り替えを行い、該リンク用ドットパターンを読み取った後に該所定のドットパターンを読み取った時は、前記処理手段により変換されるコード値および/または座標値と所定の前記コンテンツデータを関係付け、該コード値および/または座標値と該コンテンツデータの関係付けを前記記憶手段の前記リンクテーブルに登録し、該光学読取手段により該所定のドットパターンを再度読み取ったときは、該リンクテーブルを参照し、対応する該コンテンツデータを該記憶手段から読み出して前記出力手段により出力させることを特徴とする上記(1)記載の入出力装置である。
ここで、「リンク用ドットパターン」とは、ドットパターンが印刷形成された媒体表面上において、ユーザが所定のドットパターンにコンテンツデータのリンク付けを行うために設けられたドットパターンをいい、多くの場合ユーザがわかりやすいよう文字や図形、記号等がその周辺もしくは重畳して可視的に印刷されている。このリンク用ドットパターンに対応するコード値および/または座標値には、入出力装置を後述するリンクモードへと切り替える操作命令が関係付けてリンクテーブルに登録されることになる。また、「所定のドットパターン」とは、リンクモードにおいてユーザがコンテンツデータを対応付けて登録するためのドットパターンをいい、多くの場合それをユーザに示唆する文字や図形等が重畳的に印刷形成されていれば、より分かり易く利便性を高めることができる。
(7)上記実施の形態に係る入出力装置は、前記制御手段は、前記光学読取手段により媒体表面の所定の領域に形成されたマルチリンク開始・終了用ドットパターンを読み取ったときは、前記処理手段で変換されたコード値および/または座標値と関係付けて登録された操作命令により、所定のドットパターンに対応するコード値および/または座標値と前記コンテンツデータを関連付けて登録するための動作の切り替えを行い、該マルチリンク開始・終了用ドットパターンを読み取った後に該所定のドットパターンを2以上連続して読み取った時は、前記処理手段により変換されるコード値および/または座標値と所定の前記コンテンツデータを関係付け、該コード値および/または座標値と該コンテンツデータの関係付けを前記記憶手段の前記リンクテーブルに登録し、該光学読取手段により媒体表面の所定の領域に形成されたマルチリンク開始・終了用ドットパターンを読み取ったときは、コード値および/または座標値と前記コンテンツデータを関連付けて登録するための動作を終了し、該光学読取手段により該所定のドットパターンを再度読み取ったときは、該リンクテーブルを参照し、対応する該コンテンツデータを該記憶手段から読み出して前記出力手段により出力させることを特徴とする上記(1)記載の入出力装置である。
これにより、コンテンツデータを所定のドットパターンにリンク付けする度にリンク用ドットパターンを読取り、リンクモードへと入出力装置の動作を切り替える必要が無くなり、連続した同一コンテンツデータの異なるドットパターンへの複数リンクが容易となる。
ここで、「マルチリンク開始・終了用ドットパターン」とは、ドットパターンが印刷形成された媒体表面上において、ユーザが所定のドットパターンに同一のコンテンツデータを複数連続してリンク付けを行うために設けられた領域をいい、多くの場合ユーザがわかりやすいよう文字や図形、記号等がその周辺もしくは重畳して可視的に印刷されている。このマルチリンク開始・終了用ドットパターンに対応するコード値および/または座標値には、入出力装置をマルチリンクモードへと切り替える操作命令及びマルチリンクモードから通常の入出力モードへと切り替える操作命令が関係付けてリンクテーブルに登録されることになる。
マルチリンクモードとは、モード中に読み取られる複数のドットパターンに同一のコンテンツデータを関係付けて登録するためのモードをいい、このモード中はマルチリンク開始・終了用ドットパターンを再度読み取るまでは、コンテンツデータが関係付けられている所定のドットパターンを読み取っても出力せずに、リンク付けを続けることになる。
(8)上記実施の形態に係る入出力装置は、前記入出力装置は、コンテンツデータを入力する入力手段をさらに備えており、前記制御手段は、該入出力装置にさらに備えられた入力開始・終了ボタンの操作または前記光学読取手段により媒体表面の所定の領域に形成された入力開始・終了用ドットパターンの読み取りにより、該入力手段による該コンテンツデータの入力を開始・終了し、該入力手段により入力されたコンテンツデータを前記記憶手段に登録することを特徴とする上記(1)記載の入出力装置である。
すなわち、制御手段は、入出力装置にさらに備えられた入力開始・終了ボタンの操作や、前記光学読取手段により媒体表面の所定の領域に形成された入力開始・終了用ドットパターンを読取り、該入力用ドットパターンに定義されたコード値および/または座標値と関係付けて登録された操作命令により該入力手段によるコンテンツデータの入力の開始を制御し、同様に入出力装置にさらに備えられた入力開始・終了ボタンの再度の操作や入力開始・終了用ドットパターンの再度の読み取りによりコンテンツデータの入力の終了を制御することになる。
ここで、「入力開始・終了用ドットパターン」とは、入力手段による入力を開始・終了するために用いられるドットパターンをいい、ユーザに的確に認識させるために録音や録画など入力の開始および/または終了を示唆する可視的な情報の付近または該情報と重畳して印刷形成されることになる。
この入力開始・終了用ドットパターンに対応するコード値および/または座標値には、入出力装置を入力モードへと切り替える操作命令及び入力モードから通常のモードへと切り替える操作命令が関係付けてリンクテーブルに登録されることになる。もちろん、入力開始用ドットパターンもしくは入力終了用ドットパターンのいずれかをトグルとして、1つのドットパターンを読み取る毎に、入力開始と終了を交互に操作できるようにしてもよい。
(9)上記実施の形態に係る入出力装置は、前記制御手段は、前記入力手段によりコンテンツデータを入力しながら、前記光学読取手段により所定のドットパターンを読み取ったときは、該コンテンツデータの入力を終了し、該コンテンツデータを記憶手段に登録し、前記処理手段により変換されるコード値および/または座標値と該コンテンツデータを関係付け、該コード値および/または座標値と該コンテンツデータの関係付けを前記記憶手段の前記リンクテーブルに登録し、該光学読取手段により該所定のドットパターンを再度読み取ったときは、該リンクテーブルを参照し、対応する該コンテンツデータを該記憶手段から読み出して前記出力手段により出力させることを特徴とする請求項8記載の入出力装置である。
これにより、入出力装置を例えばビデオカメラやデジカメ、携帯電話、録音機器等として使用しながら任意のタイミングでドットパターンをタッチして、入力した動画・画像データや音声データとタッチしたドットパターンを関連付けてリンクテーブルに登録し、再度それらのドットパターンを読み取った際には対応付けて登録された動画・画像データや音声データが出力手段により出力させるというような使用が可能となる。ドットパターンが印刷されている媒体には直接鉛筆などで撮影場所の特徴の書き込みや、覚え書きなどができるため、紙媒体としての利便性を兼ね備えながら動画・画像データや音声データの入出力を行うなど、一般的なビデオカメラやデジカメ、携帯電話、録音機器と比して利便性の高い入出力機能を持たすことができる。
コンテンツデータの入力開始には、入力開始・終了ボタンもしくは入力開始・終了用ドットパターンを用い、入力終了には、入力中にタッチされた所定のドットパターンを用いる。すなわち、入力手段による入力が続けられている間に所定のドットパターンを読み取った場合には、制御手段によりその入力を終了(プログラムにより行う)させ、そのドットパターンに対応するコード値および/または座標値と入力された音声や映像等のコンテンツデータを関係付けてリンクテーブルに登録する。所定のドットパターンを読み取った時に、入力手段による入力を終了させることで、コンテンツデータの入力を終了させる手間を無くし素早く直感的に、ユーザがどの位置のドットパターンに入力したコンテンツデータを対応付けて登録したのかを確認しながら情報の定義を行うことができる。
(10)上記実施の形態に係る入出力装置は、前記制御手段は、前記コンテンツデータの入力中に、前記入出力装置にさらに設けられた分割ボタンの操作または前記光学読取手段により媒体表面の所定の領域に形成された分割用ドットパターンの読み取りがN回行われたときは、入力を開始してから、該分割ボタンの操作または該光学読取手段により媒体表面の所定の領域に形成された該分割用ドットパターンの読み取りが行われた時点までのコンテンツデータを第1のコンテンツデータとして前記記憶手段に分割して登録し、続けて、該コンテンツデータの入力中に、少なくとも1回以上、該分割ボタンを操作または該光学読取手段により媒体表面の所定の領域に形成された該分割用ドットパターンを読み取ったときは、i−1回目の分割を操作した時点からi回目の分割を操作した時点までのコンテンツデータを第iのコンテンツデータとして該記憶手段に分割して登録し、最後に、前記入力開始・終了ボタンの操作または該光学読取手段により媒体表面の所定の領域に形成された前記入力開始・終了用ドットパターンの読み取りにより、該入力手段による該コンテンツデータの入力を終了し、N回目の分割を操作した時点から該コンテンツデータの入力を終了した時点までのコンテンツデータを第N+1のコンテンツデータとして該記憶手段に分割して登録することを特徴とする上記(8)記載の入出力装置である。
これにより、長時間の録画や録音でも、収録が途切れることなく、そのテーマや時間、様々な対象等の所定の意味合いで任意に分割して登録できる。その後、ドットパターンに定義されたコード値および/または座標値と分割・登録されたにコンテンツデータを関係付け、頭出しや連続出力を容易にできる。
(11)上記実施の形態に係る入出力装置は、前記制御手段は、前記分割して登録される少なくとも第1から第Nのコンテンツデータのそれぞれを示す第1のファイル名と併せて、次に続けて分割して登録されるコンテンツデータを示す第2のファイル名を前記記憶手段に登録することを特徴とする上記(10)記載の入出力装置である。
上記構成によれば、コンテンツデータを連続して出力する際には、コード値および/または座標値と分割して入力されたコンテンツデータを関係付けてリンクテーブルに登録することなく、コンテンツファイルに格納されているコンテンツファイル名を読み取って、所望のコンテンツデータを出力した後に出力するコンテンツデータの所在を示す指示情報とすることができる。そのため、上記構成によってコンテンツデータを連続して出力する場合おいても、記憶手段に登録されているリンクテーブルにおいてコード値および/または座標値と関連付けて登録されているコンテンツデータは少なくとも一組であっても良い。なお、コンテンツデータを示す第1のファイル名と併せて、次に登録されるコンテンツデータを示す第2のファイル名は、分割・登録とは別途、任意に関係付けることもできる。さらに、コンテンツデータを示す第1のファイル名と、次に登録されるコンテンツデータを示す第2のファイル名に併せて、先に登録されたコンテンツデータを示す第3のファイル名を登録し、逆順で連続再生することも可能である。
(12)上記実施の形態に係る入出力装置は、前記制御手段は、所定の方法によって、前記処理手段により変換される、所定のN+1個のドットパターンに定義されたコード値および/または座標値と前記分割された第1から第N+1のコンテンツデータを関係付け、該コード値および/または座標値と該分割されたコンテンツデータの関係付けを前記記憶手段の前記リンクテーブルに登録し、前記光学読取手段より前記第iのドットパターンを読み取ったときは、該リンクテーブルを参照し、対応する該第iから該N+1までのコンテンツデータを所定の方法で該記憶手段から読み出して前記出力手段により連続して出力させることを特徴とする上記(10)記載の入出力装置である。
これによって、分割されたコンテンツデータがリンクされた任意のドットパターンを読み取り、当該コンテンツデータを先頭に後に続くコンテンツデータを所定の順番に従って連続再生できる。なお、所定の順番で、N+1までのコンテンツデータを連続再生した後、続けて第1のコンテンツデータから続けて所定のコンテンツデータまで連続再生してもよいし、逆順で連続再生することも可能である。
(13)上記実施の形態に係る入出力装置は、前記制御手段は、前記コンテンツデータの入力中に、前記入出力装置にさらに設けられた分割・リンクボタンを操作して、または前記光学読取手段により媒体表面の所定の領域に形成された分割・リンク用ドットパターンを読み取って、該光学読取手段により第1の所定のドットパターンを読み取ったときは、入力を開始してから該分割・リンクボタンの操作または該光学読取手段により媒体表面の所定の領域に形成された該分割・リンク用ドットパターンの読み取りが行われた時点までのコンテンツデータを第1のコンテンツデータとして前記記憶手段に分割して登録し、前記処理手段により変換される第1の所定のドットパターンに定義されたコード値および/または座標値と登録された該第1のコンテンツデータを関係付け、該コード値および/または座標値と該第1のコンテンツデータの関係付けを該記憶手段の前記リンクテーブルに登録し、続けて、該コンテンツデータの入力中に、少なくとも1回以上、該分割・リンクボタンを操作して、または該光学読取手段により媒体表面の所定の領域に形成された分割・リンク用ドットパターンを読み取って、該光学読取手段により第iの所定のドットパターンを読み取ったときは、該分割・リンクボタンの操作回数を第1の所定のドットパターンを読み取ったときを含めてN回(Nは自然数)とすると、i−1回目の分割を操作した時点からi回目の分割を操作した時点までのコンテンツデータを第iのコンテンツデータとして該記憶手段に分割して登録し、該第iの所定のドットパターンが該処理手段により変換される第iのコード値および/または座標値と、登録された該第iのコンテンツデータを関係付け、該第iのコード値および/または座標値と該第iのコンテンツデータの関係付けを該記憶手段のリンクテーブルに登録し、最後に、前記入力開始・終了ボタンの操作または該光学読取手段により媒体表面の所定の領域に形成された前記入力開始・終了用ドットパターンの読み取りにより、前記入力手段による該コンテンツデータの入力を終了し、該光学読取手段より該第iのドットパターンを再度読み取ったときは、該リンクテーブルを参照し、対応する該第iのコンテンツデータを該記憶手段から読み出して該出力手段により出力させることを特徴とする上記(8)記載の入出力装置である。
これにより、例えば会議などにおいて、入出力装置をボイスレコーダとして使用しながら任意のタイミングで複数回、ドットパターンをタッチして、入力した動画・画像データや音声データとタッチしたドットパターンを関連付けてリンクテーブルに登録し、再度それらのドットパターンを読み取った際には対応付けて登録された動画・画像データや音声データが出力手段により出力させるというような使用が可能となる。ドットパターンが印刷されている媒体には直接筆記用具で要点の書き込みや、覚え書きなどができるため、紙媒体としての利便性を兼ね備えながら動画・画像や音声の入出力を行うなど、従来のビデオカメラやデジカメ、携帯電話、録音機器等と比して利便性の高い入出力機能を持たせることができる。
(14)上記実施の形態に係る入出力装置は、前記ドットパターンに定義されたコード値および/または座標値には、少なくとも2以上のコンテンツデータを関係付け、該関係付けを前記記憶手段の前記リンクテーブルにさらに登録され、前記制御手段は、前記光学読取手段により該ドットパターンを再度読み取ったときは、該リンクテーブルを参照し、対応する少なくとも2以上のコンテンツデータを該記憶手段から所定の順番で読み出して、前記出力手段から連続して出力させることを特徴とする上記(1)記載の入出力装置である。
上記構成によれば、リンクテーブルには一のコード値および/または座標値と関係付けて2以上のコンテンツデータが登録されているため、1つのドットパターンを読み取って解析し、ドットコードをコード値および/または座標値に変換するだけで、当該コード値および/または座標値と関係付けられて登録されているコンテンツデータを連続して出力させることが可能である、
通常、複数のコンテンツデータを連続して出力させたい場合には情報処理装置(PC)上で所定のリンクテーブルを作成することにより行うが、本発明による入力手段を設けた入出力装置によれば、コンテンツデータの入力をしながら所定のドットパターンの読み取りを行って当該リンクテーブルを作成していくことが可能である。
(15)上記実施の形態に係る入出力装置は、前記ドットパターンには、前記コンテンツデータと関係付けられる第1のコード値および/または座標値に加え、少なくとも1以上、他のコンテンツデータと関係付けられる第2から第Nのコード値および/または座標値が定義され、前記制御手段は、前記光学読取手段により該ドットパターンを読み取ったときは、前記リンクテーブルを参照し、該第1のコード値および/または座標値に対応するコンテンツデータを該記憶手段から読み出して前記出力手段から出力し、続けて、該リンクテーブルを参照し、少なくとも1以上の該第2から第Nのコード値および/または座標値に対応するコンテンツデータを該記憶手段から所定の順番で読み出して前記出力手段から連続して出力させることを特徴とする上記(1)記載の入出力装置である。
上記構成によってコンテンツデータを連続して出力する場合においては、記憶手段に登録されているリンクテーブルにおいて、コード値および/または座標値と2以上のコンテンツデータが関係付けて登録されていることは必ずしも必要ではない。
上記構成によれば、ドットパターン(ドットコード)が、所望のコンテンツデータを出力した後の出力する他のコンテンツデータを示す指示情報としての機能を持っているため、ユーザが連続しているコンテンツデータを出力し始めるためには、当該連続しているコンテンツデータのうち、それらと関連付けられた一のドットパターンを読み取る作業だけ行えばよく、異なるドットパターンを次々と読み取っていく作業が不要となる。
また、ドットコードが、それぞれの印刷領域に形成されたドットパターンを読み取ることによって出力されるコンテンツデータとリンクテーブルにおいて関係付けられているコード値および/または座標値のみならず、他のコンテンツデータ(例えば、現在出力されているコンテンツデータの後に出力されるべきコンテンツデータ、又は、すでにその前に出力されたコンテンツデータ)を示すコード値および/または座標値に変換されることにより、所望のコンテンツデータを出力した後に出力する他のコンテンツデータのコード値を示す指示情報としている。これは、該指示情報が、単に次に連続して出力するコンテンツデータと関係付けられて登録されているコード値および/または座標値のみを指定するものであるため、該コードと値コンテンツデータのリンクテーブルにおける関連付けを変えるだけで、連続して出力するコンテンツデータの順番を自由に変えることができるという効果を奏する。
また、ドットパターンに、出力しているコンテンツデータの前後のコンテンツデータのコード値および/または座標値が定義されていることにより、ユーザが最初のコンテンツデータから出力を開始したくはない場合(例えば、ある小説の第3章までのコンテンツは既に聞き終えていて、次に聞きたいコンテンツが第4章のコンテンツからである場合)には、途中からコンテンツデータの出力を開始した場合であっても、第4章の冒頭に形成・定義されたドットパターンを読み取ることにより連続してコンテンツデータを出力することができる。さらに、コンテンツデータの再生モードを変更することにより、容易に逆再生を行うこともできる。
なお、異なる印刷領域ごとに固有のコード値および/または座標値を設けても良いし、印刷領域をある範囲で区切って当該範囲ごとに固有のコード値および/または座標値を設けることとしても良い。
2回目以降に出力されるコンテンツデータは、最初に出力されるコンテンツデータとの関係付けを示すためのコード値および/または座標値に対しての差分値で示されたコード値および/または座標値と関係付けることが望ましい。すなわち、最初に出力されるコンテンツデータが定義されたドットパターンを解析して、該最初に出力される所定のコンテンツデータと関連付けを示すためのコード値および/または座標値に加え、少なくとも1以上の他のコンテンツデータと関連付けを示すためのコード値および/または座標値を差分値で表すことになる。
上記のように、最初に出力するコンテンツデータとの関連付けを示すためのコード値や座標値と、2回目以降に出力されるコンテンツデータとの関係付けを示すためのコード値や座標値が一つのドットコードから変換される場合において、当該他のコンテンツデータとの関係付けを示すためのコード値や座標値が、当該最初に出力する所定のコンテンツデータとの関連付けを示すためのコード値や座標値との差分値によって表わされていることにより、一のドットコードが有する情報量を節約して、所望のコンテンツデータを出力した後に出力する他のコンテンツデータのコード値を示す指示情報とすることができる。
情報量を節約して、所望のコンテンツデータを出力した後に出力する他のコンテンツデータのコード値を示す指示情報とすることができるため、例えば、使用できるコード値の範囲を大きくでき、また、高度なセキュリティや、XY座標値などをドットコードに定義することができる。
なお、第2のコード値および/または座標値は、複数あってもよい。
(16)上記実施の形態に係る入出力装置は、前記記憶手段は、異なる前記ドットパターンに定義された第1から第Nのコード値および/または座標値を所定の順番で関係付けて登録するドットコード連結テーブルをさらに登録し、前記制御手段は、前記光学前記読取手段より第iのドットパターンを読み取ったときは、前記処理手段により変換される第iのコード値および/または座標値で該ドットコード連結テーブルを参照し、該第1から第Nのコード値および/または座標値を検索した後、該第iから第Nのコード値および/または座標値の順番で前記リンクテーブルを参照し、少なくとも2以上の対応するコンテンツデータを該記憶手段から読み出して前記出力手段により連続して出力させることを特徴とする上記(1)記載の入出力装置である。
上記構成のように、ドットコード連結テーブルが記憶手段に登録されており、ドットコードから変換されたコード値および/または座標値同士が関連付けて登録されていれば、制御手段はドットコード連結テーブルおよびリンクテーブルを参照して、所望のコンテンツデータを出力した後に連続して次のコンテンツデータを出力することができる。また、ドットコード連結テーブルを参照してコード値および/または座標値の連結を確認すればよいため、一のドットコードが有する情報量に限定されることなく連続して出力するコンテンツデータを読み出して出力することができる。
なお、上記構成によってコンテンツデータを連続して出力する場合おいては、記憶手段に登録されているリンクテーブルにおいて、コード値および/または座標値と2以上のコンテンツデータが関係付けて登録されていることは必ずしも必要はない。なお、本件発明において、前記記憶手段には、コンテンツデータに各々関連付けられているコード値および/または座標値が、その連続して出力する順番に従い所定の方法で登録されたドットコード連結テーブルを用いて、その順番に従って降順または昇順で、少なくとも一回以上、コンテンツデータが、連続して出力されることとしても良い。
また、降順または昇順で、最初または最後に定義されたコード値および/または座標値が関係付けているコンテンツデータを出力した後、さらに最後または最初に定義されたコード値および/または座標値が関係付けているコンテンツデータから連続出力するリピート機能を有してもよい。
(17)上記実施の形態に係る入出力装置は、前記記憶手段は、前記コンテンツデータを示す第1のファイル名と併せて、異なるコンテンツデータを示す第2のファイル名をさらに登録し、該異なるコンテンツデータを示す該第2のファイル名を第1のファイル名として、さらに異なるコンテンツデータを示す第2のファイル名を連鎖状に繋ぐよう、連鎖するファイル名を登録し、前記ドットパターンは、該ファイル名で示されるコンテンツデータと関係付けられるコード値および/または座標値が定義され、前記制御手段は、前記光学読取手段により該ドットパターンを読み取ったときは、該記憶手段に連鎖状に登録されたファイル名で示されるコンテンツデータを該記憶手段から、次々と読み出して前記出力手段から連続して出力させることを特徴とする上記(1)記載の入出力装置である。
上記構成によれば、コンテンツデータを連続して出力する際には、コード値および/または座標値とコンテンツデータを関係付けてリンクテーブルに登録することなく、コンテンツファイルに格納されているコンテンツファイル名を読み取って、所望のコンテンツデータを出力した後に出力する所望のコンテンツデータの所在を示す指示情報とすることができる。そのため、上記構成によってコンテンツデータを連続して出力する場合おいても、記憶手段に登録されているリンクテーブルにおいてコード値および/または座標値と関連付けて登録されているコンテンツデータは少なくとも一組であっても良い。さらに、コンテンツデータを示す第1のファイル名と、次に登録されるコンテンツデータを示す第2のファイル名に併せて、先に登録されたコンテンツデータを示す第3のファイル名を登録し、逆順で連続再生することも可能である。
(18)上記実施の形態に係る入出力装置は、前記記憶手段は、前記コード値および/または座標値と関係付けられた制御コードを前記リンクテーブルにさらに登録しており、該制御コードは電子機器を制御するコードであって、前記制御手段は、前記光学読取手段により該コード値および/または座標値が定義されたドットパターンを読み取ったときは、該リンクテーブルを参照し、該コード値および/または座標値に対応する制御コードを1または複数の光信号または無線信号に変換し、該1または複数の光信号または無線信号を前記出力手段から出力させることを特徴とする上記(1)記載の入出力装置である。
なお、電子機器を制御する光信号としては赤外線方式、無線信号としてはRF方式、BLUETOOTH(登録商標)による通信が挙げられる。この電子機器は、TV、STB、録画・再生機、録音・再生機、エアコンなど、あらゆる家電、携帯電話、PDA、PC、ゲーム機器、玩具などがある。
(19)上記実施の形態に係る入出力装置は、前記記憶手段は、前記コード値および/または座標値と関係付けられた1または複数のマウス操作コードを、前記リンクテーブルにさらに登録しており、前記制御手段は、前記接続認識手段が前記接続手段と前記情報処理装置との接続を認識している場合において、前記光学読取手段により該コード値および/または座標値が定義された前記ドットパターンを読み取ったときは、該リンクテーブルを参照し、該コード値および/または座標値に対応するマウス操作コードを、該接続手段を通じて該情報処理装置に送信することを特徴とする上記(1)記載の入出力装置である。
マウス操作コードは、情報処理装置を制御するためのマウス操作やキーボード操作、タブレット操作などを予め定めたコード規格であり、ASCIIコードやHIDコードなど、入力デバイスとしての様々な規格に対応できる。
(20)上記実施の形態に係る入出力装置は、前記制御手段は、前記接続認識手段が前記接続手段と前記情報処理装置との接続を認識している場合において、前記処理手段で変換されたコード値および/または座標値を、該接続手段を通じて該情報処理装置に送信する通常モードと、前記コード値および/または座標値に対応するマウス操作コードを、該接続手段を通じて該情報処理装置に送信するマウスモードとを備え、前記入出力装置に別途設けられたボタンによる操作または媒体表面の所定の領域に形成されたドットパターンに対応するコード値および/または座標値と関係付けて登録された操作命令により切り替え可能であることを特徴とする上記(19)記載の入出力装置である。
通常モードは、処理手段で変換されたコード値および/または座標値を、他のコードに変換することなく送信するモードであり、情報処理装置側のアプリケーションでそのコード値および/または座標値に対応する処理が行われる。なお、コード値および/または座標値は、暗号が掛けられて送信される場合も多々ある。また、光学読取手段でドットパターンを読み取った際のドットパターンの回転角(光学読取手段の軸回転)や明暗(光学読取手段の媒体との傾斜角)、エラー情報などの状態コードなどの様々な付加的情報を送信する場合もある。
(21)上記実施の形態に係る入出力装置は、前記記憶手段は、該入出力装置を前記情報処理装置に接続して使用するためのドライバおよび/またはコンテンツデータをさらに登録しており、前記接続認識手段が前記接続手段と前記情報処理装置との接続を認識している場合において、前記制御手段は、前記入出力装置にさらに設けられたインストールボタンの操作または前記光学読取手段により媒体表面の所定の領域に形成されたインストール用ドットパターンの読み取りにより、該ドライバおよび/または該コンテンツデータが該情報処理装置に自動的にインストールされることを特徴とする上記(1)記載の入出力装置である。
ここで、「インストール用ドットパターン」とは、ドットパターンが印刷形成された媒体表面上において、ユーザがドライバおよび/またはコンテンツデータを情報処理装置にインストールするために設けられた領域をいい、多くの場合ユーザがわかりやすいよう文字や図形、記号等がその周辺もしくは重畳して可視的に印刷されている。
このインストール用ドットパターンを読み取ることで、対応するコード値および/または座標値と関係付けられて登録されている操作命令により入出力装置の動作がインストールモードへと切り替わり、情報処置装置にドライバおよび/またはコンテンツデータがインストールされることになる。
(22)上記実施の形態に係る入出力装置は、前記接続認識手段が前記接続手段と前記情報処理装置との接続を認識している場合において、前記制御手段は、前記入出力装置にさらに設けられたUSBメモリボタンの操作または前記光学読取手段により媒体表面の所定の領域に形成されたUSBメモリ用ドットパターンの読み取りにより、前記入出力装置はUSBメモリとして機能し、該入出力装置の記憶手段または該情報処理装置の記憶手段に登録されている、コード値および/または座標値とコンテンツデータおよび/または操作命令を関係付けて登録する前記リンクテーブルと、該コンテンツデータおよび/または該操作命令は、該入出力装置の記憶手段と該情報処理装置の記憶手段の相互にコピー・移動・削除が可能であることを特徴とする上記(1)記載の入出力装置である。
ここで、「USBメモリ用ドットパターン」とは、ドットパターンが印刷形成された媒体表面上において、ユーザが入出力装置をUSBメモリとして機能させるために設けられた領域をいい、多くの場合ユーザがわかりやすいよう文字や図形、記号等がその周辺もしくは重畳して可視的に印刷されている。
このUSBメモリ用ドットパターンを読み取ることで、対応するコード値および/または座標値と関係付けられて登録されている操作命令により入出力装置の動作がUSBメモリモードへと切り替わり、情報処置装置と入出力装置の記憶手段の相互利用が可能となる。これにより、PC側に記憶されたリンクテーブルやコンテンツデータの入出力装置へのコピーや、入出力装置の入力手段で入力されたコンテンツデータや、作成されたリンクテーブルの情報処理装置へのコピーが容易に行える。
(23)上記実施の形態に係る入出力装置は、前記コンテンツデータは、音声データであることを特徴とする上記(1)〜(22)のいずれか1つに記載の入出力装置である。
これにより、語学教育、音楽などの教育関連や観光地、美術館、博物館、イベント、マニュアル等の様々なガイド、絵本、小説などの読み聞かせなど、スピーキングペンとして様々な分野で対象となる音声だけを再生して理解を深めるだけでなく、それに続く音声を連続再生して前後の関係も理解を深めることができる。
(24)上記実施の形態に係る入出力装置は、前記入力手段は、音声入力手段であることを特徴とする上記(8)〜(13)のいずれか1つに記載の入出力装置である。
これにより、会議や発表、Q&Aにおいてテーマや喋り手、時間の経過ごとに分割録音して、連続再生するだけでなく、対象となる音声だけを再生して理解を深めることができる。
(25)上記実施の形態に係る入出力装置は、前記記憶手段は、前記入出力装置に対して脱着可能であることを特徴とする上記(1)〜(24)のいずれか1つに記載の入出力装置である。
着脱可能な記憶手段としては、フラッシュメモリを採用するUSBメモリ、SDカード、メモリースティック、スマートメディア、コンパクトフラッシュ(登録商標)等が例として挙げられる。
(26)上記実施の形態に係る入出力装置は、前記記憶手段は、内蔵メモリと外部メモリとで構成されることを特徴とする上記(1)〜(25)のいずれか1つに記載の入出力装置である。
この場合、内蔵メモリには情報処理装置と接続して機能するためのドライバやドットコード解析プログラム、基本プログラム等が登録され、外部メモリにはコンテンツデータやリンクテーブル等が登録されることが望ましい。
(27)上記実施の形態に係る入出力装置は、前記入出力装置は、ユーザによる手書き入力操作を受け付け、該手書き入力操作を受け付けることにより得られる認識結果として、ひらがな、カタカナ、漢字、英数字、記号等の複数の字種を含む文字または文字列を認識する文字認識手段をさらに備えており、前記記憶手段は、該文字認識手段により認識された文字または文字列とコンテンツデータおよび/または操作命令を関係付けて登録するリンクテーブルをさらに登録しており、前記制御手段は、該手書き入力操作を受け付けたときは、前記処理手段により変換される座標値の変化から前記光学読取手段の軌跡を認識し、該軌跡と対応する文字または文字列を該文字認識手段により認識し、該リンクテーブルを参照して、該文字認識手段により認識された文字または文字列に対応するコンテンツデータを前記出力手段から出力させるか、該操作命令による動作を制御することを特徴とする上記(1)記載の入出力装置である。
これにより、ユーザが媒体上の所望の位置をペン型スキャナでタッチすることにより(本発明において「タッチ入力操作」と呼称する。)、タッチした位置に印刷したドットパターンと対応する情報を出力するのみならず、ユーザが媒体上をペンで手書きをするようにペン型スキャナでなぞることにより(本発明において「手書き入力操作」と呼称する。)、なぞった軌跡上のドットパターンを逐次読み取って軌跡を認識し、当該軌跡に対応する情報を出力する双方の動作を実現することが可能となる。すなわち、開始する際に特別な操作を行うことなく、書き込み領域にペン型スキャナでタッチし、なぞるだけで手書き入力操作が開始されたことを認識し、その処理が実行される。
(28)上記実施の形態に係る入出力装置は、前記入出力装置は、ユーザによる手書き入力操作を受け付け、該手書き入力操作を受け付けることにより得られる認識結果として、ひらがな、カタカナ、漢字、英数字、記号等の複数の字種を含む文字または文字列を認識する文字認識手段をさらに備えており、前記制御手段は、該手書き入力操作を受け付けたときは、前記処理手段により変換される座標値の変化から前記光学読取手段の軌跡を認識し、該軌跡と対応する文字または文字列を該文字認識手段により認識し、該認識された文字または文字列を文字コードまたは文字列コードに変換し、前記接続認識手段が前記接続手段と前記情報処理装置との接続を認識している場合において、該接続手段を通じて、該文字コードまたは文字列コードを該情報処理装置に送信することを特徴とする上記(1)記載の入出力装置である。
これにより、入出力装置の出力手段の形式や記憶手段に登録されたコンテンツだけでなく、情報処理装置に内蔵または、接続される様々な形式の出力手段を用いて、インターネット等も利用した多くの魅力あるコンテンツを出力することもできる。
(29)上記実施の形態に係る入出力装置は、前記入出力装置は、ユーザによる手書き入力操作を受け付け、前記制御手段は、該手書き入力操作を受け付けたときは、前記処理手段により変換される座標値の変化から前記光学読取手段の軌跡を認識し、前記接続認識手段が前記接続手段と前記情報処理装置との接続を認識している場合において、該接続手段を通じて、該軌跡を情報処理装置に送信することを特徴とする上記(1)記載の入出力装置である。
これにより、入出力装置の文字認識手段よりも、膨大な処理を正確に速く行うことができる情報処理装置側の文字認識手段を用いることができる。文字認識は、文字を認識するための様々な辞書が必要であり、入出力装置では、その容量および処理スピードが十分でない。もちろん、情報処理装置に接続されたインターネットも文字認識に活用できることは言うまでもない。
(30)上記実施の形態に係る入出力装置は、上記(28)記載の入出力装置と、前記文字コードまたは文字列コードとコンテンツデータおよび/または操作命令を関係付けて登録するリンクテーブルを登録する記憶手段と、該文字コードまたは文字列コード、および/または該コンテンツデータを出力する出力手段と、該記憶手段、出力手段による動作および/または該操作命令による動作を制御する制御手段と、を備える前記接続手段により該入出力装置と無線又は有線により接続する情報処理装置と、を含む情報入出力システムであって、該情報処理装置の該制御手段は、該入出力装置から該接続手段を通じて送信された文字コードまたは文字列コードを該出力手段から出力させるか、および/または該情報処理装置のリンクテーブルを参照し、該文字コードまたは文字列コードと対応するコンテンツデータを該情報処理装置の該出力手段から出力させるか、該操作命令による動作を制御することを特徴とする情報入出力システムである。
(31)上記実施の形態に係る情報入出力システムは、上記(29)記載の入出力装置と、前記手書き入力操作を受け付けることにより得られる認識結果として、ひらがな、カタカナ、漢字、英数字、記号等の複数の字種を含む文字または文字列を認識する文字認識手段と、該文字または文字列とコンテンツデータおよび/または操作命令を関係付けて登録するリンクテーブルを登録する記憶手段と、該文字または文字列から変換された文字コードまたは文字列コードおよび/または該コンテンツデータを出力する出力手段と、該文字認識手段、該記憶手段、該出力手段による動作および/または該操作命令による動作を制御する制御手段と、を備える前記接続手段により該入出力装置と無線又は有線により接続する情報処理装置と、を含む情報入出力システムであって、該情報処理装置の該制御手段は、該入出力装置から該接続手段を通じて送信される前記軌跡と対応する文字または文字列を該文字認識手段により認識し、文字コードまたは文字列コードに変換し、該文字コードまたは文字列コードを該出力手段から出力させるか、および/または該リンクテーブルを参照して、該文字または文字列に対応するコンテンツデータを該情報処理装置の出力手段から出力させるか、該操作命令による動作を制御することを特徴とする情報入出力システムである。
(32)上記実施の形態に係る入出力装置は、前記入出力装置は、さらに備えられた手書き入力開始・終了ボタンの操作または前記光学読取手段により媒体表面の所定の領域に形成された手書き入力開始・終了用ドットパターンの読み取りにより、前記手書き入力操作の受け付けを開始・終了することを特徴とする上記(27)〜(29)のいずれか1つに記載の入出力装置である。
これにより、コード値および/または座標値にコンテンツデータおよび/または操作命令を関係付けて使用する場合と、同じ領域を書き込み領域として使用することができる。書き込み領域には、軌跡を描くための座標値が必要であり、座標値は異なる多くのドットコードを必要とするため、限られたドットコードを有効活用するために、異なる書き込み領域でも使用する座標は同一のドットコードを使用して、個々の手書き入力開始・終了用ドットパターンにより、書き込み領域を特定することができる。
(33)上記実施の形態に係る入出力装置は、前記入出力装置は、ユーザによる前記手書き入力操作の受け付けを判別する判別手段をさらに備えており、前記コード値の少なくとも一部には、前記判別手段が前記手書き入力操作の受付を判別するための操作判別コードが定義されており、前記制御手段は、該操作判別コードに基づいて該手書き入力操作の受け付を前記光学読取手段によるドットパターンの読取り毎に該判別手段により判別することを特徴とする上記(27)〜(29)のいずれか1つに記載の入出力装置である。
これにより、スキャナーペンでなぞらなくても、タッチしただけで操作判別コードを読みとり、手書き入力操作の受け付けをより正確に素早く開始できる。また、コード値および/または座標値にコンテンツデータおよび/または操作命令を関係付けて使用する媒体との明確な区別ができる。すなわち、このような媒体にペンでなぞる操作をしても、操作判別コードにより直ちに手書き入力操作を受け付けないようにできる。通常は、読みとったコード値および/または座標値がリンクテーブルに登録されているかを探して、登録されていない状態でペンをなぞって初めて手書き入力を受け付けるため計算時間を要することから、反応を速くするためには高速なCPUが必要となる。
(34)上記実施の形態に係る入出力装置は、前記コード値の少なくとも1部には、ユーザによる手書き入力の際に用いられる書き込み領域を特定させるための書き込み領域特定コードが定義されており、前記制御手段は、該書き込み領域特定コードに基づいて書き込み領域を特定し、該書き込み領域上の軌跡を認識することを特徴とする上記(27)〜(29)のいずれか1つに記載の入出力装置である。
これにより、スキャナーペンでなぞらなくても、タッチしただけで書き込み領域特定コードを読みとり、手書き入力操作の受け付けをより正確に素早く開始でき、さらに、どの書き込み領域への書き込みかを特定できるため、例えば書き込み領域が住所欄であれば、書き込んだ軌跡を住所データベース(辞書)と照合し容易に文字または文字列を認識できる。つまり、書き込み領域が特定できることにより、書き込む文字または文字列に限定した辞書を特定し、文字認識率を大幅に向上できる。もちろん、タッチしただけで書き込み領域特定コードを読みとれるので、高速なCPUを用いればペンをなぞりながらリアルタイムに文字認識もできる。
(35)上記実施の形態に係る情報入出力システムは、上記(1)記載の入出力装置と、前記接続手段により該入出力装置と無線又は有線により接続する情報処理装置と、を含む情報入出力システムであって、該入出力装置は、ユーザによる手書き入力操作を受け付け、該情報処理装置は、該入出力装置が受け付けた手書き入力操作を判別する判別手段と、該手書き入力操作を受け付けることにより得られる認識結果として、ひらがな、カタカナ、漢字、英数字、記号等の複数の字種を含む文字または文字列を認識する文字認識手段と、該文字または文字列とコンテンツデータおよび/または操作命令を関係付けて登録するリンクテーブルを登録する記憶手段と、該コンテンツデータを出力する出力手段と、該判別手段、該文字認識手段、該記憶手段、該出力手段による動作および/または該操作命令による動作を制御する制御手段と、を備えており、該入出力装置の制御手段は、前記処理手段により変換されるコード値および/または座標値を、該接続手段を通じて該情報処理装置に送信し、該判別手段は、該コード値の少なくとも一部に定義された操作判別コードによりユーザによる手書き入力の受付を判別し、該情報処理装置の制御手段は、該座標値の変化により該入出力装置の前記光学読取手段の軌跡を認識し、該軌跡と対応する文字または文字列を該文字認識手段により認識し、該リンクテーブルを参照して、該文字認識手段により認識された文字または文字列に対応するコンテンツデータを前記出力手段から出力するか、該操作命令による動作を制御することを特徴とする情報入出力システムである。
(36)上記実施の形態に係る入出力装置または入出力システムは、前記ドットパターンは、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列した、ストリームドットパターンを1または複数並べて形成される上記(1)〜(29)、(32)〜(34)のいずれか1つに記載の入出力装置または上記(30),(31),(35)のいずれか1つに記載の入出力システムである。
これによれば、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が媒体表面に隙間なく定義される。さらに、文字や五線譜、地図、図形などが媒体に印刷され、その線分上をスキャナーペンでなぞるかまたはタッチして操作する場合、その線分に沿ってのみストリームドットパターンを形成することにより、合理的にドットパターンを配置できる。また、XY座標が定義されたドットパターンを2次元コードとして形成される際(インデックスとして使用)の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
(37)上記実施の形態に係る入出力装置または入出力システムは、前記ストリームドットは、第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、さらに基準となる基準ドットを所定の位置に設けたことを特徴とする上記(36)記載の入出力装置または入出力システムである。
これによれば、新たな基準点を設けることにより、ストリームドットパターンの向きと一定情報のまとまりを、情報ドットを使用せず簡易に定義することができ、余計な情報の低減を押さえられる。さらに、新たな基準点の配置により情報ドットの始点となる仮想基準点の位置を正確に示すことができる。