以下、図面を参照して、本発明の実施の形態を説明するが、まず、マルチメディア情報の内、音声,音楽等のオーディオ情報に関連する実施の形態について説明する。
図1は、本発明の第1の実施の形態において、音声や音楽などのオーディオ情報を光学的に読み取り可能なディジタル信号として紙に記録するためのオーディオ情報記録装置のブロック構成図である。
マイクロフォンやオーディオ出力機器などの音声入力器12により入力されるオーディオ信号は、プリアンプ14にて増幅(マイクロフォン音声の場合はAGCをかける)後、A/D変換器16でディジタルに変換される。このディジタル化されたオーディオ信号は、圧縮回路18にてデータ圧縮が施された後、誤り訂正符号付加回路20にて誤り訂正符号が付加される。
その後、メモリ回路22にてインタリーブが施される。このインタリーブは、データの配列を前もってある規則に従って2次元的に分散させるもので、これにより、再生装置にてデータを元の配列に戻したときに、紙のバースト状の汚れや傷、つまり、エラーそのものが分散され、エラー訂正及びデータの補間がし易くなる。このインタリーブは、メモリ22Aに記憶されたデータをインタリーブ回路22Bにより適宜読み出し出力することにより行われる。
このメモリ回路22の出力データは、次に、データ付加回路24によって、詳細は後述するような所定の記録フォーマットに従って、ブロック毎に、マーカ、ブロックの2次元的なアドレスを示すxアドレス及びyアドレス、及び誤り判定符号が付加された後、変調回路26で記録のための変調を受ける。そして、上記オーディオ情報の出力データと一緒に記録される画像データ等のデータが合成回路27により重畳された後、プリンタシステム又は印刷用製版システム28にて、印刷のための処置がなされる。
これにより、例えば、図2の(A)に示すような書式で記録媒体としての紙30に記録される。即ち、画像32や文字34と一緒に、ディジタル信号化された音のデータが記録データ36として印刷される。ここで、記録データ36は、複数のブロック38から構成されており、各ブロック38は、マーカ38A,誤り訂正用符号38B,オーディオデータ38C,xアドレスデータ38D,yアドレスデータ38E,及び誤り判定符号38Fから構成されている。
なお、マーカ38Aは同期信号としても機能するもので、DATのように、通常は記録変調で出てこないようなパターンを用いている。また、誤り訂正用符号38Bは、オーディオデータ38Cの誤り訂正に用いられるものである。オーディオデータ38Cは、上記マイクロフォン又はオーディオ出力機器などの音声入力器12から入力されたオーディオ信号に対応するものである。x及びyアドレスデータ38D,38Eは、当該ブロック38の位置を表すデータであり、誤り判定符号38Fは、これらx,yアドレスの誤り判定に用いられる。
このようなフォーマットの記録データ36は、「1」,「0」のデータを、例えばバーコードと同様に、「1」を黒ドット有り、「0」を黒ドット無しというようにして、プリンタシステム又は印刷用製版システム28によって印刷記録される。以下、このような記録データをドットコードと称する。
図2の(B)は、同図の(A)に示したような紙30に記録された音のデータをペン型の情報再生装置40で読出している場面を示している。同図のようなペン型情報再生装置40で、ドットコード36の上をなぞることにより、ドットコード36を検出し、音に変換してイヤホン等の音声出力器42で聞くことができる。
図3は、本発明の第1の実施の形態に於ける情報再生装置40のブロック構成図である。本実施の形態の情報再生装置は、ヘッドホンやイヤホン等の音声出力器42以外の部分を携帯可能なペン型の1つの筐体(図示せず)内に収納するものとする。もちろん、筐体内にスピーカを内蔵するものとしても良い。
検出部44は、基本的に、テレビジョンカメラ等の撮像部と同様の機能を有している。即ち、光源44Aにて、被写体である紙面上のドットコード36を照明し、反射光を、レンズ等の結像系44B及び空間フィルタ44Cを介して、半導体エリアセンサ等でなる撮像部44Dで画像として検出し、プリアンプ44Eにて増幅して出力する。
ここで、エリアセンサの画素ピッチは、標本化定理により、撮像面上のドットコード36のドットピッチの以下に設定されている。さらに、撮像面上に設置された空間フィルタ44Cも、この定理に基づいて、撮像面上のモアレ現象(エリアジング)を防ぐために挿入されている。また、エリアセンサの画素数は、図4の(A)に示すように検出部44を手動走査する際の手振れを考慮して、一度に読取可能と規定された所定のドットコード36の縦方向の幅よりも多めに設定してある。即ち、図4の(A)及び(B)は、検出部44を矢印方向に手動走査させた時のある周期ごとの撮像エリアの移動状態を示しているもので、特に、(A)はドットコード36の縦方向の幅が撮像エリア内に納まる場合(手振れも考慮してある)の手動走査の状態を示し、(B)はドットコード36の量が多く、縦方向の幅が一回の撮像エリアに納まらない場合を示している。後者の場合は、ドットコード36の手動走査を開始する位置に、それを示すための手動走査用マーク36Aが印刷されている。よって、この手動走査用マーク36Aに沿って、手動走査を複数回行うことより、多量のドットコード36を検出することが可能となる。
上記のようにして検出部44により検出された画像信号は、次に、走査変換及びレンズ歪み補正部46に入力される。この走査変換及びレンズ歪み補正部46では、入力画像信号は、先ず、A/D変換器46Aでディジタル信号に変換され、フレームメモリ46B内に蓄えられる。このフレームメモリ46Bは、8ビットの階調を持っている。
また、マーカ検出回路46Cは、フレームメモリ46Bに記憶された画像情報を、図4の(C)に示すようにスキャンして、マーカ38Aを検出する。θ検出回路46Dは、このマーカ検出回路46Cで検出した各マーカ38Aが撮像面上のどのアドレス値に対応しているのかを検出して、そのアドレス値からドットコードの配列方向に対する撮像面の傾きθを演算する。なお、上記マーカ検出回路46Cは、図4の(C)に示すような方向のみのスキャンでは、同図(D)に示すように、同図(C)の場合とほぼ90°回転してドットコード36の撮像が行われた場合に傾きθが正しく求められない恐れがある。即ち、ブロック38の短手方向にスキャンした場合にはθが正しく求められない恐れがあるため、マーカ検出回路46Cは、同図(D)に示すように直交した方向のスキャンも行い、これら直交する2方向のスキャンで得られた結果の内の正しい方を選択するようにしている。
一方、レンズ収差情報メモリ46Eには、レンズの歪み補正を行うための、上記検出部44の結像系44Bに用いられているレンズの予め測定された収差情報を記憶している。アドレス制御回路46Fは、次にフレームメモリ46B内に蓄えられたデータを読出す際には、上記θ検出回路46Dで演算された傾きθの値とレンズ収差情報メモリ46Eに記憶されているレンズ収差情報とに従った読み出しアドレスをフレームメモリ46Bに与え、補間回路46Gにてデータ補間を行いながらデータの配列方向への走査変換を行う。
図5の(A)は、この補間回路46Gにて行われるデータ補間の原理を示している。基本的には、データを補間する位置Qの周囲の画素を使用して、コンボルーションフィルタ,LPFにて補間データの作成を行う。この走査変換後の画素ピッチ及び走査線ピッチは、撮像時と同様に標本化定理に基づいてドットコードのドットピッチの以下に設定されている。
補間すべき位置Qの周囲4個の画素を使用した簡単なデータ補間の場合には、Q=(D6 ×F6 )+(D7 ×F7 )+(D10×F10)+(D11×F11)、また周囲16個の画素を使用した比較的精度の良いデータ補間の場合には、Q=(D1 ×F1 )+(D2 ×F2 )+…+(D16×F16)の演算により補間データが作成される。ここで、Dn は画素nのデータ振幅値、Fn は画素nまでの距離に従って決定される補間用コンボリューションフィルタ(LPF)の係数である。
以上のようにして走査変換を受けてフレームメモリ46Bから読出されたドットコード36の画像は、次に、ラッチ48A及びコンパレータ48Bで構成された二値化回路48にて二値化される。この二値化を行う際の閾値は、閾値判定回路50にて、画面毎もしくは画面内のブロック毎のヒストグラムの値などを利用して決定される。即ち、ドットコード36上の染みや紙30の歪み、内蔵クロックの精度などに応じて、閾値を決定する。この閾値判定回路50としては、例えば本出願人による特願平4−131051号に開示のニューラルネットワークを利用した回路を使用するのが好ましい。
またこれと並行して、フレームメモリ46Bから読出されたドットコード36の画像は、PLL回路52に入力され、再生データと同期したクロックパルスCKを発生する。このクロックパルスCKは、走査変換後の二値化や復調、及び後述するデータ列調整部56内の誤り判定回路56A,x,yアドレス検出回路56Bやメモリ部56Cなどの基準クロックとして使用される。
二値化されたデータは、復調回路54にて復調され、データ列調整部56内の誤り判定回路56Aと、x,yアドレス検出回路56Bに入力される。誤り判定回路56Aは、ブロック38内の誤り判定符号38Fを用いてx,yアドレスデータ38D,38Eに誤りが無いかどうかの判定を行う。誤りが無い場合は、上記復調回路からの復調データをx,yアドレス検出回路56Bで検出したアドレスに従って、オーディオデータ列調整用のメモリ部56Cに記録する。誤りがある場合は、そのブロック38のオーディオデータ38Cはオーディオデータ列調整用のメモリ部56Cには記録されない。
このデータ列調整部56の目的は、上記走査変換及びレンズ歪み補正部46における走査変換の精度(基準クロックの精度及び撮像素子のS/Nに左右される)や紙の歪み等により、データの配列方向と走査変換後の走査方向に生じた僅かなずれを補正することにある。これを、図6によって説明する。同図中、ドットコードD1,D2,D3はブロックごとのデータを示している。走査変換後の走査線1,2,3,…のピッチは、前述したように標本化定理に基づいてデータのドットピッチ以下に設定されていれば良いが、図6に於いては、完全を期してドットピッチの1/2に設定してある。故にドットコードD1は図からも明らかなように、走査変換後の走査線3にて誤りなく検出される。そして、D2は走査変換後の走査線2にて誤りなく検出され、D3も同様に、走査変換後の走査線1にて誤りなく検出される。
そして、それぞれのブロック38内のx,yアドレス38D,38Eに従って、データ列調整用のメモリ部56Cに格納される。
次に、図4の(A),(B)に示したように検出部44を手動で走査することにより、紙30の上の音声ドットコード36を洩れなくデータ列調整用のメモリ部56Cに格納することができる。
このようなデータ列調整部56にてデータ列が調整された音声ドットコードは、次に、上記PLL回路52とは別の基準クロック発生回路53により発生した基準クロックCK’に従い、データ列調整用のメモリ部56Cから読出される。そして、この時にデ・インタリーブ回路58によりデ・インタリーブがかけられ、正式なデータ列に変換される。次に、ブロック38内の誤り訂正用符号38Bを用いた誤り訂正が誤り訂正回路60にて行われる。そして、復号回路62で圧縮されたデータの復号が行われ、さらにデータ補間回路64にて誤り訂正不能なオーディオデータの補間が行われる。その後、D/A変換回路66にてアナログのオーディオ信号に変換され、増幅器68にて増幅されて、音声出力器(イヤホン,ヘッドホン,スピーカ,等)42にて音に変換される。
以上のようにして、音声や音楽などのオーディオ情報を紙に記録できるようにし、また再生機を小型の携帯型の装置としたことにより、プリントアウトしたものやそれをファクシミリ伝送したもの、あるいは印刷製版により本の形式で印刷されたものを、何処でも、また何回でも聞くことができるようになる。
なお、上記データ列調整部56内のデータ列調整用のメモリ部56Cは、半導体メモリに限らず、フロッピー(登録商標)ディスク,光ディスク,光磁気ディスク,等の他の記憶媒体を利用することが可能である。
上記のようにオーディオ情報を記録したものの応用例としては、種々のものが考えられる。例えば、一般用として、語学教材、楽譜、通信教育等の各種テキスト、商品仕様、修理等のマニュアル、外国語等の辞書、百科事典、絵本等の書籍、商品カタログ、旅行案内、ダイレクトメールや案内状、新聞、雑誌、チラシ、アルバム、祝電、葉書、等が考えられる。また、業務用としては、FAX(ボイス&ファックス)業務指示書、議事録、電子黒板、OHP、身分証明書(声紋)、名刺、電話用メモ、付箋紙、上質紙をロール状にしたサプライ商品(消耗品)、等といったものが考えられる。ここで、消耗品とは、図5の(B)に示すように、そのロール状にした紙30Aの裏面に、両面テープや、付箋紙の様な簡単に剥がれるのりが設けられており、表面にドットコード36を記録して、必用な分だけ切り離して、種々のものに貼れるようにしたものである(以下、これをリールシールと称する)。また、同図の(C)に示すように、紙30Aの幅を広くして複数段のドットコード36が記録できるようにすると共に、検出部44の手動走査のガイドラインとしての手動走査用マーク36Bを縦横に印刷しておいても良い。このマーク36Bは、同時に、ドットコード36の記録位置の目安としても利用できる。即ち、プリンタシステム28にセンサを設けておき、そのセンサで上記マーク36Bを読み取って、プリントアウトする頭出しをするようにすれば、ドットコード36はこのマーク36Bで囲まれた領域内に必ず印刷できるので、手動走査もこのマーク36Bに沿って行うことにより確実に記録されたオーディオ情報を再生できる。むろん、ドットコード36を印刷する時にマーク36Bも印刷しても良い。
なお、オーディオ情報の記録時間は、200dpiの一般的なファクシミリの場合、例えば用紙の一辺に沿って1インチ×7インチ(2.54cm×17.78cm)のエリアにデータを記録した場合、データの総数は280kbitになる。これからマーカ、アドレス信号、誤り訂正符号、誤り判定符号(但し、この場合の誤り判定符号は上記x,yアドレス38D,38Eに加えてオーディオデータ38Cも誤り判定対象としている)の分(30%)を差し引くと、196kbitになる。従って、音声を7kbit/s(移動体通信のビットレート)に圧縮した時の記録時間は、28秒となる。A4サイズ両面ファクシミリ用紙の裏面全体に記録する時は、7インチ×10インチ(17.78cm×25.4cm)のエリアが取れるので、4.7分の音声記録が可能である。
また、400dpiのG4ファクシミリの場合には、上記と同様に計算した結果、7インチ×10インチのエリアに、18.8分の音声記録が可能である。
1500dpiの高級印刷の場合、5mm×30mmのエリアに印刷した場合、上記と同様に計算した結果、52.3秒の音声記録が可能である。また、10mm×75mmのテープ状エリアに印刷した場合には、ミュージックも可能な高音質(圧縮して30kbit/s)の音声信号で計算した場合、1分の音声記録が可能である。
図7は、本発明の第2の実施の形態の構成を示す図である。本第2の実施の形態は、撮像素子として、メモリ及びランダムアクセス可能なCMDのようなxyアドレス型撮像部を使用する例であり、再生装置の検出部44並びに走査変換及びレンズ歪み補正回路46のみが、上記第1の実施の形態と異なっている。即ち、検出部及び走査変換部70は、xyアドレス型撮像部70Aにメモリされた撮像データを上記第1の実施の形態と同様にマーカ検出して、読出すときに補間する回りのデータ4つをデコーダ用アドレス発生部70B及びx,yデコーダ70C,70Dにより順番に読出して補間部72に入力する。補間部72では、入力データに対して、係数発生回路70Eより係数を順次読出して掛け算器70Fにより掛け算し、さらには加算器70G,サンプルアンドホールド回路70H,スイッチ70Iでなるアナログの累積加算回路にて累積加算し、サンプルアンドホールド回路70Jにてサンプルアンドホールドを行って、走査変換されたドットコードを上記二値化回路48,閾値判定回路50,及びPLL回路52に供給する。
このような構成とすることにより、上記第1の実施の形態と同様の機能を果たすことができると共に、フレームメモリ46を不要とすることができ、コストの低減並びに小型化が実現できる。さらには、xyアドレス型撮像部70A、アドレス発生部70B、デコーダ70C,70D、補間部72を一つの基板に作り込んでIC化することにより、さらに小型化が図れる。
図8は、本発明の第3の実施の形態の構成を示す図である。本実施の形態は、絵や文字の印刷された紙30の上に、正反射(全反射)し易い透明塗料(インク)74によりドットコード36を記録したものである。そして、検出部44内に、光源44Aと結像系44Bの間に偏光フィルタ44F,44Gを設け、これら偏光フィルタ44F,44Gの偏光面を合わせておくことにより、内部(紙30の表面)からの反射光や、コードに従って透明塗料74の抜けている穴74Aの開いているところからの反射光は偏光方向がばらばらになって偏光フィルタ44Gで1/2がカットされることとなり、さらに通常の反射光と全反射光とではもともと光量差が大きいので、透明塗料74で記録されたドットコードのコントラストが強調されて撮像されることとなる。
さらには、紙30を表面が正反射し易いように鏡面仕上げ等の表面処理し、透明塗料74を、上記表面処理した面の屈折率より高い屈折率の素材で、且つ1/4λ程度の(入射角による光路長の変化を考慮して、透明塗料内の光路長で1/4となるような)厚みの膜としておけば、反射増幅コートの効果で、斜めに当った光が、より一層増幅されて表面反射(正反射)し易い。
この場合、例えばドットコードの形成は、微細なケミカルエッチング等にて行い、ドットに対応した穴の部分を粗面化して反射率を低下させるものとする。
このように透明塗料74によりドットコード36を記録するようにすると、文字や絵の上にも記録できるので、文字や絵と併用する場合、上記第1の実施の形態に比べて記録容量を増大することができる。
また、透明塗料の代わりに、透明の蛍光塗料を用いても良いし、カラーにして多重化するようにしても良い。このカラーにする場合には、通常のカラーインクを使用することもできるし、透明のインクに色素を混ぜてカラーにすることも可能である。
ここで、例として、透明インクを揮発性液とバインダー(例えば、フェノール樹脂ワニス、アマニ油ワニス、アルキッド樹脂がある)からなるインクとし、色素を顔料とすることができる。
次に、オーディオ情報記録装置を応用した携帯型ボイスレコーダを説明する。図9の(A)及び(B)はその外観図である。この携帯型ボイスレコーダは、本体76と、本体側及び音声入力部側着脱部材(面ファスナー、マジックテープ(登録商標)等)78A,78Bにより本体76に対し着脱自在な音声入力部80とからなる。また、本体76表面には、記録開始ボタン82と印字シートの排出部84が設けられている。なお、本体76と音声入力部80とはケーブル86により結ばれている。もちろん、無線や赤外線などにより音声入力部80から本体76に信号を送信するようにしても良い。
図10は、このような携帯型ボイスレコーダのブロック構成図である。マイクロホン88から入力された音声は、プリアンプ90で増幅後、A/D変換器92でディジタルに変換されて、圧縮処理部(ADPCM)94に供給される。圧縮処理を施されたデータは、エラー訂正符号付加部96にてエラー訂正符号が付加され、その結果がインターリーブ部98に供給され、それぞれのデータが記憶されて、その後、インターリーブ処理が行われる。こうしてインターリーブされたデータは、さらに、アドレスデータ付加部100により、ブロックのアドレス,アドレス用のエラー判定符号(CRC等)を付加し、その結果が変調回路102に入力される。この変調回路102では、例えば8−10変調というような8ビットのデータを10ビットの別のビット数のものに変換する。その後、マーカ付加部104にて、上記変調回路102で対応付けた256通りのデータ列には無いデータ列を使ってマーカを生成して付加する。
こうしてマーカを付加されたデータは、簡易プリンタシステム106に送られて、図11の(A)及び(B)に示すようにリールシール108に印刷され、印字シート排出部84から排出される。この場合、簡易プリンタシステム106はタイマ110によって計時された日付・時刻をリールシール108に印字する。
なお、上記の各部は、記録開始ボタン82の操作に応じて制御部112により制御される。また、上記各部の内、マイクロホン88からどこまでを音声入力部80内に構成するかは特に限定されるものではなく、例えば、ここでは、音声入力部80にはマイクロホン88,プリアンプ90,A/D変換器92を内蔵するものとする。
図12は、このような構成の携帯型ボイスレコーダの動作フローチャートである。即ち、本体76に設けられた記録開始ボタン82が押下されると(ステップS12)、その押下されている間(ステップS14)、音声入力からリールシール108へのドットコード114印字処理迄の処理が行われる(ステップS16)。そして、記録開始ボタン82の押下が止められると、予め決められた一定時間内に再び記録開始ボタン82が押下されたかどうかを判断し(ステップS18)、押下されたと判断した場合には上記ステップS14に戻って上記の処理を繰り返す。しかし、一定時間以内に記録開始ボタン82が押下されなかった場合には、タイマ110より現在の日時及び時刻を参照して(ステップS20)、リールシール108を余白部分116をフィードしながら、その参照した日時,時刻を印字する(ステップS22)。
このような携帯型ボイスレコーダでは、図9の(A)に示すように本体76と音声入力部80とを接続した状態では、ユーザは本体76を手で持って音声入力部80を口元に近づけて音声をドットコード114としてリールシール108に記録する。また、図9の(B)に示すように本体76と音声入力部80とを分離し、音声入力部80を着脱部材78Bを利用して電話の送受話器の受話器側に取り付けることにより、電話の内容をメモする代わりに直接相手側の用件をドットコード114としてリールシール108に記録することができる。しかもこの場合、図11の(A)及び(B)に示すように、リールシール108には、日時・時刻が印字されるだけでなく、余白部分116が形成されるため、受信人名をメモしたり、だれ宛のものであるか等といったコメントを書込むことができる。
なお、音声入力部80としては、上記のように着脱部材により本体に着脱される構成以外にも、種々の態様が考えられる。例えば、図11の(C)及び(D)に示すように、イヤホン型のものとすることができる。このようなイヤホン型の音声入力部80とした場合、同図の(D)に示すように音声入力部80を本体76の音声入力部格納部118から引出し、ユーザの耳に挿入することにより、電話の送受話器の受話器側から聞こえる相手の声を聞きながら、それをドットコードの形で記録できるようになる。
また、上記説明では、記録開始ボタン82を押し続けている間だけドットコード印字を行うものとしたが、本体76に別に記録終了ボタンを設け、記録開始ボタン82が一回押されてから記録終了ボタンが押されるまでの間、ドットコード印字を行うようにするようにしても良い。
記録機には、図3で示したような再生機能を組み込んで、記録再生機としても良い。またその時は、イヤホン型音声入力部80は、イヤホンの機能も併せ持たせても良い。
以上の実施の形態に於いては、記録される情報として、音声,音楽等のオーディオ情報を例に挙げて説明したが、以下に、オーディオ情報に限らず、カメラ,ビデオ等から得られる映像情報、及びパーソナルコンピュータ(以下、パソコンと称す),ワードプロセッサ(以下、ワープロと称す)等から得られるテキストデータ等のディジタルコードデータ、等を含めた、所謂マルチメディア情報を取り扱う実施の形態について説明する。
図13は、そのようなマルチメディア情報を記録するためのマルチメディア情報記録装置のブロック構成図である。
マルチメディア情報の内、オーディオ情報については、図1の場合と同様に、マイクロホンやオーディオ出力機器120から入力され、プリアンプ122で増幅後、A/D変換器124でディジタルに変換されて、圧縮処理部126に供給される。
圧縮処理部126では、入力ディジタルオーディオ信号は、スイッチ128により、ADPCM回路のような音声圧縮回路130と音声合成コード化回路132とに選択的に供給されるようになっている。音声圧縮回路130は、入力ディジタルオーディオ情報を適応型の差動PCMすることによりデータ圧縮を施す。音声合成コード化回路132は、入力ディジタルオーディオ情報に対して、1つ音声を認識をした後、コードに変換する。これは、上記ADPCMが音声情報という形でそれを符号化しデータ量を減らしていく即ち生のまま処理をしていくのに対して、一旦別の合成のコードに変えてしまうことで相対的にデータ量を減らすものである。上記スイッチ128の切り換えについては、例えば、ユーザの方で目的に応じて、例えば、手動で切り換えるようになっている。あるいは、例えばオーディオ出力機器からの情報のように高音質のものについては音声圧縮回路130を通し、例えばマイクロホンからの人の話声やコメントというようなものについては音声合成コード化回路132を通すというように予め決めておけば、入力されたオーディオ情報がどちらのものであるのかをスイッチの前段で認識をして自動的に切り換えるという構成にすることも可能である。
また、もう既にディジタルコードデータとして形成されているパソコン、ワープロ、CAD、電子手帳や通信等からくる各種データは、インタフェース(以下、I/Fと称す)134を介して、まずデータ形態判別回路136に入力される。このデータ形態判別回路136は、基本的に、後段の圧縮処理部126で圧縮が可能かどうかを判断するもので、データが既に何等かの圧縮処理が行われており、後段の圧縮処理部126での効果が得られない情報については、圧縮処理部126をバイパスさせて圧縮処理部126の後段にダイレクトに渡し、また、入力データが非圧縮データの場合には、それを圧縮処理部126に送る。
上記データ形態判別部136にて非圧縮のコードデータであると判断されたデータは、圧縮処理部126に入力され、ハフマン,算術符号,ジブレンペル等の圧縮回路138にてコードデータを最適に圧縮する圧縮処理が行われる。なお、この圧縮回路138は、上記音声合成コード化回路132の出力に対する圧縮処理も行うようになっている。
なお、上記音声合成コード化回路132は、音声以外に文字情報を認識して音声合成コード化しても良い。
また、カメラやビデオ出力機器等140の画像情報は、プリアンプ142による増幅及びA/D変換器144でのA/D変換後、圧縮処理部126に供給される。
圧縮処理部126では、像域判定及び分離回路146にて、入力された画像情報が手書き文字やグラフ等の二値画像なのか、それとも自然画像等の多値画像なのかを判別する。この像域判定及び分離回路146は、例えば、本出願人による特願平5−163635号に示されているようなニューラルネットを利用した判別像域分離の手法を用いて、二値画像データと多値画像データを分離する。そして、二値画像データは、二値圧縮としてJBIG等で一般的なMR/MH/MMR等の二値圧縮処理回路148で圧縮され、多値画像データについては、例えばDPCMあるいはJPEG等の静止画像の圧縮機能を使って多値圧縮処理回路150で圧縮される。
以上のようにしてそれぞれ圧縮処理を施されたデータは、適宜データ合成処理部152で合成される。
なお、必ずしもそれぞれの情報入力及び圧縮処理の系統を並列的に全て備えている必要はなく、目的に応じて、一つあるいは複数の系統を適宜組み合わせて構成するようにしても良い。従って、上記データ合成処理部152は必ずしも必要なものではなくて、データ系統が1種類しかないものについては、これを省略し、直接次段のエラー訂正符号付加部154へ入力する構成とすることができる。
エラー訂正符号付加部154では、エラー訂正符号が付加され、データメモリ部156に入力される。データメモリ部156では、それぞれのデータが記憶されて、その後、インターリーブ処理が行われる。これは、実際にドットコードとして記録され、そしてそれを再生される際に、少しでもエラーを減らす、例えば、ノイズ等によるブロックエラーというものを少しでもなくして訂正能力を高めるために、連続するデータ列を適宜離れた位置に分散させていく処理である。即ち、バーストエラーをビットエラーの単位に危険度を下げるという作業を行う。
こうしてインターリーブされたデータに対して、さらに、アドレスデータ付加部158により、ブロックのアドレス,アドレス用のエラー判定符号(CRC等)を付加し、その結果が変調回路160に入力される。変調回路160では、例えば8−10変調である。
なお、上記実施の形態に於いては、インターリーブをかけた後に、エラー訂正のための符号を付加するようにしても良いことは勿論である。
その後、マーカ付加部162にて、上記変調回路160で対応付けた256通りのデータ列には無いデータ列を使ってマーカを生成して付加する。このようにマーカを変調の後に付加することで、マーカまでもが変調されてしまって、逆にマーカとして認識しにくくなるということを解消する効果がある。
こうしてマーカ付加されたデータは、合成及び編集処理部164に送られて、この生成されたデータ以外の、記録紙に記録される、例えば、画像やタイトルや文字等と合成され、あるいはレイアウト等の編集をされ、またプリンタへの出力の形態や印刷製版対応のデータフォーマットに変換されて、次のプリンタシステムや印刷用製版システム166に送られる。そして、このプリンタシステムや印刷用製版システム166で、最終的に、シート,テープ,及び印刷物等に印刷される。
なお、合成及び編集処理部164に於ける編集処理は、紙面情報とドットコードのレイアウト、コードのドットサイズを印刷機,プリンタ等の分解能に合せる、ワード単位,内容の区切り等でコード長を適宜区切り段変えを行う即ち一列を次のラインに移す段換えを行う、等の編集作業を含む。
こうして印刷された印刷物は、例えば、FAX168により送信される。むろん、合成及び編集処理部164で生成されたデータを印刷する代わりに、直接FAX送信するものとしても良い。
ここで、図14を参照して、本実施の形態に於けるドットコード170の概念を説明する。本実施の形態のドットコード170のデータフォーマットでは、1つのブロック172は、マーカ174、ブロックアドレス176、及びアドレスのエラー検出,エラー訂正データ178と、実際のデータが入るデータエリア180とから成っている。即ち、上記図2の(A)を参照して説明した実施の形態では、1つのブロックが、ライン方向の一次元的に構成されていたものが、本実施の形態では、二次元的に展開された形で形成されている。そして、このブロック172が縦,横、二次元的に配列され、それが集まってドットコード170という形で形成される。
次に、マルチメディア情報の再生装置の構成を、図15のブロック図を参照して説明する。この情報再生装置は、ドットコード170が印刷されている記録媒体としてのシート182からドットコードを読み取るための検出部184、検出部184から供給される画像データをドットコードとして認識しノーマライズを行う走査変換部186、多値データを二値にする二値化処理部188、復調部190、データ列を調整する調整部192、再生時の読取りエラー,データエラーを訂正するデータエラー訂正部194、データをそれぞれの属性に合わせて分離するデータ分離部196、それぞれの属性に応じたデータ圧縮処理に対する伸長処理部、表示部あるいは再生部、あるいは他の入力機器から成る。
検出部184に於いては、光源198にてシート182上のドットコード170を照明し、反射光をレンズ等の結像光学系200及びモアレ等の除去等のための空間フィルタ202を介して、光の情報を電気信号に変換する例えばCCD,CMD等の撮像部204で画像信号として検出し、プリアンプ206にて増幅して出力する。これらの光源198,結像光学系200,空間フィルタ202,撮像部204,及びプリアンプ206は、外光に対する外乱を防ぐための外光遮光部208内に構成される。そして、上記プリアンプ206で増幅された画像信号は、A/D変換部210にてディジタル情報に変換されて、次段の走査変換部186に供給される。
なお、上記撮像部204は、撮像部制御部212により制御される。例えば、撮像部204としてインターライン転送方式のCCDを使用する場合には、撮像部制御部212は、撮像部204の制御信号として、垂直同期のためのVブランク信号、情報電荷をリセットするための撮像素子リセットパルス信号、二次元に配列された電荷転送蓄積部に蓄積された電荷を複数の垂直シフトレジスタへ送るための電荷転送ゲートパルス信号、水平方向に電荷を転送し外部に出力する水平シフトレジスタの転送クロック信号である水平電荷転送CLK信号、上記複数の垂直シフトレジスタ電荷を垂直方向に転送して上記水平シフトレジスタに送るための垂直電荷転送パルス信号、等を出力する。これらの信号のタイミングは、図16に示される。
そして、撮像部制御部212は、このタイミングに合せながら光源198の発光のタイミングをとるための発光セルコントロールパルスを光源に与える。
基本的に、図16のタイミングチャートは、1フィールド分の概念図である。画像データは、この1フィールドのVブランクからVブランクまでの間に読み出される。光源198は連続点灯するのではなくてパルス点灯を行い、フィールド単位に同期させながら、後続のパルス点灯を行うものとしている。この場合、パルス点灯させる上でのクロックノイズが信号出力に入らないように、Vブランキング期間中、即ち画像電荷を出力していない間に露光するようなタイミングにコントロールされる。即ち、発光セルコントロールパルスは、瞬間的に発生する非常に細いディジタルのクロックパルスであり、光源に大きな電力を与えるものであるため、それによるノイズがアナログの画像信号に入らないようにすることが必要であり、そのための処置として、Vブランキング期間中に光源をパルス点灯させるようにしている。こうすることによって、S/Nの向上が図られる。また、パルス点灯させるということは、発光時間を短くすることであり、よって手動操作の振れと移動によるぼけの影響をなくすという大きな効果がある。これによって、高速にスキャンすることが可能になる。
また、再生装置が傾いたりして、外光遮光部208があるにも拘らずなんらかの原因で外光等の外乱が入った場合にも、S/N劣化を最低限に抑えるために、Vブランキング期間に光源198を発光させる直前に一度、撮像素子リセットパルスを出力して画像の信号をリセットし、その直後に発光を行い、その後すぐに、読出しを行っていくようにしている。
ここで、図15に戻り、走査変換部186を説明する。この走査変換部186は、検出部184から供給される画像データをドットコードとして認識し、ノーマライズを行う部分である。その手法として、まず検出部184からの画像データを画像メモリ214に格納し、そこから一度読出してマーカ検出部216に送る。このマーカ検出部216では、各ブロック毎のマーカを検出する。そして、データ配列方向検出部218は、そのマーカを使って、回転あるいは傾き、データの配列方向を検出する。アドレス制御部220は、その結果をもとに上記画像メモリ214からそれを補正するように画像データを読出して補間回路222に供給する。なおこの時に、検出部184の結像光学系200に於けるレンズの収差の歪みを補正用のメモリ224からレンズ収差情報を読出して、レンズの補正も併せ行う。そして、補間回路222は、画像データに補間処理を施して、本来のドットコードのパターンという形に変換していく。
補間回路222の出力は、二値化処理部188に与えられる。基本的には、ドットコード170は図14からも分かるように、白と黒のパターン、即ち二値情報であるので、この二値化処理部188で二値化する。その時に、閾値判定回路226により、外乱の影響、信号振幅等の影響を考慮した閾値の判定を行いながら適応的に二値化が行われる。
そして、記録時に図13で説明したような変調が行われているので、復調部190でそれをまず復調した後、データ列調整部192にデータが入力される。
このデータ列調整部192では、まずブロックアドレス検出部228により前述した二次元ブロックのブロックアドレスを検出し、その後、ブロックアドレスの誤り検出,訂正部230によりブロックアドレスのエラー検出及び訂正を行った後、アドレス制御部232に於いてそのブロック単位でデータをデータメモリ部234に格納していく。このようにブロックアドレスの単位で格納することで、途中抜けた場合、あるいは途中から入った場合でも、無駄なくデータを格納していくことができる。
その後、データメモリ部234から読出されたデータに対してデータエラー訂正部194にてエラーの訂正が行われる。このエラー訂正部194の出力は二つに分岐されて、一方はI/F236を介して、ディジタルデータのままパソコンやワープロ,電子手帳,等に送られていく。他方は、データ分離部196に供給され、そこで、画像、手書き文字やグラフ、文字や線画、音(そのままの音の場合と音声合成をされたものとの2種類)に分けられる。
画像は、自然画像に相当するもので、多値画像である。これは、伸長処理部238により、圧縮した時のJPEGに対応した伸長処理が施され、さらにデータ補間回路240にてエラー訂正不能なデータの補間が行われる。
また、手書き文字やグラフ等の二値画像情報については、伸長処理部242にて、圧縮で行われたMR/MH/MMR等に対する伸長処理が行われ、さらにデータ補間回路244にてエラー訂正不能なデータの補間が行われる。
文字や線画については、PDL(ページ記述言語)処理部246を介して表示用の別のパターンに変換される。なおこの場合、線画,文字についても、コード化された後にコード用の圧縮処理が施されているものについては、それに対応する伸長処理部248で伸長(ハフマンやジブレンペル等)処理を行ってから、PDL処理部246に供給されるようになっている。
上記データ補間回路240,244及びPDL処理部246の出力は、合成又は切り換え回路250により、合成あるいはセレクトを行って、D/A変換部252でアナログ信号に変換後、CRT(テレビモニタ)やFMD(フェイスマウンテッドディスプレイ)等の表示装置254にて表示される。なお、上記FMDとは、顔面装着用の眼鏡型モニタ(ハンデーモニタ)であり、例えばバーチャルリアリティー等の用途や、小さな場所で大きな画面で構成されたものを見るときに効果がある。
また、音声情報については、伸長処理部256にてADPCMに対する伸長処理が行われ、さらにデータ補間回路258にてエラー訂正不能なデータの補間が行われる。あるいは、音声合成の場合には、音声合成部260にて、その音声合成のコードをもらって実際にコードから音声を合成して出力する。なおこの場合、コードそのものが圧縮されている時には、上記文字,線画と同様に、伸長処理部262にてハフマンもしくはジブレンペル等の伸長処理を行ってから音声合成を行う。
さらに、図17に示すように、文字情報については文章認識部271で文章認識した後、音声合成部260にて音声情報として出力しても良い。
また、伸長処理部262は、同248と兼用することは可能であり、その場合、伸長処理するデータの属性に応じてそのデータはスイッチSW1,SW2,SW3にて適宜切換えられて、PDL処理部246、或は音声合成部260に入力される。
データ補間回路258及び音声合成部260の出力は、合成又は切り換え回路264により、合成あるいはセレクトを行って、D/A変換部266でアナログ信号に変換後、スピーカやヘッドホン、その他それに準ずる音声出力装置268に出力される。
また、文字や線画等については、データ分離部196からページプリンタやプロッタ等270に直接出力されて、文字等はワープロ文字として紙に印刷され、あるいは、線画等は図面等としてプロッタ出力されることもできる。
もちろん、画像についても、CRTやFMDだけではなく、ビデオプリンタ等でプリントすることも可能であるし、その画像を写真に撮ることも可能である。
次に、上記データ列調整部192を説明する。ここでは、前述したオーディオ情報の再生装置(図3参照)にも適用するために、ドットコードは図18の(A)に示すようにそれぞれ参照番号272で示すブロックアドレス272Aとそのエラー訂正データ272Bを最初のラインに設けたブロックが二次元に配列されると共に、同図の(B)のようなライン状のマーカ274が縦方向に並び、また、各ブロックの各ライン毎に参照番号276で示すラインアドレス276Aとエラー検出データ276Bが配されているものとして説明する。
本実施の形態では、図6を参照して説明した走査方法に比べて、図18の(C)に示すように、各ライン毎にピッチを2倍に細かくし、さらにマーカの中心を検出後、マーカの中心線間をドット数の2倍の数で等分割する。即ち、同図の(D)に示すように、まず、1回目の走査では、ドット278に対して、細かく縦,横1/2つまり1/4のものを取り込む。その場合のピッチは、ドット278と同じ間隔で取っていくもので、従って、1ドットおきにデータを取っていくこととなる。こうして、CRCエラー検出データ276Bのところまでのデータ、例えば、1ブロックが64ドットとすると、1ドットおきに64ドット取り込む。
そして、まず後ろのほうのラインアドレス276Aと、そのラインアドレスに対するCRCのエラー検出データ276Bとを使って、実際にラインアドレスが読めたかどうかを確認する。このラインアドレスが読めている場合には、その前のデータドットそのものも正しく読めていると判定する。もし間違っていると判断された場合には、1ドット例えば右へずらして、2回目の走査を行う(同図の(D)に於ける黒丸)。これを64ドット分全部取り込んで、同様にして実際にラインアドレスが読めたか確認する。間違っている場合には、1回目のドットから1ドット下へずらして3回目の走査、それでも間違っている場合には1ドット右へずらして4回目の走査を行う。
このように、1ラインの走査を4回繰り返せば、この中で最低1回は正しく読めると思われるので、正しく読めていると判定されたときには、そのデータをデータメモリ部234へ書き込む。
この場合、取り込んだラインのラインアドレスが例えば「0」(スタートアドレス)、即ち一番最初と認識されたときには、その前のデータをブロックアドレス272Aとエラー訂正データ272Bであると判別する。なお、エラー訂正データ272Bは、ブロックアドレスのエラー検出の例えばCRC、あるいは目的によってこれにエラー訂正まで加え、ブロックアドレスのリードソロモンのエラー訂正とすることも可能である。そして、最初のアドレスライン0を認識したときに、まずブロックアドレス272Aを読んでいき、当該ブロックが何番目のブロックかということをこのアドレスデータから判定する。それに対して、次ラインからは実際のデータが入っているので、それらを読み取り、当該ブロックに対応したデータメモリ部234のブロックにデータを書き込んでいく。
なお、上記説明では、1ラインを走査しているときにエラーなしとなった場合には、次のラインの走査に飛ぶものとしたが、1ライン当たり必ず4回走査を繰り返すようにしても良い。その時には、複数回エラーなしと判定されるが、データメモリ部234には、同じアドレスのところに同じデータが書かれていくだけであるので、何等問題はない。処理を簡単にしようとするときには、4回走査を繰り返す。また、速度を優先するときには、前者の走査法を採用する。
以上のデータ列調整部192の動作を実現するための、ブロックアドレス検出部228及びブロックアドレスの誤り検出,訂正部230の実際の構成を図19を参照して説明する。
復調部190は、二値化された補間データがシフトレジスタ190A上で10ビット入ってくるとそれをルックアップテーブル(LUT)190Bにより8ビットに変換する。
データ列調整部192に於いては、この復調されたデータが、書込みアドレス制御部280の制御により一旦バッファメモリ(64ドット分全部入る)282に蓄えられる。そして、データ読み出しアドレス制御部284によって、その内のラインアドレス情報とアドレス用のCRC情報だけが読み出されて、ラインアドレスエラー検出回路286によってエラー検出が行われる。このエラー検出の結果を示す判定信号が、真、即ちエラーなしとなったときには、データ読み出しアドレス制御部284は、バッファメモリ282からラインアドレス情報の前の情報、つまり実際のデータ情報を読み出す。
一方、スタートアドレス検出回路288は、ラインアドレスエラー検出回路286でエラー検出が行われたラインアドレスが、スタートアドレスかどうかを確認する。スタートアドレスを検出すると、スタートアドレス検出回路288は、ブロックアドレス検出回路290に当該ラインがブロックアドレスを持っているラインであることを情報として伝え、これに応じてブロックアドレス検出回路290は、バッファメモリ282から読み出されたデータからブロックアドレスを検出し、エラー検出回路292にてエラー検出及び訂正を行う。そして、その結果が、ブロックアドレスとして、データメモリ部234のアドレス制御部232へラッチされる。
なお、ラインアドレスに対しては正確な読み出し位置を求めるためにエラー検出のみの付加となるが、ブロックアドレスについては、アドレス情報として用いるので、エラー訂正用コードを付加する。
それ以降の次ラインからは逐次データラインになるので、データメモリ部234へデータとして書き込まれていく。その時に、処理によっては必要に応じてラインアドレスも一緒に出力する。あるいは、内部にカウンタがあれば、ラインアドレスは内部で自動的にカウントアップするという方法を採ることもできる。
そして、次のスタートアドレス「0」を検出したところで次のブロックと認識して、同様のことの繰り返しをブロック全部に対して行う。
一方、ラインアドレスエラー検出回路286から出力される判定信号は、画像メモリ214のアドレス制御部220へも供給されるようになっている。これは、上記ライン当たり4回の走査に於いて、時間的に短縮するために、データが真となったところで次のラインに飛ぶという場合に必要な信号である。
上記の例で、ラインアドレスエラー検出回路286は、真となるまでの間は4回分同じアドレス情報を使って補間データに対するアドレス検出を行う。そして、データが真となったときには、新しい次のラインの次のドットのデータラインのところに一旦アドレスを飛ばして補間データを作成後、またその中の4点づつ読出してくるという形になる。従って、そのような制御のために、画像メモリ214のアドレス制御部220に判定信号を渡して、それによって、同じアドレスを4回発生させて補間する、補間の順番を変えながら読んでくる、あるいは次のラインにアドレスを書き換えてそのライン上のデータを出してきて補間しながら4回出してくる、という処理を行わせる。
また、特に図示はしていないが、データメモリ部234のアドレス制御部232では、データメモリ部234へマッピングを行うが、さらに読み出す際に、このアドレス制御部232でデ・インターリーブの制御も行う。これもやはり、ルックアップテーブル等を使って、例えばドットごとのアドレスが発生した時に、そのブロックとライン、そしてそのドットアドレスを組み合わせたデータから、ROM等を使ってルックアップテーブルで実際に出てくるメモリデータ列となるように変換を行う。それがデ・インターリーブ(デ・シャッフリング)という作業で、その処理が行われて初めて、本来のデータ列という形でデータが読み出されるということになる。もちろん、このデ・インターリーブは、データメモリ部234からの読出し時に行っても良いし、書き込み時に、一旦そういう変換を行ってそういう順番でバラまいてデータを書き込んでいく(マッピングする)というようにしても良い。
また、この例では、マーカ274がライン状になっているが、図14に示したような丸でも良いし、あるいは四角のマーカでも良い。一旦マーカが検出されれば、あとは、ブロック内をライン上で読んでいくという構成になるので、必ずしもマーカはライン状である必要はない。例えば、図20の(A)乃至(C)に示すように、丸、四角、長方形というマーカ294,296,298が考えられる。
なお、印刷されたコードが部分的なにじみやズレがなく、ほぼ精密なものである場合は、(概中心=正確な中心)といえるので、後述する正確な中心検出を省略し、後述する概中心検出処理のみで処理することができる。ただしこの場合には、配列方向を検出するために、マーカ部分に配列方向検出用のドット294A,296A,298Aを設ける。
図20の(D)は、マルチメディア情報の再生装置の他の態様を示している。これは、検出部184のA/D変換部210を走査変換部186に移し、またデータ列調整部192のブロックアドレス検出部228及びブロックアドレスの誤り検出,訂正部230の機能を走査変換部186内で行うようにしたものであり、データエラー訂正部194以降は、図15の構成と同じであるため図では省略してある。
即ち、図20の(D)に於いて、一番大きく図15に示した構成と違うところは、走査変換部186及びデータ列調整部192である。この実施の形態では、データ列調整部192の機能を、走査変換部186内のマーカ検出部216からアドレス制御部220のところまでで同時に行うものとしている。つまり、マーカ検出部216でマーカを検出し、データ配列方向検出部218にてデータ配列方向、即ち、傾き、回転及び方向を検出する。そして、ブロックアドレス検出,誤り判定,正確な中心検出部300にて、ブロックアドレスを検出して、その誤り判定を行い、誤っているか誤っていないかで正しい中心、つまり真の中心を検出する。この場合、その真の中心を検出するに当たってブロックアドレスを検出しているので、次のマーカとブロックアドレスの補間部302にてマーカとブロックアドレスの補間を行った後、そのブロックアドレスの情報をデータメモリ部234のアドレス制御部232にも与えるようにしている。
また、図15の構成と同様に、ブロックアドレスの補間処理のデータをもとにしてアドレス制御部220にてアドレス制御を行い、画像メモリ214に対してアドレス及び書き込み、出力の制御を行う。
それ以外は、図15の実施の形態と機能的には変わらない。
なお、上記図15及び図20の(D)では、検出部184に於いてA/D変換部210で例えば8ビットの多値ディジタルデータに変換して、以後処理を行っているが、A/D変換部210の代わりに、二値化処理部(コンパレータ)188及び閾値判定回路226をA/D変換部210の所に配置し、以後の処理を全て二値データで行っても良い。
この場合、補間回路222は、図5の(A)で示したような、アドレス制御部220から得られた補間アドレス座標の回りの画素データを用いて4点或は16点補間の所謂補間処理ではなく、補間アドレス座標に一番近い(近傍)の画素データをデータとして採用することができる。
A/D変換する代わりに、二値化して処理を行うことにより、例えば8ビットの場合に比べると1/8の信号線数、並びにデータ量となる。従って、画像メモリ214及びデータメモリ部234の各メモリ容量も1/8になり、各部の処理も単純になる等、回路規模の大幅な縮小、処理量の大幅な減少、処理時間の大幅な短縮というメリットが生じ、装置の小型化、ローコスト化、スピードアップに寄与する。
なお、アドレス制御部220のアドレス出力は、図15及び図20の(D)の場合は、補間回路222への画像データ出力時には、補間アドレス座標の回りの例えば4点の画素アドレスとなり、補間回路222に対しては図示しない信号線により各画素アドレスに対する重み付け係数を算出するための距離情報となる。あるいは、各画素アドレスと補間アドレス座標データとを送り、補間回路222で各画素アドレスとの距離を求めて重み付け係数を求めるようにしても良い。
また、上記のように二値データでの処理時には、アドレス制御部220は、補間アドレス座標の近傍の画素アドレスを出力する。従って、この場合、画像メモリ214からのデータ出力は、直接復調部190に入力されることになる。
ここで、図14の概念図に示したドットコードの具体例を図21の(A)乃至(D)を参照して説明する。
ブロック304は、図14の概念図にもあるように、二次元に配列されており、それぞれブロックアドレス306が付加されている。そのブロックアドレス306は、Xアドレス、Yアドレスに対応したアドレスがついている。例えば、図21の(A)に於いて一番左上のブロックを(Xアドレス,Yアドレス)=(1,1)とする。それに対してその右のブロックのブロックアドレスは(2,1)、以下同様にして、右にいくにつれXアドレスをインクリメントしたものが、下にいくにつれてYアドレスがインクリメントしたものが付加されるという形で、全ブロック304にブロックアドレス306が付加される。
ここで、最下段のマーカと最右段のマーカについては、ダミーのマーカ308とする。つまり、あるマーカ310に対するブロック304は、それを含む4つのマーカ310で囲まれるその右斜め下のデータであり、最下段及び最右段のマーカは下から2段目及び右から2段目のマーカに対するブロックを定義するために配置された補助的なマーカ、即ちダミーなマーカ308である。
次に、そのブロック304の中身を説明する。図21の(B)に示すように、当該ブロック304のマーカ310に対し下のマーカとの間に、ブロックアドレス306とそのブロックアドレスのエラー検出コード312が付加される。また、当該マーカ310と右のマーカとの間に同様にブロックアドレス306とそのエラー検出コード312が付加される。図14の概念図では、ブロックの左上にマーカがあり、ブロックアドレスを右下に配置して示したが、本実施の形態では、ブロックアドレス306を左側と上側に配置し、マーカ310をその左上角に配置した形としている。なお、ブロックアドレス306は、1ブロック内に2ヵ所に記録した例を示してあるが、これは1ヵ所でも構わない。しかし、2ヵ所に記録することによって、一方のブロックアドレスにノイズがのってエラーを起こした場合にでも、他方のアドレスを検出することによって確実に検出することができるので、2ヵ所に記録する方が好ましい。
前述した、あるマーカに対するブロックのデータの位置と、そのブロックアドレスの位置と、それによって決まるコード上のダミーマーカの位置等は前例に限ったものではない。
次に、マーカ310のパターン例を説明する。図20の(C)に示すように、本実施の形態では、マーカ310として、直径が7ドット分の円形の黒のパターン310Aを採用している。そして、その黒丸310Aの回りの部分310Bを白として、マーカの黒い部分を判別し易くしている。また、図21の(C)に於ける参照番号310Cは、説明のための補助線である。
白部分310Bの範囲は、記録密度を上げるにはなるべく小さくしたいが、マーカ検出処理を簡単且つ高速に行うためには、大きく取りたいという要求がある。そこで、回転が45°の時の黒のパターン310Aが十分判別できるための範囲310Cが部分310B内に入るように設定している。
なお、図15及び図20の(D)に於ける結像光学系200の像倍率は、図21の(D)に示すように、データエリア314のデータドット316の大きさを、以後説明する条件に於いては、1.5画素に結像するものとする。ここでの画素は、撮像部204の撮像素子の1画素を意味する。即ち、シート182上に記録された1ドット、例えば30から40μmのドットを、通常7μmとか10μmの大きさである撮像素子上の画素の1.5画素分に、結像系レンズを通して結像するものとする。標本化定理に於いては、画素ピッチはドットピッチ以下にすれば良いが、ここでは安全を見て、以後1.5画素としている。なお、前述のA/D変換の代わりに二値化した場合の例については、更に安全を見て2画素としている。
上記のような二次元ブロック分割方式を採用することにより、以下のような利点がある。即ち、
1ドット毎のドットピッチが、撮像素子の解像度以下であれば、データドットサイズが異なってもコード(単位データブロックの集合)の読取りが可能となる;
コードに対し、撮像部204が傾いても読取りが可能となる;
シートの局所的な伸び縮みがあっても再生できるし、回転しても読取りが可能である;
総データ量に応じて単位ブロックを二次元的に自由に展開が可能になっており、その結果、コードサイズを自由に換えることができる;
ブロックアドレスがそれぞれ付加されているので、コードの途中から読み始めても再生が可能になる;
ブロック単位であれば、紙面の他の情報、例えば文字や絵,グラフ等に合わせてコードの形状を自由にレイアウトでき、図21の(A)では長方形のドットコードが示されているが、例えば、鍵型にしたり、あるいはもう少し変形させるようなことも可能である;
バーコードに於けるような所定のスタートコード,ストップコードが不要であり、またクロックコードも不要である。
また、これらの特徴を生かして、手振れがあっても再生ができる。従って、ハンディ再生装置への対応が非常にし易くなっている。
即ち、詳細は後述するが、再生装置側で、隣接する4つのマーカを検出して、マーカ間をドット数分だけ等分割することでノーマライズを行なっているため、拡大,縮小,変形等に強く、また、手振れ等に強いという利点がある。
なお、データエリア314に於けるドット316については、例えば、1ドットが数十μmの大きさである。これは、アプリケーション,用途によっては数μmレベルまで可能であるが、一般的には、40μmとか20μm、あるいは80μmとする。データエリア314は、例えば、64×64ドットの大きさである。これらは、上記等分割による誤差が吸収できる範囲まで自由に拡大あるいは縮小することが可能である。また、上記マーカ310は、同期信号としての機能だけではなく、さらにポジション指標としての機能も併せ持つ。このマーカ310は、変調されたデータにない大きさ、本実施の形態の場合は、丸形状で、データエリア314のドットに対して例えば7ドット以上とか、7×7ドット位の直径を持つ円形黒マーカ310Aとしている。
ここで、再生時の傾きや回転等について説明しておく。
上記撮像部204の傾きというのは、当該再生装置がドットコードの印刷されているシート182に対して本来は垂直に相対しなければならないところが、ユーザが再生装置を斜めに持つことにより、シート182に対して斜めになってしまった状態を指す。また、回転とは、シート182上に書かれたドットコードに対して、撮像エリア(図4の(A)参照)が平行になっていない状態を指す。
上記傾きが生じた場合、撮像部204により得られる画像は、垂直に相対した場合の画像に比べて縮小されてしまう。例えば、30度の傾きが生じた場合には、見掛上の投影された像というものは86.5%に縮小されてしまう。つまり、例えばブロック304を正方形とした場合に30度垂直方向に対して水平方向に傾くと、縦方向は1:1でも、水平部分が0.865倍になってしまい、得られるブロックの像は長方形となってしまう。このように傾きがあると、本来の内部同期のクロックを持っている場合であれば、その等間隔クロックで各部が動作するため、結果として得られるデータが本来のデータと一致しなくなることがある。
また、回転については、あくまでも水平、垂直というイメージでとらえていると、本当のデータは斜め上に上がって、あるいは斜め下に下がってきてしまうので、本当の情報が取れていないことになってしまう。さらには、傾きと回転の複合状態が生じた場合には、正方形ブロックの撮像結果が菱形になってしまい、水平と垂直のデータ配列が直交するという条件も満たさなくなってしまう。
以下、これらの問題を解決するためのマーカ検出部216について説明する。マーカ検出部216は、図22に示すように、マーカをコードの中から抜き出して判定するマーカ判定部318と、そのマーカの存在するエリアを検出するマーカエリア検出部320と、その概中心を検出する概中心検出部322から成っている。
マーカ判定部318は、7以上13以下の連続黒画素を探し、その連続黒画素が連続に7行続く場合を円形黒マーカ310Aとして認識するもので、図23に示すように、まず画像メモリ214から読出した画像データを二値化し、画素毎に黒白を識別する(ステップS32)。そして、画像メモリ214上でX軸方向に連続する黒画素を検出する(ステップS34)。即ち、連続する黒が7画素以上、13画素以下の連続する黒画素を検出する。次に、その連続した最初の黒画素と最後の画素の真ん中の画素からY軸方向に1画素ずらした点が黒であるかをチェックする(ステップS36)。そして、それがY軸方向に連続7回続いたならば(ステップS38)、それを円形黒マーカ310Aとして判定する(ステップS40)。また、上記ステップS34で検出されなく、又は上記ステップS36で黒画素でなかった場合、マーカと判定しない(ステップS42)。
即ち、マーカを画像メモリ上をチェックしていき、例えば黒画素が7個続いたラインがあったとする。すると、その最初の黒画素と最後の黒画素の真ん中からY軸方向に対して1画素ずらした点が黒かどうかをチェックし、黒であったなったならば、それを真ん中とする左右の画素が連続7画素から13画素が黒であるかというのをチェックし、同様にして1画素ずつY軸方向にずらしながら見ていき、最終的にそれがY軸方向に7回続いたならば、それを円形黒マーカ310Aとして判定する。
なお、X軸,Y軸方向に連続黒をチェックする際の最小値である7というのは、マーカ310の黒部分(円形黒マーカ310A)と変調されているデータとを区別し判別するためのもので、紙の縮みや傾きによっての縮小があってもデータエリア314部分と円形黒マーカ310Aとを区別できるように設定した下限値である。また、最大値の13は、紙の伸びやインキの滲み等を考慮して設定した上限値である。これにより、マーカより大きなゴミやキズ等のノイズをマーカと誤検出しないようにしている。
また、マーカパターン30Aを円形にしたことで、回転を考慮する必要性が無いので、上記下限値と上限値の差を最小限にすることができ、マーカの誤検出を少なくすることができる。
マーカエリア検出部320は、マーカ判定部318で判定された円形黒マーカ310Aの範囲が、傾きや画像の像倍率の変化等によって多少の伸び縮み、変形等されるので、その黒い範囲がどの領域に入っているかを検出するためのものである。
このマーカエリア検出部320では、図24に示すように、まず、マーカ判定部318で判定された円形黒マーカ310Aの仮中心画素を検出する(ステップS52)。即ち、マーカ判定部318で判定された範囲の中心の近傍にある一つの画素を仮中心画素とする。
そして、その仮中心画素から上方向(Y軸上のマイナス方向)に黒であることをチェックし、白となったら左右の数画素をチェックし、黒であるなら上方向を上記同様チェックし、黒が存在しないYアドレスまでチェックし、そのYアドレスをYmin用レジスタ(図25の(A)参照)にセットする(ステップS54)。同様に、仮中心画素から下方向(Y軸上のプラス方向)に黒であることをチェックし、白となったら左右の数画素をチェックし、黒であるなら下方向を上記同様チェックし、黒が存在しないYアドレスまでチェックし、そのYアドレスをYmaxレジスタにセットする(ステップS56)。
次に、仮中心画素から今度は左方向(X軸上のマイナス方向)に黒であることをチェックし、白となったら上下の数画素を黒であることをチェックし、黒であるなら左方向を上記同様チェックし、黒が存在しないXアドレスまでチェックし、そのXアドレスをXminレジスタにセットする(ステップS58)。同様に、仮中心画素から右方向(X軸上のプラス方向)に黒であることをチェックし、白となったら上下の数画素をチェックし、黒であるなら右方向を上記同様チェックし、黒が存在しないXアドレスまでチェックし、そのXアドレスをXmaxレジスタにセットする(ステップS60)。
こうして求まったXmin、Xmax、Ymin、Ymaxレジスタの値より、図25の(B)のテーブルに示すようにマーカエリア324を選択する(ステップS62)。即ち、円形黒マーカ310Aを含む真四角の範囲ではなく、端を取り除いた同図の(A)に於ける斜線のハッチングで示したエリアをマーカエリア324とする。マーカエリア324は、四角でも構わないが、実際にはマーカ310の白部分310Bの回りにはデータがあり、そのデータが空間フィルタの影響等によって白部分310Bの内部に黒いデータ部分の情報等が入って、概中心を計算するためのこのマーカエリア324に入ってしまうということが考えられる。それをできるだけ避けるために、マーカエリア324をなるべく小さく必要な範囲にすることが望ましく、この場合、円形黒マーカ310Aと同じ形状でつまり丸で、円形黒マーカ310Aより大きい丸いエリアを設定できれば良いが、本実施の形態では円形黒マーカ310Aは直径7ドットで構成されている小さな円であるため、同図に示すようなマーカエリア324となる。
概中心検出部322は、このようにしてマーカエリア検出部320で検出されたマーカエリア内のマーカの黒丸の概中心を見つけるためのものである。一般に、印刷等に於いては、インクの膨らみによりドットが目的の大きさよりも広がってしまったり(これをドットゲインと言う)、小さくなってしまう(これをドットリダクションと言う)現象がある。また、周辺にインクがにじんで広がったり、インクが片側に染みていくような場合が想定される。概中心検出部322は、そのようなドットゲイン,ドットリダクション、またはインクの染みに対応するために、円形黒マーカ310Aの画像に於ける中心、所謂重心を求めて、それを概中心とする処理を行う。ここでは、上記中心を1画素ピッチより小さい精度で求めるための処理である。
まず、画像上のこのマーカエリア324に対して、画像メモリ214のX軸方向とY軸方向の2通りに分けて、それぞれのX軸上の中心線とY軸上の中心線を捜すことによって、最終的な中心つまり概中心を求める。図25の(C)及び(D)は、同図の(A)に於ける各画素、縦方向,横方向の各画素を累積した値を示す図である。重心は、全体の累積値の半分のところ、つまり上下左右の累積値がイコールになる部分である。
まず、同図の(C)の場合に於いて、例えば、同図にハッチングを付して表した部分の各累積のそれぞれ加算の結果Sxlは全体の面積Sの1/2をまだ満たしておらず、次のSxcの部分をそれに加算すると1/2の面積を超えてしまうという場合には、その列Sxcに概中心を含む中心線Xが含まれていると判断できる。つまり、概中心のXアドレスは、左側(Xmin方向)より各列(Xk)の累積値を累積していき、X’+1の列を累積した時点で全体の累積値の1/2を越えた時、X’の列とX’+1の列の間に概中心がある。X’までの累積値に加算して全体の面積Sの1/2になるようにX’+1の列を左右に分割すると、その分割線上には概中心を含む。
そこで、1/2の面積からX列まで累積した部分を除いた部分、即ち(1/2)S−Sxlと、真ん中の列の累積値Sxcとの比が、Δx(概中心=X’+Δx)となる。
これを、図26の(A)のフローチャートを参照して説明する。
まず、正規化を行う(ステップS72)。即ち、マーカエリア324の各データに対して周辺を加算しても累積には影響がないように、白データ部分を0とし、黒データを仮に1として、画像メモリ214上のデータを多値データの階調を持ったデータとして正規化する。これは、空間フィルタ等によって周辺がぼけた状態になるので、その状態を適確に認識して正確に適確に重心検出をするためのものである。次に、各列Xk(k=min,min+1,…,max)の累積値Skを求めておき(ステップS74)、重心計算サブルーチンをコールする(ステップS76)。
重心計算サブルーチンでは、同図の(B)に示すように、全体の面積Sを求め、その1/2をShと、またSlを0とおき(ステップS92)、i=minつまり一番左の列から設定して(ステップS94)、Sl’=Sl+Siを計算することにより求める(ステップS96)。初めはSl=0であるので、ここはSiそのものとなり、Sl’=Sminとなる。次に、そのSl’をShつまり全体の面積の1/2の大きさと比較し(ステップS98)、Sl’がShを越えない時には、iをインクリメントし(ステップS100)、Sl’をSlに設定して(ステップS102)、上記ステップS96から繰り返すことにより、次の列を累積していく。そして、累積結果が全体の面積の半分を超えた時点で、S/2からSlを引いてSiで割ることによりΔxが求められ(ステップS104)、iつまりX’にΔxを足したものをCとして(ステップS106)、上位のルーチンに戻る。
上位のルーチンでは、Cの値を概中心のX座標とする(ステップS78)。
以下、ステップS80乃至S84で各行方向に於いて同様の処理を行い、Y座標を求め、X,Yをマーカの概中心とする(ステップS86)。
このような処理を実現するための構成は、図27に示すようになる。
正規化回路326は、白データを0、黒データを1として正規化する。この正規化回路326の出力は、累積部328で全体の面積Sを算出するよう累積され、1/2掛け算部330にて1/2にされて、ラッチ回路332にラッチされる。
一方、正規化回路326の出力は、X軸方向のブロックに関しては遅延回路334,336で遅延され、累積部338で上記の左からの順に各列が累積され、また累積部340で各列単位での累積が行われる。結果出力時には、中心の列Sxcの部分を出力する。
比較器342はラッチ回路332にラッチされた1/2の面積と累積部338で累積された各列の累積値とを比較する。ラッチ344は判定をするタイミングとその前までの列の累積を記憶するためのものである。Xアドレス算出部346は、比較器342により1/2の面積を越えたと判定された時に、ラッチ回路332にラッチされている1/2の面積と、ラッチ344にラッチされているSxlと、累積部340からの累積値Sxcと、アドレス制御部220から遅延回路348を介して供給される上記X’に相当するアドレスとから、最終的なマーカ概中心のXアドレスを算出する。
同様にして、遅延回路350,352、累積部354,356、比較器358、ラッチ360、Yアドレス算出部362を用いて、マーカ概中心のYアドレスを算出する。なお、この場合の遅延回路350,352は、ラインメモリによって構成される。
ここでの遅延回路334,336,350,352は、S/2,Sxl,Sxc,Syl,Sycの各出力タイミングをXアドレス算出部346,Yアドレス算出部362の必要なタイミングに調整するための回路である。
次に、データ配列方向検出部218について説明するが、説明の都合上、先にドットコードの各ブロック304の詳しい配置を説明しておく。ドットコードのブロック304は、図21の(B)に示したような配置となっているが、さらに詳細には、図28の(A)に示すようになっている。即ち、ブロックアドレス306は上位アドレスコード306Aと下位アドレスコード306Bとに分けられ、エラー検出コード312も上位アドレスCRCコード312Aと下位アドレスCRCコード312Bとに分けられている。そして、マーカ310横に下位アドレスコード306Bが配置され、さらにその横に上位アドレスコード306Aが下位アドレスコード306Bよりも大きな大きさで配置されている。その次に、上位アドレスコード306Aと同じ大きさで上位のアドレスに対するCRCコード312Aが、さらにその次に下位アドレスコード306Bと同じ大きさで下位アドレスのCRCコード312Bが付加されている。
マーカ310の下方にも、下のマーカに向けて上記の順序でブロックアドレスとエラー検出データが配置されている。
ここで、上位アドレスコード306Aと上位アドレスCRCコード312Aを合わせてstep1のコード、下位アドレスコード306Bと下位アドレスCRCコード312Bを合わせてstep2のコードと称するものとする。
また、下位アドレスコード306Bを分解すると、マーカ310の右側に於いては、下位アドレスデータを示すための各ドットのデータの上下(マーカ310下側の場合は左右)両方にそのデータに対して反転されるコードが記載されている。さらには、その上下のデータエリア314と区別するためのデータ余白部364が設けられている。なお、このデータ余白部364はなくてもかまわない。また、反転コードは、下位アドレスのみでなく、上位アドレスコードにも付加される。ここで、データをわかりやすくするために、ドットを丸で示したが、実際に白丸は印刷するドットの無いことを示す。つまり、白丸を印刷することではない。以下、図面に表されている白丸は、同様のことを示す。
なおここで、上位アドレスと下位アドレスとは、例えば全部のアドレスが12ビットで構成されていたとすると、その内の初めの4ビットを上位アドレスに当て、次の8ビットを下位アドレスに当てるというようなものである。データ長的には適宜装置に合わせて変えることができる。基本的には、全部のブロックアドレスに対して、初めから何番目までを上位アドレスにするか、そこからラストまでを下位アドレスにするかといったすみ分けになっている。
上記のように横と縦にアドレスコードを設けることにより1方向のアドレスコードでアドレス検出不可能であっても、もう一方のアドレスコードで検出できるという利点がある。
別のドットコードの配置について、図29の(A)を用いて説明する。同図は、図28の(A)の縦方向のアドレスコードを省いたものである。アドレスコードが1方向のみになったので、データエリアの増加と処理の高速化が図れる。アドレスコードが1方向となったことで、アドレスコードが検出できなければそのブロックのアドレスは不明となるが、後述するようなアドレス補間の処理で捕えることができる。
また、図29の(A)では、横方向のマーカ間のみにブロックアドレスコードがあるとしたが、縦方向のみにブロックアドレスコードがあるドットコードにしても良い。
あるいは、図28の(B)に示すように、下位アドレスコード306Bの間に上位のアドレスコード306A、下位アドレスCRCコード312Bの間に上位アドレスCRCコード312Aが付加される配置であっても構わない。
以下、図28の(A)のドットコードをもとに処理の説明を行う。図29の(A)のドットコードに特有の処理の場合のみ、補足説明を加える。
図30及び図31は、図20の(D)のデータ配列方向検出部218のブロック構成図及びその動作を示すフローチャートである。
データ配列方向検出部218は、上記マーカ検出部216の概中心検出部322よりマーカの概中心のデータをもらい、隣接マーカ選定部366にて隣接マーカの選定を行う。即ち、既に上記概中心検出部322の処理によって一画面上で各マーカの中心のアドレスがマッピングされており、それに対して今処理しようとする代表マーカつまり注目するマーカを設定し(ステップS112)、その代表マーカに対してどのマーカの概中心が一番近いかについて検出するための隣接マーカ選定を行う(ステップS114)。
隣接マーカの選定処理は、図32の(A)に示すように、代表マーカと隣接マーカの距離dを算出し、d≦dmaxの範囲内の隣接マーカを指定する(ステップS142)。但しこの場合、dmaxは、データブロック長辺の長さ+α(αは紙の伸縮等によって決定する)である。そして、指定された隣接マーカの中から距離dの短い順に概中心アドレスをstep1サンプルアドレス発生回路368に送る(ステップS144)。例えば、図32の(B)に於いては、代表マーカからは距離D2にある概中心アドレスが一番近く、次に距離D1とD4、そしてD3とD5の概中心アドレスという順番になるので、まず一番近い距離D2にある概中心アドレスを送る。そして、距離dが同じ場合は、距離算出開始アドレスから時計回り方向にマーカを探し、現れた順に方向検出を行う(ステップS146)。即ち、D1,D4,D3,D5の距離に有る概中心アドレスを順にstep1サンプルアドレス発生回路368に送って、後述する方向検出を行う。
即ち、step1サンプルアドレス発生回路368は、代表マーカ及び選定された隣接マーカの概中心を中心にstep1サンプルアドレスを発生し(ステップS116)、このstep1サンプルアドレス間を結ぶ走査線を発生して(ステップS118)、走査線上を等分割した点で画像メモリ214のデータをサンプルするよう読み出しアドレスを発生する(ステップS120)。アドレス制御部220は、このサンプル点のアドレスを読み出しアドレスとして画像メモリ214に与え、データを読出す。
なお、前記では、サンプル点のデータを近似して出力する(画像メモリより)如く述べたが、図5の(A)に示すように、サンプル点が画像のメモリのデータ間にあると判断した時に、周囲の4画素のデータから補間して求めても良い。
これにより読み出されたデータつまり上位アドレスコードが誤り検出回路370で誤り検出された後、上位ブロックアドレス算出及び中心算出回路372に与えられる。上位ブロックアドレス算出及び中心算出回路372は、誤り検出回路370での誤り検出の結果、誤りがあれば次の隣接マーカ選定処理を行わせるため、また、2方向のマーカが検出された場合にはもはや隣接マーカを検知する必要がないので隣接マーカ選定処理を終了させるために、アドレス算出結果を隣接マーカ選定部366に送る。
なお、図29の(A)のドットコードを使用した場合には、1方向の上位アドレスコードを検出したらマーカ選定処理を終了する。
そして、このアドレス算出結果によりアドレスエラーがあることが示される場合には(ステップS122)、全サンプル点の走査が終了したかどうかを判定し(ステップS124)、まだであれば上記ステップS118へ進み、全サンプル点走査が終了していれば未検索隣接マーカの有無を確かめ(ステップS126)、有れば上記ステップS114に進み、無ければ、全マーカについて同様の処理を行う。全マーカについて処理を終了した後に、マーカ,アドレス補間処理へと進む(ステップS128)。
なお、誤り検出回路370は、テレビジョン学会誌Vol.44,No.11,P.1549〜P.1555の「符号理論手解き」等に開示されているような巡回符号に基づいた誤り検出等の一般的なものを使用しても良い。
一方、上記ステップS122でアドレスエラーがない場合には、全サンプル点の走査が終了したかどうかを判定し(ステップS130)、まだであれば上記ステップS118へ進み、全サンプル点走査が終了していれば上位アドレスを確定し(ステップS132)、step1中心アドレスを算出して(ステップS134)、決定する(ステップS136)。
即ち、代表マーカより最至近距離のマーカ(図32の(B)では概中心アドレスが距離D2にある)より方向を検出する。検出方法は、方向検出用にデータドットより大きいドットコード(step1コード)に記録されるアドレスが認識できるかによってどの方向に周辺のマーカがあるか判別する。step1コードは、上位のブロックアドレスとそのCRCコードが記録されており、コードを走査した時に誤りが無ければ認識されたとする。
方向が検出されると、データブロックの傾きが予測可能となる。step1コードは、方向性が有り、代表マーカから周辺のマーカに向かって走査した時のみブロックアドレスが正常に認識される。よって、認識エラーが生じない場合は、常に2方向のブロックアドレスコードが検出される。2方向のブロックアドレスコードが検出されるまで処理を行う。また、2方向の位置関係よりデータ配列が推測できる(図32の(C)参照)。
なお、図29の(A)のドットコードの場合は、1方向のみアドレスコードが検出される。その際、データエリアは検出できたラインと走査方向よりデータエリアを認識することができる(図29の(B)参照)。
実際の動作に於いては、代表マーカから最も短い距離である距離D2から方向検出を行い、アドレスが認識されなければ、時計回りにサーチを行うので、次に近い距離D1にて同様の動作を繰り返す。検出は、時計回りに行うとすると、距離D4,D3,D5と検出は続く。2方向検出されるまで処理を行う。
なお、図29の(A)の場合は、1方向検出されるまで処理を行う。
1方向検出できれば、他方向が予測できる場合もある。例えば、D4,D5が順方向とし、D2の存在がなく、D4からサーチを始めたとすると、D4にてアドレスが確認されると、D3,D5のいずれかにアドレスを認識できることが予測される。
上記のような方向検出処理を、図33の(A)を参照して、さらに詳細に説明する。
マーカ検出部216の概中心検出部322で検出された代表マーカの概中心を、同図上方左側のドットA5と規定し、それから1.5ドット(これは処理によって適宜変更可能)離れた8つのサンプル点A1〜A4,A6〜A9をstep1サンプルアドレス発生回路368で発生する。同様に、方向検出しようとするマーカ例えば距離D2の概中心(同図上方右側のドットB5)を中心に、サンプルアドレスを発生させる。
ここで、1.5ドット間隔にした理由を述べる。
先程、マーカ概中心を求める処理の際、中心との差異が1ドット以内になるごとく記述したが、それはインクのにじみ等の不具合が発生しないと仮定した場合である。インクのにじみ等を考慮し、検出範囲を±1.5ドットとした。
アドレス制御部220は、両マーカのアドレス間に対してある一定のラインを引く。最初はドットA1とB1に走査線を引く。そして、上位アドレスがサンプルできるような形で、サンプルクロックを設けて、画像メモリ214のデータサンプルを行う。
図28の(A)に示したように、上位アドレスコード306Aに対しては、その次にCRCコード312Aが付加されているので、そのデータサンプルによって正しく読めた場合には、上位アドレスに対して誤り検出回路370での誤り検出結果が問題ないという形で検出され、正しく読めなかった場合には、誤りがあるというように判定される。
そして、以下同様に、ドットA1とB2、A1とB3、A1とB4というように順次走査線を引いていき、それごとに、エラー検出があっているかどうかチェックを行う。トータルで、代表マーカ側に9個のポジションがあり、検出マーカ側に9個のポジションがあるので、81通りの処理を行うことになる。
81通りの処理全部についてエラーになったときには、そちらの方向に方向コードがない、つまり検出側マーカが配列以外のマーカ(誤検出されたマーカ)であると判別する。
例えば、図33の(A)では、ドットA1とB7について引いた走査線(点線で示す)に於ける各サンプル点でデータをとると、同図に破線の丸で示したサンプル点はデータより外れているので、誤検出となる。特に、前述したように、アドレスデータドットの上下側に反転コードを設けているので、必ずエラーになる。
一方、ドットA5とB5を繋いだ場合は、きちんとデータがとれているので、検出エラーはなく、よってこちらの方向にコードがあるというように認識される。
なお、エラー検出を起こし易くするために上下に反転コードを設けるものとしたが、これは必ずしも上下に設ける必要はなく、例えばアドレスデータドット上下は白のコードを記載し、アドレスデータドットを後半数ドット分だけ黒のデータが続くような形式とすることができる。このようにすると、必ず検出マーカ側の端の方が黒のデータになり、その外側が白の余白になるので、データエラーが正しく検出できるようになる。また、反転コードにした場合も、反転コード部全域に設ける必要はなく、両側の一部に設けても良い(図28の(C))。
ここで、ドットの大きさについて説明しておく。図33の(B)に示すように、上位アドレスコード306Aの各ドットの大きさをnドット、step1コードの幅をmドットとすると、m及びnの関係は、step1サンプルアドレスの内側端に於いて、中心に対して2ドットの幅を設けて対角線を引き、上位アドレスコード306Aをどれだけ設けるかによって決まる幅mを長辺とし且つ上記対角線をその対角線とする長方形の高さがnとなる。即ち、mが決まればnが必然的に決まる。step1サンプルアドレス内側端の間を全部このアドレスコードとしたとしても2ドットまでしかないので、nドットというのは、2ドットまでの幅となる。また、1ドットの横幅については決めないが、データを認識しやすい横幅が好ましい。
なお、上記2ドットというのは、例えばドットA5とB5を結んだ走査線ではヒットするが、ドットA6とB4を結んだ線及びA2とB8を結んだ線ではヒットしないという範囲を得ることができるように規定している。それよりも大きくすると、例えば、ドットA5とB5でヒットする場合、A2とB8を引いたところでもヒットしてしまうということが起こり、中心として検出されることが広がってしまう。この値も、装置に合わせて変更可能である。
また、図33の(A)の例では、ドットA5とB5についてヒットしているが、同じくドットA4と例えばB4の結んだ線でもヒットしてしまったという場合には、次の中心検出のstep2という段階で、ドットA4とA5の中心を起点にして、それを中心に同じく探索を行うといったような処理を行っていくこととなる。
また、別の方法も考えられる。図34を用いて説明する。ここで、A4とA5、片側もB4とB5がヒットした場合、同図に示すサンプルアドレス(A41〜A45,A51〜A55,B41〜B45,B51〜B55)を次のstep2のサンプルアドレスとしても良い。この場合、step2に於けるサンプルアドレス点が9個から10個に増すために処理数も81から100(走査線数)に増えてしまう。しかし、A4とA5の中点を導き出す処理及び、予め決められたサンプル点を使用しているために、中点を中心に9点のstep2のサンプルアドレスを発生させる処理が無くなる。総合的にみて、処理は軽減すると思われる。
さらに、A4とA5の間にstep2の正確な中心があると仮定して、A42〜A44,A52〜A54とB42〜B44,B52〜B54を結ぶ走査線にてアドレス検出処理を行うとすると、処理数は81から36(6×6)と少なくなるという考え方もできる。
上記処理にて、step1での大まかな中心が求まる。
以上説明したように、CRCを検出することによって、そちらの方向にデータブロックがきちんと配列されているかどうかの検出を行う。図32の(B)に於いては、当然、距離D2にあるマーカは誤検出されたマーカになるので、そちらの方向にデータの方向を見ていたときには、上位アドレスのコードがないわけであるから、結局81通り検知したところでそちらの方向に誤りが全部生じることになり、方向がないと判定されることになる。
こうしてD2がないと判定されたとき、次に近い距離はD1とD4になるが、今注目していたマーカに対して時計回りに回るので、次に距離D1について処理を行う。前述したようにデータ配列的には左から右及び上から下の向きにしか判定が可能になってこないため、この場合、代表マーカから距離D1のマーカに向けた方向で処理を行うことになり、逆方向から、つまりCRCコードから先に読み、次にアドレスコードを読むことになるので、これは当然の結果、誤りと判定される。従って、距離D1については、方向がないと判定される。
次に、距離D4について判定する。D4については、代表マーカから距離D4に沿って読んで行った時に、アドレスコード、CRCコードという順番で読み込まれるので、D4については方向性があるという判断がくだされる。即ち、エラーは生じない。
次に、判定すべるきものが、等距離となる距離D3とD5になる。それに対して、時計回りなので、まず距離D3から処理を行うことになる。このD3ついても、上記のようにCRCコードが先に読み出すことになるので、方向性がないと検知される。そして、最終的には、距離D5を読んで、こちらのほうに方向があるというふうに判断する。
結果的に、距離D4とD5が読み込まれるので、図32の(C)に斜線ハッチングで示す部分に、距離D4,D5の部分に記載されているブロックアドレスに対するデータが書かれていることを認識することができる。最終的には1つの代表マーカに対して2方向検出されれば、そちらのブロックの方向が検出できるので、2方向が検出できるまで処理を行うことになる。
図29の(A)のドットコードの場合には、1方向のみ検出される。(図29の(B)に於いてD5となる)1方向検出されるまで、処理を行うことになる。
なお、上記5つの方向の全てに対して処理を行ってエラーとなった場合、対角線方向のマーカに対して上記方向検出処理を行うこととなるが、この場合、処理数の増大を防ぐために、ある範囲外のものは処理を行わないようにし、得られなかったアドレス情報等は、マーカ,ブロックアドレス補間処理により必要な情報を得るようにする。
また、前述したように、ブロックアドレスについては変調をかけないようにしているが、変調をかけた場合には、当然、ブロックアドレスコードを認識した後に復調という処理が必要になる。
なお、上記説明では、上位アドレスの誤り検出を使って方向性があるかどうか判断するものとしたが、例えば、上位アドレスCRCコードの代わりに、「11100001」のような方向性のあるパターンを使い、パターンマッチング的に「11100001」が検出されたときに、そちら方向に方向性があるマーカがあるということを認識するような手法を採用することもできる。
上記方向検出に於いて、全マーカとも時計回りに隣接マーカを捜す必要がなく、次のブロックは、その方向に上位アドレスコードを認識するための動作を行うようにしても良い。その方が、処理数が軽減する。また、上位アドレスの検出に異常が生じた場合にも、周辺の方向検出により得られた方向にコードがあると認識しても良い。
次に、ブロックアドレス検出,誤りの判定,正確な中心検出部300を、図35の(A)のブロック図及び図36のフローチャートを参照して説明する。
上記データ配列方向検出部218の上位ブロックアドレス算出及び中心算出回路372は、上位アドレスが検出できたときに、その上位ブロックアドレスを次のブロックアドレス検出,誤りの判定,正確な中心検出部300のブロックアドレス算出及び中心算出回路374に送る。また、上位アドレス検出時の大まかな中心が分かってくるので、この中心アドレスをstep2サンプルアドレス発生回路376に導く(ステップS152)。
step2サンプルアドレス発生回路376は、この大まかな中心のサンプルアドレスを発生させる(ステップS154)。即ち、図35の(B)に示すように、先ほど求めた大まかな中心(方向検出の中心)に対して、上記同様に8点、外にサンプルアドレスを置く。そして、方向性が見つかったマーカに対して8点また同じように設けて、同様に走査線を引いて(ステップS156)、下位のアドレスが検出できるか、検出できないかといった処理を行う。この場合、サンプルアドレスを作るデータ間隔は、本実施の形態では0.5ドットおきに規定しているが、装置の仕様によって適宜変更可能である。
そして、アドレス制御部220は、発生されたサンプルアドレスに基づいて画像メモリ214からデータを読み出し、このサンプル点に従ったデータを誤り検出回路378に導き出す(ステップS158)。方向検出時同様(図5の(A)に示すように)、サンプル点が画像メモリのデータ間にある時には、メモリ上の1データを代表する方式ではなく、周囲のデータから補間して導いても良い。誤り判定でエラーになった場合には(ステップS160)、全サンプル点の走査が終了したかどうかを判定し(ステップS162)、まだであれば上記ステップS156へ進み、全サンプル点走査が終了していれば、全てのブロックについてアドレスが検出された後に、マーカ,ブロックアドレス補間処理へと進む(ステップS164)。
一方、上記ステップS160でアドレスエラーがない場合には、全サンプル点の走査が終了したかどうかを判定し(ステップS166)、まだであれば上記ステップS156へ進み、全サンプル点走査が終了していれば下位アドレスを確定し(ステップS168)、正確な中心(step2中心)を決定する(ステップS170)。
即ち、誤り検出回路378で誤り検出を行い、誤り判定でエラーになった場合には、次の処理に行く。ブロックアドレス算出及び中心算出回路374には、アドレス制御部220から中心検出時スタート及びエンドアドレス、つまりどの点とどの点を今結んでいるかという信号が与えられており、その点での誤り判定の可否を判断する。ブロックアドレス算出及び中心算出回路374は、誤り検出がない場合には、導き出された下位のアドレスを、上位ブロックアドレス算出及び中心算出回路372から送られてきた上位のアドレスと組み合わせて、ブロックアドレスとして、次のマーカとアドレスの補間部302に導き出す。同様に、中心のアドレスも、マーカとブロックアドレスの補間部302に導き出す。
なお、図35の(B)に於いて、0.5ドットに設定したのは、0.5ドットの範囲でサンプル点を検出することによって、この処理で最終的に求まった中心(方向検出の中心)と真の中心との差が、1/4ドット範囲におさまるからである。1/4ドット範囲におさまれば、上記処理で形成されたサンプル点をとれば、データエリアのところのデータをきちんと再生できる。
また、step2コードのドットは、一番最小が1ドットなので、それより小さいデータ配置はデータとしての意味が成さないことになるので、1ドットで形成している。
なお、step1コードの場合と同様に、アドレスデータドットの上下に反転コードを設けても良いし、終りのほうの数ドットに黒のデータを設け、回りを余白部とするようにしても良い。また、アドレスコードとデータコードを区別するためのデータ余白部364は、データエリア314と区別する領域が、例えば黒で重なったとしても、マーカと間違える確率が非常に少ないので、このデータ余白部364を設けないで、反転層から直接データエリア314に入るようにしても良い。
また、図35の(B)に示すように、結果的に下位アドレス、上位アドレスといった形で全データ長のほぼ1/2データ長で、さらに、同じ大きさでCRCコードを付加している。その理由は、このアドレス長に関して全部にノイズがのってしまったとか、インクがついてしまったとか、そういった状態のバーストエラーに対しても検出可能なように、このデータ長に設定してある。このデータ長の割合も、適宜変更可能である。
以上のような木探索処理、つまり大まかな中心を求めて、さらに細かな中心を求めるような検出方法によって、データエリア314のデータをサンプルするための正確な中心と、ブロックアドレスが認識されたことになる。即ち、木探索という処理を行うことによって、最初から細かいピッチでサンプルを行うよりも、大幅に処理が軽減され、処理量と処理時間が軽減される。また、ブロックアドレスを方向の検出並び正確な中心検出に使うことによって、全データ量の冗長度を少なくすることが可能になる。
次に、図37の(A)を参照して、マーカとアドレスの補間部302について説明する。今、同図に於いて、ブロックB2についてのマーカが検出されない、またはアドレスが検出されなかったというエラーに対して、回りの黒のマーカ部分は検出されていたとする。
この場合、まずブロックB1のマーカとブロックB3のマーカの求まった中心を結ぶ線を引き、またブロックA2のマーカとブロックC2のマーカの求まった中心を結ぶ線を引いて、その交点を予測中心とする。そして、その予測中心点からさらにブロックC2のマーカ及びブロックB3のマーカに向けてアドレスの検出や処理を行うことができる。また、アドレス検出を行わなくても、配列が分かっているので、ブロックB1の下にブロックB2が存在する場合には、回りのアドレスからブロックB2のアドレスは設定されるので、あえて検出しなくても推定することができる。即ち、回りの処理から今注目している予測できなかったブロックのアドレスとマーカ中心を検出することができる。
マーカとブロックアドレスの補間部302は、正常に読み込まれたアドレスデータや中心位置と補間したアドレス、予測中心の情報を合わせてアドレス制御部に導いている。
なお、画像メモリ214に同図に示すように取り込まれ、走査方向が矢印方向である場合には、大体左上の方を最初の代表マーカとして、それについてから処理を行う。順次、縦方向について中心検出を行い、最初の縦方向の検出を行うことで8つ(ブロックA1〜A4のマーカ及びブロックB1〜B4のマーカ)の中心が求まることになる。そして、次の縦列の中心検出を行うときには、ブロックB1〜B4のマーカの中心は既に分かっているので、それらに対して処理は行わず、それらの中心を対象にして、ブロックC1〜C4のマーカの大まかな中心、step1の中心、step2の中心を求めていく。従って、前述したように81通りの走査線は必要なく、1度中心が求まってしまえば後段の9点についてサンプルようするに処理を行えば良いので、9通りの処理、さらに細かいので9通りの処理、すなわち18通りの処理で中心が求まることとなる。このように、最初だけ処理が多いが、その後の処理は軽減するといったメリットがある。
図29の(A)のドットコードの場合には、まず始めに、左上のA1を代表マーカとしてA1,B1,C1と横方向に方向検出処理を行う。処理は、A1とB1のマーカ中心が求まると、C1の中心検出処理は、9通りの処理で良い。A1の下のブロックがA2であると判断するには、アドレスコードが無いために、以下に述べるように処理を行う。
即ち、A1マーカとB1マーカの長さからブロックの大きさを判断し、予測したブロックの大きさから適当な位置にあるマーカから検出をはじめても良いし、A1のすぐ下にあるマーカをまずは代表マーカとして処理を行うようにしても良い。そして、検出されたブロックアドレスにて横方向のブロックアドレスが一致したブロックをA2とすれば良い。2段の方向検出(図ではA1の段とA2の段)が終了すれば、縦方向(A3のマーカを選定する処理)の処理に於いて方向が予測できるので、その方向にあるマーカのみ検出処理を行うようにすれば良い。誤検出されたマーカがある場合でも、除いて処理を行うことが可能となる。
次に、図37の(B)のブロック構成図を参照して、図20の(A)のアドレス制御部220について説明する。
まず、アドレス制御部220に於いては、画像メモリ214にA/D変換部210からのデータを書き込むときにアドレスを発生させる書き込みアドレス発生部380によって発生されたアドレスで、画像メモリ214にはA/D変換部210のデータがストアされる。
そして、前述したように、マーカ検出部216、データ配列方向検出部218、ブロックアドレス検出,誤りの判定,正確な中心検出部300、マーカとアドレスの補間部302のそれぞれに於いてアドレスを発生する必要があり、そのためのアドレス発生部382〜388が構成されている。なおこの場合、マーカ検出用アドレス発生部382、データ配列方向検出用アドレス発生部384、ブロックアドレス検出,誤りの判定,正確な中心検出用アドレス発生部386に於いては、対応するマーカ検出部216(内部のマーカ判定部318、マーカエリア検出部320、概中心検出部322)、データ配列方向検出部218、ブロックアドレス検出,誤りの判定,正確な中心検出部300と情報のやりとりをしてアドレスを発生させる。また、補間処理用アドレス発生部388は、ブロックの回りの4つのマーカが存在するブロックにつき、各マーカの正確な中心を画像メモリ上に対応させたアドレス(以下、マーカアドレスとする)とデータ数よりそのブロック内を等分した補間アドレス座標データ及びその周辺の画素データのメモリ読み出しアドレスを発生させる。
選択回路390は、これらアドレス発生部382〜388をそれぞれのタイミングに於いて選択し、レンズの収差歪み補正回路392に供給する。そして、レンズの収差歪み補正回路392は、レンズの収差歪み用メモリ224からのレンズの収差の歪み情報を受けて、選択的に供給されたアドレスを変換(補正)し、選択回路394を介して画像メモリ214に読み出しアドレスとして与える。
次に、マーカ検出部216の中のマーカ判定部318の別の実施の形態を、図38の(A)乃至(C)を参照して、説明する。
前述の実施の形態では、ドットコードのサイズを決めた場合に、その1ドットが撮像部204の撮像素子1.5画素分になるように結像光学系200によって結像し、マーカ判定部318に於いて、二次元的に連続する黒画素を見付けて、マーカとして判定するようにしていた。これに対し、本実施の形態は、ドットサイズの違うコード、例えば、ドットサイズが20μmのコード、40μmのコード、80μmのコードがあった場合に、結像光学系200での像倍率を変えずにそれぞれのコードを再生できるようにするものである。
即ち、各種アプリケーションに於いて、紙質やシートの性質、インク、印刷のレベルが異なり、そのため各アプリケーションに応じたドットサイズのコードを使うこととなる。例えば、非常に記録密度を上げることが可能な場合には20μmを使い、シートの質が悪い非常にラフなローコストなシートを使ったアプリケーションによっては80μmを使うという状況が考えられる。そのような状況に於いて、そのサイズを判断して、このコードを正しく再生したいという目的がある。
即ち、同図の(B)に示すように円形のドットサイズ20μmのマーカ、ドットサイズ40μmのマーカ、そしてドットサイズ80μmのマーカがあり、本実施の形態の適用された再生装置は、例えば、20μmのコードを効率良く再生するための装置、つまり1回の撮像でより多くの情報をデコードできる結像系の倍率を持った装置であるとする。そして、この20μmのドットに対して1.5倍の像倍率で撮像される装置に於いて、40μm、80μmの各コードも結像系を像倍率を変えずに再生することができるようにすることが目的である。ただし、同図の(B)で示したマーカの大きさは、各ドットサイズの7倍の直径とした。
そのため、同図の(A)に示すように、まず、選択したい最大のドットサイズのコードを初期設定とする(ステップS182)。例えば、80μm、40μm、20μmのコードが存在し、それを全て再生したい場合には、最大のサイズである80μmとする。これは、ユーザによるキー入力で設定するようにしても良いし、80μm、40μm、20μmの3種類のものがあると決めて、そのサイズにだけ対応できるという場合には、装置自体でその一番大きなサイズの80μmとして設定するようにしても良い。
そして、同図の(B)中のマーカ判定式での判定をして仮中心を求める(ステップS184)。
即ち、各ドットサイズの7ドット分をマーカとしてコードが作られているとすると、その時に、画像としては、結像光学系が1.5倍の像倍率を持つため、20μmのコードの場合は直径が10.5ドット分、40μmのコードの場合は21ドット分、80μmのコードの場合は42ドット分になる。そこで、7画素以上12画素以下、黒画素が二次元的に連続すれば20μmのコードのマーカとして判定し、14画素以上24画素以下のものは40μmのコードのマーカと判定し、29画素以上47画素以下のものは80μmのコードのマーカと判定する。
この画素の値は、次式により算出される。
r=s×d×m
int(r×0.7)≦R≦int(r×1.1+1)
但し、
r :マーカの直径相当画素数(=7)
s :ドットサイズ(20μm,40μm,80μm)
m :結像系像倍率(=1.5)
d :マーカの直径のドット数
R :二値画像でのマーカの直径画素数
0.7:傾き、ドットリジェクション等による縮小率
1.1:ドットゲイン等による拡大率
である。
そして、まず上記ステップS182で80μmのコードのマーカと初期設定されているので、このステップS184では、上記マーカ判定式で80μmのコードのマーカかどうかをチェックし、その大きさのマーカ(80μmのドットで構成されたマーカ)があると判定したものに関して、仮中心を求める。
次に、そのマーカの数をチェックして、それが4個以上あることをチェックする(ステップS186)。これは、1つのブロックが4個のマーカで囲まれて構成されているという意味から、1つ以上のブロックがあるかどうかという判定を行っていることになる。
そして、そのマーカが同図の(C)に示すような隣接マーカと所定の位置関係にあるか、つまり整列が成されているかどうかを確認する(ステップS188)。即ち、注目マーカAの近傍に有るマーカBと、注目マーカAに対してそれらマーカA,Bを結ぶ方向と垂直な方向で距離D離れた位置の近傍に有るマーカC、それにマーカBを基準にマーカAからCの方向と同じ方向で距離D離れた位置の近傍に有るマーカDを検出する。それらが存在すれば、例えばこの場合80μmのコードであると判定する。
また、上記ステップS186に於いて、80μmのコードのマーカが4個以上なかったならば、あるいは上記ステップS188に於いて、整列されていないと判断された場合には、これは80μmのコードではないと判断され、1つ小さなコード、この場合40μmに設定し直してから(ステップS190)、上記ステップS184に戻って、もう1回マーカの判定を行う。
もし、一番小さなサイズの判定に於いても判定できなかった場合には、コードでない場合か、またはコードであっても再生不可能ということで、処理を終える。この場合、アラームを出すなどの警告を発する処理に進むことが好ましい。
次に、マーカ判定部318に於ける別の実施の形態を説明する。即ち、マーカパターンと変調されたデータを一般的な画像処理であるダイレーションにより判定する方法を説明する。ここで、ダイレーションの処理は、白画素の近傍黒画素を白画素に変換する処理とする。詳しくは、例えば注目画素の3画素周辺の画素(注目画素を中心とした7×7画素のエリア)をチェック(白黒判定)し、1画素でも白画素があれば、その注目画素を白画素に変換する処理を画像上全画素について行う。
まず、画像メモリのデータに対して二値化処理を行う。
次に、上記ダイレーション処理により、コード画像のデータ部分のみを全て白画素に変換し、且つマーカのパターン部は当初の大きさよりダイレーションした画素数分だけ小さくなった画像に変換される。
次に、その画像上の白画素から黒画素への変化点の画像メモリ上アドレスとその画素からの黒画素の連続数を計数し、その情報より各マーカ毎にその情報を分類し、上記仮中心アドレスとマーカ存在範囲を検出する。その後、概中心検出処理を行う。
これにより、高速にマーカの判定且つマーカ存在範囲を検出することができる。
また、マーカに対して前述したドットゲインやドットリダクションのようにマーカ中心に対して均等な変形が生じたコードの場合は、上記マーカ判定で求めた仮中心アドレスをそのまま概中心とすることもできる。
図38の(A)のステップS184の処理を上記処理としても良い。
前述したA/D変換部をコンパレータによる二値化で行う場合は、上記マーカ判定処理に於いて、二値化処理を省くことができる。
次に、図15や図20の(D)に示す再生装置の検出部184に適用可能な光源一体型イメージセンサを説明する。図39はその構成を示す図で、例えば、受光セル396の横に、例えばLEDやエレクトロルミネッセンス素子等の化合物半導体により発光セル398をオンチップで形成する。受光セル396と発光セル398の間には、ウエハ上で実際にカッターを入れて溝を作り、そこに非透過のもの、例えばメタルを埋め込んだアイソレーション(遮光)部400が設けられている。このアイソレーション部400によって、発光セル398から出た光が直接受光セル396に入るという不具合をなくすことが可能となる。
このような構成に於いては、発光セル398は、図16のタイミングチャート示すような発光セルコントロールパルス信号に従って発光を制御される。受光セル396は、図示しない電荷転送ゲートに電荷転送ゲートパルス信号を印加することで、蓄積された電荷を隣接する垂直電荷転送レジスタ402に送る。垂直電荷転送レジスタ402は、垂直電荷転送パルスにて1ラインずつ蓄積電荷を水平電荷転送レジスタ404に送る。水平電荷転送レジスタ404は、水平転送クロック信号により蓄積電荷を1画素ずつバッファアンプ406を介して出力する。
次に、前述した再生装置の回路の中で、復調回路の前段までをアナログ回路で実施し、なおかつ1チップで構成した場合の実施の形態について、図40を参照して説明する。本実施の形態では、撮像部として、例えば特開昭61−4376号公報に開示されているようなCMDに代表されるXYアドレス式撮像部408を用いることによって、メモリを不要とし、そのため回路系が少なくて済むので、1チップで構成することが可能となる。このXYアドレス式撮像部408をアドレススキャンするためにXデコーダ410及びYデコーダ412が用意されている。
通常のXYアドレス式の撮像部では、CCDと違って、1ライン読出した後に、このラインをリセットをかけて次のラインを読み出す、つまりあるラインを読んでいる間に、他のラインが露光期間に入るといった読み出し法をとるのが一般的である。しかし、そのような読み出し法では、撮像時間中に外光が入ってしまった時に、余分なところを露光してしまうというデメリットがあるので、本実施の形態では、XYアドレス式にしながらも、なおかつ、素子シャッタと併用して、外光が入ってきた時つまり露光すべき時だけ露光して、それ以外のところは露光しないという動作をさせる。
撮像素子走査アドレス発生及び素子シャッタ制御部414は、このようにXYアドレス式に素子シャッタ的な動作を設けるための素子シャッタパルスを発生し、全画素リセットするためのリセットパルスを発生する。
Xデコーダ410、Yデコーダ412というのは、この撮像素子走査アドレス発生及び素子シャッタ制御部414からのXアドレス及びYアドレスに対して、何れか一つの素子をオンにさせる回路である。通常は、シフトレジスタ等で構成されるが、本実施の形態では、撮像素子走査アドレス発生及び素子シャッタ制御部414からの信号によって何れか一つの素子をオンできるというタイプのセレクタになっている。
本実施の形態に於けるリセットパルスというのは、図16のタイミングチャートの撮像素子リセットパルスに相当するもので、撮像素子を露光の前段でリセットし、このリセット期間中、リセットパルスをハイにすることによって、スイッチ416を切り換え、負電源418のほうに全ての電荷を引き込む。
素子シャッタパルスは、図16中に破線の波形で示すように、リセットパルス終了後から露光終了後までの間ゲートをかけられるような形で発生される。
読み出しは、通常のパルスと同じように、各素子を順次オンしていって、信号電荷を、リセット時選択スイッチ416を介して、電流電圧変換アンプ420で増幅後、マーカ検出部422に供給する。マーカ検出部422は、前述したものと同様のものであり、マーカ検出したデータはレジスタ424に記憶される。θ検出部426は、レジスタ424の内容をもとに、前述したような方向検出部のように傾きを求める。例えば、図20の(D)に示した回路では、θ検出部426というのはデータ配列方向検出部218にあたり、次のデータ間隔制御部428ならびに撮像素子走査アドレス発生及び素子シャッタ制御部414がアドレス制御部220に相当する。
そして、データ間隔制御部428の制御により係数発生部430から発生された補間のための係数は、乗算回路432にて読み出された電荷に掛けられ、加算回路434にて全て加算される。即ち、該加算回路434の出力は、サンプルアンドホールド(S&H)回路436でサンプルアンドホールドされ、スイッチ438を介して該加算回路434に戻される。この動作は、方向、走査線が確定した後に、データをサンプルする際、図5の(A)に示すようなデータ補間をするために行う。図5の(A)に於いては、Qのデータを得るためにD6,D7,D10,D11に係数をかけて補間している。こうして補間された値がさらにS&H回路440でサンプルアンドホールドされて、このサンプルアンドホールドされた値に対して、コンパレータ442及び閾値判定回路444で二値化が行われる。
XYアドレス式撮像部408の各撮像素子(画素)についてさらに詳細に説明する。各画素は、図41の(A)に示すように、2個のCMD素子で構成されており、素子シャッタ用パルスが第1のCMD素子446に入り、素子シャッタ用に蓄積されるコンデンサ448のところに電荷を蓄積する。その後、第2のCMD素子450をYデコーダ412より読出し用のパルスを駆動してラインを選択し、水平選択スイッチ452から画素毎の電荷を読み出す。
露光時には、素子シャッタパルスにより第1のCMD素子446を素子シャッタ動作させて、素子シャッタ用コンデンサ448に電荷を蓄積する。こうして電荷を蓄積すると、遮光され、Yデコーダ412より読み出し用パルスを加えてラインを選択し、水平選択スイッチ452によって第2のCMD素子450をオンさせて1画素ずつ読み出す。
電荷をリセットするときには、撮像素子走査アドレス発生及び素子シャッタ制御部414から出力されるリセットパルスにて、水平選択スイッチ454を全てオンし、リセット時選択スイッチ416を負電源418側にする。CMD素子450のソースが負電圧になるため、素子シャッタ用コンデンサ448とCMD素子446のゲートに蓄積された電荷が負電源に移動しリセットされる。
上記動作以外に、素子シャッタ用パルスと読み出し用パルスの電圧を同時にもう少し高い電圧を印加してもリセットできる。
なお、通常の撮像素子の場合、暗電流というのが問題になるが、本実施の形態の場合には、図16に示す素子シャッタパルスがハイの期間だけにしか露光しておらず、電荷をすぐ読出してしまうといったような状態であるので、暗電流が蓄積する時間は実際には非常に短く、よって、S/N比的には他の撮像素子の動作に比べると有利なものである。露光は、この短い露光期間でも十分な光量が与えられるので、信号のレベルはそのままで、なおかつ暗電流に対するS/Nレベルというのは少なくなってくるので、本実施の形態を応用することによって、後段の電流電圧変換アンプ420の出力度合いのゲインについてはかなり大きなものを設定することができまる。
本実施の形態では、以上のような素子シャッタ動作を行う画素構成としたが、特開昭61−4376号公報に開示されるような素子シャッタ動作が可能なCMD素子を利用することも可能である。
次に、図42を参照して、上記のようなXYアドレス式撮像部408を利用した回路を、三次元IC的に構築した実施の形態を説明する。なお、本実施の形態は、オーディオ情報の再生装置の場合である。
これは、シート182の紙面に対してCMD408とXデコーダ410、Yデコーダ412がある撮像部層454と、その撮像部層454に対して積層されて形成されたデータを検出する検出部層456と、その検出部層456に対して積層されて形成された出力処理層458でなる。出力処理層458は、復調部190、エラー訂正部194、伸長処理部256、データ補間回路258、D/A変換部及び出力バッファ266等を含み、デコードしたオーディオ情報をイヤホン等の音声出力装置268で音として再生する。
もちろん、この出力処理層458は、前述したように、画像情報を含めたマルチメディア情報を再生するように構成することも可能である。
このように三次元ICにすることによって、1つのチップで音の出力までの処理ができるので、非常に回路規模が小さくなり、またコストダウンにもつながる。
次に、ペン型のマルチメディア情報再生装置の各種構成例を説明する。
例えば、ペン型情報再生装置には、ドットコードを取り込むタイミングを指示するためのスイッチを設けることができる。
図41の(B)はその一例を示す図で、このペン型情報再生装置は、図15或は図20の(D)に示したような再生装置に於ける光源198,結像光学系200,空間フィルタ202,撮像部204,プリアンプ206,及び撮像部制御部212を含む検出部184がその先端に設けられ、走査変換部186,二値化処理部188,復調部190,データエラー訂正部194,伸長処理部256,及びデータ補間回路258,等を、画像処理部460、データ処理部462、データ出力部464として内蔵している。そして、音声出力装置268としてのイヤホンを持っている。なお、この図では、オーディオ情報の出力装置しか示していないが、画像や文字,線画等の処理部を内蔵する場合には、それに応じた出力装置を接続可能なことはもちろんである(以下のペン型情報再生装置の説明に於いても同じ)。
そして、このペン型情報再生装置の側面には、タッチセンサ466が設けられている。このタッチセンサ466としては、例えば、圧電スイッチ、マイクロスイッチ、圧電ゴム等が利用可能であり、スイッチの厚さは小型のもので0.6mm以下のものが知られている。撮像部制御部212としてのコントロール部は、このタッチセンサ466の指による押下に応じて、前述したようなドットコードの取り込みを開始する。そして、このタッチセンサ466から指が離されたところで取り込みを終了する。即ち、このタッチセンサ466を使ってドットコードの取り込みの開始,終了を制御する。
なお、同図中の参照番号468は、ペン型情報再生装置内の各部の動作電源としてのバッテリである。
また、タッチセンサ466は指で押される形式だけでなく、図43に示すように、ペン型情報再生装置の先端部にそれを張り付けた構成としても、同様の機能を果たすことができる。
即ち、ユーザがシート182に印刷されたドットコードを手動走査するために、このペン型情報再生装置をシート182の上に置くと、タッチセンサ466がオンするので、コントロール部212は、それを認識してドットコードの読み取りを開始する。
この場合、走査時にペン型情報再生装置の先端部がシート面に接して移動するので、この例に於いては、タッチセンサ466の先端部つまりシート面に接する面は滑らかな樹脂等をコーティングして、手動走査(移動)時に滑らかな動きをするように構成されるのが好ましい。
また、ペン型情報再生装置の検出部に、正反射を除去する機構をさらに設けても良い。
図44の(A)はその構成を示す図で、光源(LED等の光源)198の前面つまり照射する側に、第1の偏光フィルタ(偏光フィルタ1)470が配置され、次に結像光学系(レンズ)200の前面に、第2の偏光フィルタ(偏光フィルタ2)472が配置される。
例えば、第1の偏光フィルタ470は、同図の(B)に示すように、偏光フィルタフィルム474をドーナッツ状に切り抜くことで形成され、第2の偏光フィルタ472の方は、別の偏光フィルタフィルム476を用いることもできるし、例えば同図の(C)に示すように、偏光フィルタフィルム474の第1の偏光フィルタ470を切り抜いた内側の部分を利用することができる。
そして、こうして形成された第1及び第2の偏光フィルタ470,472は、第1の偏光フィルタ470のパターン面(偏光方向)に対して、第2の偏光フィルタ472のパターン面(偏光面)が直交する形で配列される。
この結果、照明光源198から出たランダムな光は、第1の偏光フィルタ470で偏波面が制限され、例えばP波が照射される。そして、正反射成分はそのまま偏波面が保存されてP波としてシート面から返ってくるが、第2の偏光フィルタ472は偏波面が第1の偏光フィルタ470とは直交しているので、この正反射成分はこの第2の偏光フィルタ472で遮断される。一方、第1の偏光フィルタ470から出てきた光が実際のドットつまりシート面上にあたって紙面の輝度情報として戻ってきたものについては、偏波面がランダムになる。従って、このように一旦紙面上に入って白黒情報、あるいは色情報として戻ってきた信号は、P成分とS成分の両方を持っている。そのうち、P成分については同様に第2の偏光フィルタ472にてカットされることとなるが、それと直交するS成分については、この第2の偏光フィルタ472を通過して、実際にレンズ200を介して撮像部204に結像される。即ち、正反射成分の除去された反射光が撮像部204に導かれることとなる。
なお、この場合、空間フィルタ202の前面には、1/4λ板1230が配置され、一旦直線偏光で入射されて来る像光を円偏光に変えて、空間フィルタ202に入力される。これは、空間フィルタが通常水晶の複屈折を利用しているため、直線偏光された光では、その効果が得られないからである。なお、この例では、1/4λ板1230は、空間フィルタ202の前面に配置されているが、これに限定されるものではなく、第2の偏光フィルタ472と空間フィルタ202との間の任意の設置し易い場所に配置すれば良い。
このように正反射成分を除去するための構成としては、さらに図45に示すようなものが考えられる。これは、第1の偏光フィルタ470を上記光源198近傍に配する代わりに、例えば、表面ミラーコート478の施された透明樹脂の光導波材480を使って、光源198からの光を非常にシート面に近い状態のところまで導いてシート(ドットコード)を照明するようにし、その光導波材480の光出射部に配したものである。この場合は、第1の偏光フィルタ470は、第2の偏光フィルタ472に直交する光が透過するように配置される。
ちなみに、ここで透明樹脂光導波材480を使うと、光源198と外形を極力細くすることができるというメリットと、入射角が浅くなるので正反射成分を減らすことができるというメリットがある。
ただし、インクの盛り上がり、シート紙面の盛り上がり等により、まだ正反射成分が残るため、それをさらに効率良く無くすために、偏光フィルタが設けられている。
さらに、上記第2の偏光フィルタ472の代わりに、液晶シャッタやPLZTシャッタ等の電気光学素子シャッタ1220を設けても良い。この電気光学素子シャッタ1220は、図44の(D)に示すように、偏光フィルタとしての偏光子1221、液晶やPLZT等の電気光学素子1222、及び偏光フィルタとしての検光子1223からなる。この場合、該シャッタ1220の偏光子(偏光フィルタ)1221の配光方向を上記第2の偏光フィルタ472と同じ方向になるように、該シャッタ1220を配置することで、正反射除去効果が得られる。
さらに、シャッタ機能により、IT−CCD等のフィールド読み出し対応のイメージセンサで、フレーム読み出しが可能となる、或は、CMD等のXYアドレス方式のイメージセンサでも全画素同時露光が実現できるというメリットがある。
次に、光源198部分を効率化し、装置のスリム化を図った例を説明する。
図46の(A)はその構成を示す図で、上記図45の(A)の例と同様に、表面にミラーコート478を有するアクリル透明樹脂光導波材480を備える。このアクリル透明樹脂光導波材480は、図46の(B)に示すように、円錐台の形状に形成され、その上部(広がっている方の端部)にはネジ部482が設けられて、ペン型情報再生装置の筐体484に螺合して取り付けられるようになっている。また、このネジ部482近傍の内側部分には、表面ミラーコート478は施されておらず、その部分486に、光源198が設けられている。即ち、光源198は、細く切られたフレキシブル基板488上にLEDを装着し、これをリング状に構成したLEDアレイとして提供され、これが上記表面ミラーコートの無い部分486に接着して取り付けられている。そして、同図の(C)に示すように、アクリル透明樹脂光導波材480の下部(先端部)がカッティングされ、表面ミラーコート478の施されていない部分490が形成されている。従って、上記光源198からの光は、上記ミラーコート無し部486より透明樹脂光導波材480内に入り、表面ミラーコート478により反射されて光導波材480内を通って、先端部の表面ミラーコート無し部490より外に出て、シート上のドットコードに照射される。
なお、アクリル透明樹脂光導波材480の先端部としては、同図の(D)に示すように、真っ直ぐ伸ばしたままとし、外側の部分にのみ表面ミラーコート478を施すような、より製作の容易な形状としても良い。この場合、先端を丸くして滑りやすくするとさらに好ましい。
次に、光源一体型イメージセンサを使った場合のペン型情報再生装置の例を説明する(図47参照)。
即ち、本実施の形態では、先に図39を用いて説明したような光源一体型イメージセンサ492が用いられ、その露光面上に、結像系としてのロッドレンズ(例えばセルホックレンズや凸レンズ等)494とガラス薄板496が配置形成される。ここで、ガラス薄板496は、実際の接触面に対しての保護ガラスの役目を持つと共に、照明をなるべくフラットな形にするためにある程度の距離をもたせるという役目を持つ。
このように、光源一体型イメージセンサ492を用いることにより、ペン型情報再生装置の形状を小さくすることが可能となり、また、長さ方向においても短くすることが可能となる。
次に、カラー多重化したドットコードに対応するためのペン型情報再生装置を説明する。
図48の(A)はその構成を示す図で、先の図41の(B)に示したようなタッチセンサ466と図44の(A)に示したような第1及び第2の偏光フィルタ470,472を有している。さらに、本実施の形態のペン型情報再生装置は、図48の(B)に示すようなそれぞれ別の色でなる複数のドットコードを合成することによりカラー多重化したカラー多重ドットコードを読むために、コントロール部212により制御されるカラー液晶498をレンズ200の瞳面上に配置している。
ここで、コントロール部212でのカラー液晶498の制御法を説明するために、まず、カラー多重ドットコードの使用例から説明する。
例えば、同図の(C)に示すように、A4シート500上にカラー多重ドットコード502が配置され、それに対応させて「Good Morning」という文字が書かれており、また所定位置、例えば右下に、インデックス504とインデックスコード506が配置さているものを考える。そして、カラー多重ドットコード502をこのペン型情報再生装置で再生した場合に、日本語で「おはようございます」と発音出力させるか、英語で「グッドモーニング」と発音させるか、又はドイツ語で「グーテンモルゲン」と発音させるかを選択するため、同図の(D)に示すようにその選択肢を示すインデックス504に対応させて配置されたインデックスコード506をスキャンさせて認識させ、例えば日本語という選択をした後、カラー多重ドットコード502をスキャンすると、「おはようございます」というような発声が発せられるようにするということを目的として、以後の説明を行う。
まず、同図の(B)に示すように、日本語で発音するためのドットコードを生成し、それをコード1として、赤(R)に割り当てる。同様に、コード2として英語で発音させるドットコードを作成し、緑(G)に割り当て、コード3としてドイツ語で発音されるドットコードを作成し、青(B)に割り当てる。これを、各情報の重なった部分の色は各色の加色法の色よりなる色として、カラー多重ドットコード502をシート500上に記録する。この場合、色の重ならない部分は黒のドットとして記録する。即ち、前述したようにドットコードはマーカとデータドットからなるが、マーカは黒で、データドットは加色法によって別な色に記録されるということである。このようにカラー多重ドットコード502で記録するということはつまり、記録密度を上げていることになる。
なお、RGBの3種類の色に限らず、異なる複数の情報をそれぞれ異なる狭帯域の波長の色に割り当てれば良く、従って、さらに別の狭帯域の波長の色を用いて、4種類、5種類といったより多くの情報を多重化することが可能である。その場合のカラーインキとしては、従来のシアン、イエロー、マゼンタ等のインキ以外に、色素(狭帯域波長のみの光を反射するインキ)を混合させたものが考えられる。
また、インデックスコード506は、使用者が認識、選択できるように文字または絵等で示したインデックス504のアンダーライン部分に配置されるもので、その印刷は、どの色が選択されていても読み込めるように、黒によって印刷される。
カラー液晶498は、RGBの光透過モザイクフィルタを液晶の画素に合わせて貼ることにより構成され、カラー多重ドットコード502の各色の情報を分離するためのものである。即ち、インデックスコード506のスキャンにより選択された情報の色に対応する画素のみを透過状態にするよう、コントロール部212により制御される。また、液晶はモザイク状でなくても、光路を面分割するように構成しても良い。その際、各色の分割面積比を画素の感度に反比例させた方が、色毎の感度が一様になり好ましい。即ち、Bの感度が低い場合は面積を他の色よりも大きくすることになる。また、カラー液晶は光源側に入れても良い。
次に、インデックスコード506を読んで色を選択して所望の言語で発生させるための動作を、図49の(A)のフローチャートを参照して説明する。
まず、コントロール部212は、初期設定により仮に緑が選択され(ステップS202)、タッチセンサ466が押されると(ステップS204)、色選択に合わせてカラー液晶498の液晶透過部分を制御する(ステップS206)。例えば、初期状態では緑が選択されているので、緑のフィルタが付いているドットだけを透過性にする。次に、コントロール部212により光源198を制御し、画像処理部460によってドットコードを読み込む(ステップS208)。そして、データ処理部462でコードをデコードして(ステップS210)、全部コードが終了したか即ち全部読み終わったかを認識し(ステップS212)、読み終わったならば、それを報知するための音を発する(ステップS214)。次に、コントロール部212は、デコード結果により読み込んだのがインデックスコード506であったのか、音情報(カラー多重ドットコード502)であったのかを判定し(ステップS216)、インデックスコード506であれば、そのインデックスコード506で示される色を選択して(ステップS218)、上記ステップS204に戻る。また、音情報であったならば、データ出力部464により音声出力装置268から音を再生させる(ステップS220)。
そして、上記ステップS220での音再生の後、さらに、音を所定の回数繰り返し発生させるか否かの判断が行われ(ステップS222)、予めその回数がリピートスイッチ467でプリセットされていれば、その所定回数がリピート再生されることになる。
この繰り返し回数は、勿論1回でも良く、適宜各種スイッチ等で設定し得るもので、この他に、インデックスコード506又はドットコード502に、予めその回数を記録しておくことによっても可能である。
ここでのリピート再生に当っては、図15や図20の(D)に於けるデータメモリ部234からの読み出しを繰り返し行うことで可能となる。
なお、撮像部204には、白黒のものと、一般的にカラーモザイクフィルタを撮像素子部に装着したカラー撮像素子とがある。上記の例は白黒の撮像部を用いたものであったが、カラー撮像素子を使用して、画像処理部460に於いて色を分離することによって色に分けて再生することができ、そのような場合には、カラー液晶498を不要とすることができる。
図49の(B)は、カラー撮像素子を使用した場合に於ける画像処理部460の画像メモリ部の構成を示す図である。即ち、カラー撮像素子から入ってきた信号を色分離回路508によってそれぞれの色に分離してメモリ510A,510B,510Cに記憶し、それをマルチプレクサ(MPX)512で選択して、以降の処理を行うようにする。
また、正反射防止の目的のための第1及び第2の偏光フィルタ470,472の内、第2の偏光フィルタ472については、カラー液晶498の偏光子部分でも同様の偏光フィルタが使われているので、それと兼用することが可能である。従って、カラー液晶498の方の偏光フィルタと組合わせることで、この第2の偏光フィルタ472は省略することができる。但しその時は、このカラー液晶の水平面に於ける角度は、この第2の偏光フィルタ472に相当する方向と同配列、つまり同方向の成分をカットするように回転していなければならない。
また、図50の(A)に示すように、上記カラー液晶498を取り除き、光源198として、白色光源ではなく、同図の(B)に示すようなLED等によるRGBの光源を用いても、カラー多重ドットコード502を読み取ることができる。即ち、RGB、先ほどの3色で分ける場合は、RGBの光源198の内、赤に相当する上記コード1を読む時には赤に相当するLEDだけを点灯させ、コード2であれば緑のLEDだけ、コード3であれば青のLEDだけを点灯させて、再生するようにすれば良い。
また、RGBのLEDを用いる代わりに、白色光源として各部分にカラーフィルタを付加して各色の光源にすることも考えられる。
このように、光源198にRGB別々の色の光源を使用し、インデックスコード506で選択された色の光源を点灯制御することで、図48の(A)の構成と同様の効果を得ることができる。さらには、複数の狭帯域の波長の光を発する光源を各々持つことで、カラー液晶やその制御回路を持つ必要がなくなり、ローコストで小型化することができる。特に、LEDは狭帯域、例えば、ある波長の±27nmの波長ぐらいを持ったものがあるので、そういったものを使えば、より狭帯域の再生ができる。
次に、ステルス型ドットコードのペン型情報再生装置につき説明する。
図51の(A)はステルス型のドットコードとしての赤外発光塗料ドットコード514が印刷されたタイトル付ドットデータシール516を示している。このドットデータシール516は、例えば、印刷機あるいはプリンタに於いて、普通のカラーなり白黒の印刷の印字で例えばタイトルを印字し、その下のところに今度は不可視の塗料を使ってドットコードを印刷したものである。もちろん、このドットデータシール516は、ドットコード514が不可視つまり透明印刷となるので、同図の(B)に示すように、可視情報のタイトルの上に、ドットコード514を透明のインクを使って重ねて印刷するようにしても良いものである。この印刷については、例えば、インクジェットプリンタ等であればシアン、マゼンタ、イエロー及びブラックの4つのインクにさらに第5のインクとして赤外発光塗料のインクを付け、それを重ねてプリントするということにより実現できる。
なお、図51の(A)は、ステルス型のドットコードの余白にタイトルを印刷した例であるが、むろん、該タイトル付ドットデータシールには、可視光のドットコードを印刷し、その余白にタイトルを印刷しても良い。
このようなステルス型のドットコードとしての赤外発光塗料ドットコード514を再生するペン型情報再生装置としては、例えば、同図の(C)に示すように、ドットコード514が赤外発光塗料で印刷されているので、光源198として赤外発光素子518を用い、撮像部204の前に赤外帯域バンドパス光学フィルタ520を配した構成となる。
即ち、赤外発光素子518より赤外領域の光を赤外発光塗料ドットコード514に照射すると、赤外領域、つまりある狭波帯域の波長で光が反射してくる。その反射の強度を撮像部204で検出するため、赤外帯域バンドパス光学フィルタ520を通して可視光情報と切り分けて、反射光を導くようにしている。
なお、赤外発光塗料ドットコード514を印刷するために用いられる塗料の発光帯域も数種類用意できるので、例えば、バンドパス光学フィルタ520の特性を少しずつ変えながら撮像することで、この透明印刷もまた多重化が可能となっている。
次に、ペン型情報再生装置内に再生系の全機能を構成するのではなく、電子手帳,PDA,ワープロ、パソコン、コピー機、プリンタ、電子投影機、等の各種機器に、各種オプション機能を追加するために一般にROMカードが使用される。ROMカードのコネクタに接続できるカード型アダプタに、一部その機能を分散した場合の例を説明する。
図52は、ペン型情報再生装置内には画像処理部460までを設け、画像処理部460の出力を出力コネクタ522を介してカード型アダプタ524に供給するようにした場合の例を示している。この場合のカード型アダプタ524は、データ処理部462、データ出力部464、D/Aを含む信号処理部526、オーディオ接続端子528を有し、再生したオーディオ情報を音声出力装置268から音として出力することが可能とされると共に、I/F530を介して、電子手帳等の外部機器532に再生した画像等のマルチメディア情報を供給することができるようになっている。
即ち、電子手帳等のようにスピーカー等の音声出力機構を設けない外部機器532の不図示ROMカード接続端子に接続して、このような音声出力ができないものに対してドットコード化された画像等のマルチメディア情報を入力すると同時に、音声についてはカード型アダプタ524のオーディオ接続端子528にイヤホン等の音声出力装置268を接続して、ドットコード化された音声を聞こうというものである。
また、外部機器532としては、近年広く各家庭に入り込んでいるテレビゲーム機を想定することも可能である。図53の(A)及び(B)はそのようなテレビゲーム機に対するカード型(この場合は、カセット型となるが)アダプタ524の構成を示すもので、(A)の場合はペン型情報再生装置内にデータ処理部462までを構成した場合であり、(B)は検出部184だけを構成した場合である。ROM534はテレビゲーム機本体に内蔵の不図示CPUにより実行される制御プログラムを記憶しており、カセット挿入時、本体側へロードされる。RAM536はデータ処理部462での処理結果を記憶するために用いられる。メモリ制御部538は、テレビゲーム機本体内CPUからの命令にしたがってROM534及びRAM536を制御する。
通常、テレビゲーム機には、高性能のCPUが搭載されており、従って、ペン型情報再生装置内で全ての処理を行うよりは、そのゲーム機本体CPUに一部行わせることで高速な処理が可能となる。また、ゲーム機の操作部を各種制御入力部として利用することができるので、タッチセンサ等の読取開始指示スイッチ等をペン型情報再生装置に設ける必要がなくなり、小型化が図れる。この場合、ゲーム機の本体のCPUが受け持つ処理の制御プログラム、或は、ペン型情報再生装置のコントロールや操作用ユーザインターフェース機能を本体のCPU及びゲーム機の操作部が受け持つための制御プログラムが、ROM534に記憶されている。さらには、ゲーム機には、スピーカやオーディオ出力端子、モニタ出力端子等が構成されているため、それらをペン型情報再生装置及びカード型アダプタから省くこともできるため、コストダウンが可能となる。
次に、カード型アダプタ524を使う時の操作スイッチについて説明する。
外部機器532としての電子手帳というのは通常、ROMカードやICカードと称されるカードを装着するためのスリットを有し、そのスリットにカード型アダプタを挿入装着すると、そのカード型アダプタ表面に記された文字や記号が電子手帳本体の透明タッチパネル560下に透けて見え、カード型アダプタに記されているところをタッチすると、それに合わせた機能が働き、例えばディスプレイ562上に表示がされるといった操作ができるようになっているものもある。
そこで、このような電子手帳用のカード型アダプタ524の場合には、図54の(A)に示すように、ペン型情報再生装置564のコントロール系のスイッチ、例えば光源198のオン,オフ等というような操作スイッチを設けることなく、単に表面所定位置に、それらのスイッチを表す文字や記号を記しておく。
また、パソコンやワープロ等の外部機器532では、キーボードが内蔵されているので、ペン型情報再生装置をそのような機器に繋ぐ時には、カード型アダプタ524にコントロール系のスイッチを設けなくとも、そちらの方から制御できる。
しかし、プリンタのように、それ自体を動作させるためのコントロールスイッチは専用のものがあっても、それ以外のコントロール系のスイッチが全くない外部機器532では、カード型アダプタ524にコントロール系のスイッチを設けることが必要になる。例えば、図54の(B)に示すように、通常のカード長よりも長くし、機器532に装着された際に機器外部にはみ出る部分に必要なスイッチ566を設ける。この場合のスイッチ566としては、例えば、タクトスイッチやタッチパネル等が利用できる。
次に、ドットコードを印刷する装置を説明する。
まず、図55に示すように、パソコンやワープロ等568で編集したデータをマルチメディア情報記録機570でドットコード化し、そのドットコードをリールシール上に印刷するリールシール印刷機572について説明する。
図56は、このリールシール印刷機の内部構成を示す図である。
マルチメディア情報記録機570からのドットコードは一旦、ドットパターンメモリ574に蓄えられた後、LEDドライバ576により、そのドットのパターンに基づいてLEDアレイ578,580が発光される。これらLEDアレイ578,580からの光は各画素毎に密着して設けられたロッドレンズ582により感光紙リール584から延びる感光紙上に導かれる。また、発光のタイミングは、センサ586で検出される感光紙の速度や位置に応じてCPU588が管理する。同様に、感光紙の送り速度は、出力段のローラ590を駆動する回転モータ592のドライバ594を制御することにより行われる。
一方、印刷されたドットコードを保護するために、表面コートシール596を出力段で付け加えて、感光紙と表面コートシールを貼り合わせた形で同時に出力する。ここで、感光紙としては印画紙やフィルム等が利用できるが、この場合、その裏面に粘着性を有して提供される。
また、感光紙を普通のフィルム等とした場合には、図56にあるようにLEDアレイ578は赤のLEDアレイ、LED580は黄色のLEDアレイであるというように、二種類のドットコードの多重を行なうようにしても良い。多重については、2種類のLEDを位置的にずらして2色のドットコードにしても良いし、また、2種類のLEDを同じ位置で発光して別の色を作り、さらなる多重を行うようにしても良い。
このようなリールシール印刷機572では、感光紙を使うことによって、高解像度でありながらなおかつ低コストであるという特徴を有する。また、露光部分の方の構成が、レーザ等でスキャンするといったような形の高価な処理等を必要とせず、小型のLEDアレイを使って行なうものとしているので、非常に装置が安価になる。さらには、レーザ等であるとミラーの角度とか細かい位置決めの精度が必要になるのに対し、この印刷機572では光路を密着型にしているため、そういった細かい位置決めの精度が不要であり、製作上での問題も回避できる。
なお、同図では、図面の作成の都合上、LEDアレイ578,580及びロッドレンズ582の配列方向を感光紙の走行方向として示したが、実際には紙面と垂直方向つまり感光紙の幅方向に配列されるものである。もちろん、このまま幅方向にも配列した二次元アレイとして、一度に多数のドットコードを形成するようにしても良い。
また、上記のようなリールシール印刷機572では、ローラ590からドットコードの印刷された感光紙が図55のような形で出力されるが、この場合、次のデータとの境い目には白のブランク部分を入れ、ユーザがどの部分でカッター等の切断処理を行えば良いか見てわかるようにしておくことが好ましい。さらには、リールシールを貼るべきシートのサイズ、つまりA4であるとかB4であるとかによって、貼れるコード長というものが変わってくるので、それに合わせて印字できるドットコードの長さを可変するような構成にしても良い。そのような時には、例えばマニュアル設定されるシートサイズに合わせて、ドットパターンメモリ574上のドットパターンを読み出すタイミングを制御して、長さを適応的に変えていくようにする等の制御法を採用する。
図57は、ワープロの内部にマルチメディアのドットコードを記録する機能を設けたものの構成を示している。
本構成に於いて、文章上で編集したものに関してドットコードを生成するマルチメディア情報記録処理部598以外の構成は、一般的なワープロの構成である。即ち、CPU600からくるバス602に、プログラムやキャラクタジェネレータ等の各種ROM604、ワークエリアとしてのRAM606、カレンダ608、バスコントロール610、ビデオRAM612に展開したデータをCRT614に表示するCRTコントロール616、キーボード618とのI/Oコントロール620、FDD622を制御するディスクコントロール624、プリンタ626を制御するプリンタコントロール628、及び各種I/F630等がぶらさがっている。
マルチメディア情報記録処理部598は、バス602に対して専用にアクセスできるようなもので、基本的には、図55に於けるマルチメディア情報記録機570と同内容のものである。即ち、両方向I/O632を介してバス602により供給されたデータを分離回路634により文字とグラフや絵とを分離し、それぞれ圧縮回路636,638で適当な圧縮をかけて、合成回路640で合成する。一方、文字,絵,グラフのレイアウト情報は、直接、合成回路640に入力する。この合成データに対して、エラー訂正符号付加回路642にてエラー訂正符号を付加し、メモリ644上でインターリーブ等の処理を行なって、アドレス付加回路646によりブロックアドレス等を付加してから、変調回路648で変調をかける。その後、マーカ付加回路650によりマーカを付加し、それに対して編集合成回路652にてドットコードのタイトル等を合成し、それに対してドットパターン形状変換回路654でドットパターンの大きさを変更し、両方向I/O632を介してそれをバス602に戻す。
そして、このバス602に戻されたデータに従って、プリンタコントロール628はプリンタ626を制御して、図中に参照番号656で示すようなプリントアウトを得る。
基本的なプリントアウト656は、図示するように、ワープロ上で記入した(打ち込んだ)文章658と、それに対して絵660やグラフ662を付け加え、それら文章658,絵660,グラフ662の内容を、所定位置、例えば下方にドットコード664で印字したものとなっている。
このようなプリントアウト656とする事により、このプリントアウト656を直接或はFAXにより受け取ったユーザは、ドットコード664を前述したようなペン型情報再生装置により読み取ることにより、それに対応する文書658,絵660,グラフ662をそのユーザのワープロに取り込むことができ、それらを任意に編集することができるようになるというメリットがある。
なお、マルチメディア情報記録処理部598は、CPU600によるソフトウェア的な処理で実現しても良い。
また、マルチメディア情報記録処理部598は、このようにワープロに実装する代わりに、プリンタ626に内蔵する形を取っても良い。即ち、プリンタ626で、フォントやグラフの情報等が入ってきたときに、それに対してこのような記録変調を加えて印字するという処理にしても良い。その場合、プリンタ626に内蔵しなくとも、カード型アダプタの形で供給するようにしても良い。
なお、上記マルチメディア情報記録処理部598内のドットパターン形状変換回路654は、プリンタ626の解像度に合わせて変換するという以外に、プリントした内容をFAX送信する場合には、FAXにもやはり解像度或は精細度がGIIやGIII のように決まっているので、そちらの方の解像度に適応できるような形に変換する、即ち大きさを変えていくという処理も行うようにしても良い。
図58は、マルチメディア情報記録処理部の機能を光学複写機666に内蔵させ、原稿をコピーをするとその内容が用紙に複写されると共にその内容に対応するドットコードがその用紙の所定位置に印字されるようにした場合の構成を示す図である。
即ち、通常の複写機と同様に、原稿台668,照明670,ミラー672,レンズ674,感光ドラム676等を有し、原稿上の像を用紙上に複写する。
これに加えて、本実施の形態の光学複写機666は、光路中のレンズ674の前にハーフプリズム678を挿入して光を分岐させ、光学部品680を介してラインセンサ等の撮像素子682に導く。撮像素子682からの信号はアンプ684で増幅して種々のアナログ的な処理を行なった後、A/D変換器686でディジタル変換してメモリ688に記録する。そして、このメモリ688に記録したデータに対して、像域判定及びデータ文字認識回路690にて像域判定なりデータ文字認識等を行なっていく。ここで、像域判定については、本出願人による特願平5−163635号に記載された手法が利用できる。
そして、像域判定やデータの文字認識等が行なわれたデータは、圧縮回路692にて圧縮される。この場合、それぞれ文字、絵、グラフ等の種別に応じて圧縮の方式が異なるので、それぞれに対応した圧縮を行ない、その後、データ合成回路694でレイアウト情報を含めてそれらのデータ合成を行なう。そして、合成されたデータに対して、エラー訂正符号付加回路696にてエラー訂正の符号を付加した後、メモリ698に蓄積して再度インターリーブ等の処理を行ない、アドレス付加回路700にてアドレスを付加して、変調回路702で変調を行う。その後、マーカ付加回路704によりマーカを付加して、ドットパターン形状変換回路706でドットパターン形状を変換する。そして、そのドットパターンに従って、発光素子ドライバ708により発光素子710を発光させると共に、ミラーシャッタ712を立ち上げて発光素子710からの光をレンズ674,感光ドラム676へと導く。
また、前述したように、FAX等に出す場合には、FAX解像度選択部714でFAXの解像度を選択し、それに合わせてドットパターン形状変換回路706にてドットコードのパターンの形状を変える。
さらに、像域判定及びデータ文字認識回路690では、文字に関しては、文字を二値画像として扱ってMRやMH等の一般的な二値化の画像圧縮の処理を行なうものでも良いし、または文字認識をして、アスキーコード等の普通のワープロに使われているコードに変換した後に、ジブレンペル等の圧縮方式で圧縮をかけても良い。このように文字認識をしてアスキーコード変換をし、また更にそれに圧縮をかけると、圧縮率はかなり上がりそれだけ多量のデータが少ないドットコードで記録できるようになる。
なお、ドットコードの印字は、信号処理系の処理速度の関係から、一度原稿画像を感光ドラム676に書き込み感光させてしまった後に、ミラーシャッタ712を立てて発光素子710によりもう一度ドラムのほうに書き直して印字するというようにして行われる。あるいは、プリスキャンという形で1回目の原稿スキャンでドットコードを発生し、2回目の原稿スキャンで原稿像とドットコードを感光ドラム676に書込むようにしても良い。将来的に、信号処理系の処理速度が向上すれば、このように複数回に分けた処理は必要無くなるかもしれない。しかし、原稿が原稿台668に横置きされたり、上下逆さまに置かれた場合には、参照番号656のように印字された用紙縦方向下部にドットコードを印字したような複写結果を得るためには、やはり複数回に分けた処理が必要となる。
図59は、ディジタルの複写機716に応用した場合の構成を示している。同図に於いて、図58と同様の機能を有するものは、図58と同じ番号を付してある。また、入力部分に於いて、光学ミラーを移動するごとく記されているが、ラインセンサを移動させて原稿を読み取るように構成しても良い。
即ち、本ディジタル複写機716では、前述のようにしてドットパターン形状変換回路706で形状の変えられたドットコードと、メモリ688に取り込まれた原稿画像のデータとを編集合成回路718で合成し、プリンタ720で印字出力する。こういったディジタル複写機であれば、前述したような複数回に分けた処理を行わずとも、メモリ688を有するため、1回のスキャンで用紙のどの位置にでもドットコードを印字することができる。
次に、図中の破線の流れについて説明する。これは、上記のように原稿画像を読み取ってそれをドットコードに落とすというのとは反対に、文章や絵と一緒にドットコードの印刷された原稿からドットコードだけを読み取って、ドットコードから再生された文章や絵とドットコードと合わせた形の書類を印字出力するといった内容の流れである。
即ち、同様に撮像素子682により原稿からドットコードを読み込み、A/D変換してそれをメモリ688に記録する。また、A/D変換器686の出力をドットコード再生機722の方にも入力する。このドットコード再生機722は、例えば図15の走査変換部186以降の回路構成を含むもので、ドットコードから文章や絵、グラフを再生することができる。メモリ688に蓄積されたドットコードの画像は、そのドットコードの状態のままドットパターン形状変換回路706に与えられ、大きさを変えられた後、編集合成回路718に入力される。編集合成回路718は、ドットコード再生機722で再生された文章、絵、グラフ等に、このドットパターン形状変換回路706からのドットコードを付け加えて、プリンタ720に入力し、印字出力する。
このようにすると、原稿をスキャンする時間がこのドットコード部分を読む時間だけで済むので、時間的な短縮が可能である。さらには、文章、絵、グラフ等を拡大や縮小した時に、それとは無関係に、ドットコードの大きさは変わらなく印字できるようにすることができるという効果がある。
次に、図60に示してあるのは、ペン型情報再生装置を文字や絵のデータの入力部としても利用するようにした場合の例である。
即ち、ペン型情報再生装置の画像処理部460からの信号をマルチメディア情報記録装置724に入力する。マルチメディア情報記録装置724では、入力された、つまり撮像されたデータをセレクタ726を介してフレームメモリ728A又は728Bに入力する。この場合、セレクタ726は、まず1画面をフレームメモリ728Aに取り込ませ、その後、次の1画面をフレームメモリ728Bに取り込ませるというように選択する。そして、フレームメモリ728A,728Bに取り込まれた画像データはそれぞれ歪み補正回路730A,730Bにて周辺の収差等のレンズ歪みを取られた後、ずれ量検出器732に入力される。このずれ量検出器732は、フレームメモリ728Aに取り込まれた画像とフレームメモリ728Bに取り込まれた画像とを後段で合成する際に両画像で重複する部分が絵として重なるように、両画像の相関を取ってどの方向にどれだけずれているかを演算するものである。このずれ量検出器732としては、例えば本出願人による特願平5−63978号や特願平5−42402号等に記載のものを利用できる。そして、この検出したずれ量に従って、一方の画像、例えばフレームメモリ728Bに取り込まれた画像を補間演算回路734にて補間し、エンハンサ(Enhancer)736でエンハンサをかけた後、画像合成回路738で他方のフレームメモリ728Aに取り込まれた画像と画像合成し、その結果を画像合成メモリ740に記憶する。
そして、次の1画面をフレームメモリ728Aに取り込み、上記と同様の処理を行い、今度はフレームメモリ728Aに取り込まれた画像を補間する。
以後、これを交互に繰り返すことで、大画面化が図れる。
即ち、ペン型情報再生装置は、もともとドットコードという細かいコードのものを読み取るためのものであり、従って撮像エリアが非常に小さい。このように撮像エリアの小さいものを文字や絵の画像を取り込むためのスキャナとして使用するためには、複数回に分けて画像を取り込み、それらを貼り合わせることが必要となる。そこで、本実施の形態では、複数のフレームメモリを設け、ずれ量を検出してずれを補正して画像を貼り合わせるようにしている。
こうして合成画像メモリ740に記録されたデータは、像域判定回路742で像域判定等が行われ、文字であれば文字認識回路744で文字認識を行なった後、また画像であればそのまま、前述したようなマルチメディア情報記録処理部598に入力される。そして、マルチメディア情報記録処理部598で圧縮等の処理を行なってドットコードに変換され、前述したようなリールシール印刷機572に導かれる。あるいは、マルチメディア情報記録処理部598に入力する代わりに、I/F746を介してパソコンやワープロ等の外部機器532に入力することもできる。
なお、ペン型情報再生装置の方には、出力端子としては、イヤホン端子と画像を出力するような二つの端子が設けてあっても良いし、または一つのコネクタをマニュアルで音を出力する系と画像を出力する系とに切替え使用するような構成にすることもできる。
図61は、図60の変形例である。図60はドットコードを読む時の撮像部204のエリアとスキャナとして使用する時の撮像エリアとが同じ場合について述べているが、本実施の形態の場合には、スキャナとして使用する場合には広角にし、ドットコードを読み込むときにはマクロ的な撮像をするように、結像光学系200を変化させるようにしたものである。
即ち、結像光学系200は、普通のカメラに使われているズームや2焦点のレンズ群により構成され、レンズ鏡筒748をスライドさせて広角とマクロの切り換えを行うようになっている。そして、レンズ鏡筒748を縮めた時に接点が閉じてオンするようなスキャナスイッチ750を設け、スキャナスイッチ750がオンしている時にはスキャナとして使うものとしてデータ処理部462及びデータ出力部464の動作を停止させ、オフしている時だとマクロ的な動作をさせるためにそれらを動作させるというような処理をコントロール部212に行わせる。
結像光学系200を広角側にした場合、撮像エリアが大きくなり、その時の焦点深度が±120μで、撮像倍率が0.08と仮定すると、被写界深度は±19mmになる。縦方向の手振れがあったとしても、これだけの深度があれば問題とはならない。
また、広角とマクロとを変更するためにレンズ鏡筒748をスライドさせる形以外にも、レンズそのものを差し換える、つまり広角系のレンズをとってマクロ用のレンズを装着するというような形式でも、同様に実施可能である。
図62は、カード型アダプタ524内に、図52に示したようなペン型情報再生装置でドットコードを読み込んだ時にパソコンやワープロ等の外部機器532にそのドットコードに対応する情報を出力するためのデータ処理部と、図60に示したようなペン型情報再生装置を文章や絵の画像のスキャナとして用いた時の画像の貼り合わせやドットコードの発生等のためのデータ処理部との両方のデータ処理部を組み込んだ例を示している。即ち、スキャナ用のデータ処理部とドットコード読み取り用のデータ処理部の2つを内蔵しているカード型アダプタ524を示す。
同図に於いて、セレクタ752及び754は、スキャナ用のデータ処理部とドットコード読み取り用のデータ処理部との切り換えを行うものであり、その切り換え選択はマニュアル的な操作でも良いし、図61で示したようなスキャナスイッチ750のオン/オフに連動させても良いし、あるいは外部機器532側から直接駆動するようにしても良い。
また、画像合成処理回路756は、図60に示したようなセレクタ726、フレームメモリ728A,728B、歪み補正回路730A,730B、ずれ量検出器732、補間演算回路734、エンハンサ736、画像合成回路738の機能を果たす回路であり、出力処理回路758は出力すべきデータを外部機器532のフォーマットにあわせるためのものである。
次に、読み取ったドットコードの情報を電子投影機のほうに出力するという実施の形態を説明する。即ち、図63の(A)及び(B)に示すように、ペン型情報再生装置760でドットコードをスキャンし、出力処理部762で元の情報に戻して、プロジェクタ764のRGB入力端子あるいは電子OHP766のビデオ入力端子に入力して、スクリーン768に投影するものである。
この場合、ペン型情報再生装置760は、図15或は図20の(D)に示した再生系の構成に於ける検出部184からデータエラー訂正部194までの構成を内蔵しており、出力処理部762は、データ分離部196以降の構成及び他の処理回路を内蔵している。
出力処理部762の実際の構成は、図64のようになる。即ち、ペン型情報再生装置760からのマルチメディア情報を、分離部196で、画像,グラフ,文字,音声,ヘッダ情報に分離し、画像,グラフ,文字は伸長処理部238,242,248で伸張した後、画像とグラフに対してはデータ補間回路240,244で補間処理を施し、文字に対してはPDL処理部246でPDL処理を行う。そして、補間又はPDL処理された画像,グラフ,文字を合成回路250で合成し、メモリ770に記憶する。このメモリ770に記憶されているデータというのは既にスクリーン768に投影できるデータであり、よってそれをD/A変換部252でD/A変換して、プロジェクタ764や電子OHP766に出力する。この場合、メモリ770は、アドレス制御部772により制御される。一方、音声の方は、伸長処理部256でそのまま伸張し、データ補間回路258で補間した後、D/A変換部266でD/A変換し、セレクタ774を介してプロジェクタ764や電子OHP766に内蔵された、或は外部のスピーカ776に出力される。
さらに、音声合成コード化されたデータは、音声合成部260で音声に変換され、D/A変換部266に入力される。
また、例えば、プレゼンテーションの最中に必要に応じて文章をそのまま読ませるような場合には、表示用の文字コードから文章認識部271で文章として認識後、音声合成部260で音声に変換後、最終的に、スピーカ776から音声が出力されることになる。
この場合、朗読用の音声合成コードを別に記録しておく必要が無いので、その分、より多くの情報をドットコードに入れておくことができる。
また、この場合、どのような電子投影機系をもってきても接続可能なように、投影機の選択手段778を設け、例えば、プロジェクタ764がハイビジョン対応のものであるとか、NTSCのみの対応であるというようなことを選択できるようにしている。つまり、出力系としての電子投影機系により、メモリ770上に文字をどのような大きさに割り振るか等の処理が変わる。そこで、投影機選択手段778による選択に応じて、上記データ補間回路240,244やPDL処理部246での処理を変更したり、あるいはアドレス制御部772やD/A変換部252に供給されるクロック信号CKを基準クロック選択部780で変更するようにしている。
また、プロジェクタ764や電子OHP766等の電子投影機の使用状況に於いては、例えば、同図のように文章、絵、グラフ等を含む原稿の内、文章だけを投影したい、絵だけを投影したい、またはグラフだけを投影したい、といった選択的な投影を行いたい場合がある。そのようなときには、出力コントロール部782によりユーザが選択できるように、あるいは、ドットコードの方に、文章別に投影せよであるとか、絵だけを投影せよであるとか、グラフだけを投影せよであるとかの情報をヘッダ情報として書き込んでおき、出力コントロール部782でそのヘッダ情報に応じて出力すべき部分を選択できるようにしている。そして、この出力コントロール部782での選択に従って、出力エディタ部784は、どの部分を投影するかという切り分け作業を行い、アドレス制御部772にメモリ770のその部分をアクセスさせて投影用のデータを出力させる。また、上記出力エディタ部784は、このようなエリア分割の処理以外に、電子ズームの処理、つまり最初は原稿全部を投影し、その後、文章の一部や絵だけを拡大していくというような処理、及びその時に文章の一部や絵の部分だけ焦点を合わせて拡大していくという形の編集処理を行えるようにすることもできる。そのような処理を行う場合には、この出力処理部762に入力部と表示部とを設け、グラフィカルユーザーインタフェース等のような処理をして、実際に拡大部分を指定できるように構成するのが好ましい。
また、音声は、ドットコードとして入力されてD/A変換部266から出力されるものだけでなく、外部マイク786からの音声とをセレクタ774により選択できるようにしている。
なお、ペン型情報再生装置760には検出部184だけを構成し、走査変換部186から以降を出力処理部762の方に盛り込んでも良いし、逆に、分離部196までもペン型情報再生装置760の方に持たせて、分離されているデータがなんらかの形で出力処理部762に送られてくるという構成しても良い。実際には、手で持つことを考えると、ペン型情報再生装置760は、できるだけ小さくするのが好ましいので、検出部184だけを設け、後の処理は出力処理部762の方で行なうとするのが好ましい。
図65の(A)は、上記電子投影機の代わりに、複写機788、光磁気ディスク装置(MO)790、プリンタ792に出力する場合を示すもので、出力処理部は、パソコン等794にハードウェア的或はソフトウェア的に内蔵され、出力処理部の出力は、オンライン又はフロッピ796等によるオフラインで、複写機788、MO790、プリンタ792に供給されるという状況を示している。また、同図の(B)は、出力処理部をプリンタ792や電子手帳798に装着されるカード型アダプタ800として構成した場合を示している。
この場合の出力処理部762の実際の構成は、図66に示すようになる。
先ほどの投影機の実施の形態と同じように、マルチメディア情報が入力され、分離部196で画像,グラフ,文字が分離され、それぞれが伸長処理部238,242,248で伸張されて、画像及びグラフに関してはデータ補間回路240,244で補間、文字に関してはPDL処理部246でPDL処理を行なって、合成回路250で合成されて、メモリ770に記憶される。メモリ770はアドレス制御部772により制御され、読出されたデータは補間部802及びD/A変換部252を介して実際に出力されるデータを確認するため編集モニタ804に出力される。なお、この編集モニタ804は、無くても良い。
また、メモリ770から読出されたデータは、合成部806にも入力される。この合成部806は、ペン型情報再生装置760からのマルチメディア情報をコード化部808で再度ドットコードにして、それを出力適応補間部810で、出力すべきプリンタ792等の解像度に合わせた出力補間を行なって、それとメモリ770からのデータとを合成する。つまり、文章や絵にドットコードを付け加えて、I/F812を介してプリンタ792や複写機788に出力する。
出力選択手段814は、プリンタ792で出力する場合に、そのプリンタ792を当該出力部762に繋いだときにその機種が分かれば、自動的に解像度の方の設定に入り、またフロッピ796等でオフラインで送る場合であると機種が分からないので、そのようなときにはマニュアルで切り換えるものとする。
このような構成では、文章等はそのままコピーやプリントされ、ドットコードはその出力の媒体の解像度に合わせて出力することが可能となる。
また、電子手帳798に接続する場合には、ドットコードは入力しないために、ドットコードを記録する系が不要となる。構成は、図52とほぼ同じである。
図67は、現在、ワープロのデータフォーマットが機種毎に異なるということに対処するため、それぞれの機種毎のフォーマットに直すようなフォーマット変換部816を設けた実施の形態である。フォーマット変換部816は、機種選択手段818としてのワープロセレクトスイッチを持ち、ドットコードをペン型情報再生装置760で読み込み、選択に基づいてデータを変換して、ワープロ820に入力する。
フォーマット変換部816は、実際には、図68に示すように構成される。即ち、データ補間回路240,244,258、PDL処理部246、及び音声合成部260での処理後、それぞれのデータを対応するフォーマット変換回路822,824,826,828で上記機種選択手段818での選択に応じてフォーマット変換するように構成されている。
図69は、ドットコードの記録されたシート(以降、マルチメディアペーパと称す)をFAX送受信する場合のシステム図である。これは、FAX用マルチメディア情報記録機830で作られたドットコードをプリンタ792でプリントアウトして、送信側FAX832より受信側FAX834へ電話回線836を通して送信する。受信側FAX834ではこれを受けとって、紙の情報に戻してからペン型情報再生装置838を使ってドットコードを再生する。
FAX用マルチメディア情報記録機830は、図70に示すように、マルチメディア情報記録機840、ドットパターン形状変換回路842、FAX選択手段844、合成編集回路846から構成される。マルチメディア情報記録機840は、図13の記録系の構成に於けるマーカ付加部162までの構成を含み、合成編集回路846は合成及び編集処理部164に相当する。そして、ドットパターン形状変換回路842及びFAX選択手段844は、図58,図59中のドットパターン形状変換回路706及びFAX解像度選択部714に相当する。
この場合、電話回線836で送信側FAX832から受信側FAX834に回線を繋いだ時、受信側FAX834から送信側FAX832に着信の状況というものを返してくるので、このデータを手動であるいは直接、FAX選択手段844に与え、FAXの解像度即ち分解能をセレクトして、ドットパターン形状変換回路842にてドットコードのパターンのサイズ、あるいは、1行に書ける量に応じて形状そのものを変えて、合成編集回路846にて紙面情報と合成し、プリンタ792でプリントアウトすることにより、FAX送信するマルチメディアペーパを印刷する。
図71は、そのような処理を全て自動化して、初めからFAX送受信手段までも記録機の方に持たせたFAX内蔵マルチメディア情報記録機848を示すものである。
この場合は、直接相手方FAXの分解能情報を電話回線836で繋いだ時点で確認し、その情報を使って、ドットパータンの形状を最適化して、紙面情報と合成して送信を行なう。
図72の(A)は、同図の(B)及び(C)に示すようなドットコードを印刷したカード(以下、マルチメディアペーパ(MMP)カードと称する)を記録再生するオーバライト型MMPカード記録再生装置の構成を示す図である。
この記録再生装置850は、不図示カード挿入スリットに挿入されたMMPカード852をカード搬送用ローラ部854によりドットコード検出部856に搬送し、MMPカード852の裏面に既に書き込まれているドットコードを読み取り、データコード再生部858にて元のマルチメディア情報に変換して、不図示I/Fやデータ分離部へ出力する。つまり、ドットコード検出部856は図15又は図20の(D)に示したような構成に於ける検出部184に相当し、またデータコード再生部858は同じく走査変換部186からデータエラー訂正部194までの回路構成を有している。ただし、ドットコード検出部856は、カードの両面に対して撮像部を設けてあり、この内のカードの裏面に対するものが検出部184の撮像部204として利用される。またここで、MMPカード852は、図72の(B)に示すようにカード裏面にドットコードの記録領域852Aがあり、表面には同図の(C)に示すようにタイトルや名前、絵等の画像が記録されるものとする。
また、この記録再生装置850は、外部のパソコンや記憶装置等からI/F860を介して、カードに既に書かれている情報以外の情報が供給され、ドットコードとしてカード裏面に書かれるべき情報はデータ合成編集部862に供給されてデータコード再生部862で再生された情報と合成され、例えば、従来データにはない新規情報がI/F860から入力された場合には、例えばアドレスがその次のアドレスになって新たに追加されていく、あるいは一部変更の場合は、その一部変更する部分だけ差し替えという形で、データの合成編集が行われる。こうして合成編集された情報は、コードパターン生成部864に入力され、ドットコードに変換される。このコードパターン生成部864は、図13に示したような構成を有し、生成したドットコードとI/F860からのコード以外に印刷するデータとの合成及び編集も行って、印刷部866に印刷すべきデータを渡す。この印刷部866には、上記ドットコード検出部856からMMPカード852表面の絵柄データも供給され、給紙カートリッジ868から給紙される何も印刷さていないカードの表裏両面に印刷を行って、新しいMMPカードをカード搬送用ローラ部870により不図示カード排出スロットに搬送して排出する。なお、印刷部866での両面印刷については、カードの一方の面に対する印刷終了後そのカードを反転させて他面の印刷を行う形式でも良いし、同時に両面に対して印刷する形式のものでも良い。
また一方、古いカードは、ドットコード検出部856を通過した後、その後段の塗り潰し用塗布ローラ872により、例えば黒塗り潰し用のインクを塗布されて、コード記録領域852Aを真っ黒く塗ってしまうという形で排出される。ユーザは、その結果、塗り潰された元のカードを返却されることができるので、古いカードが悪用されるという恐れが無くなる。
このように、本実施の形態のオーバライト型MMPカード記録再生装置850によれば、もう既にある程度記録されているカードをこの記録再生装置850に入れてやると、その情報を読んで、そして新たに追加する情報と組合せて、新しいカードを発行するというものであり、ユーザから見た場合には、あたかも古いカードに対して、さらにデータが追加されてカードが出てきたような形に見える。そして、やはり古いカードというのが残るので、その古いカードをユーザに返却する。従って、カードの交換という形で、あたかもオーバーライトしたような形にする。
図73は、オーバライト型MMPカード記録再生装置の別の構成を示す図である。この記録再生装置874は、基本的には図72の(A)の記録再生装置850と同じであるが、古いカードをユーザに返却する必要のない用途の場合の装置である。従って、この記録再生装置874は、古いカードを裁断するシュレッダ876をドットコード検出部856の後段に配している。
図74の(A)は、オーバライト型MMPカード記録再生装置のさらに別の構成を示す図である。この記録再生装置878の場合は、MMPカードの構成が、上記MMPカード852とは異なっている。即ち、先ほどのMMPカード852は特にカードのベース自体に直に印刷したものであったが、本実施の形態のMMPカード880は、同図の(B)に示すように、厚紙やプラスチック等のカードベース882にドットコードが記録された非常に薄いコードパターン記録薄紙(フィルム)884を貼り付けた状態で構成されるものである。つまりカードの裏面に、同図の(C)に示すように印刷された薄いフィルム状のシートが貼られたものとなる。
このようなMMPカード880を使う記録再生装置878では、ドットコード検出部856で読んだデータは先ほどと同じようにパソコン等からくるデータと合成され、コードパターンになって印刷部866に入ってくる。この時に、印刷部866では、カードの裏側に印刷するのではなくて、給紙カートリッジ886からのコードパターン記録用紙888に印刷し、それを新たにカードベース882に貼り付ける。この場合、コードパターン記録用紙888は、同図の(D)に示すように、コードパターン記録薄紙884の実際に印刷する印刷面890側ではない方が、例えば接着剤等の粘着剤がついた粘着面892になっており、その上に粘着面892の保護紙894が付いた構成になっている。そして、印刷後、粘着面保護紙894は粘着面保護紙剥離バー896によって剥され、使用済み粘着面保護紙巻取りリール898に巻き取られる。粘着面保護紙894の剥離されたコードパターン記録薄紙884は粘着面892が露出され、カード搬送及びコードパターン記録薄紙圧接用ローラ部900でカードベース882に圧接されて貼り込まれ、記録済みカードとして出ていく。
この場合、コードパターン記録薄紙884は、非常に薄いフィルム状のものであるので、カードベース882に対して重ね貼りしていくものでも良いが、薄いとはいっても何枚も重ねていくと厚みが出てくるので、ドットコード検出部856から圧接用ローラ部900までのカードの搬送経路途中に、旧コードパターン記録薄紙剥離部902を設けて、古いコードパターン記録薄紙を剥がすようにしている。この剥がされた古いコードパターン記録薄紙は、そのまま排出しても良いし、シュレッダーをかけても構わない。
なお、同図(A)中の付加情報付加部904は、例えば、元のカードに対していつこの記録再生装置878で記録したのかという時間関係を示す情報、あるいはこの記録再生装置878をサービスセンタにつながれた端末として利用した時にどの端末であるかというような情報を付加するためのものである。それによって、どの記録再生装置878を使ったかとか、どれだけのブランクを置いて記録されたかというようなことがわかる。
図75は、オーバライト型MMPカード記録再生装置のさらに別の構成を示す図である。この記録再生装置906は、基本的には図72の(A)の記録再生装置850と同じであり、黒く塗り潰す代わりに逆に白く塗り潰して、そこをもう一度新たな印刷面にするというものである。そのため、ドットコード検出部856後段に、白色塗り潰し用インクカートリッジ908と白色塗り潰し用インク塗布ローラ910を配した構成にしてある。
これにより、MMPカード裏面が一旦白くなるので、そこに新たに印刷部866で印刷してやることになる。なお、新たにカードを発行する場合もあるので、給紙カートリッジ868を配しているが、これはなくても良い。
次に、追記型のMMPカード記録再生装置を説明する。追記型とは、古い情報はそのまま残し、新たな情報だけを、まだ未記録領域がある限り、そこに追加していくものである。この場合、カードのデータ再生が目的のとき以外、つまり記録時には、前述のオーバライト型の装置のようにドットコードの全ての再生処理を行う必要はない。
図76の(A)は追記型のMMPカード記録再生装置912の構成を示す図である。記録時には、データコード再生部858は、二次元ブロックのマーカ情報とアドレス情報だけの再生を行い、コードパターン生成部864で追記部分のブロックアドレスを生成し、追記ドットコードパターンを作成する。また、記録済み領域検出部914は、カードの記録済み領域を検出する。そして、印刷部866は、記録済み領域検出部914からの情報に基づいて、カードの未記録領域(追記可能領域)にコードパターン生成部864からのパターンを印刷する。
記録済み領域検出部914は、同図の(B)に示すように、記録領域検出部916、マーカ検出部918、最後部マーカ座標算出部920、及び追記開始座標出力部922から構成されている。即ち、マーカとブロックのサイズは分かっているので、自動的にコード記録領域のどこまで書かれているのかというのは、記録領域検出部916及びマーカ検出部918で検出できる。よって、最後部マーカ座標算出部920で追記の開始の座標を算出して、追記開始座標出力部922から出力する。
また、記録済み領域検出部914は、図77の(A)に示すように構成しても良い。ただしこの場合は、同図の(B)に示すように、どこまで記録したかを示す記録済みマーク924をカード余白部分に記録しておくことが必要がある。
記録済み領域検出部914では、記録済みマーク検出部926によりこの記録済みマークを検出して、最後部記録済みマーク座標算出部928でどこまで書かれているかというのを算出して、追記の開始座標を追記開始座標出力部922より出力する。つまり、細かいドットコードのマーカまでを見にいかなくても、もっと大きな記録済みマーク924を検出することで検出し易くしている。
なお、この記録済みマーク924はさらに、印刷部866に於ける位置合わせ用にも利用できる。即ち、先の例であれば、印刷部866に於ける位置合わせもやはりまたドットコードを読みにいかなければならなかったが、記録済みマーク924を用いた場合にはそのマーク924だけで処理ができる。つまり、記録済みマーク924の検出により、記録済み領域と追記部部分の間に、例えば1mm程度離して記録しても良いし、同図の(B)に示す向きに於いて上下方向に1mm程度ずれて記録してもかまわないので、非常に簡単に追記することができる。ただし、追記内容によっては、記録済みブロックのブロックアドレスを読むようにすると、その最終ブロックアドレスの次のブロックアドレスを付加することで、追記する部分のブロックアドレスに1つのコードとしての連続性を持たせることができる。
図78の(A)は、上記のようなオーバライト型或は追記型のMMPカードを使った一つの応用例として、名刺カード読み取りシステムを示している。このシステムは、ドットコードでマルチメディア情報が記載されたMMP名刺カード930をMMP名刺カードリーダ932で読み取り、パソコン等934のCRT936に画像を表示し、スピーカ938から音声を発生させるものである。MMP名刺カードリーダ932は、特に構成上、これまで説明した情報再生装置と変わりないもので、ただ名刺カードを読み取るので、ペン型に構成するよりは据え置き型に構成したものである。もちろん、先に説明したようにペン型情報再生装置とカード型アダプタの形式で提供し、電子手帳等にて表示や再生するようにしても良い。
MMP名刺カード930は、先に説明したオーバライト型或は追記型のMMPカードのように、表面に会社名や所属、氏名、住所、電話番号を記したカードの裏面にドットコードを印刷しても良いし、裏面も英文を記載した名刺の場合には、同図の(B)に示すように、先に説明したような赤外発光性のインクや蛍光インクを使ってドットコードをステルス印刷940しても良い。
次に、半導体ウエハエッチング式で形成したMMPカードを説明する。これは、半導体ウエハ上に、半導体のエッチング技術を利用して、非常に微細なドットパターンを記録したものである。鏡面仕上げのウエハ面と、エッチングされたパターン部分とでは光の反射率が異なり、そのコントラストで、ドットコードが読める。ここで、よりコントラストを高め、S/Nを向上させるためには、エッチングされたドットコードパターンにアルミニュームその他、反射率や色の大きく異なる部材を埋め込んでも良い。
図79の(A)及び(B)、及び図80の(A)乃至(C)はその構成を示す図で、ドットコードパターンの記録されたウエハ部942が、カード本体944のベース946に埋め込まれる。この場合、ドットコードパターンは、数μmか、サブμmレベルのドットサイズで記録されるので、非常に高密度な記録ができる。これにより、例えば、ギガバイト単位のROMカードができる。
さらに、ROM−ICと異なり、電気的に正常動作する必要が無いため、パターンの一部が不良でも、再生機内のエラー訂正処理で訂正可能であるため、ROM−ICに比べるとはるかに歩留まりが向上し、さらに工程もICに比べてはるかに少ないため、非常に安価に供給できるメリットがある。
しかし、非常に細かいピッチであるため、ちょっとしたゴミや指紋等の汚れに対して注意を要する。それを保護するために、例えば図79の(A)及び(B)に示すように、カード944のウエハ部942面の方にスライド式の複数枚の保護カバー948を付けたり、図80の(A)乃至(C)に示すような1枚の保護シャッタ950を取り付けている。
この場合、保護カバー948は、例えば4枚構成でなり、必要な箇所だけを開いたり、襖開きにしたりと、開き方には何種類かの選択も可能であるし、カード挿入時に片側に全部開くようにしても良い。
一方、保護シャッタ950の場合には、カード挿入時に全部開き、カードを抜くと同時に閉まる構成となっている。これは、例えば、図80の(B)及び(C)に示すように、カードベース946にウエハ部942が落とし込まれ、そこのカードベース946に溝952がそれぞれ両脇に切ってあって、そこを挟むような形で保護シャッタ950が入っている。保護シャッタ950の側面の爪部954先端にはストッパ956が設けられ、受けるカードベース946側は、保護シャッタ950が所定位置を越えて開かないように、ストッパ956が所定位置にきたときにそこで止めるために溝952の深さが浅くなっている。
このような半導体ウエハエッチング式で形成したMMPカードからドットコードを再生する時には、前述したようなペン型情報再生装置でも構わないが、ただしその時には結像光学系を顕微鏡レベルのものにする必要がある。あるいは、ラインセンサ的な形で、機械的に動かすというな構成にしても良い。
図81の(A)は、ドットコードデコード機能付きディスク装置958、即ち、音楽等のオーディオ情報を光磁気ディスクに記録再生する公知のディスク装置の中に、新たにドットコードの再生機能及びレコード機能を付けたものである。これは、例えば同図の(B)に示すようなシート960上のドットコードを、操作部962で走査することによりコードを再生して、パソコンや電子手帳等の情報機器964やイヤホン966に出力するものである。
ディスク装置958は、図82に示すように、公知の構成として、スピンドルモータ968、光ピックアップ970、送りモータ972、ヘッド駆動回路974、アドレスデコーダ976、RFアンプ978、サーボ制御回路980、EFM(Eight to Fourteen Modulation),ACIRC(Advanced Cross Interleave Read Solomon Code)回路982、耐震用メモリコントローラ984、メモリ986、表示部988、キー操作パネル990、システムコントローラ992、圧縮伸長処理部994、A/Dコンバータ996、オーディオ入力端子998、D/Aコンバータ1000、オーディオ出力端子1002を有している。
ここで、EFM,ACIRC回路982は、ディスクの書き込み及び読み出し時のエンコード及びデコードを行う部分である。耐震用メモリコントローラ984は、振動による音飛びを防ぐために、メモリ986を使用してデータを補間するためのものである。圧縮伸張処理部994は、時間軸から周波数軸に変換して符号化を行うトランスフォーム符号化方式の一種であるATRAC(Adaptive Transform Acoustic Coding)というオーディオ高能率符号化方式を用いて圧縮伸長処理を行う。
本ドットコードデコード機能付きディスク装置958は、このような従来のディスク装置に、操作部962からの画像信号を受けて例えば図41の(B)に於ける画像処理部460のような処理を行う画像処理部1004と、情報機器964との接続端子1006並びにそのI/F1008を設け、また、上記圧縮伸張処理部994がASIC−DSP等で構成されていることから、そこに上記ドットコードの再生用の復調やエラー訂正といったデータ処理部462の機能やその他の情報機器1008に対するデータの圧縮伸張用の処理等も入れている。
なお、操作部962は、例えば図41の(B)に於ける結像光学系200,撮像部204,プリアンプ206に相当する光学系1010,撮像素子1012,アンプ1014等を含む。
そして、ドットコードを再生する情報再生装置に於いては、音楽等の高容量な情報の再生は通常、大容量のメモリを必要とするが、ディスク1016への記録再生部を持つことで、大容量のメモリを不要とすることができる。また、音の再生部分、ここでは、音の圧縮伸張処理部994やD/Aコンバータ1000等を共通に使用することができ、また、音声圧縮伸張部994をコード再生処理のデータ処理部分と共通化して、ASIC−DSPによって設計することで、ローコスト化並びに小型化が図れる。
このような構成のドットコードデコード機能付きディスク装置958は、通常のディスク装置としての音の録音,再生等、また選曲等の機能が使用でき、また、ドットコードの再生装置としても使用できる。この切り換えは、キー操作パネル990の操作によりシステムコントローラ992で制御する。
ドットコードの再生装置として使用する場合には、例えば、次のような使用法が想定される。即ち、図81の(B)に示すように、A4のシート960に、楽曲名や歌手名でなる選曲用インデックスが文字で記載され、その楽曲に相当するドットコードが記録されている。この場合、楽曲は、例えば3分、4分というオーダの情報であるので、かなり長くなってしまう。そこで、ドットコードは複数段、同図では4段に分割して記録される。即ち、各1つの楽曲を複数段のドットコードに分割して、各段のドットコード内に、前にも説明したようにブロックアドレスが例えばXアドレスが1,Yアドレスが1のブロックをヘッダブロックとして、その音楽内の分割された位置を示すアドレスを付してシート上に記録する。再生時には、その複数段のドットコードをすべてスキャンしてディスク1016に記録する。
その時、そのスキャンする順番をランダムに行なっても、その楽曲は上記楽曲内の位置を示すアドレスによってディスク1016の記録する位置を考慮して書き込むことができ、即ち正確な順番に記録される。例えば、図のように1つの楽曲が4段のドットコードに分割されている時、最初に2段目のドットコードを操作部962で走査しても、それが何番目のつまり2番目のドットコードであるかということがアドレスよりわかるので、ドットコードより再生されるオーディオ情報をディスク1016に録音した場合に再生時に正しい順序で再生されるように1番目のドットコードの録音部分を開けて録音することができる。
また、例えば、楽曲Aと楽曲Cを録音し、次に楽曲Dを録音するというような、ユーザがオリジナルなディスクを作ることが、別のオーディオ再生機、例えば、テープデッキやCD再生機等がなくてもできる。例えば、シート960上に記録された複数の楽曲のドットコードをユーザがその選曲用インデックスを見て、再生時に再生した順番でドットコードをスキャンすることで、例えば、楽曲A,C,D,…の順番に録音でき、それを通常再生すれば、その順番で再生される。即ち、プログラミングができる。
なお、上記情報機器964としては、画像出力装置を使用することができる。例えば、FMDを使用し、圧縮伸張処理部994で、例えば特願平4−81673号に記載されたようなJPEG,MPEG,それに三次元画像用伸張処理を行い、I/F1008でビデオ信号に変換することで、読み取ったドットコードに対応する三次元画像を表示することができる。このように、本実施の形態も、オーディオ情報に限らない。
また、同様にして、DAT等の他のディジタル記録再生装置にも適用可能なことはもちろんである。
次に、ドットコード記録機能を銀塩カメラに組み込む例を説明する。
図83の(A)及び(B)は、マルチメディア情報ドットコード記録対応カメラの裏蓋1018の構成を示す図である。これは、従来データバックという形で年月日等のデート情報をLEDアレイ1020を使って記録するというものに、さらに、ドットコードを記録する二次元のLEDアレイ1022をその横に配設した構成になっている。データバックの後ろ側には回路内蔵部1024を有し、ここに例えばLEDアレイ1020の点灯コントロール等の回路が入っており、そこにさらに、マルチメディア情報ドットコードを記録する回路系を組み込み、データをドットコードとしてLEDアレイ1022により不図示銀塩フィルム上に写し込む。例えば、回路内蔵部1024には、タイピン型のマイクロホン1026が繋がっており、マイクロホン1026から音声をひろって、その情報をドットコード記録用二次元LEDアレイ1022でドットコードという形でフィルムに露光する。
データバック1018には、上記LEDアレイ1020,1022に加え、カメラ本体のCPU等を使ってコントロールするので、本体カメラボディ側との電気接点1028が用意されている。また、ヒンジ部1030の爪の部分1032がスライドするようになっており、爪部スライドレバー部1034を使ってカメラ本体から取り外しが可能になっている。即ち、カメラ本来の裏蓋と交換して、このデータバック1018を取り付けることが可能となっている。
この実施の形態は、二次元のLEDアレイ1022でドットコードを一気に記録するものの例である。これに対して、図84の(A)は、ドットコード記録用LEDユニット1036を移動して二次元的にドットコードを記録するものである。このLEDユニット1036は、同図の(B)に示すように、ライン状のLEDアレイ1038とそれからの光を収束するつまり縮小するためのレンズ1040とからなる。そして、LEDアレイ1038のコントロール用の信号が入るための電気信号電極1042がその両側に延びており、この信号電極1042はLEDユニット1036の移動に伴って、同図の(C)に示すようなデータバック1018側の信号電極板1044の上をスライドする形で常に接触して、そこからデータ信号が入ってくるように構成されている。なお、データバック1018のフィルム押え板1046には、透明ガラスやアクリル等からなるスキャン用窓1048が設けられ、ここからLEDユニット1036のみが不図示フィルムに対向するように構成されている。
二次元LEDアレイを使用する場合はそれを物理的に移動させなくても、電気的にそれぞれの必要な部分を点滅させれば良いが、このような一次元LEDアレイ1038を使用する場合には、LEDユニット1036を動かさなければならない。その移動機構としては、例えば同図の(D)に示すようなものが考えられる。即ち、これは、良く知られたチューナーの針の移動機構と基本的には同様の構成であり、モータ1050でプーリ1052を回転させると、それに伴って、プーリ1052に巻回したワイヤ線1054に両端が固定されたLEDユニット1036が左右に移動する。ワイヤ線1054は、伸び縮みのないものであり、よってLEDユニット1036を精度良く動かすことができる。また、正確に平行移動するように、プーリ1052及びワイヤ線1054は、LEDユニット1036に関して両側に構成されている。
また、LEDユニット1036の移動機構としては、同図の(E)に示すように超音波モータ1056を使用することもできる。この超音波モータ1056は、超音波の波動を伝達する振動板1058に、うまく位相をずらしながら、右方向、左方向へあたかも波が移動するような形で振動を与えていき、その波に乗った形で移動体1060が右に移動したり左に移動したりするという構成のものであり、この移動体1060の移動にともなって、それに接続されたLEDユニット1036も右に移動したり、左に移動する。
図85は、図83の(A)及び図84の(A)に示したデータバック1018の回路構成を示す図で、特に、破線で囲まれた部分がデータバック1018の構成である。
カメラ本体に設けられたCPU(例えば1チップマイコン)1062は、カメラ全体の制御を行う。露光制御部1064は、測光部1066からの測光データをもとに露光制御を行うもので、シヤッタ制御部1068及び絞り制御部1070によりシャッタ速度あるいは絞り、またはその両方を、目的に応じて、あるいはモードに応じて制御して、適宜最適な露光になるように制御する。
また、CPU1062は、レンズ側あるいは本体側に持っているレンズ情報を使って、レンズ制御量を演算し、レンズ制御部1074に必要なレンズ制御を行わせる。これは、フォーカス制御やズーム制御を含む。また、CPU1062は、フォーカスロックボタン1076及びレリーズボタン1078(通常は、機械的には1つのボタンで兼用されていて、独立に出てくるという形になっている)の操作に応じてシャッタ動作を制御する。さらにCPU1062は、モータ制御部1080により、フィルムを巻き上げるためのモータ1082を制御する。
また、CPU1062は、カメラボディ側との電気接点1028を介して、データバック1018内のマルチメディア情報記録/再生部1084、マルチメディア情報用LEDコントローラ1086、及びデート用LEDコントローラ1088とデータのやり取りができるようになっている。デート用LEDコントローラ1088は、デート用LEDアレイ1020を発光制御して、撮影日付や時間をフィルム上に写し込むためのもので、データバック1018には、それ用の時間パターンを発生するためのデート用クロックジェネレータ1090が内蔵されている。
マルチメディア情報記録/再生部1084は、記録系に関しては、例えば図13の構成に於ける音声入力からコード合成編集の直前、要するにドットコードを構成するパターンを生成する部分までの構成を有し、再生系については、例えば図15の走査変換部186からD/A変換部266までの構成を有している。そして、マルチメディア情報用LEDコントローラ1086は、このマルチメディア情報記録/再生部1084から出力されるドットコードパターンに従って、LDEアレイ1022又は1038の発光をコントロールする。この場合、図83の(A)の例では、二次元LEDアレイ1022であるので、この構成だけでドットコードパターンが露光される。これに対し、図84の(A)の例では、さらに一次元LEDアレイ1038を移動させることが必要であるので、LEDアレイ移動用モータコントローラ1092によりモータ1050を駆動して、LEDユニット1036を移動させる。マルチメディア情報用LEDコントローラ1086は、このモータ1050による移動とタイミングを合わせながら、随時その位置で必要な記録するべきコード情報をLEDアレイ1038に与えて、発光させる。
なお、カメラ本体側には、各種モード設定用キー1094が設けられている。これは、いくつかのボタンで構成されていたり、あるいはモード切り換え用のボタンと、設定用のボタンというような形で分れているような場合もある。また、これは、データバック側に設けても良く、その場合には、キー操作信号は、電気接点を介してCPU1062に供給される。
以上のような構成に於いて、ドットコードは、例えば以下のようにしてフィルムに露光される。即ち、撮影を始めるという一つの指標になるフォーカスロック1076ボタンの操作信号がアクティブになったとき、CPU1062は、マルチメディア情報記録/再生部1084に、マイク1026から音声を取り込み、マルチメディア情報記録/再生部1084内部の不図示記憶部で順次、ある一定時間分だけ記憶させる。例えば、この一定時間を5秒とか10秒という形で決めておき、不図示メモリの最大容量をそれに合わせておいて、一般的なボイスレコーダと同様に、順次、巡回的に記憶するものとする。そして、レリーズボタン1078が押された時、CPU1062は、それに合わせて、マルチメディア情報記録/再生部1084に、例えば、その前数秒(例えば5秒)、あるいはその前後(例えば後1秒,前3秒)の音をドットコードに変換させる。この設定は、例えば、モード設定用キー1094によりユーザ設定可能になっている。そして、マルチメディア情報記録/再生部1084で記憶されている音声を実際にコード化し、それをLEDアレイ1022又は1038によりフィルム上に焼き付けていく。その動作が終わった後、CPU1062は、フィルムの巻き上げ動作を行う。もちろん、LEDアレイ移動用モータコントローラ1092と、フィルム巻き上げモータ制御部1080とをうまく同期させて、フィルムを巻き上げながら同時に、移動の速度、タイミングを合わせて、記録していくことも可能である。その場合、高速連写というような対応も可能になる。また、LEDユニット1036は固定しておき、フィルム巻き上げ時に記録するという動作も可能である。この時は、モータが1つ減る利点がある。
また、このように音声をフィルムにドットコード情報として記録する以外に、当然、CPU1062から与えられる各種カメラ側の情報、例えば、今使われているレンズがどういう種類のレンズなのか、あるいはシャッタ速度がどの位で、絞りはどういう絞りになっているかという情報を記録することもできる。つまり、例えば、出来上がった写真に対して、どういう条件で写真を撮ったのかということが、後から分かるようになる。通常は、このような情報はユーザーが頭の中に記憶しておくものであるが、本実施の形態のようにすれば、後で出来上がったフィルム、またはそれを印画した印画紙上のドットコードを、マルチメディア情報ドットコードの再生装置で再生することにより、その情報を選択的に表示することが可能になり、撮影当時のカメラの条件等がわかるようになる。従って、例えば、次回も同じ条件で撮りたいというような時にも、簡単に、同じ設定ができるようになる。特に、ルーチン的に絵を撮っていく場合、例えば、特定の風景の変化を、月をおって撮っていくとか、そういう場合には、非常に役立つ。
図83の(C)は、上記のようにしてドットコードが焼き付けられたフィルムを印画した例を示している。これは例えば、フィルム上に書かれているドットコード1096とデートコード1098をそのまま絵として、他の絵の部分1100と一緒に印画した例である。この場合は、このドットコード1096の箇所を前述したマルチメディア情報ドットコードの再生装置、例えばペン型情報再生装置でスキャンすることにより、音情報、あるいは種々のカメラ情報を再生することができる。また、DPE側で、例えばこのドットコードだけは抜いて裏側に印画するようにすれば、表側は写真だけになり、従来の写真と同じものが得られるようにすることもできる。さらに、カメラの情報の一つとして、DPEに於けるトリミング情報、例えばズーミングとかパノラマの切り換えの情報をフィルムに記録しておくようにすれば、DPEは、フィルム上でドットコードをスキャンして、その情報を読み取って、パノラマならパノラマという形で、あるいはズーミングして印画するというようなことが可能になる。
なお、フィルムにドットコードを焼き付ける場合、実際の風景との二重露光になるので、その時に外光が強い場合にはドットコードがうまく写らないという恐れもある。従って、例えば従来のパノラマ対応カメラでは、パノラマに切り換えると上下に遮光板が入り、その部分は風景が写らないような形に構成されているものがあるが、それと同様の機能をいれても良い。即ち、遮光板を自動的に挿入、あるいは初めからドットコード対応の場合は、その遮光板をフィルムの直前、レンズの後に嵌め込んでおくようにしても良い。さらに、フィルムの余白部(露光されない部分)にコードを記録するようにしても良い。
なお、図85に於いて、ペン型情報再生装置1102をデータバック1018に繋いで図83の(C)のドットコード1096を再生することにより、カメラ情報、即ち絞りやシャッター情報、レンズ情報等を、例えばカメラバックの裏側あるいはカメラ本体に初めから持っているLCDモード表示部1104やファインダ内LED表示部1106に表示させても良い。また、ドットコード1096をスキャンすることにより、それと同じ条件にモード設定されるようにしても良い。即ち、フィルムなり写真なりを持っていって、ドットコード1096をスキャンすると、そのモードに自動的にカメラ側の各条件が設定され、同じシャッタ速度で、同じ絞り、同じレンズの倍率になる。
12…音声入力器、 16,124,144…A/D変換器、 18,138,636,638…圧縮回路、 20…誤り訂正符号付加回路、 22…メモリ回路、 24…データ付加回路、 26,102,160…変調回路、 27…合成回路、 28…プリンタシステム又は印刷用製版システム、 36,170…ドットコード、 36A,36B…手動走査用マーク、 38,172,304…ブロック、 38A,174,274,310…マーカ、 38B…誤り訂正用符号、 38C…オーディオデータ、 38D…xアドレスデータ、 38E…yアドレスデータ、 38F…誤り判定符号、 40…ペン型情報再生装置、 42…音声出力器、 76…携帯型ボイスレコーダ本体、 80…音声入力部、 82…記録開始ボタン、 94…圧縮処理部(ADPCM)、 96,154…エラー訂正符号付加部、 98…インターリーブ部、 100,158…アドレスデータ付加部、 104,162…マーカ付加部、 106…簡易プリンタシステム、 110…タイマ、 112…制御部、 120…マイクロホンやオーディオ出力機器、 126…圧縮処理部、 130…音声圧縮回路、 132…音声合成コード化回路、 134,236…インタフェース(I/F)、 136…データ形態判別回路、 140…カメラやビデオ出力機器等、 146…像域判定及び分離回路、 148…二値圧縮処理回路、 150…多値圧縮処理回路、 152…データ合成処理部、 156,234…データメモリ部、 164…合成及び編集処理部、 166…プリンタシステムや印刷用製版システム、 168…FAX、 176,272A,306…ブロックアドレス、 178…アドレスのエラー検出,エラー訂正データ、 180,314…データエリア、 278,316…ドット、 306A…上位アドレスコード、 306B…下位アドレスコード、 308…ダミーマーカ、 310A…円形黒マーカ、 310B…マーカの白部分、 312…エラー検出コード、 312A…上位アドレスCRCコード、 312B…下位アドレスCRCコード、 364…データ余白部、 626…プリンタ、 642…エラー訂正符号付加回路、 644…メモリ、 650…マーカ付加回路。