JP3048510B2

JP3048510B2 - 音情報処理装置

Info

Publication number: JP3048510B2
Application number: JP6328202A
Authority: JP
Inventors: 諭山田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1994-12-28
Filing date: 1994-12-28
Publication date: 2000-06-05
Anticipated expiration: 2015-06-05
Also published as: JPH08185533A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、音情報処理装置に関
し、さらに詳しくは、日本語ワードプロセッサのような
各種の文書処理装置、光ファイルのような各種のイメー
ジ処理装置、各種の情報伝達機能を持つ通信端末、ＰＯ
Ｓ端末、金銭登録機などで従来活用されている情報源に
音情報を関連付け、シート上の物体に、それらの音情報
を印刷記録可能な伝達手段を有する音情報処理装置に関
する。

【０００２】

【従来の技術】今日、情報の交換、流通の手段として
は、印刷用紙やフロッピーディスクなどの媒体が主とし
て用いられており、この媒体にあらゆる文書情報やイメ
ージ情報などが記録される。しかし最近、この媒体に代
わって、２次元コード表記でコード記述した印刷用紙が
考えられている。２次元コード表記とは、仮想的な行列
状（２次元）の升目に光学的に読み取り可能なマーク
（２次元パターン）を付与したものであり、コード記述
とは、文書情報やイメージ情報などをコード化して記述
したものである。

【０００３】このような印刷用紙をデータの交換、流通
に用いれば、フロッピーディスクを用いた場合に比べ
て、流通コストが軽減できるし、直視的にデータの解読
ができないので機密の保守にも役立つ。

【０００４】このように、文書情報とそれをコード化し
たものとを印刷して用いるものとして、特開平５−１２
２８８号公報に記載の情報処理装置が知られている。こ
の情報処理装置は、文書情報をＪＩＳコード等の符号化
情報に変換し、バーコードを作成して記録紙に印刷す
る。そして、必要に応じてその記録紙を読み取り逆変換
することによって、文書情報に戻して活用するようにし
ている。また、記録紙を複写したり、ファクシミリ装置
で送信する場合、符号化情報の品位の劣化を防止し、情
報の欠落や誤りの発生を低減するようにしている。

【０００５】また、文書情報とそれをコード化したもの
とを印刷して用いるものとして、磁気記録装置など他の
媒体では一般的ではあるが、音情報を２次元コードでシ
ート上に印刷する事が行われている。しかしながら、そ
れらは全て単独で取り扱われており、他の情報と関連し
て取り扱われてはいなかった。

【０００６】このように音情報を２次元コードでシート
上に印刷するものとして、特開平３−１１４８２１号公
報に記載の音声記録方法及び装置並びに音声再生方法及
び装置が知られている。この音声記録方法及び装置並び
に音声再生方法及び装置は、音声をデジタル化し、この
デジタルデータを網状パターンの画像にして印刷媒体に
印刷する。逆に網状パターンの画像が印刷された印刷媒
体をイメージリーダーで読み取りデジタル化し、アナロ
グ変換することにより、音声を再生することができる。
ただし、この音声データと他の情報との関連性はない。

【０００７】

【発明が解決しようとする課題】すなわち、従来におい
ては、紙の上に音情報を印刷する事はできても、その周
辺の他の印刷情報との関連付けは行われてはおらず、１
枚の紙に記録されている音情報は、一群の音情報として
単に再生される程度で、それ以上の活用はされていな
い。

【０００８】この発明は、このような事情を考慮してな
されたもので、音情報を印刷情報と関連づけることで、
印刷情報が求める音情報を必要に合わせて出力させた
り、出力される音情報に合わせて、印刷情報を読み込
み、その音の示す内容の表示を可能とした音情報処理装
置を提供するものである。

【０００９】また、以下を目的としている。シート上に
印刷される２次元コードを、その上に印刷される文書情
報、またはイメージ、図形情報などから、各々が関連す
る音情報を出力可能にしたり、音情報の示す各々の関連
情報を音情報出力経過に連動させて視覚化表現を可能に
する。

【００１０】また、シート上に印刷される音の相対関連
情報の２次元コードの位置を高度な手段で認識する事な
く、他の情報より先に読み込み可能とすることで、後か
ら呼び込まれる情報の対処を容易にさせる。

【００１１】さらに、シート上に印刷される音の相対関
連情報を指摘すれば、即座に音情報が聞き取れる様にす
る。そして、シート上に印刷される音情報の読み間違い
を防止する手段を設け、音情報の品位を確保する。

【００１２】また、音情報を２次元コードで印刷出力す
るに当たり、再生時の目的に合わせて印刷フォーマット
を決められる様にする。さらに、音情報を含むシートを
読込む場合に、音情報の音声出力の抑制を行い、音の再
生を止めたり、音量を押さえたりする事で、再生時の状
況に見合ったシート読込みを可能とする。

【００１３】そして、音情報を含むシートを読込む場合
に、２次元コード表記の音関連情報の表示出力をぬぐい
取り、音関連情報以外の情報のみを表示させ、視覚化に
適した表示方法を提供する。

【００１４】また、原稿の読み込みと音出力タイミング
を別にして、先に原稿を読み込み、その後表示部で表示
情報を確認しながら音出力を行う。さらに、原稿を読み
込む過程において、先頭より順次関連する音情報を抽出
しながら音出力を行う。

【００１５】そして、表示される文書情報、またはイメ
ージ、図形情報などの特定座標を指摘することで、その
座標が拘わる関連音情報を出力させる。また、音情報を
出力時にカーソルを移動させた場合、その音情報の対象
領域外にカーソルが移動しても、現在再生している音情
報を止めず、その音情報の終わりまで音声出力を可能に
して、現在の音声出力を聞きながら、次の作業へカーソ
ルを移動可能にする。

【００１６】

【課題を解決するための手段】図１はこの発明の構成を
示すブロック図であり、この図に示すように、この発明
は、文字情報、イメージ情報及び図形情報などの視覚情
報を入力する視覚情報入力手段１０１と、入力された視
覚情報を記憶する視覚情報記憶手段１０２と、視覚情報
記憶手段１０２に記憶された視覚情報の領域の一部を指
定する領域指定手段１０３と、領域指定手段１０３によ
って指定された領域の視覚情報に対応する音情報を入力
する音情報入力手段１０４と、入力された音情報をバー
コードデータに変換して記憶する音情報記憶手段１０５
と、領域指定手段１０３によって指定された領域の視覚
情報と音情報記憶手段１０５に記憶された音情報とを関
連づけた相対関連情報をバーコードデータに変換して記
憶する相対関連情報記憶手段１０６を備えてなる音情報
処理装置である。

【００１７】上記構成においては、文字、イメージ及び
図形などの視覚情報とバーコードを用紙に印刷すること
が可能な印刷手段と、視覚情報記憶手段１０２に記憶さ
れた視覚情報と、音情報記憶手段１０５に記憶された音
情報と、相対関連情報記憶手段１０６に記憶された相対
関連情報との用紙面上における印刷配置を決定する印刷
制御手段をさらに備え、印刷制御手段が、音情報あるい
は相対関連情報のみを視覚情報の外周部に印刷させる機
能を有し、それにより、印刷された用紙が読み取られる
際に、視覚情報よりも音情報あるいは相対関連情報が先
に読み取られるように構成することが好ましい。

【００１８】また、文字、イメージ及び図形などの視覚
情報とバーコードを用紙に印刷することが可能な印刷手
段と、視覚情報記憶手段１０２に記憶された視覚情報
と、音情報記憶手段１０５に記憶された音情報と、相対
関連情報記憶手段１０６に記憶された相対関連情報との
用紙面上における印刷配置を決定する印刷制御手段をさ
らに備え、印刷制御手段が、音情報あるいは相対関連情
報のみを領域指定手段によって指定された視覚情報の近
傍に印刷させる機能を有し、それにより、視覚情報と音
情報との関係を容易に判別可能とするように構成するこ
とが好ましい。

【００１９】さらに、用紙に印刷された文字、イメージ
及び図形などの視覚情報とバーコードを読取ることが可
能な読取手段と、音情報の再生条件を指定する再生条件
指定手段と、読取手段によって読み取られたバーコード
の中から音情報を識別する識別手段と、識別手段によっ
て識別された音情報を、再生条件指定手段によって指定
された条件に従って再生する音再生手段をさらに備えた
構成とすることが好ましい。

【００２０】そして、用紙に印刷された文字、イメージ
及び図形などの視覚情報とバーコードを読取ることが可
能な読取手段と、読取手段によって読み取られた視覚情
報とバーコードを表示することが可能な表示手段と、バ
ーコード表示の条件を指定するバーコード表示条件指定
手段と、読取手段によって読み取られたバーコードを、
バーコード表示条件指定手段によって指定された条件に
従って表示手段に表示する表示制御手段をさらに備えた
構成とすることが好ましい。

【００２１】また、音情報が対応づけられた視覚情報の
領域を指定する音情報再生指定手段と、相対関連情報記
憶手段１０６に記憶された相対関連情報を参照すること
により、音情報再生指定手段によって指定された領域に
対応する音情報を音情報記憶手段１０５から読み出す読
み出し手段と、読み出し手段によって読み出された音情
報を再生する音再生手段をさらに備えた構成とすること
が好ましい。

【００２２】この発明において、バーコードとしては、
通常のバーコードを用いることができるが、情報量の面
からは、仮想的な行列状の升目に光学的に読み取り可能
なマークをそれぞれ付与した２次元パターンであること
が好ましい。

【００２３】また、この発明において、視覚情報入力手
段１０１，領域指定手段１０３，再生条件指定手段，バ
ーコード表示条件指定手段及び音情報再生指定手段とし
ては、キーボードやペン入力装置のような各種の入力装
置を用いることができる。

【００２４】音情報入力手段１０４としては、マイクロ
ホンと、アナログ音をデジタル音に変換するＤ／Ａコン
バータとで構成された各種の音入力装置を用いることが
できる。

【００２５】印刷制御手段，識別手段，読み出し手段及
び表示制御手段としては、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ
／Ｏポートからなるマイクロコンピュータを用いるのが
便利であり、視覚情報記憶手段１０２，音情報記憶手段
１０５及び相対関連情報記憶手段１０６としては、通
常、その中のＲＡＭが用いられる。

【００２６】印刷手段としては、熱転写型やインパクト
型の各種のドットプリンタやレーザープリンタを用いる
ことができる。読取手段としては、各種のイメージセン
サを用いることができる。

【００２７】音再生手段としては、デジタル音をアナロ
グ音に変換するＤ／Ａコンバータとスピーカーとで構成
された各種の音発生装置を用いることができる。表示手
段としては、ＣＲＴ表示装置やＬＣＤ（液晶表示装置）
などの表示装置を用いることができる。

【００２８】

【作用】この発明によれば、視覚情報入力手段１０１に
よって入力された視覚情報は視覚情報記憶手段１０２に
記憶され、音情報入力手段１０４によって入力された指
定領域の視覚情報に対応する音情報はバーコードデータ
に変換されて音情報入力手段１０４に記憶され、領域指
定手段１０３によって指定された領域の視覚情報と音情
報記憶手段１０５に記憶された音情報とは関連づけら
れ、バーコードデータに変換されて、相対関連情報記憶
手段１０６に記憶される。したがって、視覚情報と音情
報とが関連づけられて記憶されるので、視覚情報と音情
報とを対応させた処理が可能となる。

【００２９】印刷手段と、印刷制御手段をさらに備え、
印刷制御手段に、音情報あるいは相対関連情報のみを視
覚情報の外周部に印刷させる機能を持たせた場合には、
印刷された用紙が読み取られる際に、視覚情報よりも音
情報あるいは相対関連情報が先に読み取られるので、視
覚情報への音情報の対応づけが容易となる。

【００３０】印刷手段と、印刷制御手段をさらに備え、
印刷制御手段に、音情報あるいは相対関連情報のみを領
域指定手段によって指定された視覚情報の近傍に印刷さ
せる機能を持たせた場合には、視覚情報と音情報との関
係を容易に判別できる。

【００３１】読取手段と、再生条件指定手段と、識別手
段と、音再生手段をさらに備えた場合には、そのときの
周囲の状況に応じて、再生音の音量をおとしたり、再生
を停止することができる。

【００３２】読取手段と、表示手段と、バーコード表示
条件指定手段と、表示制御手段をさらに備えた場合に
は、バーコードと視覚情報とを一緒に表示した場合、視
覚情報が読みづらくなるときには、バーコードを表示し
ないようにすることができるので、画面が見やすくな
る。

【００３３】音情報再生指定手段と、読み出し手段と、
音再生手段をさらに備えた場合には、指定した視覚情報
に対応する音情報だけを再生することができる。

【００３４】

【実施例】以下、図面に示す実施例に基づいてこの発明
を詳述する。なお、これによってこの発明が限定される
ものではない。

【００３５】図２はこの発明を音情報の印刷及び読み取
りが可能なデータ処理装置に適用した一実施例の構成を
示すブロック図である。１は表示画面から座標を指定で
きるペン、２ａはペン１で指定した表示画面上のポイン
トを検出するタブレット、２ｂは表示画面を有するＬＣ
Ｄ（液晶表示装置）のような表示装置、３はペン１で指
定された座標を算出する座標検出回路、４は画面に表示
させる２次元バーコードデータの抑制を制御するバーコ
ードデータ出力制御回路、５はキーボード、６はカーソ
ル位置算出回路である。

【００３６】７は指定領域検索回路であり、文書情報、
イメージ情報、図形情報内の音化された領域と、カーソ
ルとの位置関係を検索する。８はデジタル化された音情
報を２次元バーコード化するバーコード化回路、９は読
み込まれた２次元バーコードの音情報をデジタルの音情
報に変換するバーコード復元回路、１０はスピーカーか
らの入力を制御したりスピーカーへの出口を抑制制御す
るスピーカー入出力制御回路、１１は音声を取り込むマ
イクロホンを兼ねたスピーカー（スピーカー／マイクロ
ホン）、１２はアナログ音声の信号をデジタル信号に変
換したり音声のデジタル信号をアナログ信号に変換する
Ａ／Ｄ，Ｄ／Ａコンバータである。

【００３７】１３ａは情報が印刷されたシートをスキャ
ナーに送り込むシート物体送り装置、１３ｂは情報が印
刷されたシートを読み込むスキャナーである。シート物
体送り装置１３ａとスキャナー１３ｂでイメージリーダ
ー１４が構成される。

【００３８】１５はシート物体送り装置１５を制御する
シート物体送り制御回路、１６はシート物体に印刷され
た２次元バーコードの情報の範囲を判別するバーコード
データ範囲判別回路である。

【００３９】１７は読み込みエラー検出用のチェックサ
ムを算出するチェックサム算出回路、１８は２次元バー
コードとそのチェックサムを比較したエラーを判別する
エラー判別回路、１９は印刷レイアウト選択回路、２０
はＲＡＭへのデータの入出力を制御する特定情報呼び出
し回路、２１はＲＡＭ、２２はプリンターなどの印刷装
置、２３は印刷されたデータ、２４は全ての回路を制御
する制御装置である。ＲＡＭ２１には相対関連情報と音
情報が記憶される。

【００４０】このデータ処理装置における音声の入力方
法と、その表示及び印刷方法に関して説明する。まず、
キーボード５やペン１、イメージリーダー１４などで、
文書情報、図形情報、イメージ情報などを作成し、その
後、音声の入力を行う。

【００４１】以下、このデータ処理装置における音声の
入力処理の内容を図３のフローチャートを用いて説明す
る。音声入力においては、まず音声入力モードに入り
（ステップＳ２０１）、それらの中の音化したい部分を
表示装置１２ｂと一体となったタブレット２ａやカーソ
ルなどの座標指定手段にて、図４に示すＰ１，Ｐ２など
のように領域指定し（ステップＳ２０２）、スピーカー
／マイクロホン１１からキーボード５内の音入力キーを
押して（ステップＳ２０３）、音声の入力を開始し（ス
テップＳ２０４）、再度音入力キーを押して（ステップ
Ｓ２０５）、入力を終了させる。

【００４２】入力された音声のアナログ信号は、Ａ／Ｄ
コンバータ１２でデジタル信号に変換され（ステップＳ
２０６）、バーコード化回路８で２次元バーコードデー
タが作成される（ステップＳ２０６）。この時点で、文
書情報、図形情報、イメージ情報の各々の指定された領
域の座標情報と、２次元バーコードの音情報が関連づけ
られ（ステップＳ２０７）、どのように関連づけられて
いるか把握できる相対関連情報を２次元バーコードで記
憶する（ステップＳ２０８）。同一文書内にさらに音化
したい部分が複数ある場合、同様に上記操作を繰り返す
（ステップＳ２０９）。

【００４３】この関連した情報の一例を図５に示してい
る。図中、Ａの領域には相対関連情報、Ｂの領域には文
書情報、Ｃの領域にはイメージ情報、Ｄの領域には図形
情報、Ｅの領域には２次元バーコード化された音情報が
記録されており、各記号の後に入力順で付加された整理
番号（ｎ）で各情報の関連づけがされる。

【００４４】相対関連情報の領域Ａをシートのヘッダー
部に設けることにより、音情報の位置を認識するための
高度な手段を必要としない。さらにその関連づけの方法
を図６で説明する。

【００４５】例えば、文書情報内の領域ｂと、イメージ
情報内の領域ｃと、図形情報内の領域ｄと、音情報内の
領域ｅを関連づけるとする。このとき相対関連情報領域
Ａには、領域ｂを表すポイントｂｎ，ｂｎ′の座標（ｘ
ｂｎ，ｙｂｎ）、（ｘｂｎ′，ｙｂｎ′）と、領域ｃを
表すポイントｃｎ，ｃｎ′の座標（ｘｃｎ，ｙｃｎ）、
（ｘｃｎ′，ｙｃｎ′）と、領域ｄを表すポイントｄ
ｎ，ｄｎ′の座標（ｘｄｎ，ｙｄｎ）、（ｘｄｎ′，ｙ
ｄｎ′）と、領域ｅを表すポイントｅｎ，ｅｎ′の座標
（ｘｅｎ，ｙｅｎ）、（ｘｅｎ′，ｙｅｎ′）が記録さ
れる。

【００４６】例えば、領域ｂの文章を音化したいため
に、ポイントｂｎ，ｂｎ′で示される領域内をペンやカ
ーソルで指定したとする。すると、領域ａ内の、領域ｅ
を示すポイントｅｎ，ｅｎ′の座標等が呼び出される。

【００４７】上記相対関連情報や、音情報の２次元バー
コードをイメージリーダー１４にて読み取って、読み取
りエラーが生じた場合、再度読み取りを行うために、相
対関連情報や音情報の２次元バーコードの各ブロックの
末尾にチェックサムを付加しておく。例えば、相対関連
情報、音情報の２次元バーコードの各ブロックの末尾
に、情報列の総和結果を参照数字として付加する。

【００４８】このチェックサム付加処理のフローチャー
トを図７に示す。まず、相対関連情報や、音情報の２次
元バーコードを読み込み（ステップＳ３０１）、その情
報列の総和を算出する（ステップＳ３０２）。次に、そ
の情報列の後に続けて印刷されている情報列の総和結果
のバーコードを読み込む（ステップＳ３０３）。得られ
た２つの値を比べて（ステップＳ３０４）、等しければ
エラーなしであり、異なれば再度読み取りを行う。

【００４９】相対関連情報でのデータの総和の算出方法
の一例を図８の相対関連情報のデータ構成図を用いて説
明する。相対関連情報には整理番号１〜ｎがふられてお
り、整理番号１に対しては、領域ａ〜ｅのそれぞれの領
域を表す座標（ｘａ１，ｙａ１），（ｘａ１′，ｙａ
１′）〜（ｘｅ１，ｙｅ１），（ｘｅ１′，ｙｅ１′）
が記録されており、それらの総和Ｓ１，Ｓ１′は、 S1 = (xa1+xb1+…+xe1) + (ya1+yb1+ …+ye1) S1′= (xa1 ′+xb1′+…+xe1′) + (ya1 ′+yb1′+…+y
e1′) で表される。これらの値をデータの末尾に付加する。第
２の行の整理番号２以降に関しても、同様に計算され
る。

【００５０】また、図９に示すように、相対関連情報や
音情報のバーコードを文書情報の近傍に付加したり、イ
メージ、図形情報の近傍に付加することもできる。例え
ば、文書情報内の音化する部分を領域指定し、音声の入
力を完了すると、その相対関連情報や音情報の２次元バ
ーコードが文書中のアンダーラインのように付加され
る。アンダーラインは、音化した文章の先頭を始点に、
縦ｎドット、横ｍドットで記載される。ドット数のｎや
ｍは、データの量などで決められる。

【００５１】また、図１０に示すように、ある図形情
報やイメージ情報に音声のガイダンスを加えたいとき、
それらを指定して音声の入力を完了すると、その相対関
連情報や音情報の２次元バーコードがそれらの情報の枠
のように付加されたり領域内の隅に付加される。

【００５２】枠状の音情報は、その領域の左上を始点に
右回りあるいは左回りで記録され、データの量、その領
域の外周の長さなどからデータの幅（ドット数）が決め
られる。音情報を領域内の隅に付加する場合は、データ
の量や領域の大きさなどから適当な縦、横のドット数が
決められる。これらの場合、シート上に印刷される相対
関連情報を指摘すれば、即座に音情報を聞き取ることが
できる。

【００５３】以上のように記憶した情報を印刷する場
合、いろいろな印刷フォーマットで印刷することができ
る。この印刷フォーマットの選択時のフローチャートを
図１１に示す。文書情報、イメージ情報、図形情報を入
力した時点で（ステップＳ５０１）、音声入力モードに
入り（ステップＳ５０２）、音化する場合のチェックサ
ムを付加するか否かを選択する（ステップＳ５０３）。

【００５４】音声を入力して、音情報や相対関連情報の
２次元バーコード化が完了すると（ステップＳ５０
４）、チェックサムを付加する場合それを付加し（ステ
ップＳ５０５）、しない場合は、印刷フォーマットの選
択を行い（ステップＳ５０６）、シートへの印刷を行う
（ステップＳ５０７）。

【００５５】ステップＳ５０６で選択可能な印刷フォー
マットの例を図１２に示す。領域Ａは相対関連情報、領
域Ｂは文書情報、領域Ｃはイメージ情報、領域Ｄは図形
情報、領域Ｅは音情報を表す。例えば（５−２−１）
は、相対関連情報がシートのシートのヘッダー部にある
ため、相対関連情報の位置を認識するための高度な手段
を必要とせず、処理時間も短縮できる。

【００５６】（５−２−５）は、文書情報中に相対関連
情報や音情報がアンダーライン状に記録されているた
め、原稿読み取りと同時に音化が可能となる。（５−２
−６）は、２次元バーコード表記される部分がシートの
下部に配置されるため、ユーザーが文書等を読みやすく
なる。このように、レイアウトの仕方次第で、いろいろ
な特徴があり、図に示した以外にも、多くのレイアウト
のパターンが考えられ、ユーザーのニーズにあった選択
が可能となる。

【００５７】また、レイアウトを選択後、それをもと
に、文書情報や図形情報、イメージ情報の移動や拡大、
縮小をペンやカーソルを使って可能にしたりすることも
考えられる。

【００５８】音情報が記録されたシートを読み込む場
合、そのときの周囲の状況に応じて、再生音の抑制を行
い、再生を止めたり、音量を押さえたりしなければなら
ないことがある。これを実現するために、読み込み前に
再生音抑制の選択を可能とする。

【００５９】この再生音抑制処理のフローチャートを図
１３に示す。まず、読み取りモードに入り（ステップＳ
６０１）、図１４に示すような画面を表示して、表示画
面上でカーソル移動やペンなどで指示することにより、
音量抑制の選択を行う（ステップＳ６０２）。

【００６０】音の再生をＯＦＦにする場合は、シートを
読み取り（ステップＳ６０８）、それを画面に表示して
（ステップＳ６０９）、設定を終わる。音量の調整が必
要な場合は図１４の表示画面でカーソル移動、ペンなど
によって音量の調節を行い（ステップＳ６０３）、音の
再生がＯＮの場合は、ステップＳ６０３の音量調節画面
を飛ばし、シートの読み取りに入る（ステップＳ６０
４）。それが表示画面に表示されるので（ステップＳ６
０５）、その中から音化の必要な情報をカーソルやペン
で指定し（ステップＳ６０６）、音化する（ステップＳ
６０７）。

【００６１】音情報が混在するシートを読み込む場合、
画面に表示された文書情報、イメージ情報、図形情報が
読みづらくなることがある。これを避けるため、読み込
み前に音情報表示有無の選択を可能とする。

【００６２】この音情報表示有無の選択処理のフローチ
ャートを図１５に示す。まず、読み取りモードに入り
（ステップＳ７０１）、図１６に示すような選択画面を
表示して、表示画面上でカーソル移動やペンなどで指示
することにより、音情報表示の有無の選択を行う（ステ
ップＳ７０２）。音情報表示が必要な場合、シートをそ
のまま読み取り全てを表示し（ステップＳ７０３）、音
情報表示が不必要なら、シートの読み取り後、相対関連
情報から相対関連情報自身の領域と音情報の領域を認識
し、それらのみをぬぐい取って表示させる（ステップＳ
７０４）。

【００６３】音情報表示の有無の表示例を図１７及び図
１８に示す。領域Ａは相対関連情報、領域Ｂは文書情
報、領域Ｃはイメージ情報、領域Ｄは図形情報、領域Ｅ
は音情報をそれぞれ表す。通常表示では図１７のように
なるが、図１５のステップＳ７０２で表示ＯＦＦを選択
すると、図１８のようになり、画面が見やすくなる。

【００６４】次に、シートを読み込んで音化する場合に
ついて説明する。音情報の音化は、使用する情報処理装
置の内部メモリ容量の範囲内であれば、２次元バーコー
ドの音情報を全て内部メモリに蓄え、必要に応じてそれ
を呼び出し音化することができる。

【００６５】このシートを読み込んで音化する場合の処
理のフローチャートを図１９にに示す。各情報が混在記
載されたシートがスキャナーで読み込まれ（ステップＳ
８０１）、イメージが画面に表示される（ステップＳ８
０２）。

【００６６】２次元バーコードの相対関連情報と音情報
は内部メモリに記録される（ステップＳ８０３）。この
情報は、必要に応じて特定の番地のメモリが呼び出され
て（ステップＳ８０４）、音化される（ステップＳ８０
５）。

【００６７】音情報の音化は上記のようにいったん全て
をメモリーに蓄え、必要なときに呼び出す方法だけでな
く、相対関連情報に基づき、そのつどイメージリーダー
１４を制御し、必要な部分の音情報のみを読み込み音化
することもできる。

【００６８】この特定の音情報のみを読み込み音化する
処理のフローチャートを図２０に示す。各情報が混在記
載されたシートがスキャナーで読み込まれ（ステップＳ
９０１）、イメージが画面に表示される（ステップＳ９
０２）。しかしながら、２次元バーコードの音情報は内
部メモリに記録されない。ここで、音化されている特定
の文書情報、イメージ情報図形情報を、例えばペン１の
ような特定の位置を指示する手段で選択すると（ステッ
プＳ９０３）、相対関連情報より特定の音情報の位置が
呼び出され（ステップＳ９０４）、読み取り装置が制御
されて（ステップＳ９０５）、特定の情報のみが読み込
まれ（ステップＳ９０６）、音化される（ステップＳ９
０７）。

【００６９】音化されている特定の文書情報、イメージ
情報、図形情報の特定の位置を指示するためのペン１の
具体的構成を図２１で示す。各構成要素の参照番号は図
２で示したものと同じである。。

【００７０】この構成は、ペン１と透明なタブレット２
ａとを用いる。タブレット２ａは表示装置２ｂの画面に
重ね合わされている。表示装置２ｂの画面に表示されて
いるＡは相対関連情報、Ｂは文書情報、Ｃはイメージ情
報、Ｄは図形情報、Ｅは音情報のそれぞれの領域を表
す。

【００７１】例えば、領域Ｂの文章の一部を音化するに
は、タブレット２ａ上の領域Ｂ内をペン１で指示する
か、あるいはカーソルを操作して特定領域内に移動し、
指定キーを押すなどにより、特定領域を指定する。これ
により、領域Ｅを示すポイント座標等がＲＡＭ２１内の
領域Ａの情報から呼び出される。その座標から、シート
物体送り装置１３ａのシート送り量を制御装置２４で換
算し、シート物体送り装置１３ａを作動させて特定の音
情報を読み込む。

【００７２】ここで、音情報が音化されるタイミングに
ついて述べる。例えば、音情報が入力され、関連情報が
画面に表示される状態において、カーソルが音情報の存
在する領域にかかるときや、ペン１などでその領域を指
示したとき、その領域に対応する音情報を音化出力させ
ることができる。

【００７３】この領域指示による音化出力処理のフロー
チャートを図２２に示す。音声入力時に指示した文書情
報内の特定の領域は、その部分が反転するなどして示さ
れ、イメージ情報内、図形情報内の特定の領域は、その
部分を枠で囲むなどして示されており、相対関連情報に
は、その領域の数値データ、例えば１つの頂点の座標を
基準にＸ方向と、Ｙ方向の数値が記録され、又それが、
どの音情報と対になっているかを判断するための通し番
号等が記録されている。

【００７４】ペン１又はカーソルによる指定で（ステッ
プＳ１０００）、カーソルがその領域にかかったとき
（ステップＳ１００１）、あるいは、ペン１などでその
領域を指定したとき（ステップＳ１００２）、そこに記
録されている通し番号と相対関連情報を照らし合わせ、
対応する音情報を呼び出し（ステップＳ１００３）、音
化する（ステップＳ１００４）。

【００７５】カーソルの移動による文書情報、イメージ
情報、図形情報内の特定情報の指定方法を詳しく述べ
る。図２３に示すように、音化したい特定の文書情報ｂ
があり、その領域は（ｘｂ，ｙｂ）（ｘｂ′，ｙｂ′）
の矩形で表され、また、現時点でのカーソルの位置を
（ｘＣ，ｙＣ）で表せるとする。

【００７６】この時のカーソル移動処理のフローチャー
トを図２４に示す。キーボードによりカーソルを任意の
方向に移動させる（ステップＳ１００５）。そして、文
書情報ｂの領域を表す座標とカーソルのその時点での位
置をＸ座標方向で比較し（ステップＳ１００６）、さら
にＹ座標方向で比較して（ステップＳ１００７）、範囲
内であれば音化する（ステップＳ１００８）。

【００７７】上記のような方法で音情報を音化していく
とき、はじめに指示した領域の音情報が、全て音化され
ていないにもかかわらず、他の領域が指示されることが
ある。

【００７８】すなわち、図２５に示すように、文書情報
領域Ｂ内に特定の音化された文書ｂ１，文書ｂ２がある
場合、まず文書ｂ１が指定され、音化を行っている途中
で、続けて文書ｂ２が指定されることがある。このとき
文書ｂ２の音化については、文書ｂ１の音情報の再生終
了を待って、ある程度のブランクタイムを設け、文書ｂ
２の音情報を再生する。

【００７９】この音化の再生待ちのタイムチャートを図
２６に示し、音化の再生待ち処理のフローチャートを図
２７に示す。まず、文書情報領域Ｂ内の文書ｂ１を指定
し（ステップＳ１１０１）、文書ｂ１の音情報が再生さ
れる（ステップＳ１１０２）。この再生中に文書ｂ２の
指定があると（ステップＳ１１０３）、文書ｂ１が再生
中かどうかを判断し（ステップＳ１１０４）、再生中で
あれば、それを続行し（ステップＳ１１０７）、再生終
了すれば、一定時間のブランクタイムを設け（ステップ
Ｓ１１０５）、続いて文書ｂ２の音情報を再生する（ス
テップＳ１１０６）。

【００８０】このようにして、シート上に音情報を音情
報以外の印刷情報と関連付けて記録することにより、シ
ート上の文書情報、イメージ、図形情報の内容の充実を
図ることができる。

【００８１】例えば、文書情報、イメージ、図形情報に
付随する音情報として、文章で表現困難な音イメージ、
感情のある発言内容などを印刷したり、それらに関連す
る補足情報を音情報として付加したりすることが可能と
なる。

【００８２】そして、この音情報を他の情報と関連付け
て記録することによって、今までに実現できなかった色
々な情報活用場面を生み出すことが可能となる。つま
り、これら文書情報、イメージ、図形情報にかかる音情
報を音化出力するに当たり、各々の文書情報、イメー
ジ、図形情報の特定領域をマウスやペンなどポインティ
ングデバイス、又はカーソル移動にて指定することで、
その特定領域がかかわる関連音情報を音化出力すること
が可能になる。

【００８３】また、音情報を音化出力する際に、関連す
る文書情報、イメージ、図形情報の特定領域を特定領域
が判断可能な表示形態で表示したりする事が可能とな
る。前者（音情報以外から音情報を出力させる）では、
手紙や書類で、感情的な発言表現や、言葉で表現困難な
音情報の伝達を可能とし、音情報以外の印刷表現から音
情報への辞書を実現可能にしたり、人の目に触れさした
くない極秘情報を音情報として記録管理したり、文書情
報などを、表示を見ないでもカーソル移動だけで朗読可
能にしたりすることができる。

【００８４】後者（音情報出力から音情報以外の領域を
表示面で案内する）では、音情報の流れに合わせて音情
報以外の情報を関連付けて見ることが可能となるため、
文書情報などを、表示を見ないでもカーソル移動するこ
となく朗読可能にしたり、音情報に関連する音情報以外
の情報が視覚化できるため、目的物への地図案内が可能
になったり、音情報から音情報以外の情報への辞書を実
現したりすることができる。

【００８５】さらに、音情報をシート状態で補完管理で
きるため、情報の管理検索が容易になる。つまり、情報
のファイリングが簡単にできたり、複写機などでシート
上の情報を複写可能になるため、多人数に情報を配布す
ることも簡単にできたり、色々な刊行物として、これら
音情報を含む印刷物が発行可能になるため、音情報を安
価なシートにて配布できる手段が提供でき、色々な情報
発信として活用可能となる。

【００８６】これらは、音情報とその関連情報を各種方
法でシート上に印刷することで可能となるが、例えばシ
ートのヘッダー部に音関連情報を印刷したり、文書情
報、またはイメージ、図形情報などの領域の中に印刷し
たり、そして、読取り誤りを排除するため、それら２次
元バーコードの補完情報を付加したりしながら、印刷時
にシートに記載する情報の目的に合わせて、フォーマッ
トを選択する事で、多様な印刷物に配慮可能となる。

【００８７】そして、再生時には、シートの音情報の音
化出力を消したり、抑制したり、表示される音情報、音
関連情報の情報２次元バーコードを消したりすること
で、使い勝手を多彩にできる。

【００８８】また、表示から音の指定の要求をカーソル
などで連続して行う場合などは、一つの音化出力が終わ
らないと次の音が聞けない工夫をしているので、お互い
の音が重なる事なく聞き取れる事を可能にする。

【００８９】さらに、シートを一括で読込み、後で音化
出力を試みたり、シートを読込みながら、その都度音化
出力を試みたりすることでも、ニーズに見合った使い方
が可能になるため、予期しない使い方が色々派生的に生
まれてくる可能性が強い。

【００９０】

【発明の効果】この発明によれば、領域指定手段によっ
て指定された領域の視覚情報と音情報とを関連づけて記
憶することができるので、視覚情報と音情報とを対応さ
せた処理が可能となる。

【００９１】また、音情報あるいは相対関連情報のみを
視覚情報の外周部に印刷させるようにした場合には、視
覚情報への音情報の対応づけが容易となる。さらに、音
情報あるいは相対関連情報のみを領域指定手段によって
指定された視覚情報の近傍に印刷させるようにした場合
には、視覚情報と音情報との関係を容易に判別すること
ができる。

【００９２】そして、読取手段と、再生条件指定手段
と、識別手段と、音再生手段とをさらに備えた場合に
は、そのときの周囲の状況に応じて、再生音の音量を低
下させたり、音の再生を止めることができる。

【００９３】また、読取手段と、表示手段と、バーコー
ド表示条件指定手段と、表示制御手段をさらに備えた場
合には、バーコードと視覚情報とを一緒に表示した場
合、視覚情報が読みづらくなるときには、バーコードを
表示しないようにすることができるので、視覚情報が見
やすくなる。

【００９４】さらに、音情報再生指定手段と、読み出し
手段と、音再生手段をさらに備えた場合には、指定した
視覚情報に対応する音情報だけを再生することができ
る。

【図面の簡単な説明】

【図１】この発明の構成を示すブロック図である。

【図２】この発明を音情報の印刷及び読み取りが可能な
データ処理装置に適用した一実施例の構成を示すブロッ
ク図である。

【図３】この発明のデータ処理装置における音声の入力
処理の内容を示すフローチャートである。

【図４】この発明による視覚情報の領域指定の方法を示
す説明図である。

【図５】この発明による文書情報、図形情報、イメージ
情報の各々の指定された領域の座標情報と、２次元バー
コードの音情報との関連づけの一例を示す説明図であ
る。

【図６】この発明による文書情報、図形情報、イメージ
情報の各々の指定された領域の座標情報と、２次元バー
コードの音情報との関連づけの方法を示す説明図であ
る。

【図７】この発明によるチェックサム付加処理を示すフ
ローチャートである。

【図８】この発明による相対関連情報のデータ構成を示
す説明図である。

【図９】この発明による相対関連情報や音情報のバーコ
ードを文書情報の下部に付加する例を示す説明図であ
る。

【図１０】この発明による相対関連情報や音情報のバー
コードをイメージ情報の周りや図形情報の一部に付加す
る例を示す説明図である。

【図１１】この発明による印刷フォーマットの選択時の
処理を示すフローチャートである。

【図１２】この発明による選択可能な印刷フォーマット
の例を示す説明図である。

【図１３】この発明による再生音抑制処理を示すフロー
チャートである。

【図１４】この発明による音量の調整を行う場合の画面
の表示例を示す説明図である。

【図１５】この発明による音情報表示有無の選択処理を
示すフローチャートである。

【図１６】この発明による音情報表示の有無の選択画面
の一例を示す説明図である。

【図１７】この発明による音情報表示有りの表示例を示
す説明図である。

【図１８】この発明による音情報表示無しの表示例を示
す説明図である。

【図１９】この発明によるシートを読み込んで音化する
場合の処理を示すフローチャートである。

【図２０】この発明による特定の音情報のみを読み込み
音化する処理を示すフローチャートである。

【図２１】この発明による文書情報、イメージ情報、図
形情報の特定の位置を指示するためのペンの具体的構成
を示す説明図である。

【図２２】この発明による領域指示による音化出力処理
を示すフローチャートである。

【図２３】この発明によるカーソルの移動による文書情
報、イメージ情報、図形情報内の特定情報の指定方法を
示す説明図である。

【図２４】この発明による特定情報指定時のカーソル移
動処理を示すフローチャートである。

【図２５】この発明による音声情報の再生の指示が連続
する場合の例を示す説明図である。

【図２６】この発明による音化の再生待ちのタイミング
を示すタイムチャートである。

【図２７】この発明による音化の再生待ち処理を示すフ
ローチャートである。

【符号の説明】

１ペン２ａタブレット２ｂ表示装置３座標検出回路４バーコードデータ出力制御回路５キーボード６カーソル位置算出回路７指定領域検索回路８バーコード化回路９バーコード復元回路１０スピーカー入出力制御回路１１スピーカー／マイクロホン１２Ａ／Ｄ，Ｄ／Ａコンバータ１３ａシート物体送り装置１３ｂスキャナー１４イメージリーダー１５シート物体送り制御回路１６バーコードデータ範囲判別回路１７チェックサム算出回路１８エラー判別回路１９印刷レイアウト選択回路２０特定情報呼び出し回路２１ＲＡＭ２２印刷装置２３印刷されたデータ２４制御装置

Claims

(57)【特許請求の範囲】

【請求項１】文字情報、イメージ情報及び図形情報な
どの視覚情報を入力する視覚情報入力手段と、入力された視覚情報を記憶する視覚情報記憶手段と、視覚情報記憶手段に記憶された視覚情報の領域の一部を
指定する領域指定手段と、領域指定手段によって指定された領域の視覚情報に対応
する音情報を入力する音情報入力手段と、入力された音情報をバーコードデータに変換して記憶す
る音情報記憶手段と、領域指定手段によって指定された領域の視覚情報と音情
報記憶手段に記憶された音情報とを関連づけた相対関連
情報をバーコードデータに変換して記憶する相対関連情
報記憶手段を備えてなる音情報処理装置。
【請求項２】文字、イメージ及び図形などの視覚情報
とバーコードを用紙に印刷することが可能な印刷手段
と、視覚情報記憶手段に記憶された視覚情報と、音情報記憶
手段に記憶された音情報と、相対関連情報記憶手段に記
憶された相対関連情報との用紙面上における印刷配置を
決定する印刷制御手段をさらに備え、印刷制御手段が、音情報あるいは相対関連情報のみを視
覚情報の外周部に印刷させる機能を有し、それにより、
印刷された用紙が読み取られる際に、視覚情報よりも音
情報あるいは相対関連情報が先に読み取られるようにし
たことを特徴とする請求項１記載の音情報処理装置。
【請求項３】文字、イメージ及び図形などの視覚情報
とバーコードを用紙に印刷することが可能な印刷手段
と、視覚情報記憶手段に記憶された視覚情報と、音情報記憶
手段に記憶された音情報と、相対関連情報記憶手段に記
憶された相対関連情報との用紙面上における印刷配置を
決定する印刷制御手段をさらに備え、印刷制御手段が、音情報あるいは相対関連情報のみを領
域指定手段によって指定された視覚情報の近傍に印刷さ
せる機能を有し、それにより、視覚情報と音情報との関
係を容易に判別可能としたことを特徴とする請求項１記
載の音情報処理装置。
【請求項４】用紙に印刷された文字、イメージ及び図
形などの視覚情報とバーコードを読取ることが可能な読
取手段と、音情報の再生条件を指定する再生条件指定手段と、読取手段によって読み取られたバーコードの中から音情
報を識別する識別手段と、識別手段によって識別された音情報を、再生条件指定手
段によって指定された条件に従って再生する音再生手段
をさらに備えてなる請求項１記載の音情報処理装置。
【請求項５】用紙に印刷された文字、イメージ及び図
形などの視覚情報とバーコードを読取ることが可能な読
取手段と、読取手段によって読み取られた視覚情報とバーコードを
表示することが可能な表示手段と、バーコード表示の条件を指定するバーコード表示条件指
定手段と、読取手段によって読み取られたバーコードを、バーコー
ド表示条件指定手段によって指定された条件に従って表
示手段に表示する表示制御手段をさらに備えてなる請求
項１記載の音情報処理装置。
【請求項６】音情報が対応づけられた視覚情報の領域
を指定する音情報再生指定手段と、相対関連情報記憶手段に記憶された相対関連情報を参照
することにより、音情報再生指定手段によって指定され
た領域に対応する音情報を音情報記憶手段から読み出す
読み出し手段と、読み出し手段によって読み出された音情報を再生する音
再生手段をさらに備えてなる請求項１記載の音情報処理
装置。