JP2525377B2

JP2525377B2 - デ―タ処理方法

Info

Publication number: JP2525377B2
Application number: JP61251069A
Authority: JP
Inventors: 和彦吉岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1986-10-22
Filing date: 1986-10-22
Publication date: 1996-08-21
Anticipated expiration: 2011-08-21
Also published as: JPS63105549A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、データ処理方法に関し、特にデータ通信の
可能な他の装置との間で、音声データを含むデータの通
信を行うことのできるデータ処理方法に関するものであ
る。

〔従来の技術〕

従来は、受信したデータが画像データであればその画
像データである受信データに従って画像出力し、また、
受信したデータが音声データであればその音声データで
ある受信データに従って音声出力するものであり、ま
た、それらのデータの出力は、データが送信されてきた
時か、オペレータにより出力が指示された時であった。

また、従来、受信したデータの種別を受信側で判断
し、その判断された受信データの種別をユーザに報知す
るものがあった。

〔発明が解決しようとする問題点〕

上述したように、従来はデータが送信されてきた時
か、オペレータにより指示された時にデータが出力さ
れ、それら互いのデータの関係を視覚によって把握する
ことができなかった。

また、上述したように、従来はデータの種別を報知す
る情報がその装置の仕様によって定まる方法や位置に出
力されるのみであって、ユーザは、受信したデータの種
別が知らされるのみであった。

〔問題点を解決するための手段〕

上述の問題点を解決するために、本発明は画像データ
及び音声データを含む通信データを受信し、前記受信し
た通信データに含まれているデータの種別を判別し、前
記判別されたデータの種別が画像データであるデータ
を、該データに規定されている位置情報に従ってドット
イメージに展開し、前記受信した通信データ中に音声デ
ータが含まれている場合には、該受信した通信データに
音声データが含まれていることを示す記号のイメージ
を、前記受信した通信データに含まれる当該記号のイメ
ージの表示位置を規定する位置情報に従って前記展開し
たドットイメージとともに表示するよう制御することを
特徴とするデータ処理方法を提供する。

〔作用〕

本発明によれば、画像データ及び音声データを含む通
信データを受信し、前記受信した通信データに含まれて
いるデータの種別を判別し、前記判別されたデータの種
別が画像データであるデータを、該データに規定されて
いる位置情報に従ってドットイメージに展開し、前記受
信した通信データ中に音声データが含まれている場合に
は、該受信した通信データに音声データが含まれている
ことを示す記号のイメージを、前記受信した通信データ
に含まれる当該記号のイメージの表示位置を規定する位
置情報に従って前記展開したドットイメージとともに表
示するよう制御する。

〔実施例〕

以下、図面を参照して本発明に係る一実施例を詳細に
説明する。

第１図は本発明に係る一実施例のブロック図であり、
図中、１はシステム全体の制御をつかさどるマイクロプ
ロセツサにて構成されるCPU、２はデータおよびプログ
ラムを格納しておくハードデイスク装置、３は同じくデ
ータおよびプログラムを格納しておくフロツピーデイス
ク装置、４は表示データを格納するVRAM（ビデオ用ラン
ダムアクセスメモリ）、５はデータ表示用CRT、６は音
声情報の認識処理を実行し、文字符号情報に変換する音
声認識ユニツト、７はA/Dコンバータ16によって符号化
された音声データを格納するのに用いるICRAMより構成
される音声メモリ、８はプログラム等の格納に用いるRA
Mより構成されるプログラムメモリ、９はリーダ12によ
って読み込まれたイメージデータを格納するのに用いる
RAMより構成されるイメージメモリ、10はバス、11はリ
ーダ12およびプリンタ13と、CPU1とのインターフエース
をつかさどるリーダ／プリンタインターフエース、14は
キー入力を行なうキーボード、15はポインテイングデバ
イスの１つであるマウス、16はマイク19で音声を電気信
号に変換し、アンプ18でその電気信号を増幅し、濾波器
17を通ったアナログ信号をデイジタルデータに変換する
サンプリング回路を含んだA/Dコンバータ、20はデイジ
タルデータをアナログ音声信号に変換するD/Aコンバー
タ、21は濾波器、22はアナログ信号を増幅するアンプ、
23は音響信号を発生するスピーカ、24は通信回線25に対
する通信制御を行ない、所定の通信制御手順に従ったデ
ータの送／受信を行なうコミユニケーシヨンコントロー
ルユニツト、26はイメージデータの拡大／縮小、移動等
を行なうビツトムーブユニツト、27はイメージデータを
圧縮または伸長するイメージコンプレツシヨン／デイコ
ンプレツシヨンユニツトである。

第２図は（ａ）〜（ｄ）は本実施例による通信回線25
を介して他の通信装置の間で送／受信される伝送フレー
ム構成を示した図である。

第２図（ａ）は伝送フレームの全体構成を示した図で
ある。

図中、Ａは送信元の名称、送信日時、原稿枚数等の送
信情報データを格納する通信情報データ部、Ｂはページ
データ部であり、ページデータ部Ｂは１ページ分の原稿
データ（ブロツクデータ）がすべてキヤラクタデータで
あるか、すべてイメージデータであるか、すべて音声デ
ータであるか、キヤラクタデータとイメージデータの混
在データであるか、キヤラクタデータ音声データの存在
データであるか、イメージデータと音声データの混在デ
ータであるか、キヤラクタデータとイメージデータと音
声データの混在データであるかを示す識別コードと、続
いて送られる１ページの原稿データがいくつのブロツク
データより構成されているかを示すコードより成る。Ｃ
はそれ以降ブロツクデータが続くことおを示すコードで
ある。次のＤ、Ｅ、Ｆはそれぞれ送信すべきデータの格
納されているブロツクデータ部である。

上記送信情報データ部Ａ、ページデータ部Ｂ、ブロツ
クデータ指示コードＣは送信側の装置によって生成付加
される。

第２図（ｂ）はブロツクデータ部がキヤラクタデータ
の場合の構成を示した図である。

第２図（ｂ）においてａはブロツクの位置情報、ｂは
ブロツクの大きさ情報、c1はこのブロツクのデータがキ
ヤラクタデータであることを示す情報である。d1はキヤ
ラクタの書式を示す情報であり、たとえばキヤラクタの
大きさ、キヤラクタの配列、方向等を示す情報である。
ｅは送信されるキヤラクタデータの領域を示す。

第２図（ｃ）はブロツクデータ部がイメージデータの
場合の構成を示した図である。第２図（ｂ）と同符号は
同一構成である。

第２図（ｃ）において、c2はこのブロツクのデータが
イメージデータであることを示す情報、d2はイメージデ
ータの符号化の種別を示した情報であり、例えば、この
ブロツクのイメージデータが、MH、MR、MMRのうちのど
の符号化方式によって符号化されているかを示すもので
ある。ただし、符号化方式は上記３方式に限るものでは
ない。ｆはイメージデータの平行、垂直方向の走査密度
を示す情報、ｇは送信されるイメージデータの領域を示
す情報。

第２図（ｄ）はブロツクデータ部が音声データの場合
の構成を示した図である。第２図（ｂ）と同符号は同一
構成である。

第２図（ｄ）において、c3はこのブロツクのデータが
音声データであることを示す情報、d3はアナログ音声を
デイジタル化した場合のデイジタル化方式を示すもので
ある。また、ｈは送信される音声データの領域である。

第３図は本実施例で作成される文書の一例の１ページ
をCRT5に表示した画像を示したものである。

図中、31はデータがキヤラクタデータであるブロツ
ク、32はデータがイメージデータであるブロツク、33は
キヤラクタブロツク31の開始座標位置を示し、34はキヤ
ラクタブロツク31の大きさを示している。37はデータが
音声データであるブロツクがあることを示す記号で、こ
の記号の情報は、イメージ情報として、第２図（ｃ）に
示す様に位置、記号の形等が決定されている。

第４図（Ａ）、（Ｂ）は、本実施例におけるデータ通
信制御を示すフローチヤートであり、以下、第４図
（Ａ）、（Ｂ）に基づき本実施例のデータ通信手順を説
明する。

まず、第４図（Ａ）を参照して本実施例のデータ送信
処理を説明する。

オペレータはステツプS1で送信すべき文書データの作
成処理を実行する。例えば第３図に示す文書データを作
成する場合には、キーボード14より入力された文字符号
化データ、例えばブロツク31をVRAM4に格納する。これ
は、順次キーボード14より入力してもよく、ハードデイ
スク装置２、又は、フロツピーデイスク装置３に予め記
憶しておき、ここから読み出してきてもよい。

またイメージデータブロツク32は、リーダ12より読み
取らせ、イメージメモリ９に格納されているデータを読
み出してきて、これらのデータをCRT5の画像を見なが
ら、マウス15とキーボード14とを用いて、これらのブロ
ツク（キヤラクタブロツク、イメージブロツク）の位置
及び大きさを入力して合成する。そして、送信文書の作
成が終了するとステツプS2に進み、送信すべき伝送フオ
ーマツト中の第２図（ｂ）及び（ｃ）に示す位置情報
ａ、大きさ情報ｂがブロツクデータの先頭部分の所定位
置に付加される。更に、位置情報ａ、大きさ情報ｂをブ
ロツクのキヤラクタデータ、イメージデータに付加す
る。

キヤラクタデータにはキヤラクタの書式情報d1が付加
され、また、リーダ12によって読み取られたイメージデ
ータはイメージコンプレツシヨンユニツト27により圧縮
符号化されるが、この符号化方式を示す情報d2と、イメ
ージデータの水平、垂直方向の走査密度を示す情報ｆも
付加される。

一方音声データを送信する場合には、ステツプS1とス
テツプS2の処理において、マイク19によつて入力された
信号をアンプ18で増幅し、濾波器17を通し、A/Dコンバ
ータ16でデイジタル化される。そしてデイジタル化の方
式を示す情報であるd3が生成付加される。

また、キヤラクタデータ、イメージデータ、音声デー
タには、キヤラクタデータであることを示す情報c1、イ
メージデータであることを示す情報c2、音声データであ
ることを示す情報c3がそれぞれ先頭位置に付加される。

上述した各付加情報は、CPU1によって生成付加され、
送信文書が作成され、ハードデイスク装置２に格納され
る。そしてステツプS3で文書作成が終了したか否かを調
べ、終了していなければ再びステツプS1に戻り、次の文
書を作成する。文書作成が終了し、送信を行う場合には
ステツプS4に進み、オペレータはキーボード14を操作
し、CPU1に指示して送信原稿データをハードデイスク装
置２から読み出させる。この時送信するデータにはキー
ボード８により入力された第２図（ａ）の送信元情報デ
ータＡ、ページデータＢが付加される。次にCPU1はステ
ツプS5でコミユニケーシヨンコントロールユニツト24と
回線25を介し、送信する相手側受信端末を呼び出して、
互いに接続し、続くステツプS6で相手先の端末機能の確
認を行なう。次にステツプS7でその結果相手端末に音声
情報を受信する機能或は出力する機能があるか否かを判
断し、受信する機能がある場合はステツプS8で予め作成
した音声情報を含む送信文書をそのまま送信する。しか
し、相手端末に音声情報を受信する或いは出力する機能
がない場合は、図では、説明していないが、音声情報の
送信は行なわれない様にしても良い。ステツプS7よりス
テツプS9に進み、音声データを音声認識ユニツト６で音
声認識し、入力された音声情報に対応する文字符号情報
に変換し、CPU1で第２図（ａ）に示すページの位置デー
タａ、大きさデータｂ、キヤラクタであることを示す情
報c1、キヤラクタの書式を示す情報d1を付加し、文字符
号情報は書式に合う形に変換され、変換されたデータは
キヤラクタデータｅの送信ブロツクデータに変換されて
送信される。

なお、ステツプS6における端末機能ネゴシエーシヨン
は、送信側端末装置より受信側端末装置に、該受信側端
末装置の備える全ての機能を示す制御フレーム送信要求
を出力し、受信側端末装置はこれに対する応答として自
装置の備える機能を含む伝送制御フレームを送出するこ
とにより行う。ここでは、相手側装置に音声情報の受信
機能があるか否かの確認のみでもよい。

次に第４図（Ｂ）を参照して本実施例の受信処理を説
明する。

受信においては、まずステツプS20でコミユニケーシ
ョンコントロールユニツト24が回線25よりの受信を検出
したか否かを調べ、回線25よりの受信がなければステツ
プS21に進み、キーボード14より出力指示入力があるか
否かを調べる。ここで指示入力がない場合には再びステ
ツプS20に戻り、この指示入力か回線25よりの受信があ
るのを待つ。

回線25よりのデータ受信があるとステツプS20よりス
テツプS22に進み、送信側装置よりの前述した端末機能
ネゴシエーシヨン処理を行う。そして、ステツプS23で
続いて送られてくるデータの受信を行なう。受信データ
はステツプS24でハードデイスク装置２にそのまま格納
され、全てのデータの受信が終了し、ハードデイスク装
置２に格納されるとステツプS25に進み、CRT5の表示面
上に“受信有”の表示を行なう。そしてデータの受信処
理を終了し、次のステツプS26で回線25を復旧し、ステ
ツプS20に戻る。

一方、オペレータはCRT5への“受信有”表示によりデ
ータが受信されたことを認識し、受信データをCRT5に表
示する場合、あるいはプリンタ13によって印刷する場
合、あるいは音声データをスピーカ23から音声として出
力する場合にはキーボード14より受信した原稿データを
指定し、表示、印刷、音声出力の実行指示を行なう。こ
のキー入力があるとステツプS21よりステツプS30に進
み、ステツプS30でハードデイスク装置２に受信データ
があることを確認してから続くステツプS31で指定デー
タをハードデイスク装置２より読出す。なお、ここで受
信データがないのに誤まって出力指示入力を行った場合
には、キー入力を無効としてそのままステップS20に戻
る。

CPU1は指定データをハードデイスク装置２より読出す
と、ステツプ32でブロツクに付加されているデータ識別
情報c1、c2、c3によって、そのブロツクのデータがキヤ
ラクタデータであるか、イメージデータであるか、音声
データであるかを判別する。そして、判別の結果、音声
データの出力指示であればステツプS33よりステツプS34
に進み、デイジタル化情報d3と伴に音声データｈを音声
メモリ７に格納する。そして続くステツプS35において
音声データを音声メモリ７から読み出し、デイジタル化
情報d3にもとづいてD/Aコンバータ20でアナログ化さ
れ、濾波器21を通ってアンプ22で増幅され、スピーカ23
により出力される。なお、音声データは一度音声認識ユ
ニツト６で、文字符号化情報に変換してCRT5に表示、又
は、プリンタ13で印刷することも可能である。

出力指示が音声データでない場合にはステツプS33よ
りステツプS36に進み、出力指示がキヤラクタデータの
場合にはキヤラクタの書式情報にもとづいて、キヤラク
タコードをプログラムメモリ８に格納されているフオン
トデータで展開し、位置情報ａと大きさ情報ｂによって
定められたイメージメモリ９の領域にドツトデータとし
て展開する。ブロツクのデータがイメージデータの場合
は、符号化情報d2、画素密度データｆにもとづいて、イ
メージ・コンプレツシヨン・ユニツト27によって圧縮化
されているイメージデータを伸長化させ、位置情報ａと
大きさ情報ｂによって定められるイメージメモリ９の領
域にドツトデータとして格納する。そして続くステツプ
S37で出力先がプリンタ13か、又はCRT5への出力かを判
断し、CRT5にデータを表示する場合にはステツプS38に
進み、イメージメモリ９から表示データを読み出し、VR
AM4に格納し表示する。一方、プリンタ13より印刷する
場合はステツプS37よりステツプS39に進み、イメージメ
モリ９よりデータを読み出し、プリンタ13に出力するそ
して共に出力終了後ステツプS20に戻り、次の受信処理
又は出力指示入力に備える。

なお、相手端末が文字符号化情報を受信する能力もな
い、純粋なフアクシミリ装置等である場合は一度文字符
号化したデータをフオント展開して、全てイメージデー
タとして送信してもよい。

なお、以上の説明において、ハードデイスク装置２よ
り受信データを読出すときに、例えば第３図に示すデー
タを全て一括してイメージデータに変換して、イメージ
メモリ９中に展開し、しかる後に指定データのみを抽出
して指定部分に出力する様制御してもよい。

以上説明した様に本実施例によれば、データ通信装
置、例えばミクストモード端末装置においてキヤラクタ
符号化方式を用いるテキストや、フアクシミリ符号化方
式を用いるテキストだけでなく、音声情報を持つテキス
ト、および音声情報のみの作成、送受信が可能となり、
極めて情報伝達量の多い通信装置を提供することができ
るという効果がある。

〔発明の効果〕

以上説明したように、本発明によれば、画像データ及
び音声データを含む通信データを受信し、前記受信した
通信データに含まれているデータの種別を判別し、前記
判別されたデータの種別が画像データであるデータを、
該データに規定されている位置情報に従ってドットイメ
ージに展開し、前記受信した通信データ中に音声データ
が含まれている場合には、該受信した通信データに音声
データが含まれていることを示す記号のイメージを、前
記受信した通信データに含まれる当該記号のイメージの
表示位置を規定する位置情報に従って前記展開したドッ
トイメージとともに表示するよう制御することにより、
通信データに音声データが含まれることを報知するのみ
ならず、その音声データと他の画像データとの関係をユ
ーザに報知することができるので、音声データと関係す
ると思われる画像データを見ながら音声を発生させれ
ば、よりデータの理解を深めることが可能となる。

また、以上説明したように、本発明によれば、音声デ
ータを文字に変換して画像として出力するのではなく、
音声データを模擬的に表現した記号のイメージを他の画
像とともに規定された位置に出力するだけなので、出力
領域を大きく確保する必要もなく、しかも音声データと
他の画像データとの関係を視覚的に確認することが可能
となる。

【図面の簡単な説明】

第１図は本発明に係る一実施例のブロツク図、第２図
（ａ）〜（ｄ）は本実施例で用いられるデータ伝送フレ
ームのフオーマツト構成図、第３図は本実施例で用いられる文書情報の一構成例を示
す図、第４図（Ａ）、（Ｂ）は本実施例のデータ通信制御フロ
ーチヤートである。図中、１……CPU、２……ハードデイスク装置、４……V
RAM、５……CRT、６……音声認識ユニツト、７……音声
メモリ、８……プログラムメモリ、９……イメージメモ
リ、24……コミユニケーシヨンコントロールユニツト、
25……回線である。

Claims

(57)【特許請求の範囲】

【請求項１】画像データ及び音声データを含む通信デー
タを受信し、前記受信した通信データに含まれているデータの種別を
判別し、前記判別されたデータの種別が画像データであるデータ
を、該データに規定されている位置情報に従ってドット
イメージに展開し、前記受信した通信データ中に音声データが含まれている
場合には、該受信した通信データに音声データが含まれ
ていることを示す記号のイメージを、前記受信した通信
データに含まれる当該記号のイメージの表示位置を規定
する位置情報に従って前記展開したドットイメージとと
もに表示するよう制御することを特徴とするデータ処理
方法。