JPS63163969A - 音声付きイメ−ジ・プロセツシング処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 イメージ情報を処理する情報系であって１例えばビデオ
のようにイメージでもってマン・マシン・インタフェー
スを構築し９人間に対する知的環境支援システムを構築
するようにされたイメージ高速処理用の音声付きイメー
ジ・プロセッシング処理装置において、イメージ情報毎
に制御情報を付したピクチャ情報を用いて、複数のイメ
ージ・データを表示装置上に逐次表示可能にすると共に
。

当該側々のイメージ上のエリアに対応して音声情報を対
応して保持させるようにしたことが開示されている。

〔産業上の利用分野〕

本発明は、音声付きイメージ・プロセンシング処理装置
、特にピクチャ情報中に音声情報テーブルを保持せしめ
ておき９個々のイメージ情報中を任意の大きさと形状と
をもってエリアリングしたエリアを考慮し、エリア−エ
リア間やエリア−イメージ情報間やイメージ情報−イメ
ージ情報間に結合をつくってピクチャ情報系を構成して
、高速度でイメージ情報を処理する際に、音声情報を一
緒に処理できるようにした音声付きイメージ・プロセッ
シング処理装置に関する。

〔従来の技術〕

従来から例えばＯＡシステムが知られており。

例えば、タイプライタのように１表のように１紙のよう
に、鉛筆のように、ファイルのように・・・・・・の如
くオフィス・ツールの１つとしてコンピュータを用いる
ことが行われている。しかし、これら従来の場合には、
主としてコード・データを如何に高速処理するかという
観点に立って、データ・プロセッシングについてのイー
ジー・ツー・ユースをめざしているものであった。

しかし、最近、イメージ情報を取り扱う必要のある分野
も拡大しつつある。

〔発明が解決しようとする問題点〕

上述の如く、イメージ情報を取り扱う必要のある分野が
拡大することを考慮すると、従来のコンピュータにおい
ては個々のイメージ情報を取り扱うことができる程度の
ものであり、大量のイメージ情報を有機的に結合し統合
した。いわばイメージ情報系について高速処理を行うと
いう課題からは、必ずしも十分ではない。

ｃ問題点を解決するための手段〕 本発明は、上記の点を解決しており、いわばビデオのよ
うにコンピュータを使用でき、イメージ情報を高速処理
可能という視点に立って２人間に対する知的な環境をつ
くり出すための支援システムを提供する、ものである。

そして、このとき音声情報をも一緒に取り扱い得るよう
にす”る。

第１図は本発明の原理構成図を示す。図中の符号ｌはイ
メージ・プロセッシング処理装置である。

２は入力処理部であって、与えられた大量のイメージ情
報について入力処理を行う。３は出力処理部であって、
マン・マシン・インタフェースに関する処理を行う。４
はイメージ・データ・ベースであって９例えば光ディス
ク・メモリで構成される。５は高速イメージ・データ・
ベースであって。

フレーム・ファイル・メモリとして働く、イメージ・プ
ロセッシング処理装置１は、利用したり取り扱う上で容
易なイメージ・データ・ベース４を構築し、また目的に
応じて高速イメージ・データ・ベース５を容易に構築で
きる機能をもち、ハイスピード・イメージ・ハンドリン
グやハイレヘル・イメージ・プロセッシングを可能とす
るアーキテクチャをもっている。

入力処理部２は、　（ｉ）イメージ情報（音声情報を含
む一以下同じ）を簡単に入力でき、（ｉｉ）イメージ情
報を知的環境支援に利用できるような情報形式に変換し
、　　（ｉｉｉ）イメージ情報を有機的に整理し・結合
し・統合し・処理する機能をもち。

（ｉｖ）これらによって新しい知的イメージ情報系を生
成する機能をもつ。

出力処理部３は、　（１）イメージ情報を高速度で出力
提示し、（ｉｉ）快適で会話型のイメージ・マン・マシ
ン・インタフェースを提供し、　　（ｉｉｉ）目的に応
じた形態でイメージ情報を知的環境支援のために出力し
、　　（ｉｖ）出力情報の再編成とシステムへの再投入
を容易にする機能をもっている。

図示のイメージ・プロセッシング処理装置は。

いわば、映像や音声を入出力するメイン・ディスプレイ
に対して、プログラミングされて互いに結合され統合さ
れたピクチャ情報群について、当該ピクチャ情報を順次
提供し、その間に、必要に応じて所望する１つまたは複
数のピクチャ情報をスタックして処理できるようにして
いる。

このために１図示の如く９表示装置上の画面に対応する
如きイメージ情報６が存在するとき、当８亥イメージ情
報６は、イメージ・データ８−１として、ピクチャ情報
７内に保持される。また、イメージ情報６を構成してい
る画像について、必要に応じてエリア９−１や９−２の
如く、任意の大きさでかつ任意の形状でもって、エリア
リングし。

当該エリアリングされたエリア９−１や９−２に関する
領域情報がマスク情報８−２として、ピクチャ情報７内
に保持される。更に、当該イメージ情報６に対応して、
　（ｉ）イメージ情報６自体に関する制御情報や、（ｉ
ｉ）エリアリングされた（抜き取られた）エリアに関す
る制御情報が、ピクチャ情報７内に、制御情報８−３と
して保持される。

上記エリア９−１や９−２に対応して音声情報が用意さ
れる場合９図示の如きデータを存する音声情報テーブル
１０が制御情報８−３内に保持される。また個々の音声
情報１１−１や１１−２がピクチャ情報７としてまとめ
られるが、当該音声情報１１−１や１１−２は、イメー
ジ・データ８−１や制御情９Ｉ！８−３などとは全く独
立した別個の位置に格納されていてもよい。

上記音声情報テーブル１０において。

（Ａ）音声マーク番号は９個々の音声情報１１−１や１
１−２に対応して与えられている番号。

（Ｂ）音声マーク位置は１表示装置３２の画面上に表示
される音声マーク（少）を表示させるための位置を指示
する情報。

（Ｃ）音声情報アドレスは、音声情報１１−１や１１−
２が格納されているアドレス。

（Ｄ＞プロチク）ＩＤは、音声情報が非所望に聴取され
ないようにするための情報。

（Ｅ）音声時間は、音声情報が音声の形で出力される際
に要する時間 を表している。

なお、１３はハンド・セットを表し、音声を入出力する
ためのものである。

〔作用〕 ピクチャ情報は、予めプログラムされて、順序づけられ
る。そして、当該順序づけられて統合されたピクチャ情
報系の１つが呼び出され、オペレータが指示することに
よって、当該系を構成している個々のピクチャ情報に対
応するイメージが表示装置上に逐次表示される。

上記価々のイメージが表示された状態が第１図図示のイ
メージ情報６に示されている。勿論、最初においては、
音声情報は格納されてなく５例えばエリア９−１や９−
２を指定してハンド・セット１３から音声を入力する。

これによって、音声情報１１−１や１１−２が保持され
、あわせて音声情報テーブル１０の内容が生成される。

以後、当該イメージ情報が表示装置３２上に表示される
場合には、上記音声マークが一緒に表示される。そして
、オペレータが指などでエリア９−１や９−２を押すと
、音声情報テーブル１０の内容にもとづいて、所定の音
声情報１１−１あるいは１１−２が読み出され、ハンド
・セット１３によって音声の形で出力される。

〔実施例〕

第２図は本発明の一実施例構成を示している。

図中の符号１．２，３，４．５は第１図に対応している
。また２１は系全体を制御するためのプロセッサ。２２
は系全体を制御するプログラムを貯えるコントロール・
メモリ。２３はイメージ情報を読み込むためのイメージ
・スキャナ、２４はイメージ情報をプリント・アウトす
るためのイメージ・プリンタ。５はイメージ・データ・
ベース（光ディスク）４から読み出したイメージ情報を
貯えるキャッシュ・ディスク。２７は大量のイメージ情
報を高速で転送するための高速バス。２８は出力処理部
３におけるディスプレイ系を制御するためのプロセッサ
。２９はイメージ情報をピント単位で処理するためのビ
ット・マツプ・メモリ。

３０は表示装置に表示を行うためのビデオ・メモリ。３
１はディスプレイ系を制御するためのメモリ。３２は表
示装置、３３は表示装置の画面にセットされて２表示さ
れたイメージ情報に例えば指先で触れるなどして位置情
報を入力するためのタッチ・パネル。３４はキャッシュ
・ディスク　５から転送されたイメージ情報を貯えてお
くメモリであって、情報を表示する場合には１表示する
フレームのイメージ情報がビデオ・メモリ３０に転送さ
れ１表示装置３２に表示される。

第１図に示した如きイメージ情報６などは、イメージ・
スキャナ２３によって処理装置１内に読み込まれ、処理
装置内で、ピクチャ情報７を構成するイメージ・データ
８−１として保持される。

そして一方では、バス２７を通って、ビデオ・メモリ３
０に転送され９表示装置３２に表示される。

表示装置３２の画面にはタッチ・パネル３３が配置され
ていて、オペレータは指などで１表示されているイメー
ジ情報の一部を囲むようになぞることにより、イメージ
情報中の特定のエリアを処理装置１にとって意味のある
エリアとして定義することができる。この操作をエリア
リングまたは抜き取りと呼んでいる。第１図図示９−ｉ
はエリアである。当該エリアリングされた領域情報は、
タッチ・パネル３３によって位置情報が検出され。

ビット・マツプ・メモリ２９上にエリアの領域情報がつ
くられる。この情報は、当該エリア内のイメージデータ
を処理する場合にも利用されるのでエリア・マスク情報
と呼ばれ、ピクチャ情報７中にマスク情報８−２として
保持されるが、このとき適当な間引き処理を行って情報
量を減らすようにされる。このようにエリアが定義され
た後では。

オペレータが表示画面上の１点にタッチすれば。

タッチ・パネル３３で検出された位置情報とフレーム・
メモリ３４上に存在するピクチャ情報７中のマスク情報
８−２とが比較され、アクセスされたエリアを特定する
ことが可能となる。

オペレータはピクチャ情報７に音声情報を付加するため
にメモリ３１に格納された音声エディタプログラムを起
動する。音声エディタは音声情報を取り込みかつ音声情
報を制御するために必要な音声情報テーブル１０を生成
する。音声エディタはオペレータに表示されたイメージ
情報のどの部分に音声情報を付加するか聞いてくる。オ
ペレータは画面上の音声情報を付加する部分に指先でタ
ッチすることで指示する。その位置情報は画面の前面に
つけたタッチパネル３３により読込まれ。

ＣＰＵ２８はその位置にあらかじめピントマツプメモリ
２９上に配した音声マークをビデオメモリ３０上の該当
する位置にラスクオペレーションで転写する。

この時点で画面の指定した位置に音声マークが表示され
音声情報の録音がスタンバイ状態になる。

オペレータはハンド・セット１３から録音すべき音声を
吹き込むが、それはＡＤ／ＤＡ変換器３８でディジタル
信号化され、音声メモリ３７に音声情報として格納され
る。録音終了操作でＣＰＯ２８は音声メモリ３７内の音
声情報をフレームメモリ３４内に展開したピクチャ情報
７の音声情報エリアに転送する。またＣＰＵ２８は録音
時に録音された時間をタイマ３５より算出し、先の音声
マークの位置情報と、フレームメモリ３４中の音声情報
１１−１や１１−２のアドレスとをまとめて、音声情報
テーブル１０に書き込む。

さらにその音声情報にＩＤプロテクトをかける場合には
、音声エディタの間合わせに従って、ＩＤプロテクト・
コードをキーボード３６よりキーインする。これにより
、ＩＤプロテクト・コードは音声情報テーブル１０のプ
ロテクトＩＤ欄に記入される０以上の操作が完了した時
点で、音声の録音時間が音声マークのあらかじめ定めら
れた近傍にＣＰＯ２８によってビデオメモリ３０に書き
込まれる。

以上で１つの音声情報の録音が終了するが、他にもイメ
ージ情報に付随して録音したい音声情報が存在すれば、
同様にして順次レコーディングしてゆく。このようにし
て作成された音声情報付きのピクチャ情報は標準形式で
データ・ベース５に格納される。

次にこの音声情報のプレイバンク（再生）処理について
説明する。

データ・ベース５から続出されたピクチャ情報７は、フ
レームメモリ３４に配置され、ディスプレイへの表示要
求に従ってビデオメモリ３０に転送されるが、この時Ｃ
ＰＯ２８はＩＤカードリーダ３６のＩＤコードと音声情
報テーブル１０のプロテクトＩＤコードとを比較し、プ
ロテクト適合チェックをして、プロテクトすべき音声情
報の音声マークについてはビデオメモリ３０上で消去処
理を行なう。

こうして表示装置３２に表示されたイメージ情報にはそ
の時のオペレータがアクセス可能な音声マーク付きのイ
メージ情報が提示されているがら。

オペレータはプレイバックしたい音声マークに指先でタ
ッチする。このときＣＰＵ２８は、タッチパネル３３か
ら位置情報を得て音声情報テーブルｌＯの音声マーク位
置と比較することでプレイバックすべき音声情報アドレ
スを知る。さらにＩＤカード・リーグから得たＩＤコー
ドとプロテクトＩＤとを比較し、再生可能ならば音声情
報アドレスから音声情報１１−１や１１〜２を音声メモ
リ３７に転送し、プレイバンクを開始する。音声メモリ
３７の音声情報は順次ＡＤ／ＤＡ変換器３８よりディジ
タル−アナログの信号変換が行なわれ。

スピーカから音声が再生される。音声の再生開始と同時
に、ＣＰＵ２８は、該当する音声情報の録音時間からリ
アルタイムの減算処理を行ない、プレイバンク中の音声
情報の残時間の数値をあらかじめ定められた画面の特定
位置（左下等）に表示する。またプレイバック中の音声
情報の音声マークについてはビデオメモリ中の音声マー
ク位置に対するラスクオペレーションによりブリンク表
示をする。

以上のように、任意のイメージ情報の任意の位置に任意
の音声情報を付加し、かつオペレータの要求に従ってこ
れを再生し、またプロテクト処理により選択的に音声情
報を提供できる。

第３図は本発明のイメージ・プロセッシング処理装置に
おけるピクチャ情報の流れを示す説明図である。図示の
門＾ＩＮ　ＤＩＳＰＬＡＹは、第２図に示す表示装置３
２の画面に相当する。また図示のＰＩＣＴＵＲＥ　ＤＡ
Ｔ＾は、互いにリンク付けられて結合され統合されてい
るピクチャ情報系であって、当該系を構成する個々の画
像が適宜表示装置３２の画面上に表示される。また図示
の５υ８１）ＩＳＰＬＡＹは。

第１図や第２図において省略したが、イメージ・プロセ
ンシング処理装置１をオペレータが制御するための制御
盤上にもうけられている表示部であり、制御ガイダンス
が文字などで表示される。図示のＫＥＹは当該制御盤上
にもうけられたキイである。更に図示のＤＩＳＰＬＡ’
ｌ　５ＴＡＣＫは１表示装置３２に表示しつつあるピク
チャ情報系内で、スタ。

りを行っておいて個別に処理などを行う場合に必要とす
る個々のピクチャ情報を一時的にスタックしておく所で
あり１図示の５ＬＥＥＰ　５ＴＡＣＫも同様なスタック
部であって１両者は第２図図示のフレーム・メモリ３４
上に保持される。

第４図は本発明のイメージ・プロセッシング処理装置に
おけるデータ利用態様を説明する説明図である。

イメージ・スキャナ２３によってイメージ・データ１０
１がつくられる。当８亥イメージ・データ１０１に対し
ては１例えば拡大や回転などのイメージ・オペレーショ
ンを行うことができる。この点は従来のデータ処理装置
における画像処理と同様である。当該イメージ・データ
１０１に対して音声情報などが付加されるピクチャリン
グ処理１０２が行われるなどして、第１図に示すピクチ
ャ情報７が生成される。当該ピクチャ情報７は、上述の
エリア−エリア間やエリア−イメージ情報間やイメージ
情報−イメージ情報間のリンク付けが行われてファイリ
ング処理１０４される。そしてこのとき上記リンク付け
などによって１個々のエリアや個々のイメージ情報は、
他のエリアやイメージ情報と結合され統合され（必要に
応じて幾重にも統合されることがある）、エレクトロニ
ック・ファイル１０５として保持される。

これらエレクトロニック・ファイル１０５の内容やピク
チャ情報１０３を、更に必要に応じて。

結合され統合するピクチャ・プログラミング処理１０６
によって２個々のアプリケーションに対応したプログラ
ムド・ピクチャ情報１０７が生成される。当該プログラ
ムド・ピクチャ情報１０７は。

第３図に示すＭＡＩＮ　ＤＩＳＰＬＡＹ上にステージソ
ゲされることとなる。なお１図示のピクチャリング処理
１０２、ピクチャ情報１０３．ファイリング処理１０４
、エレクトロニック・ファイル１０５．ピクチャ・プロ
グラミング処理１０６に対しては。

本発明にいうイメージ・プロセッシングが可能となって
いる。

〔発明の効果〕

以上説明した如く９本発明によれば、大量のイメージ情
報について、エリアのレベルまで下がって、互いにリン
ク付けを行うことによって、ピクチャ情報系を形成する
ことができ、目的に応して必要とするイメージを表示装
置上に適宜表示させることが可能となり、いわゆるイメ
ージによる知的環境支援システムを構築することができ
る。そして、必要に応じて音声情報を一緒に利用するこ
とができる。

【図面の簡単な説明】

第１図は本発明の原理構成図、第２図は本発明の一実施
例構成図、第３図は本発明のイメージ・プロセッシング
処理におけるピクチャ情報の流れを示す説明図、第４図
は同じくデータ利用態様を説明する説明図を示す。 図中、１はイメージ・プロセッシング処理装置。 ２は入力処理部、３は出力処理部、４はイメージ・デー
タ・ベース、５は高速イメージ・データ・ベース、６は
イメージ情報、７はピクチャ情報。 ８−１はイメージ・データ、８−２はマスク情報。 ８−３は制御情報、９−ｉはエリア、１０は音声情報テ
ーブル、２９はピント・マツプ・メモリ。 ３０はビデオ・メモリ、３２は表示装置、３３はタッチ
・パネル、３４はフレーム・メモリを表している。 特許出願人　　　パナファコム株式会社代理人弁理士　
　森　１）　寛（外１名）ニ ー実施例Ｗ成因 ′Ｍ　２　図 ピク千ヤＩｆ報の５’ｆｌれ 第３図 データ利用態様 第　４　図

Claims (1)

1. 【特許請求の範囲】 与えられた複数のイメージ情報について入力処理を行う
   入力処理部（２）と、 マン・マシン・インタフェースに関する処理を行う出力
   処理部（３）と、 上記複数のイメージ情報および当該イメージ情報の処理
   された結果の情報を保持するイメージ・データ・ベース
   （４）と、 当該イメージ・データ・ベース（４）にくらべて高速処
   理可能な高速イメージ・データ・ベース（５）と、 を少なくともそなえ、イメージ情報を処理するイメージ
   ・プロセッシング処理装置において、上記イメージ情報
   に対応するイメージ・データと当該イメージ・データに
   関する制御情報とがまとめられて構成されたピクチャ情
   報（７）と、該ピクチャ情報（７）にまとめられて、当
   該イメージ情報上のエリア（９−ｉ）に対応して与えら
   れる音声情報（１１−ｉ）が格納されている個所を指示
   する音声情報アドレスと、上記エリア（９−ｉ）を指示
   する音声マーク位置とを少なくとも有する音声情報テー
   ブル（１０）と、 上記音声情報（１１−ｉ）と、 上記音声情報テーブル（１０）の内容にもとづいて上記
   音声情報（１１−ｉ）を読出し、および／または音声情
   報（１１−ｉ）を入力して上記音声情報テーブル（１０
   ）の内容を書き替える音声入出力処理機構（３７、３８
   、１３、２１）とをそなえ、表示画面に表示されたイメ
   ージ・データにおける上記エリア（９−ｉ）に関する表
   示と上記音声情報（１１−ｉ）とを対応づけるようにし
   た ことを特徴とする音声付きイメージ・プロセッシング処
   理装置。