JPH09319865A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 回路の大規模化、複雑化及び信頼性の低下を
もたらすおそれを改善した画像処理装置を提供する。 【解決手段】 ＣＣＤカメラ１から入力される対象画像
を外部記憶装置５に対して入力を行う画像入力装置２
と、該画像入力装置２から出力される制御信号を入力
し、前記外部記憶装置５に格納される対象画像データに
対して画像処理を行い、処理結果を前記外部記憶装置５
に格納する画像演算装置３と、前記外部記憶装置５に格
納された前記処理結果を入力し、システムのアプリケー
ションに合わせてデータを編集・変換し外部に出力する
画像出力装置４と、前記画像入力装置２，画像演算装置
３，画像出力装置４及び外部記憶装置５に接続された単
一のデータバス６とで画像処理装置を構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ＣＣＤカメラ等
から画像データを入力し、プロセッサ等を利用して画像
処理を行い、その処理結果を出力する画像処理装置に関
し、特に画像処理をリアルタイムに高速に連続実行させ
るために画像入力処理、演算処理及び処理結果の出力処
理を並列に行うためのパイプライン処理機能を備えた画
像処理装置に関する。

【０００２】

【従来の技術】近年、プロセッサ等の演算処理速度の高
速化に伴って画像処理装置の処理速度も高速化してきて
いるが、これに加えて更に画像処理装置の小型化・低消
費電力化の要求も高まってきている。したがって、少な
いメモリで各種の画像処理をリアルタイムに行うことが
可能な高速な画像処理装置が必要となっている。画像処
理は、画像データを観測しディジタル化して記憶手段に
格納する入力処理、入力した画像データに対して演算を
行う演算処理、画像演算結果を以降のアプリケーション
で扱いやすい形に編集・変換して出力する出力処理の３
つの基本的処理単位からなり、これら３つの処理を逐次
繰り返しながら実行するものである。

【０００３】従来の画像処理装置の一例が、特開平５−
３３４４２３号に開示されており、次に、この従来例を
図６に示したブロック構成図に基づいて説明する。図６
において、101 はＣＣＤ素子等を用いた電子カメラ、10
2 はカメラ101 の画像信号をＡ／Ｄ変換器109 でＡ／Ｄ
変換して、各フレームに対応するフレームメモリ105，1
06 ，107 に切り替え器108 を介してサイクリックに書
き込みを行う画像入力ボード、103 は処理対象となる画
像データが格納されるフレームメモリ105 ，106 ，107
を、Ｉ／Ｏバッファ110 ，111 ，112 及び切り替え器11
4 を介して選択し、プロセッサ115 にて画像処理を行う
画像処理プロセッサボード、104 は画像入力ボードに搭
載されるフレームメモリ105 ，106 ，107 に格納される
画像データ、及び前記画像処理プロセッサボード103 に
搭載されるプロセッサ115 を介して画像演算処理結果を
入力して、アプリケーションを制御するＣＰＵ116 を備
えた制御ＣＰＵボード、119 ，120 ，121 は前記各フレ
ームメモリ105 ，106 ，107 に対応する独立した画像バ
ス、122 は前記画像処理結果に対して前記出力処理を行
わせるための、前記画像バス119 ，120 ，121 とは異な
るバスのデータバスである。

【０００４】次に、上記のような構成の従来の画像処理
装置の動作について説明する。従来の画像処理装置にお
いては、まず画像入力ボード102 ではＣＣＤカメラ101
から入力された処理対象の画像データは、Ａ／Ｄ変換器
109 によりディジタル化される。ディジタル化された画
像データは、１垂直走査周期毎に、１フレーム分づつ、
前記フレームメモリ105 ，106 ，107 に切り替え器108
を介して順次且つサイクリックに格納される（入力処
理）。

【０００５】また、前記入力処理に並行して、画像処理
プロセッサボード103 では、前記フレームメモリ105 ，
106 ，107 の内、現在の周期に先立つ周期において、す
でに前記入力処理が行われているフレームメモリの内容
が、１垂直走査周期毎に、前記各フレームメモリ105 ，
106 ，107 に専用に具備された画像バス119 ，120 ，12
1 に接続されたＩ／Ｏバッファ110 ，111 ，112 に順次
転送される。プロセッサ115 は、この画像データに対し
て演算を行い、Ｉ／Ｏバッファ110 ，111 ，112 に格納
し、次のサイクルでこのＩ／Ｏバッファ110 ，111 ，11
2 の内容を対応するフレームメモリ105 ，106 ，107 に
転送する（演算処理）。

【０００６】更に、前記入力処理及び演算処理に並行し
て、制御ＣＰＵボード104 ではフレームメモリ105 ，10
6 ，107 に転送される演算処理結果の画像をＩ／Ｏバッ
ファ113 を介して、あるいは入力処理及び演算処理によ
りアクセスされていないフレームメモリをバスインタフ
ェース116 にて選択し、これらの内容をシステムのアプ
リケーションにしたがってデータを制御し、出力インタ
フェース118 を介して外部に出力する（出力処理）。

【０００７】ところで従来、画像処理装置においては、
画像処理を高速に実行させるために以下のような方式が
適用されてきた。 ａ．画像処理プロセッサの機能のハードウェア化 ｂ．画像処理プロセッサとして高速画像処理プロセッサ
の適用 ｃ．画像処理機能の並列化及びパイプライン処理化 前述の従来例は、画像処理を高速に実行させるために、
上記ｂの方式、更にｃの方式において前述の入力処理、
演算処理及び出力処理の３つの処理単位を１垂直走査期
間の周期でサイクリックに切り替え、３段のパイプライ
ン処理化の方式を採用した構成となっている。

【０００８】

【発明が解決しようとする課題】近年の画像処理装置
は、マルチメディア機器のアプリケーションにおいては
携帯機器のように可搬性が求められ、小型化及び低消費
電力化更には低価格化が求められている。

【０００９】しかしながら、従来の画像処理装置では、
小型化の目的で従来例の構成要素である、画像入力ボー
ド、画像処理プロセッサボード及び制御ＣＰＵボードの
各機能を搭載したシステムＬＳＩを開発しようとした場
合、複数のバスがＬＳＩ内部に存在することとなり、回
路の大規模化、複雑化及び信頼性の低下をもたらす危険
があり、システムの小型化の目的を満足しないという問
題点があった。

【００１０】更に、従来の画像処理装置では、複数のフ
レームメモリを必要とし、プロセッサ内あるいは外部に
演算中間データを格納するメモリを必要とした。また、
アプリケーション用に加工したデータをメモリに出力す
る場合、このためのメモリが必要となる。したがって、
部品点数の増加によって実装面積及び実装コストを含め
て前述の要求に応えられないという問題点があった。

【００１１】本発明は、従来の画像処理装置における上
記問題点を解消するためになされたもので、請求項１記
載の発明は、回路の大規模化、複雑化及び信頼性の低下
をもたらす危険を改善できるようにした画像処理装置を
提供することを目的とする。請求項２記載の発明は、請
求項１記載の画像処理装置において、３段のパイプライ
ン動作を複雑な回路を必要とせずに可能にすることを目
的とする。請求項３記載の発明は、請求項１記載の画像
処理装置において、２段のパイプライン動作によってシ
ステムを実現できるようにすることを目的とする。請求
項４記載の発明は、請求項１記載の画像処理装置におい
て、画像入力手段以外の他の画像演算手段及び出力手段
に対して、それらの手段自身が選択可能なフレームメモ
リ及びデーダメモリの選択、デーダバスのアクセス可能
期間を容易に知らせることを可能にすることを目的とす
る。請求項５記載の発明は、請求項１又は２記載の画像
処理装置において、演算処理手段が選択可能なフレーム
メモリ及びデーダメモリの選択が容易に行え、且つ演算
処理手段以外の他の画像入力手段及び出力手段に対し
て、デーダバスのアクセス可能期間を容易に知らしめる
ことを可能にすることを目的とする。請求項６記載の発
明は、請求項１記載の画像処理装置において、画像デー
タの入力処理、演算処理及び出力処理におけるデータ転
送のオーバヘッドを実質的になくし、リアルタイムで画
像処理を行えるようにすることを目的とする。請求項７
記載の発明は、請求項６記載の画像処理装置において、
更に画像データの入力処理、演算処理及び出力処理にお
ける転送のオーバヘッドを実質的になくし、リアルタイ
ムで画像処理を行えるようにすることを目的とする。請
求項８記載の発明は、請求項１記載の画像処理装置にお
いて、部品点数の削減によって実装面積及び実装コスト
を抑えることができるようにすることを目的とする。

【００１２】

【課題を解決するための手段】上記問題点を解決するた
め、請求項１記載の発明は、ＣＣＤカメラ等から処理対
象の画像データを入力し、画像処理を行って、その処理
結果を出力する画像処理装置において、複数のフレーム
メモリと、前記処理対象の画像データを１垂直走査周期
の処理サイクル毎に１フレームづつ、制御信号により前
記フレームメモリに順番に且つ周期的に切り換えて格納
する画像入力手段と、画像演算処理を実行する画像演算
手段と、前記画像演算手段による演算処理の結果を格納
するデータメモリと、前記データメモリの内容を外部に
出力する出力手段と、前記複数のフレームメモリ、デー
タメモリ及び画像演算手段に共通に接続された単一のデ
ータバスと、前記複数のフレームメモリ及びデータメモ
リを前記各処理サイクル毎に、前記画像入力手段、画像
演算手段、出力手段の各手段に個別に割り当てる制御手
段とで画像処理装置を構成するものである。

【００１３】この請求項１記載の発明に関する実施の形
態には、第１及び第２の実施の形態が対応する。そし
て、上記請求項１記載の発明においては、画像入力手段
と、画像演算手段と、出力手段と、データバスと、制御
手段とで画像処理装置を構成することにより、単一のデ
ータバスでパイプライン的に動作を行う画像処理装置が
実現され、回路の大規模化、複雑化及び信頼性の低下を
もたらす危険を改善することが可能となる。

【００１４】請求項２記載の発明は、請求項１記載の画
像処理装置において、前記制御手段は、前記複数のフレ
ームメモリを、前記各処理サイクル毎に、画像入力処
理、画像演算処理及び出力処理のいずれか１つの処理に
利用し、且つ画像入力処理、画像演算処理及び出力処理
に３サイクル毎に順次割り当てる手段を備えていること
を特徴とするものである。この請求項２記載の発明に関
する実施の形態には、第１の実施の形態が対応する。そ
して、上記請求項２記載の発明においては、上記のよう
に制御手段を構成することにより、３段のパイプライン
動作によるフレームメモリ及びデータメモリの順次且つ
周期的な切り替え動作が、複雑な回路を必要とせずに実
現できる。

【００１５】請求項３記載の発明は、請求項１記載の画
像処理装置において、前記制御手段は、前記複数のフレ
ームメモリを、前記各処理サイクル毎に、画像入力処
理、画像演算処理のいずれか１つの処理に利用し、且つ
画像入力処理及び画像演算処理に２サイクル毎に順次割
り当てる手段と、画像入力処理及び画像演算処理が終了
したことを検知する検出手段と、前記検出手段の出力を
受け、出力処理を実行する手段とを備えて構成すること
を特徴とするものである。この請求項３記載の発明に関
する実施の形態には、第２の実施の形態が対応する。そ
して、請求項３記載の発明においては、制御手段を上記
のように構成することにより、３段のパイプライン動作
において、共通データバスの空時間を各処理手段の動作
により十分に確保できない場合、且つ出力処理を非リア
ルタイムで実行しても問題ない場合に、２段のパイプラ
イン動作によってシステムを実現できる。

【００１６】請求項４記載の発明は、請求項１記載の画
像処理装置において、前記制御手段は、前記複数のフレ
ームメモリの各々に画像入力処理、画像演算処理及び出
力処理のいずれを割り当てるかを決定する内部情報を生
成する情報生成手段と、前記画像演算手段又は前記出力
手段が、前記データバスを介して読み出し、自らが使用
できる前記フレームメモリを選択可能にさせる前記内部
情報を格納する内部情報格納手段と、前記内部情報から
前記画像入力手段が利用するフレームメモリを選択する
メモリ制御手段と、前記画像入力手段が前記データバス
を占有していることを示す信号を出力するバス制御手段
とを備えて構成することを特徴とするものである。この
請求項４記載の発明に関する実施の形態には、第１及び
第２の実施の形態が対応する。そして、請求項４記載の
発明においては、制御手段を上記のように構成すること
により、入力手段以外の他の画像演算手段及び出力手段
に対して自己が選択可能なフレームメモリ及びデータメ
モリの選択、データバスのアクセス可能期間を容易に知
らしめることが可能となる。

【００１７】請求項５記載の発明は、請求項１又は２記
載の画像処理装置において、前記画像演算手段は、前記
制御手段内の内部情報格納手段からの内部情報により、
自己の選択可能な前記フレームメモリ及びデータメモリ
を選択する手段と、前記フレームメモリに格納された画
像データに対して演算処理を行う手段と、前記演算処理
の結果を前記データバスを介して、前記データメモリに
格納する手段と、前記制御手段から出力される制御信号
及び前記演算処理中に前記データバスを占有しているこ
とを示す信号を出力するバス制御手段とを備えて構成す
ることを特徴とするものである。この請求項５記載の発
明に関する実施の形態には、第１及び第２の実施の形態
が対応する。そして、請求項５記載の発明においては、
上記のように演算手段を構成することにより、演算処理
手段が選択可能なフレームメモリ及びデータメモリの選
択が容易に行え、且つ演算処理手段以外の他の画像入力
手段及び出力手段に対してデータバスのアクセス可能期
間を容易に知らしめることが可能となる。

【００１８】請求項６記載の発明は、請求項１記載の画
像処理装置において、前記画像入力手段は、連続して入
力される画像データを前記フレームメモリのデータバス
幅に対応するように直並列変換する手段と、前記直並列
変換手段による出力結果を１又は複数の水平走査分の画
像データに対応して一時格納する一時格納手段と、前記
一時格納手段の内容を前記フレームメモリに順次転送す
る手段とを備えて構成することを特徴とするものであ
る。この請求項６記載の発明に関する実施の形態には、
第１及び第２の実施の形態が対応する。そして、この請
求項６の構成要件の一時格納手段には、これらの実施の
形態ではバッファが対応する。そして、この請求項６記
載の発明においては、画像入力手段を上記のように構成
することにより、画像データの入力処理、演算処理及び
出力処理におけるデータ転送のオーバヘッドを実質的に
なくし、リアルタイムで画像処理を行える。

【００１９】請求項７記載の発明は、請求項６記載の画
像処理装置において、前記転送手段は、前記一時格納手
段に蓄えられた１又は複数の水平走査分の画像データ
を、前記ＣＣＤカメラのタイミングジェネレータから与
えられる水平ブランキング信号期間に、前記フレームメ
モリに順次転送するように構成することを特徴とするも
のである。この請求項７記載の発明に関する実施の形態
には、第１及び第２の実施の形態が対応する。そして、
この請求項７記載の発明においては、上記のように転送
手段を構成することにより、画像データの入力処理によ
るデータバスの占有を、実質的に画像入力期間に無関係
な期間に行うことができるため、更に演算処理及び出力
処理におけるデータ転送のオーバヘッドを実質的になく
し、リアルタイムで画像処理を行える。

【００２０】請求項８記載の発明は、請求項１記載の画
像処理装置において、前記フレームメモリ及びデータメ
モリは、各々書き込み動作及び読み出し動作を共通のポ
ートで行う単一のシングルポートメモリに、互いに重複
されることなくマッピングされていることを特徴とする
ものである。この請求項８記載の発明に関する実施の形
態には、第１及び第２の実施の形態が対応する。画像処
理装置において、請求項１記載の構成を用いることによ
り、従来必要であった複数のフレームメモリに対応する
複数のデータバスが単一のデータバスで実現できる。し
たがって、請求項８記載の発明において、単一のシング
ルポートメモリに前記フレームメモリ及びデータメモリ
をマッピングする構成とすることにより、部品点数の削
減によって実装面積及び実装コストを抑えることができ
る。

【００２１】

【発明の実施の形態】

〔第１の実施の形態〕次に、実施の形態について説明す
る。図１は本発明に係る画像処理装置の第１の実施の形
態を示すブロック図である。この実施の形態による画像
処理装置は、ＣＣＤカメラ１から入力される対象画像
を、外部記憶装置５に対して入力を行う画像入力装置２
と、該画像入力装置２から出力される制御信号を入力
し、前記外部記憶装置５に格納される対象画像データに
対して画像処理を行い、処理結果を前記外部記憶装置５
に格納する画像演算装置３と、前記外部記憶装置５に格
納された前記処理結果を入力し、システムのアプリケー
ションに合わせてデータを編集・変換し外部に出力する
画像出力装置４と、前記画像入力装置２，前記画像演算
装置３，前記画像出力装置４，及び前記外部記憶装置５
に接続される単一のデータバス６とで構成されている。

【００２２】そして、ＣＣＤカメラ１は、ＣＣＤ11，Ａ
／Ｄ変換器12，ＴＧ回路13を備え、ＣＣＤ11から出力さ
れるアナログデータは、Ａ／Ｄ変換器12により多ビット
のディジタルデータに変換されるようになっており、Ｔ
Ｇ回路13は前記ＣＣＤ11の水平走査期間及び垂直走査期
間等のタイミング信号を制御するものである。また、画
像入力装置２は、２値化手段21，制御手段22，画像入力
手段23を備え、２値化手段21は、前記ＣＣＤカメラ１よ
り出力する多ビットの画像データを２値化処理するもの
で、２値化の閾値は、予め画像演算装置３より設定され
た内部レジスタ（reg ）21-1の値にしたがって行われる
ようになっている。画像入力手段23は、２値化された画
像データを前記データバス６のバス幅に対応して直並列
変換を行うＳ／Ｐ回路23-1と、１又は複数の水平走査分
に対応した画像データを一時格納するバッファ23-2と、
直並列変換後のデータを前記データバス６を介して前記
外部記憶装置５に設けられている複数のフレームメモリ
51，52，53に後述のメモリ制御手段及び第１のバス制御
手段より制御されて、水平走査ブランキング期間中に格
納する転送手段23-3とを備えている。また、制御手段22
は、前記ＴＧ回路13より出力される水平走査信号及び垂
直走査信号等から、制御信号を発生させるものであり、
フラグ22-1，メモリ制御手段22-2，第１のバス制御手段
22-3を備え、フラグ22-1は、前記制御信号を発生させる
際に、前記複数のフレームメモリが現在の周期で、画像
入力処理、演算処理、出力処理のいずれかの処理対象に
割り当てるための内部情報を格納する手段であり、第１
のバス制御手段22-3は、画像入力手段23がデータバス６
を占有している期間を示す制御信号を画像演算装置３に
出力するようになっている。

【００２３】画像演算装置３は、画像演算手段としての
プロセッサ31及び専用ハードウェア（図示せず）を備え
ており、前記制御信号及び前記フラグ22-1の内容によ
り、処理対象データが格納される前記フレームメモリを
選択し処理を行うものである。更に、前記プロセッサ31
は、画像処理後の演算結果を前記外部記憶装置５に設け
られているデータメモリ54に、各入力画像フレームに対
応して順次格納するものである。また、画像演算装置３
は第２のバス制御手段32を備え、該第２のバス制御手段
32は前記第１のバス制御手段22-3の出力信号を受け、前
記画像入力手段23及び前記プロセッサ31がデータバス６
を占有している期間を示す信号を、画像出力装置４に出
力するようになっている。

【００２４】画像出力装置４は、制御ＣＰＵ41を備え、
前記データメモリ54に格納される画像処理結果を順次読
み出し、システムのアプリケーションに合わせて編集・
変換し、出力インタフェース43を介して外部装置に出力
するものである。また、第３のバス制御手段42を備え、
前記第２のバス制御手段32の出力信号を受け、前記画像
入力装置２及び前記画像演算装置３がデータバス６を占
有していない期間を判断し、前記制御ＣＰＵ41のデータ
バス６へのアクセスを許可する機能を備えている。

【００２５】外部記憶装置５は、前記画像入力装置２，
前記画像演算装置３及び前記画像出力装置４に、共通の
データバス６を介して接続されており、シングルポート
のメモリにより構成されている。この外部記憶装置５の
内部に備えている各フレームの入力画像データに対応す
る複数のフレームメモリ51，52，53、及び前記画像演算
装置３による演算結果が格納されるデータメモリ54は、
単一のメモリ空間に互いに重複することなくマッピング
されている。

【００２６】次に、このように構成されている第１の実
施の形態の概略動作について説明する。ＣＣＤカメラ１
から入力された画像データは、Ａ／Ｄ変換器12，２値化
手段21及びＳ／Ｐ回路23-1を介して直並列変換された
後、毎フレーム単位、すなわち１垂直走査期間（１Ｖ期
間）に各々フレームメモリ51，52，53に、制御手段22か
ら出力される制御信号にしたがって、データバス６を介
して順次入力される。すなわち、最初の画像フレームは
フレームメモリ51に、次の画像フレームはフレームメモ
リ52に、その次の画像フレームはフレームメモリ53に入
力される。更にその次の画像フレームは、再びフレーム
メモリ51に入力されるという動作を繰り返す。

【００２７】また、データバス６のバス幅、すなわちフ
レームメモリ51，52，53及びデータメモリ54のバス幅に
対応した直並列変換処理を、Ｓ／Ｐ回路23-1で行った後
の変換データは、変換終了後直ちにフレームメモリに入
力されるのではなく、１変換単位毎にまず、前記画像入
力装置２に設けられている一時格納手段であるバッファ
23-2に格納される。前記変換データを格納するバッファ
23-2に一時格納された１ライン分の画像データは、水平
走査信号のブランキング期間に前記フレームメモリに順
次格納される。この操作を水平走査信号毎に繰り返す。
すなわち、前記制御信号で選択されるフレームメモリに
対して、最初のラインの画像データは、最初の水平走査
ブランキング期間に入力される。次のラインの画像デー
タは、次の水平走査ブランキング期間に入力される。こ
の操作を１垂直走査期間内で繰り返す。画像入力装置２
がデータバス６を占有している期間は、第１のバス制御
手段22-3より制御信号を画像演算装置３に出力する。し
たがって、データバス６は、水平走査ブランキング期間
以外の時間のみ、画像演算装置３及び画像出力装置４が
占有可能になる。

【００２８】一方、画像演算装置３は、垂直走査ブラン
キング期間に、前記制御手段22に備えている内部情報フ
ラグ22-1の内容をデータバス６を介して読み出し、直前
のフレーム期間にすでに１フレーム分の画像データが格
納されている画像処理を行うフレームメモリを判断す
る。画像演算装置３に備えているプロセッサ31及び専用
ハードは、１Ｖ期間内の水平走査ブランキング期間以外
の時間に、対象となるフレームメモリをアクセスし画像
処理を行う。処理結果は、フレームメモリのアクセス期
間以外及び垂直走査ブランキング期間に、データバス６
を介してデータメモリ54に格納される。また、第２のバ
ス制御手段32は、前記プロセッサ31又は画像入力装置２
がデータバス６を占有している期間を示す信号を、画像
出力装置４に出力する。この操作を、１Ｖ期間内の周期
で順次繰り返し、各フレームに対応した演算処理結果を
順次データメモリ54に格納する。

【００２９】そして、画像出力装置４においては、第３
のバス制御手段42により、前記画像入力装置２及び画像
演算装置３がデータバス６を占有していない期間を判断
する。更に、垂直走査ブランキング期間に、前記制御手
段22に備えている内部情報フラグ22-1の内容をデータバ
ス６を介して読み出し、直前のフレーム期間にすでに１
フレーム分の画像処理が終了し、データメモリ54に処理
結果が格納されているメモリアドレスを判断して、シス
テムのアプリケーションに合わせてデータ処理・変換を
行い、出力インタフェース43を介して外部に出力する。

【００３０】図２は、図１に示した画像処理装置におけ
る画像処理のパイプライン動作についての説明図で、図
３は図２における１垂直走査期間を拡大して示す説明図
である。次に、図２を参照しながら画像処理のパイプラ
イン動作について説明する。なお、この動作例において
は、１フレーム分の画像入力処理、画像演算処理及び出
力処理は、各々１垂直走査期間（１Ｖ）中に終了するも
のとする。次に、各垂直走査期間毎の処理内容について
説明する。

【００３１】（１）１Ｖサイクル このサイクルでＣＣＤカメラ１が撮像する画像をFrame
１とする。 （処理１）ＣＣＤカメラ１は画像データを取込み、Ａ／
Ｄ変換器12を介して画像入力装置２に順次出力する。画
像入力装置２では、ＣＣＤカメラ１内に設けられている
ＴＧ回路13から出力される水平走査ブランキング信号Ｈ
Ｂ及び垂直走査ブランキング信号ＶＢ等を受け、制御手
段22は各ブランキング信号に対応した各種制御信号を発
生する。多値の画像データは２値化手段21により、予め
レジスタ21-1に設定された閾値にしたがって２値化され
る。閾値は直前の垂直走査ブランキング期間に、プロセ
ッサ31により設定されているものとする。２値化された
画像データは、外部記憶装置５のバス幅、すなわちデー
タバス６のバス幅に合わせて直並列変換をＳ／Ｐ回路23
-1にて行い、変換後のデータをまずバッファ23-2に一時
的に順次格納する。また、バッファ23-2に書き込まれた
１ライン分のデータは、制御信号により水平走査ブラン
キング期間に、フレームメモリ51に順次格納される。

【００３２】（２）２Ｖサイクル このサイクルでＣＣＤカメラ１が撮像する画像をFrame
２とする。 （処理１）前述した１Ｖサイクルの（処理１）に示した
画像入力処理と同一の処理を行う。但し、本サイクルで
は制御手段22が出力する制御信号により、ＣＣＤカメラ
１に入力される画像データは、フレームメモリ52に格納
される。 （処理２）画像演算装置３は、画像入力装置２から出力
される制御信号にしたがって、データバス６のアクセス
有効期間を判断し、この期間にフレームメモリ51をアク
セスする。演算対象となるフレームメモリは、予め直前
の垂直走査ブランキング期間に、画像入力装置２に設け
られているフラグ22-1の内容を確認することによって選
択する。演算処理後のデータは、同様にデータバス６を
介して、データメモリ54に格納される。画像演算装置３
がデータバス６を占有できる期間は、画像入力装置２が
データバス６を占有していない期間である。なお、上記
（処理１）とこの（処理２）は並列に実行される。

【００３３】（３）３Ｖサイクル このサイクルでＣＣＤカメラ１が撮像する画像をFrame
３とする。 （処理１）前述した１Ｖサイクルの（処理１）に示した
画像入力処理と同一の処理を行う。但し、本サイクルで
は制御手段22が出力する制御信号により、ＣＣＤカメラ
１に入力される画像データは、フレームメモリ53に格納
される。 （処理２）画像演算装置３は、画像入力装置２から出力
される制御信号にしたがって、データバス６のアクセス
有効期間を判断し、この期間にフレームメモリ52をアク
セスする。演算対象となるフレームメモリは、予め直前
の垂直走査ブランキング期間に、画像入力装置２に設け
られているフラグ22-1の内容を確認することによって選
択する。演算処理後のデータは、同様にデータバス６を
介して、データメモリ54に格納される。画像演算装置３
がデータバス６を占有できる期間は、画像入力装置２が
データバス６を占有していない期間である。 （処理３）画像出力装置４は、画像演算装置３から出力
される制御信号にしたがって、データバス６のアクセス
有効期間を判断し、この期間にデータメモリ54をアクセ
スする。出力対象となるデータメモリ54のアドレスは、
予め直前の垂直走査ブランキング期間に、画像入力装置
２に設けられているフラグ22-1の内容を確認することに
よって判断する。システムアプリケーションにしたがっ
て編集・変換されたデータは、外部に出力インタフェー
ス43を介して出力される。画像出力装置４がデータバス
６を占有できる期間は、画像入力装置２及び画像演算装
置３がデータバス６を占有していない期間である。な
お、これらの（処理１）、（処理２）及び（処理３）は
並列に実行される。

【００３４】（４）４Ｖサイクル 前述の１Ｖ〜３Ｖサイクルと同様の処理が繰り返し行わ
れる。以上述べたように、画像の入力処理、演算処理、
出力処理の各々を１垂直走査期間（１Ｖ）に行い、３段
のパイプライン動作によってリアルタイム処理を実施す
る。

【００３５】〔第２の実施の形態〕図４は、本発明に係
る画像処理装置の第２の実施の形態を示すブロック図で
ある。この実施の形態が第１の実施の形態と異なる点
は、外部記憶装置５を２つのフレームメモリ51，52とデ
ータメモリ54とで構成している点で、他の構成は図１に
示した第１の実施の形態と同一である。図５は図４に示
した第２の実施の形態の画像処理のパイプライン動作に
ついての説明図である。次に、図５を参照しながら図４
に示した第２の実施の形態の動作を説明する。なお、こ
の動作例においては、１フレーム分の画像入力処理、画
像演算処理は、各々１垂直走査期間（１Ｖ）中に終了
し、出力処理は非リアルタイムで実行されるものとす
る。以下に、各垂直走査期間毎の処理内容について説明
する。

【００３６】（Ａ）１Ｖサイクル このサイクルでＣＣＤカメラ１が撮像する画像をFrame
１とする。 （処理１）ＣＣＤカメラ１は画像データを取込み、Ａ／
Ｄ変換器12を介して画像入力装置２に順次出力する。画
像入力装置２では、ＣＣＤカメラ１内に設けられている
ＴＧ回路13から出力される水平走査ブランキング信号Ｈ
Ｂ及び垂直走査ブランキング信号ＶＢ等を受け、制御手
段22は各ブランキング信号に対応した各種制御信号を発
生する。多値の画像データは２値化手段21により、予め
レジスタ21-1に設定された閾値にしたがって２値化され
る。閾値は直前の垂直走査ブランキング期間に、プロセ
ッサ31により設定されているものとする。２値化された
画像データは、外部記憶装置５のバス幅、すなわちデー
タバス６のバス幅に合わせて直並列変換をＳ／Ｐ回路23
-1にて行い、変換後のデータをまずバッファ23-2に一時
的に順次格納する。また、バッファ23-2に書き込まれた
１ライン分のデータは、制御信号により水平走査ブラン
キング期間に、フレームメモリ51に順次格納される。

【００３７】（Ｂ）２Ｖサイクル このサイクルでＣＣＤカメラ１が撮像する画像をFrame
２とする。 （処理１）前述した１Ｖサイクルの（処理１）に示した
画像入力処理と同一の処理を行う。但し、本サイクルで
は制御手段22が出力する制御信号により、ＣＣＤカメラ
１に入力される画像データは、フレームメモリ52に格納
される。 （処理２）画像演算装置３は、画像入力装置２から出力
される制御信号にしたがって、データバス６のアクセス
有効期間を判断し、この期間にフレームメモリ51をアク
セスする。演算対象となるフレームメモリは、予め直前
の垂直走査ブランキング期間に、画像入力装置２に設け
られているフラグ22-1の内容を確認することによって選
択する。演算処理後のデータは、同様にデータバス６を
介して、データメモリ54に格納される。画像演算装置３
がデータバス６を占有できる期間は、画像入力装置２が
データバス６を占有していない期間である。なお、上記
（処理１）とこの（処理２）は並列に実行される。

【００３８】（Ｃ）３Ｖサイクル このサイクルでＣＣＤカメラ１が撮像する画像をFrame
３とする。 （処理１）前述した１Ｖサイクルの（処理１）に示した
画像入力処理と同一の処理を行う。但し、本サイクルで
は制御手段22が出力する制御信号により、ＣＣＤカメラ
１に入力される画像データは、フレームメモリ51に格納
される。 （処理２）画像演算装置３は、画像入力装置２から出力
される制御信号にしたがって、データバス６のアクセス
有効期間を判断し、この期間にフレームメモリ52をアク
セスする。演算対象となるフレームメモリは、予め直前
の垂直走査ブランキング期間に、画像入力装置２に設け
られているフラグ22-1の内容を確認することによって選
択する。演算処理後のデータは、同様にデータバス６を
介して、データメモリ54に格納される。画像演算装置３
がデータバス６を占有できる期間は、画像入力装置２が
データバス６を占有していない期間である。なお、これ
らの（処理１）、（処理２）は並列に実行される。

【００３９】（Ｄ）Dummy Ｖサイクル （処理１）ＣＣＤカメラ１のイネーブル信号がインアク
ティブになると、アクティブ時の最後の垂直ブランキン
グ信号から、１Ｖ期間の内部ダミー垂直ブランキング信
号を発生させる。このサイクルで、直前にフレームメモ
リ51に格納された画像データに対して画像演算装置３
が、画像入力装置２から出力される制御信号にしたがっ
て、データバス６のアクセス有効期間を判断し、演算処
理を行い処理結果をデータメモリ54に格納する。

【００４０】（Ｅ）非リアルタイム処理 Dummy-Ｖサイクル終了後、画像出力装置４は、データメ
モリ54を順次アクセスする。データメモリ54のアドレス
は、予め直前の垂直走査ブランキング期間に、画像入力
装置２に設けられているフラグ22-1の内容を確認するこ
とによって判断する。システムアプリケーションにした
がって編集・変換されたデータは、外部に出力インタフ
ェース43を介して出力される。画像出力装置４はデータ
バス６を占有できる。以上述べたように、画像の入力処
理、演算処理の各々を１垂直走査期間（１Ｖ）に行い、
２段のパイプライン動作によってリアルタイム処理を実
施し、出力処理を非リアルタイムで実施する。

【００４１】なお、以上に述べた本発明の実施の形態に
おける各構成手段は、各種の変形、変更が可能である。
例えば、上記各実施の形態における外部記憶装置に設け
られている複数のフレームメモリ及びデータメモリは、
単一のシングルポートメモリに互いに重複することなく
アドレスマッピングされているものを示したが、複数の
シングルポートメモリで構成してもよいし、デュアルポ
ートメモリ等を利用してもよい。また、パイプライン動
作に関しても、演算処理時間によっては画像演算処理に
複数のサイクルを割り当てることも可能である。

【００４２】

【発明の効果】以上実施の形態に基づいて説明したよう
に、請求項１記載の発明によれば、単一のデータバスで
パイプライン的に動作を行う画像処理装置を実現でき、
回路の大規模化、複雑化及び信頼性の低下をもたらすお
それを改善することができる。また請求項２記載の発明
によれば、３段のパイプライン動作による複数のフレー
ムメモリ及びデータメモリの順次且つ周期的な切り替え
動作を、複雑な回路を必要とせずに実現することができ
る。請求項３記載の発明によれば、３段のパイプライン
動作において、共通データバスの空時間を各処理手段の
動作により十分確保できない場合で、且つ出力処理を非
リアルタイムで実行してもシステム仕様上問題ない場合
に、２段のパイプライン動作によってシステムを実現す
ることができる。請求項４記載の発明によれば、画像入
力手段以外の他の画像演算手段及び出力手段に対して
も、それらの手段自身が選択可能なフレームメモリ及び
データメモリの選択、データバスのアクセス可能期間を
容易に知らせることが可能となる。請求項５記載の発明
によれば、画像演算手段が選択可能なフレームメモリ及
びデータメモリの選択を容易に行え、且つ画像演算手段
以外の他の画像入力手段及び出力手段に対して、データ
バスのアクセス可能期間を容易に知らせることが可能と
なる。請求項６及び７記載の発明によれば、画像データ
の入力処理、演算処理及び出力処理におけるデータ転送
のオーバヘッドを実質的になくし、リアルタイムで画像
処理を行うことが可能となる。請求項８記載の発明によ
れば、部品点数の削減によって実装面積及び実装コスト
を抑えることができる。

【図面の簡単な説明】

【図１】本発明に係る画像処理装置の第１の実施の形態
を示すブロック図である。

【図２】図１に示した第１の実施の形態の画像処理のパ
イプライン動作を説明するためのタイミングチャートで
ある。

【図３】図２における１垂直走査期間を拡大して示す図
である。

【図４】本発明の第２の実施の形態を示すブロック図で
ある。

【図５】図４に示した第２の実施の形態の画像処理のパ
イプライン動作を説明するためのタイミングチャートで
ある。

【図６】従来の画像処理装置の構成例を示すブロック図
である。

【符号の説明】

１ ＣＣＤカメラ 11 ＣＣＤ 12 Ａ／Ｄ変換器 13 ＴＧ回路 ２ 画像入力装置 21 ２値化手段 21-1 レジスタ 22 制御手段 22-1 フラグ 22-2 メモリ制御手段 22-3 第１のバス制御手段 23 画像入力手段 23-1 Ｓ／Ｐ回路 23-2 バッファ 23-3 転送手段 ３ 画像演算装置 31 プロセッサ 32 第２のバス制御手段 ４ 画像出力装置 41 制御ＣＰＵ 42 第３のバス制御手段 43 出力インタフェース ５ 外部記憶装置 51，52，53 フレームメモリ 54 データメモリ ６ データバス

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18

Claims (8)

【特許請求の範囲】
1. 【請求項１】 ＣＣＤカメラ等から処理対象の画像デー
   タを入力し、画像処理を行って、その処理結果を出力す
   る画像処理装置において、複数のフレームメモリと、前
   記処理対象の画像データを１垂直走査周期の処理サイク
   ル毎に１フレームづつ、制御信号により前記フレームメ
   モリに順番に且つ周期的に切り換えて格納する画像入力
   手段と、画像演算処理を実行する画像演算手段と、前記
   画像演算手段による演算処理の結果を格納するデータメ
   モリと、前記データメモリの内容を外部に出力する出力
   手段と、前記複数のフレームメモリ、データメモリ及び
   画像演算手段に共通に接続された単一のデータバスと、
   前記複数のフレームメモリ及びデータメモリを前記各処
   理サイクル毎に、前記画像入力手段、画像演算手段、出
   力手段の各手段に個別に割り当てる制御手段とを備えて
   いることを特徴とする画像処理装置。
2. 【請求項２】 前記制御手段は、前記複数のフレームメ
   モリを、前記各処理サイクル毎に、画像入力処理、画像
   演算処理及び出力処理のいずれか１つの処理に利用し、
   且つ画像入力処理、画像演算処理及び出力処理に３サイ
   クル毎に順次割り当てる手段を備えていることを特徴と
   する請求項１記載の画像処理装置。
3. 【請求項３】 前記制御手段は、前記複数のフレームメ
   モリを、前記各処理サイクル毎に、画像入力処理、画像
   演算処理のいずれか１つの処理に利用し、且つ画像入力
   処理及び画像演算処理に２サイクル毎に順次割り当てる
   手段と、画像入力処理及び画像演算処理が終了したこと
   を検知する検出手段と、前記検出手段の出力を受け、出
   力処理を実行する手段とを備えていることを特徴とする
   請求項１記載の画像処理装置。
4. 【請求項４】 前記制御手段は、前記複数のフレームメ
   モリの各々に画像入力処理、画像演算処理及び出力処理
   のいずれを割り当てるかを決定する内部情報を生成する
   情報生成手段と、前記画像演算手段又は前記出力手段
   が、前記データバスを介して読み出し、自らが使用でき
   る前記フレームメモリを選択可能にさせる前記内部情報
   を格納する内部情報格納手段と、前記内部情報から前記
   画像入力手段が利用するフレームメモリを選択するメモ
   リ制御手段と、前記画像入力手段が前記データバスを占
   有していることを示す信号を出力するバス制御手段とを
   備えていることを特徴とする請求項１記載の画像処理装
   置。
5. 【請求項５】 前記画像演算手段は、前記制御手段内の
   内部情報格納手段からの内部情報により、自己の選択可
   能な前記フレームメモリ及びデータメモリを選択する手
   段と、前記フレームメモリに格納された画像データに対
   して演算処理を行う手段と、前記演算処理の結果を前記
   データバスを介して、前記データメモリに格納する手段
   と、前記制御手段から出力される制御信号及び前記演算
   処理中に前記データバスを占有していることを示す信号
   を出力するバス制御手段とを備えていることを特徴とす
   る請求項１又は２記載の画像処理装置。
6. 【請求項６】 前記画像入力手段は、連続して入力され
   る画像データを前記フレームメモリのデータバス幅に対
   応するように直並列変換する手段と、前記直並列変換手
   段による出力結果を１又は複数の水平走査分の画像デー
   タに対応して一時格納する一時格納手段と、前記一時格
   納手段の内容を前記フレームメモリに順次転送する手段
   とを備えていることを特徴とする請求項１記載の画像処
   理装置。
7. 【請求項７】 前記転送手段は、前記一時格納手段に蓄
   えられた１又は複数の水平走査分の画像データを、前記
   ＣＣＤカメラのタイミングジェネレータから与えられる
   水平ブランキング信号期間に、前記フレームメモリに順
   次転送するように構成されていることを特徴とする請求
   項４記載の画像処理装置。
8. 【請求項８】 前記フレームメモリ及びデータメモリ
   は、各々書き込み動作及び読み出し動作を共通のポート
   で行う単一のシングルポートメモリに、互いに重複され
   ることなくマッピングされていることを特徴とする請求
   項１記載の画像処理装置。