JP4083849B2 - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP4083849B2 JP4083849B2 JP28805997A JP28805997A JP4083849B2 JP 4083849 B2 JP4083849 B2 JP 4083849B2 JP 28805997 A JP28805997 A JP 28805997A JP 28805997 A JP28805997 A JP 28805997A JP 4083849 B2 JP4083849 B2 JP 4083849B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- unit
- output
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【００１０】
【発明の属する技術分野】
本発明は、画像処理技術に係り、特にテレビジョン信号等の映像信号についてディジタル式の画像処理を行う画像処理方法に関する。
【００２０】
【従来の技術】
従来のこの種の画像処理装置は、図２０に示すように、映像信号について所定の画像処理を行うように構成されたディジタル信号処理回路２００に加えて、画像データを１フィールドまたは１フレーム分だけ蓄積または遅延させるための１個または複数個のフィールドメモリおよび／またはフレームメモリ２０２とを有している。
【００３０】
たとえば、動画像リアルタイム処理の場合、フレームメモリ２０２Ａおよびフィールドメモリ２０２Ｂが動き検出に用いられ、フレームメモリ２０２Ｃが動き適応補間に用いられる。また、たとえばハイビジョン信号をＮＴＳＣ信号に変換するための時間軸変換には別のフレームメモリ（図示せず）が用いられる。
【００４０】
【発明が解決しようとする課題】
このように、従来のディジタル画像処理回路は、要求される画像処理の種類が多いほど数多くのフィールドメモリまたはフレームメモリを必要とする。このことは、コストおよび装置規模において大きな不都合となる。一般のフィールドメモリおよびフレームメモリは１〜２Ｍビット容量のダイナミックＲＡＭであり、現在主流の１６Ｍビット、６４Ｍビット型ダイナミックＲＡＭと比較して記憶容量は格段に小さいものの、価格およびチップサイズの点では大して違わない。
【００５０】
一方、フィールドメモリおよび／またはフレームメモリの個数が多いほど、それに比例してディジタル信号処理回路２００側の端子ピンの本数が増え、ＩＣパッケージが大型化するという不都合もある。
【００６０】
また、このようなシステム構成では、多種多様なアプリケーションに対して適応性が乏しいという問題もある。たとえば、ＮＴＳＣ信号向けに１．５Ｍビット容量のフィールドメモリを用いてシステムを構築しても、ハイビジョン信号に対しては４Ｍビット程度のフィールドメモリが必要であるから、このシステムでは適応できないことになる。
【００７０】
また、これら多数のフィールドメモリおよび／またはフレームメモリは各々がディジタル信号処理回路２００内の特定機能の処理部と関連して用途が限定または特化しており、様々なアプリケーションに対して汎用性を持てないという不具合がある。
【００８０】
このため、従来は、ＮＴＳＣ信号、衛星放送、ハイビジョン信号、パソコン出力信号等の種々多様な映像信号に１台のテレビ受像機で対応しようとすると、映像信号の種類別の専用ディジタル信号処理回路およびフィールド／フレームメモリを全部内蔵しなくてはならず、非常に高価で大型な装置となっていた。
【００９０】
本発明は、かかる問題点に鑑みてなされたもので、小規模な回路構成で多種多様なアプリケーションに対応できる画像処理方法を提供することを目的とする。
【０１００】
また、本発明は、装置内の資源を有効利用し、高度な画像処理を効率よく行える画像処理方法を提供することを目的とする。
【０１１０】
【課題を解決するための手段】
上記の目的を達成するために、本発明の画像処理方法は、処理されるべき画像データを外部より取り込む入力部と、走査線上の画素に１対１の対応関係で割り当てられ、かつ共通の命令にしたがって同一の動作を行う複数個のプロセッシングエレメントを有し、画像データを走査線単位で入力、処理および出力するディジタル信号処理部と、一定のメモリ領域を有し、書き込み動作と読み出し動作が並列的かつ独立的に実行可能であり、画像データを走査線単位で入力および出力する画像メモリと、処理後の画像データを外部に出力する出力部と、前記入力部、前記ディジタル信号処理部、前記画像メモリおよび前記出力部を相互に接続するデータ・パス手段と、前記入力部、前記ディジタル信号処理部、前記画像メモリ、前記出力部および前記データ・パスを所望のプログラムデータにしたがって制御する制御手段とを有する画像処理装置によって画像データを処理する画像処理方法であって、１つの映像信号に対応する画像データを前記入力部に取り込むステップと、前記入力部より出力された画像データの前半部を第１の期間で前記ディジタル信号処理部に入力するステップと、前記入力部より出力された画像データを前記画像メモリに書き込んで、一定の遅延時間後に読み出すステップと、前記画像メモリより読み出された画像データの後半部を第２の期間で前記ディジタル信号処理部に入力するステップとを有する。
【０１２０】
本発明の画像処理方法において、好適な一態様として、前記ディジタル信号処理部より出力された画像データの前半部を画像メモリに書き込んで所定の遅延時間後に読み出すステップと、前記画像メモリより読み出された画像データの前半部を前記出力部より外部へ出力するステップと、前記ディジタル信号処理部より画像データの後半部を出力するステップと、前記ディジタル信号処理部より出力された画像データの後半部を前記画像データの前半部に繋げて前記出力部より外部へ出力するステップがさらに含まれる。
【０１３０】
さらに好ましくは、前記第１の期間中に前記ディジタル信号処理部に入力される画像データの前半部の後端部に、所定の画素数分だけ後半部の前端部とオーバーラップする第１のオーバーラップ部分を付加するステップと、前記第２の期間中に前記ディジタル信号処理部に入力される画像データの後半部の前端部に、所定の画素数分だけ前半部の後端部とオーバーラップする第２のオーバーラップ部分を付加するステップと、前記出力部より画像データを外部へ出力する段階で前記第１および第２のオーバーラップ部分を除去するステップも含まれる。
【０１４０】
好適な一態様によれば、前記画像処理装置において、前記画像メモリは、所定の記憶容量を有する少なくとも２つの入力バッファ部を含む複数の入力バッファを有し、各々の前記入力バッファにおいて、第１の入力バッファ部が画像データで満たされると、第２の入力バッファ部への入力画像データの書き込みが開始されるとともに、第１の入力バッファ部より画像データが読み出されて前記メモリ領域に書き込まれ、第２の入力バッファ部が画像データで満たされると、第１の入力バッファ部への入力画像データの書き込みが開始されるとともに、第２の入力バッファ部より画像データが読み出されて前記メモリ領域に書き込まれる。この場合、各々の前記入力バッファから前記メモリ領域に画像データが書き込まれるデータレートは各々の前記入力バッファに画像データが書き込まれるデータレートとは異なる速度に選ばれてよい。
【０１６０】
また、好適な一態様によれば、前記画像処理装置において、前記画像メモリは、所定の記憶容量を有する少なくとも２つの出力バッファ部を含む複数の出力バッファを有し、各々の前記出力バッファにおいて、第１の出力バッファ部の画像データが空になると、第２の出力バッファ部からの画像データの読み出しが開始されるとともに、前記メモリ領域より読み出された画像データが第１の出力バッファ部に書き込まれ、第２の出力バッファ部の画像データが空になると第１の出力バッファ部からの画像データの読み出しが開始されるとともに、前記メモリ領域より読み出された画像データが第２の出力バッファ部に書き込まれる。この場合、前記メモリ領域より各々の前記出力バッファへ画像データが書き込まれるデータレートは各々の前記出力バッファより画像データが読み出されるデータレートとは異なる速度に選ばれてよい。
【０１８０】
また、好適な一態様として、前記画像処理装置において、前記データパス手段は、前記入力部のデータ出力端子と前記ディジタル信号処理部のデータ入力端子とを電気的に接続するための第１のデータパス部と、前記入力部のデータ出力端子と前記画像メモリのデータ入力端子とを電気的に接続するための第２のデータパス部と、前記ディジタル信号処理部のデータ出力端子と前記画像メモリのデータ入力端子とを電気的に接続するための第３のデータパス部と、前記画像メモリのデータ出力端子と前記ディジタル信号処理部のデータ入力端子とを電気的に接続するための第４のデータパス部と、前記入力部のデータ出力端子と前記出力部のデータ入力端子とを電気的に接続するための第５のデータパス部と、前記ディジタル信号処理部のデータ出力端子と前記出力部のデータ入力端子とを電気的に接続するための第６のデータパス部と、前記画像メモリのデータ出力端子と前記出力部のデータ入力端子とを電気的に接続するための第７のデータパス部とを含む。
【０２００】
好適な一態様によれば、前記画像処理装置において、前記制御手段は、前記入力部、前記ディジタル信号処理部、前記画像メモリ、前記出力部および前記データ・パス手段のそれぞれの動作モードを規定するプログラムデータを保持するために各部に分散配置されたプログラムデータ保持手段と、所望のプログラムデータを外部より取り込んで各部の前記プログラムデータ保持手段に分配するプログラムデータ分配手段とを含む。
【０３３０】
【発明の実施の形態】
以下、図１〜図１９を参照して本発明の実施例を説明する。
【０３４０】
図１に、本発明の一実施例による画像処理プロセッサの回路構成を示す。
【０３４５】
この画像処理プロセッサは、処理されるべき画像データとしてディジタルの映像信号を外部より取り込む入力部４０と、画像データを走査線単位で入力、処理および出力するＳＶＰ(Scan-line Video Processor）１４と、画像データを走査線単位で書き込みおよび読み出す画像メモリ５０と、処理後の画像データを外部に出力する出力部７０と、これら入力部４０、ＳＶＰ１４、画像メモリ５０および出力部７０を相互に接続するデータ・パス７２とを有している。
【０３５０】
また、この画像処理プロセッサには、ＳＶＰ１４をＳＩＭＤ (Single-Instruction Multiple-Data)型のディジタル信号処理部として動作させるため、ＳＶＰ１４用のプログラムを保持するＲＡＭからなるプログラムメモリ１０と、このプログラムメモリ１０より命令を１つずつ取り出してこの命令に対応したマイクロ命令等の制御信号をＳＶＰ１４に与える命令発生回路（ＩＧ）１２とが設けられている。
【０３６０】
さらに、この画像処理プロセッサには、入力部４０、ＳＶＰ１４、画像メモリ５０、出力部７０およびＩＧ１２に所要のタイミング制御信号を供給するタイミング制御ユニット（ＴＣＵ）７４も設けられている。
【０３７０】
そして、この画像処理プロセッサ内の各部つまり入力部４０、ＳＩＭＤ型ディジタル信号処理部（１０，１２，１４）、画像メモリ５０、出力部７０およびＩＧ１２に分散配置されているプログラムデータ保持部（メモリ、レジスタ等）に内部バス８０を介して外部からのプログラムデータを分配するためのＲＯＭローダ７６およびＩ2 Ｃバス（Inter IC−BUS)インタフェース回路７８も含まれている。また、図示しないが、プロセッサ内の各部に所要のクロックを供給するためのたとえばＰＬＬ回路からなるクロック回路も含まれている。
【０３８０】
ここで、ＳＩＭＤ型ディジタル信号処理部のプログラムデータ保持部はプログラムメモリ１０である。また、Ｉ2 Ｃバス・インタフェース回路７８は、外部のコントローラ（図示せず）にＩ2 Ｃバス規格で接続されており、該コントローラよりたとえばシリアル伝送でプログラムデータを受信し、この受信したデータをパラレルデータに変換したうえで、指定された行先（プログラム保持部）にその分のプログラムデータ部分を転送する。
【０３９０】
ＲＯＭローダ７６は、外部のＲＯＭ（図示せず）に接続されており、Ｉ2 Ｃバス・インタフェース回路７８を介して外部のコントローラより所望のプログラム番号を受け取ると、このプログラム番号を割り付けられた所定のアプリケーション用のプログラムのデータをその外部ＲＯＭより読み出して各部のプログラムデータ保持部にロードする。ＲＯＭローダ７６は、外部ＲＯＭを伴うが、外部コントローラによりＩ2 Ｃバス・インタフェース回路７８を介して各部にプログラムデータを分配する方法よりも格段に短い所要時間でプログラムデータの分配を行えるという利点がある。
【０４００】
図２に、この画像処理プロセッサにおけるデータパスの具体的構成例を示す。図示のように、ＳＶＰ１４、画像メモリ５０および出力部７０の各入力端子の手前にマルチプレクサ８２，８４，８６が配置されている。
【０４１０】
この例において、入力部４０は、外部よりたとえば１６ビットのディジタル映像信号をこのプロセッサで処理すべき画像データＳＶとして最大２系統まで同時に取り込めるようになっている。ＳＶＰ１４は、最大３つまでのディジタル映像信号（以下画像データと称する。）を同時に入力するための入力ポートと、最大３つまでの画像データを同時に出力するための出力ポートとを有している。画像メモリ５０は、最大３つまでの画像データを同時に入力するための３つの入力ポートおよび入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC と、最大３つまでの画像データを同時に出力するための３つの出力ポートおよび出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC とを有している。
【０４２０】
入力部４０の２チャンネル分の出力ポートは、第１のマルチプレクサ８２の入力端子に接続されるとともに、第２のマルチプレクサ８４の入力端子に接続されている。ＳＶＰ１４の３チャンネル分の出力ポートのうち第１および第２の出力ポートが第２のマルチプレクサ８４の入力端子に接続されるとともに、第１および第３の出力端子が第３のマルチプレクサ８６の入力端子に接続されている。画像メモリ５０の３チャンネル分の出力ポートのうち、第１〜第３の出力ポートがマルチプレクサ８２の入力端子に接続されるとともに、第１および第２の出力ポートがマルチプレクサ８６の入力端子に接続されている。
【０４３０】
マルチプレクサ８２の出力からは、３チャンネル分の出力端子がＳＶＰ１４の入力ポートに接続されている。マルチプレクサ８４の出力からは、３チャンネル分の出力端子が画像メモリ５０の入力端子に接続されている。マルチプレクサ８６の出力側では、２チャンネル分の出力端子が出力部７０の入力ポートに接続されている。
【０４４０】
このデータパス構造において、ＳＶＰ１４と画像メモリ５０とは、マルチプレクサ８２，８４を介して互いに襷掛けの関係でそれぞれの入力ポートと出力ポートが接続されている。各マルチプレクサ８２，８４，８６の切換は、ＴＣＵ７４からのタイミング制御信号によって制御される。
【０４５０】
図３に、入力部４０の回路構成例を示す。この例では、２系統分の入力映像信号の輝度信号（Ｙ）、色信号（Ｃ）に対応して４つの入力部４０Ａ，４０Ｂ，４０Ｃ，４０Ｄが設けられている。各入力部には、バッファ４２、フィルタ４４、マルチプレクサ４６および設定値レジスタ４８が設けられている。入力画像データは、バッファ４２にいったん取り込まれてから、マルチプレクサ４６の切換位置にしたがって、直接マルチプレクサ４６を通って出力されるか、あるいはフィルタ４４でたとえば帯域制限のためのローパス・フィルタリング処理を受けてからマルチプレクサ４６を通って出力される。
【０４６０】
このようなマルチプレクサ４６の切換およびフィルタ４４のフィルタリング処理は、上記したようにＲＯＭローダ７６またはＩ2 Ｃバス・インタフェース回路７８より内部バス８０を経由してこの入力部の設定値レジスタ４８に設定入力（ロード）される設定値つまりプログラムデータＰＤとＴＣＵ７４からのタイミング制御信号ＴＣとによって制御される。
【０４７０】
図１および図２において、ＳＶＰ１４はデータ入力レジスタ（ＤＩＲ）１６、プロセッシング・エレメント部（処理部）１８およびデータ出力レジスタ（ＤＯＲ）２０の３層構造からなっている。
【０４８０】
図４に、ＳＶＰ１４の内部の構成例を示す。
【０４９０】
ＤＩＲ１６は、ＴＣＵ７４からのタイミング制御信号とクロック回路からのクロックとＩＧ１２からのアドレス（ADDRESS)とにしたがって動作し、最大３チャンネル分（たとえば４８ビット）までの画像データＤ1 〜ＤN を走査線単位で繰り返し入力する。
【０５００】
処理部１８は、１水平走査線上の画素数Ｎに等しい数（たとえば８６４個）のプロセッシングエレメントＰＥ1 〜ＰＥN を並列配置（接続）してなる。これらのプロセッシングエレメントＰＥ1 ，ＰＥ2 ，…ＰＥN は、ＩＧ１２からのアドレス（ADDRESS)およびマイクロ命令（MICROINSTRUCTION）とクロック回路からのクロックとにしたがって並列動作し、各々対応する画素データＤ1 ，Ｄ2 ，…ＤN について同一の画像処理演算を１水平走査期間内に実行する。
【０５１０】
ＤＯＲ２０は、ＴＣＵ７４からの制御信号とクロック回路からのクロックとＩＧ１２からのアドレス（ADDRESS)とにしたがって動作し、１水平走査期間毎にプロセッシングエレメントＰＥ1 〜ＰＥN からの演算処理結果のデータを最大３チャンネル分までの水平走査線１本の画像データＤ1'〜ＤN'に揃えて出力する。
【０５２０】
ＤＩＲ１６、処理部１８およびＤＯＲ２０にそれぞれ供給されるクロックは互いに非同期であってよい。また、ＤＩＲ１６から処理部１８へのデータ転送、および処理部１８からＤＯＲ２０へのデータ転送は、それぞれ水平ブランキング期間内に行われる。
【０５３０】
このように、ＤＩＲ１６、処理部１８およびＤＯＲ２０によりそれぞれ１水平走査線分のデータ入力、並列演算処理およびデータ出力がパイプライン方式で非同期かつ並列的に実行され、リアルタイムな画像処理が行われる。
【０５４０】
ここで、図４につきＳＶＰ１４の内部の作用を概略的に説明する。ＳＶＰ１４内の各部の動作は、上記したようにＩＧ１２からのアドレス（ADDRESS)およびマイクロ命令（MICROINSTRUCTION）やＴＣＵ７４からのタイミング制御信号、クロック回路からのクロック等によって制御される。
【０５５０】
図４において、ＤＩＲ１６は、１ライン分の入力画像データＶＳ（Ｄ1 〜ＤN ）を最大３チャンネル分まで取り込める記憶容量を有し、画素単位でブロック化されている。入力画像データＤ1 〜ＤN がＤＩＲ１６内を転送される途中、各画素データ…，ＤK-2,ＤK-1,ＤK,ＤK+1,ＤK+2,…は１個ずつ次々と引き落とされるようにしてＤＩＲ１６の各ブロック…，Ｋ−２，Ｋ−１，Ｋ，Ｋ＋１，Ｋ＋２，…のレジスタ群に取り込まれる。
【０５６０】
処理部１８の各プロセッシングエレメントＰＥK は、各々が所定の容量（たとえば１７６ビット）を有する一対のレジスタ・ファイルＲＦ0,ＲＦ1 と、１個の１ビット演算論理ユニット（ＡＬＵ）２４と、複数個（たとえば４個）のワーキング・レジスタＷＲｓ（Ｍ，Ａ，Ｂ，Ｃ）２６と、左右隣の複数個（たとえば左右各４個）のプロセッシングエレメント（ＰＥK-4,ＰＥK-3,ＰＥK-2,ＰＥK-1 ，ＰＥK+1,ＰＥK+2,ＰＥK+3,ＰＥK+4 ）とデータをやりとりするＬ／Ｒ（左右）通信部（ＬＲＣＯＭ）２８とを有している。
【０５７０】
一方のレジスタ・ファイルＲＦ0 はＤＩＲ１６の対応するブロックのレジスタ群に接続され、他方のレジスタ・ファイルＲＦ1 はＤＯＲ２０の対応するブロックのレジスタ群に接続されている。レジスタ・ファイルＲＦ0,ＲＦ1 の片方または双方から読み出された１ビットのデータは、ワーキング・レジスタ（Ｍ，Ａ，Ｂ，Ｃ）のいずれかに与えられるとともに、Ｌ／Ｒ通信部２８のマルチプレクサ３０およびラッチ回路３２を介して隣接する左右各４個のプロセッサ・エレメント（ＰＥK-4,ＰＥK-3,ＰＥK-2,ＰＥK-1 ，ＰＥK+1,ＰＥK+2,ＰＥK+3,ＰＥK+4 ）へ送られる。
【０５８０】
これと同時に、それら隣の各プロセッサ・エレメント（ＰＥK-4,ＰＥK-3,ＰＥK-2,ＰＥK-1 ，ＰＥK+1,ＰＥK+2,ＰＥK+3,ＰＥK+4 ）からのデータも当該プロセッサ・エレメントＰＥK のＬ／Ｒ通信部２８のマルチプレクサ３４，３６に送られてきて、それらのデータの中のいずれか１つが選択されてワーキング・レジスタ（Ｍ，Ａ，Ｂ，Ｃ）のいずれかに入力される。図４では、左隣のプロセッサ・エレメント（ＰＥK-4,ＰＥK-3,ＰＥK-2,ＰＥK-1 ）からのデータの中のいずれか１つが選択され、ワーキング・レジスタ（Ａ）に入力されたことを示している。
【０５９０】
ＡＬＵ２４は、ワーキング・レジスタ（Ｍ，Ａ，Ｂ，Ｃ）より与えられるデータについて所要の演算を実行し、その演算結果を出力する。ＡＬＵ２４の演算結果のデータは、レジスタ・ファイルＲＦ0,ＲＦ1 のいずれかに書き込まれる。概して、各水平走査期間における最後の演算結果のデータは最終演算処理結果の画素データＤK'として出力側のレジスタ・ファイルＲＦに書き込まれ、直後の水平ブランキング期間中にこのレジスタ・ファイルＲＦからＤＯＲ２０の対応するブロックのレジスタに移される。
【０６００】
ＤＯＲ２０は、出力画像データＤ1'〜ＤN'のチャンネル数、ビット数および画素数に等しい容量を有し、画素単位でブロック化されている。各ブロック毎に処理部１８よりＤＯＲ２０に送られてきた演算処理結果の画素データＶＳ’（Ｄ1'〜ＤN'）は１水平走査期間をかけて左端の画素データＤ1'を先頭に後続の画素データＤ2', Ｄ3', …が数珠繋ぎに続くように順にＤＯＲ２０の各ブロックから送出される。
【０６１０】
なお、処理部１８は、レジスタ・ファイルＲＦ0,ＲＦ1 に１ないし２ライン分の画像データを蓄積することが可能であり、これによってラインメモリの機能も実現可能となっている。また、処理部１８は、１水平走査期間中に複数チャンネルの画像データについて時分割的に各個別の処理を実行することも可能である。
【０６２０】
図５に、画像メモリ５０の具体的構成例を示す。この画像メモリ５０は、画像データを一時的に記憶する高速メモリとしてたとえばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory) ５２を用いる。このＳＤＲＡＭ５２は、たとえば１６Ｍビット程度の記憶容量を有し、連続したアドレス空間にメモリ領域がマッピングされている。メモリアクセス時に、このＳＤＲＡＭ５２にはメモリアドレスおよび制御信号（ＲＡＳ，ＣＡＳ）に加えて高速クロックＣＫも供給され、ＳＤＲＡＭ５２はこのクロックＣＫのタイミングでデータのストローブを行うようになっている。
【０６３０】
この画像メモリ５０において、ＳＤＲＡＭ５２以外の部分はインタフェース部（ＳＤＲＡＭインタフェース）を構成する。
【０６４０】
各々の入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC および各々の出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC には、各バッファ内の書き込みアドレス（位置）を指示するポインティング情報を与えるライト（Ｗ）ポインタ・レジスタ５４，５８と、バッファ内の読み出しアドレス（位置）を指示するポインティング情報を与えるリード（Ｒ）ポインタ・レジスタ５６，６０とが併設されている。入力側の各リードポインタ・レジスタ５６は、ＳＤＲＡＭアクセス用の書き込みアドレス発生機能も備える。出力側の各ライトポインタ・レジスタ５８は、ＳＤＲＡＭアクセス用の読み出しアドレス発生機能も備える。
【０６５０】
各入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC の出力端子は、ＳＤＲＡＭ５２のデータ入力端子に接続されている。入力側の各リードポインタ・レジスタ５６で発生されたＳＤＲＡＭアドレスは、マルチプレクサ６２を介してＳＤＲＡＭ５２のアドレス端子に与えられる。出力側の各ライトポインタ・レジスタ５８で発生されたＳＤＲＡＭアドレスは、マルチプレクサ６４，６２を介してＳＤＲＡＭ５２のアドレス端子に与えられる。
【０６６０】
制御部６６は、この画像メモリ５０の動作モードを規定するプログラムデータをＲＯＭローダ７６よりまたは外部コントローラよりＩ2 Ｃインタフェース回路７８を介して受け取って保持する設定値レジスタを含んでいる。制御部６６は、このレジスタに設定入力されたプログラムデータとＴＣＵ７４からの各種タイミング制御信号とにしたがって入力および出力側の各バッファおよびポインタ・レジスタの動作、マルチプレクサ６２，６４の切換およびＳＤＲＡＭ５２に対するメモリアクセスを制御する。
【０６７０】
この画像メモリ５０において、各入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC は、たとえば１画素分の画像データを１６ビットとして画素１２８個分の記憶容量を有し、この記憶容量を第１および第２の入力バッファ部に２分割している。
【０６８０】
図６につき、各入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC における書き込み／読み出しの動作を説明する。先ず、第１（左側）の入力バッファ部に先頭アドレスから順に書き込む（図６の(A) ）。ライトポインタＰW は入力画像データＶＳに同期したクロックにしたがってインクリメントする。
【０６９０】
第１の入力バッファ部が入力画像データで満たされると、ライトポインタＰW は空になっている第２（右側）の入力バッファ部の先頭アドレスを指し、この第２の入力バッファ部への入力画像データの書き込みが開始されると同時に、リードポインタＰR が第１の入力バッファ部の先頭アドレスを指し、第１の入力バッファ部からの入力画像データの読み出しが開始される（図６の(B) ）。
【０７００】
入力バッファより読み出された画像データは、ＳＤＲＡＭのデータ入力端子に供給される。一方、リードポインタ・レジスタ５６のアドレス発生機能により発生されるメモリアドレスは、ＳＤＲＡＭのデータ端子への画像データの出力と同時にマルチプレクサ６２を介してＳＤＲＡＭ５２のアドレス端子に供給されるとともに、リードポインタＰR のインクリメントと一緒にアドレス値をインクリメントする。制御部６６は、各入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC の読み出し動作をアービトレーション機能によって選択的にアクティブにする。
【０７１０】
リードポインタＰR は、ＳＤＲＡＭ５２用のデータ書き込みクロックに同期している。通常の画像データの伝送速度は１０ＭＨｚであるのに対し、ＳＤＲＡＭの動作クロックＣＫはその数倍以上たとえば８０ＭＨｚである。したがって、各入力バッファにおいては、リードポインタＰR がライトポインタＰW の数倍以上の速度でインクリメントし、読み出しは書き込みの数倍以上のデータレートで行われる（図６の(C) ）。
【０７２０】
したがって、第２の入力バッファ部への書き込みが終了する以前に、第１の入力バッファ部からの読み出しが終了し、リードポインタＰR は境界位置でそのまま待機する（図６の(D) ）。そして、第２の入力バッファ部への書き込みが終了したなら（図６の(E) ）、リードポインタＰR は第２の入力バッファ部の先頭アドレスを指示し、第２の入力バッファ部からの読み出しを開始する。一方、ライトポインタＰW は空の状態（画像データが全部読み出された状態）になっている第１の入力バッファ部の先頭位置に戻り、第１の入力バッファ部への書き込みを再開する。以後、上記の動作を繰り返す。
【０７３０】
なお、リードポインタＰR はデータで満たされた入力バッファのデータを全て読み出せればよく、読み出し順はライトポインタＰW と必ずしも同じでなくてもよい。この場合、後述する出力バッファにおけるライトポイントＰW の書き込み順は、入力バッファにおけるリードポインタＰR の読み出し順にしたがう。
【０７４０】
この画像メモリ５０では、各出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC も、たとえば画素１２８個分の記憶容量を有し、この記憶容量を第１および第２の出力バッファ部に２分割している。
【０７５０】
図７につき、各出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC における書き込み／読み出しの動作を説明する。出力バッファの動作も、基本的には上記した入力バッファの動作と同じである。
【０７６０】
先ず、第１（左側）の出力バッファ部に先頭アドレスから順に書き込む（図７の(A) ）。ここで、書き込まれるデータはＳＤＲＡＭ５２より読み出された画像データであり、ライトポインタＰW はＳＤＲＡＭ５２用の高速クロックＣＫに同期してインクリメントする。
【０７７０】
また、ライトポインタ・レジスタ５８のアドレス発生機能により発生されるメモリアドレスは、ＳＤＲＡＭ５２の読み出しクロックに同期してマルチプレクサ６４，６２を介してＳＤＲＡＭ５２のアドレス端子に供給されると同時にそのアドレス値をインクリメントする。
【０７８０】
制御部６６は、各出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC の書き込み動作をアービトレーション機能によって選択的にアクティブにする。また、制御部６６は、これら出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC の書き込み動作と上記したような各入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC の読み出し動作との間でもアービトレーションを行う。
【０７９０】
第１の出力バッファ部が出力画像データで満たされると、ライトポインタＰW は終端位置でそのまま待機する。出力バッファの読み出しが開始されると、先ずリードポインタＰR が第１の出力バッファ部の先頭アドレスを指し、第１の出力バッファ部からの出力画像データの読み出しが行われる（図７の(B) ）。また、これと同時に、第２の出力バッファ部への出力画像データの書き込みが開始される。リードポインタＰR は、制御部６６で設定または選択された画像データの伝送レートに対応したクロックに同期してインクリメントする。もっとも、ライトポインタＰW よりは遅い。
【０８００】
したがって、第１の出力バッファ部からの読み出しが終了する以前に、第２の出力バッファ部への書き込みが終了し、ライトポイントＰW は終端位置でそのまま待機する（図７の(C),(D) ）。
【０８１０】
そして、第１の出力バッファ部からの読み出しが終了すると（図７の(E) ）、リードポインタＰR は第２の出力バッファ部の先頭アドレスを指示し、第２の出力バッファ部からの読み出しを開始する。一方、ライトポインタＰW はこの時点で第１の出力バッファ部の先頭位置に戻り、第１の出力バッファ部への書き込みを再開する。以後、上記の動作を繰り返す。
【０８２０】
上記したように、本実施例の画像メモリ５０では、複数のチャンネル分の画像データがそれぞれ複数の入力ポートないし入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC に同期または非同期で並列的に入力可能であり、複数のチャンネル分の画像データがそれぞれ複数の出力ポートないし出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC より同期または非同期で並列的に出力可能である。
【０８３０】
メモリ５０内では、単一のインタフェース部、特に制御部６６により、共通のＳＤＲＡＭ５２と各入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC および各出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC との間での画像データのやりとりを高速クロックＣＫに同期して一元管理で効率的に制御することができる。
【０８４０】
また、この画像処理プロセッサは１個の半導体チップ上に構築可能であり、ＳＤＲＡＭ５２を外付けする場合でも、端子ピンの本数が少なくて済み、デバイスの小型化をはかれる。
【０８５０】
そして、複数の入出力ポートと相まって、複数のライトポインタおよびリードポインタを備え、それらポインタ相互間の関係をプログラマブルに設定可能であり、多種多様なメモリ機能を実現することができる。
【０８６０】
たとえば、図８に示すように、１チャンネル分の画像データを１つの入力バッファたとえばＳＤＩA を介してＳＤＲＡＭ５２に書き込んでいき、このＳＤＲＡＭ５２に書き込んだ画像データを所定の遅延量だけ時間をずらして第１および第２の出力バッファＳＤＯA ，ＳＤＯB を介して並列的に読み出すことで、たとえば１フィールド遅れの画像データと２フィールド遅れの画像データとを同時に得ることが可能である。
【０８７０】
図８において、ＳＤＲＡＭ５２に対するライトアドレス（ポインタ）ＡＷは入力バッファにおけるリードポインタＰR に対応し、２個のリードアドレス（ポインタ）ＡＲa ，ＡＲb は出力バッファＳＤＯA ，ＳＤＯB におけるライトポインタＰW に対応する。
【０８８０】
本実施例では画像メモリ５０にＳＤＲＡＭ５２を使用するが、これと同等のメモリ機能を有するものであれば他のメモリでもよく、たとえばランバス社仕様のランバスメモリも使用可能である。また、画像メモリ５０を複数個のメモリチップで構成することも可能である。
【０８９０】
図９に、ＴＣＵ７４の具体的構成例を示す。このＴＣＵ７４は、主制御部（ＭＣ）、垂直タイミング発生部（ＶＴＧ）および水平タイミング発生部（ＨＴＧ）を有し、入力部４０に入力される映像信号（画像データＶＳ）より抽出された垂直同期信号、水平同期信号および画素クロックに応動して装置内の各部つまり入力部４０、ＳＩＭＤ型ディジタル信号処理部（１０，１２，１４）、画像メモリ５０、出力部７０およびデータパス７２（マルチプレクサ８２，８４，８６）等に所要のタイミング制御信号ＴＣを供給する。
【０９００】
主制御部ＭＣは、プログラムカウンタ、プログラムメモリ、制御ロジック等からなり、垂直同期信号に応動してフレームベースのタイミング制御信号ＴＣMCを生成するとともに、内部の垂直タイミング発生部ＶＴＧおよび水平タイミング発生部ＨＴＧを制御する。垂直タイミング発生部ＶＴＧは、シーケンスメモリＶＳＭおよびループメモリＶＬＭ等を有し、水平同期信号に応動してラインベースのタイミング制御信号ＴＣVTG および内部制御信号を生成する。水平タイミング発生部ＨＴＧは、シーケンスメモリＨＳＭおよびループメモリＨＬＭ等を有し、画素クロックに応動して画素ベースのタイミング制御信号ＴＣHTG を生成する。
【０９１０】
主制御部ＭＣ、垂直タイミング発生部ＶＴＧおよび水平タイミング発生部ＨＴＧのプログラムメモリ、シーケンスメモリ等の各種メモリには、ＲＯＭローダ７６またはＩ2 Ｃインタフェース回路７８より内部バスを介して与えられる各種プログラムデータが格納される。
【０９２０】
出力部７０は、出力バッファと、出力画像データにブランキング信号を挿入する回路等から構成されている。この出力部７０の機能も、ＲＯＭローダ７６またはＩ2 Ｃインタフェース回路７８より内部バスを介して与えられるプログラムデータとＴＣＵ７４からのタイミング制御信号ＴＣとにしたがって制御される。
【０９３０】
次に、本実施例の画像処理プロセッサの全体の作用を説明する。
【０９４０】
図１０に、一例として、この画像処理プロセッサにより動画像リアルタイム処理を行う場合の機能ブロックを示す。
【０９５０】
この動画像リアルタイム処理システムにおいて、入力段の２つのフィールドメモリ９０，９２は１つのフレームメモリを構成する。減算器９４で入力画像データＶＳとフィールドメモリ９２より出力される画像データとの差分△をとり、この差分△を絶対値回路（ＡＢＳ）９６および非線形化回路９８に通すことで、各画素について現在の画面と１フレーム前の画面との間の変化の度合いを表す信号△Ｓが得られる。
【０９６０】
次に、この信号△Ｓをラインメモリ１００と加算器１０２とからなる二次元方向の平均化回路およびフィールドメモリ１０４と加算器１０８とからなる時間軸方向の平均化回路に通すことにより、３次元のローバス・フィルタリングをかけて、ノイズを除去し、動き検出信号Ｋ（０≦Ｋ≦１）を得る。
【０９７０】
一方、入力画像データＶＳをラインメモリ１１０と加算器１１２とからなる垂直方向の平均化回路に通すことにより動画処理を行う。この動画処理部１１４の後段には、乗算器１１６，１１８、係数変換器１２０、加算器１２２からなる動き補償用の混合回路１２４が設けられている。
【０９８０】
動き検出信号Ｋが１のときは動き検出量が最大であり、動画処理部１１４からの画像データがそのまま乗算器１１６および加算器１２２を抜けて出力される。この時、フィールドメモリ９０からの１フィールド遅れの画像データは乗算器１１８で阻止される。
【０９９０】
反対に、動き検出信号Ｋが０のときは、動き検出量が最小であり、動画処理部１１４からの画像データは乗算器１１６で阻止され、フィールドメモリ９０からの１フィールド遅れの画像データが静画処理を受けた画像データとして乗算器１１８および加算器１２２を抜けて出力される。
【１０００】
動き検出信号Ｋが０と１の間の値のときは、その値に応じた重み付けで動画処理部１１４からの画像データとフィールドメモリ９０からの１フィールド遅れの画像データとが混合され、平均化された画像データが出力される。
【１０１０】
上記のような動画像リアルタイム処理システムを実現するために、この画像処理プロセッサでは各部で以下のような処理または動作が行われる。
【１０２０】
先ず、入力段のフィールドメモリ９０，９２の機能は、上記したような図８に示す制御により画像メモリ５０において実現される。ここで、フィールドメモリ９０への入力は、たとえば第１の入力バッファＳＤＩA を介して行い、フィールドメモリ９０，９２からの出力は第１および第２の出力バッファＳＤＯA ，ＳＤＯB を介して行う。
【１０３０】
減算器９４，絶対値回路９６および非線形化回路９８の各処理は、ＳＭＩＤ型ディジタル信号処理部（１０，１２，１４）によって実行される。この場合、ＳＶＰ１４は、入力部４０からの入力画像データに画像メモリ５０（フレームメモリ９２）からの１フレーム遅れの画像データを同期させて両画像データを１ライン単位で同時にＤＩＲ１６に取り込む。ここで、入力部４０からの入力画像データに画像メモリ５０からの１フレーム遅れの画像データを同期させるには、画像メモリ５０における出力バッファＳＤＯの読み出しのタイミングを入力画像データに合わせればよい。
【１０４０】
ＳＶＰ１４は、１ライン分の画像データをＤＩＲ１６に取り込んだ後、次の水平走査期間中に上記各部（９４，９６，９８，１００，１０２，１０８）の処理を全部実行し、次の水平走査期間で処理結果のデータつまり動き検出信号ＫのデータをいったんＤＯＲ２０の１つの出力ポートより出力する。
【１０５０】
３次元ローパス・フィルタ部では、フィールドメモリ１０４が画像メモリ５０によって実現される。したがって、上記のようにしてＳＶＰ１４より出力された動き検出信号Ｋのデータを、画像メモリ５０の第３の入力バッファＳＤＩC を介してＳＤＲＡＭ５２に書き込み、１フィールド遅れでＳＤＲＡＭ５２より第３の出力バッファＳＤＯC を介して読み出し、ＳＶＰ１４のＤＩＲ１６に入力する。
【１０６０】
一方、動画処理部１１４および混合回路１２４内の各部の処理も、上記ローパス・フィルタ部の処理と同じ水平走査期間内でＳＶＰ１４により実行される。この場合、ＳＶＰ１４は、画像メモリ５０の第１の出力ポートからの１フィールド遅れの画像データをＤＩＲ１６の第３の入力ポートに受け取る。そして、処理結果の画像データＶＳ’をＤＯＲ２０の他の１つの出力ポートより出力して出力部７０側に送出する。
【１０７０】
このように、この画像処理プロセッサでは、主にＳＶＰ１４と画像メモリ５０との間で１つまたは複数チャンネル分の画像データその他の中間データをデータパス７２を介して何度か受け渡しながら、ＳＶＰ１４がプロクラムメモリ１０内のプログラムにしたがって所要の処理を行うことで、動画像リアルタイム処理システムを実現することができる。
【１０８０】
なお、画像メモリ５０の入力ポート（入力バッファ）および出力ポート（出力バッファ）の個数を増やすことで、フィールドメモリまたはフレームメモリ機能の数を増やすことができる。したがって、たとえば上記動画像リアルタイム処理システムにおいて、混合回路１２４より出力された画像データをフィールドメモリからなるローパス・フィルタに通すことで、ノイズリダクション処理を付加することもできる。
【１０９０】
あるいは、ＳＶＰ１４と画像メモリ５０における入力／出力のデータレートを高速化し、１単位期間（たとえば水平走査期間）内に１個のポートで複数系統または複数チャンネル分の画像データまたは中間データを時分割方式で入力／出力させることも可能である。
【１１００】
上記した動画像リアルタイム処理は一例にすぎず、この画像処理プロセッサは外部より設定入力されるプログラムに応じて種々多様な画像処理を実現することができる。以下に、幾つかの例を説明する。
【１１１０】
図１１は、画面を左右に２分割して異なる系統またはチャンネルの画像を同時に表示するための画像メモリ５０内のポインティング制御を示す。この例では、ＳＤＲＡＭ５２に第１のライトポインタＡＷa を用いて第１のチャンネルの画像データを各ラインの左半分に圧縮して書き込むと同時に、第２のライトポインタＡＷb を用いて第２のチャンネルの画像データを各ラインの右半分に圧縮して書き込む。両画像データの書き込みは非同期に行われてよいが、各フィールドの先頭書き込み位置を一致させる。
【１１２０】
一方、そのようにしてＳＤＲＡＭ５２に書き込んだ画像データを所定の時間遅れでたとえば第１のリードポインタＡＲa を用いて１ライン単位で読み出す。この読み出した画像データをディスプレイに送って画面表示を行うと、画面の左半分に第１のチャンネルの画像が、画面の右半分に第２のチャンネルの画像がそれぞれ映し出される。親子画面も同様の要領で実現できる。
【１１３０】
なお、図１１に示すように、上記のような２画面表示処理と並行して、画像メモリ５０の他のポートおよびメモリ領域を利用し、他の１組のライト・リードポインタ（ＡＷc ，ＡＲc ）を用いて、任意のメモリ機能たとえばフィールドまたはフレームメモリ機能を奏することも可能である。
【１１４０】
画像メモリ５０において、上記のような１組または複数組のポインティング操作を行う場合、各組毎に所定量のメモリ領域を割り当て、その領域内でループ状に各ポインタを回してよい。これにより、ＳＤＲＡＭ５２のメモリ領域に多数の独立したメモリ領域を設定することができる。
【１１５０】
別の応用として、画像メモリ５０に画像データを書き込む場合、一部の画素または走査線についてのみ選択的に書き込むことにより、画像の画素数および走査線数を削減することができる。この場合、画像メモリ５０より読み出される画像データのデータレートと書き込み時のデータレートとを同じ値に選ぶ条件で、図１２に示すように縮小画面を作成することができる。
【１１６０】
このような間引き処理を行う場合は、画像データを先ずＳＶＰ１４に入力し、そこでローパス・フィルタリング処理を施してから、画像メモリ５０に上記の方法で書き込むほうが、画像の絵柄の再現性を維持する点で好ましい。
【１１７０】
あるいは、画像メモリ５０より画像データを読み出す場合、図１３に示すように各画素または各走査線につき読み出しクロックＣＬに対して断続的に読み出すことにより、図１４に示すように各画素または各走査線間の間隔を拡げることができる。この場合、画像メモリ５０より読み出された画像データをＳＶＰ１４に入力し、そこで水平および垂直補間処理を行って、上記断続的読み出しでスキップした位置の画素または走査線について図１４の点線部分で示すように画像データを追加または挿入してもよい。
【１１８０】
図１５に示すように、互いに同期していない２系統の画像データＶＳ1 ，ＶＳ2 をそれぞれＳＶＰ１４および画像メモリ５０に入力し、両画像データＶＳ1 ，ＶＳ2 の同期信号以外の同期信号たとえば表示装置１３０側の同期信号に同期させて画像メモリ５０より両画像データＶＳ1 ，ＶＳ2 を読み出すことが可能である。この場合、両画像データＶＳ1 ，ＶＳ2 を図１１に示すような２画面合成の画像データとして読み出してもよい。
【１１９０】
また、この画像処理プロセッサにおいて、入力画像データＶＳの１ライン分の画素数ｎがＳＶＰ１４内で一時に処理できる１ライン分の画像数つまりプロセッシング・エレメントＰＥの個数Ｎ（８６４）よりもはるかに多い場合（たとえばｎ＝１６００の場合）は、図１６および図１７に示すような方法によって対処することができる。
【１２００】
概念的には、図１６に示すように、入力画像データＶＳを前半部ＶＳi と後半部ＶＳj に２分割してその間に適当な（たとえば１００画素分の）時間的隙間ｔd を空け、前半部ＶＳi および後半部ＶＳj の画像データをそれぞれ１ライン当たりｎ／２個（８００個）の画素を有する画像データとしてＳＶＰ１４のＤＩＲ１６に順次入力する。
【１２１０】
ＳＶＰ１４内の処理部１８は、前半部ＶＳi および後半部ＶＳj の画像データにそれぞれ別個の処理期間を割り当てて同じ処理を繰り返し実行する。ＤＯＲ２０は、処理の済んだものを逐次出力する。
【１２２０】
ここで、前半部ＶＳi の画像データは上記隙間に相当する時間だけ遅延させ、後半部ＶＳj の画像データはそのまま（遅延無しで）出力部７０の同一ポートより出力する。これにより、前半部ＶＳi の画像データの後端に後半部ＶＳj の画像データの前端が接続し、元の入力画像データＶＳと同じ１ライン当たりの画像数ｎ（１６００個）を有する処理済みの画像データが得られることになる。
【１２３０】
このように、１ライン分の画素数ｎが非常に多い高精細な画像データについては１ラインを２分割することで対処できる。
【１２４０】
上記の一連の処理の中で、入力画像データＶＳを前半部ＶＳi と後半部ＶＳj とに２分割してその間に時間的な隙間ｔd を空ける処理には、図１７に示すように遅延線としての画像メモリ５０とマルチプレクサ８２とが用いられる。
【１２５０】
すなわち、入力部４０からの入力画像データＶＳは、マルチプレクサ８２の第１の入力端子に直接与えるとともに、画像メモリ５０に入力される。そして、画像メモリ５０の１つの出力ポートより入力画像データＶＳに対して一定時間ｔd に相当する時間だけ遅れた遅延画像データＶＳｄが出力されて、マルチプレクサ８２の第２の入力端子に与えられる。
【１２６０】
マルチプレクサ８２は、ＴＣＵ７４からのタイミング制御ＴＣM にしたがい、入力画像データＶＳの先端のタイミングより一定時間だけ第１の入力端子側に切り換わり、その後一定の遮断時間を挟んで第２の入力端子側に切り換わる。これにより、入力画像データＶＳは所定の時間的隙間ｔd を挟んで前半部ＶＳi と後半部ＶＳj とに２分割されてＳＶＰ１４に入力される。
【１２７０】
なお、前半部ＶＳi と後半部ＶＳj との間に適当な時間的隙間ｔd を空けることで、ＳＶＰ１４内で前半部ＶＳi の後端部分と後半部ＶＳj の前端部分との干渉または衝突を避け、データの破壊を防止することができる。
【１２８０】
この隙間ｔd を適当な長さに確保したうえで、図１７に示すように、前半部ＶＳi の後端部に所定の画素数（たとえば１０画素分）だけ後半部ＶＳj の前端部とオーバーラップする部分δを付加するとともに、後半部ＶＳj の前端部に所定の画素数（たとえば１０画素分）だけ前半部ＶＳi の後端部とオーバーラップする部分δを付加するのが好ましい。このようなオーバーラップ部分もＳＶＰ１４に入力されることで、ＳＶＰ１４内の処理部１８は前半部ＶＳi の後端部および後端部ＶＳj の前端部についても中間部と同様に高精度な処理を施すことが可能となる。
【１２９０】
なお、最後の出力処理で、前半部ＶＳi の後端に後半部ＶＳj の前端を接続させる処理には、図１７に示すものと同様に遅延線としての画像メモリ５０とマルチプレサ８６とが用いられる。
【１３００】
また、本実施例の画像処理プロセッサでは、上記したようなＳＶＰ１４または画像メモリ５０における間引き機能を用いて画像データを情報圧縮することができる。この場合、先ず入力部４０で入力画像データにローパスフィルタリング処理を施してからＳＶＰ１４または画像メモリ５０に入力することで、情報圧縮に起因する折り返し歪み等の画質劣化を避けることができる。
【１３１０】
図１８は、本実施例による画像処理プロセッサを適用したテレビジョン受像機内の要部の回路構成例を示す。
【１３２０】
この受像機は、本実施例の画像処理プロセッサを内蔵することで、パソコンからのモニタ出力信号ＰＣ、ＶＴＲ等からのベースバンド信号ＢＢ、ハイビジョン信号ＭＵＳＥ、ＮＴＳＣ信号等の種々の映像信号に対応することができる。たとえば、ＮＴＳＣ信号を画面に表示すると同時に他の任意の映像信号をＶＴＲ等に記録するモード、ハイビジョン信号ＭＵＳＥとＮＴＳＣ信号を合成して画面に表示するモード等の様々なモードを設定しておき、各モードが選択された時に上記のようなダウンロード方法で所定のプロクラムデータを本プロセッサ内の各部にロードすればよい。
【１３３０】
図１９は、本実施例による画像処理プロセッサを適用した別のテレビジョン受像機内の要部の回路構成例を示す。
【１３４０】
この受像機は、米国規格のＡＴＶ（アドパンスドＴＶ）デコーダを内蔵しており、このＡＴＶデコーダでたとえば１８種類のディスプレイフォーマット（４８０ライン×６４０画素、６００ライン×８００画素、７６８ライン×１０２４画素、……）のいずれかで送信されてくる入力映像信号をデコードすることができる。
【１３５０】
ただし、このＡＴＶデコーダより１８種類のディスプレイフォーマットのいずれかで再生映像信号が出力されても、この受像機に備え付けの表示装置（たとえばＣＲＴ、ＬＣＤ、プラズマディスプレイ等）は１種類のフォーマット（たとえば７６８ライン×１０２４画素）でしか画像データを画面表示することができない。
【１３６０】
ここで、本実施例による画像処理プロセッサは、ＡＴＶデコーダからの再生映像信号を表示装置側のディスプレイフォーマットに変換したうえで表示装置に与えることができる。
【１３７０】
【発明の効果】
以上説明したように、本発明の画像処理方法によれば、処理されるべき画像データを外部より取り込む入力部と、ＳＩＭＤ型のディジタル信号処理部と、書き込み動作／読み出し動作を並列的かつ独立的に実行できる画像メモリとをデータパスを介して相互に接続し、装置内の各部をプログラマブルに動作させ、１つの映像信号に対応する画像データを上記入力部に取り込むステップと、上記入力部より出力された画像データの前半部を第１の期間でディジタル信号処理部に入力するステップと、上記入力部より出力された画像データを上記画像メモリに書き込んで、一定の遅延時間後に読み出すステップと、上記画像メモリより読み出された画像データの後半部を第２の期間で上記ディジタル信号処理部に入力するステップとを有することにより、小規模な回路構成で多種多様なアプリケーションに対応できるとともに、装置内の資源を有効利用し、高度な画像処理を効率よく行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施例による画像処理プロセッサの全体の回路構成を示すブロック図である。
【図２】実施例の画像処理プロセッサにおけるデータパスの構成例を示すブロック図である。
【図３】実施例の画像処理プロセッサにおける入力部の回路構成例を示すブロック図である。
【図４】実施例の画像処理プロセッサにおけるＳＶＰの構成例を模式的に示すブロック図である。
【図５】実施例の画像処理プロセッサにおける画像メモリの構成例を模式的に示すブロック図である。
【図６】実施例の画像メモリにおける入力バッファの書き込み／読み出し動作の仕組みを説明するための図である。
【図７】実施例の画像メモリにおける出力バッファの書き込み／読み出し動作の仕組みを説明するための図である。
【図８】実施例の画像メモリにおけるポインタ制御の一例を示す図である。
【図９】実施例の画像処理プロセッサにおけるタイミング制御ユニットの構成例を示すブロック図である。
【図１０】実施例の画像処理プロセッサで実現可能な動画像リアルタイム処理システムの機能的構成を示すブロック図である。
【図１１】実施例の画像メモリにおけるポインタ制御の別の例を示す図である。
【図１２】実施例の画像処理プロセッサにおける１つの画像処理方法によって得られる画素バターンの一例を示す図である。
【図１３】実施例の画像処理プロセッサにおける別の画像処理方法を説明するためのタイミング図である。
【図１４】図１３の方法によって得られる画素パターンの一例を示す図である。
【図１５】実施例の画像処理プロセッサにおける１つの応用例を示すブロック図である。
【図１６】実施例の画像処理プロセッサにおける他の画像処理方法を説明するためのタイミング図である。
【図１７】図１６の方法を実現するための手段および作用を示す図である。
【図１８】実施例の画像処理プロセッサを適用したテレビジョン受像機の要部の構成を示すブロック図である。
【図１９】実施例の画像処理プロセッサを適用した別のテレビジョン受像機の要部の構成を示すブロック図である。
【図２０】従来の画像処理装置の構成例を示すブロック図である。
【符号の説明】
１０ プログラムメモリ
１２ 命令発生回路（ＩＧ）
１４ ＳＶＰ
１６ データ入力レジスタ（ＤＩＲ）
１８ プロセッシング・エレメント部（処理部）
２０ データ出力レジスタ（ＤＩＲ）
４０ 入力部
５０ 画像メモリ
５２ ＳＤＲＡＭ
６２，６４ マルチプレクサ
６６ 制御部
７０ 出力部
７２ データパス
７４ タイミング制御ユニット（ＴＣＵ）
７６ ＲＯＭローダ
７８ Ｉ2 Ｃバス・インタフェース回路
８０ 内部バス
８２，８４，８６ マルチプレクサ
【発明の属する技術分野】
本発明は、画像処理技術に係り、特にテレビジョン信号等の映像信号についてディジタル式の画像処理を行う画像処理方法に関する。
【００２０】
【従来の技術】
従来のこの種の画像処理装置は、図２０に示すように、映像信号について所定の画像処理を行うように構成されたディジタル信号処理回路２００に加えて、画像データを１フィールドまたは１フレーム分だけ蓄積または遅延させるための１個または複数個のフィールドメモリおよび／またはフレームメモリ２０２とを有している。
【００３０】
たとえば、動画像リアルタイム処理の場合、フレームメモリ２０２Ａおよびフィールドメモリ２０２Ｂが動き検出に用いられ、フレームメモリ２０２Ｃが動き適応補間に用いられる。また、たとえばハイビジョン信号をＮＴＳＣ信号に変換するための時間軸変換には別のフレームメモリ（図示せず）が用いられる。
【００４０】
【発明が解決しようとする課題】
このように、従来のディジタル画像処理回路は、要求される画像処理の種類が多いほど数多くのフィールドメモリまたはフレームメモリを必要とする。このことは、コストおよび装置規模において大きな不都合となる。一般のフィールドメモリおよびフレームメモリは１〜２Ｍビット容量のダイナミックＲＡＭであり、現在主流の１６Ｍビット、６４Ｍビット型ダイナミックＲＡＭと比較して記憶容量は格段に小さいものの、価格およびチップサイズの点では大して違わない。
【００５０】
一方、フィールドメモリおよび／またはフレームメモリの個数が多いほど、それに比例してディジタル信号処理回路２００側の端子ピンの本数が増え、ＩＣパッケージが大型化するという不都合もある。
【００６０】
また、このようなシステム構成では、多種多様なアプリケーションに対して適応性が乏しいという問題もある。たとえば、ＮＴＳＣ信号向けに１．５Ｍビット容量のフィールドメモリを用いてシステムを構築しても、ハイビジョン信号に対しては４Ｍビット程度のフィールドメモリが必要であるから、このシステムでは適応できないことになる。
【００７０】
また、これら多数のフィールドメモリおよび／またはフレームメモリは各々がディジタル信号処理回路２００内の特定機能の処理部と関連して用途が限定または特化しており、様々なアプリケーションに対して汎用性を持てないという不具合がある。
【００８０】
このため、従来は、ＮＴＳＣ信号、衛星放送、ハイビジョン信号、パソコン出力信号等の種々多様な映像信号に１台のテレビ受像機で対応しようとすると、映像信号の種類別の専用ディジタル信号処理回路およびフィールド／フレームメモリを全部内蔵しなくてはならず、非常に高価で大型な装置となっていた。
【００９０】
本発明は、かかる問題点に鑑みてなされたもので、小規模な回路構成で多種多様なアプリケーションに対応できる画像処理方法を提供することを目的とする。
【０１００】
また、本発明は、装置内の資源を有効利用し、高度な画像処理を効率よく行える画像処理方法を提供することを目的とする。
【０１１０】
【課題を解決するための手段】
上記の目的を達成するために、本発明の画像処理方法は、処理されるべき画像データを外部より取り込む入力部と、走査線上の画素に１対１の対応関係で割り当てられ、かつ共通の命令にしたがって同一の動作を行う複数個のプロセッシングエレメントを有し、画像データを走査線単位で入力、処理および出力するディジタル信号処理部と、一定のメモリ領域を有し、書き込み動作と読み出し動作が並列的かつ独立的に実行可能であり、画像データを走査線単位で入力および出力する画像メモリと、処理後の画像データを外部に出力する出力部と、前記入力部、前記ディジタル信号処理部、前記画像メモリおよび前記出力部を相互に接続するデータ・パス手段と、前記入力部、前記ディジタル信号処理部、前記画像メモリ、前記出力部および前記データ・パスを所望のプログラムデータにしたがって制御する制御手段とを有する画像処理装置によって画像データを処理する画像処理方法であって、１つの映像信号に対応する画像データを前記入力部に取り込むステップと、前記入力部より出力された画像データの前半部を第１の期間で前記ディジタル信号処理部に入力するステップと、前記入力部より出力された画像データを前記画像メモリに書き込んで、一定の遅延時間後に読み出すステップと、前記画像メモリより読み出された画像データの後半部を第２の期間で前記ディジタル信号処理部に入力するステップとを有する。
【０１２０】
本発明の画像処理方法において、好適な一態様として、前記ディジタル信号処理部より出力された画像データの前半部を画像メモリに書き込んで所定の遅延時間後に読み出すステップと、前記画像メモリより読み出された画像データの前半部を前記出力部より外部へ出力するステップと、前記ディジタル信号処理部より画像データの後半部を出力するステップと、前記ディジタル信号処理部より出力された画像データの後半部を前記画像データの前半部に繋げて前記出力部より外部へ出力するステップがさらに含まれる。
【０１３０】
さらに好ましくは、前記第１の期間中に前記ディジタル信号処理部に入力される画像データの前半部の後端部に、所定の画素数分だけ後半部の前端部とオーバーラップする第１のオーバーラップ部分を付加するステップと、前記第２の期間中に前記ディジタル信号処理部に入力される画像データの後半部の前端部に、所定の画素数分だけ前半部の後端部とオーバーラップする第２のオーバーラップ部分を付加するステップと、前記出力部より画像データを外部へ出力する段階で前記第１および第２のオーバーラップ部分を除去するステップも含まれる。
【０１４０】
好適な一態様によれば、前記画像処理装置において、前記画像メモリは、所定の記憶容量を有する少なくとも２つの入力バッファ部を含む複数の入力バッファを有し、各々の前記入力バッファにおいて、第１の入力バッファ部が画像データで満たされると、第２の入力バッファ部への入力画像データの書き込みが開始されるとともに、第１の入力バッファ部より画像データが読み出されて前記メモリ領域に書き込まれ、第２の入力バッファ部が画像データで満たされると、第１の入力バッファ部への入力画像データの書き込みが開始されるとともに、第２の入力バッファ部より画像データが読み出されて前記メモリ領域に書き込まれる。この場合、各々の前記入力バッファから前記メモリ領域に画像データが書き込まれるデータレートは各々の前記入力バッファに画像データが書き込まれるデータレートとは異なる速度に選ばれてよい。
【０１６０】
また、好適な一態様によれば、前記画像処理装置において、前記画像メモリは、所定の記憶容量を有する少なくとも２つの出力バッファ部を含む複数の出力バッファを有し、各々の前記出力バッファにおいて、第１の出力バッファ部の画像データが空になると、第２の出力バッファ部からの画像データの読み出しが開始されるとともに、前記メモリ領域より読み出された画像データが第１の出力バッファ部に書き込まれ、第２の出力バッファ部の画像データが空になると第１の出力バッファ部からの画像データの読み出しが開始されるとともに、前記メモリ領域より読み出された画像データが第２の出力バッファ部に書き込まれる。この場合、前記メモリ領域より各々の前記出力バッファへ画像データが書き込まれるデータレートは各々の前記出力バッファより画像データが読み出されるデータレートとは異なる速度に選ばれてよい。
【０１８０】
また、好適な一態様として、前記画像処理装置において、前記データパス手段は、前記入力部のデータ出力端子と前記ディジタル信号処理部のデータ入力端子とを電気的に接続するための第１のデータパス部と、前記入力部のデータ出力端子と前記画像メモリのデータ入力端子とを電気的に接続するための第２のデータパス部と、前記ディジタル信号処理部のデータ出力端子と前記画像メモリのデータ入力端子とを電気的に接続するための第３のデータパス部と、前記画像メモリのデータ出力端子と前記ディジタル信号処理部のデータ入力端子とを電気的に接続するための第４のデータパス部と、前記入力部のデータ出力端子と前記出力部のデータ入力端子とを電気的に接続するための第５のデータパス部と、前記ディジタル信号処理部のデータ出力端子と前記出力部のデータ入力端子とを電気的に接続するための第６のデータパス部と、前記画像メモリのデータ出力端子と前記出力部のデータ入力端子とを電気的に接続するための第７のデータパス部とを含む。
【０２００】
好適な一態様によれば、前記画像処理装置において、前記制御手段は、前記入力部、前記ディジタル信号処理部、前記画像メモリ、前記出力部および前記データ・パス手段のそれぞれの動作モードを規定するプログラムデータを保持するために各部に分散配置されたプログラムデータ保持手段と、所望のプログラムデータを外部より取り込んで各部の前記プログラムデータ保持手段に分配するプログラムデータ分配手段とを含む。
【０３３０】
【発明の実施の形態】
以下、図１〜図１９を参照して本発明の実施例を説明する。
【０３４０】
図１に、本発明の一実施例による画像処理プロセッサの回路構成を示す。
【０３４５】
この画像処理プロセッサは、処理されるべき画像データとしてディジタルの映像信号を外部より取り込む入力部４０と、画像データを走査線単位で入力、処理および出力するＳＶＰ(Scan-line Video Processor）１４と、画像データを走査線単位で書き込みおよび読み出す画像メモリ５０と、処理後の画像データを外部に出力する出力部７０と、これら入力部４０、ＳＶＰ１４、画像メモリ５０および出力部７０を相互に接続するデータ・パス７２とを有している。
【０３５０】
また、この画像処理プロセッサには、ＳＶＰ１４をＳＩＭＤ (Single-Instruction Multiple-Data)型のディジタル信号処理部として動作させるため、ＳＶＰ１４用のプログラムを保持するＲＡＭからなるプログラムメモリ１０と、このプログラムメモリ１０より命令を１つずつ取り出してこの命令に対応したマイクロ命令等の制御信号をＳＶＰ１４に与える命令発生回路（ＩＧ）１２とが設けられている。
【０３６０】
さらに、この画像処理プロセッサには、入力部４０、ＳＶＰ１４、画像メモリ５０、出力部７０およびＩＧ１２に所要のタイミング制御信号を供給するタイミング制御ユニット（ＴＣＵ）７４も設けられている。
【０３７０】
そして、この画像処理プロセッサ内の各部つまり入力部４０、ＳＩＭＤ型ディジタル信号処理部（１０，１２，１４）、画像メモリ５０、出力部７０およびＩＧ１２に分散配置されているプログラムデータ保持部（メモリ、レジスタ等）に内部バス８０を介して外部からのプログラムデータを分配するためのＲＯＭローダ７６およびＩ2 Ｃバス（Inter IC−BUS)インタフェース回路７８も含まれている。また、図示しないが、プロセッサ内の各部に所要のクロックを供給するためのたとえばＰＬＬ回路からなるクロック回路も含まれている。
【０３８０】
ここで、ＳＩＭＤ型ディジタル信号処理部のプログラムデータ保持部はプログラムメモリ１０である。また、Ｉ2 Ｃバス・インタフェース回路７８は、外部のコントローラ（図示せず）にＩ2 Ｃバス規格で接続されており、該コントローラよりたとえばシリアル伝送でプログラムデータを受信し、この受信したデータをパラレルデータに変換したうえで、指定された行先（プログラム保持部）にその分のプログラムデータ部分を転送する。
【０３９０】
ＲＯＭローダ７６は、外部のＲＯＭ（図示せず）に接続されており、Ｉ2 Ｃバス・インタフェース回路７８を介して外部のコントローラより所望のプログラム番号を受け取ると、このプログラム番号を割り付けられた所定のアプリケーション用のプログラムのデータをその外部ＲＯＭより読み出して各部のプログラムデータ保持部にロードする。ＲＯＭローダ７６は、外部ＲＯＭを伴うが、外部コントローラによりＩ2 Ｃバス・インタフェース回路７８を介して各部にプログラムデータを分配する方法よりも格段に短い所要時間でプログラムデータの分配を行えるという利点がある。
【０４００】
図２に、この画像処理プロセッサにおけるデータパスの具体的構成例を示す。図示のように、ＳＶＰ１４、画像メモリ５０および出力部７０の各入力端子の手前にマルチプレクサ８２，８４，８６が配置されている。
【０４１０】
この例において、入力部４０は、外部よりたとえば１６ビットのディジタル映像信号をこのプロセッサで処理すべき画像データＳＶとして最大２系統まで同時に取り込めるようになっている。ＳＶＰ１４は、最大３つまでのディジタル映像信号（以下画像データと称する。）を同時に入力するための入力ポートと、最大３つまでの画像データを同時に出力するための出力ポートとを有している。画像メモリ５０は、最大３つまでの画像データを同時に入力するための３つの入力ポートおよび入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC と、最大３つまでの画像データを同時に出力するための３つの出力ポートおよび出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC とを有している。
【０４２０】
入力部４０の２チャンネル分の出力ポートは、第１のマルチプレクサ８２の入力端子に接続されるとともに、第２のマルチプレクサ８４の入力端子に接続されている。ＳＶＰ１４の３チャンネル分の出力ポートのうち第１および第２の出力ポートが第２のマルチプレクサ８４の入力端子に接続されるとともに、第１および第３の出力端子が第３のマルチプレクサ８６の入力端子に接続されている。画像メモリ５０の３チャンネル分の出力ポートのうち、第１〜第３の出力ポートがマルチプレクサ８２の入力端子に接続されるとともに、第１および第２の出力ポートがマルチプレクサ８６の入力端子に接続されている。
【０４３０】
マルチプレクサ８２の出力からは、３チャンネル分の出力端子がＳＶＰ１４の入力ポートに接続されている。マルチプレクサ８４の出力からは、３チャンネル分の出力端子が画像メモリ５０の入力端子に接続されている。マルチプレクサ８６の出力側では、２チャンネル分の出力端子が出力部７０の入力ポートに接続されている。
【０４４０】
このデータパス構造において、ＳＶＰ１４と画像メモリ５０とは、マルチプレクサ８２，８４を介して互いに襷掛けの関係でそれぞれの入力ポートと出力ポートが接続されている。各マルチプレクサ８２，８４，８６の切換は、ＴＣＵ７４からのタイミング制御信号によって制御される。
【０４５０】
図３に、入力部４０の回路構成例を示す。この例では、２系統分の入力映像信号の輝度信号（Ｙ）、色信号（Ｃ）に対応して４つの入力部４０Ａ，４０Ｂ，４０Ｃ，４０Ｄが設けられている。各入力部には、バッファ４２、フィルタ４４、マルチプレクサ４６および設定値レジスタ４８が設けられている。入力画像データは、バッファ４２にいったん取り込まれてから、マルチプレクサ４６の切換位置にしたがって、直接マルチプレクサ４６を通って出力されるか、あるいはフィルタ４４でたとえば帯域制限のためのローパス・フィルタリング処理を受けてからマルチプレクサ４６を通って出力される。
【０４６０】
このようなマルチプレクサ４６の切換およびフィルタ４４のフィルタリング処理は、上記したようにＲＯＭローダ７６またはＩ2 Ｃバス・インタフェース回路７８より内部バス８０を経由してこの入力部の設定値レジスタ４８に設定入力（ロード）される設定値つまりプログラムデータＰＤとＴＣＵ７４からのタイミング制御信号ＴＣとによって制御される。
【０４７０】
図１および図２において、ＳＶＰ１４はデータ入力レジスタ（ＤＩＲ）１６、プロセッシング・エレメント部（処理部）１８およびデータ出力レジスタ（ＤＯＲ）２０の３層構造からなっている。
【０４８０】
図４に、ＳＶＰ１４の内部の構成例を示す。
【０４９０】
ＤＩＲ１６は、ＴＣＵ７４からのタイミング制御信号とクロック回路からのクロックとＩＧ１２からのアドレス（ADDRESS)とにしたがって動作し、最大３チャンネル分（たとえば４８ビット）までの画像データＤ1 〜ＤN を走査線単位で繰り返し入力する。
【０５００】
処理部１８は、１水平走査線上の画素数Ｎに等しい数（たとえば８６４個）のプロセッシングエレメントＰＥ1 〜ＰＥN を並列配置（接続）してなる。これらのプロセッシングエレメントＰＥ1 ，ＰＥ2 ，…ＰＥN は、ＩＧ１２からのアドレス（ADDRESS)およびマイクロ命令（MICROINSTRUCTION）とクロック回路からのクロックとにしたがって並列動作し、各々対応する画素データＤ1 ，Ｄ2 ，…ＤN について同一の画像処理演算を１水平走査期間内に実行する。
【０５１０】
ＤＯＲ２０は、ＴＣＵ７４からの制御信号とクロック回路からのクロックとＩＧ１２からのアドレス（ADDRESS)とにしたがって動作し、１水平走査期間毎にプロセッシングエレメントＰＥ1 〜ＰＥN からの演算処理結果のデータを最大３チャンネル分までの水平走査線１本の画像データＤ1'〜ＤN'に揃えて出力する。
【０５２０】
ＤＩＲ１６、処理部１８およびＤＯＲ２０にそれぞれ供給されるクロックは互いに非同期であってよい。また、ＤＩＲ１６から処理部１８へのデータ転送、および処理部１８からＤＯＲ２０へのデータ転送は、それぞれ水平ブランキング期間内に行われる。
【０５３０】
このように、ＤＩＲ１６、処理部１８およびＤＯＲ２０によりそれぞれ１水平走査線分のデータ入力、並列演算処理およびデータ出力がパイプライン方式で非同期かつ並列的に実行され、リアルタイムな画像処理が行われる。
【０５４０】
ここで、図４につきＳＶＰ１４の内部の作用を概略的に説明する。ＳＶＰ１４内の各部の動作は、上記したようにＩＧ１２からのアドレス（ADDRESS)およびマイクロ命令（MICROINSTRUCTION）やＴＣＵ７４からのタイミング制御信号、クロック回路からのクロック等によって制御される。
【０５５０】
図４において、ＤＩＲ１６は、１ライン分の入力画像データＶＳ（Ｄ1 〜ＤN ）を最大３チャンネル分まで取り込める記憶容量を有し、画素単位でブロック化されている。入力画像データＤ1 〜ＤN がＤＩＲ１６内を転送される途中、各画素データ…，ＤK-2,ＤK-1,ＤK,ＤK+1,ＤK+2,…は１個ずつ次々と引き落とされるようにしてＤＩＲ１６の各ブロック…，Ｋ−２，Ｋ−１，Ｋ，Ｋ＋１，Ｋ＋２，…のレジスタ群に取り込まれる。
【０５６０】
処理部１８の各プロセッシングエレメントＰＥK は、各々が所定の容量（たとえば１７６ビット）を有する一対のレジスタ・ファイルＲＦ0,ＲＦ1 と、１個の１ビット演算論理ユニット（ＡＬＵ）２４と、複数個（たとえば４個）のワーキング・レジスタＷＲｓ（Ｍ，Ａ，Ｂ，Ｃ）２６と、左右隣の複数個（たとえば左右各４個）のプロセッシングエレメント（ＰＥK-4,ＰＥK-3,ＰＥK-2,ＰＥK-1 ，ＰＥK+1,ＰＥK+2,ＰＥK+3,ＰＥK+4 ）とデータをやりとりするＬ／Ｒ（左右）通信部（ＬＲＣＯＭ）２８とを有している。
【０５７０】
一方のレジスタ・ファイルＲＦ0 はＤＩＲ１６の対応するブロックのレジスタ群に接続され、他方のレジスタ・ファイルＲＦ1 はＤＯＲ２０の対応するブロックのレジスタ群に接続されている。レジスタ・ファイルＲＦ0,ＲＦ1 の片方または双方から読み出された１ビットのデータは、ワーキング・レジスタ（Ｍ，Ａ，Ｂ，Ｃ）のいずれかに与えられるとともに、Ｌ／Ｒ通信部２８のマルチプレクサ３０およびラッチ回路３２を介して隣接する左右各４個のプロセッサ・エレメント（ＰＥK-4,ＰＥK-3,ＰＥK-2,ＰＥK-1 ，ＰＥK+1,ＰＥK+2,ＰＥK+3,ＰＥK+4 ）へ送られる。
【０５８０】
これと同時に、それら隣の各プロセッサ・エレメント（ＰＥK-4,ＰＥK-3,ＰＥK-2,ＰＥK-1 ，ＰＥK+1,ＰＥK+2,ＰＥK+3,ＰＥK+4 ）からのデータも当該プロセッサ・エレメントＰＥK のＬ／Ｒ通信部２８のマルチプレクサ３４，３６に送られてきて、それらのデータの中のいずれか１つが選択されてワーキング・レジスタ（Ｍ，Ａ，Ｂ，Ｃ）のいずれかに入力される。図４では、左隣のプロセッサ・エレメント（ＰＥK-4,ＰＥK-3,ＰＥK-2,ＰＥK-1 ）からのデータの中のいずれか１つが選択され、ワーキング・レジスタ（Ａ）に入力されたことを示している。
【０５９０】
ＡＬＵ２４は、ワーキング・レジスタ（Ｍ，Ａ，Ｂ，Ｃ）より与えられるデータについて所要の演算を実行し、その演算結果を出力する。ＡＬＵ２４の演算結果のデータは、レジスタ・ファイルＲＦ0,ＲＦ1 のいずれかに書き込まれる。概して、各水平走査期間における最後の演算結果のデータは最終演算処理結果の画素データＤK'として出力側のレジスタ・ファイルＲＦに書き込まれ、直後の水平ブランキング期間中にこのレジスタ・ファイルＲＦからＤＯＲ２０の対応するブロックのレジスタに移される。
【０６００】
ＤＯＲ２０は、出力画像データＤ1'〜ＤN'のチャンネル数、ビット数および画素数に等しい容量を有し、画素単位でブロック化されている。各ブロック毎に処理部１８よりＤＯＲ２０に送られてきた演算処理結果の画素データＶＳ’（Ｄ1'〜ＤN'）は１水平走査期間をかけて左端の画素データＤ1'を先頭に後続の画素データＤ2', Ｄ3', …が数珠繋ぎに続くように順にＤＯＲ２０の各ブロックから送出される。
【０６１０】
なお、処理部１８は、レジスタ・ファイルＲＦ0,ＲＦ1 に１ないし２ライン分の画像データを蓄積することが可能であり、これによってラインメモリの機能も実現可能となっている。また、処理部１８は、１水平走査期間中に複数チャンネルの画像データについて時分割的に各個別の処理を実行することも可能である。
【０６２０】
図５に、画像メモリ５０の具体的構成例を示す。この画像メモリ５０は、画像データを一時的に記憶する高速メモリとしてたとえばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory) ５２を用いる。このＳＤＲＡＭ５２は、たとえば１６Ｍビット程度の記憶容量を有し、連続したアドレス空間にメモリ領域がマッピングされている。メモリアクセス時に、このＳＤＲＡＭ５２にはメモリアドレスおよび制御信号（ＲＡＳ，ＣＡＳ）に加えて高速クロックＣＫも供給され、ＳＤＲＡＭ５２はこのクロックＣＫのタイミングでデータのストローブを行うようになっている。
【０６３０】
この画像メモリ５０において、ＳＤＲＡＭ５２以外の部分はインタフェース部（ＳＤＲＡＭインタフェース）を構成する。
【０６４０】
各々の入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC および各々の出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC には、各バッファ内の書き込みアドレス（位置）を指示するポインティング情報を与えるライト（Ｗ）ポインタ・レジスタ５４，５８と、バッファ内の読み出しアドレス（位置）を指示するポインティング情報を与えるリード（Ｒ）ポインタ・レジスタ５６，６０とが併設されている。入力側の各リードポインタ・レジスタ５６は、ＳＤＲＡＭアクセス用の書き込みアドレス発生機能も備える。出力側の各ライトポインタ・レジスタ５８は、ＳＤＲＡＭアクセス用の読み出しアドレス発生機能も備える。
【０６５０】
各入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC の出力端子は、ＳＤＲＡＭ５２のデータ入力端子に接続されている。入力側の各リードポインタ・レジスタ５６で発生されたＳＤＲＡＭアドレスは、マルチプレクサ６２を介してＳＤＲＡＭ５２のアドレス端子に与えられる。出力側の各ライトポインタ・レジスタ５８で発生されたＳＤＲＡＭアドレスは、マルチプレクサ６４，６２を介してＳＤＲＡＭ５２のアドレス端子に与えられる。
【０６６０】
制御部６６は、この画像メモリ５０の動作モードを規定するプログラムデータをＲＯＭローダ７６よりまたは外部コントローラよりＩ2 Ｃインタフェース回路７８を介して受け取って保持する設定値レジスタを含んでいる。制御部６６は、このレジスタに設定入力されたプログラムデータとＴＣＵ７４からの各種タイミング制御信号とにしたがって入力および出力側の各バッファおよびポインタ・レジスタの動作、マルチプレクサ６２，６４の切換およびＳＤＲＡＭ５２に対するメモリアクセスを制御する。
【０６７０】
この画像メモリ５０において、各入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC は、たとえば１画素分の画像データを１６ビットとして画素１２８個分の記憶容量を有し、この記憶容量を第１および第２の入力バッファ部に２分割している。
【０６８０】
図６につき、各入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC における書き込み／読み出しの動作を説明する。先ず、第１（左側）の入力バッファ部に先頭アドレスから順に書き込む（図６の(A) ）。ライトポインタＰW は入力画像データＶＳに同期したクロックにしたがってインクリメントする。
【０６９０】
第１の入力バッファ部が入力画像データで満たされると、ライトポインタＰW は空になっている第２（右側）の入力バッファ部の先頭アドレスを指し、この第２の入力バッファ部への入力画像データの書き込みが開始されると同時に、リードポインタＰR が第１の入力バッファ部の先頭アドレスを指し、第１の入力バッファ部からの入力画像データの読み出しが開始される（図６の(B) ）。
【０７００】
入力バッファより読み出された画像データは、ＳＤＲＡＭのデータ入力端子に供給される。一方、リードポインタ・レジスタ５６のアドレス発生機能により発生されるメモリアドレスは、ＳＤＲＡＭのデータ端子への画像データの出力と同時にマルチプレクサ６２を介してＳＤＲＡＭ５２のアドレス端子に供給されるとともに、リードポインタＰR のインクリメントと一緒にアドレス値をインクリメントする。制御部６６は、各入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC の読み出し動作をアービトレーション機能によって選択的にアクティブにする。
【０７１０】
リードポインタＰR は、ＳＤＲＡＭ５２用のデータ書き込みクロックに同期している。通常の画像データの伝送速度は１０ＭＨｚであるのに対し、ＳＤＲＡＭの動作クロックＣＫはその数倍以上たとえば８０ＭＨｚである。したがって、各入力バッファにおいては、リードポインタＰR がライトポインタＰW の数倍以上の速度でインクリメントし、読み出しは書き込みの数倍以上のデータレートで行われる（図６の(C) ）。
【０７２０】
したがって、第２の入力バッファ部への書き込みが終了する以前に、第１の入力バッファ部からの読み出しが終了し、リードポインタＰR は境界位置でそのまま待機する（図６の(D) ）。そして、第２の入力バッファ部への書き込みが終了したなら（図６の(E) ）、リードポインタＰR は第２の入力バッファ部の先頭アドレスを指示し、第２の入力バッファ部からの読み出しを開始する。一方、ライトポインタＰW は空の状態（画像データが全部読み出された状態）になっている第１の入力バッファ部の先頭位置に戻り、第１の入力バッファ部への書き込みを再開する。以後、上記の動作を繰り返す。
【０７３０】
なお、リードポインタＰR はデータで満たされた入力バッファのデータを全て読み出せればよく、読み出し順はライトポインタＰW と必ずしも同じでなくてもよい。この場合、後述する出力バッファにおけるライトポイントＰW の書き込み順は、入力バッファにおけるリードポインタＰR の読み出し順にしたがう。
【０７４０】
この画像メモリ５０では、各出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC も、たとえば画素１２８個分の記憶容量を有し、この記憶容量を第１および第２の出力バッファ部に２分割している。
【０７５０】
図７につき、各出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC における書き込み／読み出しの動作を説明する。出力バッファの動作も、基本的には上記した入力バッファの動作と同じである。
【０７６０】
先ず、第１（左側）の出力バッファ部に先頭アドレスから順に書き込む（図７の(A) ）。ここで、書き込まれるデータはＳＤＲＡＭ５２より読み出された画像データであり、ライトポインタＰW はＳＤＲＡＭ５２用の高速クロックＣＫに同期してインクリメントする。
【０７７０】
また、ライトポインタ・レジスタ５８のアドレス発生機能により発生されるメモリアドレスは、ＳＤＲＡＭ５２の読み出しクロックに同期してマルチプレクサ６４，６２を介してＳＤＲＡＭ５２のアドレス端子に供給されると同時にそのアドレス値をインクリメントする。
【０７８０】
制御部６６は、各出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC の書き込み動作をアービトレーション機能によって選択的にアクティブにする。また、制御部６６は、これら出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC の書き込み動作と上記したような各入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC の読み出し動作との間でもアービトレーションを行う。
【０７９０】
第１の出力バッファ部が出力画像データで満たされると、ライトポインタＰW は終端位置でそのまま待機する。出力バッファの読み出しが開始されると、先ずリードポインタＰR が第１の出力バッファ部の先頭アドレスを指し、第１の出力バッファ部からの出力画像データの読み出しが行われる（図７の(B) ）。また、これと同時に、第２の出力バッファ部への出力画像データの書き込みが開始される。リードポインタＰR は、制御部６６で設定または選択された画像データの伝送レートに対応したクロックに同期してインクリメントする。もっとも、ライトポインタＰW よりは遅い。
【０８００】
したがって、第１の出力バッファ部からの読み出しが終了する以前に、第２の出力バッファ部への書き込みが終了し、ライトポイントＰW は終端位置でそのまま待機する（図７の(C),(D) ）。
【０８１０】
そして、第１の出力バッファ部からの読み出しが終了すると（図７の(E) ）、リードポインタＰR は第２の出力バッファ部の先頭アドレスを指示し、第２の出力バッファ部からの読み出しを開始する。一方、ライトポインタＰW はこの時点で第１の出力バッファ部の先頭位置に戻り、第１の出力バッファ部への書き込みを再開する。以後、上記の動作を繰り返す。
【０８２０】
上記したように、本実施例の画像メモリ５０では、複数のチャンネル分の画像データがそれぞれ複数の入力ポートないし入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC に同期または非同期で並列的に入力可能であり、複数のチャンネル分の画像データがそれぞれ複数の出力ポートないし出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC より同期または非同期で並列的に出力可能である。
【０８３０】
メモリ５０内では、単一のインタフェース部、特に制御部６６により、共通のＳＤＲＡＭ５２と各入力バッファＳＤＩA ，ＳＤＩB ，ＳＤＩC および各出力バッファＳＤＯA ，ＳＤＯB ，ＳＤＯC との間での画像データのやりとりを高速クロックＣＫに同期して一元管理で効率的に制御することができる。
【０８４０】
また、この画像処理プロセッサは１個の半導体チップ上に構築可能であり、ＳＤＲＡＭ５２を外付けする場合でも、端子ピンの本数が少なくて済み、デバイスの小型化をはかれる。
【０８５０】
そして、複数の入出力ポートと相まって、複数のライトポインタおよびリードポインタを備え、それらポインタ相互間の関係をプログラマブルに設定可能であり、多種多様なメモリ機能を実現することができる。
【０８６０】
たとえば、図８に示すように、１チャンネル分の画像データを１つの入力バッファたとえばＳＤＩA を介してＳＤＲＡＭ５２に書き込んでいき、このＳＤＲＡＭ５２に書き込んだ画像データを所定の遅延量だけ時間をずらして第１および第２の出力バッファＳＤＯA ，ＳＤＯB を介して並列的に読み出すことで、たとえば１フィールド遅れの画像データと２フィールド遅れの画像データとを同時に得ることが可能である。
【０８７０】
図８において、ＳＤＲＡＭ５２に対するライトアドレス（ポインタ）ＡＷは入力バッファにおけるリードポインタＰR に対応し、２個のリードアドレス（ポインタ）ＡＲa ，ＡＲb は出力バッファＳＤＯA ，ＳＤＯB におけるライトポインタＰW に対応する。
【０８８０】
本実施例では画像メモリ５０にＳＤＲＡＭ５２を使用するが、これと同等のメモリ機能を有するものであれば他のメモリでもよく、たとえばランバス社仕様のランバスメモリも使用可能である。また、画像メモリ５０を複数個のメモリチップで構成することも可能である。
【０８９０】
図９に、ＴＣＵ７４の具体的構成例を示す。このＴＣＵ７４は、主制御部（ＭＣ）、垂直タイミング発生部（ＶＴＧ）および水平タイミング発生部（ＨＴＧ）を有し、入力部４０に入力される映像信号（画像データＶＳ）より抽出された垂直同期信号、水平同期信号および画素クロックに応動して装置内の各部つまり入力部４０、ＳＩＭＤ型ディジタル信号処理部（１０，１２，１４）、画像メモリ５０、出力部７０およびデータパス７２（マルチプレクサ８２，８４，８６）等に所要のタイミング制御信号ＴＣを供給する。
【０９００】
主制御部ＭＣは、プログラムカウンタ、プログラムメモリ、制御ロジック等からなり、垂直同期信号に応動してフレームベースのタイミング制御信号ＴＣMCを生成するとともに、内部の垂直タイミング発生部ＶＴＧおよび水平タイミング発生部ＨＴＧを制御する。垂直タイミング発生部ＶＴＧは、シーケンスメモリＶＳＭおよびループメモリＶＬＭ等を有し、水平同期信号に応動してラインベースのタイミング制御信号ＴＣVTG および内部制御信号を生成する。水平タイミング発生部ＨＴＧは、シーケンスメモリＨＳＭおよびループメモリＨＬＭ等を有し、画素クロックに応動して画素ベースのタイミング制御信号ＴＣHTG を生成する。
【０９１０】
主制御部ＭＣ、垂直タイミング発生部ＶＴＧおよび水平タイミング発生部ＨＴＧのプログラムメモリ、シーケンスメモリ等の各種メモリには、ＲＯＭローダ７６またはＩ2 Ｃインタフェース回路７８より内部バスを介して与えられる各種プログラムデータが格納される。
【０９２０】
出力部７０は、出力バッファと、出力画像データにブランキング信号を挿入する回路等から構成されている。この出力部７０の機能も、ＲＯＭローダ７６またはＩ2 Ｃインタフェース回路７８より内部バスを介して与えられるプログラムデータとＴＣＵ７４からのタイミング制御信号ＴＣとにしたがって制御される。
【０９３０】
次に、本実施例の画像処理プロセッサの全体の作用を説明する。
【０９４０】
図１０に、一例として、この画像処理プロセッサにより動画像リアルタイム処理を行う場合の機能ブロックを示す。
【０９５０】
この動画像リアルタイム処理システムにおいて、入力段の２つのフィールドメモリ９０，９２は１つのフレームメモリを構成する。減算器９４で入力画像データＶＳとフィールドメモリ９２より出力される画像データとの差分△をとり、この差分△を絶対値回路（ＡＢＳ）９６および非線形化回路９８に通すことで、各画素について現在の画面と１フレーム前の画面との間の変化の度合いを表す信号△Ｓが得られる。
【０９６０】
次に、この信号△Ｓをラインメモリ１００と加算器１０２とからなる二次元方向の平均化回路およびフィールドメモリ１０４と加算器１０８とからなる時間軸方向の平均化回路に通すことにより、３次元のローバス・フィルタリングをかけて、ノイズを除去し、動き検出信号Ｋ（０≦Ｋ≦１）を得る。
【０９７０】
一方、入力画像データＶＳをラインメモリ１１０と加算器１１２とからなる垂直方向の平均化回路に通すことにより動画処理を行う。この動画処理部１１４の後段には、乗算器１１６，１１８、係数変換器１２０、加算器１２２からなる動き補償用の混合回路１２４が設けられている。
【０９８０】
動き検出信号Ｋが１のときは動き検出量が最大であり、動画処理部１１４からの画像データがそのまま乗算器１１６および加算器１２２を抜けて出力される。この時、フィールドメモリ９０からの１フィールド遅れの画像データは乗算器１１８で阻止される。
【０９９０】
反対に、動き検出信号Ｋが０のときは、動き検出量が最小であり、動画処理部１１４からの画像データは乗算器１１６で阻止され、フィールドメモリ９０からの１フィールド遅れの画像データが静画処理を受けた画像データとして乗算器１１８および加算器１２２を抜けて出力される。
【１０００】
動き検出信号Ｋが０と１の間の値のときは、その値に応じた重み付けで動画処理部１１４からの画像データとフィールドメモリ９０からの１フィールド遅れの画像データとが混合され、平均化された画像データが出力される。
【１０１０】
上記のような動画像リアルタイム処理システムを実現するために、この画像処理プロセッサでは各部で以下のような処理または動作が行われる。
【１０２０】
先ず、入力段のフィールドメモリ９０，９２の機能は、上記したような図８に示す制御により画像メモリ５０において実現される。ここで、フィールドメモリ９０への入力は、たとえば第１の入力バッファＳＤＩA を介して行い、フィールドメモリ９０，９２からの出力は第１および第２の出力バッファＳＤＯA ，ＳＤＯB を介して行う。
【１０３０】
減算器９４，絶対値回路９６および非線形化回路９８の各処理は、ＳＭＩＤ型ディジタル信号処理部（１０，１２，１４）によって実行される。この場合、ＳＶＰ１４は、入力部４０からの入力画像データに画像メモリ５０（フレームメモリ９２）からの１フレーム遅れの画像データを同期させて両画像データを１ライン単位で同時にＤＩＲ１６に取り込む。ここで、入力部４０からの入力画像データに画像メモリ５０からの１フレーム遅れの画像データを同期させるには、画像メモリ５０における出力バッファＳＤＯの読み出しのタイミングを入力画像データに合わせればよい。
【１０４０】
ＳＶＰ１４は、１ライン分の画像データをＤＩＲ１６に取り込んだ後、次の水平走査期間中に上記各部（９４，９６，９８，１００，１０２，１０８）の処理を全部実行し、次の水平走査期間で処理結果のデータつまり動き検出信号ＫのデータをいったんＤＯＲ２０の１つの出力ポートより出力する。
【１０５０】
３次元ローパス・フィルタ部では、フィールドメモリ１０４が画像メモリ５０によって実現される。したがって、上記のようにしてＳＶＰ１４より出力された動き検出信号Ｋのデータを、画像メモリ５０の第３の入力バッファＳＤＩC を介してＳＤＲＡＭ５２に書き込み、１フィールド遅れでＳＤＲＡＭ５２より第３の出力バッファＳＤＯC を介して読み出し、ＳＶＰ１４のＤＩＲ１６に入力する。
【１０６０】
一方、動画処理部１１４および混合回路１２４内の各部の処理も、上記ローパス・フィルタ部の処理と同じ水平走査期間内でＳＶＰ１４により実行される。この場合、ＳＶＰ１４は、画像メモリ５０の第１の出力ポートからの１フィールド遅れの画像データをＤＩＲ１６の第３の入力ポートに受け取る。そして、処理結果の画像データＶＳ’をＤＯＲ２０の他の１つの出力ポートより出力して出力部７０側に送出する。
【１０７０】
このように、この画像処理プロセッサでは、主にＳＶＰ１４と画像メモリ５０との間で１つまたは複数チャンネル分の画像データその他の中間データをデータパス７２を介して何度か受け渡しながら、ＳＶＰ１４がプロクラムメモリ１０内のプログラムにしたがって所要の処理を行うことで、動画像リアルタイム処理システムを実現することができる。
【１０８０】
なお、画像メモリ５０の入力ポート（入力バッファ）および出力ポート（出力バッファ）の個数を増やすことで、フィールドメモリまたはフレームメモリ機能の数を増やすことができる。したがって、たとえば上記動画像リアルタイム処理システムにおいて、混合回路１２４より出力された画像データをフィールドメモリからなるローパス・フィルタに通すことで、ノイズリダクション処理を付加することもできる。
【１０９０】
あるいは、ＳＶＰ１４と画像メモリ５０における入力／出力のデータレートを高速化し、１単位期間（たとえば水平走査期間）内に１個のポートで複数系統または複数チャンネル分の画像データまたは中間データを時分割方式で入力／出力させることも可能である。
【１１００】
上記した動画像リアルタイム処理は一例にすぎず、この画像処理プロセッサは外部より設定入力されるプログラムに応じて種々多様な画像処理を実現することができる。以下に、幾つかの例を説明する。
【１１１０】
図１１は、画面を左右に２分割して異なる系統またはチャンネルの画像を同時に表示するための画像メモリ５０内のポインティング制御を示す。この例では、ＳＤＲＡＭ５２に第１のライトポインタＡＷa を用いて第１のチャンネルの画像データを各ラインの左半分に圧縮して書き込むと同時に、第２のライトポインタＡＷb を用いて第２のチャンネルの画像データを各ラインの右半分に圧縮して書き込む。両画像データの書き込みは非同期に行われてよいが、各フィールドの先頭書き込み位置を一致させる。
【１１２０】
一方、そのようにしてＳＤＲＡＭ５２に書き込んだ画像データを所定の時間遅れでたとえば第１のリードポインタＡＲa を用いて１ライン単位で読み出す。この読み出した画像データをディスプレイに送って画面表示を行うと、画面の左半分に第１のチャンネルの画像が、画面の右半分に第２のチャンネルの画像がそれぞれ映し出される。親子画面も同様の要領で実現できる。
【１１３０】
なお、図１１に示すように、上記のような２画面表示処理と並行して、画像メモリ５０の他のポートおよびメモリ領域を利用し、他の１組のライト・リードポインタ（ＡＷc ，ＡＲc ）を用いて、任意のメモリ機能たとえばフィールドまたはフレームメモリ機能を奏することも可能である。
【１１４０】
画像メモリ５０において、上記のような１組または複数組のポインティング操作を行う場合、各組毎に所定量のメモリ領域を割り当て、その領域内でループ状に各ポインタを回してよい。これにより、ＳＤＲＡＭ５２のメモリ領域に多数の独立したメモリ領域を設定することができる。
【１１５０】
別の応用として、画像メモリ５０に画像データを書き込む場合、一部の画素または走査線についてのみ選択的に書き込むことにより、画像の画素数および走査線数を削減することができる。この場合、画像メモリ５０より読み出される画像データのデータレートと書き込み時のデータレートとを同じ値に選ぶ条件で、図１２に示すように縮小画面を作成することができる。
【１１６０】
このような間引き処理を行う場合は、画像データを先ずＳＶＰ１４に入力し、そこでローパス・フィルタリング処理を施してから、画像メモリ５０に上記の方法で書き込むほうが、画像の絵柄の再現性を維持する点で好ましい。
【１１７０】
あるいは、画像メモリ５０より画像データを読み出す場合、図１３に示すように各画素または各走査線につき読み出しクロックＣＬに対して断続的に読み出すことにより、図１４に示すように各画素または各走査線間の間隔を拡げることができる。この場合、画像メモリ５０より読み出された画像データをＳＶＰ１４に入力し、そこで水平および垂直補間処理を行って、上記断続的読み出しでスキップした位置の画素または走査線について図１４の点線部分で示すように画像データを追加または挿入してもよい。
【１１８０】
図１５に示すように、互いに同期していない２系統の画像データＶＳ1 ，ＶＳ2 をそれぞれＳＶＰ１４および画像メモリ５０に入力し、両画像データＶＳ1 ，ＶＳ2 の同期信号以外の同期信号たとえば表示装置１３０側の同期信号に同期させて画像メモリ５０より両画像データＶＳ1 ，ＶＳ2 を読み出すことが可能である。この場合、両画像データＶＳ1 ，ＶＳ2 を図１１に示すような２画面合成の画像データとして読み出してもよい。
【１１９０】
また、この画像処理プロセッサにおいて、入力画像データＶＳの１ライン分の画素数ｎがＳＶＰ１４内で一時に処理できる１ライン分の画像数つまりプロセッシング・エレメントＰＥの個数Ｎ（８６４）よりもはるかに多い場合（たとえばｎ＝１６００の場合）は、図１６および図１７に示すような方法によって対処することができる。
【１２００】
概念的には、図１６に示すように、入力画像データＶＳを前半部ＶＳi と後半部ＶＳj に２分割してその間に適当な（たとえば１００画素分の）時間的隙間ｔd を空け、前半部ＶＳi および後半部ＶＳj の画像データをそれぞれ１ライン当たりｎ／２個（８００個）の画素を有する画像データとしてＳＶＰ１４のＤＩＲ１６に順次入力する。
【１２１０】
ＳＶＰ１４内の処理部１８は、前半部ＶＳi および後半部ＶＳj の画像データにそれぞれ別個の処理期間を割り当てて同じ処理を繰り返し実行する。ＤＯＲ２０は、処理の済んだものを逐次出力する。
【１２２０】
ここで、前半部ＶＳi の画像データは上記隙間に相当する時間だけ遅延させ、後半部ＶＳj の画像データはそのまま（遅延無しで）出力部７０の同一ポートより出力する。これにより、前半部ＶＳi の画像データの後端に後半部ＶＳj の画像データの前端が接続し、元の入力画像データＶＳと同じ１ライン当たりの画像数ｎ（１６００個）を有する処理済みの画像データが得られることになる。
【１２３０】
このように、１ライン分の画素数ｎが非常に多い高精細な画像データについては１ラインを２分割することで対処できる。
【１２４０】
上記の一連の処理の中で、入力画像データＶＳを前半部ＶＳi と後半部ＶＳj とに２分割してその間に時間的な隙間ｔd を空ける処理には、図１７に示すように遅延線としての画像メモリ５０とマルチプレクサ８２とが用いられる。
【１２５０】
すなわち、入力部４０からの入力画像データＶＳは、マルチプレクサ８２の第１の入力端子に直接与えるとともに、画像メモリ５０に入力される。そして、画像メモリ５０の１つの出力ポートより入力画像データＶＳに対して一定時間ｔd に相当する時間だけ遅れた遅延画像データＶＳｄが出力されて、マルチプレクサ８２の第２の入力端子に与えられる。
【１２６０】
マルチプレクサ８２は、ＴＣＵ７４からのタイミング制御ＴＣM にしたがい、入力画像データＶＳの先端のタイミングより一定時間だけ第１の入力端子側に切り換わり、その後一定の遮断時間を挟んで第２の入力端子側に切り換わる。これにより、入力画像データＶＳは所定の時間的隙間ｔd を挟んで前半部ＶＳi と後半部ＶＳj とに２分割されてＳＶＰ１４に入力される。
【１２７０】
なお、前半部ＶＳi と後半部ＶＳj との間に適当な時間的隙間ｔd を空けることで、ＳＶＰ１４内で前半部ＶＳi の後端部分と後半部ＶＳj の前端部分との干渉または衝突を避け、データの破壊を防止することができる。
【１２８０】
この隙間ｔd を適当な長さに確保したうえで、図１７に示すように、前半部ＶＳi の後端部に所定の画素数（たとえば１０画素分）だけ後半部ＶＳj の前端部とオーバーラップする部分δを付加するとともに、後半部ＶＳj の前端部に所定の画素数（たとえば１０画素分）だけ前半部ＶＳi の後端部とオーバーラップする部分δを付加するのが好ましい。このようなオーバーラップ部分もＳＶＰ１４に入力されることで、ＳＶＰ１４内の処理部１８は前半部ＶＳi の後端部および後端部ＶＳj の前端部についても中間部と同様に高精度な処理を施すことが可能となる。
【１２９０】
なお、最後の出力処理で、前半部ＶＳi の後端に後半部ＶＳj の前端を接続させる処理には、図１７に示すものと同様に遅延線としての画像メモリ５０とマルチプレサ８６とが用いられる。
【１３００】
また、本実施例の画像処理プロセッサでは、上記したようなＳＶＰ１４または画像メモリ５０における間引き機能を用いて画像データを情報圧縮することができる。この場合、先ず入力部４０で入力画像データにローパスフィルタリング処理を施してからＳＶＰ１４または画像メモリ５０に入力することで、情報圧縮に起因する折り返し歪み等の画質劣化を避けることができる。
【１３１０】
図１８は、本実施例による画像処理プロセッサを適用したテレビジョン受像機内の要部の回路構成例を示す。
【１３２０】
この受像機は、本実施例の画像処理プロセッサを内蔵することで、パソコンからのモニタ出力信号ＰＣ、ＶＴＲ等からのベースバンド信号ＢＢ、ハイビジョン信号ＭＵＳＥ、ＮＴＳＣ信号等の種々の映像信号に対応することができる。たとえば、ＮＴＳＣ信号を画面に表示すると同時に他の任意の映像信号をＶＴＲ等に記録するモード、ハイビジョン信号ＭＵＳＥとＮＴＳＣ信号を合成して画面に表示するモード等の様々なモードを設定しておき、各モードが選択された時に上記のようなダウンロード方法で所定のプロクラムデータを本プロセッサ内の各部にロードすればよい。
【１３３０】
図１９は、本実施例による画像処理プロセッサを適用した別のテレビジョン受像機内の要部の回路構成例を示す。
【１３４０】
この受像機は、米国規格のＡＴＶ（アドパンスドＴＶ）デコーダを内蔵しており、このＡＴＶデコーダでたとえば１８種類のディスプレイフォーマット（４８０ライン×６４０画素、６００ライン×８００画素、７６８ライン×１０２４画素、……）のいずれかで送信されてくる入力映像信号をデコードすることができる。
【１３５０】
ただし、このＡＴＶデコーダより１８種類のディスプレイフォーマットのいずれかで再生映像信号が出力されても、この受像機に備え付けの表示装置（たとえばＣＲＴ、ＬＣＤ、プラズマディスプレイ等）は１種類のフォーマット（たとえば７６８ライン×１０２４画素）でしか画像データを画面表示することができない。
【１３６０】
ここで、本実施例による画像処理プロセッサは、ＡＴＶデコーダからの再生映像信号を表示装置側のディスプレイフォーマットに変換したうえで表示装置に与えることができる。
【１３７０】
【発明の効果】
以上説明したように、本発明の画像処理方法によれば、処理されるべき画像データを外部より取り込む入力部と、ＳＩＭＤ型のディジタル信号処理部と、書き込み動作／読み出し動作を並列的かつ独立的に実行できる画像メモリとをデータパスを介して相互に接続し、装置内の各部をプログラマブルに動作させ、１つの映像信号に対応する画像データを上記入力部に取り込むステップと、上記入力部より出力された画像データの前半部を第１の期間でディジタル信号処理部に入力するステップと、上記入力部より出力された画像データを上記画像メモリに書き込んで、一定の遅延時間後に読み出すステップと、上記画像メモリより読み出された画像データの後半部を第２の期間で上記ディジタル信号処理部に入力するステップとを有することにより、小規模な回路構成で多種多様なアプリケーションに対応できるとともに、装置内の資源を有効利用し、高度な画像処理を効率よく行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施例による画像処理プロセッサの全体の回路構成を示すブロック図である。
【図２】実施例の画像処理プロセッサにおけるデータパスの構成例を示すブロック図である。
【図３】実施例の画像処理プロセッサにおける入力部の回路構成例を示すブロック図である。
【図４】実施例の画像処理プロセッサにおけるＳＶＰの構成例を模式的に示すブロック図である。
【図５】実施例の画像処理プロセッサにおける画像メモリの構成例を模式的に示すブロック図である。
【図６】実施例の画像メモリにおける入力バッファの書き込み／読み出し動作の仕組みを説明するための図である。
【図７】実施例の画像メモリにおける出力バッファの書き込み／読み出し動作の仕組みを説明するための図である。
【図８】実施例の画像メモリにおけるポインタ制御の一例を示す図である。
【図９】実施例の画像処理プロセッサにおけるタイミング制御ユニットの構成例を示すブロック図である。
【図１０】実施例の画像処理プロセッサで実現可能な動画像リアルタイム処理システムの機能的構成を示すブロック図である。
【図１１】実施例の画像メモリにおけるポインタ制御の別の例を示す図である。
【図１２】実施例の画像処理プロセッサにおける１つの画像処理方法によって得られる画素バターンの一例を示す図である。
【図１３】実施例の画像処理プロセッサにおける別の画像処理方法を説明するためのタイミング図である。
【図１４】図１３の方法によって得られる画素パターンの一例を示す図である。
【図１５】実施例の画像処理プロセッサにおける１つの応用例を示すブロック図である。
【図１６】実施例の画像処理プロセッサにおける他の画像処理方法を説明するためのタイミング図である。
【図１７】図１６の方法を実現するための手段および作用を示す図である。
【図１８】実施例の画像処理プロセッサを適用したテレビジョン受像機の要部の構成を示すブロック図である。
【図１９】実施例の画像処理プロセッサを適用した別のテレビジョン受像機の要部の構成を示すブロック図である。
【図２０】従来の画像処理装置の構成例を示すブロック図である。
【符号の説明】
１０ プログラムメモリ
１２ 命令発生回路（ＩＧ）
１４ ＳＶＰ
１６ データ入力レジスタ（ＤＩＲ）
１８ プロセッシング・エレメント部（処理部）
２０ データ出力レジスタ（ＤＩＲ）
４０ 入力部
５０ 画像メモリ
５２ ＳＤＲＡＭ
６２，６４ マルチプレクサ
６６ 制御部
７０ 出力部
７２ データパス
７４ タイミング制御ユニット（ＴＣＵ）
７６ ＲＯＭローダ
７８ Ｉ2 Ｃバス・インタフェース回路
８０ 内部バス
８２，８４，８６ マルチプレクサ
Claims (3)
- 処理されるべき画像データを外部より取り込む入力部と、走査線上の画素に１対１の対応関係で割り当てられ、かつ共通の命令にしたがって同一の動作を行う複数個のプロセッシングエレメントを有し、画像データを走査線単位で入力、処理および出力するディジタル信号処理部と、一定のメモリ領域を有し、書き込み動作と読み出し動作が並列的かつ独立的に実行可能であり、画像データを走査線単位で入力および出力する画像メモリと、処理後の画像データを外部に出力する出力部と、前記入力部、前記ディジタル信号処理部、前記画像メモリおよび前記出力部を相互に接続するデータ・パス手段と、前記入力部、前記ディジタル信号処理部、前記画像メモリ、前記出力部および前記データ・パスを所望のプログラムデータにしたがって制御する制御手段とを有する画像処理装置によって画像データを処理する画像処理方法であって、
１つの映像信号に対応する画像データを前記入力部に取り込むステップと、
前記入力部より出力された画像データの前半部を第１の期間で前記ディジタル信号処理部に入力するステップと、
前記入力部より出力された画像データを前記画像メモリに書き込んで、一定の遅延時間後に読み出すステップと、
前記画像メモリより読み出された画像データの後半部を第２の期間で前記ディジタル信号処理部に入力するステップと
を有する画像処理方法。 - 前記ディジタル信号処理部より出力された画像データの前半部を前記画像メモリに書き込んで所定の遅延時間後に読み出すステップと、
前記画像メモリより読み出された画像データの前半部を前記出力部より外部へ出力するステップと、
前記ディジタル信号処理部より画像データの後半部を出力するステップと、
前記ディジタル信号処理部より出力された画像データの後半部を前記画像データの前半部に繋げて前記出力部より外部へ出力するステップと
を有する請求項１に記載の画像処理方法。 - 前記第１の期間中に前記ディジタル信号処理部に入力される画像データの前半部の後端部に、所定の画素数分だけ後半部の前端部とオーバーラップする第１のオーバーラップ部分を付加するステップと、
前記第２の期間中に前記ディジタル信号処理部に入力される画像データの後半部の前端部に、所定の画素数分だけ前半部の後端部とオーバーラップする第２のオーバーラップ部分を付加するステップと、
前記出力部より画像データを外部へ出力する段階で前記第１および第２のオーバーラップ部分を除去するステップと
を有する請求項２に記載の画像処理方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28805997A JP4083849B2 (ja) | 1997-10-03 | 1997-10-03 | 画像処理方法 |
| US09/162,740 US6353460B1 (en) | 1997-09-30 | 1998-09-29 | Television receiver, video signal processing device, image processing device and image processing method |
| EP98118460A EP0905973A3 (en) | 1997-09-30 | 1998-09-30 | Television receiver, video signal processing device, image processing method and device |
| CNB981224261A CN1167006C (zh) | 1997-09-30 | 1998-09-30 | 图象处理装置和方法 |
| EP06002282A EP1653735A1 (en) | 1997-09-30 | 1998-09-30 | Television receiver, video signal processing device, image processing method and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28805997A JP4083849B2 (ja) | 1997-10-03 | 1997-10-03 | 画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11112873A JPH11112873A (ja) | 1999-04-23 |
| JP4083849B2 true JP4083849B2 (ja) | 2008-04-30 |
Family
ID=17725313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28805997A Expired - Fee Related JP4083849B2 (ja) | 1997-09-30 | 1997-10-03 | 画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4083849B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170275741A1 (en) * | 2014-09-02 | 2017-09-28 | Nippon Steel & Sumitomo Metal Corporation | Non-thermal refined nitrocarburized component |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4694268B2 (ja) * | 2005-06-03 | 2011-06-08 | 富士ゼロックス株式会社 | 画像処理装置、方法及びプログラム |
| JP4797200B2 (ja) * | 2007-10-26 | 2011-10-19 | パナソニック電工Ｓｕｎｘ株式会社 | 画像検査システム |
| JP2017126811A (ja) | 2016-01-12 | 2017-07-20 | ソニー株式会社 | 画像データ処理回路および撮像回路 |
| US10891706B2 (en) | 2016-09-08 | 2021-01-12 | Sony Corporation | Arithmetic device and sensor to track movement of object between frames |
-
1997
- 1997-10-03 JP JP28805997A patent/JP4083849B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170275741A1 (en) * | 2014-09-02 | 2017-09-28 | Nippon Steel & Sumitomo Metal Corporation | Non-thermal refined nitrocarburized component |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11112873A (ja) | 1999-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6353460B1 (en) | Television receiver, video signal processing device, image processing device and image processing method | |
| US4485402A (en) | Video image processing system | |
| US9438844B2 (en) | Video multiviewer system using direct memory access (DMA) registers and block RAM | |
| US5712689A (en) | Digital television set | |
| US5673204A (en) | Loopback video preview for a computer display | |
| JP4083849B2 (ja) | 画像処理方法 | |
| JP2000312311A (ja) | 信号処理装置 | |
| JP4540191B2 (ja) | 画像処理装置 | |
| GB2086690A (en) | Video image processing system | |
| EP1353510A2 (en) | Image processing apparatus and image processing method | |
| JPH11355683A (ja) | 映像表示装置 | |
| JPH05143720A (ja) | カラー画像処理装置 | |
| JPH11353470A (ja) | 画像描画並列化装置及び並列化画像描画システム | |
| JP5151177B2 (ja) | 画素数変換装置 | |
| JPH10341415A (ja) | 画像処理装置 | |
| JP2918049B2 (ja) | ピクチャ・イン・ピクチャのための記憶方法 | |
| JPH0240688A (ja) | 実時間動画処理方式及び装置 | |
| JP2696855B2 (ja) | 映像信号処理装置 | |
| JP2000125284A (ja) | 監視カメラシステム | |
| JPH11331826A (ja) | 多画面表示装置 | |
| JPH03216691A (ja) | 動画／静止画表示制御装置 | |
| JPH0759004A (ja) | 多画面表示装置 | |
| JPS63256065A (ja) | 映像処理方法 | |
| JPH04235592A (ja) | 表示制御装置 | |
| JPS61251970A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041001 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080214 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |