JP3586131B2 - 高速画像処理装置 - Google Patents
高速画像処理装置 Download PDFInfo
- Publication number
- JP3586131B2 JP3586131B2 JP05896999A JP5896999A JP3586131B2 JP 3586131 B2 JP3586131 B2 JP 3586131B2 JP 05896999 A JP05896999 A JP 05896999A JP 5896999 A JP5896999 A JP 5896999A JP 3586131 B2 JP3586131 B2 JP 3586131B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image processing
- processor
- stage storage
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＩＴＶカメラ等の撮像装置より出力される撮像信号から生成した画像データを、高速で処理することが可能な高速画像処理装置に関する。
【０００２】
【従来の技術】
従来のＩＴＶカメラ（工業用ＴＶカメラ）の撮像出力から生成された画像データを処理するための画像処理装置の１例を図５に示す。
【０００３】
この図において、２０はＩＴＶカメラであり、２５−１，２５−２，２５−３，…，２５−ｎは双方向３ステートバッファ２６，２７、画像メモリ２８を含む画像メモリユニットであり、双方向３ステートバッファ２６，２７、画像メモリ２８間はバス幅８ビットのデータバス３６で接続されている。また、同期信号発生／アドレスカウンタ回路２２から生成された同期信号３０はＩＴＶカメラ２０に供給され、画像取り込みのタイミングが制御される。
【０００４】
画像取込時は、ＩＴＶカメラ２０からの画像信号２９をＡ／Ｄコンバータ２１でディジタル信号に変換した後、データバス３４、双方向３ステートバッファ２６を介して画像メモリ２８に書き込む動作が行われる。データバス３４の各画像メモリユニットへの分岐部分のバス幅は８ビットとなっている。この際、画像メモリ２８の画像メモリアドレス３３は、アドレス切替器２３によって同期信号発生／アドレスカウンタ回路２２の出力であるアドレスカウンタ出力３１が接続、選択される。
【０００５】
一方、画像処理時には、プロセッサ２４において処理する画素に対応するアドレスを生成し、このアドレスをアドレスバス３２に載せアドレス切替器２３を介して画像メモリアドレス３３に接続する。画像メモリ２８からの出力は、双方向３ステートバッファ２７を介しデータバス３５からプロセッサ２４に読み込まれる。データバス３５のプロセッサ２４側のバス幅は８×ｎ（ｎ：画像メモリユニットの個数）となる。ここで、プロセッサ２４からの画像データのアクセスを高速にしようとすると、システム全体のクロック周波数を上げるか、特開平３−７５８８１号公報の公知例のようにデータバス幅を拡張する方法が考えられる。
【０００６】
しかしながら、クロック周波数を上げても画像メモリのアクセスタイムや実装技術上の問題である程度の限界がある。また、データバス幅を拡張し数画素分を１回でアクセスする方式にしても、画像取込手段において画素単位で連続してデータが転送されてくるため前記公知例とは異なる。なお、これを解決する方策として、特開昭６１−１２５２７５号公報にあるように複数個の処理ユニットと処理ユニット間の処理速度を緩衝するための複数個のＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリを備えたものが挙げられる。
【０００７】
これを今回の構成に取込むと、画像ユニット２５を複数個用意し、プロセッサ２４のバス幅にあわせてデータバス３５を拡張して、複数個の画像ユニット２５分の画素数を１回で読み込むことにより画像処理時間を短縮化する方式が考えられるが、構成部品点数が増大し、複数台のＩＴＶカメラに対応しようとするとさらに画像処理装置自体が非常に高価なものとなる欠点がある。
【０００８】
【発明が解決しようとする課題】
上記のように、従来装置の構成では、プロセッサ２４からの画像データの高速アクセスを実現しようとすると、構成部品点数が増大するため高価になり小型化も難しいという面を持っていた。
【０００９】
本発明は、かかる従来技術の欠点を除去しようとするもので、複数台の撮像装置から画像データを同時にまたは個別に取込が可能であり、プロセッサからの画像データアクセス動作を、撮像装置からの画像データの取込動作と並列的に実行可能としながらも、極力構成部品点数の増大を抑えて低コストとし、更に、高速かつフレキシビリティのある処理動作を可能とした高速画像処理装置を提供することを目的とするものである。
【００１０】
本発明のその他の目的や新規な特徴は後述の実施の形態において明らかにする。
【００１１】
【課題を解決するための手段】
本願請求項１の高速画像処理装置は、プロセッサと、複数台の撮像装置を接続するインターフェースと、
該インターフェースに接続される個々の撮像装置に対応して設けられ、対応する撮像装置からの画像データを取り込んで一時蓄積しておくための複数個の前段記憶手段と、
該複数個の前段記憶手段の後段に設けられ、前記プロセッサのバス幅に対応した出力ビット数で読出データを並列出力可能な後段記憶手段とを備え、
前記複数個の前段記憶手段に蓄積された画像データを、個々の前段記憶手段毎に所定データ量づつ順次に蓄積時よりも高速で読み出して前記後段記憶手段へ転送して書き込み、前記プロセッサは前記後段記憶手段をアクセスして当該プロセッサのバス幅に対応した出力ビット数で読出データを一括して取り込むことを特徴としている。
【００１４】
本願請求項２の高速画像処理装置は、請求項１において、前記複数個の前段記憶手段を、それぞれ非同期のＦＩＦＯメモリで構成している。
【００１５】
本願請求項３の高速画像処理装置は、請求項１又は２において、前記後段記憶手段が、複数個の非同期のＦＩＦＯメモリを備え、各ＦＩＦＯメモリの出力ビット数の総和が前記プロセッサのバス幅に対応している構成である。
【００１６】
本願請求項４の高速画像処理装置では、請求項３において、前記後段記憶手段の備える各ＦＩＦＯメモリへの書込データは、前記プロセッサによる各ＦＩＦＯメモリの一括アクセス動作において、１回のアクセスで得られる複数個の画素データが、ただ１つの撮像装置からの画素データのみで構成されるように設定されている。
【００１７】
本願請求項５の高速画像処理装置は、請求項１，２，３又は４において、前記インターフェースに接続された複数台の撮像装置のうち所望の撮像装置からの画像データのみを選択して取り込むことを可能にするための選択手段を備えている。
【００１８】
【発明の実施の形態】
本発明は、画像データを、プロセッサの拡張されたバス幅に対応した出力ビット数で読出データを並列出力可能な記憶手段に一旦取り込んでから、この取り込まれたデータを取込み動作と並行して前記プロセッサにより連続した複数画素単位でアクセスできるようにしたものであり、以下に、本発明に係る高速画像処理装置の実施の形態を図面に従って説明する。
【００１９】
図１は、本発明による高速画像処理装置の一実施の形態を示すブロック構成図であり、かかる実施の形態の動作を表す図２及び図３のタイムチャートを参照しながら本実施の形態を説明する。
【００２０】
本実施の形態は、撮像装置としてＮＴＳＣ方式の４台のＩＴＶカメラ１ａ〜１ｄを用いており、これらのＩＴＶカメラ１ａ〜１ｄから入力された画像信号９ａ〜９ｄは、それぞれ撮像装置接続用のインターフェースを構成するＡ／Ｄコンバータ２ａ〜２ｄによってサンプリング周波数１０ＭＨｚ、量子化ビット数８ビットでディジタル画像データに変換された後、前段記憶手段としてのラインメモリ（ＦＩＦＯメモリ）３ａ〜３ｄに送られる。一方、プロセッサ（ＣＰＵ）８から同期信号発生回路／アドレスカウンタ回路４に図２に示される画像取込開始信号１６が送られ、取込みが可能な状態になると同期信号発生回路／アドレスカウンタ回路４は、メモリＲ／Ｗ制御回路５に対して図２に示される５１２サンプル分のパルス幅を持つ有効画素領域信号１８を送る。
【００２１】
ここで、メモリＲ／Ｗ制御回路５は、図２の如くラインメモリ３ａ〜３ｄへの画像データの書込みを実行させるための画像取込信号１０、これらのラインメモリからの画像データの読出しを実行させるためのラインメモリ読出信号１７、及びこれらのラインメモリから読み出した画像データを後段記憶手段としてのフィールドバッファ記憶装置６へ書き込む動作を実行させるためのフィールドバッファ書込信号を生成する機能を持つと共に、４台のＩＴＶカメラのそれぞれに対応した取込許可レジスタを備え、これらの取込許可レジスタのうち、画像処理が実行されるべきＩＴＶカメラに対応した取込許可レジスタにのみ取込み許可を指示するコードがプロセッサ８によって予め格納されされている。なお、この実施の形態の動作においては、後述するようにＩＴＶカメラ１ｃ以外のカメラについてのみ画像処理を実行するように取込許可レジスタに許可コードが格納されている。
【００２２】
そして、メモリＲ／Ｗ制御回路５は、同期信号発生回路／アドレスカウンタ回路４から前述の有効画素領域信号１８が入力されると、ラインメモリ（ＦＩＦＯ）３ａ〜３ｄのうち取込許可コードが格納されている取込許可レジスタに対応したラインメモリへのみ、有効画素領域期間に亘り図２に示される画像取込信号１０を送り、書き込みを実行する。
【００２３】
１ライン目の書込みが終了して２ライン目の期間に入ると、ラインメモリへの書込み動作だけでなく、最初のライン期間にラインメモリに書き込まれた画像データを読み出して、フィールドバッファ記憶装置６へ書き込む動作も実行される。
【００２４】
ここで、各ラインメモリからの画像データの読出は、図２のラインメモリ読出信号１７に示されるように、まず、ラインメモリ３ａから１ライン分の画像データ（画像１）を読出し、この読出し動作が終了したら次に、ラインメモリ３ｂから１ライン分の画像データ（画像２）を読出し、最後に、ラインメモリ３ｄから１ライン分の画像データ（画像４）の読出を実行する。
【００２５】
なお、本実施の形態では、ＮＴＳＣ方式のＩＴＶカメラを想定し、ＮＴＳＣ方式の１ラインは６３．５μｓに規定されているから、有効画素領域を１０ＭＨｚで５１２サンプリングした場合にラインメモリ３ａ〜３ｄから画像データを読み出すためのラインメモリ読出信号１７のクロック周波数を、図２における拡大図に示されているように３３ＭＨｚに設定すれば、１ライン分の画像データの読出しに要する時間は１５．３６μｓであり、最大４カメラ分の２０４８画素の全ラインデータを読み出す場合であっても６１．５μｓ、即ち、ＮＴＳＣ方式の１ライン期間以内で読出を完了することが可能である。即ち、全カメラの１ライン分の画像データを、常に１ラインの遅れでフィールドバッファ記憶装置６へ全て転送することができる。
【００２６】
また、図１に示されるように、プロセッサ８は、６４ビットのデータ・バス幅を持ち、フィールドバッファ記憶装置６は、８個の出力ビット数８ビットのフィールドバッファメモリ（ＦＩＦＯメモリ）＃１〜＃８から構成されている。そして、この記憶装置６へ転送された画像データは、次のように書込みが実行される。
【００２７】
即ち、フィールドバッファメモリ＃１〜＃８へは、メモリＲ／Ｗ制御回路５から図１に示されるようにフィールドバッファ書込信号１２が供給され、これらの信号は、前述のラインメモリ読出信号１７と同一のクロック周期（同一のクロック使用）でフィールドバッファメモリ＃１〜＃８へ順次書込クロックを供給する図３に示されるようなフィールドバッファ書込信号Ｓ１〜Ｓ８から成っている。
【００２８】
これらの書込信号Ｓ１〜Ｓ８によって、ラインメモリ（ＦＩＦＯメモリ）３ａ，３ｂ，及び３ｄから順次転送されたデータは、まず、ラインメモリ３ａからの画像データについて、その１画素目がフィールドバッファメモリ＃１に書込まれ、その２画素目はフィールドバッファメモリ＃２へ、３画素目はフィールドバッファメモリ＃３ヘと順次書込まれて行き、８画素目をフィールドバッファメモリ＃８に書込んだ後、９画素目からは再びフィールドバッファメモリ＃１へ戻り書込みが行われていく。ラインメモリ３ａからの１ライン分５１２画素の転送データを書込んだら、次のラインメモリ３ｂからの転送データを同様に書き込み、ラインメモリ３ｄからの最終ラインの転送データを書込み終わるまでこの書込み動作を継続する。
【００２９】
なお、この書込み動作の場合も、画像取込信号１０によるラインメモリ３ａ〜３ｄへの書込みの場合と同様にして、プロセッサ８から予め設定されたカメラ毎の取込許可レジスタの内容に基づき、メモリＲ／Ｗ制御回路５を制御して指定されたラインメモリのデータのみを転送するようにしている。つまり、取込み指定の無いラインメモリ３ｃから画像データ（画像３）を読み出してフィールドバッファ記憶装置６へ書き込む動作は実行されない（図２におけるラインメモリ読出信号１７は、この様子を示している）。これによって、プロセッサ８がフィールドバッファ記憶装置６に対して実行する不要なデータアクセスの回数が低減される。
【００３０】
一方、プロセッサ８は、メモリＲ／Ｗ制御回路５からの処理ライン数信号１３を監視し、取込み状況に応じて、フィールドバッファ記憶装置６のフィールドバッファメモリ＃１〜＃８からそれぞれの１画素分を同時に、即ち、６４ビット／８画素分のデータを１回のアクセスで取り出し、内部で演算したり、データバス１５を介してワークメモリ及びプログラムメモリ７へＤＭＡにより高速転送する事を可能にしている。また、非同期アクセスできるＦＩＦＯメモリを採用したことにより、画像取込と同時に並行してデータ転送を実行することに伴うプロセッサの不要な待ち時間を除去し、より高速な画像処理を実現している。
【００３１】
参考までに、ＩＴＶカメラ１ａ〜１ｄの４台全ての画像信号について画像処理を実行した場合のフィールドバッファ記憶装置６からの出力フォーマットを図４に示す。この図に示されるように、取込んだ８画素分のデータは、常に同一カメラからの連続したデータ構成であることにより取込んだデータを並べ替える必要がなく、１ライン毎にカメラ番号とライン数に対応したアドレスを切り替えてアドレスバス１４に供給し、ＤＭＡ転送すれば、従来の画像メモリの構成と同じ構成とする事が出来る。また、ワークメモリ及びプログラムメモリ７のどのエリアに転送するかは、ソフトウェアで柔軟に変更できるため必要な部分だけをメモリに貯えて置く事も出来る。
【００３２】
そして、従来のように、一回のメモリアクセスでの画素数が少なかったり、１回のメモリアクセスで複数画素を同時に取込めてもその中に他のカメラ画像のデータが含まれていたりする場合には、アクセス頻度が高くなって処理速度の低下を招いていたが、本実施の形態では、複数画素を一括でプロセッサ８のキャッシュメモリに取込むことにより、プロセッサ８とワークメモリ及びプログラムメモリ７間の転送回数を低減し高速な画像処理の実現を可能にしている。
【００３３】
この実施の形態によれば、次の通りの効果を得ることができる。
【００３４】
（１） 前段記憶手段としてのラインメモリ（ＦＩＦＯメモリ）３ａ〜３ｄは、各ＩＴＶカメラ１ａ〜１ｄからの画像データを連続して取込むと同時に一定データ量を間欠的に出力する。さらに、取込み周波数より出力する周波数を高くし、各前段のラインメモリの出力期間が重ならないように制御することにより、後段記憶手段としてのフィールドバッファメモリ（ＦＩＦＯメモリ）＃１〜＃８に、すべてのＩＴＶカメラからの画像データを取込むことを可能にしている。
【００３５】
（２） 前段のラインメモリから画素単位で送られてくるデータをプロセッサ８のバス幅（６４ビット）に対応した複数個の後段のフィールドバッファメモリ＃１〜＃８（８ビット×８個＝６４ビット）に書き込んで行くことにより、プロセッサ側からの後段のフィールドバッファメモリ＃１〜＃８のアクセスはデータ幅と一致した複数画素単位で行えることにより高速アクセスを可能としている。
【００３６】
（３） 前段及び後段の記憶手段として非同期アクセスできるＦＩＦＯメモリを採用したことにより、画像取込と同時に並行してデータ転送を行い、これらに伴うプロセッサ８の不要な待ち時間を除去し、より高速な画像処理を実現している。
【００３７】
（４） 図４のような出力フォーマットとなるように、つまり、後段記憶手段としてのフィールドバッファ記憶装置６の備える各ＦＩＦＯメモリへの書込データは、プロセッサ８による各ＦＩＦＯメモリの一括アクセス動作において、１回のアクセスで得られる複数個の画素データが、ただ１つの撮像装置からの画素データのみで構成されるように設定されているから、取込んだデータを並べ替える必要がない。
【００３９】
以上に説明した実施の形態では、撮像装置としてＩＴＶカメラを使用しているが、これ以外の撮像装置にも本発明の高速画像処理装置を適用できることは勿論であり、更に、ＮＴＳＣ方式以外の様々なテレビジョン方式の撮像装置に対しても、図２及び図３に示されるそれぞれのパルス信号のパルス幅及び周期を適宜変更することによって本発明の高速画像処理装置を適用することができる。
【００４０】
また、本発明の高速画像処理装置は、ＯＤＤフィールド及びＥＶＥＮフィールドの画像信号を同時に出力する撮像装置や、走査方式がインターレース走査やノンインターレース走査の撮像装置であっても、ソフトウェアの設定切り換えにより容易に接続可能である。
【００４１】
以上本発明の実施の形態について説明してきたが、本発明はこれに限定されることなく請求項の記載の範囲内において各種の変形、変更が可能なことは当業者には自明であろう。
【００４２】
【発明の効果】
以上詳述したように、本発明によれば、複数台の撮像装置から同時に、または個別にデータの取込みが可能である。そして、取込みと並行して画像処理を実行することを可能にすると共に、プロセッサのデータアクセス回数を低減した事により、高速な画像処理を実現している。さらに、データバス拡張に伴なう部品点数の増大を極力抑えたことにより、安価に高速な高速画像処理装置を構成できる。
【図面の簡単な説明】
【図１】本発明による高速画像処理装置の一実施の形態のブロック回路図である。
【図２】同実施の形態における画像取込開始信号、水平同期信号、画像信号、有効画素領域信号、画像取込信号、及びラインメモリ読出信号の波形を示すタイムチャートである。
【図３】同実施の形態におけるラインメモリ読出信号、フィールドバッファ書込信号、及びプロセッサの動作を示すタイムチャートである。
【図４】同実施の形態におけるフィールドバッファ記憶装置からの出力フォーマット例の説明図である。
【図５】従来の画像処理装置のブロック回路図である。
【符号の説明】
１ａ〜１ｄ，２０ ＩＴＶカメラ
２ａ〜２ｄ，２１ Ａ／Ｄコンバータ
３ａ〜３ｄ ラインメモリ（ＦＩＦＯメモリ）
４，２２ 同期信号発生／アドレスカウンタ回路
５ メモリＲ／Ｗ制御回路
６ フィールドバッファ記憶装置
７ ワークメモリ及びプログラムメモリ
８，２４ プロセッサ
１４，３２，３３ アドレスバス
１５，３４，３５ データバス
２３ アドレス切替器
２５ａ〜２５ｎ 画像メモリユニット
２６，２７ 双方向３ステートバッファ
２８ 画像メモリ
【発明の属する技術分野】
本発明は、ＩＴＶカメラ等の撮像装置より出力される撮像信号から生成した画像データを、高速で処理することが可能な高速画像処理装置に関する。
【０００２】
【従来の技術】
従来のＩＴＶカメラ（工業用ＴＶカメラ）の撮像出力から生成された画像データを処理するための画像処理装置の１例を図５に示す。
【０００３】
この図において、２０はＩＴＶカメラであり、２５−１，２５−２，２５−３，…，２５−ｎは双方向３ステートバッファ２６，２７、画像メモリ２８を含む画像メモリユニットであり、双方向３ステートバッファ２６，２７、画像メモリ２８間はバス幅８ビットのデータバス３６で接続されている。また、同期信号発生／アドレスカウンタ回路２２から生成された同期信号３０はＩＴＶカメラ２０に供給され、画像取り込みのタイミングが制御される。
【０００４】
画像取込時は、ＩＴＶカメラ２０からの画像信号２９をＡ／Ｄコンバータ２１でディジタル信号に変換した後、データバス３４、双方向３ステートバッファ２６を介して画像メモリ２８に書き込む動作が行われる。データバス３４の各画像メモリユニットへの分岐部分のバス幅は８ビットとなっている。この際、画像メモリ２８の画像メモリアドレス３３は、アドレス切替器２３によって同期信号発生／アドレスカウンタ回路２２の出力であるアドレスカウンタ出力３１が接続、選択される。
【０００５】
一方、画像処理時には、プロセッサ２４において処理する画素に対応するアドレスを生成し、このアドレスをアドレスバス３２に載せアドレス切替器２３を介して画像メモリアドレス３３に接続する。画像メモリ２８からの出力は、双方向３ステートバッファ２７を介しデータバス３５からプロセッサ２４に読み込まれる。データバス３５のプロセッサ２４側のバス幅は８×ｎ（ｎ：画像メモリユニットの個数）となる。ここで、プロセッサ２４からの画像データのアクセスを高速にしようとすると、システム全体のクロック周波数を上げるか、特開平３−７５８８１号公報の公知例のようにデータバス幅を拡張する方法が考えられる。
【０００６】
しかしながら、クロック周波数を上げても画像メモリのアクセスタイムや実装技術上の問題である程度の限界がある。また、データバス幅を拡張し数画素分を１回でアクセスする方式にしても、画像取込手段において画素単位で連続してデータが転送されてくるため前記公知例とは異なる。なお、これを解決する方策として、特開昭６１−１２５２７５号公報にあるように複数個の処理ユニットと処理ユニット間の処理速度を緩衝するための複数個のＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリを備えたものが挙げられる。
【０００７】
これを今回の構成に取込むと、画像ユニット２５を複数個用意し、プロセッサ２４のバス幅にあわせてデータバス３５を拡張して、複数個の画像ユニット２５分の画素数を１回で読み込むことにより画像処理時間を短縮化する方式が考えられるが、構成部品点数が増大し、複数台のＩＴＶカメラに対応しようとするとさらに画像処理装置自体が非常に高価なものとなる欠点がある。
【０００８】
【発明が解決しようとする課題】
上記のように、従来装置の構成では、プロセッサ２４からの画像データの高速アクセスを実現しようとすると、構成部品点数が増大するため高価になり小型化も難しいという面を持っていた。
【０００９】
本発明は、かかる従来技術の欠点を除去しようとするもので、複数台の撮像装置から画像データを同時にまたは個別に取込が可能であり、プロセッサからの画像データアクセス動作を、撮像装置からの画像データの取込動作と並列的に実行可能としながらも、極力構成部品点数の増大を抑えて低コストとし、更に、高速かつフレキシビリティのある処理動作を可能とした高速画像処理装置を提供することを目的とするものである。
【００１０】
本発明のその他の目的や新規な特徴は後述の実施の形態において明らかにする。
【００１１】
【課題を解決するための手段】
本願請求項１の高速画像処理装置は、プロセッサと、複数台の撮像装置を接続するインターフェースと、
該インターフェースに接続される個々の撮像装置に対応して設けられ、対応する撮像装置からの画像データを取り込んで一時蓄積しておくための複数個の前段記憶手段と、
該複数個の前段記憶手段の後段に設けられ、前記プロセッサのバス幅に対応した出力ビット数で読出データを並列出力可能な後段記憶手段とを備え、
前記複数個の前段記憶手段に蓄積された画像データを、個々の前段記憶手段毎に所定データ量づつ順次に蓄積時よりも高速で読み出して前記後段記憶手段へ転送して書き込み、前記プロセッサは前記後段記憶手段をアクセスして当該プロセッサのバス幅に対応した出力ビット数で読出データを一括して取り込むことを特徴としている。
【００１４】
本願請求項２の高速画像処理装置は、請求項１において、前記複数個の前段記憶手段を、それぞれ非同期のＦＩＦＯメモリで構成している。
【００１５】
本願請求項３の高速画像処理装置は、請求項１又は２において、前記後段記憶手段が、複数個の非同期のＦＩＦＯメモリを備え、各ＦＩＦＯメモリの出力ビット数の総和が前記プロセッサのバス幅に対応している構成である。
【００１６】
本願請求項４の高速画像処理装置では、請求項３において、前記後段記憶手段の備える各ＦＩＦＯメモリへの書込データは、前記プロセッサによる各ＦＩＦＯメモリの一括アクセス動作において、１回のアクセスで得られる複数個の画素データが、ただ１つの撮像装置からの画素データのみで構成されるように設定されている。
【００１７】
本願請求項５の高速画像処理装置は、請求項１，２，３又は４において、前記インターフェースに接続された複数台の撮像装置のうち所望の撮像装置からの画像データのみを選択して取り込むことを可能にするための選択手段を備えている。
【００１８】
【発明の実施の形態】
本発明は、画像データを、プロセッサの拡張されたバス幅に対応した出力ビット数で読出データを並列出力可能な記憶手段に一旦取り込んでから、この取り込まれたデータを取込み動作と並行して前記プロセッサにより連続した複数画素単位でアクセスできるようにしたものであり、以下に、本発明に係る高速画像処理装置の実施の形態を図面に従って説明する。
【００１９】
図１は、本発明による高速画像処理装置の一実施の形態を示すブロック構成図であり、かかる実施の形態の動作を表す図２及び図３のタイムチャートを参照しながら本実施の形態を説明する。
【００２０】
本実施の形態は、撮像装置としてＮＴＳＣ方式の４台のＩＴＶカメラ１ａ〜１ｄを用いており、これらのＩＴＶカメラ１ａ〜１ｄから入力された画像信号９ａ〜９ｄは、それぞれ撮像装置接続用のインターフェースを構成するＡ／Ｄコンバータ２ａ〜２ｄによってサンプリング周波数１０ＭＨｚ、量子化ビット数８ビットでディジタル画像データに変換された後、前段記憶手段としてのラインメモリ（ＦＩＦＯメモリ）３ａ〜３ｄに送られる。一方、プロセッサ（ＣＰＵ）８から同期信号発生回路／アドレスカウンタ回路４に図２に示される画像取込開始信号１６が送られ、取込みが可能な状態になると同期信号発生回路／アドレスカウンタ回路４は、メモリＲ／Ｗ制御回路５に対して図２に示される５１２サンプル分のパルス幅を持つ有効画素領域信号１８を送る。
【００２１】
ここで、メモリＲ／Ｗ制御回路５は、図２の如くラインメモリ３ａ〜３ｄへの画像データの書込みを実行させるための画像取込信号１０、これらのラインメモリからの画像データの読出しを実行させるためのラインメモリ読出信号１７、及びこれらのラインメモリから読み出した画像データを後段記憶手段としてのフィールドバッファ記憶装置６へ書き込む動作を実行させるためのフィールドバッファ書込信号を生成する機能を持つと共に、４台のＩＴＶカメラのそれぞれに対応した取込許可レジスタを備え、これらの取込許可レジスタのうち、画像処理が実行されるべきＩＴＶカメラに対応した取込許可レジスタにのみ取込み許可を指示するコードがプロセッサ８によって予め格納されされている。なお、この実施の形態の動作においては、後述するようにＩＴＶカメラ１ｃ以外のカメラについてのみ画像処理を実行するように取込許可レジスタに許可コードが格納されている。
【００２２】
そして、メモリＲ／Ｗ制御回路５は、同期信号発生回路／アドレスカウンタ回路４から前述の有効画素領域信号１８が入力されると、ラインメモリ（ＦＩＦＯ）３ａ〜３ｄのうち取込許可コードが格納されている取込許可レジスタに対応したラインメモリへのみ、有効画素領域期間に亘り図２に示される画像取込信号１０を送り、書き込みを実行する。
【００２３】
１ライン目の書込みが終了して２ライン目の期間に入ると、ラインメモリへの書込み動作だけでなく、最初のライン期間にラインメモリに書き込まれた画像データを読み出して、フィールドバッファ記憶装置６へ書き込む動作も実行される。
【００２４】
ここで、各ラインメモリからの画像データの読出は、図２のラインメモリ読出信号１７に示されるように、まず、ラインメモリ３ａから１ライン分の画像データ（画像１）を読出し、この読出し動作が終了したら次に、ラインメモリ３ｂから１ライン分の画像データ（画像２）を読出し、最後に、ラインメモリ３ｄから１ライン分の画像データ（画像４）の読出を実行する。
【００２５】
なお、本実施の形態では、ＮＴＳＣ方式のＩＴＶカメラを想定し、ＮＴＳＣ方式の１ラインは６３．５μｓに規定されているから、有効画素領域を１０ＭＨｚで５１２サンプリングした場合にラインメモリ３ａ〜３ｄから画像データを読み出すためのラインメモリ読出信号１７のクロック周波数を、図２における拡大図に示されているように３３ＭＨｚに設定すれば、１ライン分の画像データの読出しに要する時間は１５．３６μｓであり、最大４カメラ分の２０４８画素の全ラインデータを読み出す場合であっても６１．５μｓ、即ち、ＮＴＳＣ方式の１ライン期間以内で読出を完了することが可能である。即ち、全カメラの１ライン分の画像データを、常に１ラインの遅れでフィールドバッファ記憶装置６へ全て転送することができる。
【００２６】
また、図１に示されるように、プロセッサ８は、６４ビットのデータ・バス幅を持ち、フィールドバッファ記憶装置６は、８個の出力ビット数８ビットのフィールドバッファメモリ（ＦＩＦＯメモリ）＃１〜＃８から構成されている。そして、この記憶装置６へ転送された画像データは、次のように書込みが実行される。
【００２７】
即ち、フィールドバッファメモリ＃１〜＃８へは、メモリＲ／Ｗ制御回路５から図１に示されるようにフィールドバッファ書込信号１２が供給され、これらの信号は、前述のラインメモリ読出信号１７と同一のクロック周期（同一のクロック使用）でフィールドバッファメモリ＃１〜＃８へ順次書込クロックを供給する図３に示されるようなフィールドバッファ書込信号Ｓ１〜Ｓ８から成っている。
【００２８】
これらの書込信号Ｓ１〜Ｓ８によって、ラインメモリ（ＦＩＦＯメモリ）３ａ，３ｂ，及び３ｄから順次転送されたデータは、まず、ラインメモリ３ａからの画像データについて、その１画素目がフィールドバッファメモリ＃１に書込まれ、その２画素目はフィールドバッファメモリ＃２へ、３画素目はフィールドバッファメモリ＃３ヘと順次書込まれて行き、８画素目をフィールドバッファメモリ＃８に書込んだ後、９画素目からは再びフィールドバッファメモリ＃１へ戻り書込みが行われていく。ラインメモリ３ａからの１ライン分５１２画素の転送データを書込んだら、次のラインメモリ３ｂからの転送データを同様に書き込み、ラインメモリ３ｄからの最終ラインの転送データを書込み終わるまでこの書込み動作を継続する。
【００２９】
なお、この書込み動作の場合も、画像取込信号１０によるラインメモリ３ａ〜３ｄへの書込みの場合と同様にして、プロセッサ８から予め設定されたカメラ毎の取込許可レジスタの内容に基づき、メモリＲ／Ｗ制御回路５を制御して指定されたラインメモリのデータのみを転送するようにしている。つまり、取込み指定の無いラインメモリ３ｃから画像データ（画像３）を読み出してフィールドバッファ記憶装置６へ書き込む動作は実行されない（図２におけるラインメモリ読出信号１７は、この様子を示している）。これによって、プロセッサ８がフィールドバッファ記憶装置６に対して実行する不要なデータアクセスの回数が低減される。
【００３０】
一方、プロセッサ８は、メモリＲ／Ｗ制御回路５からの処理ライン数信号１３を監視し、取込み状況に応じて、フィールドバッファ記憶装置６のフィールドバッファメモリ＃１〜＃８からそれぞれの１画素分を同時に、即ち、６４ビット／８画素分のデータを１回のアクセスで取り出し、内部で演算したり、データバス１５を介してワークメモリ及びプログラムメモリ７へＤＭＡにより高速転送する事を可能にしている。また、非同期アクセスできるＦＩＦＯメモリを採用したことにより、画像取込と同時に並行してデータ転送を実行することに伴うプロセッサの不要な待ち時間を除去し、より高速な画像処理を実現している。
【００３１】
参考までに、ＩＴＶカメラ１ａ〜１ｄの４台全ての画像信号について画像処理を実行した場合のフィールドバッファ記憶装置６からの出力フォーマットを図４に示す。この図に示されるように、取込んだ８画素分のデータは、常に同一カメラからの連続したデータ構成であることにより取込んだデータを並べ替える必要がなく、１ライン毎にカメラ番号とライン数に対応したアドレスを切り替えてアドレスバス１４に供給し、ＤＭＡ転送すれば、従来の画像メモリの構成と同じ構成とする事が出来る。また、ワークメモリ及びプログラムメモリ７のどのエリアに転送するかは、ソフトウェアで柔軟に変更できるため必要な部分だけをメモリに貯えて置く事も出来る。
【００３２】
そして、従来のように、一回のメモリアクセスでの画素数が少なかったり、１回のメモリアクセスで複数画素を同時に取込めてもその中に他のカメラ画像のデータが含まれていたりする場合には、アクセス頻度が高くなって処理速度の低下を招いていたが、本実施の形態では、複数画素を一括でプロセッサ８のキャッシュメモリに取込むことにより、プロセッサ８とワークメモリ及びプログラムメモリ７間の転送回数を低減し高速な画像処理の実現を可能にしている。
【００３３】
この実施の形態によれば、次の通りの効果を得ることができる。
【００３４】
（１） 前段記憶手段としてのラインメモリ（ＦＩＦＯメモリ）３ａ〜３ｄは、各ＩＴＶカメラ１ａ〜１ｄからの画像データを連続して取込むと同時に一定データ量を間欠的に出力する。さらに、取込み周波数より出力する周波数を高くし、各前段のラインメモリの出力期間が重ならないように制御することにより、後段記憶手段としてのフィールドバッファメモリ（ＦＩＦＯメモリ）＃１〜＃８に、すべてのＩＴＶカメラからの画像データを取込むことを可能にしている。
【００３５】
（２） 前段のラインメモリから画素単位で送られてくるデータをプロセッサ８のバス幅（６４ビット）に対応した複数個の後段のフィールドバッファメモリ＃１〜＃８（８ビット×８個＝６４ビット）に書き込んで行くことにより、プロセッサ側からの後段のフィールドバッファメモリ＃１〜＃８のアクセスはデータ幅と一致した複数画素単位で行えることにより高速アクセスを可能としている。
【００３６】
（３） 前段及び後段の記憶手段として非同期アクセスできるＦＩＦＯメモリを採用したことにより、画像取込と同時に並行してデータ転送を行い、これらに伴うプロセッサ８の不要な待ち時間を除去し、より高速な画像処理を実現している。
【００３７】
（４） 図４のような出力フォーマットとなるように、つまり、後段記憶手段としてのフィールドバッファ記憶装置６の備える各ＦＩＦＯメモリへの書込データは、プロセッサ８による各ＦＩＦＯメモリの一括アクセス動作において、１回のアクセスで得られる複数個の画素データが、ただ１つの撮像装置からの画素データのみで構成されるように設定されているから、取込んだデータを並べ替える必要がない。
【００３９】
以上に説明した実施の形態では、撮像装置としてＩＴＶカメラを使用しているが、これ以外の撮像装置にも本発明の高速画像処理装置を適用できることは勿論であり、更に、ＮＴＳＣ方式以外の様々なテレビジョン方式の撮像装置に対しても、図２及び図３に示されるそれぞれのパルス信号のパルス幅及び周期を適宜変更することによって本発明の高速画像処理装置を適用することができる。
【００４０】
また、本発明の高速画像処理装置は、ＯＤＤフィールド及びＥＶＥＮフィールドの画像信号を同時に出力する撮像装置や、走査方式がインターレース走査やノンインターレース走査の撮像装置であっても、ソフトウェアの設定切り換えにより容易に接続可能である。
【００４１】
以上本発明の実施の形態について説明してきたが、本発明はこれに限定されることなく請求項の記載の範囲内において各種の変形、変更が可能なことは当業者には自明であろう。
【００４２】
【発明の効果】
以上詳述したように、本発明によれば、複数台の撮像装置から同時に、または個別にデータの取込みが可能である。そして、取込みと並行して画像処理を実行することを可能にすると共に、プロセッサのデータアクセス回数を低減した事により、高速な画像処理を実現している。さらに、データバス拡張に伴なう部品点数の増大を極力抑えたことにより、安価に高速な高速画像処理装置を構成できる。
【図面の簡単な説明】
【図１】本発明による高速画像処理装置の一実施の形態のブロック回路図である。
【図２】同実施の形態における画像取込開始信号、水平同期信号、画像信号、有効画素領域信号、画像取込信号、及びラインメモリ読出信号の波形を示すタイムチャートである。
【図３】同実施の形態におけるラインメモリ読出信号、フィールドバッファ書込信号、及びプロセッサの動作を示すタイムチャートである。
【図４】同実施の形態におけるフィールドバッファ記憶装置からの出力フォーマット例の説明図である。
【図５】従来の画像処理装置のブロック回路図である。
【符号の説明】
１ａ〜１ｄ，２０ ＩＴＶカメラ
２ａ〜２ｄ，２１ Ａ／Ｄコンバータ
３ａ〜３ｄ ラインメモリ（ＦＩＦＯメモリ）
４，２２ 同期信号発生／アドレスカウンタ回路
５ メモリＲ／Ｗ制御回路
６ フィールドバッファ記憶装置
７ ワークメモリ及びプログラムメモリ
８，２４ プロセッサ
１４，３２，３３ アドレスバス
１５，３４，３５ データバス
２３ アドレス切替器
２５ａ〜２５ｎ 画像メモリユニット
２６，２７ 双方向３ステートバッファ
２８ 画像メモリ
Claims (5)
- プロセッサと、
複数台の撮像装置を接続するインターフェースと、
該インターフェースに接続される個々の撮像装置に対応して設けられ、対応する撮像装置からの画像データを取り込んで一時蓄積しておくための複数個の前段記憶手段と、
該複数個の前段記憶手段の後段に設けられ、前記プロセッサのバス幅に対応した出力ビット数で読出データを並列出力可能な後段記憶手段とを備え、
前記複数個の前段記憶手段に蓄積された画像データを、個々の前段記憶手段毎に所定データ量づつ順次に蓄積時よりも高速で読み出して前記後段記憶手段へ転送して書き込み、前記プロセッサは前記後段記憶手段をアクセスして当該プロセッサのバス幅に対応した出力ビット数で読出データを一括して取り込むことを特徴とする高速画像処理装置。 - 前記複数個の前段記憶手段は、それぞれ非同期のＦＩＦＯメモリである請求項１記載の高速画像処理装置。
- 前記後段記憶手段は、複数個の非同期のＦＩＦＯメモリを備え、各ＦＩＦＯメモリの出力ビット数の総和が前記プロセッサのバス幅に対応している請求項１又は２記載の高速画像処理装置。
- 前記後段記憶手段の備える各ＦＩＦＯメモリへの書込データは、前記プロセッサによる各ＦＩＦＯメモリの一括アクセス動作において、１回のアクセスで得られる複数個の画素データが、ただ１つの撮像装置からの画素データのみで構成されるように設定されている請求項３記載の高速画像処理装置。
- 前記インターフェースに接続された複数台の撮像装置のうち所望の撮像装置からの画像データのみを選択して取り込むことを可能にするための選択手段を備えている請求項１，２，３又は４記載の高速画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05896999A JP3586131B2 (ja) | 1999-03-05 | 1999-03-05 | 高速画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05896999A JP3586131B2 (ja) | 1999-03-05 | 1999-03-05 | 高速画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000259812A JP2000259812A (ja) | 2000-09-22 |
| JP3586131B2 true JP3586131B2 (ja) | 2004-11-10 |
Family
ID=13099688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05896999A Expired - Fee Related JP3586131B2 (ja) | 1999-03-05 | 1999-03-05 | 高速画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3586131B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11948225B2 (en) | 2020-09-18 | 2024-04-02 | Kabushiki Kaisha Toshiba | Image processing apparatus |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009077195A (ja) * | 2007-09-21 | 2009-04-09 | Sony Corp | 撮像装置、および出力信号制御方法、並びにコンピュータ・プログラム |
| KR102459917B1 (ko) | 2015-02-23 | 2022-10-27 | 삼성전자주식회사 | 이미지 신호 프로세서와 이를 포함하는 장치들 |
-
1999
- 1999-03-05 JP JP05896999A patent/JP3586131B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11948225B2 (en) | 2020-09-18 | 2024-04-02 | Kabushiki Kaisha Toshiba | Image processing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000259812A (ja) | 2000-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7456804B2 (en) | Display control apparatus and display control method | |
| EP1889252A1 (en) | Method and device for processing image data stored in a frame buffer | |
| US6914632B1 (en) | Apparatus for panning and scaling window in image sensor | |
| JP2790007B2 (ja) | 画像メモリアクセス制御方式 | |
| JP3586131B2 (ja) | 高速画像処理装置 | |
| JP2000312311A (ja) | 信号処理装置 | |
| JPH05100647A (ja) | 画像表示装置 | |
| JP2000311241A (ja) | 画像処理装置 | |
| JP4313907B2 (ja) | 撮像装置及びその制御方法 | |
| JP3986325B2 (ja) | 画像処理装置、画像処理方法および画像処理システム | |
| JP3776513B2 (ja) | 画像処理装置 | |
| JP4489245B2 (ja) | 画像処理装置とその制御方法 | |
| JP2589781B2 (ja) | 画像処理プロセッサ | |
| JP2989193B2 (ja) | 画像メモリインターリーブ入出力回路 | |
| JP4253096B2 (ja) | データ転送装置、データ転送方法、カメラモジュール、カメラ | |
| JPS6343950B2 (ja) | ||
| JP2000341585A (ja) | 画像メモリ機能付き映像装置 | |
| JPH06208614A (ja) | 画像処理装置 | |
| KR0173252B1 (ko) | 화상처리 데이타 저장장치 | |
| JPH11352155A (ja) | デジタルオシロスコープ | |
| JPH0614349B2 (ja) | 実時間動画プロセッサ | |
| JPH09130592A (ja) | 画像処理装置 | |
| JPH09224211A (ja) | 画像取込装置及び方法 | |
| JPH0273293A (ja) | スキャンコンバート回路 | |
| JPH07336579A (ja) | テレビジョンカメラ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040406 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040413 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040727 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040805 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100813 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100813 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110813 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120813 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |