JP3598756B2

JP3598756B2 - 画像表示方法およびその方法を実施するための画像表示装置、ならびにその装置を用いた画像処理装置

Info

Publication number: JP3598756B2
Application number: JP24188797A
Authority: JP
Inventors: 聡米田
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 1997-08-21
Filing date: 1997-08-21
Publication date: 2004-12-08
Anticipated expiration: 2017-08-21
Also published as: JPH1166290A

Description

【０００１】
【産業上の利用分野】
この発明は、２次元個体撮像素子を具備する撮像手段から出力された画像データをモニタに表示するための方法および装置、ならびにその表示装置を備えた画像処理装置に関連する。
【０００２】
【従来の技術】
ＣＣＤ撮像素子に代表される２次元の個体撮像素子では、フォトダイオードやフォトトランジスタなどのフォトセンサを複数個マトリクス状に配列して、各フォトセンサ毎に入射された光情報に比例する信号電荷を蓄積することにより、２次元画像データを生成している。各フォトセンサに蓄積された信号電荷は、インターライン転送方式やフレーム転送方式などの転送方法により１次元の映像信号として外部に出力される。
【０００３】
図１７は、インターライン転送方式型のＣＣＤ撮像素子の基本構成を示すもので、ｍ列×ｎ行のマトリクス状に配列された複数個のフォトセンサＰｈと、これらフォトセンサＰｈの列毎に配備されるｍ個の垂直シフトレジスタＶＲ１〜ＶＲｍと、各垂直シフトレジスタＶＲ１〜ＶＲｍの出力側に配備される水平シフトレジスタＨＲとを、主要構成として備えている。
【０００４】
なおこの図示例では、説明を簡易化するために、１フィールド分の画像を生成するための構成のみを示してあり、各垂直シフトレジスタＶＲ１〜ＶＲｍの各転送部には、それぞれその転送部に電荷を移送するフォトセンサＰｈがｎ行×ｍ列のマトリクスのどの位置にあるかを示すアドレスが示してある。また水平シフトレジスタＨＲの各転送部に示される数値は、それぞれその転送部に何列目のフォトダイオードＰｈからの電荷が転送されるかを示すものである。また図中７は、出力バッファを示す。
【０００５】
各垂直シフトレジスタＶＲ１〜ＶＲｍ，水平シフトレジスタＨＲは、ＣＣＤ（電荷結合素子）により構成されており、各フォトセンサＰｈ，垂直シフトレジスタＶＲ１〜ＶＲｍ，水平シフトレジスタＨＲは、それぞれ図示しない駆動部よりビデオ規格に基づくタイミングで与えられる転送パルスＴＰ１，ＴＰ２，ＴＰ３を受けて、内部に蓄積された信号電荷を移送する。
【０００６】
図１８は、上記構成における信号電荷の出力動作のタイミングを示す。なお図中、１垂直期間毎の出力タイミング（上段）の１ライン分の出力データには、それぞれそのデータが何ライン目のフォトセンサＰｈに対応するかを示す数値が、また各水平期間毎の詳細な出力タイミング（下段）の１画素分の出力データには、そのデータに対応するフォトセンサＰｈのアドレスが、それぞれ示されている。
【０００７】
まず最初の垂直期間が開始され、垂直ブランキング期間内に第１の転送パルスＴＰ１が出力される。この転送パルスＴＰ１は各フォトセンサＰｈに同時に与えられ、それぞれのフォトセンサＰｈに蓄積された電荷が対応する垂直シフトレジスタＶＲ１〜ＶＲｍに一斉に移送される。
【０００８】
つぎに第１の水平期間が開始され、水平ブランキング期間内に、各垂直シフトレジスタＶＲ１〜ＶＲｍに第２の転送パルスＴＰ２が与えられる。この転送パルスＴＰ２により、各垂直シフトレジスタＶＲ１〜ＶＲｍ内の信号電荷は１画素ずつシフトされて、一番先頭の１ライン分の信号電荷（図中、アドレス（１，１）（２，１）・・・（ｍ，１）の画素に対応する電荷）が水平シフトレジスタＨＲ側へと移送される。
【０００９】
ついで１水平期間が終了するまでの間に、水平シフトレジスタＨＲに対し、第３の転送パルスＴＰ３がｍ個連続して与えられる。これにより水平シフトレジスタＨＲ内に蓄積された１ライン分の信号電荷は１画素ずつシフトされ、最前方の電荷より順次出力される。
【００１０】
以下同様にして、各水平期間毎に各垂直シフトレジスタＶＲ１〜ＶＲｍに転送パルスＴＰ２が与えられて、１ライン分の信号電荷が水平シフトレジスタＨＲへと移送された後、水平シフトレジスタＨＲ側にｍ個の転送パルスＴＰ３が与えられて前記転送された１ライン分の信号電荷が１画素ずつ出力される。この水平期間がｎ回繰り返されることにより１垂直期間が終了する。
【００１１】
図１９は、上記の動作により生成された２次元画像のデータ構成を示すもので、各フォトセンサＰｈに対応する各画素がフォトセンサの配列状態と同様のマトリクス状に配置された画像データが生成される。
【００１２】
【発明が解決しようとする課題】
上記インターライン方式の個体撮像素子を用いた撮像装置は、現行のビデオ規格に伴い、１フィールド分の映像信号を１／６０秒の時間間隔で出力するように設定されている。したがってこの現行の方式により出力される映像信号を画像処理装置に取り込んで処理を行う場合、入力された映像信号をリアルタイムで処理しても１秒間に６０回の処理を行うのが限度であり、それ以上の高速化は図れないという問題がある。
【００１３】
そこで出願人は、上記構成の個体撮像素子を用いて、１水平期間内に複数ライン分の画像データを１ライン分の画像データに変換して出力し、１垂直期間を短縮させるように改良された撮像装置を開発した。この撮像装置は、詳細は後記するが、１水平ブランキング期間内に各垂直シフトレジスタＶＲ１〜ＶＲｍに与える転送パルスＴＰ２を複数個設定することにより、各シフトレジスタＶＲ１〜ＶＲｍからそれぞれ複数画素分の信号電荷を出力し、これら電荷を水平シフトレジスタＨＲより１水平期間内に出力するようにしたものである。この撮像装置を用いることにより１垂直期間を大幅に短縮して画像生成時間を高速化できるので、従来の制限値にとらわれずに画像処理時間を短縮することができる。
【００１４】
ところで画像処理による各種の計測処理では、一般に、撮像手段から出力された画像データをモニタに表示させ、オペレータが表示画面上で対象物を確認したり、計測領域を設定するなどの処理を実施するケースが多い。しかしながらモニタは、通常のビデオ規格のタイミングで映像信号を受け取るように構成されているため、ビデオ規格外の方法で生成された画像データを表示することは不可能である。
【００１５】
この発明は、上記問題点に着目してなされたもので、ビデオ規格外の方法で生成された画像データをモニタ表示可能とし、ビデオ規格外の画像データを処理する際にも通常と同様に目視確認や設定処理を行えるようにすることを技術課題とする。
【００１６】
【課題を解決するための手段】
請求項１の発明は、２次元撮像素子と、この２次元撮像素子を、１垂直期間中の各水平期間毎に、それぞれあらかじめ設定された数のライン分の画像データを１ライン分の画像データに変換して出力するように駆動する駆動手段とを具備する撮像手段が出力した画像データを取り込んで、モニタに表示するための方法であって、前記２次元撮像素子に結像する原画像中の所定の領域に対応する画像データが１ラインずつ転送される一方、前記領域外の画像データが複数ラインずつ転送されるように、各水平期間毎の転送ライン数を設定しておき、前記撮像手段より各水平期間毎に出力された画像データをそのデータ出力速度に応じたタイミングで順次メモリに記憶するとともに、前記メモリ内の各画像データを、それぞれそのデータに対応する転送ライン数と同じ回数だけ読み出してモニタに出力する処理を、前記モニタの画像表示速度に応じたタイミングで順に実行することを特徴とする。
【００１８】
請求項２の発明は、前記撮像手段から出力された画像データを取り込んでモニタに表示する画像表示装置にかかるものである。この装置は、前記２次元撮像素子に結像する原画像中の所定の領域に対応する画像データが１ラインずつ転送される一方、前記領域外の画像データが複数ラインずつ転送されるように、各水平期間毎の転送ライン数を設定する設定手段と、前記設定手段により設定された各水平期間毎の転送ライン数を前記撮像手段に転送する転送手段と、前記撮像手段から出力された各水平期間毎の画像データを順次記憶するための第１のメモリと、前記設定手段により設定された各水平期間毎の転送ライン数を記憶する第２のメモリと、前記各水平期間毎の画像データを撮像手段の出力速度に応じたタイミングで前記第１のメモリに記憶させる画像データ書込み手段と、前記第１のメモリに記憶された各画像データを、それぞれ第２のメモリ内の対応する転送ライン数と同じ回数だけ読み出してモニタに出力する処理を、前記モニタの画像表示速度に応じたタイミングで順に実行する画像データ出力手段とを具備している。
【００２０】
請求項３の発明は、２次元撮像素子と、この２次元撮像素子を、１垂直期間中の各水平期間毎に、それぞれあらかじめ設定された数のライン分の画像データを１ライン分の画像データに変換して出力するように駆動する駆動手段とを具備する撮像手段と、前記撮像手段より出力された画像データを取り込んで所定の計測処理を実施する画像処理手段と、前記撮像手段からの画像データを表示するためのモニタとから成る画像処理装置にかかるもので、前記画像処理手段に、請求項２の画像表示装置と同様の構成を具備させている。
【００２２】
【作用】
各請求項にかかる発明とも、撮像手段から各水平期間毎に出力された画像データを、撮像手段のデータ出力速度に応じたタイミングで順次メモリに記憶する一方、各記憶データを、それぞれそのデータに対応する転送ライン数と同じ回数だけ読み出してモニタに出力する処理を、モニタの画像表示速度、すなわちビデオ規格に応じたタイミングで順に実行する。
【００２４】
このような制御により、モニタには、ビデオ規格に応じたタイミングで、かつビデオ規格に応じたライン数分の画像データが出力されるので、撮像手段により生成された画像をモニタ上に表示することが可能になる。
【００２５】
また、撮像手段側は、２次元撮像素子に結像する原画像中の所定の領域に対応する画像データを１ラインずつ転送する一方、前記領域外の画像データが複数ラインずつ転送するように設定される。よって、計測対象物を含むように前記領域を設定すれば、計測対象物について、本来と同様の解像度による画像データを取得することができる。
【００２６】
【実施例】
図１は、この発明の１実施例にかかる画像処理装置の構成を示すもので、２次元画像の映像信号を生成して出力する撮像装置１と、この撮像装置１から出力される映像信号を取り込んで所定の計測処理を実施する制御処理装置２と、撮像装置１により得られた画像を表示するためのモニタ３とを、主要構成として備えている。
【００２７】
前記撮像装置１は、個体撮像素子としてＣＣＤ撮像素子３（図中「ＣＣＤ」と略す）を具備するほか、転送パルス発生部５，転送ライン数指定部６，出力バッファ７などを構成として備えている。
【００２８】
制御処理装置２は、撮像装置１からの映像信号をＡ／Ｄ変換するための画像入力部８，変換処理後のディジタル画像を用いて所定の計測処理を実施する画像処理部９，この画像処理結果を外部に出力するための出力部１０のほか、モニタ３に表示用の画像データを出力するための構成として、表示タイミング発生部１１，スキャンコンバータ部１２（詳細は後記する）を具備している。
【００２９】
ＣＣＤ撮像素子３は、前記した図１７と同一の構成を備えるもので、転送パルス発生部５より出力される第１〜第３の転送パルスＴＰ１〜ＴＰ３を受けて動作する。すなわち第１の転送パルスＴＰ１が与えられる毎に、各フォトセンサＰｈに蓄積された信号電荷が垂直シフトレジスタＶＲ１〜ＶＲｍに転送され、第２の転送パルスＴＰ２が与えられる毎に、各垂直シフトレジスタＶＲ１〜ＶＲｍの蓄積電荷が１画素ずつ走査されて、先頭の１ライン分の信号電荷が水平シフトレジスタＨＲに転送される。さらに第３の転送パルスＴＰ３が与えられる都度、水平シフトレジスタＨＲに蓄積された信号電荷が１画素ずつシフトされ、先頭の信号電荷が出力バッファ７を介して制御処理装置２側へと出力される。
【００３０】
この実施例の撮像装置１は、１水平ブランキング期間内に前記第２の転送パルスＴＰ２を複数個出力することにより、１水平期間毎に複数ライン分の映像信号を重畳して出力するように構成されている。前記転送ライン数指定部６は、１水平期間内に何ライン分の画像データを転送するかを設定するためのもので、設定された転送ライン数は、２ビット構成の転送ライン数信号Ｌ１，Ｌ２に変換されて前記転送パルス発生部５に出力される。
【００３１】
図２は、前記転送ライン数毎の転送ライン数信号Ｌ１，Ｌ２のデータ構成を示すもので、１〜４までの各転送ライン数について、それぞれ「００」「１０」「０１」「１１」のコードが割り当てられて、そのコードの上位ビットがＬ１として、下位ビットがＬ２として、それぞれ設定されている。
【００３２】
前記転送パルス発生部５における第２の転送パルスＴＰ２の生成部は、図３に示すように、４個のタイミング発生部１６ａ〜１６ｄと各タイミング発生部１６ａ〜１６ｄを接続するマルチプレクサ１７とにより構成される。
【００３３】
前記各タイミング発生部１６ａ〜１６ｄは、それぞれ１〜４ライン分の転送用に用いられるもので、通常のビデオ規格の水平ブランキング期間と同じ長さの期間内に、対応する転送ライン数分のパルス信号を出力する（すなわち１水平ブランキング期間内に第１のタイミング発生部１６ａは１個、第２のタイミング発生部１６ｂは２個、第３のタイミング発生部１６ｃは３個、第４のタイミング発生部１６ｄは４個のパルス信号を、それぞれ出力する）。
【００３４】
マルチプレクサ１７は、これらタイミング発生部１６ａ〜１６ｄの中から前記転送ライン数信号Ｌ１，Ｌ２の示す転送ライン数用のタイミング発生部を選択し、その信号の入力経路をＣＣＤ撮像素子４への出力経路に接続する。これにより選択されたタイミング発生部の出力パルスが前記転送パルスＴＰ２として採用され、ＣＣＤ撮像素子４へと与えられる。
【００３５】
なおここでは図示しないが、第１の転送パルスＴＰ１の生成部も、上記と同様に、各転送ライン数用の４個のタイミング発生部とマルチプレクサとにより構成される。このうち１ライン転送用のタイミング発生部は、通常のビデオ規格に基づくタイミングでパルス信号を１個出力するのに対し、２ライン〜４ライン転送用の各タイミング発生部は、通常の垂直期間に対しそれぞれ１／２，１／３，１／４の時間間隔毎にパルス信号を１個出力する。マルチプレクサが前記と同様に転送ライン数信号Ｌ１，Ｌ２に対応するタイミング発生部を選択することにより、そのタイミング発生部の出力パルスが転送パルスＴＰ１として出力され、ＣＣＤ撮像素子４に与えられる。
【００３６】
つぎに図４により、上記撮像装置１における映像信号の出力動作の具体例をあげて説明する。なお以下の各実施例では、説明を簡単にするために、通常のビデオ規格における１フィールド分の画像のライン数（すなわち前記フォトセンサＰｈの行数ｎ）を「２００」と仮定している。
【００３７】
図４は、各水平期間毎に２ライン分の映像信号を転送するように設定した場合の映像信号の出力タイミングを示すもので、図中、１垂直期間毎の出力タイミング（上段）の１ライン分の出力データには、そのデータが何ライン目のフォトセンサＰｈに対応するデータであるかを示す数値が示されている。また各水平期間毎の詳細な出力タイミング（下段）の１画素分の出力データには、そのデータに対応するフォトセンサＰｈのアドレスが示してある。
【００３８】
転送パルス発生部５の転送信号ＴＰ１，ＴＰ２の各生成部では、それぞれ転送ライン数信号Ｌ１，Ｌ２に対応する２ライン転送用のタイミング制御部が選択されている。まず選択されたタイミングで第１の転送パルスＴＰ１が出力されると、前記ＣＣＤ撮像素子４の各フォトセンサＰｈの蓄積電荷が対応する垂直シフトレジスタＶＲ１〜ＶＲｍへと移送され、垂直期間が開始される。
【００３９】
つぎに転送パルス発生部５は、最初の水平ブランキング期間内に、各垂直シフトレジスタＶＲ１〜ＶＲｍに対し、それぞれ２個の転送パルスＴＰ２を出力する。これにより各垂直シフトレジスタＶＲ１〜ＶＲｍの蓄積電荷は２画素分ずつシフトされ、第１ライン目と第２ライン目の信号電荷が連続して水平シフトレジスタＨＲ側へと移送される。
【００４０】
上記の動作により、水平シフトレジスタＨＲの各転送部には、同列の２画素分の信号電荷が重畳されて蓄積される。
つぎに転送パルス発生部５が、第３の転送パルスＴＰ３を１水平ラインの画素数（ｍ個）分生成して出力すると、水平シフトレジスタＨＲに蓄積された各重畳電荷が順次出力される。これにより最初の水平期間では１ライン目と２ライン目との２ライン分の映像信号が重畳された信号が出力されることになる。
【００４１】
以下各水平期間毎に同様の動作を繰り返すことにより、それぞれ２ライン分の映像信号が重畳されて１ライン分の映像信号として出力される。この結果、つぎの転送信号ＴＰ１が出力されるまでの１００回の水平期間により、各フォトセンサＰｈにより生成されたすべての信号電荷が出力される。
【００４２】
図５は、上記動作により制御処理装置２に出力される２次元画像のデータ構成を示す。各ライン毎の画像データは、本来の画像の２ライン分の画像データが加算されたデータに相当し、縦方向のライン数は本来の１／２に減縮される。
【００４３】
このように各水平期間毎に２ライン分の映像信号を１ライン分の映像信号として出力することにより、画像の解像度は劣化するが、画像の生成速度は従来の１／２の長さに短縮される。
【００４４】
図１に戻って、制御処理装置２の画像入力部８は、撮像装置１より上記の動作タイミングに応じて出力された映像信号をリアルタイムで取り込んでＡ／Ｄ変換し、ディジタル量の画像データを生成する。このディジタル量の入力画像データは、前記画像処理部９に与えられると同時に、スキャンコンバータ部１２へと出力される。
【００４５】
画像処理部９は、図５に示した画像データに対し、例えば、２値化処理，エッジ抽出処理などの手法を用いて画像上の対象物を抽出した後、抽出された対象物について、面積，重心位置などの特徴量を計測するもので、さらに必要に応じてこの計測結果をあらかじめ設定された基準値と比較して対象物の良否を判定する。この計測結果や判定結果は、出力部９を介してモニタ３やその他の外部装置に出力される。
【００４６】
上記の処理は、前記したように、従来の１／２の時間間隔で入力される画像データに対して行われるので、この画像入力のタイミングに合わせて計測処理を実施することにより、計測処理を高速化できる。この場合、入力画像の解像度は通常の画像の１／２に縮小されているので、処理の負担は大幅に軽減される。
【００４７】
表示タイミング発生部１１は、ビデオ規格に応じた垂直同期信号ＶＤ，水平同期信号ＨＤを生成してスキャンコンバータ部１２に出力する。スキャンコンバータ部１２は、これら同期信号に応じて上記の計測処理とは独立に動作し、前記入力画像データから表示用の画像データを生成してモニタ３へと出力する。
【００４８】
図６は、前記スキャンコンバータ部１２の詳細な構成を示すもので、リード／ライト制御部１３，フィールドメモリ１４，Ｄ／Ａ変換部１５などにより構成される。
【００４９】
フィールドメモリ１４は、前記画像入力部８からの画像データを格納するためので、１フィールド分（すなわち１００ライン分）の画像データを格納するためのエリアを具備する。リード／ライト制御部１３は、このフィールドメモリ１４に対するデータ書込み処理とデータ読出し処理とを、独立して制御するためのもので、データ書込み処理は前記画像データの入力タイミング（すなわち撮像装置１の画像出力タイミング）に応じて、データ読出し処理は前記タイミング制御部１１の各同期信号に応じて、それぞれ実施される。フィールドメモリ１４より読み出された画像データは、Ｄ／Ａ変換部１５によりアナログ量の映像信号に変換されてモニタ３に出力される。
【００５０】
図７は、撮像装置１の１垂直期間にＣＣＤ撮像素子４の各フォトセンサＰｈに入射した光像（以下これを「原画像」という）、この原画像の画像データが図４の動作タイミングにより出力された場合にフィールドメモリ１４に記憶される入力画像、フィールドメモリ１４から読み出されて生成される表示画像の各画像について、それぞれ各ライン毎の画像データの対応関係を示したものである。なお図中、原画像のデータ種別はＡ、入力画像のデータ種別はＢ、表示用画像のデータ種別はＣとおかれ、それぞれの画像の１ライン分の画像データは、そのデータ種別とライン位置を示す数値とにより表されている。また２０ａ，２０ｂ，２０ｃは、各画像上の計測対象物の画像を示す。
【００５１】
前記図４の動作タイミングおよび図５のデータ構成図に示したように、撮像装置１からは、各水平期間毎にそれぞれ原画像の２ライン分の映像信号が重畳された映像信号が出力される。フィールドメモリ１４には、この映像信号をディジタル変換した画像データがリアルタイムで読み込まれるので、各エリアには、それぞれ原画像の２ライン分の画像データが加算された画像データＢ１〜Ｂ１００が順次書き込まれる。
【００５２】
リード／ライト制御部１３は、この書込み動作とは独立して、フィールドメモリ１４の各エリアに格納された画像データＢ１〜Ｂ１００を、それぞれ各画像データに対応する転送ライン数分、すなわち２回ずつ読み出して、通常のビデオ規格に応じた２００ライン分の画像データＣ１〜Ｃ２００を生成する。このデータ読出し動作は、前記表示タイミング発生部１１より与えられる水平同期信号ＶＤに応じて行われるもので、読み出された各画像データＣ１〜Ｃ２００のアナログ変換後の信号は、インターレス方式に基づき、順次モニタ３の画面上に走査される。
【００５３】
なおこの図７では、各画像間のデータの対応関係を明確にするために、フィールドメモリ１４内の１フィールド分の画像データＢ１〜Ｂ１００から１フィールド分の表示画像データＣ１〜Ｃ２００が生成されるように示してある。しかしながら実際の動作においては、書込み動作は読出し動作の２倍の速度で行われているので、撮像装置１側で１垂直期間が終了すると、先の垂直期間分の画像データの読出しが完了したか否かにかかわらず、フィールドメモリ１４の各エリアのデータが順に書き換えられる。したがって、フィールドメモリ１４より読み出される１フィールド分の表示画像データには、撮像装置１側の２フィールド分の画像データが混在することになる。
【００５４】
図８は、前記フィールドメモリ１４に対する書込みおよび読出し動作のタイミングを示す。図中、Ｂは撮像装置１からの奇数フィールド分の入力画像データを、Ｂ´は偶数フィールド分の入力画像データを、それぞれ示す。
【００５５】
前記リード／ライト制御部１３は、フィールドメモリ１４に対し、撮像装置１側の垂直期間、すなわちビデオ規格の半分の期間毎に、データの書換えを実施するとともに、ビデオ規格に基づく垂直期間毎に各フィールドメモリ１４の各データに２度ずつアクセスして、計２００ライン分の画像データを読み出す。この読出し動作の途中で、読み出される画像データは奇数フィールドの画像データＢから偶数フィールドの画像データＢ´に切り替わるため、モニタ３には途中から異なるタイミングで生成された画像データが出力される。
【００５６】
しかしながらデータの読出し先のアドレスは画像データの書換え処理にかかわらず、１番地から１００番地へと連続的に変更されており、しかも１垂直期間は１／３０秒というきわめて短い時間で実施されるので、表示画面における違和感は殆どなく、実用に耐えうる表示画像を生成することができる。
【００５７】
なお上記制御方法に代えて、フィールドメモリ１４に１フィールド分の画像データＢ１〜Ｂ１００が書き込まれた時点で書込み動作を中断させ、これら書込みデータをすべて２回ずつ読み出してモニタ３に出力し、この読出し動作が終了した後に書込み動作を再開するようにしてもよい。ただしこの方法を採用した場合には、モニタ３に出力される各フィールド毎の表示画像データは時間的に連続しないものとなるので、表示画面上の画像は、間欠的に切り換えられるようなイメージで表示される。
【００５８】
図９は、前記スキャンコンバータ部１２におけるデータ読出し動作の手順を示す。なお同図において、ラインカウンタＬＣは、読み出される画像データが表示画像の何ライン目に対応するかを、アドレスカウンタＭＣはフィールドメモリ１４の読出しアクセス先のアドレスを、それぞれ示すもので、共に初期値は「０」に設定される。また図中、各ステップは「ＳＴ」で示す。
【００５９】
以下の手順に示される水平期間，垂直期間は、表示タイミング発生部１１により与えられた同期信号に基づく期間（すなわち通常のビデオ規格による期間）であって、垂直期間の開始後、最初の水平同期信号ＨＤが与えられると、ステップ１が「ＹＥＳ」となり、第１の水平期間が開始される。
【００６０】
つぎのステップ２，３で、リード／ライト制御部１３は、各カウンタＬＣ，ＭＣを「１」にカウントアップした後、フィールドメモリ１４に対し、カウンタＭＣにより特定される第１ライン目の画像データＢ１を読み出す（ステップ４）。読み出された画像データは、Ｄ／Ａ変換部１５でアナログ変換された後、モニタ３に出力される（ステップ５）。
【００６１】
つぎの水平同期信号ＨＤが与えられるとステップ６が「ＹＥＳ」となり、第２の水平期間が開始される。このときリード／ライト制御部１３は、前記ラインカウンタＬＣのみをインクリメントし、フィールドメモリ１４より、再びカウンタＭＣに対応するアドレスの画像データを読み出す（ステップ７，８）。第２の水平期間においては、カウンタＭＣは更新されていないので、先の第１の水平期間と同様のエリアの画像データＢ１が読み出されることになる。
【００６２】
この後、ステップ９で、前記読み出された画像データがＤ／Ａ変換されてモニタ３に出力される。
つぎの第３の水平期間が開始されると、再びステップ２，３でカウンタＬＣ，ＭＣがインクリメントされる。これにより表示画像の第３ライン目のデータとして、フィールドメモリ１４の第２ライン目の画像データＢ２が読み出される。
【００６３】
以下、同様にして、２水平期間毎にフィールドメモリ１４に対するアクセス先を更新しつつ画像データの読出しとモニタ３への出力処理を実施することにより、フィールドメモリ１４の各エリアからそれぞれ２度ずつ画像データが読み出され、表示画像データとして出力される。フィールドメモリ１４の１００番目のエリアに対する画像データの読出しが終了したとき、ラインカウンタＬＣが２００となり、各カウンタＬＣ，ＭＣがリセットされて１垂直期間が終了する（ステップ１０，１１）。
【００６４】
上記実施例では、各水平期間毎に２ライン分の映像信号を出力することにより、画像の解像度は劣化するが、画像の生成速度は従来の１／２の長さに短縮され、計測処理も従来の半分の期間で実施可能となる。しかも前記スキャンコンバータ部１２により、処理対象の入力画像データから表示用の画像データを生成してモニタ３に出力するので、処理対象の画像にきわめて近い画像を表示することが可能となり、作業者は、従来の画像処理装置と同様の感覚で計測処理を実施することができる。
【００６５】
しかしながら計測対象について精度の高い処理を必要とする場合には、上記の処理による画像データでは解像度が低くなるため不具合が生じるケースがある。この場合、１垂直期間内で転送ライン数を切り換えられるように設定すれば、計測領域に対応する映像信号を１ラインずつ転送して、本来の計測精度を維持することが可能となる。
【００６６】
図１０は、転送ラインの切換え処理の必要な対象物について、前記ＣＣＤ撮像素子４の各フォトセンサＰｈに結像した原画像のイメージを示す。図中、計測対象物の画像２０ａは、原画像中、５１ライン目から１５０ライン目までの領域に位置するものとする。したがってこの対象物２０ａが存在する領域Ｒを計測領域として設定し、その計測領域Ｒに対応する映像信号を１ラインずつ転送するとともに、計測領域外、すなわち１ライン目から５０ライン目までの領域Ｐおよび１５１ライン目から２００ライン目までの領域Ｑに対応する映像信号を、複数ラインずつ転送するように設定すれば、画像生成速度を通常より高速化させるとともに、計測領域Ｒ内の画像データを本来の解像度を維持したまま取得することができる。
【００６７】
図１１は、撮像装置１に上記転送ラインの切換え機能を具備させた場合の構成を示すもので、撮像装置１，制御処理装置２には、ともに図１と同様の構成のほかに、撮像装置１の各水平期間毎の転送ライン数を記憶する転送ライン数テーブル１７，１８が配備されている。
【００６８】
図１２は、前記図１０に示した原画像に対する転送ラインテーブル１７，１８の設定例を示すもので、何度目の水平期間であるかを示す水平期間カウンタ値に対応させて、それぞれその水平期間における転送ライン数の設定値が、転送ライン数信号Ｌ１，Ｌ２の形式により記憶されている。
【００６９】
この図示例は、前記計測領域Ｒに対応する映像信号を１ラインずつ転送し、他の背景の領域Ａ，Ｂに対応する映像信号を２ラインずつ転送するように設定した例であって、最初の２５回の水平期間における転送ラインを２ラインとした後、つぎの２６〜１２５番目の水平期間における転送ラインを１ラインとし、１２６６〜１５０番目の水平期間における転送ラインを再び２ラインに設定している。
【００７０】
図１１に戻って、撮像装置１の転送ライン数指定部６は、各水平期間毎に転送ライン数テーブル１７に記憶された各転送ライン数信号Ｌ１，Ｌ２の設定値を読み込んで、各転送ライン数信号をその設定値に応じたレベルに設定し、転送パルス発生部５に出力する。転送パルス発生部５は、転送ライン数テーブル１７にセットされた水平アドレスカウンタのＭＡＸ値（図１２では「１５０」）に基づき第１の転送パルスＴＰ１の出力タイミングを設定する（すなわちビデオ規格の垂直期間の３／４の時間間隔で転送パルスＴＰ１を出力することになる）。
【００７１】
この後、転送パルス発生部５は、各水平期間毎に、転送ライン数指定部６より与えられた転送ライン数信号Ｌ１，Ｌ２に基づき第２の転送パルスＴＰ２の出力回数を設定して、ＣＣＤ撮像素子４に対する一連の制御を実施する。
【００７２】
制御処理装置２のスキャンコンバータ部１２では、前記第１の実施例と同様、撮像装置１からの各水平期間毎の映像信号をリアルタイムで取り込んで、フィールドメモリ１４に格納するとともに、このフィールドメモリ１４の各画像データを、それぞれ前記図１２の構成の転送ライン数テーブル１８を参照して、その画像データに対応する転送ライン数と同じ回数だけ読み出し、それぞれ表示画像データとしてモニタ３に出力する。
【００７３】
図１３は、前記図１１の撮像装置１において、前記図１２の転送ラインテーブルの設定値に基づきＣＣＤ撮像素子４に対する１垂直期間内の動作制御が行われた場合の映像信号の出力タイミングを、前記水平期間カウンタ値および転送ライン数信号Ｌ１，Ｌ２に対応させて示す。
【００７４】
垂直期間が開始された後、最初の水平期間では水平期間カウンタの値が「１」であるから、前記転送ライン数テーブル１７によれば、転送ライン数信号Ｌ１は「１」，Ｌ２は「０」にそれぞれ設定されている（すなわち転送ライン数は「２」となる）。したがってこの水平期間では、水平ブランキング期間内に２個の転送パルスＴＰ２が出力されることになり、前記第１の実施例と同様、各垂直シフトレジスタＶＲ１〜ＶＲｍよりそれぞれ２画素分の信号電荷が出力されて、水平シフトレジスタＨＲ内に重畳されて蓄積される。
【００７５】
この後水平シフトレジスタＨＲに、第３の転送パルスＴＰ３が１水平ライン分の画素数ｍ個分だけ出力されることにより、前記水平シフトレジスタＨＲに蓄積された重畳電荷が順次出力され、１ライン分の映像信号として出力される。
【００７６】
以下、水平期間カウンタＬＣの値が２５に達するまで転送ライン数信号Ｌ１，Ｌ２の値は保持されるから、この２５回の水平期間毎に前記と同様の動作を行うことにより、２ライン分ずつの映像信号が重畳された信号が出力される。これにより前記背景の領域Ｐについてライン数が原画像の半分の２５本に減縮された画像データが生成されることになる。
【００７７】
つぎの水平期間が開始されて水平期間カウンタＬＣが２６になったとき、前記転送ライン数テーブル１７の転送ライン数信号Ｌ１の設定値が「１」から「０」に切り替わる。これを受けてこの水平期間では、転送パルス信号ＴＰ２が１個だけ発生し、各垂直シフトレジスタＶＲ１〜ＶＲｍからはそれぞれ１画素分の信号電荷が単独で出力される。
【００７８】
以下、カウンタＬＣが１２５に達するまで、転送ライン数信号Ｌ１，Ｌ２の設定値が固定されているので、２５回目〜１２５回目の計１００回の水平期間においては、原画像と同様の形態の映像信号が出力される。これにより計測領域Ｒについて原画像の解像度が維持された画像データが生成される。
【００７９】
つぎにカウンタＬＣが１２６になると、転送ライン数テーブルの転送ライン数信号Ｌ１の設定値が再び「１」に復帰する。これを受けて、転送パルス発生部５は、再び各水平期間毎に２個の転送パルスＴＰ２を出力するので、この水平期間では、フォトセンサの１５１ライン目と１５２ライン目との映像信号が重畳された信号が、１ライン分の映像信号として出力される。以下、水平期間カウンタＬＣがＭＡＸ値の１５０になるまで、同様の形態の映像信号が出力されることにより、背景の領域Ｑについては、ライン数が原画像の半分に減縮された画像データが生成される。
【００８０】
上記処理により生成された画像データが制御処理装置２に取り込まれると、画像処理部９は、前記計測領域Ｒの画像データに対し前記第１の実施例と同様の計測処理を実施する。この場合、背景の領域Ｐ，Ｑの１００ライン分の画像データが通常の半分の時間で取り込まれるので、画像入力にかかる時間が大幅に短縮され、処理効率が向上する。しかも詳細な処理が必要な計測領域Ｒについては、通常のビデオ規格で生成された画像データと同様の解像度の画像データを取得できるので、計測処理の精度を維持できる。
【００８１】
一方、スキャンコンバータ部１２はこの計測処理とは独立に動作し、第１の実施例と同様、入力された画像データから表示用の画像データを生成してモニタ３に出力する。
【００８２】
図１４は、図１０に示した原画像，この原画像に対し前記図１３の動作手順で撮像装置１を動作させて得られた入力画像，モニタ３への表示画像の各画像について、それぞれ各ライン毎の画像データの対応関係を示す。また図１５は、フィールドメモリ１４に対する書込み動作と読出し動作とのタイミングを示すもので、以下、両図を用いて表示画像データの出力原理を説明する。
【００８３】
この実施例におけるスキャンコンバータ１２のリード／ライト制御部１３は、フィールドメモリ１４から各ライン毎の画像データを読み出す際に、前記転送ライン数テーブル１８よりその画像データに対応する転送ライン数を読み出して認識した後、その画像データを認識された転送ライン数分だけ読み出してモニタ３に出力する。
【００８４】
したがって入力画像中、原画像の２ライン分の画像データが転送された１〜２５ライン目の各画像データＢ１〜Ｂ２５は、それぞれ２度ずつ読み出され、順次、１〜５０ライン目の表示画像データＣ１〜Ｃ５０として出力される。ついで１ライン分の画像データが転送された２６〜１２５ライン目の１００ライン分の入力画像データＢ２６〜Ｂ１２５については、それぞれ１度ずつ読出しが行われ、５１〜１５０ライン目の表示画像データＣ５１〜Ｃ１５０として出力される。さらに１２６〜１５０ライン目の各入力画像データＢ１２６〜Ｂ１５０には、再び２ライン分のデータが転送されているから、それぞれ２度ずつ読み出されることになり、１５１〜２００ライン目の５０ライン分の表示画像データＣ１５１〜Ｃ２００として出力される。
【００８５】
なお図１５のタイミング動作では、フィールドメモリ１４に１フィールド分の入力画像が記憶された段階で書き込み処理を中断し、書き込まれたすべてのデータを読み出して出力する方式を用いているが、第１の実施例と同様に、読出し処理のタイミングに関わらず、書込み処理を連続的に実施するように構成してもよい。
【００８６】
図１６は、上記実施例におけるスキャンコンバータ部１２のデータ読出し動作の手順を示す。なおこの手順においても、前記図９と同様、ラインカウンタＬＣおよびアドレスカウンタＭＣは、初期状態では「０」に設定される。
【００８７】
垂直期間の開始後、ステップ１が「ＹＥＳ」となって最初の水平期間が開始されると、リード／ライト制御部１３は、第１の実施例と同様、カウンタＬＣ，ＭＣを「１」にカウントアップし、フィールドメモリ１４よりカウンタＭＣに対応する第１ライン目の入力画像データＢ１を読み出す（ステップ２〜ステップ４）。読み出された画像データはＤ／Ａ変換され、カウンタＬＣにより特定される１ライン目の表示画像データＣ１として出力される（ステップ５）。
【００８８】
つぎにリード／ライト制御部１３は、前記アドレスカウンタＭＣの値により転送ライン数テーブル１８を検索して、前記読み出された画像データに対応する転送ライン数を読み出す（ステップ６）。図１２の例では、第１の水平期間では、転送ライン数は「２」に設定されているので、ステップ７が「ＮＯ」となってステップ９〜１２の手順へと移行する。これによりつぎの水平期間では、カウンタＭＣが更新されずに、再び第１のエリアの入力画像データＢ１が読み出される。以下同様にして、カウンタＭＣの値が「２５」に達するまで、各入力画像データＢ１〜Ｂ２５が２度ずつ読み出されて出力される。
【００８９】
５１回目の水平期間において、ステップ３でカウンタＭＣが「２６」に更新され、ステップ４，５で入力画像データＢ２６の読出し、出力が実施されると、つぎのステップ６でカウンタＭＣに対応する転送ライン数として「１」が読み出される。これを受けてステップ７が「ＹＥＳ」となり、つぎの水平期間が開始される前に、ステップ８でカウンタＭＣがインクリメントされる。これによりステップ９でつぎの水平期間が開始されると、フィールドメモリ１４より更新されたカウンタＭＣにより特定される２７ライン目の画像データＢ２７が読み出され、５２ライン目の表示画像データＣ２７としてモニタ３に出力される（ステップ１０〜１２）。
【００９０】
以下同様にして、フィールドメモリ１４の各画像データに対し、それぞれそのデータに対応する転送ライン数と同じ回数だけ読み出すことにより、その転送ライン数分の表示画像データが生成されるもので、フィールドメモリ１４のすべての領域に対する読出し処理が完了した時点で前記ラインカウンタＬＣが２００に達し、１フィールド分の表示画像が生成される。これによりステップ１４でカウンタＬＣ，ＭＣがリセットされて１垂直期間が終了する。
【００９１】
なおこの実施例では、制御処理装置２側に撮像装置１と同様の構成の転送ライン数テーブルを設定したが、これに代えて、表示画像側の各水平期間毎にフィールドメモリ１４から画像データを何回分読み出すかを示すテーブルを設定してもよい。
【００９２】
またこの第２の実施例では、撮像装置１がいずれの水平期間で転送ライン数を切り換えるかが既知であることを前提としているが、この切り換え時期が不明な場合には、画像処理部９により自動的に転送ライン数を設定して、その設定データを各転送ライン数テーブルに転送する。具体的には、計測対象物を通常のビデオ規格によるタイミングで撮像し、得られた画像上の計測領域の位置をオペレータが指定するなどして特定し、その特定結果から計測領域と背景の領域とに対し、それぞれ各水平期間毎の転送ライン数を設定することになる。
【００９３】
【発明の効果】
この発明は上記の如く、撮像手段より、複数ライン分の画像データが１ライン分の画像データに変換されて出力されたとき、その画像データを画像出力のタイミングに応じて記憶するとともに、記憶された各画像データを、モニタの表示速度に応じたタイミングにより、前記変換処理されたライン数と同じ回数だけモニタに出力するようにしたから、モニタに、ビデオ規格に応じたライン数分の画像データを、ビデオ規格と同じタイミングで与えることが可能となり、ビデオ規格外の方法で生成された画像をモニタ上で視認することができる。
【００９４】
また、この発明では、２次元撮像素子に結像する原画像中の所定の領域に対応する画像データが１ラインずつ転送される一方、前記領域外の画像データが複数ラインずつ転送されるように、各水平期間毎の転送ライン数を設定したから、画像の取り込み速度を高速化しつつ、計測対象物については、本来と同様の解像度による画像データを取得することができる。よって、従来と同様の精度の画像処理を時間を短縮して実行しつつ、計測対象物の画像の目視確認や各種設定処理を支障なく実行することができる。
【図面の簡単な説明】
【図１】この発明の一実施例にかかる画像処理装置の構成を示すブロック図である。
【図２】転送ライン数信号のデータ構成を示す説明図である。
【図３】転送パルス発生部内の第２の転送パルスＴＰ２の発生にかかる構成を示すブロック図である。
【図４】図１の撮像装置により各水平ライン毎に２ライン分の映像信号を出力する場合の動作を示すタイミングチャートである。
【図５】図４の動作により得られる２次元画像のデータ構成を示す説明図である。
【図６】スキャンコンバータ部の詳細な構成を示すブロック図である。
【図７】原画像，図４の動作により得られる入力画像，表示画像の各画像について、データの対応関係を示す説明図である。
【図８】フィールドメモリに対する書込み動作と読出し動作とを示すタイミングチャートである。
【図９】図８の読出し動作の手順を示すフローチャートである。
【図１０】原画像における計測領域と背景の領域との設定例を示す説明図である。
【図１１】画像処理装置の第２の構成を示すブロック図である。
【図１２】転送ライン数テーブルの構成例を示す説明図である。
【図１３】図１２の転送ライン数テーブルに基づき映像信号を出力する場合の動作を示すタイミングチャートである。
【図１４】原画像，図１３の動作タイミングにより得られた入力画像，表示画像の各画像間でのデータの対応関係を示す説明図である。
【図１５】フィールドメモリに対する書込み動作と読出し動作とを示すタイミングチャートである。
【図１６】図１５の読出し動作の手順を示すフローチャートである。
【図１７】インターライン転送方式のＣＣＤ撮像素子の概略構成を示すブロック図である。
【図１８】従来のＣＣＤ撮像素子の制御動作を示すタイミングチャートである。
【図１９】図１５の動作により得られる２次元画像のデータ構成を示す説明図である。
【符号の説明】
１撮像装置
２制御処理装置
３モニタ
４ＣＣＤ撮像素子
５転送パルス発生部
９画像処理部
１１表示タイミング発生部
１２スキャンコンバータ部
１４フィールドメモリ
１７，１８転送ラインテーブル

Claims

２次元撮像素子と、この２次元撮像素子を、１垂直期間中の各水平期間毎に、それぞれあらかじめ設定された数のライン分の画像データを１ライン分の画像データに変換して出力するように駆動する駆動手段とを具備する撮像手段が出力した画像データを取り込んで、モニタに表示するための方法であって、
前記２次元撮像素子に結像する原画像中の所定の領域に対応する画像データが１ラインずつ転送される一方、前記領域外の画像データが複数ラインずつ転送されるように、各水平期間毎の転送ライン数を設定しておき、
前記撮像手段より各水平期間毎に出力された画像データをそのデータ出力速度に応じたタイミングで順次メモリに記憶するとともに、前記メモリ内の各画像データを、それぞれそのデータに対応する転送ライン数と同じ回数だけ読み出してモニタに出力する処理を、前記モニタの画像表示速度に応じたタイミングで順に実行することを特徴とする画像表示方法。
２次元撮像素子と、この２次元撮像素子を、１垂直期間中の各水平期間毎に、それぞれあらかじめ設定された数のライン分の画像データを１ライン分の画像データに変換して出力するように駆動する駆動手段とを具備する撮像手段が出力した画像データを取り込んで、モニタに表示する画像表示装置であって、
前記２次元撮像素子に結像する原画像中の所定の領域に対応する画像データが１ラインずつ転送される一方、前記領域外の画像データが複数ラインずつ転送されるように、各水平期間毎の転送ライン数を設定する設定手段と、
前記設定手段により設定された各水平期間毎の転送ライン数を前記撮像手段に転送する転送手段と、
前記撮像手段から出力された各水平期間毎の画像データを順次記憶するための第１のメモリと、
前記設定手段により設定された各水平期間毎の転送ライン数を記憶する第２のメモリと、
前記各水平期間毎の画像データを撮像手段の出力速度に応じたタイミングで前記第１のメモリに記憶させる画像データ書込み手段と、
前記第１のメモリに記憶された各画像データを、それぞれ第２のメモリ内の対応する転送ライン数と同じ回数だけ読み出してモニタに出力する処理を、前記モニタの画像表示速度に応じたタイミングで順に実行する画像データ出力手段とを具備して成る画像表示装置。
２次元撮像素子と、この２次元撮像素子を、１垂直期間中の各水平期間毎に、それぞれあらかじめ設定された数のライン分の画像データを１ライン分の画像データに変換して出力するように駆動する駆動手段とを具備する撮像手段と、前記撮像手段より出力された画像データを取り込んで所定の計測処理を実施する画像処理手段と、前記撮像手段からの画像データを表示するためのモニタとから成る画像処理装置であって、
前記画像処理手段は、
前記２次元撮像素子に結像する原画像中の所定の領域に対応する画像データが１ラインずつ転送される一方、前記領域外の画像データが複数ラインずつ転送されるように、各水平期間毎の転送ライン数を設定する設定手段と、
前記設定手段により設定された各水平期間毎の転送ライン数を前記撮像手段に転送する転送手段と、
前記撮像手段から出力された各水平期間毎の画像データを順次記憶するための第１のメモリと、
前記設定手段により設定された各水平期間毎の転送ライン数を記憶する第２のメモリと、
前記各水平期間毎の画像データを撮像手段の出力速度に応じたタイミングで前記第１のメモリに記憶させる画像データ書込み手段と、
前記第１のメモリに記憶された各画像データを、それぞれ第２のメモリ内の対応する転送ライン数と同じ回数だけ読み出してモニタに出力する処理を、前記モニタの画像表示速度に応じたタイミングで順に実行する画像データ出力手段とを具備して成る画像処理装置。