JP5932376B2 - 画像転送方法および画像転送装置 - Google Patents

画像転送方法および画像転送装置 Download PDF

Info

Publication number
JP5932376B2
JP5932376B2 JP2012024829A JP2012024829A JP5932376B2 JP 5932376 B2 JP5932376 B2 JP 5932376B2 JP 2012024829 A JP2012024829 A JP 2012024829A JP 2012024829 A JP2012024829 A JP 2012024829A JP 5932376 B2 JP5932376 B2 JP 5932376B2
Authority
JP
Japan
Prior art keywords
region
interest
expanded
output
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012024829A
Other languages
English (en)
Other versions
JP2013162443A (ja
Inventor
篤規 平野
篤規 平野
重元 廣田
重元 廣田
泰弘 山下
泰弘 山下
伸夫 長坂
伸夫 長坂
神藤 高広
高広 神藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Machine Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Machine Manufacturing Co Ltd filed Critical Fuji Machine Manufacturing Co Ltd
Priority to JP2012024829A priority Critical patent/JP5932376B2/ja
Priority to CN201380008434.XA priority patent/CN104106258B/zh
Priority to PCT/JP2013/051863 priority patent/WO2013118610A1/ja
Priority to US14/376,756 priority patent/US20140347466A1/en
Priority to EP13746822.9A priority patent/EP2814237B1/en
Publication of JP2013162443A publication Critical patent/JP2013162443A/ja
Application granted granted Critical
Publication of JP5932376B2 publication Critical patent/JP5932376B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K1/00Printed circuits
    • H05K1/02Details
    • H05K1/0266Marks, test patterns or identification means
    • H05K1/0269Marks, test patterns or identification means for visual or optical inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、イメージセンサから画像データを転送する画像転送方法および画像転送装置に関し、より詳細には、撮像領域内に設定された関心領域の画像データを転送する方法および装置に関する。
多数の電子部品が実装された基板を生産する基板生産装置として、はんだ印刷装置、部品実装装置、リフロー装置、基板検査装置などがあり、これらを基板搬送装置で連結して基板生産ラインを構築する場合が多い。これらの基板生産装置の多くは、基板に付与された各種のマークやコードを認識したり、基板や部品の状態を検査したりするために、カメラを備えている。カメラは、二次元配置された撮像素子(Pixel Array)を有して各撮像素子の画素データをディジタル変換して出力するイメージセンサを備え、高速で画像を転送するのが一般的である。特に、基板生産ラインでは、撮像した画像の状況を判定して次に基板に施す処理内容が変化するので、画像の高速転送は生産効率向上の重要なファクターとなっている。また、カメラの撮像領域の全体の画像データを必要としない場合が多いので、関心領域を設定して一部の画像データのみを転送して転送データ量を削減し、一層の高速化を図ることも試みられている。
この種の関心領域を設定して画像データを出力する撮像装置(カメラ)の一技術例が特許文献1に開示されている。特許文献1の撮像装置は、設定した領域(関心領域)の領域数を格納した自己情報格納部と、使用する領域を設定する領域情報を格納した使用領域設定部と、外部からの指令に応じて領域情報を変更・修正制御する第1および第2の応答手段と、領域情報で設定されている画像データをIEEE(米国電気電子技術者学会)の規格に基づいて出力する手段とを具備している。さらに、請求項2以降には、具体的な手段としてパケット通信を用いた各種手段が開示されている。これにより、被写体を撮像する領域を複数有するも、使い勝手を向上できる、と記載されている。
特開2006−109001号公報
ところで、特許文献1の撮像装置によれば、撮像領域内の一部分の領域の画像データをパケット単位で出力でき、パケット単位未満の出力はできない。したがって、領域をパケット単位未満で設定できず、所望する任意の関心領域を設定するときの操作性が低下する(使い勝手がよくない)。また、パケット単位で出力された画像データを記憶装置に一度記憶させ、次いで関心領域の画像データに変換する必要が生じて手間取る。このため、特許文献1の撮像装置を用いた基板生産ラインでは、生産効率が向上しない。
また、特許文献1には、複数の関心領域が重なっている場合の具体的な出力方法が開示されていない。通常、撮像素子にはCMOS素子やCCD素子などが用いられており、画素データは1回出力すると消失する。したがって、重なっている2つの関心領域の画素データを別々に出力すると、後から出力する関心領域では重なっている部分の画素データが既に消失していて、正しい画像が得られない。また、仮に撮像素子で2回以上の出力が可能であったとしても、重なっている部分を2回出力することは非効率であり、その分だけ出力所要時間が延びる。
本発明は、上記背景技術の問題点に鑑みてなされたもので、イメージセンサの撮像領域内に転送対象となる関心領域を任意に設定でき、かつ複数の関心領域が重なる場合にも適合して、転送所要時間を短縮できる画像転送方法および画像転送装置を提供することを解決すべき課題とする。
上記課題を解決する請求項1に係る画像転送方法の発明は、多数の撮像素子を用いて被写体の撮像領域を撮像し、各前記撮像素子で得られる画素データを一定数ずつデータブロックにまとめ、データブロックごとに出力するイメージセンサからの画像転送方法であって、前記一定数未満の単位を用いて前記撮像領域内に転送対象となる関心領域を設定する転送領域設定ステップと、前記関心領域を拡張して前記データブロックを一単位として表される拡張関心領域を求めるとともに、前記関心領域から前記拡張関心領域への拡張範囲を求める領域拡張ステップと、前記イメージセンサで撮像を行い、前記撮像領域を撮像した各前記撮像素子で前記画素データを得て、前記拡張関心領域に含まれる画素データを前記データブロックにまとめる撮像ステップと、前記イメージセンサから前記拡張関心領域に含まれるデータブロックを出力する出力ステップと、出力されたデータブロックから前記拡張範囲の画素データを消去して前記関心領域の画像を得る拡張範囲消去ステップと、を有する。
請求項2に係る発明は、請求項1において、前記転送領域設定ステップで複数個の関心領域を設定して前記領域拡張ステップで求めた複数個の拡張関心領域の一部が重なった場合に、前記領域拡張ステップに続き、前記複数個の拡張関心領域を重なりの無い非重複領域に変換する領域最適化ステップをさらに有し、前記出力ステップで、前記拡張関心領域に代えて前記非重複領域に含まれるデータブロックを出力する。
請求項3に係る発明は、請求項1において、前記イメージセンサは、前記多数の撮像素子をX−Y直交座標軸上のX軸方向に直線状に複数個配置するとともにY軸方向に複数列配置して二次元配置とし、X軸方向に直線状に配置された複数個の撮像素子を前記一定数ごとに区分してブロック素子群とし、前記ブロック素子群の画素データを前記データブロックとしており、前記転送領域設定ステップで、X軸およびY軸に平行な矩形の関心領域を設定し、前記領域拡張ステップで、前記矩形の関心領域をX軸方向に拡張して矩形の拡張関心領域を求め、前記出力ステップで、まず出力対象となる撮像素子のY軸座標値を前記拡張関心領域の最小値に固定し、X軸座標値を前記拡張関心領域の最小値および最大値の一方から他方まで変化させて第1列のデータブロックを出力し、次に前記出力対象となる撮像素子のY軸座標値を1撮像素子分だけ増加させて固定し、X軸座標値を前記拡張関心領域の最小値および最大値の一方から他方まで変化させて第2列のデータブロックを出力し、さらに前記出力対象となる撮像素子のY軸座標値が前記拡張関心領域の最大値になるまで各列のデータブロックの出力を繰返すことにより、前記矩形の拡張関心領域に含まれる全てのデータブロックを出力する。
請求項4に係る発明は、請求項3において、前記転送領域設定ステップで複数個の矩形の関心領域を設定して前記領域拡張ステップで求めた複数個の矩形の拡張関心領域の一部が重なった場合に、前記領域拡張ステップに続き、前記複数個の矩形の拡張関心領域を、重なりが無くかつX軸方向に続いていない矩形の非重複領域に変換する領域最適化ステップをさらに有し、前記出力ステップで、前記矩形の拡張関心領域に代えて前記矩形の非重複領域に含まれる全てのデータブロックを出力する。
請求項5に係る発明は、請求項4において、前記領域最適化ステップは、前記複数個の矩形の拡張関心領域の境界を示す全てのX軸座標値およびY軸座標値を用いて、前記撮像領域を格子状の複数の小領域に細分する領域細分サブステップと、各小領域を前記拡張関心領域内の必要小領域と、前記拡張関心領域外の不要小領域とに分類する領域分類サブステップと、X軸方向に続いている複数の必要小領域を連結して新たな必要小領域に置換するX軸方向連結サブステップと、Y軸方向に続いておりかつ境界を示すX軸座標値が同じである複数の必要小領域を連結して新たな必要小領域に置換するY軸方向連結サブステップと、X軸方向連結サブステップおよびY軸方向連結サブステップが終了した後の必要小領域を前記矩形の非重複領域とする領域確定サブステップと、を有する。
上記課題を解決する請求項6に係る画像転送装置の発明は、多数の撮像素子を用いて被写体の撮像領域を撮像し、各前記撮像素子で得られる画素データを一定数ずつデータブロックにまとめ、データブロックごとに出力するイメージセンサと、前記撮像領域を撮像した多数の撮像素子で得られる多数の前記画素データについて、前記一定数未満の単位を用いて前記撮像領域内に転送対象となる関心領域を設定する転送領域設定手段と、前記関心領域を拡張して前記データブロックを一単位として表される拡張関心領域を求めるとともに、前記関心領域から前記拡張関心領域への拡張範囲を求める領域拡張手段と、前記イメージセンサから前記拡張関心領域に含まれるデータブロックを出力する出力手段と、出力されたデータブロックから前記拡張範囲の画素データを消去して前記関心領域の画像を得る拡張範囲消去手段と、を有する。
請求項7に係る発明は、請求項6において、前記転送領域設定手段で複数個の関心領域を設定して、前記領域拡張手段で求めた複数個の拡張関心領域の一部が重なった場合に、前記領域拡張手段に続いて動作し、前記複数個の拡張関心領域を重なりの無い非重複領域に変換する領域最適化手段をさらに有し、前記出力手段は、前記拡張関心領域に代えて前記非重複領域に含まれるデータブロックを出力する。
請求項8に係る発明は、請求項6において、前記イメージセンサは、X−Y直交座標軸上のX軸方向に直線状に複数個配置されるとともにY軸方向に複数列配置されて二次元配置とされた多数の撮像素子と、X軸方向に直線状に配置された複数個の撮像素子を前記一定数ごとに区分したブロック素子群を切り替えて選択するマルチプレクサ部と、マルチプレクサ部で選択したブロック素子群の各画像素子の画素データをそれぞれディジタル化する一定数に等しい個数のAD変換器とを備え、前記転送領域設定手段は、X軸およびY軸に平行な矩形の関心領域を設定し、前記領域拡張手段は、前記矩形の関心領域をX軸方向に拡張して矩形の拡張関心領域を求め、前記出力手段は、まず出力対象となる撮像素子のY軸座標値を前記拡張関心領域の最小値に固定し、第1列のブロック素子群の各画像素子の画素データを前記AD変換器でディジタル化して出力し、次に前記出力対象となる撮像素子のY軸座標値を1撮像素子分だけ増加させて固定し、第2列のブロック素子群の各画像素子の画素データを前記AD変換器でディジタル化して出力し、さらに前記出力対象となる撮像素子のY軸座標値が前記拡張関心領域の最大値になるまで各列のブロック素子群の各画像素子の画素データの出力を繰返すことにより、前記矩形の拡張関心領域に含まれる全てのデータブロックを出力する。
請求項9に係る発明は、請求項8において、前記転送領域設定手段で複数個の矩形の関心領域を設定して、前記領域拡張手段で求めた複数個の矩形の拡張関心領域の一部が重なった場合に、前記領域拡張手段に続いて動作し、前記複数個の矩形の拡張関心領域を、重なりが無くかつX軸方向に続いていない矩形の非重複領域に変換する領域最適化手段をさらに有し、前記出力手段は、前記矩形の拡張関心領域に代えて前記矩形の非重複領域に含まれる全てのデータブロックを出力する。
請求項10に係る発明は、請求項6〜9のいずれか一項において、前記拡張範囲消去手段がフィールドプログラマブルゲートアレイ(Field-Programmable Gate Array)を用いて構成されている。
請求項1に係る画像転送方法の発明では、一定数未満の単位を用いて関心領域を設定でき、このとき拡張関心領域を求めてイメージセンサから拡張関心領域に含まれるデータブロックを出力し、出力されたデータブロックから拡張範囲の画素データを消去して関心領域の画像を得ることができる。したがって、データブロックの一定数を意識せずに関心領域を任意に設定できる。また、出力されるデータブロックは必要最小限とされるので、撮像領域全体の画素データを転送する場合よりも転送所要時間を短縮できる。
請求項2に係る発明では、複数個の拡張関心領域の一部が重なった場合に、重なりの無い非重複領域に変換し、非重複領域に含まれるデータブロックを出力する。したがって、複数個の拡張関心領域に対して過不足のないデータブロックを出力し、複数個の関心領域の正確な画像を得ることができるとともに、転送所要時間を短縮できる。
請求項3に係る発明では、イメージセンサは、多数の撮像素子をX−Y直交座標軸上に二次元配置しており、矩形の関心領域を設定して、X軸方向に拡張した拡張関心領域を求め、拡張関心領域に含まれる全てのデータブロックを出力する。したがって、実用的な直交二次元の撮像領域内に矩形の関心領域を任意に設定でき、また、必要最小限のデータブロックの画素データを転送するので転送所要時間を短縮でき、実用的効果が大きい。
請求項4に係る発明では、実用的な直交二次元の撮像領域内で複数個の矩形の関心領域が重なった場合に、重なりの無い矩形の非重複領域に変換し、非重複領域に含まれるデータブロックを出力する。したがって、過不足のないデータブロックを出力し、複数個の関心領域の正確な画像を得ることができるとともに、転送所要時間を短縮でき、実用的効果が大きい。
請求項5に係る発明では、領域最適化ステップは、5つのサブステップを有して、重なりの有る複数個の矩形の拡張関心領域を重なりが無くかつX軸方向に続いていない矩形の非重複領域に変換する。これにより得られる非重複領域の領域数は最小となって最適化されるので、不必要に領域を細分することなくデータブロックを出力でき、転送制御が簡潔となって転送所要時間を短縮できる。
請求項6に係る画像転送装置の発明では、イメージセンサ、転送領域設定手段、領域拡張手段、出力手段、および拡張範囲消去手段で画像転送装置を構成するので、一定数未満の単位を用いて関心領域を設定でき、このとき拡張関心領域を求めてイメージセンサから拡張関心領域に含まれるデータブロックを出力し、出力されたデータブロックから拡張範囲の画素データを消去して関心領域の画像を得ることができる。したがって、データブロックの一定数を意識せずに関心領域を任意に設定できる。また、出力されるデータブロックは必要最小限とされるので、撮像領域全体の画素データを転送する場合よりも転送所要時間を短縮できる。本発明は、方法としても装置としても実施することができる。
請求項7に係る発明では、複数個の拡張関心領域の一部が重なった場合に、重なりの無い非重複領域に変換し、非重複領域に含まれるデータブロックを出力する。したがって、複数個の拡張関心領域に対して過不足のないデータブロックを出力し、複数個の関心領域の正確な画像を得ることができるとともに、転送所要時間を短縮できる。
請求項8に係る発明では、イメージセンサは、多数の撮像素子をX−Y直交座標軸上に二次元配置しており、矩形の関心領域を設定して、X軸方向に拡張した拡張関心領域を求め、拡張関心領域に含まれる全てのデータブロックを出力する。したがって、実用的な直交二次元の撮像領域内に矩形の関心領域を任意に設定でき、また、必要最小限のデータブロックの画素データを転送するので転送所要時間を短縮でき、実用的効果が大きい。
請求項9に係る発明では、実用的な直交二次元の撮像領域内で複数個の矩形の関心領域が重なった場合に、重なりの無い矩形の非重複領域に変換し、非重複領域に含まれるデータブロックを出力する。したがって、過不足のないデータブロックを出力し、複数個の関心領域の正確な画像を得ることができるとともに、転送所要時間を短縮でき、実用的効果が大きい。
請求項10に係る発明では、拡張範囲消去手段がフィールドプログラマブルゲートアレイを用いて構成されている。フィールドプログラマブルゲートアレイは、転送途中において、拡張範囲を含まないデータブロックをスルーし、拡張範囲を含むデータブロックの拡張範囲の画素データのみを消去する。これに対して従来技術では、データブロックの全画素データをメモリ装置に転送した後に、拡張範囲の画素データを消去するソフトウェア処理を実施していた。したがって、本態様によれば、拡張範囲の画素データを消去するためにソフトウェア処理などの余分な時間を要せず、転送所要時間を短縮できる。
実施形態の画像転送装置に用いるイメージセンサのハードウェア構成図である。 実施形態の画像転送装置の全体機能構成を示すブロック図である。 (1)は関心領域の設定方法および拡張関心領域の求め方を説明する図であり、(2)は画素データの出力順序を説明する図である。 実施形態の画像転送方法を説明するフローチャートの図である。 複数の関心領域の設定を説明する図であり、(1)は複数の拡張関心領域が重ならない場合、(2)は複数の拡張関心領域が重なっている場合、(3)は(2)を重なりの無い非重複領域に変換した場合を示している。 領域最適化ステップの詳細なサブステップを説明するフローチャートの図である。 領域最適化ステップを開始する以前の4つの拡張関心領域を例示した図である。 領域細分化サブステップおよび領域分類サブステップを実施した後の必要小領域を例示した図である。 X軸方向連結サブステップを実施した後の必要小領域を例示した図である。 領域確定サブステップを実施した後の非重複領域を例示した図である。
本発明の実施形態の画像転送装置1および画像転送方法について、図1〜図10を参考にして説明する。図1は、実施形態の画像転送装置1に用いるイメージセンサ2のハードウェア構成図である。イメージセンサ2は、ピクセルアレイ21、X軸走査回路22、Y軸走査回路23、前処理部24、AD変換器25およびブロック化出力部26などで構成されている。
ピクセルアレイ21は、撮像素子211がX−Y直交座標軸上のX軸方向に直線状にNx個配置されるとともにY軸方向にNy列配置されて二次元配置とされている。図1には、X軸方向の3個目までY軸方向の第3列までの撮像素子211が例示されており、撮像素子211は全部で(Nx・Ny)個ある。撮像素子211には、例えば濃淡検出用のCMOS素子を用い、アナログ量の画素データを得ることができる。なお、撮像素子211は。CCD素子など他の方式の素子を用いてもよい。
X軸走査回路22はピクセルアレイ21中のX軸方向の座標値(X軸座標値)を選択制御して、撮像素子211からの画素データの送出を切り替える。Y軸走査回路23はピクセルアレイ21中のY軸方向の座標値(Y軸座標値)を選択制御して、撮像素子211の列を切り替える。これにより、特定の撮像素子211のみから画素データが前処理部24に送出される。前処理部24は、画素データを増幅してAD変換器25に送出する。また、前処理部24では、ゲイン調整およびオフセット調整が行えるようになっている。
AD変換器25は、アナログ量の画素データを例えば10ビットのディジタル信号に変換してブロック化出力部26に送出する。これに限定されず、AD変換器25は10ビットと異なる分解能を有していてもよい。ブロック化出力部26は、ディジタル信号を一定数のK個ずつデータブロックにまとめ、データブロックごとに出力する。したがって、ブロック化出力部26は、特定の撮像素子211だけを指定してその画素データのみを出力することはできず、一定数K(K個)の撮像素子221をまとまりとしたデータブロック単位での出力を行う。
イメージセンサ2のX軸走査回路22、Y軸走査回路23、AD変換器25、およびブロック化出力部26の動作を制御するために、センサ2内に図略の制御部が設けられている。制御部は、外部からの指令に基づいて、データブロック単位で画素データを順次出力するように制御する。
例えば、外部からの指令で撮像領域全体すなわち全ての撮像素子211が出力対象とされた場合、制御部は、まずY軸走査回路23のY軸座標値を最小値の第1列に固定し、X軸座標値を1番目からK番目まで順次増加させ、Y軸座標値の第1列の最初のK個の撮像素子221の画素データを順次前処理部24に送出する。これにより、前処理部24およびAD変換器25が順次動作してK個のディジタル信号を送出し、次いでブロック化出力部26が動作し最初のデータブロックをまとめ、画像データとして出力する。次に、制御部は、X軸座標値を(K+1)番目から(2K)番目まで順次増加させ、2ブロックめのK個の撮像素子221の画素データを順次前処理部24に送出する。これにより、前処理部24およびAD変換器25が動作してK個のディジタル信号を送出し、次いでブロック化出力部26が動作し2ブロックめのデータブロックをまとめ、画像データとして出力する。
これを繰返して、Y軸座標値の第1列のNx個の全ての画素データの出力が終了すると、制御部は、次にY軸座標値を1撮像素子分だけ増加させて第2列に固定する。そして、X軸座標値を1番目からK番目までに戻してブロック化出力部26からの出力を行い、次いで、X軸座標値を(K+1)番目から(2K)番目までに変更してブロック化出力部26からの出力を行い、以下は順次X軸座標値を増加させて出力を行う。さらに、Y軸座標値の第3列以降も、第1および第2列と同様の動作を繰り返すことにより、Y軸座標値の最大値である第Ny列までの出力を行う。
実施形態の画像転送装置1および画像転送方法においては、イメージセンサ2の撮像領域全体の画像データを必要としない場合に、関心領域を設定して画像データの一部のみを転送する。図2は、実施形態の画像転送装置1の全体機能構成を示すブロック図である。図2に示されるように、画像転送装置1は、イメージセンサ2、転送領域設定手段3、領域拡張手段4、領域記憶設定手段5、拡張範囲消去手段(FPGA)6、および領域最適化手段7などで構成されており、外部記憶装置などの転送先に関心領域の画像を転送する。また、図3の(1)は関心領域の設定方法および拡張関心領域の求め方を説明する図であり、(2)は画素データの出力順序を説明する図である。
転送領域設定手段3は、撮像領域を撮像した多数の撮像素子211で得られる多数の画素データについて、一定数K未満の単位を用いて撮像領域内に転送対象となる関心領域RIを設定する手段である。関心領域RIは、撮像素子211の1個単位で設定でき、具体的にはX軸方向の座標値で示される任意の始点境界値XS1および終点境界値XE1(1≦XS1≦XE1≦Nx)、ならびにY軸方向の座標値で示される任意の始点境界値YS1および終点境界値YE1(1≦YS1≦YE1≦Ny)を設定する。したがって、関心領域RIは、X軸およびY軸に平行し、かつ境界を含んだ矩形になる。転送領域設定手段3は、例えば、イメージセンサ2とは別体の上位装置がその役割を担い、領域拡張手段4に関心領域を指令する。
領域拡張手段4は、矩形の関心領域RIをX軸方向に拡張して矩形の拡張関心領域REを求める。図3の(1)に示されるように、領域拡張手段4は、関心領域RIのX軸方向の始点境界値XS1および終点境界値XE1がデータブロックの境界と一致しないときに、関心領域RIを拡張してデータブロックの境界に一致させ、拡張関心領域REの始点境界値xs1および終点境界値xe1を求める。これにより、イメージセンサ2からデータブロック単位未満の出力を無くすことができる。
ここで、
始点境界値xs1=K・ks+1=XS1−Exs
終点境界値xe1=K・ke =XE1+Exe
(ただし、ksとkeは整数、Exs<K、Exe<K)
つまり、始点境界値xs1は、一定数Kの倍数に1を加算した値であって、かつ関心領域の始点境界値XS1よりも始点側拡張範囲Exs分だけ小さい側に拡げた値となる。また、終点境界値xe1は、一定数Kの倍数の値であって、かつ関心領域の終点境界値XE1よりも終点側拡張範囲Exe分だけ大きい側に拡げた値となる。領域拡張手段4は、例えば、イメージセンサ2と一体的に配置される図略の制御部のソフトウェアによって実現することができる。なお、Y軸方向に関しては1列ごとの出力となるため、関心領域RIを拡げる必要はなく、拡張関心領域REの設定では当初に設定された始点境界値YS1および終点境界値YE1を用いる。
領域記憶設定手段5は、前述した拡張関心領域のX軸方向の始点境界値xs1および終点境界値xe1、ならびに始点側拡張範囲Exsおよび終点側拡張範囲Exe、さらにはY軸方向の始点境界値YS1および終点境界値YE1を記憶し、これらをイメージセンサ2および拡張範囲消去手段6に設定する。領域記憶設定手段5は、例えば、イメージセンサ2と一体的に配置される図略の制御部のソフトウェアおよびメモリ部によって実現することができる。
イメージセンサ2は、撮像を行った後に、領域記憶設定手段5から設定された始点境界値xs1および終点境界値xe1と始点境界値YS1および終点境界値YE1とに基づいて、拡張関心領域REに含まれるデータブロックを順番に出力する。具体的には、図3の(2)に示されるように、まずY軸座標値を拡張関心領域REの最小値である始点境界値YS1に固定し、X軸座標値を拡張関心領域の最小値である始点境界値xs1から最大値である終点境界値xe1まで変化させ、第1列の4つのデータブロック(図中のDB1〜DB4)を順番に出力する。次に、Y軸座標値を1撮像素子分だけ増加させた座標値(YS1+1)に固定し、第2列の4つのデータブロック(図中のDB5〜DB8)を順番に出力する。さらに、各列のデータブロックの出力を繰返し、Y軸座標値が最大値である終点境界値YE1の最後のデータブロック(図中のDBlast)までを出力する。したがって、イメージセンサ2および領域記憶指令手段5の協働により、本発明の出力手段が実現されている。
拡張範囲消去手段6は、出力されたデータブロックから拡張範囲の画素データを消去して関心領域RIの画像を得る。拡張範囲消去手段6は、フィールドプログラマブルゲートアレイ(FPGA)を用いて構成されている。フィールドプログラマブルゲートアレイは、プログラマブルロジックデバイスの一種であり、領域記憶設定手段5からの設定に基づいて動作する。すなわち、フィールドプログラマブルゲートアレイは、データブロックの転送途中において、始点側拡張範囲Exsおよび終点側拡張範囲Exeを含まないデータブロックをそのままスルー(通過)させ、始点側拡張範囲Exsおよび終点側拡張範囲Exeを含むデータブロックの拡張範囲Exs、Exeの画素データのみを消去する。これにより、転送先に転送される画像データは関心領域RIに限定され、設定された関心領域RIに対して過不足のない画像が得られる。
領域最適化手段7は、領域拡張手段4に一体的に組み込まれている。領域最適化手段7は、転送領域設定手段3で複数個の関心領域を設定して、領域拡張手段4で求めた複数個の拡張関心領域の一部が重なった場合に、領域拡張手段4に続いて動作し、複数個の拡張関心領域を重なりの無い非重複領域に変換する。この場合、領域記憶設定手段5は、拡張関心領域に代えて非重複領域を記憶および設定する。領域最適化手段7の機能に関しては、後で動作の説明に合わせて詳述する。
次に、実施形態の画像転送装置1による画像転送動作、すなわち実施形態の画像転送方法について説明する。図4は、実施形態の画像転送方法を説明するフローチャートの図である。図4の転送領域設定ステップS1で、転送領域設定手段3は、撮像素子211の一定数K未満の単位を用いて撮像領域内に転送対象となる関心領域RIを設定する。具体的には、関心領域のX軸方向の始点境界値XS1および終点境界値XE1、ならびY軸方向の始点境界値YS1および終点境界値YE1を設定する。図5は、複数の関心領域の設定を説明する図であり、(1)は複数の拡張関心領域RE1、RE2が重ならない場合、(2)は複数の拡張関心領域RD1、RD2が重なっている場合、(3)は(2)を重なりの無い非重複領域RN1、RN2、RN3に変換した場合を示している。複数の関心領域を設定する場合は、それぞれの関心領域について4つの境界値XS1、XE1、YS1、YE1を設定する。
次の領域拡張ステップS2で、領域拡張手段4は、関心領域を拡張してデータブロックを一単位として表される拡張関心領域を求めるとともに、関心領域から拡張関心領域への拡張範囲を求める。具体的には、拡張関心領域の始点境界値xs1および終点境界値xe1、ならびに始点側拡張範囲Exsおよび終点側拡張範囲Exeを求め、Y軸方向の始点境界値YS1および終点境界値YE1とともに領域記憶設定手段5に記憶する。
次にステップS3で、拡張関心領域の重なりが有るか否かを判定する。図3の(1)に例示される関心領域RIが1つの場合、および図5の(1)に例示される複数の拡張関心領域RE1、RE2が重ならない場合には、次の領域最適化ステップS4は不要であり、領域設定ステップS5に進む。
次の領域設定ステップS5で、領域記憶設定手段5は、1つまたは重なっていない複数の拡張関心領域RE1、RE2のX軸方向の始点境界値xs1および終点境界値xe1、ならびに始点側拡張範囲Exsおよび終点側拡張範囲Exe、さらにはY軸方向の始点境界値YS1および終点境界値YE1をイメージセンサ2および拡張範囲消去手段6に設定する。これで、撮像および画像データ転送を行うための準備が整う。
次の撮像ステップS6で、イメージセンサ2は撮像を行い、撮像領域を撮像した各撮像素子221で画素データを得る。そして、ブロック化出力部26で、拡張関心領域RE、RE1、RE2に含まれる画素データをデータブロックにまとめる。次の出力ステップS7で、イメージセンサ2は、ブロック化出力部26から順番にデータブロックを出力する。撮像ステップS6で画素データをデータブロックにまとめる動作、ならびに出力ステップS7でデータブロックを出力する動作は、拡張関心領域RE、RE1、RE2のデータブロックのブロック数だけ繰返される。
次の拡張範囲消去ステップS8で、拡張範囲消去手段6は、転送途中のデータブロックから始点側拡張範囲Exsおよび終点側拡張範囲Exeの画素データを消去する。これにより、転送先では関心領域の画像が得られる。次に、ステップS9で関心領域RIが変更されたか否かを判定し、変更された場合は転送領域設定ステップS1に戻る。また、変更されていない場合は撮像ステップS6に戻り、連続的に次の撮像を行うことができる。
次に、2つ拡張関心領域RD1、RD2が重なっている場合の実施形態の画像転送装置1による画像転送動作、すなわち実施形態の画像転送方法について説明する。2つ拡張関心領域RD1、RD2が重なっている場合にも、図4のフローチャートにしたがって動作し、領域最適化ステップS4を行う点が異なる。図5の(2)に例示されるように、転送領域設定ステップS1で設定された2つの関心領域を領域拡張ステップS2で拡張し、第1拡張関心領域RD1の境界値xs1、xe1、ys1、ye1、および第2拡張関心領域RD2の境界値xs2、xe2、ys2、ye2が得られた場合を想定する。このとき、X軸方向の境界値の大小関係は、xs1<xs2<xe1<xe2であり、Y軸方向の境界値の大小関係は、ys1<ys2<ye1<ye2となっている。つまり、X軸方向のxs2〜xe1の範囲、およびY軸方向のys2〜ye1の範囲で2つの拡張関心領域が重なっている(図中にハッチングを付して表示)。
ここで、第1および第2拡張関心領域RD1、RD2の画素データをこの順番で別々に出力すると、後から出力する第2拡張関心領域RD2では重なっている部分の画素データが既に消失していて、正しい画像が得られない。したがって、領域最適化ステップS4で、領域最適化手段7は、第1および第2拡張関心領域RD1、RD2を、図5の(3)に示される重なりの無い3つの非重複領域RN1、RN2、RN3に変換する。この例では、第1非重複領域RN1の境界値xs1、xe1、ys1、ys2、第2非重複領域RN2の境界値xs1、xe2、ys2、ye1、第3非重複領域RN3の境界値xs2、xe2、ye1、ye2となる。
上述の場合は比較的容易に非重複領域RN1〜RN3を求められるが、基になる関心領域の領域数が増加した場合にも適合する領域最適化ステップS4(領域最適化手段7)の一般的方法について以下に説明する。図6は、領域最適化ステップS4の詳細なサブステップを説明するフローチャートの図である。また、図7は領域最適化ステップS4を開始する以前の4つの拡張関心領域Rd1〜Rd4を例示し、図8は領域細分化サブステップSs1および領域分類サブステップSs2を実施した後の必要小領域を例示している。さらに、図9はX軸方向連結サブステップSs3を実施した後の必要小領域を例示し、図10は領域確定サブステップSs5を実施した後の非重複領域Rn1〜Rn6を例示している。
まず、4つの関心領域が設定されて、4つの拡張関心領域Rd1〜Rd4に拡げられ、それぞれの境界値が図7に例示されるように下記の値であった場合を想定する。
第1拡張関心領域Rd1の境界値xs1、xe1、ys1、ye1
第2拡張関心領域Rd2の境界値xs2、xe2、ys2、ye2
第3拡張関心領域Rd3の境界値xs3、xe3、ys3、ye3
第4拡張関心領域Rd4の境界値xs4、xe4、ys4、ye4
ただし、
xs1<xs2<xe1<xs4<xs3<xe2<xe4<xe3
ys1<ys3<ys2<ye1<ye3<ye2<ys4<ye4
すると、図6の領域細分サブステップSs1では、第1〜第4拡張関心領域Rd1〜Rd4の全てのX軸方向およびY軸方向の境界値を用いて、撮像領域Rtotを格子状の複数の小領域rsに細分する。X軸方向およびY軸方向の境界値は各8個あり、それぞれ昇順でソートして小さい順番に並べることで、容易に小領域rsに細分することができる。細分した結果は図8に示されるとおりであり、小領域rsの領域数は49個(=7×7)となり、小領域rs(x,y)と記す(ただし、x=1〜7、y=1〜7)。図8には、小領域rs(1,1)、小領域rs(2,6)、および小領域rs(6,3)の3領域にハッチングを便宜的に付して例示した。
次の領域分類サブステップSs2では、各小領域rs(x,y)を第1〜第4拡張関心領域Rd1〜Rd4の内部の必要小領域と、第1〜第4拡張関心領域Rd1〜Rd4の外部の不要小領域とに分類する。図8では、例えば、小領域rs(1,1)および小領域rs(2,1)は第1拡張関心領域Rd1内の必要小領域に分類され、小領域rs(3,1)〜小領域rs(7,1)までは不要小領域に分類される。また例えば、小領域rs(2,3)は、第1および第2拡張関心領域Rd1、Rd2が重なっている部分であり、必要小領域に分類される。図8では、分類した結果として、27個の必要小領域に○印を付して示した。
次のX軸方向連結サブステップSs3では、X軸方向に続いている複数の必要小領域を連結して新たな必要小領域に置換する。具体的に、X軸方向に続いている必要小領域rs(1,1)および必要小領域rs(2,1)を連結して必要小領域rs(n1,1)とする。同様に、X軸方向に続いている必要小領域rs(1,2)および必要小領域rs(2,2)を連結して必要小領域rs(n2,2)とし、必要小領域rs(5,2)〜必要小領域rs(7,2)の3領域を連結して必要小領域rs(n5,2)とする。また、必要小領域rs(1,3)〜必要小領域rs(7,3)の7領域を連結して必要小領域rs(n1,3)とする。以下同様にして、必要小領域を新たな必要小領域rs(n2,4)、必要小領域rs(n2,5)、および必要小領域rs(n4,7)に置換する。これにより、図8で○印を付した27個の必要小領域rsは、図9に示される7つの新たな必要小領域rsに置換される。
次のY軸方向連結サブステップSs4では、Y軸方向に続いておりかつ境界を示すX軸座標値が同じである複数の必要小領域を連結して新たな必要小領域に置換する。図9の例では、必要小領域rs(n1,1)および必要小領域rs(n1,2)に関して、始点境界値xs1および終点境界値xe1が同じであるので、この2つの小領域を結合して新たな必要小領域rs(n1,n1)に置換する。他に、X軸方向の始点境界値および終点境界値が同じになる必要小領域は無い。これで、必要小領域rsの領域数は6個になる。
次の領域確定サブステップSs5では、X軸方向連結サブステップSs3およびY軸方向連結サブステップSs4が終了した後の6個の必要小領域rsを矩形の非重複領域Rn1〜Rn6とする。例えば、図10に示されるように、必要小領域rs(n1,n1)を第1の非重複領域Rn1とし、同様に他の必要小領域rsについても第2〜第6の非重複領域Rn2〜Rn6に変更する。この後、図4のフローチャートの領域設定ステップS5に進み、出力ステップS7では、非重複領域Rn1〜Rn6のデータブロックを出力する。
なお、X軸方向連結サブステップSs3以降を実施せずに、27個の必要小領域rsそれぞれでデータブロックを出力しても、転送先で4個の関心領域の画像を得ることはできる。ただし、このときは転送制御の設定が27パターン必要となり、転送制御が繁雑になって転送所要時間が延びる。これに対し、撮像ステップS5を開始する以前に領域確定サブステップSs5までを実施しておけば、転送制御の設定は6パターンで済むので、転送制御が簡潔になって転送所要時間が短縮される。
実施形態の画像転送装置1および画像転送方法によれば、撮像素子211の1個単位で関心領域RIを設定でき、このとき拡張関心領域RE、RE1、RE2を求めてイメージセンサから拡張関心領域RE、RE1、RE2に含まれるデータブロックを出力し、出力されたデータブロックから拡張範囲Exs、Exeの画素データを消去して関心領域RIの画像を得ることができる。したがって、データブロックの画素データ数K個を意識せずに関心領域を任意に設定できる。また、出力されるデータブロックは必要最小限とされるので、撮像領域Rtot全体の画素データを転送する場合よりも転送所要時間を短縮できる。
また、複数個の拡張関心領域RD1、RD2、Rd1〜Rd4の一部が重なった場合に、重なりの無い非重複領域RN1〜RN3、Rn1〜Rn6に変換し、非重複領域RN1〜RN3、Rn1〜Rn6に含まれるデータブロックを出力する。したがって、複数個の拡張関心領域RD1、RD2、Rd1〜Rd4に対して過不足のないデータブロックを出力し、複数個の関心領域の正確な画像を得ることができるとともに、転送所要時間を短縮できる。
さらに、実施形態のイメージセンサ2は、多数の撮像素子221をX−Y直交座標軸上に二次元配置しており、実用的効果が大きい。
また、領域最適化ステップS4は、5つのサブステップSs1〜Ss5を有して、重なりの有る複数個の矩形の拡張関心領域Rd1〜Rd4を重なりが無くかつX軸方向に続いていない矩形の非重複領域Rn1〜Rn6に変換する。これにより得られる非重複領域Rn1〜Rn6の領域数は最小となって最適化されるので、不必要に領域を細分することなくデータブロックを出力でき、転送制御が簡潔となって転送所要時間を短縮できる。
また、拡張範囲消去手段6がフィールドプログラマブルゲートアレイを用いて構成されているので、拡張範囲Exs、Exeの画素データを消去するためにソフトウェア処理などの余分な時間を要せず、転送所要時間を短縮できる。
なお、実施形態で説明したイメージセンサ2は一例であって、他の方式のイメージセンサを用いることもできる。また、転送領域設定手段3、領域拡張手段4、領域記憶設定手段5、および領域最適化手段7の各手段は、適宜ソフトウェアによって構成することができ、様々な設定方法や演算処理方法の応用が可能である。さらに、拡張範囲消去手段6についても、フィールドプログラマブルゲートアレイに限定されない。その他、本発明はさまざまな応用や変形が可能である。
1:画像転送装置
2:イメージセンサ
21:ピクセルアレイ 22:カーネル部 23:マルチプレクサ部
24:前処理部 25:AD変換器 26:ブロック化出力部
3:転送領域設定手段
4:領域拡張手段
5:領域記憶設定手段
6:拡張範囲消去手段(FPGA=フィールドプログラマブルゲートアレイ)
7:領域最適化手段
K:一定数 RI:関心領域
RE、RE1、RE2:拡張関心領域(重なっていない)
RD1、RD2、Rd1〜Rd4:重なっている拡張関心領域
RN1〜RN3、Rn1〜Rn6:非重複領域
rs、rs(x,y):小領域、必要小領域

Claims (10)

  1. 多数の撮像素子を用いて被写体の撮像領域を撮像し、各前記撮像素子で得られる画素データを一定数ずつデータブロックにまとめ、データブロックごとに出力するイメージセンサからの画像転送方法であって、
    前記一定数未満の単位を用いて前記撮像領域内に転送対象となる関心領域を設定する転送領域設定ステップと、
    前記関心領域を拡張して前記データブロックを一単位として表される拡張関心領域を求めるとともに、前記関心領域から前記拡張関心領域への拡張範囲を求める領域拡張ステップと、
    前記イメージセンサで撮像を行い、前記撮像領域を撮像した各前記撮像素子で前記画素データを得て、前記拡張関心領域に含まれる画素データを前記データブロックにまとめる撮像ステップと、
    前記イメージセンサから前記拡張関心領域に含まれるデータブロックを出力する出力ステップと、
    出力されたデータブロックから前記拡張範囲の画素データを消去して前記関心領域の画像を得る拡張範囲消去ステップと、
    を有する画像転送方法。
  2. 請求項1において、
    前記転送領域設定ステップで複数個の関心領域を設定して前記領域拡張ステップで求めた複数個の拡張関心領域の一部が重なった場合に、前記領域拡張ステップに続き、前記複数個の拡張関心領域を重なりの無い非重複領域に変換する領域最適化ステップをさらに有し、
    前記出力ステップで、前記拡張関心領域に代えて前記非重複領域に含まれるデータブロックを出力する画像転送方法。
  3. 請求項1において、
    前記イメージセンサは、前記多数の撮像素子をX−Y直交座標軸上のX軸方向に直線状に複数個配置するとともにY軸方向に複数列配置して二次元配置とし、X軸方向に直線状に配置された複数個の撮像素子を前記一定数ごとに区分してブロック素子群とし、前記ブロック素子群の画素データを前記データブロックとしており、
    前記転送領域設定ステップで、X軸およびY軸に平行な矩形の関心領域を設定し、
    前記領域拡張ステップで、前記矩形の関心領域をX軸方向に拡張して矩形の拡張関心領域を求め、
    前記出力ステップで、まず出力対象となる撮像素子のY軸座標値を前記拡張関心領域の最小値に固定し、X軸座標値を前記拡張関心領域の最小値および最大値の一方から他方まで変化させて第1列のデータブロックを出力し、次に前記出力対象となる撮像素子のY軸座標値を1撮像素子分だけ増加させて固定し、X軸座標値を前記拡張関心領域の最小値および最大値の一方から他方まで変化させて第2列のデータブロックを出力し、さらに前記出力対象となる撮像素子のY軸座標値が前記拡張関心領域の最大値になるまで各列のデータブロックの出力を繰返すことにより、前記矩形の拡張関心領域に含まれる全てのデータブロックを出力する画像転送方法。
  4. 請求項3において、
    前記転送領域設定ステップで複数個の矩形の関心領域を設定して前記領域拡張ステップで求めた複数個の矩形の拡張関心領域の一部が重なった場合に、前記領域拡張ステップに続き、前記複数個の矩形の拡張関心領域を、重なりが無くかつX軸方向に続いていない矩形の非重複領域に変換する領域最適化ステップをさらに有し、
    前記出力ステップで、前記矩形の拡張関心領域に代えて前記矩形の非重複領域に含まれる全てのデータブロックを出力する画像転送方法。
  5. 請求項4において、前記領域最適化ステップは、
    前記複数個の矩形の拡張関心領域の境界を示す全てのX軸座標値およびY軸座標値を用いて、前記撮像領域を格子状の複数の小領域に細分する領域細分サブステップと、
    各小領域を前記拡張関心領域内の必要小領域と、前記拡張関心領域外の不要小領域とに分類する領域分類サブステップと、
    X軸方向に続いている複数の必要小領域を連結して新たな必要小領域に置換するX軸方向連結サブステップと、
    Y軸方向に続いておりかつ境界を示すX軸座標値が同じである複数の必要小領域を連結して新たな必要小領域に置換するY軸方向連結サブステップと、
    X軸方向連結サブステップおよびY軸方向連結サブステップが終了した後の必要小領域を前記矩形の非重複領域とする領域確定サブステップと、
    を有する画像転送方法。
  6. 多数の撮像素子を用いて被写体の撮像領域を撮像し、各前記撮像素子で得られる画素データを一定数ずつデータブロックにまとめ、データブロックごとに出力するイメージセンサと、
    前記撮像領域を撮像した多数の撮像素子で得られる多数の前記画素データについて、前記一定数未満の単位を用いて前記撮像領域内に転送対象となる関心領域を設定する転送領域設定手段と、
    前記関心領域を拡張して前記データブロックを一単位として表される拡張関心領域を求めるとともに、前記関心領域から前記拡張関心領域への拡張範囲を求める領域拡張手段と、
    前記イメージセンサから前記拡張関心領域に含まれるデータブロックを出力する出力手段と、
    出力されたデータブロックから前記拡張範囲の画素データを消去して前記関心領域の画像を得る拡張範囲消去手段と、
    を有する画像転送装置。
  7. 請求項6において、
    前記転送領域設定手段で複数個の関心領域を設定して、前記領域拡張手段で求めた複数個の拡張関心領域の一部が重なった場合に、前記領域拡張手段に続いて動作し、前記複数個の拡張関心領域を重なりの無い非重複領域に変換する領域最適化手段をさらに有し、
    前記出力手段は、前記拡張関心領域に代えて前記非重複領域に含まれるデータブロックを出力する画像転送装置。
  8. 請求項6において、
    前記イメージセンサは、X−Y直交座標軸上のX軸方向に直線状に複数個配置されるとともにY軸方向に複数列配置されて二次元配置とされた多数の撮像素子と、X軸方向に直線状に配置された複数個の撮像素子を前記一定数ごとに区分したブロック素子群を切り替えて選択するマルチプレクサ部と、マルチプレクサ部で選択したブロック素子群の各画像素子の画素データをそれぞれディジタル化する一定数に等しい個数のAD変換器とを備え、
    前記転送領域設定手段は、X軸およびY軸に平行な矩形の関心領域を設定し、
    前記領域拡張手段は、前記矩形の関心領域をX軸方向に拡張して矩形の拡張関心領域を求め、
    前記出力手段は、まず出力対象となる撮像素子のY軸座標値を前記拡張関心領域の最小値に固定し、第1列のブロック素子群の各画像素子の画素データを前記AD変換器でディジタル化して出力し、次に前記出力対象となる撮像素子のY軸座標値を1撮像素子分だけ増加させて固定し、第2列のブロック素子群の各画像素子の画素データを前記AD変換器でディジタル化して出力し、さらに前記出力対象となる撮像素子のY軸座標値が前記拡張関心領域の最大値になるまで各列のブロック素子群の各画像素子の画素データの出力を繰返すことにより、前記矩形の拡張関心領域に含まれる全てのデータブロックを出力する画像転送装置。
  9. 請求項8において、
    前記転送領域設定手段で複数個の矩形の関心領域を設定して、前記領域拡張手段で求めた複数個の矩形の拡張関心領域の一部が重なった場合に、前記領域拡張手段に続いて動作し、前記複数個の矩形の拡張関心領域を、重なりが無くかつX軸方向に続いていない矩形の非重複領域に変換する領域最適化手段をさらに有し、
    前記出力手段は、前記矩形の拡張関心領域に代えて前記矩形の非重複領域に含まれる全てのデータブロックを出力する画像転送装置。
  10. 請求項6〜9のいずれか一項において、前記拡張範囲消去手段がフィールドプログラマブルゲートアレイ(Field-Programmable Gate Array)を用いて構成されている画像転送装置。
JP2012024829A 2012-02-08 2012-02-08 画像転送方法および画像転送装置 Active JP5932376B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012024829A JP5932376B2 (ja) 2012-02-08 2012-02-08 画像転送方法および画像転送装置
CN201380008434.XA CN104106258B (zh) 2012-02-08 2013-01-29 图像传送方法及图像传送装置
PCT/JP2013/051863 WO2013118610A1 (ja) 2012-02-08 2013-01-29 画像転送方法および画像転送装置
US14/376,756 US20140347466A1 (en) 2012-02-08 2013-01-29 Image transmission method and image transmission apparatus
EP13746822.9A EP2814237B1 (en) 2012-02-08 2013-01-29 Image output method and image output apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012024829A JP5932376B2 (ja) 2012-02-08 2012-02-08 画像転送方法および画像転送装置

Publications (2)

Publication Number Publication Date
JP2013162443A JP2013162443A (ja) 2013-08-19
JP5932376B2 true JP5932376B2 (ja) 2016-06-08

Family

ID=48947376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012024829A Active JP5932376B2 (ja) 2012-02-08 2012-02-08 画像転送方法および画像転送装置

Country Status (5)

Country Link
US (1) US20140347466A1 (ja)
EP (1) EP2814237B1 (ja)
JP (1) JP5932376B2 (ja)
CN (1) CN104106258B (ja)
WO (1) WO2013118610A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140313381A1 (en) * 2013-04-19 2014-10-23 Canon Kabushiki Kaisha Image pickup apparatus
JP6367605B2 (ja) * 2014-05-13 2018-08-01 株式会社Fuji 画像転送方法および画像転送装置
JP6539550B2 (ja) * 2015-09-03 2019-07-03 株式会社Fuji 多重通信システム及び画像伝送方法
US10477133B2 (en) * 2017-10-02 2019-11-12 Sony Semiconductor Solutions Corporation Solid-state imaging sensor and solid-state imaging device
US11606527B2 (en) 2017-11-10 2023-03-14 Sony Semiconductor Solutions Corporation Transmitter
EP3843376A4 (en) * 2018-08-20 2021-09-15 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING SYSTEM
EP3661191A1 (de) * 2018-11-27 2020-06-03 B&R Industrial Automation GmbH Verfahren zum auslesen eines flächensensors
WO2020116213A1 (ja) * 2018-12-06 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 受信装置および送信装置
CN114531599B (zh) * 2022-04-25 2022-06-21 中国医学科学院阜外医院深圳医院(深圳市孙逸仙心血管医院) 一种用于医疗图像存储的图像压缩方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577757B1 (en) * 1999-07-28 2003-06-10 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition
JP3484178B1 (ja) * 2002-06-13 2004-01-06 東京電子工業株式会社 複数領域読み出し可能な撮像装置と方法
JP2004038841A (ja) * 2002-07-08 2004-02-05 Matsushita Electric Ind Co Ltd 画像読取装置および画像読取方法
US7030351B2 (en) * 2003-11-24 2006-04-18 Mitutoyo Corporation Systems and methods for rapidly automatically focusing a machine vision inspection system
GB0416496D0 (en) * 2004-07-23 2004-08-25 Council Of The Central Lab Of Imaging device
JP2006109001A (ja) * 2004-10-04 2006-04-20 Toshiba Teli Corp 撮像装置及び画像データ伝送処理装置及び画像データ受信装置
US7499584B2 (en) * 2004-10-21 2009-03-03 Mitutoyo Corporation Smear-limit based system and method for controlling vision systems for consistently accurate and high-speed inspection
US7561751B2 (en) * 2004-11-02 2009-07-14 Panasonic Corporation Image processing method
GB0427484D0 (en) * 2004-12-15 2005-01-19 Money Controls Ltd Acceptor device for sheet objects
US7297910B2 (en) * 2005-12-30 2007-11-20 General Electric Company System and method for utilizing an autofocus feature in an automated microscope
US8319166B2 (en) * 2006-01-18 2012-11-27 National University Corporation Shizuoka University Solid-state image pick-up device and pixel signal readout method having dual potential well, dual transfer gate electrode and dual floating-diffusion region for separately transferring and storing charges respectively
US20080036864A1 (en) * 2006-08-09 2008-02-14 Mccubbrey David System and method for capturing and transmitting image data streams
JP2008048191A (ja) * 2006-08-17 2008-02-28 Nikon Corp 固定パターンノイズ除去装置および撮像装置
DE102006052059A1 (de) * 2006-11-04 2008-05-08 Leopold Kostal Gmbh & Co. Kg Verfahren zum Betreiben eines photoelektrischen Sensorarrays
US8441535B2 (en) * 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
DE102009050073A1 (de) * 2009-10-20 2011-04-21 Fachhochschule Gelsenkirchen Bildsensoranordnung zur Erfassung von Bildinformationen für die automatische Bilddatenverarbeitung
JP5751986B2 (ja) * 2010-12-08 2015-07-22 キヤノン株式会社 画像生成装置

Also Published As

Publication number Publication date
EP2814237A4 (en) 2015-11-18
JP2013162443A (ja) 2013-08-19
US20140347466A1 (en) 2014-11-27
WO2013118610A1 (ja) 2013-08-15
CN104106258B (zh) 2019-02-22
EP2814237B1 (en) 2019-03-06
CN104106258A (zh) 2014-10-15
EP2814237A1 (en) 2014-12-17

Similar Documents

Publication Publication Date Title
JP5932376B2 (ja) 画像転送方法および画像転送装置
US9490833B2 (en) Image sensor and method of controlling the same
KR102191245B1 (ko) 이미지 센서 구동 방법, 이를 채용한 이미지 센서 및 이를 포함하는 휴대용 전자 기기
JP4845801B2 (ja) 画像処理装置及びメモリのアクセス制御方法
JP2008537406A (ja) 固体撮像装置における固定パターン雑音の低減方法及び装置
CN112312049A (zh) 图像传感器、图像处理系统及其操作方法
CN107211098B (zh) 对场景进行成像的方法的装置
KR20220030877A (ko) 다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서
JP5955170B2 (ja) 表示制御装置、表示制御方法、及びプログラム
US20120002085A1 (en) Image processing apparatus and image processing method
KR102648189B1 (ko) 아날로그 디지털 변환 장치 및 이를 포함하는 리드 아웃 회로와 씨모스 이미지 센서
KR101647102B1 (ko) 2-스텝 아날로그-디지털 변환 회로, 이의 동작 방법, 및 상기 2-스텝 아날로그-디지털 변환 회로를 포함하는 장치들
JP3991751B2 (ja) 固体撮像素子及びその読み出し方法
CN112153311B (zh) 图像信号处理器和包括图像信号处理器的图像传感器
WO2009107636A1 (ja) 点滅信号検出回路、点滅信号検出方法、物体検知装置、物体検知方法、及び撮像システム
JP2009003953A (ja) 画像処理装置
WO2021020009A1 (ja) 撮像装置、撮像素子、撮像装置の作動方法、撮像素子の作動方法、及びプログラム
JP6367605B2 (ja) 画像転送方法および画像転送装置
JP4540422B2 (ja) 半導体集積回路及び撮像装置
JP2015114702A (ja) 画像処理装置、画像処理方法、および撮像装置
EP1526710B1 (en) Image data reduction apparatus and method, program, storage medium, and image sensing apparatus
JP5539561B2 (ja) 画像処理装置およびその方法
JP5605761B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN109429021B (zh) 用于生成高动态范围图像的高动态范围成像设备和方法
JP2008048168A (ja) 色処理パラメータ設定方法及びデジタル撮像機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160428

R150 Certificate of patent or registration of utility model

Ref document number: 5932376

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250