JP7052550B2 - 画像センサ - Google Patents

Description

本発明は、複数のモジュールの組み合わせにより構成されるモジュラー型の画像センサに関する。

工場の製造ラインにおいては、製造物の検査や管理を自動化ないし省力化するために、画像処理システムが使用されている。製造ライン用の画像処理システムとしては、カメラと画像処理装置とをケーブルで接続したもの（特許文献１参照）が一般的であったが、最近では、カメラと画像処理装置を一体化し、単一の装置で撮像から画像処理まで行えるようにした画像処理システムも開発されている。

特許第６２８４２７６号公報

カメラと画像処理装置を一体化した画像処理システム（以下、画像センサと表記する）に望まれる画角や撮像結果（画像データ）の解像度は、検査対象のサイズ、設置環境等によって異なる。そのため、画像センサを提供するメーカは、従来は、画角等のスペックが異なる多数の製品をラインナップし、ユーザが最適なスペックのものを選択できるようにしていた。

ところが、工場のＩｏＴ化が加速する中で画像センサの適用範囲が拡大し、多様化するユーザーニーズを網羅するような製品バリエーションの提供が困難になってきている。また、商品競争の中で競合との差異化のためにそれぞれの顧客の嗜好性に合わせたマスカスタマイゼーションや季節限定商品の提供の拡大、スマートフォンに代表されるデジタル機器の商品のライフサイクルの短命化など、検査対象の変更が短いサイクルで入ることで検査に合わせて最適となるように、画像センサの一部（光学系、撮像素子）を変更するニーズも増加している。

そのため、画像センサの光学系、撮像素子をそれぞれモジュール化して、ユーザ側で、光学系と撮像素子とを自由に組み合わせられるようにすることが考えられる。ただし、光学系と撮像素子の組み合わせにより撮像結果に対して施すべき歪曲収差補正の内容が異なるため、画像センサを単にモジュール化したのでは、使用されている光学系と撮像素子の組み合わせによらず、撮像結果に対して良好な歪曲収差補正を行う画像センサを実現することができない。

本発明は、上記実情に鑑みなされたものであって、本体モジュールと当該本体モジュールに装着されたレンズモジュール及び撮像モジュールにより構成される、使用されているレンズモジュールと撮像モジュールの組み合わせによらず撮像結果に対して良好な歪曲収差補正を行える画像センサを提供することを目的とする。

本発明の一観点に係る画像センサは、本体モジュールと、前記本体モジュールに装着されたレンズモジュール及び撮像モジュールとを含む画像センサであって、前記本体モジュールは、装着されている撮像モジュールから当該撮像モジュール内の撮像素子の画素数及
び／又は画素サイズを示すサイズ情報を取得すると共に、装着されているレンズモジュールから当該レンズモジュール内の光学系の歪曲収差特性を示す歪曲収差特性情報を取得する取得手段と、前記取得手段により取得された前記サイズ情報と前記歪曲収差特性情報とを用いて前記撮像モジュールが出力する画像データに対して歪曲収差補正を行う補正手段と、を備える。

すなわち、画像センサは、補正手段による歪曲収差補正の内容が、本体モジュールに装着されているレンズモジュール及び撮像モジュールの組み合わせに応じて変更される構成を有する。従って、各態様の画像センサによれば、本体モジュールに装着されているレンズモジュール及び撮像モジュールの組み合わせがどのようなものであっても、良好に歪曲収差補正がなされた画像データを得ることができる。

ズーム可能なレンズモジュール（光学系）の歪曲収差特性は、ズーム設定値により変化する。従って、上記画像センサを、ズーム可能なレンズモジュールを選択可能なものとして実現する場合には、『前記本体モジュールの取得手段は、ズーム可能なレンズモジュールが前記本体モジュールに装着されている場合には、装着されているレンズモジュールから、当該レンズモジュールのズーム設定値に応じた歪曲収差特性情報を取得する』構成を採用しておくことが好ましい。

本発明によれば、使用されているレンズモジュールと撮像モジュールの組み合わせによらず撮像結果に対して良好な歪曲収差補正を行える画像センサを提供することができる。

図１は、第１実施形態に係る画像センサの概略構成の説明図である。 図２は、画像センサの使用例の説明図である。 図３は、画像センサの機能ブロック図である。 図４は、歪曲収差特性の説明図である。 図５は、歪曲収差特性情報のデータ構造例の説明図である。 図６は、本体モジュール内の補正部の機能ブロック図である。 図７は、補正部により行われる補正処理の内容を説明するための図である。 図８は、第２実施形態に係る画像センサの機能ブロック図である。 図９は、画像センサの変形例の説明図である。

以下、本発明の実施の形態を、図面を参照して説明する。

《第１実施形態》
図１に、本実施形態に係る画像センサ１の概略構成を示し、図２に、画像センサ１の使用例を示す。

図１に示してあるように、本実施形態の画像センサ１は、本体モジュール１０にレンズモジュール２０と撮像モジュール３０とを装着することにより構成される装置である。また、図２に示してあるように、画像センサ１は、製造ライン等の複数箇所に設けられる形であると共に、各画像センサ１の処理結果が１台の情報処理装置５０にて収集される形で使用されることを想定して開発されたものとなっている。

撮像モジュール３０（図１）は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の撮像素子３１を備えたモジュールである。本体モジュール１０に装着可能な撮像モジュール３０としては、撮像素子３１の仕様（画素サイズ及び画素数（Ｘ方向及びＹ方向画素数
））が異なるｍ種の撮像モジュール３０_１～３０_ｍが用意されている。各撮像モジュール３０内には、シリアルＥＥＰＲＯＭ等の不揮発性メモリ３２（用途は後述）が設けられている。

レンズモジュール２０は、撮像対象からの光を撮像素子３１の撮像面に結像させるための光学系２１を備えたモジュールである。レンズモジュール２０としては、光学系２１の歪曲収差特性が異なるｎ種のレンズモジュール２０_１～２０_ｎが用意されている。各レンズモジュール２０内には、シリアルＥＥＰＲＯＭ等の不揮発性メモリ２２（用途は後述）が設けられている。

本体モジュール１０は、撮像モジュール３０からの画像データに歪曲収差補正を施し、歪曲収差補正後の画像データを解析することで各種処理（バーコード等の読み取り処理、異常の有無の判定処理等）を行うモジュールである。

レンズモジュール２０と撮像モジュール３０の全組み合わせに対して良好な歪曲収差補正が行えるようにするために、本実施形態に係る画像センサ１には、図３に示した構成が採用されている。

すなわち、画像センサ１用の各撮像モジュール３０の不揮発性メモリ３２には、自撮像モジュール３０内の撮像素子３１の画素サイズ及び画素数（Ｘ方向及びＹ方向画素数）を示すサイズ情報が記憶されている。また、画像センサ１用の各レンズモジュール２０の不揮発性メモリ２２には、自レンズモジュール２０内の光学系２１の歪曲収差特性を示す歪曲収差特性情報が記憶されている。

光学系２１の歪曲収差は、光軸からの距離ｒに応じて、例えば、図４に示したように変化する。ここで、歪曲収差（以下、Ｄ（ｒ）とも表記する）とは、理想像、実像の光軸からの距離（理想像高、実像高）を、それぞれ、ｒ、ｒ′と表記すると、以下の式により表される値のことである。
Ｄ（ｒ）[％]＝１００・（ｒ′－ｒ）／ｒ …（１）

なお、図４に示した、各Ｄ（ｒ）値が負値である歪曲収差特性は、樽型の歪曲が発生するものである。歪曲収差特性の各Ｄ（ｒ）値が正値である場合も、Ｄ（ｒ）値の正負がｒ値により変わる場合もあり、前者の場合には、糸巻型の歪曲が発生し、後者の場合には、いわゆる陣笠タイプの歪曲が発生する。

不揮発性メモリ２２上の歪曲収差特性情報は、図４に示したような歪曲収差特性（歪曲収差のｒ依存性）を近似するｒの多項式（例えば、５次式）の各係数であっても良い。また、歪曲収差特性情報は、図５に模式的に示したように、各種ｒ値に対する歪曲収差からなる情報であっても良い。

図３に戻って、画像センサ１の説明を続ける。
画像センサ１の本体モジュール１０は、補正部１１、処理部１２、通信処理部１３、取得部１５を備えている。なお、図３に示してある本体モジュール１０の各部は、いわゆる機能ブロックである。補正部１１は、通常、画像処理用ＩＣ（ＦＰＧＡ、ＡＳＩＣ等）で実現される。ただし、補正部１１は、ソフトウェアにより歪曲収差補正を行うユニットであっても良い。通信処理部１３は、例えば、ネットワークインターフェース回路で実現される。また、処理部１２、取得部１５は、例えば、画像センサ１用のプログラムを記憶させたマイクロコントローラで実現される。

本体モジュール１０内の処理部１２は、歪曲収差補正後の画像データを解析することで
各種処理（コードの読み取り処理、異常の有無の判定処理等）を行うユニットである。通信処理部１３は、処理部１２が外部装置（情報処理装置５０等）との間で通信を行うために利用するユニットである。

取得部１５は、本体モジュール１０の電源投入時等に、本体モジュール１０に装着されているレンズモジュール２０、撮像モジュール３０の不揮発性メモリ２２、３２から歪曲収差特性情報、サイズ情報を読み出して補正部１１に設定するユニットである。

補正部１１は、設定されている歪曲収差特性情報及びサイズ情報で規定される内容の歪曲収差補正を撮像モジュール３０からの画像データに対して行うユニットである。

図６に、補正部１１の機能ブロック図を示す。図示してあるように、補正部１１は、距離算出部４１、補正係数算出部４２、乗算器Ｍ１、乗算器Ｍ２及び画素値特定部４３を備える。なお、この図及びこの図に関する以下の説明において、ｘ、ｙとは、光軸位置を原点（０，０）とした座標系における画素座標のことである。また、補正部１１は、処理対象とすべき座標範囲を、設定されている画素数（Ｘ方向、Ｙ方向画素数）から把握し、補正部１１内の各ユニットは、処理対象とすべき座標範囲内の各画素座標に対して、以下のように動作する。

距離算出部４１は、画素値の算出対象となっている画素の座標（ｘ、ｙ）と、設定されている画素サイズａとから、当該画素の光軸（光軸位置の画素）からの距離ｒを算出する。補正係数算出部４２は、設定されている歪曲収差特性情報を用いて距離ｒからＤ（ｒ）を算出し、算出したＤ（ｒ）から補正係数"１＋Ｄ（ｒ）／１００"を算出する。なお、歪曲収差特性情報として図５に示したような情報を採用する場合には、補正係数算出部４２として、歪曲収差特性情報中の、距離ｒ前後の２距離における歪曲収差の加重平均等によりＤ（ｒ）を算出するユニットを採用しておくことが好ましい。ただし、上記場合に、補正係数算出部４２として、歪曲収差特性情報中の、距離ｒに最も近い距離に対応づけられている歪曲収差をＤ（ｒ）とするユニットを採用しておいても良い。

乗算器Ｍ１は、補正係数算出部４２により算出された補正係数をｘに乗ずることで、ｘ′を算出し、乗算器Ｍ２は、同じ補正係数をｙに乗ずることで、ｙ′を算出する。そして、画素値特定部４３は、歪曲収差補正前の画像データから、座標（ｘ′，ｙ′）の画素値を求めて、歪曲収差補正後の画像データの画素値Ｉ（ｘ，ｙ）として出力する。この画素値特定部４３は、座標（ｘ′，ｙ′）の画素値を、ニアレストネイバー法により求めるものであっても、座標（ｘ′，ｙ′）の画素値を、他の方法（バイリニア法、バイキュービック法等）より求めるものであっても良い。

ここで、補正部１１による上記処理の意味を説明しておくことにする。

図７に示してあるように、光学系２１に歪曲収差があると、光軸からの距離がｒである座標（ｘ，ｙ）に到達すべき光が、座標（ｘ・ｒ′／ｒ，ｙ・ｒ′／ｒ）に到達する。従って、歪曲収差補正前の画像データから、座標（ｘ・ｒ′／ｒ，ｙ・ｒ′／ｒ）の画素値を求めれば、歪曲収差補正後の画像データの要素データ（座標（ｘ，ｙ）における画素値）を得ることが出来る。

そして、歪曲収差Ｄ（ｒ）の定義式である（１）式を、"ｒ′／ｒ"について解くと、以下の（２）式が得られる。
ｒ′／ｒ＝１＋Ｄ（ｒ）／１００ …（２）

従って、"１＋Ｄ（ｒ）／１００"を、ｘ、ｙに乗ずれば、"ｘ・ｒ′／ｒ"（＝ｘ′），
"ｙ・ｒ′／ｒ"（＝ｙ′）を得ることが出来る。そして、ｘ′、ｙ′は、通常、非整数となるため、画素値特定部４３により、ニアレストネイバー法等により、座標（ｘ′，ｙ′）の画素値が求められるようにしているのである。

以上、説明したように、画像センサ１の本体モジュール１０は、装着されているレンズモジュール２０及び撮像モジュール３０の組み合わせに応じた内容の歪曲収差補正を、撮像モジュール３０からの画像データに施すことが出来る。従って、上記構成を採用しておけば、ユーザが、歪曲収差による性能劣化を考慮することなく、レンズモジュール２０及び撮像モジュール３０を選択可能な画像センサ１を実現することできる。

《第２実施形態》
以下、第１実施形態に係る画像センサ１の説明時に用いたものと同じ符号を用いて、第２実施形態に係る画像センサ１の構成及び動作を、第１実施形態に係る画像センサ１と異なる部分を中心に説明する。なお、説明の便宜上、以下では、第Ｌ（Ｌ＝１，２）実施形態に係る画像センサ１のことを、第Ｌ画像センサ１とも表記する。

図８に、第２画像センサ１（第２実施形態に係る画像センサ１）の概略構成を示す。

第２画像センサ１は、第１画像センサ１（図１参照）と同様に、本体モジュール１０にレンズモジュール２０と撮像モジュール３０とを装着することにより構成される装置である。第２画像センサ１用の撮像モジュール３０は、第１画像センサ１用の撮像モジュール３０と同じものである。ただし、第２画像センサ１用のレンズモジュール２０の中には、ズーム可能なｋ（≧１）種のレンズモジュール２０（以下、ズーム可能ＬＭ２０と表記する）が含まれている。

ズーム可能ＬＭ２０のズーム設定値が変更されると、射出瞳位置が変化し、その結果として、歪曲収差特性が変化する。そのような変化にも対応できるようにするために、ズーム可能ＬＭ２０の不揮発性メモリ２２には、設定可能なズーム設定値（図８では、“ＺＭ１”、“ＺＭｋ”）別に、歪曲収差特性情報が記憶されている。

また、第２画像センサ１の本体モジュール１０は、ズーム可能ＬＭ２０のズームに関する設定を変更するためのズーム可能ＬＭ調整部１９を備えている。このズーム可能ＬＭ調整部１９は、ズームの設定変更時に、現在の（変更後の）ズーム設定値を取得部１５に通知する機能、及び、取得部１５から所定の要求に応答して、現在のズーム設定値を取得部１５に通知する機能を有している。

そして、第２画像センサ１の本体モジュール１０は、取得部１５が以下の処理を行うように、構成（プログラミング）されている。

取得部１５は、本体モジュール１０の電源投入時等に、不揮発性メモリ２２上の歪曲収差特性情報数を確認することにより、本体モジュール１０に装着されているレンズモジュール２０がズーム可能ＬＭ２０であるか否かを判断する。そして、取得部１５は、本体モジュール１０に装着されているレンズモジュール２０がズーム可能ＬＭ２０ではなかった場合には、不揮発性メモリ２２上の歪曲収差特性情報と不揮発性メモリ３２上のサイズ情報とを補正部１１に設定する処理を行う。

一方、本体モジュール１０に装着されているレンズモジュール２０がズーム可能ＬＭ２０であった場合、取得部１５は、ズーム可能ＬＭ調整部１９から現在のズーム設定値を取得する。そして、取得部１５は、取得したズーム設定値に対応づけられている歪曲収差特性情報を不揮発性メモリ２２から読み出して補正部１１に設定する処理と、サイズ情報を
不揮発性メモリ３２から読み出して補正部１１に設定する処理とを行う。

また、取得部１５は、ズーム可能ＬＭ調整部１９から現在のズーム設定値が通知された場合には、通知されたズーム設定値に対応付けられている歪曲収差特性情報を不揮発性メモリ２２から読み出して補正部１１に設定する。

以上、説明したように、本実施形態に係る画像センサ１の本体モジュール１０は、ズーム可能ＬＭ２０のズームが変更された場合にも、変更後の状況に応じた内容の歪曲収差補正を、撮像モジュール３０からの画像データに施すことが出来る。従って、上記構成を採用しておけば、ユーザが、歪曲収差による性能劣化を考慮することなく、レンズモジュール２０及び撮像モジュール３０を選択可能な画像センサ１であって、レンズモジュール２０としてズーム可能ＬＭ２０も選択可能な画像センサ１を実現することできる。

《変形例》
上記した各実施形態に係る画像センサ１は、各種の変形を行えるものである。例えば、レンズモジュール２０を、被写体照明用の光源（ＬＥＤ等）を備えたモジュールに変形しても良い。また、図９に模式的に示したように、本体モジュール１０を、照明用の光源被写体照明用の光源を備えた照明モジュール４０も装着可能なものに変形しておいても良い。各撮像モジュール３０内の撮像素子３１の画素サイズが同一である場合には、サイズ情報を画素数のみとしておくと共に、取得部１５を、撮像モジュール３０から取得したサイズ情報（つまり、画素数）と、予め設定されている画素サイズとを補正部１１に設定するユニットとしておいても良い。また、各撮像モジュール３０内の撮像素子３１の画素数が同一である場合には、サイズ情報を画素サイズのみとしておくと共に、取得部１５を、撮像モジュール３０から取得したサイズ情報（つまり、画素サイズ）と、予め設定されている画素数とを補正部１１に設定するユニットとしておいても良い。

＜付記＞
１． 本体モジュール（１０）と、前記本体モジュール（１０）に装着されたレンズモジュール（２０）及び撮像モジュール（３０）とを含む画像センサであって、
前記本体モジュール（１０）は、
装着されている撮像モジュール（３０）から当該撮像モジュール（３０）内の撮像素子（３１）の画素数及び／又は画素サイズを示すサイズ情報を取得すると共に、装着されているレンズモジュール（２０）から当該レンズモジュール（２０）内の光学系（２１）の歪曲収差特性を示す歪曲収差特性情報を取得する取得手段（１５）と、
前記取得手段（１５）により取得された前記サイズ情報と前記歪曲収差特性情報とを用いて前記撮像モジュール（３０）が出力する画像データに対して歪曲収差補正を行う補正手段（１１）と、
を備える、
ことを特徴とする画像センサ。

１ 画像センサ
１０ 本体モジュール
１１ 補正部
１２ 処理部
１３ 通信処理部
１５ 取得部
１９ ズーム可能ＬＭ調整部
２０ レンズモジュール
２１ 光学系
２２、３２ 不揮発性メモリ
３０ 撮像モジュール
３１ 撮像素子
４０ 照明モジュール
４１ 距離算出部
４２ 補正係数算出部
４３ 画素値特定部
５０ 情報処理装置

Claims (2)

1. 本体モジュールと、前記本体モジュールに装着されたレンズモジュール及び撮像モジュールとを含む画像センサであって、
   前記本体モジュールは、
   装着されている撮像モジュールから当該撮像モジュール内の撮像素子の画素数及び／又は画素サイズを示すサイズ情報を取得すると共に、装着されているレンズモジュールから当該レンズモジュール内の光学系の歪曲収差特性を示す歪曲収差特性情報を取得する取得手段と、
   前記取得手段により取得された前記サイズ情報と前記歪曲収差特性情報とを用いて前記撮像モジュールが出力する画像データに対して歪曲収差補正を行う補正手段と、
   を備え、
   前記補正手段は、
   歪曲収差補正後の画像データにおける座標（ｘ，ｙ）の画素に関して、
   前記座標（ｘ，ｙ）と前記サイズ情報とを用いて、当該画素の光軸からの距離を算出し、
   前記算出された距離と前記歪曲収差特性情報とを用いて、歪曲収差が無ければ座標（ｘ，ｙ）に到達すべき光が歪曲収差がある場合に到達するであろう座標（ｘ´，ｙ´）を算出し、
   歪曲収差補正前の画像データにおける座標（ｘ´，ｙ´）の画素値を取得し、当該画素値を前記歪曲収差補正後の画像データにおける座標（ｘ，ｙ）の画素値とすることを特徴とする画像センサ。
2. 前記本体モジュールの前記取得手段は、ズーム可能なレンズモジュールが前記本体モジュールに装着されている場合には、装着されているレンズモジュールから、当該レンズモジュールのズーム設定値に応じた歪曲収差特性情報を取得する、
   ことを特徴とする請求項１に記載の画像センサ。

Images