JP5056780B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP5056780B2 JP5056780B2 JP2009059269A JP2009059269A JP5056780B2 JP 5056780 B2 JP5056780 B2 JP 5056780B2 JP 2009059269 A JP2009059269 A JP 2009059269A JP 2009059269 A JP2009059269 A JP 2009059269A JP 5056780 B2 JP5056780 B2 JP 5056780B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- luminance
- unit
- brightness
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
この発明の好ましい態様においては、撮影条件は撮像部の露光時間を含む。
また、この発明の好ましい態様においては、撮影条件はしぼり量を含む。
また、この発明の好ましい態様においては、被測定物に光を照射する照明部にさらに接続され、撮影条件は、前記照明部の照明強度を含む。
<全体装置構成>
図1は、この発明の実施の形態1に従う画像処理装置を含む視覚センサシステム1の全体構成を示す概略図である。
図2は、コンピュータ100のハードウェア構成を示す概略構成図である。
本実施の形態に従う視覚センサシステム1は、ワーク2を撮影することで生成される合成画像データを用いて実際に検査や計測を実行する「稼動モード」と、ワーク2についての合成処理に係る設定を行なうための「設定モード」とを選択することが可能である。
次に、合成画像データを生成するための画像合成処理について説明する。本実施の形態に従う画像合成処理は、主として撮像部8のダイナミックレンジを拡大させるためのものである。
図3(a)は、露光時間が相対的に長い条件下で1回の撮影により得られた撮影画像を示し、図3(b)は、露光時間が相対的に短い条件下で1回の撮影により得られた撮影画像を示す。なお、図3(a)および図3(b)において、撮像部へ入射する光の強度は同じ条件、すなわちしぼり量、照明強度は同じ条件である。図3に示すワークは、金属製の時計本体部と皮革製のバンド部とを含む。両者の反射率は大きく異なるので、各部分毎に放射され(反射され)撮像部の撮像素子へ入射する光パワー(単位時間当たりに放射される光エネルギー)にも大きな差がある。
(1)ワークを異なる露光条件で複数回撮影する処理(撮影処理)
(2)撮影された入力画像データの輝度情報から合成輝度情報を算出する処理(輝度合成処理)
(3)撮影された入力画像データの色情報から合成色情報を算出する処理(色合成処理)
(4)合成色情報と合成輝度情報とから合成画像データを生成する処理(生成処理)
<制御構造>
図4は、この発明の実施の形態1に従う画像処理装置の制御構造を示す機能ブロック図である。
図4を参照して、撮影制御部200は、撮像部8に同一のワークを異なる露光条件で複数回撮影させることにより複数の入力画像データを生成する。撮影制御部200は、ユーザ設定に応じて、どのように露光条件を変更するかについて決定する。より具体的には、本実施の形態に従う撮像部8は、一例として、シャッター速度を任意に設定可能な電子シャッターを有しており、これにより露光時間を任意に変更可能となる。その変更可能な露光時間は、一例として「1/10秒」,「1/20秒」,「1/40秒」,「1/80秒」,「1/160秒」,「1/320秒」,「1/640秒」,「1/1280秒」の8通りを標準として含む。この変更可能な露光時間群は、「1/10秒」を基準(最も遅い値)として、2のべき乗で順次早くなるように設定されている。
図4を参照して、輝度合成部210は、撮像部8によって撮影された各入力画像データの光エネルギーに相当する値(輝度情報)を対応する露光条件によってそれぞれ規格化した上で、各画素の合成輝度を算出する。上述したように、露光時間を変更することで、撮影に適した光パワーの範囲が変動する。すなわち、露光時間が相対的に短ければ、光パワーのより大きな範囲の撮影に適し、露光時間が相対的に長ければ、光パワーのより小さな範囲の撮影に適する。
再度、図4を参照して、輝度合成部210は、算出した合成輝度Eiをトーンマッピング部214へ出力する。トーンマッピング部214は、合成輝度Eiに基づいて合成画像データを生成するための輝度情報を生成する。具体的には、トーンマッピング部214は、各合成輝度Ei(輝度範囲:0〜100;但し、256階調より大きな階調をもつ)を合成画像データの輝度範囲(たとえば、0〜255階調値)に割り当てることで、合成画像データの輝度情報を生成する。なお、各合成輝度Eiの分解能(ダイナミックレンジ)は、入力画像データより高くなるので、合成画像データの輝度範囲を入力画像データより多階調化することで、より精度の高い合成画像データを生成できる。
図7を参照して、説明を簡素化するために、トーンマッピング部214が線形の割り当て処理を行なう場合について例示する。最も簡単な例としては、輝度範囲が0〜100である合成輝度Eiの比例関係を保ったまま、0〜255の範囲の階調値への割り当てである。これにより、モニタが持つ表示能力より大きな階調をもつデータを、モニタの持つ表示能力に合わせた階調(たとえば、8ビット表示)で表示することができる。
(計算例)
一例として、それぞれ3つの露光時間「1/20秒」,「1/40秒」,「1/80秒」において撮影が行なわれることで入力画像データが取得された場合において、3つの入力画像データの座標位置iにおける輝度が、それぞれ「190」,「100」,「50」であるとする。この場合において、当該座標位置iに対応する画素の合成輝度Eiは以下のように算出される。但し、W(190)=65,W(100)=100,W(50)=50である。
そして、ユーザによって、「明るさ」上限値Bmaxが「60」で、「明るさ」下限値Bminが「30」に設定された場合には、合成画像データの輝度Yiは以下のように算出される。
(ヒストグラム生成)
再度、図4を参照して、輝度合成部210は、算出した合成輝度Eiをヒストグラム生成部218へも出力する。ヒストグラム生成部218は、合成輝度Eiについてのヒストグラムを生成する。すなわち、ヒストグラム生成部218は、各画素の合成輝度Eiを所定幅の階級に区分した上で画素数を積算していく。これは、ユーザが、輝度合成部210によって算出される合成輝度Eiのうち相対的に比率の高い範囲を参照しながら、上述の「明るさ」上限値および「明るさ」下限値を設定することを助ける。
図4を参照して、色合成部208は、複数の入力画像データの色情報から合成色情報を算出する。後述するように、合成画像データの各画素は、色合成部208で算出される合成色情報に、輝度合成部210およびトーンマッピング部214によって算出される合成輝度情報を乗じて得られるため、色合成部208から出力される合成色情報は、「赤色」、「緑色」、「青色」の相対的な比を示す値となる。
<(4)生成処理>
画像生成部212は、輝度合成部210およびトーンマッピング部214によって生成された輝度Yiを、対応する合成色情報(ri,gi,bi)に順次乗じることによって、座標位置iの画素の画像情報を順次算出し、これによって合成画像データを生成する。
以上のような(1)〜(4)の手順に従って、合成画像データが生成される。なお、(1)の撮影処理では一連の撮影動作が繰返し実行され、この撮影処理の繰返し実行に同期して、(2)〜(4)の処理も実行される。
再度、図4を参照して、処理時間算出部222は、1つの合成画像データの生成に要する見込みの処理時間を算出する。より具体的には、処理時間算出部222は、撮影制御部200からの情報に基づいて、撮像部8による撮影回数、各撮影における露光時間、画像合成処理の処理量などを考慮して、処理時間を推定する。この処理時間は、1つの合成画像データの生成に要する、撮像部8による撮影開始から合成画像データの生成完了までの時間に相当する。処理時間算出部222によって算出された処理時間は、ユーザに向けて表示されるとともに、撮影制御部200へ出力されて、撮影条件の変更処理に用いられる。
図8は、この発明の実施の形態1に従う画像処理装置のモニタに表示される「設定モード」における画面表示例を示す図である。
図9は、この発明の実施の形態1に従う画像処理装置の稼動モードにおける制御動作を説明するための図である。
撮影制御部200(図4)は、ユーザが設定する「明るさ」上下限値に応じて、図5に示す関係を参照して、撮影回数および各撮影における露光時間を決定する。このとき、トーンマッピング部214が、合成輝度の対応する範囲を合成画像データの輝度範囲に割り当てるので、ワークのうち任意の「明るさ」をもつ領域に着目した合成画像を表示することもできる。
上述したように、処理時間算出部222(図4)は、1つの合成画像データの生成に要する見込みの処理時間を算出し、その算出された処理時間は、撮影情報表示エリア340に「撮影時間」として表示される。以下では、図11を用いて、この処理時間算出部222による処理時間の算出方法の一例について説明を行なう。
撮影制御部200(図4)は、ユーザによる「明るさ」上下限値の設定がなされると、初期設定として、予め定められた露光時間と「明るさ」との対応関係(図5)を参照して、「稼動モード」における1回の合成画像データの生成に要する撮影回数および各撮影における露光条件(撮影条件)を決定する。ここで、ユーザが「許容時間」を設定している場合には、撮影制御部200は、この初期設定した撮影条件における見込みの処理時間が「許容時間」を超過しているか否かを判断し、超過していると判断した場合には、見込みの処理時間が「許容時間」内に収まるように、撮影条件を変更する。以下、図12を参照して、撮影条件の変更処理について例示する。
上述の図12に示す撮影条件の変更処理では、各露光時間に対応する「明るさ」代表値が、ユーザ入力された「明るさ」範囲に含まれるように露光条件が設定される構成について例示したが、各露光時間がカバーする「明るさ」範囲を考慮して露光条件を設定してもよい。
上述の図12および図13に示す撮影条件の変更処理では、露光時間と「明るさ」代表値との対応関係を示す関数に基づいて、撮影回数および各撮影における露光時間を連続的に決定する構成について例示したが、図5に示すようなテーブル形式を基づいて撮影回数および各撮影における露光時間を決定してもよい。
上述したような撮影制御部200が自動的に撮影条件を変更する構成に代えて、図12または図13に示すような露光時間と「明るさ」との対応関係をモニタ102上に視覚的に表示するとともに、この対応関係を参照してユーザが撮影条件を直接的に設定するようにしてもよい。
以下、稼動モードにおける処理の一例について説明する。生成された合成画像データを用いてワークの検査や計測を行なう方法は従来から様々なものが提案されているが、本実施の形態においては、代表的に、予め登録された画像パターンに一致する部分を探索するサーチ処理と、ワークのエッジを検出してエッジ間の距離を計測するエッジスキャン処理とについて例示する。なお、稼動モードにおける処理は、これらの処理に限られない。
図16は、稼動モードの一例であるエッジスキャン処理の表示例を示す図である。
図17は、この発明の実施の形態1に従う画像処理装置における全体処理を示すフローチャートである。図17に示すフローチャートは、CPU105が固定ディスク107などに予め格納されたプログラムをメモリ106に読出して実行することにより実現される。なお、初期モードは「稼動モード」であるとする。
上述の実施の形態1では、ユーザが「明るさ」上下限値の範囲を設定する構成について例示したが、輝度合成部210によって算出される合成輝度のヒストグラムに基づいて、自動的に設定するようにしてもよい。また、このように自動設定する場合には、より精度を高めるために、単一ではなく複数の合成画像データの合成輝度についてのヒストグラムに基づいて、「明るさ」上下限値の範囲を設定してもよいし、合成画像データのうち一部の領域についてのヒストグラムに基づいて、「明るさ」上下限値の範囲を設定してもよい。
従来の技術によれば、一般的に、撮影回数が多くなるほど、ダイナミックレンジの拡大および合成画像の精度向上を期待できるが、撮影回数の増大に伴って1つの合成画像の生成に要する処理時間が長くなる。すなわち、ダイナミックレンジの拡大と処理時間とはトレードオフの関係にある。実際の生産現場では、ベルトコンベヤなどの搬送装置上を順次搬送される被測定物を対象として検査や計測を行なう必要があるため、各被測定物に割り当て可能な処理時間には上限がある。そのため、このような製造上の制限時間内に一連の処理が完了するように、撮影条件(露光条件や撮影回数など)を試行錯誤により適切に設定しなければならなかったという課題があったところ、この実施の形態によれば、1回の合成処理に対する許容時間に従って、撮影条件を適切に設定できる。
ユーザが設定モードにおいて撮影条件を設定する場合には、ワークの搬送速度などに応じて照明などを試行錯誤で調整するケースが多いと考えられる。この場合、ワークの単位時間当たりの移動量(動き量)が相対的に大きな場合には、合成画像データの生成に要する処理時間を短くしなければ、ワークの動きを表示することはできない。そこで、実施の形態2に従う画像処理装置として、予備知識を持たないユーザであっても、このような被測定物の動きを見ながら撮影条件を設定できる構成について説明する。
まず、理解を容易にするため、本実施の形態に従う画像処理装置のモニタに表示される「設定モード」における画面表示例について説明する。
図21は、この発明の実施の形態2に従う画像処理装置の制御構造を示す機能ブロック図である。
図22は、この発明の実施の形態2に従う動き適応表示モードが有効化された場合の動作を示すタイムチャートである。
この発明の実施の形態2に従う画像処理装置における全体処理については、図17に示すフローチャートと同様であるので、詳細な説明は繰返さない。
合成画像の生成処理は繰返され、この生成に伴って合成画像を順次更新することで、合成画像を動画像として表示できる。このとき、このような合成画像の更新周期は、1つの合成画像の生成に要する処理時間に相当する。そのため、撮影範囲内での被測定物の単位時間当たりの移動量(すなわち、動き量)が比較的大きな場合には、この合成画像の生成に要する処理時間を短くしなければ、被測定物の動きを表示することはできない。一方、被測定物の動き量が比較的小さな場合には、より多くの処理時間を割り当てて、より精度の高い合成画像を生成することが好ましい。このように、被測定物の動き量に応じて、撮影条件(露光条件や撮影回数など)を適切に設定する必要があるという課題が存在したが、 この発明の実施の形態2によれば、撮像装置によって撮影される被測定物の動き量に応じて、1回の合成画像データの生成に要する処理時間が自動的に変更され、合成画像の更新周期が適切に設定される。そのため、予備知識を持たないユーザであっても、被測定物の動きを見ながら撮影条件を設定できる。
上述したように、本発明に係る画像合成処理は、複数の入力画像データの輝度情報および色情報を用いて、画素毎に合成輝度情報および合成色情報を算出する。そのため、画像合成処理に要する時間は、処理対象の画素数および入力画像データ数に比例することになる。
まず、理解を容易にするため、本実施の形態に従う画像処理装置のモニタに表示される「設定モード」における画面表示例について説明する。
図26は、この発明の実施の形態3に従う画像処理装置の制御構造を示す機能ブロック図である。
この発明の実施の形態3によれば、撮像装置の撮影範囲の一部分に存在する被測定物の領域を指定することで、検査や計測の対象となる被測定物についての、必要な合成画像をより効率的に生成できる。これにより、画像合成に係る処理時間をより短縮化することでできるので、生産ラインのタクトタイムへの影響を低減できる。
上述したように、本発明に係る画像合成処理は、複数の入力画像データから算出した各画素の合成輝度を、所定の対応関係に従って割り当てることで、合成画像データの対応する画素の輝度情報を生成する。より具体的には、合成輝度のうち「明るさ」下限値から「明るさ」上限値までの範囲が、合成画像データの輝度範囲と対応するように、割り当てが行なわれる。上述の実施の形態1〜3では、ユーザが「明るさ」上限値および「明るさ」下限値を入力する構成について例示した。
まず、理解を容易にするため、本実施の形態に従う画像処理装置のモニタに表示される「設定モード」における画面表示例について説明する。
図29は、この発明の実施の形態4に従う画像処理装置の稼動モードにおける制御構造を示す機能ブロック図である。
この発明の実施の形態4によれば、被測定物のうち、高い精度で表示すべき領域、あるいは検査対象とすべき領域をユーザが視覚的に指定することで、このような領域の表示に適した「明るさ」上限値および「明るさ」下限値が自動的に決定されるので、ユーザによる設定調整に要する時間を短縮することができる。これにより、予備知識を持たないユーザであっても、被測定物に応じた適切な設定条件を決定することができる。
上述の実施の形態1では、1回の合成画像データの生成に要する見込みの処理時間が、ユーザ設定される許容時間に収まるように撮影条件を変更する構成について例示し、上述の実施の形態2では、撮影範囲におけるワークの動き量に応じて、ワークの動きを適切に動画表示できるように撮影条件を変更する構成について例示し、上述の実施の形態3では、処理対象とすべき領域に含まれる画素についてのみ画像合成処理を行なって、1回の画像合成データの生成に要する処理時間を短縮する構成について例示した。
本発明に係るプログラムは、コンピュータのオペレーティングシステム(OS)の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずOSと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。
Claims (7)
- 被測定物を撮影して画像データを生成する撮像部に接続され、撮像部を制御するための制御指令を出力し、撮像部で撮影された画像データが入力されるカメラインターフェイス部と、
表示部に接続され、表示部に表示させる表示用画像データを出力する表示画面出力部と、
外部から入力を受付ける入力部と、
処理を実行する処理部と、を備え、
前記入力部から受付けた入力に基づいて設定を行なう設定モードと、前記設定に従う処理を実行する稼動モードとを有する画像処理装置であって、
前記処理部は、
設定モードにおいて、
カメラインターフェイス部を通じて、入力される画像データの輝度を異ならせる複数の撮影条件からなる第1の撮影条件により前記撮像部に被測定物を撮影させるための制御指令を出力し、当該制御指令による複数の撮影条件に対応した複数の画像データの入力を受け、構成する画素の輝度について第1の階調数で表わされた複数の画像データを取得し、
各画像データを構成する画素の輝度について、それぞれ画像データに対応する撮影条件に基づいて規格化した規格化輝度を算出し、
各画像データの互いに対応する座標位置にある各画素の規格化輝度を、撮影条件に応じて予め定められた規格化輝度に対する重み付けに従って合成することで、画像を構成する画素の合成された規格化輝度が前記第1の階調数よりも階調数が増加された第2の階調数で表わされた合成画像データを生成し、
前記合成画像データを構成する画素の輝度を表わす第2の階調数が第3の階調数となるように必要に応じて各画素の輝度を変換することにより、表示用画像データを生成して、表示画面出力部により当該表示用画像データを出力し、
前記入力部を通じて、前記表示用画像データに対する領域の指定を受付けて指定領域を設定し、および、
規格化輝度の範囲毎に対応する撮影条件を予め定めた対応関係に従って、前記合成画像データ内の前記指定領域を構成する画素の合成された規格化輝度の上限値および下限値により定まる指定領域内の合成された規格化輝度の範囲に対応する1または複数の撮影条件を第2の撮影条件として設定する処理を行ない、
稼動モードにおいて、
設定モードにおいて設定された前記第2の撮影条件が複数の撮影条件である場合には、カメラインターフェイス部を通じて、当該設定された複数の撮影条件により前記撮像部に被測定物を撮影させるための制御指令を出力し、当該制御指令による複数の撮影条件に対応した複数の画像データの入力を受け、構成する画素の輝度について第1の階調数で表わされた複数の画像データを取得し、
各画像データを構成する画素の輝度について、それぞれ画像データに対応する撮影条件に基づいて規格化した規格化輝度を算出し、
各画像データの互いに対応する座標位置にある各画素の規格化輝度を、撮影条件に応じて予め定められた規格化輝度に対する重み付けに従って合成することで、画像を構成する画素の合成された規格化輝度が前記第1の階調数よりも階調数が増加された合成画像データを生成し、および、
当該合成画像データ内の前記指定領域を構成する画素の合成された規格化輝度の上限値および下限値により定まる指定領域内の合成された規格化輝度の範囲が第4の階調数となるように各画素の輝度を変換する輝度階調変換により当該合成画像データの全領域を構成する画素の合成された規格化輝度について輝度階調変換を行ない、その後の画像処理に供するための処理対象画像データを算出する処理を行ない、
設定モードにおいて設定された前記第2の撮影条件が1の撮影条件である場合には、
カメラインターフェイス部を通じて、当該設定された1の撮影条件により前記撮像部に被測定物を撮影させるための制御指令を出力し、当該制御指令による撮影条件に対応した1の画像データの入力を受け、構成する画素の輝度について第1の階調数で表わされた画像データを取得し、
当該画像データを構成する画素の輝度について、当該画像データに対応する撮影条件に基づいて規格化した規格化輝度を算出し、および、
当該画像データ内の前記指定領域を構成する画素の規格化輝度の上限値および下限値により定まる指定領域内の規格化輝度の範囲が前記第4の階調数となるように各画素の輝度を変換する輝度階調変換により、当該画像データの全領域を構成する画素の輝度について輝度階調変換を行ない、その後の画像処理に供するための処理対象画像データを算出する処理を行なうものである、画像処理装置。 - 被測定物を撮像して画像データを生成する撮像部に接続され、撮像部を制御するための制御指令を出力し、撮像部で撮影された画像データが入力されるカメラインターフェイス部と、
表示部に接続され、表示部に表示させる表示用画像データを出力する表示画面出力部と、
外部から入力を受付ける入力部と
処理を実行する処理部と、を備え、
前記入力部から受付けた入力に基づいて設定を行なう設定モードと、前記設定に従う処理を実行する稼動モードとを有する画像処理装置であって、
前記処理部は、
設定モードにおいて、
カメラインターフェイス部を通じて、入力される画像データの輝度を異ならせる複数の撮影条件からなる第1の撮影条件により前記撮像部に被測定物を撮影させるための制御指令を出力し、当該制御指令による複数の撮影条件に対応した複数の画像データの入力を受け、構成する画素の輝度について第1の階調数で表わされた複数の画像データを取得し、
各画像データを構成する画素の輝度について、それぞれ画像データに対応する撮影条件に基づいて規格化した規格化輝度を算出し、
各画像データの互いに対応する座標位置にある各画素の規格化輝度を、撮影条件に応じて予め定められた規格化輝度に対する重み付けに従って合成することで、画像を構成する画素の合成された規格化輝度が前記第1の階調数よりも階調数が増加された第2の階調数で表わされた合成画像データを生成し、
前記合成画像データを構成する画素の輝度を表わす第2の階調数が第3の階調数となるように必要に応じて各画素の輝度を変換することにより、表示用画像データを生成して、表示画面出力部により当該表示用画像データを出力し、
前記入力部を通じて、前記表示用画像データに対する領域の指定を受付けて指定領域を設定し、および、
規格化輝度の範囲毎に対応する撮影条件を予め定めた対応関係に従って、前記合成画像データ内の前記指定領域を構成する画素の合成された規格化輝度の上限値および下限値により定まる指定領域内の合成された規格化輝度の範囲に対応する1または複数の撮影条件を第2の撮影条件として設定する処理を行ない、
稼動モードにおいて、
設定モードにおいて設定された前記第2の撮影条件が複数の撮影条件である場合には、
カメラインターフェイス部を通じて、当該設定された複数の撮影条件により前記撮像部に被測定物を撮影させるための制御指令を出力し、当該制御指令による複数の撮影条件に対応した複数の画像データの入力を受け、構成する画素の輝度について第1の階調数で表わされた複数の画像データを取得し、
前記指定領域に対しては、
各画像データ内の前記指定領域を構成する画素の輝度について、それぞれ画像データに対応する撮影条件に基づいて規格化した規格化輝度を算出し、
各画像データの互いに対応する座標位置にある各画素の規格化輝度を、撮影条件に応じて予め定められた規格化輝度に対する重み付けに従って合成し、
前記指定領域を構成する画素の合成された規格化輝度の上限値および下限値により定まる指定領域内の合成された規格化輝度の範囲が第4の階調数となるように各画素の輝度を変換する輝度階調変換により、前記指定領域を構成する画素の合成された規格化輝度について輝度階調変換を行った指定領域の処理対象画像データを算出し、
前記指定領域外の領域に対しては、
前記複数の撮影条件のうちの1の撮影条件により生成された画像データ内の前記指定領域外の領域を構成する画素の輝度について、当該画像データに対応する撮影条件に基づいて規格化した規格化輝度を算出し、
前記輝度階調変換により、前記指定領域外の領域を構成する画素の規格化輝度について輝度階調変換を行った指定領域外の処理対象画像データを算出し、および、
前記指定領域の処理対象画像データと前記指定領域外の処理対象画像データとからなる全領域の処理対象画像データをその後の画像処理に供するために作成する処理を行ない、
設定モードにおいて設定された前記第2の撮影条件が1の撮影条件である場合には、
カメラインターフェイス部を通じて、当該設定された1の撮影条件により前記撮像部に被測定物を撮影させるための制御指令を出力し、当該制御指令による撮影条件に対応した1の画像データの入力を受け、構成する画素の輝度について第1の階調数で表わされた画像データを取得し、および、
当該画像データ内の前記指定領域を構成する画素の規格化輝度の上限値および下限値により定まる指定領域内の輝度範囲が前記第4の階調数となるように各画素の輝度を変換する輝度階調変換により、前記画像データの全領域を構成する画素の輝度について輝度階調変換を行ない、その後の画像処理に供するための処理対象画像データを算出する処理を行なうものである、画像処理装置。 - 前記第1の撮影条件に含まれる複数の撮影条件のうち、入力される画像データの輝度が最も高くなる撮影条件は、当該撮影条件に対応して入力される画像データに輝度が飽和した画素が含まれない撮影条件である、請求項1または2に記載の画像処理装置。
- 前記カメラインターフェイス部を通じて入力される画像データは、色情報を含む画像データであり、
前記処理部は、前記画素の輝度を、当該画素の色情報を構成する各成分の輝度の総和に基づいて算出し、
前記いずれの合成画像データにおいても、合成画像データの画素の色情報を、合成画像データを生成するために用いる複数の画像データの互いに対応する座標位置にある各画素の色情報を当該画素の前記規格化輝度に対して撮影条件に応じて予め定められた重み付けに従って合成することにより算出し、
前記いずれの処理対象画像データにおいても、処理対象画像データの画素の色情報を、輝度階調変換する前の画像データの対応する画素が有する色情報として、色情報を含む処理対象画像データを算出する、請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記撮影条件は、前記撮像部の露光時間を含む、請求項1〜4のいずれか1項に記載の画像処理装置。
- 前記撮影条件は、前記撮像部のしぼり量を含む、請求項1〜4のいずれか1項に記載の画像処理装置。
- 前記カメラインターフェイス部は、被測定物に光を照射する照明部にさらに接続され、
前記撮影条件は、前記照明部の照明強度を含む、請求項1〜6のいずれか1項に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009059269A JP5056780B2 (ja) | 2008-03-14 | 2009-03-12 | 画像処理装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008065757 | 2008-03-14 | ||
JP2008065757 | 2008-03-14 | ||
JP2009059269A JP5056780B2 (ja) | 2008-03-14 | 2009-03-12 | 画像処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012164789A Division JP5234211B2 (ja) | 2008-03-14 | 2012-07-25 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009245429A JP2009245429A (ja) | 2009-10-22 |
JP5056780B2 true JP5056780B2 (ja) | 2012-10-24 |
Family
ID=41062618
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009059269A Active JP5056780B2 (ja) | 2008-03-14 | 2009-03-12 | 画像処理装置 |
JP2012164789A Active JP5234211B2 (ja) | 2008-03-14 | 2012-07-25 | 画像処理装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012164789A Active JP5234211B2 (ja) | 2008-03-14 | 2012-07-25 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7999861B2 (ja) |
JP (2) | JP5056780B2 (ja) |
DE (1) | DE102009001555B4 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5370056B2 (ja) * | 2008-11-04 | 2013-12-18 | オムロン株式会社 | 画像処理装置 |
WO2010103593A1 (ja) * | 2009-03-13 | 2010-09-16 | シャープ株式会社 | 画像表示方法及び画像表示装置 |
JP5669616B2 (ja) * | 2011-02-18 | 2015-02-12 | オリンパス株式会社 | 撮像装置、画像生成方法、及び、画像生成プログラム |
JP6025400B2 (ja) * | 2012-05-29 | 2016-11-16 | キヤノン株式会社 | ワーク位置検出装置、及びワーク位置検出方法 |
JP5698208B2 (ja) | 2012-11-30 | 2015-04-08 | 株式会社Screenホールディングス | 画像処理装置、画像処理方法、および画像処理プログラム |
JP6089886B2 (ja) * | 2013-03-29 | 2017-03-08 | オムロン株式会社 | 領域分割方法および検査装置 |
WO2014167170A1 (en) * | 2013-04-11 | 2014-10-16 | Nokia Corporation | Method and technical equipment for imaging |
CN103593155B (zh) * | 2013-11-06 | 2016-09-07 | 华为终端有限公司 | 显示帧生成方法和终端设备 |
JP2015228641A (ja) | 2014-05-07 | 2015-12-17 | 株式会社リコー | 撮像装置、露光調整方法およびプログラム |
JP6279048B2 (ja) * | 2016-10-14 | 2018-02-14 | 株式会社キーエンス | 形状測定装置 |
JP6789760B2 (ja) * | 2016-10-31 | 2020-11-25 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
US10706512B2 (en) * | 2017-03-07 | 2020-07-07 | Adobe Inc. | Preserving color in image brightness adjustment for exposure fusion |
WO2018180339A1 (ja) * | 2017-03-30 | 2018-10-04 | Hoya株式会社 | 電子内視鏡装置 |
US10417911B2 (en) | 2017-12-18 | 2019-09-17 | Ford Global Technologies, Llc | Inter-vehicle cooperation for physical exterior damage detection |
US10600234B2 (en) * | 2017-12-18 | 2020-03-24 | Ford Global Technologies, Llc | Inter-vehicle cooperation for vehicle self imaging |
US10745005B2 (en) | 2018-01-24 | 2020-08-18 | Ford Global Technologies, Llc | Inter-vehicle cooperation for vehicle self height estimation |
US10628690B2 (en) | 2018-05-09 | 2020-04-21 | Ford Global Technologies, Llc | Systems and methods for automated detection of trailer properties |
US11351917B2 (en) | 2019-02-13 | 2022-06-07 | Ford Global Technologies, Llc | Vehicle-rendering generation for vehicle display based on short-range communication |
US11508337B2 (en) * | 2020-07-30 | 2022-11-22 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer readable medium |
WO2023067795A1 (ja) * | 2021-10-22 | 2023-04-27 | ファナック株式会社 | 撮像制御装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2864162B2 (ja) * | 1989-11-28 | 1999-03-03 | コニカ株式会社 | 放射線画像処理装置 |
JP3112325B2 (ja) * | 1991-12-20 | 2000-11-27 | ミノルタ株式会社 | 画像入力方法及び装置 |
US5929908A (en) * | 1995-02-03 | 1999-07-27 | Canon Kabushiki Kaisha | Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion |
JP2002290707A (ja) * | 2001-03-26 | 2002-10-04 | Olympus Optical Co Ltd | 画像処理装置 |
JP3780178B2 (ja) * | 2001-05-09 | 2006-05-31 | ファナック株式会社 | 視覚センサ |
US7428997B2 (en) * | 2003-07-29 | 2008-09-30 | Microvision, Inc. | Method and apparatus for illuminating a field-of-view and capturing an image |
JP4257165B2 (ja) * | 2003-08-19 | 2009-04-22 | 株式会社日立製作所 | 撮像装置及び方法 |
JP4521858B2 (ja) * | 2004-02-12 | 2010-08-11 | 株式会社キーエンス | 画像処理装置 |
JP2005294913A (ja) * | 2004-03-31 | 2005-10-20 | Victor Co Of Japan Ltd | 撮像装置 |
US7218324B2 (en) * | 2004-06-18 | 2007-05-15 | Mitsubishi Electric Research Laboratories, Inc. | Scene reflectance functions under natural illumination |
JP4272221B2 (ja) * | 2006-07-25 | 2009-06-03 | 株式会社アクセル | カラー画像動き検出回路、多重カラー画像統合装置およびカラー画像動き検出方法 |
JP5082776B2 (ja) * | 2007-10-31 | 2012-11-28 | オムロン株式会社 | 画像処理装置 |
-
2009
- 2009-03-11 US US12/402,240 patent/US7999861B2/en active Active
- 2009-03-12 JP JP2009059269A patent/JP5056780B2/ja active Active
- 2009-03-13 DE DE102009001555A patent/DE102009001555B4/de active Active
-
2012
- 2012-07-25 JP JP2012164789A patent/JP5234211B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012200025A (ja) | 2012-10-18 |
US7999861B2 (en) | 2011-08-16 |
JP2009245429A (ja) | 2009-10-22 |
DE102009001555B4 (de) | 2013-07-04 |
DE102009001555A1 (de) | 2010-02-18 |
US20090231469A1 (en) | 2009-09-17 |
JP5234211B2 (ja) | 2013-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5056780B2 (ja) | 画像処理装置 | |
JP5082776B2 (ja) | 画像処理装置 | |
JP5181970B2 (ja) | 画像処理装置および画像処理方法 | |
JP5370056B2 (ja) | 画像処理装置 | |
JP5257375B2 (ja) | 画像処理装置および画像処理方法 | |
US20130021484A1 (en) | Dynamic computation of lens shading | |
US20070177029A1 (en) | Color correction apparatus | |
US9077944B2 (en) | Image pickup device, image processing method, and storage medium | |
JP2009224971A (ja) | 画像処理装置 | |
EP1808680A2 (en) | Measuring method and apparatus using color images | |
CN111988594B (zh) | 图像处理设备及其控制方法、摄像设备、监视系统和介质 | |
KR101680446B1 (ko) | 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법 | |
JP2010139324A (ja) | 色ムラ測定方法、および色ムラ測定装置 | |
JP2013229706A (ja) | 画像取得装置、画像取得方法、および画像取得プログラム | |
JP4946928B2 (ja) | 画像処理装置および画像処理方法 | |
JP2012199804A (ja) | 画像処理装置および画像処理方法 | |
JP2010079387A (ja) | 画像処理方法および画像処理装置 | |
JP5200599B2 (ja) | スクリーン、光学特性測定システム、および光学特性測定方法 | |
JP2010145097A (ja) | 色ムラ検査方法、および検査用画像データ生成装置 | |
JP3801177B2 (ja) | 画像処理装置、画像処理プログラム、および画像処理方法 | |
JP2007198849A (ja) | フレア検査装置、フレア検査方法、フレア検査プログラム、及び記録媒体 | |
JP3904208B2 (ja) | 撮像素子の画素欠陥補正方法及びそれを用いた検査装置 | |
JP2022006624A (ja) | 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置 | |
JP2024043698A (ja) | 表示方法、表示システム、及びプログラム | |
JP2012154893A (ja) | 検査方法及びその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120703 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120716 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5056780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |