JP5230362B2 - 広ダイナミックレンジ撮像装置 - Google Patents
広ダイナミックレンジ撮像装置 Download PDFInfo
- Publication number
- JP5230362B2 JP5230362B2 JP2008282527A JP2008282527A JP5230362B2 JP 5230362 B2 JP5230362 B2 JP 5230362B2 JP 2008282527 A JP2008282527 A JP 2008282527A JP 2008282527 A JP2008282527 A JP 2008282527A JP 5230362 B2 JP5230362 B2 JP 5230362B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- image
- signal generation
- dynamic range
- wide dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 43
- 239000002131 composite material Substances 0.000 claims description 74
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 53
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000035945 sensitivity Effects 0.000 description 8
- 238000005476 soldering Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
第1の手段は、撮像光学系により被写体の光学像を結像する撮像素子と、該撮像素子に結像された光学像に基づいて、少なくとも2つの異なる光量レベルの複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する1つの合成画像信号として合成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、前記複数画像信号生成部と部分画像信号抽出部との間には、タイミングの異なる前記合成画像信号を生成する前記複数画像信号生成部の画像信号から、前記複数の画像信号の移動量を算出し、前記複数の画像信号を前記算出された移動量に基づいて補正する移動量補正画像信号生成部を備えることを特徴とする広ダイナミックレンジ撮像装置である。
第2の手段は、第1の手段において、前記移動量補正画像信号生成部は、さらに比較されなかった複数画像信号生成部の複数の画像の移動量を推定算出し、移動補正した複数の画像信号を生成することを特徴とする広ダイナミックレンジ撮像装置である。
第3の手段は、第1又は2の手段において、前記移動量補正画像信号生成部の前記複数の画像信号の移動量を算出する基準となる画像信号は、前記複数画像信号生成部の複数の画像信号のうち最もコントラストの高い画像信号であることを特徴とする広ダイナミックレンジ撮像装置である。
第4の手段は、第1の手段ないし第3の手段において、前記移動量補正画像信号生成部は、撮像素子に結像された光学像面の水平方向(X軸方向)と垂直方向(Y軸方向)で行われることを特徴とする広ダイナミックレンジ撮像装置である。
第5の手段は、第1の手段ないし第4の手段のいずれか1つの手段に記載の広ダイナミックレンジ撮像装置が車載用に適用された広ダイナミックレンジ撮像装置であって、さらに前記合成画像信号間で合成画像の垂直方向(Y軸方向)でブレ補正を行うことを特徴とする車載用広ダイナミックレンジ撮像装置である。
また、120dB以上の非常に高コントラストな画像もブレ補正して撮像可能となることから、従来実用化が困難視されていた分野における使用が可能となり、これらの分野における安全性、信頼性を大幅に向上させることができる。
また、車載用の適用に際しては、合成画像が撮像素子に結像された光学像面の水平方向(X軸方向)および垂直方向(Y軸方向)で補正され、ブレのない合成画像が取得できると共に、合成後の合成画像のブレ補正を車の上下振動方向(Y軸方向)のみとすることにより、安全性に優れた広ダイナミックレンジ撮像装置を提供することができる。
図1は、本発明に係る広ダイナミックレンジ撮像装置の制御系統を示すブロック図である。
同図において、1は撮像光学系、2は撮像素子、3は制御部、31は撮像素子2に結像された光学像に基づいて、複数の異なる露光条件(複数の異なる光量レベル)を有する画像信号を生成する複数画像信号生成部、32は複数画像信号生成部31において生成された露光条件の異なる複数の画像信号の中から取得された高コントラストの画像信号を移動量判別画像信号として保存する移動量判別画像信号保存部、33は複数画像信号生成部31で生成された複数の各画像信号と移動量判別画像信号保存部32に保存されている移動量判別画像信号とを比較して移動量を検出し、複数の各画像信号に対して移動量が補正された複数の画像信号を生成する移動補正された複数画像信号生成部、34は部分画像信号抽出用の閾値が設定されている閾値設定部、35は閾値設定部34に設定されている閾値に基づいて、複数の各移動補正された画像信号から各部分画像信号を抽出する部分画像信号抽出部、36は部分画像信号生成部35から出力された移動補正された部分画像信号を合成して合成画像信号を生成する合成画像信号生成部、37は合成画像信号生成部36において生成された合成画像の中から移動量判別合成画像信号を抽出して保存する移動量判別合成画像信号保存部、38は合成画像信号生成部36で生成された合成画像信号と移動量判別合成画像信号保存部37に保存されている移動量判別合成画像信号とを比較してブレ量を検出し、各合成画像信号に対してブレ補正した合成画像信号を生成するブレ補正された合成画像信号生成部、39はブレ補正された合成画像信号を出力する合成画像信号出力部、4は合成画像を表示する画像表示部である。
まず、撮像光学系1により被写体の光学像を撮像素子2に結像する。次に、制御部3においては、複数画像信号生成部31において、撮像素子2で結像された光学像に基づいて、複数の異なる露光条件の画像信号[{露光条件1の画像信号1(t−1)、露光条件2の画像信号2(t−1)、・・・露光条件nの画像信号n(t−1)}、{(露光条件1の画像信号1(t)、露光条件2の画像信号2(t)、・・・露光条件nの画像信号n(t)}、・・・{(露光条件1の画像信号1(t+1)、露光条件2の画像信号2(t+1)、・・・露光条件nの画像信号n(t+1)}]を生成する。なお、ここで、t−1は前回、tは今回、t+1は次回であり、例えば、「露光条件1の画像信号1(t)」とは、露光条件1で今回(t)取得された画像信号を意味する。
ステップS1において、複数画像信号生成部31において取得されている少なくとも2以上の光量レベル(露光時間)の異なる複数画像信号の中から、例えば、本例においては、前回(t−1)取得された複数画像信号{(露光条件1の画像信号1(t−1)、露光条件2の画像信号2(t−1)、・・・露光条件nの画像信号n(t−1)}の中から最もコントラストの高い、例えば、露光条件iの画像信号i(t−1)を移動量を判別する基となる移動量判別画像信号として抽出して移動量判別画像信号保存部32に保存する。ステップS2において、今回(t)複数画像信号生成部31から取得された画像信号{(露光条件1の画像信号1(t)、露光条件2の画像信号2(t)、・・・露光条件nの画像信号n(t)}の中でコントラストのある画像がある場合は、ステップS3以降の処理へ進み、コントラストの低い画像の場合は、今回の処理を終了する。ステップS3において、前回(t−1)取得された複数画像信号の中で最もコントラストの高い画像信号(例えば、露光条件iの画像信号i(t−1))と、今回(t)取得された画像信号{(露光条件1の画像信号1(t)、露光条件2の画像信号2(t)、・・・露光条件nの画像信号n(t)}の中でコントラストのある画像信号との明るさを比較する。ステップS4において、比較の結果、同じ明るさの画像の場合は、ステップS6に移行し、明るさが違う場合は、ステップS5に移行する。ステップS5では、今回(t)の複数画像信号の中でコントラストのある画像信号の明るさを調整して、前回(t−1)の画像信号i(t−1)の明るさを今回の複数画像信号の明るさと同レベルにする。ここで、明るさのレベルの調整は、今回の複数画像信号の明るさを前回(t−1)の画像信号i(t−1)の明るさと合わせるようにしても良い。そして、ステップS6では、今回(t)の複数画像信号と前回(t−1)の複数画像信号の被写体が同じであるかを判定し、同じである場合は、ステップS7に移行し、同じでない場合は、ステップS9に移行する。ステップS7においては、図3に示すように、前回(t−1)の移動量判別画像信号に対する今回(t)の各複数画像信号との移動(ブレ)量を2次元(X軸、Y軸)方向または1次元(Y軸)方向について求め、ステップS8において、求めた移動(ブレ)量に基づいて、今回(t)の各複数画像信号を2次元(X軸、Y軸)方向または1次元(Y軸)方向に移動し、移動(ブレ)量補正する。ステップS9において、ブレ補正した複数画像信号を保存する。
図4では、露光条件nの前回(t−1)の画像信号n(t−1)と、同じ露光条件nの今回(t)の画像信号n(t)から移動(ブレ)量を算出し、今回の他の(露光条件1の画像信号1(t)、露光条件2の画像信号2(t)、・・・)のブレ量を撮像素子が露光されるタイミングから推定量を算出しているが、比較される今回(t)の複数画像信号は、コントラストを有していれば、どの露光条件のものであってもよい。ブレ量を算出するための前回と今回の複数画像信号が、露光条件の異なる複数画像信号である場合は、ステップ3で比較される画像信号間の時間間隔によって今回の他の複数画像信号の移動(ブレ)量が推定算出される。
ステップS11において、合成画像信号生成部36の合成画像信号のコントラストのある、例えば、前回(t−1)取得された合成画像(t−1)を移動量判別合成画像信号として移動量判別合成画像信号保存部37に保存する。ステップS12において、抽出された合成画像信号がコントラストのある画像である場合は、ステップS13以降の処理へ進み、コントラストのある画像でない場合は、今回の処理を終了する。ステップS13において、前回(t−1)取得された合成画像信号と今回(t)取得された合成画像信号とを比較する。ステップS14では、今回(t)の合成画像信号と前回(t−1)の合成画像信号の被写体が同じであるかを判定し、同じである場合は、ステップS15に移行し、同じでない場合は、ステップS17に移行する。ステップS15において、図6に示すように、今回(t)の合成画像信号に対する前回(t−1)の合成画像信号とのブレ量(移動量)を2次元(X軸、Y軸)方向または1次元(Y軸)方向について求め、ステップS16において、求めたブレ量(移動量)に基づいて、今回(t)の合成画像信号を2次元(X軸、Y軸)方向または1次元(Y軸)方向に移動しブレ補正する。ステップS17において、ブレ補正した合成画像信号を保存する。
車載用カメラに適用された本発明に係る広ダイナミックレンジ撮像装置においては、2次元(X軸、Y軸)方向のブレ情報のうち、合成された合成画像について1次元(Y軸)方向にのみのブレ補正を行って、車の上下方向の振動のみのブレを補正した合成画像を表示する。そのため、表示される画像は車の上下方向の振動に対しては静止した画像信号が得られ、その後の画像信号を使いやすくすることができる。例えば、車両の左右のヘッドライト付近にカメラを装着し、道路の白線認識6に用いると極めて有用である。
同図に示すように、監視用カメラ7として適用された広ダイナミックレンジ撮像装置は、交差点8を監視するために、周囲のビルや信号機などに設置され、24時間365日、常時交差点8の監視を行い、朝日や夕日などの強い入射光などが画像に取込まれる環境下にあっても、撮像画像が飽和せず、状況確認の行える撮影画像9を取得することができる。
同図に示すように、FAカメラ10として適用された広ダイナミックレンジ撮像装置は、レーザー半田付け装置11付近に装備され、電子部品とプリント基板の半田付けの様子を撮像し、撮像画像12をTVモニターなどに表示する。そのため、作業者はレーザーの危険に曝されずに、レーザー加工状況を安全に確認することができ、レーザー加工時の強い光にも撮像画像が飽和せず、安定した画像が得られるため、その画像を画像処理し、半田付け状況を正確に観察して自動半田を行うためのアシスト機能を実現することができる。
2 撮像素子
3 制御部
31 複数画像信号生成部
32 移動量判別画像信号保存部
33 ブレ補正された複数画像信号生成部
34 閾値設定部
35 部分画像信号抽出部
36 合成画像信号生成部
37 移動量判別合成画像信号保存部
38 ブレ補正された合成画像信号生成部
39 合成画像信号出力部
4 画像表示部
5 車載用カメラ
6 白線認識
7 監視用カメラ
8 交差点
9 撮影画像
10 FAカメラ
11 レーザー半田付け装置
12 撮像画像
Claims (3)
- 撮像光学系により被写体の光学像を結像する撮像素子と、該撮像素子に結像された光学像に基づいて、少なくとも2つの異なる光量レベルの複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する1つの合成画像信号として生成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、
前記複数画像信号生成部と部分画像信号抽出部との間には、タイミングの異なる前記合成画像信号を生成する前記複数画像信号生成部の画像信号から、前記複数の画像信号の移動量を算出し、前記複数の画像信号を前記算出された移動量に基づいて補正する移動量補正画像信号生成部を備え、
前記移動量補正画像信号生成部は、さらに比較されなかった複数画像信号生成部の複数の画像の移動量を推定算出し、移動補正した複数の画像信号を生成し、
前記複数の画像信号の移動量を算出する基準となる画像信号は、前記複数画像信号生成部の複数の画像信号のうち最もコントラストの高い画像信号であることを特徴とする広ダイナミックレンジ撮像装置。 - 前記移動量補正画像信号生成部は、撮像素子に結像された光学像面の水平方向(X軸方向)と垂直方向(Y軸方向)で行われることを特徴とする請求項1に記載の広ダイナミックレンジ撮像装置。
- 前記請求項1または請求項2に記載の広ダイナミックレンジ撮像装置が車載用に適用された広ダイナミックレンジ撮像装置であって、さらに前記合成画像信号間で合成画像の垂直方向(Y軸方向)でブレ補正を行うことを特徴とする車載用広ダイナミックレンジ撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008282527A JP5230362B2 (ja) | 2008-10-31 | 2008-10-31 | 広ダイナミックレンジ撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008282527A JP5230362B2 (ja) | 2008-10-31 | 2008-10-31 | 広ダイナミックレンジ撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010109948A JP2010109948A (ja) | 2010-05-13 |
JP5230362B2 true JP5230362B2 (ja) | 2013-07-10 |
Family
ID=42298890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008282527A Expired - Fee Related JP5230362B2 (ja) | 2008-10-31 | 2008-10-31 | 広ダイナミックレンジ撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5230362B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012234393A (ja) * | 2011-05-02 | 2012-11-29 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
KR101225482B1 (ko) | 2012-02-15 | 2013-01-23 | 인텔 코오퍼레이션 | 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4284570B2 (ja) * | 1999-05-31 | 2009-06-24 | ソニー株式会社 | 撮像装置及びその方法 |
JP2007036363A (ja) * | 2005-07-22 | 2007-02-08 | Sharp Corp | 撮像装置 |
-
2008
- 2008-10-31 JP JP2008282527A patent/JP5230362B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010109948A (ja) | 2010-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5226600B2 (ja) | 画像変形装置およびその動作制御方法 | |
JP4646655B2 (ja) | 固体撮像装置及びその駆動方法並びに撮像システム | |
US7884868B2 (en) | Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus | |
KR101625893B1 (ko) | 노출 조건을 주기적으로 변화시키는 촬상장치, 촬상장치의 제어방법, 및 기억매체 | |
US7586518B2 (en) | Imaging technique performing focusing on plurality of images | |
US20070014554A1 (en) | Image processor and image processing program | |
JP2007166443A (ja) | 撮像装置 | |
JP2014057141A (ja) | 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 | |
JP5860663B2 (ja) | ステレオ撮像装置 | |
JP4872425B2 (ja) | 撮像装置およびドライブレコーダシステム | |
WO2019131346A1 (ja) | 撮像装置、撮像システム、および撮像装置の駆動方法 | |
CN109792492B (zh) | 摄像控制装置及方法、记录有程序的记录介质 | |
JP4145308B2 (ja) | 手ぶれ補正装置 | |
JP2007081477A (ja) | 撮像装置及びその制御方法 | |
JP5230362B2 (ja) | 広ダイナミックレンジ撮像装置 | |
US10965896B2 (en) | Photoelectric conversion device, moving body, and signal processing device | |
US20100013954A1 (en) | Video camera | |
KR101615381B1 (ko) | 이미지 획득 방법 및 디지털 카메라 시스템 | |
JP2008042227A (ja) | 撮像装置 | |
US10136088B2 (en) | Image pickup apparatus that reduces amount of information of defective pixels, method of controlling the same, and storage medium | |
US7421091B2 (en) | Image-capturing apparatus | |
US10943328B2 (en) | Image capturing apparatus, method for controlling same, and storage medium | |
JP2006121384A (ja) | 撮像装置 | |
JP4964062B2 (ja) | 電子カメラ | |
JP2011135379A (ja) | 撮像装置、撮像方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130319 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5230362 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |