JP6750449B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP6750449B2 JP6750449B2 JP2016205434A JP2016205434A JP6750449B2 JP 6750449 B2 JP6750449 B2 JP 6750449B2 JP 2016205434 A JP2016205434 A JP 2016205434A JP 2016205434 A JP2016205434 A JP 2016205434A JP 6750449 B2 JP6750449 B2 JP 6750449B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- windshield
- vehicle
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 143
- 239000000126 substance Substances 0.000 claims description 71
- 238000001514 detection method Methods 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000005304 joining Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 239000000428 dust Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 241000238631 Hexapoda Species 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000009683 detection of insect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
この構成によれば、レンズを透過した光がビームスプリッタを介して第1及び第2の撮像部の各々に至るため、レンズと第1の撮像面との間の距離、並びに、同レンズと第2の撮像面との間の距離を、ピントを合わせたい撮像対象に応じてそれぞれ確保すればよい。従って、ピントを合わせたい撮像対象に応じて2つの撮像部に応じたレンズをそれぞれ備える従来の撮像装置に比べて、装置の大型化を抑制することができる。また、レンズを1つにすることができるため、これによっても装置の大型化を抑制することができるとともに、製造コストを低減することができる。
この構成によれば、一方の撮像部は、車両周辺にピントが合い且つウインドシールドの外表面に付着した雨滴等の異物にはピントが合っていない(異物がぼけた)画像を撮像する。その一方で、他方の撮像部は、ウインドシールドにピントが合い且つ車両周辺にはピントが合っていない(車両周辺がぼけた)画像を撮像する。しかしながら、他方の撮像部が撮像する画像は、部分的に車両周辺にピントが合ってしまうことがある。従って、一方の撮像部が撮像した画像と他方の撮像部が撮像した画像とを比較してウインドシールドの外表面に付着した異物の位置を検出することにより、他方の撮像部で撮像した画像において部分的に車両周辺にピントが合ってしまった部分を異物であると誤検出することを抑制することができる。
上記課題を解決する撮像装置は、レンズと、前記レンズを透過した光の光路上に配置されたビームスプリッタと、前記ビームスプリッタを透過した透過光が結像する位置に位置する第1の撮像面を有する第1の撮像部と、前記ビームスプリッタで反射された反射光が結像する位置に位置する第2の撮像面を有する第2の撮像部と、を備え、前記第1の撮像部及び前記第2の撮像部の何れか一方の撮像部は、車両のウインドシールド越しに前記車両の周辺を撮像するものであり、何れか他方の撮像部は、前記ウインドシールドを撮像するものであり、前記第1の撮像部で撮像した画像と前記第2の撮像部で撮像した画像とを比較し、比較結果に基づいて前記ウインドシールドの外表面に付着した異物の前記外表面における位置を検出する画像処理装置を有する。
この構成によれば、レンズを透過した光がビームスプリッタを介して第1及び第2の撮像部の各々に至るため、レンズと第1の撮像面との間の距離、並びに、同レンズと第2の撮像面との間の距離を、ピントを合わせたい撮像対象に応じてそれぞれ確保すればよい。従って、ピントを合わせたい撮像対象に応じて2つの撮像部に応じたレンズをそれぞれ備える従来の撮像装置に比べて、装置の大型化を抑制することができる。また、レンズを1つにすることができるため、これによっても装置の大型化を抑制することができるとともに、製造コストを低減することができる。
上記撮像装置において、前記第1の撮像部及び前記第2の撮像部の何れか一方の撮像部は、車両のウインドシールド越しに前記車両の周辺を撮像するものであり、何れか他方の撮像部は、前記ウインドシールドを撮像するものであり、前記ビームスプリッタは、前記他方の撮像部よりも前記一方の撮像部の方が受光する光量が多くなるように、前記ビームスプリッタに入射した入射光を分割することが好ましい。
この構成によれば、情報量の多い画像を撮像する一方の撮像部の方に、より多くの光を分配することができる。
以下、撮像装置の第1実施形態について説明する。
図1に示すように、車両10には、ルーフパネル11の車両前方側端部から車両前方側に向かって斜め下方に延びるようにフロントウインドシールド12(以下、ウインドシールド12とする)が設けられている。また、車両10には、車両10の運転者の運転支援を行うための画像と、ウインドシールド12の外表面12aに付着した異物を検出するための画像とを撮像する撮像装置20が設けられている。なお、ウインドシールド12の外表面12aに付着する異物としては、雨滴、雪、塵埃、虫、汚れ等が挙げられる。
図3に示すように、ハーフミラー23は、レンズ22を透過した入射光L1の光路上に配置されており、該ハーフミラー23に入射した入射光L1を2つに分割して分岐させる。ハーフミラー23は、レンズ22に対して車両10の後方側に配置されており、入射光L1を1:1の割合で透過光L2と反射光L3とに分割する。そして、ハーフミラー23を透過した透過光L2は、車両10の後方側に進み、同ハーフミラー23の反射面23bで反射された反射光L3は、車両10の下方側に進むようになっている。なお、ハーフミラー23は、例えば、立方体状をなすプリズム型のものであり、入射光L1が入射する入射面23aがレンズ22の主面22aと平行をなすように配置されている。また、ハーフミラー23は、車幅方向(図3において紙面垂直方向)から見て、その反射面23bがレンズ22の主面22aに対して45°傾斜するように配置されている。
図6乃至図8に示すように、画像処理装置26は、ステップS101において、車両10の内部からウインドシールド12越しに車両10の周辺を撮像した画像を第1のイメージセンサ24から取得し、ステップS102に移行する。第1のイメージセンサ24から取得した画像は、ウインドシールド12の外表面12aに異物等が付着していない場合には、例えば、図7に示すような画像F1である。一方、ウインドシールド12の外表面12aに異物が付着している場合には、第1のイメージセンサ24から取得した画像は、例えば、図8に示すような画像F2となる。第1のイメージセンサ24は、車両10の周辺にピントがあった画像を撮像するものであるため、画像F2においては、異物41(例えば雨滴)の輪郭はぼけたものとなる。なお、以下、ウインドシールド12の外表面12aに異物41が付着しているものとして、画像処理装置26が行う異物検出の処理の説明をする。
レンズ22を透過した入射光L1がハーフミラー23を介して第1及び第2のイメージセンサ24,25の各々に至るため、レンズ22と第1の撮像面24aとの間の距離、並びに、同レンズ22と第2の撮像面25aとの間の距離を、ピントを合わせたい撮像対象に応じてそれぞれ確保すればよい。即ち、レンズ22と第1の撮像面24aとの間の距離(レンズ22の主面22a(後ろ側主点)から第1の撮像面24aまでの像間距離)は、車両10の周辺にピントが合うように(第1の撮像面24aに車両10の周辺の像が結像するように)確保すればよい。そして、同レンズ22と第2の撮像面25aとの間の距離(レンズ22の主面22a(後ろ側主点)から第2の撮像面24aまでの像間距離)は、ウインドシールド12にピントが合うように(第2の撮像面25aにウインドシールド12の像が結像するように)確保すればよい。
(1)ピントを合わせたい撮像対象に応じて2つの撮像部に応じたレンズをそれぞれ備える従来の撮像装置に比べて、装置の大型化を抑制することができる。また、レンズを1つにすることができる(焦点距離の異なる2つのレンズを備えなくてもよい)ため、これによっても装置の大型化を抑制することができるとともに、製造コストを低減することができる。
以下、撮像装置20の第2実施形態における制御処理について説明する。なお、本第2実施形態では、上記第1実施形態と同一の構成や対応する構成に同一の符号を付してその説明を省略する。
・上記各実施形態では、異物判定部31による異物の有無の判定に基づいてワイパモータMを駆動制御するとしたが、判定の結果を他の用途に用いるようにしてもよい。また、撮像装置20は、必ずしも異物判定部31及びワイパ制御部32を備えなくてもよい。
・上記各実施形態では、第1及び第2のイメージセンサ24,25が受光する光は、レンズ22を透過した入射光L1をハーフミラー23で分割した光である。そのため、第1及び第2のイメージセンサ24,25の各々が受光する光は、レンズ22を透過する入射光L1よりも光量が少ない。従って、第1及び第2のイメージセンサ24,25の各々が撮像する画像が暗くなる虞がある。しかしながら、明るいレンズを使用したり、第1及び第2のイメージセンサ24,25(撮像素子)の感度を向上させたりすることで、第1及び第2のイメージセンサ24,25の各々が撮像する画像の明るさを改善することができる。また、撮像装置20に明るさ調整装部を設けることで、第1及び第2のイメージセンサ24,25の各々が撮像する画像の明るさを改善することができる。明るさ調整部は、例えば、第1及び第2のイメージセンサ24,25の各々におけるシャッタスピードを調整するものであってもよい。また例えば、明るさ調整部は、画像処理装置26に設けられ、第1及び第2のイメージセンサ24,25の各々で撮像した画像のゲインコントロールを行うものであってもよい。
・上記各実施形態では、第1のイメージセンサ24は、ハーフミラー23に対して車両10の後方側に配置され、第2のイメージセンサ25は、ハーフミラー23に対して車両10の下方側に配置されている。しかしながら、ハーフミラー23に対する第1及び第2のイメージセンサ24,25の配置位置は、これに限らない。
(イ)前記画像処理装置は、検出した前記外表面における前記異物の位置と、前記一方の撮像部が撮像した画像とに基づいて、当該一方の撮像部が撮像した画像における前記異物の位置を認識し、前記異物の位置が認識された前記画像に基づいて前記車両に近接する障害物を検出する運転支援制御部を有することを特徴とする。
Claims (8)
- レンズと、
前記レンズを透過した光の光路上に配置されたビームスプリッタと、
前記ビームスプリッタを透過した透過光が結像する位置に位置する第1の撮像面を有する第1の撮像部と、
前記ビームスプリッタで反射された反射光が結像する位置に位置する第2の撮像面を有する第2の撮像部と、
を備え、
前記第1の撮像部は、車両のウインドシールドを撮像するものであり、
前記第1の撮像面を含む平面と、前記レンズの主面を含む平面と、前記ウインドシールドの外表面を含む平面とが一直線上で交わることを特徴とする撮像装置。 - レンズと、
前記レンズを透過した光の光路上に配置されたビームスプリッタと、
前記ビームスプリッタを透過した透過光が結像する位置に位置する第1の撮像面を有する第1の撮像部と、
前記ビームスプリッタで反射された反射光が結像する位置に位置する第2の撮像面を有する第2の撮像部と、
を備え、
前記第2の撮像部は、車両のウインドシールドを撮像するものであり、
前記ビームスプリッタの反射面を含む平面に関して面対称となる位置に仮想的に配置された前記第2の撮像部の前記第2の撮像面を仮想撮像面とすると、前記仮想撮像面を含む平面と、前記レンズの主面を含む平面と、前記ウインドシールドの外表面を含む平面とが一直線上で交わることを特徴とする撮像装置。 - 請求項1又は請求項2に記載の撮像装置において、
前記第1の撮像部及び前記第2の撮像部の何れか一方の撮像部は、車両のウインドシールド越しに前記車両の周辺を撮像するものであり、何れか他方の撮像部は、前記ウインドシールドを撮像するものであり、
前記第1の撮像部で撮像した画像と前記第2の撮像部で撮像した画像とを比較し、比較結果に基づいて前記ウインドシールドの外表面に付着した異物の前記外表面における位置を検出する画像処理装置を有することを特徴とする撮像装置。 - レンズと、
前記レンズを透過した光の光路上に配置されたビームスプリッタと、
前記ビームスプリッタを透過した透過光が結像する位置に位置する第1の撮像面を有する第1の撮像部と、
前記ビームスプリッタで反射された反射光が結像する位置に位置する第2の撮像面を有する第2の撮像部と、
を備え、
前記第1の撮像部及び前記第2の撮像部の何れか一方の撮像部は、車両のウインドシールド越しに前記車両の周辺を撮像するものであり、何れか他方の撮像部は、前記ウインドシールドを撮像するものであり、
前記第1の撮像部で撮像した画像と前記第2の撮像部で撮像した画像とを比較し、比較結果に基づいて前記ウインドシールドの外表面に付着した異物の前記外表面における位置を検出する画像処理装置を有することを特徴とする撮像装置。 - 請求項3又は請求項4に記載の撮像装置において、
前記画像処理装置は、前記一方の撮像部で異なる時刻に撮像した複数の第1の画像に基づいてオプティカルフローを算出し、算出した前記オプティカルフローに基づいて、前記第1の画像よりも後に前記一方の撮像部で撮像した第2の画像が撮像された時刻の予測画像を形成し、前記第2の画像における前記異物の像が存在する異物存在範囲に、前記予測画像における前記異物存在範囲に対応する部分の画像を繋ぎ合わせた画像を形成することを特徴とする撮像装置。 - 請求項3又は請求項4に記載の撮像装置において、
前記画像処理装置は、前記一方の撮像部で撮像した画像における前記異物の像が存在する異物存在範囲に、前記外表面に当該異物が付着する前に前記一方の撮像部で撮像した画像における前記異物存在範囲に対応する部分の画像を繋ぎ合わせた画像を形成することを特徴とする撮像装置。 - 請求項3乃至請求項6の何れか1項に記載の撮像装置において、
前記画像処理装置による前記外表面に付着した異物の位置の検出結果に基づいて前記外表面に付着した異物の有無を判定する異物判定部と、
前記異物判定部による異物の有無の判定に基づいてワイパモータを駆動制御するワイパ制御部と、
を備えたことを特徴とする撮像装置。 - 請求項1乃至請求項7の何れか1項に記載の撮像装置において、
前記第1の撮像部及び前記第2の撮像部の何れか一方の撮像部は、車両のウインドシールド越しに前記車両の周辺を撮像するものであり、何れか他方の撮像部は、前記ウインドシールドを撮像するものであり、
前記ビームスプリッタは、前記他方の撮像部よりも前記一方の撮像部の方が受光する光量が多くなるように、前記ビームスプリッタに入射した入射光を分割することを特徴とする撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016205434A JP6750449B2 (ja) | 2016-10-19 | 2016-10-19 | 撮像装置 |
PCT/JP2017/031232 WO2018074076A1 (ja) | 2016-10-19 | 2017-08-30 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016205434A JP6750449B2 (ja) | 2016-10-19 | 2016-10-19 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018067805A JP2018067805A (ja) | 2018-04-26 |
JP6750449B2 true JP6750449B2 (ja) | 2020-09-02 |
Family
ID=62018323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016205434A Active JP6750449B2 (ja) | 2016-10-19 | 2016-10-19 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6750449B2 (ja) |
WO (1) | WO2018074076A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3599569A1 (en) * | 2018-07-24 | 2020-01-29 | Continental Automotive GmbH | Method and system for representation of vehicle surroundings with reduced artefacts |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04300748A (ja) * | 1991-03-28 | 1992-10-23 | Daihatsu Motor Co Ltd | 画像処理方法 |
JP2001136434A (ja) * | 1999-11-09 | 2001-05-18 | Ricoh Co Ltd | 撮像装置 |
JP5341286B1 (ja) * | 2011-12-16 | 2013-11-13 | オリンパスメディカルシステムズ株式会社 | 深度拡大装置 |
-
2016
- 2016-10-19 JP JP2016205434A patent/JP6750449B2/ja active Active
-
2017
- 2017-08-30 WO PCT/JP2017/031232 patent/WO2018074076A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2018074076A1 (ja) | 2018-04-26 |
JP2018067805A (ja) | 2018-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6519355B2 (ja) | カメラ装置及び車載システム | |
JP4326999B2 (ja) | 画像処理システム | |
JP5846485B2 (ja) | 付着物検出装置及び付着物検出方法 | |
JP6468482B2 (ja) | 撮像装置、物体検出装置及び移動体機器制御システム | |
KR100936558B1 (ko) | 차량용 주변 감시 장치 및 영상 표시 방법 | |
JP4327024B2 (ja) | 画像処理システム | |
JP5680573B2 (ja) | 車両の走行環境認識装置 | |
JP6163207B2 (ja) | 車載装置 | |
JP6120395B2 (ja) | 車載装置 | |
JP4496964B2 (ja) | 車両用トンネル検出装置および車両用ライト制御装置 | |
JP5014306B2 (ja) | 支援システムのための光学モジュール | |
JP5022609B2 (ja) | 撮像環境認識装置 | |
KR102023311B1 (ko) | 차량용 카메라 시스템 | |
US10933798B2 (en) | Vehicle lighting control system with fog detection | |
JP5233583B2 (ja) | 車載用監視装置 | |
US9128813B2 (en) | Method and device for assisting a driver while driving a vehicle by detecting weather-related visibility limitations | |
CN102883925B (zh) | 在风挡玻璃上的雾和雨滴的检测方法以及驾驶辅助装置 | |
JP5995140B2 (ja) | 撮像装置及びこれを備えた車両システム並びに画像処理方法 | |
EP3021109A1 (en) | Adhering detection apparatus, adhering substance detection method, carrier medium, and device control system for controlling vehicle-mounted devices | |
US11539868B2 (en) | Imaging system and vehicle window used for the same | |
US20150332099A1 (en) | Apparatus and Method for Detecting Precipitation for a Motor Vehicle | |
JP2007015660A (ja) | 赤外画像撮像装置 | |
JP6750449B2 (ja) | 撮像装置 | |
JP2006107000A (ja) | 画像異常判定方法及び画像異常判定装置 | |
JP3929420B2 (ja) | 車両用光量検出装置及び車両用照明制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20180501 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200727 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6750449 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |