JP6259132B2 - 車載用カメラ装置 - Google Patents
車載用カメラ装置 Download PDFInfo
- Publication number
- JP6259132B2 JP6259132B2 JP2016570579A JP2016570579A JP6259132B2 JP 6259132 B2 JP6259132 B2 JP 6259132B2 JP 2016570579 A JP2016570579 A JP 2016570579A JP 2016570579 A JP2016570579 A JP 2016570579A JP 6259132 B2 JP6259132 B2 JP 6259132B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- area
- camera device
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 88
- 238000003745 diagnosis Methods 0.000 claims description 59
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 15
- 238000002405 diagnostic procedure Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
全撮像領域101は、撮像素子によって出力される全画面の画像データであり、有効画像領域102と無効画像領域103と診断用データ領域104とを有した構成となっている。有効画像領域102は、例えば立体物を認識するための画像認識処理部207において使用される画像データを有する領域であり、無効画像領域103は、画像認識処理部207では画像データが使用されていない領域である。そして、診断用データ領域104は、無効画像領域103内の一部に格納されている領域である。すなわち、全撮像領域101は、出力される画像データが画像演算に用いられる有効画像領域102と、出力される画像データが画像演算に用いられない無効画像領域103とに区分され、無効画像領域103内に撮像素子部のデータ線信号が固着状態となっているか否かを診断するための固着診断用データを有する診断用データ領域104が設けられている。
LOレベル固着診断用データ301は、16ビット階調のデータ線信号の固着診断を実行するために最低16画素分の診断用データを有する。データ線信号のLOレベル固着状態を検出するために、診断用データとして無効画像領域103に埋め込む期待値データは、診断対象データ線ビットに相当するビットのみHI、上記以外のビットはLOとなるような値を設定する。
ステレオカメラ201は、車両進行方向に対して右側に取り付けられた右撮像素子部202と、車両進行方向に対して左側に取り付けられた左撮像素子部203と、右撮像素子部202および左撮像素子部203から出力される画像データを取得する画像データ取得部204と、画像データ取得部204で取得された左右画像データから立体物の認識処理で必要な視差情報などを算出する画像演算処理部205と、画像データ取得部204で取得された左右画像データや画像演算処理部205で生成された画像データを使用する処理領域に転送する画像データ転送部206と、視差情報など各種画像データを元にして立体物認識などを実行する画像認識処理部207と、画像データ線固着診断用データを用いてデータ線信号が固着状態であるか否かの故障診断を実行する故障診断処理部208と、画像認識処理部207にて検出された認識結果を元にして車両制御処理を演算する車両制御処理部209と、故障診断処理部208にて異常判定された際に、外部に異常状態を伝達するための報知処理部210を備えている。
撮像素子からの画像データ取得タイミングを表す垂直同期信号401が、画像データ出力期間中はHIレベル信号になっている例を挙げると、撮像素子が出力する全有効ライン数のデータを画像データ取得部204で取得中のとき、すなわち、全撮像領域101の画像データを取得中のときは、垂直同期信号401はHIレベルとなっている。
撮像素子から出力される画像データによって、画像認識処理部207での演算処理負荷が変動することが考えられる。例として、車両走行中に先行車両や歩行者など立体物のターゲットが複数存在する画像データを取得した場合、立体物検知処理が数多く動作するため、処理負荷が大きくなる。一方で、車両停止中で立体物が何もなく、認識すべきターゲットが存在しない画像データを取得した場合は、画像認識処理部207の処理負荷は軽くなる。
初めに、撮像素子部の優先度の確認(S801)を実行する。左右一対の撮像素子部は、互いの間で優先度が設定されている。一対の撮像素子部のうち、診断対象の撮像素子部が優先度の高い側の場合(S801でYES)、処理負荷の大小に関わらず、優先度が高い側の撮像素子部の診断処理を実行する。そして、優先度が低い側の撮像素子部の場合、当該フレームの処理負荷状況の確認(S802)を実行し、診断処理の実行有無を判断する。
102 有効画像領域
103 無効画像領域
104 診断用データ領域
201 ステレオカメラ(車載用カメラ装置)
202 右撮像素子部
203 左撮像素子部
204 画像データ取得部
205 画像演算処理部
206 画像データ転送部
207 画像認識処理部
208 故障診断処理部
209 車両制御処理部
210 報知処理部
211 車載用通信バス
301 LOレベル固着診断用データ
302 HIレベル固着診断用データ
401 垂直同期信号
Claims (7)
- 撮像素子部のデータ線信号が固着状態となっているか否かを診断する故障診断処理部を有する車載用カメラ装置であって、
前記撮像素子部は、出力される画像データが画像演算に用いられる有効画像領域と、出力される画像データが画像演算に用いられない無効画像領域とに区分される全撮像領域を有し、前記無効画像領域内に前記撮像素子部のデータ線信号が固着状態となっているか否かを診断するための固着診断用データを有する診断用データ領域が設けられており、
前記故障診断処理部は、前記全撮像領域の画像データを取得している画像取得期間と、該画像取得期間の後で前記有効画像領域の画像データに基づいて画像演算処理を行っている画像演算処理期間との少なくとも一方において、前記診断用データ領域の固着診断用データを用いて故障診断処理を行うことを特徴とする車載用カメラ装置。 - 請求項1に記載の車載用カメラ装置であって、
前記診断用データ領域は、前記有効画像領域よりもデータ取得方向前側に配置されている車載用カメラ装置。 - 請求項2に記載の車載用カメラ装置であって、
前記診断用データ領域は、前記有効画像領域における前記画像データの取得を開始する開始点よりもデータ取得方向前側に連続して配置されている車載用カメラ装置。 - 請求項1に記載の車載用カメラ装置であって、
前記診断用データ領域は、前記有効画像領域よりもデータ取得方向後側に配置されている車載用カメラ装置。 - 請求項4に記載の車載用カメラ装置であって、
前記診断用データ領域は、前記有効画像領域における前記画像データの取得を終了する終了点よりもデータ取得方向後側に連続して配置されている車載用カメラ装置。 - 請求項1に記載の車載用カメラ装置であって、
前記有効画像領域の画像データに基づいて画像認識処理を行う画像認識処理部を有し、
前記故障診断処理部は、前記画像認識処理部による画像認識処理の処理負荷状況に応じて前記撮像素子部の診断処理の実行有無を判断する車載用カメラ装置。 - 請求項6に記載の車載用カメラ装置であって、
互いの間で優先度が設定された左右一対の前記撮像素子部を有し、
前記故障診断処理部は、前記画像認識処理部による画像認識処理の処理負荷が予め設定された基準値以上の場合に、前記撮像素子部のうち、優先度が高い側の診断処理のみを実行し、前記基準値よりも小さい場合に、優先度が高い側と低い側の両方の診断処理を実行する車載用カメラ装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015008837 | 2015-01-20 | ||
JP2015008837 | 2015-01-20 | ||
PCT/JP2016/050603 WO2016117401A1 (ja) | 2015-01-20 | 2016-01-12 | 車載用カメラ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016117401A1 JPWO2016117401A1 (ja) | 2017-08-10 |
JP6259132B2 true JP6259132B2 (ja) | 2018-01-10 |
Family
ID=56416948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016570579A Active JP6259132B2 (ja) | 2015-01-20 | 2016-01-12 | 車載用カメラ装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10152890B2 (ja) |
EP (1) | EP3249902A4 (ja) |
JP (1) | JP6259132B2 (ja) |
WO (1) | WO2016117401A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101832189B1 (ko) * | 2015-07-29 | 2018-02-26 | 야마하하쓰도키 가부시키가이샤 | 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량 |
KR102462502B1 (ko) * | 2016-08-16 | 2022-11-02 | 삼성전자주식회사 | 스테레오 카메라 기반의 자율 주행 방법 및 그 장치 |
JP6914768B2 (ja) * | 2016-09-30 | 2021-08-04 | キヤノン株式会社 | 撮像装置、撮像システム、移動体、および、制御方法 |
JP7066347B2 (ja) | 2017-07-25 | 2022-05-13 | キヤノン株式会社 | 撮像装置、撮像システム、移動体 |
JP2019049884A (ja) | 2017-09-11 | 2019-03-28 | 株式会社東芝 | 画像処理装置、および故障診断制御方法 |
JP6771443B2 (ja) * | 2017-09-21 | 2020-10-21 | 株式会社東芝 | 演算処理装置およびその方法 |
DE102017219869A1 (de) * | 2017-11-08 | 2019-05-09 | Continental Teves Ag & Co. Ohg | Steuergerät für ein Kraftfahrzeug und Verfahren zum Betreiben des Steuergeräts |
JP7098346B2 (ja) * | 2018-02-13 | 2022-07-11 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および撮像システム |
CN112567738A (zh) * | 2018-08-21 | 2021-03-26 | 日立汽车系统株式会社 | 图像处理装置 |
JP7218216B2 (ja) * | 2019-03-08 | 2023-02-06 | 株式会社東芝 | 画像処理装置、及び、検出方法 |
CN110602482A (zh) * | 2019-08-07 | 2019-12-20 | 武汉兴图新科电子股份有限公司 | 一种视频系统的故障自诊断装置及方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3907254B2 (ja) * | 1996-12-27 | 2007-04-18 | キヤノン株式会社 | 画像記録装置、画像記録方法及びコンピュータ可読の記録媒体 |
US6118482A (en) | 1997-12-08 | 2000-09-12 | Intel Corporation | Method and apparatus for electrical test of CMOS pixel sensor arrays |
US6791619B1 (en) * | 1998-09-01 | 2004-09-14 | Fuji Photo Film Co., Ltd. | System and method for recording management data for management of solid-state electronic image sensing device, and system and method for sensing management data |
JP4346968B2 (ja) * | 2003-06-13 | 2009-10-21 | キヤノン株式会社 | 放射線撮影方法、放射線撮影装置、及びコンピュータプログラム |
DE102004020331B3 (de) * | 2004-04-26 | 2005-10-20 | Pilz Gmbh & Co Kg | Vorrichtung und Verfahren zum Aufnehmen eines Bildes |
US9848172B2 (en) * | 2006-12-04 | 2017-12-19 | Isolynx, Llc | Autonomous systems and methods for still and moving picture production |
JP2009033550A (ja) * | 2007-07-27 | 2009-02-12 | Nikon Corp | 撮像装置 |
JP2009118427A (ja) * | 2007-11-09 | 2009-05-28 | Panasonic Corp | 固体撮像装置およびその駆動方法 |
JP5400718B2 (ja) * | 2010-07-12 | 2014-01-29 | 株式会社日立国際電気 | 監視システムおよび監視方法 |
JP6137921B2 (ja) * | 2013-04-16 | 2017-05-31 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9742974B2 (en) * | 2013-08-10 | 2017-08-22 | Hai Yu | Local positioning and motion estimation based camera viewing system and methods |
JP6249769B2 (ja) * | 2013-12-27 | 2017-12-20 | オリンパス株式会社 | 内視鏡装置、内視鏡装置の作動方法及びプログラム |
JP6500355B2 (ja) * | 2014-06-20 | 2019-04-17 | 富士通株式会社 | 表示装置、表示プログラム、および表示方法 |
JP6137081B2 (ja) * | 2014-07-29 | 2017-05-31 | 株式会社デンソー | 車載機器 |
JP6448340B2 (ja) * | 2014-12-10 | 2019-01-09 | キヤノン株式会社 | 固体撮像装置、撮像システム及び固体撮像装置の駆動方法 |
JP6320571B2 (ja) * | 2015-01-20 | 2018-05-09 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN106161922B (zh) * | 2015-04-22 | 2019-05-14 | 北京智谷睿拓技术服务有限公司 | 图像采集控制方法和装置 |
US10306146B2 (en) * | 2015-04-28 | 2019-05-28 | Sony Corporation | Image processing apparatus and image processing method |
JP6546457B2 (ja) * | 2015-06-19 | 2019-07-17 | ブリルニクス インク | 固体撮像装置およびその駆動方法、電子機器 |
JP6701033B2 (ja) * | 2016-08-30 | 2020-05-27 | キヤノン株式会社 | 電子機器およびその制御方法 |
-
2016
- 2016-01-12 EP EP16740008.4A patent/EP3249902A4/en not_active Withdrawn
- 2016-01-12 JP JP2016570579A patent/JP6259132B2/ja active Active
- 2016-01-12 US US15/538,865 patent/US10152890B2/en active Active
- 2016-01-12 WO PCT/JP2016/050603 patent/WO2016117401A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2016117401A1 (ja) | 2017-08-10 |
EP3249902A4 (en) | 2018-08-22 |
US20170345306A1 (en) | 2017-11-30 |
US10152890B2 (en) | 2018-12-11 |
EP3249902A1 (en) | 2017-11-29 |
WO2016117401A1 (ja) | 2016-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6259132B2 (ja) | 車載用カメラ装置 | |
EP3094075B1 (en) | In-vehicle-camera image processing device | |
US10239446B2 (en) | Vehicle sensing system using daisy chain of sensors | |
US20160217335A1 (en) | Stixel estimation and road scene segmentation using deep learning | |
US10723347B2 (en) | Vehicle control device and vehicle control method | |
WO2016006368A1 (ja) | 情報処理システム | |
JP6458579B2 (ja) | 画像処理装置 | |
US9852502B2 (en) | Image processing apparatus | |
JP6221464B2 (ja) | ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム | |
JP2001211466A (ja) | 自己診断機能を有する画像処理システム | |
JP2007293672A (ja) | 車両用撮影装置、車両用撮影装置の汚れ検出方法 | |
JP4539427B2 (ja) | 画像処理装置 | |
JP2006300890A (ja) | 画像処理検査装置及び画像処理検査方法 | |
JP2020030466A (ja) | 物体検知装置 | |
WO2020003764A1 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
CN112544066A (zh) | 图像处理装置 | |
KR20130053605A (ko) | 차량의 주변영상 표시 장치 및 그 방법 | |
JP2008042759A (ja) | 画像処理装置 | |
JP5395373B2 (ja) | 周辺監視装置 | |
JP7051014B2 (ja) | 顔検出処理装置および顔検出処理方法 | |
JP4995555B2 (ja) | 画像処理装置 | |
WO2012077511A1 (ja) | プラットホームドアの安全装置 | |
JP2018139120A (ja) | 情報処理システム | |
JP4794764B2 (ja) | 車外監視装置 | |
JP6439913B2 (ja) | 移動体検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170321 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6259132 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |