JP5759709B2 - 画像認識装置 - Google Patents
画像認識装置 Download PDFInfo
- Publication number
- JP5759709B2 JP5759709B2 JP2010270298A JP2010270298A JP5759709B2 JP 5759709 B2 JP5759709 B2 JP 5759709B2 JP 2010270298 A JP2010270298 A JP 2010270298A JP 2010270298 A JP2010270298 A JP 2010270298A JP 5759709 B2 JP5759709 B2 JP 5759709B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- processing
- recognition
- processing unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
ーラー:graphics display controller )24、データ受信部25等を備える。CPU21は、カメラ1のカメラ制御部15の他、車両50に搭載される表示モニタ51やスピーカ(警報器)52などと、コントローラー・エリア・ネットワーク( Controller Area Network :CAN)によって相互接続されている。
段処理とを含んでおり、前記カメラは少なくとも、画像データを生成する画像センサと、前記画像センサが生成した画像データであって前記前段処理が施される前の画像データである元画像データに対して前記前段処理を施す前段処理部と、を有する画像認識装置である。
とした場合に、二値化処理後の前段処理済み画像データの容量は元画像データの5%程度に相当する場合がある。そして、転送速度が同じ条件であれば、転送する画像データの容量が小さいほど、より短時間で転送することができる。従って、カメラから外部装置に元画像データを転送する場合に比べて、前段処理済み画像データを転送する場合の方が、その転送時間を短くすることができる。
データの転送は行わず、前記前段処理済み画像データを前記カメラの前記送信部から前記認識処理ユニットの前記受信部へと転送すると良い。運転者に上記画像情報を提供する必要がない場合には、元画像データを認識処理ユニットに転送する必要がない。そこで、元画像データの転送処理を省くことにより大幅にトータル処理時間を短縮することが可能となる。
図3は、実施例1に係る画像認識装置100Aの概略構成を示す図である。図1に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。画像認識装置100Aは、カメラ1Aおよび認識処理ユニット2Aを含んで構成されている。カメラ1Aは、グローバルシャッター方式のCCDカメラあるいはCMOSカメラであり、車両50の車室内のウインドシールド中央上部に、前方に光軸が合致するように配設されている。
。
像データの入力元、出力先が異なることを除いて、基本的な機能は第一系統用バッファ131A,131Bと共通する。
識結果に基づいて運転者に情報提供を行っていたため、トータル処理時間Tsum0は常に、元画像データ転送時間T1+前段処理時間T2+ターゲット認識処理時間T3となっていた。
場合に、二値化後の前段処理済み画像データの容量は元画像データの5%程度に相当するため、元画像データの転送時間T1に比べて前段処理後転送時間T1´を1/20程度に短縮することができる。
図7は、実施例2に係る画像認識装置100Bの概略構成を示す図である。図3に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。画像認識装置100Bが運転者に対して提供する情報のなかに、ターゲットの認識結果が反映された認識結果画像の画像表示が含まれていない。そのため、本実施例における車両50には実施例1で示したような表示モニタが備えられていない。
成されている。カメラ1Bおよび認識処理ユニット2Bの基本機能は、カメラ1Aとおよび認識処理ユニット2Aのそれぞれと同様であるが、ここではその相違点を中心に説明する。
図9は、実施例3に係る画像認識装置100Cの概略構成を示す図である。図3、7に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。画像認識装置100Cは、既述の実施例に係る認識処理ユニットの機能もカメラ1Cに統合し
ている。
図11は、実施例4に係る画像認識装置100Dの概略構成を示す図である。図9に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。本実施例に係る画像認識装置100Dはカメラ1Dを主要な構成として備えている。そして、運
転者に提供する情報のなかに、カメラ1の撮像したモニタ表示画像が含まれない点で、実施例3に係る画像認識装置100Cと相違する。そのため、本実施例においては、カメラ1Dが撮像した画像を表示するためのGDC、表示モニタ等の装置が設けられていない。
次に、実施例5について説明する。本実施例では、図3に示した画像認識装置100Aにおいて行われる画像切り出し処理を説明する。この画像切り出し処理は、前段処理部16が元画像データに対し前段処理を施す前に事前に行われる処理であって、元画像データのフレーム領域から該前段処理を施す対象となる前段処理対象領域を限定する(絞り込む)処理をいう。なお、ここでは、実施例1に係る画像認識装置100Aに画像切り出し処理を実施する場合を説明するが、当該処理は上述までのいずれの実施例に係る画像認識装置(100A〜100D)に対しても適用することができる。
否かの検出を行わないことにした。
り、前段処理済み画像データに対して行われるターゲット認識処理に関するターゲットの認識精度を向上させることができる。
次に、本実施例に係る第一変形例について説明する。上記の例では、画像認識不要領域を車両情報に基づいて決定したが、第一変形例では走行情報に基づいて決定する。例えば、自車両50の前方に他車両や歩行者(例えば、道路を横断する通行人)、落下物等が存在する場合であっても、これらターゲットの自車両50からの距離が過度に遠い場合や、逆に過度に近い場合には、以下の理由によりターゲットに関する情報を運転者に提供する必要がないと考えられる。
どを行うことによって運転者に不快感を与えたり、情報の錯綜が起こることを回避する観点から定められている。
次に、第二変形例を説明する。この場合、CPU21は、車両50の舵角センサ(図示せず)が検出するステアリングの操作角度を取得する。なお、上記舵角センサはECU53と電気的に接続されており、ステアリングの操作角度に対応する信号がECU53に入力されるようになっている。CPU21は、ECU53にアクセスすることで、ステアリングの操作角度を取得することができる。そして、CPU21は、ステアリングが基準角度よりも左に操作されている場合には、車両50の右側方に位置する領域に存在するターゲットを認識する必要がないため、その領域を画像認識不要領域に設定して、画像切り出し処理を実施しても良い。逆に、ステアリングが基準角度よりも右に操作されている場合には、車両50の左側方に位置する領域に存在するターゲットを認識する必要がないため、その領域を画像認識不要領域に設定して、画像切り出し処理を実施しても良い。
図17は、実施例5の第三変形例に係る画像認識装置100Eの概略構成を示す図である。図示の画像認識装置100Eは、カメラ1Eおよび認識処理ユニット2Aを含んで構成されている。この認識処理ユニット2Aは、図3に示したものと共通のハード構成となっている。また、カメラ1Eは、第二メモリ17を備える点以外は図3に示したカメラ1Aとハード構成は同等である。
処理を実施する場合を例に説明するが、画像切り出し処理の実施を省略することも可能である。
2A,2B,2C,2D・・・認識処理ユニット
11・・・画像センサ
12・・・アンプ
13・・・バッファ
14・・・データ送信部
15・・・カメラ制御部
16・・・前段処理部
21・・・CPU
22・・・メモリ
24・・・GDC
25・・・データ受信部
26・・・ターゲット認識処理部
50・・・車両
51・・・表示モニタ
52・・・スピーカ
53・・・ECU
100A,100B,100C,100D・・・画像認識装置
Claims (6)
- 車載されたカメラと、前記カメラにより撮像された画像データへの画像認識処理を行う認識処理ユニットとを備える画像認識装置であって、
前記画像認識処理は、前記画像データに含まれる特定のターゲットを認識するターゲット認識処理と、該ターゲット認識処理によるターゲットの認識を補助し該ターゲットの認識精度を高めるために該ターゲット認識処理に先行して行われる所定の前段処理とを含んでおり、
前記カメラは少なくとも、
画像データを生成する画像センサと、
前記画像センサが生成した画像データであって前記前段処理が施される前の画像データである元画像データに対して前記前段処理を施す前段処理部と、
を有し、
前記カメラは、前記画像センサが生成した前記画像データを、前記前段処理部を介さない系統と、前記前段処理部を介する系統と、によって前記認識処理ユニットに転送し、
前記画像認識装置は、前記カメラから前記認識処理ユニットに前記元画像データの転送処理を行い、転送された前記元画像データに前記認識処理ユニットによる前記ターゲットの認識結果を反映させた画像をモニタに表示し、
前記カメラから前記認識処理ユニットへの前記元画像データの転送処理と、前記カメラにおける前記前段処理部での前記前段処理とが並行して行われ、且つ、前記前段処理部が前記元画像データに前記前段処理を施した後の前段処理済み画像データの転送処理が前記元画像データの転送処理の終了後に開始される、
画像認識装置。 - 前記カメラは、前記画像センサが生成した前記元画像データを一時記憶するバッファ部を更に有し、
前記前段処理部は前記バッファ部における前記元画像データに対して前記前段処理を施す、請求項1に記載の画像認識装置。 - 前記元画像データの転送処理と前記前段処理部での前記前段処理が同時に開始される、請求項1又は2に記載の画像認識装置。
- 前記前段処理部は、前記元画像データに対し前記前段処理を施す前に、該元画像データのフレーム領域から該前段処理を施す対象となる前段処理対象領域を限定する画像切り出し処理を施す、請求項1から3のいずれか一項に記載の画像認識装置。
- 自車両の走行状態に関する走行情報、および車両情報のうち少なくともいずれか一方を取得し、取得した情報に基づいて、前記前段処理部が前記前段処理を施す対象とする前段処理対象領域を決定する情報処理部を、更に備える、請求項4に記載の画像認識装置。
- 車載されたカメラと、前記カメラとは別体の認識処理ユニットとを備え、前記カメラにより撮像された画像データへの画像認識処理を行う画像認識装置であって、
前記画像認識処理は、前記画像データに含まれる特定のターゲットを認識するターゲット認識処理と、該ターゲット認識処理によるターゲットの認識を補助し該ターゲットの認識精度を高めるために該ターゲット認識処理に先行して行われる所定の前段処理とを含んでおり、
前記カメラは少なくとも、
画像データを生成する画像センサと、
前記画像センサが生成した画像データであって前記前段処理が施される前の画像データである元画像データに対して前記前段処理を施す前段処理部と、
前記前段処理部が前記元画像データに前記前段処理を施した後の前段処理済み画像データを送信する送信部と、
を有し、
前記認識処理ユニットは、
前記カメラの前記送信部から転送される前記前段処理済み画像データを受信する受信部と、
前記受信部が受信した前記前段処理済み画像データを記憶するメモリ部と、
前記メモリ部に記憶された前記前段処理済み画像データに含まれる特定のターゲットを認識する前記ターゲット認識処理を施すターゲット認識処理部と、
を有し、
前記画像認識装置は、前記送信部から前記受信部に前記元画像データの転送処理を行い、転送された前記元画像データに前記ターゲット認識処理部による前記ターゲットの認識結果を反映させた画像をモニタに表示し、
前記元画像データの転送処理と前記前段処理部での前記前段処理とが並行して行われ、且つ、前記元画像データの転送処理の終了後に前記前段処理済み画像データの転送処理が開始される、
画像認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010270298A JP5759709B2 (ja) | 2010-12-03 | 2010-12-03 | 画像認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010270298A JP5759709B2 (ja) | 2010-12-03 | 2010-12-03 | 画像認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012120088A JP2012120088A (ja) | 2012-06-21 |
JP5759709B2 true JP5759709B2 (ja) | 2015-08-05 |
Family
ID=46502407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010270298A Expired - Fee Related JP5759709B2 (ja) | 2010-12-03 | 2010-12-03 | 画像認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5759709B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6729611B2 (ja) | 2018-02-01 | 2020-07-22 | 株式会社デンソー | 車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体 |
JP7120915B2 (ja) * | 2018-12-25 | 2022-08-17 | 日立Astemo株式会社 | 車両制御システム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001231046A (ja) * | 2000-02-16 | 2001-08-24 | Nec Corp | ディジタルカメラシステム及びそれに用いる画像転送方法 |
JP3930268B2 (ja) * | 2000-06-26 | 2007-06-13 | 株式会社日立製作所 | 接近車両検知及び車線位置検知を行う画像処理装置 |
JP2004312523A (ja) * | 2003-04-09 | 2004-11-04 | Equos Research Co Ltd | 車載画像処理装置 |
JP2007149011A (ja) * | 2005-11-30 | 2007-06-14 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP4309920B2 (ja) * | 2007-01-29 | 2009-08-05 | 株式会社東芝 | 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法 |
JP2009267924A (ja) * | 2008-04-28 | 2009-11-12 | Hitachi Advanced Digital Inc | 撮像システムおよび画像処理方法 |
JP5041170B2 (ja) * | 2008-09-12 | 2012-10-03 | トヨタ自動車株式会社 | 画像処理装置 |
-
2010
- 2010-12-03 JP JP2010270298A patent/JP5759709B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012120088A (ja) | 2012-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6633216B2 (ja) | 撮像装置、及び、電子機器 | |
US20220107652A1 (en) | Data pipeline and deep learning system for autonomous driving | |
JP5680573B2 (ja) | 車両の走行環境認識装置 | |
JP6137081B2 (ja) | 車載機器 | |
EP3557524A1 (en) | Image processing device and outside recognition device | |
CN108860045B (zh) | 驾驶辅助方法、驾驶辅助装置及存储介质 | |
WO2015118806A1 (ja) | 画像解析装置、および画像解析方法 | |
JP2007172035A (ja) | 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法 | |
WO2017022496A1 (ja) | 運転者に支援画像を提示する装置及びその方法 | |
WO2017134982A1 (ja) | 撮像装置 | |
JP2008060873A (ja) | 複数画角カメラ | |
WO2017212992A1 (ja) | 物体距離検出装置 | |
JP6471522B2 (ja) | カメラパラメータ調整装置 | |
JP2005184395A (ja) | 画像処理方法、画像処理システム、画像処理装置および撮影装置 | |
JP5759709B2 (ja) | 画像認識装置 | |
WO2020250526A1 (ja) | 外部環境認識装置 | |
WO2016121406A1 (ja) | 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法 | |
JP6439233B2 (ja) | 車両用画像表示装置及び画像処理方法 | |
JP4900377B2 (ja) | 画像処理装置 | |
WO2020049806A1 (ja) | 画像処理装置および画像処理方法 | |
JP4598011B2 (ja) | 車両用表示装置 | |
CN115088248A (zh) | 摄像装置、摄像系统和摄像方法 | |
WO2020039837A1 (ja) | 画像処理装置 | |
WO2015115103A1 (ja) | 画像処理装置、カメラシステム、および画像処理方法 | |
JP6555240B2 (ja) | 車両用撮影表示装置及び車両用撮影表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5759709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |