JP6429452B2 - 車載用画像処理装置及び半導体装置 - Google Patents

車載用画像処理装置及び半導体装置 Download PDF

Info

Publication number
JP6429452B2
JP6429452B2 JP2013241614A JP2013241614A JP6429452B2 JP 6429452 B2 JP6429452 B2 JP 6429452B2 JP 2013241614 A JP2013241614 A JP 2013241614A JP 2013241614 A JP2013241614 A JP 2013241614A JP 6429452 B2 JP6429452 B2 JP 6429452B2
Authority
JP
Japan
Prior art keywords
vehicle
image
image processing
video data
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013241614A
Other languages
English (en)
Other versions
JP2015103894A (ja
Inventor
和昭 寺島
和昭 寺島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2013241614A priority Critical patent/JP6429452B2/ja
Priority to US14/523,871 priority patent/US9946938B2/en
Priority to CN201410674242.9A priority patent/CN104660980B/zh
Publication of JP2015103894A publication Critical patent/JP2015103894A/ja
Application granted granted Critical
Publication of JP6429452B2 publication Critical patent/JP6429452B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Description

本発明は、車載用画像処理装置及びそれに搭載可能な半導体装置に関し、特に前方監視と周辺監視の両立が可能な車載カメラを備える車載用画像処理装置に好適に利用できるものである。
車載用の安全機構の一つとして、カメラを用いて車両の前方や周辺或いは後方を監視する監視システムが実用レベルにある。レーダやソナーなどカメラ以外のセンサと併用してシステムを実現する場合が多い。車載用の監視システムは、画像の入力部であるイメージセンサを備えたカメラと、画像処理を行う画像処理部と、判断処理を行う判断部から構成され、一般的に一つのセンサに対して一つの画像処理部が設けられる。
車両前方のみならず、周辺や後方までも監視するためには、カメラ（イメージセンサ）だけではなく画像処理部も、多数設置する必要が生じることとなり、コストの上昇を招く。
特許文献１には、ある領域を大きく鮮明に映し出すことと、異なる複数領域を同時に映し出すこととが、それぞれ可能な車載カメラが開示されている。撮像素子の前方に配置されるミラーの姿勢を変えることにより、上記２通りの撮像を可能としている。同文献に記載される車載カメラによれば、ミラーの姿勢を調整することにより、異なる複数領域を同時に映し出すことができる。より具体的には、同文献の第００４１段落に記載されるように、撮像範囲の上側部分に車両の前方領域が映し出され、下側部分には車内状況や車両の後方領域が映し出される。
特許文献２には、複数の撮像対象を撮影可能な車載カメラが開示されている。同文献の図４と第００３７段落〜第００３９段落には、１つの画面内の上半分に前方が映し出され、下半分に社内と後方が映し出された、カメラユニットの画像が示されている。
特開２０１２−１３１３９０号公報 特開２０１１−２０６６９号公報
特許文献１及び２について本発明者が検討した結果、以下のような新たな課題があることがわかった。
特許文献１と２に記載される技術によれば、１個のカメラ（イメージセンサ）によって、複数の領域、例えば車両の前方と車内を同時に撮像して利用することができる。しかしながら、同時に映し出された異なる複数領域ごとに施すべき画像処理の方法や内容については、開示されていない。
特許文献１の第００３７段落には、画像処理ＬＳＩ（Large Scale Integrated circuit）によって、画像に対してアダプティブイメージエンハンサ処理を施すことにより、白とびや黒つぶれを抑制しても良いとされる。アダプティブイメージエンハンサ処理は、画像を複数の区画に分割し、各区画ごとにレベル補正を行う処理であるとされる。特許文献１と２に開示されるシステムには、判断部が備えられておらず、このシステムにおける画像処理の出力画像は、ドライブレコーダに記録する画像や運転者が運転中に見る画像であるため、画像処理は上述のような比較的簡易な処理で足りるものと考えられる。
しかしながら、画像処理部の後段に判断部を設けて、車間距離の算出や障害物の検知などの高度な判断処理を実行させるような車載用画像処理装置においては、上述のような比較的簡易な画像処理では十分ではないことがわかった。即ち、１個のカメラ（イメージセンサ）によって、複数の領域、例えば車両の前方と車内を同時に撮像した映像データが得られても、複数の領域それぞれに適切な画像処理部を設ける必要があり、コストの上昇を十分に抑えることはできない。車載用の画像処理は、リアルタイム性が重要であるため、複数領域の画像処理を同時に並列して実行することとなるためである。
このような課題を解決するための手段を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
一実施の形態によれば、下記の通りである。
すなわち、カメラと、画像処理部と、判断部とを備え、車両に搭載されるための車載用画像処理装置であって、カメラの前方に反射板が取り付けられることによって、１フレーム内に車両前方の映像と周辺映像などの他の映像が同時に撮像される。カメラからそのような映像データが供給された画像処理部は、判断部から供給される制御指示情報に基づいて、車両前方の映像と周辺映像などの他の映像のうちの一方についてのみ適切な画像処理を行い、他方についての画像処理を省略することができる。判断部は、供給される車両の速度情報に基づいて、画像処理部に対してそのときの車両の走行速度に基づいた適切な制御指示情報を供給する。また、画像処理部は、前記制御指示情報に基づいて、車両前方の映像と周辺映像などの他の映像とを含む映像データ全体について適切な画像処理を行うこともできるように構成されても良い。
前記一実施の形態によって得られる効果を簡単に説明すれば下記のとおりである。
すなわち、車載用画像処理装置は、車両の速度に応じた判断処理に必要な情報を得るために、適宜最適な画像処理を行うことができ、複数の映像領域に対して１個の画像処理部を設ければ足り、コストを抑えることができる。
図１は、実施形態１に係る車載用画像処理装置の構成例を示すブロック図である。 図２は、実施形態１に係る車載用画像処理装置の映像データを示す説明図である。 図３は、画像処理の内容の一例を示すフローチャートである。 図４は、カメラモジュールの構成例を示す外観図である。 図５は、カメラモジュールの構成例を示す側面断面図である。 図６は、車載用画像処理装置の詳細な構成例を示すブロック図である。 図７は、車載用画像処理装置の詳細な別の構成例を示すブロック図である。 図８は、車載用画像処理装置に搭載される半導体装置の構成例を示すブロック図である。 図９は、実施形態２に係る車載用画像処理装置の構成例を示すブロック図である。 図１０は、実施形態２に係る車載用画像処理装置の映像データを示す説明図である。 図１１は、画像処理の内容の一例を示すフローチャートである。 図１２は、実施形態３に係る車載用画像処理装置の構成例を示すブロック図である。 図１３は、実施形態３に係る車載用画像処理装置の映像データを示す説明図である。 図１４は、実施形態４に係る車載用画像処理装置によって合成される画像データを示す説明図である。
１．実施の形態の概要
先ず、本願において開示される代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
〔１〕＜速度情報に基づき領域毎に最適な画像処理＞
本願において開示される代表的な実施の形態は、カメラ（１）と、画像認識部（３）と、判断部（４）とを備え、車両に搭載されるための車載用画像処理装置（１０）であって、以下のように構成される。
前記判断部は、前記車両の速度情報（８）が供給され、前記速度情報に基づいて、前記画像認識部に対して制御指示情報（９）を供給可能に構成される。
前記画像認識部は、前記車両前方の映像である第１領域（５２）と他の方向の映像である第２領域（５３）とを、１フレーム内に同時に含む映像データ（５０）が、前記カメラから供給される。前記第１領域と前記第２領域の映像データに対して、前記制御指示情報に基づく画像処理（Ｓ１〜Ｓ７）を行い、その結果を前記判断部に供給可能に構成される。
これにより、車載用画像処理装置は、車両の速度に応じた判断処理に必要な情報を得るために、適宜最適な画像処理を行うことができ、複数の映像領域に対して１個の画像認識部を設ければ足り、コストを抑えることができる。
〔２〕＜高速走行時は前方映像、低速走行時は周辺映像の画像処理＞
項１において、前記第２領域は、前記車両の周辺の映像である。
前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域について遠景に適する画像処理（Ｓ２，Ｓ５）を行わせ、前記第２領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される。また、前記判断部は、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域について近景に適する画像処理（Ｓ３，Ｓ６）を行わせ、前記第１領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される。
これにより、高速走行時は前方の映像のみを判断処理の対象とし（前方監視）、低速走行時は周辺映像のみを判断処理の対象とする（周辺監視）ことで、複数の映像領域に対しても１個の画像認識部を設ければ足り、コストを抑えることができる。
〔３〕＜前方映像と周辺映像を含む全面についての画像処理＞
項２において、前記判断部は、さらに、前記第１領域と前記第２領域の両方について、遠景に適する画像処理と近景に適する画像処理との間の中間的な画像処理（Ｓ４，Ｓ７）を行わせる制御指示情報を、前記画像認識部に供給可能に構成される。
これにより、高速走行と低速走行に分類されない特殊な場合にも、適切な画像処理を実行させることができる。
〔４〕＜映像データからの速度情報の抽出＞
項１から項３のうちのいずれか１項において、前記画像認識部は、前記映像データから前記車両の速度情報を算出し、前記判断部に供給する機能（１９）をさらに有する。
これにより、外部から速度センサの信号を入力する必要がなくなり、より低コストの車載用画像処理装置を提供することができる。或いは、外部から入力される速度センサの信号と画像認識部が算出する速度情報とを互いに補完的に利用することによって、車両の走行速度をより正確に求めることが可能な、車載用画像処理装置を提供することができる。
〔５〕＜ステレオカメラ＞
項１から項４のうちのいずれか１項において、前記カメラを第１カメラ（１Ｒ）とし、前記映像データを第１映像データ（５０Ｒ）とし、前記車載用画像処理装置は、前記第１カメラと左右１対の第２カメラ（１Ｌ）をさらに備える。前記第２カメラは、前記車両前方の映像を１フレーム内に含む第２映像データ（５０Ｌ）を前記画像認識部に供給可能に構成される。前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データ（５２Ｒ）と、前記第２映像データ（５２Ｌ）との視差に基づく画像認識処理（３３）を実行可能に構成される。
これにより、ステレオカメラにおいて、車両前方の映像に基づく視差検出やベクトル検出などの画像処理と、車両周辺の画像処理を、車両の速度に応じて適宜切替えて判断処理に供給することができる。
〔６〕＜左右両側のステレオカメラに反射板＞
項５において、前記第２映像データは、前記車両前方の映像である第３領域（５２Ｌ）と車両の周辺の映像である第４領域（５３Ｌ）とを、１フレーム内に同時に含む。
前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データ（５２Ｒ）と、前記第２映像データのうちの前記第３領域の映像データ（５２Ｌ）との視差に基づく画像認識処理（３３）を実行可能に構成される。
前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域（５２Ｒ）と前記第３領域（５２Ｌ）について遠景に適する画像処理（Ｓ２，Ｓ５）を行わせ、前記第２領域（５３Ｒ）と前記第４領域（５３Ｌ）についての画像処理を省略させる、制御指示情報を前記画像認識部に供給可能である。また、前記判断部は、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域（５３Ｒ）と前記第４領域（５３Ｌ）について近景に適する画像処理（Ｓ４，Ｓ７）を行わせ、前記第１領域（５２Ｒ）と前記第３領域（５２Ｌ）についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される。
これにより、ステレオカメラの左右両側において、車両前方の映像についての画像処理と、車両周辺の画像処理を、車両の速度に応じて適宜切替えて判断処理に供給することができる。
〔７〕＜視点の変更と合成＞
項１から項６のうちのいずれか１項において、前記画像認識部は、前記映像データに含まれる各領域の映像データについて、それぞれの映像データを所定の視点からの画像に変換し、各領域の映像データから変換された画像を合成する機能をさらに有する。
これにより、従来より少ないカメラと画像認識部を使って、視点を変換された画像を求めることが可能な、車載用画像処理装置を提供することができる。
〔８〕＜視点の変更に伴う合成のための死角画像の推定＞
項７において、前記画像認識部は、複数の領域の映像データに含まれる部分の画像（５６）については、前記複数の領域の映像データの視差を利用して互いに補完して合成する。前記画像認識部は、前記複数の領域の映像データのいずれにも含まれない部分の画像（５７）については、過去のフレームの映像データに基づいて推定し、又は、前記複数の領域の端部の映像データに基づいて推定し、又は、当該部分の画像データとして推定不能であることを示すための所定の画像データを出力する機能をさらに有する。
これにより、カメラの死角部分においても欠落を生じさせることなく、視点が変換された画像データ求めることが可能な、車載用画像処理装置を提供することができる。
〔９〕＜速度情報に基づき領域毎に最適な画像処理を行う半導体装置＞
本願において開示される代表的な実施の形態は、画像認識部（３）と、判断部（４）とを備え、車両に搭載されるカメラ（１）が接続されることによって車載用画像処理装置（１０）を構成可能な半導体装置（２０）であって、以下のように構成される。
前記判断部は、前記車両の速度情報（８）が供給され、前記速度情報に基づいて、前記画像認識部に対して制御指示情報（９）を供給可能に構成される。
前記画像認識部は、前記車両前方の映像である第１領域（５２）と他の方向の映像である第２領域（５３）とを、１フレーム内に同時に含む映像データ（５０）が、前記カメラから供給され、前記第１領域と前記第２領域の映像データに対して、前記制御指示情報に基づく画像処理（Ｓ１〜Ｓ７）を行い、その結果を前記判断部に供給可能に構成される。
これにより、半導体装置の画像認識部は、車両の速度に応じた判断処理に必要な情報を得るために、適宜最適な画像処理を行うことができ、複数の映像領域に対して１個の画像認識部を設ければ足り、車載用画像処理装置のコストを抑えることができる。
〔１０〕＜高速走行時は前方映像、低速走行時は周辺映像の画像処理＞
項９において、前記第２領域は、前記車両の周辺の映像であり、
前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域（５２）について遠景に適する画像処理（Ｓ２，Ｓ５）を行わせ、前記第２領域（５３）についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される。また、前記判断部は、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域について近景に適する画像処理（Ｓ３，Ｓ６）を行わせ、前記第１領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される。
これにより、高速走行時は前方の映像のみを判断処理の対象とし（前方監視）、低速走行時は周辺映像のみを判断処理の対象とする（周辺監視）ことで、複数の映像領域に対しても１個の画像認識部を設ければ足り、車載用画像処理装置のコストを抑えることができる。
〔１１〕＜前方映像と周辺映像を含む全面についての画像処理＞
項１０において、前記判断部は、さらに、前記第１領域と前記第２領域の両方について、遠景に適する画像処理と近景に適する画像処理との間の中間的な画像処理（Ｓ４，Ｓ７）を行わせる制御指示情報を、前記画像認識部に供給可能に構成される。
これにより、高速走行と低速走行に分類されない特殊な場合にも、適切な画像処理を実行させることができる。
〔１２〕＜映像データからの速度情報の抽出＞
項９から項１１のうちのいずれか１項において、前記画像認識部は、前記映像データから前記車両の速度情報を算出し、前記判断部に供給する機能（１９）をさらに有する。
これにより、半導体装置には外部から速度センサの信号を入力する必要がなくなり、より低コストの車載用画像処理装置を提供することができる。或いは、外部から入力される速度センサの信号と画像認識部が算出する速度情報とを互いに補完的に利用することによって、車両の走行速度をより正確に求めることが可能な、車載用画像処理装置を提供することができる。
〔１３〕＜ステレオカメラ＞
項９から項１２のうちのいずれか１項において、前記カメラを第１カメラ（１Ｒ）とし、前記映像データを第１映像データ（５０Ｒ）とし、前記車載用画像処理装置は、前記第１カメラと左右１対の第２カメラ（１Ｌ）をさらに備える。前記第２カメラは、前記車両前方の映像を１フレーム内に含む第２映像データ（５０Ｌ）を前記半導体装置の前記画像認識部に供給可能に構成される。前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データ（５２Ｒ）と、前記第２映像データ（５２Ｌ）との視差に基づく画像認識処理（３３）を実行可能に構成される。
これにより、ステレオカメラにおいて、車両前方の映像に基づく視差検出やベクトル検出などの画像処理と、車両周辺の画像処理を、車両の速度に応じて適宜切替えて判断処理に供給することができる。
〔１４〕＜左右両側のステレオカメラに反射板＞
項１３において、前記第２映像データは、前記車両前方の映像である第３領域（５２Ｌ）と車両の周辺の映像である第４領域（５３Ｌ）とを、１フレーム内に同時に含む。
前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データ（５２Ｒ）と、前記第２映像データのうちの前記第３領域の映像データ（５２Ｌ）との視差に基づく画像認識処理（３３）を実行可能に構成される。
前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域（５２Ｒ）と前記第３領域（５２Ｌ）について遠景に適する画像処理（Ｓ２，Ｓ５）を行わせ、前記第２領域（５３Ｒ）と前記第４領域（５３Ｒ）についての画像処理を省略させる、制御指示情報を前記画像認識部に供給可能である。前記判断部は、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域（５３Ｒ）と前記第４領域（５３Ｒ）について近景に適する画像処理（Ｓ４，Ｓ７）を行わせ、前記第１領域（５２Ｒ）と前記第３領域（５２Ｌ）についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される。
これにより、ステレオカメラの左右両側において、車両前方の映像についての画像処理と、車両周辺の画像処理を、車両の速度に応じて適宜切替えて判断処理に供給することができる。
〔１５〕＜視点の変更と合成＞
項９から項１４のうちのいずれか１項において、
前記画像認識部は、前記映像データに含まれる各領域の映像データについて、それぞれの映像データを所定の視点からの画像に変換し、各領域の映像データから変換された画像を合成する機能をさらに有する。
これにより、従来より少ないカメラと画像認識部を使って、視点を変換された画像を求めることが可能な、半導体装置を提供することができる。
〔１６〕＜視点の変更に伴う合成のための死角画像の推定＞
項１５において、前記画像認識部は、複数の領域の映像データに含まれる部分の画像（５６）については、前記複数の領域の映像データの視差を利用して互いに補完して合成する。前記画像認識部は、前記複数の領域の映像データのいずれにも含まれない部分の画像（５７）については、過去のフレームの映像データに基づいて推定し、又は、前記複数の領域の端部の映像データに基づいて推定し、又は、当該部分の画像データとして推定不能であることを示すための所定の画像データを出力する機能をさらに有する。
これにより、カメラの死角部分においても欠落を生じさせることなく、視点が変換された画像データ求めることが可能な、半導体装置を提供することができる。
〔１７〕＜シングルチップ＞
項９から項１６のうちのいずれか１項において、単一半導体基板上に形成される。
これにより、車載用画像処理装置における半導体装置の実装面積を低減し、車載用画像処理装置のコストをより低く抑えることができる。
２．実施の形態の詳細
実施の形態について更に詳述する。
〔実施形態１〕＜速度情報に基づき領域毎に最適な画像処理＞
図１は、実施形態１に係る車載用画像処理装置１０の構成例を示すブロック図である。
車載用画像処理装置１０は、レンズとイメージセンサを含むカメラモジュール１（以降、単に「カメラ１」と呼ぶ）と、画像認識部３と、判断部４とを備える。カメラ１は、図４と図５を引用して後段で詳述されるように、反射板２を備えることにより、車両の前方の映像と車両の周囲等の映像とを、１フレームの画面内に同時に撮像することができる。カメラ１は、例えば、車内のバックミラーの裏側に、運転者の視界の前方方向に向けて設置される、所謂フロントカメラである。
図２は、実施形態１に係る車載用画像処理装置１０の映像データ５０を示す説明図である。カメラ１によって撮像された１フレームの映像データ５０には、境界線５１を挟んで下側の領域５２と上側の領域とが含まれている。境界線５１の下側の領域５２が、反射板２を通さず直接、車両の前方を撮像した映像領域であり、境界線５１の上側の領域５３が、反射板２によって反射されることによって、車両の周辺等を撮像した映像領域である。
判断部４には、自車両の速度情報８が供給される。車載用画像処理装置１０は、図１に例示されるように、独立の速度検出部７を備え、速度情報８を検出して、判断部４に供給するように構成しても良い。車載用画像処理装置１０は、また、後述のように画像認識部３の一部の機能として実現される速度検出部１９によって速度情報８を検出して、判断部４に供給するように構成しても良い。判断部４は、供給された速度情報８に基づいて、画像認識部３に対して制御指示情報９を供給する。
画像認識部３には、前記車両前方の映像である境界線５１の下側の領域５２と、他の方向の映像である境界線５１の上側の領域５３とを、１フレーム内に同時に含む映像データ５０が、カメラ１から供給される。境界線５１の下側の領域５２と上側の領域５３の映像データに対して、制御指示情報９に基づく画像処理を行い、その結果を判断部４に供給する。
これにより、車載用画像処理装置１０は、車両の速度に応じた判断処理に必要な情報を得るために、適宜最適な画像処理を行うことができ、複数の映像領域に対して１個の画像認識部を設ければ足り、コストを抑えることができる。
＜高速走行時は前方映像、低速走行時は周辺映像の画像処理＞
図３は、画像処理の内容の一例を示すフローチャートである。境界線５１の上側の領域５３は、車両の周辺の映像であるとする。
判断部４は、入力される速度情報８に基づいて、画像認識部３において実行させるべき処理を指定する、制御指示情報９を、画像認識部３に対して供給する。図３において、制御指示情報９は、「高速走行」、「低速走行」、及び「特殊」の３通りであるものとして説明する。まず、画像認識部３は、制御指示情報９に基づいて、画像処理と画像認識の対象とすべき映像領域を判断する（Ｓ１）。車両が高速走行中の場合には、前方監視が主となるので、画像認識部３は境界線５１の下側の領域５２を対象として、遠景に適する鮮鋭化処理Ｓ２と色変換処理Ｓ５を順次行う。車両が低速走行中の場合には、周辺監視が主となるので、画像認識部３は境界線５１の上側の領域５３を対象として、近景に適する鮮鋭化処理Ｓ３と色変換処理Ｓ６を順次行う。
ここで、鮮鋭化処理は、例えば先行車両との間の車間距離や、路面や路肩の対象物まで距離を画像認識によって求めるための前処理の１つである。鮮鋭化処理は、例えば、エッジ強調処理であり、対象画像の輝度のヒストグラムから中間値を求め、その中間値を横切る部分を、対象物のエッジの候補として認識する。上記のように距離を正確に求めるためには、エッジが鮮明であることが求められるので、エッジを強調する、即ち鮮鋭化する画像処理が施される。
高速走行時で前方監視が主となる場合は、判断部４では、先行車両との車間距離や、前方の障害物の有無が、主な判断処理Ｓ８となり、低速走行時で周辺監視が主となる場合は、判断部４では、周辺の障害物までの距離などが、主な判断処理Ｓ９となる。このとき、高速走行時には境界線５１の上側の領域５３を対象とする画像処理を、低速走行時には境界線５１の下側の領域５２を対象とする画像処理を、それぞれ省略することにより、画像認識部３の回路規模を抑え、或いは演算処理の負荷を抑えることによって消費電力を抑えることができる。一方、高速走行時にも境界線５１の上側の領域５３を対象とする画像処理を、低速走行時には境界線５１の下側の領域５２を対象とする画像処理を、それぞれ主たる映像領域に対する画像処理と並列に実行することにより、判断処理Ｓ８とＳ９の信頼性を向上させることができる。
さらに、高速走行時には前方監視に注力し、前方監視で見つかった結果を元に周辺監視にも情報をフィードバックして画像認識の精度を向上することができる。また、低速走行時には逆に周辺監視に注力し、その結果を元に前方監視にも情報をフィードバックして画像認識の精度を向上することができる。
判断部４は、上述の「高速走行」と「低速走行」に加えて、さらに「特殊」な処理を、画像認識部３に対して指示することができる。「特殊」の場合には、例えば、境界線５１の下側の領域５２と上側の領域５３の両方について、遠景に適する画像処理と近景に適する画像処理との間の中間的な鮮鋭化処理Ｓ４と色変換処理Ｓ７を行わせる制御指示情報８を、画像認識部３に供給する。これにより、高速走行と低速走行に分類されない特殊な場合にも、適切な画像処理を実行させることができる。
＜カメラモジュールの構造＞
図４は、カメラモジュール１の構成例を示す外観図であり、図５は側面断面図である。カメラモジュール１は、基板４３上に実装され配線４４が接続されたイメージセンサ５と、レンズ４１などで構成される光学系が、収納カバー４２内に収納されて構成される。反射板２は、光学系であるレンズ４１等を通してイメージセンサ５に入射する入射光の光路内に設置される。図４では、収納カバー４２を透視したものとした内側が、破線で描かれている。反射板２が設置されない場合には、前方の映像をそのままイメージセンサ５の全体に撮り込むことができる。反射板２が設置されることにより、反射板２によって遮られない部分の前方の映像がそのままイメージセンサ５に撮り込まれ、同時に、周囲などからの映像が反射板２によって反射されて、イメージセンサ５に撮り込まれる。
光学系であるレンズ４１等は、上述の高速走行、低速走行、または、特殊の場合によらず、常に固定されて構成されることが好適である。光学系が固定されることにより、映像５０における境界線５１の位置が固定され、画像認識部３の構成を簡略化し、或いは画像認識部３による画像処理の演算負荷が大きくなることを防止することができる。また、カメラモジュール１のコストを低く抑えることができる。さらに、可動部分をなくすことにより、車両の振動に対する耐久性と信頼性を向上することができる。
一方、光学系であるレンズ４１等を、高速走行、低速走行、または、特殊、などの制御指示情報に連動させてもよい。例えば、高速走行時には前方監視が主となるので、レンズ４１を比較的遠景に合焦する位置に移動させ、低速走行時には周辺監視が主となるので、レンズ４１を比較的近景に合焦する位置に移動させ、両方を同時に監視する特殊な場合には中間的な距離に合焦する位置に移動させることができる。これにより、より正確な画像認識を行うことができる。
＜車載用画像処理装置の詳細な構成例＞
図６は、車載用画像処理装置１０の詳細な構成例を示すブロック図である。車載用画像処理装置１０は、カメラモジュール１に搭載されているイメージセンサ５と、画像認識部３と判断部４を含んで構成されるＬＳＩ２０と、フレームメモリ１１とによって構成される。ＬＳＩ２０は、画像認識部３と、判断部４と、メモリインターフェース部１２と、カメラ入力部１３と、カメラ制御部１４とを含んで構成される。
カメラ入力部１３は、イメージセンサ５から入力される映像データを取り込んで、メモリインターフェースを介してフレームメモリ１１に書き込む。イメージセンサ５からの入力がアナログ信号である場合には、Ａ／Ｄ変換器を備え、入力されるアナログ信号を順次ディジタルデータに変換して、フレームメモリ１１に書き込む。また、映像信号に対する種々の前処理を含んで構成されても良い。
画像認識部３は、鮮鋭化を行う画像処理部１６と、色変換を行う画像処理部１７と、その他の各種処理を行なう画像処理部１８とを含んで構成される。画像認識部３は、さらに、速度検出を行う画像処理部１９を含んで構成される。画像認識部３には、メモリインターフェース部１２を介してフレームメモリ１１から、映像データが入力される。速度検出を行う画像処理部１９では、映像データに基づいて、自己の車両の走行速度を検出する。複数フレームの映像データを利用し、路面や路側帯の目標物と自己の車両との距離の時間的な変化を求めることにより、走行速度などの速度情報８を得ることができる。求められた速度情報８は、判断部４に供給される。判断部４は、速度情報８に基づいて、画像認識部３に制御指示情報９を供給する。画像認識部３は、与えられた制御指示情報９に基づいて、各画像処理部１６、１７、１８において、鮮鋭化、色変換、及び、その他の各種画像処理、画像認識処理を行い、その結果を判断部４に供給する。判断部４は、それに基づいて、先行車両との車間距離、周囲の目標物、障害物などとの距離などに基づき、例えば自動運転、安全の確保、その他の制御のための種々の判断処理を行うことができる。また、判断部４は、カメラ制御部１４を介してイメージセンサ５を制御する。
図７は、車載用画像処理装置１０の詳細な別の構成例を示すブロック図である。車載用画像処理装置１０は、カメラモジュール１に搭載されているイメージセンサ５と、速度センサ６と、画像認識部３と判断部４を含んで構成されるＬＳＩ２０と、フレームメモリ１１とによって構成される。図６に示される車載用画像処理装置１０との違いは、図７の車載用画像処理装置１０が速度センサ６を備え、ＬＳＩ２０が速度検出部７を備えている点と、図７の画像認識部３が速度検出を行う画像処理部１９を備えていない点である。図７に示される車載用画像処理装置１０では、速度センサ６で検知される速度に依存する信号が、速度検出部７を介して速度情報８として取り込まれ、判断部４に入力される。他の構成と動作は、図６に示される車載用画像処理装置１０と同様であるので、説明を省略する。
図６に示される車載用画像処理装置１０と図７に示される車載用画像処理装置１０とを比較すると、図６の車載用画像処理装置１０では、外部から速度センサの信号を入力する必要がなくなり、より低コストの車載用画像処理装置を提供することができる。一方、図７に示される車載用画像処理装置１０では、専用の速度センサ６から速度情報８が入力される点で、速度についての判断を正確に行うことができる。
速度検出部７と速度検出を行う画像処理部１９とを共に備え、それぞれで抽出される速度情報８を、並行して判断部４に供給することもできる。これにより、外部から入力される速度センサ６の信号と画像認識部３が算出する速度情報８とを互いに補完的に利用することによって、車両の走行速度をより正確に求めることが可能な、車載用画像処理装置１０を提供することができる。
図８は、車載用画像処理装置１０に搭載されるＬＳＩ（半導体装置）２０の構成例を示すブロック図である。ＬＳＩ２０は、ＣＰＵ（Central Processing Unit）２１と、外部メモリインターフェース１２と、アクセラレータ２２と、内蔵メモリ２３と、周辺回路を含んで構成される。周辺回路には、カメラ入力部１３とカメラ制御部１４からなるカメラインターフェース部２５と、タイマ２６などが含まれる。例えばタイマ２６は、速度センサ６から入力される、タイヤの回転数に比例するパルスを、所定の期間ごとにカウントすることによって速度情報８を求める、速度検出部７を構成することができる。画像認識部３に含まれる各種の画像処理１６、１７、１８、１９等は、例えば、アクセラレータ２２によって実装され、判断部４の機能は、内蔵メモリ２３に格納されるプログラムをＣＰＵ２１によって実行することによって実装される。
ＬＳＩ２０は、特に制限されないが、例えば、公知のＣＭＯＳ（Complementary Metal-Oxide-Semiconductor field effect transistor）ＬＳＩの製造技術を用いて、シリコンなどの単一半導体基板上に形成される。複数のチップによって構成されてもよいし、フレームメモリ１１をさらに含んで単一チップに形成されてもよい。単一チップに集積されることにより、車載用画像処理装置１０における実装面積を低減し、車載用画像処理装置１０のコストをより低く抑えることができる。
〔実施形態２〕＜ステレオカメラ＞
図９は、実施形態２に係る車載用画像処理装置１０の構成例を示すブロック図である。図１に示される、実施形態１に係る車載用画像処理装置１０の構成例との違いは、左右１対のカメラ１Ｌと１Ｒとを備えており、所謂ステレオカメラを構成する点である。ステレオカメラは視覚内の物体までの距離を測定する手法の一つで２つのカメラで構成され視差映像を用いた物体までの距離測定が可能である。車載用画像処理装置１０は、実施形態１に係る車載用画像処理装置１０と同様に、他に画像認識部３と、判断部４と速度検出部７または１９を含んで構成される。右側のカメラ１Ｒの前方には、実施形態１で示したカメラ１と同様に、反射板２が設置されている。左側のカメラ１Ｌには、反射板は設置されていない。右側のカメラ１Ｒからの映像と左側のカメラ１Ｌからの映像は、共に、画像認識部３に供給される。左右１対のカメラは、例えば、フロントグラス上部に互いに所定の距離を離して設置される。右側のカメラ１Ｒに反射板２を備える例を示したが、左側のカメラ１Ｌに反射板２を備えてもよい。
図１０は、実施形態２に係る車載用画像処理装置１０の映像データを示す説明図である。（ａ）に左側のカメラ１Ｌで撮像される映像データ５０Ｌが示され、（ｂ）に右側のカメラ１Ｒで撮像される映像データ５０Ｒが示される。右側のカメラ１Ｒの映像データ５０Ｒには、図２に示される映像データ５０と同様に、境界線５１Ｒを挟んで下側の領域５２Ｒと上側の領域とが含まれている。境界線５１Ｒの下側の領域５２Ｒが、反射板２を通さず直接、車両の前方を撮像した映像領域であり、境界線５１Ｒの上側の領域５３Ｒが、反射板２によって反射されることによって、車両の周辺等を撮像した映像領域である。左側のカメラ１Ｌからの映像データ５０Ｌには、境界線がなく、車両の前方を撮像した映像領域５２Ｌのみで構成される。
判断部４には、自車両の速度情報８が供給される。車載用画像処理装置１０は、図２に例示されるように、独立の速度検出部７を備えて速度情報８を検出して、判断部４に供給するように構成しても良い。車載用画像処理装置１０は、また、前述のように画像認識部３の一部の機能として実現される速度検出部１９によって速度情報８を検出して、判断部４に供給するように構成しても良い。判断部４は、供給された速度情報８に基づいて、画像認識部３に対して制御指示情報９を供給する。
画像認識部３には、左右のカメラ１Ｌと１Ｒから、映像データ５０Ｌと５０Ｒが供給され、判断部４から供給される制御指示情報９に基づいて、画像処理を行ない、その結果を判断部４に供給する。
図１１は、画像処理の内容の一例を示すフローチャートである。画像認識部３では、判断部４から供給される制御指示情報９に基づいて、右側のカメラ１Ｒからの映像データ５０Ｒに対して速度に依存する鮮鋭化と色変換の画面処理３０が実行される。画面処理３０の詳細は、図３のフローチャートに示した処理と同様に構成することができる。一方、左側のカメラ１Ｌからの映像データ５０Ｌに対しては、速度に依存せず、１フレーム全体に対して一様な鮮鋭化と色変換の画面処理３１が実行される。
次に、それぞれの処理結果から、画面切り出し３２Ｒと３２Ｌが実行される。画面切り出し３２Ｒと３２Ｌでは、左右のカメラ１Ｌと１Ｒで同時に撮像された同じ対象物を含む左右の映像データと、同じ対象物を含まない左右それぞれの映像データに切り分けられる。同じ対象物を左右のカメラ１Ｌと１Ｒで同時に撮像した映像データは、左右の視差を利用した画像処理、即ち、視差検出やベクトル検出を伴う画像認識３３に利用することができる。主に車両前方の映像データがこれに該当する。一方、左右それぞれの映像データは、それぞれの目的で画像認識に利用される。例えば、左側のカメラ１Ｌからの映像データ５０Ｌは、車両前方の上方の映像が含まれているので、信号機や標識等を認識する画像認識処理３４Ｌが実行される。一方、右側のカメラ１Ｒからの映像データ５０Ｒは、反射板２で反射されることによって、車両の周辺等の映像データ５３Ｒが含まれているので、これに対して周辺の対象物、障害物等を認識する画像認識処理３４Ｒが実行される。画像認識処理３３、３４Ｒ、３４Ｌの結果は、判断部４に供給される。
これにより、ステレオカメラにおいて、車両前方の映像に基づく視差検出やベクトル検出などの画像処理と、車両周辺の画像処理を、車両の速度に応じて適宜切替えて判断処理に供給することができる。
例えば、高速走行時には前方監視に重きが置かれるので、右側カメラ１Ｒからの映像データ５０Ｒに対しては、画面処理３０により車両前方の映像データ５２Ｒについて、遠景に適する鮮鋭化処理と色変換処理が行われ、画面切り出し３２Ｒを経て画像認識部３３に供給される。一方、左側カメラ１Ｌからの映像データ５０Ｌに対しては、画面処理３１により車両前方の映像データ５２Ｌについて、遠景に適する鮮鋭化処理と色変換処理が行われ、画面切り出し３２Ｌを経て画像認識部３３に供給される。ここで、右側からの映像データ５２Ｒと整合させるために、下側の領域が切り出されて、画像認識部３３に供給される。一方、上側の領域には、信号機や標識の映像データが含まれている可能性があるので、画面切り出し部３２Ｌによって切り出され、画像認識部３４Ｌに供給される。画像認識部３３では、同じ対象物を左右のカメラ１Ｌと１Ｒで撮像した１対の映像データが揃うので、その視差を検出して対象物までの距離、例えば車間距離や障害物までの距離を算出し、さらにフレーム間でのそれらの距離の変化を勘案してベクトル検出をすることにより、先行車両であるのか障害物であるのかを判断するための画像認識処理を行うことができる。右側カメラ１Ｒでは反射板２があるために取得できなかった、前方上方の映像データに対して、画像認識部３４Ｌでは信号機や標識等の認識処理が実行される。視差を利用することはできないが、画像認識部３３で視差検出された路面側の特徴点との相対関係から、距離を算出または推定することも可能である。高速走行時には、画面処理部３０において、反射板２によって反射されて撮像された映像データ５１Ｒの処理は省略されることができる。このとき、画面認識部３４Ｒも動作しない。
一方、低速走行時には周辺監視に重きが置かれるので、右側カメラ１Ｒからの映像データ５０Ｒに対しては、画面処理３０により車両周辺の映像データ５３Ｒについて、近景に適する鮮鋭化処理と色変換処理が行われ、画面切り出し３２Ｒを経て画像認識部３４に供給され、周辺の障害物等の認識処理が行われる。このとき、右側カメラ１Ｒからの車両前方の映像データ５２Ｒについては、画面処理３０が省略され、画像認識部３３には、左側カメラ１Ｌからのみの前方の映像データ５２Ｌが供給される。左右のうちの一方のみの映像データであるので、視差検出をすることはできないが、低速走行中であるので、車両の前方、特に遠景についての処理は、省略されても問題が大きくない。
画面処理３０において、図３を引用して説明した実施形態１における、「特殊」な処理と同様の処理を、実行可能に構成しても良い。画面処理３０において、右側カメラ１Ｒからの映像データ５０Ｒの境界線５１Ｒの下側の領域５２Ｒと上側領域５３Ｒについて、一律に遠景と近景の中間的な鮮鋭化処理と色変換処理を行なう。それぞれの領域の結果を画面切り出し３２Ｒによって切り出して、下側の領域５２Ｒを視差検出等を行う画像認識部３３と周辺の画像認識を行う画像認識部３４Ｒにそれぞれ供給する。この場合には、鮮鋭化処理と色変換処理とが、遠景か近景かのどちらか一方に最適化されいないため、画像認識の精度が多少犠牲になる恐れがあるが、前方と周辺を同時に監視することができる点で有効である。
〔実施形態３〕＜左右両側のステレオカメラに反射板＞
図１２は、実施形態３に係る車載用画像処理装置１０の構成例を示すブロック図である。図９に示される、実施形態２に係る車載用画像処理装置１０の構成例との違いは、左右１対のカメラ１Ｌと１Ｒそれぞれの前方に反射板２Ｌと２Ｒを備えている点である。車載用画像処理装置１０は、実施形態２に係る車載用画像処理装置１０と同様に、他に画像認識部３と、判断部４と速度検出部７または１９を含んで構成される。
図１３は、実施形態３に係る車載用画像処理装置１０の映像データを示す説明図である。（ａ）に左側のカメラ１Ｌからの映像データ５０Ｌが示され、（ｂ）に右側のカメラ１Ｒからの映像データ５０Ｒが示される。左右のカメラ１Ｌと１Ｒからの映像データ５０Ｌと５０Ｒは、どちらも、図２に示される映像データ５０と同様に、境界線５１Ｌと５１Ｒを挟んで、下側の領域５２Ｌと５２Ｒ、及び、上側の領域５３Ｌと５３Ｒが含まれている。
判断部４には、自車両の速度情報８が供給される。車載用画像処理装置１０は、図２に例示されるように、独立の速度検出部７を備えて速度情報８を検出して、判断部４に供給するように構成しても良い。車載用画像処理装置１０は、また、前述のように画像認識部３の一部の機能として実現される速度検出部１９によって速度情報８を検出して、判断部４に供給するように構成しても良い。判断部４は、供給された速度情報８に基づいて、画像認識部３に対して制御指示情報９を供給する。
画像認識部３には、左右のカメラ１Ｌと１Ｒから、映像データ５０Ｌと５０Ｒが供給され、判断部４から供給される制御指示情報９に基づいて、画像処理を行ない、その結果を判断部４に供給する。
画像認識部３による画像処理の内容は、実施形態２において引用した図１１と同様に構成することができるが、画面処理３１は自車両の走行速度に依存する画面処理３０と同じく、図３のフローチャートに示した処理と同様に構成される。左側カメラ１Ｌから入力される映像データ５０Ｌには、車両前方の映像データである５２Ｌと周辺の映像データである５３Ｌとが含まれているので、高速走行時は、映像データ５２Ｌに注目して前方監視に重点を置き、低速走行時には映像データ５３Ｌに注目して周辺監視に重点を置くことができる。次に、それぞれの処理結果から、画面切り出し３２Ｒと３２Ｌが実行される。画面切り出し３２Ｒと３２Ｌでは、左右のカメラ１Ｌと１Ｒで撮像された同じ対象物を含む左右の映像データと、同じ対象物を含まない左右それぞれの映像データに切り分けられる。
上述の実施形態２においては、前方の映像データ５２Ｌと５２Ｒのみが、視差検出を行う画像認識部３３に供給されるために切り出されたが、本実施形態３においては周辺の映像データ５３Ｌと５３Ｒのうちの一部にも、左右のカメラ１Ｌと１Ｒで撮像された同じ対象物が含まれている。その領域の映像データは、画面切り出し３２Ｒと３２Ｌで切り出されて、視差検出を行う画像認識部３３に供給される。一方、周辺の映像データ５３Ｌと５３Ｒのうち、同じ対象物を含まない左右それぞれの映像データは、画面切り出し３２Ｒと３２Ｌで切り出されて、左右それぞれの画像認識部３４Ｌと３４Ｒに供給される。
これにより、低速走行時などの周辺監視の場合にも、ステレオカメラによる視差検出による、距離等の算出を行うことができる。
〔実施形態４〕＜視点の変更と合成＞
画像認識部３で切り出された、車両前方の映像５２、５２Ｌ、５２Ｒなどと、車両周辺の映像５３、５３Ｌ、５３Ｒなどは、カメラ１、１Ｌ、１Ｒを視点とする映像である。これに対して視点変換処理を施すことにより、別の視点からの映像を合成することができる。例えば、自車両を上空から俯瞰した映像に変換することができる。このとき、カメラの構成は、単眼でもステレオでも良い。本実施形態では、説明の簡略化のために、単眼の場合を例に採って説明する。
図１４は、実施形態４に係る車載用画像処理装置によって合成される画像データを示す説明図である。
合成される画像データは、４通りの６領域に分けて合成される。４通りの領域とは、通常映像領域５４と、反射板映像領域５５と、通常映像と反射板映像とが重複する領域５６と、どちらの映像にも含まれない領域５７である。通常映像と反射板映像のどちらの映像にも含まれない領域５７は、カメラの死角によって生じる。反射板映像領域５５とどちらの映像にも含まれない領域５７は、図示されるように、左右に存在する。通常映像領域５４は、車両前方の映像５２を元に視点を変更する画像処理が実行された結果であり、反射板映像領域５５は、車両周辺の映像５３を元に視点を変更する画像処理が実行された結果である。車両前方の映像５２と周辺の映像５３には、重複部分があるので、その部分については、それぞれの映像を元に視点を変更する画像処理を実行した上で、相互補完して領域５６の画像データを合成する。ステレオカメラの場合には、視差を利用してさらに高精度に画像を合成してもよい。通常映像と反射板映像のどちらの映像にも含まれない領域５７については、過去のフレームの映像データに基づいて推定し、又は、他の領域の端部の映像データに基づいて推定し、又は、当該部分の画像データとして推定不能であることを示すための所定の画像データを出力する。
これにより、従来より少ないカメラと画像認識部を使って、視点を変換された画像を求めることが可能な、車載用画像処理装置１０を提供することができる。また、死角となった領域の画像を推定によって求めることにより、カメラの死角部分においても欠落を生じさせることなく、視点が変換された画像データ求めることが可能な、車載用画像処理装置を提供することができる。
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
例えば、反射板が設置されたカメラによって撮影される領域を、主に、車両の前方と周辺として説明したが、これを車両の後方と車内などに変更してもよい。また、撮像方向を変更するためには、反射板に代えてプリズムやレンズを用いても良い。
１ カメラモジュール（簡略に「カメラ」と呼ぶ）
２ 反射板
３ 画像認識部
４ 判断部
５ イメージセンサ
６ 速度センサ
７ 速度検出部
８ 速度情報
９ 制御指示情報
１０ 車載用画像処理装置
１１ フレームメモリ
１２ メモリインターフェース部
１３ カメラ入力部
１４ カメラ制御部
１５ 速度検出部
１６ 画像処理（鮮鋭化）
１７ 画像処理（色変換）
１８ 画像処理（各種）
１９ 画像処理（速度検出）
２０ 半導体装置（ＬＳＩ）
２１ ＣＰＵ
２２ アクセラレータ
２３ 内蔵メモリ
２４ 周辺回路
２５ カメラインターフェース
２６ タイマ
３０ 速度依存の画像処理（鮮鋭化・色変換）
３１ 速度に依存しない画像処理（鮮鋭化・色変換）
３２ 画面切り出し
３３ 視差検出／ベクトル検出／画像認識
３４ 画像認識（信号機・標識等の認識）
４１ レンズ
４２ 収納カバー
４３ 基板
４４ 配線
５０ 映像データ
５１ 境界
５２ 車両前方の映像領域
５３ 車両周辺の映像領域
５４ 通常映像領域
５５ 反射板映像領域
５６ 通常映像と反射板映像とが重複する領域
５７ 予測映像領域（死角）

Claims (21)

  1. カメラと、画像認識部と、判断部とを備え、車両に搭載されるための車載用画像処理装置であって、
    前記判断部は、前記車両の速度情報が供給され、前記速度情報に基づいて、前記画像認識部に対して制御指示情報を供給可能に構成され、
    前記画像認識部は、前記車両前方の映像である第１領域と前記車両前方よりも下側方向の前記車両周辺の映像である第２領域とを１フレーム内に同時に含む映像データが、前記カメラから供給され、前記第１領域と前記第２領域の映像データに対して、前記制御指示情報に基づく画像処理を行い、その画像処理結果を前記判断部に供給可能に構成され、
    前記判断部は、前記画像処理結果に基づいて、前記車両を制御するための判断処理を行うことが可能に構成される、
    車載用画像処理装置。
  2. 請求項１において、前記第２領域は、前記車両の周辺の映像であり、
    前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域について遠景に適する画像処理を行わせ、前記第２領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能であり、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域について近景に適する画像処理を行わせ、前記第１領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される、車載用画像処理装置。
  3. 請求項２において、
    前記判断部は、さらに、前記速度情報が高速走行または低速走行のいずれにも分類されない場合に、前記第１領域と前記第２領域の両方について、遠景に適する画像処理と近景に適する画像処理との間の中間的な画像処理を行わせる制御指示情報を、前記画像認識部に供給可能に構成される、車載用画像処理装置。
  4. 請求項１において、
    前記画像認識部は、前記映像データから前記車両の速度情報を算出し、前記判断部に供給する機能をさらに有する、車載用画像処理装置。
  5. 請求項１において、前記カメラを第１カメラとし、前記映像データを第１映像データとし、前記車載用画像処理装置は、前記第１カメラと左右１対の第２カメラをさらに備え、
    前記第２カメラは、前記車両前方の映像を１フレーム内に含む第２映像データを前記画像認識部に供給可能に構成され、
    前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データと、前記第２映像データとの視差に基づく画像認識処理を実行可能に構成される、車載用画像処理装置。
  6. 請求項５において、前記第２映像データは、前記車両前方の映像である第３領域と車両の周辺の映像である第４領域とを、１フレーム内に同時に含み、
    前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データと、前記第２映像データのうちの前記第３領域の映像データとの視差に基づく画像認識処理を実行可能に構成され、
    前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域と前記第３領域について遠景に適する画像処理を行い、前記第２領域と前記第４領域についての画像処理を省略させる、制御指示情報を前記画像認識部に供給可能であり、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域と前記第４領域について近景に適する画像処理を行い、前記第１領域と前記第３領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される、車載用画像処理装置。
  7. 請求項１において、
    前記画像認識部は、前記映像データに含まれる各領域の映像データについて、それぞれの映像データを所定の視点からの画像に変換し、各領域の映像データから変換された画像を合成する機能をさらに有する、車載用画像処理装置。
  8. 請求項７において、
    前記画像認識部は、複数の領域の映像データに含まれる部分の画像については、前記複数の領域の映像データの視差を利用して互いに補完して合成し、前記複数の領域の映像データのいずれにも含まれない部分の画像については、過去のフレームの映像データに基づいて推定し、又は、前記複数の領域の端部の映像データに基づいて推定し、又は、当該部分の画像データとして推定不能であることを示すための所定の画像データを出力する機能をさらに有する、車載用画像処理装置。
  9. 画像認識部と、判断部とを備え、車両に搭載されるカメラが接続されることによって車載用画像処理装置を構成可能な半導体装置であって、
    前記判断部は、前記車両の速度情報が供給され、前記速度情報に基づいて、前記画像認識部に対して制御指示情報を供給可能に構成され、
    前記画像認識部は、前記車両前方の映像である第１領域と前記車両前方よりも下側方向の前記車両周辺の映像である第２領域とを１フレーム内に同時に含む映像データが、前記カメラから供給され、前記第１領域と前記第２領域の映像データに対して、前記制御指示情報に基づく画像処理を行い、その画像処理結果を前記判断部に供給可能に構成され、
    前記判断部は、前記画像処理結果に基づいて、前記車両を制御するための判断処理を行うことが可能に構成される、
    半導体装置。
  10. 請求項９において、前記第２領域は、前記車両の周辺の映像であり、
    前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域について遠景に適する画像処理を行わせ、前記第２領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能であり、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域について近景に適する画像処理を行わせ、前記第１領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される、半導体装置。
  11. 請求項１０において、
    前記判断部は、さらに、前記速度情報が高速走行または低速走行のいずれにも分類されない場合に、前記第１領域と前記第２領域の両方について、遠景に適する画像処理と近景に適する画像処理との間の中間的な画像処理を行わせる制御指示情報を、前記画像認識部に供給可能に構成される、半導体装置。
  12. 請求項９において、
    前記画像認識部は、前記映像データから前記車両の速度情報を算出し、前記判断部に供給する機能をさらに有する、半導体装置。
  13. 請求項９において、前記カメラを第１カメラとし、前記映像データを第１映像データとし、前記車載用画像処理装置は、前記第１カメラと左右１対の第２カメラをさらに備え、
    前記第２カメラは、前記車両前方の映像を１フレーム内に含む第２映像データを前記半導体装置の前記画像認識部に供給可能に構成され、
    前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データと、前記第２映像データとの視差に基づく画像認識処理を実行可能に構成される、半導体装置。
  14. 請求項１３において、前記第２映像データは、前記車両前方の映像である第３領域と車両の周辺の映像である第４領域とを、１フレーム内に同時に含み、
    前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データと、前記第２映像データのうちの前記第３領域の映像データとの視差に基づく画像認識処理を実行可能に構成され、
    前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域と前記第３領域について遠景に適する画像処理を行わせ、前記第２領域と前記第４領域についての画像処理を省略させる、制御指示情報を前記画像認識部に供給可能であり、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域と前記第４領域について近景に適する画像処理を行わせ、前記第１領域と前記第３領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される、半導体装置。
  15. 請求項９において、
    前記画像認識部は、前記映像データに含まれる各領域の映像データについて、それぞれの映像データを所定の視点からの画像に変換し、各領域の映像データから変換された画像を合成する機能をさらに有する、半導体装置。
  16. 請求項１５において、
    前記画像認識部は、複数の領域の映像データに含まれる部分の画像については、前記複数の領域の映像データの視差を利用して互いに補完して合成し、前記複数の領域の映像データのいずれにも含まれない部分の画像については、過去のフレームの映像データに基づいて推定し、又は、前記複数の領域の端部の映像データに基づいて推定し、又は、当該部分の画像データとして推定不能であることを示すための所定の画像データを出力する機能をさらに有する、半導体装置。
  17. 請求項９において、単一半導体基板上に形成される、半導体装置。
  18. 請求項１において、前記判断部は、前記車両が高速に走行している場合に、前記車両と先行車両との車間距離、前記車両前方の障害物の有無の少なくとも一つを含む前方監視結果に基づいて前記判断処理を行う、
    車載用画像処理装置。
  19. 請求項１において、前記判断部は、前記車両が低速に走行している場合に、前記車両と前記車両周辺の障害物との距離を含む周辺監視結果に基づいて前記判断処理を行う、
    車載用画像処理装置。
  20. 請求項９において、前記判断部は、前記車両が高速に走行している場合に、前記車両と先行車両との車間距離、前記車両前方の障害物の有無の少なくとも一つを含む前方監視結果に基づいて前記判断処理を行う、
    半導体装置。
  21. 請求項９において、前記判断部は、前記車両が低速に走行している場合に、前記車両と前記車両周辺の障害物との距離を含む周辺監視結果に基づいて前記判断処理を行う、
    半導体装置。
JP2013241614A 2013-11-22 2013-11-22 車載用画像処理装置及び半導体装置 Active JP6429452B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013241614A JP6429452B2 (ja) 2013-11-22 2013-11-22 車載用画像処理装置及び半導体装置
US14/523,871 US9946938B2 (en) 2013-11-22 2014-10-25 In-vehicle image processing device and semiconductor device
CN201410674242.9A CN104660980B (zh) 2013-11-22 2014-11-21 车载图像处理装置和半导体装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013241614A JP6429452B2 (ja) 2013-11-22 2013-11-22 車載用画像処理装置及び半導体装置

Publications (2)

Publication Number Publication Date
JP2015103894A JP2015103894A (ja) 2015-06-04
JP6429452B2 true JP6429452B2 (ja) 2018-11-28

Family

ID=53182332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013241614A Active JP6429452B2 (ja) 2013-11-22 2013-11-22 車載用画像処理装置及び半導体装置

Country Status (3)

Country Link
US (1) US9946938B2 (ja)
JP (1) JP6429452B2 (ja)
CN (1) CN104660980B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101603609B1 (ko) * 2014-07-15 2016-03-28 현대모비스 주식회사 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법
JP6444835B2 (ja) * 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
US9953432B2 (en) 2016-08-17 2018-04-24 David M. Smith Systems and methods of detecting motion
CN107776487B (zh) * 2016-08-24 2021-01-15 京东方科技集团股份有限公司 汽车用辅助显示系统及显示方法、汽车
WO2019022910A2 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated SYSTEM AND METHOD FOR DYNAMICALLY CONTROLLING PARAMETERS FOR PROCESSING SENSOR OUTPUT DATA
WO2019026348A1 (ja) * 2017-07-31 2019-02-07 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御システム、表示制御方法およびプログラム
CN108765258B (zh) * 2018-04-26 2022-05-24 深圳市商汤科技有限公司 车载图像处理方法和装置、电子设备、介质、程序产品
JP7203512B2 (ja) 2018-05-17 2023-01-13 株式会社小糸製作所 センサデータ生成装置
US20190362159A1 (en) * 2018-05-23 2019-11-28 GM Global Technology Operations LLC Crowd sourced construction zone detection for autonomous vehicle map maintenance
JP7051263B2 (ja) * 2018-11-27 2022-04-11 三菱電機株式会社 運転計画変更指示装置および運転計画変更指示方法
CN112367502B (zh) * 2020-10-19 2023-12-26 合肥晟泰克汽车电子股份有限公司 路况画面拼接方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2906894B2 (ja) * 1993-01-08 1999-06-21 トヨタ自動車株式会社 車間距離検出装置
JP3300337B2 (ja) * 2000-04-28 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
EP1150252B1 (en) 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
JP2003125397A (ja) * 2001-10-18 2003-04-25 Auto Network Gijutsu Kenkyusho:Kk 車載用周辺監視装置
DE10253378B4 (de) 2001-11-16 2010-07-01 AutoNetworks Technologies, Ltd., Nagoya Visuelles Fahrzeugumgebungs-Erkennungssystem, Kamera und Fahrzeugumgebungs-Überwachungsvorrichtung sowie Fahrzeugumgebungs-Überwachungssystem
JP2003153251A (ja) * 2001-11-16 2003-05-23 Auto Network Gijutsu Kenkyusho:Kk 車両用周辺視認システム
JP3747866B2 (ja) * 2002-03-05 2006-02-22 日産自動車株式会社 車両用画像処理装置
JP4016796B2 (ja) * 2002-10-22 2007-12-05 オムロン株式会社 車載用撮像装置及びそれを用いた車両運転支援装置
JP3931891B2 (ja) * 2004-07-05 2007-06-20 日産自動車株式会社 車載用画像処理装置
JP2010263272A (ja) * 2009-04-30 2010-11-18 Koito Mfg Co Ltd 車両用監視カメラ及び車両用監視カメラシステム
JP5278819B2 (ja) * 2009-05-11 2013-09-04 株式会社リコー ステレオカメラ装置及びそれを用いた車外監視装置
JP2010268343A (ja) * 2009-05-18 2010-11-25 Olympus Imaging Corp 撮影装置および撮影方法
JP2011109634A (ja) 2009-06-17 2011-06-02 Rohm Co Ltd 車載カメラ
JP5574839B2 (ja) 2009-06-17 2014-08-20 ローム株式会社 車載カメラ
GB2472793B (en) * 2009-08-17 2012-05-09 Pips Technology Ltd A method and system for measuring the speed of a vehicle
JP2012131390A (ja) 2010-12-22 2012-07-12 Rohm Co Ltd 車載カメラ
JP2012221303A (ja) * 2011-04-11 2012-11-12 Mitsubishi Electric Corp 運転支援用車載点灯装置、車載運転支援装置及び運転支援システム
JP5925579B2 (ja) * 2012-04-25 2016-05-25 ルネサスエレクトロニクス株式会社 半導体装置、電子装置、及び画像処理方法
CN102658798B (zh) * 2012-05-07 2014-11-05 奇瑞汽车股份有限公司 一种车载夜视系统及其控制方法
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras

Also Published As

Publication number Publication date
CN104660980A (zh) 2015-05-27
CN104660980B (zh) 2019-04-02
JP2015103894A (ja) 2015-06-04
US9946938B2 (en) 2018-04-17
US20150145997A1 (en) 2015-05-28

Similar Documents

Publication Publication Date Title
JP6429452B2 (ja) 車載用画像処理装置及び半導体装置
US11657604B2 (en) Systems and methods for estimating future paths
JP6633216B2 (ja) 撮像装置、及び、電子機器
US20170337435A1 (en) System and method for detecting objects in an automotive environment
EP1895766B1 (en) Camera with two or more angles of view
JP2020501423A (ja) 車両の周辺領域を状況に依存した捕捉を実施するためのカメラ手段及び方法
WO2016147584A1 (ja) 車両監視装置、車両監視方法、及び、車両監視プログラム
EP3150961B1 (en) Stereo camera device and vehicle provided with stereo camera device
JP2017163539A (ja) 撮像素子、撮像装置及び移動体
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
JP6327115B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
US20180338095A1 (en) Imaging system and moving body control system
KR20200052694A (ko) 이동체에 포함된 카메라 시스템 및 그 제어방법.
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2015182148A1 (ja) 物体検出装置および物体検出装置を設置した車両
US11813986B2 (en) Driver assistance apparatus, a vehicle, and a method of controlling a vehicle
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
WO2017122688A1 (ja) 車載カメラのレンズ異常検出装置
KR20190083162A (ko) 차량용 영상 처리 장치 및 방법
US11265497B2 (en) Signal processing apparatus and method, imaging element, and electronic apparatus
CN115088248A (zh) 摄像装置、摄像系统和摄像方法
JP2020009386A (ja) 周辺認識装置及び車載カメラシステム
US11818470B2 (en) Image generation device, image generation method, and vehicle control system
US11410288B2 (en) Image processing apparatus
JP2022157399A (ja) 画像処理装置および画像処理方法、車両用制御装置、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161007

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181030

R150 Certificate of patent or registration of utility model

Ref document number: 6429452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150