JPWO2006028180A1 - カメラ及びカメラ装置 - Google Patents

カメラ及びカメラ装置 Download PDF

Info

Publication number
JPWO2006028180A1
JPWO2006028180A1 JP2006535820A JP2006535820A JPWO2006028180A1 JP WO2006028180 A1 JPWO2006028180 A1 JP WO2006028180A1 JP 2006535820 A JP2006535820 A JP 2006535820A JP 2006535820 A JP2006535820 A JP 2006535820A JP WO2006028180 A1 JPWO2006028180 A1 JP WO2006028180A1
Authority
JP
Japan
Prior art keywords
unit
camera
dimensional object
adjustment
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006535820A
Other languages
English (en)
Inventor
水澤　和史
和史 水澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006028180A1 publication Critical patent/JPWO2006028180A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本発明の課題は、運転者にとって必要度が高いと予測される車両周囲に存在する立体物についての情報を良好な映像として提供できるカメラ及びカメラ装置を提供することである。本発明において、車両周辺を撮影するカメラ（１）と、カメラ映像を運転者に提示するモニタ（４）と、車両周辺の立体物を検知するセンサ部（３）とを備える車載カメラ装置において、カメラ（１）は、ゲイン及び絞りを自動調整する調整部（１５）と、センサ部（３）の出力を用いて調整基準とする画像領域を決定する基準決定部（１４）とを備える。これにより、運転者にとって必要度が高いと予測される車両周囲に存在する立体物についての情報を良好な映像として提供できるカメラ装置を実現可能となる。

Description

本発明は、車載用などのカメラ、及びこのカメラで撮影した自動車の周囲の状況を運転の補助情報として運転者に提供することができるカメラ装置に関する。
従来の車載カメラシステムは、画面内の被写体照度に応じてレンズ絞りを自動調整して入射光量を一定に保つＡＬＣ（Ａｕｔｏｍａｔｉｃ Ｌｉｇｈｔ Ｃｏｎｔｒｏｌ）回路（例えば、非特許文献１参照）や、入力信号のレベルに応じてゲインを制御して出力信号のレベルを一定に保つＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路を組み込むことにより、車両周囲の環境が変動した場合でも、良好な映像を運転者に知らせている。
また、車載用の２個のカメラを用いた（２眼式の）ステレオカメラをプレビューセンサとして用いた車両運転監視システムも提案されている（例えば、特許文献１及び２参照）。
しかしながら、従来の車載カメラシステムは、画面全体、あるいは、予め定められた画面領域において良好な映像を提供することを目的としている。このため、運転者にとって必要な領域の安全運転などを実現する上で必要となる情報が、必ずしも良好な映像として提示されるわけではない、という問題があった。
また、特許文献１に記載の（２眼式の）ステレオカメラ装置は、温度対策に関して工夫を施した構成のものであり、２眼式カメラをうまく利用し、安全運転上必要となる情報を、運転者にとって必要な映像領域において良好な映像で提供するものではない。一方、特許文献２に記載のものは、（２眼式の）ステレオカメラを利用して車両運転監視システムを構築するものであるが、同様に、安全運転上必要となる情報を、運転者にとって必要な映像領域において良好な映像で提供するものではない。
本発明は、上記事情に鑑みてなされたもので、運転者にとって必要度が高いと予測される車両周囲に存在する立体物についての情報を良好な映像として提供できるカメラ及びカメラ装置を提供することを目的とする。
竹村 裕夫著「ＣＣＤカメラ技術入門」、コロナ社、１９９８年８月２０日、１６４〜１６５頁） 特開２００１−８８６０９号公報 特開２００４−１７３１９５号公報
第１に、本発明のカメラは、レンズ、絞り、前記レンズ及び前記絞りを透過した後の光を受ける光電変換部を備え、車両周辺を撮影するカメラであって、前記光電変換部及び前記絞りの駆動手段に接続され、ゲイン及び絞りを自動調整する調整部と、車両周辺の立体物を検知するカメラ装置外部のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号をモニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、立体物を良好な映像として提供可能となる。
第２に、本発明は、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備えることを特徴としている。
第３に、本発明は、前記基準決定部が、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。
第４に、本発明は、前記基準決定部が、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。
第５に、本発明は、前記調整部が、ＡＬＣ（Ａｕｔｏｍａｔｉｃ Ｌｉｇｈｔ Ｃｏｎｔｒｏｌ）回路及び／又はＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路を備えることを特徴としている。
第６に、本発明は、前記ＡＬＣ回路が、前記レンズ絞りを自動調整して入射光量を一定に保つことを特徴としている。
第７に、本発明は、前記ＡＧＣ回路が、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整することを特徴としている。
また、第８に、本発明のカメラ装置は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、前記カメラは、ゲイン及び絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、センサ部が検知した立体物を良好な映像として提供できる。
また、第９に、本発明は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタと、前記映像内の、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部とを備えるカメラ装置において、前記カメラは、ゲイン及び絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、センサ部が検知した立体物を良好な映像として提供でき、かつ、検知した立体物をグラフィックにより強調表示することで、運転者に注意を喚起できる。
第１０に、本発明は、前記カメラで撮影された映像は、前記基準決定部で決定される調整基準とすべき画像領域の最小単位となる複数の領域に予め分割されており、前記センサ部は、前記分割された領域が撮像する範囲毎に立体物を検知するように構成されているとともに、前記調整部は、前記領域の少なくとも一つを調整基準の画像領域とする手段を備えていることを特徴としている。この構成により、センサ部、基準決定部はそれぞれ領域毎に立体物の有無を検知したり、基準範囲とするか否かを判定したりできるため、後述するロバスト性が向上するという効果を有する。
第１１に、本発明は、前記基準決定部が、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。この構成により、複数の立体物が存在した場合でも運転者にとって重要度の高いと予想される自車両の最も近くに位置する立体物を良好な映像として提供できる。
第１２に、本発明は、前記基準決定部が、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。この構成により、複数の立体物が存在した場合でも、運転者にとって重要度が高いと予想される車両から一定の距離以内に存在する立体物を良好な映像として提供できる。
第１３に、本発明は、センサ部が、超音波センサ、レーザーレーダーセンサ、ミリ波レーダーセンサのいずれかを用いていることを特徴としている。
また、第１４に、本発明のカメラ装置は、車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、前記第１カメラは、レンズ及び絞りと、ゲイン及び前記絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えるとともに、前記第２カメラは、少なくとも、レンズ及び絞りと、映像生成部とを備えることを特徴としている。
第１５に、本発明は、前記センサ部が、前記車両から最も近い立体物を検知する認識部を備えることを特徴としている。
第１６に、本発明は、前記第１カメラが、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備えることを特徴としている。
第１７に、本発明は、前記調整部が、ＡＬＣ（Ａｕｔｏｍａｔｉｃ Ｌｉｇｈｔ Ｃｏｎｔｒｏｌ）回路及び／又はＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路を備えることを特徴としている。
第１８に、本発明は、前記ＡＬＣ回路が、前記レンズ絞りを自動調整して入射光量を一定に保つことを特徴としている。
第１９に、本発明は、前記ＡＧＣ回路が、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整することを特徴としている。
また、第２０に、本発明のカメラ装置による映像作成方法は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、前記車両周辺を撮影する工程と、前記車両周辺の立体物の位置を検出する工程と、位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、前記立体物の位置に関する情報から映像を調整する工程と、前記調整された映像情報に基づき前記モニタに前記映像を表示する工程とを備えたことを特徴としている。
第２１に、本発明は、車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、前記車両周辺を撮影する工程と、前記車両周辺の立体物の位置を検出する工程と、位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、前記立体物の位置に関する情報から映像を調整する工程と、前記調整された映像情報に基づき前記モニタに前記映像を表示する工程とを備えたことを特徴としている。
第２２に、本発明は、前記映像内の前記立体物が存在する領域に、グラフィックを重畳するグラフィック工程を備えることを特徴としている。
本発明の第１の実施形態に係るカメラの構成を示す概略図 本発明の第２の実施形態に係るカメラ装置の全体構成を示す概略図 本発明の第２の実施形態に係るカメラ装置の構成を示すブロック図 （Ａ）本発明の第２〜第４の実施形態に係る基準決定部での領域分割例（Ｂ）カメラ装置のモニタ表示例（Ｃ）本発明の第２の実施形態におけるモニタへの表示例（Ｄ）本発明の第２の実施形態におけるモニタへの表示例 本発明の第２の実施形態に係るカメラ装置による映像作成方法を示すフローチャート 本発明の第３の実施形態に係るカメラ装置の構成を示すブロック図 本発明の第４の実施形態に係るカメラ装置の構成を示すブロック図
符号の説明
１ カメラ（第１カメラ）
１０ ハウジング
１０Ａ センサ入力端子１０Ａ
１０Ｂ 映像出力端子１０Ｂ
２ カメラ
１１、５１ レンズ
１２、５２ 絞り
１３ 光電変換部
１４ 基準決定部
１５ 調整部
１６、５４ 映像生成部
２１ グラフィック部
３ センサ部
３１ センサヘッド
３２ センサ処理部
４ モニタ
５ 第２カメラ（センサ部）
６ 認識部（センサ部）
７ センサ部
Ｃ 車両（車体）
Ｍ 人物（立体物）
以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る車載用のカメラを示すものであり、このカメラは、自車両（以下、「車体」とよぶ）の周辺、例えば後方又は側方などを撮像するものであり、レンズ１１と、絞り１２と、光電変換部１３と、基準決定部１４と、調整部１５と、映像生成部１６とを備えている。
このうち、レンズ１１は、車両周辺の所望の画像を撮影するために入射光を光電変換部１３に結像させるものであり、光電変換部１３には電荷結合素子（ＣＣＤ）などが用いられている。基準決定部１４は、運転者にとって安全な運転などを行う上で重要度が高いと予想される（規準となるべき）撮像領域を決定するためのものであり、入力がセンサ処理部３２の出力に接続されている。また、この基準決定部１４は、車体周辺の立体物を検知するカメラ外部に設けた図示外のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定するものであり、センサ部との接続を行うためにハウジング１０にセンサ入力端子１０Ａを設けている。調整部１５は、絞り及びゲインを調整するものであり、入力が基準決定部１４の出力に接続されているとともに、出力が絞り１２に付設した図示外の（しぼり駆動手段に備える）モータに接続されている。また、この調整部１５は、光電変換部１３にも接続されているほかに、出力が映像生成部１６の入力にも接続されている。映像生成部１６は、調整部１５から入力する信号をモニタで表示する信号形式へと変換するものであり、カメラ１外部の図示外のモニタとの接続のためにハウジング１０に映像出力端子１０Ｂを設けている。
次に、本実施形態のカメラ１の動作を説明する。
カメラ１は、センサ部３から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、図示外のモニタへ映像信号を出力する。ここで、モニタの画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、必ずしも人物が良好に表示されない映像となる場合もある。このような場合には、以下のような調整処理がなされる。
レンズ１１から取り込まれた光線は、絞り１２により光量が制限されて光電変換部１３に結像する。一方、調整部１５は、光電変換部１３から入力される信号と、基準決定部１４から入力される調整基準範囲に関する信号とに基づいて、絞り１２の調整量を制御し、光電変換部１３へと入射して受光する光量を制御する。
ここで、基準決定部１４は、図示外のセンサ部（このセンサは、センサ入力端子１０Ａを介してカメラ１内の基準決定部１４に接続させているものとする）から入力される立体物の位置情報により調整基準範囲を決定し、調整部１５へ出力する。一方、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へ出力する。この映像生成部１６は、調整部１５から入力される信号を、図示外のモニタ（このモニタは、映像出力端子１０Ｂを介してカメラ１内の映像生成部１６に接続させているものとする）で表示できる信号形式へと変換する。
従って、モニタには、センサ部で検知された立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。なお、本実施形態では、グラフィック部を設けていないが、図６に示すように、センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を設けた構成であってもよい。
［第２の実施形態］
図２は、本発明の第２の実施形態に係る車載カメラ装置を示すものであり、この車載カメラ装置は、車体Ｃに、この車体Ｃの後方を撮像する単一のカメラ１と、立体物を検知するセンサ部３と、カメラ１の出力映像を表示するモニタ４とを搭載している。
カメラ１には、図３に示すように、第１の実施形態と同様のものが用いられており、レンズ１１、絞り１２、光電変換部１３、基準決定部１４、調整部１５及び映像生成部１６を備えている。このうち、レンズ１１は、車両周辺の所望の画像を撮影するために入射光を光電変換部１３に結像させるものであり、光電変換部１３には電荷結合素子（ＣＣＤ）などが用いられている。基準決定部１４は、運転者にとって安全な運転などを行う上で重要度が高いと予想される（規準となるべき）撮像領域を決定するためのものであり、入力がセンサ処理部３２の出力に接続されている。調整部１５は、絞り及びゲインを調整するものであり、入力が基準決定部１４の出力に接続されているとともに、出力が絞り１２に付設した図示外の（しぼり駆動手段に備える）モータに接続されている。また、この調整部１５は、光電変換部１３にも接続されているほかに、出力が映像生成部１６の入力にも接続されている。
センサ部３は、超音波センサにより車体Ｃ近傍の後方の路面上等に位置する立体物（例えば、歩行者Ｍや電柱など）を検知するものであり、図３に示すように、センサヘッド３１と、センサ処理部３２とを備えている。このうち、センサヘッド３１は、超音波を送受信し、その受信結果をセンサ処理部３２へ出力する。一方、センサ処理部３２は、センサヘッド３１からの出力信号を処理して立体物の有無やその位置などを検知するためのものであり、出力が基準決定部１４の入力に接続されている。
以上のように構成された車載カメラ装置について、図３を用いて各部の動作を説明する。
Ｉ．まず、カメラ１の動作を説明する。
カメラ１は、第１の実施形態と同様に、センサ部３から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、モニタ４へ映像信号を出力する。
例えば、図２に示すように、車体Ｃ近くの後方に立体物として人物Ｍが存在する場合、センサ部３により人物Ｍが検知される。そして、カメラ１で撮影した映像情報などに関する信号についての出力は、図４（Ｃ）に示すように、人物Ｍがモニタ４に良好に表示されるように、調整部１５で絞り及びゲインが調整される。
ここで、モニタ４の画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、図４（Ｂ）に示すように、必ずしも人物が良好に表示されない映像となる場合もある。このような場合には、第１の実施形態と同様に、以下のような調整処理がなされる。なお、図４のモニタ表示例中の縦横格子状の点線は、領域分割結果をわかりやすく明示しているだけであり、実際のモニタ４には表示されない。
レンズ１１から取り込まれた光線は、絞り１２により光量が制限されて光電変換部１３に結像する。一方、調整部１５は、光電変換部１３から入力される信号と、基準決定部１４から入力される調整基準範囲に関する信号とに基づいて、絞り１２の調整量を制御し、光電変換部１３へと入射して受光する光量を制御する。
ここで、基準決定部１４は、センサ部３から入力される立体物の位置情報から調整基準範囲を決定し、調整部１５へ出力する。一方、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へ出力する。この映像生成部１６は、調整部１５から入力される信号をモニタ４で表示できる信号形式へと変換する。従って、モニタ４には、センサ部３で検知された立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。
ＩＩ．次に、基準決定部１４の動作について、詳細に説明する。
基準決定部１４では、例えば、図４（Ａ）に示すように、画面全体を縦横格子状に点線で示されるような複数の領域に予め分割しておく。ここで、センサ部３により立体物が検知されると、その位置がセンサ部３から通知され、基準決定部１４はセンサ部３が検知した立体物が表示される領域を算出する。このとき、センサ部３の検知エリアと、カメラ１の撮影範囲とは予め対応付けることにより、基準決定部１４は、センサ部３のセンサ処理部３２で検知した立体物の位置から、その立体物がカメラ１の映像出力のどの領域に表示されるかを算出できる。その結果、基準決定部１４は、センサ部３が検知した立体物が表示される領域を、調整基準範囲として調整部１５に通知する。なお、図４（Ａ）では、斜線で塗り潰された領域が、調整基準範囲となる。
センサ部３により複数の立体物が検知された場合は、車体Ｃに最も近い立体物が表示される領域のみを調整範囲として調整部１５に通知する。或いは、車体Ｃから一定の距離内に位置する立体物が表示される領域のみを調整範囲として調整部１５に通知する。なお、センサ部３により立体物が検知されない場合、基準決定部１４は予め定められた領域を調整基準範囲として出力する。
ＩＩＩ．次に、調整部１５の動作について、詳細に説明する。
この調整部１５では、基準決定部１４と同様に、画面全体を図４に点線で示すような複数の領域に予め分割しておく。ここで、調整部１５は、光電変換部１３からの出力信号のうち、基準決定部１４から通知された調整基準範囲内にある信号の大きさのみを測定し、絞り１２の絞り量を制御する。つまり、信号値が大きい場合には絞りを閉めて光量を制限し、信号値が小さい場合には絞りを開いて光量を増やす。なお、光電変換部１３の出力信号の大きさによって絞りを制御する回路は、ＡＬＣ（Ａｕｔｏｍａｔｉｃ Ｌｉｇｈｔ Ｃｏｎｔｒｏｌ）回路として広く知られている。
また、調整部１５では、基準決定部１４から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する。なお、このようなゲイン調整回路はＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路として広く知られている。
ＩＶ．次に、センサ部３の動作について、詳細に説明する。
センサ部３としては、例えば、前述したように超音波センサが使用可能であり、カメラ１の撮影範囲内の立体物を検知するように設置される。センサ部３に超音波センサを用いる場合、センサ部３は、超音波を出力したり受信したりするセンサヘッド３１と、受信した超音波を解析して立体物の位置を検知するセンサ処理部３２とを備える。このうち、センサ処理部３２は、検知した立体物の位置を基準決定部１４へと出力する。このとき、センサ部３での立体物検知は、基準決定部１４で分割された領域と対応がつけられる程度の分解能でよいため、予め、検知範囲を複数の領域に分割しておいても良い。
次に、本実施形態のカメラ装置を用いた映像の作成方法について、図５を参照しながら説明する。
この映像の作成方法では、カメラ１を用いて車両周辺を撮影するとともに（第１ステップＳ１）、センサ部３のセンサ処理部３２が車両の位置を検出する（第２ステップＳ２）。次に、基準決定部１４はセンサ部３のセンサ処理部３２から出力される立体物の位置に関するデータを入力すると、このデータから、その立体物が表示される領域を算出する（第３ステップＳ３）。また、調整部１５では、その立体物の位置に関するデータから、絞り１２の絞り量を制御する。つまり、基準決定部１４から通知された調整基準範囲内において、光電変換部１３からの入力信号値が大きい場合には絞りを閉めて光量を制限し、入力信号値が小さい場合には絞りを開いて光量を増やす（第４ステップＳ４）。また、第４ステップＳ４では、調整部１５では、基準決定部１４から通知された調整基準範囲内において、光電変換部１３からの入力信号の出力レベルが一定に保たれるように、ゲインも調整する。これにより、センサ部３が検知した立体物を良好な映像としてモニタ４に表示する（第５ステップＳ５）。
従って、本実施形態の車載カメラ装置によれば、立体物を検知するセンサ部３と、センサ部３の検知結果を基に絞りやゲインについての調整量の算出基準となる映像範囲を決定する基準決定部１４と、基準決定部１４の映像範囲から絞り量やゲインを決定して制御する調整部１５とを設けることにより、センサ部３が検知した立体物を良好な映像として提供できる（図４（Ｃ）参照）。
また、カメラ１で撮影された映像は基準決定部１４で決定される調整基準とする画像領域の最小単位となる複数の領域に予め分割することにより、センサ部３、基準決定部１４はそれぞれ領域毎に立体物の有無を検知したり、基準範囲とするか否かを判定したりできる。このように、領域ごとに立体物を検知することにより、例えば、長音波センサで立体物の一部からの反射が弱かったり、ノイズの影響があったりして、立体物の一部が検出されない場合でも、立体物全体を検出できる確立が高くなり、ロバスト性（ｒｏｂｕｓｔｎｅｓｓ）が向上するという効果を有する。また、領域が予め決定されているため、領域分割処理が不要となり、処理が容易になる。
また、基準決定部１４で、車体Ｃの最も近くに検知された立体物が写っている領域を調整基準領域として決定する処理構成とすることにより、複数の立体物が存在した場合でも、運転者にとって重要度の高いと予想される車体Ｃの最も近くに位置する立体物を良好な映像として提供できる。また、車体Ｃから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する処理構成とすることにより、複数の立体物が存在した場合でも、運転者にとって重要度の高いと予想される自車両から一定の距離以内に存在する立体物を良好な映像として提供できる。
［第３の実施形態］
以下、本発明に係る第３の実施形態の車載カメラ装置について、図面を用いて説明する。なお、本実施形態において、第１、第２の実施形態と同一部分には同一符号を付して重複説明を避ける。
本実施形態の車載カメラ装置は、第１の実施形態と異なり、図６に示すように、グラフィック部２１をさらに設けたカメラ２を搭載したことである。即ち、このカメラ２は、レンズ１１、絞り１２、光電変換部１３、基準決定部１４、調整部１５、映像生成部１６及びグラフィック部２１から構成される。
このグラフィック部２１は、センサ部３から入力される立体物の位置から、重畳すべきグラフィックと表示位置とを決定し、映像生成部１６へと出力するようになっている。
以上のように構成された車載カメラ装置の動作について、図６を用いて説明する。
Ｉ．まず、カメラ２の動作を説明する。
カメラ２は、センサ部３から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、モニタ４へ映像信号を出力する。
その結果、レンズ１１から取り込まれた光線は、絞り１２により光量が制限されて光電変換部１３に結像する。即ち、調整部１５は、光電変換部１３から入力する信号と、基準決定部１４から入力する調整基準範囲とに基づいて、絞り１２の調整量を制御して光電変換部１３へ入射する光量を制御する。一方、基準決定部１４は、センサ部３から入力する立体物の位置情報から調整基準範囲を決定し、調整部１５へ出力する。従って、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へと出力する。他方、グラフィック部２１は、前述したように、センサ部３から入力される立体物の位置から、重畳すべきグラフィックと表示位置とを決定し、映像生成部１６へと出力する。
次に、映像生成部１６は、グラフィック部２１から入力されるグラフィック情報にしたがって、調整部１５から入力される信号にグラフィック部２１から入力されるグラフィックスなどに関する信号を重畳し、モニタ４で表示する信号形式へと変換する。これにより、モニタ４は、映像生成部１６から入力される映像を表示して、運転者に提供する。このときの表示例を、図４（Ｄ）に示す。
ＩＩ．次に、グラフィックス部２１の動作について、詳細に説明する。
グラフィックス部２１では、基準決定部１４と同様に、画面全体を予め複数の領域に分割しておく。ここで、センサ部３で立体物が検知されると、その位置に関する情報がセンサ部３からグラフィックス部２１へ出力される。すると、グラフィックス部２１は、センサ部３が検知した立体物が表示される領域を算出し、その領域の境界をグラフィックスとして表示するためのグラフィックス情報を映像生成部１６へ出力する。ここで、境界をグラフィックス表示する領域は、例えば、基準決定部１４で調整基準範囲と決定された領域とする。なお、立体物の距離に応じて境界のグラフィックス表示の色を変えても良い。また、境界は、調整基準範囲以外である場合でも、調整基準範囲から一定の距離内に位置する場合には、立体物の写る領域の境界をグラフィックス表示しても良い。
このように、本実施形態の車載カメラ装置によれば、立体物を検知するセンサ部３と、センサ部３の検知結果を基に絞り１２やゲインの調整量算出の基準となる映像範囲を決定する基準決定部１４と、この基準決定部１４の映像範囲から絞り量やゲインを決定して制御する調整部１５と、グラフィックス部２１とを設けることにより、センサ部３が検知した立体物を良好な映像として表示し、かつ、グラフィックスにより立体物の位置を明示できる。また、調整基準範囲外で検出された立体物の写る境界をグラフィックス表示することにより、必ずしも良好な画像としてモニタ５に表示されない可能性のある調整基準範囲外の領域に写る立体物の位置を明示することもできる。
なお、この第２の実施形態では、グラフィックス部２１は、領域の境界をグラフィックスとして表示しているが、例えば領域全体を半透明な色で塗り潰しても良い。
また、上記の第１、第２の実施形態では、センサ部３として超音波センサを使用しているが、本発明では、レーザーレーダーセンサ、ミリ波レーダーセンサ、後述のステレオカメラセンサ等の他の各種のセンサをセンサ部として使用しても良い。さらに、後退駐車時の後方確認では超音波センサを使用する一方、通常走行時の後側方の確認ではミリ波レーダーセンサを使用するなど、目的に応じてセンサ部３を切換えてもよい。
［第４の実施形態］
以下、本発明に係る第４の実施形態の車載カメラ装置について、図面を用いて説明する。なお、本実施形態において、第２の実施形態と同一部分には同一符号を付して重複説明を避ける。
本実施形態の車載カメラ装置は、第２の実施形態と異なり、図７に示すように、カメラ１（これを、第１カメラ１とよぶ）の他にもう１台のカメラ５（これを、第２カメラ５とよぶ）を設置するとともに認識部６を設け、これら２台からなる第１、第２カメラ１、５及び認識部６が車両周辺の立体物までの距離を検知するセンサ部７を構成している。
従って、本実施形態では、レンズ１１、絞り１２、光電変換部１３、基準決定部１４、調整部１５及び映像生成部１６を備えている第１カメラ１において、第１カメラからの映像を認識部６へ送るために、映像生成部１６は、出力が、モニタ４の入力だけでなく認識部６の入力にも接続されている。
第２カメラ５には、レンズ５１、絞り５２、光電変換部５３及び映像生成部５４を備えている。このうち、レンズ５１は、第１カメラ１の設置位置とは異なる位置から車両周辺の所望の画像を撮影するために入射光を光電変換部５３に結像させるものであり、第１の実施形態と同様に、光電変換部５３には電荷結合素子（ＣＣＤ）などが用いられている。また、光電変換部５３の出力は、映像生成部５４の入力に接続されている。また、映像生成部５４の出力は、認識部６の入力に接続されており、この映像生成部５４で生成された第２カメラ５の映像が認識部６に取り込まれる。
認識部６は、対象物の検出やその対象物の位置を検出するためのものであり、前述したように、第１、第２カメラ１、５とともにセンサ部７を構成する。本実施形態の認識部６は、第１カメラ１の映像生成部１６から送出される第１映像と第２カメラ５から送出される第２映像とを用いて、車両周辺の立体物（例えば、カメラの最も近くに検知された立体物である、例えば歩行者や電柱など）を検出するとともに、その対象物とこの車両との間の距離を算出する。
即ち、認識部６では、第１、第２カメラ１、５で捉えた双方の映像内において、同一の映像生成対象である各立体物に対する視差を算出し、その視差に基づいて各立体物の位置をそれぞれ算出するとともに、この車両から１番近い立体物を判別してその立体物に関する位置情報（例えば、第１カメラの映像での位置座標情報（ｘ，ｙ）など）を基準決定部１４へ出力するようになっている。
なお、認識部６は、出力が基準決定部１４の入力に接続されており、その位置情報を基準決定部１４へ出力する。このため、基準決定部１４は、その位置情報に基づき、運転者にとって安全な運転などを行う上で重要度が高いと予想される（規準となるべき）撮像領域を決定する。つまり、本実施形態では、例えばこの車両から最も近い立体物が中央に収まるように、画像領域を決定する。
以上のように構成された車載カメラ装置について、動作を説明する。
初めに、センサ部７を構成する第１、第２カメラ１、５から取り込んだ映像は、それぞれ、光電変換部１３、５３で電気信号に変換され、映像信号として映像生成部１６、５４に出力される。一方、この映像信号を入力する認識部では、双方の映像信号から同一対象物を検知する。特に本実施形態では、車体から最も近い立体物を検知するとともに、その立体物に対する第１、第２カメラ１、５の視差から立体物までの距離を算出する。
このようにして、センサ部７は、その視差に基づいて各立体物の位置をそれぞれ算出するとともに、車体から１番近い立体物を判別してその立体物に関する位置情報（例えば、第１カメラの映像での位置座標情報（ｘ，ｙ）など）を基準決定部１４へ出力する。
次に、第１カメラ１は、センサ部７から入力される前述した立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、モニタ４へ映像信号を出力する。
例えば、車体近くの後方に立体物として人物が存在する場合、センサ部７により人物が検知される。そして、第１カメラ１で撮影した映像情報などに関する信号についての出力は、その人物がモニタ４に良好に表示されるように、調整部１５で絞り及びゲインが調整される。
なお、ここで、モニタ４の画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、必ずしも人物などが良好な映像として表示されない場合もある。このような場合には、以下のような調整処理がなされる。
レンズ１１から取り込まれた光線は、第１の実施形態で説明したように、絞り１２により光量が制限されて光電変換部１３に結像する。一方、調整部１５は、光電変換部１３から入力される信号と、センサ部７から基準決定部１４を介して入力される調整基準範囲に関する信号とに基づいて、絞り１２の調整量を制御し、光電変換部１３へと入射して受光する光量を制御する。
ここで、基準決定部１４は、センサ部７から入力される立体物の位置情報から調整基準範囲を決定し、調整部１５へ出力する。一方、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へ出力する。この映像生成部１６は、調整部１５から入力される信号をモニタ４で表示できる信号形式へと変換する。従って、モニタ４には、センサ部７で検出された自車両に最も近い立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。
基準決定部１４では、前述したように、例えば画面全体を縦横格子状に点線で示されるような複数の領域に予め分割しておくので、センサ部７により立体物が検知されると、その位置がセンサ部７から通知される。これにより、基準決定部１４は、センサ部７が検知した立体物が表示される領域を算出する。このとき、センサ部７の検知エリアと、第１カメラ１の撮影範囲とは予め対応付けておくことにより、基準決定部１４は、センサ部７の認識部６で検知した立体物の位置から、その立体物がカメラ１の映像出力のどの領域に表示されるかを算出できる。その結果、基準決定部１４は、センサ部７が検知した立体物が表示される領域を、調整基準範囲として調整部１５に通知する。
なお、カメラ２にも基準決定部を設けることにより、一旦検出した立体物を安定して検出することができる。
なお、本実施形態でも、センサ部７により複数の立体物が検知された場合は、前述したように、車体に最も近い立体物が表示される領域のみを調整範囲として調整部１５に通知するが、車体から一定の距離内に位置する立体物が表示される領域のみを調整範囲として調整部１５に通知するようにしてもよい。なお、センサ部７により立体物が検知されない場合、基準決定部１４は予め定められた領域を調整基準範囲として出力する。
以上、本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。例えば、上記の第１〜第３の実施形態では、基準決定部１４は、調整基準領域の区別はしていないが、車両からの距離に応じて複数のレベルに分けて出力する一方、調整部１５では、各調整基準領域のレベルに応じて各領域の光電変換部１３からの信号に重み付けをして、絞り及びゲインを調整しても良い。
本出願は、２００４年９月１０日出願の日本特許出願（特願２００４−２６４２６０）に基づくものであり、その内容はここに参照として取り込まれる。
本発明のカメラ装置は、車両周辺を撮影するカメラと、カメラ映像を運転者に提示するモニタと、車両周辺の立体物を検知するセンサ部とを備えるカメラ装置において、カメラは、ゲイン及び絞りを自動調整する調整部と、センサ部の出力を用いて調整基準とする画像領域を決定する基準決定部とを備えることにより、センサ部が検知した車両周辺の立体物を良好な映像として運転者に提供できる効果を有し、運転席からの後方確認などが難しいミニバンなどの大型乗用車や大型トラックなどに対する安全対策用の車載カメラ装置等として有用である。
本発明は、車載用などのカメラ、及びこのカメラで撮影した自動車の周囲の状況を運転の補助情報として運転者に提供することができるカメラ装置に関する。
従来の車載カメラシステムは、画面内の被写体照度に応じてレンズ絞りを自動調整して入射光量を一定に保つＡＬＣ（Automatic Light Control）回路（例えば、非特許文献１参照）や、入力信号のレベルに応じてゲインを制御して出力信号のレベルを一定に保つＡＧＣ（Automatic Gain Control）回路を組み込むことにより、車両周囲の環境が変動した場合でも、良好な映像を運転者に知らせている。
また、車載用の２個のカメラを用いた(２眼式の)ステレオカメラをプレビューセンサとして用いた車両運転監視システムも提案されている（例えば、特許文献１及び２参照）。
しかしながら、従来の車載カメラシステムは、画面全体、あるいは、予め定められた画面領域において良好な映像を提供することを目的としている。このため、運転者にとって必要な領域の安全運転などを実現する上で必要となる情報が、必ずしも良好な映像として提示されるわけではない、という問題があった。
また、特許文献１に記載の(２眼式の)ステレオカメラ装置は、温度対策に関して工夫を施した構成のものであり、２眼式カメラをうまく利用し、安全運転上必要となる情報を、運転者にとって必要な映像領域において良好な映像で提供するものではない。一方、特許文献２に記載のものは、(２眼式の)ステレオカメラを利用して車両運転監視システムを構築するものであるが、同様に、安全運転上必要となる情報を、運転者にとって必要な映像領域において良好な映像で提供するものではない。
本発明は、上記事情に鑑みてなされたもので、運転者にとって必要度が高いと予測される車両周囲に存在する立体物についての情報を良好な映像として提供できるカメラ及びカメラ装置を提供することを目的とする。
竹村 裕夫著「ＣＣＤカメラ技術入門」、コロナ社、１９９８年８月２０日、１６４〜１６５頁） 特開２００１−８８６０９号公報 特開２００４−１７３１９５号公報
第１に、本発明のカメラは、レンズ、絞り、前記レンズ及び前記絞りを透過した後の光を受ける光電変換部を備え、車両周辺を撮影するカメラであって、前記光電変換部及び前記絞りの駆動手段に接続され、ゲイン及び絞りを自動調整する調整部と、車両周辺の立体物を検知するカメラ装置外部のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号をモニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、立体物を良好な映像として提供可能となる。
第２に、本発明は、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備えることを特徴としている。
第３に、本発明は、前記基準決定部が、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。
第４に、本発明は、前記基準決定部が、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。
第５に、本発明は、前記調整部が、ＡＬＣ（Automatic Light Control）回路及び／又はＡＧＣ（Automatic Gain Control）回路を備えることを特徴としている。
第６に、本発明は、前記ＡＬＣ回路が、前記レンズ絞りを自動調整して入射光量を一定に保つことを特徴としている。
第７に、本発明は、前記ＡＧＣ回路が、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整することを特徴としている。
また、第８に、本発明のカメラ装置は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、前記カメラは、ゲイン及び絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、センサ部が検知した立体物を良好な映像として提供できる。
また、第９に、本発明は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタと、前記映像内の、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部とを備えるカメラ装置において、前記カメラは、ゲイン及び絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、センサ部が検知した立体物を良好な映像として提供でき、かつ、検知した立体物をグラフィックにより強調表示することで、運転者に注意を喚起できる。
第１０に、本発明は、前記カメラで撮影された映像は、前記基準決定部で決定される調整基準とすべき画像領域の最小単位となる複数の領域に予め分割されており、前記センサ部は、前記分割された領域が撮像する範囲毎に立体物を検知するように構成されているとともに、前記調整部は、前記領域の少なくとも一つを調整基準の画像領域とする手段を備えていることを特徴としている。この構成により、センサ部、基準決定部はそれぞれ領域毎に立体物の有無を検知したり、基準範囲とするか否かを判定したりできるため、後述するロバスト性が向上するという効果を有する。
第１１に、本発明は、前記基準決定部が、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。この構成により、複数の立体物が存在した場合でも運転者にとって重要度の高いと予想される自車両の最も近くに位置する立体物を良好な映像として提供できる。
第１２に、本発明は、前記基準決定部が、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。この構成により、複数の立体物が存在した場合でも、運転者にとって重要度が高いと予想される車両から一定の距離以内に存在する立体物を良好な映像として提供できる。
第１３に、本発明は、センサ部が、超音波センサ、レーザーレーダーセンサ、ミリ波レーダーセンサのいずれかを用いていることを特徴としている。
また、第１４に、本発明のカメラ装置は、車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、前記第１カメラは、レンズ及び絞りと、ゲイン及び前記絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えるとともに、前記第２カメラは、少なくとも、レンズ及び絞りと、映像生成部とを備えることを特徴としている。
第１５に、本発明は、前記センサ部が、前記車両から最も近い立体物を検知する認識部を備えることを特徴としている。
第１６に、本発明は、前記第１カメラが、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備えることを特徴としている。
第１７に、本発明は、前記調整部が、ＡＬＣ（Automatic Light Control）回路及び／又はＡＧＣ（Automatic Gain Control）回路を備えることを特徴としている。
第１８に、本発明は、前記ＡＬＣ回路が、前記レンズ絞りを自動調整して入射光量を一定に保つことを特徴としている。
第１９に、本発明は、前記ＡＧＣ回路が、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整することを特徴としている。
また、第２０に、本発明のカメラ装置による映像作成方法は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、前記車両周辺を撮影する工程と、前記車両周辺の立体物の位置を検出する工程と、位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、前記立体物の位置に関する情報から映像を調整する工程と、前記調整された映像情報に基づき前記モニタに前記映像を表示する工程とを備えたことを特徴としている。
第２１に、本発明は、車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、前記車両周辺を撮影する工程と、前記車両周辺の立体物の位置を検出する工程と、位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、前記立体物の位置に関する情報から映像を調整する工程と、前記調整された映像情報に基づき前記モニタに前記映像を表示する工程とを備えたことを特徴としている。
第２２に、本発明は、前記映像内の前記立体物が存在する領域に、グラフィックを重畳するグラフィック工程を備えることを特徴としている。
以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。
[第１の実施形態]
図１は、本発明の第１の実施形態に係る車載用のカメラを示すものであり、このカメラは、自車両（以下、「車体」とよぶ）の周辺、例えば後方又は側方などを撮像するものであり、レンズ１１と、絞り１２と、光電変換部１３と、基準決定部１４と、調整部１５と、映像生成部１６とを備えている。
このうち、レンズ１１は、車両周辺の所望の画像を撮影するために入射光を光電変換部１３に結像させるものであり、光電変換部１３には電荷結合素子（ＣＣＤ）などが用いられている。基準決定部１４は、運転者にとって安全な運転などを行う上で重要度が高いと予想される(規準となるべき)撮像領域を決定するためのものであり、入力がセンサ処理部３２の出力に接続されている。また、この基準決定部１４は、車体周辺の立体物を検知するカメラ外部に設けた図示外のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定するものであり、センサ部との接続を行うためにハウジング１０にセンサ入力端子１０Ａを設けている。調整部１５は、絞り及びゲインを調整するものであり、入力が基準決定部１４の出力に接続されているとともに、出力が絞り１２に付設した図示外の（しぼり駆動手段に備える）モータに接続されている。また、この調整部１５は、光電変換部１３にも接続されているほかに、出力が映像生成部１６の入力にも接続されている。映像生成部１６は、調整部１５から入力する信号をモニタで表示する信号形式へと変換するものであり、カメラ１外部の図示外のモニタとの接続のためにハウジング１０に映像出力端子１０Ｂを設けている。
次に、本実施形態のカメラ１の動作を説明する。
カメラ１は、センサ部３から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、図示外のモニタへ映像信号を出力する。ここで、モニタの画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、必ずしも人物が良好に表示されない映像となる場合もある。このような場合には、以下のような調整処理がなされる。
レンズ１１から取り込まれた光線は、絞り１２により光量が制限されて光電変換部１３に結像する。一方、調整部１５は、光電変換部１３から入力される信号と、基準決定部１４から入力される調整基準範囲に関する信号とに基づいて、絞り１２の調整量を制御し、光電変換部１３へと入射して受光する光量を制御する。
ここで、基準決定部１４は、図示外のセンサ部（このセンサは、センサ入力端子１０Ａを介してカメラ１内の基準決定部１４に接続させているものとする）から入力される立体物の位置情報により調整基準範囲を決定し、調整部１５へ出力する。一方、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へ出力する。この映像生成部１６は、調整部１５から入力される信号を、図示外のモニタ（このモニタは、映像出力端子１０Ｂを介してカメラ１内の映像生成部１６に接続させているものとする）で表示できる信号形式へと変換する。
従って、モニタには、センサ部で検知された立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。なお、本実施形態では、グラフィック部を設けていないが、図６に示すように、センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を設けた構成であってもよい。
[第２の実施形態]
図２は、本発明の第２の実施形態に係る車載カメラ装置を示すものであり、この車載カメラ装置は、車体Ｃに、この車体Ｃの後方を撮像する単一のカメラ１と、立体物を検知するセンサ部３と、カメラ１の出力映像を表示するモニタ４とを搭載している。
カメラ１には、図３に示すように、第１の実施形態と同様のものが用いられており、レンズ１１、絞り１２、光電変換部１３、基準決定部１４、調整部１５及び映像生成部１６を備えている。このうち、レンズ１１は、車両周辺の所望の画像を撮影するために入射光を光電変換部１３に結像させるものであり、光電変換部１３には電荷結合素子（ＣＣＤ）などが用いられている。基準決定部１４は、運転者にとって安全な運転などを行う上で重要度が高いと予想される(規準となるべき)撮像領域を決定するためのものであり、入力がセンサ処理部３２の出力に接続されている。調整部１５は、絞り及びゲインを調整するものであり、入力が基準決定部１４の出力に接続されているとともに、出力が絞り１２に付設した図示外の（しぼり駆動手段に備える）モータに接続されている。また、この調整部１５は、光電変換部１３にも接続されているほかに、出力が映像生成部１６の入力にも接続されている。
センサ部３は、超音波センサにより車体Ｃ近傍の後方の路面上等に位置する立体物（例えば、歩行者Ｍや電柱など）を検知するものであり、図３に示すように、センサヘッド３１と、センサ処理部３２とを備えている。このうち、センサヘッド３１は、超音波を送受信し、その受信結果をセンサ処理部３２へ出力する。一方、センサ処理部３２は、センサヘッド３１からの出力信号を処理して立体物の有無やその位置などを検知するためのものであり、出力が基準決定部１４の入力に接続されている。
以上のように構成された車載カメラ装置について、図３を用いて各部の動作を説明する。
Ｉ．まず、カメラ１の動作を説明する。
カメラ１は、第１の実施形態と同様に、センサ部３から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、モニタ４へ映像信号を出力する。
例えば、図２に示すように、車体Ｃ近くの後方に立体物として人物Ｍが存在する場合、センサ部３により人物Ｍが検知される。そして、カメラ１で撮影した映像情報などに関する信号についての出力は、図４（Ｃ）に示すように、人物Ｍがモニタ４に良好に表示されるように、調整部１５で絞り及びゲインが調整される。
ここで、モニタ４の画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、図４（Ｂ）に示すように、必ずしも人物が良好に表示されない映像となる場合もある。このような場合には、第１の実施形態と同様に、以下のような調整処理がなされる。なお、図４のモニタ表示例中の縦横格子状の点線は、領域分割結果をわかりやすく明示しているだけであり、実際のモニタ４には表示されない。
レンズ１１から取り込まれた光線は、絞り１２により光量が制限されて光電変換部１３に結像する。一方、調整部１５は、光電変換部１３から入力される信号と、基準決定部１４から入力される調整基準範囲に関する信号とに基づいて、絞り１２の調整量を制御し、光電変換部１３へと入射して受光する光量を制御する。
ここで、基準決定部１４は、センサ部３から入力される立体物の位置情報から調整基準範囲を決定し、調整部１５へ出力する。一方、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へ出力する。この映像生成部１６は、調整部１５から入力される信号をモニタ４で表示できる信号形式へと変換する。従って、モニタ４には、センサ部３で検知された立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。
II．次に、基準決定部１４の動作について、詳細に説明する。
基準決定部１４では、例えば、図４（Ａ）に示すように、画面全体を縦横格子状に点線で示されるような複数の領域に予め分割しておく。ここで、センサ部３により立体物が検知されると、その位置がセンサ部３から通知され、基準決定部１４はセンサ部３が検知した立体物が表示される領域を算出する。このとき、センサ部３の検知エリアと、カメラ１の撮影範囲とは予め対応付けることにより、基準決定部１４は、センサ部３のセンサ処理部３２で検知した立体物の位置から、その立体物がカメラ１の映像出力のどの領域に表示されるかを算出できる。その結果、基準決定部１４は、センサ部３が検知した立体物が表示される領域を、調整基準範囲として調整部１５に通知する。なお、図４（Ａ）では、斜線で塗り潰された領域が、調整基準範囲となる。
センサ部３により複数の立体物が検知された場合は、車体Ｃに最も近い立体物が表示される領域のみを調整範囲として調整部１５に通知する。或いは、車体Ｃから一定の距離内に位置する立体物が表示される領域のみを調整範囲として調整部１５に通知する。なお、センサ部３により立体物が検知されない場合、基準決定部１４は予め定められた領域を調整基準範囲として出力する。
III．次に、調整部１５の動作について、詳細に説明する。
この調整部１５では、基準決定部１４と同様に、画面全体を図４に点線で示すような複数の領域に予め分割しておく。ここで、調整部１５は、光電変換部１３からの出力信号のうち、基準決定部１４から通知された調整基準範囲内にある信号の大きさのみを測定し、絞り１２の絞り量を制御する。つまり、信号値が大きい場合には絞りを閉めて光量を制限し、信号値が小さい場合には絞りを開いて光量を増やす。なお、光電変換部１３の出力信号の大きさによって絞りを制御する回路は、ＡＬＣ（Automatic Light Control）回路として広く知られている。
また、調整部１５では、基準決定部１４から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する。なお、このようなゲイン調整回路はＡＧＣ（Automatic Gain Control）回路として広く知られている。
IV.次に、センサ部３の動作について、詳細に説明する。
センサ部３としては、例えば、前述したように超音波センサが使用可能であり、カメラ１の撮影範囲内の立体物を検知するように設置される。センサ部３に超音波センサを用いる場合、センサ部３は、超音波を出力したり受信したりするセンサヘッド３１と、受信した超音波を解析して立体物の位置を検知するセンサ処理部３２とを備える。このうち、センサ処理部３２は、検知した立体物の位置を基準決定部１４へと出力する。このとき、センサ部３での立体物検知は、基準決定部１４で分割された領域と対応がつけられる程度の分解能でよいため、予め、検知範囲を複数の領域に分割しておいても良い。
次に、本実施形態のカメラ装置を用いた映像の作成方法について、図５を参照しながら説明する。
この映像の作成方法では、カメラ１を用いて車両周辺を撮影するとともに（第１ステップＳ１）、センサ部３のセンサ処理部３２が車両の位置を検出する（第２ステップＳ２）。次に、基準決定部１４はセンサ部３のセンサ処理部３２から出力される立体物の位置に関するデータを入力すると、このデータから、その立体物が表示される領域を算出する（第３ステップＳ３）。また、調整部１５では、その立体物の位置に関するデータから、絞り１２の絞り量を制御する。つまり、基準決定部１４から通知された調整基準範囲内において、光電変換部１３からの入力信号値が大きい場合には絞りを閉めて光量を制限し、入力信号値が小さい場合には絞りを開いて光量を増やす（第４ステップＳ４）。また、第４ステップＳ４では、調整部１５では、基準決定部１４から通知された調整基準範囲内において、光電変換部１３からの入力信号の出力レベルが一定に保たれるように、ゲインも調整する。これにより、センサ部３が検知した立体物を良好な映像としてモニタ４に表示する（第５ステップＳ５）。
従って、本実施形態の車載カメラ装置によれば、立体物を検知するセンサ部３と、センサ部３の検知結果を基に絞りやゲインについての調整量の算出基準となる映像範囲を決定する基準決定部１４と、基準決定部１４の映像範囲から絞り量やゲインを決定して制御する調整部１５とを設けることにより、センサ部３が検知した立体物を良好な映像として提供できる（図４（Ｃ）参照）。
また、カメラ１で撮影された映像は基準決定部１４で決定される調整基準とする画像領域の最小単位となる複数の領域に予め分割することにより、センサ部３、基準決定部１４はそれぞれ領域毎に立体物の有無を検知したり、基準範囲とするか否かを判定したりできる。このように、領域ごとに立体物を検知することにより、例えば、長音波センサで立体物の一部からの反射が弱かったり、ノイズの影響があったりして、立体物の一部が検出されない場合でも、立体物全体を検出できる確立が高くなり、ロバスト性（robustness）が向上するという効果を有する。また、領域が予め決定されているため、領域分割処理が不要となり、処理が容易になる。
また、基準決定部１４で、車体Ｃの最も近くに検知された立体物が写っている領域を調整基準領域として決定する処理構成とすることにより、複数の立体物が存在した場合でも、運転者にとって重要度の高いと予想される車体Ｃの最も近くに位置する立体物を良好な映像として提供できる。また、車体Ｃから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する処理構成とすることにより、複数の立体物が存在した場合でも、運転者にとって重要度の高いと予想される自車両から一定の距離以内に存在する立体物を良好な映像として提供できる。
[第３の実施形態]
以下、本発明に係る第３の実施形態の車載カメラ装置について、図面を用いて説明する。なお、本実施形態において、第１、第２の実施形態と同一部分には同一符号を付して重複説明を避ける。
本実施形態の車載カメラ装置は、第１の実施形態と異なり、図６に示すように、グラフィック部２１をさらに設けたカメラ２を搭載したことである。即ち、このカメラ２は、レンズ１１、絞り１２、光電変換部１３、基準決定部１４、調整部１５、映像生成部１６及びグラフィック部２１から構成される。
このグラフィック部２１は、センサ部３から入力される立体物の位置から、重畳すべきグラフィックと表示位置とを決定し、映像生成部１６へと出力するようになっている。
以上のように構成された車載カメラ装置の動作について、図６を用いて説明する。
Ｉ．まず、カメラ２の動作を説明する。
カメラ２は、センサ部３から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、モニタ４へ映像信号を出力する。
その結果、レンズ１１から取り込まれた光線は、絞り１２により光量が制限されて光電変換部１３に結像する。即ち、調整部１５は、光電変換部１３から入力する信号と、基準決定部１４から入力する調整基準範囲とに基づいて、絞り１２の調整量を制御して光電変換部１３へ入射する光量を制御する。一方、基準決定部１４は、センサ部３から入力する立体物の位置情報から調整基準範囲を決定し、調整部１５へ出力する。従って、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へと出力する。他方、グラフィック部２１は、前述したように、センサ部３から入力される立体物の位置から、重畳すべきグラフィックと表示位置とを決定し、映像生成部１６へと出力する。
次に、映像生成部１６は、グラフィック部２１から入力されるグラフィック情報にしたがって、調整部１５から入力される信号にグラフィック部２１から入力されるグラフィックスなどに関する信号を重畳し、モニタ４で表示する信号形式へと変換する。これにより、モニタ４は、映像生成部１６から入力される映像を表示して、運転者に提供する。このときの表示例を、図４（Ｄ）に示す。
II.次に、グラフィックス部２１の動作について、詳細に説明する。
グラフィックス部２１では、基準決定部１４と同様に、画面全体を予め複数の領域に分割しておく。ここで、センサ部３で立体物が検知されると、その位置に関する情報がセンサ部３からグラフィックス部２１へ出力される。すると、グラフィックス部２１は、センサ部３が検知した立体物が表示される領域を算出し、その領域の境界をグラフィックスとして表示するためのグラフィックス情報を映像生成部１６へ出力する。ここで、境界をグラフィックス表示する領域は、例えば、基準決定部１４で調整基準範囲と決定された領域とする。なお、立体物の距離に応じて境界のグラフィックス表示の色を変えても良い。また、境界は、調整基準範囲以外である場合でも、調整基準範囲から一定の距離内に位置する場合には、立体物の写る領域の境界をグラフィックス表示しても良い。
このように、本実施形態の車載カメラ装置によれば、立体物を検知するセンサ部３と、センサ部３の検知結果を基に絞り１２やゲインの調整量算出の基準となる映像範囲を決定する基準決定部１４と、この基準決定部１４の映像範囲から絞り量やゲインを決定して制御する調整部１５と、グラフィックス部２１とを設けることにより、センサ部３が検知した立体物を良好な映像として表示し、かつ、グラフィックスにより立体物の位置を明示できる。また、調整基準範囲外で検出された立体物の写る境界をグラフィックス表示することにより、必ずしも良好な画像としてモニタ５に表示されない可能性のある調整基準範囲外の領域に写る立体物の位置を明示することもできる。
なお、この第２の実施形態では、グラフィックス部２１は、領域の境界をグラフィックスとして表示しているが、例えば領域全体を半透明な色で塗り潰しても良い。
また、上記の第１、第２の実施形態では、センサ部３として超音波センサを使用しているが、本発明では、レーザーレーダーセンサ、ミリ波レーダーセンサ、後述のステレオカメラセンサ等の他の各種のセンサをセンサ部として使用しても良い。さらに、後退駐車時の後方確認では超音波センサを使用する一方、通常走行時の後側方の確認ではミリ波レーダーセンサを使用するなど、目的に応じてセンサ部３を切換えてもよい。
[第４の実施形態]
以下、本発明に係る第４の実施形態の車載カメラ装置について、図面を用いて説明する。なお、本実施形態において、第２の実施形態と同一部分には同一符号を付して重複説明を避ける。
本実施形態の車載カメラ装置は、第２の実施形態と異なり、図７に示すように、カメラ１（これを、第１カメラ１とよぶ）の他にもう１台のカメラ５（これを、第２カメラ５とよぶ）を設置するとともに認識部６を設け、これら２台からなる第１、第２カメラ１、５及び認識部６が車両周辺の立体物までの距離を検知するセンサ部７を構成している。
従って、本実施形態では、レンズ１１、絞り１２、光電変換部１３、基準決定部１４、調整部１５及び映像生成部１６を備えている第１カメラ１において、第１カメラからの映像を認識部６へ送るために、映像生成部１６は、出力が、モニタ４の入力だけでなく認識部６の入力にも接続されている。
第２カメラ５には、レンズ５１、絞り５２、光電変換部５３及び映像生成部５４を備えている。このうち、レンズ５１は、第１カメラ１の設置位置とは異なる位置から車両周辺の所望の画像を撮影するために入射光を光電変換部５３に結像させるものであり、第１の実施形態と同様に、光電変換部５３には電荷結合素子（ＣＣＤ）などが用いられている。また、光電変換部５３の出力は、映像生成部５４の入力に接続されている。また、映像生成部５４の出力は、認識部６の入力に接続されており、この映像生成部５４で生成された第２カメラ５の映像が認識部６に取り込まれる。
認識部６は、対象物の検出やその対象物の位置を検出するためのものであり、前述したように、第１、第２カメラ１、５とともにセンサ部７を構成する。本実施形態の認識部６は、第１カメラ１の映像生成部１６から送出される第１映像と第２カメラ５から送出される第２映像とを用いて、車両周辺の立体物（例えば、カメラの最も近くに検知された立体物である、例えば歩行者や電柱など）を検出するとともに、その対象物とこの車両との間の距離を算出する。
即ち、認識部６では、第１、第２カメラ１、５で捉えた双方の映像内において、同一の映像生成対象である各立体物に対する視差を算出し、その視差に基づいて各立体物の位置をそれぞれ算出するとともに、この車両から１番近い立体物を判別してその立体物に関する位置情報（例えば、第１カメラの映像での位置座標情報（ｘ，ｙ）など）を基準決定部１４へ出力するようになっている。
なお、認識部６は、出力が基準決定部１４の入力に接続されており、その位置情報を基準決定部１４へ出力する。このため、基準決定部１４は、その位置情報に基づき、運転者にとって安全な運転などを行う上で重要度が高いと予想される(規準となるべき)撮像領域を決定する。つまり、本実施形態では、例えばこの車両から最も近い立体物が中央に収まるように、画像領域を決定する。
以上のように構成された車載カメラ装置について、動作を説明する。
初めに、センサ部７を構成する第１、第２カメラ１、５から取り込んだ映像は、それぞれ、光電変換部１３、５３で電気信号に変換され、映像信号として映像生成部１６、５４に出力される。一方、この映像信号を入力する認識部では、双方の映像信号から同一対象物を検知する。特に本実施形態では、車体から最も近い立体物を検知するとともに、その立体物に対する第１、第２カメラ１、５の視差から立体物までの距離を算出する。
このようにして、センサ部７は、その視差に基づいて各立体物の位置をそれぞれ算出するとともに、車体から１番近い立体物を判別してその立体物に関する位置情報（例えば、第１カメラの映像での位置座標情報（ｘ，ｙ）など）を基準決定部１４へ出力する。
次に、第１カメラ１は、センサ部７から入力される前述した立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、モニタ４へ映像信号を出力する。
例えば、車体近くの後方に立体物として人物が存在する場合、センサ部７により人物が検知される。そして、第１カメラ１で撮影した映像情報などに関する信号についての出力は、その人物がモニタ４に良好に表示されるように、調整部１５で絞り及びゲインが調整される。
なお、ここで、モニタ４の画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、必ずしも人物などが良好な映像として表示されない場合もある。このような場合には、以下のような調整処理がなされる。
レンズ１１から取り込まれた光線は、第１の実施形態で説明したように、絞り１２により光量が制限されて光電変換部１３に結像する。一方、調整部１５は、光電変換部１３から入力される信号と、センサ部７から基準決定部１４を介して入力される調整基準範囲に関する信号とに基づいて、絞り１２の調整量を制御し、光電変換部１３へと入射して受光する光量を制御する。
ここで、基準決定部１４は、センサ部７から入力される立体物の位置情報から調整基準範囲を決定し、調整部１５へ出力する。一方、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へ出力する。この映像生成部１６は、調整部１５から入力される信号をモニタ４で表示できる信号形式へと変換する。従って、モニタ４には、センサ部７で検出された自車両に最も近い立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。
基準決定部１４では、前述したように、例えば画面全体を縦横格子状に点線で示されるような複数の領域に予め分割しておくので、センサ部７により立体物が検知されると、その位置がセンサ部７から通知される。これにより、基準決定部１４は、センサ部７が検知した立体物が表示される領域を算出する。このとき、センサ部７の検知エリアと、第１カメラ１の撮影範囲とは予め対応付けておくことにより、基準決定部１４は、センサ部７の認識部６で検知した立体物の位置から、その立体物がカメラ１の映像出力のどの領域に表示されるかを算出できる。その結果、基準決定部１４は、センサ部７が検知した立体物が表示される領域を、調整基準範囲として調整部１５に通知する。
なお、カメラ２にも基準決定部を設けることにより、一旦検出した立体物を安定して検出することができる。
なお、本実施形態でも、センサ部７により複数の立体物が検知された場合は、前述したように、車体に最も近い立体物が表示される領域のみを調整範囲として調整部１５に通知するが、車体から一定の距離内に位置する立体物が表示される領域のみを調整範囲として調整部１５に通知するようにしてもよい。なお、センサ部７により立体物が検知されない場合、基準決定部１４は予め定められた領域を調整基準範囲として出力する。
以上、本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。例えば、上記の第１〜第３の実施形態では、基準決定部１４は、調整基準領域の区別はしていないが、車両からの距離に応じて複数のレベルに分けて出力する一方、調整部１５では、各調整基準領域のレベルに応じて各領域の光電変換部１３からの信号に重み付けをして、絞り及びゲインを調整しても良い。
本出願は、２００４年９月１０日出願の日本特許出願（特願２００４−２６４２６０）に基づくものであり、その内容はここに参照として取り込まれる。
本発明のカメラ装置は、車両周辺を撮影するカメラと、カメラ映像を運転者に提示するモニタと、車両周辺の立体物を検知するセンサ部とを備えるカメラ装置において、カメラは、ゲイン及び絞りを自動調整する調整部と、センサ部の出力を用いて調整基準とする画像領域を決定する基準決定部とを備えることにより、センサ部が検知した車両周辺の立体物を良好な映像として運転者に提供できる効果を有し、運転席からの後方確認などが難しいミニバンなどの大型乗用車や大型トラックなどに対する安全対策用の車載カメラ装置等として有用である。
本発明の第１の実施形態に係るカメラの構成を示す概略図 本発明の第２の実施形態に係るカメラ装置の全体構成を示す概略図 本発明の第２の実施形態に係るカメラ装置の構成を示すブロック図 （Ａ）本発明の第２〜第４の実施形態に係る基準決定部での領域分割例 （Ｂ）カメラ装置のモニタ表示例 （Ｃ）本発明の第２の実施形態におけるモニタへの表示例 （Ｄ）本発明の第２の実施形態におけるモニタへの表示例 本発明の第２の実施形態に係るカメラ装置による映像作成方法を示すフローチャート 本発明の第３の実施形態に係るカメラ装置の構成を示すブロック図 本発明の第４の実施形態に係るカメラ装置の構成を示すブロック図
符号の説明
１ カメラ（第１カメラ）
１０ ハウジング
１０Ａ センサ入力端子１０Ａ
１０Ｂ 映像出力端子１０Ｂ
２ カメラ
１１、５１ レンズ
１２、５２ 絞り
１３ 光電変換部
１４ 基準決定部
１５ 調整部
１６、５４ 映像生成部
２１ グラフィック部
３ センサ部
３１ センサヘッド
３２ センサ処理部
４ モニタ
５ 第２カメラ（センサ部）
６ 認識部（センサ部）
７ センサ部
Ｃ 車両（車体）
Ｍ 人物（立体物）

Claims (22)

  1. レンズ、絞り、前記レンズ及び前記絞りを透過した後の光を受ける光電変換部を備え、車両周辺を撮影するカメラであって、
    前記光電変換部及び前記絞りの駆動手段に接続され、ゲイン及び絞りを自動調整する調整部と、
    車両周辺の立体物を検知するカメラ装置外部のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定する基準決定部と、
    前記調整部から入力される信号をモニタで表示する信号形式へと変換する映像生成部と
    を備えるカメラ。
  2. 前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を請求項１に記載の備えるカメラ。
  3. 前記基準決定部は、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項１又は２に記載のカメラ。
  4. 前記基準決定部は、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項１又は２に記載のカメラ。
  5. 前記調整部は、ＡＬＣ（Ａｕｔｏｍａｔｉｃ Ｌｉｇｈｔ Ｃｏｎｔｒｏｌ）回路及び／又はＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路を備える請求項１〜４のいずれ１項に記載のカメラ。
  6. 前記ＡＬＣ回路は、前記レンズ絞りを自動調整して入射光量を一定に保つ請求項５に記載のカメラ。
  7. 前記ＡＧＣ回路は、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する請求項５に記載のカメラ。
  8. 車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、
    前記カメラは、
    ゲイン及び絞りを自動調整する調整部と、
    前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、
    前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部と
    を備えるカメラ装置。
  9. 車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタと、前記映像内の、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部とを備えるカメラ装置において、
    前記カメラは、
    ゲイン及び絞りを自動調整する調整部と、
    前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、
    前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部と
    を備えるカメラ装置。
  10. 前記カメラで撮影された映像は、前記基準決定部で決定される調整基準とすべき画像領域の最小単位となる複数の領域に予め分割されており、
    前記センサ部は、前記分割された領域が撮像する範囲毎に立体物を検知するように構成されているとともに、
    前記調整部は、前記領域の少なくとも一つを調整基準の画像領域とする手段を備えている請求項８又は９に記載のカメラ装置。
  11. 前記基準決定部は、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項８から１０のいずれか１項に記載のカメラ装置。
  12. 前記基準決定部は、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項８から１０のいずれか１項に記載のカメラ装置。
  13. センサ部は、超音波センサ、レーザーレーダーセンサ、ミリ波レーダーセンサのいずれかを用いている請求項８から１２のいずれ１項に記載のカメラ装置。
  14. 車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、
    前記第１カメラは、レンズ及び絞りと、ゲイン及び前記絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えるとともに、
    前記第２カメラは、少なくとも、レンズ及び絞りと、映像生成部とを備えるカメラ装置。
  15. 前記センサ部は、前記車両から最も近い立体物を検知する認識部を備える請求項１４に記載のカメラ装置。
  16. 前記第１カメラは、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備える請求項１４又は１５に記載のカメラ装置。
  17. 前記調整部は、ＡＬＣ（Ａｕｔｏｍａｔｉｃ Ｌｉｇｈｔ Ｃｏｎｔｒｏｌ）回路及び／又はＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路を備える請求項８から１６のいずれ１項に記載のカメラ装置。
  18. 前記ＡＬＣ回路は、前記レンズ絞りを自動調整して入射光量を一定に保つ請求項１７に記載のカメラ装置。
  19. 前記ＡＧＣ回路は、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する請求項１７に記載のカメラ装置。
  20. 車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、
    前記車両周辺を撮影する工程と、
    前記車両周辺の立体物の位置を検出する工程と、
    位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、
    前記立体物の位置に関する情報から映像を調整する工程と、
    前記調整された映像情報に基づき前記モニタに前記映像を表示する工程と
    を備えたカメラ装置による映像作成方法。
  21. 車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、
    前記車両周辺を撮影する工程と、
    前記車両周辺の立体物の位置を検出する工程と、
    位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、
    前記立体物の位置に関する情報から映像を調整する工程と、
    前記調整された映像情報に基づき前記モニタに前記映像を表示する工程と
    を備えたカメラ装置による映像作成方法。
  22. 前記映像内の前記立体物が存在する領域に、グラフィックを重畳するグラフィック工程を備える請求項２０又は２１に記載のカメラ装置による映像作成方法。
JP2006535820A 2004-09-10 2005-09-08 カメラ及びカメラ装置 Withdrawn JPWO2006028180A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004264260 2004-09-10
JP2004264260 2004-09-10
PCT/JP2005/016532 WO2006028180A1 (ja) 2004-09-10 2005-09-08 カメラ及びカメラ装置

Publications (1)

Publication Number Publication Date
JPWO2006028180A1 true JPWO2006028180A1 (ja) 2008-05-08

Family

ID=36036461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006535820A Withdrawn JPWO2006028180A1 (ja) 2004-09-10 2005-09-08 カメラ及びカメラ装置

Country Status (5)

Country Link
US (1) US20070242944A1 (ja)
EP (1) EP1781018A1 (ja)
JP (1) JPWO2006028180A1 (ja)
CN (1) CN101015200A (ja)
WO (1) WO2006028180A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
JP4297501B2 (ja) * 2004-08-11 2009-07-15 国立大学法人東京工業大学 移動体周辺監視装置
JP3937414B2 (ja) * 2004-08-11 2007-06-27 本田技研工業株式会社 平面検出装置及び検出方法
JP4542058B2 (ja) * 2006-03-24 2010-09-08 富士フイルム株式会社 撮像装置および撮像方法
JP4807152B2 (ja) * 2006-06-15 2011-11-02 住友電気工業株式会社 障害物検出システム及び障害物検出方法
US8466974B2 (en) * 2008-11-12 2013-06-18 O2Micro, Inc. Apparatus and methods for controlling image sensors
JP5219847B2 (ja) * 2009-01-09 2013-06-26 キヤノン株式会社 画像処理装置及び画像処理方法
US8702250B2 (en) * 2012-04-02 2014-04-22 GM Global Technology Operations LLC System and method for adjusting vehicle mirrors automatically based on driver head position
KR101373703B1 (ko) * 2012-05-23 2014-03-13 주식회사 코아로직 차량용 영상 처리 장치 및 방법
WO2015144741A1 (en) * 2014-03-27 2015-10-01 Sony Corporation Camera with radar system
CN104410820B (zh) * 2014-11-24 2017-11-03 中国铁道科学研究院 一种车载轨旁设备箱盒及线缆外观检测系统
DE112015006032B4 (de) * 2015-01-22 2021-04-01 Mitsubishi Electric Corporation Vorrichtung und Verfahren zur Bilderfassung eines Objekts, das sich in einem Abbildungsfeld-Winkelbereich befindet, Programm und Aufzeichnungsmedium
US9998695B2 (en) * 2016-01-29 2018-06-12 Ford Global Technologies, Llc Automotive imaging system including an electronic image sensor having a sparse color filter array
CN105818763B (zh) * 2016-03-09 2018-06-22 睿驰智能汽车（广州）有限公司 一种确定车辆周围物体距离的方法、装置及系统
DE102016007522B4 (de) * 2016-06-20 2022-07-07 Mekra Lang Gmbh & Co. Kg Spiegelersatzsystem für ein Fahrzeug
CN109690244B (zh) * 2016-09-15 2021-09-17 株式会社小糸制作所 传感器系统、传感器模块及灯装置
US10296785B1 (en) * 2017-07-24 2019-05-21 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for vehicle operator gesture recognition and transmission of related gesture data
US20210287461A1 (en) * 2018-09-21 2021-09-16 Honda Motor Co., Ltd. Vehicle inspection system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06229739A (ja) * 1993-01-29 1994-08-19 Mazda Motor Corp 画像処理による環境認識装置
JP3019684B2 (ja) * 1993-09-20 2000-03-13 三菱自動車工業株式会社 自動車の走行制御装置
JPH07334800A (ja) * 1994-06-06 1995-12-22 Matsushita Electric Ind Co Ltd 車両認識装置

Also Published As

Publication number Publication date
US20070242944A1 (en) 2007-10-18
CN101015200A (zh) 2007-08-08
EP1781018A1 (en) 2007-05-02
WO2006028180A1 (ja) 2006-03-16

Similar Documents

Publication Publication Date Title
JPWO2006028180A1 (ja) カメラ及びカメラ装置
US8330816B2 (en) Image processing device
WO2017179295A1 (ja) 信号処理装置および撮像装置
EP2763407B1 (en) Vehicle surroundings monitoring device
EP2471691B1 (en) Obstacle detection device, obstacle detection system provided therewith, and obstacle detection method
US20100066516A1 (en) Image displaying in-vehicle system, image displaying control in-vehicle apparatus and computer readable medium comprising program for the same
JP4784659B2 (ja) 車両用周辺監視装置
KR20220058975A (ko) 촬상 장치 및 전자 기기
US20070046450A1 (en) Obstacle detector for vehicle
JP5177515B2 (ja) 周辺認知支援システム
JP2009081666A (ja) 車両用周辺監視装置および映像表示方法
JP2008227646A (ja) 障害物検知装置
WO2010070920A1 (ja) 車両周囲画像生成装置
US20210297589A1 (en) Imaging device and method of controlling imaging device
KR102388259B1 (ko) 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법
WO2017195459A1 (ja) 撮像装置、および撮像方法
JP2006054662A (ja) 運転支援装置
US20240034236A1 (en) Driver assistance apparatus, a vehicle, and a method of controlling a vehicle
US20240114253A1 (en) Movable apparatus and installation method for imaging device
JP2007249814A (ja) 画像処理装置及び画像処理プログラム
KR102164702B1 (ko) 자동 주차 장치 및 자동 주차 방법
KR20110061100A (ko) 차량 후방 감시 장치
KR102177878B1 (ko) 영상 처리 장치 및 방법
JP5235843B2 (ja) 車両周辺監視装置および車両周辺監視方法
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080702

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20091225