WO2006028180A1

WO2006028180A1 - カメラ及びカメラ装置

Info

Publication number: WO2006028180A1
Application number: PCT/JP2005/016532
Authority: WO
Inventors: Kazufumi Mizusawa
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-09-10
Filing date: 2005-09-08
Publication date: 2006-03-16
Also published as: US20070242944A1; JPWO2006028180A1; CN101015200A; EP1781018A1

Abstract

　本発明の課題は、運転者にとって必要度が高いと予測される車両周囲に存在する立体物についての情報を良好な映像として提供できるカメラ及びカメラ装置を提供することである。本発明において、車両周辺を撮影するカメラ（１）と、カメラ映像を運転者に提示するモニタ（４）と、車両周辺の立体物を検知するセンサ部（３）とを備える車載カメラ装置において、カメラ（１）は、ゲイン及び絞りを自動調整する調整部（１５）と、センサ部（３）の出力を用いて調整基準とする画像領域を決定する基準決定部（１４）とを備える。これにより、運転者にとって必要度が高いと予測される車両周囲に存在する立体物についての情報を良好な映像として提供できるカメラ装置を実現可能となる。

Description

明細書

カメラ及びカメラ装置

技術分野

[0001] 本発明は、車載用などのカメラ、及びこのカメラで撮影した自動車の周囲の状況を運転の補助情報として運転者に提供することができるカメラ装置に関する。

背景技術

[0002] 従来の車載カメラシステムは、画面内の被写体照度に応じてレンズ絞りを自動調整して入射光量を一定に保つ ALC (Automatic Light Control)回路（例えば、非特許文献 1参照）や、入力信号のレベルに応じてゲインを制御して出力信号のレベルを一定に保つ AGC (Automatic Gain Control)回路を組み込むことにより、車両周囲の環境が変動した場合でも、良好な映像を運転者に知らせてヽる。

[0003] また、車載用の 2個のカメラを用いた (2眼式の)ステレオカメラをプレビューセンサとして用いた車両運転監視システムも提案されている（例えば、特許文献 1及び 2参照

) o

[0004] しかしながら、従来の車載カメラシステムは、画面全体、あるいは、予め定められた画面領域において良好な映像を提供することを目的としている。このため、運転者にとって必要な領域の安全運転などを実現する上で必要となる情報が、必ずしも良好な映像として提示されるわけではな、、 t 、う問題があった。

[0005] また、特許文献 1に記載の (2眼式の)ステレオカメラ装置は、温度対策に関して工夫を施した構成のものであり、 2眼式カメラをうまく利用し、安全運転上必要となる情報を、運転者にとって必要な映像領域において良好な映像で提供するものではない。一方、特許文献 2に記載のものは、（2眼式の)ステレオカメラを利用して車両運転監視システムを構築するものであるが、同様に、安全運転上必要となる情報を、運転者にとつて必要な映像領域にぉ、て良好な映像で提供するものではな、。

[0006] 本発明は、上記事情に鑑みてなされたもので、運転者にとって必要度が高いと予測される車両周囲に存在する立体物についての情報を良好な映像として提供できるカメラ及びカメラ装置を提供することを目的とする。非特許文献 1：竹村裕夫著「CCDカメラ技術入門」、コロナ社、 1998年 8月 20日、 1 64〜165頁）

特許文献 1 :特開 2001— 88609号公報

特許文献 2：特開 2004 - 173195号公報

発明の開示

[0007] 第 1に、本発明のカメラは、レンズ、絞り、前記レンズ及び前記絞りを透過した後の光を受ける光電変換部を備え、車両周辺を撮影するカメラであって、前記光電変換部及び前記絞りの駆動手段に接続され、ゲイン及び絞りを自動調整する調整部と、車両周辺の立体物を検知するカメラ装置外部のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号をモニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、立体物を良好な映像として提供可能となる。

[0008] 第 2に、本発明は、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備えることを特徴としている。

[0009] 第 3に、本発明は、前記基準決定部が、前記カメラの最も近くに検知された立体物が写って、る領域を調整基準領域として決定する機能を有することを特徴として!/、る

[0010] 第 4に、本発明は、前記基準決定部が、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。

[0011] 第 5に、本発明は、前記調整部が、 ALC (Automatic Light Control)回路及び Z又は AGC (Automatic Gain Control)回路を備えることを特徴としている。

[0012] 第 6に、本発明は、前記 ALC回路が、前記レンズ絞りを自動調整して入射光量を一定に保つことを特徴として、る。

[0013] 第 7に、本発明は、前記 AGC回路が、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整することを特徴としている。

[0014] また、第 8に、本発明のカメラ装置は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、前記カメラは、ゲイン及び絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、センサ部が検知した立体物を良好な映像として提供できる。

[0015] また、第 9に、本発明は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタと、前記映像内の、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフイツク部とを備えるカメラ装置において、前記カメラは、ゲイン及び絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、センサ部が検知した立体物を良好な映像として提供でき、かつ、検知した立体物をグラフィックにより強調表示することで、運転者に注意を喚起できる。

[0016] 第 10に、本発明は、前記カメラで撮影された映像は、前記基準決定部で決定される調整基準とすべき画像領域の最小単位となる複数の領域に予め分割されており、前記センサ部は、前記分割された領域が撮像する範囲毎に立体物を検知するように構成されているとともに、前記調整部は、前記領域の少なくとも一つを調整基準の画像領域とする手段を備えていることを特徴としている。この構成により、センサ部、基準決定部はそれぞれ領域毎に立体物の有無を検知したり、基準範囲とするか否かを判定したりできるため、後述するロバスト性が向上するという効果を有する。

[0017] 第 11に、本発明は、前記基準決定部が、前記カメラの最も近くに検知された立体物が写って、る領域を調整基準領域として決定する機能を有することを特徴として!、る。この構成により、複数の立体物が存在した場合でも運転者にとって重要度の高いと予想される自車両の最も近くに位置する立体物を良好な映像として提供できる。

[0018] 第 12に、本発明は、前記基準決定部が、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。この構成により、複数の立体物が存在した場合でも、運転者にとって重要度が高いと予想される車両から一定の距離以内に存在する立体物を良好な映像として提供できる。

[0019] 第 13に、本発明は、センサ部が、超音波センサ、レーザーレーダーセンサ、ミリ波レーダーセンサの、ずれかを用いて、ることを特徴として!/、る。

[0020] また、第 14に、本発明のカメラ装置は、車両周辺を撮影する第 1カメラと、前記第 1 カメラ及びこれとは別に設けた第 2カメラにより前記車両力前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、前記第 1カメラは、レンズ及び絞りと、ゲイン及び前記絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えるとともに、前記第 2カメラは、少なくとも、レンズ及び絞りと、映像生成部とを備えることを特徴としている。

[0021] 第 15に、本発明は、前記センサ部が、前記車両から最も近い立体物を検知する認識部を備えることを特徴として、る。

[0022] 第 16に、本発明は、前記第 1カメラが、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備えることを特徴としている。

[0023] 第 17に、本発明は、前記調整部が、 ALC (Automatic Light Control)回路及び Z 又は AGC ( Automatic Gain Control)回路を備えることを特徴としている。

[0024] 第 18に、本発明は、前記 ALC回路が、前記レンズ絞りを自動調整して入射光量を一定に保つことを特徴として、る。

[0025] 第 19に、本発明は、前記 AGC回路が、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整することを特徴としている。

[0026] また、第 20に、本発明のカメラ装置による映像作成方法は、車両周辺を撮影する力メラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、前記車両周辺を撮影する工程と、前記車両周辺の立体物の位置を検出する工程と、位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、前記立体物の位置に関する情報力映像を調整する工程と、前記調整された映像情報に基づき前記モニタに前記映像を表示する工程とを備えたことを特徴としている。

[0027] 第 21に、本発明は、車両周辺を撮影する第 1カメラと、前記第 1カメラ及びこれとは別に設けた第 2カメラにより前記車両力前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、前記車両周辺を撮影する工程と、前記車両周辺の立体物の位置を検出する工程と、位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、前記立体物の位置に関する情報から映像を調整する工程と、前記調整された映像情報に基づき前記モユタに前記映像を表示する工程とを備えたことを特徴としている。

[0028] 第 22に、本発明は、前記映像内の前記立体物が存在する領域に、グラフィックを重畳するグラフィック工程を備えることを特徴として、る。

図面の簡単な説明

[0029] [図 1]本発明の第 1の実施形態に係るカメラの構成を示す概略図

[図 2]本発明の第 2の実施形態に係るカメラ装置の全体構成を示す概略図

[図 3]本発明の第 2の実施形態に係るカメラ装置の構成を示すブロック図

[図 4] (A)本発明の第 2〜第 4の実施形態に係る基準決定部での領域分割例（B) カメラ装置のモニタ表示例（C)本発明の第 2の実施形態におけるモニタへの表示例（D)本発明の第 2の実施形態におけるモニタへの表示例

[図 5]本発明の第 2の実施形態に係るカメラ装置による映像作成方法を示すフローチヤート

[図 6]本発明の第 3の実施形態に係るカメラ装置の構成を示すブロック図

[図 7]本発明の第 4の実施形態に係るカメラ装置の構成を示すブロック図

符号の説明

[0030] 1 カメラ (第 1カメラ）

10 ハウジング 10A センサ入力端子 10A

10B 映像出力端子 10B

2 カメラ

11、 51 レンズ

12、 52 絞り

13 光電変換部

14 基準決定部

15 調整部

16、 54 映像生成部

21 グラフィック咅

3 センサ部

31 センサヘッド

32 センサ処理部

4 モニタ

5 第 2カメラ (センサ部）

6 認識部（センサ部）

7 センサ部

C 車両 (車体）

M 人物（立体物）

発明を実施するための最良の形態

[0031] 以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。

[第 1の実施形態]

図 1は、本発明の第 1の実施形態に係る車載用のカメラを示すものであり、このカメラは、自車両 (以下、「車体」とよぶ）の周辺、例えば後方又は側方などを撮像するものであり、レンズ 11と、絞り 12と、光電変換部 13と、基準決定部 14と、調整部 15と、映像生成部 16とを備えている。

[0032] このうち、レンズ 11は、車両周辺の所望の画像を撮影するために入射光を光電変換部 13に結像させるものであり、光電変換部 13には電荷結合素子 (CCD)などが用いられている。基準決定部 14は、運転者にとって安全な運転などを行う上で重要度が高いと予想される (規準となるべき)撮像領域を決定するためのものであり、入力がセンサ処理部 32の出力に接続されている。また、この基準決定部 14は、車体周辺の立体物を検知するカメラ外部に設けた図示外のセンサ部力もの出力を用いて、調整基準とすべき画像領域を決定するものであり、センサ部との接続を行うためにハウジング 10にセンサ入力端子 10Aを設けている。調整部 15は、絞り及びゲインを調整するものであり、入力が基準決定部 14の出力に接続されているとともに、出力が絞り 12 に付設した図示外の（しぼり駆動手段に備える)モータに接続されている。また、この調整部 15は、光電変換部 13にも接続されているほかに、出力が映像生成部 16の入力にも接続されている。映像生成部 16は、調整部 15から入力する信号をモニタで表示する信号形式へと変換するものであり、カメラ 1外部の図示外のモニタとの接続のためにハウジング 10に映像出力端子 10Bを設けている。

[0033] 次に、本実施形態のカメラ 1の動作を説明する。

カメラ 1は、センサ部 3から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部 15により絞り及びゲインを調整して、図示外のモニタへ映像信号を出力する。ここで、モニタの画面全体を良好な映像として表示しょうと調整した場合、例えば、その場所や環境によっては、必ずしも人物が良好に表示されない映像となる場合もある。このような場合には、以下のような調整処理がなされる。

[0034] レンズ 11から取り込まれた光線は、絞り 12により光量が制限されて光電変換部 13 に結像する。一方、調整部 15は、光電変換部 13から入力される信号と、基準決定部 14から入力される調整基準範囲に関する信号とに基づいて、絞り 12の調整量を制御し、光電変換部 13へと入射して受光する光量を制御する。

ここで、基準決定部 14は、図示外のセンサ部（このセンサは、センサ入力端子 10A を介してカメラ 1内の基準決定部 14に接続させているものとする）から入力される立体物の位置情報により調整基準範囲を決定し、調整部 15へ出力する。一方、調整部 1 5は、光電変換部 13から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部 16へ出力する。この映像生成部 16は、調整部 15から入力される信号を、図示外のモニタ（このモニタは、映像出力端子 10Bを介してカメラ 1内の映像生成部 16に接続させているものとする）で表示できる信号形式へと変換する。

[0035] 従って、モニタには、センサ部で検知された立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。なお、本実施形態では、グラフイツク部を設けていないが、図 6に示すように、センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を設けた構成であってもよい。

[0036] [第 2の実施形態]

図 2は、本発明の第 2の実施形態に係る車載カメラ装置を示すものであり、この車載カメラ装置は、車体 Cに、この車体 Cの後方を撮像する単一のカメラ 1と、立体物を検知するセンサ部 3と、カメラ 1の出力映像を表示するモニタ 4とを搭載している。

[0037] カメラ 1には、図 3に示すように、第 1の実施形態と同様のものが用いられており、レンズ 11、絞り 12、光電変換部 13、基準決定部 14、調整部 15及び映像生成部 16を備えている。このうち、レンズ 11は、車両周辺の所望の画像を撮影するために入射光を光電変換部 13に結像させるものであり、光電変換部 13には電荷結合素子 (CCD) などが用いられている。基準決定部 14は、運転者にとって安全な運転などを行う上で重要度が高いと予想される (規準となるべき)撮像領域を決定するためのものであり、入力がセンサ処理部 32の出力に接続されている。調整部 15は、絞り及びゲインを調整するものであり、入力が基準決定部 14の出力に接続されているとともに、出力が絞り 12に付設した図示外の（しぼり駆動手段に備える）モータに接続されている。また、この調整部 15は、光電変換部 13にも接続されているほかに、出力が映像生成部 1 6の入力にも接続されて、る。

[0038] センサ部 3は、超音波センサにより車体 C近傍の後方の路面上等に位置する立体物（例えば、歩行者 Mや電柱など）を検知するものであり、図 3に示すように、センサヘッド 31と、センサ処理部 32とを備えている。このうち、センサヘッド 31は、超音波を送受信し、その受信結果をセンサ処理部 32へ出力する。一方、センサ処理部 32は、センサヘッド 31からの出力信号を処理して立体物の有無やその位置などを検知するためのものであり、出力が基準決定部 14の入力に接続されて!、る。

[0039] 以上のように構成された車載カメラ装置について、図 3を用いて各部の動作を説明する。

I.まず、カメラ 1の動作を説明する。

カメラ 1は、第 1の実施形態と同様に、センサ部 3から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部 15により絞り及びゲインを調整して、モニタ 4へ映像信号を出力する。

例えば、図 2に示すように、車体 C近くの後方に立体物として人物 Mが存在する場合、センサ部 3により人物 Mが検知される。そして、カメラ 1で撮影した映像情報などに関する信号についての出力は、図 4 (C)に示すように、人物 Mがモニタ 4に良好に表示されるように、調整部 15で絞り及びゲインが調整される。

[0040] ここで、モニタ 4の画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、図 4 (B)に示すように、必ずしも人物が良好に表示されない映像となる場合もある。このような場合には、第 1の実施形態と同様に、以下のような調整処理がなされる。なお、図 4のモニタ表示例中の縦横格子状の点線は、領域分割結果をわ力りやすく明示しているだけであり、実際のモニタ 4には表示されない。

[0041] レンズ 11から取り込まれた光線は、絞り 12により光量が制限されて光電変換部 13 に結像する。一方、調整部 15は、光電変換部 13から入力される信号と、基準決定部 14から入力される調整基準範囲に関する信号とに基づいて、絞り 12の調整量を制御し、光電変換部 13へと入射して受光する光量を制御する。

ここで、基準決定部 14は、センサ部 3から入力される立体物の位置情報力調整基準範囲を決定し、調整部 15へ出力する。一方、調整部 15は、光電変換部 13から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部 16へ出力する。この映像生成部 16は、調整部 15から入力される信号をモニタ 4で表示できる信号形式へと変換する。従って、モニタ 4には、センサ部 3で検知された立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。

[0042] II.次に、基準決定部 14の動作について、詳細に説明する。

基準決定部 14では、例えば、図 4 (A)に示すように、画面全体を縦横格子状に点線で示されるような複数の領域に予め分割しておく。ここで、センサ部 3により立体物が検知されると、その位置がセンサ部 3から通知され、基準決定部 14はセンサ部 3が検知した立体物が表示される領域を算出する。このとき、センサ部 3の検知エリアと、カメラ 1の撮影範囲とは予め対応付けることにより、基準決定部 14は、センサ部 3のセンサ処理部 32で検知した立体物の位置から、その立体物がカメラ 1の映像出力のどの領域に表示されるかを算出できる。その結果、基準決定部 14は、センサ部 3が検知した立体物が表示される領域を、調整基準範囲として調整部 15に通知する。なお、図 4 (A)では、斜線で塗り潰された領域が、調整基準範囲となる。

[0043] センサ部 3により複数の立体物が検知された場合は、車体 Cに最も近い立体物が表示される領域のみを調整範囲として調整部 15に通知する。或いは、車体 Cから一定の距離内に位置する立体物が表示される領域のみを調整範囲として調整部 15に通知する。なお、センサ部 3により立体物が検知されない場合、基準決定部 14は予め定められた領域を調整基準範囲として出力する。

[0044] III.次に、調整部 15の動作について、詳細に説明する。

この調整部 15では、基準決定部 14と同様に、画面全体を図 4に点線で示すような複数の領域に予め分割しておく。ここで、調整部 15は、光電変換部 13からの出力信号のうち、基準決定部 14から通知された調整基準範囲内にある信号の大きさのみを測定し、絞り 12の絞り量を制御する。つまり、信号値が大きい場合には絞りを閉めて光量を制限し、信号値が小さい場合には絞りを開いて光量を増やす。なお、光電変換部 13の出力信号の大きさによって絞りを制御する回路は、 ALC (Automatic Light Control)回路として広く知られている。

また、調整部 15では、基準決定部 14から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する。なお、このようなゲイン調整回路は AGC (Automatic Gain Control)回路として広く知られている。

[0045] IV.次に、センサ部 3の動作について、詳細に説明する。

センサ部 3としては、例えば、前述したように超音波センサが使用可能であり、カメラ 1の撮影範囲内の立体物を検知するように設置される。センサ部 3に超音波センサを用いる場合、センサ部 3は、超音波を出力したり受信したりするセンサヘッド 31と、受信した超音波を解析して立体物の位置を検知するセンサ処理部 32とを備える。このうち、センサ処理部 32は、検知した立体物の位置を基準決定部 14へと出力する。このとき、センサ部 3での立体物検知は、基準決定部 14で分割された領域と対応がつけられる程度の分解能でよいため、予め、検知範囲を複数の領域に分割しておいても良い。

[0046] 次に、本実施形態のカメラ装置を用いた映像の作成方法について、図 5を参照しながら説明する。

この映像の作成方法では、カメラ 1を用いて車両周辺を撮影するとともに（第 1ステツプ S1)、センサ部 3のセンサ処理部 32が車両の位置を検出する（第 2ステップ S2)。次に、基準決定部 14はセンサ部 3のセンサ処理部 32から出力される立体物の位置に関するデータを入力すると、このデータから、その立体物が表示される領域を算出する（第 3ステップ S3)。また、調整部 15では、その立体物の位置に関するデータから、絞り 12の絞り量を制御する。つまり、基準決定部 14から通知された調整基準範囲内において、光電変換部 13からの入力信号値が大きい場合には絞りを閉めて光量を制限し、入力信号値が小さい場合には絞りを開いて光量を増やす (第 4ステップ S4 )。また、第 4ステップ S4では、調整部 15では、基準決定部 14から通知された調整基準範囲内にお、て、光電変換部 13からの入力信号の出力レベルが一定に保たれるように、ゲインも調整する。これにより、センサ部 3が検知した立体物を良好な映像としてモニタ 4に表示する（第 5ステップ S5)。

[0047] 従って、本実施形態の車載カメラ装置によれば、立体物を検知するセンサ部 3と、センサ部 3の検知結果を基に絞りやゲインについての調整量の算出基準となる映像範囲を決定する基準決定部 14と、基準決定部 14の映像範囲力も絞り量やゲインを決定して制御する調整部 15とを設けることにより、センサ部 3が検知した立体物を良好な映像として提供できる（図 4 (C)参照)。

[0048] また、カメラ 1で撮影された映像は基準決定部 14で決定される調整基準とする画像領域の最小単位となる複数の領域に予め分割することにより、センサ部 3、基準決定部 14はそれぞれ領域毎に立体物の有無を検知したり、基準範囲とするか否かを判定したりできる。このように、領域ごとに立体物を検知することにより、例えば、長音波センサで立体物の一部からの反射が弱かったり、ノイズの影響があったりして、立体物の一部が検出されない場合でも、立体物全体を検出できる確立が高くなり、口バスト性 (robustness)が向上するという効果を有する。また、領域が予め決定されているため、領域分割処理が不要となり、処理が容易になる。

[0049] また、基準決定部 14で、車体 Cの最も近くに検知された立体物が写っている領域を調整基準領域として決定する処理構成とすることにより、複数の立体物が存在した場合でも、運転者にとって重要度の高いと予想される車体 Cの最も近くに位置する立体物を良好な映像として提供できる。また、車体 Cから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する処理構成とすることにより、複数の立体物が存在した場合でも、運転者にとって重要度の高いと予想される自車両から一定の距離以内に存在する立体物を良好な映像として提供できる。

[0050] [第 3の実施形態]

以下、本発明に係る第 3の実施形態の車載カメラ装置について、図面を用いて説明する。なお、本実施形態において、第 1、第 2の実施形態と同一部分には同一符号を付して重複説明を避ける。

本実施形態の車載カメラ装置は、第 1の実施形態と異なり、図 6に示すように、ダラフィック部 21をさらに設けたカメラ 2を搭載したことである。即ち、このカメラ 2は、レンズ 11、絞り 12、光電変換部 13、基準決定部 14、調整部 15、映像生成部 16及びグラフィック部 21から構成される。

このグラフィック部 21は、センサ部 3から入力される立体物の位置から、重畳すべきグラフィックと表示位置とを決定し、映像生成部 16へと出力するようになっている。

[0051] 以上のように構成された車載カメラ装置の動作について、図 6を用いて説明する。

I.まず、カメラ 2の動作を説明する。

カメラ 2は、センサ部 3から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部 15により絞り及びゲインを調整して、モニタ 4へ映像信号を出力する。

その結果、レンズ 11から取り込まれた光線は、絞り 12により光量が制限されて光電変換部 13に結像する。即ち、調整部 15は、光電変換部 13から入力する信号と、基準決定部 14力も入力する調整基準範囲とに基づいて、絞り 12の調整量を制御して光電変換部 13へ入射する光量を制御する。一方、基準決定部 14は、センサ部 3から入力する立体物の位置情報力調整基準範囲を決定し、調整部 15へ出力する。従つて、調整部 15は、光電変換部 13から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部 16へと出力する。他方、グラフィック部 21は、前述したように、センサ部 3から入力される立体物の位置から、重畳すべきグラフィックと表示位置とを決定し、映像生成部 16へと出力する。

[0052] 次に、映像生成部 16は、グラフィック部 21から入力されるグラフィック情報にしたがつて、調整部 15から入力される信号にグラフィック部 21から入力されるグラフィックスなどに関する信号を重畳し、モニタ 4で表示する信号形式へと変換する。これにより、モニタ 4は、映像生成部 16から入力される映像を表示して、運転者に提供する。このときの表示例を、図 4 (D)に示す。

[0053] II.次に、グラフィックス部 21の動作について、詳細に説明する。

グラフィックス部 21では、基準決定部 14と同様に、画面全体を予め複数の領域に分割しておく。ここで、センサ部 3で立体物が検知されると、その位置に関する情報がセンサ部 3からグラフィックス部 21へ出力される。すると、グラフィックス部 21は、センサ部 3が検知した立体物が表示される領域を算出し、その領域の境界をグラフィックスとして表示するためのグラフィックス情報を映像生成部 16へ出力する。ここで、境界をグラフィックス表示する領域は、例えば、基準決定部 14で調整基準範囲と決定された領域とする。なお、立体物の距離に応じて境界のグラフィックス表示の色を変えても良い。また、境界は、調整基準範囲以外である場合でも、調整基準範囲から一定の距離内に位置する場合には、立体物の写る領域の境界をグラフィックス表示しても良い。

[0054] このように、本実施形態の車載カメラ装置によれば、立体物を検知するセンサ部 3と、センサ部 3の検知結果を基に絞り 12やゲインの調整量算出の基準となる映像範囲を決定する基準決定部 14と、この基準決定部 14の映像範囲力も絞り量やゲインを決定して制御する調整部 15と、グラフィックス部 21とを設けることにより、センサ部 3が検知した立体物を良好な映像として表示し、かつ、グラフィックスにより立体物の位置を明示できる。また、調整基準範囲外で検出された立体物の写る境界をグラフィックス表示することにより、必ずしも良好な画像としてモニタ 5に表示されな、可能性のある調整基準範囲外の領域に写る立体物の位置を明示することもできる。

[0055] なお、この第 2の実施形態では、グラフィックス部 21は、領域の境界をグラフィックスとして表示しているが、例えば領域全体を半透明な色で塗り潰しても良い。

また、上記の第 1、第 2の実施形態では、センサ部 3として超音波センサを使用しているが、本発明では、レーザーレーダーセンサ、ミリ波レーダーセンサ、後述のステレォカメラセンサ等の他の各種のセンサをセンサ部として使用しても良い。さらに、後退駐車時の後方確認では超音波センサを使用する一方、通常走行時の後側方の確認ではミリ波レーダーセンサを使用するなど、目的に応じてセンサ部 3を切換えてもよい

[0056] [第 4の実施形態]

以下、本発明に係る第 4の実施形態の車載カメラ装置について、図面を用いて説明する。なお、本実施形態において、第 2の実施形態と同一部分には同一符号を付して重複説明を避ける。

本実施形態の車載カメラ装置は、第 2の実施形態と異なり、図 7に示すように、カメラ 1 (これを、第 1カメラ 1とよぶ）の他にもう 1台のカメラ 5 (これを、第 2カメラ 5とよぶ）を設置するとともに認識部 6を設け、これら 2台からなる第 1、第 2カメラ 1、 5及び認識部 6 が車両周辺の立体物までの距離を検知するセンサ部 7を構成している。

[0057] 従って、本実施形態では、レンズ 11、絞り 12、光電変換部 13、基準決定部 14、調整部 15及び映像生成部 16を備えている第 1カメラ 1において、第 1カメラからの映像を認識部 6へ送るために、映像生成部 16は、出力が、モニタ 4の入力だけでなく認識部 6の入力にも接続されて、る。

[0058] 第 2カメラ 5には、レンズ 51、絞り 52、光電変換部 53及び映像生成部 54を備えている。このうち、レンズ 51は、第 1カメラ 1の設置位置とは異なる位置から車両周辺の所望の画像を撮影するために入射光を光電変換部 53に結像させるものであり、第 1の実施形態と同様に、光電変換部 53には電荷結合素子 (CCD)などが用いられている。また、光電変換部 53の出力は、映像生成部 54の入力に接続されている。また、映像生成部 54の出力は、認識部 6の入力に接続されており、この映像生成部 54で生成された第 2カメラ 5の映像が認識部 6に取り込まれる。 [0059] 認識部 6は、対象物の検出やその対象物の位置を検出するためのものであり、前述したように、第 1、第 2カメラ 1、 5とともにセンサ部 7を構成する。本実施形態の認識部 6は、第 1カメラ 1の映像生成部 16から送出される第 1映像と第 2カメラ 5から送出される第 2映像とを用いて、車両周辺の立体物（例えば、カメラの最も近くに検知された立体物である、例えば歩行者や電柱など）を検出するとともに、その対象物とこの車両との間の距離を算出する。

[0060] 即ち、認識部 6では、第 1、第 2カメラ 1、 5で捉えた双方の映像内において、同一の映像生成対象である各立体物に対する視差を算出し、その視差に基づいて各立体物の位置をそれぞれ算出するとともに、この車両から 1番近い立体物を判別してその立体物に関する位置情報 (例えば、第 1カメラの映像での位置座標情報 (X, y)など）を基準決定部 14へ出力するようになって、る。

[0061] なお、認識部 6は、出力が基準決定部 14の入力に接続されており、その位置情報を基準決定部 14へ出力する。このため、基準決定部 14は、その位置情報に基づき、運転者にとって安全な運転などを行う上で重要度が高いと予想される (規準となるベき)撮像領域を決定する。つまり、本実施形態では、例えばこの車両カゝら最も近い立体物が中央に収まるように、画像領域を決定する。

[0062] 以上のように構成された車載カメラ装置にっ、て、動作を説明する。

初めに、センサ部 7を構成する第 1、第 2カメラ 1、 5から取り込んだ映像は、それぞれ、光電変換部 13、 53で電気信号に変換され、映像信号として映像生成部 16、 54 に出力される。一方、この映像信号を入力する認識部では、双方の映像信号から同一対象物を検知する。特に本実施形態では、車体から最も近い立体物を検知するとともに、その立体物に対する第 1、第 2カメラ 1、 5の視差力立体物までの距離を算出する。

[0063] このようにして、センサ部 7は、その視差に基づヽて各立体物の位置をそれぞれ算出するとともに、車体から 1番近い立体物を判別してその立体物に関する位置情報（例えば、第 1カメラの映像での位置座標情報 (X, y)など)を基準決定部 14へ出力する。

[0064] 次に、第 1カメラ 1は、センサ部 7から入力される前述した立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部 15により絞り及びゲインを調整して、モニタ 4へ映像信号を出力する。

例えば、車体近くの後方に立体物として人物が存在する場合、センサ部 7により人物が検知される。そして、第 1カメラ 1で撮影した映像情報などに関する信号についての出力は、その人物がモニタ 4に良好に表示されるように、調整部 15で絞り及びゲインが調整される。

[0065] なお、ここで、モニタ 4の画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、必ずしも人物などが良好な映像として表示されない場合もある。このような場合には、以下のような調整処理がなされる。

[0066] レンズ 11から取り込まれた光線は、第 1の実施形態で説明したように、絞り 12により光量が制限されて光電変換部 13に結像する。一方、調整部 15は、光電変換部 13から入力される信号と、センサ部 7から基準決定部 14を介して入力される調整基準範囲に関する信号とに基づいて、絞り 12の調整量を制御し、光電変換部 13へと入射して受光する光量を制御する。

[0067] ここで、基準決定部 14は、センサ部 7から入力される立体物の位置情報力調整基準範囲を決定し、調整部 15へ出力する。一方、調整部 15は、光電変換部 13から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部 16へ出力する。この映像生成部 16は、調整部 15から入力される信号をモニタ 4で表示できる信号形式へと変換する。従って、モニタ 4には、センサ部 7で検出された自車両に最も近い立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。

[0068] 基準決定部 14では、前述したように、例えば画面全体を縦横格子状に点線で示されるような複数の領域に予め分割しておくので、センサ部 7により立体物が検知されると、その位置がセンサ部 7から通知される。これにより、基準決定部 14は、センサ部 7が検知した立体物が表示される領域を算出する。このとき、センサ部 7の検知エリアと、第 1カメラ 1の撮影範囲とは予め対応付けておくことにより、基準決定部 14は、センサ部 7の認識部 6で検知した立体物の位置から、その立体物がカメラ 1の映像出力のどの領域に表示されるかを算出できる。その結果、基準決定部 14は、センサ部 7が検知した立体物が表示される領域を、調整基準範囲として調整部 15に通知する。なお、カメラ 2にも基準決定部を設けることにより、一旦検出した立体物を安定して検出することができる。

[0069] なお、本実施形態でも、センサ部 7により複数の立体物が検知された場合は、前述したように、車体に最も近い立体物が表示される領域のみを調整範囲として調整部 1 5に通知する力車体から一定の距離内に位置する立体物が表示される領域のみを調整範囲として調整部 15に通知するようにしてもよい。なお、センサ部 7により立体物が検知されない場合、基準決定部 14は予め定められた領域を調整基準範囲として出力する。

[0070] 以上、本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとつて明らかである。例えば、上記の第 1〜第 3の実施形態では、基準決定部 14は、調整基準領域の区別はしていないが、車両からの距離に応じて複数のレベルに分けて出力する一方、調整部 15では、各調整基準領域のレベルに応じて各領域の光電変換部 13からの信号に重み付けをして、絞り及びゲインを調整しても良!、。

[0071] 本出願は、 2004年 9月 10日出願の日本特許出願 (特願 2004— 264260)に基づくものであり、その内容はここに参照として取り込まれる。

産業上の利用可能性

[0072] 本発明のカメラ装置は、車両周辺を撮影するカメラと、カメラ映像を運転者に提示するモニタと、車両周辺の立体物を検知するセンサ部とを備えるカメラ装置にぉ、て、カメラは、ゲイン及び絞りを自動調整する調整部と、センサ部の出力を用いて調整基準とする画像領域を決定する基準決定部とを備えることにより、センサ部が検知した車両周辺の立体物を良好な映像として運転者に提供できる効果を有し、運転席からの後方確認などが難しいミニバンなどの大型乗用車や大型トラックなどに対する安全対策用の車載カメラ装置等として有用である。

Claims

請求の範囲

[1] レンズ、絞り、前記レンズ及び前記絞りを透過した後の光を受ける光電変換部を備え、車両周辺を撮影するカメラであって、

前記光電変換部及び前記絞りの駆動手段に接続され、ゲイン及び絞りを自動調整する調整部と、

車両周辺の立体物を検知するカメラ装置外部のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定する基準決定部と、

前記調整部から入力される信号をモニタで表示する信号形式へと変換する映像生成部と

を備えるカメラ。

[2] 前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフイツク部を請求項 1に記載の備えるカメラ。

[3] 前記基準決定部は、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項 1又は 2に記載のカメラ。

[4] 前記基準決定部は、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項 1又は 2に記載のカメラ。

[5] 前記調整部は、 ALC (Automatic Light Control)回路及び Z又は AGC (Automatic

Gain Control)回路を備える請求項 1〜4のいずれ 1項に記載のカメラ。

[6] 前記 ALC回路は、前記レンズ絞りを自動調整して入射光量を一定に保つ請求項 5 に記載のカメラ。

[7] 前記 AGC回路は、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する請求項 5に記載のカメラ。

[8] 車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、

前記カメラは、

ゲイン及び絞りを自動調整する調整部と、

前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部と

を備えるカメラ装置。

[9] 車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタと、前記映像内の、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部とを備えるカメラ装置において、

前記カメラは、

ゲイン及び絞りを自動調整する調整部と、

を備えるカメラ装置。

[10] 前記カメラで撮影された映像は、前記基準決定部で決定される調整基準とすべき画像領域の最小単位となる複数の領域に予め分割されており、

前記センサ部は、前記分割された領域が撮像する範囲毎に立体物を検知するように構成されているとともに、

前記調整部は、前記領域の少なくとも一つを調整基準の画像領域とする手段を備えている請求項 8又は 9に記載のカメラ装置。

[11] 前記基準決定部は、前記カメラの最も近くに検知された立体物が写って、る領域を調整基準領域として決定する機能を有する請求項 8から 10のいずれ力 1項に記載のカメラ装置。

[12] 前記基準決定部は、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項 8から 10のいずれか 1項に記載のカメラ装置。

[13] センサ部は、超音波センサ、レーザーレーダーセンサ、ミリ波レーダーセンサのいずれかを用いて、る請求項 8から 12の、ずれ 1項に記載のカメラ装置。

[14] 車両周辺を撮影する第 1カメラと、前記第 1カメラ及びこれとは別に設けた第 2カメラにより前記車両力前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、

前記第 1カメラは、レンズ及び絞りと、ゲイン及び前記絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えるとともに、

前記第 2カメラは、少なくとも、レンズ及び絞りと、映像生成部とを備えるカメラ装置。

[15] 前記センサ部は、前記車両から最も近い立体物を検知する認識部を備える請求項 14に記載のカメラ装置。

[16] 前記第 1カメラは、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備える請求項 14又は 15に記載のカメラ装置。

[17] 前記調整部は、 ALC (Automatic Light Control)回路及び Z又は AGC (Automatic

Gain Control)回路を備える請求項 8から 16のいずれ 1項に記載のカメラ装置。

[18] 前記 ALC回路は、前記レンズ絞りを自動調整して入射光量を一定に保つ請求項 1 7に記載のカメラ装置。

[19] 前記 AGC回路は、前記基準決定部力通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する請求項 17に記載のカメラ装置。

[20] 車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、

前記車両周辺を撮影する工程と、

前記車両周辺の立体物の位置を検出する工程と、

位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、

前記立体物の位置に関する情報から映像を調整する工程と、

前記調整された映像情報に基づき前記モニタに前記映像を表示する工程とを備えたカメラ装置による映像作成方法。

[21] 車両周辺を撮影する第 1カメラと、前記第 1カメラ及びこれとは別に設けた第 2カメラにより前記車両力前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、

前記車両周辺を撮影する工程と、

前記車両周辺の立体物の位置を検出する工程と、

[22] 前記映像内の前記立体物が存在する領域に、グラフィックを重畳するグラフィックェ程を備える請求項 20又は 21に記載のカメラ装置による映像作成方法。