JP6358214B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP6358214B2 JP6358214B2 JP2015186062A JP2015186062A JP6358214B2 JP 6358214 B2 JP6358214 B2 JP 6358214B2 JP 2015186062 A JP2015186062 A JP 2015186062A JP 2015186062 A JP2015186062 A JP 2015186062A JP 6358214 B2 JP6358214 B2 JP 6358214B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- vehicle
- control unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 289
- 238000004891 communication Methods 0.000 claims description 57
- 238000000034 method Methods 0.000 claims description 21
- 230000000875 corresponding effect Effects 0.000 description 56
- 238000001514 detection method Methods 0.000 description 38
- 238000006243 chemical reaction Methods 0.000 description 32
- 230000003287 optical effect Effects 0.000 description 29
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 15
- 238000012546 transfer Methods 0.000 description 11
- 238000009825 accumulation Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000012071 phase Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002161 passivation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
車両に搭載したカメラで取得した画像に基づいて車両の走行環境を検出し、検出した走行環境データに基づいて、先行車への追従走行などの自動走行制御や、警報、制動、操舵支援等の運転支援を行う技術が開発されている(特許文献1参照)。
しかしながら、今後、自動走行制御をしている自動車と、ドライバーによる手動運転で走行をしている自動車とが混在することが予想されるが、この点に関する提案は多くなかった。
Based on the image acquired by the camera mounted on the vehicle, the driving environment of the vehicle is detected, and based on the detected driving environment data, automatic driving control such as driving following the preceding vehicle, warning, braking, steering assistance, etc. A technology for supporting driving has been developed (see Patent Document 1).
However, in the future, it is expected that automobiles that are controlled automatically and automobiles that are driven manually by a driver will be mixed, but there have not been many proposals in this regard.
本発明による車に搭載される撮像装置は、前記車の外部を撮像する撮像部と、外部から、前記車の周囲の移動体に関する情報が入力される入力部と、前記入力部に入力された前記車の周囲の移動体に関する情報に基づいて、前記撮像部の一部の領域の撮像条件を変更する撮像制御部と、を有する。 An imaging apparatus mounted on a vehicle according to the present invention includes an imaging unit that captures an image of the outside of the vehicle, an input unit that inputs information about a moving body around the vehicle, and an input unit that inputs the information about the vehicle. An imaging control unit that changes imaging conditions of a partial area of the imaging unit based on information about a moving body around the vehicle .
図1は、一実施の形態に係る撮像装置を含む撮像システム1の構成を例示するブロック図である。撮像システム1は、自動車10と、他の車20と、交通信号生成装置30および信号機40とを利用する。
なお、信号機40に代え、または信号機40と併用して、道路に設置された情報提供システムやVICS(登録商標:Vehicle Information and Communication System)を用いても構わない。
FIG. 1 is a block diagram illustrating a configuration of an
Note that an information providing system or a VICS (registered trademark: Vehicle Information and Communication System) installed on the road may be used in place of or in combination with the traffic signal 40.
(自動車10)
自動車10は、車操作部11と、GPS機器12と、ナビシステム(ナビゲーションシステム)13と、光学系14と、光電変換部15と、通信部16と、記憶部17と、センサ18および制御部19とを備えている。なお、自動車10は、説明は省略するものの自動車としての基本構成を有する。
(Car 10)
The
車操作部11は、ハンドル(ステアリングホイール)、ターンシグナルスイッチ、シフトレバー、アクセル、ブレーキ、自動運転モードと手動運転モードとを切替え設定するスイッチなど、自動車の操作に係る各種操作部材を含む。
The
GPS機器12は、GPS衛星からの電波を受信して得た信号に基づき、自動車10の位置(経度、緯度など)を算出する。GPS機器12で算出された位置情報は、ナビシステム13や制御部19に出力される。
The
ナビシステム13は、GPS機器12等から自動車10の現在位置を検出して、現在位置に対応する地図データを記憶媒体やネットワークから取得して液晶モニターに表示し、入力された目的地まで走行経路を案内するシステムである。このナビシステム13は、ユーザからの操作を受け付ける操作部と、前述の液晶モニターと、音声ガイダンスを行うスピーカと、地図データを読み取る読み取り部などを有している。
The
光学系14は、複数のレンズから構成され、光電変換部15に被写体像を結像させる。光学系14を自動車10の前方に向けた場合、光電変換部15により自動車10の進行方向の画像が取得される。光学系14を自動車10の後方に向けた場合、光電変換部15により自動車10の進行方向と逆方向の画像が取得される。光学系14は、複数の走行レーン(2車線または3車線等)に対応した画角となっている。
なお、光学系14を複数設けてステレオカメラとしてもよい。
The
A plurality of
光電変換部15は、光学系14から入射した光に対応して画素信号を出力する撮像チップと、画素信号を処理する信号処理チップと、画素信号を記憶するメモリチップとが積層して構成されている撮像素子100を備える。撮像素子100は後に詳述するように、各画素又は複数画素(例えば16画素×16画素)からなる単位領域ごとに個別に撮像条件(撮像をしない場合も含む)を設定することができる。
The
本実施形態において、光学系14と光電変換部15とによってカメラの撮像部5を構成し、自動車10の周囲の対象物(移動体や障害物等)を撮像したり、路上の白線(黄色等の他の色のラインも含む)を撮像したりする。自動車10には、自動車10の前方の画像を取得する前方用の撮像部5と、自動車10の後方の画像を取得する後方用の撮像部5とが備えられている。
本説明では、走行路に引かれた白色等のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
なお、不図示ではあるもののレーダを設けて、このレーダと撮像部5(光学系14、光電変換部15)とにより周囲の対象物を検出するようにしてもよい。
In the present embodiment, the
In this description, a white line drawn on the road is called a white line. In addition, a white line including a solid line and a broken line is called.
Although not shown, a radar may be provided, and surrounding objects may be detected by the radar and the imaging unit 5 (the
通信部16は、他の車20や信号機40などの外部機器との間で、無線通信(光ビーコン、電波ビーコン、可視光通信を含む)を行う。通信方式は、どのようなものを用いても構わない。
The communication unit 16 performs wireless communication (including optical beacon, radio wave beacon, and visible light communication) with other devices such as
記憶部17は、例えば、フラッシュメモリ等の不揮発性の半導体メモリによって構成され、自動車10を走行させる(自動走行を含む)ための各種ブログラムや、制御パラメータを記憶する。 The storage unit 17 is configured by, for example, a non-volatile semiconductor memory such as a flash memory, and stores various programs for driving the automobile 10 (including automatic driving) and control parameters.
センサ18は、一または複数の車速センサ、ヨーレートセンサなどの各種センサを含む。車速センサは自動車10の車速Vを検出し、検出信号を制御部19などにそれぞれ送出する。ヨーレートセンサは自動車10のヨーレートを検出し、検出信号を制御部19などにそれぞれ送出する。ヨーレートは、車両等の旋回方向への回転角の変化速度である。
The sensor 18 includes various sensors such as one or a plurality of vehicle speed sensors and a yaw rate sensor. The vehicle speed sensor detects the vehicle speed V of the
制御部19は、自動車10全体を制御するものであり、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備える。本実施形態では、制御部19は、光電変換部15の撮像素子100の各単位領域の撮像条件を設定・制御する。また、制御部19は、車操作部11により自動運転モードが設定された場合には、撮像部5(光学系14、光電変換部15)により路上の白線を検出するとともに、撮像部5を用いて自動車10の周囲の移動体や障害物等を検出して、ナビシステム13と連携してナビシステム13に入力された目的地まで自動運転を行う。
The
なお、本実施形態において、自動運転モードとは、ハンドル、アクセル、ブレーキ、ターンシグナルスイッチ、シフトレバーの操作などを制御部19の制御により全て自動的に行うことをいう。また、手動運転とは、ハンドル、アクセル、ブレーキ、ターンシグナルスイッチ、シフトレバーの操作などをドライバーが行うことをいい、変速機がオートマチックトランスミッションの場合とマニュアルトランスミッションの場合とがある。また、自動運転モードは、全て制御部19の制御により運転を行う完全自動運転に加え、ユーザが車操作部11の操作を行っている場合でも制御部19が撮像部5、GPS12、通信部16、センサ18などの出力に基づき、衝突などを回避するように自動車10を停止したり、減速したりする準自動運転も含む。これにより、ユーザの自動車10の運転を楽しみながら安全を確保することができる。また、準自動運転は、ハンドル、アクセル、ブレーキ、ターンシグナルスイッチ、シフトレバーの操作などの一部をドライバーに代わって制御部19が制御する場合も含んでいる。
In the present embodiment, the automatic driving mode means that the steering wheel, accelerator, brake, turn signal switch, shift lever, and the like are all automatically controlled by the
(他の車20)
他の車20は、通信部21と、車操作部22と、記憶部23と、撮像部24および制御部25等を備えており、各部の機能は自動車10の機能と同様である。他の車20も図1では省略しているものの、自動車としての基本構成を有している。ただし、他の車20には、通信部21を備えていない車両もありうる。また、他の車20には、自動運転車と手動運転車とが混在している。このうち、少なくとも自動運転モードを備えた車両は、通信部21により車両同士が通信可能であり、自動運転中か手動運転中かに関する情報や、撮像部24によって取得された画像データを送受信可能に構成されている。
(Other car 20)
The
(交通信号生成装置30)
交通信号生成装置30は、信号機40の表示部42に表示される信号灯の制御を行う装置であり、信号情報生成部31と、記憶部32と、通信部33および制御部34とを有している。交通信号生成装置30は、交差点等に設けられた複数の信号機40にそれぞれ設置されうるが、複数の信号機40の制御を一つの交通信号生成装置30が行うようにしてもよい。
(Traffic signal generator 30)
The traffic
信号情報生成部31は、交差点等に設置された複数の信号機40の種類や設置位置、交通に関する不図示の交通管制センターからの指示等に基づいて交通信号を生成する。 The signal information generation unit 31 generates a traffic signal based on the types and installation positions of a plurality of traffic lights 40 installed at an intersection or the like, instructions from a traffic control center (not shown) regarding traffic, and the like.
記憶部32は、例えば、フラッシュメモリ等の不揮発性の半導体メモリによって構成され、交通信号生成装置30の各種プログラムや、制御パラメータ等を記憶する。
The storage unit 32 is configured by, for example, a nonvolatile semiconductor memory such as a flash memory, and stores various programs of the traffic
通信部33は、有線または無線により、一または複数の信号機40のそれぞれに信号情報生成部31にて生成された交通信号を送信する。また、通信部33は、交通管制センターとの間で情報の送受信を行う。 The communication unit 33 transmits the traffic signal generated by the signal information generation unit 31 to each of one or a plurality of traffic lights 40 by wired or wireless. The communication unit 33 transmits and receives information to and from the traffic control center.
制御部34は、交通信号生成装置30全体を制御するものであり、CPU、RAM、ROM等を備える。また、制御部34は、交通量等に基づいて、交通の状況に関する解析を行い、それを基に信号情報生成部31を制御することができる。
The
(信号機40)
信号機40は、通信部41と、表示部42と、光学系43と、光電変換部44と、記憶部45および制御部46とを有している。信号機40は、図1では1基図示したのみであるが、通常は複数の信号機40が設けられる。例えば交差点の場合、図2に例示するように、自動車用の信号機40aが4基、歩行者用の信号機40bが8基設けられる。信号機40は、それぞれ設置された位置に応じた交通信号を交通信号生成装置30より受信して表示部42の表示灯を点灯、点滅させる。
(Signal 40)
The traffic light 40 includes a communication unit 41, a display unit 42, an optical system 43, a photoelectric conversion unit 44, a storage unit 45, and a control unit 46. Although only one signal device 40 is shown in FIG. 1, a plurality of signal devices 40 are usually provided. For example, in the case of an intersection, as illustrated in FIG. 2, four
通信部41は、有線または無線により、信号情報生成部31にて生成された交通信号を受信する。また、通信部41は、自動車10、他の車20および他の信号機40との間で、車両の運転情報および交通に関する情報など、種々の情報を送受信する。
The communication unit 41 receives the traffic signal generated by the signal information generation unit 31 by wire or wireless. In addition, the communication unit 41 transmits and receives various information such as vehicle driving information and traffic information to and from the
表示部42は、信号灯を有し、通信部41が受信した交通信号に応じて信号灯の表示を行う。具体的には、路上を走行する車両、道路を横断する歩行者に対して、進行、停止等の移動を許可または制限するために、信号灯を点灯、点滅、消灯する。なお、表示部42は、赤色灯、黄色灯、青色灯だけでなく、交差点において直進可、左折可、右折可を示す矢印灯を点灯させてもよい。 The display unit 42 includes a signal lamp, and displays the signal lamp according to the traffic signal received by the communication unit 41. Specifically, a signal lamp is turned on, blinked, or turned off in order to permit or limit movement such as travel and stop for vehicles traveling on the road and pedestrians crossing the road. The display unit 42 may turn on not only a red light, a yellow light, and a blue light, but also an arrow light indicating that the vehicle can go straight, can turn left, and can turn right at an intersection.
本実施形態において、光学系43と光電変換部44とによってカメラの撮像部50が構成される。光学系43は、複数のレンズから構成され、光電変換部44に被写体像を結像させる。撮像部50が自動車用の信号機40aに設けられている場合、光学系43は、主に車両の画像取得に用いられる。撮像部50が歩行者用の信号機40bに設けられている場合、光学系43は、主に歩行者(自転車を含む)の画像取得に用いられる。撮像部50は、表示部42(信号灯)の近傍に設けられる。
In the present embodiment, the optical system 43 and the photoelectric conversion unit 44 constitute an
光電変換部44は、光学系43から入射した光に対応して画素信号を出力する撮像チップと、画素信号を処理する信号処理チップと、画素信号を記憶するメモリチップとが積層して構成されている撮像素子100を備える。上述した自動車10における光電変換部15と同様の構成である。撮像素子100は、各画素又は複数画素(例えば16画素×16画素)からなる単位領域ごとに、交通信号に応じて撮像条件を設定することができる。
The photoelectric conversion unit 44 is configured by stacking an imaging chip that outputs a pixel signal corresponding to light incident from the optical system 43, a signal processing chip that processes the pixel signal, and a memory chip that stores the pixel signal. The
図3は、交差点に配置された自動車用の信号機40aを例示する図である。図3において、信号機40aの表示部42aの下方近傍に撮像部50が設置されている。撮像部50は、例えば、光学系43として広角レンズを有し、図2に例示する交差点の複数の走行レーン(片側2車線等)の両側4車線を含む画角を有している。
FIG. 3 is a diagram illustrating an
記憶部45は、例えば、フラッシュメモリ等の不揮発性の半導体メモリによって構成され、光電変換部44で取得された画像データ等を記憶する。 The storage unit 45 is configured by, for example, a nonvolatile semiconductor memory such as a flash memory, and stores the image data acquired by the photoelectric conversion unit 44.
制御部46は、信号機40全体を制御するものであり、CPU、RAM、ROM等を備える。本実施形態において、制御部46は、交通信号に応じて表示部42の信号灯の表示制御を行うとともに、光電変換部44の撮像素子100を用いた撮像を制御する。
The control unit 46 controls the entire traffic signal 40 and includes a CPU, a RAM, a ROM, and the like. In the present embodiment, the control unit 46 performs display control of the signal lamp of the display unit 42 according to the traffic signal, and controls imaging using the
なお、自動車用の信号機40aの撮像部50による撮影範囲に、歩行者用の信号機40bの撮像部50による撮影範囲が含まれている場合は、歩行者用の信号機40bの撮像部50(光学系43、光電変換部44)を省略してもよい。
In addition, when the imaging range by the
<積層型撮像素子の説明>
上述した自動車10、他の車20、および信号機40において撮像部に備わる積層型撮像素子100について説明する。なお、この積層型撮像素子100は、本願出願人が先に出願して公開されたWO13/164915号に記載されているものである。図4は、積層型撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する裏面照射型撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
<Description of Laminated Image Sensor>
The
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面(撮像面)と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図4の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
As shown in the figure, incident light is incident mainly in the positive direction of the Z-axis indicated by a white arrow. In the present embodiment, in the
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD(フォトダイオード)104、および、PD104に対応して設けられたトランジスタ105を有する。
An example of the
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が、一つの画素を形成する。
A
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
On the incident light incident side of the
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
The
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
A plurality of
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
Similarly, a plurality of
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
The bonding between the
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられてよい。
The
図5は、撮像チップ113の画素配列と単位領域131を説明する図である。特に、撮像チップ113を裏面(撮像面)側から観察した様子を示す。画素領域には例えば2000万個以上もの画素がマトリックス状に配列されている。図5の例では、隣接する4画素×4画素の16画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
FIG. 5 is a diagram for explaining the pixel array and the
画素領域の部分拡大図に示すように、図5の単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素Gb、Grは、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
As shown in the partially enlarged view of the pixel region, the
本実施形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数(語長)等である。撮像素子100は、行方向(撮像チップ113のX軸方向)の間引きのみでなく、列方向(撮像チップ113のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
In the present embodiment, a plurality of blocks are defined so as to include at least one
図6は、単位領域131における回路を説明する図である。図6の例では、隣接する3画素×3画素の9画素により一つの単位領域131を形成する。なお、上述したように単位領域131に含まれる画素の数はこれに限られず、これ以下でもこれ以上でもよい。単位領域131の二次元的な位置を符号A〜Iにより示す。
FIG. 6 is a diagram for explaining a circuit in the
単位領域131に含まれる画素のリセットトランジスタは、画素ごとに個別にオンオフ可能に構成される。図6において、画素Aのリセットトランジスタをオンオフするリセット配線300が設けられており、画素Bのリセットトランジスタをオンオフするリセット配線310が、上記リセット配線300とは別個に設けられている。同様に、画素Cのリセットトランジスタをオンオフするリセット配線320が、上記リセット配線300、310とは別個に設けられている。他の画素Dから画素Iに対しても、それぞれのリセットトランジスタをオンオフするための専用のリセット配線が設けられている。
The reset transistors of the pixels included in the
単位領域131に含まれる画素の転送トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図6において、画素Aの転送トランジスタをオンオフする転送配線302、画素Bの転送トランジスタをオンオフする転送配線312、画素Cの転送トランジスタをオンオフする転送配線322が、別個に設けられている。他の画素Dから画素Iに対しても、それぞれの転送トランジスタをオンオフするための専用の転送配線が設けられている。
The transfer transistors of the pixels included in the
さらに、単位領域131に含まれる画素の選択トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図6において、画素Aの選択トランジスタをオンオフする選択配線306、画素Bの選択トランジスタをオンオフする選択配線316、画素Cの選択トランジスタをオンオフする選択配線326が、別個に設けられている。他の画素Dから画素Iに対しても、それぞれの選択トランジスタをオンオフするための専用の選択配線が設けられている。
Furthermore, the selection transistors of the pixels included in the
なお、電源配線304は、単位領域131に含まれる画素Aから画素Iで共通に接続されている。同様に、出力配線308は、単位領域131に含まれる画素Aから画素Iで共通に接続されている。また、電源配線304は複数の単位領域間で共通に接続されるが、出力配線308は単位領域131ごとに個別に設けられる。負荷電流源309は、出力配線308へ電流を供給する。負荷電流源309は、撮像チップ113側に設けられてもよいし、信号処理チップ111側に設けられてもよい。
Note that the
単位領域131のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域131に含まれる画素Aから画素Iに対して独立して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域131の選択トランジスタを個別にオンオフすることにより、各画素Aから画素Iの画素信号を共通の出力配線308を介して出力することができる。
By individually turning on and off the reset transistor and the transfer transistor in the
ここで、単位領域131に含まれる画素Aから画素Iについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図6の例では「ABCDEFGHI」の順序で画素信号が出力される。
Here, a so-called rolling shutter system is known in which charge accumulation is controlled in a regular order with respect to rows and columns for pixels A to I included in the
このように単位領域131を基準として回路を構成することにより、単位領域131ごとに電荷蓄積時間を制御することができる。換言すると、単位領域131間で異なったフレームレートによる画素信号をそれぞれ出力させることができる。また、撮像チップ113において一部のエリアに含まれる単位領域131に電荷蓄積(撮像)を行わせる間に他のエリアに含まれる単位領域131を休ませることにより、撮像チップ113の所定のエリアでのみ撮像を行わせて、その画素信号を出力させることができる。さらに、フレーム間で電荷蓄積(撮像)を行わせるエリア(蓄積制御の対象エリア)を切り替えて、撮像チップ113の異なるエリアで逐次撮像を行わせて、画素信号を出力させることもできる。
Thus, by configuring the circuit with the
図7は、図6に例示した回路に対応する撮像素子100の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位領域131を形成する9個のPD104を順番に選択して、それぞれの画素信号を当該単位領域131に対応して設けられた出力配線308へ出力させる。マルチプレクサ411は、PD104と共に、撮像チップ113に形成される。
FIG. 7 is a block diagram illustrating a functional configuration of the
マルチプレクサ411を介して出力された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。デマルチプレクサ413および画素メモリ414は、メモリチップ112に形成される。
The pixel signal output via the
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図7では1つの単位領域131の分の接続を示すが、実際にはこれらが単位領域131ごとに存在して、並列で動作する。ただし、演算回路415は単位領域131ごとに存在しなくてもよく、例えば、一つの演算回路415がそれぞれの単位領域131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
The
上記の通り、単位領域131のそれぞれに対応して出力配線308が設けられている。撮像素子100は撮像チップ113、信号処理チップ111およびメモリチップ112を積層しているので、これら出力配線308にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
As described above, the output wiring 308 is provided corresponding to each of the
<測距の説明>
図8は、撮像素子100の撮像面における焦点検出用画素の位置を例示する図である。本実施形態では、撮像チップ113のX軸方向(水平方向)に沿って離散的に焦点検出用画素が並べて設けられている。図8の例では、15本の焦点検出画素ライン60が所定の間隔で設けられる。焦点検出画素ライン60を構成する焦点検出用画素は、測距用の画像信号を出力する。撮像チップ113において焦点検出画素ライン60以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、移動体や障害物等を監視する画像信号を出力する。
<Explanation of distance measurement>
FIG. 8 is a diagram illustrating the position of the focus detection pixel on the imaging surface of the
図9は、上記焦点検出画素ライン60のうち一つのラインの一部を含む領域を拡大した図である。図9において、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bと、焦点検出用画素P1、および焦点検出用画素P2とが例示される。赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bは、上述したベイヤー配列の規則にしたがって配される。 FIG. 9 is an enlarged view of a region including a part of one of the focus detection pixel lines 60. In FIG. 9, a red pixel R, a green pixel G (Gb, Gr), and a blue pixel B, a focus detection pixel P1, and a focus detection pixel P2 are illustrated. The red pixel R, the green pixel G (Gb, Gr), and the blue pixel B are arranged according to the rules of the Bayer arrangement described above.
赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系の射出瞳を通る光束を受光する。すなわち、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。 The square area illustrated for the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B indicates a light receiving area of the imaging pixel. Each imaging pixel receives a light beam passing through the exit pupil of the imaging optical system. That is, the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B each have a square-shaped mask opening, and light passing through these mask openings reaches the light-receiving portion of the imaging pixel. .
なお、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bの受光領域(マスク開口部)の形状は四角形に限定されず、例えば円形であってもよい。 In addition, the shape of the light receiving region (mask opening) of the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B is not limited to a quadrangle, and may be, for example, a circle.
焦点検出用画素P1、および焦点検出用画素P2について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素P1は、図9において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素P1の受光部に到達する。一方、焦点検出用画素P2は、図9において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素P2の受光部に到達する。このように、焦点検出用画素P1および焦点検出用画素P2は、撮像光学系の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。 The semicircular regions exemplified for the focus detection pixel P1 and the focus detection pixel P2 indicate the light receiving region of the focus detection pixel. That is, the focus detection pixel P1 has a semicircular mask opening on the left side of the pixel position in FIG. 9, and light passing through the mask opening reaches the light receiving portion of the focus detection pixel P1. On the other hand, the focus detection pixel P2 has a semicircular mask opening on the right side of the pixel position in FIG. 9, and light passing through the mask opening reaches the light receiving portion of the focus detection pixel P2. In this way, the focus detection pixel P1 and the focus detection pixel P2 respectively receive a pair of light beams that pass through different regions of the exit pupil of the imaging optical system.
なお、撮像チップ113における焦点検出画素ラインの位置は、図8に例示した位置に限定されない。また、焦点検出画素ラインの数についても、図8の例に限定されるものではない。さらに、焦点検出用画素P1および焦点検出用画素P2におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素R、撮像用画素G、撮像用画素Bにおける四角形状受光領域(マスク開口部)を横方向に分割した長方形状としてもよい。
Note that the position of the focus detection pixel line in the
また、撮像チップ113における焦点検出画素ラインは、撮像チップ113のY軸方向(鉛直方向)に沿って焦点検出用画素を並べて設けたものでもよい。図9のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。
The focus detection pixel line in the
なお、図9の例では、焦点検出用画素P1、P2がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる1PD構造を説明した。この代わりに、例えば特開2007−282107号公報に開示されるように、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる2PD構造にしてもよい。このように2PD構造にすることにより、焦点検出用画素からも画像データを読み出すことが可能となり、焦点検出画素が欠陥画素になることがない。 In the example of FIG. 9, the configuration in which the focus detection pixels P <b> 1 and P <b> 2 each receive one of a pair of focus detection light beams, the so-called 1PD structure, has been described. Instead, as disclosed in, for example, Japanese Patent Application Laid-Open No. 2007-282107, a configuration in which the focus detection pixels receive both of a pair of light beams for focus detection, a so-called 2PD structure, may be used. By adopting the 2PD structure in this manner, it is possible to read image data from the focus detection pixels, and the focus detection pixels do not become defective pixels.
本実施形態では、焦点検出用画素P1および焦点検出用画素P2から出力される測距用の画像信号に基づいて、撮像光学系の異なる領域を通る一対の光束による一対の像の像ズレ量(位相差)を検出することにより、撮像光学系の焦点調節状態(デフォーカス量)を演算する。 In the present embodiment, based on the distance measurement image signals output from the focus detection pixel P1 and the focus detection pixel P2, the amount of image misalignment between a pair of images due to a pair of light beams passing through different regions of the imaging optical system ( By detecting the (phase difference), the focus adjustment state (defocus amount) of the imaging optical system is calculated.
一般に、上記一対の像は、撮像光学系が予定焦点面よりも前に対象物(例えば先行車)の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に予定焦点面より後ろに対象物の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。予定焦点面において対象物の鮮鋭像を結ぶ合焦状態には、上記一対の像が相対的に一致する。したがって、一対の像の相対位置ズレ量は、対象物までの距離(奥行き情報)に対応する。 In general, the pair of images are close to each other in a so-called front pin state in which the imaging optical system forms a sharp image of an object (for example, a preceding vehicle) before the planned focal plane, and conversely, In a so-called rear pin state that connects sharp images, they move away from each other. The pair of images relatively coincide with each other in a focused state that connects a sharp image of the object on the planned focal plane. Therefore, the relative positional deviation amount of the pair of images corresponds to the distance (depth information) to the object.
上記位相差に基づくデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。ここで、デフォーカス量と対象物までの距離とは一対一で対応するため、対象物ごとにデフォーカス量を求めることにより、カメラから各対象物までの距離を求めることができる。すなわち、撮影画面の複数の位置で、それぞれ上記対象物までの距離測定(測距)が行える。デフォーカス量と対象物までの距離との関係は、あらかじめ数式またはルックアップテーブルとして用意し、不揮発性メモリ等に格納しておく。 Since the defocus amount calculation based on the phase difference is known in the field of cameras, detailed description thereof is omitted. Here, since the defocus amount and the distance to the object correspond one-to-one, the distance from the camera to each object can be obtained by obtaining the defocus amount for each object. That is, distance measurement (ranging) to the object can be performed at a plurality of positions on the shooting screen. The relationship between the defocus amount and the distance to the object is prepared as a mathematical expression or a lookup table in advance and stored in a nonvolatile memory or the like.
<自動車の制御>
以下、自動車10の制御部19が実行する制御について、図10のフローチャートを参照して説明する。なお、このフローチャートは自動車10の起動、例えばエンジンの始動または運転システム等の始動により開始されるものとする。図10のフローチャートによる処理を実行するためのプログラムは、制御部19にあるROM等の記憶媒体、または自動車10の記憶部17に格納されている。
<Automotive control>
Hereinafter, the control executed by the
制御部19は、ステップS1において、光電変換部15の撮像素子100による撮像を開始させる。上述したように、自動車10の撮像部5(光学系14、光電変換部15)は、自動車10の前後の画像をそれぞれ取得する。
In step S <b> 1, the
制御部19は、ステップS2において、通信部16を介して、他の車20(自動車10と同じレーンを走行する車両に加え、自動車10と同じ進行方向で異なる走行レーンを走行する車両)と通信を行う。本実施形態においては、図11(a)に示したように、自動車10と同じレーンを走行する前の車両73Aが自動運転車であり、隣の走行レーン(進行方向同じ)を走行する前の車両72Aが手動運転車であるとする。また、自動車10と同じレーンを走行する後ろの車両73Bが自動運転車であり、隣の走行レーン(進行方向同じ)を走行する後ろの車両72Bが手動運転車であるとする。
In step S <b> 2, the
自動車10の周囲の車両が自動運転車か手動運転車かは、通信部16による公知の車車間通信などの通信結果に基づき判別する。また、他の車20に識別マークなどが表示される場合には、撮像部5(光学系14、光電変換部15)による撮像結果に基づき判別してもよい。識別マークは、所定のマークやコードを車両のボディに表示するものでもよく、車両のルーフ等に設けた不図示の表示部に識別情報を表示させるものでもよい。
なお、通信結果(通信不能)や撮像結果に基づき自動運転車か手動運転車かを判別できない他の車20については、制御部19は、手動運転車であると推定するものとする。
Whether the vehicle around the
Note that the
制御部19は、ステップS3において、光電変換部15の撮像素子100の上記単位領域131(図5)ごとに個別に撮像条件を設定する。図11(b)および図11(c)は、それぞれ自動車10の前方および後方を撮像する撮像素子100に結像される被写体(対象物)の像を模式的に示す図である。実際には倒立逆像が結像されるが、分かりやすくするために正立正像として図示している。白線80aは、進行方向に向かって道路左側の区画線、白線80bは走行レーン(車線)の境界線、白線80cは道路右側の区画線を表す。
In step S <b> 3, the
上述したように、自動車10の隣のレーンを走行する前後の車両72A、72Bは手動運転車であるため、制御部19は、図11(b)において車両72Aを含む領域を注目領域71Aとする。そして、注目領域71Aに該当する撮像素子100の単位領域のフレームレートを通常領域のフレームレートより高く設定し(例えば60fps)、間引き率を通常領域より低い0〜20%とする。
As described above, since the
同様に、制御部19は、図11(c)において車両72Bを含む領域を注目領域71Bとする。そして、注目領域71Bに該当する撮像素子100の単位領域のフレームレートを通常領域のフレームレートより高く設定し(例えば60fps)、間引き率を通常領域より低い0〜20%とする。
制御部19はさらに、この間引き率を自動車10の移動速度または自動車10と他の車20との相対的な移動速度に応じて設定変更する。例えば、相対的な移動速度が速くなるに連れて間引き率を低く変更する。
Similarly, the
The
なお、図11(b)は注目領域71Aを除く領域を全て通常領域とする例であるが、自動運転車である車両73Aを囲む領域を準注目領域74Aとし、注目領域71Aおよび準注目領域74Aを除く領域を通常領域としてもよい。また、図11(c)は注目領域71Bを除く領域を全て通常領域とする例であるが、自動運転車である車両73Bを囲む領域を準注目領域74Bとし、注目領域71Bおよび準注目領域74Bを除く領域を通常領域としてもよい。なお、制御部19は、準注目領域74A,Bの撮像条件を完全自動運転と準自動運転とで異なる設定としてもよい。この場合、制御部19は、準自動運転の場合の撮像素子100のフレームレートを完全自動運転の場合の撮像素子100のフレームレートよりも高く設定すればいい。また、制御部19は、完全自動運転の場合にその撮像領域を通常領域と設定してもよい。
FIG. 11B is an example in which all the regions except the
制御部19は、それぞれ自動車10の前方および後方を撮像する撮像素子100に対し、準注目領域74A、74Bに該当する撮像素子100の単位領域のフレームレートを、通常領域のフレームレートより低く設定し(例えば30fps)、間引き率を30〜60%程度に設定する。
The
また、制御部19は、上記注目領域71A、71Bに加えて、路上の白線が含まれる領域を注目領域としてよい。そして、それぞれ自動車10の前方および後方を撮像する撮像素子100に対し、注目領域に該当する撮像素子100の単位領域のフレームレートを、通常領域のフレームレートより高く設定し(例えば60fps)、間引き率を0〜20%とする。
このように、手動運転車と自動運転車とを撮像する際に撮像素子100の単位領域ごとに撮像条件を異ならせることにより、撮像素子100を効率的に使用することができ、消費電力や発熱を抑えることができる。
In addition to the
As described above, when imaging the manually-driven vehicle and the automatically-driven vehicle, the
制御部19は、図10のステップS4において、通信部16を介して信号機40と通信可能かどうか、すなわち信号機40(交差点)に近づいてきたかどうか等を判断する。制御部19は、信号機40との通信ができない(通信可能エリア外)場合には、ステップS4を否定判定してステップS7に進む。一方、制御部19は、信号機40との通信が可能な(通信可能エリア内)場合は、ステップS4を肯定判定してステップS5に進む。
In step S4 of FIG. 10, the
制御部19は、ステップS5において、信号機40(自動車用の信号機40aまたは歩行者用の信号機40b)の光電変換部44によって取得された画像に基づく情報を受信する。例えば、制御部19は、自動車10が左折する場合(米国などの車両が右側通行の地域では右折する場合)に、歩行者用の信号機40bから人物に関する情報を受信する。この場合、信号機40の制御部46が光電変換部44によって取得された画像に基づいて歩行者の有無を判断し、制御部19が、制御部46によって判断された歩行者に関する情報を受信する。
なお、自動車10の制御部19が、信号機40の光電変換部44によって取得された画像データを受信し、受信した画像データに基づいて歩行者の有無を判断するようにしてもよい。
In step S5, the
Note that the
制御部19は、自動車10が右折をする場合(車両が右側通行の地域では左折する場合)に、対向車線の直進車が自動運転車か手動運転車かといった情報を自動車用の信号機40aから受信する。さらに、制御部19は、自動車用の信号機40aから交通信号の切り替わりに関する情報(例えば数秒後に青信号から赤信号に変わる等の信号切り替え情報)を受信する。
When the
制御部19は、ステップS6において、ステップS5にて入手した情報に基づいて光電変換部15の撮像素子100の撮像条件を設定する。制御部19は、例えば自動車10が交差点で左折する場合に、撮影画面の左側に対応する撮像素子100の単位領域のフレームレートを、撮影画面の右側に対応する単位領域のフレームレートより高くしたり、自動車10の速度や歩行者の移動速度(例えば時速4km/h)に対応して上記フレームレートを変化させたりする。
In step S6, the
例えば、時速50km/hで移動していた自動車10が、左折のために10km/h程度まで減速した場合には、撮影画面の左側に対応する単位領域のフレームレートを減速前に比べて下げる。また、制御部19は、自動車10が左折する場合に、歩道を渡る歩行者が自動車10に近付いてくるのか、または歩行者が自動車10から遠ざかるのかに応じて、撮像素子100の撮像条件を設定する。すなわち、制御部19は、自動車10に近づいてくる人に対応する撮像素子100の単位領域のフレームレートを高くするとともに間引き率を低くして、自動車10から遠ざかる歩行者(特に自動車10が通過予定の横断歩道をすでに渡り終えた人)に対応する撮像素子100の単位領域のフレームレートを低くするとともに間引き率を高くする。
For example, when the
また、自動車10が交差点で右折する場合に、制御部19は、対向車線から直進して来る他の車20が手動運転車である場合には、撮影画面の右側に対応する単位領域のフレームレートを撮影画面の左側に対応する単位領域のフレームレートより相対的に高くして、間引き率を低くする。また、右折先の横断歩道を渡る歩行者が自動車10に近づいてきている場合には、近づいてくる歩行者に対応する撮像素子100の単位領域のフレームレートをさらに高くして、間引き率をさらに低くする。
When the
制御部19は、自動車10が右折・左折をする場合に、ターンシグナルスイッチの操作状態や、ハンドルの操作量に応じて、注目すべき撮像領域を予測(歩行者等が写りこむ可能性がある撮像領域を予測)して、撮像条件を設定変更するようにしてもよい。
When the
また、制御部19は、自動車用の信号機40aから交通信号の切り替わりに関する情報を受信して、その情報に基づいて撮像素子100の撮像条件を変更する。例えば、制御部19は、数秒後に青信号から赤信号に変わるという交通信号の切り替わりに関する情報を自動車用の信号機40aから受信し、自動車10が減速する場合には、前方を撮像する撮像素子100のフレームレートを減速前より低くしたり、間引き率を高くしたりするように制御する。一方、制御部19は、後方を撮像する撮像素子100の撮像条件はそのまま維持するように制御する。
なお、自動車10が減速すると、後続車が自動車10に接近することが予想されるので、後方を撮像する撮像素子100のフレームレートを、減速前より高くしたり、間引き率を低くしたりする制御を行ってもよい。
制御部19は、自動車10が速度を変更する場合に、ブレーキやアクセルの操作量(ペダルの踏み込み量)に応じて速度変化を予測して、撮像条件を設定変更するようにしてもよい。
Moreover, the
In addition, when the
When the
制御部19は、ステップS7において、エンジン(または運転システム)がオンかどうかを判定する。制御部19は、エンジン(または運転システム)がオンであればステップS7を肯定判定してステップS2以降の処理を繰り返す。制御部19は、エンジン(または運転システム)がオフであればステップS7を否定判定し、本フローチャートによる処理を終了する。
In step S7, the
<信号機の制御>
次に、信号機40の制御部46が実行する制御について、図12のフローチャートを参照して説明する。図12のフローチャートによる処理を実行するためのプログラムは、制御部46にあるROM等の記憶媒体、または記憶部45に格納されている。
<Control of traffic light>
Next, the control executed by the control unit 46 of the traffic light 40 will be described with reference to the flowchart of FIG. A program for executing the processing according to the flowchart of FIG. 12 is stored in a storage medium such as a ROM in the control unit 46 or the storage unit 45.
制御部46は、ステップS10において、交通信号生成装置30から交通信号を受信したかを判定する。制御部46は、交通信号生成装置30からの交通信号を受信すると、ステップS10を肯定判定してステップS11に進む。制御部46は、交通信号生成装置30からの交通信号を受信していない場合は、ステップS10を否定判定して受信を待つ。
In step S <b> 10, the control unit 46 determines whether a traffic signal has been received from the traffic
制御部46は、ステップS11において、表示部42の表示制御を行う。例えば、制御部46は交通信号生成装置30から受信した交通信号に応じて表示部42の信号灯表示を赤から青に切り替える制御を行う。
The control unit 46 performs display control of the display unit 42 in step S11. For example, the control unit 46 performs control to switch the signal lamp display of the display unit 42 from red to blue according to the traffic signal received from the traffic
制御部46は、ステップS12において、一若しくは複数の車両または他の信号機40と通信を行う。制御部46が通信対象とする車両には、自動車10、および通信部21を備える他の車20を含むことができる。
なお、通信対象車両は、交差点または信号機40から所定の範囲内にある車両としてもよいし、道路に設置された不図示の情報提供システム等を介して通信可能な車両としてもよい。
In step S12, the control unit 46 communicates with one or a plurality of vehicles or other traffic signals 40. Vehicles to be communicated by the control unit 46 can include the
The communication target vehicle may be a vehicle within a predetermined range from the intersection or the traffic light 40, or may be a vehicle that can communicate via an information providing system (not shown) installed on the road.
制御部46は、通信対象車両から、該車両または該車両の周辺の車両が自動運転車であるか手動運転車であるか等の移動方式についての情報を取得する。さらに、制御部46は、通信対象車両から、該車両または該車両の周辺の車両の運転状況に関する情報を取得する。例えば、通信対象車両の制御部19または制御部25が、ウィンカー(方向指示器)を作動させるためのターンシグナルスイッチの状態から交差点での進路変更(右折または左折)を予測する。制御部46は、通信対象車両によって予測された右折予測情報または左折予測情報を、上記運転状況に関する情報として通信対象車両から取得する。
The control unit 46 acquires information on the movement method such as whether the vehicle or a vehicle around the vehicle is an automatic driving vehicle or a manual driving vehicle from the communication target vehicle. Furthermore, the control part 46 acquires the information regarding the driving | running state of this vehicle or the surrounding vehicle of this vehicle from a communication object vehicle. For example, the
なお、車両が自動運転車であるか手動運転車であるかは、制御部46が通信対象車両との通信結果に基づき判別してもよい。また、車両に識別マークなどが表示される場合には、制御部46が、撮像部(光学系43、光電変換部44)による撮像結果に基づき判別してもよい。さらに、車両の進路変更(右折または左折)については、制御部46が、撮像部(光学系43、光電変換部44)による撮像結果に基づき、該車両のウィンカーの作動状態から判別してもよく、該車両が左折レーン上にあるか、右折レーン上にあるかによって判別してもよい。 Note that the control unit 46 may determine whether the vehicle is an automatic driving vehicle or a manual driving vehicle based on a communication result with the communication target vehicle. Further, when an identification mark or the like is displayed on the vehicle, the control unit 46 may determine based on the imaging result by the imaging unit (the optical system 43 and the photoelectric conversion unit 44). Furthermore, the change of the course of the vehicle (right turn or left turn) may be determined by the control unit 46 based on the imaging result of the imaging unit (optical system 43, photoelectric conversion unit 44) from the operating state of the winker of the vehicle. Alternatively, the determination may be made based on whether the vehicle is on the left turn lane or the right turn lane.
また、制御部46は、自動車用の信号機40aまたは歩行者用の信号機40bを含む他の信号機40とも通信を行い、交差点等における交通状況の情報を取得することができる。制御部46はさらに、必要に応じて、各信号機の交通信号生成に係る交通信号生成装置30と通信を行い、交通信号の表示状況についての情報を取得する。
The control unit 46 can also communicate with other traffic signals 40 including the
制御部46は、ステップS13において、表示部42の信号灯の表示状況、およびステップS12で取得した情報に基づいて、光電変換部44の撮像素子100の撮像条件を設定する。光電変換部44の撮像素子100における撮像条件の設定の詳細については後述する。
In step S <b> 13, the control unit 46 sets the imaging condition of the
制御部46は、ステップS14において、ステップS13で設定された撮像条件の下に撮像部(光学系43、光電変換部44)による撮像を行わせる。 In step S14, the control unit 46 causes the imaging unit (the optical system 43 and the photoelectric conversion unit 44) to perform imaging under the imaging conditions set in step S13.
制御部46は、ステップS15において、ステップS14で取得した画像データを、通信部41を介して、自動車10、他の車20または他の信号機40等に送信する。また、制御部46は、上記画像データに基づいて画像処理または画像解析を行い抽出した各情報、例えば、車両の方向、速さ等の各データと、ウィンカー等の作動状態の識別とにより推定した当該車両の走行レーンの情報も、同様に送信する。
In step S <b> 15, the control unit 46 transmits the image data acquired in step S <b> 14 to the
さらに、制御部46は、解析した情報に基づいて通信対象車両(自動車10や他の車20)の推定される走行レーンや障害となる対象物(車両や歩行者を含む)を認識し、認識結果を基にメッセージを生成し、メッセージを通信部41から通信対象車両へ送信させてもよい。メッセージは、例えば「後方から二輪車が来ます。」、「歩行者が横断します。」、「対向車両が直進します。」などである。制御部46は、ステップS10からステップS15までの処理を、繰り返し実行する。
Further, the control unit 46 recognizes and recognizes the estimated travel lane of the communication target vehicle (the
<信号機における撮像条件の設定>
図13は、自動車用の信号機40aが青信号を表示しているときの、自動車用の信号機40aと一体として設置、あるいはその近傍に設置された撮像部50−1の撮像素子100における撮像条件の制御の例を示す図である。
<Setting imaging conditions in traffic light>
FIG. 13 shows control of imaging conditions in the
図13において、走行レーン(車線)Aに対する自動車用の信号機40aと、撮像部50−1と、交通信号生成装置30−1とが示されている。当該交差点にあるその他の信号機等は、図示が省略されている。自動車用の信号機40aの制御部46は、撮像部50−1の撮像領域70の範囲内で、青信号により車両が移動している走行レーンの範囲を、注目領域71として設定する(網掛けの範囲)。
In FIG. 13, a
制御部46は、注目領域71に対応する撮像素子100の単位領域について、注目領域71以外の単位領域よりフレームレートを高くしたり、間引き率を低くしたりして制御する。また、図13の注目領域71において自動運転でない手動運転車である車両72が存在するときは、制御部46は、車両72を囲む領域を特注目領域75として設定する。そして、特注目領域75に対応する撮像素子100の単位領域のフレームレートを、注目領域71に対応する単位領域よりもさらに高くする。制御部46は、特注目領域75に対応する撮像素子100の単位領域の間引き率についても、注目領域71に対応する単位領域の間引き率よりもさらに低く制御する。
The control unit 46 controls the unit area of the
また、制御部46は、注目領域71の中で、右左折のために一時停止している車両76、車両77を含む領域についても、それぞれ、注目領域71に対応する単位領域より間引き率を低くすることによって高解像度で撮像することができる。
In addition, the control unit 46 also lowers the thinning rate for the region including the
図14は、自動車用の信号機40aが赤信号を表示しているときの、自動車用の信号機40aと一体として設置、あるいはその近傍に設置された撮像部50−1の撮像素子100における撮像条件の制御の例を示す図である。
FIG. 14 shows an imaging condition in the
図14において、走行レーン(車線)Aに対する自動車用の信号機40aと、撮像部50−1と、交通信号生成装置30−1とが示されている。当該交差点にあるその他の信号機等は、図示が省略されている。制御部46は、撮像部50−1の撮像領域70の範囲内で、歩行者90が進入しうる横断歩道およびその付近を注目領域71として設定する(網掛けの範囲)。
In FIG. 14, a
制御部46は、注目領域71に対応する撮像素子100の単位領域について、注目領域71以外の単位領域よりフレームレートを高くしたり、間引き率を低くしたりして制御する。また、制御部46は、歩行者90を認識したときは、歩行者90を含む所定の範囲の領域を特注目領域75として設定する。そして、特注目領域75に対応する撮像素子100の単位領域のフレームレートを、注目領域71に対応する単位領域よりもさらに高くする。制御部46は、特注目領域75に対応する撮像素子100の単位領域の間引き率についても、注目領域71に対応する単位領域の間引き率よりもさらに低く制御する。
The control unit 46 controls the unit area of the
図15は、歩行者用の信号機40bと一体として設置、あるいはその近傍に設置された撮像部50−2の撮像条件の制御の例を示す図である。図15において、歩行者用の信号機40bと、撮像部50−2と、交通信号生成装置30−2とが示されている。当該交差点にあるその他の信号機等は、図示が省略されている。歩行者用の信号機40bの制御部46は、撮像部50−2の撮像領域70の範囲内で、歩行者90が進入しうる横断歩道およびその付近を注目領域71として設定する(網掛けの範囲)。
FIG. 15 is a diagram illustrating an example of control of imaging conditions of the imaging unit 50-2 installed as a unit with the
制御部46は、注目領域71に対応する撮像素子100の単位領域について、注目領域71以外の単位領域よりフレームレートを高くしたり、間引き率を低くしたりして制御する。また、制御部46は、歩行者90を認識したときは、歩行者90を含む所定の範囲の領域を特注目領域75として設定する。そして、特注目領域75に対応する撮像素子100の単位領域のフレームレートを、注目領域71に対応する単位領域よりもさらに高くする。制御部46は、特注目領域75に対応する撮像素子100の単位領域の間引き率についても、注目領域71に対応する単位領域の間引き率よりもさらに低く制御する。
The control unit 46 controls the unit area of the
図16(a)は、歩行者用の信号機40bに設置された撮像部50−2により撮像される場面を例示する図である。図16(b)は、撮像部50−2により取得された画像データを用いた被写体認識結果に基づく撮像条件の設定を説明する図である。図16(a)において、歩行者用の信号機40bに、上述の撮像素子100を有する撮像部50−2が設置されている。本実施形態に係る撮像素子100によれば、上下・左右方向だけでなく奥行き方向の移動も計測することができるため、被写体である歩行者90が移動する速度Voを測定することが可能である。
FIG. 16A is a diagram illustrating a scene imaged by the imaging unit 50-2 installed in the
図16(b)において、制御部46は、撮像部50−2の撮像領域70の範囲内で、横断歩道を渡る歩行者90を含む範囲を注目領域71として設定する。そして、制御部46は、注目領域71に対応する撮像素子100の単位領域について、注目領域71以外の単位領域との間で撮像条件を異ならせる。このとき、制御部46は、歩行者90の速度Voに依存して撮像条件を異ならせる。
In FIG. 16B, the control unit 46 sets, as the
制御部46は、例えば、歩行者90の速度Voの絶対値が大きいときは、歩行者90を含む注目領域71に対応する撮像素子100の単位領域について、注目領域71以外の単位領域よりフレームレートを高くしたり、間引き率を低くしたりして制御する。
For example, when the absolute value of the speed Vo of the
また、制御部46は、付近の車両や建築物と歩行者90との位置関係に基づいて、注目領域71に対する撮像条件を変えてもよい。例えば、交差点を右折または左折のためにウィンカーを作動させている車両が撮像領域70に存在する場合、その車両が横断歩道に進入する可能性があるので、制御部46は、注目領域71のうち、上記車両に近い側の領域を特注目領域として設定する。そして、特注目領域に対応する撮像素子100の単位領域のフレームレートを、注目領域71に対応する単位領域よりもさらに高くする。制御部46は、特注目領域に対応する撮像素子100の単位領域の間引き率についても、注目領域71に対応する単位領域の間引き率よりもさらに低く制御する。
Further, the control unit 46 may change the imaging condition for the
さらに、制御部46は、注目領域71においても、斜線で示した複数の画素または領域78Pと、斜線で示されていない複数の画素または領域78Sとで、撮像条件を異ならせてもよい。図16(b)の例では、市松模様状に上下左右に隣接する画素または領域同士で撮像条件を異ならせたが、この態様に限らずともよい。
Further, also in the
また、制御部46は、撮像領域70の範囲内に他の歩行者や自転車などの対象物を認識した場合には、これら複数の対象物をそれぞれ含む領域を、注目領域71に加えてもよい。そして、複数の注目領域71において、それぞれ斜線で示した複数の画素または領域78Pと、斜線で示されていない複数の画素または領域78Sとで、撮像条件を異ならせてもよい。
In addition, when the control unit 46 recognizes an object such as another pedestrian or a bicycle within the range of the
図17は、交差点において自動車用の信号機40aに設置された撮像部50−1により撮像される場面を例示する図である。図17において、自動車用の信号機40aは、直進可、左折可、右折可を示す表示灯を有する表示部42aを備える。撮像部50−1により撮像された画像データを用いた被写体認識結果に基づく撮像条件の設定の例を説明する。
FIG. 17 is a diagram illustrating a scene imaged by the imaging unit 50-1 installed in the
図17は、信号機40aの表示部42aが、直進可と左折可を示す表示灯を点灯し、右折を待機させている状態を示す。自動車用の信号機40aの制御部46は、直進または左折する車両が通過する走行レーンA,直進する車両が通過する走行レーンBに対応する撮像素子100の単位領域のフレームレートを、他の走行レーンCに対応する単位領域のフレームレートよりも高くしたり、間引き率を低くしたりして制御する。言い換えれば、制御部46は、走行レーンCに対応する単位領域のフレームレートを低くしたり、間引き率を高く設定したりして制御する。
なお、フレームレートを低くすることは、その単位領域において撮像を行わない設定を行うことも含む。
FIG. 17 shows a state in which the
Note that lowering the frame rate includes setting not to perform imaging in the unit area.
以上説明した実施形態に係る自動車10または信号機40(自動車用の信号機40a、歩行者用の信号機40b)における撮像素子100の撮像条件の制御においては、表示部42の表示の切り替わりタイミングとほぼ同時に撮像条件を変更してもよいし、表示の切り替わりタイミングから一定の時間間隔を設けて撮像条件を変更してもよい。あるいは、表示の切り替わり直後の一定時間は、表示の切り替わり前において設定した注目領域と、表示の切り替わり後に設定すべき注目領域との両方を注目領域として、撮像条件を変更してもよい。
In the control of the imaging conditions of the
上述した実施形態によれば、次の作用効果が得られる。
(1)自動車10(または信号機40)の撮像装置は、複数の領域の撮像条件を設定可能な撮像素子100を備えた撮像部5(または撮像部50)と、周囲の他の車20の運転方式に基づいて、複数の単位領域の撮像条件を設定する制御部19(または制御部41)とを備える。これにより、撮像素子100に対し、周囲の車20の運転方式に適した撮像条件を設定し得る。
According to the embodiment described above, the following operational effects can be obtained.
(1) The imaging device of the automobile 10 (or the traffic light 40) is configured to drive the imaging unit 5 (or the imaging unit 50) including the
(2)制御部19(または制御部41)は、運転方式が異なる他の車20を撮像する領域毎に異なる撮像条件を設定するので、撮像素子100に対して、運転方式が異なる車20を撮像する領域間に異なる撮像条件を設定し得る。
(2) Since the control unit 19 (or the control unit 41) sets different imaging conditions for each region in which another
(3)他の車20の運転方式は、自動運転方式と手動運転方式とであり、制御部19(または制御部41)は、自動運転方式の車20を撮像する領域と、手動運転方式の車20を撮像する領域とで異なる撮像条件を設定するので、撮像素子100に対して、自動運転方式の車20を撮像する領域と、手動運転方式の車20を撮像する領域との間に異なる撮像条件を設定し得る。
(3) The driving method of the
(4)制御部19(または制御部41)は、手動運転方式の車20を撮像する領域のフレームレートを、自動運転方式の車20を撮像する領域のフレームレートよりも高く設定する。これにより、手動運転方式の車20を撮像する頻度が自動運転方式の車20を撮像する頻度より高まるので、手動運転方式の車20に対する注目度を高めることができる。すなわち、手動運転方式の車20の予測のできない挙動について、迅速かつ正確な情報を取得することが可能になる。
(4) The control unit 19 (or the control unit 41) sets the frame rate of the region for imaging the manually operated
(5)制御部19(または制御部41)は、手動運転方式の車20を撮像する領域の画素の間引き率を、自動運転方式の車20を撮像する領域の画素の間引き率よりも低く設定する。これにより、手動運転方式の車20についての情報量を自動運転方式の車20についての情報量より多くすることができる。すなわち、手動運転方式の車20の予測のできない挙動についてより正確な情報を取得することが可能になる。
(5) The control unit 19 (or the control unit 41) sets a pixel thinning rate in a region where the manual
(6)周囲の他の車20の移動方式に関する情報を取得する制御部19(または制御部41)を備えるようにしたので、例えば、周囲の他の車20が入れ替わる場合でも、取得した最新の情報に基づいて、撮像素子100に対して撮像条件を設定することができる。
(6) Since the control unit 19 (or the control unit 41) that acquires information on the movement method of the
(7)制御部19(または制御部41)は、他の車20との通信によって情報を取得するようにしたので、通信によって得た新たな情報に基づいて、撮像素子100の撮像条件を適切に設定することができる。
(7) Since the control unit 19 (or the control unit 41) acquires information through communication with another
(8)制御部19(または制御部41)は、撮像部5(または撮像部50)による他の車20の撮像によって情報を取得するので、通信ができない状況においても、新たな情報に基づいて撮像素子100の撮像条件を適切に設定することができる。
(8) Since the control unit 19 (or the control unit 41) acquires information by imaging the
(9)制御部19は、他の車20とは異なる信号機40から情報を取得する。これにより、他の車20との通信ができない状況においても、新たな情報に基づいて撮像素子100の撮像条件を適切に設定することができる。
(9) The
(10)制御部19(または制御部41)は、他の車20が自動運転車か手動運転車かを示す情報を取得し、自動運転車を撮像する領域と、手動運転車を撮像する領域とで異なる撮像条件を設定する。これにより、例えば自動運転車に比べて手動運転車についての注目度を高めるように、撮像素子100の撮像面における単位領域ごとに撮像条件を適切に設定することができる。特に、手動運転車に対してフレームレートを高くし、画素の間引き率を低くすることにより、手動運転車の予測のできない挙動について迅速かつ正確に情報を取得することができる。
(10) The control unit 19 (or the control unit 41) acquires information indicating whether the
(11)自動車10は、上記(1)から(10)の撮像装置を備えるので、自動車10の周囲の他の車20の移動方式に合わせ、撮像装置に対する撮像条件を適切に設定できる。
(11) Since the
(12)自動車10の制御部19(または制御部41)は、自動車10におけるハンドル、ターンシグナルスイッチ、アクセル、またはブレーキ等の操作に応じて撮像素子100の撮像条件を変更する。これにより、自動車10の進路変更、速度変更等に応じて、撮像素子100の撮像面における単位領域ごとに撮像条件を適切に設定することができる。
(12) The control unit 19 (or the control unit 41) of the
(13)信号機40は、複数の領域の撮像条件を独立して設定可能な撮像素子100を備えた撮像部50と、自動車10、他の車20の移動に関する情報に基づいて、複数の領域の撮像条件を設定する制御部46とを備える。これにより、交差点等を移動する自動車10、他の車20の交通状況に応じて、撮像素子100に撮像条件を設定することができる。
(13) The traffic light 40 is based on information related to movement of the
(14)自動車10、他の車20の移動に関する情報は、自動車10、他の車20の移動を許可する信号と、自動車10、他の車20の移動を許可しない信号とを有し、制御部46は、それぞれの信号に基づいて撮像条件を設定するようにした。これにより、自動車10、他の車20が移動する場合と、自動車10、他の車20が移動しない場合とで、それぞれ撮像素子100の撮像条件を適切に設定することができる。
(14) The information related to the movement of the
(15)自動車10、他の車20の移動を許可する信号は、直進を許可する信号と、左折を許可する信号と、右折を許可する信号とを有し、制御部46は、それぞれの信号に基づいて撮像条件を設定するようにした。これにより、自動車10、他の車20が直進する場合、左折する場合、右折する場合において、それぞれ撮像素子100の撮像条件を適切に設定することができる。
(15) The signal for permitting movement of the
(16)制御部46は、自動車10、他の車20の移動に関する情報の切り替わりに応じて撮像条件を変更するので、上記信号の切り替わるタイミングで、適切に撮像素子100の撮像条件を変更することができる。
(16) Since the control unit 46 changes the imaging condition in accordance with the switching of the information related to the movement of the
(17)信号機40は、周囲の自動車10、他の車20の移動に関する情報を取得する制御部46を備えるので、例えば、周囲の他の車20が入れ替わる場合でも、取得した最新の情報に基づいて、撮像素子100に対して撮像条件を設定することができる。
(17) Since the traffic signal 40 includes the control unit 46 that acquires information related to the movement of the surrounding
(18)制御部46は、自動車10、他の車20との通信によって情報を取得するので、通信によって得た新たな情報に基づいて、撮像素子100の撮像条件を適切に設定することができる。
(18) Since the control unit 46 acquires information through communication with the
(19)制御部46は、撮像部50による自動車10、他の車20の撮像によって情報を取得するので、通信ができない状況においても、新たな情報に基づいて撮像素子100の撮像条件を適切に設定することができる。
(19) Since the control unit 46 acquires information by imaging the
(20)制御部46は、自動車10、他の車20が自動運転方式の自動車か手動運転方式の自動車かを示す情報を移動に関する情報として取得し、自動運転方式の自動車を撮像する領域と、手動運転方式の自動車を撮像する領域とで異なる撮像条件を設定する。これにより、例えば自動運転方式の自動車に比べて手動運転方式の自動車についての注目度を高めるように、撮像素子100の撮像面における単位領域ごとに撮像条件を適切に設定することができる。特に、手動運転方式の自動車に対してフレームレートを高くし、画素の間引き率を低くすることにより、手動運転方式の自動車の予測のできない挙動について迅速かつ正確に情報を取得することができる。
(20) The control unit 46 acquires information indicating whether the
(21)制御部46は、自動車10、他の車20の進路変更を示す情報を取得し、自動車10、他の車20の進路変更に基づいて撮像条件を設定する領域を変更する。これにより、進路変更のタイミングで、適切に撮像素子100の撮像条件を変更することができる。
(21) The control unit 46 acquires information indicating the course change of the
(22)自動車10、他の車20とは異なる他の自動車10、他の車20と通信を行う通信部41を備えるので、例えば、信号機40の周囲の他の車20の情報を、自動車10へ送信することができる。
(22) Since the
(23)自動車10および信号機40は、撮像する対象物が移動する速度を測定し、速度の大きさ、方向・向きに応じて撮像素子100の撮像条件を変更する。従って、対象物の移動状況に応じ、撮像素子100の撮像面における領域ごとに撮像条件を適切に設定することができる。
(23) The
(24)自動車10は、何秒後に信号が切り変わるかなどの情報を取得し、自動車10の運転状況に反映させる。従って、信号の切り替わりをあらかじめ考慮に入れた円滑な運転が実現できる。
(24) The
(25)自動車10または信号機40は、信号の切り替わりの直後の一定時間は、直前の信号において設定した注目領域と、切り替わり後の信号で設定すべき注目領域との両方を注目領域として含むように、撮像素子100の撮像条件を設定する。これにより、信号の切り替わりにおける過渡的な状態に対し、撮像素子100の撮像条件を適切に設定することができる。
(25) The
(26)自動車10および信号機40を含む撮像システム1により、正確かつ効率的な撮像による情報取得と、通信とに基づいた、より整理された交通システムを実現することができる。
(26) With the
なお、上述の実施形態では、自動車10の制御部19または信号機40の制御部46が行う制御によってそれぞれ撮像部5、撮像部50を制御したが、撮像部5、撮像部50の制御の一部を撮像部内部の制御回路(CPU等)により行うようにしてもよい。
In the above-described embodiment, the imaging unit 5 and the
また、信号機40の制御部46が行う処理の一部を信号情報生成装置30の制御部34により行うようにしてもよい。カメラ等の撮像部50は、必ずしも信号機40に付随するものでなくともよく、交差点等の交通信号または交通状況に応じて設置してよい。
Further, a part of the processing performed by the control unit 46 of the traffic light 40 may be performed by the
さらに、上述の実施形態では、メッセージの表示にナビシステム13の表示部・音声再生部を利用したが、別個の表示・再生装置を利用してもよい。さらに、自動車10のフロントガラスに情報を投映するHUD(Head Up Display)と、音声情報を再生するスピーカとによって構成される表示・再生装置を利用するようにしてもよい。
Furthermore, in the above-described embodiment, the display unit / audio reproduction unit of the
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。 The following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.
(変形例1)
信号機40の制御部46は、撮像部50による撮像、または通信部41による通信により、道路上または交差点における車両の自動運転車の割合に関する情報を取得し、その割合に応じて撮像条件を変えてもよい。例えば、制御部46は、自動運転車の割合が多い時間帯には、自動運転車の割合が少ないときに比べて間引き率を上げるように制御する。これにより、消費電力の節約等が実現でき、より効率的な撮像を行うことができる。
(Modification 1)
The control unit 46 of the traffic light 40 acquires information on the ratio of the autonomous driving vehicle on the road or at the intersection by imaging by the
(変形例2)
自動車10の制御部19または信号機40の制御部46は、自動運転車か手動運転車かを撮像により識別するのに加え、初心運転者標識や高齢運転者標識などの標識を識別してもよい。そして、初心運転車や高齢運転車に対応する撮像素子100の単位領域において異なる撮像条件を設定する。例えば初心運転者標識の表示された車両は、手動運転車に対応する撮像素子100の単位領域よりもフレームレートをさらに高くしたフレームレートで撮像してもよい。これにより、対象物に応じて、撮像素子100の撮像面における単位領域ごとに撮像条件を適切に設定することができる。
(Modification 2)
The
(変形例3)
以上の説明では、撮像素子100を用いた撮像により距離測定および周囲の移動体や障害物の検出を行ったが、不図示のレーダを併用してもよい。これにより、撮像素子100とレーダの特性を生かし、より信頼性の高い交通情報の取得を行うことができる。
(Modification 3)
In the above description, distance measurement and detection of surrounding moving objects and obstacles are performed by imaging using the
上記では、種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。実施形態および変形例で示された各構成を組み合わせて用いる態様も本発明の範囲内に含まれる。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 While various embodiments and modifications have been described above, the present invention is not limited to these contents. The aspect using combining each structure shown by embodiment and the modification is also contained in the scope of the present invention. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
1…撮像システム
5、50(50−1、50−2)…撮像部
10…自動車
19、46…制御部
20…他の車
30…交通信号生成装置
40…信号機
40a…自動車用の信号機
40b…歩行者用の信号機
42…表示部
70…撮像領域
71、71A、71B…注目領域
72、72A、72B、73A、73B、76、77…車両
74A、74B…準注目領域
75…特注目領域
90…歩行者
100…撮像素子
113…撮像チップ
DESCRIPTION OF
Claims (10)
前記車の外部を撮像する撮像部と、
外部から、前記車の周囲の移動体に関する情報が入力される入力部と、
前記入力部に入力された前記車の周囲の移動体に関する情報に基づいて、前記撮像部の一部の領域の撮像条件を変更する撮像制御部と、
を有する撮像装置。 In an imaging device mounted on a car,
An imaging unit for imaging the outside of the vehicle;
An input unit for inputting information on a moving body around the vehicle from the outside;
An imaging control unit which on the basis of the information related to the mobile around the vehicle which is input to the input unit, changes the imaging conditions of a partial region of the imaging unit,
An imaging apparatus having
前記撮像制御部は、前記入力部に入力された前記車の周囲の移動体に関する情報に応じて、前記撮像部の撮像条件を変更する領域を変更する撮像装置。 The imaging device according to claim 1,
The image pickup control unit is an image pickup apparatus that changes a region in which the image pickup condition of the image pickup unit is changed according to information about a moving body around the vehicle input to the input unit.
前記入力部は、前記車の周囲の移動体に関する情報として、前記車の周囲の移動体の位置の情報が入力される撮像装置。 The imaging device according to claim 1 or 2 ,
The input unit is an imaging apparatus in which information on a position of a moving body around the vehicle is input as information about the moving body around the vehicle .
前記入力部は、前記車の周囲の移動体に関する情報として、前記車の周囲の移動体の速度の情報が入力される撮像装置。 In the imaging device according to any one of claims 1 to 3,
The input unit is an imaging apparatus in which information about the speed of a moving body around the vehicle is input as information about the moving body around the car .
前記車の周囲の移動体と通信する通信部を有し、
前記入力部は、前記通信部による前記車の周囲の移動体との通信により、前記車の周囲の移動体に関する情報が入力される撮像装置。 In the imaging device according to any one of claims 1 to 4,
A communication unit that communicates with a moving body around the vehicle;
The input unit is an imaging device in which information about a moving body around the vehicle is input by communication with the moving body around the vehicle by the communication unit.
信号機と通信する通信部を有し、
前記入力部は、前記通信部による前記信号機との通信により、前記車の周囲の移動体に関する情報が入力される撮像装置。 In the imaging device according to any one of claims 1 to 4,
Having a communication unit that communicates with the traffic light,
The input unit is an imaging apparatus in which information about a moving body around the vehicle is input by communication with the traffic signal by the communication unit.
前記入力部は、前記車の周囲の移動体に関する情報として、前記車の周囲の車の運転方式又は、前記車の周囲を走行している車が初心運転者又は高齢運転者によって運転されているか否かの情報が入力される撮像装置。 In the imaging device according to any one of claims 1 to 6 ,
The input unit is, as information on the moving body around the car, whether the driving method of the car around the car, or whether the car traveling around the car is being driven by a primitive driver or an elderly driver An imaging device to which information on whether or not is input .
前記入力部は、前記車の周囲の移動体に関する情報として、前記車の周囲の歩行者に関する情報が入力される撮像装置。 In the imaging device according to any one of claims 1 to 7 ,
The input device is an imaging device in which information about a pedestrian around the vehicle is input as information about a moving body around the vehicle .
前記撮像制御部は、前記入力部に入力された前記車の周囲の移動体に関する情報に基づいて、前記撮像部の一部の領域の撮像速度を変更する撮像装置。 In the imaging device according to any one of claims 1 to 8,
The imaging control unit is an imaging device that changes an imaging speed of a partial region of the imaging unit based on information about a moving body around the vehicle input to the input unit.
前記撮像制御部は、前記入力部に入力された前記車の周囲の移動体に関する情報に基づいて、前記撮像部の一部の領域の画素の間引き率を変更する撮像装置。 In the imaging device according to any one of claims 1 to 9 ,
The image pickup control unit is an image pickup apparatus that changes a thinning rate of pixels in a partial region of the image pickup unit based on information about a moving body around the vehicle input to the input unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015186062A JP6358214B2 (en) | 2015-09-18 | 2015-09-18 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015186062A JP6358214B2 (en) | 2015-09-18 | 2015-09-18 | Imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015005171A Division JP6451332B2 (en) | 2014-05-29 | 2015-01-14 | Imaging device and automobile |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018115588A Division JP6699687B2 (en) | 2018-06-18 | 2018-06-18 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016131365A JP2016131365A (en) | 2016-07-21 |
JP6358214B2 true JP6358214B2 (en) | 2018-07-18 |
Family
ID=56415650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015186062A Active JP6358214B2 (en) | 2015-09-18 | 2015-09-18 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6358214B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3033745A1 (en) * | 2016-09-26 | 2018-03-29 | Sony Corporation | Vehicle control apparatus, vehicle control method, and movable object |
JP6832155B2 (en) | 2016-12-28 | 2021-02-24 | ソニーセミコンダクタソリューションズ株式会社 | Image processing equipment, image processing method, and image processing system |
JP6610601B2 (en) | 2017-04-04 | 2019-11-27 | トヨタ自動車株式会社 | Vehicle identification device |
WO2019078287A1 (en) * | 2017-10-19 | 2019-04-25 | 株式会社小糸製作所 | Vehicle lamp system |
WO2020036043A1 (en) | 2018-08-16 | 2020-02-20 | ソニー株式会社 | Information processing device, information processing method and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4016796B2 (en) * | 2002-10-22 | 2007-12-05 | オムロン株式会社 | In-vehicle imaging device and vehicle driving support device using the same |
JP2008060650A (en) * | 2006-08-29 | 2008-03-13 | Konica Minolta Holdings Inc | On-vehicle imaging apparatus and its imaging method |
JP4858452B2 (en) * | 2008-01-22 | 2012-01-18 | 住友電気工業株式会社 | Vehicle driving support system, driving support device, vehicle, and vehicle driving support method |
JP5786753B2 (en) * | 2012-02-15 | 2015-09-30 | 株式会社デンソー | VEHICLE DEVICE AND VEHICLE SYSTEM |
-
2015
- 2015-09-18 JP JP2015186062A patent/JP6358214B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016131365A (en) | 2016-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112839169B (en) | Driving support device and imaging device | |
JP6451332B2 (en) | Imaging device and automobile | |
JP7380666B2 (en) | Vehicles and driving support devices | |
JP6358214B2 (en) | Imaging device | |
JP2015226255A (en) | Imaging apparatus and automobile | |
JP6620395B2 (en) | Imaging device | |
JP6451575B2 (en) | Imaging device | |
JP6358213B2 (en) | Imaging device | |
JP6451576B2 (en) | Imaging device | |
JP6699687B2 (en) | Imaging device | |
JP2016130099A (en) | Imaging device | |
JP6642641B2 (en) | Imaging device | |
JP2018186525A (en) | Imaging apparatus | |
JP6369433B2 (en) | Imaging device | |
JP2015228707A (en) | Imaging apparatus | |
JP2019134459A (en) | Imaging apparatus | |
JP6365480B2 (en) | Imaging device | |
JP6369432B2 (en) | Imaging device | |
JP2016027740A (en) | Imaging apparatus | |
JP2016027739A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180502 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180604 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6358214 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |