JP6072470B2 - 車載撮像システム - Google Patents

Description

本発明は、車載撮像システムに関する。

車載撮像システムとして、例えば、サイドミラーの代わりとして利用される撮像システム（電子ミラーシステム）が知られている（例えば特許文献１）。特許文献１の技術では、車両（車体）の通常はサイドミラーが取り付けられる位置に撮像装置が設けられている。そして、撮像装置は車両後方を撮像し、撮像された画像は、車両の内部に設けられた表示装置に表示される。

特開２００９−８３６１８号公報

上記のような車載撮像システムにおいては、車体に対して撮像装置の姿勢（向き）を変化させる駆動機構を設けることにより、撮像装置の視野に収まる実際の風景の範囲を変化させることが考えられる。このように構成することにより、例えば、通常の走行中は、後続車を視認しやすい画像を表示させ、後退時においては自己の車体の後方下部を視認しやすい画像を表示させるなど、運転状況に応じて適切な画像を表示させることができる。

しかし、そのような駆動機構を設けるとすれば、車両に設けられる機器の大型化若しくは重量増加を招く。機器の大型化は、車両の空気抵抗の増加も招く。

従って、そのような駆動機構を必要とせずに、表示装置に表示される実際の風景の範囲を好適に変更することができる車載撮像システムが提供されることが好ましい。

本発明の車載撮像システムは、車両に設けられた撮像装置と、前記車両に設けられ、前記撮像装置の視野内の一部である表示範囲についてのみ前記撮像装置の撮像した画像を表示可能な表示装置と、前記表示範囲の前記撮像装置の視野内における位置を変更する表示範囲変更部と、を有する。

好適には、前記撮像装置は、前記車両の後方を撮像可能に前記車両の側方に設けられている。

好適には、前記車載撮像システムは、前記車両の運転者の視点の位置若しくは視点の移動を検出する視点検出センサを更に有し、前記表示範囲変更部は、前記視点検出センサの検出結果に応じて前記表示範囲の位置を変更する。

好適には、前記表示範囲変更部は、前記視点検出センサの検出結果から得られる視点の移動方向とは反対方向へ前記表示範囲の位置を変更する。

好適には、前記車載撮像システムは、前記運転者の視線を検出する視線検出センサを更に有し、前記表示範囲変更部は、前記視線検出センサの検出結果から得られる視線が前記表示装置の画面の少なくとも一部を含む所定の設定範囲に向けられたことを条件として、前記視点検出センサの検出結果に応じて前記表示範囲の位置を変更する。

好適には、前記視点検出センサは、前記運転者を撮像し、撮像した画像から前記運転者の頭又は目を特定することにより、前記運転者の視点の位置又は視点の移動を検出する。

好適には、前記視点検出センサは、前記運転者が座るシート又は前記運転者が装着するシートベルトが受ける荷重を検出し、検出した荷重の変化に基づいて前記運転者の視点の移動を検出する。

好適には、前記視点検出センサは、前記シートベルトの移動を検出することにより、前記運転者の視点の移動を検出する。

好適には、前記撮像装置は、その視野のうち一部についてのみ画像の信号を出力可能なＣＭＯＳセンサを含んで構成され、前記表示範囲変更部は、前記ＣＭＯＳセンサを制御し、これにより、前記表示範囲についてのみ画像の信号を出力させて前記表示装置に前記表示範囲についてのみ前記撮像装置の撮像した画像を表示させるとともに前記表示範囲の位置を変更する。

好適には、前記撮像装置は、その視野に相当する広さの画像の信号を出力し、前記表示範囲変更部は、前記撮像装置の視野に相当する広さの画像の信号から一部の信号を抽出して前記表示装置に出力するとともに、その信号を抽出する範囲の前記撮像装置の視野内における位置を変更することにより、前記表示装置に前記表示範囲についてのみ前記撮像装置の撮像した画像を表示させるとともに、前記表示範囲の位置を変更する。

上記の構成によれば、駆動機構を必要とせずに、表示装置に表示される実際の風景の範囲を変更することができる。

図１（ａ）は、本発明の第１の実施形態に係る車載撮像システムを有する車両の平面図、図１（ｂ）は、図１（ａ）の車両のインストルメント・パネル周辺の正面図、図１（ｃ）は、図１（ａ）の車両の運転席周辺の側面図。 図２（ａ）〜図２（ｃ）は、第１の実施形態に係る車載撮像システムの動作の概要を説明するための図。 第１の実施形態に係る車載撮像システムの信号処理系の構成を示すブロック図。 第１の実施形態に係る車載撮像システムの制御部が実行する処理の手順の一例を示すフローチャート。 第２の実施形態に係る車載撮像システムの信号処理系の構成を示すブロック図。 第４の実施形態に係る車載撮像システムの要部を模式的に示す断面図。 第５の実施形態に係る車載撮像システムの要部を模式的に示す断面図。

以下、図面を参照して、本発明の実施形態を説明する。なお、第２の実施形態以降において、既に説明した実施形態の構成と同様又は類似する構成については、既に説明した実施形態の構成に付した符号と同一の符号を付し、また、説明を省略することがある。

＜第１の実施形態＞
図１（ａ）は、本発明の第１の実施形態に係る車載撮像システム１を有する車両１０１の平面図であり、図１（ｂ）は、車両１０１のインストルメント・パネル１０５周辺の正面図であり、図１（ｃ）は、車両１０１の運転席周辺の側面図である。

車載撮像システム１は、撮像装置３（図１（ａ）及び図１（ｂ））と、撮像装置３の撮像した画像を表示する表示装置５（図１（ｂ））と、車両１０１の運転者に関する情報を取得するための視覚センサ７（図１（ｂ）及び図１（ｃ））とを有している。

撮像装置３は、例えば、車両１０１（車体１０３）において通常はサイドミラーが設けられる位置にサイドミラーに代えて設けられている。すなわち、車両１０１の側方両側に１対設けられている。なお、ここでいうサイドミラーは、車両１０１のボンネットに設けられるフェンダーミラーであってもよいし、前席用のドアに設けられるドアミラーであってもよいし、その他の形式のものであってもよい。

また、撮像装置３は、図１（ａ）において点線で示すように、サイドミラーが映す範囲と同様の範囲を撮像するように設けられている。すなわち、撮像装置３は、車体１０３の後方（車体１０３の側方に設けられていることから後側方）を映すように設けられている。

撮像装置３の構成は、公知の構成とされてよい。撮像装置３は、特に図示しないが、例えば、レンズ（若しくはレンズ群）と、レンズにより集められた光を受光する撮像素子と、これらを収容する筐体とを含んでいる。なお、撮像装置３は、簡素な構成とされ、軽量化乃至は小型化されることが好ましいが、可変絞りやズームレンズなどが設けられてもよい。また、図１では、ドアミラーと同様の外観を有する撮像装置３を例示しているが、実際には、撮像装置３は、ドアミラーよりも小型化可能である。

表示装置５は、車両１０１において、運転者が概ね前方を向いたまま表示装置５の画面５ａを視認可能な位置に設けられている。好適には、表示装置５は、車両１０１の内部に設けられている。例えば、表示装置５は、インストルメント・パネル１０５の中央上方側に設けられている。表示装置５は、例えば、１対の撮像装置３に対応して１対設けられている。ただし、一のみの表示装置５を設け、その画面を表示上分割して１対の撮像装置３により撮像された１対の画像を表示するようにしてもよい。表示装置５は、例えば、液晶表示装置や有機ＥＬ表示装置により構成されている。

視覚センサ７は、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の固体撮像素子を含んで構成されている。視覚センサ７は、好適には、車両１０１において、運転者を前方から（表示装置５側から）撮像可能な位置に設けられている。視覚センサ７の撮像した画像は、後述するように、運転者の視点及び視線の情報を取得することに供される。

図２（ａ）〜図２（ｃ）は、車載撮像システム１の動作の概要を説明するための図である。

図２（ａ）は、比較例としてのサイドミラー１５１の作用を説明する平面図である。この図において、点Ｐ１及び点Ｐ２は、運転者の視点を模式的に示している。点Ｐ１及び点Ｐ２の位置の間で運転者の視点が移動すると、点線及び１点鎖線により模式的に示すように、運転者から見てサイドミラー１５１に映し出される実際の風景の範囲が変化する。従って、例えば、運転者は、車両の後退時等においては、通常の走行時の視点の位置に対して視点を移動させることにより、自己が望む範囲をサイドミラー１５１により視認し、好適に車両の運転を行うことができる。

一方、サイドミラー１５１の代わりに設けた車載撮像システムにおいて、単純に、撮像装置３の撮像した画像を表示装置５に表示した場合、表示装置５に対して運転者が視点を移動させても、運転者が視認できる範囲は変化しない。

そこで、本実施形態の車載撮像システム１は、運転者が表示装置５に対して視点を移動させると、表示装置５に表示される実際の風景の範囲が変化するように構成される。例えば、サイドミラー１５１と同様に、運転者が表示装置５に対して視点を移動させると、その移動方向とは逆方向に、表示装置５に表示される風景の範囲が移動するように車載撮像システム１は構成される。

また、この際、課題の欄においても述べたように、撮像装置３の姿勢を変化させる駆動機構を設けるとすれば、機器の大型化等を招くことから、そのような駆動機構を必要としない方法により、表示装置５に表示される範囲を変化させる。具体的には、以下のとおりである。

図２（ｂ）は、撮像装置３の視野５１に収まる風景又はその画像を示し、図２（ｃ）は、表示装置５の画面５ａを示している。

撮像装置３は、その視野５１に収まる風景を撮像可能である。なお、ここでいう視野５１は、広義の視野であり、撮像装置３を動かさずに撮像可能な範囲をいうものとする。ただし、視野５１を狭義の視野（画角とワーキングディスタンスとによって規定される範囲）としても、実施形態の構成及び動作は実質的に変わらない。

一方、表示装置５は、視野５１の画像全体を表示するのではなく、視野５１のうちの一部である表示範囲５３についてのみ、撮像装置３の撮像した画像を表示する。例えば、図２（ｃ）の左側の画面５ａでは、図２（ｂ）の位置Ｐ１１に位置する表示範囲５３についての画像が表示されている。

そして、車載撮像システム１は、運転者の視点が移動すると、表示範囲５３の位置を変化させる。例えば、図２（ｂ）において矢印ｙ１で示すように、車載撮像システム１は、表示範囲５３の位置を位置Ｐ１１から位置Ｐ１２に変更する。すなわち、画面５ａに表示される画像は、図２（ｃ）の左側に示す画像から図２（ｃ）の右側に示す画像に切り換えられる。その結果、画面５ａの表示は、あたかも撮像装置３の姿勢を変えたかのように切り換えられることになる。

なお、図２（ｃ）では、表示範囲５３の画像は、画面５ａの全体に表示されているが、画面５ａ内の一定の領域に表示される限り、画面５ａの一部の領域において表示されてもよい。一定の領域は、例えば、表示範囲５３の位置の変更の前後で画面５ａにおいて同一の位置及び広さを有する領域である。ただし、一定の領域は、運転者の操作等によって適宜にその広さ等が調整可能なものであってよい。また、画面５ａには、撮像装置３の撮像した画像に並べて又は重ねて、適宜な情報を提示する画像が表示されてよい。

図３は、上述のような動作を実現する、車載撮像システム１の信号処理系の構成を示すブロック図である。

車載撮像システム１は、上述した視覚センサ７、撮像装置３及び表示装置５に加え、制御部９を有している。

制御部９は、例えば、特に図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭ及び外部記憶装置を含むコンピュータにより構成されている。なお、コンピュータは、画像処理用のＩＣと、当該ＩＣや撮像装置３等の制御を行うマイクロコンピュータとを組み合わせて構成するなど、適宜に構成されてよい。

制御部９は、例えば、視覚センサ７からの画像（信号）に基づいて運転者の視点情報及び視線情報を取得する画像処理部１１と、その取得された情報に基づいて撮像装置３を制御する表示範囲変更部１３とを有している。なお、視覚センサ７及び画像処理部１１は、視点・視線検出センサ１５を構成している。

画像処理部１１は、例えば、視覚センサ７により撮像された画像において運転者の頭又は瞳を特定し、また、その特定した頭又は瞳の座標を特定する。すなわち、画像処理部１１は、視点の座標を特定する。そして、画像処理部１１は、視覚センサ７から順次取得される画像に基づいて、視点の座標の変化を監視し、視点の移動方向及び移動距離を検出する。

なお、このような視点の検出は、例えば、公知の撮像装置のオートフォーカスにおいて利用されている頭又は瞳の検出技術により実現されてよい。視点の座標は、頭又は瞳の図形重心等の、頭又は瞳のうちの適宜な代表点の座標でよい。視点の座標、移動方向又は移動距離は、実際の縮尺とは異なる数値（例えば画素数）により表わされるものであってもよいし、実際の縮尺の数値により表わされるものであってもよい。実際の縮尺の数値は、予め入力された視覚センサ７の位置情報及び視野情報等に基づいて算出される。

また、画像処理部１１は、例えば、視覚センサ７により撮像された画像において運転者の頭又は瞳の向きを特定する。すなわち、画像処理部１１は、運転者の見ている方向（広義の視線）を特定する。画像処理部１１若しくは表示範囲変更部１３は、運転者の見ている方向と、上述のように特定した視点の座標（実際の縮尺であることが好ましい）とから、視点から運転者が見ている方向へ延ばした直線（狭義の視線）を特定可能である。

なお、このような視線の検出は、撮像装置のオートフォーカスや障害者のコミュニケーション支援装置において利用されている公知の視線入力技術により実現されてよい。視線の情報は、角度（方角）により表わされるものであってもよいし、座標により表わされるものであってもよいし、その双方により表わされるものであってもよい。

撮像装置３は、例えば、撮像素子としてのＣＭＯＳ（イメージ）センサ１７を含んで構成されている。ＣＭＯＳセンサ１７は、公知のように、ＸＹアドレス型の撮像素子である。すなわち、ＣＭＯＳセンサ１７は、ＸＹ方向（図３の紙面左右方向）に配列された複数のセル１９（画素）と、複数のセル１９に接続されたＸ走査シフトレジスタ２１Ｘ及びＹ走査シフトレジスタ２１Ｙ（以下、両者を区別せずに単に「走査シフトレジスタ２１」ということがある。）とを有している。各セル１９は、光電変換素子を含んで構成され、受光した光の量に応じた量の信号電荷を蓄える。そして、ＣＭＯＳセンサ１７は、走査シフトレジスタ２１により任意のセル１９を選択して（実際にはＸＹ方向に順次選択して）、その選択したセル１９に蓄積された信号電荷を読み出す。

従って、ＣＭＯＳセンサ１７は、全てのセル１９のうち一部のセル１９のみについて、その蓄積した信号電荷を出力することが可能である。すなわち、ＣＭＯＳセンサ１７は、視野５１に対応する画像信号のうち、表示範囲５３に対応する画像信号のみを出力可能である。なお、市販のＣＭＯＳセンサは、画像信号を出力する範囲を内部的に補正する機能を有していることがあり、その機能を上記の動作に利用してもよい。

表示範囲変更部１３は、撮像装置３の走査シフトレジスタ２１を制御することにより、信号電荷が読み出されるセル１９を含む範囲を規定し、ひいては、表示範囲５３を規定する。また、表示範囲変更部１３は、信号電荷が読み出されるセル１９を含む範囲の、ＣＭＯＳセンサ１７の受光面上の位置を変更することにより、表示範囲５３の視野５１内の位置を変更する。この表示範囲５３の位置の変更は、画像処理部１１からの視点情報及び視線情報に基づいて行われる。

表示装置５は、撮像装置３から出力された画像信号に基づく画像を、その画像の全体の大きさが画面５ａの一定の領域（例えば画面５ａの全体）の大きさに一致するように、適宜に拡大乃至は縮小して、画面５ａに表示する。従って、表示範囲変更部１３によって撮像装置３が制御され、これにより、信号電荷が読み出されるセル１９の範囲が規定され、また、その位置が変更されると、画面５ａの一定の領域に表示される実際の風景の範囲（表示範囲５３）が規定され、また、その位置が変更される。

図４は、図２を参照して説明した動作を実現するために、制御部９が実行する処理の手順の一例を示すフローチャートである。この処理は、例えば、イグニッションキーにより車両１０１の電源をＯＮしたときに開始され、所定の間隔（例えば０．０１〜０．１秒オーダー）で繰り返し実行される。なお、この間隔は、撮像装置３及び表示装置５の画像更新間隔よりも長くてよい。

ステップＳ１では、制御部９は、表示範囲５３を予め設定された初期位置に設定する。そして、その初期位置の表示範囲５３について、撮像装置３の撮像した画像が表示装置５により画面５ａの一定の領域に表示される。

ステップＳ２では、制御部９は、視覚センサ７の撮像した画像に基づいて、視線情報を取得する。

ステップＳ３では、制御部９は、取得した視線情報に基づいて、運転者の視線が、画面５ａの少なくとも一部を含む、予め設定された設定範囲に向けられているか否かを判定する。すなわち、制御部９は、運転者が画面５ａを視認しているか否かを判定する。具体的には、制御部９は、例えば、運転者の見ている方向（広義の視線）が、予め設定された角度範囲に収まっているか否か判定したり、好適には、視点から運転者の見ている方向へ延びる直線（狭義の視線）が、予め設定された所定の面積の平面（例えば画面５ａ）を通過するか否かを判定する。

視線が設定範囲に向けられていると判定された場合、制御部９は、計時を開始する（ステップＳ４）。換言すれば、タイマをリセットする。一方、向けられていないと判定された場合、制御部９は、計時中か否か判定する（ステップＳ５）。換言すれば、制御部９は、これまでに一旦は視線が設定範囲に向けられたか否か判定する。計時中でないと判定された場合は、ステップＳ２に戻る。

従って、運転者が画面５ａを一回も見ていない場合においては、表示範囲５３は、初期位置のままであり、視点の移動に応じた表示範囲５３の位置の変更は行われない。これにより、無駄に表示範囲５３が変更されることが抑制される。また、運転者が画面５ａを見始めたときの表示範囲５３の位置を一定の位置とすることができる。なお、ステップＳ３の設定範囲は、車両１０１の製造者において設定されてもよいし、運転者において設定されてもよい。

ステップＳ４にて計時が開始され、又は、ステップＳ５において計時中と判定された場合、制御部９は、ステップＳ４の計時開始から所定の時間が経過したか否か判定する（ステップＳ６）。この所定の時間は、図４のフローチャートの実行周期よりも長い時間である。そして、制御部９は、所定の時間が経過したと判定した場合は、ステップＳ１に戻り、経過していないと判定した場合は、ステップＳ７に進む。

従って、運転者が、一定の時間、画面５ａを見ていない場合には、表示範囲５３は初期位置に戻される。これにより、画面５ａを再度見始めたときに、表示範囲５３の位置を一定の位置とすることができる。

一方、一定の時間内であれば、運転者が画面５ａを見ていない間においても、後述の手順によって、視点の移動に伴って表示範囲５３の位置は変更される。これにより、ミラーを見ていなくても視点が移動すれば、その後、視線をミラーに戻したときに、視点の移動に伴ってミラーに映し出される範囲が変化しているのと同様の状況が実現される。

なお、ステップＳ６の所定の時間の長さは、運転の容易性等の観点から適宜に設定されてよく、また、車両１０１の製造者において設定されても、運転者において設定されてもよい。

ステップＳ７では、制御部９は、視覚センサ７の撮像した画像に基づいて、視点情報を取得する。

ステップＳ８では、制御部９は、取得した視点情報に基づいて、視点が移動したか否か判定する。例えば、前回の視点情報と今回の視点情報とを比較して、その差が閾値を超えているか否かを判定する。なお、ステップＳ８を最初に実行するときには、移動は無しと判定される。また、３以上の複数時点の視点情報に基づいて判定が行われてもよい。

視点が移動していない場合、厳密にいえば、視点の移動が比較的微小である場合、制御部９は、ステップＳ２に戻る。従って、表示範囲５３の位置の変更は行われない。これにより、運転者の意図していない視点の微小な揺れ等に応じて画面５ａにおいて画像が頻繁に揺れるようなことが抑制され、画面５ａの視認性が向上すると期待される。

視点が移動している場合、制御部９は、ステップＳ９に進み、視点の移動方向及び移動量に応じて、表示範囲５３の新たな位置を算出する。例えば、制御部９は、既に述べたように、ミラーを見るときと同様の感覚で画面５ａを見ることができるように新たな位置を算出する。すなわち、制御部９は、視点の移動方向とは反対側へ、また、視点の移動量に応じた量（例えば比例した量）で、表示範囲５３を視野５１内において移動させるための新たな位置を算出する。なお、表示範囲５３が視野５１の端に到達し、更にその端を超えて表示範囲５３を移動させるような視点の移動があった場合は、例えば、表示範囲５３の位置はそのままとされる。

ステップＳ１０では、制御部９は、算出した新たな位置に表示範囲５３を設定する。すなわち、制御部９は、ＣＭＯＳセンサ１７の制御において、信号電荷が読み出されるセル１９を含む範囲の位置を変更する。そして、表示装置５においては、新たな位置の表示範囲５３の画像が画面５ａに表示される。その後、制御部９は、ステップＳ２に戻る。

以上のとおり、本実施形態では、車載撮像システム１は、車体１０３に設けられた撮像装置３と、車体１０３に設けられ、撮像装置３の視野５１内の一部である表示範囲５３についてのみ撮像装置３の撮像した画像を表示可能な表示装置５と、表示範囲５３の視野５１内における位置を変更する表示範囲変更部１３とを有する。

従って、撮像装置３の姿勢を変化させる駆動装置を設けることなく、表示装置５において表示する実際の風景の範囲を変更することができる。その結果、撮像装置３の小型化乃至は軽量化を図ることができる。また、電気信号の処理の変更によって表示装置５に表示される実際の風景の範囲を変更することから、撮像装置３の姿勢を変化させる場合に比較して、迅速に表示装置５に表示される実際の風景の範囲を変化させることができる。

また、本実施形態では、撮像装置３は、車体１０３の後方を撮像可能に車体１０３の側方に設けられている。すなわち、車載撮像システム１は、サイドミラーの代わり若しくはサイドミラーの補助装置として機能するものである。

サイドミラー及び撮像装置３は、車体の側方に突出するものであることから、撮像装置３が小型化されると、車両１０１の空気抵抗を低減して走行性能を向上させたり、車両１０１の全体としての幅を小さくして駐車スペースを小さくしたりすることができる。

また、本実施形態では、車載撮像システム１は、車両１０１の運転者の視点の位置若しくは視点の移動を検出する視点検出センサ（視点・視線検出センサ１５：視覚センサ７及び画像処理部１１の組み合わせ）を更に有する。表示範囲変更部１３は、視点検出センサの検出結果に応じて表示範囲５３の位置を変更する。

従って、スイッチを操作したりすることなく、表示範囲５３の位置を変更することができる。その結果、例えば、両手でハンドル操作をしながら表示範囲５３の位置を変更することができ、車両の運転性が向上する。また、表示範囲５３の位置変更の必要性を感じてから車載撮像システム１に表示範囲５３の位置変更を指示するまでに必要な時間も短縮されると考えられる。その結果、運転者は、緊急時の対処を好適に行うことができると期待される。

また、本実施形態では、表示範囲変更部１３は、視点・視線検出センサ１５の検出結果から得られる視点の移動方向とは反対方向へ表示範囲５３の位置を変更する。

従って、車載撮像システム１は、表示装置５の視認に対して、ミラーを視認するのと同様の感覚を運転者に提供することができる。その結果、運転者の車載撮像システム１の操作性が向上すると期待される。

また、本実施形態では、車載撮像システム１は、運転者の視線を検出する視線検出センサ（視点・視線検出センサ１５）を更に有する。表示範囲変更部１３は、視線検出センサの検出結果から得られる視線が（少なくとも一旦は）表示装置５の画面５ａの少なくとも一部を含む所定の設定範囲に向けられたことを条件として、視点検出センサの検出結果に応じて表示範囲５３の位置を変更する。

従って、既に述べたように、運転者が画面５ａを見ていないときに無駄に表示範囲５３の位置が変更されることが抑制される。また、運転者が画面５ａを見始めたときの表示範囲５３の位置を一定とすることも可能となる。

また、本実施形態では、視点検出センサ（視点・視線検出センサ１５）は、運転者を撮像し、撮像した画像から運転者の頭又は目を特定することにより、運転者の視点位置又は移動を検出する。

従って、視点の検出方法が後述する実施形態に比較して直接的であり、精度良く視点を検出できると期待される。また、視点検出センサは、実施形態において示したように、その一部の構成を視線検出センサと兼用することができ、全体としてのコスト削減も期待される。

撮像装置３は、視野５１のうち一部についてのみ画像の信号を出力可能なＣＭＯＳセンサ１７を含んで構成されている。表示範囲変更部１３は、ＣＭＯＳセンサ１７を制御し、これにより、表示範囲５３についてのみ画像の信号を出力させて表示装置５に表示範囲５３についてのみ撮像装置３の撮像した画像を表示させるとともに表示範囲５３の位置を変更する。

従って、ＣＭＯＳセンサ１７から表示装置５への信号量が低減される。その結果、消費電力の抑制及び処理速度の向上が期待される。また、ＣＭＯＳセンサは、既に述べたように、信号を出力する範囲を内部的に補正する機能を有していることがあり、その機能を利用することにより、設計変更を少なくすることができる。その結果、安価に表示範囲５３の変更が実現されることが期待される。

＜第２の実施形態＞
図５は、第２の実施形態に係る車載撮像システム２０１の信号処理系の構成を示すブロック図である。

車載撮像システム２０１は、表示範囲変更部の構成（動作）、及び、撮像装置の撮像素子の構成のみが第１の実施形態の車載撮像システム１と相違する。具体的には、以下のとおりである。

車載撮像システム２０１の撮像装置２０３は、撮像素子としてのＣＣＤ（Charge Coupled Device）（イメージ）センサ２１７を含んで構成されている。ＣＣＤセンサ２１７は、公知のように、電荷転送型の撮像素子である。すなわち、ＣＣＤセンサ２１７は、ＸＹ方向（図５の紙面左右方向）に配列された複数のセル２１９（画素）を有している。各セル２１９は、光電変換素子を含んで構成され、受光した光の量に応じた量の信号電荷を蓄える。そして、ＣＣＤセンサ２１７は、いわゆるバケツリレーのようにセル２１９の電荷を隣のセル２１９へ転送することにより、順次セル２１９に蓄積された信号電荷を読み出す。

従って、ＣＣＤセンサ２１７は、基本的には、全てのセル２１９の蓄積した信号電荷を出力するものであり、一部のセル２１９についてのみ信号電荷を出力する機能は有していない。換言すれば、ＣＣＤセンサ２１７は、視野５１に相当する画像信号を出力するものであり、表示範囲５３に相当する画像信号のみを出力する機能は有していない。なお、撮像装置２０３は、撮像素子として、ＣＭＯＳセンサ１７を含んで構成され、全てのセル１９の蓄積した信号電荷を出力するように構成されてもよい。

車載撮像システム２０１の制御部２０９において構成された表示範囲変更部２１３は、撮像装置２０３から出力された視野５１に相当する画像信号から、表示範囲５３に相当する画像信号を抽出し、表示装置５に出力する。表示装置５は、第１の実施形態と同様に、入力された画像信号に基づく画像を、その画像の全体の大きさが画面５ａの一定の領域（例えば画面５ａの全体）の大きさに一致するように、適宜に拡大乃至は縮小して、画面５ａに表示する。

このようにして、表示装置５は、表示範囲についてのみ撮像装置２０３の撮像した画像を表示する。また、表示範囲変更部２１３は、信号を抽出する範囲の視野５１内における位置を変更することにより、表示装置５に表示される範囲（表示範囲５３）の位置を変更する。

以上の第２の実施形態においても、第１の実施形態と同様の効果が奏される。すなわち、撮像装置２０３の姿勢を変化させる駆動装置を設けることなく、表示装置５において表示する実際の風景の範囲を変更することができ、その結果、撮像装置２０３の小型化乃至は軽量化等の効果が奏される。

また、第２の実施形態では、撮像装置２０３は、その視野５１に相当する広さの画像の信号を出力し、表示範囲変更部２１３は、視野５１に相当する広さの画像の信号から一部の信号を抽出して表示装置５に出力するとともに、その信号を抽出する範囲の視野５１内における位置を変更する。

従って、撮像装置２０３は、ＸＹアドレス型の撮像素子を含んで構成されるものに限定されない。その結果、車載撮像システムの設計の自由度が向上する。

＜第３の実施形態＞
図６は、第３の実施形態に係る車載撮像システム３０１の要部（主として他の実施形態との相違点）を模式的に示す断面図である。

車載撮像システム３０１は、視点検出センサの構成のみが第１又は第２の実施形態と相違する。具体的には、以下のとおりである。

車載撮像システム３０１は、シート１１１が受ける荷重を検出する荷重センサ３３１を有している。荷重センサ３３１は、例えば、シート１１１の前後方向及び左右方向の複数位置に設けられている。また、車載撮像システム３０１は、シートベルト１１３が受ける荷重（引張荷重）を検出する荷重センサ３３３を有している。

運転者が視点（頭）を移動させるときには、シート１１１が受ける荷重及び／又はシートベルト１１３が受ける荷重が変化する。そこで、車載撮像システム３０１の制御部３０９は、荷重センサ３３１及び３３３の検出する荷重の変化に基づいて、運転者の視点の移動を検出する。

例えば、左右に配置された１対の荷重センサ３３１において、一方の荷重センサ３３１の検出する荷重が増加し、他方の荷重センサ３３１の検出する荷重が減少すれば、視点が前記一方に移動したと判定することができる。また、例えば、前後に配置された１対の荷重センサ３３１において、前方の荷重センサ３３１の検出する荷重が増加し、後方の荷重センサ３３１の検出する荷重が減少すれば、視点が前方乃至は上方へ移動したと判定することができる。
＜第４の実施形態＞
図７は、第４の実施形態の車載撮像システム４０１の要部（主として他の実施形態との相違点）を模式的に示す断面図である。

車載撮像システム４０１は、視点検出センサの構成のみが第１又は第２の実施形態と相違する。具体的には、以下のとおりである。

車載撮像システム４０１は、シートベルト１１３の変位（移動）を検出するセンサを有している。例えば、当該センサは、インストルメント・パネル１０５に設けられた発光素子４３１と、シートベルト１１３に設けられ、発光素子４３１からの光を受光する撮像素子４３３とを有している。車載撮像システム４０１の制御部４０９は、撮像素子４３３の撮像した画像において、発光素子４３１を特定するとともに、その座標を特定する。そして、制御部４０９は、その座標の変化を監視することにより、シートベルト１１３（撮像素子４３３）の変位を検出することができる。

運転者が視点（頭）を体ごと移動させるときには、シートベルト１１３が変位する。従って、制御部４０９は、シートベルト１１３の移動を検出することにより、運転者の視点の移動を検出することができる。例えば、シートベルト１１３が左右方向の一方へ移動すれば、制御部４０９は、視点が前記一方へ移動したと判定することができる。

本発明は、以上の実施形態に限定されず、種々の態様で実施されてよい。

撮像装置は、車両の側方に設けられ、車両の後方を撮像するものに限定されない。例えば、車両の前方に設けられ、車両前方の死角を撮像するものであってもよいし、車両の後方に設けられ、車両後方の死角を撮像するものであってもよいし、車両の内部若しくは外部に設けられ、バックミラーで視認すべき範囲を撮像するものであってもよいし、車両の内部に設けられ、客席を撮像するものであってもよい。

撮像装置の構成は、適宜な構成とされてよい。例えば、撮像装置は、広角レンズ（魚眼レンズ）を有していてもよい。この場合、死角を低減しつつ、小型化を図ることができる。なお、この場合、広角レンズによる歪を補正する画像処理が行われた画像が表示装置に表示されることが好ましい。

表示装置（画面）の配置位置は、インストルメント・パネルの上部中央に限定されず、適宜に設定されてよい。

例えば、１対のサイドミラーに代えて１対の撮像装置により車両の後方を撮像する場合において、１対の撮像装置の画像を表示する１対の表示装置は、運転者から見て左右に離して配置されていてもよい。具体的には、例えば、１対の表示装置は、インストルメント・パネルにおいて、メータ（ハンドル）を挟んで左右に配置されてよい。また、例えば、１対の表示装置は、左右のＡピラー又は左右ドア内側に配置（フロントガラスを挟んで通常はサイドミラーが配置される位置の内側に配置）されてよい。

１対の表示装置が運転者から見て左右に離して配置されることにより、例えば、視覚センサによる視点・視線の判別が容易である、運転者が車両の周囲を表示装置により確認した後、目視に移行しやすい、等の効果が奏される。さらに、１対の表示装置がメータを挟んで左右に配置される場合においては、例えば、運転者の視線移動が少なくなるという効果が奏される。また、１対の表示装置がＡピラー又はドア内側に配置される場合においては、例えば、サイドミラーと同様の感覚で表示装置を視認できるという効果が奏される。

表示範囲の位置変更は、視点の移動に応じて行われるものに限定されない。例えば、表示範囲の位置変更は、インストルメント・パネル等に設けられた専用の操作部材に対する操作に応じて行われてもよいし、タッチパネル式の表示装置の画面に対する操作に応じて行われてもよいし、バックギアへギアチェンジを行う等の運転操作に応じて行われてもよいし、車両と周囲の障害物との位置関係の変化等の運転状況に応じて行われてもよい。

また、表示範囲の位置変更が視点の移動に応じて行われる場合において、視点が検出される者は、運転者に限らず、同乗者であってもよい。また、視点の移動に応じた表示範囲の位置変更は、ミラーと同様の感覚を運転者等に与えるものでなくてもよい。例えば、視点の移動方向と同一の方向へ表示範囲が移動してもよい。

実施形態では、比較的短い周期で視点の移動を検出し、その視点の移動に応じて表示範囲を変更したから、表示範囲の位置は、あたかも撮像装置が姿勢を変化させているように、連続的に変更される。しかし、表示範囲の位置変更は、あたかも複数の撮像装置の間で画像が表示される撮像装置が切り換えられたかのように間欠的に行われてもよい。

また、表示範囲の位置変更は、その視野内における表示範囲の面積の変更を伴ってもよい。例えば、視点が表示装置の画面に近づいたときは、表示範囲を広くするようにしてもよい。このような表示範囲の変更も、ミラーに対して視点を移動させたときの感覚と同様の感覚を運転者等に提供できる。このような場合において、表示範囲は、一時的に視野と同等の広さとされることがあってもよい。

また、例えば、右折又は左折の際に方向指示器に連動して、表示範囲を広くし及び／又表示範囲の位置を変更し、表示範囲が巻き込み確認に必要な範囲（車両の後側方）を含むようにしてもよい。この場合、積極的に安全性向上のための情報を運転者に提供できる。なお、この態様においては、撮像装置が上述した広角レンズを有して、撮像装置の視野が広いことが好ましい。

図４に例示したフローチャートは、適宜に変更されてよい。例えば、ステップＳ４〜Ｓ６を省略するとともに、視線が表示装置に向けられていないときはステップＳ２に戻るようにしてもよい。すなわち、視線が表示装置に向けられているときのみ、視点の移動等に応じて表示範囲の位置を変更するようにしてもよい。逆に、ステップＳ２及び３も省略してしまい、視線が表示装置に向けられているか否かに関わらず、視点の移動等に応じて表示範囲の位置を変更するようにしてもよい。また、例えば、ステップＳ８は省略し、視点の微小な移動にも表示範囲の位置変更が応じるようにしてもよい。

撮像装置の視野内の一部である表示範囲についてのみ撮像装置の撮像した画像を表示する場合において、表示範囲外の画像信号が表示範囲の画像の表示に利用されてもよい。例えば、表示範囲に相当する画像の外周縁の画素の色補正等に、表示範囲外の画像信号が利用されてもよい。

また、第１の実施形態と第２の実施形態とを適宜に組み合わせてもよい。例えば、表示範囲よりも少し広い範囲で画像信号を撮像装置に出力させ、その画像信号から表示範囲に相当する画像信号を抽出するとともに、表示範囲外の画像信号を上述のような補正等に利用してよい。

本発明の車載撮像システムにおいて、表示装置は、適宜な操作等に応じて、撮像装置の視野全体について撮像装置の撮像した画像を表示することがあってもよい。

本発明は、撮像装置の姿勢を変化させる駆動装置を不要とする。ただし、そのような駆動装置が設けられてもよい。駆動装置が設けられたとしても、例えば、表示範囲の変更は信号処理を変更するだけであるから、表示装置に表示される実際の風景の範囲を迅速に切り換えることができる等の効果が奏される。また、駆動装置が設けられることにより、例えば、駐車後、撮像装置を車体側へ移動（収納）させて、車両全体の幅を狭くしたり、走行前に撮像装置の視野の範囲を調整したり、駆動装置による撮像装置の姿勢の変化と表示範囲の変更とを組み合わせて表示装置に表示される実際の風景の範囲を大きく変更したりすることができる。

１…車載撮像システム、３…撮像装置、５…表示装置、１３…表示範囲変更部、５１…視野、５３…表示範囲、１０３…車体。

Claims (7)

1. 車両に設けられた撮像装置と、
   前記車両に設けられ、前記撮像装置の視野内の一部である表示範囲についてのみ前記撮像装置の撮像した画像を表示可能な表示装置と、
   前記車両の運転者の視点の位置若しくは視点の移動を検出する視点検出センサと、
   前記運転者の視線を検出する視線検出センサと、
   前記視点検出センサの検出結果から得られる視点の移動に応じて前記表示範囲の前記撮像装置の視野内における位置を移動させて変更する表示範囲変更部と、
   を有し、
   前記表示範囲変更部は、
   前記視線検出センサの検出結果から得られる視線が前記表示装置の画面の少なくとも一部を含む所定の設定範囲に向けられたことを条件として、前記視点検出センサの検出結果から得られる視点の移動方向とは反対方向へ前記表示範囲の位置を変更し、
   前記視線検出センサの検出結果から得られる視線が前記設定範囲内に向けられずに所定の時間が経過すると、前記表示範囲の位置を所定の初期位置に戻す
   車載撮像システム。
2. 前記撮像装置は、前記車両の後方を撮像可能に前記車両の側方に設けられている
   請求項１に記載の車載撮像システム。
3. 前記視点検出センサは、前記運転者を撮像し、撮像した画像から前記運転者の頭又は目を特定することにより、前記運転者の視点の位置又は視点の移動を検出する
   請求項１又は２に記載の車載撮像システム。
4. 前記視点検出センサは、前記運転者が座るシート又は前記運転者が装着するシートベルトが受ける荷重を検出し、検出した荷重の変化に基づいて前記運転者の視点の移動を検出する
   請求項１又は２に記載の車載撮像システム。
5. 前記視点検出センサは、前記シートベルトの移動を検出することにより、前記運転者の視点の移動を検出する
   請求項１又は２に記載の車載撮像システム。
6. 前記撮像装置は、その視野のうち一部についてのみ画像の信号を出力可能なＣＭＯＳセンサを含んで構成され、
   前記表示範囲変更部は、前記ＣＭＯＳセンサを制御し、これにより、前記表示範囲についてのみ画像の信号を出力させて前記表示装置に前記表示範囲についてのみ前記撮像装置の撮像した画像を表示させるとともに前記表示範囲の位置を変更する
   請求項１〜５のいずれか１項に記載の車載撮像システム。
7. 前記撮像装置は、その視野に相当する広さの画像の信号を出力し、
   前記表示範囲変更部は、前記撮像装置の視野に相当する広さの画像の信号から一部の信号を抽出して前記表示装置に出力するとともに、その信号を抽出する範囲の前記撮像装置の視野内における位置を変更することにより、前記表示装置に前記表示範囲についてのみ前記撮像装置の撮像した画像を表示させるとともに、前記表示範囲の位置を変更する
   請求項１〜５のいずれか１項に記載の車載撮像システム。

Images