JP7141817B2

JP7141817B2 - 画像処理装置

Info

Publication number: JP7141817B2
Application number: JP2017142768A
Authority: JP
Inventors: 祐基今任
Original assignee: Lapis Semiconductor Co Ltd
Current assignee: Lapis Semiconductor Co Ltd
Priority date: 2017-07-24
Filing date: 2017-07-24
Publication date: 2022-09-26
Anticipated expiration: 2037-07-24
Also published as: JP2019023804A; US10682956B2; CN109291853A; US20190023182A1

Description

本発明は、画像処理装置に関する。

近年、ルームミラーやサイドミラーを通して車両の後方を視認することに代えて、車両の後方や側方に設置したカメラの映像を電子ミラーに表示させて視認することが行われている。その際、車両内部のディスプレイは表示領域の大きさが限られているため、カメラの映像を単純に表示させた場合、死角が生じてしまう。また、死角を削減するために映像範囲を広げると、表示が細かくなり、視認性が低下するという問題があった。そこで、車両後方及び側方の映像に対して分割、圧縮、及び合成を行った上で表示を行う車両用表示装置が提案されている（例えば、特許文献１）。

特開２０１０－９５０８６号公報

上記従来技術の車両用表示装置では、リアカメラ、右サイドカメラ及び左サイドカメラの各々により撮影された映像に対して分割及び圧縮を行った上で合成したり、広角カメラで撮影した映像を全体的に圧縮したりすることにより、映像の表示を行う。このため、異なるカメラで撮影された映像を合成する場合には、画像の境界付近にチラツキが発生して視認性が低下するという問題があった。また、広角カメラで撮影した映像を圧縮する場合には、急カーブや急勾配の付近等においても全体に圧縮が行われてしまい、視認性を低下させてしまうという問題があった。

本発明は上記問題点に鑑みてなされたものであり、車両の周辺を撮影した画像を視認性の高い表示画像に変換することが可能な画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、車両の周囲を撮影した画像データを得るデータ取得部と、前記画像データに基づく表示画像に画像処理を行う画像処理部と、を有し、前記表示画像は、水平方向に伸長する第１～第ｎの水平ライン（ｎは３以上の整数）と垂直方向に伸長する第１～第ｍの垂直ライン（ｍは３以上の整数）とを有する表示面上にマトリクス状に配されたｎ×ｍ個の画素からなり、第１～第（ｋ－１）の水平ライン（ｋは２≦ｋ＜ｎの整数）上の画素からなる第１の画像領域と、第ｋ～第ｎの水平ライン上の画素からなる第２の画像領域と、から構成され、前記画像処理部は、前記第２の画像領域に対して前記第ｋ～第ｎの水平ラインに垂直な方向に画像を圧縮する垂直画像圧縮処理を、前記画像圧縮処理として行い、前記垂直画像圧縮処理の圧縮率は、前記第ｋの水平ラインからの距離に応じて異なることを特徴とする。

本発明に係る画像処理装置によれば、カーブや勾配等の道路状態に関わらず、車両の周辺を撮影した画像を視認性の高い状態で表示させることが可能となる。

本実施例の画像処理装置を含む撮像装置の構成を示すブロック図である。垂直圧縮処理の前後の画像を示す図である。垂直圧縮処理及び水平圧縮処理の前後の画像を示す図である。垂直圧縮処理の圧縮係数と車速との関係及び水平圧縮処理の圧縮係数と車速との関係を示す図である。

以下、本発明の実施例について、図面を参照して説明する。なお、以下の実施例における説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。

図１は、本実施例の画像装置１１を含む撮像装置１００の撮像装置１０の概略構成を示すブロック図である。撮像装置１００は、カメラ１０、画像処理装置１１及び映像出力装置１５から構成されている。画像処理装置１１は、ＡＤ（Analog Digital）変換部１２、メモリ１３及び画像生成回路１４を含むＬＳＩ（Large Scale Integration）から構成されている。

カメラ１０は、例えば自動車等の車両に搭載される車載カメラであり、車両の周辺を撮影するべく、所定の取り付け位置に固定されている。カメラ１０は、車両周辺を撮影して得たアナログの映像信号ＶＳをＡＤ変換部１２に供給する。

ＡＤ変換部１２は、カメラ１０から供給されたアナログの映像信号ＶＳをデジタルデータＤＤに変換し、メモリ１３に供給する。

メモリ１３は、ＡＤ変換部１２により変換されたデジタルデータＤＤを格納する。デジタルデータＤＤは、複数フレームの連続する画像データＰＤから構成されている。

画像生成回路１４は、メモリ１３に格納されている１フレーム毎の画像データＰＤをアドレスを指定して読み出す。その際、アドレスが整数値でない場合には、画像生成回路１４は、バイリニア法、バイキュービック法等の補完方法により、画像データＰＤに基づく表示画像の画素の補間を行う。画像生成回路１４は、読み出した１フレーム毎の画像データＰＤに基づく表示画像に画像圧縮処理を施して映像データＶＤを生成し、映像出力装置１５に供給する。

画像生成回路１４は、表示画像の車両に近い被撮影領域を含む一部の画像領域に対し、画像圧縮処理を行う。画像圧縮処理は、例えばピクセルデータの間引きを行うことにより行う。

画像生成回路１４は、垂直方向に画像を圧縮する画像圧縮処理（以下、垂直圧縮処理と称する）及び水平方向に画像を圧縮する画像圧縮処理（以下、水平圧縮処理と称する）を行う。その際、画像生成回路１４は、車速が所定値（例えば、４０ｋｍ／ｈ）以下の場合には垂直圧縮処理のみを行い、所定値を超えた場合には垂直圧縮処理及び水平圧縮処理の両方を行う。

図２は、車速が所定値以下の場合において、垂直圧縮処理を行った表示画像の例を示す図である。図２（ａ）は垂直圧縮処理を施す前の表示画像、図２（ｂ）は垂直圧縮処理を施した後の表示画像を示している。

図２（ａ）に示すように、表示画像は、第１～第ｎの水平ライン及び第１～第ｍの垂直ライン（ｎ，ｍは３以上の整数）を有する表示面上にマトリクス状に配されたｎ×ｍ個の画素から構成されている。表示画像は、第１～第（ｋ－１）の水平ライン（ｋは１＜ｋ＜ｎの整数）上の画素からなる第１の画像領域Ｖ１と、第ｋ～第ｎの水平ライン上の画素からなる第２の画像領域Ｖ２と、から構成されている。第２の画像領域Ｖ２は車両から近い位置を表示する表示領域に対応し、第１の画像領域Ｖ１は第２の画像領域Ｖ２と比べて車両から遠い位置を表示する表示領域に対応している。

画像生成回路１４は、第１の画像領域Ｖ１及び第２の画像領域Ｖ２の各々において、第１～第ｐの垂直ライン上の画素からなる領域及び第ｑ～第ｍの垂直ライン上の画素からなる領域（ｐ，ｑは１＜ｐ＜ｑ＜ｍの整数）を非表示領域（図２（ａ）において実線斜線で示す）とする。

そして、画像生成回路１４は、第２の画像領域Ｖ２の第ｐ～第ｑの垂直ライン上の画素からなる領域（図２（ａ）及び（ｂ）において破線斜線で示す）に対して、垂直圧縮処理を行う。その際、画像生成回路１４は、第ｋの水平ラインを開始ライン（開始点）として、開始ラインからの垂直方向の距離に応じて圧縮率が大きくなるように垂直圧縮処理を行う。例えば、画像生成回路１４は、開始ラインからの垂直方向の距離の２乗に比例する圧縮率で垂直圧縮処理を行う。これにより、図２（ｂ）に示すように、第２の画像領域Ｖ２の画像が垂直方向に圧縮され、縮小して表示される。

図３は、車速が所定値を超えた場合において、垂直圧縮処理及び水平圧縮処理を行った表示画像の例を示す図である。図３（ａ）は垂直圧縮処理及び水平圧縮処理を施す前の表示画像、図３（ｂ）は垂直圧縮処理及び水平圧縮処理を施した後の表示画像を示している。

図３（ａ）に示すように、第２の画像領域Ｖ２は、第１のサブ領域ＳＶ１及び第２のサブ領域ＳＶ２（図３（ａ）においてグレーで示す）と、第３のサブ領域ＳＶ３（図３（ａ）及び（ｂ）において破線斜線で示す）から構成されている。

第１のサブ領域ＳＶ１は、第１の垂直ラインと第ｐの垂直ラインとの間及び第ｋの水平ラインと第ｎの水平ラインとの間に位置する画像領域であり、第１の垂直ライン上且つ第ｋ～第ｎの水平ライン上の画素と、第ｋの水平ライン上且つ第１～第ｐの垂直ライン上の画素と、を含み、水平方向の幅が第ｋの水平ラインから第ｎの水平ラインに向かうにつれて狭くなる形状を有する。

第２のサブ領域ＳＶ２は、第ｑの垂直ラインと第ｍの垂直ラインとの間及び第ｋの水平ラインと第ｎの水平ラインとの間に位置する画像領域であり、第ｍの垂直ライン上且つ第ｋ～第ｎの水平ライン上の画素と、第ｋの水平ライン上且つ第ｑ～第ｍの垂直ライン上の画素と、を含み、水平方向の幅が第ｋの水平ラインから第ｎの水平ラインに向かうにつれて狭くなる形状を有する。

第３のサブ領域ＳＶ３は、第１のサブ領域ＳＶ１と第２のサブ領域ＳＶ２との間に位置する画像領域であり、画像生成回路１４による垂直圧縮処理及び水平圧縮処理の対象領域となる。

画像生成回路１４は、第１の画像領域Ｖ１における第１～第ｐの垂直ライン上の画素からなる領域及び第ｑ～第ｍの垂直ライン上の画素からなる領域を非表示領域とする。また、画像生成回路１４は、第２の画像領域Ｖ２における第１のサブ領域ＳＶ１及び第２のサブ領域ＳＶ２を非表示領域とする。

そして、画像生成回路１４は、第２の画像領域Ｖ２の第３のサブ領域ＳＶ３に対して、垂直圧縮処理及び水平圧縮処理を行う。その際、画像生成回路１４は、第ｋの水平ラインを開始ライン（開始点）として、開始ラインからの垂直方向の距離に応じて圧縮率が大きくなるように垂直圧縮処理及び水平圧縮処理を行う。また、画像生成回路１４は、第１のサブ領域ＳＶ１と第３のサブ領域ＳＶ３との境界部分が第１の画像領域Ｖ１における第ｐの垂直ラインの延長線上に位置し、第２のサブ領域ＳＶ２と第３のサブ領域ＳＶ３との境界部分が第１の画像領域Ｖ２における第ｑの垂直ラインの延長線上に位置するように水平圧縮処理を行う。これにより、図３（ｂ）に示すように、第３のサブ領域ＳＶ３の画像が垂直方向及び水平方向に圧縮され、縮小して表示される。

垂直圧縮処理における圧縮係数をＫｖ、開始ラインからの距離をＶｘとすると、垂直圧縮処理における圧縮率Ｖｙは、以下の式（１）のように表される。
Ｖｙ＝Ｋｖ＊Ｖｘ²・・・（１）

水平圧縮処理における圧縮係数をＫｈ、開始ラインからの距離をＨｘとすると、水平圧縮処理における圧縮率Ｈｙは、以下の式（２）のように表される。
Ｈｙ＝Ｋｈ＊Ｈｘ²・・・（２）

垂直圧縮処理における圧縮係数Ｋｖは車速に対して一定であり、水平圧縮処理における圧縮係数Ｋｈは車速に応じて変化する。

図４（ａ）は、垂直圧縮処理の圧縮係数Ｋｖと車速との関係の例を示す図である。圧縮係数Ｋｖは、車速に関わらずＫｖ＝α（定数）となる。

図４（ｂ）は、水平圧縮処理の圧縮係数Ｋｈと車速との関係の例を示す図である。圧縮係数Ｋｈは、例えば車速が０～４０ｋｍ／ｈの間は０であり、車速が４０～６０ｋｍ／ｈの間は車速に比例するように（すなわち、車速に応じて一次関数的に）変化し、車速が６０ｋｍ／ｈを超えた場合はＫｈ＝β（定数）となる。

以上のように、本実施例の画像処理装置１１は、車両の周辺を撮影した表示画像の一部の画像領域（第２の画像領域Ｖ２）に対して画像圧縮処理を行うことにより、画面サイズを広げることなく、広範囲のカメラ画像を出力することができる。

また、本実施例の画像処理装置１１は、車両の周辺を撮影した表示画像について、第１～第（ｋ－１）の水平ライン上の画素からなる第１の画像領域Ｖ１に対しては画像圧縮処理を行わず、第ｋ～第ｎの水平ライン上の画素からなる第２の画像領域Ｖ２に対して画像圧縮処理を行う。この構成によれば、画像全体に画像圧縮処理を行う場合と比べて、画像圧縮により生じる違和感を低減することができる。例えば、本実施例では第２の画像領域Ｖ２が車両に近い位置の表示領域に対応し、第１の画像領域Ｖ１が車両から遠い位置の表示領域に対応しており、車両から比較的遠い位置の画像領域は圧縮されないため、急カーブや急勾配等における視認性の低下を抑えることが出来る。

また、車両が高速移動している場合、垂直方向にのみ画像圧縮処理を行うと、圧縮した部分が広がって見えるため、これを視認する運転者等に違和感が生じる場合がある。しかし、本実施例の画像処理装置１１は、車速が所定値（例えば、４０ｋｍ／ｈ）を超えた場合には、垂直圧縮処理に加えて水平圧縮処理を行う。これにより、垂直方向の圧縮により画像が広がって見える現象の発生を抑えることができ、運転者等に生じる違和感を低減することができる。

また、本実施例の画像処理装置１１は、車速が所定値以下の場合には、垂直圧縮処理のみを行い、水平圧縮処理を行わない。従って、車両が停車中等の場合において水平方向に画像が圧縮されることにより運転者等に生じる違和感を抑えることができる。

また、本実施例の画像圧縮装置１１は、水平方向における圧縮係数Ｋｈを車速に応じて段階的に変化させつつ画像圧縮処理を行う。従って、圧縮係数が急峻に切り替わることにより運転者に生じる違和感を低減することができる。

なお、本発明は上記実施形態に限定されない。例えば、上記実施例では、圧縮率が開始ラインからの距離の２乗に比例する場合を例として説明した。しかし、圧縮率と開始ラインからの距離との関係はこれに限られず、開始ラインからの距離が大となるに従って圧縮率が大となる関係であれば良い。

また、水平圧縮処理における圧縮係数は、車速に応じて変化するものであれば良く、図４（ｂ）に示すものに限られない。

１００撮像装置
１１カメラ
１２ＡＤ変換部
１３メモリ
１４画像生成回路
１５画像処理部
１６映像出力部

Claims

車両の周囲を撮影した画像データを得るデータ取得部と、
前記画像データに基づく表示画像に画像処理を行う画像処理部と、
を有し、
前記表示画像は、水平方向に伸長する第１～第ｎの水平ライン（ｎは３以上の整数）と垂直方向に伸長する第１～第ｍの垂直ライン（ｍは３以上の整数）とを有する表示面上にマトリクス状に配されたｎ×ｍ個の画素からなり、第１～第（ｋ－１）の水平ライン（ｋは２≦ｋ＜ｎの整数）上の画素からなる第１の画像領域と、第ｋ～第ｎの水平ライン上の画素からなる第２の画像領域と、から構成され、
前記画像処理部は、前記第２の画像領域に対して前記第ｋ～第ｎの水平ラインに垂直な方向に画像を圧縮する垂直画像圧縮処理を、前記画像圧縮処理として行い、
前記垂直画像圧縮処理の圧縮率は、前記第ｋの水平ラインからの距離に応じて異なることを特徴とする画像処理装置。
前記第２の画像領域は、前記車両に近い被撮影領域に対応する画像領域であり、
前記第１の画像領域は、前記第２の画像領域に対応する被撮影領域と比べて前記車両から遠い被撮影領域に対応する画像領域であることを特徴とする請求項１に記載の画像処理装置。
前記画像処理部は、前記第ｋ～第ｎの水平ラインに平行な方向に画像を圧縮する水平圧縮処理を前記画像圧縮処理として行うことを特徴とする請求項１又は２に記載の画像処理装置。
前記画像処理部は、前記第ｋの水平ラインからの距離に応じて異なる圧縮率で前記水平圧縮処理を行うことを特徴とする請求項３に記載の画像処理装置。
前記画像処理部は、前記車両の速度に応じて、前記水平圧縮処理の圧縮率を変化させることを特徴とする請求項３又は４に記載の画像処理装置。
前記第２の画像領域は、前記第１の垂直ライン上の画素を含む第１のサブ領域と、前記第ｍの垂直ライン上の画素を含む第２のサブ領域と、前記第１のサブ領域と前記第２のサブ領域との間の第３のサブ領域と、から構成され、
前記画像処理部は、前記第３のサブ領域に対して前記画像圧縮処理を行うことを特徴とする請求項１乃至５のいずれか１に記載の画像処理装置。
前記画像処理部は、
前記第１の画像領域のうち、第１～第ｐの垂直ライン上の画素からなる領域及び第ｑ～第ｍの垂直ライン上の画素からなる領域（ｐ，ｑは１＜ｐ＜ｑ＜ｍの整数）を非表示領域とし、
前記第２の画像領域のうち、前記第３のサブ領域と前記第１のサブ領域との境界部が前記第ｐの垂直ラインと重なり且つ前記第３のサブ領域と前記第２のサブ領域との境界部が前記第ｑの垂直ラインと重なるように前記第３のサブ領域に対して前記画像圧縮処理を行い、前記第１のサブ領域及び前記第２のサブ領域を非表示領域とすることを特徴とする請求項６に記載の画像処理装置。
前記第１の画像領域には、前記画像処理部による画像処理が行われていない状態の前記表示画像の一部が表示されることを特徴とする請求項１乃至７のいずれか１に記載の画像処理装置。