JP5684144B2 - 周辺映像生成方法および装置 - Google Patents

Description

本発明は、周辺映像生成方法および装置に関し、より詳しくは、車両の前方、後方、左側および右側に設置されたカメラを通じて撮像された映像を合成して車両の周辺映像を生成する方法および装置に関する。

一般に自動車の周辺環境を撮像してモニターさせるシステムが自動車に普遍的に設置されておらず、運転者は単に自身の肉眼を通じて前方を確認したり、サイドミラーまたはバックミラーを通じて後方を確認して自動車を前進または後進するようにしてきた。

しかし、自動車の構造によっては運転席に座って前後方の周辺環境を容易に確認することができるものがある反面、肉眼または各ミラーを通じて確認することができない死角地帯が存在するようになる。特に大型自動車の場合、サイドミラーやバックミラーのみでは確認することができない部位が多いため、自動車を出発させるに先立ち必ず自動車の周辺を見回しながら肉眼で障害物が存在するか否かを確認してこそ接触事故のような交通事故および人身事故の発生を防止することができる。

また、自動車を駐車しようとする運転者の場合、左右側と後方を一目で確認することができないため、運転が未熟な初歩運転者は周辺に駐車されている自動車または駐車柱と接触事故の危険性がある。そして、自動車の前方に位置した障害物でも自動車のフロントガラスとドアの間に位置するフレームにより障害物が隠蔽されるおそれがあり、自動車の前方または後方に座って遊んでいる子供を発見することができない場合には人身事故につながるおそれもある。

したがって、最近は自動車の前後方部、左右の側面部にそれぞれ付着されたカメラを通じて周辺環境を撮像し、撮像された画面を組み合わせて運転席に具備されたナビゲーター画面に表示する装置が開発されている。

しかし、従来技術によれば、車両の前後方映像と左右側映像を単に組み合わせて表示することによって、映像間に重複する重複領域に対する映像処理が自然に行われず、車両周辺に位置する死角地帯をまともに除去することができないという問題点がある。、例えば、前方映像と右側映像により全て撮像される重複領域が切取られて表現されたり一部分が省略された状態で表示され、運転者が現在車両の周辺状況を正確に認識し難くする場合もある。

したがって、本発明が解決しようとする技術的課題は、車両周辺の死角地帯をなくし、車両周辺の状況を運転者が正確に認識することができるようにする車両周辺映像生成方法および装置を提供することにある。

このような技術的課題を解決するための本発明の一実施例による車両周辺映像生成方法は、車両の前方、後方、左側および右側に設置されたカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて受信する段階、前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する段階、前記各チャンネル別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成する段階、及び前記周辺映像をディスプレイする段階を含む。

前記複数の補正映像を生成する段階は、前記カメラのレンズ歪曲による撮像映像の歪曲を補正する段階、前記撮像映像の視点をトップビュー形態に変換する段階、そして前記トップビュー形態に変換された撮像映像を回転または移動またはスケール変換させる段階を含むことができる。

前記複数の補正映像を生成する段階は、前記カメラのレンズ歪曲による撮像映像の歪曲を補正する段階、そして前記撮影映像を長方形のトップビュー形態に投影変換させる段階を含むことができる。

ルックアップテーブルを用いて前記複数の補正映像を生成することができる。

前記複数の補正映像の間に重複する領域に対して下記の式を用いてオーバレイ処理することができる。

Ｉ’（ｔ＋１）＝αＩ_１（ｔ）＋（１−α）Ｉ_２（ｔ）、０≦α≦１

Ｉ_１（ｔ）とＩ_２（ｔ）は、それぞれ二つのチャンネルを通じて入力される重複領域に対する映像情報を表し、αは、重複領域に含まれるピクセルに対する加重値を表し、Ｉ’（ｔ＋１）は、オーバレイ処理された映像情報を表す。

前記マスク映像は、前記重複領域に含まれるピクセルに対してグラディエント加重値（Ｇｒａｄｉｅｎｔ ｗｅｉｇｈｔ）を有するように設定することができる。

前記前方に設置されたカメラを通じて４個の指示子に対する明るさの平均値を計算し、前記明るさの平均値を前記周辺映像に適用する段階をさらに含むことができる。

本発明の他の実施例による車両周辺映像生成装置は、車両の前方、後方、左側および右側に設置されたカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて受信する映像入力部、前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する映像処理部、前記各チャンネル別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成する映像合成部、及び前記周辺映像をディスプレイする表示部を含む。

前記複数の補正映像の間に重複する領域に対して下記の式を用いてオーバレイ処理する制御部をさらに含むことができる。

Ｉ’（ｔ＋１）＝αＩ_１（ｔ）＋（１−α）Ｉ_２（ｔ）、０≦α≦１

Ｉ_１（ｔ）とＩ_２（ｔ）は、それぞれ二つのチャンネルを通じて入力される重複領域に対する映像情報を表し、αは、重複領域に含まれるピクセルに対する加重値を表し、Ｉ’（ｔ＋１）は、オーバレイ処理された映像情報を表す。

前記車両の走行状態情報を受信して前記制御部に伝達する通信部をさらに含み、前記制御部は前記車両の走行状態に応じて前記周辺映像の表示有無を決定する。

本発明のさらに他の実施例による車両周辺映像生成システムは、車両の前方、後方、左側および右側に設置されて撮像された映像をそれぞれのチャンネルを通じて出力する複数のカメラ、入力された前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成し、前記各チャンネル別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成する映像生成装置、及び前記周辺映像をディスプレイする表示装置を含む。

このように本発明によれば、車両周辺の死角地帯をなくし、複数のカメラにより撮像される重複領域を自然に表示されるように補正処理することによって、運転者が車両周辺の状況を正確に認識することができる。したがって、運転者はサイドミラーやバックミラーを見ることもなく便利に駐車することができ、安全に前進または後進走行することができる。

本発明の実施例による車両に設置されたカメラを説明するための図面である。 本発明の実施例による車両に設置されたカメラを説明するための図面である。 本発明の実施例による車両に設置されたカメラを説明するための図面である。 本発明の実施例による車両に設置されたカメラを説明するための図面である。 本発明の実施例による周辺映像生成システムの構成を示した図面である。 本発明の実施例による周辺映像生成方法を示したフローチャートである。 本発明の実施例による投影変換アルゴリズムを説明するための例示図である。 本発明の実施例によるマスク映像を説明するための図面である。 ２台のカメラが同一の物体を撮像する場合、重複領域が発生する原因を説明するための図面である。 本発明の実施例によるマスク映像の重複領域に含まれるピクセルに対する加重値情報を示した図面である。 図１０に対応してオーバレイ処理がされた映像を示した図面である。 本発明の実施例による重複領域がオーバレイ処理された周辺映像を示した例示図である。 本発明の実施例による表示装置の画面構成を示した図面である。 図１３による表示装置に表示される画面を示した例示図である。

以下、添付図面を参照して本発明の実施例について本発明が属する技術分野で通常の知識を有する者が容易に実施することができるように詳しく説明する。

図１乃至図４は、本発明の実施例による車両に設置されたカメラを説明するための図面である。本発明の実施例による周辺映像生成システムは、車両に設置された３次元空間上の４台のカメラ１１０、１２０、１３０、１４０を通じて撮像された映像を補正処理することによって、車両の３６０°周辺を運転者が確認することができるようにする視認性を確保するためのシステムである。図１に示したように、車両の前方、後方、左側、右側にはそれぞれカメラ１１０、１２０、１３０、１４０が設置されており、車両の死角地帯を最少化するためにカメラは少なくとも１８０°以上の広角が必要である。また、車両周辺映像の品質を向上するためには、二つのカメラの重複する視野角の領域が少なくとも１０００×１０００ｍｍ^２を維持するようにカメラの設置高さを設定するようにする。カメラの設置高さが高いほど良好な映像品質を確保することができる。このように各カメラが車両の死角地帯を解消することができる位置の選定と合成された周辺映像の画質低下を最小化することができる設置位置と視野角設定が重要である。

図２乃至図４を通じて車両（図１乃至図４ではセダン型自動車を例に挙げる）に４台のカメラが設置される位置をより詳しく説明する。図２に示したように、前方カメラ１１０は車両のボンネット中心に設置され、左側カメラ１３０と右側カメラ１４０はそれぞれ車両の両サイドミラーの周縁または下側に位置するように設置される。また、図３に示したように、後方カメラ１２０は後方バンパーの上側の中央に設置される。ここで、前方カメラ１１０と後方カメラ１２０は地面方向の垂直線を基準に１７０°以上が撮像され得るように設置する。

そして、図４に示したように、前方カメラ１１０の高さと後方カメラ１２０の高さは同一に維持するのが好ましく、同様に左側カメラ１３０と右側カメラ１４０の高さも同一に維持するのが好ましい。なぜなら、カメラの高さと角度（ＰＡＮ／ＴＩＬＴ）に応じて出力される映像のスケールおよび画質が異なるため、周辺映像合成時に重複領域で車線幅の広さが同一に表現されず、周辺事物の大きさが異質的に示される現象を最小化させるためである。また、左側カメラ１３０と右側カメラ１４０は地面方向の垂直線を基準に１７０°以上が撮像され得るように設置する。ここで、各カメラの設置位置は車種に応じて異なり、車両のデザインに応じて制約が発生することもある。

一般に広角カメラはレンズ周辺部の光量が不足して画質の低下が発生し、レンズの中心部よりも周辺部に歪曲が多く発生する。また、カメラを通じて撮像された映像を視点変換する時、周辺部の映像は画質が大きく低下する。したがって、カメラレンズの中心部領域に形成された映像を使うために前方カメラ１１０と後方カメラ１２０の光軸が地平線と平行であり、左側カメラ１３０と右側カメラ１４０は地面と垂直になるように設置する。

また、図２および図４に示したように、車両の前後方および左右側面から約１．５ｍ離れた範囲まで撮像され得るようにカメラ１１０、１２０、１３０、１４０の高さを設定し、この時、カメラは地面に対する垂直軸から約３０°〜６０°程度まで撮像することができるようにする。

図５は、本発明の実施例による周辺映像生成システムの構成を示した図面である。

図５に示したように、周辺映像生成システムは、複数のカメラ１１０、１２０、１３０、１４０、映像生成装置２００および表示装置３００を含むことができる。

複数のカメラ１１０、１２０、１３０、１４０は、それぞれ車両の前後方、左右側に設置され、広角レンズまたは魚眼レンズのように画角が大きいレンズを具備することができ、ピンホールカメラを含む。カメラ１１０、１２０、１３０、１４０は、１７０°以上の広い画角を有するレンズを通じて３次元の被写体を２次元の映像Ｄ１、Ｄ２、Ｄ３、Ｄ４に撮像し、撮像された映像はそれぞれ４個のチャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４を通じて映像生成装置２００に伝達される。

映像生成装置２００は、映像入力部２１０、映像処理部２３０、映像合成部２５０、制御部２７０および通信部２９０を含む。

映像入力部２１０は、複数のカメラ１１０、１２０、１３０、１４０を通じて撮影された映像Ｄ１、Ｄ２、Ｄ３、Ｄ４をそれぞれのチャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４を通じて受信する。

映像処理部２３０は、映像入力部２１０から受信された撮像映像Ｄ１、Ｄ２、Ｄ３、Ｄ４をルックアップテーブル（Ｌｏｏｋ ｕｐ Ｔａｂｌｅ）を通じて映像処理し、それぞれの撮像映像Ｄ１、Ｄ２、Ｄ３、Ｄ４から補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４を生成出力するようにする。ここで、ルックアップテーブルは歪曲補正アルゴリズム、アフィン（Ａｆｆｉｎｅ）変換アルゴリズム、視点変換アルゴリズムを適用して生成され得る。

映像合成部２５０は、映像処理部２３０を通じて補正された補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４を受信し、受信された補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４を重ねるオーバレイ（ｏｖｅｒｌａｙ）方式で合成処理する。ここで、映像合成部２５０は、マスク映像を用いてオーバレイ合成処理するが、マスク映像は各チャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４別領域情報と補正映像を構成するピクセルに対する加重値（ｗｅｉｇｈｔ）情報を有する。

制御部２７０は、補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４の間に重複する領域に含まれるピクセルの加重値を調節して重複領域が自然に表示されるようにする。

このように映像合成部２５０は、４個の補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４をオーバレイ方式で合成処理して車両の周辺３６０°を一目で見ることができる周辺映像を生成する。

通信部２９０は、ＣＡＮ通信またはＬＩＮ通信を通じて車両のギヤ、ハンドル、速度計、駆動装置などから現在の走行状態信号を受信する。通信部２９０は、受信された信号を制御部２７０に伝達し、制御部２７０は、走行状態に応じて表示装置３００に表示される周辺映像を決定するようにする。例えば、制御部２７０は、交通事故の予防のために車両が一定速度以上で走行中である場合には、周辺映像が表示されないようにする。

表示装置３００は、映像合成部２５０から生成された周辺映像をディスプレイすることができる装置であって、自動車内に設置されたディスプレイやナビゲーションを通じて具現されてもよく、映像生成装置２００内に含まれてもよい。

以下、図６を通じて映像生成装置２００が自動車の周辺映像を生成する方法について説明する。図６は、本発明の実施例による周辺映像生成方法を示すフローチャートである。

まず、映像生成装置２００は、カメラ１１０、１２０、１３０、１４０を通じて撮影された映像Ｄ１、Ｄ２、Ｄ３、Ｄ４を４個のチャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４を通じてそれぞれ受信する（Ｓ３１０）。図１乃至図４を通じて説明したように、カメラ１１０、１２０、１３０、１４０の設置位置および高さに応じて撮像映像Ｄ１、Ｄ２、Ｄ３、Ｄ４の構図は変動するようになる。

次に、映像生成装置２００は、受信された撮像映像Ｄ１、Ｄ２、Ｄ３、Ｄ４をルックアップテーブルを通じて補正処理し（Ｓ３２０）、オーバレイ処理に適した補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４を生成する。ルックアップテーブルは、歪曲補正アルゴリズム、アフィン（Ａｆｆｉｎｅ）変換アルゴリズム、視点変換アルゴリズムを適用したものであって、以下でそれぞれのアルゴリズムについて説明する。

まず、歪曲補正アルゴリズムは、カメラレンズにより発生する幾何学的歪曲を補正するためのアルゴリズムである。実際広角レンズまたは魚眼レンズは完全な球形ではなく焦点距離が短いため、レンズの幾何学的歪曲、例えば、放射状歪曲や接線方向歪曲が発生することがある。このようなレンズの歪曲によって、撮影された映像中で直線は曲線に変形して現れることがある。つまり、レンズの歪曲を示す歪曲定数（ｋ）が０よりも小さいピンクッション歪曲（ｐｉｎｃｕｓｈｉｏｎ ｄｉｓｔｏｒｔｉｏｎ）が発生したりレンズ歪曲定数（ｋ）が０よりも大きいバレル歪曲（ｂａｒｒｅｌ ｄｉｓｔｏｒｔｉｏｎ）が発生することがある。

したがって、歪曲補正アルゴリズムを通じてレンズの幾何学的歪曲映像を補正することができる。ここで、歪曲補正アルゴリズムは、補正パラメターと歪曲定数に関する関数で示すことができる。補正パラメターはカメラに装着されたレンズの焦点距離と光学中心座標を含むことができ、歪曲定数は放射状歪曲定数と接線方向歪曲定数を含むことができる。

本発明の実施例によれば、下記の数１の式のような歪曲補正アルゴリズムを適用することができる。

ここで、ｘ’、ｙ’は、映像平面上の補正指標イメージの座標を意味し、ｕ、ｖは、３次元空間座標が投影されたレンズ平面上の座標を意味し、ｆ_ｘとｆ_ｙは、レンズの焦点距離を意味し、ｃ_ｘとｃ_ｙは、レンズの光学中心点座標を意味する。ｋ_１とｋ_２は、放射状歪曲定数を意味し、ｐ_１とｐ_２は、接線方向歪曲定数を意味し、ｒ^２＝ｘ^’２＋ｙ^’２を意味する。ここで、補正指標イメージは格子形に構成することもでき、レンズの幾何学的歪曲を補正するために使用されるイメージである。

アフィン変換は２次元空間が１次式で示される点対応を意味し、回転（Ｒ）、移動（Ｔ）、スケール（Ｓ）変換を経る。一般にアフィン変換は次の数２の式のように表され得る。

ここで、Ｗは、アフィン演算されて出力される２次元カラー映像データ、Ａは、２次元カラー映像データの線形拡大および縮小、回転などを具現するための第１変換係数、Ｄは、入力されるフレーム単位の２次元カラー映像データ、Ｂは、入力される２次元カラー映像データ（Ｄ）の線形移動を具現するための第２変換係数をそれぞれ表す。

視点変換アルゴリズムは、４個のチャンネルを通じて入力される撮像映像Ｄ１、Ｄ２、Ｄ３、Ｄ４をトップビュー視点に変換するようにする。つまり、入力映像Ｄ１、Ｄ２、Ｄ３、Ｄ４を上方から見下ろす映像に視点変換するようにする。

一方、本発明の実施例によれば、アフィン変換と視点変換アルゴリズムを代替して一つの投影変換アルゴリズムを通じて補正処理を行うこともできる。図７は、本発明の実施例による投影変換アルゴリズムを説明するための例示図である。

図７に示したように、歪曲補正アルゴリズムを通じて生成された点（ｘ、ｙ）は投影変換アルゴリズムＨを通じて（ｘ’、ｙ’）に変換される。投影変換アルゴリズムＨは次の数３の式のように３Ｘ３の行列からなっている。

数３の式に歪曲補正アルゴリズムを通じて生成された点（ｘ、ｙ）と投影変換を通じて生成しようとする点（ｘ’、ｙ’）をそれぞれ代入して数３の式に表した投影変換アルゴリズムＨを導出することができる。つまり、図７に例示したように（ｘ、ｙ）にはそれぞれ（０、０）、（１、０）、（２、１）、（０、１）を代入し、（ｘ’、ｙ’）にはそれぞれ（０、０）、（１、０）、（１、１）、（０、１）を代入して演算処理することによって投影変換アルゴリズムＨを獲得することができる。このように投影変換を通じてカメラが傾くことによって発生する歪曲を補正し、曲げられた映像を図７に示したような長方形に変換させることができる。

本発明の実施例のようにルックアップテーブルを用いると、入力映像Ｄ１、Ｄ２、Ｄ３、Ｄ４に対する変換処理時間を減少させることができるという長所があるが、ルックアップテーブルを用いず、入力映像Ｄ１、Ｄ２、Ｄ３、Ｄ４に対して歪曲補正、アフィン変換および視点変換させたり、歪曲補正および投影変換をそれぞれ行って変換処理することもできる。また、本発明の実施例によれば、ルックアップテーブルの設定に応じて出力される補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４を多様な形態に変更することができる。

そして、映像生成装置２００は、マスク映像に貯蔵されたチャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４別領域情報とピクセルに対する加重値（ｗｅｉｇｈｔ）情報を用いて補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４に対してオーバレイ処理を行う（Ｓ３３０）。ここで、映像生成装置２００は、複数の補正映像の間に重複する領域に対してもマスク映像を用いてオーバレイ処理を行って最終的な車両の周辺映像を生成する（Ｓ３４０）。

図８は、本発明の実施例によるマスク映像を説明するための図面である。

本発明の実施例によれば、４個の補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４を一つの映像としてオーバレイ合成するためにマスク映像を用いる。

マスク映像は、各チャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４別の領域情報とそれぞれの領域に対応するピクセル値の情報を有し、図８に示したように９個の領域に区分される。図８に示したように、マスク映像は、チャンネルｃｈ１を通じて入力される前方カメラ１１０で撮像された映像は１、２、３領域にオーバレイされるように設定し、チャンネルｃｈ２を通じて入力される後方カメラ１２０で撮像された映像は７、８、９領域にオーバレイされるように設定する。また、マスク映像は、チャンネルｃｈ３を通じて入力される左側カメラ１３０で撮像された映像は１、４、７領域にオーバレイされるように設定し、チャンネルｃｈ４を通じて入力される右側カメラ１４０で撮像された映像は３、６、９領域にオーバレイされるように設定する。ここで、第１、３、７、９領域は複数のカメラにより重複撮影された重複領域である。つまり、第１領域は前方カメラ１１０と左側カメラ１３０により重複して撮影された重複領域であり、第３領域は前方カメラ１１０と右側カメラ１４０により重複して撮影された重複領域である。また、第７領域は後方カメラ１２０と左側カメラ１３０により重複して撮影された重複領域であり、第９領域は後方カメラ１２０と右側カメラ１４０により重複して撮影された重複領域である。

制御部２７０は、重複撮影されない領域である第２、４、６、８領域に対応する映像をデスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）映像に該当する周辺映像の同一の領域に移動させる。そして、制御部２７０は、複数のカメラで重複撮影された重複領域である第１、３、７、９領域に対してマスク映像を用いたオーバレイ処理を行う。

マスク映像は、色相の区分のために第２、４、６、８領域のそれぞれに対して色相の変化がない単色で表示されるようにする。また、車両の区別のために車両に該当する第５領域はＲ、Ｇ、Ｂピクセル値が調節可能であるように設定する。

そして、マスク映像は、第１、３、７、９領域に含まれるそれぞれのピクセルが１から２５４の間の範囲のＲピクセル値を有するように設定する。特にマスク映像は自然な色マッチングのために、図８に示したように第１、３、７、９領域に含まれる各ピクセルのＲピクセル値を１から２５４の間でグラディエント加重値（Ｇｒａｄｉｅｎｔ ｗｅｉｇｈｔ）値に設定されるようにする。第１領域を例に挙げれば、第２領域に接する部分のピクセルのＲピクセル値を１に設定し、第４領域に近いところに位置したピクセルであるほどＲピクセル値を増加させ、第４領域に接する部分のピクセルのＲピクセル値は２５４になるように設定する。

同様に、図８に示したように第３領域では、第２領域に接する部分のピクセルのＲピクセル値を１に設定し、第６領域に接する部分のピクセルのＲピクセル値は２５４になるように設定する。また、第７領域では、第８領域に接する部分のピクセルのＲピクセル値を１に設定し、第４領域に接する部分のピクセルのＲピクセル値は２５４になるように設定する。そして、第９領域では、第８領域に接する部分のピクセルのＲピクセル値を１に設定し、第６領域に接する部分のピクセルのＲピクセル値は２５４になるように設定する。

ここで、隣接したチャンネル間映像の重複する領域である第１、３、７、９領域は、各カメラの明るさまたは明度差により異質的に区分されて見えるため、制御部２７０は第１、３、７、９領域に含まれる各ピクセルに対して次の数４の式を適用してオーバレイ（ｏｖｅｒａｙ）演算を行うことができる。

数４の式中、Ｉ_１（ｔ）とＩ_２（ｔ）は、それぞれ二つのチャンネルを通じて入力される重複領域に対する映像情報を表し、αは、重複領域に含まれるピクセルに対する加重値を表し、Ｉ’（ｔ＋１）は、オーバレイ処理された映像情報を表す。

特に、Ｉ_１（ｔ）は、前方に設置されたカメラ１１０または後方に設置されたカメラ１２０で撮像されてｃｈ１チャンネルまたはｃｈ２チャンネルを通じて入力される重複領域に対する映像情報を表し、Ｉ_２（ｔ）は、左側に設置されたカメラ１３０または右側に設置されたカメラ１４０で撮像されてｃｈ３チャンネルまたはｃｈ４チャンネルを通じて入力される重複領域に対する映像情報を表す。

また、αは、重複領域に含まれるＲピクセルに対する加重値であって、例えば、第１領域と第２領域が接する部分の場合には、αは０に近い値（１／２５５）になり、第１領域と第４領域が接する部分の場合には、αは１に近い値（２５４／２５５）になる。

以下、図９乃至図１１を参照して制御部２７０がマスク映像を用いて重複領域に対してオーバレイ処理する過程をより詳しく説明する。

図９は、２台のカメラが同一の物体を撮像する場合、重複領域が発生する原因を説明するための図面である。

図９に図示したように、２台のカメラ（カメラ１、カメラ２）が同一の物体を撮像する場合、２台のカメラが指向する視差により物体の形状は映像合成境界領域で消えたり重複して現れる。このような重複領域は車両の死角地帯領域であって車両周辺の四隅地域に現れる。したがって、運転者が車両周辺の状況をよく認知して視認性を向上させるために、本発明の実施例ではマスク映像を通じたオーバレイ処理を適用する。

図１０は、本発明の実施例によるマスク映像の重複領域に含まれるピクセルに対する加重値情報を示した図面であり、図１１は、図１０に対応してオーバレイ処理された映像を示した図面である。制御部２７０は、図１０の（a）乃至（d）のように重複領域に含まれるピクセルに対する加重値を変化させることによって図１１の（a）乃至（d）のようなオーバレイ処理結果を示すことができる。

まず、図１０と図１１の（a）の場合は、映像合成境界を起点に二つのカメラの映像が完全に独立的に分離したものを示す。つまり、カメラ１とカメラ２を通じて撮像された重複領域に対して図１０の（a）に例示した加重値情報を数４の式に適用すれば、図１１の（a）のようなオーバレイ処理された映像を生成することができる。

そして、図１０と図１１の（b）の場合は、隣接した各ピクセルの間の加重値を線形的に設定するアルファブレンド方法を通じて２個の映像をオーバレイ処理したものである。図１０と図１１の（b）の場合は、隣接した各ピクセルの間の加重値を線形的に設定することによって最も自然な映像になるようにできる。図１０と図１１の（a）乃至（d）に示した重複処理方法のうち、（b）の場合が図８で説明したグラディエント加重値（Ｇｒａｄｉｅｎｔ ｗｅｉｇｈｔ）設定方法に最も類似し、最も自然な映像になるようにできる。

また、図１０と図１１の（c）の場合は、区間を分割してｏｄｄ列はカメラ１により撮像された映像が出力され、ｅｖｅｎ列はカメラ２により撮像された映像が出力されるようにしてオーバレイ処理したものである。図１０と図１１の（d）の場合は、図１０と図１１の（c）で行分割を追加してｏｄｄ列はカメラ１により撮像された映像が出力され、ｅｖｅｎ列はカメラ２により撮像された映像が出力されるようにしてオーバレイ処理したものである。

このように映像生成装置２００は、補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４の間に発生した重複領域に対してマスク映像を通じてオーバレイ処理することによって、重複領域が自然に表示された周辺映像を生成することができる。

図１２は、本発明の実施例による重複領域がオーバレイ処理された周辺映像を示した例示図である。

図１２に示されているように、映像生成装置２００は、カメラ１１０、１２０、１３０、１４０を通じて撮影された映像Ｄ１、Ｄ２、Ｄ３、Ｄ４を４個のチャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４を通じてそれぞれ受信した後、マスク映像を用いて重複領域に対してオーバレイ処理を行うことによって、重複領域が自然に表示されて合成された周辺映像Ｅを生成することができる。

一方、カメラ１１０、１２０、１３０、１４０を通じて撮影された映像Ｄ１、Ｄ２、Ｄ３、Ｄ４の明るさがそれぞれ異なり得るため、本発明の実施例による映像生成装置２００は、車両の前方に設置されたカメラ１１０で撮像された映像Ｄ１に４個の指示子を置き、４個の指示子に対する明るさの平均値を計算する。そして、映像生成装置２００は、ヒストグラムイコライザを通じて４個の映像Ｄ１、Ｄ２、Ｄ３、Ｄ４に明るさの平均値を適用して合成された周辺映像Ｅが最大限同一の明るさを有するようにする。

図１３は、本発明の実施例による表示装置の画面構成を示した図面であり、図１４は、図１３による表示装置に表示される画面を示した例示図である。

図１３および図１４に示したように、Ａ画面には車両が走行する場合に前方カメラ映像Ｄ１が出力され、駐車する場合には後方カメラ映像Ｄ２が表示される。ここで、制御部２７０は、車両のＣＡＮ通信によりギヤボックスの後進ギヤのＯＮ／ＯＦＦ信号を感知し、Ａ画面を自動転換されるようにする。そして、運転者はボタン１またはボタン２を直接タッチして前方カメラ映像Ｄ１と後方カメラ映像Ｄ２を選択的に転換することができる。ここで、運転者はジョグダイヤルを用いて映像を転換することもできる。

また、Ａ画面を通じて駐車時の後方カメラ映像Ｄ２が表示される場合、車両の操向角度信号を通信部２９０により受信した制御部２７０は、駐車ガイドラインと予想軌跡をＡ画面に表示することによって、運転者に駐車の便宜性を提供することができる。

そして、図１３および図１４に示したように、Ｂ画面には映像生成装置２００により合成された周辺映像Ｅが表示される。ここで、制御部２７０は通信部２９０から信号を受信して走行中には左側カメラ映像Ｄ３または右側カメラ映像Ｄ４が表示されるようにできる。また、運転者の安全性を考慮して制御部２７０は車両の走行速度が例えば２０ｋｍ以上であれば、Ａ画面およびＢ画面をオフ状態に転換することもできる。

以上で本発明の好ましい実施例について詳細に説明したが、本発明の権利範囲はこれに限定されるのではなく、特許請求の範囲で定義している本発明の基本概念を利用した当業者の多様な変形および改良形態も本発明の権利範囲に属する。

産業上利用の可能性

このように本発明によれば、車両周辺の死角地帯をなくし、複数のカメラにより撮像される重複領域を自然に表示されるように補正処理することによって、運転者が車両周辺の状況を正確に認識することができる。したがって、運転者はサイドミラーやバックミラーを見ることもなく便利に駐車することができ、安全に前進または後進走行することができる。

１１０、１２０、１３０、１４０…カメラ
２００…映像生成装置
２１０…映像入力部
２３０…映像処理部
２５０…映像合成部
２７０…制御部
２９０…通信部
３００…表示装置
ｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４…チャンネル
Ｄ１、Ｄ２、Ｄ３、Ｄ４…撮像映像
Ｅ１、Ｅ２、Ｅ３、Ｅ４…補正映像

Claims (10)

1. 車両の前方、後方、左側および右側に設置されたカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて受信する段階、
   前記撮像された映像をトップビュー形態に補正処理して複数の補正映像を生成する段階、
   前記チャンネル別の領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成する段階、
   前記前方に設置されたカメラを通じて４個の指示子に対する明るさの平均値を計算し、前記明るさの平均値を前記周辺映像に適用する段階、及び
   前記周辺映像をディスプレイする段階を含み、
   前記車両の前方及び後方に設置された前記カメラの光軸が地平線と平行であり、前記車両の左側及び右側に設置された前記カメラの光軸が地面と垂直であり、
   前記マスク映像は、一つの前記カメラにより撮像されて一つのチャンネルを通じて入力される領域、二つの前記カメラにより撮像されて二つのチャンネルを通じて入力される重複領域、及び前記車両に該当する領域を含み、
   前記重複領域に対して下記の式を用いてオーバレイ処理することを特徴とする車両周辺映像生成方法：
   Ｉ’（ｔ＋１）＝αＩ１（ｔ）＋（１−α）Ｉ２（ｔ）、０≦α≦１
   Ｉ１（ｔ）とＩ２（ｔ）は、それぞれ二つのチャンネルを通じて入力される前記重複領域に対する映像情報を表し、αは、前記重複領域に含まれるピクセルに対する加重値を表し、Ｉ’（ｔ＋１）は、オーバレイ処理された映像情報を表す。
2. 前記複数の補正映像を生成する段階は、
   前記カメラのレンズ歪曲による撮像映像の歪曲を補正する段階、
   前記撮像映像の視点をトップビュー形態に変換する段階、及び
   前記トップビュー形態に変換された撮像映像を回転または移動またはスケール変換させる段階を含むことを特徴とする、請求項１に記載の車両周辺映像生成方法。
3. 前記複数の補正映像を生成する段階は、
   前記カメラのレンズ歪曲による撮像映像の歪曲を補正する段階、及び
   前記撮像された映像を長方形のトップビュー形態に投影変換させる段階を含むことを特徴とする、請求項１に記載の車両周辺映像生成方法。
4. ルックアップテーブルを用いて前記複数の補正映像を生成することを特徴とする、請求項１または２に記載の車両周辺映像生成方法。
5. 前記マスク映像は、前記重複領域に含まれるピクセルに対してグラディエント加重値を有するように設定することを特徴とする、請求項１に記載の車両周辺映像生成方法。
6. 車両の前方、後方、左側および右側に設置されたカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて受信する映像入力部、
   前記撮像された映像をトップビュー形態に補正処理して複数の補正映像を生成する映像処理部、
   前記チャンネル別の領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成する映像合成部、及び
   前記周辺映像をディスプレイする表示部を含み、
   前記車両の前方及び後方に設置された前記カメラの光軸が地平線と平行であり、前記車両の左側及び右側に設置された前記カメラの光軸が地面と垂直であり、
   前記前方に設置されたカメラを通じて４個の指示子に対する明るさの平均値を計算し、前記明るさの平均値を前記周辺映像に適用し、
   前記マスク映像は、一つの前記カメラにより撮像されて一つのチャンネルを通じて入力される領域、二つの前記カメラにより撮像されて二つのチャンネルを通じて入力される重複領域、及び前記車両に該当する領域を含み、
   前記複数の補正映像の間に重複する領域に対して下記の式を用いてオーバレイ処理する制御部をさらに含むことを特徴とする車両周辺映像生成装置：
   Ｉ’（ｔ＋１）＝αＩ１（ｔ）＋（１−α）Ｉ２（ｔ）、０≦α≦１
   Ｉ１（ｔ）とＩ２（ｔ）は、それぞれ二つのチャンネルを通じて入力される前記重複領域に対する映像情報を表し、αは、前記重複領域に含まれるピクセルに対する加重値を表し、Ｉ’（ｔ＋１）は、オーバレイ処理された映像情報を表す。
7. 前記映像処理部は、
   前記カメラのレンズ歪曲による撮像映像の歪曲を補正し、前記撮像映像の視点をトップビュー形態に変換し、前記トップビュー形態に変換された撮像映像を回転または移動またはスケール変換させることを特徴とする、請求項６に記載の車両周辺映像生成装置。
8. 前記マスク映像は、前記重複領域に含まれるピクセルに対してグラディエント加重値を有するように設定することを特徴とする、請求項６に記載の車両周辺映像生成装置。
9. 前記車両の走行状態情報を受信して前記制御部に伝達する通信部をさらに含み、
   前記制御部は、
   前記車両の走行状態に応じて前記周辺映像の表示有無を決定することを特徴とする、請求項６に記載の車両周辺映像生成装置。
10. 車両の前方、後方、左側および右側に設置されて撮像された映像をそれぞれのチャンネルを通じて出力する複数のカメラ、
    入力された前記撮像された映像をトップビュー形態に補正処理して複数の補正映像を生成し、前記チャンネル別の領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成する映像生成装置、及び
    前記周辺映像をディスプレイする表示装置を含み、
    前記車両の前方及び後方に設置された前記カメラの光軸が地平線と平行であり、前記車両の左側及び右側に設置された前記カメラの光軸が地面と垂直であり、
    前記マスク映像は、一つの前記カメラにより撮像されて一つのチャンネルを通じて入力される領域、二つの前記カメラにより撮像されて二つのチャンネルを通じて入力される重複領域、及び前記車両に該当する領域を含み、
    前記映像生成装置は、前記前方に設置されたカメラを通じて４個の指示子に対する明るさの平均値を計算し、前記明るさの平均値を前記周辺映像に適用し、前記複数の補正映像の間に重複する領域に対して下記の式を用いてオーバレイ処理する制御部をさらに含むことを特徴とする車両周辺映像生成システム：
    Ｉ’（ｔ＋１）＝αＩ１（ｔ）＋（１−α）Ｉ２（ｔ）、０≦α≦１
    Ｉ１（ｔ）とＩ２（ｔ）は、それぞれ二つのチャンネルを通じて入力される前記重複領域に対する映像情報を表し、αは、前記重複領域に含まれるピクセルに対する加重値を表し、Ｉ’（ｔ＋１）は、オーバレイ処理された映像情報を表す。