JP6439436B2 - 映像処理装置、及び車載映像処理システム - Google Patents

Description

本発明は、映像処理装置、及び車載映像処理システムに関する。

車両の後側方をカメラで撮影して、その映像を車両内部の表示部に表示する車両用周辺監視装置が知られている（例えば、特許文献１参照。）。

特許第３８７６７６１号公報

ところで、車両が後退する際には、上述のような装置の表示部に表示される映像の視点位置、視線方向、あるいは視野範囲など（以下、これらを総称して視点位置等という。）を、車両の前進時とは異なる視点位置等に変更したい場合がある。

一例を挙げれば、例えば、車両を後退させつつ駐車枠に収めたい場合や、車両を後退させつつ路肩に寄せて停車させたい場合には、駐車枠や路肩と車両の後輪付近との位置関係を確認しやすいような視点位置等で映像を表示したいことがある。別の例としては、例えば、車両の前進時には、より広範囲の確認ができるような表示を行っていても、車両の後退時には、車両後方のより狭い範囲が拡大表示されるような視点位置等で映像を表示したいことがある。これらのような視点位置等の変更は、カメラ映像の切り出し範囲を適切に設定し、必要があれば、適切な歪み補正等を施すことにより実現することができる。

しかし、車両の後方に障害物が存在する場合に、上述のような視点位置等の変更を行うと、障害物の存在する箇所が表示対象外になってしまうことがある。また、障害物とは別の箇所に着目して歪みを除去する補正を行った場合には、障害物がある箇所の歪みが増大することもあり、この場合、歪んだ障害物が表示されても、障害物を適切に視認できなくなる可能性がある。

以上のような事情から、車両の後側方の映像を表示する際に、その映像の視点位置等を変更可能で、車両の後方に障害物が存在する場合には、その障害物を適切に表示可能な映像処理装置、及び車載映像処理システムを提供することが望ましい。

以下に説明する映像処理装置は、障害物判定部と、映像入力部と、映像処理部と、映像出力部とを備える。障害物判定部は、車両の後方に存在する障害物を検知可能な障害物検知部から、障害物に関する情報を取得して、障害物の有無を判定する。映像入力部は、車両の後側方を撮影可能に構成されたカメラから、当該カメラで撮影されたカメラ映像を入力する。

映像処理部は、映像入力部によって入力されたカメラ映像に基づいて第一の出力用映像及び第二の出力用映像を生成可能に構成される。障害物判定部によって障害物があると判定された場合、映像処理部は、第一の出力用映像を生成する。障害物判定部によって障害物がないと判定された場合、映像処理部は、第二の出力用映像を生成する。

これら第一の出力用映像及び第二の出力用映像のうちの少なくとも一方を生成する際、映像処理部は、視点位置、視線方向、及び視野範囲のうちの少なくとも一つを変更対象として、カメラ映像に対して変更対象を変更する映像変換処理を施す。これにより、上記変更対象（すなわち、視点位置、視線方向、及び視野範囲のうちの少なくとも一つ）が互いに異なる第一の出力用映像及び第二の出力用映像が生成される。

このような映像処理部において、映像変換処理としては、第一の出力用映像に第二の出力用映像よりも障害物が大きく表示されることになる映像変換処理、又は第二の出力用映像には表示されない障害物の一部又は全部が第一の出力用映像に表示されることになる映像変換処理が実行される。

映像出力部は、映像処理部によって生成される第一の出力用映像又は第二の出力用映像を、車室内に配設された表示装置へと出力する。
このように構成された映像処理装置によれば、車両の後方に障害物がある場合には、第一の出力用映像を、表示装置の画面上に表示することができる。第一の出力用映像には、第二の出力用映像よりも障害物が大きく表示されるか、第二の出力用映像には表示されない障害物の一部又は全部が表示される。そのため、車両の運転者は、車両の後方にある障害物を容易に認識することができ、障害物を考慮した適切な運転操作を実施することができる。

また、車両の後方に障害物がない場合には、第二の出力用映像を、表示装置の画面上に表示することができる。第二の出力用映像には、第一の出力用映像よりも広範囲（すなわち、仮に障害物があったとすれば、その障害物は第一の出力用映像よりも小さく表示されることになるような範囲。）が表示されるか、第一の出力用映像とは別の範囲（すなわち、第一の出力用映像には表示される障害物の一部又は全部が表示されなくなるような範囲。）が表示される。そのため、車両後方に障害物がなければ、車両の周辺をより広範囲にわたって表示することや、車両の後方の一部が見えなくなるような方向（例えば、車両の後輪付近を注視する方向。）を表示することが可能となる。よって、車両の後方以外にある対象物を認識しやすい映像を表示することができる。

なお、上述のような映像変換処理は、第一の出力用映像及び第二の出力用映像のうちの少なくとも一方を生成する際に実行すればよい。すなわち、第一の出力用映像及び第二の出力用映像のうちの一方を生成する際に映像変換処理を実行してもよいし、両方のそれぞれを生成する際に映像変換処理を実行してもよい。

一方を生成する際に映像変換処理が実行され、他方を生成する際に映像変換処理が実行されない場合、一方は上記変更対象がカメラ映像とは一致しない映像になり、他方は上記変更対象がカメラ映像と一致する映像になる。そのため、この場合は、上記変更対象が互いに異なる第一の出力用映像及び第二の出力用映像が生成されることになる。

また、両方のそれぞれを生成する際に映像変換処理が実行される場合は、両方とも上記変更対象がカメラ映像とは一致しない映像になる。ただし、この場合も、上記変更対象が変更される程度を互いに異ならせることにより、上記変更対象が互いに異なる第一の出力用映像及び第二の出力用映像が生成されることになる。

また、以下に説明する車載映像処理システムは、障害物検知部と、カメラと、映像処理装置と表示装置とを備える。映像処理装置は、上述した通りの構成（すなわち、上述した障害物判定部、映像入力部、映像処理部、及び映像出力部。）を備える。したがって、上述の映像処理装置について述べた通りの作用、効果を奏する。

図１は車載映像処理システムの構成を示すブロック図である。 図２は第一実施形態における映像処理を示すフローチャートである。 図３は第一実施形態で例示した車両、障害物、及びカメラによる撮影範囲の位置関係を示す説明図である。 図４は第一実施形態におけるカメラ映像及び第一の出力用映像を例示した説明図である。 図５は第一実施形態における第二の出力用映像を例示した説明図である。 図６は第二実施形態における映像処理を示すフローチャートである。 図７は第二実施形態における第一の出力用映像を例示した説明図である。 図８は第三実施形態における映像処理を示すフローチャートである。 図９は第三実施形態における第一の出力用映像を例示した説明図である。 図１０はドアミラーに映る鏡像を例示した説明図である。 図１１は第四実施形態における第一の出力用映像を例示した説明図である。 図１２は第五実施形態における映像処理を示すフローチャートである。 図１３は第五実施形態における第一の出力用映像を例示した説明図である。

次に、上述の映像処理装置、及び車載映像処理システムについて、例示的な実施形態を挙げて説明する。
（１）第一実施形態
［映像処理装置の構成］
以下に説明する車載映像処理システムは、図１に示すように、上述の映像処理装置として機能する電子制御装置１（Electronic Control Unit；以下、ＥＣＵ１と略称する。）を中心に構成される。ＥＣＵ１の他には、左カメラ３、右カメラ４、左モニタ５、右モニタ６、障害物検知部７、及びシフト位置検知部８などを備える。

左カメラ３は、車両の左側にあるドアミラーの取り付け位置相当の箇所に取り付けられ、車両左側の後側方を撮影可能に構成されている。右カメラ４は、車両の右側にあるドアミラーの取り付け位置相当の箇所に取り付けられ、車両右側の後側方を撮影可能に構成されている。左カメラ３及び右カメラ４は、双方とも一般的なドアミラーを通して見える範囲よりも広い範囲を撮影可能に構成されている。

左モニタ５及び右モニタ６は、例えば液晶ディスプレイ装置などによって構成され、それぞれが車室内に配設されている。本実施形態の場合、左モニタ５は、運転席から見て左斜め前方となる位置に設置され、主に左カメラ３で撮影された映像が左モニタ５に表示される。右モニタ６は、運転席から見て右斜め前方となる位置に設置され、主に右カメラ４で撮影された映像が右モニタ６に表示される。

ただし、左モニタ５及び右モニタ６の配設位置は、上述の配設位置には限定されない、また、左モニタ５及び右モニタ６は、上述のように、それぞれに対応する表示装置で構成されていてもよいが、単一の表示装置で構成されていてもよい。例えば、単一のセンターディスプレイを、ダッシュボードの中央付近（例えば、センターコンソール等、運転席と助手席との間となる位置に対向する箇所。）に配設し、左モニタ５及び右モニタ６に相当する表示領域を、センターディスプレイの画面上に設けてもよい。

障害物検知部７は、車両の後方にある障害物の存在を検知可能で、検知した障害物までの距離を測定可能に構成されている。本実施形態の場合、障害物検知部７は、超音波方式
の測距センサ（以下、超音波ソナーともいう。）によって構成され、複数の超音波ソナーが車両の後方に配設されている。これら複数の超音波ソナーから車両の後方に向けて超音波を送波し、障害物によって反射された反射波を受波することにより、障害物の存在を検知し、検知した障害物までの距離を測定することができる。障害物検知部７によって得られる障害物情報は、上述のＥＣＵ１へと伝送される。なお、障害物検知部７は、超音波方式以外の測距センサ（例えば、赤外線方式の測距センサ等。）によって構成されていてもよい。

シフト位置検知部８は、トランスミッション（図示略）のシフト位置を検出するセンサによって構成される。シフト位置検知部８によって得られるシフト位置情報は、上述のＥＣＵ１へと伝送される。

ＥＣＵ１は、映像入力部１１、映像処理部１２、映像出力部１３、記憶部１４、障害物判定部１５、及びシフト位置判定部１６などを備える。映像入力部１１は、左カメラ３及び右カメラ４のそれぞれによって撮影されたカメラ映像を入力する。映像処理部１２は、映像入力部１１によって入力されたカメラ映像（左カメラ３で撮影されたカメラ映像、及び右カメラ４で撮影されたカメラ映像。）それぞれに対して映像処理を施して出力用映像を生成する。なお、映像処理部１２において実行される映像処理の詳細については後述する。

映像出力部１３は、映像処理部１２によって生成された出力用映像のうち、左カメラ３で撮影されたカメラ映像に基づいて生成された出力用映像を左モニタ５へと出力し、右カメラ４で撮影されたカメラ映像に基づいて生成された出力用映像を右モニタ６へと出力する。これにより、運転者は、車両の後退時、あるいは車線変更等を実施する際に、左モニタ５及び右モニタ６に映し出される映像を見て、車両の後側方の状況を把握することができる。

記憶部１４には、映像処理部１２において映像処理を実行する際に必要となる各種データが記憶されている。障害物判定部１５は、障害物検知部７から得られた障害物情報に基づいて、車両後方における障害物の有無を判定する。シフト位置判定部１６は、シフト位置検知部８から得られたシフト位置情報に基づいて、トランスミッションのシフト位置を判定する。

なお、本実施形態の場合、車両にはドアミラーそのもの（すなわち、鏡に映る鏡像によって車両の後側方を確認可能に構成されたもの。）は取り付けられていない。その代わりに、ドアミラーの取り付け位置相当の箇所には、上述の左カメラ３及び右カメラ４が取り付けられている。運転者は、ドアミラーを見る代わりに、左モニタ５及び右モニタ６を見ることにより、車両の後側方の状況を確認することができる。

ただし、本実施形態において説明する車載映像処理システムは、ドアミラーが取り付けられている車両において、ドアミラーと併用される構成として採用されてもかまわない。例えば、車両の左右両側それぞれにドアミラーが取り付けられ、それらのドアミラーに対して左カメラ３及び右カメラ４が取り付けられていてもよい。この場合、左モニタ５及び右モニタ６は、ドアミラーと併用して車両の後側方を確認するために利用することができる。

［ＥＣＵにおいて実行される処理の詳細］
次に、ＥＣＵ１において実行される処理について、図２に示すフローチャートに基づいて説明する。以下に説明する処理は、車両の作動開始に伴って実行され、以降は車両の作動停止まで繰り返し実行される処理である。

この処理を開始すると、ＥＣＵ１は、左カメラ３及び右カメラ４のそれぞれによって撮影されたカメラ映像を取得する（Ｓ１０）。本実施形態の場合、左カメラ３及び右カメラ４としては、撮影対象の左右を反転させて鏡像として映像を出力するカメラを採用している。そのため、Ｓ１０では、特に追加の映像処理を施さなくても鏡像化済みのカメラ映像を取得することができる。ただし、左カメラ３及び右カメラ４としては、撮影対象の左右を反転させることなく正像として映像を出力するカメラを採用することもできる。この場合は、ＥＣＵ１が、Ｓ１０又はその後の処理ステップにおいて、正像として取得した映像の左右を反転させて鏡像に変換する映像処理を施せばよい。

こうして得られるカメラ映像は、例えば右カメラ４によって撮影される映像を例に挙げると、図３に例示するような状況下では、図４に例示するような映像となる。図３において、車両２０は、駐車枠２２（舗装面上に描かれた白線。）の内側において、車両２０の右側にある白線に寄せた状態で停車している。また、車両２０の後方において、車両２０の近くにはパイロン（ロードコーン）２４が置かれており、パイロン２４よりも遠方には別の車両２６が停車している。

左カメラ３及び右カメラ４は、例えば、パイロン２４の中央付近を見下ろすような角度での撮影方向に関し、図３中に二点鎖線で例示するような撮影範囲Ａ１，Ａ２を撮影可能となっている。ただし、撮影範囲Ｂ１，Ｂ２については、車両２０の車体が映り込む。そのため、例えば、撮影範囲Ｂ２内にあるパイロン２４は、その一部が、図４に示すように、カメラ映像に映り込んでいる車両２０の背後となる位置に隠れることになる。同様に、別の車両２６についても、その一部がカメラ映像に映り込んでいる車両２０の背後となる位置に隠れることになる。なお、左カメラ３は撮影対象が車体左側の後側方となる点で右カメラ４とは相違するが、図２に示す処理を理解する上で重要な事項ではないので、左カメラ３によって撮影される映像についての図示は省略する。

さて、Ｓ１０において上述のようなカメラ映像を取得したら、ＥＣＵ１は、シフト位置検知部８からシフト位置情報を取得して、シフト位置がリバース（後退）か否かを判定する（Ｓ２０）。Ｓ２０において、シフト位置がリバースである場合は（Ｓ２０：ＹＥＳ）、Ｓ３０へと進む。また、Ｓ２０において、シフト位置がリバースではない場合は（Ｓ２０：ＹＥＳ）、Ｓ３０−Ｓ５０を実行することなく、Ｓ６０へと進む。

Ｓ３０へ進んだ場合、ＥＣＵ１は、障害物検知部７から障害物情報を取得する（Ｓ３０）。そして、ＥＣＵ１は、車両後方に障害物があるか否かを判定する（Ｓ４０）。Ｓ４０において、車両後方に障害物がない場合は（Ｓ４０：ＮＯ）、Ｓ５０へと進む。また、Ｓ４０において、車両後方に障害物がある場合は（Ｓ４０：ＮＯ）、Ｓ５０を実行することなく、Ｓ６０へと進む。

Ｓ５０へ進んだ場合、ＥＣＵ１は、左カメラ３及び右カメラ４それぞれによって撮影されたカメラ映像に対し、車両後退時用の視点変換を施す（Ｓ５０）。本実施形態の場合、Ｓ５０において、図４に例示したような視点位置等とされたカメラ映像に対し、視点変換を施すことにより、図５に例示するような出力用映像（本明細書でいう第二の出力用映像に相当。）が生成される。ただし、図４に例示したカメラ映像には、パイロン２４や別の車両２６が映り込んでいるが、Ｓ５０を実行するのは車両後方に障害物がない場合なので、例えば、図４中からパイロン２４や別の車両２６を無くしたような映像（図示は省略。）が、Ｓ５０における視点変換前の映像となる。

Ｓ５０において生成される出力用映像（図５参照。）は、図４に例示するカメラ映像よりも、駐車枠２２と車両２０の後輪２０Ａとの位置関係を確認しやすいように視点位置等
が変換された映像とされている。このような視点変換を行った場合、図５に例示する出力用映像においては、パイロン２４や別の車両２６の存在する箇所は、映像内に収まらない箇所となる。ただし、Ｓ５０を実行するのは、上述の通り、車両後方に障害物がない場合なので、パイロン２４や別の車両２６の存在する箇所が映像内に収まっていなくても、そのような箇所に障害物はないはずであり、その点の問題はない。

以上のようなＳ５０を終えると、Ｓ６０へと進む。また、上述の通り、Ｓ２０又はＳ４０からＳ６０へと進む場合もある。Ｓ２０又はＳ４０からＳ６０へと進む場合は、Ｓ５０は実行されず、その場合は、図４に例示するようなカメラ映像そのものが出力用映像（本明細書でいう第一の出力用映像に相当。）とされる。そして、Ｓ６０において、ＥＣＵ１は、図４及び図５に例示したような互いに視点位置等が異なる出力用映像のうちのいずれか一方の出力用映像を、モニタ映像として左モニタ５及び右モニタ６に表示する（Ｓ６０）。

Ｓ６０を実行すると、例えば右モニタ６には、車両後方に何らかの障害物があれば図４に例示したような出力用映像が表示され、車両後方に障害物がなければ図５に例示したような出力用映像が表示される。なお、左モニタ５にも、同様の出力用映像が表示される（図示は省略。）。以上のような処理は、例えば毎秒３０−１２０回程度の処理速度で繰り返し実行され、これにより、左モニタ５及び右モニタ６には、フレームレート３０−１２０ｆｐｓ程度の動画で車両の後側方の映像が表示される。

［効果］
以上説明したように、上記車載映像処理システムによれば、車両が前進している場合や停車している場合には、Ｓ２０において否定判断がなされ、右モニタ６には図４に例示したような視点位置等で映像が表示される。したがって、例えば、車両の走行中には、隣の車線や更にその隣の車線を走行する車両等を広範囲にわたって視認することができる。

また、車両が後退する際、車両後方に障害物がない場合は、Ｓ２０において肯定判断、Ｓ４０において否定判断がなされ、右モニタ６には図５に例示したような視点位置等で映像が表示される。したがって、右モニタ６には、車両２０の後輪２０Ａ付近の映像が、図４に例示したような出力用映像が表示される場合以上に大きめに表示されることになり、駐車枠２２と車両２０の後輪２０Ａの位置関係を容易に確認できるようになる。よって、例えば、駐車枠２２の白線にぴったりと寄せて車両を停車させたい場合でも、より厳密に停車位置の微調整を試行することができる。

一方、車両が後退する際、車両後方に障害物がある場合は、Ｓ２０において肯定判断、Ｓ４０において肯定判断がなされ、右モニタ６には図４に例示したような視点位置等で映像が表示される。したがって、この場合は、車両２０の後輪２０Ａ付近の映像は、図５に例示したような出力用映像が表示される場合に比べて小さめの表示にはなるものの、パイロン２４や別の車両２６が映り込んだ出力用映像となる。よって、パイロン２４や別の車両２６のような障害物が存在することを右モニタ６で適切に視認でき、それらの障害物に気づかないまま車両を後退させてしまうのを抑制することができる。

（２）第二実施形態
次に、第二実施形態について説明する。なお、第二実施形態以降の実施形態は、第一実施形態と共通部分が多いので、第一実施形態との相違点を中心に詳述する。第一実施形態との共通部分に関しては、第一実施形態と同じ符号を付すことにして、その詳細な説明を省略する。

第二実施形態以降の各実施形態は、ハードウェア等の構成は第一実施形態と同様であり
、ＥＣＵ１において実行される処理の一部が第一実施形態とは相違する。以下、ＥＣＵ１において実行される処理について、図６に示すフローチャートに基づいて説明する。なお、第二実施形態以降の各実施形態において説明する各処理も、車両の作動開始に伴って実行され、以降は車両の作動停止まで繰り返し実行される処理である点は、第一実施形態と同様である。

第二実施形態の処理は、Ｓ４０において、車両後方に障害物がある場合に（Ｓ４０：ＮＯ）、Ｓ５２を実行する点で第一実施形態とは相違する。すなわち、Ｓ５２へ進んだ場合、ＥＣＵ１は、左カメラ３及び右カメラ４それぞれによって撮影されたカメラ映像に対し、車両後退時障害物あり用の視点変換を施す（Ｓ５２）。なお、車両後方に障害物がない場合（Ｓ４０：ＹＥＳ）、ＥＣＵ１は、左カメラ３及び右カメラ４それぞれによって撮影されたカメラ映像に対し、車両後退時障害物なし用の視点変換を施すが（Ｓ５０）、これは第一実施形態で説明したＳ５０と全く同様の処理ステップである。

本実施形態の場合、Ｓ５２において、図４に例示したような視点位置等とされたカメラ映像に対し、視点変換を施すことにより、図７に例示するような出力用映像（本明細書でいう第一の出力用映像に相当。）が生成される。Ｓ５２において生成される出力用映像（図７参照。）は、図４に例示するカメラ映像よりも、パイロン２４や別の車両２６の存在する箇所が大きめの映像で表示されるように視点位置等が変換された映像とされている。これにより、図４に例示したカメラ映像以上に、車両の後方にある障害物（パイロン２４や別の車両２６）を容易に視認することができる。

ちなみに、図７に例示する出力用映像は、図４に例示するカメラ映像よりも画角が狭く、その分だけ歪みが少ない映像になっている。また、図７に例示する出力用映像の視野範囲は、一般的なドアミラーと同程度に設定されている。そのため、一般的なドアミラーによる後方確認に慣れている運転者にとっては、図４に例示するカメラ映像がそのまま表示される場合よりも、違和感の少ない映像となる。

以上のように構成された車載映像処理システムでも、車両が前進している場合、停車している場合、車両が後退する際に障害物がない場合については、第一実施形態と全く同様の出力用映像が左モニタ５及び右モニタ６に表示される。したがって、これらの場合は、第一実施形態と全く同様の作用、効果を奏する。

また、車両が後退する際に、車両後方に障害物がある場合は、Ｓ２０において肯定判断、Ｓ４０において肯定判断がなされ、右モニタ６には図７に例示したような視点位置等で映像が表示される。したがって、この場合は、図４に例示するカメラ映像がそのまま表示される第一実施形態の装置に比べ、パイロン２４や別の車両２６が大きめの映像で表示されることになる。よって、出力用映像に映り込んでいる障害物については、より小さな障害物であっても、その存在を容易に視認することができ、そのような障害物に気づかないまま車両を後退させてしまうのを抑制することができる。

（３）第三実施形態
次に、第三実施形態について説明する。第三実施形態の場合、ＥＣＵ１において実行される処理は、Ｓ５２を実行したあとにＳ５６を実行する点で、第二実施形態とは相違する。Ｓ５６へ進んだ場合、ＥＣＵ１は、Ｓ５２で生成された出力用映像に対し、自車ボディ映像を合成する（Ｓ５６）。Ｓ５６以外は、第一実施形態、及び第二実施形態において、同一の符号を付して説明した各処理ステップと全く同様である。

Ｓ５６で合成される自車ボディ映像は、Ｓ５２で生成された出力用映像に映り込んでいる車体の一部をマスクするための映像である。例えば、Ｓ５２において、図７に例示する
ような映像が生成された場合、更にＳ５６が実行されると、図９に示すように、元の映像（図７参照。）に対し自車ボディ映像２８が合成されることになる。

自車ボディ映像２８としては、運転者が違和感を覚えないようなアングルで撮影された実車両の映像を、あらかじめ記憶部１４に記憶しておいて、その映像を記憶部１４から読み込んで利用すればよい。あるいは、そのような映像と同等な映像を生成するために必要なデータ（例えばポリゴンデータ。）などを、あらかじめ記憶部１４に記憶しておいて、そのようなデータに基づいて実車両相当の映像を生成して利用してもよい。

図９に示すような映像を生成すれば、一般的なドアミラーによる後方確認に慣れている運転者にとっては、第二実施形態以上に違和感の少ない映像を右モニタ６に表示することができる。より詳しく説明すると、図３に例示したような状況下で、一般的なドアミラーによる後方確認を行うと、例えば、右側のドアミラーには、図１０に示すような景色が映り込む。図７に示すカメラ映像と、図１０に示すドアミラーの鏡像とを比較すると、右カメラ４の取り付け位置とドアミラーを見る運転者の目の位置との違いに起因して、それぞれに映り込んでいる車両２０の領域に違いがあることがわかる。

ドアミラーによる後方確認に慣れている運転者にとっては、車両２０と駐車枠２２の白線が、図１０のような位置関係で見えることによっても、車両２０がその右側にある白線に寄せた状態にあることを把握している場合がある。このような場合、図７に示すような映像が右モニタ６に表示されると、車両２０とその右側にある白線との間に、まだ距離があるようにも見え、これが違和感の一因になり得る。

これに対し、図９に示すような自車ボディ映像２８が合成された映像を右モニタ６に表示すれば、違和感を覚える要因となっていた車両２０の映像は、自車ボディ映像２８によってマスクされる。これにより、図１０に示すドアミラーの鏡像と類似の構図となる映像を右モニタ６に表示することができるので、ドアミラーによる後方確認に慣れている運転者に対し、違和感の少ない映像を見せることができる。

ちなみに、図１０に示すドアミラーの鏡像を見ると明らかなように、ドアミラーで後方確認をする場合、パイロン２４は、ドアミラーではほとんど見えない位置にある。一般的なドアミラーによる後方確認に慣れている運転者にとっては、このような見え方であることの方が適正であって違和感が少ない。したがって、違和感の低減を重視する場合には、自車ボディ映像２８によってパイロン２４が見えなくなること自体は問題ではない。それでもパイロン２４を見たい場合には、図示しないバックモニタなどを併用するといった解決法もある。

（４）第四実施形態
次に、第四実施形態について説明する。第四実施形態の場合、ＥＣＵ１において実行される処理は、第三実施形態と同等な処理ステップによって構成される。ただし、Ｓ５６において、Ｓ５２で生成された出力用映像に対して合成される自車ボディ映像が、第三実施形態とは異なる構成とされている。

すなわち、上述の通り、第三実施形態の場合は、一般的なドアミラーによる後方確認に慣れている運転者にとって違和感が低減されるように、自車ボディ映像２８によってパイロン２４が見えなくなるような構成としてあった。ただし、パイロン２４が見えるような構成にするのも一案であり、その方が障害物の有無をより確認しやすい。

そこで、第四実施形態においては、自車ボディ映像２８によるマスクと、パイロン２４の表示とを両立させるため、図１１に示すように、自車ボディ映像２８の一部を不透過部
２８Ａ、残りの一部を透過部２８Ｂとした。

不透過部２８Ａは、元の映像が透過表示されない領域である。透過部２８Ｂは、元の映像が透過表示される領域である。本実施形態の場合、実際の車体の映像が映り込んでいる箇所を含む範囲が不透過部２８Ａでマスクされ、実際の車体の映像が映り込んでいない箇所が透過部２８Ｂにおいて透過表示される。

映像中において、実際の車体の映像が映り込んでいる箇所がどのような範囲になるのかは、左カメラ３及び右カメラ４によって撮影される映像の視点位置等と、車両２０の具体的な形状等とに応じて変わり得る。ただし、あらかじめ実車両で撮影して車体の映像が映り込む範囲を特定し、必要があれば、特定した範囲に対して更にある程度のマージンを加えてマスク範囲を決めることは可能なので、このような手法で、不透過部２８Ａ及び透過部２８Ｂの範囲をそれぞれ設定しておけばよい。

このような不透過部２８Ａ及び透過部２８Ｂを有する自車ボディ映像２８を合成すれば、出力用映像全体としては、図１０に示すドアミラーの鏡像と類似の構図となる。したがって、第三実施形態と同様に、ドアミラーによる後方確認に慣れている運転者に対し、違和感の少ない映像を見せることができる。しかも、透過部２８Ｂにおいては、自車ボディ映像２８が合成された箇所にある障害物（例えば、図１１中に示すパイロン２４。）を見ることもできる。したがって、第三実施形態とは異なり、自車ボディ映像２８を合成したことにより、障害物に関する有用な情報が欠落してしまうのを抑制することができる。また、不透過部２８Ａにおいては、実際の車体の映像は透過表示されないので、例えば、実際の車体の映像の一部を何らかの障害物と誤認するのを抑制することができる。

なお、上述のような不透過部２８Ａ及び透過部２８Ｂを有する自車ボディ映像２８を合成する場合、出力用映像内における透過部２８Ｂの範囲（以下、第一範囲２９Ａとも称する。）や、出力用映像内における自車ボディ映像２８が合成されない範囲（以下、第二範囲２９Ｂとも称する。）に関し、各範囲の形状、大きさ、両範囲の境界の位置等は、あらかじめ決めておくことができる。例えば、自車ボディ映像２８としては、先に説明したような、実車両の映像やデータから生成された実車両相当の映像を利用すればよいが、いずれの場合とも、出力用映像内での合成範囲は不変なので、その合成範囲を特定することが可能である。

そこで、上記第一範囲２９Ａと第二範囲２９Ｂが事前に特定できることを利用し、上記第一範囲２９Ａと第二範囲２９Ｂとで視点変換の有無又は程度を変更することにより、第二範囲２９Ｂにおいては第一範囲２９Ａよりも映像の歪みが小となるようにしてもよい。

例えば、第一範囲２９Ａにおいては映像に歪みが生じる視点変換を行う一方、第二範囲２９Ｂにおいては第一範囲２９Ａ相当の視点変換を行わないようにしてもよい。あるいは、例えば、第一範囲２９Ａ及び第二範囲２９Ｂの双方で視点変換を行うものの、第一範囲２９Ａにおいては第二範囲２９Ｂよりも映像に歪みが生じる視点変換を行う一方、第二範囲２９Ｂにおいては第一範囲２９Ａよりも映像に歪みが生じない視点変換を行うようにしてもよい。

このように構成すれば、自車ボディ映像２８に隠れない第二範囲２９Ｂにおいては、より歪みが小さい映像を表示することができる。また、第二範囲２９Ｂよりも歪みが大となる第一範囲２９Ａにおいては、自車ボディ映像２８内の透過部２８Ｂにおける透過表示とすることで、歪みが大きめの映像であることを目立たないようにすることができる。

しかも、これら歪みの程度が異なる映像の境界は、自車ボディ映像２８の輪郭と一致す
るように合成されるので、境界の両側にある映像に多少のずれが生じた場合でも、そのようなずれを自車ボディ映像２８の輪郭に重ねることで、目立たないようにすることができる。

（５）第五実施形態
次に、第五実施形態について説明する。第五実施形態の場合、ＥＣＵ１において実行される処理は、Ｓ５２を実行したあとにＳ５４を実行する点で、第三実施形態、及び第四実施形態とは相違する。Ｓ５４へ進んだ場合、ＥＣＵ１は、障害物までの距離に応じて透過範囲及びマスク範囲を設定する（Ｓ５４）。Ｓ５４以外は、第一実施形態、第二実施形態、第三実施形態、及び第四実施形態において、同一の符号を付して説明した各処理ステップと全く同様である。

第五実施形態においては、図１３に示すように、自車ボディ映像２８を第一の不透過部２８Ａ、透過部２８Ｂ、及び第二の不透過部２８Ｃで構成している。第一の不透過部２８Ａ及び第二の不透過部２８Ｃは、元の映像が透過表示されない領域であり、透過部２８Ｂは、元の映像が透過表示される領域である。

第一の不透過部２８Ａは、第四実施形態における不透過部２８Ａと一致する範囲に設定され、その範囲は左カメラ３及び右カメラ４によって撮影される映像の視点位置等と、車両２０の具体的な形状等とに応じて、静的に設定されている。一方、透過部２８Ｂ及び第二の不透過部２８Ｃは、これら双方を合わせた範囲が第四実施形態における不透過部２８Ａと一致する範囲に設定されている。しかも、第二の不透過部２８Ｃは、障害物までの距離に応じて、その範囲が動的に増減される。

例えば、図１３に例示した出力用映像は、車両の後方には別の車両２６が存在するものの、図１１に例示してあったパイロン２４は存在していない場合を想定した映像である。この場合、障害物までの距離としては、別の車両２６までの距離が検出され、自車両から別の車両２６に至るまでの範囲は、第二の不透過部２８Ｃによってマスクされる。そして、自車両側から見て別の車両２６よりも遠方となる範囲は、透過部２８Ｂとされる。なお、図示は省略するが、パイロン２４が存在する場合は、障害物までの距離としては、パイロン２４までの距離が検出され、透過部２８Ｂのうち、自車両からパイロン２４に至るまでの範囲が、第二の不透過部２８Ｃによってマスクされる。そして、自車両側から見てパイロン２４よりも遠方となる範囲は、透過部２８Ｂとされる。

障害物までの距離としては、障害物検知部７において実測された距離が採用すればよい。また、必要があれば、所定のマージン分だけ透過部２８Ｂを増大させてもよく、その場合は、障害物検知部７において実測された距離から所定のマージン分に相当する距離を減算してもよい。

以上のような構成を採用すれば、第二の不透過部２８Ｃによってマスクされる範囲には、障害物がないものと判断できるようになる。また、例えば、駐車枠２２のような障害物ではないもの（路面から突出する高さがないもの。）が存在する箇所については、第二の不透過部２８Ｃによってマスクされるので、透過部２８Ｂを通して駐車枠２２が見える場合とは異なり、駐車枠２２を何らかの障害物ではないかと誤認するのを抑制できる。

なお、第五実施形態においても、出力用映像内における透過部２８Ｂの範囲（第一範囲２９Ａ）と、出力用映像内における自車ボディ映像２８が合成されない範囲（第二範囲２９Ｂ）とでは、第四実施形態同様に、視点変換の有無又は程度を変更してもよい。これにより、第二範囲２９Ｂにおいては第一範囲２９Ａよりも映像の歪みが小となるようにすることで、自車ボディ映像２８に隠れない第二範囲２９Ｂにおいては、より歪みが小さい映
像を表示することができる。また、第二範囲２９Ｂよりも歪みが大となる第一範囲２９Ａにおいては、自車ボディ映像２８内の透過部２８Ｂにおける透過表示とすることで、歪みが大きめの映像であることを目立たないようにすることができる。さらに、歪みの程度が異なる映像の境界において映像に多少のずれが生じた場合でも、そのようなずれを自車ボディ映像２８の輪郭に重ねることで、目立たないようにすることができる。

（６）他の実施形態
以上、映像処理装置、及び車載映像処理システムについて、例示的な実施形態を挙げて説明したが、上述の実施形態は本発明の一態様として例示されるものに過ぎない。すなわち、本発明は、上述の例示的な実施形態に限定されるものではなく、本発明の技術的思想を逸脱しない範囲内において、様々な形態で実施することができる。

例えば、上記実施形態では、図示の都合上、便宜的に記憶部１４をＥＣＵ１が備える構成として図示してあるが、記憶部１４はＥＣＵ１がアクセス可能なメモリであれば、ＥＣＵ１の外部にあってもよい。

また、上記実施形態において、一つの構成要素で実現していた所定の機能を、複数の構成要素が協働して実現するように構成してあってもよい。あるいは、上記実施形態では、複数の構成要素それぞれが有していた複数の機能や、複数の構成要素が協働して実現していた所定の機能を、一つの構成要素が実現するように構成してあってもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

また、上述した映像処理装置、及び車載映像処理システムの他、当該映像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体など、種々の形態で本発明を実現することもできる。

なお、上記実施形態と特許請求の範囲との対応関係を理解しやすくするために、特許請求の範囲には、上記実施形態中で示した符号を括弧書きで記載したが、当該記載は本発明の技術的範囲が上述の実施形態に限定されることを意味する記載ではない。

１…電子制御装置（ＥＣＵ）、３…左カメラ、４…右カメラ、５…左モニタ、６…右モニタ、７…障害物検知部、８…シフト位置検知部、１１…映像入力部、１２…映像処理部、１３…映像出力部、１４…記憶部、１５…障害物判定部、１６…シフト位置判定部、２０…車両、２０Ａ…後輪、２２…駐車枠、２４…パイロン、２６…別の車両、２８…自車ボディ映像、２８Ａ…不透過部、又は第一の不透過部、２８Ｂ…透過部、２８Ｃ…第二の不透過部、２９Ａ…第一範囲、２９Ｂ…第二範囲。

Claims (7)

1. 車両の後方に存在する障害物を検知可能な障害物検知部（７）から、前記障害物に関する情報を取得して、前記障害物の有無を判定する障害物判定部（１５，Ｓ３０）と、
   前記車両の後側方を撮影可能に構成されたカメラ（３，４）から、当該カメラで撮影されたカメラ映像を入力可能な映像入力部（１１，Ｓ１０）と、
   前記映像入力部によって入力された前記カメラ映像に基づいて第一の出力用映像及び第二の出力用映像を生成可能で、前記障害物判定部によって前記障害物があると判定された場合には、前記第一の出力用映像を生成し、前記障害物判定部によって前記障害物がないと判定された場合には、前記第二の出力用映像を生成する映像処理部（１２，Ｓ５０，Ｓ５２）と、
   前記映像処理部によって生成される前記第一の出力用映像又は前記第二の出力用映像を、車室内に配設された表示装置（５，６）へと出力する映像出力部（１３，Ｓ６０）と、
   を備え、
   前記映像処理部は、前記第一の出力用映像及び前記第二の出力用映像のうちの少なくとも一方を生成する際に、視点位置、視線方向、及び視野範囲のうちの少なくとも一つを変更対象として、前記カメラ映像に対して前記変更対象を変更する映像変換処理を施すことにより、前記変更対象が互いに異なる前記第一の出力用映像及び前記第二の出力用映像を生成可能で（Ｓ５０，Ｓ５２）、前記映像変換処理として、前記第一の出力用映像に前記カメラ映像よりも前記障害物の存在する箇所が大きく表示されることになる映像変換処理、又は前記第一の出力用映像には車両後退時用の視点変換が施されず前記第二の出力用映像には車両後退時用の視点変換が施される映像変換処理を実行可能に構成されている
   映像処理装置（１）。
2. 請求項１に記載の映像処理装置において、
   前記障害物判定部は、前記車両が後退する場合に（Ｓ２０：ＹＥＳ）、前記障害物の有無を判定するように構成されている
   映像処理装置。
3. 請求項１又は請求項２に記載の映像処理装置において、
   前記映像処理部は、前記第一の出力用映像及び前記第二の出力用映像のうちの少なくとも一方を生成する際に、車体の一部に相当する自車ボディ映像（２８）を、記憶部（１４）から読み出すか記憶部に記憶されたデータに基づいて生成して、前記カメラ映像又は当該カメラ映像に基づいて生成される映像中に映り込んでいる実際の車体の映像を覆い隠す範囲を含めた位置に、前記自車ボディ映像を描画する処理（Ｓ５６）を実行可能に構成されている
   映像処理装置。
4. 請求項３に記載の映像処理装置において、
   前記映像処理部（Ｓ５６）は、前記カメラ映像又は当該カメラ映像に基づいて生成される映像が透過表示されない不透過部（２８Ａ，２８Ｃ）と、前記カメラ映像又は当該カメラ映像に基づいて生成される映像が透過表示される透過部（２８Ｂ）とを有する前記自車ボディ映像を生成可能で、前記自車ボディ映像が描画される範囲の内、前記実際の車体の映像が映り込んでいる箇所を含む範囲が前記不透過部でマスクされ、前記実際の車体の映像が映り込んでいない箇所が前記透過部において透過表示されるように構成されている
   映像処理装置。
5. 請求項４に記載の映像処理装置において、
   前記映像処理部（Ｓ５４）は、前記障害物検知部から取得した情報に基づいて、前記車両から前記障害物までの距離を測定又は推定し、前記障害物よりも近い位置にある範囲が前記不透過部（２８Ｃ）でマスクされ、前記障害物の存在する位置以遠にある箇所が前記透過部において透過表示されるように構成されている
   映像処理装置。
6. 請求項４又は請求項５に記載の映像処理装置において、
   前記映像処理部（Ｓ５４，Ｓ５６）は、前記透過部とされる第一範囲（２９Ａ）と、前記自車ボディ映像が合成されない第二範囲（２９Ｂ）とで前記映像変換処理の有無又は程度を変更することにより、前記第二範囲においては前記第一範囲よりも映像の歪みが小となる前記映像変換処理を実行するように構成されている
   映像処理装置。
7. 車両の後方に存在する障害物を検知可能な障害物検知部（７）と、
   前記車両の後側方を撮影可能に構成されたカメラ（３，４）と、
   前記カメラで撮影された映像に対して所定の映像変換処理を施すように構成された映像処理装置（１）と
   車室内に配設され、前記映像処理装置によって前記映像処理が施された映像を表示可能な表示装置（５，６）と
   を備え、
   前記映像処理装置は、
   前記障害物検知部（７）から、前記障害物に関する情報を取得して、前記障害物の有無を判定する障害物判定部（１５，Ｓ３０）と、
   前記カメラ（３，４）から、当該カメラで撮影されたカメラ映像を入力可能な映像入力部（１１，Ｓ１０）と、
   前記映像入力部によって入力された前記カメラ映像に基づいて第一の出力用映像及び第二の出力用映像を生成可能で、前記障害物判定部によって前記障害物があると判定された場合には、前記第一の出力用映像を生成し、前記障害物判定部によって前記障害物がないと判定された場合には、前記第二の出力用映像を生成する映像処理部（１２，Ｓ５０，Ｓ５２）と、
   前記映像処理部によって生成される前記第一の出力用映像又は前記第二の出力用映像を、車室内に配設された表示装置（５，６）へと出力する映像出力部（１３，Ｓ６０）と、
   を備え、
   前記映像処理部は、前記第一の出力用映像及び前記第二の出力用映像のうちの少なくとも一方を生成する際に、視点位置、視線方向、及び視野範囲のうちの少なくとも一つを変更対象として、前記カメラ映像に対して前記変更対象を変更する映像変換処理を施すことにより、前記変更対象が互いに異なる前記第一の出力用映像及び前記第二の出力用映像を生成可能で（Ｓ５０，Ｓ５２）、前記映像変換処理として、前記第一の出力用映像に前記カメラ映像よりも前記障害物の存在する箇所が大きく表示されることになる映像変換処理、又は前記第一の出力用映像には車両後退時用の視点変換が施されず前記第二の出力用映像には車両後退時用の視点変換が施される映像変換処理を実行可能に構成されている
   車載映像処理システム。