WO2016059765A1 - 映像処理装置、及び車載映像処理システム - Google Patents
映像処理装置、及び車載映像処理システム Download PDFInfo
- Publication number
- WO2016059765A1 WO2016059765A1 PCT/JP2015/005037 JP2015005037W WO2016059765A1 WO 2016059765 A1 WO2016059765 A1 WO 2016059765A1 JP 2015005037 W JP2015005037 W JP 2015005037W WO 2016059765 A1 WO2016059765 A1 WO 2016059765A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video
- video processing
- vehicle
- camera
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000009434 installation Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012806 monitoring device Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
映像処理装置(1)は、車両の後側方を撮影可能なカメラ(3,4)で撮影された一次映像に対して所定の映像処理を施すことによって二次映像に変換する映像処理部(12,S20,S120-S130,S220-S230)と、二次映像を車室内に配設された表示装置(5,6)へと出力する映像出力部(13,S30,S140,S240)と、を備える。映像処理部は、映像処理として、カメラから正像として入力される一次映像に対して左右を反転させる処理を施すことによって得られる映像、及びカメラから鏡像として入力される一次映像のうちの、いずれか一方である鏡像映像(20)に重ねて、車両の車体側方への最大突出箇所の位置を表す補助線(25)を描画する処理(S20,S130,S230)を実行するように構成されている。
Description
本出願は、2014年10月14日に出願された日本国特許出願2014-210000号に基づくものであり、この開示をここに参照により援用する。
本開示は、映像処理装置、及び車載映像処理システムに関する。
車両の後側方をカメラで撮影して、その映像を車両内部の表示部に表示する車両用周辺監視装置が知られている(例えば、特許文献1参照。)。特許文献1に記載の車両用周辺監視装置の場合、カメラは、ドアミラーよりも車両の前方側となる位置に配設されている。カメラによる撮影範囲は、ドアミラーの視野とドアミラーの死角とを包含する。表示部に表示される映像には、ドアミラーの輪郭を示す画像が重ねて表示される。
しかし、上述のような表示部に表示される映像と、ドアミラーに映る鏡像とでは、視点の違いや立体感の違いから、距離感が把握しづらい虞がある。特に、車両から近距離にある対象物(例えば、表示部において車両の後側方に見える駐車枠など。)については、対象物までの距離感や自車両との平行度を認識、判断することが難しい虞がある。
本開示の目的の一つは、対象物までの距離感や自車両との平行度をより容易に認識できる画像を表示可能な映像処理装置、及び車載映像処理システムを提供することにある。
本開示の一観点によれば、映像処理装置は、映像入力部と、映像処理部と、映像出力部とを備える。映像入力部は、車両の後側方を撮影可能に構成されたカメラで撮影された一次映像を入力する。映像処理部は、映像入力部によって入力された一次映像に対して所定の映像処理を施す。映像処理としては、カメラから入力される一次映像が正像である場合は、一次映像の左右を反転させる処理を施すことにより、一次映像の鏡像化が行われる。なお、カメラから入力される一次映像が鏡像である場合は、その一次映像がそのまま利用される。そして、これらいずれかの手法で得られる鏡像映像に重ねて、車両の車体側方への最大突出箇所の位置を表す補助線を描画する処理が実行される。映像出力部は、映像処理部によって映像処理が施された二次映像を車室内に配設された表示装置へと出力する。
このように構成された映像処理装置によれば、上述のような鏡像映像に対して補助線が重ねて描画された二次映像を、表示装置の画面上に表示することができる。そのため、車両の運転者は、表示装置の画面上に表示された補助線を参考にして、車両の真後ろに相当する範囲と車両の真後ろよりも側方にある範囲を適切に把握できる。したがって、上述のような補助線が表示されない場合に比べ、対象物までの距離感や自車両との平行度を、車両の運転者がより容易に認識できるようになる。
また、本開示の他の観点によれば、車載映像処理システムは、カメラと、表示装置と、映像処理装置とを備える。映像処理装置は、上述した通りの映像入力部と、映像処理部と、映像出力部とを備える。したがって、上述の映像処理装置について述べた通りの作用、効果を奏する。
本開示についての上記および他の目的、特徴や利点は、添付の図面を参照した下記の詳細な説明から、より明確になる。添付図面において
図1は、車載映像処理システムの構成を示すブロック図である。
図2は、第一実施形態の映像処理を示すフローチャートである。
図3は、第一実施形態における一次映像を例示した説明図である。
図4は、第一実施形態における二次映像を例示した説明図である。
図5は、第二実施形態の映像処理を示すフローチャートである。
図6は、第二実施形態における一次映像を例示した説明図である。
図7は、第二実施形態における二次映像を例示した説明図である。
図8は、第三実施形態の映像処理を示すフローチャートである。
図9は、第三実施形態における視点変換に関する説明図である。
図10は、第三実施形態における視点変換後の映像を例示した説明図である。
図11は、第三実施形態における二次映像を例示した説明図である。
次に、上述の映像処理装置、及び車載映像処理システムについて、例示的な実施形態を挙げて説明する。
(1)第一実施形態
映像処理装置の構成
以下に説明する車載映像処理システムは、図1に示すように、上述の映像処理装置として機能する電子制御装置1(Electronic Control Unit;以下、ECU1と略称する。)を中心に構成される。ECU1の他には、左カメラ3、右カメラ4、左モニタ5、右モニタ6、及び車両信号取得部7などを備える。
映像処理装置の構成
以下に説明する車載映像処理システムは、図1に示すように、上述の映像処理装置として機能する電子制御装置1(Electronic Control Unit;以下、ECU1と略称する。)を中心に構成される。ECU1の他には、左カメラ3、右カメラ4、左モニタ5、右モニタ6、及び車両信号取得部7などを備える。
左カメラ3は、車両の左側にあるドアミラー(本明細書でいう車体外後写鏡の一例に相当。)の取付位置相当の箇所に取り付けられ、車両左側の後側方を撮影可能に構成されている。右カメラ4は、車両の右側にあるドアミラーの取付位置相当の箇所に取り付けられ、車両右側の後側方を撮影可能に構成されている。左カメラ3及び右カメラ4は、双方とも一般的なドアミラーを通して見える範囲よりも広い範囲を撮影可能に構成されている。
左モニタ5及び右モニタ6は、例えば液晶ディスプレイ装置などによって構成され、それぞれが車室内に配設されている。本実施形態の場合、左モニタ5は、運転席から見て左斜め前方となる位置に設置され、主に左カメラ3で撮影された映像が左モニタ5に表示される。右モニタ6は、運転席から見て右斜め前方となる位置に設置され、主に右カメラ4で撮影された映像が右モニタ6に表示される。
ただし、左モニタ5及び右モニタ6の配設位置は、上述の配設位置には限定されない、また、左モニタ5及び右モニタ6は、上述のように、それぞれに対応する表示装置で構成してもよいが、単一の表示装置で構成してもよい。例えば、単一のセンターディスプレイを、ダッシュボードの中央付近(例えば、センターコンソール等、運転席と助手席との間となる位置に対向する箇所。)に配設し、左モニタ5及び右モニタ6に相当する表示領域を、センターディスプレイの画面上に設けてもよい。
車両信号取得部7は、車両各部の状態(例えば、車速、アクセル開度、ステアリング操舵角、及びシフトポジション等)を検知可能なセンサ類(図示略。)から、検知した状態を表す信号を、車載ネットワーク経由で取得可能に構成されている。車両信号取得部7において取得された信号は、車両信号取得部7からECU1に入力される。
ECU1は、映像入力部11、映像処理部12、映像出力部13、及び記憶部14などを備える。映像入力部11は、左カメラ3及び右カメラ4のそれぞれによって撮影された一次映像を入力する。映像処理部12は、映像入力部11によって入力された一次映像(左カメラ3で撮影された一次映像、及び右カメラ4で撮影された一次映像。)それぞれに対して映像処理を施して二次映像を生成する。なお、映像処理部12において実行される映像処理の詳細については後述する。
映像出力部13は、映像処理部12によって生成された二次映像のうち、左カメラ3で撮影された一次映像に基づいて生成された二次映像を左モニタ5へと出力し、右カメラ4で撮影された一次映像に基づいて生成された二次映像を右モニタ6へと出力する。これにより、運転者は、車両の後退時、あるいは車線変更等を実施する際に、左モニタ5及び右モニタ6に映し出される映像を見て、車両の後側方の状況を把握することができる。記憶部14には、映像処理部12において映像処理を実行する際に必要となる各種データが記憶されている。
なお、本実施形態の場合、車両にはドアミラーそのもの(すなわち、鏡に映る鏡像によって車両の後側方を確認可能に構成されたもの。)は取り付けられていない。その代わりに、ドアミラーの取付位置相当の箇所には、上述の左カメラ3及び右カメラ4が取り付けられている。運転者は、ドアミラーを見る代わりに、左モニタ5及び右モニタ6を見ることにより、車両の後側方の状況を確認することができる。
ただし、本実施形態において説明する車載映像処理システムは、ドアミラーが取り付けられている車両において、ドアミラーと併用される構成として採用されてもかまわない。例えば、車両の左右両側それぞれにドアミラーが取り付けられ、それらのドアミラーに対して左カメラ3及び右カメラ4が取り付けられていてもよい。この場合、左モニタ5及び右モニタ6は、ドアミラーと併用して車両の後側方を確認するために利用することができる。
ECUにおいて実行される処理の詳細
次に、ECU1において実行される処理について、図2に示すフローチャートに基づいて説明する。以下に説明する処理は、車両の始動に伴って開始され、以降は車両が停止するまで繰り返し実行される処理である。
次に、ECU1において実行される処理について、図2に示すフローチャートに基づいて説明する。以下に説明する処理は、車両の始動に伴って開始され、以降は車両が停止するまで繰り返し実行される処理である。
この処理を開始すると、ECU1は、左カメラ3及び右カメラ4のそれぞれによって撮影された一次映像を取得する(S10)。本実施形態の場合、左カメラ3及び右カメラ4としては、撮影対象の左右を反転させて鏡像として映像を出力するカメラを採用している。そのため、S10では、特に追加の映像処理を施さなくても鏡像化済みの一次映像を取得することができる。ただし、左カメラ3及び右カメラ4としては、撮影対象の左右を反転させることなく正像として映像を出力するカメラを採用することもできる。この場合は、ECU1が、S10又はその後の処理ステップにおいて、正像として取得した映像の左右を反転させて鏡像に変換する映像処理を施せばよい。
こうして得られる鏡像映像は、例えば右カメラ4によって撮影される映像を例に挙げると、図3に例示するような映像となる。図3に例示した鏡像映像20は、路面に駐車枠21(白線)が描かれている映像であり、映像の左端には、車体23の一部が映っている。なお、左カメラ3は撮影対象が車体左側の後側方となる点で右カメラ4とは相違するが、図2に示す処理を理解する上で重要な事項ではないので、左カメラ3によって撮影される映像についての図示は省略する。
ちなみに、左カメラ3及び右カメラ4によって撮影可能な画角は、一般的なドアミラーを利用して運転者が目視可能な画角よりも、広い画角となっている。そのため、図3に例示した鏡像映像20で言えば、主に映像中の右側にはドアミラーには映り込まない範囲も映っていて、ドアミラーよりも広範囲(ドアミラーを通して目視可能な範囲よりも右方にある範囲)の映像を見ることができる。
さて、S10において上述のような鏡像映像を取得したら、ECU1は、一次映像に基づく鏡像映像に対し補助線の画像を重ねて描画する(S20)。S20で描画される補助線は、車両の車体側方への最大突出箇所の位置を表す線である。より具体的には、本実施形態の場合、上述の最大突出箇所に接する位置に、車幅方向に対して垂直な仮想平面を仮想し、その仮想平面と路面との交線相当の位置に、上述の補助線を描画する。
仮想平面の位置は、上述の最大突出箇所に接する位置の他、上述の最大突出箇所に接する位置に対して所定のマージンを加えた位置であってもよい。例えば10cmのマージンを加える場合であれば、上述の最大突出箇所から車幅方向へ10cm離れた位置に仮想平面が想定され、補助線もマージンが0cmの場合に描画される位置から10cm離れた位置に描画される。なお、マージンを何cmとするかは任意であり、上述の10cm以外でもよいことはもちろんである。また、上述のようなマージンは固定値であってもよいが、運転者が所定の数値範囲内(例えば0~15cm等。)で任意又は二段階以上の可変設定ができるように構成されていてもよい。
このような補助線が鏡像映像に重ねて描画された場合、例えば右カメラ4によって撮影される映像を例に挙げると、図4に例示するような映像が生成される。図4に例示した映像の場合、図3に例示した駐車枠21や車体23が映る鏡像映像20に重ねて補助線25が描画されている。なお、左カメラ3によって撮影される鏡像映像に対しても、同様の補助線が重ねて描画される(図示は省略。)。
S20において補助線を描画したら、ECU1は、鏡像映像及び補助線を含む二次映像を左モニタ5及び右モニタ6に表示する(S30)。S30を実行すると、例えば右モニタ6には、図4に例示したような映像が表示される。なお、左モニタ5にも、同様の補助線及び鏡像映像が表示される(図示は省略。)。以上のような処理は、例えば毎秒30-120回程度の処理速度で繰り返し実行され、これにより、左モニタ5及び右モニタ6には、フレームレート30-120fps程度の動画で車両の後側方の映像が表示される。
効果
以上説明したように、上記車載映像処理システムによれば、ECU1において、左カメラ3及び右カメラ4によって撮影された鏡像映像(又は左カメラ3及び右カメラ4によって撮影された正像の左右を反転させて鏡像化された鏡像映像。)に対して補助線(例えば図4に例示する補助線25。)が重ねて描画される。そして、それら鏡像映像及び補助線を含む二次映像が、左モニタ5及び右モニタ6の画面上に表示される。
以上説明したように、上記車載映像処理システムによれば、ECU1において、左カメラ3及び右カメラ4によって撮影された鏡像映像(又は左カメラ3及び右カメラ4によって撮影された正像の左右を反転させて鏡像化された鏡像映像。)に対して補助線(例えば図4に例示する補助線25。)が重ねて描画される。そして、それら鏡像映像及び補助線を含む二次映像が、左モニタ5及び右モニタ6の画面上に表示される。
そのため、車両の運転者は、左モニタ5及び右モニタ6の画面上に表示された補助線を参考にして、車両の真後ろに相当する範囲と車両の真後ろよりも側方にある範囲を適切に把握できる。したがって、上述のような補助線が表示されない場合に比べ、対象物までの距離感や自車両との平行度を、車両の運転者がより容易に認識できるようになる。
(2)第二実施形態
次に、第二実施形態について説明する。なお、第二実施形態以降の実施形態は、第一実施形態と共通部分が多いので、第一実施形態との相違点を中心に詳述し、共通部分に関しては、第一実施形態と同じ符号を付すだけにとどめ、その詳細な説明を省略する。
次に、第二実施形態について説明する。なお、第二実施形態以降の実施形態は、第一実施形態と共通部分が多いので、第一実施形態との相違点を中心に詳述し、共通部分に関しては、第一実施形態と同じ符号を付すだけにとどめ、その詳細な説明を省略する。
ECUにおいて実行される処理の詳細
第二実施形態は、ハードウェア等の構成は第一実施形態と同様であり、ECU1において実行される処理が第一実施形態とは相違する。以下、ECU1において実行される処理について、図5に示すフローチャートに基づいて説明する。以下に説明する処理は、車両の始動に伴って開始され、以降は車両が停止するまで繰り返し実行される処理であり、この点は第一実施形態と同様である。
第二実施形態は、ハードウェア等の構成は第一実施形態と同様であり、ECU1において実行される処理が第一実施形態とは相違する。以下、ECU1において実行される処理について、図5に示すフローチャートに基づいて説明する。以下に説明する処理は、車両の始動に伴って開始され、以降は車両が停止するまで繰り返し実行される処理であり、この点は第一実施形態と同様である。
この処理を開始すると、ECU1は、左カメラ3及び右カメラ4のそれぞれによって撮影された映像を、一次映像として取得する(S110)。S110は、第一実施形態のS10と同様な処理ステップである。S110において鏡像映像を取得したら、ECU1は、車両信号に応じて一次映像及び補助線の選択又は加工を行う(S120)。
S120において、車両信号は、車両信号取得部7において取得されて、車両信号取得部7からECU1に対して提供される信号である。車両信号としては、例えば、車速、アクセル開度、ステアリング操舵角、シフトポジション等の情報を示す信号を利用し得る。S120において実行される一次映像及び補助線の選択又は加工については、様々な具体的手法を考え得るが、その一例として、本実施形態では、シフトポジションがリバース(後退)となった場合に、図6中に破線で示すような範囲27を図7に示すように拡大表示する例を挙げる。
この場合、S120では鏡像映像の所定範囲(範囲27)を右モニタ6の画面サイズまで拡大する加工と、拡大された鏡像映像に対応するサイズの補助線を選択する処理が実行される。一方、シフトポジションがリバース(後退)以外の場合、S120では、上述のような鏡像映像の拡大を実行せず、拡大されていない鏡像映像に対応するサイズの補助線を選択する処理が実行される。
続いて、ECU1は、S120において選択された補助線の画像を、S120において拡大された鏡像映像に重ねて描画する(S130)。S130は、S120において鏡像映像が拡大されていることと、その拡大に合わせて補助線が選択されていること以外は、第一実施形態のS20と同様な処理ステップである。S130において補助線を描画したら、ECU1は、鏡像映像及び補助線を含む二次映像を左モニタ5及び右モニタ6に表示する(S140)。これにより、例えば右カメラ4によって撮影される映像を例に挙げると、図7に例示するような映像が右モニタ6に表示されることになる。
以上のような処理により、第二実施形態においては、シフトポジションがリバース(後退)以外の場合、左モニタ5及び右モニタ6には、第一実施形態と同様な映像(例えば右モニタ6の場合は図4に例示したような映像。)が表示される。一方、シフトポジションがリバース(後退)の場合、左モニタ5及び右モニタ6には、通常よりも拡大された映像(例えば右モニタ6の場合は図7に例示したような映像。)が表示される。
効果
以上説明したような第二実施形態の車載映像処理システムでも、第一実施形態と同様な作用、効果を奏し、補助線が表示されない場合に比べ、対象物までの距離感や自車両との平行度を、車両の運転者がより容易に認識できるようになる。
以上説明したような第二実施形態の車載映像処理システムでも、第一実施形態と同様な作用、効果を奏し、補助線が表示されない場合に比べ、対象物までの距離感や自車両との平行度を、車両の運転者がより容易に認識できるようになる。
また、第二実施形態の場合は、シフトポジションに応じて画像の拡大率が変わる。そのため、例えば、車両の前進時には、後退時よりも、左モニタ5及び右モニタ6に表示される範囲を広範囲にすることができる。換言すれば、車両の前進時には、後退時よりも、左モニタ5及び右モニタ6に表示される画角が大きくなる。したがって、より側方に存在する他車両であっても左モニタ5及び右モニタ6に表示されるようになるので、例えば車線変更等の際には容易に安全確認ができるようになる。
一方、車両の後退時には、前進時よりも、左モニタ5及び右モニタ6に表示される範囲を、車両後方付近の狭い範囲に限定することができる。換言すれば、車両の後退時には、前進時よりも、左モニタ5及び右モニタ6に表示される画角が狭くなる。また、その画角の中心線が向けられる方向も、前進時よりも後方に向けられることになる。更に、このような鏡像映像の変換に合わせて、補助線の位置や傾きも適切に変更される。したがって、このような映像処理を実施すれば、車両後方付近に存在する表示対象物を拡大表示でき、車両後方に存在する障害物等を視認しやすくすることができる。
変形例等
上述の例では、車両信号として、シフトポジションの情報を入力する例を示したが、S120では、他の車両信号も利用し得る。例えば、車速やアクセル開度を入力して、高速走行中には補助線の表示を行わず、低速走行中には補助線の表示を行う、といった構成にしてもよい。このような構成にすれば、駐車場等で低速走行をしている際には補助線を表示し、一般道や自動車専用道路などで高速走行をしている際には補助線の表示を中止することが可能となる。よって、駐車時用に補助線の表示を行いたい場合は、このような構成が好適である。
上述の例では、車両信号として、シフトポジションの情報を入力する例を示したが、S120では、他の車両信号も利用し得る。例えば、車速やアクセル開度を入力して、高速走行中には補助線の表示を行わず、低速走行中には補助線の表示を行う、といった構成にしてもよい。このような構成にすれば、駐車場等で低速走行をしている際には補助線を表示し、一般道や自動車専用道路などで高速走行をしている際には補助線の表示を中止することが可能となる。よって、駐車時用に補助線の表示を行いたい場合は、このような構成が好適である。
逆に、高速走行時には補助線を表示し、低速走行時には補助線の表示を中止する、といった構成にしてもよい。このような構成は、レーンチェンジ等を行うときに補助線を表示したい場合に好適な構成である。低速走行時に補助線を表示するのか、高速走行時に補助線を表示するのかは、いずれか一方の構成を択一的に採用してもよいが、双方を同時に採用してもよい。
双方を同時に採用する場合、例えば、低速走行時には上述したマージンを小さめに設定し、高速走行時には上述したマージンを大きめに設定する、といった構成を併用してもよい。このようにすれば、駐車時には、補助線を参考にして幅寄せ等の運転操作を行うことが容易になり、レーンチェンジの際には、補助線を参考にして十分に安全な間隔を確保することが容易になる。
また、ステアリング操舵角やウインカーの状態を入力して、右左折時やレーンチェンジの際に、進行先となる左右いずれか一方の側について、補助線を表示するように構成してもよい。
(3)第三実施形態
次に、第三実施形態について説明する。
次に、第三実施形態について説明する。
ECUにおいて実行される処理の詳細
第三実施形態も、ハードウェア等の構成は第一実施形態、及び第二実施形態と同様であり、ECU1において実行される処理が第一実施形態、及び第二実施形態とは相違する。以下、ECU1において実行される処理について、図8に示すフローチャートに基づいて説明する。以下に説明する処理は、車両の始動に伴って開始され、以降は車両が停止するまで繰り返し実行される処理であり、この点は第一実施形態と同様である。
第三実施形態も、ハードウェア等の構成は第一実施形態、及び第二実施形態と同様であり、ECU1において実行される処理が第一実施形態、及び第二実施形態とは相違する。以下、ECU1において実行される処理について、図8に示すフローチャートに基づいて説明する。以下に説明する処理は、車両の始動に伴って開始され、以降は車両が停止するまで繰り返し実行される処理であり、この点は第一実施形態と同様である。
この処理を開始すると、ECU1は、左カメラ3及び右カメラ4のそれぞれによって撮影された映像を、一次映像として取得する(S210)。S210は、第一実施形態のS10と同様な処理ステップである。S210において鏡像映像を取得したら、ECU1は、一次映像に対する視点変換処理を行う(S220)。
本実施形態の場合、S220では、左カメラ3及び右カメラ4のそれぞれによって撮影された映像の視点位置を、左カメラ3及び右カメラ4の配設位置よりも車両の前方側となる位置へ仮想的に変更する処理を実行する。
以下、右カメラ4の場合を例に挙げて具体的に説明すると、図9に示すように、一般的なドアミラーが取り付けられている車両の場合、運転者は車両の運転席Sに着座して視点位置P1からドアミラーMを目視する。この場合、ドアミラーMに映る鏡像には画角A1の範囲内が映っている。
一方、左カメラ3及び右カメラ4の取付位置は、車両デザインの制約などから、ドアミラーMの取付位置相当の箇所にするのが好適である。ここで、ドアミラーMの取付位置相当の箇所に右カメラ4が取り付けられている場合、右カメラ4は、視点位置P2から車両の後側方を撮影することになる。この場合、右カメラ4には画角A2の範囲内が映っている。
しかし、上述の視点位置P1と視点位置P2とでは、それぞれから同一対象物を見ても、各視点位置から対象物までの距離が異なる。そのため、右カメラ4で撮影された鏡像をそのまま表示すると、運転者にとってはドアミラーMに映る鏡像とは微妙に異なる鏡像に感じられ、距離感を把握しにくくなることがある。
そこで、S220では、右カメラ4によって視点位置P2から撮影された映像について、その視点位置を仮想的に視点位置P3へ視点変換する処理を実行する。視点位置P3は、左カメラ3及び右カメラ4の配設位置(すなわち、視点位置P2。)よりも車両の前方側となる位置にある。より詳しくは、視点位置P3は、ドアミラーMを透過して画角A1の範囲内を見るような視点位置であり、これは、運転者の視点位置P1と等価な位置である。
なお、図9において、視点位置P1からドアミラーMまでの距離と、視点位置P3からドアミラーMまでの距離とが異なっているのは、ドアミラーMが凸面鏡を採用していることに起因する。仮にドアミラーMが平面鏡を採用しているとすれば、視点位置P1からドアミラーMまでの距離と、視点位置P3からドアミラーMまでの距離は等しくなる。
S220で上述のような視点変換を行った場合、変換後の映像は、例えば図10に例示するような映像となる。車両の後側方にある同一範囲を見る場合、変換後の映像は、変化前の映像よりも、視点位置が遠ざかることになる。そのため、上述の同一範囲に対応する画角は、変換後の映像の方がいくらか狭くなり、その画角の範囲内においては、車両の前後方向に平行な平行線の平行度が視点変換前よりも高くなる。ただし、このような視点変換を行うと、映像の端に映り込んでいる車体の一部に関しては、いくらか歪な形状になることがある。
そこで、S220において上述のような視点変換を実行したら、ECU1は、視点変換済みの鏡像映像に対し、補助線及び車体画像を重ねて描画する(S230)。S230で描画される補助線は、視点変換が行われていることを考慮した位置及び傾きで描画される。また、車体画像は、上述のような視点変換に伴って歪な形状になる車体の一部をマスクするための画像であり、あらかじめ用意された車体画像が記憶部14に記憶されている。
例えば図10に示すような視点変換済みの鏡像映像20に対し、S230による処理が実行されると、図11に示すように、補助線25及び車体画像29が鏡像映像20に重ねて描画されることになる。これにより、視点変換に伴って歪な形状になっていた車体23の映像は、あらかじめ用意された車体画像29によってマスクされ、運転者は違和感のない映像を見ることができる。
なお、このような車体画像29としては、運転者が違和感を覚えないようなアングルで撮影された実車両の画像を、あらかじめ記憶部14に記憶しておいて、その画像を記憶部14から読み込んで利用すればよい。あるいは、そのような画像と同等な画像を生成するために必要なデータ(例えばポリゴンデータ。)などを、あらかじめ記憶部14に記憶しておいて、そのようなデータに基づいて実車両相当の画像を生成して利用してもよい。
効果
以上説明したような第三実施形態の車載映像処理システムでも、第一実施形態、及び第二実施形態と同様な作用、効果を奏し、補助線が表示されない場合に比べ、対象物までの距離感や自車両との平行度を、車両の運転者がより容易に認識できるようになる。
以上説明したような第三実施形態の車載映像処理システムでも、第一実施形態、及び第二実施形態と同様な作用、効果を奏し、補助線が表示されない場合に比べ、対象物までの距離感や自車両との平行度を、車両の運転者がより容易に認識できるようになる。
また、第三実施形態の場合は、上述のような視点変換を実施しているので、一般的なドアミラーに映る鏡像により近い映像を表示することができる。そのため、そのような視点変換を行わない場合に比べ、対象物までの距離感や自車両との平行度を、車両の運転者が更に容易に認識できるようになる。しかも、視点変換に伴って歪な形状になる車体の一部については、歪みのない車体の画像でマスクしているので、これにより、運転者が感じる違和感を低減することができる。
(4)他の実施形態
以上、映像処理装置、及び車載映像処理システムについての実施形態を説明したが、上述の実施形態は例示に過ぎない。すなわち、実施形態は、上述の例示的な実施形態に限定されるものではなく、本開示の技術的思想を逸脱しない範囲内において、様々な形態とすることができる。
以上、映像処理装置、及び車載映像処理システムについての実施形態を説明したが、上述の実施形態は例示に過ぎない。すなわち、実施形態は、上述の例示的な実施形態に限定されるものではなく、本開示の技術的思想を逸脱しない範囲内において、様々な形態とすることができる。
例えば、上記実施形態では、図示の都合上、便宜的に記憶部14をECU1が備える構成として図示してあるが、記憶部14はECU1がアクセス可能なメモリであれば、ECU1の外部にあってもよい。
また、上記実施形態において、一つの構成要素で実現していた所定の機能を、複数の構成要素が協働して実現するように構成してあってもよい。あるいは、上記実施形態では、複数の構成要素それぞれが有していた複数の機能や、複数の構成要素が協働して実現していた所定の機能を、一つの構成要素が実現するように構成してあってもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
また、実施形態を、上述した映像処理装置、及び車載映像処理システムの他、当該映像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した非一時的な記憶媒体など、種々の形態とすることもできる。
Claims (7)
- 車両の後側方を撮影可能に構成されたカメラ(3,4)から、当該カメラで撮影された一次映像を入力する映像入力部(11,S10,S110,S210)と、
前記映像入力部によって入力された前記一次映像に対して所定の映像処理を施すことによって二次映像に変換する映像処理部(12,S20,S120-S130,S220-S230)と、
前記映像処理部によって前記映像処理が施された二次映像を車室内に配設された表示装置(5,6)へと出力する映像出力部(13,S30,S140,S240)と
を備え、
前記映像処理部は、前記映像処理において、前記カメラから正像として入力される前記一次映像に対して左右を反転させる処理を施すことによって得られる映像、及び前記カメラから鏡像として入力される前記一次映像のうちの、いずれか一方である鏡像映像(20)に重ねて、前記車両の車体側方への最大突出箇所の位置を表す補助線(25)を描画する処理(S20,S130,S230)を実行するように構成されている
映像処理装置(1)。 - 請求項1に記載の映像処理装置において、
前記補助線は、前記最大突出箇所に接する位置又は当該位置に対して所定のマージンを加えた位置に仮想される、車幅方向に対して垂直な仮想平面と路面との交線である
映像処理装置。 - 請求項1又は請求項2に記載の映像処理装置において、
前記映像処理部は、前記映像処理において、車体の一部の鏡像に相当する車体画像(29)を、記憶部(14)から読み出すか記憶部に記憶されたデータに基づいて生成して、当該車体画像を前記鏡像映像に重ねて描画する処理(S230)を実行するように構成されている
映像処理装置。 - 請求項1-請求項3のいずれか一項に記載の映像処理装置において、
前記映像処理部は、前記映像処理において、前記鏡像映像に対応する視点位置(P3)を、前記カメラの配設位置(P1)とは異なる位置へ仮想的に変更する視点変換処理(S220)を実行するように構成されている
映像処理装置。 - 請求項4に記載の映像処理装置において、
前記カメラは、前記車両における車体外後写鏡(M)の取付位置相当の箇所(P2)に配設されたカメラであり、
前記映像処理部は、前記視点変換処理において、前記鏡像映像に対応する視点位置を、前記カメラの配設位置よりも前記車両の前方側となる位置へ仮想的に変更する処理を実行するように構成されている
映像処理装置。 - 請求項1-請求項5のいずれか一項に記載の映像処理装置において、
前記映像処理部は、前記映像処理において、前記鏡像映像に対応する画角の中心線が向けられる方向を二以上の異なる方向へ仮想的に変更する処理(S120)を実行するように構成され、前記補助線を描画する際には、前記補助線の位置及び傾きを、前記中心線が向けられる方向に応じて変更するように構成されている
映像処理装置。 - 車両の後側方を撮影可能に構成されたカメラ(3,4)と、
前記カメラで撮影された映像に対して所定の映像処理を施すように構成された映像処理装置(1)と
車室内に配設され、前記映像処理装置によって前記映像処理が施された映像を表示する表示装置(5,6)と
を備え、
前記映像処理装置は、
前記カメラから、当該カメラで撮影された一次映像を入力する映像入力部(11,S10,S110,S210)と、
前記映像入力部によって入力された前記一次映像に対して所定の映像処理を施すことによって二次映像に変換する映像処理部(13,S30,S140,S240)と、
前記映像処理部によって前記映像処理が施された二次映像を前記表示装置へと出力する映像出力部(13,S30,S140,S240)と
を備え、
前記映像処理部は、前記映像処理において、前記カメラから正像として入力される前記一次映像に対して左右を反転させる処理を施すことによって得られる映像、及び前記カメラから鏡像として入力される前記一次映像のうちの、いずれか一方である鏡像映像(20)に重ねて、前記車両の車体側方への最大突出箇所の位置を表す補助線(25)を描画する処理(S20,S130,S230)を実行するように構成されている
車載映像処理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-210000 | 2014-10-14 | ||
JP2014210000A JP6488628B2 (ja) | 2014-10-14 | 2014-10-14 | 映像処理装置、及び車載映像処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016059765A1 true WO2016059765A1 (ja) | 2016-04-21 |
Family
ID=55746327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/005037 WO2016059765A1 (ja) | 2014-10-14 | 2015-10-02 | 映像処理装置、及び車載映像処理システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6488628B2 (ja) |
WO (1) | WO2016059765A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109747539A (zh) * | 2017-11-08 | 2019-05-14 | 丰田自动车株式会社 | 电子镜设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7419741B2 (ja) * | 2019-10-15 | 2024-01-23 | 株式会社アイシン | 駐車支援装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007124097A (ja) * | 2005-10-26 | 2007-05-17 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2009253571A (ja) * | 2008-04-04 | 2009-10-29 | Clarion Co Ltd | 車両用モニタ映像生成装置 |
JP2012124610A (ja) * | 2010-12-06 | 2012-06-28 | Fujitsu Ten Ltd | 画像表示システム、画像処理装置及び画像表示方法 |
JP2012253428A (ja) * | 2011-05-31 | 2012-12-20 | Fujitsu Ten Ltd | 情報処理システム、サーバ装置、および、車載装置 |
JP2013005233A (ja) * | 2011-06-16 | 2013-01-07 | Aisin Seiki Co Ltd | 車両周辺監視装置 |
JP2013168063A (ja) * | 2012-02-16 | 2013-08-29 | Fujitsu Ten Ltd | 画像処理装置、画像表示システム及び画像処理方法 |
-
2014
- 2014-10-14 JP JP2014210000A patent/JP6488628B2/ja active Active
-
2015
- 2015-10-02 WO PCT/JP2015/005037 patent/WO2016059765A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007124097A (ja) * | 2005-10-26 | 2007-05-17 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2009253571A (ja) * | 2008-04-04 | 2009-10-29 | Clarion Co Ltd | 車両用モニタ映像生成装置 |
JP2012124610A (ja) * | 2010-12-06 | 2012-06-28 | Fujitsu Ten Ltd | 画像表示システム、画像処理装置及び画像表示方法 |
JP2012253428A (ja) * | 2011-05-31 | 2012-12-20 | Fujitsu Ten Ltd | 情報処理システム、サーバ装置、および、車載装置 |
JP2013005233A (ja) * | 2011-06-16 | 2013-01-07 | Aisin Seiki Co Ltd | 車両周辺監視装置 |
JP2013168063A (ja) * | 2012-02-16 | 2013-08-29 | Fujitsu Ten Ltd | 画像処理装置、画像表示システム及び画像処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109747539A (zh) * | 2017-11-08 | 2019-05-14 | 丰田自动车株式会社 | 电子镜设备 |
Also Published As
Publication number | Publication date |
---|---|
JP6488628B2 (ja) | 2019-03-27 |
JP2016082329A (ja) | 2016-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5087051B2 (ja) | 画像生成装置及び画像表示システム | |
US11528413B2 (en) | Image processing apparatus and image processing method to generate and display an image based on a vehicle movement | |
JP5316550B2 (ja) | 後方視界支援システム | |
JP6730614B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP2010130646A (ja) | 車両周辺確認装置 | |
US10703275B2 (en) | Image generation apparatus | |
JP2013183298A (ja) | 車両用後方視界支援装置及び車両用後方視界支援方法 | |
JP7000383B2 (ja) | 画像処理装置および画像処理方法 | |
JP6439436B2 (ja) | 映像処理装置、及び車載映像処理システム | |
JP2010208359A (ja) | 車両用表示装置 | |
WO2016059765A1 (ja) | 映像処理装置、及び車載映像処理システム | |
WO2017208688A1 (ja) | 表示制御装置および表示制御方法 | |
JP2018076019A (ja) | 画像処理装置 | |
KR101941607B1 (ko) | 차량용 촬영 표시 장치 및 기록 매체 | |
WO2019074065A1 (ja) | 画像処理装置 | |
JP5466743B2 (ja) | 画像生成装置及び画像表示システム | |
JP6575668B2 (ja) | 映像処理装置 | |
JP4893421B2 (ja) | 車両用の死角画像表示装置 | |
JP2012179958A (ja) | 車両用表示装置 | |
EP3315366B1 (en) | Imaging and display device for vehicle and recording medium | |
JP2018101904A (ja) | 車両用映像システム | |
TWM506429U (zh) | 側視行車影像系統 | |
JP4285229B2 (ja) | 車両用表示装置 | |
JP6878109B2 (ja) | 画像表示装置 | |
JP2023061205A (ja) | 車両後方監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15851454 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15851454 Country of ref document: EP Kind code of ref document: A1 |