JP4736611B2

JP4736611B2 - 画像処理装置および画像処理方法

Info

Publication number: JP4736611B2
Application number: JP2005232292A
Authority: JP
Inventors: 照久高野
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2005-08-10
Filing date: 2005-08-10
Publication date: 2011-07-27
Anticipated expiration: 2025-08-10
Also published as: JP2007048071A

Description

本発明は、複数の撮像手段によって撮像された画像に対して視点変換処理を施して、１つの合成画像を作成する装置および方法に関する。

従来、異なる位置で撮像された２つの画像を、撮像した視点とは異なる視点に変換して合成することにより、１つの画像を作成する装置が知られている（特許文献１参照）。

特開２００１−１１４０４７号公報

しかしながら、従来の技術では、ポール状の立体物などの幅の小さい立体物が合成画像上において二重に表示される等、適切に表示されないという問題があった。

（１）本発明による画像処理装置は、複数の撮像手段と、前記複数の撮像手段によってそれぞれ撮像された画像を、前記複数の撮像手段の視点とは異なる視点から見た画像（以下、視点変換画像と呼ぶ）にそれぞれ変換する視点変換手段と、前記視点変換手段によって変換された複数の視点変換画像を合成して１つの合成画像を作成する画像合成手段と、前記画像合成手段によって作成された合成画像上において、同一の立体物であるにもかかわらず１つの始点から複数の方向に伸びるようにして映っている各立体物画像のエッジを検出する立体物検出手段と、前記立体物検出手段により検出された前記エッジに基づいて、前記各立体物画像を１つの立体物画像として描画し直すための位置を特定する位置特定手段と、前記複数の撮像手段でそれぞれ撮像されたときの像の大きさに基づいて決定される像の大きさで、前記位置特定手段により特定された位置に対して１つの立体物を描画し直す立体物描画手段とを備えることを特徴とする。
（２）本発明による画像処理方法は、複数の撮像手段によってそれぞれ撮像された画像を、前記複数の撮像手段の視点とは異なる視点から見た画像（以下、視点変換画像と呼ぶ）にそれぞれ視点変換し、前記視点変換された複数の視点変換画像を合成して１つの合成画像を作成し、前記合成画像上において、同一の立体物であるにもかかわらず１つの始点から複数の方向に伸びるようにして映っている各立体物画像のエッジを検出し、前記検出されたエッジに基づいて、前記各立体物画像を１つの立体物画像として描画し直すための位置を特定し、前記複数の撮像手段でそれぞれ撮像されたときの像の大きさに基づいて決定される像の大きさで、前記特定された位置に対して１つの立体物を描画し直すことを特徴とする。

本発明による画像処理装置および画像処理方法によれば、複数の視点変換画像を合成して１つの合成画像を作成するとともに、合成画像上において、１つの始点から複数の方向に伸びる立体物を検出して１つの立体物として描画し直すので、合成画像上において、１つの立体物が複数の立体物として表示されるのを防ぐことができる。

図１は、一実施の形態における画像処理装置の構成を示す図である。一実施の形態における画像処理装置は、車両に搭載されて使用されるものであって、カメラ１と、カメラ２と、処理装置３と、ディスプレイ４とを備える。カメラ１およびカメラ２は、例えば、ＣＣＤカメラであり、車両の異なる位置に設けられて、車両周囲を撮像する。

処理装置３は、内部で行う処理機能上、視点変換部３１と、画像合成部３２と、立体物検出部３３と、立体物描画部３４とを備える。視点変換部３１は、カメラ１によって撮像された画像およびカメラ２によって撮像された画像を、任意の位置から撮像した視点変換画像に変換する座標変換処理を行う。具体的には、車両周囲画像の全てに平面状の路面が映っていると仮定し、この路面を任意の位置（例えば、車両の真上）から観測した視点変換画像を生成する。視点変換処理は、既知の技術であるため、ここでは、視点変換処理に関する詳しい説明は省略する。

画像合成部３２は、視点変換された２つの画像を合成して、合成画像を作成する。ここでは、それぞれの画像上に映っている同一物体が重なるように、両画像を合成する。立体物検出部３３は、画像合成部３２で作成された合成画像上に映っている立体物、特に、合成画像上において、１つの始点から別方向に伸びるようにして映っている立体物を検出する。立体物描画部３４は、画像合成部３２で作成された合成画像上に、立体物検出部３３によって検出された立体物を１つの立体物として描画し直す。ディスプレイ４には、立体物が描画し直された合成画像が表示される。

図２は、一実施の形態における画像処理装置によって行われる処理内容を示すフローチャートである。車両が起動すると、処理装置３は、ステップＳ１０の処理を開始する。ステップＳ１０では、カメラ１およびカメラ２によって撮像される画像をそれぞれ取得して、ステップＳ２０に進む。ステップＳ２０では、ステップＳ１０で取得した２つの画像に対して、視点変換部３１によって、視点変換処理を行う。これにより、カメラ１およびカメラ２によってそれぞれ撮像された画像は、同一の視点から撮像された画像に変換される。

ステップＳ２０に続くステップＳ３０では、視点変換部３１によって視点変換された２つの画像を、画像合成部３２によって合成して、合成画像を作成する。合成画像を作成すると、ステップＳ４０に進む。ステップＳ４０では、合成画像上において、１つの始点から別方向に伸びるようにして映っている立体物を、立体物検出部３３によって検出する。立体物検出部３３は、まず、カメラ１によって撮像された画像の視点変換画像、および、カメラ２によって撮像された画像の視点変換画像の同一画素における濃度（輝度）を比較する。同一画素における濃度の差が所定値未満であれば、その画素は路面が撮像された領域であると判定し、濃度差が所定値以上であれば、その画素は立体物が撮像された領域であると判定する。

次に、立体物が撮像されていると判定された領域に対して、立体物のエッジを検出する処理を行う。図３は、合成画像上において、カメラ１によって撮像された立体物５０のエッジと、カメラ２によって撮像された立体物５０のエッジとを示す図である。カメラ１によって撮像された立体物５０のエッジのうち、図３に示すように、一方向に連続的に伸びているものを、ベクトルａ１'，ａ２'とする（ａ１'、ａ２'は、それぞれベクトル記号を表すものとする）。この２つのベクトルａ１'，ａ２'の距離が最も狭くなっている点を両ベクトルの始点５１とし、始点を基準に両ベクトルが広がり角を有している場合に、２つのエッジで構成される立体物は、鉛直方向に伸びているポール状の立体物であると判断する。

また、図３に示すように、カメラ２によって撮像された立体物５０のエッジのうち、一方向に連続的に伸びているものを、ベクトルｂ１'，ｂ２'とする（ｂ１'、ｂ２'は、それぞれベクトル記号を表すものとする）。この２つのベクトルｂ１'，ｂ２' の距離が最も狭くなっている点を両ベクトルの始点５１とし、始点を基準に両ベクトルが広がり角を有している場合に、２つのエッジで構成される立体物は、ポール状の立体物であると判断する。

ここで、ベクトルａ１'，ａ２'の始点と、ベクトルｂ１'，ｂ２' の始点とが一致している場合に、ベクトルａ１'，ａ２'で構成される立体物と、ベクトルｂ１'，ｂ２' で構成される立体物とは、同一の立体物であると判断する。すなわち、カメラ１およびカメラ２でそれぞれ撮像された立体物が合成画像上において、それぞれ別の立体物として映ってしまっていることになる。

図２に示すフローチャートのステップＳ４０において、１つの始点から別方向に伸びている立体物の検出処理を行うと、ステップＳ５０に進む。ステップＳ５０では、合成画像上に、ステップＳ４０で検出した立体物を描画し直すための位置を特定する。ここでは、次式（１）で表されるベクトルｃ１'、および、次式（２）で表されるベクトルｃ２'で囲まれた領域を立体物の位置とする。
ｃ１'＝（ａ１'＋ｂ１'）／２（１）
ｃ２'＝（ａ２'＋ｂ２'）／２（２）

ステップＳ５０に続くステップＳ６０では、ステップＳ３０で作成した合成画像上に、ステップＳ４０で検出した立体物を描画し直す。ここでは、ベクトルａ３'、ｂ３'、ｃ３'をそれぞれ次式（３）〜（５）で表した場合に、ベクトルｃ１'およびｃ３'で囲まれた領域には、カメラ１で撮像されたベクトルａ１'およびａ３'で囲まれた領域の映像を、（｜ｃ３'｜／｜ａ３'｜）だけ縮小したものを表示する。また、ベクトルｃ２'およびｃ３'で囲まれた領域には、カメラ２で撮像されたベクトルｂ２'およびｂ３'で囲まれた領域の映像を、（｜ｃ３'｜／｜ｂ３'｜）だけ縮小したものを表示する。
ａ３'＝（ａ１'＋ａ２'）／２（３）
ｂ３'＝（ｂ１'＋ｂ２'）／２（４）
ｃ３'＝（ｃ１'＋ｃ２'）／２（５）

このように、カメラ１で撮像された立体物５０の映像、および、カメラ２で撮像された立体物５０の映像の一部を合成することによって、合成画像上に立体物５０の映像を描画し直す際に、両カメラ１，２でそれぞれ撮像された立体物５０の像の大きさに基づいて、合成する像の大きさを決定するので、カメラ１，２で撮像された立体物５０の像の大きさが異なる場合でも、合成画像に描画する立体物の形状が不連続となることを防ぐことができる。

また、合成画像上において、ベクトルａ１'およびａ２'で囲まれた領域には、カメラ２で撮像された路面の映像を表示し、ベクトルｂ１'およびｂ２'で囲まれた領域には、カメラ１で撮像された路面の映像を表示する。これにより、別方向に伸びるようにして映っていた立体物を１つの立体物として描画し直す際に、映像が消えてしまう部分を適切に表現することができる。

一実施の形態における画像処理装置によれば、複数のカメラ１，２によってそれぞれ撮像された画像を、カメラ１，２の視点とは異なる視点から見た視点変換画像にそれぞれ変換し、変換した複数の視点変換画像を合成して１つの合成画像を作成する画像処理装置において、合成画像上において、１つの始点から複数の方向に伸びるようにして映っている立体物を検出して１つの立体物として描画し直す。これにより、合成画像上において、１つの立体物が複数の立体物として映ってしまうことを防ぐことができる。

また、一実施の形態における画像処理装置によれば、複数のカメラ１，２で同一の立体物をそれぞれ撮像した時の像の位置に基づいて、合成画像上に描画し直す立体物の位置を特定するので、合成画像上の適切な位置に立体物を描画し直すことができる。

一実施の形態における画像処理装置によれば、１つの始点から複数の方向に伸びるようにして映っている立体物を複数のカメラ１，２でそれぞれ撮像した時の像の一部を合成することによって、１つの立体物を描画し直すようにした。この時に、複数のカメラ１，２でそれぞれ撮像した時の像の大きさに基づいて、１つの立体物を描画し直す際に合成する像の大きさを決定した。これにより、立体物を複数のカメラで撮像した時の大きさが異なる場合に、合成画像に描画する立体物の形状が不連続となることを防ぐことができる。

さらに、一実施の形態における画像処理装置によれば、合成画像上において、１つの始点から複数の方向に伸びるようにして立体物が映っていた領域の映像を、複数のカメラ１，２で撮像された画像に基づいて、描画し直すので、１つの立体物に描画し直すことによって映像が消えてしまう部分を適切に表現することができる。

本発明は、上述した一実施の形態に限定されることはない。例えば、上述した一実施の形態では、画像処理装置を車両に搭載して、カメラ１，２によって、車両周囲を撮像する例について説明したが、車両以外のものに適用することもできる。また、カメラは、２台に限定されることはなく、３台以上設けるようにしてもよい。この場合、合成画像上において、同一の始点から別方向に伸びている複数の立体物が映っていれば、これら複数の立体物を１つの立体物として描画し直せばよい。

立体物５０が移動する物体の場合でも、合成画像上に立体物５０を描画し直すことができる。立体物５０が移動物体である場合の描画方法を、図４を用いて説明する。図４は、車両の真上の視点に変換された合成画像を示す図である。図４では、カメラ１の撮像範囲を境界線１１および１２で示すとともに、カメラ２の撮像範囲を境界線２１および２２で示している。また、境界線１１と境界線２１との交点を４０とする。

交点４０および立体物５０を結ぶ線４１と境界線１１との成す角をθ２、交点４０および立体物５０を結ぶ線４１と境界線２１との成す角をθ１とすると、立体物５０の位置を描画するためのベクトルｃ３'は、次式（６）で表される。
ｃ３'＝（θ２・ａ３'＋θ１・ｂ３'）／（θ１＋θ２）（６）
式（６）によれば、θ１＝０の場合には、ｃ３'＝ａ３'となり、θ２＝０の場合には、ｃ３'＝ｂ３'となる。

移動物の位置を描画するためのベクトルｃ３'を式（６）で示すことにより、カメラ１の撮像範囲の境界線１１またはカメラ２の撮像範囲の境界線２１付近における立体物の動きを滑らかに表現することができる。

上述した一実施の形態では、カメラ１および２でそれぞれ撮像された画像の同一画素における濃度を比較することにより、撮像画像上の立体物を検出したが、両画像の同一画素における色を比較する等、他の方法により、立体物を検出することもできる。

一実施の形態における画像処理装置の構成を示す図一実施の形態における画像処理装置によって行われる処理内容を示すフローチャート２つのカメラによって、ポール状の立体物を撮像した時に、検出されるエッジを示す図車両の真上の視点に変換された合成画像を示す図

符号の説明

１…カメラ、２…カメラ、３…処理装置、４…ディスプレイ、３１…視点変換部、３２…画像合成部、３３…立体物検出部、３４…立体物描画部

Claims

複数の撮像手段と、
前記複数の撮像手段によってそれぞれ撮像された画像を、前記複数の撮像手段の視点とは異なる視点から見た画像（以下、視点変換画像と呼ぶ）にそれぞれ変換する視点変換手段と、
前記視点変換手段によって変換された複数の視点変換画像を合成して１つの合成画像を作成する画像合成手段と、
前記画像合成手段によって作成された合成画像上において、同一の立体物であるにもかかわらず１つの始点から複数の方向に伸びるようにして映っている各立体物画像のエッジを検出する立体物検出手段と、
前記立体物検出手段により検出された前記エッジに基づいて、前記各立体物画像を１つの立体物画像として描画し直すための位置を特定する位置特定手段と、
前記複数の撮像手段でそれぞれ撮像されたときの像の大きさに基づいて決定される像の大きさで、前記位置特定手段により特定された位置に対して１つの立体物を描画し直す立体物描画手段とを備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記立体物描画手段は、前記立体物検出手段によって検出された立体物を前記複数の撮像手段でそれぞれ撮像した時の像の一部を合成することによって、１つの立体物を描画し直すことを特徴とする画像処理装置。
請求項１または２に記載の画像処理装置において、
前記立体物描画手段は、前記合成画像上において、前記１つの始点から複数の方向に伸びるようにして立体物が映っていた領域の映像を、前記複数の撮像手段でそれぞれ撮像された映像に基づいて、描画し直すことを特徴とする画像処理装置。
複数の撮像手段によってそれぞれ撮像された画像を、前記複数の撮像手段の視点とは異なる視点から見た画像（以下、視点変換画像と呼ぶ）にそれぞれ視点変換し、
前記視点変換された複数の視点変換画像を合成して１つの合成画像を作成し、
前記合成画像上において、同一の立体物であるにもかかわらず１つの始点から複数の方向に伸びるようにして映っている各立体物画像のエッジを検出し、
前記検出されたエッジに基づいて、前記各立体物画像を１つの立体物画像として描画し直すための位置を特定し、
前記複数の撮像手段でそれぞれ撮像されたときの像の大きさに基づいて決定される像の大きさで、前記特定された位置に対して１つの立体物を描画し直すことを特徴とする画像処理方法。