JP4952561B2 - In-vehicle image processing apparatus and in-vehicle image display apparatus - Google Patents
In-vehicle image processing apparatus and in-vehicle image display apparatus Download PDFInfo
- Publication number
- JP4952561B2 JP4952561B2 JP2007322237A JP2007322237A JP4952561B2 JP 4952561 B2 JP4952561 B2 JP 4952561B2 JP 2007322237 A JP2007322237 A JP 2007322237A JP 2007322237 A JP2007322237 A JP 2007322237A JP 4952561 B2 JP4952561 B2 JP 4952561B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- image processing
- energy
- host vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、車両周辺の重要部分を見やすさを保った状態で画像を縮小して表示するための車載用画像処理装置及び車載用画像表示装置に関する。 The present invention relates to an in-vehicle image processing apparatus and an in-vehicle image display apparatus for reducing and displaying an image while maintaining visibility of important parts around a vehicle.
従来、車載カメラを用い、車両の側後方の画像を取得し、オプティカルフローなどで検出した相対速度を持つ物を強調表示して、運転者がより理解しやすい画像を生成することで車両運転時の安全向上を狙っている技術がある（例えば、特許文献１参照）。 Conventionally, when driving a vehicle, an on-board camera is used to acquire an image of the rear side of the vehicle, highlight an object with a relative speed detected by optical flow, etc., and generate an image that is easier for the driver to understand There is a technology that aims to improve safety (see, for example, Patent Document 1).
一方で、画像の重要度を解析して重要度の高い箇所を切り貼りすることで重要箇所を残したまま画像を縮小する技術もある（例えば、特許文献２参照）。さらに、これを改良し、重要度を示す画像エネルギ画像をまず算出し、それに対してＳｅａｍと呼ばれる重要度が低い箇所を通って画像エネルギ画像を縦断するラインを算出し、その箇所を削除していく方法が提案されている（例えば、非特許文献１参照）。 On the other hand, there is also a technique for reducing the image while leaving the important part by analyzing the importance of the image and cutting and pasting the part having the high importance (see, for example, Patent Document 2). Furthermore, to improve this, first calculate the image energy image showing the importance, and calculate the line that cuts through the image energy image through the less important part called Seam, and delete that part Have been proposed (see, for example, Non-Patent Document 1).
これらの縮小画像生成技術により、小さなモニタに効率よく周辺状況を表示することができる。これを車載カメラに適用した場合、例えば側後方カメラにおいては、追越し車両がより拡大強調されることになり、一目で車線変更の可否が分かりやすい。
しかし、非特許文献１に記載されている手法では、画像エネルギ画像の算出方法によっては、重要物体が十分に強調されなかったり、縮小画像がひずんだりするという問題がある。例えば、一般的な手法として、画像エネルギ画像にエッジ画像を用いた場合、路側構造物は強いエッジを持つ場合が多く、車線変更の可否を判定するには余り重要でないにもかかわらず重要度が高くなる。したがって、真に重要な周辺車両の重要度が相対的に低くなり、十分車両が強調されない。また、車両の凹凸が少ない、いわゆるのっぺりした形状の車両も同様に画像エネルギが相対的に低くなり、車両の形状がひずむ。 However, the method described in Non-Patent Document 1 has a problem that an important object is not sufficiently emphasized or a reduced image is distorted depending on a method of calculating an image energy image. For example, as a general method, when an edge image is used as an image energy image, roadside structures often have strong edges, which are not so important for determining whether or not to change lanes. Get higher. Therefore, the importance of the truly important surrounding vehicles becomes relatively low, and the vehicles are not sufficiently emphasized. In addition, a so-called “smooth-shaped” vehicle having less unevenness of the vehicle also has a relatively low image energy, and the shape of the vehicle is distorted.
さらに、車両が非常に多い状況や路面に模様がある状況などの画像全体が複雑すぎる場合も、削除にふさわしい箇所がないにも拘わらず削除処理がされてしまうので、車両がひずんでしまう。 Furthermore, even when the entire image is too complicated, such as when there are a large number of vehicles or when there is a pattern on the road surface, the deletion process is performed even though there is no portion suitable for deletion, so that the vehicle is distorted.
本発明は、こうした問題に鑑みなされたもので、画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができる車載用画像処理装置及びその画像を表示する車載用画像表示装置を提供することを目的とする。 The present invention has been made in view of such a problem, and displays an in-vehicle image processing apparatus capable of enhancing an important object in an image in a reduced image and obtaining a reduced image with less distortion, and the image. An object is to provide an in-vehicle image display device.
かかる問題を解決するためになされた請求項１に記載の車載用画像処理装置（５：この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。）は、画像取得手段（１０）、位置検出手段（２０）、画像エネルギ算出手段（３０）及び画像縮小手段（３０）を備えている。 The in-vehicle image processing apparatus according to claim 1, which has been made to solve such a problem (5: In this section, in order to facilitate understanding of the invention, the “best mode for carrying out the invention is described as necessary. The symbol used in the “form” column is attached, but does not mean that the scope of claims is limited by this symbol.) The image acquisition means (10), the position detection means (20), the image energy calculation means ( 30) and image reduction means (30).
画像取得手段（１０）は、自車両周辺の画像を取得するためのものであり、位置検出手段（２０）は、画像取得手段（１０）で取得した画像中の物体の自車両に対する位置を検出する。また、画像エネルギ算出手段（３０）は、画像取得手段（１０）で取得した画像中の線の粗密や画面の色の変化の大きさ等を表す画像エネルギを算出する。 The image acquisition means (10) is for acquiring images around the own vehicle, and the position detection means (20) detects the position of the object in the image acquired by the image acquisition means (10) with respect to the own vehicle. To do. The image energy calculation means (30) calculates image energy representing the density of lines in the image acquired by the image acquisition means (10), the magnitude of the color change of the screen, and the like .
画像縮小手段（３０）は、画像エネルギ算出手段（３０）で算出した画像中の画像エネルギが所定の値より低い領域を抽出して削除することにより画像を縮小する。さらに、画像エネルギ算出手段（３０）は、位置検出手段（２０）で検出した物体の位置に応じて物体の占める画像領域の画像エネルギを変化させる。 The image reduction means (30) reduces the image by extracting and deleting a region having an image energy lower than a predetermined value in the image calculated by the image energy calculation means (30). Further, the image energy calculating means (30) changes the image energy of the image area occupied by the object according to the position of the object detected by the position detecting means (20).
以上のような車載用画像処理装置（５）は、画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができるものとなる。以下説明する。
まず、「画像中の画像エネルギ」について説明する。これは、画像中の重要な箇所がどこかを示す指標で、画像中の各位置ごとに算出され、画像全体の画像エネルギ分布を作成した物を画像エネルギ画像と呼ぶ。
The vehicle-mounted image processing apparatus (5) as described above can emphasize important objects in the image in the reduced image and obtain a reduced image with less distortion. This will be described below.
First, “image energy in an image” will be described. This is an index indicating where an important part in an image is. An object that is calculated for each position in the image and creates an image energy distribution of the entire image is called an image energy image.
この算出方法、すなわち画像エネルギの定義の方法は様々な方法が考えられ、例えばエッジ画像、すなわち線の粗密が色の変化が大きい箇所と考えることができる。例えば、晴天の空など重要でないと思われる箇所では、線の粗密や画面の色の変化がほとんどできない。一方、都市の道路を撮影した画像で重要と思われる箇所は、道路面に車線などのペイントが施されていたり、道路上には車両が多数存在していたり、道路脇に建物が立ち並んでいたり、また、道路脇や建物には広告用の看板などが立ち並んでいたりするので、線の粗密や色の変化が大きい。 Various methods can be considered for this calculation method, that is, a method for defining image energy. For example, an edge image, that is, a line density, can be considered as a portion where a color change is large. For example, in places that are not important, such as clear sky, line density and screen color change can hardly be made. On the other hand, in the images taken of urban roads, lanes and other paint are applied to the road surface, there are many vehicles on the road, and buildings are lined up on the side of the road. In addition, because there are advertising billboards lined up on the side of the road and buildings, the line density and color change are large.
このように、エッジ抽出処理を画像中の画像エネルギとした場合、エッジが強い部分が「画像中の画像エネルギが高い」となる一方で、模様がない重要なもの、例えばのっぺりとしたデザインの車両は重要でないとされてしまうことになる。このため、車両が削除されたり、車両内部ののっぺりした箇所が削除され車両の見た目がひずんだりする。そのため、この画像エネルギの算出方法は非常に重要である。 As described above, when the edge extraction processing is set to the image energy in the image, the portion having a strong edge becomes “the image energy in the image is high”, while the important thing without the pattern, for example, a vehicle with a supple design. Will be considered unimportant. For this reason, the vehicle is deleted, or the part inside the vehicle is deleted and the appearance of the vehicle is distorted. Therefore, this image energy calculation method is very important.
このように定義した「画像中の画像エネルギ」によれば、請求項１に記載の車載用画像処理装置（５）では、画像エネルギ算出手段（３０）で画像中の画像エネルギが算出され、算出された画像エネルギが所定の値より低い部分が削除されて画像が縮小される。 According to the “image energy in the image” defined as described above, in the in-vehicle image processing device (5) according to claim 1, the image energy calculation means (30) calculates the image energy in the image and calculates A portion where the image energy is lower than a predetermined value is deleted to reduce the image.
その際、位置検出手段（２０）で画像中の物体の位置を検出し、検出した物体の位置に応じて物体の占める画像領域の画像エネルギを変化させるようになっている。したがって、画像中での位置に応じて、例えば、他車両や自転車あるいは人などが自車両に対して所定の距離よりも近い位置にあれば、その部分の画像エネルギを高くして画像中から削除されないようにしたり、強調するようなこともできる。 At that time, the position of the object in the image is detected by the position detection means (20), and the image energy of the image area occupied by the object is changed according to the detected position of the object. Therefore, depending on the position in the image, for example, if another vehicle, a bicycle, or a person is at a position closer to the own vehicle than the predetermined distance, the image energy of that portion is increased and deleted from the image. It can be prevented or emphasized.
ここで、自車両に対して所定の距離よりも近い位置にある物体は、他車両や自転車あるいは人のように、運転者が自車両を運転する際に危険性があると認識すべきものであるので、画像縮小の際、それらが削除されないで画像中に残っていたり、強調されたりすれば、運転者はそれらを画像中から容易に認識することができるので運転時の安全性を向上することができる。 Here, an object that is closer than a predetermined distance to the host vehicle should be recognized as dangerous when the driver drives the host vehicle, like other vehicles, bicycles, or people. Therefore, when the image is reduced, if they remain in the image without being deleted or are emphasized, the driver can easily recognize them from the image, so that safety during driving can be improved. Can do.
ところで、自車両が走行中には、自車両に近い物体を縮小せずに表示すると、自車両に近い物体が強調されることになる。つまり、自車両に近い物体に対する衝突の危険を回避するために都合がよい。 By the way, when the host vehicle is traveling, if an object close to the host vehicle is displayed without being reduced, the object close to the host vehicle is emphasized. That is, it is convenient for avoiding the danger of a collision with an object close to the host vehicle.
そこで、請求項２に記載のように、画像エネルギ算出手段（３０）は、位置検出手段（２０）で検出された画像中の物体の自車両に対する位置が所定の値より近いか否かを判定し、物体の自車両に対する位置が所定の値よりも近いと判定した場合には、物体の占める画像領域の画像エネルギを物体の占める画像領域以外の領域の画像エネルギよりも高く設定するとよい。 Therefore, as described in claim 2, the image energy calculation means (30) determines whether or not the position of the object in the image detected by the position detection means (20) is closer to a predetermined value. When it is determined that the position of the object relative to the host vehicle is closer than a predetermined value, the image energy of the image area occupied by the object may be set higher than the image energy of the area other than the image area occupied by the object.
このように、物体が所定の値より近い場合に、物体の占める画像領域の画像エネルギを高くすれば、物体の占める画像領域が縮小されないので、近い物体が強調される。したがって、物体との衝突の危険を回避するために都合がよい。 Thus, when the image energy of the image area occupied by the object is increased when the object is closer than the predetermined value, the image area occupied by the object is not reduced, so that the close object is emphasized. Therefore, it is convenient to avoid the danger of collision with an object.
逆に、請求項３に記載のように、画像エネルギ算出手段（３０）は、位置検出手段（２０）で検出された画像中の物体の自車両に対する位置が所定の値より近いか否かを判定し、物体の自車両に対する位置が所定の値よりも遠いと判定した場合には、物体の占める画像領域の画像エネルギを物体の占める画像領域以外の領域の画像エネルギよりも低く設定してもよい。 Conversely, as described in claim 3, the image energy calculation means (30) determines whether or not the position of the object in the image detected by the position detection means (20) is closer to a predetermined value. If it is determined that the position of the object relative to the host vehicle is farther than a predetermined value, the image energy of the image area occupied by the object may be set lower than the image energy of the area other than the image area occupied by the object. Good.
このように、物体が所定の値より近い場合に、物体の占める画像領域の画像エネルギを低くすれば、物体の占める画像領域が縮小されるので、近い物体が強調される。つまり、請求項２と同じような効果が得られるので、物体との衝突の危険を回避するために都合がよい。 As described above, when the image energy of the image region occupied by the object is lowered when the object is closer than the predetermined value, the image region occupied by the object is reduced, so that the close object is emphasized. That is, since the same effect as in claim 2 can be obtained, it is convenient to avoid the danger of collision with an object.
位置検出手段（２０）として、請求項４に記載のように、車載レーダを用いると、物体の距離と方位が得られるので、その方位に相当する画像の箇所をその距離に応じて物体の位置と検出することができる。 When the vehicle-mounted radar is used as the position detecting means (20), the distance and direction of the object can be obtained. Therefore, the position of the object corresponding to the position of the image is determined based on the distance. Can be detected.
また、請求項５に記載のように、位置検出手段（３０，９０）として、自車両周辺の画像を取得するカメラ（９０）を備え、カメラ（９０）により取得した画像を画像処理することにより物体の位置を検出してもよい。 Further, as described in claim 5, the position detection means (30, 90) includes a camera (90) that acquires an image around the host vehicle, and performs image processing on the image acquired by the camera (90). The position of the object may be detected.
この場合、カメラ（９０）は、複数のカメラ（９０）を用いて物体までの距離を得ることができるスレテオカメラでもよいし、単眼による移動ステレオ視によって物体までの距離を得ることができるものであってもよい。また、別途距離計測用のカメラセンサシステムを用意してもよい。 In this case, the camera (90) may be a stereo camera that can obtain the distance to the object using a plurality of cameras (90), or can obtain the distance to the object by moving stereo vision with a single eye. There may be. In addition, a camera sensor system for distance measurement may be prepared separately.
特に、他車両や人など、物体のおよその大きさが予め分かっている場合、請求項６に記載のように、位置検出手段（３０，９０）は、カメラ（９０）で取得した画像から画像処理により、物体として他車両又は人を抽出し、抽出した他車両又は人の大きさから他車両又は人と自車両との間の距離を検出するとよい。 In particular, when the approximate size of an object such as another vehicle or a person is known in advance, the position detection means (30, 90) is an image obtained from an image acquired by the camera (90) as described in claim 6. By processing, another vehicle or person may be extracted as an object, and the distance between the other vehicle or person and the host vehicle may be detected from the size of the extracted other vehicle or person.
このようにすると、他車両や人の大きさが予め大きさが分かっているので画像からそれらを抽出したり、それらまでの距離を容易に検出することができる。
また、カメラ（９０）を用いて物体までの距離を検出する場合、請求項７に記載のように、位置検出手段（３０，９０）は、カメラ（９０）で取得した画像中の水平線位置をカメラ（９０）の取付位置と取付角度を基に検出し、検出した水平線位置より上方にある物体を遠方物体として検出し、画像エネルギ算出手段（３０）は、位置検出手段（３０，９０）で検出した水平線位置より上方にある遠方物体の画像エネルギを物体の占める画像領域の以外の領域の画像エネルギよりも低く設定するとよい。
If it does in this way, since the magnitude | size of another vehicle or a person is known beforehand, they can be extracted from an image, and the distance to them can be detected easily.
Further, when detecting the distance to the object using the camera (90), as described in claim 7, the position detection means (30, 90) calculates the horizontal line position in the image acquired by the camera (90). Based on the mounting position and mounting angle of the camera (90) , an object above the detected horizontal line position is detected as a distant object, and the image energy calculating means (30) is detected by the position detecting means (30, 90). The image energy of the distant object above the detected horizontal line position may be set lower than the image energy of the area other than the image area occupied by the object.
このようにすると、水平線より上にある空や路側の構造物の重要度が必要以上に高められることがなくなり、ビルに囲まれた市街地を走行中でも縮小画像中に他車両が削除されず、縮小画像中に残すことができる。 In this way, the importance of the sky and roadside structures above the horizon will not be increased more than necessary, and other vehicles will not be deleted in the reduced image even when traveling in the urban area surrounded by buildings, and reduced. It can be left in the image.
さらに、物体の位置を検出する際、請求項８に記載のように、位置検出手段（３０，９０）は、自車両におけるカメラ（９０）の取付位置と取付角度を用いてカメラ（９０）で取得した画像中の水平線を検出するとよい。つまり、カメラ（９０）の取付位置と取付角度が分かっていると、地面からのカメラ（９０）の高さや角度から容易に水平線を検出することができる。 Furthermore, when detecting the position of the object, as described in claim 8, the position detection means (30, 90) is a camera (90) that uses the mounting position and mounting angle of the camera (90) in the host vehicle. A horizontal line in the acquired image may be detected. That is, when the mounting position and mounting angle of the camera (90) are known, the horizontal line can be easily detected from the height and angle of the camera (90) from the ground.
また、請求項９に記載のように、位置検出手段（３０，９０）は、画像処理による線分識別結果を用いてカメラ（９０）で取得した画像中の水平線を検出するようにすると、画像処理によって水平線の位置を検出できる、つまり、他の構成要件を用いる必要がないので、車載用画像処理装置（５）を簡易なものにすることができる。 Further, as described in claim 9, when the position detection means (30, 90) detects a horizontal line in the image acquired by the camera (90) using the line segment identification result obtained by the image processing, the image is detected. The position of the horizontal line can be detected by the processing, that is, it is not necessary to use other constituent elements, so that the in-vehicle image processing device (5) can be simplified.
ところで、自車両側後方の隣接車線内の領域の位置を検出するには、種々の方法が考えられるが、請求項１０に記載のように、位置検出手段（３０，９０）は、画像取得手段（１０）の自車両おける取付位置と取付角度を用いて画像中の自車両の隣接車線内の領域の位置を検出するとよい。 By the way, various methods are conceivable for detecting the position of the area in the adjacent lane on the rear side of the host vehicle. As described in claim 10, the position detection means (30, 90) is an image acquisition means. It is good to detect the position of the area | region in the adjacent lane of the own vehicle in an image using the attachment position and attachment angle in the own vehicle of (10).
つまり、自車両に対する画像取得手段（１０）の取付位置と取付角度が分かっていれば、画像取得手段（１０）によって自車両に対してどの位置の画像を取得しているかが分かるので、取得した画像中から容易に隣接車線内の領域の位置を検出することができる。 That is, if the attachment position and the attachment angle of the image acquisition means (10) with respect to the own vehicle are known, the image acquisition means (10) can know which position the image is acquired with respect to the own vehicle. The position of the area in the adjacent lane can be easily detected from the image.
ところで、自車両が走行中に危険性が高い部分として、隣接車線がある。つまり、隣接車線の側後方を走行している他車両がある場合、それを見落として車線変更を行った場合には、事故を引き起こす危険性が高い。 By the way, there is an adjacent lane as a part having a high risk while the host vehicle is traveling. In other words, when there is another vehicle traveling behind the adjacent lane, if there is an oversight and a lane change is made, there is a high risk of causing an accident.
そこで、請求項１１に記載のように、画像取得手段（１０）は、自車両の側後方画像を取得し、位置検出手段（２０）は、自車両の隣接車線内の領域の位置を検出し、画像エネルギ算出手段（３０）は、位置検出手段（２０）で検出した隣接車線内の領域の画像エネルギを他の領域の画像エネルギよりも高くするようにするとよい。 Therefore, as described in claim 11, the image acquisition means (10) acquires the side rear image of the own vehicle, and the position detection means (20) detects the position of the area in the adjacent lane of the own vehicle. The image energy calculation means (30) may be configured such that the image energy of the area in the adjacent lane detected by the position detection means (20) is higher than the image energy of other areas.
このようにすると、自車両の側後方の隣接車線内の領域の画像エネルギが他の領域よりも高く設定される。つまり、画像縮小時に、側後方の隣接車線内の物体が強調して表示されるので、例えば、その領域に他車両が走行しているような場合、それが強調されるので、運転者がその画像を見れば、危険を回避することができる。 If it does in this way, the image energy of the area | region in the adjacent lane of the side rear side of the own vehicle will be set higher than another area | region. In other words, when the image is reduced, the object in the adjacent lane on the rear side is displayed with emphasis.For example, when another vehicle is traveling in that area, it is emphasized. If you look at the image, you can avoid danger.
また、請求項１２に記載のように、位置検出手段（３０，９０）は、画像処理による線分識別結果を用いても、画像中から線分を識別するという公知の画像処理方法を用いて容易に隣接車線の領域の位置を検出することができる。 In addition, as described in claim 12, the position detecting means (30, 90) uses a known image processing method of identifying a line segment from an image even if a line segment identification result obtained by image processing is used. The position of the adjacent lane area can be easily detected.
さらに、通常複数の車線がある道路では、車線は隣接しており、かつ、車線間の距離（車線の幅）も一定である。したがって、道路が曲線であっても、自車両が走行している軌跡と車線形状が分かれば、隣接車線の車線内の領域を検出することができる。 Further, on a road having a plurality of lanes, the lanes are adjacent to each other, and the distance between the lanes (lane width) is also constant. Therefore, even if the road is curved, if the trajectory and the lane shape of the host vehicle are known, the area in the lane of the adjacent lane can be detected.
そこで、請求項１３に記載のように、自車両の走行軌跡を検出して記憶する走行軌跡検出手段（６０）を備え、位置検出手段（３０，９０）は、走行軌跡検出手段（６０）に記憶された自車両の走行軌跡から得られる自車両後方の車線形状に基づいて、自車両の隣接車線内の領域の位置を検出するようにすれば、容易に自車両の隣接車線内の領域の位置を検出することができる。 Therefore, as described in claim 13, the vehicle is provided with travel locus detection means (60) for detecting and storing the travel locus of the host vehicle, and the position detection means (30, 90) is provided in the travel locus detection means (60). If the position of the area in the adjacent lane of the own vehicle is detected based on the lane shape behind the own vehicle obtained from the stored traveling track of the own vehicle, the area in the adjacent lane of the own vehicle can be easily detected. The position can be detected.
自車両の走行軌跡を検出し記憶する方法としては、請求項１４に記載のように、走行軌跡検出手段（６０）は、自車両の速度を検出する速度検出手段（４０）と、自車両の水平方向の角速度を検出するヨーレート検出手段又は自車両の操舵角を検出する操舵角検出手段（８０）と、速度検出手段（４０）で検出された自車両の速度及びヨーレート検出手段で検出された自車両の水平方向の角速度又は操舵角検出手段（８０）で検出された自車両の操舵角とに基づいて自車両の走行軌跡を算出する走行軌跡算出手段（３０）と、走行軌跡算出手段（３０）で検出された自車両の走行軌跡を記憶する記憶手段（１００）と、を備えているとよい。 As a method for detecting and storing the traveling locus of the host vehicle, the traveling locus detecting means (60) includes speed detecting means (40) for detecting the speed of the own vehicle, The yaw rate detecting means for detecting the angular velocity in the horizontal direction or the steering angle detecting means (80) for detecting the steering angle of the own vehicle, and the speed of the own vehicle detected by the speed detecting means (40) and the yaw rate detecting means. A travel trajectory calculating means (30) for calculating the travel trajectory of the host vehicle based on the angular velocity in the horizontal direction of the host vehicle or the steering angle of the host vehicle detected by the steering angle detecting means (80); And storage means (100) for storing the traveling locus of the host vehicle detected in (30).
このようにすると、自車両の走行軌跡を検出し、記憶することができる。なぜなら、自車両の走行位置を求め、それを順次記憶すれば自車両の走行軌跡を検出できるからである。 If it does in this way, the run locus of the own vehicle can be detected and memorized. This is because the travel locus of the host vehicle can be detected if the travel position of the host vehicle is obtained and stored sequentially.
そして、自車両の走行位置は、自車両の速度と水平方向の角速度を積分していけば求めることができる。また、自車両の積分値と自車両の進行方向の角度を検出することによっても求めることができる。 The traveling position of the host vehicle can be obtained by integrating the speed of the host vehicle and the angular velocity in the horizontal direction. It can also be obtained by detecting the integrated value of the host vehicle and the angle of the traveling direction of the host vehicle.
したがって、自車両の速度を検出する速度検出手段（４０）と、自車両の水平方向の角速度を検出するヨーレート検出手段又は自車両の操舵角を検出する操舵角検出手段（８０）とにより得られた自車両の速度及び角速度又は操舵角によって自車両を求め、それを記憶することで自車両の走行軌跡を検出することができるのである。 Therefore, the speed detection means (40) for detecting the speed of the host vehicle and the yaw rate detection means for detecting the angular velocity in the horizontal direction of the host vehicle or the steering angle detection means (80) for detecting the steering angle of the host vehicle are obtained. The traveling locus of the subject vehicle can be detected by obtaining the subject vehicle from the speed, angular velocity, or steering angle of the subject vehicle and storing it.
ところで、自車両が走行中に運転者が自車両の周辺の画像を視認する場合、画像中に自車両の一部が写っていると、そこを基準にしてどの部分の画像であるかを感覚的に把握することができるので都合がよい。 By the way, when a driver visually recognizes an image around the host vehicle while the host vehicle is traveling, if a part of the host vehicle is reflected in the image, the user can sense which part of the image is based on the image. It is convenient because it can be grasped automatically.
そこで、請求項１５に記載のように、画像取得手段（１０）は、取得する自車両周辺の画像に自車両の一部の画像を含むように構成され、画像エネルギ算出手段（３０）は、画像取得手段（１０）で取得した画像中の自車両の一部の位置を特定し、特定した自車両の一部の画像エネルギを他の領域の画像エネルギより高く設定するとよい。 Therefore, as described in claim 15, the image acquisition means (10) is configured to include an image of a part of the own vehicle in an image around the own vehicle to be acquired, and the image energy calculation means (30) The position of a part of the host vehicle in the image acquired by the image acquisition means (10) may be specified, and the image energy of the specified part of the host vehicle may be set higher than the image energy of other regions.
このようにすると、縮小画面に自車両の一部が強調されて含まれるので、運転はその部分を基準として、どの部分の画像であるかを容易に認識することができる。したがって、運転時の安全性を向上させることができる。 In this way, since a part of the host vehicle is emphasized and included in the reduced screen, it is possible to easily recognize which part of the image is the image based on that part. Therefore, safety during driving can be improved.
逆に、例えば、隣接車線から他車両が急接近してくるため、その他車両を非常に強調して表示したいような場合など、自車両の一部が画像に写っていない場合方がよい場合もある。 Conversely, for example, when another vehicle suddenly approaches from the adjacent lane and you want to display the other vehicle with high emphasis, it may be better if a part of your vehicle is not shown in the image. is there.
その場合には、請求項１６に記載のように、画像取得手段（１０）は、取得する自車両周辺の画像に自車両の一部の画像を含むように構成され、画像エネルギ算出手段（３０）は、画像取得手段（１０）で取得した画像中の自車両の一部の位置を特定し、特定した自車両の一部の画像エネルギを他の領域の画像エネルギより低く設定するとよい。 In that case, as described in claim 16, the image acquisition means (10) is configured to include an image of a part of the own vehicle in the image around the own vehicle to be acquired, and the image energy calculation means (30 ) Specifies the position of a part of the host vehicle in the image acquired by the image acquisition means (10), and sets the image energy of a part of the specified host vehicle lower than the image energy of other regions.
このようにすると、画像中から自車両の一部が消去されるため、画像中で他車両などの強調すべき物体が目立つことになる。したがって、例えば、隣接車線から他車両が急接近してくるような非常事態を回避することができるようになる。 In this way, since a part of the host vehicle is deleted from the image, an object to be emphasized such as another vehicle is conspicuous in the image. Therefore, for example, it is possible to avoid an emergency situation in which another vehicle suddenly approaches from the adjacent lane.
請求項１７に記載の画像表示装置（１）は、車載用の表示手段（５０）と、請求項１〜請求項１６の何れかに記載の車載用画像処理装置（５）と、車載用画像処理装置（５）で縮小した画像を表示手段（５０）で表示する表示制御手段（３０）を備えたことを特徴とする。 An image display device (1) according to claim 17 includes an in-vehicle display means (50), an in-vehicle image processing device (5) according to any one of claims 1 to 16, and an in-vehicle image. A display control means (30) for displaying an image reduced by the processing device (5) on the display means (50) is provided.
このような車載用画像表示装置（１）によれば、請求項１〜請求項５の何れかに記載の車載用画像処理装置の特徴を有する縮小画像を表示することができる車載用画像表示装置（１）とすることができる。 According to such an in-vehicle image display device (1), the in-vehicle image display device capable of displaying a reduced image having the characteristics of the in-vehicle image processing device according to any one of claims 1 to 5. (1).
ところで、表示手段（５０）を自車両に装着する際、装着する位置や表示の方向には種々の方法が考えられる。例えば、車室内の前部に装着されているカーナビゲーション装置の表示画面を表示手段（５０）として用い、自車両内に対して表示を行うようにしてもよいが、請求項１８に記載のように、自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられるようにしてもよい。 By the way, when the display means (50) is mounted on the host vehicle, various methods are conceivable for the mounting position and the display direction. For example, the display screen of a car navigation device mounted in the front part of the passenger compartment may be used as the display means (50) to display within the host vehicle. In addition, the driver may be attached to the rear-viewing mirror portion of the host vehicle so that the driver can visually recognize the display screen.
このようにすると、運転者は、後方視認用ミラーを介しての自車両後方確認動作と同じ動作によって、縮小画像中で強調表示された物体を視認することができるので、物体の存在を確認しやすく、ひいては運転時の安全性を向上させることができる。 In this way, the driver can visually recognize the object highlighted in the reduced image by the same operation as the vehicle rear confirmation operation via the rear viewing mirror. As a result, safety during driving can be improved.
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
［第１実施形態］
図１は、車載用画像表示装置１の概略の構成を示すブロック図である。車載用画像表示装置１は、図１に示すように、車載用画像処理装置５及び表示装置５０を備えている。
Embodiments to which the present invention is applied will be described below with reference to the drawings. The embodiment of the present invention is not limited to the following embodiment, and can take various forms as long as they belong to the technical scope of the present invention.
[First Embodiment]
FIG. 1 is a block diagram showing a schematic configuration of an in-vehicle image display device 1. The vehicle-mounted image display device 1 includes a vehicle-mounted image processing device 5 and a display device 50 as shown in FIG.
車載用画像処理装置５は、側後方カメラ１０、車速センサ４０、位置検出用カメラ９０及び画像処理部３０を備えている。
側後方カメラ１０は、図示しない自車両周辺の画像を取得するための可視光画像を取得可能な小型広角ＣＣＤカメラであり、自車両の側後方の画像を取得できるように自車両のバックミラーなどに取り付けられている。
The in-vehicle image processing device 5 includes a side rear camera 10, a vehicle speed sensor 40, a position detection camera 90, and an image processing unit 30.
The side rear camera 10 is a small-sized wide-angle CCD camera capable of acquiring a visible light image for acquiring an image of the surroundings of the host vehicle (not shown), such as a rearview mirror of the host vehicle so that an image of the side rear of the host vehicle can be acquired. Is attached.
また、側後方カメラ１０は、自車両の側後方画像を取得し、かつ、取得する画像に自車両の一部の画像を含むように取り付けられている。
車速センサ４０は、自車両の速度を検出するものであり、車軸の回転数から速度を検出するものであってもよいし、ＧＰＳ車載機で自車両の現在位置を検出し、その変化量から速度を検出するものであってもよい。
Further, the side rear camera 10 is attached so as to acquire a side rear image of the host vehicle and include a partial image of the host vehicle in the acquired image.
The vehicle speed sensor 40 detects the speed of the host vehicle, and may detect the speed from the number of rotations of the axle, or detects the current position of the host vehicle with a GPS onboard device, and based on the amount of change. It may be one that detects speed.
位置検出用カメラ９０は、側後方カメラ１０で取得した画像中の物体の自車両に対する位置を検出するためのものであり、自車両における取付位置と取付角度が画像処理部３０のＲＯＭに記憶されている。 The position detection camera 90 is for detecting the position of the object in the image acquired by the side rear camera 10 with respect to the host vehicle, and the mounting position and the mounting angle in the host vehicle are stored in the ROM of the image processing unit 30. ing.
画像処理部３０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏなどから構成されており、以下の（ア）〜（キ）の処理を実行する。
（ア）位置検出用カメラ９０で取得した画像から画像処理により他車両又は人を抽出し、抽出した他車両又は人の大きさから自車両と物体との距離を検出する。
The image processing unit 30 includes a CPU, a ROM, a RAM, an I / O, and the like (not shown), and executes the following processes (A) to (G).
(A) Another vehicle or person is extracted by image processing from the image acquired by the position detection camera 90, and the distance between the host vehicle and the object is detected from the extracted size of the other vehicle or person.
（イ）自車両における位置検出用カメラ９０の取付位置と取付角度を用いて位置検出用カメラ９０で取得した画像中の水平線を検出する。
（ウ）位置検出用カメラ９０の自車両における取付位置と取付角度を用いて位置検出用カメラ９０で取得した画像中の自車両の隣接車線内の領域の位置を検出する。
(A) A horizontal line in an image acquired by the position detection camera 90 is detected using the mounting position and mounting angle of the position detection camera 90 in the host vehicle.
(C) The position of the region in the adjacent lane of the own vehicle in the image acquired by the position detecting camera 90 is detected using the attachment position and the attachment angle of the position detection camera 90 in the own vehicle.
（エ）側後方カメラ１０で取得した画像中の画像エネルギを算出する。
（オ）（ア）〜（ウ）において検出した物体の位置に応じて物体の占める画像領域の画像エネルギを変化させる。その際、以下の（ｉ）〜（ｉＶ）により画像エネルギを設定する。
(D) The image energy in the image acquired by the side rear camera 10 is calculated.
(E) The image energy of the image region occupied by the object is changed according to the position of the object detected in (a) to (c). At that time, the image energy is set by the following ( i ) to ( iV ).
（ｉ）位置検出用カメラ９０で検出された画像中の物体の自車両に対する位置が所定の値より近いか否かを判定し、物体の自車両に対する位置が所定の値よりも近いと判定した場合には、物体の占める画像領域の画像エネルギを物体の占める画像領域の画像エネルギよりも高く設定する。 ( I ) It is determined whether or not the position of the object in the image detected by the position detection camera 90 is closer to a predetermined value, and it is determined that the position of the object with respect to the own vehicle is closer than a predetermined value. In this case, the image energy of the image area occupied by the object is set higher than the image energy of the image area occupied by the object.
（ｉｉ）水平線位置より上方にある遠方物体の画像エネルギを低く設定する。
（ｉｉｉ）隣接車線内の領域の画像エネルギを他の領域の画像エネルギよりも高くする。
（ｉＶ）側後方カメラ１０で取得した画像中の自車両の一部の位置を特定し、特定した自車両の一部の画像エネルギを他の領域の画像エネルギより高く設定する。
( Ii ) Set the image energy of a distant object above the horizontal line position to be low.
( Iii ) The image energy of the area in the adjacent lane is made higher than the image energy of other areas.
The position of a part of the own vehicle in the image acquired by the ( iV ) side rear camera 10 is specified, and the image energy of the specified part of the own vehicle is set higher than the image energy of other regions.
（カ）（ア）〜（オ）の処理で得られた画像エネルギが所定の値より低い領域を抽出して削除することにより画像を縮小する。
（キ）（カ）の処理で縮小した画像を表示装置５０で表示させる。
(F) The image is reduced by extracting and deleting a region where the image energy obtained by the processes (a) to (e) is lower than a predetermined value.
(G) The image reduced by the process (f) is displayed on the display device 50.
表示装置５０は、車載用画像処理装置５で縮小した画像を表示するものであり、液晶ディスプレイや有機ＥＬディスプレイを有している。表示装置５０は、自車両のバックミラー部分のミラーの代わりに、運転者が表示画面を視認可能となるように取り付けられている。 The display device 50 displays an image reduced by the in-vehicle image processing device 5 and includes a liquid crystal display and an organic EL display. The display device 50 is attached so that the driver can visually recognize the display screen instead of the mirror at the rearview mirror portion of the host vehicle.
（画像処理部３０における処理）
次に図２〜図５に基づき画像処理部３０で実行される処理について説明する。図２は、画像処理部３０で実行される画像処理のメインルーチンの処理の流れを示すフローチャートであり、図３は、サブルーチンである位置検出処理のフローチャートである。また、図４は、サブルーチンである画像エネルギ画像生成処理のフローチャートであり、図５は、サブルーチンである低画像エネルギ箇所削除処理のフローチャートである。
(Processing in the image processing unit 30)
Next, processing executed by the image processing unit 30 will be described with reference to FIGS. FIG. 2 is a flowchart showing a flow of processing of a main routine of image processing executed by the image processing unit 30, and FIG. 3 is a flowchart of position detection processing which is a subroutine. FIG. 4 is a flowchart of image energy image generation processing as a subroutine, and FIG. 5 is a flowchart of low image energy location deletion processing as a subroutine.
画像処理では、図２に示すように、Ｓ１００において側後方カメラ１０から自車両の側後方の画像が取得され、続くＳ１０５において位置検出用カメラ９０から画像が取得される。 In the image processing, as shown in FIG. 2, an image of the rear side of the host vehicle is acquired from the side rear camera 10 in S100, and an image is acquired from the position detection camera 90 in the subsequent S105.
続くＳ１１０では、Ｓ１０５において取得された位置検出用カメラ９０の画像から物体等の位置が検出される。位置検出処理の詳細については後述する。
続くＳ１１５では、Ｓ１００において取得された画像の画像エネルギ画像が生成される。画像エネルギ画像生成処理の詳細については後述する。
In subsequent S110, the position of an object or the like is detected from the image of the position detection camera 90 acquired in S105. Details of the position detection process will be described later.
In subsequent S115, an image energy image of the image acquired in S100 is generated. Details of the image energy image generation processing will be described later.
続くＳ１２０では、Ｓ１１５において生成された画像エネルギ画像に対して、低画像エネルギ画像エネルギ箇所が削除され、縮小画像が得られる。低画像エネルギ箇所削除処理については後述する。 In subsequent S120, the low image energy image energy location is deleted from the image energy image generated in S115, and a reduced image is obtained. The low image energy location deletion process will be described later.
Ｓ１２５では、Ｓ１２０において得られた縮小画像が表示装置５０に表示され、処理がＳ１００に戻されて、画像処理が繰り返される。
（位置検出処理）
次に、図３に基づき、位置検出処理について説明する。位置検出処理では、Ｓ２００において、Ｓ１０５で取得された位置検出用カメラ９０の画像から公知の画像処理により他車両及び人が抽出され、続くＳ２０５では、Ｓ２００において抽出された他車両及び人までの距離が算出される。
In S125, the reduced image obtained in S120 is displayed on the display device 50, the process is returned to S100, and the image processing is repeated.
(Position detection processing)
Next, the position detection process will be described with reference to FIG. In the position detection process, in S200, other vehicles and people are extracted from the image of the position detection camera 90 acquired in S105 by known image processing, and in subsequent S205, the distance to the other vehicles and people extracted in S200. Is calculated.
続くＳ２１０において、位置検出用カメラ９０の取付位置及び取付角度が画像処理部３０のＲＯＭから取得され、続くＳ２１５では、Ｓ２１５において取得された、位置検出用カメラ９０の取付位置及び取付角度を利用して公知の画像処理により、Ｓ１０５において取得された位置検出用カメラ９０の画像中の水平線が検出される。 In subsequent S210, the mounting position and mounting angle of the position detection camera 90 are acquired from the ROM of the image processing unit 30, and in subsequent S215, the mounting position and mounting angle of the position detection camera 90 acquired in S215 are used. Thus, the horizontal line in the image of the position detection camera 90 acquired in S105 is detected by known image processing.
続くＳ２２０では、Ｓ２１５において取得された、位置検出用カメラ９０の取付位置及び取付角度を利用して公知の画像処理により、Ｓ１０５において取得された位置検出用カメラ９０の画像中の自車両の隣接車線内の領域の位置が検出され、処理がメインルーチンへ移行される。 In subsequent S220, the adjacent lane of the host vehicle in the image of the position detection camera 90 acquired in S105 by known image processing using the mounting position and mounting angle of the position detection camera 90 acquired in S215. The position of the area is detected, and the process proceeds to the main routine.
（画像エネルギ画像生成処理）
次に、図４に基づき、画像エネルギ画像生成処理について説明する。画像エネルギ画像生成処理では、Ｓ３００においてベース画像エネルギパターン画像が生成される。例えば全領域で一律一定の値を持つ画像や、格子模様などの一定パターンなど、画像エネルギ画像のベースとなる基本画像（ベース画像エネルギパターン画像）が生成される。
(Image energy image generation processing)
Next, the image energy image generation process will be described with reference to FIG. In the image energy image generation process, a base image energy pattern image is generated in S300. For example, a basic image (base image energy pattern image) serving as a base of the image energy image is generated, such as an image having a uniform value in the entire region or a constant pattern such as a lattice pattern.
Ｓ３０５では、Ｓ３００において生成されたベース画像エネルギパターン画像に対しエッジ画像が作成される。つまり、画像中の角や縁の部分が抽出され画像（エッジ画像）が生成される。元画像の例を図６（ａ）及びエッジ画像の例を図６（ｂ）に示す。 In S305, an edge image is created for the base image energy pattern image generated in S300. That is, corners and edge portions in the image are extracted to generate an image (edge image). An example of the original image is shown in FIG. 6A and an example of the edge image is shown in FIG.
Ｓ３１０では、Ｓ３０５において生成されたエッジ画像がＳ３００において生成されたベース画像エネルギパターン画像に加算される。つまり、ベース画像エネルギパターン画像にエッジ画像が重畳される。 In S310, the edge image generated in S305 is added to the base image energy pattern image generated in S300. That is, the edge image is superimposed on the base image energy pattern image.
Ｓ３１５では、Ｓ２０５（図３参照）において算出された他車両や人までの距離が所定の値以下であるか否かが判定される。そして、当該距離が所定の値以下であると判定された場合（Ｓ３１５：Ｙｅｓ）、処理がＳ３２０へ移行され、当該距離が所定の値より大きいと判定された場合（Ｓ３１５：Ｎｏ）、処理がＳ３２５へ移行される。 In S315, it is determined whether or not the distance to the other vehicle or person calculated in S205 (see FIG. 3) is equal to or less than a predetermined value. If it is determined that the distance is equal to or less than the predetermined value (S315: Yes), the process proceeds to S320, and if it is determined that the distance is greater than the predetermined value (S315: No), the process is performed. The process proceeds to S325.
Ｓ３２０では、Ｓ１００（図２参照）において取得された側後方カメラ１０の画像中において、Ｓ２００（図３参照）で抽出された他車両又は人と同じ位置の他車両又は人の部分の画像エネルギが、その周囲の画像エネルギよりも高い値（本実施形態の場合５倍）に設定された後、処理がＳ３２５へ移行される。 In S320, in the image of the side rear camera 10 acquired in S100 (see FIG. 2), the image energy of the other vehicle or person portion at the same position as the other vehicle or person extracted in S200 (see FIG. 3) is obtained. After the image energy is set higher than the surrounding image energy (5 times in the present embodiment), the process proceeds to S325.
Ｓ３２５では、Ｓ１００（図２参照）で取得された側後方カメラ１０の画像において、Ｓ２１５（図３参照）で検出された水平線の上方にある物体（遠方物体）か否かが判定される。そして、物体が水平線の上方にあると判定された場合（Ｓ３２５：Ｙｅｓ）、処理がＳ３３０へ移行され、物体が水平線の下方にあると判定された場合（Ｓ３２５：Ｎｏ）、処理がＳ３３５へ移行される。 In S325, in the image of the side rear camera 10 acquired in S100 (see FIG. 2), it is determined whether or not the object (distant object) is above the horizontal line detected in S215 (see FIG. 3). If it is determined that the object is above the horizon (S325: Yes), the process proceeds to S330, and if it is determined that the object is below the horizon (S325: No), the process proceeds to S335. Is done.
Ｓ３３０では、Ｓ１００（図２参照）において取得された側後方カメラ１０の画像中において、Ｓ２１５（図３参照）で検出された水平線と同じ部分よりも上にある物体部分の画像エネルギが、その周囲の画像エネルギよりも低い値（本実施形態の場合５分の１）に設定された後、処理がＳ３２５へ移行される。 In S330, the image energy of the object portion above the same portion as the horizontal line detected in S215 (see FIG. 3) in the image of the side rear camera 10 acquired in S100 (see FIG. 2) Is set to a value lower than the image energy (1/5 in this embodiment), the process proceeds to S325.
Ｓ３３５では、Ｓ２２０（図３参照）において検出された車線内の領域が、隣接車線内の領域であるか否かが判定される。そして、当該車線内領域が隣接車線が隣接車線内領域であると判定された場合（Ｓ３３５：Ｙｅｓ）、処理がＳ３４０へ移行され、当該車線内領域が隣接車線が隣接車線内領域であると判定された場合（Ｓ３３５：Ｎｏ）、処理がＳ３４５へ移行される。 In S335, it is determined whether or not the area in the lane detected in S220 (see FIG. 3) is an area in the adjacent lane. If it is determined that the adjacent lane is an adjacent lane area (S335: Yes), the process proceeds to S340, and the lane area is determined that the adjacent lane is an adjacent lane area. If so (S335: No), the process proceeds to S345.
Ｓ３４０では、Ｓ１００（図２参照）において取得された側後方カメラ１０の画像中において、Ｓ２２０（図３参照）で検出された隣接車線内領域の画像エネルギが、その周囲の画像エネルギよりも高い値（本実施形態の場合３倍）に設定された後、処理がＳ３２５へ移行される。 In S340, the image energy of the adjacent lane area detected in S220 (see FIG. 3) in the image of the side rear camera 10 acquired in S100 (see FIG. 2) is higher than the surrounding image energy. After being set to (3 times in the case of this embodiment), the process proceeds to S325.
Ｓ３４５では、Ｓ１００（図２参照）において取得された側後方カメラ１０の画像中において自車両の一部の位置を特定する。例えば、自車両の車体の後側方部分であることとその位置を特定する。 In S345, the position of a part of the host vehicle is specified in the image of the side rear camera 10 acquired in S100 (see FIG. 2). For example, the rear side portion of the vehicle body of the host vehicle and its position are specified.
続くＳ３５０では、Ｓ３４５において自車両の一部が特定されたか否かが判定される。そして、自車両の一部が特定されたと判定された場合（Ｓ３５０：Ｙｅｓ）、処理がＳ３５５へ移行され、自車両の一部が特定されなかったと判定された場合（Ｓ３５０：Ｎｏ）、処理がＳ３６０へ移行される。 In continuing S350, it is determined whether one part of the own vehicle was specified in S345. If it is determined that a part of the host vehicle is specified (S350: Yes), the process proceeds to S355, and if it is determined that a part of the host vehicle is not specified (S350: No), the process is performed. The process proceeds to S360.
Ｓ３５５では、Ｓ３４５において特定された自車両の一部の画像エネルギが、その周囲の画像エネルギよりも高い値（本実施形態の場合５倍）に設定された後、処理がＳ３６０へ移行される。 In S355, after the image energy of a part of the host vehicle specified in S345 is set to a value higher than the surrounding image energy (5 times in the present embodiment), the process proceeds to S360.
Ｓ３６０では、Ｓ３２０、Ｓ３３０、Ｓ３４０又はＳ３５５にいて設定された画像エネルギが、Ｓ３０において生成されたベース画像エネルギパターン画像に加算された後、処理がメインルーチンへ移行される。 In S360, the image energy set in S320, S330, S340, or S355 is added to the base image energy pattern image generated in S30, and then the process proceeds to the main routine.
（低画像エネルギ箇所削除処理）
次に、図５に基づき、低画像エネルギ箇所削除処理について説明する。低画像エネルギ箇所削除処理では、Ｓ４００において、Ｓ１１５（図２参照）の画像エネルギ画像生成処理で得られた画像エネルギ画像に対してまず、削除すべきライン（以下、このラインを「Ｓｅａｍ」と呼ぶ。）の本数が算出される。
(Low image energy location deletion processing)
Next, the low image energy location deletion process will be described with reference to FIG. In the low image energy location deletion process, in S400, a line to be deleted first (hereinafter referred to as “Seam”) with respect to the image energy image obtained in the image energy image generation process in S115 (see FIG. 2). )) Is calculated.
具体的には、Ｓ１００（図２参照）で取得された画像の大きさと縮小画像との縦横の長さの比率及びＳｅａｍ１本を画面から削除した場合に画面から削除されるＳｅａｍの幅から削除すべきＳｅａｍの本数が算出される。 Specifically, the ratio of the vertical and horizontal lengths of the image size acquired in S100 (see FIG. 2) and the length of the reduced image and the width of the Seam that is deleted from the screen when one Seam is deleted from the screen are deleted. The number of power seams is calculated.
続くＳ４０５では、Ｓｅａｍが算出される。Ｓｅａｍは画像上端から下端まで最小の画像エネルギで通過できる筋のことであり、最短経路問題を解くことにより求められる。具体的にはＳｅａｍの算出は、Ｓ３４０（図４参照）において得られた画像エネルギ画像と同サイズの経路合計値を保存するメモリ空間（以下経路画像と呼ぶ）を確保し、元画像上辺の２行目から下の行に向かって以下のように全ピクセルに対して計算する。 In subsequent S405, Seam is calculated. Seam is a streak that can pass with the minimum image energy from the upper end to the lower end of the image, and is obtained by solving the shortest path problem. Specifically, the calculation of Seam secures a memory space (hereinafter referred to as a path image) for storing a path total value of the same size as the image energy image obtained in S340 (see FIG. 4), and 2 of the upper side of the original image. From the line to the bottom line, calculate for all pixels as follows:
ある画像中の１点のピクセルに対し、その上３ピクセルの経路画像エネルギ値のうち最も小さい値と、元画像の自身のピクセル位置の画像エネルギ値の合算値を、経路画像に保存する。 For a single pixel in an image, the smallest value among the path image energy values of the upper three pixels and the sum of the image energy values at the pixel positions of the original image are stored in the path image.
これにより、経路画像には画像上端からそのピクセルへの最短経路値が保存され、経路画像の最下辺の値のうち最小の物が、求めるＳｅａｍの合計画像エネルギ値、その箇所から逆に経路画像を上端に向かってさかのぼることで、Ｓｅａｍの形状が得られる。Ｓｅａｍの例を図７（ａ）に示す。図７（ａ）中で、画像の上辺から下辺へ描かれている多数の線がＳｅａｍである。 As a result, the shortest path value from the upper end of the image to the pixel is stored in the path image, and the smallest thing among the values of the lowest side of the path image is the total image energy value of the Seam to be obtained, and the path image is reversed from that position. The shape of the seam is obtained by going back to the upper end. An example of Seam is shown in FIG. In FIG. 7A, many lines drawn from the upper side to the lower side of the image are Seam.
続く、Ｓ４１０では、Ｓ４０５で算出されたＳｅａｍの画像エネルギ値から、削除したＳｅａｍの画像エネルギの合計値が所定の値以上であるか否かが判定される。そして、削除したＳｅａｍの画像エネルギの合計値が所定の値以上の場合（Ｓ４１０：Ｙｅｓ）、処理がメインルーチンへ戻される。また、削除したＳｅａｍの画像エネルギの合計値が所定の値よりも小さい場合（Ｓ４１０：Ｎｏ）、処理がＳ４１５へ移行される。 In S410, it is determined from the image energy value of the seam calculated in step S405 whether or not the total value of the deleted image energy of the seam is equal to or greater than a predetermined value. Then, when the total value of the deleted image energy of the Seam is equal to or larger than a predetermined value (S410: Yes), the process is returned to the main routine. When the total value of the deleted image energy of the Seam is smaller than a predetermined value (S410: No), the process proceeds to S415.
Ｓ４１５では、Ｓ４０５において算出されたＳｅａｍ部分が画像エネルギ画像から削除され、続くＳ４２０では、Ｓ４１５において削除されたＳｅａｍの総本数がＳ４００において算出された削除すべきＳｅａｍの本数以下か否かが判定される。 In S415, the Seam portion calculated in S405 is deleted from the image energy image, and in subsequent S420, it is determined whether or not the total number of Seams deleted in S415 is equal to or less than the number of Seams to be deleted calculated in S400. The
そして、削除されたＳｅａｍの総本数が削除すべきＳｅａｍの本数以下の場合（Ｓ４２０：Ｙｅｓ）、処理がＳ４０５へ移行され処理が繰り返される。また、削除されたＳｅａｍの総本数が削除すべきＳｅａｍの本数よりも多い場合（Ｓ４２０：Ｎｏ）、処理が終了される。本低画像エネルギ箇所削除処理がなされた画像の例を図７（ｂ）に示す。 If the total number of deleted Seams is equal to or less than the number of Seams to be deleted (S420: Yes), the process proceeds to S405 and the process is repeated. Further, when the total number of deleted Seams is larger than the number of Seams to be deleted (S420: No), the process is terminated. An example of an image that has been subjected to the low image energy location deletion process is shown in FIG.
（車載用画像表示装置１の特徴）
以上のような車載用画像表示装置１では、側後方カメラ１０で取得された自車両後方の画像中の画像エネルギが算出され、算出された画像エネルギが所定の値より低い部分が削除されて画像が縮小される。
(Characteristics of in-vehicle image display device 1)
In the vehicle-mounted image display device 1 as described above, the image energy in the image behind the host vehicle acquired by the side rear camera 10 is calculated, and the portion where the calculated image energy is lower than a predetermined value is deleted. Is reduced.
その際、位置検出用カメラ９０により取得した画像を画像処理することにより物体の位置を検出し、検出した物体の位置に応じて物体の占める画像領域の画像エネルギを変化させるようになっている。 At this time, the position of the object is detected by performing image processing on the image acquired by the position detection camera 90, and the image energy of the image region occupied by the object is changed according to the detected position of the object.
つまり、物体が所定の値より近い場合に、物体の占める画像領域の画像エネルギを高くしているので、物体の占める画像領域が縮小されない。したがって、近い物体が強調されるので、物体との衝突の危険を回避するために都合がよい。 That is, when the object is closer than a predetermined value, the image energy occupied by the object is increased, so the image area occupied by the object is not reduced. Therefore, since close objects are emphasized, it is convenient to avoid the danger of collision with the objects.
具体的には、他車両や自転車あるいは人などが自車両に対して所定の距離よりも近い位置にある場合、その部分の画像エネルギを高くして、その部分が強調されるようになっているので、運転者はそれらを画像中から容易に認識することができる。したがって、運転時の安全性を向上することができる。 Specifically, when another vehicle, a bicycle, a person, or the like is located at a position closer to the own vehicle than a predetermined distance, the image energy of the portion is increased and the portion is emphasized. Therefore, the driver can easily recognize them from the image. Therefore, safety during driving can be improved.
また、位置検出用カメラ９０で取得した画像中の水平線位置を検出し、検出した水平線位置より上方にある物体を遠方物体として検出し、検出した水平線位置より上方にある遠方物体の画像エネルギを物体の占める画像領域の以外の領域の画像エネルギよりも低く設定している。 Further, the horizontal line position in the image acquired by the position detection camera 90 is detected, an object above the detected horizontal line position is detected as a far object, and the image energy of the far object above the detected horizontal line position is detected as an object. Is set to be lower than the image energy of the region other than the image region occupied by.
したがって、水平線より上にある空や路側の構造物の重要度が必要以上に高められることがなくなり、ビルに囲まれた市街地を走行中でも縮小画像中に他車両が削除されず、縮小画像中に残すことができる。 Therefore, the importance of the sky and roadside structures above the horizon will not be increased more than necessary, and other vehicles will not be deleted in the reduced image even when traveling in the urban area surrounded by buildings, and in the reduced image Can leave.
この場合、位置検出用カメラ９０の自車両における取付位置と取付角度を用いて、位置検出用カメラ９０の画像中の水平線を検出しているので、地面からの位置検出用カメラ９０の高さや角度から容易に水平線を検出することができる。 In this case, since the horizontal line in the image of the position detection camera 90 is detected using the position and angle of attachment of the position detection camera 90 in the host vehicle, the height and angle of the position detection camera 90 from the ground are detected. It is possible to easily detect a horizontal line.
さらに、自車両の隣接車線内の領域の位置を検出し、検出した隣接車線内の領域の画像エネルギを他の領域の画像エネルギよりも高くしている。したがって、自車両の側後方の隣接車線内の領域の画像エネルギが他の領域よりも高く設定される。 Furthermore, the position of the area | region in the adjacent lane of the own vehicle is detected, and the image energy of the area | region in the detected adjacent lane is made higher than the image energy of another area | region. Therefore, the image energy of the area in the adjacent lane on the rear side of the host vehicle is set higher than other areas.
つまり、画像縮小時に、側後方の隣接車線内の物体が強調して表示されるので、例えば、その領域に他車両が走行しているような場合、それが強調されるので、運転者がその画像を見れば、危険を回避することができる。 In other words, when the image is reduced, the object in the adjacent lane on the rear side is displayed with emphasis.For example, when another vehicle is traveling in that area, it is emphasized. If you look at the image, you can avoid danger.
また、この場合も、位置検出用カメラ９０の自車両おける取付位置と取付角度を用いて画像中の自車両の隣接車線内の領域の位置を検出しているので、自車両に対してどの位置の画像を取得しているかが分かる。したがって、取得した画像中から容易に隣接車線内の領域の位置を検出することができる。 Also in this case, since the position of the region in the adjacent lane of the host vehicle in the image is detected using the mounting position and the mounting angle of the position detection camera 90 in the host vehicle, It can be seen whether the image is acquired. Therefore, the position of the area in the adjacent lane can be easily detected from the acquired image.
また、自車両の一部の画像エネルギを他の領域の画像エネルギより高く設定している。このようにして、縮小画面に自車両の一部が強調されて含まれるようになっているので、運転はその部分を基準として、どの部分の画像であるかを容易に認識することができる。したがって、運転時の安全性を向上させることができる。 Further, the image energy of a part of the host vehicle is set higher than the image energy of other regions. In this way, since a part of the host vehicle is emphasized and included in the reduced screen, it is possible to easily recognize which part of the image is an image based on that part. Therefore, safety during driving can be improved.
また、表示装置５０は、自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられている。したがって、運転者は、後方視認用ミラーを介しての自車両後方確認動作と同じ動作によって、強調表示された物体を視認することができるので、物体の存在を確認しやすく、ひいては運転時の安全性を向上させることができる。 In addition, the display device 50 is attached to the rear-viewing mirror portion of the host vehicle so that the driver can visually recognize the display screen. Therefore, the driver can visually recognize the highlighted object by the same operation as the vehicle rearward confirmation operation via the rearward viewing mirror, so it is easy to confirm the presence of the object, and thus safety during driving. Can be improved.
［第２実施形態］
次に、隣接車線内の領域の位置を別の方法で検出する車載用画像表示装置２について図８に基づいて説明する。図８は、車載用画像表示装置２の概略の構成を示すブロック図である。
[Second Embodiment]
Next, the vehicle-mounted image display device 2 that detects the position of the region in the adjacent lane by another method will be described with reference to FIG. FIG. 8 is a block diagram showing a schematic configuration of the in-vehicle image display device 2.
なお、車載用画像表示装置２は、第１実施形態の車載用画像表示装置１と構成及び画像処理部で実行される画像処理が類似しているので、同じ部分には同じ符号を付してその説明を省略し、異なる部分について説明する。 The in-vehicle image display device 2 is similar in configuration and image processing executed in the image processing unit to the in-vehicle image display device 1 of the first embodiment. The description is abbreviate | omitted and a different part is demonstrated.
車載用画像表示装置２は、図８に示すように、車載用画像処理装置６及び表示装置５０を備えている。
車載用画像処理装置６は、側後方カメラ１０、車速センサ４０、操舵角検出装置８０及び記憶装置１００を備えている。
The vehicle-mounted image display device 2 includes a vehicle-mounted image processing device 6 and a display device 50 as shown in FIG.
The in-vehicle image processing device 6 includes a side rear camera 10, a vehicle speed sensor 40, a steering angle detection device 80, and a storage device 100.
側後方カメラ１０及び車速センサ４０は、車載用画像表示装置１におけるそれと同じものであり、操舵角検出装置８０は、自車両の操舵角を検出するものであり、ポテンショメータやロータリエンコーダなどにより、自車両の前輪の操舵角を検出する。 The side rear camera 10 and the vehicle speed sensor 40 are the same as those in the in-vehicle image display device 1, and the steering angle detection device 80 detects the steering angle of the host vehicle, and is automatically detected by a potentiometer, a rotary encoder, or the like. The steering angle of the front wheel of the vehicle is detected.
記憶装置１００は、自車両の走行軌跡を記憶するものであり、ハードディスク装置やメモリスティックなどの記憶媒体である。
画像処理部３０は、車載用画像表示装置１における画像処理に加え、下記（ク）、（ケ）を実行する。
The storage device 100 stores a travel locus of the host vehicle, and is a storage medium such as a hard disk device or a memory stick.
The image processing unit 30 executes the following (K) and (K) in addition to the image processing in the in-vehicle image display device 1.
（ク）車速センサ４０で検出された自車両の速度及び操舵角検出装置８０で検出された自車両の操舵角に基づいて、自車両の走行軌跡を算出し、記憶装置１００に記憶する。
（ケ）（ク）において算出した自車両の走行軌跡から得られる自車両後方の車線形状に基づいて、自車両の隣接車線内の領域の位置を検出する。
(H) Based on the speed of the host vehicle detected by the vehicle speed sensor 40 and the steering angle of the host vehicle detected by the steering angle detection device 80, the travel locus of the host vehicle is calculated and stored in the storage device 100.
Based on the lane shape behind the host vehicle obtained from the travel locus of the host vehicle calculated in (K) and (K), the position of the area in the adjacent lane of the host vehicle is detected.
（画像処理部３０における処理）
車載用画像表示装置２における画像処理部３０で実行される画像処理では、図２に示すＳ１０５において位置検出用カメラ９０から画像が取得される代わりに、車速センサ４０から自車両の車速、また、操舵角検出装置８０から自車両の操舵角が取得される。
(Processing in the image processing unit 30)
In the image processing executed by the image processing unit 30 in the in-vehicle image display device 2, instead of acquiring an image from the position detection camera 90 in S105 shown in FIG. The steering angle of the host vehicle is acquired from the steering angle detection device 80.
そして、図３に示すＳ２２０において、隣接車線内の領域の位置を算出する際、位置検出用カメラ９０で取得された画像が画像処理される代わりに、Ｓ１０５において取得された自車両の車速が時間積分され、車両進行方向の自車位置が算出されるとともに、操舵角の変化から自車両の横方向の位置が算出される。 In S220 shown in FIG. 3, when calculating the position of the area in the adjacent lane, the vehicle speed of the host vehicle acquired in S105 is set to the time instead of image processing of the image acquired by the position detection camera 90. Integration is performed to calculate the vehicle position in the vehicle traveling direction, and the lateral position of the vehicle is calculated from the change in the steering angle.
そして、算出された自車両の進行方向の位置と横方向の位置とが記憶装置１００に順次記憶されることにより、自車の走行経路が算出され記憶されていく。
さらに、自車両の走行車線に隣接車線がある場合には、その隣接車線は、一定の距離で自車両に隣接しており、かつ、一定の幅を有しているのであるから、記憶装置１００に記憶された自車両の走行車線から隣接車線内の領域の位置を検出することができる。
Then, the calculated travel position and lateral position of the host vehicle are sequentially stored in the storage device 100, whereby the travel route of the host vehicle is calculated and stored.
Further, when there is an adjacent lane in the traveling lane of the host vehicle, the adjacent lane is adjacent to the host vehicle at a certain distance and has a certain width. It is possible to detect the position of the area in the adjacent lane from the traveling lane of the host vehicle stored in (1).
このようにして、隣接車線内の領域の位置が検出された後、処理がメインルーチンへ戻される。以降は、車載用画像表示装置１と同じように処理が行われ、縮小画像が表示装置５０に表示される。 In this way, after the position of the area in the adjacent lane is detected, the process is returned to the main routine. Thereafter, processing is performed in the same manner as the in-vehicle image display device 1, and a reduced image is displayed on the display device 50.
（車載用画像表示装置２の特徴）
複数の車線がある道路では、通常、車線は隣接しており、かつ、車線間の距離（車線の幅）も一定である。したがって、道路が曲線であっても、自車両が走行している軌跡と車線形状が分かれば、隣接車線の車線内の領域を検出することができる。
(Features of in-vehicle image display device 2)
On a road having a plurality of lanes, the lanes are usually adjacent to each other, and the distance between the lanes (lane width) is also constant. Therefore, even if the road is curved, if the trajectory and the lane shape of the host vehicle are known, the area in the lane of the adjacent lane can be detected.
つまり、自車両の走行軌跡を検出して記憶し、記憶された自車両の走行軌跡から得られる自車両後方の車線形状に基づいて、自車両の隣接車線内の領域の位置を検出するようにしているので、容易に自車両の隣接車線内の領域の位置を検出することができる。 That is, the travel locus of the host vehicle is detected and stored, and the position of the area in the adjacent lane of the host vehicle is detected based on the lane shape behind the host vehicle obtained from the stored travel track of the host vehicle. Therefore, the position of the area in the adjacent lane of the host vehicle can be easily detected.
［第３実施形態］
第１実施形態では、他車両や人などの物体を検出するために位置検出用カメラ９０で取得した画像を画像処理していたが、物体の検出のためにミリ波レーダ２０を用いてもよい。つまり、図１に示される位置検出用カメラ９０の代わりに、ミリ波レーダ２０を用いるのである。
[Third Embodiment]
In the first embodiment, the image acquired by the position detection camera 90 is image-processed in order to detect an object such as another vehicle or a person. However, the millimeter wave radar 20 may be used to detect the object. . That is, the millimeter wave radar 20 is used instead of the position detection camera 90 shown in FIG.
ミリ波レーダ２０は、画像中の物体（第３実施形態では他車両や人）の位置を検出するためのものであり、ミリ波電波を自車両の側後方に送信できるように自車両に取り付けられている。ミリ波レーダ２０は、ミリ波電波を送信し、送信した電波の反射波を受信し、受信した反射波の受信強度、受信方位から車両側後方の他車両や人までの距離と方位を検出する。 The millimeter wave radar 20 is for detecting the position of an object (another vehicle or a person in the third embodiment) in the image, and is attached to the own vehicle so that the millimeter wave can be transmitted to the rear side of the own vehicle. It has been. The millimeter wave radar 20 transmits a millimeter wave radio wave, receives a reflected wave of the transmitted radio wave, and detects the distance and azimuth from the received intensity of the received reflected wave to the other vehicle or person behind the vehicle side from the reception direction. .
画像処理部３０では、第１実施形態における（ア）の処理の代わりに、ミリ波レーダ２０にて、他車両又は人の位置と距離を検出する。また、（オ）の（■）で示される処理に
おいて、位置検出用カメラ９０で検出された画像中の物体の自車両に対する位置の代わりに、ミリ波レーダ２０で取得した物体の自車両に対する位置を用いる。
In the image processing unit 30, the millimeter wave radar 20 detects the position and distance of another vehicle or a person instead of the process (a) in the first embodiment. Further, in the process indicated by (■) in (e), the position of the object acquired by the millimeter wave radar 20 relative to the own vehicle instead of the position of the object in the image detected by the position detection camera 90 relative to the own vehicle. Is used.
そして、画像処理部３０における画像処理では、第１実施形態の図３に示す位置検出処理のＳ２０５において、位置検出用カメラ９０の画像から他車両又は人までの距離が算出される代わりに、ミリ波レーダ２０から他車両又は人の位置及び距離が取得される。 In the image processing in the image processing unit 30, instead of calculating the distance from the image of the position detection camera 90 to another vehicle or a person in S205 of the position detection process shown in FIG. The position and distance of another vehicle or person are acquired from the wave radar 20.
このように、ミリ波レーダ２０によって車載レーダであると、物体の距離と方位が得られるので、画像処理の負担が軽減され、縮小画像表示のための処理速度が向上する。
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
As described above, when the millimeter wave radar 20 is an on-vehicle radar, the distance and direction of the object can be obtained, so that the burden of image processing is reduced and the processing speed for displaying a reduced image is improved.
[Other Embodiments]
As mentioned above, although embodiment of this invention was described, this invention is not limited to this embodiment, A various aspect can be taken.
（１）上記実施形態では、位置検出用カメラ９０の取付位置と取付角度を用いて位置検出用カメラ９０で取得した画像中の水平線を検出していたが、側後方カメラ１０で取得した画像において画像処理による線分識別結果を用いて水平線を検出してもよい。 (1) In the above embodiment, the horizontal line in the image acquired by the position detection camera 90 is detected by using the mounting position and the mounting angle of the position detection camera 90. However, in the image acquired by the side rear camera 10, You may detect a horizontal line using the line segment identification result by image processing.
このようにすると、水平線を検出するために、位置検出用カメラ９０を用いる必要がないので、車載用画像処理装置５を簡易な構成とすることができる。
（２）また、上記第２実施形態では、自車両の走行経路から隣接車線内の領域の位置を検出していたが、側後方カメラ１０で取得した画像において、画像処理による線分識別結果を用い、隣接車線内の領域を検出してもよい。
In this case, since it is not necessary to use the position detection camera 90 to detect the horizon, the in-vehicle image processing apparatus 5 can be configured simply.
(2) In the second embodiment, the position of the area in the adjacent lane is detected from the travel route of the host vehicle. In the image acquired by the side rear camera 10, the line segment identification result by image processing is displayed. It may be used to detect a region in an adjacent lane.
このようにすると、画像中から線分を識別するという公知の画像処理方法を用いて容易に隣接車線の領域の位置を検出することができる。
（３）また、上記実施形態では、側後方カメラ１０で取得した画像中の自車両の一部の画像エネルギを他の領域の画像エネルギより低く設定していたが、逆にその領域の画像エネルギを高く設定してもよい。
If it does in this way, the position of the area | region of an adjacent lane can be easily detected using the well-known image processing method of identifying a line segment from an image.
(3) In the above embodiment, the image energy of a part of the host vehicle in the image acquired by the side rear camera 10 is set lower than the image energy of the other region. May be set higher.
このようにすると、画像中から自車両の一部が消去されるため、画像中で他車両などの強調すべき物体が目立つことになる。したがって、例えば、隣接車線から他車両が急接近してくるような非常事態を回避することができるようになる。 In this way, since a part of the host vehicle is deleted from the image, an object to be emphasized such as another vehicle is conspicuous in the image. Therefore, for example, it is possible to avoid an emergency situation in which another vehicle suddenly approaches from the adjacent lane.
（４）上記実施形態では、表示装置５０は、自車両のバックミラー部分に、運転者が表示画面を視認可能となるように取り付けられているが、自車両の車室内の前部に装着されているカーナビゲーション装置の表示画面を用い、自車両内に対して表示を行うようにしてもよい
（５）上記実施形態では、画像エネルギ画像を生成するためにエッジ画像を生成していた（図３のＳ３０５参照）が、エッジの代わりに、縮小対象画像の検出にあわせて、他の関数を用いてもよい。具体的には、エッジ２乗関数、顕著性関数、ハリスコーナ関数、視線認識結果関数、顔認識結果関数、エントロピ関数、セグメンテーション関数あるいはＨｏＧ（Histogram of Gradientsの略）関数などの関数を用いてもよい。
(4) In the above embodiment, the display device 50 is attached to the rearview mirror portion of the host vehicle so that the driver can visually recognize the display screen. However, the display device 50 is attached to the front part of the passenger compartment of the host vehicle. (5) In the above embodiment, an edge image is generated in order to generate an image energy image (see FIG. 5). 3 (see S305 in FIG. 3), another function may be used instead of the edge in accordance with the detection of the reduction target image. Specifically, a function such as an edge square function, a saliency function, a Harris corner function, a gaze recognition result function, a face recognition result function, an entropy function, a segmentation function, or a HoG (abbreviation of Histogram of Gradients) function may be used. .
（６）また側後方カメラ１０や位置検出用カメラ９０は、可視光カメラの代わりに赤外線カメラであってもよい。赤外線カメラであれば、夜間など自車両の周囲が暗いときに人や自転車などを縮小画像中で強調表示する場合に有効である。 (6) The side rear camera 10 and the position detection camera 90 may be an infrared camera instead of the visible light camera. An infrared camera is effective for highlighting people or bicycles in a reduced image when the surroundings of the vehicle are dark, such as at night.
（７）上記実施形態では、画像の左右幅を縮小するよう、Ｓｅａｍ方向は上下を想定したが、上下幅を縮小する場合は、Ｓｅａｍ方向を左右に置き換えて適用できる。
（８）また上記第２実施形態では、操舵角検出装置８０から取得される操舵角の変化から自車両の横方向の位置が算出されていたが、操舵角検出装置８０の代わりに、自車両の水平方向の角速度を検出するヨーレートセンサを用いてもよい。
(7) In the above embodiment, the Seam direction is assumed to be up and down so as to reduce the horizontal width of the image. However, when the vertical width is reduced, the Seam direction can be replaced with left and right.
(8) In the second embodiment, the lateral position of the host vehicle is calculated from the change in the steering angle acquired from the steering angle detector 80. However, instead of the steering angle detector 80, the host vehicle A yaw rate sensor that detects the angular velocity in the horizontal direction may be used.
つまり、ヨーレートセンサから取得される自車両の水平方向の角速度を時間積分していくことにより、自車両の横方向の位置の変化を算出して、自車両の横方向の位置を算出するのである。 In other words, the lateral position of the host vehicle is calculated by time-integrating the angular velocity in the horizontal direction of the host vehicle acquired from the yaw rate sensor, thereby calculating the lateral position of the host vehicle. .
１，２…車載用画像表示装置、５，６…車載用画像処理装置、１０…側後方カメラ、２０…ミリ波レーダ、３０…画像処理部、４０…車速センサ、５０…表示装置、８０…操舵角検出装置、９０…位置検出用カメラ、１００…記憶装置。 DESCRIPTION OF SYMBOLS 1, 2 ... Vehicle-mounted image display apparatus 5,6 ... Vehicle-mounted image processing apparatus, 10 ... Side rear camera, 20 ... Millimeter wave radar, 30 ... Image processing part, 40 ... Vehicle speed sensor, 50 ... Display apparatus, 80 ... Steering angle detection device, 90... Position detection camera, 100.
Claims (18)
前記画像取得手段で取得した前記画像中の物体の前記自車両に対する位置を検出する位置検出手段と、
前記画像取得手段で取得した前記画像中の線の粗密や画面の色の変化の大きさ等を表す画像エネルギを算出する画像エネルギ算出手段と、
前記画像エネルギ算出手段で算出した前記画像中の画像エネルギが所定の値より低い領域を抽出して削除することにより前記画像を縮小する画像縮小手段と、
を備え、
前記画像エネルギ算出手段は、
前記位置検出手段で検出した前記物体の位置に応じて前記物体の占める画像領域の画像エネルギを変化させることを特徴とする車載用画像処理装置。 Image acquisition means for acquiring an image around the host vehicle;
Position detecting means for detecting the position of the object in the image acquired by the image acquiring means with respect to the host vehicle;
Image energy calculating means for calculating image energy representing the density of lines in the image acquired by the image acquiring means, the magnitude of the color change of the screen, and the like ;
Image reduction means for reducing the image by extracting and deleting a region where the image energy in the image calculated by the image energy calculation means is lower than a predetermined value;
With
The image energy calculating means includes
An in-vehicle image processing apparatus, wherein image energy of an image region occupied by the object is changed according to the position of the object detected by the position detecting means.
前記画像エネルギ算出手段は、
前記位置検出手段で検出された前記画像中の物体の前記自車両に対する位置が所定の値より近いか否かを判定し、前記物体に前記自車両に対する位置が所定の値よりも近いと判定した場合には、前記物体の占める画像領域の画像エネルギを前記物体の占める画像領域以外の領域の画像エネルギよりも高く設定することを特徴とする車載用画像処理装置。 The in-vehicle image processing apparatus according to claim 1,
The image energy calculating means includes
It is determined whether or not the position of the object in the image detected by the position detection unit is closer to a predetermined value than the predetermined value, and it is determined that the position of the object relative to the own vehicle is closer than a predetermined value. In this case, the in-vehicle image processing apparatus is characterized in that the image energy of the image area occupied by the object is set higher than the image energy of the area other than the image area occupied by the object.
前記画像エネルギ算出手段は、
前記位置検出手段で検出された前記画像中の物体の前記自車両に対する位置が所定の値より近いか否かを判定し、前記物体に前記自車両に対する位置が所定の値よりも遠いと判定した場合には、前記物体の占める画像領域の画像エネルギを前記物体の占める画像領域以外の領域の画像エネルギよりも低く設定することを特徴とする車載用画像処理装置。 The in-vehicle image processing apparatus according to claim 1 or 2,
The image energy calculating means includes
It is determined whether or not the position of the object in the image detected by the position detection unit is closer to a predetermined value than the predetermined value, and it is determined that the position of the object relative to the own vehicle is farther than the predetermined value. In this case, the in-vehicle image processing apparatus is characterized in that the image energy of the image area occupied by the object is set lower than the image energy of the area other than the image area occupied by the object.
前記位置検出手段は、車載レーダであることを特徴とする車載用画像処理装置。 In the in-vehicle image processing apparatus according to any one of claims 1 to 3,
The in-vehicle image processing apparatus, wherein the position detecting means is an in-vehicle radar.
前記位置検出手段は、
前記自車両周辺の画像を取得するカメラを備え、前記カメラにより取得した画像を画像処理することにより前記物体の位置を検出することを特徴とする車載用画像処理装置。 In the in-vehicle image processing apparatus according to any one of claims 1 to 3,
The position detecting means includes
An in-vehicle image processing apparatus comprising: a camera that acquires an image around the host vehicle, wherein the position of the object is detected by performing image processing on an image acquired by the camera.
前記位置検出手段は、
前記カメラで取得した画像から画像処理により、前記物体として他車両又は人を抽出し、抽出した前記他車両又は人の大きさから前記他車両又は人と前記自車両との間の距離を検出することを特徴とする車載用画像処理装置。 The in-vehicle image processing device according to claim 5,
The position detecting means includes
The other vehicle or person is extracted as the object by image processing from the image acquired by the camera, and the distance between the other vehicle or person and the host vehicle is detected from the extracted size of the other vehicle or person. An in-vehicle image processing apparatus characterized by the above.
前記位置検出手段は、
前記カメラで取得した画像中の水平線位置を前記カメラの取付位置と取付角度を基に検出し、検出した前記水平線位置より上方にある物体を遠方物体として検出し、
前記画像エネルギ算出手段は、
前記位置検出手段で検出した前記の水平線位置より上方にある遠方物体の画像エネルギを物体の占める画像領域以外の領域の画像エネルギよりも低く設定することを特徴とする車載用画像処理装置。 In the in-vehicle image processing apparatus according to claim 5 or 6,
The position detecting means includes
Detecting a horizontal line position in the image acquired by the camera based on the mounting position and mounting angle of the camera , detecting an object above the detected horizontal line position as a far object,
The image energy calculating means includes
An in-vehicle image processing apparatus, wherein the image energy of a distant object above the horizontal line position detected by the position detection means is set lower than the image energy of an area other than the image area occupied by the object.
前記位置検出手段は、
前記自車両における前記カメラの取付位置と取付角度を用いて前記カメラで取得した画像中の水平線を検出することを特徴とする車載用画像処理装置。 The in-vehicle image processing device according to claim 7,
The position detecting means includes
An in-vehicle image processing apparatus that detects a horizontal line in an image acquired by the camera using an attachment position and an attachment angle of the camera in the host vehicle.
前記位置検出手段は、
画像処理による線分識別結果を用いて前記カメラで取得した画像中の水平線を検出することを特徴とする車載用画像処理装置。 The in-vehicle image processing device according to claim 7,
The position detecting means includes
An in-vehicle image processing apparatus that detects a horizontal line in an image acquired by the camera using a line segment identification result obtained by image processing.
前記位置検出手段は、
前記自車両における前記カメラの取付位置と取付角度を用いて前記画像中の前記水平線を検出することを特徴とする車載用画像処理装置。 The in-vehicle image processing apparatus according to claim 9,
The position detecting means includes
An in-vehicle image processing apparatus, wherein the horizontal line in the image is detected using an attachment position and an attachment angle of the camera in the host vehicle.
前記画像取得手段は、
前記自車両の側後方画像を取得し、
前記位置検出手段は、
前記自車両の隣接車線内の領域の位置を検出し、
前記画像エネルギ算出手段は、
前記位置検出手段で検出した前記隣接車線内の領域の画像エネルギを他の領域の画像エネルギよりも高くすることを特徴とする車載用画像処理装置。 In the in-vehicle image processing device according to any one of claims 5 to 10,
The image acquisition means includes
Obtaining a side rear image of the vehicle,
The position detecting means includes
Detect the position of the area in the adjacent lane of the vehicle,
The image energy calculating means includes
An in-vehicle image processing apparatus characterized in that an image energy of an area in the adjacent lane detected by the position detection unit is made higher than an image energy of another area.
前記位置検出手段は、
画像処理による線分識別結果を用いて前記隣接車線内の領域を検出することを特徴とする車載用画像処理装置。 The in-vehicle image processing device according to claim 11,
The position detecting means includes
An in-vehicle image processing apparatus that detects a region in the adjacent lane using a line segment identification result obtained by image processing.
前記自車両の走行軌跡を検出して記憶する走行軌跡検出手段を備え、
前記位置検出手段は、
前記走行軌跡検出手段に記憶された前記自車両の走行軌跡から得られる前記自車両後方の車線形状に基づいて、前記自車両の隣接車線内の領域の位置を検出することを特徴とする車載用画像処理装置。 The in-vehicle image processing device according to claim 11,
A travel locus detecting means for detecting and storing the travel locus of the host vehicle;
The position detecting means includes
For in-vehicle use, wherein a position of an area in an adjacent lane of the own vehicle is detected based on a lane shape behind the own vehicle obtained from a traveling locus of the own vehicle stored in the traveling locus detection means. Image processing device.
前記走行軌跡検出手段は、
前記自車両の速度を検出する速度検出手段と、
前記自車両の水平方向の角速度を検出するヨーレート検出手段又は前記自車両の操舵角を検出する操舵角検出手段と、
前記速度検出手段で検出された前記自車両の速度及び前記ヨーレート検出手段で検出された前記自車両の水平方向の角速度又は前記操舵角検出手段で検出された前記自車両の操舵角に基づいて前記自車両の走行軌跡を算出する走行軌跡算出手段と、
前記走行軌跡算出手段で検出された前記自車両の走行軌跡を記憶する記憶手段と、
を備えていることを特徴とする車載用画像処理装置。 The in-vehicle image processing device according to claim 13,
The travel locus detection means includes
Speed detecting means for detecting the speed of the host vehicle;
A yaw rate detection means for detecting a horizontal angular velocity of the host vehicle or a steering angle detection means for detecting a steering angle of the host vehicle;
Based on the speed of the host vehicle detected by the speed detection means and the horizontal angular velocity of the host vehicle detected by the yaw rate detection means or the steering angle of the host vehicle detected by the steering angle detection means. Traveling locus calculating means for calculating the traveling locus of the host vehicle;
Storage means for storing a travel locus of the host vehicle detected by the travel locus calculation means;
An in-vehicle image processing apparatus comprising:
前記画像取得手段は、取得する前記自車両周辺の画像に前記自車両の一部の画像を含むように構成され、
前記画像エネルギ算出手段は、
前記画像取得手段で取得した画像中の自車両の一部の位置を特定し、特定した前記自車両の一部の画像エネルギを他の領域の画像エネルギより高く設定することを特徴とする車載用画像処理装置。 An in-vehicle image processing apparatus according to any one of claims 1 to 14,
The image acquisition means is configured to include an image of a part of the host vehicle in an image around the host vehicle to be acquired.
The image energy calculating means includes
For in-vehicle use, wherein the position of a part of the own vehicle in the image obtained by the image obtaining unit is specified, and the image energy of the specified part of the own vehicle is set higher than the image energy of other regions. Image processing device.
前記画像取得手段は、取得する前記自車両周辺の画像に前記自車両の一部の画像を含むように構成され、
前記画像エネルギ算出手段は、
前記画像取得手段で取得した画像中の自車両の一部の位置を特定し、特定した前記自車両の一部の画像エネルギを他の領域の画像エネルギより低く設定することを特徴とする車載用画像処理装置。 An in-vehicle image processing apparatus according to any one of claims 1 to 14,
The image acquisition means is configured to include an image of a part of the host vehicle in an image around the host vehicle to be acquired.
The image energy calculating means includes
For in-vehicle use, wherein the position of a part of the own vehicle in the image acquired by the image acquisition unit is specified, and the image energy of the specified part of the own vehicle is set lower than the image energy of other regions Image processing device.
請求項１〜請求項１６の何れかに記載の車載用画像処理装置と、
前記車載用画像処理装置で縮小した画像を前記表示手段で表示させる表示制御手段と、
を備えたことを特徴とする車載用画像表示装置。 In-vehicle display means;
The in-vehicle image processing device according to any one of claims 1 to 16,
Display control means for displaying on the display means an image reduced by the in-vehicle image processing apparatus;
An in-vehicle image display device comprising:
前記表示手段は、
前記自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられていることを特徴とする車載用画像表示装置。 The in-vehicle image display device according to claim 17,
The display means includes
An in-vehicle image display device, wherein the driver is attached to a mirror portion for visually recognizing the rear of the host vehicle so that a driver can visually recognize a display screen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007322237A JP4952561B2 (en) | 2007-12-13 | 2007-12-13 | In-vehicle image processing apparatus and in-vehicle image display apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007322237A JP4952561B2 (en) | 2007-12-13 | 2007-12-13 | In-vehicle image processing apparatus and in-vehicle image display apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009146132A JP2009146132A (en) | 2009-07-02 |
| JP4952561B2 true JP4952561B2 (en) | 2012-06-13 |
Family
ID=40916673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007322237A Expired - Fee Related JP4952561B2 (en) | 2007-12-13 | 2007-12-13 | In-vehicle image processing apparatus and in-vehicle image display apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4952561B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6075986B2 (en) * | 2012-07-19 | 2017-02-08 | オリンパス株式会社 | Transmitting apparatus and receiving apparatus |
| KR101960069B1 (en) * | 2018-07-24 | 2019-03-19 | 박정순 | Mirror-less camera system for vehicle |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000207693A (en) * | 1999-01-08 | 2000-07-28 | Nissan Motor Co Ltd | Obstacle detector on vehicle |
| JP3911983B2 (en) * | 2000-09-28 | 2007-05-09 | 日産自動車株式会社 | Rear monitoring device |
| JP2003205783A (en) * | 2002-01-15 | 2003-07-22 | Toyota Central Res & Dev Lab Inc | Display for periphery of vehicle |
| JP2004240480A (en) * | 2003-02-03 | 2004-08-26 | Matsushita Electric Ind Co Ltd | Operation support device |
| JP2005030925A (en) * | 2003-05-09 | 2005-02-03 | Fujitsu Ten Ltd | Device, method and program for calculating vehicle information |
| JP3936683B2 (en) * | 2003-08-04 | 2007-06-27 | 株式会社デンソー | Road position detection apparatus and program |
| JP2007237785A (en) * | 2006-03-06 | 2007-09-20 | National Univ Corp Shizuoka Univ | On-vehicle information presentation system |
| JP4793094B2 (en) * | 2006-05-17 | 2011-10-12 | 株式会社デンソー | Driving environment recognition device |
-
2007
- 2007-12-13 JP JP2007322237A patent/JP4952561B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009146132A (en) | 2009-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3554062B1 (en) | Imaging apparatus | |
| CN107176165B (en) | Vehicle control device | |
| CN111247575B (en) | Vehicle driving assistance system, method, and computer-readable storage medium | |
| KR101433837B1 (en) | Method of operating a night-view system in a vehicle and corresponding night-view system | |
| KR101855940B1 (en) | Augmented reality providing apparatus for vehicle and control method for the same | |
| JP2019512913A (en) | Autonomous vehicle with improved visual detection capability | |
| JP6460019B2 (en) | Vehicle control device | |
| US20090187333A1 (en) | Method and System for Displaying Navigation Instructions | |
| US20190141310A1 (en) | Real-time, three-dimensional vehicle display | |
| JP2009211624A (en) | Driving support device, driving support method, and computer program | |
| JP2013207746A (en) | Device for photographing rear lateral side of vehicle | |
| CN112585958B (en) | Method and device for generating a map of the surroundings of a vehicle textured with image information, and vehicle comprising such a device | |
| JP6762863B2 (en) | Imaging equipment, image processing equipment, display systems, and vehicles | |
| JP6355161B2 (en) | Vehicle imaging device | |
| JP4952561B2 (en) | In-vehicle image processing apparatus and in-vehicle image display apparatus | |
| JP4962291B2 (en) | In-vehicle image processing apparatus and in-vehicle image display apparatus | |
| JP2009147628A (en) | In-vehicle image processing apparatus and in-vehicle image display device | |
| JP5115171B2 (en) | In-vehicle image processing apparatus and in-vehicle image display apparatus | |
| US10864856B2 (en) | Mobile body surroundings display method and mobile body surroundings display apparatus | |
| JP6781035B2 (en) | Imaging equipment, image processing equipment, display systems, and vehicles | |
| JP2009146134A (en) | Vehicle image processing onboard apparatus, and onboard image display apparatus | |
| JP2008077354A (en) | Operation supporting apparatus for vehicle | |
| JP6974564B2 (en) | Display control device | |
| JP7259377B2 (en) | VEHICLE DISPLAY DEVICE, VEHICLE, DISPLAY METHOD AND PROGRAM | |
| KR20180060753A (en) | Apparatus and method for supporting driving of vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120214 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120227 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4952561 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |