JP7497398B2 - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP7497398B2 JP7497398B2 JP2022152284A JP2022152284A JP7497398B2 JP 7497398 B2 JP7497398 B2 JP 7497398B2 JP 2022152284 A JP2022152284 A JP 2022152284A JP 2022152284 A JP2022152284 A JP 2022152284A JP 7497398 B2 JP7497398 B2 JP 7497398B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- line element
- line elements
- element group
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 25
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000001514 detection method Methods 0.000 description 66
- 238000000034 method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 24
- 239000000284 extract Substances 0.000 description 20
- 230000007717 exclusion Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009291 secondary effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
開示の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。 The disclosed embodiments relate to an information processing device, an information processing method, and a program.
従来、車載カメラによるカメラ画像に基づいて自車走行レーンの左右を区画する車線を検出する技術が知られている(例えば、特許文献1参照)。 Conventionally, technology is known that detects the lanes that separate the left and right sides of the vehicle's lane based on camera images captured by an onboard camera (see, for example, Patent Document 1).
しかしながら、上述した従来技術には、車線の誤検出を防止するうえで、さらなる改善の余地がある。 However, there is room for further improvement in the above-mentioned conventional technology in terms of preventing false lane detection.
例えば、交差点周辺は車線以外の路面標示が多数存在する。このような路面標示のうち、特に横断歩道は車線に近い位置に車線と平行な複数の線分が存在するため、車線の誤検出を招くおそれがある。 For example, there are many road markings other than lanes around intersections. Among these road markings, pedestrian crossings in particular have multiple lines parallel to the lanes close to the lanes, which may lead to false detection of lanes.
実施形態の一態様は、上記に鑑みてなされたものであって、車線の誤検出を防止することができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。 One aspect of the embodiment has been made in consideration of the above, and aims to provide an information processing device, an information processing method, and a program that can prevent erroneous lane detection.
実施形態の一態様に係る情報処理装置は、車載カメラのカメラ画像に映る複数の線素から、始点位置および終点位置がそれぞれ前記カメラ画像上の奥行き方向において揃っており互いに平行な複数の線素を含む線素グループを抽出し、前記線素グループにおいて、一定間隔の線素の数が所定数以上であり、かつ、始点間隔が横断歩道の規格寸法を基準とする所定範囲内である線素の組が所定値以上ある場合、前記線素グループは横断歩道であると判定する。 An information processing device according to one aspect of an embodiment extracts, from a plurality of line elements captured in a camera image of an in-vehicle camera, line element groups including a plurality of line elements that are parallel to each other and whose start and end positions are aligned in the depth direction on the camera image, and determines that the line element group is a crosswalk if the number of line elements at regular intervals in the line element group is equal to or greater than a predetermined number and there are a predetermined number or more sets of line elements whose start point spacing is within a predetermined range based on the standard dimensions of a crosswalk .
実施形態の一態様によれば、車線の誤検出を防止することができる。 According to one aspect of the embodiment, erroneous detection of lanes can be prevented.
以下、添付図面を参照して、本願の開示する情報処理装置、情報処理方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。 Below, embodiments of the information processing device, information processing method, and program disclosed in the present application will be described in detail with reference to the attached drawings. Note that the present invention is not limited to the embodiments described below.
また、以下では、実施形態に係る情報処理装置が、車両に搭載される車載装置10(図3参照)である場合を例に挙げて説明を行う。車載装置10は、例えばドライブレコーダである。また、以下では、実施形態に係る情報処理方法が、車載装置10の実行する車線検出方法であるものとする。
In the following, the information processing device according to the embodiment will be described as an in-vehicle device 10 (see FIG. 3) mounted on a vehicle. The in-
また、以下では、「平行」と言った場合、厳密な平行状態を指すのではなく、ほぼ平行である場合を広く含むものとする。 In addition, in the following, when we say "parallel," we do not mean a strictly parallel state, but rather broadly include cases where the two are nearly parallel.
また、以下では、「所定」と言った場合、「予め決められた」と言い換えてもよい。例えば、「所定値」は「予め決められた値」と言い換えてもよい。 Furthermore, in the following, when we say "predetermined," it may be replaced with "predetermined." For example, a "predetermined value" may be replaced with a "predetermined value."
また、以下では、「車線」と言った場合、区画線自体を指すものとする。区画線自体ではなく、区画線に挟まれた車両の走行範囲を指す場合は、「走行車線」と表記する。 In the following, when we say "lane," we are referring to the dividing lines themselves. When referring to the area in which vehicles can travel between the dividing lines, rather than the dividing lines themselves, we will use the term "traffic lane."
まず、実施形態に係る車線検出方法の概要について、図1および図2を用いて説明する。図1および図2は、実施形態に係る車線検出方法の説明図(その1)および(その2)である。 First, an overview of the lane detection method according to the embodiment will be described with reference to Figs. 1 and 2. Figs. 1 and 2 are explanatory diagrams (part 1) and (part 2) of the lane detection method according to the embodiment.
車載装置10は、車載カメラであるカメラ11(図3参照)を有する。車載装置10は、カメラ11によって撮像されたカメラ画像に基づいて車線検出処理を実行する。車線検出処理では、車載装置10は、車両が走行する自車走行レーンの左右を区画する区画線である車線を検出する。
The vehicle-mounted
車載装置10を含む車載システムは、車載装置10による車線の検出結果および検出された車線から推定される車線位置と自車位置の距離等に基づいて、車線変更判定機能や、車線逸脱防止支援機能や、車線維持支援機能といった各種の機能を実現することができる。
The in-vehicle system including the in-
車線検出処理では、車載装置10は、カメラ画像の画素を2値化し、線素を抽出する。線素は、例えば区画線部分と路面部分の境界線として現れる線分である。言い換えれば、線素は、カメラ画像上の直線状のエッジである。そして、車載装置10は、抽出した線素群である車線候補のうちから基準となる車線を選定し、カメラ画像のフレーム間における同一性判定を経て車線を検出する。
In the lane detection process, the in-
ところで、線素は車線以外の区画線部分と路面部分との境界線としても現れる。例えば、図1には、交差点付近で線素として抽出された横断歩道のエッジ部分である線素#1~#14を表している。
By the way, line elements also appear as boundary lines between parts of the road surface and parts of the lane markings other than lanes. For example, Figure 1 shows
車線検出処理では、それまでに推定した車線の信頼度や連続性を判定することで、ある程度の誤検出要因を処理対象から除外することはできる。ただし、横断歩道は、自車走行レーンの車線に近い位置に図1に示すように実空間において車線と平行な複数の線素が抽出されるため、信頼度や連続性の判定だけでは処理対象から除外することが難しく、車線の誤検出を招くおそれがある。 In lane detection processing, it is possible to exclude some of the causes of false detection from the processing by determining the reliability and continuity of the lanes estimated up to that point. However, since multiple line elements parallel to the lanes in real space are extracted in a position close to the lane of the vehicle's driving lane as shown in Figure 1, it is difficult to exclude crosswalks from processing by determining their reliability and continuity alone, which may lead to false detection of lanes.
言い換えれば、図1の例の場合で、線素#1~#14の並び方の特徴から横断歩道を検出し、当該横断歩道と見なす横断歩道領域ER内の線素#1~#14を処理対象から除外することができれば、横断歩道による車線の誤検出を防止することができる。
In other words, in the example of Figure 1, if a crosswalk can be detected from the characteristics of the arrangement of
そこで、実施形態に係る車線検出方法では、車載装置10のコントローラ13(図3参照)が、各線素の奥行きの長さ、始点位置、終点位置、平行度、始点間隔に基づいて線素グループを抽出することとした。そして、コントローラ13は、線素グループの各線素が横断歩道の特徴に対応する線素の数、線素の位置、始点間隔の各要件をすべて満たすならば、線素グループの各線素を横断歩道であると判定することとした。
Therefore, in the lane detection method according to the embodiment, the controller 13 (see FIG. 3) of the in-
図2は、図1に示した車載カメラのカメラ画像をワールド座標系に射影した状態を模式的に表している。X軸方向は奥行方向であり、X軸の正方向が車両から遠ざかる方向である。 Figure 2 shows a schematic representation of the camera image of the vehicle-mounted camera shown in Figure 1 projected onto the world coordinate system. The X-axis direction is the depth direction, and the positive direction of the X-axis is the direction away from the vehicle.
図2に示すように、実施形態に係る車線検出方法では、コントローラ13が、抽出された各線素の奥行きの長さDL、始点位置SP、終点位置EP、平行度AD、始点間隔SIに基づいて線素グループを抽出する(ステップS1)。
As shown in FIG. 2, in the lane detection method according to the embodiment, the
車両から見て手前側の線素の一端が始点となり、他端が終点となる。コントローラ13は、始点のX軸位置が近い順に線素を探索し、始点のX軸位置が最も近い線素を基準線素とする。図2の例では、線素#7が基準線素となる。
One end of the line element closest to the vehicle is the starting point, and the other end is the end point. The
ステップS1では、コントローラ13は、奥行きの長さDLが所定範囲内の長さであり、始点が基準線素の始点を基準とする始点位置SPの範囲内にあり、終点が基準線素の終点を基準とする終点位置EPの範囲内にあり、基準線素との平行度ADが平行に近い各線素を抽出して線素グループとしてグループ化する。始点同士のY軸方向の間隔である始点間隔SIが所定値未満の線素群は1つの線素として取り扱う。
In step S1, the
なお、始点が始点位置SPの範囲内にあることは、各線素の始点の位置がある程度揃っていることを示す。同様に、終点が終点位置EPの範囲内にあることは、各線素の終点の位置がある程度揃っていることを示す。 Note that the start point being within the range of the start point position SP indicates that the positions of the start points of each line element are aligned to a certain extent. Similarly, the end point being within the range of the end point position EP indicates that the positions of the end points of each line element are aligned to a certain extent.
そして、コントローラ13は、線素グループの各線素が線素の数、線素の位置、線素の間隔(始点間隔SIに相当)の各要件をすべて満たすならば、横断歩道であると判定する(ステップS2)。ステップS2では、コントローラ13は、線素の数が所定値以上であり、線素が車両の走行車線中央の一定範囲CWの位置に所定値以上あり、始点間隔SIが横断歩道の規格寸法に近い間隔である場合に、線素グループ内の各線素を横断歩道と判定する。
Then, if each line element of the line element group satisfies all the requirements of the number of line elements, the position of the line elements, and the spacing between the line elements (corresponding to the start point spacing SI), the
図2では、ステップS1およびステップS2を経て線素#1~#14が横断歩道と判定された例を示している。前述の各要件における具体的な数値の例については、図5および図6を用いて後述する。
Figure 2 shows an example in which
そして、コントローラ13は、横断歩道として判定された各線素を車線検出処理の処理対象から除外する。この除外処理の具体例については、図7~図9等を用いた説明で後述する。
Then, the
このように、実施形態に係る車線検出方法では、コントローラ13が、各線素の奥行きの長さDL、始点位置SP、終点位置EP、平行度AD、始点間隔SIに基づいて線素グループを抽出する。そして、コントローラ13は、線素グループの各線素が線素の数、線素の位置、線素の間隔の各要件をすべて満たす場合に、横断歩道であると判定する。
In this way, in the lane detection method according to the embodiment, the
すなわち、コントローラ13は、線素の並び方の特徴から横断歩道を検出する。また、コントローラ13は、横断歩道として検出された各線素を車線検出処理の処理対象から除外する。
That is, the
したがって、実施形態に係る車線検出方法によれば、横断歩道による車線の誤検出を防止することができる。以下、上述した車線検出方法を適用した車載装置10の構成例について、より具体的に説明する。
Therefore, the lane detection method according to the embodiment can prevent erroneous detection of lanes due to pedestrian crossings. Below, a more specific description will be given of an example configuration of an in-
図3は、実施形態に係る車載装置10の構成例を示すブロック図である。また、図4は、車線検出処理部13bの構成例を示すブロック図である。なお、図3および図4では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。
Figure 3 is a block diagram showing an example of the configuration of the in-
換言すれば、図3および図4に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。 In other words, each component shown in Figures 3 and 4 is a functional concept, and does not necessarily have to be physically configured as shown. For example, the specific form of distribution and integration of each block is not limited to that shown, and all or part of it can be functionally or physically distributed and integrated in any unit depending on various loads, usage conditions, etc.
また、図3および図4を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、説明を省略する場合がある。 In addition, in the explanation using Figures 3 and 4, the explanation of components that have already been explained may be simplified or omitted.
図3に示すように、実施形態に係る車載装置10は、カメラ11と、記憶部12と、コントローラ13とを有する。
As shown in FIG. 3, the in-
カメラ11は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、この撮像素子を用いて予め決められた撮像範囲を撮像する。カメラ11は、例えばフロントガラスやダッシュボード等の車両の各所に車両前方の所定の撮像範囲を撮像するように取り付けられる。
The
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の記憶デバイスによって実現され、図3の例では、条件情報12aを記憶する。
The
条件情報12aは、線素の並び方の特徴から横断歩道を検出するための要件である線素グループの抽出条件および横断歩道の判定条件を定めた情報である。これらの条件の詳細については図5および図6を用いた説明で後述する。
The
コントローラ(controller)13は、いわゆるプロセッサや制御部に相当する。コントローラ13は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、記憶部12に記憶されている図示略の実施形態に係るプログラムがRAMを作業領域として実行されることにより実現される。また、コントローラ13は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。
The
コントローラ13は、取得部13aと、車線検出処理部13bとを有し、以下に説明する情報処理の機能や作用を実現または実行する。
The
取得部13aは、カメラ11によって撮像されたカメラ画像を取得し、車線検出処理部13bへ出力する。
The
車線検出処理部13bは、カメラ11によって撮像されたカメラ画像に基づいて車線検出処理を実行する。また、車線検出処理部13bは、車線検出処理の実行結果を外部装置50へ出力する。
The lane
外部装置50は、前述の車線変更判定機能や、車線逸脱防止支援機能や、車線維持支援機能といった各種の機能に該当するアプリケーションを実行する装置である。外部装置50は、例えばECU(Electronic Control Unit)である。なお、車載装置10と外部装置50とは、一体であってもよい。
The
図4に示すように、車線検出処理部13bは、線素抽出部13baと、横断歩道検出部13bbと、除外部13bcと、車線抽出部13bdと、フレーム処理部13beと、出力部13bfとを有する。
As shown in FIG. 4, the lane
線素抽出部13baは、カメラ画像を2値化し、線素を抽出する。横断歩道検出部13bbは、上述したステップS1およびステップS2による横断歩道検出処理を実行する。ここで、当該横断歩道検出処理について、図5および図6を用いて各種条件の具体的な数値を挙げながら説明する。 The line element extraction unit 13ba binarizes the camera image and extracts line elements. The crosswalk detection unit 13bb executes the crosswalk detection process in steps S1 and S2 described above. Here, the crosswalk detection process will be explained with reference to Figures 5 and 6, giving specific values for various conditions.
図5は、線素グループの抽出条件の説明図である。また、図6は、横断歩道の判定条件の説明図である。横断歩道検出部13bbは、線素抽出部13baによって抽出された各線素の奥行きの長さDL、始点位置SP、終点位置EP、平行度AD、始点間隔SIに基づいて線素グループを抽出する。 Figure 5 is an explanatory diagram of the extraction conditions for line element groups. Also, Figure 6 is an explanatory diagram of the conditions for determining a pedestrian crossing. The crosswalk detection unit 13bb extracts line element groups based on the depth length DL, start point position SP, end point position EP, parallelism AD, and start point interval SI of each line element extracted by the line element extraction unit 13ba.
このとき、図5に示すように、横断歩道検出部13bbは例えば、奥行きの長さDLが1.0m~9.0m以内であり、始点が基準線素±1.0m以内の始点位置SPにあり、終点が基準線素±5.0m以内の終点位置EPにあり、平行度ADが基準線素±10deg以内である線素を抽出して線素グループとしてグループ化する。始点間隔SIが0.07未満の線素群は1本のみカウントする。 At this time, as shown in FIG. 5, the crosswalk detection unit 13bb extracts line elements whose depth length DL is within 1.0 m to 9.0 m, whose start point is at a start point position SP within ±1.0 m of the reference line element, whose end point is at an end point position EP within ±5.0 m of the reference line element, and whose parallelism AD is within ±10 deg of the reference line element, and groups them into a line element group. Only one line element group with a start point interval SI of less than 0.07 is counted.
また、横断歩道検出部13bbは、線素グループの各線素が線素の数、線素の位置、線素の間隔の各要件をすべて満たすならば、横断歩道であると判定する。 In addition, the crosswalk detection unit 13bb determines that a crosswalk exists if each line element in a line element group satisfies all of the requirements for the number of line elements, the position of the line elements, and the spacing between the line elements.
このとき、図6に示すように、横断歩道検出部13bbは例えば、線素の数が7本以上であり、線素の位置につき線素が車両の走行車線中央±1.0m以内に1本以上あり、線素の間隔につき始点間隔SIが0.45±0.15m以内の組が4個以上である場合に、線素グループ内の各線素を横断歩道と判定する。 In this case, as shown in FIG. 6, the crosswalk detection unit 13bb determines that each line element in a line element group is a crosswalk if, for example, there are seven or more line elements, one or more line elements are located within ±1.0 m of the center of the vehicle's travel lane, and there are four or more pairs of line elements with a starting point interval SI of 0.45 ±0.15 m or less.
なお、線素の数が例えば7本以上というのは線素が十分に多いことを示すものであり、多重線や横断歩道以外の路面標示(矢印等)との区別に有効な要件となる。線素の位置の要件についても同様である。また、線素の間隔についての要件は、横断歩道の白線幅ならびに白線間隔の規格寸法が約0.45mであることに基づくものであり、横断歩道以外の路面標示(文字、矢印等)との区別に有効な要件となる。 Note that a number of line elements, for example seven or more, indicates that there are a sufficient number of line elements, and is an effective requirement for distinguishing between multiple lines and road markings other than pedestrian crossings (arrows, etc.). The same applies to the requirement for the position of the line elements. Furthermore, the requirement for the spacing of the line elements is based on the standard dimensions of the white line width and spacing of a pedestrian crossing being approximately 0.45 m, and is an effective requirement for distinguishing between road markings other than pedestrian crossings (letters, arrows, etc.).
図4の説明に戻る。除外部13bcは、横断歩道検出部13bbによって横断歩道と判定された各線素を車線検出処理の処理対象から除外する。このとき、除外部13bcは、例えば横断歩道と判定された線素自体を車線検出処理の処理対象から除外する。 Returning to the explanation of FIG. 4, the exclusion unit 13bc excludes each line element determined to be a crosswalk by the crosswalk detection unit 13bb from the processing target of the lane detection process. At this time, the exclusion unit 13bc excludes, for example, the line element itself determined to be a crosswalk from the processing target of the lane detection process.
あるいは、除外部13bcは、例えば横断歩道と判定された線素グループを取り囲む矩形状の横断歩道領域ERを設定し(図1参照)、処理対象から当該横断歩道領域ERを除外する。 Alternatively, the exclusion unit 13bc sets a rectangular crosswalk area ER that surrounds the line element group that is determined to be a crosswalk (see FIG. 1), and excludes the crosswalk area ER from the processing target.
除外部13bcによる除外処理のさらなる変形例を図7~図9に示す。図7~図9は、除外処理の変形例を示す図(その1)~(その3)である。なお、説明を分かりやすくするために、図8および図9では横断歩道として判定された線素グループの線素#1~#14のうち、最外縁の線素#1,#14以外の線素#2~#13を破線で表している。
Further modified examples of the exclusion process by the exclusion unit 13bc are shown in Figs. 7 to 9. Figs. 7 to 9 are diagrams (part 1) to (part 3) showing modified examples of the exclusion process. Note that, to make the explanation easier to understand, in Figs. 8 and 9, of the
図7に示すように、除外部13bcは、例えばカメラ画像のフレーム間において、横断歩道が検出されたフレーム(図中の「横断歩道検出フレーム」)を車線検出処理対象フレームの中から抜き取ることによって処理対象から除外してもよい。 As shown in FIG. 7, the exclusion unit 13bc may exclude frames in which a pedestrian crossing is detected ("crosswalk detection frames" in the figure) from the frames subject to lane detection processing, for example, between frames of a camera image.
また、図8に示すように、除外部13bcは、例えば図1に示した矩形状の横断歩道領域ERを線素グループ内の最外縁の線素(図8の例では線素#1,#14)によって切り取った台形状に加工し、当該台形状の領域を処理対象から除外するようにしてもよい。
Also, as shown in FIG. 8, the exclusion unit 13bc may process the rectangular pedestrian crossing area ER shown in FIG. 1 into a trapezoidal shape cut off by the outermost line elements in the line element group (
また、図9に示すように、除外部13bcは、例えば横断歩道として判定された線素グループ内の始点を結んだ線と、終点を結んだ線と、最外縁の線素とで取り囲んだ領域を横断歩道領域ERとして設定し、当該横断歩道領域ERを処理対象から除外するようにしてもよい。なお、除外処理の説明では、横断歩道領域ERが矩形状や台形状である例を挙げたが、これらに限られるものではなく任意の形状であってよい。 As shown in FIG. 9, the exclusion unit 13bc may set the area surrounded by the line connecting the start points of the line element group determined to be a crosswalk, the line connecting the end points, and the outermost line element as the crosswalk area ER, and exclude the crosswalk area ER from the processing target. Note that in the explanation of the exclusion process, examples were given in which the crosswalk area ER was rectangular or trapezoidal, but the shape is not limited to these and may be any shape.
図4の説明に戻る。車線抽出部13bdは、線素抽出部13baによって抽出され、除外部13bcによって処理対象から除外されなかった線素に基づいて基準となる車線を選定する。車線抽出部13bdは、車線が「追い越し可能」または「はみ出し可能」な破線である場合、かかる破線を探索して1つの実線として統合し、基準となる車線を選定する。 Returning to the explanation of FIG. 4, the lane extraction unit 13bd selects a reference lane based on the line elements extracted by the line element extraction unit 13ba and not excluded from processing by the exclusion unit 13bc. If the lane is a dashed line that indicates "overtaking" or "extraordination" is permitted, the lane extraction unit 13bd searches for such dashed lines and merges them into a single solid line to select the reference lane.
フレーム処理部13beは、カメラ画像のフレーム間における車線の同一性を判定する。出力部13bfは、検出された車線の車線位置と自車位置の距離や横移動速度等を推定し、車線検出処理の実行結果として外部装置50へ出力する。
The frame processing unit 13be determines whether the lanes are the same between frames of the camera image. The output unit 13bf estimates the distance between the lane position of the detected lane and the vehicle position, the lateral movement speed, etc., and outputs them to the
次に、車載装置10が実行する処理手順について、図10を用いて説明する。図10は、実施形態に係る車載装置10が実行する処理手順を示すフローチャートである。なお、図10は、カメラ画像1フレーム分の処理手順を示している。当該処理手順は、車線検出処理が実行される間繰り返される。
Next, the processing procedure executed by the in-
図10に示すように、車載装置10のコントローラ13は、カメラ11からカメラ画像を取得する(ステップS101)。
As shown in FIG. 10, the
そして、コントローラ13は、カメラ画像から線素を抽出する(ステップS102)。つづいて、コントローラ13は、各線素の奥行きの長さDL、始点位置SP、終点位置EP、平行度AD、始点間隔SIに基づいて線素グループを抽出する(ステップS103)。
Then, the
そして、コントローラ13は、線素グループの各線素が線素の数、線素の位置、線素の間隔の各要件をすべて満たすか否かを判定する(ステップS104)。
Then, the
ここで、各要件をすべて満たす場合(ステップS104,Yes)、コントローラ13は、線素グループを横断歩道と判定する(ステップS105)。そして、コントローラ13は、横断歩道と判定した各線素を車線検出処理の対象から除外し(ステップS106)、ステップS107へ遷移する。
If all of the requirements are met (step S104, Yes), the
一方、各要件をすべて満たさない場合(ステップS104,No)、そのままステップS107へ遷移する。そして、コントローラ13は、ステップS107で車線検出処理を実行し、カメラ画像1フレーム分の処理を終了する。
On the other hand, if none of the requirements are met (step S104, No), the process proceeds directly to step S107. The
上述してきたように、実施形態に係る車載装置10(「情報処理装置」の一例に相当)は、コントローラ13を備える。コントローラ13は、カメラ11(「車載カメラ」の一例に相当)のカメラ画像から抽出した線素に基づいて車線を検出する車線検出処理を実行する。また、コントローラ13は、各線素の奥行きの長さL、始点位置SP、終点位置EP、平行度ADおよび始点間隔SIに基づいて線素グループを抽出し、上記線素グループの各線素が横断歩道の特徴に対応する線素の数、線素の位置および線素の間隔の各要件をすべて満たすならば、上記線素グループの各線素を横断歩道であると判定する。
As described above, the in-vehicle device 10 (corresponding to an example of an "information processing device") according to the embodiment includes the
したがって、実施形態に係る車載装置10によれば、横断歩道と判定された各線素を車線検出処理の処理対象から除外することが可能となるので、車線の誤検出を防止することができる。
Therefore, according to the in-
また、コントローラ13は、上記カメラ画像上の直線状のエッジを線素として抽出し、上記カメラ画像上の奥行き方向につき手前側の一端である始点が車両に最も近い線素を基準線素として抽出する。
The
したがって、実施形態に係る車載装置10によれば、基準線素を基準として線素グループの各線素を抽出することができる。
Therefore, according to the in-
また、コントローラ13は、上記線素グループにつき、上記始点位置SPが上記基準線素の上記始点を基準とする所定範囲内である線素を抽出する。
The
したがって、実施形態に係る車載装置10によれば、始点の位置がある程度揃った各線素を線素グループの線素として抽出することができる。
Therefore, according to the in-
また、コントローラ13は、上記線素グループにつき、上記終点位置EPが上記基準線素の終点を基準とする所定範囲内である線素を抽出する。
The
したがって、実施形態に係る車載装置10によれば、終点の位置がある程度揃った各線素を線素グループの線素として抽出することができる。
Therefore, according to the in-
また、コントローラ13は、上記線素グループにつき、上記奥行きの長さDLが所定範囲内の長さである線素を抽出する。
The
したがって、実施形態に係る車載装置10によれば、奥行きの長さDLがある程度揃った各線素を線素グループの線素として抽出することができる。
Therefore, according to the in-
また、コントローラ13は、上記線素グループにつき、上記平行度ADを示す上記基準線素との角度差が所定範囲内である線素を抽出する。
The
したがって、実施形態に係る車載装置10によれば、基準線素と平行に近い各線素を線素グループの線素として抽出することができる。
Therefore, according to the in-
また、コントローラ13は、上記線素グループにつき、上記始点の横方向間隔である上記始点間隔SIが所定値未満である複数の線素を1本の線素として抽出する。
In addition, the
したがって、実施形態に係る車載装置10によれば、線素のバラつきによって処理コストが高まるのを軽減することができる。
Therefore, the in-
また、コントローラ13は、上記線素グループの線素の数が所定値以上である場合を上記線素の数に関する要件を満たすとして判定する。
In addition, the
したがって、実施形態に係る車載装置10によれば、線素の数に関する要件に基づいて、多重線や横断歩道以外の路面標示(矢印等)と横断歩道とを区別して横断歩道を検出することができる。
Therefore, the in-
また、コントローラ13は、上記線素グループの線素がカメラ11を搭載する車両が走行する走行車線中央の一定範囲内に所定値以上ある場合を上記線素の位置に関する要件を満たすとして判定する。
In addition, the
したがって、実施形態に係る車載装置10によれば、線素の位置に関する要件に基づいて、多重線や横断歩道以外の路面標示(矢印等)と横断歩道とを区別して横断歩道を検出することができる。
Therefore, the in-
また、コントローラ13は、上記線素グループにおいて、上記始点間隔SIが横断歩道の規格寸法を基準とする所定範囲内である線素の組が所定値以上ある場合を上記線素の間隔に関する要件を満たすとして判定する。
In addition, the
したがって、実施形態に係る車載装置10によれば、線素の間隔に関する要件に基づいて、横断報道以外の区画線や路面標示(文字等)と横断歩道とを区別して横断歩道を検出することができる。また、実施形態に係る車載装置10によれば、線素の抽出における画像処理結果を流用することで高速に横断歩道の検出結果を得られるため、検出結果を他の画像認識機能等へ応用する場合等のコストを抑えられるという副次的な効果も得ることができる。
Therefore, the in-
また、実施形態に係る車線検出方法は、車載装置10が実行する情報処理方法であって、カメラ11のカメラ画像から抽出した線素に基づいて車線を検出する車線検出処理を実行することと、各線素の奥行きの長さL、始点位置SP、終点位置EP、平行度ADおよび始点間隔SIに基づいて線素グループを抽出することと、上記線素グループの各線素が横断歩道の特徴に対応する線素の数、線素の位置および線素の間隔の各要件をすべて満たすならば、上記線素グループの各線素を横断歩道であると判定することと、を含む。
The lane detection method according to the embodiment is an information processing method executed by the in-
したがって、実施形態に係る車線検出方法によれば、横断歩道と判定された各線素を車線検出処理の処理対象から除外することが可能となるので、車線の誤検出を防止することができる。 Therefore, according to the lane detection method of the embodiment, it is possible to exclude each line element determined to be a pedestrian crossing from the target of the lane detection process, thereby preventing erroneous detection of lanes.
また、実施形態に係るプログラムは、カメラ11のカメラ画像から抽出した線素に基づいて車線を検出する車線検出処理を実行すること、各線素の奥行きの長さL、始点位置SP、終点位置EP、平行度ADおよび始点間隔SIに基づいて線素グループを抽出すること、上記線素グループの各線素が横断歩道の特徴に対応する線素の数、線素の位置および線素の間隔の各要件をすべて満たすならば、上記線素グループの各線素を横断歩道であると判定すること、をコンピュータに実行させる。
The program according to the embodiment also causes the computer to execute a lane detection process to detect lanes based on line elements extracted from the camera image of the
したがって、実施形態に係るプログラムによれば、横断歩道と判定された各線素を車線検出処理の処理対象から除外することが可能となるので、車線の誤検出を防止することができる。 Therefore, according to the program of the embodiment, it is possible to exclude each line element determined to be a crosswalk from the target of the lane detection process, thereby preventing erroneous detection of lanes.
なお、実施形態に係るプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO(Magneto-Optical disk)、DVD(Digital Versatile Disc)、USB(Universal Serial Bus)メモリなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。当該記録媒体も、本開示の一態様である。 The program according to the embodiment can be recorded on a computer-readable recording medium such as a hard disk, a flexible disk (FD), a CD-ROM, a magneto-optical disk (MO), a digital versatile disk (DVD), or a universal serial bus (USB) memory, and can be executed by being read from the recording medium by a computer. Such a recording medium is also one aspect of the present disclosure.
また、上述した実施形態において挙げた線素グループの抽出条件および横断歩道の判定条件における各種パラメータの値はあくまで一例であって、当該値を限定するものではない。 The parameter values in the line element group extraction conditions and crosswalk determination conditions given in the above embodiment are merely examples and are not intended to be limiting.
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further advantages and modifications may readily occur to those skilled in the art. Therefore, the invention in its broader aspects is not limited to the specific details and representative embodiments shown and described above. Accordingly, various modifications may be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and equivalents thereof.
10 車載装置
11 カメラ
12 記憶部
12a 条件情報
13 コントローラ
13a 取得部
13b 車線検出処理部
13ba 線素抽出部
13bb 横断歩道検出部
13bc 除外部
13bd 車線抽出部
13be フレーム処理部
13bf 出力部
50 外部装置
REFERENCE SIGNS
Claims (10)
前記線素グループにおいて、一定間隔の線素の数が所定数以上であり、かつ、始点間隔が横断歩道の規格寸法を基準とする所定範囲内である線素の組が所定値以上ある場合、前記線素グループは横断歩道であると判定する、
情報処理装置。 extracting a line element group including a plurality of line elements parallel to each other and having start and end positions aligned in a depth direction on the camera image from a plurality of line elements captured in a camera image of an in-vehicle camera;
If the number of line elements at regular intervals in the line element group is equal to or greater than a predetermined number, and the number of sets of line elements whose starting point intervals are within a predetermined range based on the standard dimensions of a pedestrian crossing is equal to or greater than a predetermined value , the line element group is determined to be a pedestrian crossing.
Information processing device.
前記カメラ画像上の奥行き方向につき手前側の一端である始点が車両に最も近い線素を基準線素として抽出する、
請求項1に記載の情報処理装置。 Extracting linear edges on the camera image as line elements;
extracting a line element whose starting point, which is one end on the front side in a depth direction on the camera image, is closest to the vehicle as a reference line element;
The information processing device according to claim 1 .
請求項2に記載の情報処理装置。 extracting line elements whose starting point positions are within a predetermined range based on the starting point of the reference line element from the line element group;
The information processing device according to claim 2 .
請求項2に記載の情報処理装置。 extracting line elements whose end point positions are within a predetermined range based on an end point of the reference line element from the line element group;
The information processing device according to claim 2 .
請求項1に記載の情報処理装置。 extracting line elements whose depth length is within a predetermined range from the line element group;
The information processing device according to claim 1 .
請求項2に記載の情報処理装置。 extracting line elements from the line element group, the angle difference between the line element and the reference line element indicating parallelism being within a predetermined range;
The information processing device according to claim 2 .
請求項2に記載の情報処理装置。 extracting, from the line element group, a plurality of line elements whose start point interval, which is a horizontal interval between the start points, is less than a predetermined value as one line element;
The information processing device according to claim 2 .
請求項7に記載の情報処理装置。 The line elements at regular intervals are line elements whose start point intervals are within a predetermined range based on the standard dimensions of the pedestrian crossing.
The information processing device according to claim 7.
車載カメラのカメラ画像に映る複数の線素から、始点位置および終点位置がそれぞれ前記カメラ画像上の奥行き方向において揃っており互いに平行な複数の線素を含む線素グループを抽出することと、
前記線素グループにおいて、一定間隔の線素の数が所定数以上であり、かつ、始点間隔が横断歩道の規格寸法を基準とする所定範囲内である線素の組が所定値以上ある場合、前記線素グループは横断歩道であると判定することと、
を含む、情報処理方法。 An information processing method executed by an information processing device,
extracting a line element group including a plurality of line elements parallel to each other and having start and end positions aligned in a depth direction on the camera image from a plurality of line elements captured in a camera image of an in-vehicle camera;
In the line element group, when the number of line elements at regular intervals is equal to or greater than a predetermined number and the number of sets of line elements whose start point intervals are within a predetermined range based on the standard dimensions of a pedestrian crossing is equal to or greater than a predetermined value , the line element group is determined to be a pedestrian crossing;
An information processing method comprising:
前記線素グループにおいて、一定間隔の線素の数が所定数以上であり、かつ、始点間隔が横断歩道の規格寸法を基準とする所定範囲内である線素の組が所定値以上ある場合、前記線素グループは横断歩道であると判定すること、
をコンピュータに実行させる、プログラム。 extracting a line element group including a plurality of line elements parallel to each other and having start and end positions aligned in a depth direction on the camera image from a plurality of line elements captured in a camera image of an in-vehicle camera;
When the number of line elements at regular intervals in the line element group is equal to or greater than a predetermined number and the number of sets of line elements whose start point intervals are within a predetermined range based on the standard dimensions of a pedestrian crossing is equal to or greater than a predetermined value , the line element group is determined to be a pedestrian crossing;
A program that causes a computer to execute the following.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022152284A JP7497398B2 (en) | 2022-09-26 | 2022-09-26 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022152284A JP7497398B2 (en) | 2022-09-26 | 2022-09-26 | Information processing device, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2024046916A JP2024046916A (en) | 2024-04-05 |
JP7497398B2 true JP7497398B2 (en) | 2024-06-10 |
Family
ID=90527332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022152284A Active JP7497398B2 (en) | 2022-09-26 | 2022-09-26 | Information processing device, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7497398B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011154480A (en) | 2010-01-26 | 2011-08-11 | Fujitsu Ltd | Program and device for detection of lane |
JP2011192164A (en) | 2010-03-16 | 2011-09-29 | Nippon Soken Inc | On-vehicle white line recognition apparatus |
JP2018092501A (en) | 2016-12-07 | 2018-06-14 | クラリオン株式会社 | On-vehicle image processing apparatus |
CN112001235A (en) | 2020-07-13 | 2020-11-27 | 浙江大华汽车技术有限公司 | Vehicle traffic information generation method and device and computer equipment |
JP2021188914A (en) | 2020-05-26 | 2021-12-13 | 株式会社日立製作所 | Vehicle control device and method for estimating vehicle position |
-
2022
- 2022-09-26 JP JP2022152284A patent/JP7497398B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011154480A (en) | 2010-01-26 | 2011-08-11 | Fujitsu Ltd | Program and device for detection of lane |
JP2011192164A (en) | 2010-03-16 | 2011-09-29 | Nippon Soken Inc | On-vehicle white line recognition apparatus |
JP2018092501A (en) | 2016-12-07 | 2018-06-14 | クラリオン株式会社 | On-vehicle image processing apparatus |
JP2021188914A (en) | 2020-05-26 | 2021-12-13 | 株式会社日立製作所 | Vehicle control device and method for estimating vehicle position |
CN112001235A (en) | 2020-07-13 | 2020-11-27 | 浙江大华汽车技术有限公司 | Vehicle traffic information generation method and device and computer equipment |
Non-Patent Citations (1)
Title |
---|
山田 健太郎, 奥平 雅士,スマートフォン画像と空中写真を用いた視覚障碍者向け横断歩道抽出方式に関する検討,映像情報メディア学会技術報告 Vol.39 No.8,2015年02月28日 |
Also Published As
Publication number | Publication date |
---|---|
JP2024046916A (en) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4692613B2 (en) | In-vehicle device and method used in the device | |
JP6045889B2 (en) | In-vehicle control device | |
JP7144398B2 (en) | Camera device and method for capturing surrounding areas of self-vehicle | |
JP6313646B2 (en) | External recognition device | |
JP6156400B2 (en) | Traveling road surface detection device and traveling road surface detection method | |
JP6693893B2 (en) | Track recognition device | |
US20100110193A1 (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
US20100189306A1 (en) | Lane marker recognition apparatus and lane marker recognition method used by said apparatus | |
JP4744537B2 (en) | Driving lane detector | |
JP6459226B2 (en) | In-vehicle image processing device | |
JP7229804B2 (en) | Image processing device and image processing method | |
JP2012168884A (en) | Traffic lane boundary detection device and traffic lane boundary detection method | |
JP2020095622A (en) | Image processing device and image processing method | |
JP6493000B2 (en) | Road marking detection device and road marking detection method | |
CN107886729B (en) | Vehicle identification method and device and vehicle | |
JP6175018B2 (en) | Lane detection device, lane keeping support system, and lane detection method | |
JP2016218539A (en) | Vehicle runway recognition device | |
JP7497398B2 (en) | Information processing device, information processing method, and program | |
JP6439592B2 (en) | Falling object detection device | |
JP7444942B1 (en) | Information processing device, information processing method and program | |
JP7419469B1 (en) | Information processing device, information processing method and program | |
US11749002B2 (en) | Lane line recognition apparatus | |
JP7484783B2 (en) | Lane boundary detection device, lane boundary detection method, and computer program for lane boundary detection | |
JP5950193B2 (en) | Disparity value calculation device, disparity value calculation system including the same, moving surface area recognition system, disparity value calculation method, and disparity value calculation program | |
JP5957182B2 (en) | Road surface pattern recognition method and vehicle information recording apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240529 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7497398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |