JP2023542753A - 人工神経網を用いた走行映像に対する車両搭乗可能領域判断方法及び装置 - Google Patents

Abstract

一実施形態に係る人工神経網を用いた走行映像に対する車両搭乗可能領域判断装置は、カメラモジュールから車両の走行方向に対する走行イメージを取得し、前記走行イメージを複数のイメージストリップに分割するイメージ分割モジュールと、前記イメージストリップを入力情報にし、前記イメージストリップに対する搭乗可能如何情報を出力情報にする予め学習された搭乗可能如何分類人工神経網モジュール、前記搭乗可能如何分類人工神経網モジュールで前記イメージストリップに対する特徴情報を含んでいる活性化マップ（ａｃｔｉｖａｔｉｏｎ ｍａｐ）を抽出する特徴抽出モジュール及び前記活性化マップに含まれている前記特徴情報に基づいて前記イメージストリップに対する搭乗可能領域情報を生成する領域情報生成モジュールを含む。

Description

本発明は、人工神経網を用いた走行映像に対する車両搭乗可能領域判断方法及び装置に関する発明として、より具体的に、車両走行イメージを人工神経網を活用して搭乗可能領域と、そうでない領域に分類した後、運転者に搭乗可能領域情報を提供する技術に関する発明である。

一般に、車両が走行する車道と歩行者が通る人道との間には何の障害もなく歩道にある歩行者が車両に搭乗できる区域と事故防止のためにフェンス又は木のような構造物が存在し、歩行者が車両に搭乗できる領域が存在する。したがって、コールタクシーを呼んでタクシーに搭乗したり、知人の車両に同乗するために車両に搭乗しようとする場合、車両搭乗が可能な領域を選定することは、その地域に対する地理情報を正確に知っていない以上、多くの問題が生じる。

また、運転者の場合、知人を乗せるために歩道に隣接している車道に停車しようとする場合、車両に搭乗できる位置を事前に正確に知らなければ、搭乗可能な領域を探すためにその周辺を徘徊するという問題が発生し、車両に搭乗可能な領域ではないにも関わらず、知人を乗せるために無理に車道に停車すると事故が発生することもある。

したがって、車両を運転する運転者や車両に搭乗しようとする歩行者が車両に搭乗できる位置を事前に知ることができれば、先に説明した問題が発生しないものの、まだ走行している車道で歩行者が安全に搭乗できる領域に関する情報を運転者に提供したり、歩行者に周辺の地域に対する搭乗可能な領域に関する情報を提供する技術が存在しない実状である。

したがって、一実施形態に係る人工神経網を用いた走行映像に対する車両搭乗可能領域判断方法及び装置は、前記説明した問題点を解決するために考案された発明として、人工神経網を活用して歩行者が車両に搭乗できる領域に関する情報を提供する技術に関する発明である。

より具体的に、入力される車両走行イメージに関する情報に対して人工神経網モジュールを活用して搭乗可能区域に関する情報を生成し、生成した搭乗可能区域に関する情報を車両走行イメージ上に表示したり地図にマッピングした情報を運転者又は歩行者に提供することで、歩行者がより安全に車両に搭乗可能にすることにその目的がある。

また、予め撮影した走行映像に対して搭乗可能領域を分析する結果を地図にマッピングしたマップ情報をユーザに提供することで、タクシーを呼び出すときより正確に搭乗可能な領域に基づいてタクシーを呼び出したり、知人を車両を搭乗するとき、搭乗できる位置を運転者と事前に共有可能にすることにその目的がある。

また、走行映像に基づいて自動的に生成された搭乗可能領域情報を提供することで、より容易に搭乗可能領域情報を含んでいる地図を製造可能にすることにその目的がある。

一実施形態に係る人工神経網を用いた走行映像に対する車両搭乗可能領域判断装置は、カメラモジュールから車両の走行方向に対する走行イメージを取得して前記走行イメージを複数のイメージストリップに分割するイメージ分割モジュールと、前記イメージストリップを入力情報にし、前記イメージストリップに対する搭乗可能如何情報を出力情報にする、予め学習された搭乗可能如何分類人工神経網モジュールと、前記搭乗可能如何分類人工神経網モジュールで前記イメージストリップに対する特徴情報を含んでいる活性化マップ（ａｃｔｉｖａｔｉｏｎ ｍａｐ）を抽出する特徴抽出モジュールと、前記活性化マップに含まれている前記特徴情報に基づいて前記イメージストリップに対する搭乗可能領域情報を生成する領域情報生成モジュールとを含むことができる。

前記人工神経網を用いた走行映像に対する車両搭乗可能領域判断装置は、前記イメージストリップを入力情報にし、前記イメージストリップに対するイメージセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）情報を出力情報にする、予め学習されたセグメンテーション人工神経網モジューをさらに含み、前記領域情報生成モジュールは、前記活性化マップ及び前記イメージセグメンテーション情報に基づいて前記イメージストリップに対する搭乗可能領域情報を生成することができる。

前記領域情報生成モジュールは、前記活性化マップの代表地点を基準にして前記イメージセグメンテーション情報に含まれている座標ごとの信頼度情報を活用して補正活性化マップを生成し、前記補正活性化マップに基づいて前記イメージストリップに対する搭乗可能領域情報を生成することができる。

前記セグメンテーション人工神経網モジュールの損失は、前記イメージストリップに対するリファレンス情報における代表地点情報と前記イメージセグメンテーション情報における代表地点情報の間の距離の差である代表地点損失、及び前記イメージストリップに対するリファレンス情報における境界ライン情報と前記イメージセグメンテーション情報における境界ライン情報との間の距離の差である境界ライン損失を含み、前記セグメンテーション人工神経網モジュールは、前記セグメンテーション人工神経網モジュールの損失を減らす方向に学習を行うことができる。

前記イメージ分割モジュールは、前記イメージストリップの縦長が横長よりも長い長方形状のイメージストリップになるように前記走行イメージを分割することができる。

一実施形態に係る人工神経網を用いた走行映像に対する車両搭乗可能領域判断方法は、カメラモジュールから車両の走行方向に対する走行イメージを取得し、前記走行イメージを複数のイメージストリップに分割するイメージ分割ステップと、前記イメージストリップを入力情報にし、前記イメージストリップに対する搭乗可能如何情報を出力情報にする、予め学習された搭乗可能如何分類人工神経網モジュールで前記イメージストリップに特徴情報を含んでいる活性化マップ（ａｃｔｉｖａｔｉｏｎ ｍａｐ）を抽出するステップと、前記活性化マップに含まれている前記特徴情報に基づいて前記イメージストリップに対する搭乗可能領域情報を生成するステップとを含むことができる。

一実施形態に係る人工神経網を用いた走行映像に対する車両搭乗可能領域判断方法及び装置は、車両の運転者又は歩行者に現在の道路で車両に搭乗できる区域に関する情報を提供するため、より安全に歩行者が車両に搭乗できる効果がある。

また、車両搭乗可能領域に関する情報を提供することにおいて、従来技術によると、人の受動的な作業からなるが、本発明によると、人工神経網を活用して自動化された方式で現在走行中である車両の前方に搭乗可能領域情報を生成できることから、より安全かつ正確に搭乗可能領域情報を提供できる効果がある。

また、そのため、搭乗可能領域に対する位置を正確に知ることができため、コールタクシーのサービス待機時間などを著しく減少させる得る効果がある。

また、搭乗可能領域情報を含んでいる地図を制作する場合、従来技術によると、地図に搭乗可能領域を受動的にラベル（ｌａｂｅｌｉｎｇ）しなければならなかったが、本発明によると、取得した走行映像に基づいて搭乗可能領域情報を自動に生成でき、より容易に搭乗可能領域情報を含んでいる地図を制作できる効果がある。

一実施形態に係る人工神経網を用いた走行映像に対する車両搭乗可能領域判断装置の一部の構成要素を示すブロック図である。 一実施形態に係る搭乗可能如何分類人工神経網モジュールに入力される入力情報と出力される出力情報を示す図である。 一実施形態に係る搭乗可能如何分類人工神経網モジュールと特徴抽出モジュールの関係を示す図である。 入力情報であるイメージストリップに対して特徴抽出モジュールから抽出された活性化マップを示す図である。 一実施形態に係る搭乗可能如何分類人工神経網モジュール１２０、特徴抽出モジュール及び領域情報モジュールとの関係を示す図である。 一実施形態に係るセグメンテーション人工神経網モジュールに入力される入力情報と出力される出力情報を示す図である。 一実施形態に係るセグメンテーション人工神経網モジュールに入力される入力情報と出力される出力情報を示す図である。 一実施形態に係る搭乗可能如何分類人工神経網モジュール、特徴抽出モジュール、領域情報生成モジュール及びセグメンテーション人工神経網モジュールとの関係を示す図である。 一実施形態に係る座標ごとの信頼度情報を用いて領域情報生成モジュールが領域を補正する原理を説明するための図である。 図９を参照して説明した原理が本発明に適用される過程を説明するための図である。 一実施形態に係るセグメンテーション人工神経網モジュールが学習を行う方法を説明するための図である。 一実施形態に係るセグメンテーション人工神経網モジュールが出力された情報とリファレンス情報を用いて学習を行う方法を説明するための図である。 本発明の他の例示的な実施形態に係る特徴抽出モジュールの統合活性化マップ生成を示す模式図である。 本発明の他の実施形態に係るナリング活性化マップの生成を示す模式図である。 本発明の他の実施形態に係るナリング活性化マップの生成を示す模式図である。 本発明の他の実施形態に係る統合活性化マップの生成を示す模式図である。 本発明の実施形態に係る地図上に搭乗可能領域をマッピングした画面を示す図である。

以下、本発明による実施形態は添付された図面を参照して説明する。各図面の構成要素に参照符号を付加することにおいて、同じ構成要素については、たとえ他の図面上に表示されても可能な限り同じ符号を有することに留意しなければならない。また、本発明の実施形態を説明することにおいて、関連の公示構成又は機能に対する具体的な説明が本発明の実施形態に対する理解を妨げると判断される場合には、その詳細な説明は省略する。また、以下で本発明の実施形態を説明するが、本発明の技術的な思想がこれに限定されたり制限されることなく、当業者によって変形されて多様に実施されてもよい。

また、本明細書で使用した用語は実施形態を説明するために使用されたものであって、開示された発明を制限及び／又は限定しようとする意図ではない。単数の表現は文脈上、明らかに異なる意味を持たない限り複数の表現を含む。

本明細書において、「含む」、「備える」又は「有する」などの用語は、明細書上に記載されている特徴、数字、段階、動作、構成要素、部品又はその組み合わせが存在することを指定しようとするものであり、１つ又はそれ以上の他の特徴又は数字、段階、動作、構成要素、部品又はその組み合わせの存在又は付加の可能性をあらかじめ排除しない。

また、明細書全体において、いずれかの部分が他の部分と「連結」されている場合、これは「直接に連結」されている場合だけでなく、その中間に更なる素子をおいて「間接に連結」されている場合も含み、本明細書において用いられる「第１」、「第２」などの序数を含む用語は、様々な構成要素を説明するために使用し得るが、上記の構成要素は上記の用語に限定されない。

以下では、添付の図面を参考にして本発明の実施形態について、本発明の属する技術分野において通常の知識を有する者が容易に実施できるよう詳細に説明する。そして、図面で本発明を明確に説明するために説明とは関係のない部分は省略する。

図１は、本発明の一実施形態に係る人工神経網を用いた走行映像に対する車両搭乗可能領域判断装置１００の一部の構成要素を示すブロック図であり、図２は、一実施形態に係る搭乗可能如何分類人工神経網モジュールに入力される入力情報と出力される出力情報を示す図である。以下、説明の便宜のために人工神経網を用いた走行映像に対する車両搭乗可能領域判断装置１００は、車両搭乗可能領域判断装置１００に称して説明する。

図１を参照すると、車両搭乗可能領域判断装置１００は、イメージ分割モジュール１１０、搭乗可能如何分類人工神経網モジュール１２０、特徴抽出モジュール１３０、領域情報生成モジュール１４０、及びセグメンテーション人工神経網モジュール１５０などを含む。

イメージ分割モジュール１１０は、カメラを介して撮影した車両の前方及び側面の走行映像イメージ５を収集し、収集した走行映像イメージ５を複数のイメージストリップ１０に分割した後、分割された複数のイメージストリップ１０を搭乗可能如何分類人工神経網モジュール１２０に送信する。

具体的に、走行映像イメージ５は、一定の大きさを有する複数のイメージストリップ１０に分割されるが、複数のイメージストリップ１０は、図２に示されているように互いに重なる領域を共有している複数のイメージストリップ１０に分割されてもよい。これとは反対に、互いに重なる領域が存在しないように複数のイメージストリップ１０に分割されてもよい。

また、イメージ分割モジュール１１０は、走行映像イメージ５を分割して複数のイメージストリップ１０の生成において、イメージストリップ１０の縦長が横長よりも長い長方形状に生成してもよい。

一般に、歩行者が車両に搭乗するのに影響を及ぼす障害物は、横長の長い障害物（例えば、花壇）が縦長の長い障害物（例えば、電信柱）よりも影響を多く及ぼすため、横長に関する情報を正確に分析することで搭乗可能情報を正確に生成することができる。したがって、本発明のイメージ分割モジュール１１０は、複数のイメージストリップ１０の生成において、イメージストリップ１０の縦長が横長よりも長い形態に分割するため、より効率よく歩行者の車両搭乗可能領域を判断し得る。これに対する詳しい説明は再び後述する。

搭乗可能如何分類人工神経網モジュール１２０は、イメージ分割モジュール１１０が送信した複数のイメージストリップ１０を入力情報にし、それぞれのイメージストリップに対する搭乗可能如何情報２０を出力情報にする人工神経網モジュールとして、搭乗可能如何分類人工神経網モジュール１２０は、前記入力情報及び出力情報に基づいて学習を行う学習セッション１２１と、入力情報に基づいて出力情報を推論する推論セッション１２２を含む。ここで、分類とは、人工神経網モジュールで一般にいう分類化（ｃｌａｓｓ）を意味する。

搭乗可能如何分類人工神経網モジュール１２０の学習セッション１２１は、入力情報及び出力情報に基づいて学習を行うセッションであり、推論セッション１２２は、人工神経網モジュールを用いてリアルタイムに入力されるイメージストリップ１０を分析した後、それぞれのイメージに対して搭乗可能領域が存在するか否かに関する情報、及びそれに対する信頼度情報を含んでいる搭乗可能如何情報２０を出力情報にして出力することができる。

例えば、図２に示すように、順次又は同時に入力された５つのイメージが搭乗可能如何分類人工神経網モジュール１２０に入力された場合、合計５つのイメージに対して、それぞれ搭乗可能領域に対する存在の有無及びそれに対する信頼度情報を出力することができる。

例えば、搭乗可能如何分類人工神経網モジュール１２０は、第１イメージに対しては第１出力情報２１で搭乗可能領域存在及び信頼度０．６情報を出力し、第２イメージに対しては、第２出力情報２２で搭乗可能領域存在及び信頼度０．７情報を出力し、第３イメージに対しては第３出力情報２３で搭乗可能領域存在及び信頼度０．９情報を出力し、第４イメージに対しては第４出力情報２４で搭乗不可領域存在及び信頼度０．７情報を出力し、第５イメージに対しては第５出力情報２５で搭乗不可領域存在及び信頼度０．６情報を出力してもよい。

また、図２において、搭乗可能如何分類人工神経網モジュール１２０が出力する分類（ｃｌａｓｓ）情報を搭乗可能分類情報と搭乗不可分類情報を共に出力するものと示したが、本発明がこれに限定されることなく、搭乗可能如何分類人工神経網モジュール１２０は、搭乗可能分類情報のみを出力してもよく、これとは反対に、搭乗不可分類情報だけを出力してもよい。一方、搭乗可能如何分類人工神経網モジュール１２０の具体的なプロセス及び人工神経網モジュールの構造は、従来に公示されているイメージ分類人工神経網モジュールが借用され得る。

特徴抽出モジュール１３０は、イメージストリップ１０に対して特徴情報を含んでいる活性化マップ３０（ａｃｔｉｖａｔｉｏｎ ｍａｐ）を出力情報にするモジュールである。特徴抽出モジュール１３０と関連して、図３は、本発明の実施形態に係る搭乗可能如何分類人工神経網モジュール１２０と特徴抽出モジュール１３０の関係を示す図であり、図４は、入力情報であるイメージストリップに対して特徴抽出モジュール１３０から抽出された活性化マップを示す図である。

図３に示すように、特徴抽出モジュール１３０は、ＣｏｎｖＮｅｔを含む予め学習されたイメージ分類人工神経網で全結合レイヤ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）１２４と出力層（Ｏｕｔｐｕｔ Ｌａｙｅｒ）以前のレイヤ１２３で特徴情報を含んでいる活性化マップ３０を出力するモジュールを意味する。

具体的に、特徴抽出モジュール１３０は、入力されたイメージストリップ１０を分析してイメージ内にあるオブジェクトが存在する領域とオブジェクトが存在しない領域に関する情報を含んでいる活性化マップ３０を抽出することができる。搭乗可能如何分類人工神経網モジュール１２０は、前述したように入力されるイメージに対して搭乗可能如何情報２０を出力する人工神経網モジュールであるため、出力以前のレイヤ１２３に入力される情報は搭乗可能如何分類人工神経網モジュール１２０に入力されるイメージに対して、各領域ごとに搭乗可能であるか否かに関する情報を含んでいる。したがって、特徴抽出モジュール１３０は、出力以前のレイヤ１２３に公示されている様々なフィルタを適用し、それぞれの領域ごとの搭乗可能如何情報を含んでいる活性化マップ３０を抽出することができる。

例えば、イメージストリップ１０として、図４（ａ）に図示されたイメージが搭乗可能如何分類人工神経網モジュール１２０に入力された場合、特徴抽出モジュール１３０は、全連結レイヤ１２４と出力層（Ｏｕｔｐｕｔ Ｌａｙｅｒ）以前のレイヤ１２３から、図４（ｂ）に示されたイメージと同じ活性化マップ３０を抽出することができる

図４（ｂ）において、白色の部分は搭乗可能な領域と判断されている部分を意味し、黒色の部分はそうではない領域を意味し、このような情報は特徴情報と称する。すなわち、特徴抽出モジュール１３０は、出力以前にレイヤ１２３でフィルタを適用して活性化マップ３０を抽出することにおいて、出力以前のレイヤ１２３に入力された情報に基づいて搭乗可能であるか否かに対する確率情報に基づいて領域ごとに確率情報を、すなわち、図４（ｂ）に示すように白色領域と黒色領域に分類して表示することができる。

さらに、特徴抽出モジュール１３０は、各領域に対する位置情報を含んでいるベクトル情報と確率情報に基づいて一定の基準以上の確率を有している領域にみを白色に表示し、そうではない確率を有している領域に対しては黒色に表示してもよい。

領域情報生成モジュール１４０は、活性化マップ３０に含まれている特徴情報に基づいてイメージストリップ１０に対する搭乗可能領域情報を生成することができる。

図５は、本発明の実施形態に係る搭乗可能如何分類人工神経網モジュール１２０、特徴抽出モジュール１３０、及び領域情報生成モジュール１４０との関係を示す図である。

具体的に、領域情報生成モジュール１４０は、図５に示すように特徴抽出モジュール１３０から抽出された活性化マップ３０に含まれている障害物に対する領域、及びそうではない領域に対する特徴情報に基づいて搭乗可能領域情報４０を生成することができる。先に説明したように、フィルタを用いて抽出された活性化マップ３０には、それぞれの領域に対する座標情報及び搭乗可能であるか否かに関する情報がベクトル情報として含まれているため、領域情報生成モジュール１４０のこのような情報に基づいて搭乗可能領域を定めることができる。

具体的に、領域情報生成モジュール１４０は、図４（ｂ）に表示されている白色領域と黒色領域に関する情報に基づいて搭乗可能領域情報４０を生成することができる。前述したように白色領域は障害物のない領域であり、黒色領域は障害物のある領域であるため、白色領域を基準にして搭乗可能領域情報４０を生成することができる。しかし、無条件的に障害物のない白色領域とはいえ搭乗者が車両に搭乗できるものではないため、領域情報生成モジュール１４０は、白色領域が人が動くことのできる一定の大きさ以上に形成されているか否かに関する情報、地上と連結されているか否かに関する情報、白色領域と車両が連結されているか否かに関する情報などを基準にして車両に搭乗可能領域情報４０を生成し、このような搭乗可能領域情報４０は座標情報で含んで生成されることができる。

したがって、領域情報生成モジュール１４０は、搭乗可能に対する座標情報を有している搭乗可能領域情報４０に基づいてイメージ情報を生成した後、このようなイメージ情報を搭乗可能如何分類人工神経網モジュール１２０に入力されるイメージストリップ１０に別途の領域に表示することができる。イメージストリップ１０上に搭乗可能領域情報４０を別途の領域に区分して表示する場合、運転者又は搭乗者が搭乗可能である地域を直観的に把握できる効果がある。

また、領域情報生成モジュール１４０は、搭乗可能領域情報４０を生成した後、図５の左側下部に示すように、イメージストリップ１０上に搭乗可能領域情報４０がオーバーラップされる方式で表示したり、図５の右側下部に示すように、搭乗可能領域情報４０を座標情報として生成することができる。座標情報は、イメージストリップ１０内で搭乗可能領域に対する座標情報を意味し、座標情報は走行映像における位置情報と共に地図上に搭乗可能領域がマッピングされ得る情報として活用される。したがって、本発明のように搭乗可能領域情報４０が座標情報として生成される場合、地図に搭乗可能領域のマッピングにおいてより容易にマッピングできるという効果がある。

また、領域情報生成モジュール１４０は、セグメンテーション人工神経網モジュール１５０から出力するイメージセグメンテーション情報５０に基づいて搭乗可能領域情報４０を生成してもよい。以下、セグメンテーション人工神経網モジュール１５０に対して詳しく説明する。

図６及び図７は、一実施形態に係るセグメンテーション人工神経網モジュールに入力される入力情報及び出力される出力情報を示す図である。

セグメンテーション人工神経網モジュール１５０は、イメージ分割モジュール１１０が送信した複数のイメージストリップ１０を入力情報にし、それぞれのイメージストリップに対するイメージセグメンテーション情報５０を出力情報にする人工神経網モジュールとして、セグメンテーション人工神経網モジュール１５０は、前記入力情報及び出力情報に基づいて学習を行う学習セッション１５１と、入力情報に基づいて出力情報を推論する推論セッション１５２を含む。

ここで、イメージセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）情報５０とは、イメージを数個のピクセル集合に分類したイメージを意味し、それぞれの座標に対して、特性が同一又は類似の座標をグルーピングして数個の群に分類した情報を意味する。一般に、同じイメージに表示される領域は、色、明るさ、材質のようないずれかの特徴が類似している領域を意味し、他のイメージに表示される領域は互いに特徴が異なることを意味する。

セグメンテーション人工神経網モジュール１５０の学習セッション１５１は、入力情報及び出力情報に基づいて学習を行うことができるセッションであり、推論セッション１５２は、人工神経網モジュールを用いてリアルタイムに入力されるイメージストリップ１０を分析し、それぞれのイメージに存在するオブジェクトを分類化した分類情報を含むイメージセグメンテーション情報５０を推論することができる。

したがって、セグメンテーション人工神経網モジュール１５０に入力情報として、図７に示すように車道、徒歩、歩行者、木などを含んでいるイメージが入力された場合、車道、徒歩、歩行者、木などに対してそれぞれ互いに異なるイメージに群集化して表示したイメージセグメンテーション情報５０が出力情報から出力され得る。

したがって、セグメンテーション人工神経網モジュール１５０は、入力されるイメージに対してイメージセグメンテーション情報を出力できる人工神経網を含むが、代表的に、ＣＮＮ神経網を使用することができる。本発明に係るセグメンテーション人工神経網モジュール１５０は、入力されるイメージに対して先に説明したイメージセグメンテーション情報５０を出力できる人工神経網であれば、既に公示されているいずれかの人工神経網でも借用できる。

本明細書において、本発明のセグメンテーション人工神経網モジュール１５０に適用される神経網としてＣＮＮを基準にして説明したが、本発明のセグメンテーション人工神経網モジュール１５０に適用される神経網構造はＣＮＮに限定されず、イメージ検出に有用なＧｏｏｇｌｅ Ｍｏｂｉｌｅ Ｎｅｔ ｖ２、ＶＧＧＮｅｔ１６及びＲｅｓＮｅｔ５０など公示されている様々な人工神経網モデルが適用され、先に説明した搭乗可能如何分類人工神経網モジュール１２０もＣＮＮ、Ｇｏｏｇｌｅ Ｍｏｂｉｌｅ Ｎｅｔ ｖ２、ＶＧＧＮｅｔ１６及びＲｅｓＮｅｔ５０などの人工神経網が使用され得る。

図８は、一実施形態に係る搭乗可能如何分類人工神経網モジュール、特徴抽出モジュール、領域情報生成モジュール、及びセグメンテーション人工神経網モジュールとの関係を示す図である。

領域情報生成モジュール１４０は、図８に示すように、特徴抽出モジュール１３０から抽出された活性化マップ３０に対してイメージセグメンテーション情報５０を活用して搭乗可能領域を決定し、決定された搭乗可能領域情報４０をイメージストリップ１０の上に別途の領域に表示することができる。

搭乗可能領域情報が正確に出力されるためには、活性化マップ３０で判断される障害物に関する情報、及びそうではない情報に関する情報である特徴情報が正確でなければならない。したがって、領域情報生成モジュール１４０は、セグメンテーション人工神経網モジュール１５０から出力される領域ごとに群集化されている情報に基づいて前記特徴情報の正確性を高めることができる。

具体的に、領域情報生成モジュール１４０は、セグメンテーション人工神経網モジュール１５０から出力されるイメージセグメンテーション情報５０及びそれに対する信頼度情報に基づいて活性化マップ３０に対してセグメンテーション補正を行った補正活性化マップを生成し、生成された補正活性化マップに基づいて搭乗可能領域を決定することができる。

先に説明したように、セグメンテーション人工神経網モジュール１５０は、特定の物体に対して群集化されている情報をそれぞれ出力し、このように出力された情報は、互いに異なるイメージに群集化して出力されているため、このような情報には区域ごとに障害物が存在するか否かに関する情報を含んでいる。したがって、領域情報生成モジュール１４０は、セグメンテーション人工神経網モジュール１５０から出力する領域別群集化情報に基づいて活性化マップに補正を経て、領域ごとに正確に障害物の存在の有無及び搭乗可能領域に関する情報を含んでいる活性化マップを生成することができる。以下、活性化マップを生成する方法について具体的に説明する。

図９及び図１０を基準にし、活性化マップについてセグメンテーション補正過程について説明する。図９は、一実施形態に係る座標ごとの信頼度情報を用いて領域情報生成モジュールが領域を補正する原理を説明するための図であり、図１０は、図９を参照して説明した原理が本発明に適用される過程を説明するための図である。

セグメンテーションとは、先に説明したように、特徴点を基準にして周辺領域との関係を判断して同じ集団であると判断すれば同じ領域として分類し、そうでない場合、他の領域として分類することを意味し、一般に、図１０（ａ）に示すように、活性化マップに代表地点（赤色点）を決定した後、赤色点に基づいて群集化を行う。

群集化は、一般に、出発地点である代表地点から代表地点と周辺領域との関係を判断して群集化を行っていくが、従来技術によると、周辺領域とのＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）値を基準にして同じ分類グループに属するか否かを判別することが一般的であった。しかし、本発明に係る領域情報生成モジュール１４０は従来技術とは相違に、イメージセグメンテーション情報５０に含まれている各座標ごとの信頼度情報を基準にしてセグメンテーション補正過程を行うために特徴が存在する。

具体的に、領域情報生成モジュール１４０は、活性化マップ３０の代表点を基準にして、代表点周辺の領域に対するイメージセグメンテーション情報５０における信頼度値が予め設定した値よりも高ければ、その領域を代表点と同じ分類グループにグルーピングしてその範囲を拡張する。しかし、代表点周辺の領域に対するイメージセグメンテーション情報５０における信頼度値が予め設定した値よりも低ければ、その領域は、代表点とは異なる分類グループとして判断して範囲を拡張しない。したがって、図１０（ｂ）及び（ｃ）に表示されている黄色点は、代表点である赤色点を基準にして信頼度の高い領域として判断されて同じ分類グループ（Ａ）に表示され、紫色点は、代表点を基準にして信頼度の低い領域として判断されて異なる分類グループ（Ｂ）に表示される。

このような方法について、図１０に示すように活性化マップ３０に適用すると、図１０において黄色に表示された点は代表点と同じ分類グループ（Ａ）に分類されることから活性化マップ３０に影響のない領域であるが、紫色点に表示された部分は特徴抽出モジュール１３０から抽出された活性化マップにおいて代表点と同じ領域に区分された領域、又はイメージセグメンテーション情報５０に基づいて分類した時に他の分類グループ（Ｂ）に判断される領域であるため、この部分に対する補正がイメージセグメンテーション情報５０に基づいて必要である。

したがって、領域情報生成モジュール１４０は、図１０（ｃ）に示すように、紫色点などに対する領域を白色領域でない黒色領域に補正した補正活性化マップを生成し、これに基づいて搭乗可能領域を決定して図８に示すようにイメージストリップ１０に搭乗可能領域情報４０を表示することができる。

すなわち、一実施形態に係る領域情報生成モジュール１４０は、イメージセグメンテーション情報５０に含まれている信頼度情報を用いて特徴情報を含んでいる活性化マップの正確度を高めた後、これに基づいて搭乗可能領域情報を生成することから、より正確に搭乗可能領域情報を生成できるという長所がある。

また、補正活性化マップは、セグメンテーション人工神経網モジュール１５０から出力されるイメージセグメンテーション情報５０に基づいて生成されるため、セグメンテーション人工神経網モジュール１５０の学習が円満であるほど搭乗可能領域情報の信頼度は高くなる。したがって、セグメンテーション人工神経網モジュール１５０は、リファレンス情報６０を用いて学習を行うことができる。以下、図１２及び図１３を参照して説明する。

図１１は、一実施形態に係るセグメンテーション人工神経網モジュール１５０が学習する方法を説明するための図であり、図１２は、一実施形態に係るセグメンテーション人工神経網モジュールが出力された情報とリファレンス情報を用いて学習を行う方法を説明するための図である。

図１１を参照すると、セグメンテーション人工神経網モジュール１５０は、イメージストリップ１０を入力情報にして代表地点情報５１及び境界ライン情報５２を含んでいるイメージセグメンテーション情報５０を出力情報にし、実際の代表地点リファレンス情報６１と実際の境界ラインリファレンス情報６２を含んでいるリファレンス情報６０をグラウンドトラス（ｇｒｏｕｎｄ ｔｒｕｔｈ）情報にし、出力情報とリファレンス情報との間の差が低減する方向にセグメンテーション人工神経網モジュール１５０のパラメータをアップデートする損失関数を構成することができる。

セグメンテーションの正確度は、群集開始される代表地点とは異なる領域との境界ラインであるため、本発明のセグメンテーション人工神経網モジュール１５０は、代表地点と境界ラインに沿って独立的に学習を行ったり共に学習を行うことができる。

具体的に、セグメンテーション人工神経網モジュール１５０の損失関数は、代表地点損失関数及び境界ライン損失関数を含んでもよく、代表地点損失関数は、推論された搭乗可能区域の中心点に該当する代表地点情報５１と実際の搭乗可能区域の中心点に該当する代表地点リファレンス情報６１との差を意味し、境界ライン損失関数は、推論された搭乗可能区域の境界ラインに該当する境界ライン情報５２と実際の搭乗可能区域の境界ライン情報６２に該当する境界ラインリファレンス情報６２との差を意味し、セグメンテーション人工神経網モジュール１５０は、代表地点損失関数と境界ライン損失関数を合わせた総損失関数の値が低減される方向にセグメンテーション人工神経網モジュール１５０のパラメータをアップデートすることができる。

図１１において、代表地点損失関数と境界ライン損失関数を合わせた損失関数を基準にして説明したが、セグメンテーション人工神経網モジュール１５０は、代表地点損失関数又は境界ライン損失関数の１つのみを基準にして学習を行ってもよい。

図１２を参考にして説明すると、図１２（ａ）は、セグメンテーション人工神経網モジュール１５０から出力したイメージセグメンテーション情報５０であり（信頼度は図示せず）、図１２（ｂ）は、イメージセグメンテーション情報５０で搭乗可能に区分される領域を実際のイメージに表示する図であり、図１２（ｃ）は、リファレンス情報となる実際のイメージである。

セグメンテーション人工神経網モジュール１５０は、先に説明したように推論された搭乗可能区域の中心点Ｃ１を基準にして座標情報を生成し、実際の搭乗可能区域の中心点Ｃ２についても座標情報を生成した後、生成された座標情報間の値が最小となる方向に中心点について学習を行ったり、Ｃ２を基準にしてＣ１がＣ２と一致する方向に学習を行うことができる。

同様に、セグメンテーション人工神経網モジュール１５０は、搭乗可能区域の境界ラインＬ１を基準にして境界ライン情報を生成し、実際の搭乗可能区域の境界ラインＬ２についても境界ライン情報を生成した後、生成された情報間の値が最小となる方向に中心点について学習を行ったり、Ｌ２を基準にしてＬ１がＬ２と一致になる方向に学習を行うことができる。

特徴抽出モジュール１３０の活性化マップ抽出に関連して、図１３は、本発明の他の例示的な実施形態に係る特徴抽出モジュール１３０の統合活性化マップ生成を示す模式図である。図１３に示すように、本発明の他の実施形態に係る特徴抽出モジュール１３０は、搭乗可能如何分類人工神経網モジュール１２０で複数のナリング活性化マップ３１を抽出し、抽出された複数のナリング活性化マップ３１を統合して１つの活性化マップ３０を生成するように構成されることができる。

ナリング活性化マップ３１は、搭乗可能如何分類人工神経網モジュール１２０の畳み込みフィルタ（Ｃｏｎｖ．Ｆｉｌｔｅｒ）の一部にナリング（ｎｕｌｌｉｎｇ）を適用して出力される活性化マップ（Ａｃｔｉｖａｔｉｏｎ Ｍａｐ）を意味する。すなわち、一般にフィルタを用いて活性化マップの抽出において、ナリングを適用したフィルタを使用するという意味であって、フィルタにナリングを適用するという意味は、フィルタの一部領域にランダムに特徴を０にすることを意味する。

したがって、搭乗可能如何分類人工神経網モジュール１２０の畳み込みフィルタ（Ｃｏｎｖ．Ｆｉｌｔｅｒ）の一部にナリング（ｎｕｌｌｉｎｇ）を適用した後、搭乗可能如何分類人工神経網モジュール１２０の出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）から出力される搭乗可能如何情報２０と、Ｇｒｏｕｎｄ ｔｒｕｔｈである実際の搭乗可能如何情報の間の損失が低くなる方向に人工神経網モジュールを学習させる搭乗可能如何分類人工神経網モジュール１２０のＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）以前のＣｏｎｖ．Ｌａｙｅｒで特徴抽出モジュール１３０によって抽出される活性化マップ（Ａｃｔｉｖａｔｉｏｎ Ｍａｐ）がナリング活性化マップ３１に定義され、これによって、ナリング活性化マップは、互いに異なるベクトル値を有する活性化マップ３１である。

ナリング活性化マップ３１の生成方法に関連して具体的に説明すると、図１４及び図１５は、本発明の他の実施形態に係るナリング活性化マップの生成を示す模式図である。

図１４の場合、ナリング方法と関連して、畳み込みフィルタのｓｔｒｉｄｅを１にし、ウィンドウスライドするごとに畳み込みフィルタについて任意にナリングを適用した（図面において、ｘに表示した部分がナリングが適用された部分である）ランダム選択（ｒａｎｄｏｍ ｓｅｌｅｃｔｉｏｎ）を適用する方法に基づいて畳み込み演算を行ってもよい。ランダム選択でナリングを適用し畳み込み演算を行うことは、フィルタにナリングされている部分が固定されることなく、スライドウィンドウするごとにフィルタ内でナリングされる部分がランダムに変わる。

一例として、最初にフィルタがウィンドウスライドするときには赤色フィルタ５１にｘとして表示されているように、ランダム選択が適用されたフィルタを基準にして畳み込み演算が行われ、その後には青色フィルタ５２にｘとして表示されているように、ランダム選択が適用されたフィルタを基準にして畳み込み演算が行われる。言い換えれば、フィルタで特徴マップをスライドするが、このとき各スライドウィンドウごとに特徴をランダムに選択することを意味する。

したがって、搭乗可能如何分類人工神経網モジュール１２０の畳み込みフィルタ（Ｃｏｎｖ．Ｆｉｌｔｅｒ）に赤色フィルタの形態にナリングを適用して第１ナリング活性化マップ３１ａを抽出し、搭乗可能如何分類人工神経網モジュール１２０の畳み込みフィルタ（Ｃｏｎｖ．Ｆｉｌｔｅｒ）に青色フィルタの形態にナリングを適用して第２ナリング活性化マップ３１ｂを抽出することができる。したがって、このようなステップを繰り返す場合、特徴抽出モジュール１３０が複数のナリング活性化マップ３１を抽出し得る。

畳み込み演算の実行において、本発明の他の実施形態として、図１５に示すように入力されたイメージストリップ１０を拡大した拡大イメージストリップ１１にランダム選択特徴マップ１２を適用した後、それに基づいて畳み込み演算を行ってもよい。図１５において、拡大イメージストリップ１１は、入力されるイメージストリップ１０の大きさに畳み込み演算を行うとき適用されるストライド（ｓｔｒｉｄｅ）の数であるｓを乗算して拡大したイメージストリップを意味する。

図１４に比較して説明すると、図１４の場合、畳み込み演算の実行において、フィルタをスライド（ｓｌｉｄｉｎｇ）しながらフィルタそのものにランダム選択を行う一方（図１４においてストライドは１である）、図１５では、拡大イメージストリップ１１に拡大イメージストリップ１１の大きさに対応するランダム選択特徴マップ１２を適用させた後（図１５においてｘと表示された部分がランダム選択の適用された様子を示す）、適用されたイメージについて畳み込み演算を行うことができる。

すなわち、図１４では、イメージストリップ１０についてフィルタがスライドウィンドウを行いながらランダム選択が適用される一方、図１５では、予めランダム選択された特徴をイメージストリップ１０の大きさに合わせて拡張して大きくした後、フィルタで畳み込み演算を行うことができる。

したがって、図１５の場合、搭乗可能如何分類人工神経網モジュール１２０の畳み込みレイヤ（Ｃｏｎｖ．Ｌａｙｅｒ）の一部にナリング（ｎｕｌｌｉｎｇ）を適用した後、搭乗可能如何分類人工神経網モジュール１２０の出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）から出力される搭乗可能如何情報２０及びＧｒｏｕｎｄ ｔｒｕｔｈである実際の搭乗可能如何情報の間の損失が低くなる方向に搭乗可能如何分類人工神経網モジュール１２０を学習させ、特徴抽出モジュール１３０がＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）以前のＣｏｎｖ．Ｌａｙｅｒでナリング活性化マップ３１を抽出するように構成することができる。

図１５に示すような方法で畳み込み演算すると、抽出される結果は図１４に示す場合と同一であるが、スライドしながらランダム選択する必要がなく、拡大したイメージ全体についてランダム選択が適用された畳み込み演算を一回行うため、図１４に示す方法よりも早くナリング活性化マップ３１を生成することができる。すなわち、図１４の場合、畳み込みを行ってスライドウィンドウをランダムに抽出しなければならないが、これを別途のプロセッサで実現する場合、これを一般的なディープラーニングフレームワーク（例えば、ｐｙｔｏｒｃｈ、ｔｅｎｓｏｒｆｌｏｗ）で実現し難いが、図１５のような方法で畳み込みを行う場合、ランダム選択を適用した畳み込み演算を比較的に早く実行することができ、プロセッサの全体過程が短縮されるという効果が発生する。

また、図面には図示していないが、本発明は、畳み込みを行った後抽出された特徴マップについてドロップアウトを適用する場合、一般的なドロップアウト方式の代わりに各スライドウィンドウの真ん中に該当する特徴は、ドロップアウトによって除去されない方式でドロップアウトを適用することができる。一般的なドロップアウトを使用する場合、それぞれのスライドウィンドウ間の相関関係を把握することが難しいという短所があり、人工神経網が学習の実行においてｓｐａｔｉａｌ情報が混在しているためその効率性が低下する。しかし、真ん中に該当する特徴がある方法に基づいてドロップアウトを行うと、真ん中に関する情報が保全されることから、人工神経網モジュールが学習を行うときに正常にｓｐａｔｉａｌ情報を基準にして学習することができる。

統合活性化マップ３２は、特徴抽出モジュール１３０から抽出された複数のナリング活性化マップ３１が１つのマトリックスに組み込まれた活性化マップを意味する。図１６は、本発明の他の実施形態に係る統合活性化マップ３２の生成を示す模式図である。図１６に示すように、特徴抽出モジュール１３０は、抽出された複数のナリング活性化マップ３１を１つのマトリックスに統合して統合活性化マップ３２を生成するように構成され得る。

このように生成された統合活性化マップ３２は、領域情報生成モジュール１４０に入力され、前述の図５を参照して説明したように、領域情報生成モジュール１４０は、統合活性化マップ３２に含まれている障害物に対する領域、及びそうではない領域に関する情報に基づいてイメージストリップ１０上に搭乗可能な搭乗可能領域を決定し、決定された搭乗可能領域情報４０をイメージストリップ１０上に別途の領域に表示することができる。

他の実施形態として、領域情報生成モジュール１４０は、図８を参照して説明したように、特徴抽出モジュール１３０から抽出された統合活性化マップ３２についてイメージセグメンテーション情報５０を活用して搭乗可能領域を決定し、決定された搭乗可能領域情報４０をイメージストリップ１０の上に別途の領域に表示してもよい。領域情報生成モジュール１４０がイメージセグメンテーション情報５０を活用して搭乗可能領域を決定する方法については上記で説明したため、以下で省略する。

図１７は、本発明の一実施形態に係る搭乗可能領域情報が地図上に表示される一実施形態を示す図である。

本発明の場合、車両走行映像に基づいて生成した道路上の搭乗可能領域情報を地図にマッピングし、ユーザの現在の位置を基準にして最も近い搭乗可能な領域に関する情報をユーザに提供することができる。

具体的に、領域情報生成モジュール１４０は、搭乗可能領域情報４０と走行映像における現在の位置情報及び走行方向情報に基づいて地図上に搭乗可能領域情報４０の座標情報をマッピングして搭乗区域情報７０を生成することができる。

したがって、本発明の一実施形態に係る車両搭乗可能領域判断装置１００は、ユーザ端末にインストールされたアプリケーションモジュールを介してユーザ端末の現在の位置を判断し、ユーザ端末の現在位置を基準に最も近い搭乗区域情報７０がユーザ端末のアプリケーションモジュールの地図上に表現されるように、ユーザ端末にインストールされたアプリケーションモジュールを制御することができる。

一例として、ユーザ端末を介して現在のユーザの位置が図１７に示す符号８０にある位置であると判断された場合、車両搭乗可能領域判断装置１００は、ユーザ端末から最も近い搭乗区域情報７０を図１７に示すように、ユーザ端末にインストールされたアプリケーションモジュールの地図上に表示されるようにアプリケーションモジュールを制御することができる。

これによれば、ユーザはタクシーを呼び出す場合、搭乗区域情報７０に基づいてタクシーを呼び出したり、知人の車両に搭乗しなければならない場合、搭乗区域情報７０の位置を運転者に送信することができ、より安全に車両に搭乗できるという効果がある。

今まで一実施形態に係る人工神経網を用いた走行映像に対する車両搭乗可能領域判断方法及び装置について詳しく説明した。

一実施形態に係る人工神経網を用いた走行映像に対する車両搭乗可能領域判断方法及び装置は、車両の運転者又は歩行者に現在の道路で車両に搭乗できる区域に関する情報を提供するため、より安全に歩行者が車両に搭乗できる効果がある。また、車両搭乗可能領域に関する情報の提供において、従来技術によると、人の手動的な作業で行われるが、本発明の場合は、人工神経網を活用して自動化された方式で現在の走行中の車両前方に搭乗可能領域情報を生成することができ、より安全で正確に搭乗可能領域情報を提供できる効果があり、そのため、ユーザが搭乗可能領域に対する位置を正確に把握でき、コールタクシーのサービスの待機時間などを著しく減少させ得る効果がある。

また、搭乗可能領域情報を含んでいる地図を制作する場合、従来技術よると手動的に地図に搭乗可能領域をラベル（ｌａｂｅｌｉｎｇ）しなければならなかったが、本発明によると、取得した走行映像に基づいて搭乗可能領域情報を自動的に生成し、より容易に搭乗可能領域情報を含んでいる地図を制作できる効果がある。

一方、本明細書に記載されている「～部」と記載された構成要素、ユニット、モジュール、構成要素などは共通又は個別的であるものの、相互運用できるロジックデバイスとして個別的に実現されてもよい。モジュール、ユニットなどに対する互いに異なる特徴の描写は、互いに異なる機能的な実施形態を強調するために意図されたものであり、これが個別ハードウェア又はソフトウェア構成要素によって実現されなければならないことを必須的に意味することはない。むしろ、１つ以上のモジュール又はユニットに関する機能は、個別のハードウェア又はソフトウェアの構成要素によって実行されたり、又は、共通又は個別のハードウェア又はソフトウェアの構成要素内に統合され得る。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト又はコードとも知られている）は、コンパイル又は解釈された言語や先験的又は手続的な言語を含むプログラミング言語のいかなる形態にも作成され、独立のプログラムやモジュール、構成要素、サブルーチン、又はコンピュータ環境で使用するために適切な他のユニットを含む、いかなる形態にも展開できる。

付加的に、本特許文献において記述する論理の流れと構造的なブロック図は、開示された構造的な手段のサポートを受ける対応する機能と、段階のサポートを受ける対応する行為及び／又は特定の方法を記述するものであり、対応するソフトウェア構造とアルゴリズムとその等価物を構築するためにも使用可能である。

本明細書で記述するプロセスと論理の流れは、入力データ上で作動し出力を生成することによって、機能を行うために１つ以上がコンピュータプログラムを実行する１つ以上がプログラマブルプロセッサにより実行可能である。

本記述した説明は、本発明の最上のモードを提示しており、本発明を説明するために、そして、当業者が本発明を製造及び利用可能にするための例を提供している。このように作成された明細書は、その提示された具体的な用語に本発明を限定するものではない。

以上で本発明の好適な実施形態を参照して説明したが、当技術分野の熟練した当業者又は当技術分野に通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を多様に修正及び変更させ得ることを理解できるのであろう。したがって、本発明の技術的な範囲は、明細書の詳細な説明に記載された内容に限定されず、特許請求の範囲によって決まらなければならないだろう。

Claims (6)

1. カメラモジュールから車両の走行方向に対する走行イメージを取得して前記走行イメージを複数のイメージストリップに分割するイメージ分割モジュールと、
   前記イメージストリップを入力情報にし、前記イメージストリップに対する搭乗可能如何情報を出力情報にする、予め学習された搭乗可能如何分類人工神経網モジュールと、
   前記搭乗可能如何分類人工神経網モジュールで前記イメージストリップに対する特徴情報を含んでいる活性化マップ（ａｃｔｉｖａｔｉｏｎ ｍａｐ）を抽出する特徴抽出モジュールと、
   前記活性化マップに含まれている前記特徴情報に基づいて前記イメージストリップに対する搭乗可能領域情報を生成する領域情報生成モジュールと、
   を含むことを特徴とする、人工神経網を用いた走行映像に対する車両搭乗可能領域判断装置。
2. 前記イメージストリップを入力情報にし、前記イメージストリップに対するイメージセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）情報を出力情報にする、予め学習されたセグメンテーション人工神経網モジューをさらに含み、
   前記領域情報生成モジュールは、前記活性化マップ及び前記イメージセグメンテーション情報に基づいて前記イメージストリップに対する搭乗可能領域情報を生成することを特徴とする、請求項１に記載の人工神経網を用いた走行映像に対する車両搭乗可能領域判断装置。
3. 前記領域情報生成モジュールは、前記活性化マップの代表地点を基準にして前記イメージセグメンテーション情報に含まれている座標ごとの信頼度情報を活用して補正活性化マップを生成し、前記補正活性化マップに基づいて前記イメージストリップに対する搭乗可能領域情報を生成することを特徴とする、請求項１に記載の人工神経網を用いた走行映像に対する車両搭乗可能領域判断装置。
4. 前記セグメンテーション人工神経網モジュールの損失は、
   前記イメージストリップに対するリファレンス情報における代表地点情報と前記イメージセグメンテーション情報における代表地点情報の間の距離の差である代表地点損失、及び前記イメージストリップに対するリファレンス情報における境界ライン情報と前記イメージセグメンテーション情報における境界ライン情報との間の距離の差である境界ライン損失を含み、
   前記セグメンテーション人工神経網モジュールは、前記セグメンテーション人工神経網モジュールの損失を減らす方向に学習を行うことを特徴とする、請求項１に記載の人工神経網を用いた走行映像に対する車両搭乗可能領域判断装置。
5. 前記イメージ分割モジュールは、前記イメージストリップの縦長が横長よりも長い長方形状のイメージストリップになるように前記走行イメージを分割することを特徴とする、請求項１に記載の人工神経網を用いた走行映像に対する車両搭乗可能領域判断装置。
6. カメラモジュールから車両の走行方向に対する走行イメージを取得し、前記走行イメージを複数のイメージストリップに分割するイメージ分割ステップと、
   前記イメージストリップを入力情報にし、前記イメージストリップに対する搭乗可能如何情報を出力情報にする、予め学習された搭乗可能如何分類人工神経網モジュールで前記イメージストリップに特徴情報を含んでいる活性化マップ（ａｃｔｉｖａｔｉｏｎ ｍａｐ）を抽出するステップと、
   前記活性化マップに含まれている前記特徴情報に基づいて前記イメージストリップに対する搭乗可能領域情報を生成するステップと、
   を含むことを特徴とする、人工神経網を用いた走行映像に対する車両搭乗可能領域判断方法。