JP7061873B2 - 情報処理装置、情報処理プログラム及び情報処理方法 - Google Patents

情報処理装置、情報処理プログラム及び情報処理方法 Download PDF

Info

Publication number
JP7061873B2
JP7061873B2 JP2017253139A JP2017253139A JP7061873B2 JP 7061873 B2 JP7061873 B2 JP 7061873B2 JP 2017253139 A JP2017253139 A JP 2017253139A JP 2017253139 A JP2017253139 A JP 2017253139A JP 7061873 B2 JP7061873 B2 JP 7061873B2
Authority
JP
Japan
Prior art keywords
road
pseudo
image
sign
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017253139A
Other languages
English (en)
Other versions
JP2019120985A (ja
Inventor
淳一 竹田
拓矢 菅原
佑太 池田
陽子 藤田
Original Assignee
ジオテクノロジーズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジオテクノロジーズ株式会社 filed Critical ジオテクノロジーズ株式会社
Priority to JP2017253139A priority Critical patent/JP7061873B2/ja
Publication of JP2019120985A publication Critical patent/JP2019120985A/ja
Application granted granted Critical
Publication of JP7061873B2 publication Critical patent/JP7061873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、運転支援用教師データの生成技術に関する。
近年、人間による車両の運転を補助する運転支援技術や、コンピュータ制御によって自動で車両を運転する自動運転技術等の技術(以下、「運転支援技術」という)が注目されている。
このような運転支援技術では、車両に、レーザ光を用いたリモートセンシング技術であるLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)を実現するセンサ、グローバルポジショニングシステム(GPS)、カメラ等のセンシングデバイスや制御装置が搭載された車両が用いられる。制御装置は、人工知能(AI)プログラム等を実行して、センシングデバイスから得られた情報を解析し、解析結果に基づいて車両の運転支援を行う。
AIは、機械学習またはディープラーニングによりその性能を向上させていくが、機械学習またはディープラーニングによりAIを訓練するためには、訓練用データ、すなわち教師データが用いられる。
AIを用いた運転支援技術の一例として、白線やナビの情報が得られない道路においても、リフレクタの反射光等を対向車と誤認識することを防止する技術がある(例えば、特許文献1)。特許文献1では、様々なシチュエーションにおける標識の画像と、その標識に描かれている制限速度をセットとした、教師データセットを用いて、AIの学習を行う。
特開2012-030673号公報
道路標識には、道路やその周辺環境に応じて様々な配置のバリエーションがある。道路標識に関する情報を学習させるための教師データとしての道路標識データを、実際に存在する道路標識、例えば複数の並んでいる道路標識が存在する場所を、カメラが搭載された車両を走行させて探して収集していた。そのため、運転支援用教師データの生成には、コストがかかり、生成効率が良くなかった。
本発明が解決しようとする課題としては、道路の画像から、疑似的に道路標識を設置した画像を含む運転支援用教師データを生成することが一例として挙げられる。
上記課題を解決するために、請求項1に記載の発明は、情報処理装置であって、道路に関する道路環境情報を記憶する記憶部と、前記道路の画像を取得する取得部と、前記道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析部と、前記解析結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定部と、前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込む書込部と、を備えることを特徴とする。
上記課題を解決するために、請求項5に記載の発明は、情報処理プログラムであって、道路の画像を取得する取得処理と、道路に関する道路環境情報を記憶する記憶部に記憶された該道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析処理と、前記解析結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定処理と、前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込む書込処理と、を、コンピュータに実行させることを特徴とする。
上記課題を解決するために、請求項6に記載の発明は、情報処理方法であって、道路の画像を取得する取得工程と、道路に関する道路環境情報を記憶する記憶部に記憶された該道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析工程と、前記解析結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定工程と、前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込む書込工程と、を、コンピュータが実行することを特徴とする。
本発明の一実施形態における情報処理装置を説明する図 本発明の一実施例における疑似教師データ生成装置のブロック図 図2に示された道路環境情報のデータ構造例を示す図 図2に示された疑似教師データ生成装置の道路画像に基づいて道路標識が書き込まれた画像の生成について説明するための図 図2に示された疑似教師データ生成装置の道路画像に基づいて道路標識が書き込まれた画像の生成について説明するための図 図2に示された疑似教師データ生成装置の道路画像に基づいて道路標識が書き込まれた画像の生成について説明するための図 本実施形態における制御部の処理のフロー図
図1は、本発明の一実施形態における情報処理装置を説明する図である。情報処理装置1の一例としては、後述する疑似教師データ生成装置11が挙げられる。情報処理装置1は、記憶部7、取得部2、解析部3、決定部4、書込部5を含む。記憶部7は、道路の環境に関する道路環境情報8を記憶する。記憶部7の一例としては、例えば、後述する記憶装置17が挙げられる。道路環境情報8の一例としては、後述する道路環境情報18が挙げられる。
取得部2は、移動体に搭載された図示しないカメラ等の撮影部が撮影した道路の画像を取得する。取得部2の一例として、後述するS1の処理を実行する制御部13が挙げられる。解析部3は、道路環境情報8に基づいて、取得した画像の道路状況及び道路標識の設置状況の解析を行う。解析部3の一例として、後述するS3~S5の処理を実行する制御部13が挙げられる。
決定部4は、解析結果に基づいて、取得した画像における疑似的な標識である疑似標識と、疑似標識の配置位置を決定する。決定部4の一例として、後述するS6の処理を実行する制御部13が挙げられる。
書込部5は、疑似標識の配置位置に基づいて、取得した画像に疑似標識を書き込む。書込部5の一例として、後述するS7の処理を実行する制御部13が挙げられる。
このように構成することにより、道路の画像から、疑似的に道路標識を設置した画像を含む運転支援用教師データを生成することができる。
解析部3による解析の結果、取得した画像から道路標識と道路標識の配置位置が検出された場合、決定部4は、道路環境情報8に基づいて、検出された道路標識が配置された位置の水平方向または垂直方向に疑似標識を並べるように、疑似標識の配置位置を決定することができる。
このように構成することにより、画像内において既存の道路標識が配置された位置の水平方向または垂直方向に疑似標識を並列することができる。
解析部3による解析の結果、取得した画像から道路標識と道路標識の配置位置が検出された場合、決定部4は、道路環境情報8に基づいて、疑似標識と疑似標識を支持する疑似的な標識柱の配置位置を決定することができる。
このように構成することにより、画像内において既存の道路標識が配置された標識柱とは異なる標識柱(疑似柱)に疑似標識を設置することができる。
解析部3による解析の結果、取得した画像から道路標識が検出されなかった場合、決定部4は、道路環境情報8に基づいて、疑似標識と疑似標識を支持する疑似的な標識柱の配置位置を決定することができる。
このように構成することにより、画像内において道路標識が存在しない場合にも、標識柱(疑似柱)に疑似標識を設置することができる。
前記疑似標識が書き込まれた画像は、道路標識が存在する道路における設置のバリエーションを学習させる運転支援用教師データである。このように構成することにより、運転支援用疑似教師データを生成することができる。
情報処理装置1は、さらに、レンダリング部6を含む。レンダリング部6は、前記疑似標識が書き込まれた画像における被写体に対する陰影に基づいて、光源の位置を推定する。それからレンダリング部6は、光源の位置に基づいて、画像に書き込んだ道路標識の色または明暗を調整する。
このように構成することにより、画像から光源位置を推定し、疑似標識の画像部分をより自然で、よりリアルに加工することができる。
本発明の一実施例を図2~図7を用いて説明する。図2は、本実施形態の一実施例における疑似教師データ生成装置のブロック図である。疑似教師データ生成装置11は、道路の画像から、疑似的に道路標識を設置した画像を含む教師データを生成する。例えば、疑似教師データ生成装置11は、実際には道路標識が並んでいない画像から道路標識が並んでいる画像を含む運転支援用疑似教師データを生成することができる。また、疑似教師データ生成装置11は、画像内において既存の道路標識が配置された標識柱とは異なる標識柱(疑似柱)に、疑似標識が設置されている画像を含む運転支援用疑似教師データを生成することができる。さらに、疑似教師データ生成装置11は、画像内において道路標識が存在しない場合にも、標識柱(疑似柱)に疑似標識が設置されている画像を含む運転支援用疑似教師データを生成することができる。
疑似教師データ生成装置11は、コンピュータによって実現される計算装置である。疑似教師データ生成装置11は、入力I/F12、制御部13、出力I/F14,メモリ15、通信I/F16、記憶装置17、バス19によって構成されている。バス19は、入力I/F12、制御部13、出力I/F14、メモリ15、通信I/F16、記憶装置17との間の通信を行うための通信経路である。
入力I/F12は、疑似教師データ生成装置11に情報の入力を行うためのインターフェースであり、不図示のキーボード、マウス等の入力装置が接続される。制御部13は、中央演算装置(CPU)、MPU(micro-processing unit)等のプロセッサ等で構成され、疑似教師データ生成装置11全体の動作を制御する。
出力I/F14は、疑似教師データ生成装置11から情報を出力するためのインターフェースであり、ディスプレイ、プリンタ、スピーカなどを接続することが可能である。メモリ15は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)等のメモリデバイスである。
通信I/F16は、例えば、外部のネットワークと接続して他の装置と通信するためのポート等のインターフェースである。ネットワークは、インターネット、LAN、WAN、専用線、有線、無線等の通信網であってよい。
記憶装置17は、大容量記憶装置であり、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、フラッシュメモリカードなど様々な形式の記憶装置を使用することができる。
記憶装置17には、道路環境情報18が記憶されている。道路環境情報18には、一の道路標識と当該一の道路標識の周囲に配置されている道路標識とが対応付けられた情報が含まれている。また、道路環境情報18には、道路標識が設置されていない場合であっても、道路(車線数、幅員、道路種別、道路の形状等)及び道路の周辺環境(市街地、店舗、駐車場、学校等の施設情報、山や川などの地理的情報、または緯度経度等の位置情報)に基づいて、本来設置されているのが望ましいと判断される標識情報が含まれている。また、一の道路標識と当該一の道路標識の周囲に配置されている道路標識、または本来設置されているのが望ましいと判断される標識情報は、道路及び道路の周辺環境に応じて、実際に配置されている道路標識の組み合わせ等に基づいて、対応付けてもよい。
また、記憶装置17には、制御部13を、取得部2、解析部3、決定部4、書込部5及びレンダリング部6として機能させる本実施形態に係るプログラムが格納されている。
制御部13は、記憶装置17から本実施形態に係るプログラムを読み出し、当該プログラムを実行する。当該プログラムは、プログラム提供者側から通信ネットワーク、および通信I/F16を介して、例えば記憶装置17に格納されてもよい。また、当該プログラムは、市販され、流通している可搬型記憶媒体に格納されていてもよい。この場合、この可搬型記憶媒体は不図示の読取装置にセットされて、制御部13によってそのプログラムが読み出されて、実行されてもよい。可搬型記憶媒体としてはCD-ROM、フレキシブルディスク、光ディスク、光磁気ディスク、ICカード、USBメモリ装置、半導体メモリカードなど様々な形式の記憶媒体を使用することができる。このような記憶媒体に格納されたプログラムが読取装置によって読み取られる。
図3は、本実施例における道路環境情報のデータ構造例を示す図である。道路環境情報18は、「道路標識」18a、「周囲情報」18b、「疑似標識」18cのデータ項目を含む。
「道路標識」18aには、原則として、道路標識情報が格納される。なお、道路標識の設置がない場合もあるので、この場合「道路標識」18aには「設置無し」を示す情報が格納される。
「道路標識」18aに道路標識情報が格納されている場合には、「周囲情報」18bには、その道路標識の周囲に配置される道路標識に関する情報が格納される。「道路標識」18aに「設置無し」を示す情報が格納されている場合には、「周囲情報」18bには、道路及びその道路の周辺の環境に関する情報が格納される。
「疑似標識」18cには、疑似的に配置される標識(疑似標識)が格納される。
図4は、図2に示された疑似教師データ生成装置の入力された道路画像に基づいて、道路標識が書き込まれた画像の生成について説明するための図である。ここで、「道路画像」とは、例えば、移動体の前方を撮影した画像を示す。具体的には、図4は、実際には道路標識が並んでいない画像(図4(a))から、道路標識が並んでいる画像(図4(b))を含む運転支援用擬似教師データを生成する処理を説明するための図である。
図4(a)は、道路標識が設置されている道路画像の一例を示す。図4(b)は、図4(a)の道路画像に、疑義標識を既存の道路標識と並べて書き込んだ画像の一例を示す。なお、図4では、最高速度60km/hの速度制限を示す道路標識と、駐車禁止を示す道路標識を例として説明するが、道路標識はこれらに限定されない。
制御部13は、道路画像を取得すると、図4(a)に示すように、画像21から、符号22で示される最高速度60km/hの速度制限を示す道路標識を検出する。このとき、制御部13は、画像21の道路標識22の配置から疑似標識の配置位置を決定する。
検出された道路標識が、例えば、図4(a)に示すような最高速度標識である場合、制御部13は、記憶装置17に記憶された道路環境情報18を参照して、「道路標識」18aから該当するレコードを読み出す。制御部13は、「周囲情報」18bを参照して、その道路標識の左右(または上下)に駐車禁止の道路標識が多いという情報を取得し、画像21に疑似標識を書き込む位置を決定する。疑似標識を書き込む位置の決定の際には、道路標識を支持する柱(標識柱)の位置も判定され、最適な配置位置が決定される。
さらに、制御部13は、画像21に書き込んだ疑似標識23をその画像21に馴染ませて、画像21上でリアルな道路標識に見えるように(すなわち疑似標識か実際の道路標識かの区別がつきにくくするために)、レンダリング処理を行う。
レンダリング処理により、画像内の物体に色や陰影を付けたり、物体を見る視点を仮定して遠近感を出す処理や、光源の位置を仮定して影を付けるシェーディング、物体表面の質感を定めるテクスチャマッピング等を行うことができる。
レンダリング処理として、例えば、イメージベースドライティングや半球ライティングがある。イメージベースドライティングは、背景画像を撮像した現場の全周囲画像(環境マップ)を撮像し、得られた環境マップを光源画像として用い、ライティング効果を施す方法である。半球ライティングは,イメージベースドライティングテクニックの1つで、グローバルな2種類の光のジオメトリへの影響を、半球を使って反映させる方法である。
これにより、画像から光源位置を推定し、疑似標識の画像部分をより自然で、よりリアルに加工することができる。さらに、画像の日時情報、車両の位置情報や車両の走行方向に関する方向情報を用いることにより、季節や時間帯を考慮した太陽(光源)の位置や光の強度、陰影等を調整してもよい。
図5は、図2に示された疑似教師データ生成装置11が取得した道路画像に基づいて、道路標識が書き込まれた画像の生成について説明するための図である。図5は、図4の変形例であって、図4では同一の標識柱に疑似標識を並べたが、図5では疑似標識だけでなく疑似的に生成した標識柱(疑似柱)も画像に書き込む。
図5(a)は、道路標識が設置されている道路画像の一例を示す。図5(b)は、図5(a)の道路画像に、疑義標識と疑似柱を新たに書き込んだ画像の一例を示す。なお、図5では、最高速度60km/hの速度制限を示す道路標識と、駐車禁止を示す道路標識を例として説明するが、道路標識はこれらに限定されない。また、疑似柱の形状も、図5(b)に記載の形状に限定されず、既存の標識柱や周辺の環境に応じて、疑似柱のバリエーションを生成することができる。
制御部13は、道路画像を取得すると、図5(a)に示すように、画像21から、符号22で示される最高速度60km/hの速度制限を示す道路標識を検出する。このとき、制御部13は、画像21の道路標識22の配置から、疑似標識及び疑似柱の配置位置を決定する。
検出された道路標識が、例えば、図5(a)に示すような最高速度標識である場合、制御部13は、記憶装置17に記憶された道路環境情報18を参照して、「道路標識」18aから該当するレコードを読み出す。制御部13は、「周囲情報」18bを参照して、その道路標識の周辺に駐車禁止の道路標識が多いという情報を取得し、画像21に疑似標識及び疑似柱を書き込む位置を決定する。疑似標識を書き込む位置の決定の際には、まずは疑似柱を書き込む最適な配置位置が決定され、その後、その疑似柱に配置される疑似標識の最適な位置が決定される。なお、制御部13は、擬似標識の配置位置の決定、擬似標識が配置される標識柱の配置位置の決定の順に処理を行ってもよい。
さらに、制御部13は、画像21に書き込んだ疑似標識24及び疑似柱25をその画像21に馴染ませて、画像21上でリアルな道路標識及び標識柱に見えるように(すなわち疑似標識及び疑似柱か、実際の道路標識及び標識柱かの区別がつきにくくするために)、レンダリング処理を行う。
これにより、画像から光源位置を推定し、疑似標識及び疑似柱の画像部分をより自然で、よりリアルに加工することができる。さらに、画像の日時情報、車両の位置情報や車両の走行方向に関する方向情報を用いることにより、季節や時間帯を考慮した太陽(光源)の位置や光の強度、陰影等を調整してもよい。
図6は、図2に示された疑似教師データ生成装置11が取得した道路画像に基づいて、道路標識が書き込まれた画像の生成について説明するための図である。図4及び図5では、道路画像内にある道路標識に基づいて疑似標識を決定した。それに対して、図6では、道路画像内にある道路標識以外の道路環境に基づいて、疑似標識を決定する。
図6(a)は、道路標識が設置されていない道路上で撮影された道路画像の一例を示す。図6(b)は、図6(a)の道路画像に、疑義標識と疑似柱を新たに書き込んだ画像の一例を示す。なお、図6では、一時停止を示す道路標識を例として説明するが、道路標識はこれらに限定されない。また、疑似柱の形状も、図6に記載の形状に限定されず、既存の標識柱や周辺の環境に応じて、疑似柱のバリエーションを生成することができる。
制御部13は、道路画像を取得すると、図6(a)に示すように、道路標識も信号も設置されていない画像26を抽出する。このとき、制御部13は、画像解析の結果から、画像26の道路の形状、信号の設置無し、標識の設置なしであることを判定する。
この場合、制御部13は、記憶装置17に記憶された道路環境情報18を参照して、「道路標識」18aから該当する1以上のレコード(「道路標識」18a=「設置無し」)を読み出す。制御部13は、「周囲情報」18bを参照して、道路の形状が交差点及び信号の設置無し等の条件に合致するレコードを読み出す。
制御部13は、その読み出した、条件に合致するレコードに基づいて、疑似標識27を決定し、さらに疑似柱を書き込む位置を決定する。疑似標識を書き込む位置の決定の際には、まずは疑似柱を書き込む最適な配置位置が決定され、その後、その疑似柱に配置される疑似標識の最適な位置が決定される。
さらに、制御部13は、画像26に書き込んだ疑似標識27及び疑似柱28をその画像26に馴染ませて、画像26上でリアルな道路標識及び標識柱に見えるように(すなわち疑似標識及び疑似柱か、実際の道路標識及び標識柱かの区別がつきにくくするために)、レンダリング処理を行う。
これにより、画像から光源位置を推定し、疑似標識及び疑似柱の画像部分をより自然で、よりリアルに加工することができる。さらに、画像の日時情報、車両の位置情報や車両の走行方向に関する方向情報を用いることにより、季節や時間帯を考慮した太陽(光源)の位置や光の強度、陰影等を調整してもよい。
図7は、本実施例における制御部13における処理のフロー図である。まず、制御部13は、入力I/F12または通信I/F16を介して取得された道路画像、天候、及び日時を取得する(S1)。道路画像は、移動体の前方を撮影した静止画または動画である。天候は、その画像が撮影されたときの天候に関する情報である。日時は、その画像が撮影された日時である。制御部13は、道路画像から1つの画像を抽出する(S2)。制御部13は、予め記憶された道路標識データベースに基づいて、画像解析により、抽出した画像に道路標識が存在するか否かを判定する(S3)。
抽出した画像に道路標識が存在しないと判定された場合(S3で「NO」)、制御部13は、画像解析により、抽出した画像から、その画像に写っている道路の周辺環境を解析する(S4)。ここでの解析は、例えば、道路が交差点か、信号があるか、線路があるか等である。
抽出した画像に道路標識が存在すると判定された場合(S3で「YES」)、制御部13は、画像解析により、抽出した画像から道路標識とその配置位置を検出する(S5)。
S4またはS5の処理後、制御部13は、道路環境情報18に基づいて、抽出した画像に含まれる道路標識に対応する疑似標識及び道路標識を支持する標識柱における設置位置を決定する(S6)。このとき、疑似標識を疑似柱に設置する場合には、疑似柱の設置位置及びその疑似柱における疑似標識の設置位置も決定する。
制御部13は、抽出した画像に対して、疑似標識を、決定された設置位置に書き込む(S7)。S6にて疑似柱の設置位置及びその疑似柱における疑似標識の設置位置が決定されている場合には、制御部13は、疑似標識及び疑似柱を、その決定された設置位置に書き込む。
制御部13は、S1で取得した天候情報及び日時に基づいて、イメージベースドライティングや半球ライティング等を用いてレンダリング処理を行う(S8)。このとき、画像の日時情報、車両の位置情報や車両の走行方向に関する方向情報を用いることにより、太陽(光源)の位置や光の強度、陰影等を調整してもよい。
未処理の画像がある場合(S9で「YES」)、処理がS2の処理へ戻る。未処理の画像がない場合(S9で「YES」)、本フローは終了する。これにより、道路画像が加工された結果、運転支援用疑似教師データが生成される。
本実施形態によれば、道路画像から、疑似的に道路標識を設置した画像を含む運転支援用疑似教師データを生成することができる。
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。
1 情報処理装置
2 取得部
3 解析部
4 決定部
5 書込部
6 レンダリング部
7 記憶部
8 道路環境情報
11 疑似教師データ生成装置
12 入力I/F
13 制御部
14 出力I/F
15 メモリ
16 通信I/F
17 記憶装置
18 道路環境情報
19 バス

Claims (9)

  1. 道路に関する道路環境情報を記憶する記憶部と、
    前記道路の画像を取得する取得部と、
    前記道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析部と、
    前記解析結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定部と、
    前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込んで、前記道路標識の前記道路における設置のバリエーションを学習させる運転支援用教師データを生成する書込部と、を備えることを特徴とする情報処理装置。
  2. 道路に関する道路環境情報を記憶する記憶部と、
    前記道路の画像を取得する取得部と、
    前記道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析部と、
    前記解析結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定部と、
    前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込む書込部と、
    前記疑似標識が書き込まれた前記画像の被写体に対する陰影に基づいて光源の位置を推定し、該光源の位置に基づいて、前記画像に書き込んだ前記標識の色または明暗を調整するレンダリング部と、を備えることを特徴とする情報処理装置。
  3. 前記解析部による解析の結果、前記画像から前記道路標識と該道路標識の配置位置が検出された場合、前記決定部は、前記道路環境情報に基づいて、前記検出された道路標識の配置位置の水平方向または垂直方向に前記疑似標識を配置させる配置位置を決定する
    ことを特徴とする請求項1又は請求項2に記載の情報処理装置。
  4. 前記解析部による解析の結果、前記画像から前記道路標識と該道路標識の配置位置が検出された場合、前記決定部は、前記道路環境情報に基づいて、前記疑似標識と該疑似標識を支持する標識柱の配置位置を決定する
    ことを特徴とする請求項1又は請求項2に記載の情報処理装置。
  5. 前記解析部による解析の結果、前記画像から前記道路標識が検出されなかった場合、前記決定部は、前記道路環境情報に基づいて、前記疑似標識と該疑似標識を支持する標識柱の配置位置を決定する
    ことを特徴とする請求項1又は請求項2に記載の情報処理装置。
  6. 道路の画像を取得する取得処理と、
    道路に関する道路環境情報を記憶する記憶部に記憶された該道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析処理と、
    前記解析結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定処理と、
    前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込んで、前記道路標識の前記道路における設置のバリエーションを学習させる運転支援用教師データを生成する書込処理と、をコンピュータに実行させることを特徴とする情報処理プログラム。
  7. 道路の画像を取得する取得処理と、
    道路に関する道路環境情報を記憶する記憶部に記憶された該道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析処理と、
    前記解析結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定処理と、
    前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込む書込処理と、
    前記疑似標識が書き込まれた前記画像の被写体に対する陰影に基づいて光源の位置を推定し、該光源の位置に基づいて、前記画像に書き込んだ前記標識の色または明暗を調整するレンダリング処理と、をコンピュータに実行させることを特徴とする情報処理プログラム。
  8. 道路の画像を取得する取得工程と、
    道路に関する道路環境情報を記憶する記憶部に記憶された該道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析工程と、
    前記解析結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定工程と、
    前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込んで、前記道路標識の前記道路における設置のバリエーションを学習させる運転支援用教師データを生成する書込工程と、をコンピュータが実行することを特徴とする情報処理方法。
  9. 道路の画像を取得する取得工程と、
    道路に関する道路環境情報を記憶する記憶部に記憶された該道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析工程と、
    前記解析結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定工程と、
    前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込む書込工程と、
    前記疑似標識が書き込まれた前記画像の被写体に対する陰影に基づいて光源の位置を推定し、該光源の位置に基づいて、前記画像に書き込んだ前記標識の色または明暗を調整するレンダリング処理と、をコンピュータが実行することを特徴とする情報処理方法。
JP2017253139A 2017-12-28 2017-12-28 情報処理装置、情報処理プログラム及び情報処理方法 Active JP7061873B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017253139A JP7061873B2 (ja) 2017-12-28 2017-12-28 情報処理装置、情報処理プログラム及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017253139A JP7061873B2 (ja) 2017-12-28 2017-12-28 情報処理装置、情報処理プログラム及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2019120985A JP2019120985A (ja) 2019-07-22
JP7061873B2 true JP7061873B2 (ja) 2022-05-02

Family

ID=67306338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017253139A Active JP7061873B2 (ja) 2017-12-28 2017-12-28 情報処理装置、情報処理プログラム及び情報処理方法

Country Status (1)

Country Link
JP (1) JP7061873B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119922A1 (ja) * 2021-12-21 2023-06-29 富士フイルム株式会社 画像生成装置、方法及びプログラム並びに学習装置及び学習データ

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122583A (ja) 2003-10-20 2005-05-12 Nissan Motor Co Ltd 仮想標識表示装置
JP2009179248A (ja) 2008-01-31 2009-08-13 Nissan Motor Co Ltd 車両用走行制御装置及びその方法
JP2012030611A (ja) 2010-07-28 2012-02-16 Denso Corp 車両用表示装置
US20160210383A1 (en) 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual autonomous response testbed

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08101924A (ja) * 1994-09-30 1996-04-16 Hitachi Ltd 画像合成方法
JP4986070B2 (ja) * 2008-03-19 2012-07-25 マツダ株式会社 車両用周囲監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122583A (ja) 2003-10-20 2005-05-12 Nissan Motor Co Ltd 仮想標識表示装置
JP2009179248A (ja) 2008-01-31 2009-08-13 Nissan Motor Co Ltd 車両用走行制御装置及びその方法
JP2012030611A (ja) 2010-07-28 2012-02-16 Denso Corp 車両用表示装置
US20160210383A1 (en) 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual autonomous response testbed

Also Published As

Publication number Publication date
JP2019120985A (ja) 2019-07-22

Similar Documents

Publication Publication Date Title
US9405981B2 (en) Optimizing the detection of objects in images
CN110155053B (zh) 提供用于驾驶车辆的信息的方法和设备
US10628890B2 (en) Visual analytics based vehicle insurance anti-fraud detection
US11487988B2 (en) Augmenting real sensor recordings with simulated sensor data
US11455565B2 (en) Augmenting real sensor recordings with simulated sensor data
Zhou et al. Automated evaluation of semantic segmentation robustness for autonomous driving
US11294392B2 (en) Method and apparatus for determining road line
US20190289273A1 (en) Systems and methods for reducing data storage in machine learning
CN110622213A (zh) 利用3d语义地图进行深度定位和分段的系统和方法
JP4717760B2 (ja) 物体認識装置および映像物体測位装置
CN109101690A (zh) 用于渲染车辆自动驾驶模拟器中的场景的方法和装置
US20200357131A1 (en) Methods and Systems for Detecting and Assigning Attributes to Objects of Interest in Geospatial Imagery
Milford Visual Route Recognition with a Handful of Bits.
US20160180171A1 (en) Background map format for autonomous driving
CN101681525A (zh) 产生多视点全景图的方法及设备
KR102218881B1 (ko) 차량 위치 결정 방법 및 시스템
CN117015813A (zh) 对用于训练的点云数据集进行自适应增强的设备、系统、方法和媒体
CN117136315A (zh) 使用模型注入进行点云数据增强的设备、系统、方法和媒体
JP7061873B2 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
EP3376160A1 (en) Method and system for identifying urban objects
CN114519819A (zh) 一种基于全局上下文感知的遥感图像目标检测方法
US20240029296A1 (en) Orientation Determination for Mobile Computing Devices
US20220301129A1 (en) Condition-aware generation of panoramic imagery
US20230088335A1 (en) Road and infrastructure analysis tool
US20240013560A1 (en) Annotation of objects in image frames

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200930

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210908

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220419

R150 Certificate of patent or registration of utility model

Ref document number: 7061873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150