JP6796442B2 - 画像処理方法、画像処理装置およびプログラム - Google Patents
画像処理方法、画像処理装置およびプログラム Download PDFInfo
- Publication number
- JP6796442B2 JP6796442B2 JP2016188647A JP2016188647A JP6796442B2 JP 6796442 B2 JP6796442 B2 JP 6796442B2 JP 2016188647 A JP2016188647 A JP 2016188647A JP 2016188647 A JP2016188647 A JP 2016188647A JP 6796442 B2 JP6796442 B2 JP 6796442B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- time
- images
- image
- annotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
Description
[画像処理装置10の構成]
図1は、実施の形態1における画像処理装置10の機能構成の一例を示す図である。
図2は、実施の形態1におけるアノテーション部11が取得する複数の画像の一例を示す図である。図3および図4は、図2に示す複数の画像に対して実施の形態1におけるアノテーション部11が行う画像処理の一例の説明図である。
取得部111は、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、少なくとも一部の画像に、当該画像の中に存在する遮蔽物の近傍かつ車両の走行経路中に存在する運動物体であることを示す第1領域を示す第1アノテーションが付与された複数の画像を取得する。
判定部112は、取得部111が取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、第1アノテーションの有無に基づいて当該画像における第1領域の有無を判定する。
決定部113は、複数の画像のうち判定部112で第1領域が無いと判定された最初の第1時刻における画像を特定する。決定部113は、特定した第1時刻の画像の遮蔽物の領域の一部を含み、運動物体が隠れており当該運動物体が当該遮蔽物から走行経路中に出現する前であることを示す第2領域であって、時系列上の第1時刻の次の時刻である第2時刻における画像中の第1領域の大きさに応じた大きさの第2領域を決定する。ここで、決定部113は、第2時刻における画像中の第1領域を、当該第1領域から遮蔽物に向かう方向にそのまま所定距離ずらすことにより、第1時刻の画像の遮蔽物の領域の一部を含む第2領域を決定する。なお、運動物体が人物である場合、第2領域は、第1領域と同一の大きさの領域である。
付与部114は、決定部113で決定された第2領域を示す第2アノテーションを付与する。
図6は、図1に示す絞り込み部12の詳細機能構成の一例を示す図である。図7は、実施の形態1における絞り込み部12の第1絞り込み方法の説明図である。図8は、実施の形態1における絞り込み部12の第2絞り込み方法の説明図である。
記憶部13は、HDD(Hard Disk Drive)やメモリ等で構成されている。記憶部13は、絞り込み部12により絞り込まれた複数の画像を記憶している。
次に、以上のように構成された画像処理装置10の動作について、図9〜図12を用いて説明する。
以上のように、本実施の形態によれば、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる画像処理方法等を実現できる。
実施の形態1では、運動物体の例として人物を例に挙げたがこれに限らない。遮蔽物が駐停車中の自動車で、運動物体が駐停車中の自動車のドアであってもよい。この場合、第2領域は、第1領域と同一の大きさでよい。以下、図14および図15を用いて具体的に説明する。
変形例1では、運動物体の例として自動車のドアを例に挙げたがこれに限らない。運動物体はボールやフリスビーなど子供が遊びに使う物体であってもよい。この場合、第2領域は、第1領域を第1時刻の画像中の高さ方向に拡大した領域と同一の大きさの領域であってもよい。以下、運動物体がボールである場合の例について、図16および図17を用いて具体的に説明する。
実施の形態1では、車載カメラが前方カメラであるとして説明したが、これに限らない。車載カメラが前方に走行する車両の左または右方向を撮影するサイドカメラであってもよい。
上記の実施の形態1および変形例1〜変形例3では、アノテーション部11が第2領域を決定し、決定した第2領域を示す第2アノテーションを付すことについて説明したが、これに限らない。アノテーション部11は、走行中の車両にとっての危険領域である第2領域を決定することに加えて、第2領域の危険度をさらに決定してもよい。この場合、アノテーション部11は、走行中の車両にとっての危険領域である第2領域を示すことに加えてその危険度を示す第2アノテーションを付与すればよい。以下、第2領域の危険度の決定方法等について具体的に説明する。
図20は、変形例4の第1例におけるアノテーション部11が取得処理で取得する複数の画像の一例を示す図である。図21は、変形例4の第1例におけるアノテーション部11が付与する第2アノテーションの一例を示す図である。
図22は、変形例4の第2例におけるアノテーション部11が取得する複数の画像の一例を示す図である。図23は、変形例4の第2例におけるアノテーション部11が付与する第2アノテーションの一例を示す図である。
なお、危険度の決定方法は、上記のようにアノテーション部11が取得する複数の画像に基づく場合に限らない。当該複数の画像に紐付けられている車両のブレーキ強度または加速度を示す情報に基づいて、危険度を決定するとしてもよい。
実施の形態1では、車載カメラにより撮影された時系列画像において画像内に見える人物などの運動物体を示すアノテーションをクラウドソーシングのワーカに行わせるとして説明した。しかし、ワーカの作業品質は一定ではないので、車載カメラにより撮影された時系列画像のうち一部の画像において、人物などの運動物体が画像内に見えていても当該運動物体があることを示す第1領域を示すアノテーションが付されていない場合も考えられる。
実施の形態2に係る画像処理装置10Aは、実施の形態1に係る画像処理装置10と比較して、アノテーション部11Aの判定部112Aの構成が異なる。それ以外の構成は、実施の形態1に係る画像処理装置10と同様のため説明は省略する。
図25は、実施の形態2における判定部112の詳細構成の一例を示す図である。
次に、以上のように構成された画像処理装置10Aの動作について、図26〜図29を用いて説明する。
以上のように、本実施の形態によれば、車載カメラにより撮影された複数の画像の一部の画像において、高度な認識を必要としない第1領域を示す第1アノテーションが付されていない場合でも、複数の画像(映像)を巻き戻しながら第1領域を追跡することで、当該第1領域の有無を画像認識で機械的に判定することができる。つまり、一部の画像に付されているべき第1領域を示す第1アノテーションが付されていない場合でも、画像処理により当該一部の画像に第1領域が有るか否か判定することができる。これにより、車載カメラにより撮影された複数の画像に対して、高度な認識を必要とする第2領域を示す第2アノテーションを機械的に付すことができるので、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる画像処理方法等を実現できる。
実施の形態1では、車載カメラにより撮影された時系列画像において画像内に見える人物などの運動物体を示すアノテーションをクラウドソーシングのワーカに行わせるとして説明したが、これに限らない。当該時系列画像に対して運動物体を示す領域および当該領域を示すアノテーションをワーカではなく、画像処理装置が付すとしてもよい。
図29は、実施の形態3における画像処理装置10Bの機能構成の一例を示す図である。なお、図1等と同様の要素には同一の符号を付しており、詳細な説明は省略する。
以上のように、本実施の形態によれば、車載カメラにより撮影された映像データ(時系列画像)において、高度な認識を必要としない領域およびその領域を示すアノテーションを、クラウドソーシングのワーカではなく、機械的に(画像処理装置10Bが)付すことができる。そして、車載カメラにより撮影された複数の画像に対して、さらに、高度な認識を必要とする第2領域を示す第2アノテーションを機械的に付すことができる。
11、11A アノテーション部
12 絞り込み部
13、20、20B、30、40 記憶部
60、61、62、63、64、65、66、67、68 運動物体
101、101a、101b、101c、101d、101e、101f、102、102a、102b、103a、103b、104a、104b、104n、105a、105b、105c、105n、106a、106b、107a、107b フレーム
111 取得部
112、112A 判定部
113 決定部
121 第1絞り込み部
122 第2絞り込み部
1011、1020、1021、1031、1041、1051、1061、1071 道路
1012、1022、1032、1042、1052、1062、1063、1072 遮蔽物
Claims (15)
- 車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、少なくとも一部の画像に、当該画像の中に存在する遮蔽物の位置から出現した運動物体であって前記車両の走行経路中に存在する運動物体であることを示す第1領域を示す第1アノテーションが付与された複数の画像を取得する取得ステップと、
前記取得ステップにおいて取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第1アノテーションの有無に基づいて当該画像における前記第1領域の有無を判定する判定ステップと、
前記複数の画像のうち前記判定ステップにおいて前記第1領域が無いと判定された最初の第1時刻における画像を特定し、特定した前記第1時刻の画像の前記遮蔽物の一部を少なくとも含む第2領域であって、前記運動物体が隠れており前記運動物体が前記遮蔽物から前記走行経路中に出現する前であることを示す第2領域を決定する決定ステップと、
前記決定ステップにおいて決定された前記第2領域を示す第2アノテーションを付与する付与ステップと、を含む、
画像処理方法。 - 前記決定ステップでは、
時系列上の前記第1時刻の次の時刻である第2時刻における画像中の前記第1領域を、当該第1領域から前記遮蔽物に向かう方向にそのまま所定距離ずらすことにより、前記第1時刻の画像の前記遮蔽物の一部を少なくとも含む前記第2領域を決定する、
請求項1に記載の画像処理方法。 - 前記決定ステップでは、さらに、
前記第1時刻の画像より時系列上の所定時間遡った時刻までに含まれる1以上の画像を特定し、特定した1以上の画像において前記遮蔽物の一部を少なくとも含む前記第2領域を決定する、
請求項1または2に記載の画像処理方法。 - 前記画像処理方法は、さらに、
前記車両に搭載された車載カメラにより撮影された時系列に連続するすべての画像であって前記車両のブレーキ強度または加速度を示す情報と紐付けられているすべての画像のうち、前記車両のブレーキ強度または加速度が閾値より大きい時点から一定期間前の時点までの複数の画像である第1絞り込み画像を選択する第1絞り込みステップと、
前記第1絞り込みステップにおいて選択された前記第1絞り込み画像のうち、前記車両の走行経路中に存在する運動物体であることを示す領域を示すアノテーションが付与された1以上の画像を含む時系列に連続する複数の画像を選択することにより、前記すべての画像から、前記少なくとも一部の画像に前記第1アノテーションが付与された前記複数の画像に絞り込む第2絞り込みステップと、を含み、
前記取得ステップでは、前記第2絞り込みステップにおいて絞り込まれた前記複数の画像を取得する、
請求項1〜3のいずれか1項に記載の画像処理方法。 - 前記画像処理方法は、さらに、
前記第1絞り込みステップの前に、クラウドソーシングのワーカに、前記すべての画像に対して、画像中に存在する運動物体であることを示す領域を示すアノテーションを付与させるワーカステップを含む、
請求項4に記載の画像処理方法。 - 前記画像処理方法は、さらに、
前記第2絞り込みステップの前に、クラウドソーシングのワーカに、前記第1絞り込みステップにおいて選択された前記第1絞り込み画像に対して、当該第1絞り込み画像中に存在する運動物体であることを示す領域を示すアノテーションを付与させるワーカステップを含む、
請求項5に記載の画像処理方法。 - 前記第2領域は、前記車両が走行する上で前記運動物体と衝突する可能性のある危険領域であり、
前記画像処理方法は、さらに、
前記付与ステップにおいて付与された前記第2アノテーションに、前記車両のブレーキ強度または加速度が前記閾値より大きい時点における前記ブレーキ強度または加速度の大きさに応じた危険度を含める危険度付与ステップを含む、
請求項4〜6のいずれか1項に記載の画像処理方法。 - 前記運動物体は、人物であり、
前記第2領域は、前記第1領域と同一の大きさの領域である、
請求項1〜7のいずれか1項に記載の画像処理方法。 - 前記遮蔽物は、駐停車中の自動車であり、
前記運動物体は、自動車のドアであり、
前記第2領域は、前記第1領域と同一の大きさの領域である、
請求項1〜7のいずれか1項に記載の画像処理方法。 - 前記運動物体は、子供が遊びに使う物体であり、
前記第2領域は、前記第1領域を前記第1時刻の画像中の高さ方向に拡大した領域と同一の大きさの領域である、
請求項1〜7のいずれか1項に記載の画像処理方法。 - 前記第2領域は、前記車両が走行する上で前記運動物体と衝突する可能性のある危険領域であり、
前記画像処理方法は、さらに、
前記付与ステップにおいて付与された前記第2アノテーションに、さらに、前記運動物体の属性に応じた危険度を含める危険度付与ステップを含む、
請求項8に記載の画像処理方法。 - 前記第2領域は、前記車両が走行する上で前記運動物体と衝突する可能性のある危険領域であり、
前記画像処理方法は、さらに、
前記付与ステップにおいて付与された前記第2アノテーションに、さらに、前記第2領域の大きさが大きいほど高い危険度を含める危険度付与ステップを含む、
請求項1〜10のいずれか1項に記載の画像処理方法。 - 前記判定ステップは、
前記取得ステップにおいて取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第1アノテーションが付与されていない最初の画像を判定する第1判定ステップと、
前記第1判定ステップにおいて判定された前記最初の画像の第3時刻の時系列上の次の時刻における画像中の前記第1領域を、前記第3時刻の画像から時刻を時系列順に遡りながら、当該第1領域から前記遮蔽物に向かう方向にずらした当該画像それぞれの中の位置に前記第1領域が存在するかを画像処理により判定する第2判定ステップとを含む、
請求項1〜12にいずれか1項に記載の画像処理方法。 - 車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、少なくとも一部の画像に、当該画像の中に存在する遮蔽物の位置から出現した運動物体であって前記車両の走行経路中に存在する運動物体であることを示す第1領域を示す第1アノテーションが付与された複数の画像を取得する取得部と、
前記取得部が取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第1アノテーションの有無に基づいて当該画像における前記第1領域の有無を判定する判定部と、
前記複数の画像のうち前記判定部により前記第1領域が無いと判定された最初の第1時刻における画像を特定し、特定した前記第1時刻の画像の前記遮蔽物の一部を少なくとも含む第2領域であって、前記運動物体が隠れており前記運動物体が前記遮蔽物から前記走行経路中に出現する前であることを示す第2領域を決定する決定部と、
前記決定部において決定された前記第2領域を示す第2アノテーションを付与する付与部とを、備える、
画像処理装置。 - 車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、少なくとも一部の画像に、当該画像の中に存在する遮蔽物の位置から出現した運動物体であって前記車両の走行経路中に存在する運動物体であることを示す第1領域を示す第1アノテーションが付与された複数の画像を取得する取得ステップと、
前記取得ステップにおいて取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第1アノテーションの有無に基づいて当該画像における前記第1領域の有無を判定する判定ステップと、
前記複数の画像のうち前記判定ステップにおいて前記第1領域が無いと判定された最初の第1時刻における画像を特定し、特定した前記第1時刻の画像の前記遮蔽物の一部を少なくとも含む第2領域であって、前記運動物体が隠れており前記運動物体が前記遮蔽物から前記走行経路中に出現する前であることを示す第2領域を決定する決定ステップと、
前記決定ステップにおいて決定された前記第2領域を示す第2アノテーションを付与する付与ステップとを、
コンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710107769.7A CN107181908B (zh) | 2016-03-11 | 2017-02-27 | 图像处理方法、图像处理装置及计算机可读记录介质 |
EP17158268.7A EP3217358B1 (en) | 2016-03-11 | 2017-02-28 | Image processing method, image processing apparatus, and recording medium |
US15/450,360 US10210420B2 (en) | 2016-03-11 | 2017-03-06 | Image processing method, image processing apparatus, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662306827P | 2016-03-11 | 2016-03-11 | |
US62/306,827 | 2016-03-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017162436A JP2017162436A (ja) | 2017-09-14 |
JP6796442B2 true JP6796442B2 (ja) | 2020-12-09 |
Family
ID=59857121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016188647A Active JP6796442B2 (ja) | 2016-03-11 | 2016-09-27 | 画像処理方法、画像処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6796442B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3432198B1 (en) * | 2017-07-19 | 2024-04-17 | Tata Consultancy Services Limited | Crowdsourcing and deep learning based segmenting and karyotyping of chromosomes |
US11514310B2 (en) * | 2018-12-21 | 2022-11-29 | Waymo Llc | Training a classifier to detect open vehicle doors |
JP7455598B2 (ja) * | 2020-02-04 | 2024-03-26 | 株式会社デンソーテン | 画像処理装置、アノテーション処理装置、画像処理方法、アノテーション処理方法、画像処理プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0785280B2 (ja) * | 1992-08-04 | 1995-09-13 | タカタ株式会社 | 神経回路網による衝突予測判定システム |
DE102004018813A1 (de) * | 2004-04-19 | 2006-02-23 | Ibeo Automobile Sensor Gmbh | Verfahren zur Erkennung und/oder Verfolgung von Objekten |
JP4910090B2 (ja) * | 2007-02-19 | 2012-04-04 | 国立大学法人横浜国立大学 | 画像処理システム |
JP2010287029A (ja) * | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | 周辺表示装置 |
JP5197679B2 (ja) * | 2010-06-09 | 2013-05-15 | 株式会社豊田中央研究所 | 対象物検出装置及びプログラム |
-
2016
- 2016-09-27 JP JP2016188647A patent/JP6796442B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017162436A (ja) | 2017-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3217358B1 (en) | Image processing method, image processing apparatus, and recording medium | |
Guo et al. | Is it safe to drive? An overview of factors, metrics, and datasets for driveability assessment in autonomous driving | |
US10482334B1 (en) | Driver behavior recognition | |
US10860873B2 (en) | Driver behavior recognition and prediction | |
JP6554280B2 (ja) | データ処理装置、画像処理方法、及び、プログラム | |
CN107004363B (zh) | 图像处理装置及车载显示系统及显示装置及图像处理方法 | |
JP6796442B2 (ja) | 画像処理方法、画像処理装置およびプログラム | |
US10282634B2 (en) | Image processing method, image processing apparatus, and recording medium for reducing variation in quality of training data items | |
CN110321916A (zh) | 学习数据制作方法、学习方法、危险预测方法及装置、程序存储介质 | |
EP3605493B1 (en) | Vehicle control device, vehicle control method, and program | |
Saleh et al. | Spatio-temporal DenseNet for real-time intent prediction of pedestrians in urban traffic environments | |
US20230154195A1 (en) | Driving scenario understanding | |
Wang et al. | A survey on datasets for the decision making of autonomous vehicles | |
JP5895728B2 (ja) | 車群管理装置 | |
JP6726075B2 (ja) | 画像処理方法、画像処理装置およびプログラム | |
Hirayama et al. | Analysis of temporal relationships between eye gaze and peripheral vehicle behavior for detecting driver distraction | |
Zheng et al. | Identification of adaptive driving style preference through implicit inputs in sae l2 vehicles | |
US20210271898A1 (en) | System for performing intersection scenario retrieval and method thereof | |
CN111278708A (zh) | 用于辅助驾驶的方法和装置 | |
CN107180067B (zh) | 图像处理方法、图像处理装置及记录介质 | |
CN105459902B (zh) | 车辆制动状态显示控制装置及其方法 | |
US20230098014A1 (en) | Method for Predicting Traffic Light Information by Using Lidar and Server Using the Same | |
Englund | Action intention recognition of cars and bicycles in intersections | |
JP2014203196A (ja) | 危険度判定装置、危険度判定方法、警報装置、及び運転支援装置 | |
JP7071847B2 (ja) | 自動運転車両を制御するためのシステム、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190408 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6796442 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |