JP5470719B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP5470719B2 JP5470719B2 JP2008058630A JP2008058630A JP5470719B2 JP 5470719 B2 JP5470719 B2 JP 5470719B2 JP 2008058630 A JP2008058630 A JP 2008058630A JP 2008058630 A JP2008058630 A JP 2008058630A JP 5470719 B2 JP5470719 B2 JP 5470719B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- past
- input
- interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
まず最初に、本実施例で用いる主要な用語を説明する。本実施例で用いる「画像処理装置(特許請求の範囲に記載の「画像処理装置」に対応する。)」とは、画像を撮像するカメラ撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する装置のことである。また、画像を撮像して当該「画像処理装置」に入力する装置としては、上記したカメラに限定されることはなく、ビデオカメラやWebカメラなどでもよく、さらには、CDなどの記憶媒体から入力されてもよい。
次に、実施例1に係る画像処理装置の概要および特徴を説明する。この画像処理装置は、上記したように、画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出することを概要とするものであり、特に、環境によらず安定的にフレーム間差分を抽出することが可能であるに主たる特徴がある。
次に、図1を用いて、画像処理装置の構成を説明する。図1は、実施例1に係る画像処理装置の構成を示すブロック図である。図1に示すように、この画像処理装置10は、入力画像受付部11と、外部センサ12と、画像管理DB20と、差分間隔DB21と、環境判定部30と、差分処理部31とから構成される。
次に、図3を用いて、画像処理装置による差分抽出処理を説明する。図3は、実施例1に係る画像処理装置における差分抽出処理の流れを示すフローチャートである。
図3に示すように、画像処理装置10は、入力画像が入力されると(ステップS101肯定)、当該入力画像を画像管理DB20に格納するために、過去画像管理処理を実施する(ステップS102)。なお、過去画像管理処理は、後述する図5において、詳細に説明する。
次に、図4を用いて、画像処理装置による過去画像管理処理を説明する。図4は、実施例1に係る画像処理装置における過去画像管理処理の流れを示すフローチャートである。なお、ここで説明する過去画像管理処理は、図3のステップS102に該当する処理である。
このように、実施例1によれば、カメラにより過去に撮像された過去画像を記憶し、カメラにより入力画像が撮像された際の環境情報を取得し、入力画像が入力された場合に、当該入力画像または取得された環境情報に基づいて、フレーム間差分を実施する間隔を決定し、決定された差分間隔に対応する過去に入力された過去画像を取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出するので、移動体の速度情報だけでなく、様々な環境情報を取得してフレーム間差分間隔を決定し、決定した間隔でフレーム間差分を実施することができる結果、上記した主たる特徴のごとく、画像撮像時の環境によらず安定的にフレーム間差分を抽出することが可能である。
実施例2に係る画像処理装置10は、図5に示すように、『外部センサ12により取得された環境情報を示す「時間帯」、フレーム間差分を実施する間隔を示す「フレーム間差分間隔」』として「昼、1」や「夜、2」などと差分間隔DB21に記憶する。また、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、図5は、実施例2に係る差分間隔DBに記憶される撮像時間帯の例を示す図である。
実施例2に係る画像処理装置10は、図6に示すように、『外部センサ12により取得された環境情報を示す「信号」、フレーム間差分を実施する間隔を示す「フレーム間差分間隔」』として「青、1」、「黄、2」、「赤、10」などと差分間隔DB21に記憶する。また、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、図6は、実施例2に係る差分間隔DBに記憶される撮像時の信号点灯状態の例を示す図である。
実施例2に係る画像処理装置10は、外部センサ12により取得された環境情報を示す「信号」と「時間帯」とに対応付けて、フレーム間差分を実施する間隔を示す「フレーム間差分間隔」を記憶する差分間隔DB22を備える。例えば、画像処理装置10は、図7に示すように、「青、昼、1」、「赤、夜、15」などを差分間隔DB22に記憶する。また、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、図7は、実施例2に係る差分間隔DBに記憶される撮像時間と信号点灯状態の例を示す図である。
まず、図10を用いて、交通量から差分間隔を算出する例について説明する。図10の(1)に示すように、画像処理装置は、差分間隔算出式のパラメータとして「車両の長さ=5m、車両間=2.5m、入力画像から車両を特定する範囲を示す観察範囲=0〜100m」が予め設定されている。なお、上記した数値はあくまで例であり、これに限定されるものではない。また、図10は、交通量から差分間隔を算出するための算出式の例を示す図である。
次に、図11を用いて、時間帯から差分間隔を算出する例について説明する。図11に示すように、画像処理装置は、撮像された時間帯および月に応じて、差分間隔算出式が予め設定されている。なお、図11は、時間帯から差分間隔を算出するための算出式の例を示す図である。
次に、図12を用いて、天候から差分間隔を算出する例について説明する。図12に示すように、画像処理装置は、撮像された天候に応じて、差分間隔算出式が予め設定されている。なお、図12に示した数値はあくまで例であり、これに限定されるものではない。また、図12は、天候から差分間隔を算出するための算出式の例を示す図である。
このように、実施例5によれば、入力画像または環境情報に基づく算出式を用いて、フレーム間差分を実施する間隔を決定する、具体的には画像上で対象物の移動速度が遅い場合もしくは対象物を判別しにくい場合に、フレーム間差分の間隔をより長くするように決定するので、画像撮像時の環境の変化に柔軟に対応することができる結果、安定的にフレーム間差分を抽出することが可能である。
例えば、実施例1〜5では、本発明を自動車などが走る道路の信号機や標識に設置された場合について説明したが、本発明はこれに限定されるものではなく、飛行機や車両のなどの移動体に備えることもでき、信号機や標識、滑走路など固定的に設置することもできる。
また、実施例1〜5では、環境情報として「交通量、信号機状態、天候、時刻」などを用いた場合を説明したが、本発明はこれに限定されるものではなく、視程計、雨量計などを備えた外部センサを使用することで、例えば、霧や雨などの天候の細かな情報を用いることもできる。
また、実施例1〜5では、決定したフレーム間差分間隔に基づいて、フレーム間差分処理を実施して、差分(差分画像)を得る場合を説明したが、本発明はこれに限定されるものではなく、算出した差分から移動体を検出することもできる。その結果、車載装置など移動体に搭載されている車載制御システムなどへの適用も非常に有効である。例えば、抽出された差分画像から移動体が近い位置(差分画像には大きく撮像される)に存在する場合に、ブレーキを制御したりすることが可能である。なお、フレーム間差分間隔を長くしすぎると、画像中の移動体検出が困難になる場合があるので、上記実施例中で述べた差分間隔の求め方に限らず、実際の検出対象に応じて、差分間隔の上限値や下限値を定めたり、差分間隔の決定方法を変化させても構わない。
また、実施例1〜5では、画像が入力される度に、取得した環境情報に基づいてフレーム間差分間隔を決定する場合について説明したが、本発明はこれに限定されるものではなく、取得した環境情報が変化した場合にのみ、取得した環境情報に基づいてフレーム間差分間隔を決定することもできる。その結果、環境の変化に迅速に対応することが可能である。また、画像が入力される度にフレーム間差分間隔を決定する場合に比べて、処理負荷を軽減することが可能である。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合(例えば、外部センサと環境判定部とを統合するなど)して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムを他の実施例として説明する。
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得手段と、
前記入力画像が入力された場合に、当該入力画像または前記環境情報取得手段により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定手段と、
前記差分間隔決定手段により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手段と、
を備えたことを特徴とする画像処理装置。
前記差分間隔決定手段は、前記環境情報取得手段により取得された交通量が多い場合のフレーム間差分の間隔を、前記交通量が少ない場合に比べて長い間隔として決定することを特徴とする付記1に記載の画像処理装置。
前記差分間隔決定手段は、前記環境情報取得手段により取得された昼夜情報が夜である場合のフレーム間差分の間隔を、前記昼夜情報が昼である場合に比べて長い間隔として決定することを特徴とする付記1に記載の画像処理装置。
前記差分間隔決定手段は、前記環境情報取得手段により取得された信号機状態が黄色または赤色である場合のフレーム間差分の間隔を、前記信号機状態が青色である場合に比べて長い間隔として決定し、また、前記環境情報取得手段により取得された信号機状態が赤色である場合のフレーム間差分の間隔を、前記信号機状態が黄色である場合に比べて長い間隔として決定することを特徴とする付記1に記載の画像処理装置。
前記差分間隔決定手段は、前記環境情報取得手段により取得された距離が短いほど、もしくは、前記物体が入力画像の下方にあるほど、前記フレーム間差分を実施する間隔を短く決定することを特徴とする付記1に記載の画像処理装置。
前記差分間隔決定手段は、前記環境情報取得手段により取得された複数の領域毎の環境情報に基づいて、前記複数の領域毎にフレーム間差分を実施する間隔を決定し
前記差分抽出手段は、前記差分間隔決定手段により決定された複数の領域毎の差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、前記複数の領域毎にフレーム間差分を実施して、差分を抽出することを特徴とする付記1に記載の画像処理装置。
前記差分間隔決定手段は、前記環境情報取得手段により取得された各画素毎の環境情報に基づいて、前記各画素毎にフレーム間差分を実施する間隔を決定し
前記差分抽出手段は、前記差分間隔決定手段により決定された各画素毎の差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、前記各画素毎にフレーム間差分を実施して、差分を抽出することを特徴とする付記1に記載の画像処理装置。
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得工程と、
前記入力画像が入力された場合に、当該入力画像または前記環境情報取得工程により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定工程と、
前記差分間隔決定工程により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出工程と、
を含んだことを特徴とする画像処理方法。
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得手順と、
前記入力画像が入力された場合に、当該入力画像または前記環境情報取得手順により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定手順と、
前記差分間隔決定手順により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
11 入力画像受付部
12 外部センサ
20 画像管理DB
21 差分間隔DB
30 環境判定部
31 差分処理部
100 コンピュータシステム
101 RAM
102 HDD
102a 画像管理テーブル
102b 差分間隔テーブル
103 ROM
103a 入力画像受付プログラム
103b 環境情報取得プログラム
103c 環境判定プログラム
103d 差分処理プログラム
104 CPU
104a 入力画像受付プロセス
104b 環境情報取得プロセス
104c 環境判定プロセス
104d 差分処理プロセス
Claims (4)
- 画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する画像処理装置であって、
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報として交通量を、前記入力画像ごとに取得する環境情報取得手段と、
前記入力画像が入力されて、前記画像記憶手段に記憶される過去画像の中から、前記入力画像と前記フレーム間差分を実施する実施対象の過去画像として前記入力画像から何フレーム前の過去画像を用いるかを決定する際に、前記環境情報取得手段により取得された交通量が多い場合、前記交通量が少ない場合に比べて古い過去画像を前記実施対象の過去画像に決定する差分間隔決定手段と、
前記差分間隔決定手段により決定された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手段と、
を備えたことを特徴とする画像処理装置。 - 画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する画像処理装置であって、
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報として昼夜情報を、前記入力画像ごとに取得する環境情報取得手段と、
前記入力画像が入力されて、前記画像記憶手段に記憶される過去画像の中から、前記入力画像と前記フレーム間差分を実施する実施対象の過去画像として前記入力画像から何フレーム前の過去画像を用いるかを決定する際に、前記環境情報取得手段により取得された昼夜情報が夜である場合、前記昼夜情報が昼である場合に比べて古い過去画像を前記実施対象の過去画像に決定する差分間隔決定手段と、
前記差分間隔決定手段により決定された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手段と、
を備えたことを特徴とする画像処理装置。
- 画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する画像処理装置であって、
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報として信号機状態を、前記入力画像ごとに取得する環境情報取得手段と、
前記入力画像が入力されて、前記画像記憶手段に記憶される過去画像の中から、前記入力画像と前記フレーム間差分を実施する実施対象の過去画像として前記入力画像から何フレーム前の過去画像を用いるかを決定する際に、前記環境情報取得手段により取得された信号機状態が黄色または赤色である場合、前記信号機状態が青色である場合に比べて古い過去画像を前記実施対象の過去画像に決定し、また、前記環境情報取得手段により取得された信号機状態が赤色である場合、前記信号機状態が黄色である場合に比べて古い過去画像を前記実施対象の過去画像に決定する差分間隔決定手段と、
前記差分間隔決定手段により決定された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手段と、
を備えたことを特徴とする画像処理装置。 - 前記差分間隔決定手段は、前記環境情報に基づく算出式を用いて、前記実施対象の過去画像を決定することを特徴とする請求項1から3のいずれか一つに記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008058630A JP5470719B2 (ja) | 2008-03-07 | 2008-03-07 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008058630A JP5470719B2 (ja) | 2008-03-07 | 2008-03-07 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009217400A JP2009217400A (ja) | 2009-09-24 |
JP5470719B2 true JP5470719B2 (ja) | 2014-04-16 |
Family
ID=41189206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008058630A Expired - Fee Related JP5470719B2 (ja) | 2008-03-07 | 2008-03-07 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5470719B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102015945B1 (ko) * | 2018-04-19 | 2019-08-28 | 주식회사 크라우드웍스 | 자율주행을 위한 학습대상 이미지 패키징 장치 및 방법 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1091893A (ja) * | 1996-09-17 | 1998-04-10 | Toyota Motor Corp | 道路監視装置 |
JP2001167282A (ja) * | 1999-12-10 | 2001-06-22 | Toshiba Corp | 移動物体抽出装置及びその方法 |
JP3603737B2 (ja) * | 2000-03-30 | 2004-12-22 | 日本電気株式会社 | 移動体追尾方法及びその装置 |
JP2004007089A (ja) * | 2002-05-30 | 2004-01-08 | Nippon Advantage Corp | 状態変化判定装置 |
JP4347079B2 (ja) * | 2004-02-13 | 2009-10-21 | パナソニック株式会社 | 車両検知装置および車両検知方法 |
-
2008
- 2008-03-07 JP JP2008058630A patent/JP5470719B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009217400A (ja) | 2009-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4733756B2 (ja) | 車両周辺監視装置 | |
JP2020052694A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
JP7355151B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5576937B2 (ja) | 車両の周辺監視装置 | |
JP4858761B2 (ja) | 衝突危険性判定システム及び警告システム | |
CN104823214A (zh) | 车载图像处理装置 | |
JP4600929B2 (ja) | 停止低速車両検出装置 | |
CN104427255A (zh) | 车载相机的图像处理方法和使用该方法的图像处理设备 | |
JP4988781B2 (ja) | 車両の周辺監視装置 | |
WO2016147899A1 (ja) | 画像処理によるハンガー検出装置 | |
JP2010224670A (ja) | 車両の周辺監視装置 | |
JP2007026300A (ja) | 交通流異常検出装置及び交通流異常検出方法 | |
JP4972116B2 (ja) | 車両の周辺監視装置 | |
JP3995671B2 (ja) | 画像処理装置 | |
JP2010191888A (ja) | 画像処理装置及び交通監視装置 | |
JP5470719B2 (ja) | 画像処理装置 | |
JP2002367077A (ja) | 交通渋滞判定装置及び交通渋滞判定方法 | |
JP5276032B2 (ja) | 対象物の位置を算出するための装置 | |
KR20150055345A (ko) | 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치 | |
JP2008299787A (ja) | 車両検知装置 | |
JP4668754B2 (ja) | 交通流計測装置 | |
JP4447309B2 (ja) | 交差点交通量計測装置および交差点交通量計測方法 | |
KR102492290B1 (ko) | 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템 | |
JP2016085105A (ja) | 移動体の速度推定装置、方法、及びプログラム | |
JP2004364112A (ja) | 車両周辺表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120403 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130924 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140120 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |