JP4387015B2 - マルチタスクスケジューリングによる画像処理の統合方法 - Google Patents
マルチタスクスケジューリングによる画像処理の統合方法 Download PDFInfo
- Publication number
- JP4387015B2 JP4387015B2 JP34929899A JP34929899A JP4387015B2 JP 4387015 B2 JP4387015 B2 JP 4387015B2 JP 34929899 A JP34929899 A JP 34929899A JP 34929899 A JP34929899 A JP 34929899A JP 4387015 B2 JP4387015 B2 JP 4387015B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- image processing
- task
- image
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画像処理装置によって別々に処理していた画像処理を統合し、複数の事象の計測を１台の画像処理装置によってリアルタイムに処理可能としたマルチタスクスケジューリングによる画像処理の統合方法に関する。
【０００２】
【従来の技術】
テレビカメラなどの撮影手段で監視対象領域を撮影し、この撮影画像を画像処理することによって画像中から車両などの目的とする物体を抽出して所定の事象を計測する画像処理装置は、２次元空間情報を扱うことから、従来のループコイルや超音波、赤外線などを用いたスポット的なセンサに比べ、その検出範囲を飛躍的に広げることができるという特徴を備えている。
【０００３】
図５に従来の画像処理装置の構成例を示す。
図５（ａ）は最も古くから用いられている画像処理装置の例を示すもので、画像処理装置５１をテレビカメラ５２とともに現場に設置し、それぞれの画像処理装置の検出結果を通信回線を通じて管理事務所などに設置した監視制御卓５３に送り、管理事務所などにおいて集中監視するものである。この形式の画像処理装置の場合、１台のＴＶカメラ毎に１台の画像処理装置が必要となり、システム全体のコストが高価になるという問題があった。
【０００４】
一方、光ファイバケーブルなどの映像伝送設備の急速な発展に伴い、近年においては、図５（ｂ）に示すように、管理事務所側に１台の画像処理装置５１を設置し、複数台のＴＶカメラ５２の映像を光ケーブルなどを通じて管理事務所に送り、映像スイッチャ５４で入力を切り替えることによって１台の画像処理装置５１で画像処理すると同時に、テレビモニタ５５などで現場を遠隔監視することが可能となった。この形式の画像処理装置の場合、効率の高いシステムを構築することができ、管理事務所において複数の現場状況をリアルタイムに集中管理することができる。
【０００５】
しかしながら、この図５（ｂ）の形式の画像処理装置の場合、計測インターバルを比較的長くとることが可能である静的な計測項目については有効であるが、リアルタイム計測が必要とされる動的な検出項目に対しては適用することが困難である。これを実現するには、例えば、より高速なハードウエアを使用することが考えられるが、この高速なハードウエアの適用自体がコストの増加を招き、根本的な解決とはならない。そのため、この種の画像処理装置においてシステムの効率向上とコストダウンを図るには、各画像処理機能の統合を図ることが必要不可欠である。
【０００６】
【発明が解決しようとする課題】
本発明は、上記問題を解決するためになされたもので、その目的とするところは、複数の画像処理装置によって別々に処理していた画像処理を統合し、複数の事象の計測を１台の画像処理装置によってリアルタイムに処理可能としたコストパフォーマンスに優れたマルチタスクスケジューリングによる画像処理の統合方法を提供することである。
【０００７】
【課題を解決するための手段】
一般に、リアルタイムＯＳ（オペレーティング・システム）上で、マルチタスクを制御するための代表的なスケジュール手法としては、タイムスライスおよびプリエンプションと呼ばれる手法がある。タイムスライスは複数の処理タスクの動作時間を均等に分割してＣＰＵに割り付けるスケジューリング方法であり、一方のプリエンプションは、優先順位の高いタスクを優先的にＣＰＵに割り付けるスケジューリング方法である。本発明は、このタイムスライスとプリエンプションを併用して複数の処理タスクをスケジューリングすることにより、複数の画像処理装置によって別々に処理していた画像処理を統合し、複数の事象の計測を１台の画像処理装置によってリアルタイムに処理可能としたものである。
【０００８】
すなわち、本発明のマルチタスクスケジューリングによる画像処理の統合方法は、撮影手段によって撮影した計測対象領域の撮影画像に対して所定の画像処理を施すことによって予め定めた複数の事象の計測を行なう画像処理装置において、各事象を計測するための複数の処理タスクの間に優先処理順位を設定し、少なくとも、第１順位の処理タスクと他の処理タスクとの間ではプリエンプションによって第１順位の処理タスクが優先処理されるようにタスクスケジューリングするとともに、他の処理タスク同士の間ではタイムスライスによってそれぞれの処理タスクに処理時間を割り振るようにタスクスケジューリングすることを特徴とするものである。
【０００９】
このような処理方法とした場合、タイムスライスとプリエンプションを併用してタスク処理することができるので、計測インターバルを比較的長くとることが可能である静的な計測項目と、リアルタイム計測が必要とされる動的な検出項目の両方を１つの画像処理装置でリアルタイム処理することが可能となる。このため、従来においては個々の画像処理装置でそれぞれ個別に計測していた複数の事象を一台の画像処理装置でリアルタイムに処理することが可能となり、画像処理装置のコストパフォーマンスを格段に向上することができる。
【００１０】
【発明の実施の形態】
以下、本発明方法を道路交通監視システムに適用し、交通流検出装置と路面状況検出装置という２つの画像処理装置を１つに統合した場合を例にとって実施の形態を説明する。なお、本発明の実施の形態の説明に入る前に、先ず、処理統合の対象とする交通流検出装置と路面状況検出装置のそれぞれの検出手法、ハードウエア構成およびそのシステム仕様について述べる。
【００１１】
（Ａ）交通流検出装置
交通流の検出手法としては、テレビカメラなどで撮影した撮影画像内に存在する個々の車両を抽出し、各車両の移動ベクトルを追跡することによって、通過台数や走行速度、違法駐車などを検出するものである。
【００１２】
図１は、この交通流検出装置のハードウェア回路のブロック図である。図中、１は計測対象とする高速道路や一般道路の路面を上方から俯瞰撮影するテレビ（ＴＶ）カメラ、２はテレビカメラ１から送られてくるビデオ信号をデジタル信号に変換するＡＤ変換器（ＡＤ）とパイプライン制御用のシーケンスコントローラ（ＳＥＱ）を一体に組み込んだＡＤ−ＳＥＱボード、３はテレビカメラ１で撮影された画像を基に背景差分処理によって画像中から車両を抽出する第１の画像処理ボード（以下、「ＩＰ１ボード」という）、４は車両抽出画像から個々の車両を検出し、相互相関処理などによって移動追跡処理を行なう第２の画像処理ボード（以下、「ＩＰ２ボード」という）、５は車両追跡結果を受けて個々の車両の移動ベクトルから通過車両台数、通過車両速度、違法駐車などを検出するホスト用のＣＰＵボード、６はＣＲＴやプリンタなどの出力装置、７はキーボードなどの入力装置、８，９は入出力インターフェース（Ｉ／Ｏ）である。
【００１３】
図１の交通流検出装置の処理の流れは次の通りである。先ず、ＡＤ−ＳＥＱボード２中のＡＤ変換器（ＡＤ）によってＴＶカメラ１から送られてくるビデオ信号をサンプリングし、サンプリング画像をＩＰ１ボード３へパイプラインバスを介して転送する。ＩＰ１ボード３では、入力されたサンプリング画像に対して背景更新処理（例えば、本出願人の特開平７−１１４４９４号公報「移動物体検知装置」に提案の処理）を施して画像中の移動車両の抽出を行い、車両抽出画像（背景差分画像）をＩＰ２ボード４へパイプラインバスを介して転送する。ＩＰ２ボード４では、入力された車両抽出画像から個々の車両の検出を行い、相互相関処理などにより移動追跡処理を行う。そして、ＣＰＵボード５はこの処理結果を受け、個々の車両の移動ベクトルから通過車両台数や通過車両速度、違法駐車の検出を行うものである。
【００１４】
この図１の交通流検出装置のシステム仕様としては、通過台数計数、車両走行速度算出、違法駐車車両検出をリアルタイムに計測するものであり、同一撮影画像内において同時に追跡可能な車両台数は最大２４台である。また、上述したー連の車両検出処理は６６．６ｍｓ／ビデオフレームで実現されている。
【００１５】
（Ｂ）路面状況検出装置
路面状況検出手法としては、偏光特性を利用したパラメータ画像による路面水分検出、および画像テクスチャの解析によって抽出した路面特徴量を説明変数として多変量判別分析法に基づき、５種類（乾燥、湿潤、シャーベット、ザクレ、圧雪）の路面状況に判別するもので、上記の背景更新処理によって撮影画像内から通過車両などの移動体成分のみを除去した背景画像（路面画像）を抽出し、この路面画像を処理対象画像とすることによって前記５種類の路面状況に判別するようにしている（例えば、本出願人の特開平１０−１１５６８４号の「路面状態判別方法およびその装置」参照）。
【００１６】
この路面状況検出装置は、図１におけるＩＰ１ボード３若しくはＩＰ２ボード４のいずれか一方のボード１枚、例えばＩＰ１ボード３と、ＣＰＵボード５を用いたハードウェア構成で実現可能であり、処理の流れは次の通りである。ＩＰ１ボード３では、ＡＤ−ＳＥＱボード２より入力されるサンプリング画像に対して背景更新処理を施し、画像中から車両などの移動体のみを除去した背景画像（路面画像）を生成する。そして、ＣＰＵボード５はこの結果を用いて路面特徴量の抽出を行い、路面状況を判別する。この路面状況検出装置のシステム仕様としては、路面管理上要求される計測インターバルは５分であり、上述した１回の計測に要する時間は３０．０６４ｓである。
【００１７】
次に、上記した交通流検出装置と路面状況検出装置という２つの画像処理装置を１つに統合するための統合手法について説明する。なお、統合に際しては、両者の機能を損なうことなく統合することを必要条件とする。
【００１８】
（１）システム統合のためのハードウエア構成
前述した交通流検出装置と路面状況検出装置のハードウエア構成は、画像処理装置として最も一般的に用いられる構成であり、前述したところから明らかなように、大きく分けて、画像を直接扱う画像処理ボードと、その処理結果に基づき計測結果を導くＣＰＵボードで構成されている。
【００１９】
このような構成をとった場合、交通流計測のような動的な処理を行う場合においても、画像処理を主に行なっている期間はＣＰＵボードが待機状態となっており、その処理能力を１００％使用しているわけではない。一方、ＣＰＵボードが画像処理結果に基づいて計測結果を導出する演算を行っている期間は、画像処理ボードが待機状態となっている。この両者の待機期間をうまく別の演算処理に割り当てることができれば、複数の計測事象をーつの処理系で達成することができる。
【００２０】
以上の視点から、統合のためのハードウエアの構成としては、図１に示した標準的な構成をそのまま利用し、ＣＰＵボードおよび画像処理ボードにおける処理時間をうまく配分すれば、２つの検出装置を統合することが可能となる。そこで、以下にこの処理タスクの時間配分について検討する。
【００２１】
（２）余裕時間の見積もり
各検出装置に要求される処理サイクルに注目すると、交通流検出においては６６．６ｍｓ／ビデオフレームでリアルタイム計測が必要であるのに対して、路面状況検出においては５分に１回３０．０６４ｓを必要とするだけである。したがって、交通流検出における６６．６ｍｓのサイクルの間に、
【００２２】
【数１】
【００２３】
の空き時間を捻出して路面状況検出に割り当てることができれば、それぞれの検出性能を損なうことなく２つの画像装置を統合することが可能となる。
【００２４】
図４は、システム統合しない状態における交通流検出装置の処理シーケンスの詳細をタイムチャートで示したものである。交通流検出装置においては、前述したように、ＣＰＵボード５とＩＰ１ボード３、ＩＰ２ボード４は、処理結果および処理制御をハンドシェイクの形態で授受することによって、６６．６ｍｓサイクルの処理シーケンスを実現している。
【００２５】
そのため、ＣＰＵボード５においては、交通流検出処理のタスク（以下、「交通流タスク」という）が占有している以外の９．３＋２１．８＝３１．１ｍｓの期間（図４中の▲１▼▲２▼）は空き時間となっている。交通流検出装置においては、この期間が通信・Ｉ／０制御などの他の付随したタスク（以下、「付随タスク」という）に割り当てられており、この付随タスクに必要とされる最大時間は２０．２ｍｓである。したがって、１サイクル当たり３１．１−２０．２＝１０．９ｍｓの余裕時間が存在することになり、路面状況検出を５分に１回のインターバルで計測するために必要な６．７ｍｓを十分に確保することができる。
【００２６】
（３）タスクスケジューリング
上記検討結果より、６６．６ｍｓのサイクル中に、交通流検出および路面状況検出の両者を処理するために必要な時間は見い出すことができた。したがって、残された課題としては、交通流タスク、路面状況検出処理のタスク（以下、「路面タスク」という）、付随タスクを、６６．６ｍｓのサイクル周期を乱すことなく実行させるためのタスクスケジューリングを行なう必要がある。
【００２７】
前述したように、リアルタイムＯＳ上で、マルチタスクを制御するための代表的なスケジュール手法としては、タイムスライスおよびプリエンプションと呼ばれる手法がある。タイムスライスは複数のタスクの動作時間を均等に分割してＣＰＵに割り付けるスケジューリング方法であり、一方のプリエンプションは、優先順位の高いタスクを優先的にＣＰＵに割り付けるスケジューリング方法である。
【００２８】
先ず、タイムスライスによって交通流タスク、路面タスクおよび付随タスクを均等に分割し、処理する場合を図４を参照して考える。この場合、図４中の▲３▼▲４▼で示した交通流タスクの処理時間が延長されるため、ＩＰ１ボード３へのスタート制御に遅れを生じ、６６．６ｍｓの処理サイクルが乱れる。
【００２９】
次に、（交通流タスク）＞（路面タスク）＞（付随タスク）の順で優先順位を設定し、プリエンプションを適用する場合を考える。この場合においては、優先順位の最も高い交通流タスクが他のタスクに対して常に優先されるため、図４中の▲３▼▲４▼の区間において遅れを生じることはなく、６６．６ｍｓの処理サイクルは乱れない。しかし、空き時間である▲１▼▲２▼の期間では、付随タスクに対して優先順位の高い路面タスクが常に優先されるため、路面タスクが終了するまでの期間は付随タスクが実行できず、付随タスクに不応答期間が発生する。
【００３０】
このように、タイムスライスおよびプリエンブションいずれのスケジューリング方法においても、それぞれのスケジューリング方法を単体で用いた場合、処理シーケンスに問題が発生する。そこで、本発明では、両者のスケジューリング方法を併用することによってこの問題を解決するようにした。
【００３１】
すなわち、本発明においては、処理タスクの優先順位を
（交通流タスク）＞｛（路面タスク）＞（付随タスク）｝
とし、（路面タスク）と（付随タスク）の間についてはタイムスライスによってスケジューリングし、（交通流タスク）と（路面および付随タスク）の間においてはプリエンプションによってスケジューリングする。このようなマルチタスクスケジューリング方法をとることで、交通流タスクに必要な時間の確保と、（路面タスク＋付随タスク）の処理時間として３１．１ｍｓの確保が可能となる。なお、タイムスライスのための１スライス時間は２．０ｍｓである。
【００３２】
図２に上記本発明のマルチタスクスケジューリングを行なった場合の動作シーケンスのタイムチャートを、また、図３にこの時の交通流タスク、路面タスク、付随タスクの処理切替のシーケンスを示す。図示するように、上記マルチタスクスケジューリングを行なった場合、交通流タスクを常に優先し、かつ、路面タスクと付随タスクを均等に処理することができるので、３つのタスクが６６．６ｍｓのサイクルを乱すことなく実行される。
【００３３】
【実施例】
本発明方法を適用して構成した図１の道路交通監視システムにおける交通流と路面状況の実際の検証結果を以下に示す。なお、図１中のＩＰ１ボード３、ＩＰ２ボード４およびＣＰＵボード５は、それぞれ次のような仕様になるものである。
【００３４】
（ｉ）ＩＰ１ボード３とＩＰ２ボード４のそれぞれの回路構成
・使用プロセッサ
ADSP-21020（ANALOG DEVICES社製）×４個
・システムクロック
２０ＭHz
・画像メモリ（共有メモリ）
512画素×512 画素×８ｂit×４フレーム
512画素×512 画素×32ｂit×２フレーム
・システムバス
ＶＭＥバス準拠
・画像転送バス
パイプラインバス入力×１
パイプラインバス出力×１
ランダムバス×２
モニタバス×１
【００３５】
（ii）ＣＰＵボード５の回路構成
ＣＰＵ：モトローラMC68040(25ＭHz)
メモリ：共有ＤＲＡＭ（１６ＭHz)
ＯＳ ：Wind River Systems社製リアルタイムＯＳ＝VxWORKS Ver.5.2
システムバス：ＶＭＥバス準拠
【００３６】
検証方法としては、図６に示す実際の交通状況を録画したビデオデータおよび画像データを用いて、システム統合前の各単体の検出装置と、本発明方法による統合後の画像処理装置のそれぞれに同一の画像データを入力することによって比較検証を行った。その結果、車両通過速度、車両通過台数、違法駐車および路面状況のすべての検出項目に関して、交通流検出装置、路面状況検出装置の単体時と同じ精度で検出できることが確認された。なお、検出精度については、本発明装置と従来装置の両者ともに同一であるため、以下には、本発明方法によって統合した画像処理装置における各検出項目に関する検出精度のみを示す。
【００３７】
（車両通過台数の検出精度）
検証方法としては、目視によって計数した通過台数と、統合後の画像処理装置の検出結果を比較することにより行なった。結果を表１に示す。なお、検証対象とした映像は昼間かつ晴天の条件下で２０分間撮影されたものである。
【００３８】
【表１】
【００３９】
（車両通過速度の検出精度）
検証方法としては、定速走行させた車両の速度を検出することにより行なった。その結果を表２に示す。
【００４０】
【表２】
【００４１】
（違法駐車車両の検出精度）
違法駐車の検出に関しては、検出対象となる車両が７台しか存在しなかったものの、これらすべての車両を違法駐車車両として検出することができた。
【００４２】
（路面状況の検出精度）
検証方法としては、予め収集した路面の画像データを用いて、統合後の画像処理装置による検出結果と、目視によって判別した結果とを比較することにより行なった。その結果を表３に示す。
【００４３】
【表３】
【００４４】
なお、前述した実施の形態では、１台のテレビカメラを備えた画像処理装置の場合について例示したが、テレビカメラの台数は１台に限られるものではなく、動的と静的な異なる事象を撮影した複数のテレビカメラからの信号を合成した多画面の画像に対して本発明の画像処理の統合方法を採用してもよい。
【００４５】
【発明の効果】
以上説明したように、本発明に係るマルチタスクスケジューリングによる画像処理の統合方法によれば、従来複数の画像処理装置でそれぞれ個別に測定していた複数の事象を一台の画像処理装置でリアルタイムに処理することが可能となり、この種の画像処理装置のコストパフォーマンスを格段に向上することができる。
【図面の簡単な説明】
【図１】本発明の方法を適用して構成した交通監視システムのブロック図である。
【図２】本発明の方法によるマルチタスクスケジューリングを行なった場合の動作シーケンスのタイムチャートである。
【図３】本発明の方法によるマルチタスクスケジューリングを行なった場合の交通流タスク、路面タスク、付随タスクの処理切替のシーケンス図である。
【図４】システム統合しない状態における交通流検出と路面状況検出の処理シーケンスのタイムチャートである。
【図５】（ａ）（ｂ）はそれぞれ従来の画像処理装置の構成例を示す図である。
【図６】交通状況を録画した画像の説明図である。
【符号の説明】
１ テレビカメラ
２ ＡＤ−ＳＥＱボード
３ 第１の画像処理（ＩＰ１）ボード
４ 第２の画像処理（ＩＰ２）ボード
５ ＣＰＵボード
６ 出力装置
７ 入力装置
８，９ 入出力インターフェース
【発明の属する技術分野】
本発明は、複数の画像処理装置によって別々に処理していた画像処理を統合し、複数の事象の計測を１台の画像処理装置によってリアルタイムに処理可能としたマルチタスクスケジューリングによる画像処理の統合方法に関する。
【０００２】
【従来の技術】
テレビカメラなどの撮影手段で監視対象領域を撮影し、この撮影画像を画像処理することによって画像中から車両などの目的とする物体を抽出して所定の事象を計測する画像処理装置は、２次元空間情報を扱うことから、従来のループコイルや超音波、赤外線などを用いたスポット的なセンサに比べ、その検出範囲を飛躍的に広げることができるという特徴を備えている。
【０００３】
図５に従来の画像処理装置の構成例を示す。
図５（ａ）は最も古くから用いられている画像処理装置の例を示すもので、画像処理装置５１をテレビカメラ５２とともに現場に設置し、それぞれの画像処理装置の検出結果を通信回線を通じて管理事務所などに設置した監視制御卓５３に送り、管理事務所などにおいて集中監視するものである。この形式の画像処理装置の場合、１台のＴＶカメラ毎に１台の画像処理装置が必要となり、システム全体のコストが高価になるという問題があった。
【０００４】
一方、光ファイバケーブルなどの映像伝送設備の急速な発展に伴い、近年においては、図５（ｂ）に示すように、管理事務所側に１台の画像処理装置５１を設置し、複数台のＴＶカメラ５２の映像を光ケーブルなどを通じて管理事務所に送り、映像スイッチャ５４で入力を切り替えることによって１台の画像処理装置５１で画像処理すると同時に、テレビモニタ５５などで現場を遠隔監視することが可能となった。この形式の画像処理装置の場合、効率の高いシステムを構築することができ、管理事務所において複数の現場状況をリアルタイムに集中管理することができる。
【０００５】
しかしながら、この図５（ｂ）の形式の画像処理装置の場合、計測インターバルを比較的長くとることが可能である静的な計測項目については有効であるが、リアルタイム計測が必要とされる動的な検出項目に対しては適用することが困難である。これを実現するには、例えば、より高速なハードウエアを使用することが考えられるが、この高速なハードウエアの適用自体がコストの増加を招き、根本的な解決とはならない。そのため、この種の画像処理装置においてシステムの効率向上とコストダウンを図るには、各画像処理機能の統合を図ることが必要不可欠である。
【０００６】
【発明が解決しようとする課題】
本発明は、上記問題を解決するためになされたもので、その目的とするところは、複数の画像処理装置によって別々に処理していた画像処理を統合し、複数の事象の計測を１台の画像処理装置によってリアルタイムに処理可能としたコストパフォーマンスに優れたマルチタスクスケジューリングによる画像処理の統合方法を提供することである。
【０００７】
【課題を解決するための手段】
一般に、リアルタイムＯＳ（オペレーティング・システム）上で、マルチタスクを制御するための代表的なスケジュール手法としては、タイムスライスおよびプリエンプションと呼ばれる手法がある。タイムスライスは複数の処理タスクの動作時間を均等に分割してＣＰＵに割り付けるスケジューリング方法であり、一方のプリエンプションは、優先順位の高いタスクを優先的にＣＰＵに割り付けるスケジューリング方法である。本発明は、このタイムスライスとプリエンプションを併用して複数の処理タスクをスケジューリングすることにより、複数の画像処理装置によって別々に処理していた画像処理を統合し、複数の事象の計測を１台の画像処理装置によってリアルタイムに処理可能としたものである。
【０００８】
すなわち、本発明のマルチタスクスケジューリングによる画像処理の統合方法は、撮影手段によって撮影した計測対象領域の撮影画像に対して所定の画像処理を施すことによって予め定めた複数の事象の計測を行なう画像処理装置において、各事象を計測するための複数の処理タスクの間に優先処理順位を設定し、少なくとも、第１順位の処理タスクと他の処理タスクとの間ではプリエンプションによって第１順位の処理タスクが優先処理されるようにタスクスケジューリングするとともに、他の処理タスク同士の間ではタイムスライスによってそれぞれの処理タスクに処理時間を割り振るようにタスクスケジューリングすることを特徴とするものである。
【０００９】
このような処理方法とした場合、タイムスライスとプリエンプションを併用してタスク処理することができるので、計測インターバルを比較的長くとることが可能である静的な計測項目と、リアルタイム計測が必要とされる動的な検出項目の両方を１つの画像処理装置でリアルタイム処理することが可能となる。このため、従来においては個々の画像処理装置でそれぞれ個別に計測していた複数の事象を一台の画像処理装置でリアルタイムに処理することが可能となり、画像処理装置のコストパフォーマンスを格段に向上することができる。
【００１０】
【発明の実施の形態】
以下、本発明方法を道路交通監視システムに適用し、交通流検出装置と路面状況検出装置という２つの画像処理装置を１つに統合した場合を例にとって実施の形態を説明する。なお、本発明の実施の形態の説明に入る前に、先ず、処理統合の対象とする交通流検出装置と路面状況検出装置のそれぞれの検出手法、ハードウエア構成およびそのシステム仕様について述べる。
【００１１】
（Ａ）交通流検出装置
交通流の検出手法としては、テレビカメラなどで撮影した撮影画像内に存在する個々の車両を抽出し、各車両の移動ベクトルを追跡することによって、通過台数や走行速度、違法駐車などを検出するものである。
【００１２】
図１は、この交通流検出装置のハードウェア回路のブロック図である。図中、１は計測対象とする高速道路や一般道路の路面を上方から俯瞰撮影するテレビ（ＴＶ）カメラ、２はテレビカメラ１から送られてくるビデオ信号をデジタル信号に変換するＡＤ変換器（ＡＤ）とパイプライン制御用のシーケンスコントローラ（ＳＥＱ）を一体に組み込んだＡＤ−ＳＥＱボード、３はテレビカメラ１で撮影された画像を基に背景差分処理によって画像中から車両を抽出する第１の画像処理ボード（以下、「ＩＰ１ボード」という）、４は車両抽出画像から個々の車両を検出し、相互相関処理などによって移動追跡処理を行なう第２の画像処理ボード（以下、「ＩＰ２ボード」という）、５は車両追跡結果を受けて個々の車両の移動ベクトルから通過車両台数、通過車両速度、違法駐車などを検出するホスト用のＣＰＵボード、６はＣＲＴやプリンタなどの出力装置、７はキーボードなどの入力装置、８，９は入出力インターフェース（Ｉ／Ｏ）である。
【００１３】
図１の交通流検出装置の処理の流れは次の通りである。先ず、ＡＤ−ＳＥＱボード２中のＡＤ変換器（ＡＤ）によってＴＶカメラ１から送られてくるビデオ信号をサンプリングし、サンプリング画像をＩＰ１ボード３へパイプラインバスを介して転送する。ＩＰ１ボード３では、入力されたサンプリング画像に対して背景更新処理（例えば、本出願人の特開平７−１１４４９４号公報「移動物体検知装置」に提案の処理）を施して画像中の移動車両の抽出を行い、車両抽出画像（背景差分画像）をＩＰ２ボード４へパイプラインバスを介して転送する。ＩＰ２ボード４では、入力された車両抽出画像から個々の車両の検出を行い、相互相関処理などにより移動追跡処理を行う。そして、ＣＰＵボード５はこの処理結果を受け、個々の車両の移動ベクトルから通過車両台数や通過車両速度、違法駐車の検出を行うものである。
【００１４】
この図１の交通流検出装置のシステム仕様としては、通過台数計数、車両走行速度算出、違法駐車車両検出をリアルタイムに計測するものであり、同一撮影画像内において同時に追跡可能な車両台数は最大２４台である。また、上述したー連の車両検出処理は６６．６ｍｓ／ビデオフレームで実現されている。
【００１５】
（Ｂ）路面状況検出装置
路面状況検出手法としては、偏光特性を利用したパラメータ画像による路面水分検出、および画像テクスチャの解析によって抽出した路面特徴量を説明変数として多変量判別分析法に基づき、５種類（乾燥、湿潤、シャーベット、ザクレ、圧雪）の路面状況に判別するもので、上記の背景更新処理によって撮影画像内から通過車両などの移動体成分のみを除去した背景画像（路面画像）を抽出し、この路面画像を処理対象画像とすることによって前記５種類の路面状況に判別するようにしている（例えば、本出願人の特開平１０−１１５６８４号の「路面状態判別方法およびその装置」参照）。
【００１６】
この路面状況検出装置は、図１におけるＩＰ１ボード３若しくはＩＰ２ボード４のいずれか一方のボード１枚、例えばＩＰ１ボード３と、ＣＰＵボード５を用いたハードウェア構成で実現可能であり、処理の流れは次の通りである。ＩＰ１ボード３では、ＡＤ−ＳＥＱボード２より入力されるサンプリング画像に対して背景更新処理を施し、画像中から車両などの移動体のみを除去した背景画像（路面画像）を生成する。そして、ＣＰＵボード５はこの結果を用いて路面特徴量の抽出を行い、路面状況を判別する。この路面状況検出装置のシステム仕様としては、路面管理上要求される計測インターバルは５分であり、上述した１回の計測に要する時間は３０．０６４ｓである。
【００１７】
次に、上記した交通流検出装置と路面状況検出装置という２つの画像処理装置を１つに統合するための統合手法について説明する。なお、統合に際しては、両者の機能を損なうことなく統合することを必要条件とする。
【００１８】
（１）システム統合のためのハードウエア構成
前述した交通流検出装置と路面状況検出装置のハードウエア構成は、画像処理装置として最も一般的に用いられる構成であり、前述したところから明らかなように、大きく分けて、画像を直接扱う画像処理ボードと、その処理結果に基づき計測結果を導くＣＰＵボードで構成されている。
【００１９】
このような構成をとった場合、交通流計測のような動的な処理を行う場合においても、画像処理を主に行なっている期間はＣＰＵボードが待機状態となっており、その処理能力を１００％使用しているわけではない。一方、ＣＰＵボードが画像処理結果に基づいて計測結果を導出する演算を行っている期間は、画像処理ボードが待機状態となっている。この両者の待機期間をうまく別の演算処理に割り当てることができれば、複数の計測事象をーつの処理系で達成することができる。
【００２０】
以上の視点から、統合のためのハードウエアの構成としては、図１に示した標準的な構成をそのまま利用し、ＣＰＵボードおよび画像処理ボードにおける処理時間をうまく配分すれば、２つの検出装置を統合することが可能となる。そこで、以下にこの処理タスクの時間配分について検討する。
【００２１】
（２）余裕時間の見積もり
各検出装置に要求される処理サイクルに注目すると、交通流検出においては６６．６ｍｓ／ビデオフレームでリアルタイム計測が必要であるのに対して、路面状況検出においては５分に１回３０．０６４ｓを必要とするだけである。したがって、交通流検出における６６．６ｍｓのサイクルの間に、
【００２２】
【数１】
の空き時間を捻出して路面状況検出に割り当てることができれば、それぞれの検出性能を損なうことなく２つの画像装置を統合することが可能となる。
【００２４】
図４は、システム統合しない状態における交通流検出装置の処理シーケンスの詳細をタイムチャートで示したものである。交通流検出装置においては、前述したように、ＣＰＵボード５とＩＰ１ボード３、ＩＰ２ボード４は、処理結果および処理制御をハンドシェイクの形態で授受することによって、６６．６ｍｓサイクルの処理シーケンスを実現している。
【００２５】
そのため、ＣＰＵボード５においては、交通流検出処理のタスク（以下、「交通流タスク」という）が占有している以外の９．３＋２１．８＝３１．１ｍｓの期間（図４中の▲１▼▲２▼）は空き時間となっている。交通流検出装置においては、この期間が通信・Ｉ／０制御などの他の付随したタスク（以下、「付随タスク」という）に割り当てられており、この付随タスクに必要とされる最大時間は２０．２ｍｓである。したがって、１サイクル当たり３１．１−２０．２＝１０．９ｍｓの余裕時間が存在することになり、路面状況検出を５分に１回のインターバルで計測するために必要な６．７ｍｓを十分に確保することができる。
【００２６】
（３）タスクスケジューリング
上記検討結果より、６６．６ｍｓのサイクル中に、交通流検出および路面状況検出の両者を処理するために必要な時間は見い出すことができた。したがって、残された課題としては、交通流タスク、路面状況検出処理のタスク（以下、「路面タスク」という）、付随タスクを、６６．６ｍｓのサイクル周期を乱すことなく実行させるためのタスクスケジューリングを行なう必要がある。
【００２７】
前述したように、リアルタイムＯＳ上で、マルチタスクを制御するための代表的なスケジュール手法としては、タイムスライスおよびプリエンプションと呼ばれる手法がある。タイムスライスは複数のタスクの動作時間を均等に分割してＣＰＵに割り付けるスケジューリング方法であり、一方のプリエンプションは、優先順位の高いタスクを優先的にＣＰＵに割り付けるスケジューリング方法である。
【００２８】
先ず、タイムスライスによって交通流タスク、路面タスクおよび付随タスクを均等に分割し、処理する場合を図４を参照して考える。この場合、図４中の▲３▼▲４▼で示した交通流タスクの処理時間が延長されるため、ＩＰ１ボード３へのスタート制御に遅れを生じ、６６．６ｍｓの処理サイクルが乱れる。
【００２９】
次に、（交通流タスク）＞（路面タスク）＞（付随タスク）の順で優先順位を設定し、プリエンプションを適用する場合を考える。この場合においては、優先順位の最も高い交通流タスクが他のタスクに対して常に優先されるため、図４中の▲３▼▲４▼の区間において遅れを生じることはなく、６６．６ｍｓの処理サイクルは乱れない。しかし、空き時間である▲１▼▲２▼の期間では、付随タスクに対して優先順位の高い路面タスクが常に優先されるため、路面タスクが終了するまでの期間は付随タスクが実行できず、付随タスクに不応答期間が発生する。
【００３０】
このように、タイムスライスおよびプリエンブションいずれのスケジューリング方法においても、それぞれのスケジューリング方法を単体で用いた場合、処理シーケンスに問題が発生する。そこで、本発明では、両者のスケジューリング方法を併用することによってこの問題を解決するようにした。
【００３１】
すなわち、本発明においては、処理タスクの優先順位を
（交通流タスク）＞｛（路面タスク）＞（付随タスク）｝
とし、（路面タスク）と（付随タスク）の間についてはタイムスライスによってスケジューリングし、（交通流タスク）と（路面および付随タスク）の間においてはプリエンプションによってスケジューリングする。このようなマルチタスクスケジューリング方法をとることで、交通流タスクに必要な時間の確保と、（路面タスク＋付随タスク）の処理時間として３１．１ｍｓの確保が可能となる。なお、タイムスライスのための１スライス時間は２．０ｍｓである。
【００３２】
図２に上記本発明のマルチタスクスケジューリングを行なった場合の動作シーケンスのタイムチャートを、また、図３にこの時の交通流タスク、路面タスク、付随タスクの処理切替のシーケンスを示す。図示するように、上記マルチタスクスケジューリングを行なった場合、交通流タスクを常に優先し、かつ、路面タスクと付随タスクを均等に処理することができるので、３つのタスクが６６．６ｍｓのサイクルを乱すことなく実行される。
【００３３】
【実施例】
本発明方法を適用して構成した図１の道路交通監視システムにおける交通流と路面状況の実際の検証結果を以下に示す。なお、図１中のＩＰ１ボード３、ＩＰ２ボード４およびＣＰＵボード５は、それぞれ次のような仕様になるものである。
【００３４】
（ｉ）ＩＰ１ボード３とＩＰ２ボード４のそれぞれの回路構成
・使用プロセッサ
ADSP-21020（ANALOG DEVICES社製）×４個
・システムクロック
２０ＭHz
・画像メモリ（共有メモリ）
512画素×512 画素×８ｂit×４フレーム
512画素×512 画素×32ｂit×２フレーム
・システムバス
ＶＭＥバス準拠
・画像転送バス
パイプラインバス入力×１
パイプラインバス出力×１
ランダムバス×２
モニタバス×１
【００３５】
（ii）ＣＰＵボード５の回路構成
ＣＰＵ：モトローラMC68040(25ＭHz)
メモリ：共有ＤＲＡＭ（１６ＭHz)
ＯＳ ：Wind River Systems社製リアルタイムＯＳ＝VxWORKS Ver.5.2
システムバス：ＶＭＥバス準拠
【００３６】
検証方法としては、図６に示す実際の交通状況を録画したビデオデータおよび画像データを用いて、システム統合前の各単体の検出装置と、本発明方法による統合後の画像処理装置のそれぞれに同一の画像データを入力することによって比較検証を行った。その結果、車両通過速度、車両通過台数、違法駐車および路面状況のすべての検出項目に関して、交通流検出装置、路面状況検出装置の単体時と同じ精度で検出できることが確認された。なお、検出精度については、本発明装置と従来装置の両者ともに同一であるため、以下には、本発明方法によって統合した画像処理装置における各検出項目に関する検出精度のみを示す。
【００３７】
（車両通過台数の検出精度）
検証方法としては、目視によって計数した通過台数と、統合後の画像処理装置の検出結果を比較することにより行なった。結果を表１に示す。なお、検証対象とした映像は昼間かつ晴天の条件下で２０分間撮影されたものである。
【００３８】
【表１】
（車両通過速度の検出精度）
検証方法としては、定速走行させた車両の速度を検出することにより行なった。その結果を表２に示す。
【００４０】
【表２】
（違法駐車車両の検出精度）
違法駐車の検出に関しては、検出対象となる車両が７台しか存在しなかったものの、これらすべての車両を違法駐車車両として検出することができた。
【００４２】
（路面状況の検出精度）
検証方法としては、予め収集した路面の画像データを用いて、統合後の画像処理装置による検出結果と、目視によって判別した結果とを比較することにより行なった。その結果を表３に示す。
【００４３】
【表３】
なお、前述した実施の形態では、１台のテレビカメラを備えた画像処理装置の場合について例示したが、テレビカメラの台数は１台に限られるものではなく、動的と静的な異なる事象を撮影した複数のテレビカメラからの信号を合成した多画面の画像に対して本発明の画像処理の統合方法を採用してもよい。
【００４５】
【発明の効果】
以上説明したように、本発明に係るマルチタスクスケジューリングによる画像処理の統合方法によれば、従来複数の画像処理装置でそれぞれ個別に測定していた複数の事象を一台の画像処理装置でリアルタイムに処理することが可能となり、この種の画像処理装置のコストパフォーマンスを格段に向上することができる。
【図面の簡単な説明】
【図１】本発明の方法を適用して構成した交通監視システムのブロック図である。
【図２】本発明の方法によるマルチタスクスケジューリングを行なった場合の動作シーケンスのタイムチャートである。
【図３】本発明の方法によるマルチタスクスケジューリングを行なった場合の交通流タスク、路面タスク、付随タスクの処理切替のシーケンス図である。
【図４】システム統合しない状態における交通流検出と路面状況検出の処理シーケンスのタイムチャートである。
【図５】（ａ）（ｂ）はそれぞれ従来の画像処理装置の構成例を示す図である。
【図６】交通状況を録画した画像の説明図である。
【符号の説明】
１ テレビカメラ
２ ＡＤ−ＳＥＱボード
３ 第１の画像処理（ＩＰ１）ボード
４ 第２の画像処理（ＩＰ２）ボード
５ ＣＰＵボード
６ 出力装置
７ 入力装置
８，９ 入出力インターフェース
Claims (1)
- 撮影手段によって撮影した計測対象領域の撮影画像に対して所定の画像処理を施すことによって予め定めた複数の事象の計測を行なう画像処理装置において、
各事象を計測するための複数の処理タスクの間に優先処理順位を設定し、少なくとも、第１順位の処理タスクと他の処理タスクとの間ではプリエンプションによって第１順位の処理タスクが優先処理されるようにタスクスケジューリングするとともに、他の処理タスク同士の間ではタイムスライスによってそれぞれの処理タスクに処理時間を割り振るようにタスクスケジューリングすることを特徴とするマルチタスクスケジューリングによる画像処理の統合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34929899A JP4387015B2 (ja) | 1999-12-08 | 1999-12-08 | マルチタスクスケジューリングによる画像処理の統合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34929899A JP4387015B2 (ja) | 1999-12-08 | 1999-12-08 | マルチタスクスケジューリングによる画像処理の統合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001169275A JP2001169275A (ja) | 2001-06-22 |
| JP4387015B2 true JP4387015B2 (ja) | 2009-12-16 |
Family
ID=18402830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34929899A Expired - Fee Related JP4387015B2 (ja) | 1999-12-08 | 1999-12-08 | マルチタスクスケジューリングによる画像処理の統合方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4387015B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4855797B2 (ja) * | 2006-02-17 | 2012-01-18 | 株式会社東芝 | 監視システム及び画像処理装置 |
| JP4372804B2 (ja) | 2007-05-09 | 2009-11-25 | トヨタ自動車株式会社 | 画像処理装置 |
| US8102552B2 (en) | 2008-04-03 | 2012-01-24 | Sharp Laboratories Of America, Inc. | Performance monitoring and control of a multifunction printer |
| US8392924B2 (en) | 2008-04-03 | 2013-03-05 | Sharp Laboratories Of America, Inc. | Custom scheduling and control of a multifunction printer |
| KR101324222B1 (ko) | 2008-09-04 | 2013-11-01 | 삼성테크윈 주식회사 | 영상 처리 장치 |
| JP5189570B2 (ja) * | 2009-08-19 | 2013-04-24 | 株式会社キーエンス | 画像処理装置及び画像処理方法 |
| JP6692736B2 (ja) * | 2016-12-01 | 2020-05-13 | 株式会社日立製作所 | 映像監視システム、映像監視システムの制御方法および映像監視装置 |
| CN110780982A (zh) * | 2018-07-27 | 2020-02-11 | 深圳百迈技术有限公司 | 一种图像处理方法、装置及设备 |
| WO2020095398A1 (ja) * | 2018-11-08 | 2020-05-14 | 三菱電機株式会社 | 情報解析装置及び情報解析方法 |
| JP2022034571A (ja) * | 2018-11-26 | 2022-03-04 | 住友電気工業株式会社 | 交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラム |
-
1999
- 1999-12-08 JP JP34929899A patent/JP4387015B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001169275A (ja) | 2001-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8576284B2 (en) | Monitoring system, monitoring apparatus and monitoring method | |
| JP4387015B2 (ja) | マルチタスクスケジューリングによる画像処理の統合方法 | |
| JP6270433B2 (ja) | 情報処理装置、情報処理方法、情報処理システム | |
| CN104089697A (zh) | 一种基于线程池并发技术的实时在线的视觉振动测量方法 | |
| EP2840557B1 (en) | Image processing system, server device, image pickup device and image evaluation method | |
| CN104717426B (zh) | 一种基于外部传感器的多摄像机视频同步装置及方法 | |
| JP2019062527A (ja) | エッジ演算を用いる多カメラシステムでのリアルタイムの対象再識別 | |
| KR101747214B1 (ko) | 다채널 영상 분석 방법 및 시스템 | |
| WO2011043498A1 (ko) | 지능형 영상 감시 장치 | |
| JPWO2020039897A1 (ja) | 駅監視システム及び駅監視方法 | |
| CN114363478B (zh) | 信号处理单元、方法、加速单元、电子设备和片上系统 | |
| KR101362962B1 (ko) | 차량번호 인식 및 검색 시스템과 운영방법 | |
| JP7107597B2 (ja) | 駅監視装置、駅監視方法及びプログラム | |
| CN111800605A (zh) | 基于枪球联动的车形、车牌传输的方法及系统、设备 | |
| JPH10307987A (ja) | 交通流計測装置 | |
| JP7483140B2 (ja) | 画像処理システム、撮像装置、端末装置及び画像処理方法 | |
| KR20190048072A (ko) | 영상의 노이즈 레벨 결정 방법 | |
| JP6091079B2 (ja) | 制御装置、制御方法及びプログラム | |
| Park et al. | Vision-based traffic surveillance system on the internet | |
| CN114765659B (zh) | 扩展智能相机人脸检测范围的方法、装置、设备和介质 | |
| KR970033156A (ko) | 열간압연시 후판의 선단부 휨정도 실시간 측정장치 및 방법 | |
| JP2002342748A (ja) | 待ち行列検出方法及び待ち行列検出装置 | |
| JP7129209B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP3513104B2 (ja) | 速度測定システム、速度測定方法、速度測定用プログラム、画像処理システム、画像処理方法及び画像処理用プログラム | |
| JP2000059759A (ja) | 監視カメラシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090915 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090930 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121009 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121009 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151009 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |