JP5455152B2 - 画像処理装置 - Google Patents

Description

本発明は、外部から画像データを取り込み、所定の画像処理を施して外部へ出力する画像処理装置に関する。

図６にこのような画像処理装置を備えた画像処理システムの一例のブロック図を示す（非特許文献１参照）。この画像処理システムは、ＤＳＰ（Digital Signal Processor）１と、それぞれがＤＳＰ１に接続された外部メモリ２、デコーダ３、及びモニタ４を備えている。ここで、ＤＳＰ１と、外部メモリ２が画像処理装置を構成している。

ＤＳＰ１は、内部バス１１と、それぞれが内部バス１１に接続されたＣＰＵ（Central Processing Unit）１２、ＶＰＳＳ（Video Processing Sub System）１３、内部メモリ１４、外部メモリＩ／Ｆ（インタフェース）１５、及びタイマ１６を備えている。

ＣＰＵ１２は各種レジスタ１２１や、論理演算ユニットを内蔵している。ＶＰＳＳ１３は、ＤＭＡ（Direct Memory Access）コントローラの機能を持つＶＰＦＥ（Video Processing Front End）１３１及びＶＰＢＥ（Video Processing Back End）１３２を内蔵しており、ＶＰＦＥ１３１にはデコーダ３が接続され、ＶＰＢＥ１３２にはモニタ４が接続されている。また、外部メモリＩ／Ｆ１５には外部メモリ２が接続されている。

内部メモリ１４はＳＲＡＭやフラッシュメモリで構成されており、プログラムや固定データが格納される。外部メモリ２はＳＤＲＡＭで構成されており、ＣＰＵ１２のデータ処理時のワークエリアや画像データバッファメモリ（ＶＰＳＳバッファ２１）として使用される。

図７は、上記画像処理システムの概略動作を説明するための図であり、図８は、その動作時のＶＰＳＳバッファ２１の状態の一例を示す図である。ここでは、ＶＰＳＳバッファ２１の容量は６フレームである。

図７に示すように、ＶＰＦＥ１３１は１５ｆｐｓ（６６．６ｍｓ）毎にＣＰＵ１２に割り込みをかけ、デコーダ３からの未処理（処理対象）画像データをＶＰＳＳバッファ２１に書き込む（ステップＳ１０１）。図８Ａは３フレーム分の未処理画像データが格納された状態を示している。

ＣＰＵ１２は、ＶＰＳＳバッファ２１に格納された未処理画像データを１５ｆｐｓ（６６．６ｍｓ）毎に読み出し（ステップＳ１０２）、所定のアルゴリズムによる画像処理を施し、処理済みの画像データをＶＰＳＳバッファ２１に書き込む（ステップＳ１０３）。図８Ｂは２フレーム分の処理済み画像データが格納された状態を示している。

ＶＰＢＥ１３２は、ＶＰＳＳバッファ２１に格納された処理済み画像データを１５ｆｐｓ（６６．６ｍｓ）毎にＣＰＵ１２に割り込みをかけて読み出し（ステップＳ１０４）、モニタ４へ出力する。図８Ｃは１フレーム分の処理済み画像データが読み出された状態を示している。ＶＰＢＥ１３２により処理済み画像データが読み出されたＶＰＳＳバッファ２１の領域は解放され、空き領域となる。

このように、ＶＰＦＥ１３１が未処理画像データをＶＰＳＳバッファ２１に書き込む処理（Ｓ１０１）、ＣＰＵ１２が未処理画像データをＶＰＳＳバッファ２１から読み出す処理（Ｓ１０２）、ＣＰＵ１２が処理済み画像データをＶＰＳＳバッファ２１に書き込む処理（Ｓ１０３）、ＶＰＢＥ１３２が処理済み画像データをＶＰＳＳバッファ２１から読み出す処理は、同じ１５ｆｐｓのレートで行われるが、それらの処理は非同期である。

しかしながら、図７及び図８に示した処理の場合、ＣＰＵ１２による所定のアルゴルズムの画像処理の負荷が増大すると、ＶＰＳＳバッファ２１の空き領域がなくなってしまう。この結果、空き領域ができるまで、ＶＰＦＥ１３１は画像データを書き込めなくなるため、コマ落ちが発生してしまう。

そこで、画像処理のアプリケーション上にバッファを設けることで、ＶＰＳＳバッファ２１のコマ落ちを防止することが考えられる。図９は、この場合のアプリケーションバッファの状態の一例を示す図である。アプリケーションバッファの容量は例えば１００フレームである。ここで、ＶＰＦＥ１３１、ＶＰＢＥ１３２による処理は図７と同じであるため省略した。

ＣＰＵ１２は、ＶＰＳＳバッファ２１に格納された未処理画像データを１５ｆｐｓ（６６．６ｍｓ）毎に読み出し、アプリケーションバッファに書き込む（ＶＰＦＥタスク）。図９Ａは４フレーム分の未処理画像データが格納された状態を示している。

また、ＣＰＵ１２は、アプリケーションバッファに格納された未処理画像データを１５ｆｐｓ（６６．６ｍｓ）毎に読み出し、所定のアルゴリズムによる画像処理を施し、処理済みの画像データをアプリケーションバッファに書き込む（アルゴリズムタスク）。図９Ｂは２フレーム分の処理済み画像データが格納された状態を示している。

また、ＣＰＵ１２は、アプリケーションバッファに格納された処理済み画像データを１５ｆｐｓ（６６．６ｍｓ）毎に読み出し、ＶＰＳＳバッファ２１に書き込む（ＶＰＢＥタスク）。図９Ｃは２フレーム分の処理済み画像データが読み出された状態を示している。ＣＰＵ１２により処理済み画像データが読み出されたアプリケーションバッファの領域は解放され、空き領域となる。

しかしながら、このようにアプリケーションバッファを設けることで、ＶＰＳＳバッファ２１でコマ落ちすることは防止することはできるものの、アルゴリズムタスクを抜けたときにＶＰＢＥタスクを行う構成であるため、ＣＰＵ１２によるアルゴリズムの負荷が増大すると、図９Ｄに示すように、ＶＰＢＥタスクを実行できず、アプリケーションバッファが満杯となってしまう。この結果、数秒程度しかコマ落ち防止の効果がなくなる。

生駒伸一郎「ＤＳＰ入門講座」p.126、株式会社電波新聞社（2009年2月15日）

本発明は、このような問題を解決するためになされたものであり、その目的は、外部から未処理画像データを取り込み、入出力バッファに書き込む画像入力手段と、前記入出力バッファに書き込まれた未処理画像データを読み出し、所定の画像処理を施して処理済み画像データを生成し、前記入出力バッファに書き込む画像処理手段と、前記入出力バッファに書き込まれた処理済み画像データを読み出し、外部へ出力する画像出力手段とを有する画像処理装置において、前記画像処理手段による処理負荷が増大した場合のコマ落ちを防止することである。

本発明は、外部から未処理画像データを取り込み、入出力バッファに書き込む画像入力手段と、前記入出力バッファに書き込まれた未処理画像データを読み出し、所定の画像処理を施して処理済み画像データを生成し、前記入出力バッファに書き込む画像処理手段と、前記入出力バッファに書き込まれた処理済み画像データを読み出し、外部へ出力する画像出力手段とを有する画像処理装置において、前記画像処理手段による画像処理アプリケーション上に設けられたアプリケーションバッファと、第１の周期で第１のフラグ及び第２のフラグをセットする手段と、該第１の周期より短い第２の周期で第３のフラグをセットする手段とを有し、前記画像処理手段は、前記第１のフラグがセットされており、かつ前記アプリケーションバッファに空き領域があるとき、前記入出力バッファに書き込まれた未処理画像データを前記アプリケーションバッファに書き込む第１のタスクを実行して前記第１のフラグをリセットし、前記第１のフラグがセットされておらず、かつ前記第３のフラグがセットされており、かつ前記アプリケーションバッファに処理済み画像データがあるとき、該処理済み画像データを読み出し、前記入出力バッファに書き込む第３のタスクを実行して前記第３のフラグをリセットし、前記第１のフラグ及び前記第３のフラグがセットされておらず、かつ前記第２のフラグがセットされており、かつ前記アプリケーションバッファに未処理画像データがあるとき、該未処理画像データを読み出し、所定の画像処理を施して前記アプリケーションバッファに書き込む第２のタスクを実行して前記第２のフラグをリセットする、ことを特徴とする画像処理装置である。

本発明によれば、外部から未処理画像データを取り込み、入出力バッファに書き込む画像入力手段と、前記入出力バッファに書き込まれた未処理画像データを読み出し、所定の画像処理を施して処理済み画像データを生成し、前記入出力バッファに書き込む画像処理手段と、前記入出力バッファに書き込まれた処理済み画像データを読み出し、外部へ出力する画像出力手段とを有する画像処理装置において、前記画像処理手段による処理負荷が増大した場合に、入出力バッファが満杯になることによるコマ落ち、及びアプリケーションバッファが満杯になることによるコマ落ちを防止することができる。

本発明の実施形態の画像処理システムの概略動作を説明するための図である。 本発明の実施形態の画像処理システムにおけるタイマルーチンを示すフローチャートである。 本発明の実施形態の画像処理システムのタスク実行処理を示すフローチャートである。 図３の処理実行時のタイミングチャートの一例を示す図である。 図３の処理実行時のアプリケーションバッファの状態の一例を示す図である。 ＤＳＰを備えた画像処理システムの一例のブロック図である。 図６の画像処理システムの概略動作を説明するための図である。 図７に示す動作時のＶＰＳＳバッファの状態の一例を示す図である。 図７に追加したアプリケーションバッファの状態の一例を示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
〈画像処理システムの概略動作〉
図１は、本実施形態の記画像処理システムの概略動作を説明するための図である。この図において、図７と同一又は対応する構成要素には図７と同一の参照符号を付した。なお、本実施形態の画像処理装置のハードウェアは従来装置（図６）と同じである。

図１に示すように、本実施形態では、画像処理のアプリケーション上に１００フレーム分のアプリケーションバッファ２２を設けることで、ＶＰＳＳバッファ２１のコマ落ちを防止する。

また、本実施形態では、アプリケーションバッファ２２を領域毎に管理するデータフラグを登録するためのレジスタを各種レジスタ１２１に設けた。ここで、フラグ：“０”（データ無し）は未処理画像データが格納されていない状態、フラグ：“１”（リード許可）は未処理画像データが格納されアルゴリズム処理待ちの状態、フラグ：“２”（ＶＰＢＥ出力）はアルゴリズム処理済みの画像データが格納され、ＶＰＳＳバッファ２１への出力待ちの状態を表す。

さらに、本実施形態では、アプリケーションバッファ２２のアクセス位置を管理するためのバッファ管理ポイント情報を登録するためのレジスタを各種レジスタ１２１に設けた。ここで、ライトポイントはＶＰＳＳバッファ２１から読み出した画像データをアプリケーションバッファ２２に書き込むときの書き込み位置情報であり、リードポイントはアルゴリズム処理のためにアプリケーションバッファ２２から読み出すときの読み出し位置情報であり、ＶＰＢＥ出力ポイントはアプリケーションバッファ２２から処理済み画像データを読み出し、ＶＰＳＳバッファ２１へ出力するときの読み出し位置情報である。

これらの構成は図９を参照して説明したものと同様である。本実施形態では、これらの構成に加えて、ＶＰＦＥタスク、アルゴリズムタスク、ＶＰＢＥタスクに優先順位を付けるとともに、アプリケーションバッファ２２に格納された処理済み画像データをＶＰＳＳバッファ２１に書き込む周期を短くすることで、図９を参照しながら説明した構成の問題点を解決している。

まず図１を基に本実施形態の画像処理システムの概略動作を説明する。
ＶＰＦＥ１３１は、１５ｆｐｓ（６６．６ｍｓ）毎にＣＰＵ１２に割り込みをかけ、デコーダ３からの未処理画像データを入出力バッファとしてのＶＰＳＳバッファ２１に書き込む（ステップＳ１０１）。ＣＰＵ１２は、ＶＰＳＳバッファ２１に格納された未処理画像データを１５ｆｐｓ（６６．６ｍｓ）毎に読み出し、アプリケーションバッファ２２に書き込む（ステップＳ２０１、ＶＰＦＥタスク）。この時、書き込みを行った領域のデータフラグを“１”にする。

ＣＰＵ１２は、データフラグが“１”の領域から未処理画像データを１５ｆｐｓ（６６．６ｍｓ）毎に読み出す（ステップＳ２０２）。この読み出しはＶＰＦＥ１３１によるＶＰＳＳバッファ２１への書き込みとは非同期である。ＣＰＵ１２は、読み出した画像データに対し、所定のアルゴリズムによる画像処理を施した後に、処理済みの画像データをアプリケーションバッファ２２に書き込む（ステップＳ２０３）。これらの処理がアルゴリズムタスクである。この時、書き込みを行った領域のデータフラグを“２”にする。

ＣＰＵ１２は、データフラグが“２”になっている領域から４５ｍｓ毎に処理済み画像データを読み出し、ＶＰＳＳバッファ２１に書き込む（ステップＳ２０４）。この処理がＶＰＢＥタスクである。この時、書き込みを行った領域のデータフラグを“０”にする。

ＶＰＢＥ１３２は、ＶＰＳＳバッファ２１に格納された処理済み画像データを１５ｆｐｓ（６６．６ｍｓ）毎にＣＰＵ１２に割り込みをかけて読み出し（ステップＳ１０４）、モニタ４へ出力する。

以上、本実施形態の画像処理システムの概略動作を説明した。この動作は、ＶＰＢＥタスクを４５ｍｓ毎に実行すること以外は図９を参照して説明したものと同様である。次に、ＶＰＦＥタスク、アルゴリズムタスク、及びＶＰＢＥタスクの優先順位について説明する。本実施形態では、これら３つのタスクの優先順位を（１）ＶＰＦＥタスク、（２）ＶＰＢＥタスク、（３）アルゴリズムタスクとすることで、アルゴリズムタスクの負荷が増大したときにアプリケーションバッファが満杯となってしまう事態を防止する。これらのタスクの優先順位は、ユーザの操作に基づき、リアルタイムオペレーティングシステム（ＤＳＰ／ＢＩＯＳ）により内部メモリ１４に設定されている。

まずＶＰＦＥタスクの優先順位を最高にすることで、ＶＰＳＳバッファ２１に空きを設け、ＶＰＳＳバッファ２１に未処理画像データが書き込めなくなることによるコマ落ちを防止する。また、ＶＰＢＥタスクの優先順位をアルゴリズムタスクの優先順位よりも高くすることで、アプリケーションバッファ２２に空きを設け、アプリケーションバッファ２２が満杯になることを防止する。

〈タスク実行のフロー〉
本実施形態では、以下の図２及び図３に示すフローを実行することにより、ＶＰＦＥタスク、ＶＰＢＥタスク、アルゴリズムタスクを前述した優先順位（ＶＰＦＥタスク＞ＶＰＢＥタスク＞アルゴリズムタスク）で実行する。ここで、図２はタイマルーチンであり、図３はタスク実行のフローである。また、図２における各タイマはタイマ１６であり、各フラグは外部メモリ２に設定される。

図２に示すように、タイマルーチンがスタートすると、最初に１５ｆｐｓ（６６．６ｍｓ）タイマ及び４５ｍｓタイマをスタートさせる（ステップＳ１）。

次に１５ｆｐｓタイマがタイムアップしたか否か判定し（ステップＳ２）、タイムアップしていた場合は（Ｓ２：Yes）、ＶＰＦＥタスクフラグ及びアルゴリズムタスクフラグを“１”にした後（ステップＳ３）にステップＳ２に戻る。

一方、１５ｆｐｓタイマがタイムアップしていない場合は（Ｓ２：No）、４５ｍｓタイマがタイムアップしたか否か判定する（ステップＳ４）。判定の結果、タイムアップしていた場合は（Ｓ４：Yes）、ＶＰＢＥタスクフラグを“１”にした後（ステップＳ５）にステップＳ２に戻り、タイムアップしていない場合は（Ｓ５：No）、そのままステップＳ２に戻る。

このように、１５ｆｐｓ（６６．６ｍｓ）毎にＶＰＦＥタスクフラグ及びアルゴリズムタスクフラグを“１”にし、４５ｍｓ毎にＶＰＢＥタスクフラグを“１”にする手順を繰り返す。これらのフラグは後述する図３のステップで参照され、書き換えられる。

図３に示すように、まず優先順位が最高のタスクのフラグであるＶＰＦＥタスクフラグが“１”であるか否か判定する（ステップＳ１１）。判定の結果、“１”であった場合（Ｓ１１：Yes）、アプリケーションバッファ２２に空き領域が有るか否かを判定する（ステップＳ１２）。判定の結果、空き領域が有る場合は（Ｓ１２：Yes）、ＶＰＦＥタスクを実行し、ＶＰＦＥタスクフラグを“０”にして（ステップＳ１３）、ステップＳ１１に戻る。空き領域が無い場合は（Ｓ１２：No）、そのままステップＳ１１に戻る。

ＶＰＦＥタスクフラグが“１”でなかった場合は（Ｓ１１：No）、優先順位が二番目に高いタスクのフラグであるＶＰＢＥタスクフラグが“１”であるか否か判定する（ステップＳ１４）。判定の結果、“１”であった場合（Ｓ１４：Yes）、出力データが有るか否か、即ちアプリケーションバッファ２２にデータフラグが“２”の領域が有るか否かを判定する（ステップＳ１５）。判定の結果、出力データが有る場合は（Ｓ１５：Yes）、ＶＰＢＥタスクを実行し、ＶＰＢＥタスクフラグを“０”にして（ステップＳ１６）、ステップＳ１１に戻る。出力データが無い場合は（Ｓ１５：No）、そのままステップＳ１１に戻る。

ＶＰＢＥタスクフラグが“１”でなかった場合は（Ｓ１４：No）、優先順位が最低のタスクのフラグであるアルゴリズムタスクフラグが“１”であるか否か判定する（ステップＳ１７）。判定の結果、“１”であった場合（Ｓ１７：Yes）、未処理データが有るか否か、即ちアプリケーションバッファ２２にデータフラグが“１”の領域が有るか否かを判定する（ステップＳ１８）。判定の結果、未処理データが有る場合は（Ｓ１８：Yes）、アルゴリズムタスクを実行し、アルゴリズムタスクフラグを“０”にして（ステップＳ１９）、ステップＳ１１に戻る。未処理データが無い場合は（Ｓ１８：No）、そのままステップＳ１１に戻る。

〈各タスクの実行タイミングチャート〉
図４は、図２及び図３に示すフローの実行により行われる各タスクのタイミングチャートの一例である。ここで、各タスクの枠の内、点線の枠は前述した所定の周期、即ちＶＰＦＥタスク及びアルゴリズムタスクについては１５ｆｐｓ（６６．６ｍｓ）、ＶＰＢＥタスクについては４５ｍｓのタイミングを表し、実線の枠は所定の周期のタイミング以外のタイミングを表す。また、枠内に記載されている数字は画像データのフレーム番号であり、そのフレームの画像データに対するタスクがその枠のタイミングで実行されていることを意味する。また、内部に“×”が記載されている枠は、処理される前に次の周期がコールされたため消滅したタスクフラグを示す。さらに、ＶＰＢＥタスクにおいて内部に“‐”が記載されている枠は、出力データが無いため、処理しないタイミングを示す。

図より、アルゴリズムタスクは、ＶＰＦＥタスク、ＶＰＢＥタスクの空き時間に実行されることが分かる。また、第３フレームや第４フレームのように、アルゴリズムタスクに時間がかかると、ＶＰＦＥタスク及びＶＰＢＥタスクが所定の周期毎に実行されない場合（内部に“×”が記載されている枠）が現れる。しかし、ＶＰＦＥタスク及びＶＰＢＥタスクが終われば、直ちに優先順位の高いＶＰＦＥタスクを実行してＶＰＳＳバッファ２１に空き領域を形成し、ＶＰＢＥタスクを実行してアプリケーションバッファ２２に空き領域を形成するので、ＶＰＳＳバッファ２１の満杯によるコマ落ち、及びアプリケーションバッファ２２の満杯によるコマ落ちを防止することができる。図５は、ＶＰＢＥタスクを実行してアプリケーションバッファ２２に空き領域を形成する様子を示している。

第５フレーム以降のように、アルゴリズムタスクの処理が軽くなると、ＶＰＦＥタスク及びＶＰＢＥタスクが所定の周期毎に実行されない場合（内部に“×”が記載されている枠）は無くなり、ほぼリアルタイムで処理される。

このように、本実施形態の画像処理システムによれば、ＶＰＦＥタスク、ＶＰＢＥタスク、アルゴリズムタスクの順に高い優先順位を与えるとともに、ＶＰＢＥタスクフラグを“１”にする間隔をその他のタスクフラグを“１”にする間隔よりも短くしたので、アルゴリズムタスクの処理負荷が増大した場合に、ＶＰＳＳバッファ２１が満杯になることによるコマ落ち、及びアプリケーションバッファ２２が満杯になることによるコマ落ちを防止することができる。

なお、アプリケーションバッファ２２を設けずにＶＰＳＳバッファ２１を大容量化し、Ｓ１０１〜Ｓ１０２に優先順位を付けた構成の場合、図７のステップＳ１０１とＳ１０４とが非同期であるが同一周期でしか動作しないため、ＣＰＵ１２によるアルゴリズムの負荷が増大した場合、モニタ４への出力が遅れることで、ＶＰＳＳバッファ２１が満杯になる。一方、本実施形態では、アプリケーションバッファ２２を設け、図２のＳ２０４の周期を短くすることで、ＶＰＳＳバッファ２１、及びアプリケーションバッファ２２が満杯になることを防止できる。このため、アプリケーションバッファ２２を設けずにＶＰＳＳバッファ２１を大容量化した構成の場合と比べると、より低スペックのＣＰＵで同等の処理が可能となる。

なお、以上の実施形態では、アプリケーションバッファ２２の容量を１００フレームとしたが、この容量は任意でよい。容量が大きい程、アルゴリズムの負荷が重くなった場合に満杯になる可能性は低下するが、リアルタイム性も低下する。

１・・・ＤＳＰ、１２・・・ＣＰＵ、１６・・・タイマ、２１・・・ＶＰＳＳバッファ、２２・・・アプリケーションバッファ、１２１・・・各種レジスタ、１３１・・・ＶＰＦＥ、１３２・・・ＶＰＢＥ。

Claims (1)

1. 外部から未処理画像データを取り込み、入出力バッファに書き込む画像入力手段と、前記入出力バッファに書き込まれた未処理画像データを読み出し、所定の画像処理を施して処理済み画像データを生成し、前記入出力バッファに書き込む画像処理手段と、前記入出力バッファに書き込まれた処理済み画像データを読み出し、外部へ出力する画像出力手段とを有する画像処理装置において、
   前記画像処理手段による画像処理アプリケーション上に設けられたアプリケーションバッファと、第１の周期で第１のフラグ及び第２のフラグをセットする手段と、該第１の周期より短い第２の周期で第３のフラグをセットする手段とを有し、
   前記画像処理手段は、
   前記第１のフラグがセットされており、かつ前記アプリケーションバッファに空き領域があるとき、前記入出力バッファに書き込まれた未処理画像データを前記アプリケーションバッファに書き込む第１のタスクを実行して前記第１のフラグをリセットし、
   前記第１のフラグがセットされておらず、かつ前記第３のフラグがセットされており、かつ前記アプリケーションバッファに処理済み画像データがあるとき、該処理済み画像データを読み出し、前記入出力バッファに書き込む第３のタスクを実行して前記第３のフラグをリセットし、
   前記第１のフラグ及び前記第３のフラグがセットされておらず、かつ前記第２のフラグがセットされており、かつ前記アプリケーションバッファに未処理画像データがあるとき、該未処理画像データを読み出し、所定の画像処理を施して前記アプリケーションバッファに書き込む第２のタスクを実行して前記第２のフラグをリセットする、
   ことを特徴とする画像処理装置。

Images