JP6737475B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Description

本発明は画像処理装置、画像処理方法、画像処理プログラムに関する。

ＦＰＧＡ（field-programmable gate array）、ＡＳＩＣ（application specific integrated circuit）などにＡＩ（Artificial Intelligence）又は機械学習による画像認識処理を実装する場合、その演算処理に大量のメモリリソースを必要とする。このため、画像認識結果をユーザに知らせるときに、１又は複数の認識対象物をそれぞれ囲む図形などを映像に重畳する機能に割り当てるメモリリソースを必要最小限に留める必要がある。

更に、画像認識にリアルタイム性を必要とする安全用途の画像表示装置では、認識結果を低遅延でいち早く表示する必要がある。
特許文献１には、少ないバッファを用い、効率よくフレームメモリに転送し、描画処理速度を向上させる線分描画装置が記載されている。

特開平０９−２１２６６５号公報

１又は複数の認識対象物をそれぞれ囲む図形などを映像に重畳する方法には、フレームメモリ上の映像に対して当該１又は複数の図形などを上書きする方法、映像用のフレームメモリ以外に当該１又は複数の図形用のフレームメモリを用意し、映像出力時に両者のフレームメモリからデータを取り出して重畳する方法などがある。

前者の方法では、認識結果の情報をフレームメモリに上書きする時間が必要であり、フレーム全面に上書きするために重畳後の映像の表示に遅延が発生する。また、後者の方法では、映像用のフレームメモリ以外に１又は複数の図形用のフレームメモリを必要とし、多くのメモリリソースを必要とする。

本開示の目的は、このような問題を解決するためになされたもので、画像認識結果を表示するために使用するメモリリソースを削減し、なおかつ、画像認識結果を低遅延で表示することができる画像処理装置、画像処理方法、画像処理プログラムを提供することにある。

本発明に係る画像処理装置は、認識対象画像における検出矩形の位置情報に基づいて、検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、検出矩形の左辺及び右辺を示す情報を認識対象画像の画素行毎に生成する描画情報生成部と、始点及び終点を示す情報、又は、左辺及び右辺を示す情報を始点、終点、左辺又は右辺がある画素に対応するアドレスに画素行毎に記憶する描画情報記憶部と、描画情報記憶部に記憶された始点及び終点を示す情報、又は、左辺及び右辺を示す情報に基づいて、検出矩形の上辺、下辺、左辺又は右辺の画像を画素行毎に生成し、認識対象画像に重畳する矩形重畳部とを備えるものである。

また、本発明に係る画像処理方法は、認識対象画像における検出矩形の位置情報に基づいて、検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、検出矩形の左辺及び右辺を示す情報を認識対象画像の画素行毎に生成するステップと、始点及び終点を示す情報、又は、左辺及び右辺を示す情報を始点、終点、左辺又は右辺がある画素に対応するアドレスに画素行毎に記憶するステップと、記憶した始点及び終点を示す情報、又は、左辺及び右辺を示す情報に基づいて、検出矩形の上辺、下辺、左辺又は右辺の画像を画素行毎に生成し、認識対象画像に重畳するステップとを有するものである。

また、本発明に係る画像処理プログラムは、認識対象画像における検出矩形の位置情報に基づいて、検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、検出矩形の左辺及び右辺を示す情報を認識対象画像の画素行毎に生成する手順と、始点及び終点を示す情報、又は、左辺及び右辺を示す情報を始点、終点、左辺又は右辺がある画素に対応するアドレスに画素行毎に記憶する手順と、記憶した始点及び終点を示す情報、又は、左辺及び右辺を示す情報に基づいて、検出矩形の上辺、下辺、左辺又は右辺の画像を画素行毎に生成し、認識対象画像に重畳する手順とをコンピュータに実行させるためのものである。

本発明により、画像認識結果を表示するために使用するメモリリソースを削減し、なおかつ、画像認識結果を低遅延で表示する画像処理装置、画像処理方法、画像処理プログラムを提供することができる。

実施の形態の概要に係る画像処理装置１００の構成を示すブロック図である。 実施の形態に係る画像処理装置１の概略構成を示す図である。 実施の形態に係る１つの検出矩形の画像におけるラインバッファの状態を示す図である。 実施の形態に係る１つの検出矩形の画像におけるラインバッファの状態を示す別の図である。 実施の形態に係る上辺の一部同士が重なった２つの検出矩形の画像におけるラインバッファの状態を示す図である。 実施の形態に係る上辺の一部同士が重なった２つの検出矩形の画像におけるラインバッファの状態を示す別の図である。 実施の形態に係る画像処理方法の処理手順を説明するための図である。 実施の形態に係る描画情報記憶部４０の具体的な構成を説明するための図である。 実施の形態に係るマーカー種別を示す図である。 実施の形態に係る矩形重畳部６０の動作手順を示すフローチャートである。 実施の形態に係る上辺の始点が重なった２つの検出矩形の画像におけるラインバッファの状態を示す図である。 図１１に示す検出矩形画像の現在の行における矩形重畳部６０の動作を説明するための図である。 図１１に示す検出矩形画像の現在の行における矩形重畳部６０の動作を説明するための図である。 図１１に示す検出矩形画像の現在の行における矩形重畳部６０の動作を説明するための図である。 図１１に示す検出矩形画像の現在の行における矩形重畳部６０の動作を説明するための図である。 図１１に示す検出矩形画像の現在の行における矩形重畳部６０の動作を説明するための図である。 実施の形態に係る上辺の終点が重なった２つの検出矩形の画像におけるラインバッファの状態を示す図である。 図１７に示す検出矩形画像の現在の行における矩形重畳部６０の動作を説明するための図である。 図１７に示す検出矩形画像の現在の行における矩形重畳部６０の動作を説明するための図である。 図１７に示す検出矩形画像の現在の行における矩形重畳部６０の動作を説明するための図である。 図１７に示す検出矩形画像の現在の行における矩形重畳部６０の動作を説明するための図である。 実施の形態に係る１つの検出矩形のラインバッファの状態を示す図である。 実施の形態に係るそれぞれの上辺の始点と終点とが重なった２つの検出矩形の画像におけるラインバッファの状態を示す図である。 実施の形態に係るそれぞれの上辺の始点が重なった３つの検出矩形の画像におけるラインバッファの状態を示す図である。 実施の形態に係る１つの上辺の終点と３つの上辺の始点とが重なった４つの検出矩形の画像におけるラインバッファの状態を示す図である。 実施の形態に係る１つの検出矩形のラインバッファの状態を示す図である。 実施の形態に係るそれぞれの上辺の終点と始点とが重なった２つの検出矩形の画像におけるラインバッファの状態を示す図である。 実施の形態に係るそれぞれの上辺の終点が重なった３つの検出矩形の画像におけるラインバッファの状態を示す図である。 実施の形態に係る３つの上辺の終点と１つの上辺の始点とが重なった４つの検出矩形の画像におけるラインバッファの状態を示す図である。 実施の形態に係る上辺の一部同士が重なった２つの検出矩形の画像におけるラインバッファの状態を示す図である。 実施の形態に係る上辺の一部同士が重なった２つの検出矩形と、２つの検出矩形のうちの一方の検出矩形の左辺に左辺が重なり、他方の検出矩形の右辺に右辺が重なる１つの検出矩形とによる３つの検出矩形の画像におけるラインバッファの状態を示す図である。

実施の形態を詳細に説明する前に、その概要について簡単に説明する。
図１は、実施の形態の概要に係る画像処理装置１００の構成を示すブロック図である。
画像処理装置１００は、描画情報生成部１０１、描画情報記憶部１０２、矩形重畳部１０３などを備える。

描画情報生成部１０１は、認識対象画像における検出矩形の位置情報に基づいて、検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、検出矩形の左辺及び右辺を示す情報を認識対象画像の画素行毎に生成し、描画情報記憶部１０２に出力する。
描画情報記憶部１０２は、検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、検出矩形の左辺及び右辺を示す情報を画素行毎に記憶する。

矩形重畳部１０３は、描画情報記憶部１０２に記憶された検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、検出矩形の左辺及び右辺を示す情報に基づいて、検出矩形の上辺、下辺、左辺又は右辺の画像を画素行毎に生成し、認識対象画像に重畳する。

画像処理装置１００は、このような構成により、必要最小限のメモリリソースで画像認識箇所に検出矩形を重畳することができ、１ライン（画素行）の映像を表示するのに許容される時間内に次ラインの描画矩形情報を生成して画像認識箇所に対する矩形重畳を行って表示装置に表示することができ、矩形を描画するための情報量を削減して描画する矩形の数を増やすことができる。

次に、実施の形態に係る画像処理装置及び画像処理方法について説明する。
図２は、本実施の形態に係る画像処理装置１の概略構成を示す図である。
画像処理装置１は、例えば、ＦＰＧＡ、ＡＳＩＣ又はファンレスで動作可能なＦＰＧＡなどのプロセッサ、又は、当該プロセッサを備えるパソコンなどの各種装置であって、画像認識部１０、認識結果記憶部２０、描画情報生成部３０、描画情報記憶部４０、映像記憶部５０、矩形重畳部６０などを備える。

画像認識部１０、描画情報生成部３０及び矩形重畳部６０は、例えば、ＦＰＧＡ、ＡＳＩＣなどの上に実装された論理回路である。画像処理装置１は、例えば、立ち入り禁止エリアに侵入した人を検出するためのハードウェアとして用いられる。

画像認識部１０は、撮像装置２から入力した映像において認識対象物である人体、人の顔、製品などを認識し、認識した対象物を囲む検出矩形の位置情報を認識した対象物毎に認識結果記憶部２０に出力する。検出矩形の位置情報には、例えば、検出矩形の左上及び右下の頂点の（ｘ，ｙ）座標、又は、検出矩形の中心の（ｘ，ｙ）座標、矩形幅及び矩形高さを用いる。検出矩形に正方形を用いるときは、その中心の（ｘ，ｙ）座標と、矩形幅又は矩形高さとを用いる。

認識結果記憶部２０は、例えば、ＳＲＡＭであって、認識結果情報、すなわち、認識した対象物の検出矩形の位置情報を映像の少なくとも１フレーム分記憶し、描画情報生成部３０が参照する認識結果情報２１と、画像認識部１０が更新する認識結果情報２２とが排他になるように制御し、フレーム単位で切り替える。

描画情報生成部３０は、認識結果記憶部２０から認識結果情報をライン単位で読み出し、ライン単位の描画矩形情報を生成し、描画情報記憶部４０のラインバッファ４１、４２に書き込む。ライン単位の描画矩形情報をラインバッファ４１、４２に書き込むときは、画素毎の矩形線分の情報をそのまま書き込むのではなく、矩形の上辺、下辺の始点、終点を示すマーカー（以下、「始点マーカー」、「終点マーカー」という。）、又は、矩形の左辺、右辺を示すマーカー（以下、「枠マーカー」という。）を書き込み、ラインバッファ４１、４２に描画矩形情報を書き込む時間を短縮する。これにより、どのような大きさの矩形についても、各ライン２箇所の書き込み時間で処理を完了することができる。

描画情報記憶部４０は、ラインバッファ４１、４２を備え、ライン単位の描画矩形情報の少なくとも１ライン分を記憶し、矩形重畳部６０が参照する描画矩形情報と、描画情報生成部３０が更新する次ラインの描画矩形情報が排他になるように制御し、ライン単位で切り替える。

図３は、本実施の形態に係る１つの検出矩形の画像におけるラインバッファの状態を示す図である。上図は検出矩形の画像を示し、下図は検出矩形画像の現在の行に対応するラインバッファに記憶された始点マーカー、終点マーカーを示す。ラインバッファの重複カウンタとは複数の検出矩形の始点又は終点が重複するときに記憶されるもので、詳細は後述する。

検出矩形画像の現在の行に対応するラインバッファに検出矩形の上辺の描画矩形情報を記憶するときは、上辺の始点がある画素に対応するアドレスに始点マーカー「３」を記憶し、上辺の終点がある画素に対応するアドレスに終点マーカー「５」を記憶する。ラインバッファが検出矩形の下辺の描画矩形情報を記憶するときも同様である。

図４は、本実施の形態に係る１つの検出矩形の画像におけるラインバッファの状態を示す別の図である。上図は検出矩形の画像を示し、下図は検出矩形画像の現在の行に対応するラインバッファに記憶された枠マーカーを示す。
検出矩形画像の現在の行に対応するラインバッファに検出矩形の左辺、右辺の描画矩形情報を記憶するときは、左辺、右辺がある画素に対応するアドレスに枠マーカー「１」を記憶する。

図５は、本実施の形態に係る上辺の一部同士が重なった２つの検出矩形の画像におけるラインバッファの状態を示す図である。上図は当該２つの検出矩形の画像を示し、下図は、検出矩形画像の現在の行に対応するラインバッファに記憶された始点マーカー、終点マーカーを示す。

検出矩形画像の現在の行に対応するラインバッファに２つの検出矩形の上辺の描画矩形情報をそれぞれ記憶するときは、上辺のそれぞれの始点がある画素に対応するアドレスに始点マーカー「３」を記憶し、上辺のそれぞれの終点がある画素に対応するアドレスに終点マーカー「５」を記憶する。２つの検出矩形の下辺の一部が重なっているときも同様である。

図６は、本実施の形態に係る上辺の一部同士が重なった２つの検出矩形の画像におけるラインバッファの状態を示す別の図である。上図は当該２つの検出矩形の画像を示し、下図は検出矩形画像の現在の行に対応するラインバッファに記憶された枠マーカーを示す。
検出矩形画像の現在の行に対応するラインバッファに２つの検出矩形の左辺、右辺の描画矩形情報をそれぞれ記憶するときは、それぞれの左辺、右辺がある画素の対応するアドレスに枠マーカー「１」を記憶する。

映像記憶部５０は、フレームメモリ５１、５２を備え、画像認識の対象となった映像の少なくとも１フレーム分を記憶し、矩形重畳部６０が参照するフレームと、画像認識部１０が画像認識の対象とするその次のフレームとが排他になるように制御し、フレーム単位で切り替える。

矩形重畳部６０は、映像記憶部５０に記憶された映像を出力するときに、出力するラインの各画素にそれぞれ対応するラインバッファ４１又はラインバッファ４２のアドレスの描画情報を参照して矩形線分を生成し、映像に重畳して１ラインずつ表示装置３に出力する。

例えば、あるラインについて、ラインバッファに始点マーカー及び終点マーカーが記憶されているときに、矩形重畳部６０は、始点マーカーに対応する画素から終点マーカーに対応する画素までの各画素において矩形線分、すなわち、検出矩形の上辺又は下辺を生成して映像に重畳し出力する。

このとき、矩形重畳部６０は、始点マーカーに対応する画素から終点マーカーに対応する画素までの画素以外の画素、すなわち、始点マーカーに対応する画素の左にある画素、及び、終点マーカーに対応する画素の右にある画素については、矩形線分を作成、重畳せずに、映像をそのまま出力する。

また、あるラインについて、ラインバッファに枠マーカー２つが記憶されているときに、矩形重畳部６０は、２つの枠マーカーにそれぞれ対応する画素において１画素分の矩形線分、すなわち、１画素分の検出矩形の左辺又は右辺を生成して映像に重畳し出力する。このとき、矩形重畳部６０は、２つの枠マーカーにそれぞれ対応する画素以外の画素については、矩形線分を作成、重畳せずに、映像をそのまま出力する。
また、あるラインについて、ラインバッファに描画矩形情報のマーカーが何も記憶されていないときに、矩形重畳部６０は、映像をそのまま出力する。

このように、描画情報生成部３０は、認識結果情報から映像に重畳したい図形の情報をライン単位で描画矩形情報に変換し、描画情報記憶部４０のラインバッファ４１、４２に書き込む。このとき、描画情報生成部３０は、矩形重畳部６０が出力する映像ラインの次ラインの描画矩形情報を生成するため、描画情報記憶部４０にはフレームバッファを必要としない。

なお、画像処理装置１が実現する各構成要素は、例えば、コンピュータである画像処理装置１が備える演算装置（図示せず）の制御によって、プログラムを実行させることにより実現できる。

具体的には、画像処理装置１は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。

上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、画像処理装置１に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。

非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって画像処理装置１に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、または無線通信路を介して、プログラムを画像処理装置１に供給できる。

図７は、本実施の形態に係る画像処理方法の処理手順を説明するための図である。描画情報生成部３０、ラインバッファ４１、４２及び矩形重畳部６０の処理内容、すなわち、検出矩形の位置情報から描画矩形情報をライン毎に生成して記憶し、記憶した描画矩形情報から検出矩形をライン毎に生成して映像に重畳する処理の内容を模式的に示している。ここでは、（あまり現実的ではないが）４ラインで構成される矩形を映像にライン毎に重畳する処理を示している。

図７の横軸は時間を示し、時刻ｔ０〜ｔ１、ｔ１〜ｔ２、ｔ２〜ｔ３、ｔ３〜ｔ４はそれぞれ１ラインの映像を表示するのに許容される時間を示し、例えば、ＶＧＡであれば６０ｆｐｓで約３２μｓである。また、時刻ｔ０〜ｔ１は、ブランキング期間内であり、時刻ｔ１以降は映像表示期間内である。

描画情報生成部３０は、ブランキング期間内に１ライン先行して認識結果の検出矩形の位置情報から、１ライン目の描画矩形情報を生成してラインバッファ４１に記憶する（時刻ｔ０〜ｔ１）。実際の検出矩形の位置情報は前述したように検出矩形の左上及び右下の頂点の（ｘ，ｙ）座標などであり、また、描画矩形情報も前述したようにマーカーなどであるが、図７では、処理内容を理解しやすくするために、「線」「点線」などの図形を用いて模式的に示している。

次に、映像表示期間に入り、矩形重畳部６０がラインバッファ４１内の１ライン目の描画矩形情報を参照して検出矩形の１ライン目に対応する部分（ここでは、上辺）を生成して映像の１ライン目に重畳して当該１ライン分の重畳後の映像を出力し、その間に描画情報生成部３０が認識結果情報から２ライン目の描画矩形情報を生成してラインバッファ４２に記憶する（時刻ｔ１〜ｔ２）。

次に、矩形重畳部６０がラインバッファ４２内の２ライン目の描画矩形情報を参照して検出矩形の２ライン目に対応する部分（ここでは、左辺、右辺の上半分）を生成して映像の２ライン目に重畳して当該１ライン分の重畳後の映像を出力し、その間に描画情報生成部３０が認識結果情報から３ライン目の描画矩形情報を生成して、ラインバッファ４１に記憶する（時刻ｔ２〜ｔ３）。

以降、このような処理を繰り返すことで、映像出力時に重畳後の映像をライン単位で生成することができ、また、必要とするメモリリソースを最低限に抑えることができる。また、ライン単位で描画することで、映像出力の遅延も１ライン分しか発生しない。

なお、描画情報生成部３０が認識結果情報をライン単位で毎回全て検出して次ラインの描画矩形情報を生成するために、認識結果を示す図形を矩形、例えば、正方形に限定し、かつ、矩形の上辺又は下辺の描画情報の書き込み時間を短縮するためにマーカー及び重複カウンタを使用する。

これにより、例えば、１ラインの映像を表示するのに許容される時間が３２μｓであり画像処理装置１のクロック周波数が１００ＭＨｚ（繰り返し周期１０ｎｓ）であり、描画情報記憶部４０のラインバッファ４１、４２の入力端子の数が２であったときに、描画情報生成部３０は、１ライン当たり最大で、

３２（μｓ）／１０（ｎｓ）×２＝６４００（候補）

という、矩形線分を画素単位で書き込むときと比べて極めて大きな数の描画矩形情報を生成することができる。

図８は、本実施の形態に係る描画情報記憶部４０（ラインバッファ４１、４２）の具体的な構成を説明するための図である。また、図９は、本実施の形態に係るマーカー種別を示す図である。
上記のような処理手順を実現するために、ラインバッファ４１、４２はそれぞれ１ラインの各画素の描画矩形情報を１１ビットで記憶しており、１番下の１ビットには「マーカーフラグ」を記憶し、その上の２ビットには「マーカー種別」を記憶し、その上の８ビットには「重複カウンタ」を記憶する。

本実施の形態では、前述したように、矩形の左辺又は右辺を示す枠マーカーには１を、矩形の上辺又は下辺の始点を示す始点マーカーには３を、矩形の上辺又は下辺の終点を示す終点マーカーには５を用いる。
このため、描画情報生成部３０は、描画する画素ではマーカーフラグに「１」を記憶する。

また、当該画素が矩形の左辺又は右辺であるときは、マーカー種別の下位ビットに「０」を記憶し、上位ビットにも「０」を記憶し、マーカーフラグの「１」と合わせて枠マーカーの「１」を記憶する。
同様に、当該画素が矩形の上辺又は下辺の始点であるときは、マーカー種別の下位ビットに「１」を記憶し、上位ビットに「０」を記憶し、マーカーフラグの「１」と合わせて始点マーカーの「３」を記憶する。

また、当該画素が矩形の上辺又は下辺の終点であるときは、マーカー種別の下位ビットに「０」を記憶し、上位ビットに「１」を記憶し、マーカーフラグの「１」と合わせて終点マーカーの「５」を記憶する。

図１０は、本実施の形態に係る矩形重畳部６０の動作手順を示すフローチャートである。
矩形重畳部６０は、処理を開始すると、以下の処理を認識対象画像の一番上のラインの左端の画素から右端の画素まで順番に行い、次に、２ライン目の左端の画素から右端の画素まで順番に行い、最終的には、認識対象画像の一番下のラインの左端の画素から右端の画素まで順番に行う。

まず、矩形重畳部６０は、当該画素に対応するラインバッファの下位１ビットのマーカーフラグの値を矩形重畳部６０のマーカーフラグに代入する（ステップＳ１０）。
次に、矩形重畳部６０のマーカーフラグを読み取り（ステップＳ２０）、マーカーフラグに１が記憶されているか、又は、始点マーカーカウンタに１以上が記憶されているか、すなわち、マーカーフラグ又は始点マーカーカウンタがオンかを判定する（ステップＳ３０）。

マーカーフラグ、始点マーカーカウンタが共にオンでないとき（ステップＳ３０のＮｏ）は、当該画素については矩形画像を生成、重畳しないので、認識対象画像のデータをそのまま出力して（ステップＳ４０）、当該画素の処理を終了する。
また、マーカーフラグ又は始点マーカーカウンタがオンのときは（ステップＳ３０のＹｅｓ）、ラインバッファの中位２ビットのマーカー種別を確認し（ステップＳ５０）、マーカー種別が枠マーカー「１」であるか判定する（ステップＳ６０）。

そして、マーカー種別が枠マーカー「１」であるとき（ステップＳ６０のＹｅｓ）は、当該画素については、矩形画像を生成し、認識対象画像のデータに重畳して出力する（ステップＳ７０）。
また、マーカー種別が枠マーカー「１」でないとき（ステップＳ６０のＮｏ）は、マーカー種別が始点マーカー「３」であるか判定する（ステップＳ８０）。

マーカー種別が始点マーカー「３」であるとき（ステップＳ８０のＹｅｓ）は、ラインバッファの上位８ビットの重複カウンタを読み取り（ステップＳ９０）、矩形重畳部６０の始点マーカーカウンタに重複カウンタの値を加算し（ステップＳ１００）、更に、始点マーカーカウンタの値を１増やし（ステップＳ１１０）、その後、当該画素については、認識対象画像のデータに矩形画像を重畳して出力する（ステップＳ７０）。

また、マーカー種別が始点マーカー「３」でないとき（ステップＳ８０のＮｏ）は、マーカー種別が終点マーカー「５」であるか判定する（ステップＳ１２０）。マーカー種別が終点マーカー「５」であるとき（ステップＳ１２０のＹｅｓ）は、ラインバッファの上位８ビットの重複カウンタを読み取り（ステップＳ１３０）、矩形重畳部６０の始点マーカーカウンタから重複カウンタの値を減算し（ステップＳ１４０）、更に、始点マーカーカウンタの値を１減らし（ステップＳ１５０）、その後、当該画素についても、認識対象画像のデータに矩形画像を重畳して出力する（ステップＳ７０）。

また、マーカー種別が終点マーカー「５」でないとき（ステップＳ１２０のＮｏ）は、当該画素について、認識対象画像のデータに矩形画像を重畳して出力する（ステップＳ７０）。
このように、本実施の形態に係る画像処理装置及び画像処理方法は、上記の構成により、多くの検出矩形を少ないメモリ容量で、かつ、低遅延で表示することができる。

次に、検出矩形の始点又は終点と、別の検出矩形の始点又は終点とが重なるような、又は、１つの検出矩形の左辺、右辺が他の検出矩形の左辺、右辺に含まれるような、いくつかの具体例における画像処理装置１の動作についてそれぞれ説明する。

図１１は、本実施の形態に係る上辺の始点が重なった２つの検出矩形の画像におけるラインバッファの状態を示す図である。上図は当該２つの検出矩形の画像を示し、下図は、検出矩形画像の現在の行に対応するラインバッファに記憶された始点マーカー、終点マーカー及び重複カウンタを示す。

検出矩形画像の現在の行に対応するラインバッファに検出矩形の上辺の描画矩形情報を記憶するときは、始点が重なった画素に対応するアドレスにマーカー種別に「３」を記憶し、重複カウンタに「１」を記憶する。
図１２〜図１６は、図１１に示す検出矩形画像の現在の行における矩形重畳部６０の動作をそれぞれ説明するための図である。

図１２に示す、現在の行の左端の画素については、ラインバッファのマーカー種別が「０」であり、矩形重畳部６０は、図１０に示す動作手順に従い、マーカーフラグに「０」を代入し（ステップＳ１０）、マーカーフラグ、始点マーカーカウンタが共にオンではないと判定して（ステップＳ３０のＮｏ）、認識対象画像のデータをそのまま出力して（ステップＳ４０）、当該画素の処理を終了する。

図１３に示す、２つの検出矩形の上辺の始点が重なる画素については、ラインバッファのマーカー種別が「３」であり、重複カウンタが「１」であるので、図１０に示す動作手順に同様に従い、マーカーフラグに「１」を代入し（ステップＳ１０）、マーカーフラグがオンであると判定して（ステップＳ３０のＹｅｓ）、始点マーカーカウンタの値を「２」にし（ステップＳ１００、ステップＳ１１０）、矩形画像を映像に重畳して処理を終了する。

図１４に示す、一方の検出矩形の上辺の終点がある画素については、マーカー種別が「５」であるので、同様に、マーカーフラグに「１」を代入し（ステップＳ１０）、マーカーフラグ、始点マーカーカウンタが共にオンであると判定して（ステップＳ３０のＹｅｓ）、始点マーカーカウンタの値を「１」にし（ステップＳ１４０、ステップＳ１５０）、矩形画像を映像に重畳して処理を終了する。

図１５に示す、他方の検出矩形の上辺の終点がある画素についても、マーカー種別が「５」であるので、同様に、マーカーフラグに「１」を代入し（ステップＳ１０）、始点マーカーカウンタの値を「０」にし（ステップＳ１４０、ステップＳ１５０）、矩形画像を映像に重畳して処理を終了する。

図１６に示す、現在の行の検出矩形の１つ右の画素については、マーカー種別が「０」であり、同様に、マーカーフラグに「０」を代入し（ステップＳ１０）、マーカーフラグ、始点マーカーカウンタが共にオンではないと判定して（ステップＳ３０のＮｏ）、認識対象画像のデータをそのまま出力して（ステップＳ４０）、当該画素の処理を終了する。
このように、本実施の形態に係る画像処理装置１及び画像処理方法は、２つの検出矩形の上辺の始点が重なるような場合でも、正しく検出矩形を描画することができる。

図１７は、本実施の形態に係る上辺の終点が重なった２つの検出矩形の画像におけるラインバッファの状態を示す図である。上図は当該２つの検出矩形の画像を示し、下図は、検出矩形画像の現在の行に対応するラインバッファに記憶される始点マーカー、終点マーカー及び重複カウンタを示す。

検出矩形画像の現在の行に対応するラインバッファに検出矩形の上辺の描画矩形情報を記憶するときは、終点が重なった画素に対応するアドレスにマーカー種別に「５」を記憶し、重複カウンタに「１」を記憶する。
図１８〜図２１は、図１７に示す検出矩形画像の現在の行における矩形重畳部６０の動作をそれぞれ説明するための図である。

図１８に示す、一方の検出矩形の上辺の始点がある画素については、ラインバッファのマーカー種別が「３」であり、重複カウンタが「０」であるので、矩形重畳部６０は図１０に示す動作手順に従い、マーカーフラグに「１」を代入し（ステップＳ１０）、マーカーフラグがオンであると判定して（ステップＳ３０のＹｅｓ）、始点マーカーカウンタの値を「１」にし（ステップＳ１００、ステップＳ１１０）、矩形画像を映像に重畳して処理を終了する。

図１９に示す、他方の検出矩形の上辺の始点がある画素については、マーカー種別が「３」であるので、同様に、マーカーフラグに「１」を代入し（ステップＳ１０）、マーカーフラグ、始点マーカーカウンタが共にオンであると判定して（ステップＳ３０のＹｅｓ）、始点マーカーカウンタの値を「２」にし（ステップＳ１００、ステップＳ１１０）、矩形画像を映像に重畳して処理を終了する。

図２０に示す、２つの検出矩形の上辺の終点が重なる画素については、マーカー種別が「５」であり、重複カウンタが「１」であるので、同様に、マーカーフラグに「１」を代入し（ステップＳ１０）、始点マーカーカウンタの値を「０」にし（ステップＳ１４０、ステップＳ１５０）、矩形画像を映像に重畳して処理を終了する。

図２１に示す、検出矩形の１つ右の画素については、マーカー種別が「０」であり、同様に、マーカーフラグに「０」を代入し（ステップＳ１０）、マーカーフラグ、始点マーカーカウンタが共にオンではないと判定して（ステップＳ３０のＮｏ）、認識対象画像のデータをそのまま出力して（ステップＳ４０）、当該画素の処理を終了する。
このように、本実施の形態に係る画像処理装置１及び画像処理方法は、２つの検出矩形の上辺の終点が重なるような場合でも、正しく検出矩形を描画することができる。

図２２は、本実施の形態に係る１つの検出矩形のラインバッファの状態を示す図である。図３に示したものと同様であるので、説明は省略する。
図２３は、本実施の形態に係るそれぞれの上辺の始点と終点とが重なった２つの検出矩形の画像におけるラインバッファの状態を示す図である。上図は当該２つの検出矩形の画像を示し、下図は、検出矩形画像の現在の行に対応するラインバッファに記憶された始点マーカー及び終点マーカーを示す。

上図に示す画像は、図２２に示す検出矩形の左に更に検出矩形を追加した状態の画像と考えることができる。このため、描画情報生成部３０は、検出矩形画像の現在の行に対応するラインバッファに、追加する検出矩形の上辺の描画矩形情報を記憶するときは、追加する検出矩形の始点マーカー「３」を追加するとともに、追加する検出矩形の終点マーカー「５」と元からある検出矩形の始点マーカー「３」とを相殺させて、始点マーカー「３」、終点マーカー「５」を１つずつとする。
このように、本実施の形態に係る画像処理装置１及び画像処理方法は、２つの検出矩形の上辺の始点と終点とが重なるような場合でも、正しく検出矩形を描画することができる。

図２４は、本実施の形態に係るそれぞれの上辺の始点が重なった３つの検出矩形の画像におけるラインバッファの状態を示す図である。上図は当該３つの検出矩形の画像を示し、下図は、検出矩形画像の現在の行に対応するラインバッファに記憶された始点マーカー、終点マーカー及び重複カウンタを示す。
３つの始点が重なった画素に対応するアドレスに重複カウンタ「２」が記憶されている。

図２５は、本実施の形態に係る１つの上辺の終点と３つの上辺の始点とが重なった４つの検出矩形の画像におけるラインバッファの状態を示す図である。上図は当該４つの検出矩形の画像を示し、下図は、検出矩形画像の現在の行に対応するラインバッファに記憶された始点マーカー、終点マーカー及び重複カウンタを示す。

上図に示す画像は、図２４に示す３つの検出矩形の左に更に検出矩形を追加した画像と考えることができる。このため、描画情報生成部３０は、検出矩形画像の現在の行に対応するラインバッファに、追加する検出矩形の上辺の描画矩形情報を記憶するときは、追加する検出矩形の始点マーカー「３」を追加するとともに、追加する検出矩形の終点マーカー「５」と元からある検出矩形の始点マーカー「３」とを相殺させて、重複カウンタを「２」から「１」へと削減する。

このように、本実施の形態に係る画像処理装置１及び画像処理方法は、１つの検出矩形の上辺の始点と３つの検出矩形の上辺の終点とが重なるような場合でも、正しく検出矩形を描画することができる。

図２６は、本実施の形態に係る１つの検出矩形のラインバッファの状態を示す図である。図３に示したものと同様であるので、ここでも説明は省略する。
図２７は、本実施の形態に係るそれぞれの上辺の終点と始点とが重なった２つの検出矩形の画像におけるラインバッファの状態を示す図である。上図は当該２つの検出矩形の画像を示し、下図は、検出矩形画像の現在の行に対応するラインバッファに記憶された始点マーカー及び終点マーカーを示す。

上図に示す画像は、図２６に示す検出矩形の右に更に検出矩形を追加した画像と考えることができる。このため、描画情報生成部３０は、検出矩形画像の現在の行に対応するラインバッファに、追加する検出矩形の上辺の描画矩形情報を記憶するときは、元からある検出矩形の終点マーカー「５」と追加する検出矩形の始点マーカー「３」とを相殺させるとともに、追加する検出矩形の終点マーカー「５」を追加して、始点マーカー「３」、終点マーカー「５」を１つずつとする。
このように、本実施の形態に係る画像処理装置１及び画像処理方法は、２つの検出矩形の上辺の終点と始点とが重なるような場合でも、正しく検出矩形を描画することができる。

図２８は、本実施の形態に係るそれぞれの上辺の終点が重なった３つの検出矩形の画像におけるラインバッファの状態を示す図である。上図は当該３つの検出矩形の画像を示し、下図は、検出矩形画像の現在の行に対応するラインバッファに記憶された始点マーカー、終点マーカー及び重複カウンタを示す。
３つの終点が重なった画素に対応するアドレスに重複カウンタ「２」が記憶されている。

図２９は、本実施の形態に係る３つの上辺の終点と１つの上辺の始点とが重なった４つの検出矩形の画像におけるラインバッファの状態を示す図である。上図は当該４つの検出矩形の画像を示し、下図は、検出矩形画像の現在の行に対応するラインバッファに記憶された始点マーカー、終点マーカー及び重複カウンタを示す。

上図に示す画像は、図２８に示す３つの検出矩形の右に更に検出矩形を追加した画像と考えることができる。このため、描画情報生成部３０は、検出矩形画像の現在の行に対応するラインバッファに、追加する検出矩形の上辺の描画矩形情報を記憶するときは、元からある検出矩形の終点マーカー「５」と追加する検出矩形の始点マーカー「３」とを相殺させて、重複カウンタを「２」から「１」へと削減するとともに、追加する検出矩形の終点マーカー「５」を追加する。

このように、本実施の形態に係る画像処理装置１及び画像処理方法は、３つの検出矩形の上辺の終点と１つの検出矩形の上辺の始点とが重なるような場合でも、正しく検出矩形を描画することができる。

図３０は、本実施の形態に係る上辺の一部同士が重なった２つの検出矩形の画像におけるラインバッファの状態を示す図である。図６に示したものと同様であるので、説明は省略する。

図３１は、本実施の形態に係る上辺の一部同士が重なった２つの検出矩形と、２つの検出矩形のうちの一方の検出矩形の左辺に左辺が重なり、他方の検出矩形の右辺に右辺が重なる１つの検出矩形とによる３つの検出矩形の画像におけるラインバッファの状態を示す図である。上図は当該３つの検出矩形の画像を示し、下図は、検出矩形画像の現在の行に対応するラインバッファに記憶された始点マーカー、終点マーカー及び枠マーカーを示す。

上図に示す画像は、図３０に示す２つの検出矩形に、２つの検出矩形のうちの一方の検出矩形の左辺に左辺が重なり、他方の検出矩形の右辺に右辺が重なる検出矩形を追加した画像と考えることができる。このため、描画情報生成部３０は、検出矩形画像の現在の行に対応するラインバッファに、追加する検出矩形の下辺の描画矩形情報を記憶するときは、元からある検出矩形の枠マーカー「１」を追加する検出矩形の始点マーカー「３」に変更するとともに、元からある検出矩形のもう１つの枠マーカー「１」を追加する検出矩形の終点マーカー「５」に変更して、枠マーカー「１」を２つ、始点マーカー「３」、終点マーカー「５」を１つずつとする。

このように、本実施の形態に係る画像処理装置１及び画像処理方法は、上辺の一部同士が重なった２つの検出矩形と、２つの検出矩形のうちの一方の検出矩形の左辺に左辺が重なり、他方の検出矩形の右辺に右辺が重なる１つの検出矩形とがあるような場合でも、正しく検出矩形を描画することができる。

なお、本実施の形態１に係る画像処理装置１又は画像処理方法では、種々の変更が可能である。
例えば、描画情報生成部３０が、始点マーカー、終点マーカー又は枠マーカーをラインバッファに書き込む時間は、１ラインの映像を表示するのに許容される時間内に限られなくても良い。

また、矩形重畳部６０が、検出矩形の上辺、下辺、左辺又は右辺の画像をライン毎に生成して認識対象画像に重畳するのは、描画情報生成部３０が、始点マーカーなどをラインバッファに書き込んでいるときに限られなくても良い。
また、メモリリソースに余裕があるような場合に、描画情報記憶部４０は３つ以上のラインバッファを備えても良い。

また、画像処理装置１は、映像の中から人を認識して、その人を矩形で囲んで使用者に注意を促す画像表示装置、群衆が映る映像の中から特定の個人の顔を認識して、その顔を矩形で囲んで使用者に知らせる画像表示装置、物流倉庫のような大量の製品が置かれている場所における映像の中から特定の製品を認識して、その製品を矩形で囲んで使用者に知らせる画像表示装置、作業現場で映像の中から次に作業すべき箇所を認識して、その箇所を矩形で囲んで作業者に作業を促す画像表示装置、製造現場で映像の中から傷や半田不良などの欠陥を認識して、その箇所を矩形で囲んで製造者に知らせる画像表示装置などのように構成することもできる。
また、画像処理装置１は、ムービーカメラ、スマートフォンなどの撮像装置として構成することもできる。

以上、説明したように、本実施の形態に係る画像処理装置１は、認識対象画像における検出矩形の位置情報に基づいて、検出矩形の上辺又は下辺の始点及び終点を示す情報（始点マーカー、終点マーカー）、又は、検出矩形の左辺及び右辺を示す情報（枠マーカー）を認識対象画像の画素行毎に生成する描画情報生成部３０と、始点及び終点を示す情報、又は、左辺及び右辺を示す情報を始点、終点、左辺又は右辺がある画素に対応するアドレスに画素行毎に記憶する描画情報記憶部４０と、描画情報記憶部に記憶された始点及び終点を示す情報、又は、左辺及び右辺を示す情報に基づいて、検出矩形の上辺、下辺、左辺又は右辺の画像を画素行毎に生成し、認識対象画像に重畳する矩形重畳部６０とを備えるものである。

また、本実施の形態に係る画像処理装置１は、描画情報記憶部が２つのラインバッファ４１、４２を備え、２つのラインバッファは、隣接する画素行の始点及び終点を示す情報、又は、左辺及び右辺を示す情報をそれぞれ画素行の１行分記憶することが好ましい。

また、本実施の形態に係る画像処理装置１は、描画情報生成部が、始点及び終点を示す情報、又は、左辺及び右辺を示す情報を一方のラインバッファに書き込んでいるときに、矩形重畳部が、検出矩形の上辺、下辺、左辺又は右辺の画像を画素行毎に生成し、認識対象画像に重畳することが好ましい。

また、本実施の形態に係る画像処理装置１は、描画情報生成部が、画素行の１行分を表示するときに許容される時間内に、始点及び終点を示す情報、又は、左辺及び右辺を示す情報を一方のラインバッファに書き込むことが好ましい。

また、本実施の形態に係る画像処理装置１は、描画情報生成部が、始点又は終点の重複する数を示す重複情報（重複カウンタ）を画素行毎に更に生成し、描画情報記憶部が、重複情報を重複する画素に対応するアドレスに画素行毎に更に記憶し、矩形重畳部が、描画情報記憶部に記憶された始点及び終点を示す情報及び重複情報に基づいて、検出矩形の上辺又は下辺の画像を画素行毎に生成することが好ましい。

また、本実施の形態に係る画像処理装置１は、認識対象画像を画像認識して検出矩形の位置情報を算出する画像認識部１０と、検出矩形の位置情報を記憶する認識結果記憶部２０と、認識対象画像を記憶する映像記憶部５０とを更に備え、画像認識部、認識結果記憶部、描画情報生成部、描画情報記憶部、映像記憶部及び矩形重畳部が１つのＦＰＧＡ又はＡＳＩＣにより構成されることが好ましい。

また、本実施の形態に係る画像処理方法は、認識対象画像における検出矩形の位置情報に基づいて、検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、検出矩形の左辺及び右辺を示す情報を認識対象画像の画素行毎に生成するステップと、始点及び終点を示す情報、又は、左辺及び右辺を示す情報を始点、終点、左辺又は右辺がある画素に対応するアドレスに画素行毎に記憶するステップと、記憶した始点及び終点を示す情報、又は、左辺及び右辺を示す情報に基づいて、検出矩形の上辺、下辺、左辺又は右辺の画像を画素行毎に生成し、認識対象画像に重畳するステップとを有するものである。

また、本実施の形態に係る画像処理プログラムは、認識対象画像における検出矩形の位置情報に基づいて、検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、検出矩形の左辺及び右辺を示す情報を認識対象画像の画素行毎に生成する手順と、始点及び終点を示す情報、又は、左辺及び右辺を示す情報を始点、終点、左辺又は右辺がある画素に対応するアドレスに画素行毎に記憶する手順と、記憶した始点及び終点を示す情報、又は、左辺及び右辺を示す情報に基づいて、検出矩形の上辺、下辺、左辺又は右辺の画像を画素行毎に生成し、認識対象画像に重畳する手順とをコンピュータに実行させるためのものである。

１、１００ 画像処理装置
１０ 画像認識部
２０ 認識結果記憶部
２１、２２ 認識結果情報
３０、１０１ 描画情報生成部
４０、１０２ 描画情報記憶部
４１、４２ ラインバッファ
５０ 映像記憶部
５１、５２ フレームメモリ
６０ 矩形重畳部
２ 撮像装置
３ 表示装置

Claims (10)

1. 認識対象画像における検出矩形の位置情報に基づいて、前記検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、前記検出矩形の左辺及び右辺を示す情報と、前記始点又は前記終点の重複する数を示す重複情報とを前記認識対象画像の画素行毎に生成する描画情報生成部と、
   前記始点及び終点を示す情報、又は、前記左辺及び右辺を示す情報を前記始点、終点、左辺又は右辺がある画素に対応するアドレスに前記画素行毎に記憶し、前記重複情報を前記重複する画素に対応するアドレスに前記画素行毎に記憶する描画情報記憶部と、
   前記描画情報記憶部に記憶された前記始点及び終点を示す情報並びに前記重複情報に基づいて、前記検出矩形の上辺又は下辺の画像を前記画素行毎に生成し、又は、前記左辺及び右辺を示す情報に基づいて、前記検出矩形の左辺又は右辺の画像を前記画素行毎に生成し、前記認識対象画像に重畳する矩形重畳部と
   を備える画像処理装置。
2. 認識対象画像における検出矩形の位置情報に基づいて、前記検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、前記検出矩形の左辺及び右辺を示す情報を前記認識対象画像の画素行毎に生成する描画情報生成部と、
   前記始点及び終点を示す情報、又は、前記左辺及び右辺を示す情報を前記始点、終点、左辺又は右辺がある画素に対応するアドレスに前記画素行毎に記憶する描画情報記憶部と、
   前記描画情報記憶部に記憶された前記始点及び終点を示す情報、又は、前記左辺及び右辺を示す情報に基づいて、前記検出矩形の上辺、下辺、左辺又は右辺の画像を前記画素行毎に生成し、前記認識対象画像に重畳する矩形重畳部と
   を備え、
   前記描画情報生成部は、前記検出矩形の上辺又は下辺の始点と終点とが重複する場合に、重複する前記始点を示す情報と、重複する前記終点を示す情報とを相殺させる
   画像処理装置。
3. 前記描画情報記憶部は２つのラインバッファを備え、
   前記２つのラインバッファは、隣接する前記画素行の前記始点及び終点を示す情報、又は、前記左辺及び右辺を示す情報をそれぞれ前記画素行の１行分記憶する
   請求項１または２に記載の画像処理装置。
4. 前記描画情報生成部が、前記始点及び終点を示す情報、又は、前記左辺及び右辺を示す情報を一方の前記ラインバッファに書き込んでいるときに、
   前記矩形重畳部が、前記検出矩形の上辺、下辺、左辺又は右辺の画像を前記画素行毎に生成し、前記認識対象画像に重畳する
   請求項３記載の画像処理装置。
5. 前記描画情報生成部は、前記画素行の１行分を表示するときに許容される時間内に、前記始点及び終点を示す情報、又は、前記左辺及び右辺を示す情報を前記一方のラインバッファに書き込む
   請求項４記載の画像処理装置。
6. 前記認識対象画像を画像認識して前記検出矩形の位置情報を算出する画像認識部と、
   前記検出矩形の位置情報を記憶する認識結果記憶部と、
   前記認識対象画像を記憶する映像記憶部とを更に備え、
   前記画像認識部、前記認識結果記憶部、前記描画情報生成部、前記描画情報記憶部、前記映像記憶部及び前記矩形重畳部が１つのＦＰＧＡ又はＡＳＩＣにより構成される
   請求項１から５のいずれか一項に記載の画像処理装置。
7. 認識対象画像における検出矩形の位置情報に基づいて、前記検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、前記検出矩形の左辺及び右辺を示す情報と、前記始点又は前記終点の重複する数を示す重複情報とを前記認識対象画像の画素行毎に生成するステップと、
   前記始点及び終点を示す情報、又は、前記左辺及び右辺を示す情報を前記始点、終点、左辺又は右辺がある画素に対応するアドレスに前記画素行毎に記憶するステップと、
   前記重複情報を前記重複する画素に対応するアドレスに前記画素行毎に記憶するステップと、
   前記記憶した前記始点及び終点を示す情報並びに前記重複情報に基づいて、前記検出矩形の上辺又は下辺の画像を前記画素行毎に生成し、又は、前記左辺及び右辺を示す情報に基づいて、前記検出矩形の左辺又は右辺の画像を前記画素行毎に生成し、前記認識対象画像に重畳するステップと
   を有する画像処理方法。
8. 認識対象画像における検出矩形の位置情報に基づいて、前記検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、前記検出矩形の左辺及び右辺を示す情報を前記認識対象画像の画素行毎に生成するステップであって、前記生成するステップは、前記検出矩形の上辺又は下辺の始点と終点とが重複する場合に、重複する前記始点を示す情報と、重複する前記終点を示す情報とを相殺させるステップを含む、前記生成するステップと、
   前記始点及び終点を示す情報、又は、前記左辺及び右辺を示す情報を前記始点、終点、左辺又は右辺がある画素に対応するアドレスに前記画素行毎に記憶するステップと、
   前記記憶した前記始点及び終点を示す情報、又は、前記左辺及び右辺を示す情報に基づいて、前記検出矩形の上辺、下辺、左辺又は右辺の画像を前記画素行毎に生成し、前記認識対象画像に重畳するステップと
   を有する画像処理方法。
9. 認識対象画像における検出矩形の位置情報に基づいて、前記検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、前記検出矩形の左辺及び右辺を示す情報と、前記始点又は前記終点の重複する数を示す重複情報とを前記認識対象画像の画素行毎に生成する手順と、
   前記始点及び終点を示す情報、又は、前記左辺及び右辺を示す情報を前記始点、終点、左辺又は右辺がある画素に対応するアドレスに前記画素行毎に記憶する手順と、
   前記重複情報を前記重複する画素に対応するアドレスに前記画素行毎に記憶する手順と、
   前記記憶した前記始点及び終点を示す情報並びに前記重複情報に基づいて、前記検出矩形の上辺又は下辺の画像を前記画素行毎に生成し、又は、前記左辺及び右辺を示す情報に基づいて、前記検出矩形の左辺又は右辺の画像を前記画素行毎に生成し、前記認識対象画像に重畳する手順と
   をコンピュータに実行させるための画像処理プログラム。
10. 認識対象画像における検出矩形の位置情報に基づいて、前記検出矩形の上辺又は下辺の始点及び終点を示す情報、又は、前記検出矩形の左辺及び右辺を示す情報を前記認識対象画像の画素行毎に生成する手順であって、前記生成する手順は、前記検出矩形の上辺又は下辺の始点と終点とが重複する場合に、重複する前記始点を示す情報と、重複する前記終点を示す情報とを相殺させる手順を含む、前記生成する手順と、
    前記始点及び終点を示す情報、又は、前記左辺及び右辺を示す情報を前記始点、終点、左辺又は右辺がある画素に対応するアドレスに前記画素行毎に記憶する手順と、
    前記記憶した前記始点及び終点を示す情報、又は、前記左辺及び右辺を示す情報に基づいて、前記検出矩形の上辺、下辺、左辺又は右辺の画像を前記画素行毎に生成し、前記認識対象画像に重畳する手順と
    をコンピュータに実行させるための画像処理プログラム。

Images