JP4093790B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4093790B2 JP4093790B2 JP2002113173A JP2002113173A JP4093790B2 JP 4093790 B2 JP4093790 B2 JP 4093790B2 JP 2002113173 A JP2002113173 A JP 2002113173A JP 2002113173 A JP2002113173 A JP 2002113173A JP 4093790 B2 JP4093790 B2 JP 4093790B2
- Authority
- JP
- Japan
- Prior art keywords
- character string
- imaging
- imaging camera
- pan
- zoom ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
- Image Processing (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は撮像装置に関し、特に移動する物体に記される文字列を認識する撮像装置に関する。
【0002】
【従来の技術】
近年、画像処理技術の進歩により、移動する物体に記される文字列を抽出して認識する撮像装置が開発されている。例えば、走行中の自動車に記される英数字文字列を抽出して認識する装置が開発されている。
【0003】
このような撮像装置では、撮像カメラの撮像範囲内に存在する物体の文字列を抽出して認識処理を行っているため、認識処理対象となる文字列が撮像範囲内を通過することが認識性能に関係してくる。
【0004】
図16は、撮像装置の画角の大きさと認識率の一般的な関係を示した図である。図に示すように、認識対象である文字列に対する画角を大きくすると、撮像範囲は広くなるが、認識すべき文字列が小さくなり認識率が低下する。逆に、画角を小さくすると、撮像範囲は狭くなるが、認識すべき文字列が大きくなり文字列の認識率は高くなる。従って、文字列の安定した認識率を確保するためには、最適な画角の大きさで撮像することが条件となる。
【0005】
図17は、文字列通過分布の一例を示した図である。分布60は、認識対象となる文字列が、撮像カメラ61の撮像範囲を上から下へ通過した場合の水平方向通過位置における文字列の通過数を示す。撮像範囲V1における文字列の全通過台数を母数とした文字列の認識率をα、撮像範囲V2における文字列の全通過台数を母数とした文字列の認識率をβとする。一般に、認識対象となる文字列が、撮像範囲V1、及び撮像範囲V2の中央を通過するほど認識率が高くなるため、α<βの関係が成り立つ。しかし、撮像範囲V2のとき、この撮像範囲外である撮像範囲R1,R2を通過した文字列は、認識対象外となり、撮像装置の認識性能低下につながってくる。従って、文字列が、撮像範囲V2をおおよそ通過する場合は、撮像範囲を撮像範囲V2にし、撮像範囲R1,R2も通過する場合には、撮像範囲を撮像範囲V1にする必要がある。
【0006】
【発明が解決しようとする課題】
しかし、従来の撮像装置では、撮像範囲が固定されているため、撮像装置の設置場所や条件、偶発的に発生する文字列の通過位置などの変化に対して、撮像範囲の調整を行うことができず、状況によっては文字列の認識率が低下する場合があるという問題点があった。
【0007】
本発明はこのような点に鑑みてなされたものであり、常に高い認識率を維持して、移動する物体の文字列を認識することができる撮像装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明では上記課題を解決するために、移動物体の文字列を認識する撮像装置において、パン及びズーム比率が変更可能な撮像カメラと、前記撮像カメラが撮像する移動物体の文字列を抽出し、前記文字列の大きさ及び前記撮像カメラの撮像範囲を通過する前記文字列の通過位置を取得する文字列抽出手段と、前記文字列の通過位置を前記撮像範囲の中央に位置するように前記撮像カメラのパンを可変するパン可変手段と、前記文字列の大きさを予め登録されている文字列認識処理に適した大きさとなるように前記撮像カメラのズーム比率を可変するズーム比率可変手段と、前記ズーム比率又は前記パンが変更された前記撮像カメラによって撮像される前記文字列を認識処理する文字列認識手段と、一定時間、前記文字列抽出手段により取得された前記文字列の通過位置とその通過位置における通過数との統計を採り、前記文字列が前記撮像範囲を最も通過した最大通過位置と前記統計の標準偏差とを算出する統計手段と、前記最大通過位置を前記撮像範囲の中央に位置するように前記撮像カメラのパンを可変する統計パン可変手段と、前記標準偏差から前記撮像カメラの撮像範囲外を通過した文字列の予想通過位置を算出し、前記予想通過位置を前記撮像範囲の範囲内に納まるように前記撮像カメラのズーム比率を可変する統計ズーム比率可変手段と、を有することを特徴とする撮像装置が提供される。
【0009】
このような撮像装置では、文字列の大きさと撮像範囲を通過する文字列の通過位置とを取得して、文字列の通過位置が撮像範囲の中央に位置するように撮像カメラのパンを可変し、文字列の大きさが文字列認識処理に適した大きさとなるように撮像カメラのズーム比率を可変する。また、文字列が撮像範囲を最も通過した最大通過位置と文字列が撮像範囲外を通過した予想通過位置とを算出して、文字列の最大通過位置が撮像範囲の中央に位置するように撮像カメラのパンを可変し、文字列の予想通過位置が撮像範囲に納まるように撮像カメラのズーム比率を可変する。これにより、常に高い認識率を維持して、移動する物体の文字列を認識する。
【0010】
また、本発明では移動物体の文字列を認識する撮像装置において、ズーム比率及びパンが変更可能な撮像カメラと、前記撮像カメラが撮像する移動物体の文字列を抽出し、前記撮像カメラの撮像範囲を通過する前記文字列の通過位置を取得する文字列抽出手段と、一定時間、前記文字列抽出手段が取得した前記文字列の通過位置とその通過位置における通過数との統計を採り、前記文字列が前記撮像範囲を最も通過した最大通過位置と前記統計の標準偏差とを算出する統計手段と、前記最大通過位置を前記撮像範囲の中央に位置するように前記撮像カメラのパンを可変するパン可変手段と、前記標準偏差から前記撮像カメラの撮像範囲外を通過した文字列の予想通過位置を算出し、前記予想通過位置を前記撮像範囲の範囲内に納まるように前記撮像カメラのズーム比率を可変するズーム比率可変手段と、前記撮像カメラによって撮像される前記物体の文字列を認識処理する文字列認識手段と、を有することを特徴とする撮像装置が提供される。
【0011】
このような撮像装置では、文字列が撮像範囲を最も通過した最大通過位置と文字列が撮像範囲外を通過した予想通過位置とを算出して、文字列の最大通過位置が撮像範囲の中央に位置するように撮像カメラのパンを可変し、文字列の予想通過位置が撮像範囲に納まるように撮像カメラのズーム比率を可変する。これにより、常に高い認識率を維持して、移動する物体の文字列を認識する。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本発明の第1の実施の形態に係る撮像装置の原理を説明する原理図である。図1に示すように、撮像装置は、撮像カメラ1、文字列抽出手段2、パン可変手段3、ズーム比率可変手段4、及び文字列認識手段5から構成されている。撮像装置は、移動する物体として自動車6を撮像し、物体に記される文字列として自動車6に記される英数字文字列6aを認識するとする。撮像範囲7a〜7cは、撮像カメラ1の物体を撮像できる範囲を示す。
【0013】
撮像カメラ1は、ズーム比率、及びパンが変更可能な撮像カメラである。
文字列抽出手段2は、撮像カメラ1が撮像する、自動車6に記される英数字文字列6aを抽出し、英数字文字列6aの大きさと、英数字文字列6aの撮像カメラ1の撮像範囲を通過する通過位置とを取得する。
【0014】
パン可変手段3は、文字列抽出手段2が取得した英数字文字列6aの通過位置を、撮像範囲の中央に位置するように撮像カメラ1のパンを可変する。
ズーム比率可変手段4は、文字列抽出手段2が取得した英数字文字列6aの大きさを、予め登録されている、英数字文字列6aの認識処理に適した大きさとなるように、撮像カメラ1のズーム比率を可変する。
【0015】
文字列認識手段5は、パン可変手段3、ズーム比率可変手段4によって、ズーム比率、又はパンが変更された撮像カメラ1によって、再び撮像される英数字文字列6aを認識する。
【0016】
以下、原理図の動作について説明する。
まず、撮像カメラ1は、自動車6を撮像する。文字列抽出手段2は、撮像カメラ1が撮像した自動車6の英数字文字列6aを抽出し、英数字文字列6aの大きさと、英数字文字列6aの撮像カメラ1の撮像範囲を通過する通過位置とを取得する。ここでは、撮像範囲7aに示すように、英数字文字列6aの撮像範囲の通過位置は、中央より右を通過している。
【0017】
パン可変手段3は、文字列抽出手段2が取得した英数字文字列6aの通過位置を、撮像範囲7bに示すように、撮像範囲の中央に位置するように、撮像カメラ1のパンを変更する。
【0018】
ズーム比率可変手段4は、文字列抽出手段2が取得した英数字文字列6aの大きさを、撮像範囲7cに示すように、予め登録されている英数字文字列6aが適切に認識処理される大きさとなるように、ズーム比率を可変する。
【0019】
文字列認識手段5は、撮像範囲7cに示すように、ズーム比率、パンが変更された撮像カメラ1によって再び撮像される英数字文字列6a認識する。
これにより、例えば、自動車が、複数のレーンを変更して走行する場合や、道路上の障害物を避けるためにレーンを変更する場合でも、撮像装置は、撮像カメラのパン、及びズーム比率を変更し、適切な状態で自動車6の英数字文字列6aを認識する。よって、常に高い認識率を維持して、自動車に記される英数字文字列6aを認識することができる。
【0020】
図2は、本発明の第1の実施の形態に係る撮像装置の機能ブロック図である。図に示すように、移動する物体に記される文字列を、適切な状態で撮像する撮像装置は、撮像カメラ10、画像取り込み部11、文字列領域抽出部12、パン可変部13、ズーム比率可変部14、文字列認識処理部15、辞書DB(DB:データベース)15a、及び制御コマンド送信部16を有している。
【0021】
撮像カメラ10は、パン、及びズーム比率が変更可能な撮像カメラである。
画像取り込み部11は、撮像カメラ10が撮像している物体を画像データとして取り込む。
【0022】
文字列領域抽出部12は、画像取り込み部11が取り込んだ画像データを解析して物体に記される文字列を抽出し、文字列の大きさを取得する。また、物体が、撮像カメラ10の撮像範囲の水平方向における通過位置を取得する。ここで、物体に記される文字列の位置は、どの物体においてもおおよそ決まっており、取り込んだ物体の画像データから、物体の文字列の位置を予測決定し、抽出することができるとする。
【0023】
パン可変部13は、文字列領域抽出部12が取得した文字列の通過位置を、撮像範囲の水平方向における中央に位置するように、撮像カメラ10のパンを可変するためのパン変更値を算出する。
【0024】
ズーム比率可変部14は、文字列領域抽出部12が取得した文字列の大きさを、予め登録されている、文字列認識処理に適した大きさとなるように、撮像カメラ10のズーム比率を可変するためのズーム値を算出する。
【0025】
文字列認識処理部15は、パン、又はズーム比率が変更された後の撮像カメラ10によって、再び撮像される物体の文字列の認識処理をする。文字列認識処理部15は、文字列の文字を辞書DB15aに登録されている文字を参照、比較し、最も一致した文字を物体に記された文字として認識する。
【0026】
制御コマンド送信部16は、パン可変部13が算出したパン変更値、及びズーム比率可変部14が算出したズーム値を撮像カメラ10へ送信する。また、制御コマンド送信部16は、パン変更値、及びズーム値に関して、文字列を認識するための、最低限の性能を確保できる限界値を保持している。制御コマンド送信部16は、限界値を超えたパン変更値、ズーム値を受け付けた場合、保持している限界値をパン変更値、ズーム値として、撮像カメラ10へ送信する。ここで、文字列を認識するための最低限の性能とは、例えば、自動車を撮像する場合、自動車が通過する道路幅の範囲内でパン、ズーム比率を変更すればよく、範囲外をパン、ズーム変更する性能は不要であるということである。
【0027】
以下、図2の機能ブロック図の処理の一例をフローチャートを用いて説明する。
図3は、図2の機能ブロック図の処理の一例を示すフローチャートである。
【0028】
[ステップS1]画像取り込み部11は、撮像カメラ10が撮像する物体を画像データとして取り込む。
[ステップS2]文字列領域抽出部12は、画像取り込み部11が取り込んだ物体の画像データから、物体に記される文字列を抽出する。そして、文字列領域抽出部12は、抽出した文字列の大きさと、文字列の撮像カメラ10の撮像範囲の水平方向における通過位置を取得する。
【0029】
[ステップS3]パン可変部13は、文字列領域抽出部12が取得した文字列の通過位置が、撮像範囲の水平方向の中央に位置するためのパン変更値を算出する。
【0030】
[ステップS4]制御コマンド送信部16は、パン可変部13が算出したパン変更値が、文字列を認識するための、最低限の性能を確保できる限界値以上であるか否かを判断する。限界値以上であれば、ステップS5へ進み、限界値未満であれば、ステップS6へ進む。
【0031】
[ステップS5]制御コマンド送信部16は、限界値をパン変更値として撮像カメラ10へ送信する。撮像カメラ10は、受信した限界値でパンを可変する。
[ステップS6]制御コマンド送信部16は、パン可変部13が算出したパン変更値を撮像カメラ10へ送信する。撮像カメラ10は、受信したパン変更値に応じて、パンを可変する。これにより、撮像カメラ10が撮像する物体の文字列は、撮像範囲の中央へ位置する。
【0032】
[ステップS7]ズーム比率可変部14は、ステップS2において文字列領域抽出部12が取得した文字列の大きさを、予め登録されている、文字列認識処理に適した大きさとなるためのズーム値を算出する。
【0033】
[ステップS8]制御コマンド送信部16は、ズーム比率可変部14が算出したズーム値が、文字列を認識するための、最低限の性能を確保できる限界値以上か否かを判断する。限界値以上であれば、ステップS9へ進み、限界値未満であれば、ステップS10へ進む。
【0034】
[ステップS9]制御コマンド送信部16は、限界値をズーム値として撮像カメラ10へ送信する。撮像カメラ10は、受信した限界値でズーム比率を可変する。
【0035】
[ステップS10]制御コマンド送信部16は、ズーム比率可変部14が算出したズーム値を撮像カメラ10へ送信する。撮像カメラ10は、受信したズーム値に応じて、ズーム比率を可変する。これにより、撮像カメラ10が撮像する物体の文字列の大きさは、認識処理に適した大きさとなる。
【0036】
[ステップS11]画像取り込み部11は、撮像カメラ10が撮像する物体を再度画像データとして取り込む。このとき、物体の文字列は、撮像範囲の中央で、認識処理に適切な大きさで取り込まれる。
【0037】
[ステップS12]文字列認識処理部15は、文字列領域抽出部12が再び抽出する文字列の文字を、辞書DB15aに登録されている文字を参照して、認識する。
【0038】
このように、物体を1つ1つ追跡して、物体の文字列を撮像範囲の中央に位置するようにパンを変更し、認識処理を適切に実行できる大きさにズーム比率を変更するので、常に高い認識率を維持して、移動する物体の文字列を認識することができる。
【0039】
なお、ズーム比率可変部14は、文字列認識処理部15の文字列認識処理が終了した後、撮像カメラ10のズーム比率を引く(画角を広角にする)ようにしてもよい。これにより、撮像カメラ10の画角が広くなり、パン、ズーム比率の変更前の、物体の画像データの取り込みが容易となる。
【0040】
次に、本発明の第2の実施の形態について説明する。
図4は、本発明の第2の実施の形態に係る撮像装置の原理を説明する原理図である。図4に示すように撮像装置は、撮像カメラ20、文字列抽出手段21、統計手段22、パン可変手段23、ズーム比率可変手段24、及び文字列認識手段25から構成されている。撮像装置は、移動する物体として自動車26a,26b,26c,・・・を撮像し、自動車26a,26b,26c,・・・に記される英数字文字列26aa,26ba,26ca,・・・(図において具体的英数字は省略)を認識するとする。分布27a〜27cは、撮像カメラ20の撮像範囲の水平方向における英数字文字列の通過位置と、その通過位置における英数字文字列の通過数を示す。
【0041】
撮像カメラ20は、ズーム比率、及びパンが変更可能な撮像カメラである。
文字列抽出手段21は、撮像カメラ20が撮像する自動車の英数字文字列を抽出し、撮像範囲の水平方向における英数字文字列の通過する通過位置を取得する。
【0042】
統計手段22は、一定時間の間、撮像範囲の水平方向における英数字文字列の通過する通過位置と、その通過位置における通過数の統計を採る。
パン可変手段23は、統計手段22が採った統計から、英数字文字列が最も通過した最大通過位置を算出し、その最大通過位置が撮像範囲の中央に位置するように撮像カメラ20のパンを可変する。
【0043】
ズーム比率可変手段24は、統計手段22が採った統計の標準偏差から、撮像カメラ20の撮像範囲外を通過した英数字文字列の予測通過位置を算出し、予想通過位置が撮像範囲内に納まるように、撮像カメラ20のズーム比率を可変する。
【0044】
文字列認識手段25は、撮像カメラ20が自動車を撮像し、文字列抽出手段21が抽出した英数字文字列を認識する。
以下、原理図の動作について説明する。
【0045】
文字列抽出手段21は、撮像カメラ20が撮像する自動車の英数字文字列を抽出し、撮像カメラ20の撮像範囲の水平方向における英数字文字列の通過する通過位置を取得する。
【0046】
統計手段22は、一定時間の間、英数字文字列の、撮像範囲の水平方向を通過する通過位置と、その通過位置における通過数の統計を採る。これにより、英数字文字列の通過位置と通過数は、分布27aに示すように分布したとする。分布27aから、英数字文字列は、撮像範囲の中央より、右寄りを多く通過していることがわかる。
【0047】
パン可変手段23は、分布27aから、英数字文字列が最も通過した最大通過位置を算出し、その最大通過位置を、分布27bに示すように、撮像範囲の中央に位置するように撮像カメラ20のパンを可変する。
【0048】
ズーム比率可変手段24は、統計手段22が採った統計の標準偏差から、撮像範囲27bの範囲外を通過した英数字文字列の予測通過位置を算出し、予想通過位置が撮像範囲内に納まるように、撮像カメラ20のズーム比率を可変する。図4の例では、分布27bの両端(予測通過位置)を標準偏差から予測し、分布27cに示すように、ズームを引いて、予測通過位置を含む全分布が撮像範囲に収まるようにしている。
【0049】
文字列認識手段25は、撮像カメラ20によって撮像される自動車の英数字文字列を認識処理する。
このように、自動車の英数字文字列の通過位置とその通過位置における通過数の分布から、一定時間ごとの自動車の通過状況や変化を割り出し、撮像カメラのパン、及びズーム比率を変更し、適切な状態で英数字文字列を認識する。よって、常に高い認識率を維持して、自動車の英数字文字列を認識することができる。
【0050】
図5は、本発明の第2の実施の形態に係る撮像装置の機能ブロック図である。図に示すように、移動する物体に記される文字列を、適切な状態で撮像する撮像装置は、撮像カメラ30、画像取り込み部31、文字列領域抽出部32、統計処理部33、パン可変部34、ズーム比率可変部35、文字列認識処理部36、辞書DB36a、及び制御コマンド送信部37を有している。
【0051】
撮像カメラ30は、パン、及びズーム比率が変更可能な撮像カメラである。
画像取り込み部31は、撮像カメラ30が撮像している物体を画像データとして取り込む。
【0052】
文字列領域抽出部32は、画像取り込み部31が取り込んだ画像データを解析して物体に記される文字列を抽出し、この文字列の、撮像カメラ30の撮像範囲を通過している通過位置を取得する。
【0053】
統計処理部33は、一定時間の間における文字列領域抽出部32が取得した文字列の通過位置と、その通過位置における文字列の通過数との統計をとる。そして、文字列の通過数の最も多い最大通過位置と、分布の標準偏差を算出する。図6は、文字列の通過位置と通過数の分布の一例を示す図である。撮像カメラ30の撮像範囲の水平方向における文字列の通過位置を横軸にとり、その通過位置における文字列の通過数を縦軸にとってある。図6の分布で表される関数をh(X)とし、撮像範囲内で認識対象となる文字列が最も通過した位置をピーク値Xpeakとする。ピーク値Xpeakは次の式(1)で表す。
【0054】
【数1】
【0055】
また、図6に示す分布の標準偏差σは次の式(2)で表す。
【0056】
【数2】
【0057】
統計処理部33は、式(1)によって撮像範囲の文字列が最も通過した位置であるピーク値Xpeakを算出し、式(2)によって分布の標準偏差σを算出する。
【0058】
パン可変部34は、統計処理部33が算出したピーク値が、撮像範囲の中央の値となるようにパン変更値を算出する。なお、ピーク値は、文字列の通過状況に応じて変動し、ピーク値の変動に応じた撮像カメラ30の過剰なまでのパン変更による認識率低下を防ぐため、パン可変部34は、撮像範囲の中央の値とピーク値との値の幅に閾値を設定、保持し、撮像範囲の中央の値とピーク値との値の幅が閾値を超えたときのみ、パン変更値を算出する。
【0059】
図7は、パン変更値算出を説明する図である。図に示す撮像範囲40に示す縦線は、撮像カメラ30へ向かって移動する物体の文字列が、撮像範囲40に入ってから撮像範囲を抜け出るまでの軌跡を示す。軌跡の方向は撮像範囲の上から下へと向かう。軌跡の密度が高いほど、多くの文字列が通過したことを示す。分布41は、撮像範囲40の各通過位置での文字列の通過数を示す分布である。パン可変部34は、分布41におけるピーク値Xpeakを撮像範囲40の中央の値となるように撮像カメラ30のパンを可変するパン変更値を算出する。
【0060】
ズーム比率可変部35は、標準偏差σから、撮像範囲外を通過する文字列の通過位置を予測し、撮像範囲外を通過する文字列も撮像範囲内に入るようにするためのズーム値を算出する。
【0061】
図8は、ズーム値算出を説明する図である。図に示す撮像範囲42に示す縦線は、撮像カメラ30へ向かって移動する物体の文字列が、撮像範囲42に入ってから撮像範囲を抜け出るまでの軌跡を示す。分布43は、撮像範囲42の水平方向における各通過位置での文字列の通過数を示す。分布44a,44bは、撮像範囲42の外側を通過する文字列の予想分布を示している。分布44a,44bに示す文字列は、撮像範囲42の範囲外であり、認識処理されることがない。そこで、ズーム比率可変部35は、標準偏差σから、分布43の予想広がりD(分布43に分布44a,44bが合わされた分布)を算出する。予想広がりDは次の式(3)で表す。
【0062】
【数3】
【0063】
一般に式(3)のmを3とすると、予想広がりDに対して約99%の予想広がりが求まる。以下では、mを3として説明する。
ズーム比率可変部35は、式(3)から求まる予想広がりDの値と、撮像範囲42の水平方向における幅の値の比が1となるようなズーム値を算出する。図8の例では、予想広がりDの値と、撮像範囲42の水平方向における幅の値の比が1となるためには、撮像カメラ30のズームを引くズーム値が算出されることになる。図9は、ズームを引いたときの図8の分布の様子を示した図である。図9に示すように、撮像範囲42の範囲内に、文字列が通過することが予想される分布44a,44bが含まれる。これによって、撮像範囲42の範囲外を通過していた文字列も認識できるようになる。なお、標準偏差σは、文字列の通過状況に応じて変動し、標準偏差σの変動に応じた撮像カメラ30の過剰なまでのズーム変更による認識率低下を防ぐため、ズーム比率可変部35は、予想広がりDと撮像範囲の幅の比に閾値を設定、保持し、この閾値を超えたときのみ、ズーム値を算出する。
【0064】
文字列認識処理部36は、文字列領域抽出部32によって抽出される文字列の認識処理をする。文字列認識処理部36は、文字列の文字を辞書DB36aに登録されている文字を参照、比較し、最も一致した文字を物体に記された文字として認識する。
【0065】
制御コマンド送信部37は、パン可変部34が算出したパン変更値、及びズーム比率可変部35が算出したズーム値を撮像カメラ30へ送信する。また、制御コマンド送信部37は、パン変更値、及びズーム値に関して、文字列を認識するための、最低限の性能を確保できる限界値を保持している。制御コマンド送信部37は、限界値を超えたパン変更値、ズーム値を受け付けた場合、限界値をパン変更値、ズーム値として、撮像カメラ30へ送信する。ここで、文字列を認識するための最低限の性能とは、例えば、ズーム比率可変部35が、予想広がりDの値と撮像範囲42の水平方向における幅の値との比が1となるようにズームを引いても、文字列を認識できる範囲内でズームを引くということである。また、文字列が認識できる範囲内でパンを変更するということである。
【0066】
以下、図5の機能ブロック図の処理の一例をフローチャートを用いて説明する。
図10、11は、図5の機能ブロック図の処理の一例を示すフローチャートである。
【0067】
[ステップS21]画像取り込み部31は、撮像カメラ30が撮像する物体を画像データとして取り込む。
[ステップS22]文字列領域抽出部32は、画像取り込み部31が取り込んだ物体の画像データから、物体に記される文字列を抽出する。そして、抽出した文字列の、撮像カメラ30の撮像範囲の水平方向における通過位置を取得する。
【0068】
[ステップS23]文字列認識処理部36は、文字列領域抽出部32が抽出した文字列を、辞書DB36aを参照して認識する。
[ステップS24]統計処理部33は、文字列領域抽出部32が取得した文字列の通過位置と、その通過位置における文字列の通過数の統計を採る。
【0069】
[ステップS25]統計処理部33は、一定時間経過しているか否かを判断する。一定時間経過していると、ステップS26へ進む。一定時間経過していなければ、ステップS21へ進む。
【0070】
[ステップS26]統計処理部33は、文字列の通過数の最も多い通過位置であるピーク値と、文字列の通過位置とその通過位置における通過数の分布の標準偏差を算出する。
【0071】
[ステップS27]パン可変部34は、統計処理部33が算出したピーク値が、撮像範囲の中央の値となるためのパン変更値を算出する。そして、撮像範囲の中央の値とピーク値との値の幅が、閾値以上であるか否かを判断する。閾値以上であればステップS28へ進み、閾値未満であればステップS31へ進む。
【0072】
[ステップS28]制御コマンド送信部37は、パン可変部34が算出したパン変更値が、文字列を認識するための、最低限の性能を確保できる限界値以上か否かを判断する。限界値以上であれば、ステップS29へ進み、限界値未満であれば、ステップS30へ進む。
【0073】
[ステップS29]制御コマンド送信部37は、限界値をパン変更値として撮像カメラ30へ送信する。撮像カメラ30は、受信した限界値で、パンを可変する。
【0074】
[ステップS30]制御コマンド送信部37は、パン可変部34が算出したパン変更値を撮像カメラ30へ送信する。撮像カメラ30は、受信したパン変更値に応じて、パンを可変する。これにより、撮像カメラ30が撮像する文字列の最も通過数の多い通過位置が、撮像範囲の中央へ位置する。
【0075】
[ステップS31]ズーム比率可変部35は、統計処理部33が算出した標準偏差から、分布の予想広がりを算出する。そして、予想広がりと撮像範囲の幅の比が閾値以上であるか否かを判断する。閾値以上であればステップS32へ進み、閾値未満であれば処理を終了する。
【0076】
[ステップS32]ズーム比率可変部35は、予想広がりと撮像範囲の幅の比が1となるためのズーム値を算出する。制御コマンド送信部37は、算出されたズーム値が、文字列を認識するための、最低限の性能を確保できる限界値以上であるか否かを判断する。限界値以上であれば、ステップS33へ進み、限界値未満であれば、ステップS34へ進む。
【0077】
[ステップS33]制御コマンド送信部37は、限界値をズーム値として撮像カメラ30へ送信する。撮像カメラ30は、受信した限界値で、ズーム比率を可変する。
【0078】
[ステップS34]制御コマンド送信部37は、ズーム比率可変部35が算出したズーム値を撮像カメラ30へ送信する。撮像カメラ30は、受信したズーム値に応じて、ズーム比率を可変する。これにより、撮像カメラ30の撮像範囲外を移動する物体の文字列を認識することができる。
【0079】
このように、物体の通過位置とその通過数の分布統計を採り、分布の統計から最も通過数の多い通過位置を算出し、この通過位置が撮像範囲の中央に位置するようにパンを変更する。また、認証処理を適切に実行できる大きさにズーム比率を変更するので、常に高い認識率を維持して、移動する物体の文字列を認識することができる。
【0080】
次に、本発明の第3の実施の形態について説明する。
図12は、本発明の第3の実施の形態に係る撮像装置の機能ブロック図である。図に示すように、移動する物体に記される文字列を撮像して認識する撮像装置は、撮像カメラ50、画像取り込み部51、文字列領域抽出部52、撮像カメラ制御部53、統計処理部54、統計的撮像カメラ制御部55、制御コマンド送信部56、文字列認識処理部57、及び辞書DB57aを有している。
【0081】
撮像カメラ50は、パン、及びズーム比率が変更可能な撮像カメラである。
画像取り込み部51は、撮像カメラ50が撮像している物体を画像データとして取り込む。
【0082】
文字列領域抽出部52は、所定時間、撮像カメラ50の撮像範囲に物体が通過した通過数をカウントし、予め設定される通過数の閾値以上であるか否かを判断する。通過数が閾値以上である場合には、画像取り込み部51が取り込んだ画像データを解析して物体に記される文字列を抽出し、文字列の通過位置を統計処理部54へ通知する。閾値未満である場合には、文字列の大きさと通過位置を撮像カメラ制御部53へ通知する。
【0083】
撮像カメラ制御部53は、第1の実施の形態で説明した図2の機能ブロック図のパン可変部13、ズーム比率可変部14と同じ機能を有する。すなわち、撮像カメラ制御部53は、文字列領域抽出部52が取得した文字列の通過位置を、撮像範囲の中央に位置するように、撮像カメラ50のパンを可変するためのパン変更値を算出する。また、文字列領域抽出部52が取得した文字列の大きさを、予め登録されている、認識処理に適した大きさとなるように撮像カメラ50のズーム比率を可変するためのズーム値を算出する。
【0084】
統計処理部54は、第2の実施の形態で説明した図2の機能ブロック図の統計処理部33と同じ機能を有する。すなわち、式(1)によって撮像範囲の文字列が最も通過した位置であるピーク値Xpeakを算出し、式(2)によって分布の標準偏差σを算出する。
【0085】
統計的撮像カメラ制御部55は、第2の実施の形態で説明した図2の機能ブロック図のパン可変部34とズーム比率可変部35とを含む機能を有する。すなわち、統計処理部54が算出したピーク値が、撮像範囲の中央の値となるようにパン変更値を算出する。また、統計処理部54が算出した標準偏差値から、撮像範囲外を通過する文字列の通過位置の予想広がりを算出し、この予想広がりの幅と撮像範囲の幅との比が1となるようにズーム値を算出する。
【0086】
制御コマンド送信部56は、撮像カメラ制御部53が算出するパン変更値、ズーム値を撮像カメラ50に送信する。また、統計的撮像カメラ制御部55が算出するパン変更値、ズーム値を撮像カメラ50に送信する。
【0087】
文字列認識処理部57は、文字列が撮像カメラ制御部53によって処理される場合、撮像カメラ50のパン、又はズーム比率が変更された後の、文字列領域抽出部52によって抽出される文字列の認識処理をする。また、文字列が統計的撮像カメラ制御部55によって処理される場合、文字列領域抽出部52によって毎回抽出される文字列の認識処理をする。なお、文字列認識処理部57は、文字列の文字を、辞書DB57aに登録されている文字を参照して、認識する。
【0088】
以下、図12の機能ブロック図の処理の一例をフローチャートを用いて説明する。
図13、14、及び図15は、図12の機能ブロック図の処理の一例を示すフローチャートである。
【0089】
[ステップS41]画像取り込み部51は、撮像カメラ50が撮像する物体を画像データとして取り込む。
[ステップS42]文字列領域抽出部52は、所定時間内における、文字列の撮像範囲の通過数が閾値以上であるか否かを判断する。閾値以上である場合は、ステップS43へ進み、閾値未満である場合は、ステップS61へ進む。
【0090】
[ステップS43]文字列領域抽出部52は、画像取り込み部51が取り込んだ物体の画像データから、物体に記される文字列を抽出する。そして、抽出した文字列の、撮像カメラ50の撮像範囲を通過している通過位置を取得する。
【0091】
[ステップS44]文字列認識処理部57は、文字列領域抽出部52が抽出した文字列を、辞書DB57aを参照して認識する。
[ステップS45]統計処理部54は、文字列領域抽出部52が取得した文字列の通過位置と、その通過位置における文字列の通過数の統計を採る。
【0092】
[ステップS46]統計処理部54は、一定時間経過しているか否かを判断する。一定時間経過していると、ステップS47へ進む。一定時間経過していなければ、ステップS41へ進む。
【0093】
[ステップS47]統計処理部54は、文字列の通過数の最も多い通過位置であるピーク値と、文字列の通過位置とその通過位置における通過数の分布の標準偏差を算出する。
【0094】
[ステップS48]統計的撮像カメラ制御部55は、統計処理部54が算出したピーク値が、撮像範囲の中央の値となるようにパン変更値を算出する。そして、撮像範囲の中央の値とピーク値との値の幅が、閾値以上であるか否かを判断する。閾値以上であればステップS49へ進み、閾値未満であればステップS52へ進む。
【0095】
[ステップS49]制御コマンド送信部56は、統計的撮像カメラ制御部55が算出したパン変更値が、文字列を認識するための、最低限の性能を確保できる限界値以上であるか否かを判断する。限界値以上であれば、ステップS50へ進み、限界値未満であれば、ステップS51へ進む。
【0096】
[ステップS50]制御コマンド送信部56は、限界値をパン変更値として撮像カメラ50へ送信する。撮像カメラ50は、受信した限界値で、パンを可変する。
【0097】
[ステップS51]制御コマンド送信部56は、統計的撮像カメラ制御部55が算出したパン変更値を撮像カメラ50へ送信する。撮像カメラ50は、受信したパン変更値に応じて、パンを可変する。これにより、撮像カメラ50が撮像する文字列の最も通過数の多い通過位置が、撮像範囲の中央へ位置する。
【0098】
[ステップS52]統計的撮像カメラ制御部55は、統計処理部54が算出した標準偏差から、分布の予想広がりを算出する。そして、予想広がりと撮像範囲の幅の比が閾値以上であるか否かを判断する。閾値以上であればステップS53へ進み、閾値未満であれば処理を終了する。
【0099】
[ステップS53]統計的撮像カメラ制御部55は、予想広がりと撮像範囲の幅の比が1となるためのズーム値を算出する。制御コマンド送信部56は、算出されたズーム値が、文字列を認識するための、最低限の性能を確保できる限界値以上であるか否かを判断する。限界値以上であれば、ステップS54へ進み、限界値未満であれば、ステップS55へ進む。
【0100】
[ステップS54]制御コマンド送信部56は、限界値をズーム値として撮像カメラ50へ送信する。撮像カメラ50は、受信した限界値で、ズーム比率を可変する。
【0101】
[ステップS55]制御コマンド送信部56は、統計的撮像カメラ制御部55が算出したズーム値を撮像カメラ50へ送信する。撮像カメラ50は、受信したズーム値に応じて、ズーム比率を可変する。これにより、撮像カメラ50の撮像範囲外を移動する物体の文字列を認識することができる。
【0102】
[ステップS61]文字列領域抽出部52は、画像取り込み部51が取り込んだ物体の画像データから、物体に記される文字列を抽出する。そして、文字列領域抽出部52は、抽出した文字列の大きさと、文字列が撮像カメラ50の撮像範囲を通過する通過位置を取得する。
【0103】
[ステップS62]撮像カメラ制御部53は、文字列領域抽出部52が取得した文字列の通過位置が、撮像範囲の中央に位置するためのパン変更値を算出する。
【0104】
[ステップS63]制御コマンド送信部56は、撮像カメラ制御部53が算出したパン変更値が、文字列を認識するための、最低限の性能を確保できる限界値以上であるか否かを判断する。限界値以上であれば、ステップS64へ進み、限界値未満であれば、ステップS65へ進む。
【0105】
[ステップS64]制御コマンド送信部56は、限界値をパン変更値として撮像カメラ50へ送信する。撮像カメラ50は、受信した限界値に応じて、パンを可変する。
【0106】
[ステップS65]制御コマンド送信部56は、撮像カメラ制御部53が算出したパン変更値を撮像カメラ50へ送信する。撮像カメラ50は、受信したパン変更値に応じて、パンを可変する。これにより、撮像カメラ50が撮像する物体の文字列は、撮像範囲の中央へ位置する。
【0107】
[ステップS66]撮像カメラ制御部53は、ステップS61において文字列領域抽出部52が取得した文字列の大きさが、予め登録されている、認識処理に適した大きさとなるためのズーム値を算出する。
【0108】
[ステップS67]制御コマンド送信部56は、撮像カメラ制御部53が算出したズーム値が、限界値以上か否かを判断する。限界値以上であれば、ステップS68へ進み、限界値未満であれば、ステップS69へ進む。
【0109】
[ステップS68]制御コマンド送信部56は、限界値をズーム値として撮像カメラ50へ送信する。撮像カメラ50は、受信した限界値で、ズーム比率を可変する。
【0110】
[ステップS69]制御コマンド送信部56は、撮像カメラ制御部53が算出したズーム値を撮像カメラ50へ送信する。撮像カメラ50は、受信したズーム値に応じて、ズーム比率を可変する。これにより、撮像カメラ50が撮像する物体の文字列の大きさは、認識処理に適した大きさとなる。
【0111】
[ステップS70]画像取り込み部51は、撮像カメラ50が撮像する物体を再度画像データとして取り込む。このとき、物体の文字列は、撮像範囲の中央で、認識処理に適切な大きさで取り込まれる。
【0112】
[ステップS71]文字列認識処理部57は、文字列領域抽出部52が再び抽出する文字列の文字を、辞書DB57aに登録されている文字を参照して、認識する。
【0113】
このように、所定時間内における、撮像カメラ50の撮像範囲を通過する物体の通過数に応じて処理を切替えることにより、認識対象となる文字列の通過数が少ない時間帯には、物体ごとにパン、ズーム比率を可変して認識処理させ、通過数が多い時間帯には、一定時間の通過数分布の統計からパン、ズーム比率を可変させて、状況に応じた最適な認識処理を行うことができ、常に高い認識率を維持して文字列を認識することができる。
【0114】
(付記1) 移動物体の文字列を認識する撮像装置において、
パン及びズーム比率が変更可能な撮像カメラと、
前記撮像カメラが撮像する移動物体の文字列を抽出し、前記文字列の大きさ及び前記撮像カメラの撮像範囲を通過する前記文字列の通過位置を取得する文字列抽出手段と、
前記文字列の通過位置を前記撮像範囲の中央に位置するように前記撮像カメラのパンを可変するパン可変手段と、
前記文字列の大きさを予め登録されている文字列認識処理に適した大きさとなるように前記撮像カメラのズーム比率を可変するズーム比率可変手段と、
前記ズーム比率又はパンが変更された前記撮像カメラによって撮像される前記文字列を認識処理する文字列認識手段と、
を有することを特徴とする撮像装置。
【0115】
(付記2) 一定時間、前記文字列抽出手段により取得された前記文字列の通過位置とその通過位置における通過数との統計を採り、前記文字列が前記撮像範囲を最も通過した最大通過位置と前記統計の標準偏差とを算出する統計手段と、
前記最大通過位置を前記撮像範囲の中央に位置するように前記撮像カメラのパンを可変する統計パン可変手段と、
前記標準偏差から前記撮像カメラの撮像範囲外を通過した文字列の予想通過位置を算出し、前記予想通過位置を前記撮像範囲の範囲内に納まるように前記撮像カメラのズーム比率を可変する統計ズーム比率可変手段と、
を有することを特徴とする付記1記載の撮像装置。
【0116】
(付記3) 前記文字列抽出手段は、所定時間内に前記物体が一定数以上前記撮像範囲を通過する場合に、前記統計ズーム比率可変手段と統計パン可変手段とに前記撮像カメラのズーム比率とパンの可変処理をさせることを特徴とする付記2記載の撮像装置。
【0117】
(付記4) 前記ズーム比率可変手段は、前記文字列認識手段が前記物体の文字列を認識した後に、前記撮像カメラの画角を広角にすることを特徴とする付記1記載の撮像装置。
【0118】
(付記5) 移動物体の文字列を認識する撮像装置において、
ズーム比率及びパンが変更可能な撮像カメラと、
前記撮像カメラが撮像する移動物体の文字列を抽出し、前記撮像カメラの撮像範囲を通過する前記文字列の通過位置を取得する文字列抽出手段と、
一定時間、前記文字列抽出手段が取得した前記文字列の通過位置とその通過位置における通過数との統計を採り、前記文字列が前記撮像範囲を最も通過した最大通過位置と前記統計の標準偏差とを算出する統計手段と、
前記最大通過位置を前記撮像範囲の中央に位置するように前記撮像カメラのパンを可変するパン可変手段と、
前記標準偏差から前記撮像カメラの撮像範囲外を通過した文字列の予想通過位置を算出し、前記予想通過位置を前記撮像範囲の範囲内に納まるように前記撮像カメラのズーム比率を可変するズーム比率可変手段と、
前記撮像カメラによって撮像される前記物体の文字列を認識処理する文字列認識手段と、
を有することを特徴とする撮像装置。
【0119】
(付記6) 前記パン可変手段は、前記文字列認識手段が前記文字列を認識できる範囲内でパンを可変することを特徴とする付記5記載の撮像装置。
(付記7) 前記ズーム比率可変手段は、前記文字列認識手段が前記文字列を認識できる範囲内でズーム比率を可変することを特徴とする付記5記載の撮像装置。
【0120】
(付記8) 前記パン可変手段は、前記最大通過位置が前記撮像範囲の中央から所定以上離れている場合に前記撮像カメラのパンを可変することを特徴とする付記5記載の撮像装置。
【0121】
(付記9) 前記ズーム比率可変手段は、前記予想通過位置の幅と前記撮像範囲の幅とが所定以上異なる場合に前記撮像カメラのズーム比率を可変することを特徴とする付記5記載の撮像装置。
【0122】
【発明の効果】
以上説明したように本発明では、文字列の大きさと撮像範囲を通過する文字列の通過位置とを取得して、文字列の通過位置が撮像範囲の中央に位置するように撮像カメラのパンを可変し、文字列の大きさが文字列認識処理に適した大きさとなるように撮像カメラのズーム比率を可変するようにした。また、文字列が撮像範囲を最も通過した最大通過位置と文字列が撮像範囲外を通過した予想通過位置とを算出して、文字列の最大通過位置が撮像範囲の中央に位置するように撮像カメラのパンを可変し、文字列の予想通過位置が撮像範囲に納まるように撮像カメラのズーム比率を可変するようにした。これにより、常に高い認識率を維持して、移動する物体の文字列を認識することができる。
【0123】
また、本発明では、文字列が撮像範囲を最も通過した最大通過位置と文字列が撮像範囲外を通過した予想通過位置とを算出して、文字列の最大通過位置が撮像範囲の中央に位置するように撮像カメラのパンを可変し、文字列の予想通過位置が撮像範囲に納まるように撮像カメラのズーム比率を可変するようにした。これにより、常に高い認識率を維持して、移動する物体の文字列を認識することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る撮像装置の原理を説明する原理図である。
【図2】本発明の第1の実施の形態に係る撮像装置の機能ブロック図である。
【図3】図2の機能ブロック図の処理の一例を示すフローチャートである。
【図4】本発明の第2の実施の形態に係る撮像装置の原理を説明する原理図である。
【図5】本発明の第2の実施の形態に係る撮像装置の機能ブロック図である。
【図6】文字列の通過位置と通過数の分布の一例を示す図である。
【図7】パン変更値算出を説明する図である。
【図8】ズーム値算出を説明する図である。
【図9】ズームを引いたときの図8の分布の様子を示した図である。
【図10】図5の機能ブロック図の処理の一例を示す第1のフローチャートである。
【図11】図5の機能ブロック図の処理の一例を示す第2のフローチャートである。
【図12】本発明の第3の実施の形態に係る撮像装置の機能ブロック図である。
【図13】図12の機能ブロック図の処理の一例を示す第1のフローチャートである。
【図14】図12の機能ブロック図の処理の一例を示す第2のフローチャートである。
【図15】図12の機能ブロック図の処理の一例を示す第3のフローチャートである。
【図16】撮像装置の画角の大きさと認識率の一般的な関係を示した図である。
【図17】文字列通過分布の一例を示した図である。
【符号の説明】
1,10,20,30,50 撮像カメラ
2,21 文字列抽出手段
3,23 パン可変手段
4,24 ズーム比率可変手段
5,25 文字列認識手段
6,26a,26b,26c 自動車
6a,26aa,26ba,26ca 英数字文字列
11,31,51 画像取り込み部
12,32,52 文字列領域抽出部
13,34 パン可変部
14,35 ズーム比率可変部
15,36,57 文字列認識処理部
15a,36a,57a 辞書DB
16,37,56 制御コマンド送信部
22 統計手段
33,54 統計処理部
53 撮像カメラ制御部
55 統計的撮像カメラ制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus that recognizes a character string written on a moving object.
[0002]
[Prior art]
2. Description of the Related Art In recent years, an imaging apparatus has been developed that extracts and recognizes a character string written on a moving object, due to advances in image processing technology. For example, an apparatus for extracting and recognizing an alphanumeric character string written on a running car has been developed.
[0003]
In such an imaging apparatus, since the character string of the object existing within the imaging range of the imaging camera is extracted and the recognition process is performed, it is recognized that the character string to be recognized passes through the imaging range. Will be related to.
[0004]
FIG. 16 is a diagram illustrating a general relationship between the size of the angle of view of the imaging apparatus and the recognition rate. As shown in the figure, when the angle of view with respect to the character string to be recognized is increased, the imaging range becomes wider, but the character string to be recognized becomes smaller and the recognition rate decreases. Conversely, when the angle of view is reduced, the imaging range is narrowed, but the character string to be recognized increases and the recognition rate of the character string increases. Therefore, in order to ensure a stable recognition rate of the character string, it is necessary to capture an image with an optimum angle of view.
[0005]
FIG. 17 is a diagram illustrating an example of the character string passage distribution. The
[0006]
[Problems to be solved by the invention]
However, in the conventional imaging device, since the imaging range is fixed, the imaging range can be adjusted with respect to changes in the installation location and conditions of the imaging device, the passage position of a character string that occurs accidentally, and the like. There is a problem that the recognition rate of the character string may be lowered depending on the situation.
[0007]
The present invention has been made in view of these points, and an object of the present invention is to provide an imaging device that can always recognize a character string of a moving object while maintaining a high recognition rate.
[0008]
[Means for Solving the Problems]
In the present invention, in order to solve the above problems, in an imaging apparatus that recognizes a character string of a moving object, an imaging camera capable of changing a pan and zoom ratio, and a character string of a moving object captured by the imaging camera are extracted. Character string extraction means for acquiring the size of the character string and the passage position of the character string passing through the imaging range of the imaging camera, and the imaging so that the passage position of the character string is located at the center of the imaging range Pan variable means for varying the pan of the camera, zoom ratio variable means for varying the zoom ratio of the imaging camera so that the size of the character string is suitable for a character string recognition process registered in advance, The zoom ratio orSaidCharacter string recognition means for recognizing the character string imaged by the imaging camera whose pan has been changed,The statistics of the passage position of the character string acquired by the character string extraction means and the number of passages at the passage position are taken for a certain period of time, the maximum passage position where the character string has passed the imaging range most and the standard of the statistics Statistical means for calculating a deviation, statistical pan variable means for varying the pan of the imaging camera so that the maximum passage position is located at the center of the imaging range, and outside the imaging range of the imaging camera from the standard deviation Statistical zoom ratio variable means for calculating an expected passage position of the passed character string and varying the zoom ratio of the imaging camera so that the expected passage position falls within the imaging range;There is provided an imaging device characterized by comprising:
[0009]
In such an imaging apparatus, the size of the character string and the passage position of the character string passing through the imaging range are acquired, and the pan of the imaging camera is varied so that the passage position of the character string is located at the center of the imaging range. The zoom ratio of the imaging camera is varied so that the character string has a size suitable for the character string recognition process. Also, the maximum passage position where the character string has passed most of the imaging range and the expected passage position where the character string has passed outside the imaging range are calculated, and imaging is performed so that the maximum passage position of the character string is located at the center of the imaging range. The camera pan is varied, and the zoom ratio of the imaging camera is varied so that the expected passage position of the character string is within the imaging range. As a result, the character string of the moving object is recognized while always maintaining a high recognition rate.
[0010]
According to the present invention, in an imaging apparatus that recognizes a character string of a moving object, an imaging camera capable of changing a zoom ratio and pan, a character string of a moving object captured by the imaging camera is extracted, and an imaging range of the imaging camera A character string extracting means for acquiring a passage position of the character string passing through the character string, and taking statistics of the passage position of the character string obtained by the character string extraction means and the number of passages at the passage position for a certain period of time, Statistical means for calculating a maximum passage position through which the column has passed most of the imaging range and a standard deviation of the statistics, and a pan for varying the pan of the imaging camera so that the maximum passage position is located at the center of the imaging range The variable means calculates the expected passage position of the character string that has passed outside the imaging range of the imaging camera from the standard deviation, and the previous passage position is within the imaging range so as to be within the range of the imaging range. A zoom ratio varying means for varying the zoom ratio of the imaging camera, a character string recognizing means for recognizing handle strings of the object to be imaged by the imaging camera, an imaging apparatus characterized by having a are provided.
[0011]
In such an imaging device, the maximum passage position where the character string has passed most of the imaging range and the expected passage position where the character string has passed outside the imaging range are calculated, and the maximum passage position of the character string is at the center of the imaging range. The pan of the imaging camera is varied so as to be positioned, and the zoom ratio of the imaging camera is varied so that the expected passage position of the character string is within the imaging range. As a result, the character string of the moving object is recognized while always maintaining a high recognition rate.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a principle diagram for explaining the principle of the imaging apparatus according to the first embodiment of the present invention. As shown in FIG. 1, the imaging apparatus includes an imaging camera 1, a character
[0013]
The imaging camera 1 is an imaging camera that can change the zoom ratio and pan.
The character string extraction means 2 extracts an
[0014]
The pan variable means 3 changes the pan of the imaging camera 1 so that the passage position of the
The zoom ratio variable means 4 is an imaging camera so that the size of the
[0015]
The character string recognizing means 5 recognizes an
[0016]
The operation of the principle diagram will be described below.
First, the imaging camera 1 images the
[0017]
The pan variable means 3 changes the pan of the imaging camera 1 so that the passage position of the
[0018]
The zoom
[0019]
The character
Thereby, for example, even when an automobile travels by changing a plurality of lanes or when changing lanes to avoid obstacles on the road, the imaging device changes the pan and zoom ratio of the imaging camera. Then, the
[0020]
FIG. 2 is a functional block diagram of the imaging apparatus according to the first embodiment of the present invention. As shown in the figure, an imaging device that captures a character string recorded on a moving object in an appropriate state includes an
[0021]
The
The image capturing unit 11 captures an object imaged by the
[0022]
The character string
[0023]
The
[0024]
The zoom
[0025]
The character string
[0026]
The control
[0027]
Hereinafter, an example of the processing of the functional block diagram of FIG. 2 will be described using a flowchart.
FIG. 3 is a flowchart illustrating an example of processing of the functional block diagram of FIG.
[0028]
[Step S1] The image capturing unit 11 captures an object imaged by the
[Step S2] The character string
[0029]
[Step S3] The
[0030]
[Step S4] The control
[0031]
[Step S5] The
[Step S <b> 6] The control
[0032]
[Step S7] The zoom
[0033]
[Step S8] The control
[0034]
[Step S9] The
[0035]
[Step S <b> 10] The control
[0036]
[Step S11] The image capture unit 11 captures an object captured by the
[0037]
[Step S12] The character string
[0038]
In this way, the object is tracked one by one, the pan is changed so that the character string of the object is located in the center of the imaging range, and the zoom ratio is changed to a size that can appropriately execute the recognition process. A character string of a moving object can be recognized while always maintaining a high recognition rate.
[0039]
Note that the zoom
[0040]
Next, a second embodiment of the present invention will be described.
FIG. 4 is a principle diagram for explaining the principle of the imaging apparatus according to the second embodiment of the present invention. As shown in FIG. 4, the imaging apparatus includes an
[0041]
The
The character
[0042]
The statistical means 22 takes statistics of the passage position of the alphanumeric character string in the horizontal direction of the imaging range and the number of passages at the passage position for a certain time.
The pan variable means 23 calculates the maximum passage position through which the alphanumeric character string has passed most from the statistics taken by the statistics means 22, and pans the
[0043]
The zoom
[0044]
The character
The operation of the principle diagram will be described below.
[0045]
The character
[0046]
The statistical means 22 takes statistics of the passage position of the alphanumeric character string passing through the horizontal direction of the imaging range and the number of passages at the passage position for a certain period of time. Accordingly, it is assumed that the passage positions and the passage numbers of the alphanumeric character strings are distributed as shown in the
[0047]
The pan variable means 23 calculates the maximum passing position through which the alphanumeric character string has passed most from the
[0048]
The zoom
[0049]
The character
In this way, from the passing position of the alphanumeric character string of the car and the distribution of the number of passing at that passing position, the passing situation and change of the car for every fixed time are determined, the pan and zoom ratio of the imaging camera is changed, and the appropriate Recognize alphanumeric strings in the correct state. Therefore, it is possible to always recognize the alphanumeric character string of the automobile while maintaining a high recognition rate.
[0050]
FIG. 5 is a functional block diagram of an imaging apparatus according to the second embodiment of the present invention. As shown in the figure, an imaging device that captures a character string recorded on a moving object in an appropriate state includes an
[0051]
The
The
[0052]
The character string
[0053]
The
[0054]
[Expression 1]
[0055]
Further, the standard deviation σ of the distribution shown in FIG. 6 is expressed by the following formula (2).
[0056]
[Expression 2]
[0057]
The
[0058]
The
[0059]
FIG. 7 is a diagram for explaining pan change value calculation. The vertical line shown in the
[0060]
The zoom
[0061]
FIG. 8 is a diagram for explaining the calculation of the zoom value. The vertical line shown in the
[0062]
[Equation 3]
[0063]
In general, when m in the expression (3) is 3, an expected spread of about 99% with respect to the expected spread D is obtained. In the following description, m is assumed to be 3.
The zoom
[0064]
The character string
[0065]
The control
[0066]
Hereinafter, an example of the process of the functional block diagram of FIG. 5 will be described using a flowchart.
10 and 11 are flowcharts showing an example of the processing of the functional block diagram of FIG.
[0067]
[Step S21] The
[Step S22] The character string
[0068]
[Step S23] The character string
[Step S24] The
[0069]
[Step S25] The
[0070]
[Step S26] The
[0071]
[Step S27] The
[0072]
[Step S28] The control
[0073]
[Step S29] The control
[0074]
[Step S <b> 30] The control
[0075]
[Step S31] The zoom
[0076]
[Step S32] The zoom
[0077]
[Step S33] The control
[0078]
[Step S <b> 34] The control
[0079]
In this way, the distribution statistics of the passage position and the number of passages of the object are taken, the passage position with the largest number of passages is calculated from the distribution statistics, and the pan is changed so that the passage position is located at the center of the imaging range. . In addition, since the zoom ratio is changed to a size that allows the authentication process to be appropriately executed, it is possible to always recognize a character string of a moving object while maintaining a high recognition rate.
[0080]
Next, a third embodiment of the present invention will be described.
FIG. 12 is a functional block diagram of an imaging apparatus according to the third embodiment of the present invention. As shown in the figure, an imaging device that captures and recognizes a character string recorded on a moving object includes an
[0081]
The
The
[0082]
The character string
[0083]
The imaging
[0084]
The
[0085]
The statistical imaging
[0086]
The control
[0087]
When the character string is processed by the imaging
[0088]
Hereinafter, an example of the process of the functional block diagram of FIG. 12 will be described using a flowchart.
FIGS. 13, 14 and 15 are flowcharts showing an example of the processing of the functional block diagram of FIG.
[0089]
[Step S41] The
[Step S42] The character string
[0090]
[Step S43] The character string
[0091]
[Step S44] The character string
[Step S45] The
[0092]
[Step S46] The
[0093]
[Step S47] The
[0094]
[Step S48] The statistical imaging
[0095]
[Step S49] The control
[0096]
[Step S50] The control
[0097]
[Step S51] The control
[0098]
[Step S52] The statistical imaging
[0099]
[Step S53] The statistical imaging
[0100]
[Step S54] The
[0101]
[Step S55] The control
[0102]
[Step S61] The character string
[0103]
[Step S62] The imaging
[0104]
[Step S63] The control
[0105]
[Step S64] The
[0106]
[Step S <b> 65] The control
[0107]
[Step S66] The imaging
[0108]
[Step S67] The control
[0109]
[Step S68] The
[0110]
[Step S <b> 69] The control
[0111]
[Step S <b> 70] The
[0112]
[Step S71] The character string
[0113]
In this way, by switching the processing according to the number of passages of the object passing through the imaging range of the
[0114]
(Supplementary Note 1) In an imaging device that recognizes a character string of a moving object,
An imaging camera capable of changing the pan and zoom ratio;
A character string extracting means for extracting a character string of a moving object imaged by the imaging camera and obtaining a size of the character string and a passing position of the character string passing through an imaging range of the imaging camera;
Pan variable means for varying the pan of the imaging camera so that the passage position of the character string is located at the center of the imaging range;
Zoom ratio varying means for varying the zoom ratio of the imaging camera so that the size of the character string becomes a size suitable for a character string recognition process registered in advance;
Character string recognition means for recognizing the character string captured by the imaging camera in which the zoom ratio or pan is changed;
An imaging device comprising:
[0115]
(Additional remark 2) The statistics of the passage position of the said character string acquired by the said character string extraction means and the passage number in the passage position for a fixed time are taken, and the largest passage position where the said character string passed the said imaging range most A statistical means for calculating a standard deviation of the statistics;
Statistical pan varying means for varying the pan of the imaging camera so that the maximum passing position is located in the center of the imaging range;
A statistical zoom that calculates an expected passage position of a character string that has passed outside the imaging range of the imaging camera from the standard deviation, and varies a zoom ratio of the imaging camera so that the expected passage position is within the imaging range. A variable ratio means;
The imaging apparatus according to appendix 1, characterized by comprising:
[0116]
(Supplementary Note 3) When the object passes through the imaging range for a predetermined number of times within a predetermined time, the character string extraction unit includes the zoom ratio of the imaging camera in the statistical zoom ratio variable unit and the statistical pan variable unit. The imaging apparatus according to
[0117]
(Additional remark 4) The said zoom ratio variable means makes the angle of view of the said imaging camera a wide angle after the said character string recognition means recognizes the character string of the said object, The imaging device of Additional remark 1 characterized by the above-mentioned.
[0118]
(Additional remark 5) In the imaging device which recognizes the character string of a moving object,
An imaging camera capable of changing the zoom ratio and pan; and
A character string extracting means for extracting a character string of a moving object imaged by the imaging camera and acquiring a passing position of the character string passing through an imaging range of the imaging camera;
Taking a statistic of the passage position of the character string acquired by the character string extraction means and the number of passages at the passage position for a certain period of time, the maximum passage position where the character string has passed most of the imaging range and the standard deviation of the statistic A statistical means for calculating
Pan variable means for varying the pan of the imaging camera so that the maximum passage position is located in the center of the imaging range;
A zoom ratio that calculates an expected passing position of a character string that has passed outside the imaging range of the imaging camera from the standard deviation, and varies a zoom ratio of the imaging camera so that the expected passing position falls within the imaging range. Variable means;
Character string recognition means for recognizing a character string of the object imaged by the imaging camera;
An imaging device comprising:
[0119]
(Supplementary note 6) The imaging apparatus according to
(Supplementary note 7) The imaging apparatus according to
[0120]
(Supplementary note 8) The imaging apparatus according to
[0121]
(Supplementary note 9) The imaging apparatus according to
[0122]
【The invention's effect】
As described above, in the present invention, the size of the character string and the passage position of the character string passing through the imaging range are acquired, and the panning of the imaging camera is performed so that the passage position of the character string is located at the center of the imaging range. The zoom ratio of the imaging camera is varied so that the character string size is suitable for the character string recognition process.Also, the maximum passage position where the character string has passed most of the imaging range and the expected passage position where the character string has passed outside the imaging range are calculated, and imaging is performed so that the maximum passage position of the character string is located at the center of the imaging range. The camera pan was varied, and the zoom ratio of the imaging camera was varied so that the expected passage position of the character string was within the imaging range.As a result, it is possible to always recognize a character string of a moving object while maintaining a high recognition rate.
[0123]
In the present invention, the maximum passage position where the character string has passed most of the imaging range and the expected passage position where the character string has passed outside the imaging range are calculated, and the maximum passage position of the character string is positioned at the center of the imaging range. Thus, the pan of the imaging camera is varied, and the zoom ratio of the imaging camera is varied so that the expected passage position of the character string is within the imaging range. As a result, it is possible to always recognize a character string of a moving object while maintaining a high recognition rate.
[Brief description of the drawings]
FIG. 1 is a principle diagram illustrating the principle of an imaging apparatus according to a first embodiment of the present invention.
FIG. 2 is a functional block diagram of the imaging apparatus according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing an example of processing of the functional block diagram of FIG. 2;
FIG. 4 is a principle diagram illustrating the principle of an imaging apparatus according to a second embodiment of the present invention.
FIG. 5 is a functional block diagram of an imaging apparatus according to a second embodiment of the present invention.
FIG. 6 is a diagram illustrating an example of distributions of passage positions and passage numbers of character strings.
FIG. 7 is a diagram for explaining pan change value calculation;
FIG. 8 is a diagram illustrating zoom value calculation.
FIG. 9 is a diagram illustrating the distribution in FIG. 8 when zooming is performed.
FIG. 10 is a first flowchart illustrating an example of processing of the functional block diagram of FIG. 5;
FIG. 11 is a second flowchart showing an example of processing of the functional block diagram of FIG. 5;
FIG. 12 is a functional block diagram of an imaging apparatus according to a third embodiment of the present invention.
13 is a first flowchart showing an example of processing of the functional block diagram of FIG. 12;
14 is a second flowchart showing an example of processing of the functional block diagram of FIG.
15 is a third flowchart illustrating an example of the process of the functional block diagram of FIG.
FIG. 16 is a diagram illustrating a general relationship between the size of the angle of view of the imaging apparatus and the recognition rate.
FIG. 17 is a diagram illustrating an example of a character string passage distribution.
[Explanation of symbols]
1,10,20,30,50 Imaging camera
2,21 Character string extraction means
3,23 Pan variable means
4,24 Zoom ratio variable means
5,25 Character string recognition means
6, 26a, 26b, 26c Car
6a, 26aa, 26ba, 26ca alphanumeric character string
11, 31, 51 Image capture unit
12, 32, 52 Character string area extraction unit
13, 34 Pan variable part
14, 35 Zoom ratio variable part
15, 36, 57 Character string recognition processor
15a, 36a, 57a Dictionary DB
16, 37, 56 Control command transmitter
22 Statistical means
33, 54 Statistical processing section
53 Imaging Camera Control Unit
55 Statistical imaging camera controller
Claims (4)
パン及びズーム比率が変更可能な撮像カメラと、
前記撮像カメラが撮像する移動物体の文字列を抽出し、前記文字列の大きさ及び前記撮像カメラの撮像範囲を通過する前記文字列の通過位置を取得する文字列抽出手段と、
前記文字列の通過位置を前記撮像範囲の中央に位置するように前記撮像カメラのパンを可変するパン可変手段と、
前記文字列の大きさを予め登録されている文字列認識処理に適した大きさとなるように前記撮像カメラのズーム比率を可変するズーム比率可変手段と、
前記ズーム比率又は前記パンが変更された前記撮像カメラによって撮像される前記文字列を認識処理する文字列認識手段と、
一定時間、前記文字列抽出手段により取得された前記文字列の通過位置とその通過位置における通過数との統計を採り、前記文字列が前記撮像範囲を最も通過した最大通過位置と前記統計の標準偏差とを算出する統計手段と、
前記最大通過位置を前記撮像範囲の中央に位置するように前記撮像カメラのパンを可変する統計パン可変手段と、
前記標準偏差から前記撮像カメラの撮像範囲外を通過した文字列の予想通過位置を算出し、前記予想通過位置を前記撮像範囲の範囲内に納まるように前記撮像カメラのズーム比率を可変する統計ズーム比率可変手段と、
を有することを特徴とする撮像装置。In an imaging device that recognizes a character string of a moving object,
An imaging camera capable of changing the pan and zoom ratio;
A character string extracting unit that extracts a character string of a moving object imaged by the imaging camera, and acquires a size of the character string and a passing position of the character string passing through an imaging range of the imaging camera;
Pan variable means for varying the pan of the imaging camera so that the passage position of the character string is located at the center of the imaging range;
Zoom ratio varying means for varying the zoom ratio of the imaging camera so that the size of the character string becomes a size suitable for pre-registered character string recognition processing;
A character string recognition unit for recognizing processing the character string to be imaged by the zoom ratio or said imaging camera panning has been changed,
The statistics of the passage position of the character string acquired by the character string extraction means and the number of passages at the passage position are taken for a certain period of time, the maximum passage position where the character string has passed the imaging range most and the standard of the statistics A statistical means for calculating the deviation,
Statistical pan varying means for varying the pan of the imaging camera so that the maximum passing position is located in the center of the imaging range;
Statistical zoom that calculates an expected passing position of a character string that has passed outside the imaging range of the imaging camera from the standard deviation, and varies a zoom ratio of the imaging camera so that the expected passing position falls within the imaging range. A variable ratio means;
An imaging device comprising:
ズーム比率及びパンが変更可能な撮像カメラと、 An imaging camera capable of changing the zoom ratio and pan; and
前記撮像カメラが撮像する移動物体の文字列を抽出し、前記撮像カメラの撮像範囲を通過する前記文字列の通過位置を取得する文字列抽出手段と、 A character string extracting means for extracting a character string of a moving object imaged by the imaging camera and acquiring a passing position of the character string passing through an imaging range of the imaging camera;
一定時間、前記文字列抽出手段が取得した前記文字列の通過位置とその通過位置における通過数との統計を採り、前記文字列が前記撮像範囲を最も通過した最大通過位置と前記統計の標準偏差とを算出する統計手段と、 Taking a statistic of the passage position of the character string acquired by the character string extraction means and the number of passages at the passage position for a certain period of time, the maximum passage position where the character string has passed most of the imaging range and the standard deviation of the statistic A statistical means for calculating
前記最大通過位置を前記撮像範囲の中央に位置するように前記撮像カメラのパンを可変するパン可変手段と、 Pan variable means for varying the pan of the imaging camera so that the maximum passage position is located in the center of the imaging range;
前記標準偏差から前記撮像カメラの撮像範囲外を通過した文字列の予想通過位置を算出し、前記予想通過位置を前記撮像範囲の範囲内に納まるように前記撮像カメラのズーム比率を可変するズーム比率可変手段と、 A zoom ratio that calculates an expected passing position of a character string that has passed outside the imaging range of the imaging camera from the standard deviation, and varies a zoom ratio of the imaging camera so that the expected passing position falls within the imaging range. Variable means;
前記撮像カメラによって撮像される前記移動物体の文字列を認識処理する文字列認識手段と、 Character string recognition means for recognizing the character string of the moving object imaged by the imaging camera;
を有することを特徴とする撮像装置。 An imaging device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002113173A JP4093790B2 (en) | 2002-04-16 | 2002-04-16 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002113173A JP4093790B2 (en) | 2002-04-16 | 2002-04-16 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003309760A JP2003309760A (en) | 2003-10-31 |
JP4093790B2 true JP4093790B2 (en) | 2008-06-04 |
Family
ID=29395432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002113173A Expired - Fee Related JP4093790B2 (en) | 2002-04-16 | 2002-04-16 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4093790B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101329492B1 (en) * | 2012-01-25 | 2013-11-13 | 한국과학기술원 | Apparatus and method for controlling camera for locating scene text to proper position and size |
CN105516590B (en) * | 2015-12-11 | 2019-04-16 | Oppo广东移动通信有限公司 | A kind of image processing method and device |
-
2002
- 2002-04-16 JP JP2002113173A patent/JP4093790B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003309760A (en) | 2003-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8861784B2 (en) | Object recognition apparatus and object recognition method | |
KR100792283B1 (en) | Device and method for auto tracking moving object | |
US8831282B2 (en) | Imaging device including a face detector | |
US7382411B2 (en) | Method for focus adjusting and camera | |
KR101926490B1 (en) | Apparatus and method for processing image | |
JP4516516B2 (en) | Person detection device, person detection method, and person detection program | |
KR100362328B1 (en) | Face-image processing apparatus | |
EP1833003A2 (en) | Face authentication apparatus and face authentication method | |
CN110390745B (en) | Gate control method, system, readable storage medium and device | |
EP0729036B1 (en) | Tracking area determination apparatus and object tracking apparatus utilizing the same | |
JP2012048476A (en) | Image processing apparatus | |
KR102100965B1 (en) | System for analyzing vehicle information on multi-lane embedded a camera and analyzing method using thereof | |
US5442397A (en) | Image sensing apparatus | |
JP2005103122A (en) | Eye image imaging device | |
JP4093790B2 (en) | Imaging device | |
US6614480B1 (en) | Apparatus and a method for automatically focusing on a subject | |
JP5225317B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP5127692B2 (en) | Imaging apparatus and tracking method thereof | |
JP2013195577A (en) | Imaging device, imaging method, and program | |
KR102107137B1 (en) | Method and Apparatus for Detecting Event by Using Pan-Tilt-Zoom Camera | |
Hasegawa et al. | Counting cars by tracking moving objects in the outdoor parking lot | |
JP2003259352A (en) | Object detecting apparatus, object detecting method, and object detecting program | |
US8526740B2 (en) | Image processing device and recording medium | |
CN103366174B (en) | Method and system for obtaining image information | |
JP7250433B2 (en) | IMAGING DEVICE, CONTROL METHOD AND PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080304 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140314 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |