JP4922097B2 - カメラシステム - Google Patents

Description

本発明は、たとえば、道路を走行する車両のナンバプレートを撮影し、得られる複数フレームの画像を処理することによりナンバプレート上の文字を認識するナンバプレート認識装置、あるいは、交通機関における改札通路等の通行路を通行する人物の少なくとも顔を含む画像を撮影し、得られる複数フレームの画像を処理することにより当該人物の顔を認識する人物監視装置として好適なカメラシステムに関する。

一般に、たとえば、道路を走行する車両のナンバプレートを認識するナンバプレート認識装置は、車両が走行する道路の側部に車両検知器およびビデオカメラ（以後、単にカメラと略称する）を設置し、車両検知器が走行する車両を検知すると、カメラが撮影動作を開始し、当該車両のナンバプレートを撮影するようになっている。

従来、このようなナンバプレート認識装置において、撮影対象物である移動物体としての車両を適切にカメラの画角内に入れるために、カメラの設置姿勢（設置角度）を水平方向（ｐａｎ：パン、ｙａｗ：ヨー方向）および上下方向（ｔｉｌｔ：チルト、ｐｉｔｃｈ：ピッチ方向）に調節している（たとえば、特許文献１、特許文献２参照）。

特許文献１には、車両を検知し、通行状況により自動的に撮像方向を水平方向（パン、ヨー方向）に調整する車両撮像システムについて開示されている。
特許文献２には、道路に埋設された撮像カメラで車両のナンバプレートを撮像する場合において、撮影カメラを上下方向（チルト、ピッチ方向）に調整する撮像装置およびそれを用いたナンバプレート検出システムについて開示されている。
特開平９−１０２０９６号公報 特開２００３−３４６２８１号公報

たとえば、あらかじめ決められた特定方向に移動する移動物体を動画として撮影するために、カメラの設置角度（設置姿勢）を調整する場合、従来のパン・チルト方向の調整だけでは、カメラの設置位置によっては、移動物体の移動方向が撮影された画像（以後、撮影画像と称す）中で斜め方向として映ることがある。

このとき、移動物体が撮影画像中のどこを通るかによって、移動物体が映るフレーム数にばらつきがでる。撮影画像中の中心部を通る移動物体の画像は多くのフレーム数取得できるが、撮影画像中の端部を通る移動物体は少ないフレーム数しか取得できない。その結果として、移動物体の撮影画像中における移動位置によって、動画による画像認識等の画像処理の精度にばらつきがでる。

たとえば、車両が走行する道路の側部に設置したカメラで、当該道路を走行する車両のナンバプレートを撮影する場合、カメラの設置位置が車両のナンバプレートと同じ高さでない限り、当該ナンバプレートは、撮影画像中で斜め方向に移動する。

具体的には、たとえば、前進する車両のナンバプレートを、当該車両の左斜め後ろかつ上方から撮影する場合、当該ナンバプレートは撮影画像中の右下から左上に向かって移動する。このとき、道路の中心部を通る車両のナンバプレートが、撮影画像中の中心部を通るように、カメラの設置角度をパン・チルト方向に調整すると、道路の左端を通るナンバプレートは撮影画像中の左下に、道路の右端を通るナンバプレートは撮影画像中の右上に映る。このため、道路の中心部を通るナンバプレートと比べて、画角内に入る軌跡の長さが短いので、少ないフレーム数しか撮影されないという問題がある。

そこで、本発明は、撮影画像中の端部を通る移動物体でも、撮影画像中の中心部を通る移動物体と同程度のフレーム数の画像を取得することが可能なカメラシステムを提供することを目的とする。

本発明のカメラシステムは、車両の移動方向を規定する道路の側部に設置され、前記道路を走行する車両のナンバプレートを、前記移動方向に対する斜め後方あるいは斜め前方から撮影して時系列的に複数フレームの画像を出力するもので、前記走行する車両のナンバプレートが視野角に収まり、かつ、前記移動方向が撮影画像の長辺あるいは短辺に対し平行となるよう、設置姿勢が上下方向および水平方向および回転方向にそれぞれ調整されたカメラと、このカメラから時系列的に得られる複数フレームの画像を処理することにより、前記走行する車両のナンバプレートを検出し、当該ナンバプレート上の文字を認識する画像処理手段とを具備している。

また、本発明のカメラシステムは、人物の移動方向を規定する通行路の側部に設置され、前記通行路を通行する人物の少なくとも顔を含む画像を、前記移動方向に対する斜め後方あるいは斜め前方から撮影して時系列的に複数フレームの画像を出力するもので、前記通行する人物の少なくとも顔を含む画像が視野角に収まり、かつ、前記移動方向が撮影画像の長辺あるいは短辺に対し平行となるよう、設置姿勢が上下方向および水平方向および回転方向にそれぞれ調整されたカメラと、このカメラから時系列的に得られる複数フレームの画像を処理することにより、前記通行する人物の顔を検出し、この検出した顔を認識する画像処理手段とを具備している。

本発明によれば、撮影画像中の端部を通る移動物体でも、撮影画像中の中心部を通る移動物体と同程度のフレーム数の画像を取得することが可能なカメラシステムを提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係るカメラシステムの構成を概略的に示すものである。このカメラシステムは、たとえば、道路を走行する車両のナンバプレートを撮影し、得られる複数フレームの画像を処理することによりナンバプレート上の文字を認識するナンバプレート認識装置として適用されるもので、道路を走行する車両のナンバプレートを撮影するカメラ１１、および、このカメラ１１がカメラインタフェイス部１２を介して接続された画象処理手段としての画像処理部１３を有して構成される。

カメラ１１は、道路を走行する車両のナンバプレートを後方から撮影して時系列的に複数フレームの画像を出力するもので、その設置姿勢を、水平方向（パン、ヨー方向）および上下方向（チルト、ピッチ方向）だけでなく、回転方向（ｒｏｌｌ：ロール方向）にも調整し、移動物体である車両の移動方向が撮影画像中で水平方向または垂直方向になるように設置する。なお、この例では、カメラ１１から得られる複数フレームの画像は長辺と短辺とからなる横長画像（長方形の外形をもつ画像）とする。図２に、パン、ヨー方向２１、チルト、ピッチ方向２２、ロール方向２３の各回転方向を示す。

以下、カメラ１１の設置位置・姿勢の決定の手順について図３に示すフローチャートを参照して詳細に説明する。
まず、カメラ１１の設置位置を決定する（ステップＳ１）。すなわち、図４に示すように、カメラ１１を車両３１が走行する道路３２の側部に設置する。次に、撮影対象位置を決定する（ステップＳ２）。すなわち、図４に示すように、走行する車両３１のナンバプレート３３を撮影する位置３４を、ナンバプレート３３が通る軌跡３５上に設定する。

次に、カメラ１１の撮影方向を決定する（ステップＳ３）。すなわち、図４に示すように、カメラ１１をピッチ方向およびヨー方向に回転させることで、カメラ１１の光軸３６がナンバプレートを撮影する位置３４を通るように、カメラ１１の撮影方向を調整する。車両３１のナンバプレート３３は、通常、車両３１の前部と後部にそれぞれ取着されているため、撮影方向は車両３１の斜め前方または斜め後方から撮影する方向にする。

最後に、カメラ１１の角度をロール方向に調整する（ステップＳ４）。すなわち、図５にステップＳ３の撮影方向の決定までが終了した状態の、図４のカメラ配置における車両３１とその進行方向４１の撮影画像４２の例を示す。これを、図６（ｂ）に示すように、進行方向４１が、撮影画像４２の水平方向（撮影画像４２の長辺に対し平行）になるように調整するか、図６（ｃ）に示すように、進行方向４１が、撮影画像４２の垂直方向（撮影画像４２の短辺に対し平行）になるように調整する。なお、図６（ａ）は調整前の撮影画像４２を示している。

画像処理部１３は、カメラ１１から時系列的に出力される複数フレームの画像を取込む入出力インタフェイス部１４、入出力インタフェイス部１４により取込まれた複数フレームの画像を処理することにより、走行する車両３１のナンバプレート３３を検出するナンバプレート検出部１５、ナンバプレート検出部１５により検出されたナンバプレート３３上の文字（車番）を認識する車番認識部１６、および、車番認識部１６により認識された文字（車番）等に基づき当該車両３１の車種を判別する車種判別部１７を有して構成される。

以下、図１に示すカメラシステムの動作について図７に示すフローチャートを参照して説明する。カメラ１１は、道路３２を走行する車両３１のナンバプレート３３を後方から撮影して時系列的に複数フレームの画像を出力する（ステップＳ１１）。カメラ１１から時系列的に出力される複数フレームの画像は、カメラインタフェイス部１２を介して画像処理部１３へ送られる。

画像処理部１２は、カメラ１１から時系列的に得られる複数フレームの画像を処理することにより、走行する車両３１のナンバプレート３３を検出し、当該ナンバプレート３３上の文字を認識する。すなわち、まず、ナンバプレート検出部１５は、入出力インタフェイス部１４により取込まれた複数フレームの画像を処理することにより、走行する車両３１のナンバプレート３３を検出する（ステップＳ１２）。次に、車番認識部１６は、ナンバプレート検出部１５により検出されたナンバプレート３３上の文字（車番）を認識する（ステップＳ１３）。次に、車種判別部１７は、車番認識部１６により認識された文字（車番）等に基づき当該車両３１の車種を判別し（ステップＳ１４）、その判別結果を出力する（ステップＳ１５）。

なお、ナンバプレート検出部１５によるナンバプレートの検出、車番認識部１６によるナンバプレート上の文字認識、および、車種判別部１７による車種判別は、既に周知の技術であるので、これ以上の説明は省略する。

次に、第２の実施の形態について説明する。
図８は、第２の実施の形態に係るカメラシステムの構成を概略的に示すものである。このカメラシステムは、たとえば、交通機関の駅における自動改札装置が設置された改札通路を通行する人物（乗客）の少なくとも顔を含む画像を撮影し、得られる複数フレームの画像を処理することにより当該人物の顔を認識する人物監視装置として適用されるもので、改札通路を通行する人物の少なくとも顔を含む画像を撮影するカメラ５１、および、このカメラ５１がカメラインタフェイス部５２を介して接続された画象処理手段としての画像処理部５３を有して構成される。

カメラ５１は、改札通路を通行する人物の少なくとも顔を含む画像を撮影して時系列的に複数フレームの画像を出力するもので、その設置姿勢を、水平方向（パン、ヨー方向）および上下方向（チルト、ピッチ方向）だけでなく、回転方向（ロール方向）にも調整し、移動物体である通行する人物の移動方向（進行方向）が撮影画像中で水平方向または垂直方向になるように設置する。なお、この例では、カメラ５１から得られる複数フレームの画像は長辺と短辺とからなる横長画像（長方形の外形をもつ画像）とする。図２に、パン、ヨー方向２１、チルト、ピッチ方向２２、ロール方向２３の各回転方向を示す。

以下、カメラ５１の設置位置・姿勢の決定の手順について図３に示すフローチャートを参照して詳細に説明する。
通常、交通機関の駅における改札口には、たとえば、図９に示すように、複数の自動改札装置６１，…が設置されているとともに、これら各自動改札装置６１の間に人物（乗客）６２が通行する改札通路６３，…が形成されている。

このような状況において、まず、カメラ５１の設置位置を決定する（ステップＳ１）。すなわち、図９に示すように、カメラ５１を自動改札装置６１の斜め前方に設置する。次に、撮影対象位置を決定する（ステップＳ２）。すなわち、図９に示すように、撮影対象位置を各自動改札装置６１の中心に設定する。

次に、カメラ５１の撮影方向を決定する（ステップＳ３）。すなわち、図９に示すように、カメラ５１をピッチ方向およびヨー方向に回転させることで、撮影対象がカメラ５１の画角の中心となるように、カメラ５１の撮影方向を調整する。

最後に、カメラ５１の角度をロール方向に調整する（ステップＳ４）。すなわち、図１０（ａ）にステップＳ３の撮影方向の決定までが終了した状態の、図９のカメラ配置における自動改札装置６１とそこを通過する人物（乗客）６２の進行方向６４の撮影画像７１の例を示す。これを、図１０（ｂ）に示すように、進行方向６４が、撮影画像７１の垂直方向（撮影画像７１の短辺に対し平行）になるように、カメラ５１をロール方向に調整し、回転角度を決定する。

画像処理部５３は、カメラ５１から時系列的に出力される複数フレームの画像を取込む入出力インタフェイス部５４、入出力インタフェイス部５４により取込まれた複数フレームの画像を処理することにより、通行する人物６２の顔を検出する顔検出部５５、顔検出部５５により検出された顔を認識する顔照合部５６、および、顔照合部５６において照合に用いる辞書情報が登録されている辞書部５７を有して構成される。

以下、図８に示すカメラシステムの動作について図１１に示すフローチャートを参照して説明する。カメラ５１は、改札通路６３を通行する人物６２の少なくとも顔を含む画像を撮影して時系列的に複数フレームの画像を出力する（ステップＳ２１）。カメラ５１から時系列的に出力される複数フレームの画像は、カメラインタフェイス部５２を介して画像処理部５３へ送られる。

画像処理部５２は、カメラ５１から時系列的に得られる複数フレームの画像を処理することにより、通行する人物６２の顔を検出し、この検出した顔を認識する。すなわち、まず、顔検出部５５は、入出力インタフェイス部５４により取込まれた複数フレームの画像を処理することにより、改札通路６３を通行する人物６２の顔を検出する（ステップＳ２２）。次に、顔照合部５６は、顔検出部５５により検出された顔を辞書部５７にあらかじめ登録された辞書情報と照合することにより当該人物６２の顔を認識し（ステップＳ２３）、その認識結果を出力する（ステップＳ２４）。

なお、顔検出部５５による人物の顔検出、および、顔照合部５６による顔認識は、既に周知の技術であるので、これ以上の説明は省略する。

以上説明したように上記実施の形態によれば、道路を走行する車両や改札通路を通行する人物など、特定の方向に移動する移動物体の移動方向に応じて、カメラの設置姿勢（設置角度）を、水平方向（パン、ヨー方向）および上下方向（チルト、ピッチ方向）だけでなく、回転方向（ロール方向）にも調整することで、撮影画像中での移動物体の移動方向を撮影画像上での水平方向または垂直方向にすることができる。

長方形の外形をもつ撮影画像中で、移動物体の移動方向が撮影画像上で水平方向または垂直方向となることで、撮影画像に映る移動物体について、撮影画像上の軌跡が全て同じ長さとなり、同程度のフレーム数の画像が取得できる。これにより、動画による画像処理の精度にばらつきがなくなるという作用効果が期待できる。
また、移動物体の移動方向を長方形の外形を持つ撮影画像の短辺の方向とする場合、１台のカメラで撮影できる幅が広くなるという作用効果も期待できる。

本発明の第１の実施の形態に係るカメラシステムの構成を概略的に示すブロック図。 カメラの回転方向を説明するための図。 カメラの設置位置・姿勢の決定の手順について説明するフローチャート。 道路と車両とカメラの位置・角度を説明するための模式図で、（ａ）図は平面図、（ｂ）は側面図。 撮影方向の決定までが終了した状態の撮影画像の例を示す模式図。 カメラのロール方向の調整により車両の進行方向が撮影画像中の水平方向、垂直方向になることを説明する模式図。 図１に示すカメラシステムの動作について説明するフローチャート。 本発明の第２の実施の形態に係るカメラシステムの構成を概略的に示すブロック図。 自動改札装置とカメラの位置・角度を説明するための模式図で、（ａ）図は平面図、（ｂ）は側面図。 カメラのロール方向の調整により人物の進行方向が撮影画像の垂直方向になることを説明する模式図。 図８に示すカメラシステムの動作について説明するフローチャート。

符号の説明

１１，５１…カメラ、１３，５３…画像処理部（画象処理手段）、１５…ナンバプレート検出部、１６…車番認識部、３１…車両（移動物体）、３２…道路、３３…ナンバプレート、３４…撮影位置、３５…ナンバプレートが通る軌跡、３６…カメラの光軸、５５…顔検出部、５６…顔照合部、５７…辞書部、６１…自動改札装置、６２…人物（移動物体）、６３…改札通路。

Claims (3)

1. 車両の移動方向を規定する道路の側部に設置され、前記道路を走行する車両のナンバプレートを、前記移動方向に対する斜め後方あるいは斜め前方から撮影して時系列的に複数フレームの画像を出力するもので、前記走行する車両のナンバプレートが視野角に収まり、かつ、前記移動方向が撮影画像の長辺あるいは短辺に対し平行となるよう、設置姿勢が上下方向および水平方向および回転方向にそれぞれ調整されたカメラと、
   このカメラから時系列的に得られる複数フレームの画像を処理することにより、前記走行する車両のナンバプレートを検出し、当該ナンバプレート上の文字を認識する画像処理手段と、
   を具備したことを特徴とするカメラシステム。
2. 人物の移動方向を規定する通行路の側部に設置され、前記通行路を通行する人物の少なくとも顔を含む画像を、前記移動方向に対する斜め後方あるいは斜め前方から撮影して時系列的に複数フレームの画像を出力するもので、前記通行する人物の少なくとも顔を含む画像が視野角に収まり、かつ、前記移動方向が撮影画像の長辺あるいは短辺に対し平行となるよう、設置姿勢が上下方向および水平方向および回転方向にそれぞれ調整されたカメラと、
   このカメラから時系列的に得られる複数フレームの画像を処理することにより、前記通行する人物の顔を検出し、この検出した顔を認識する画像処理手段と、
   を具備したことを特徴とするカメラシステム。
3. 前記人物が通行する通行路とは、交通機関の駅における自動改札装置が設置された改札通路であることを特徴とする請求項２記載のカメラシステム。

Images