JP5896781B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は画像処理装置および画像処理方法に関し、特に、全方位撮像がなされた画像から目的の物体を検出・追尾するために用いて好適な技術に関する。

全方位ミラーまたは全周魚眼レンズを搭載した全方位カメラは、全周囲の景観を撮影することが可能な撮像装置であり、従来から、監視カメラやロボットナビゲーションなどのさまざまな利用が考えられてきた。全方位カメラでは、一台のカメラで３６０度円環あるいは円形などの全方位画像で撮影することができる。そして、撮影された全方位画像に対して幾何変換処理を行なうことにより、パノラマ展開画像や平面透視投影画像へ変換して、全方位の所望の画像を得ることができる。

全方位の画像を得る技術として、特許文献１では、全方位画像上で動き検知、追尾を行い、検出された領域を透視投影変換して画像を作成する。このとき、動き領域を扇形にして検索する技術が開示されている。
また、特許文献２では、全方位画像のパノラマ展開画像において、着目したい物体対象が中心となるように、パノラマ画像を展開する技術が開示されている。
また、特許文献３では、全方位画像上で、人物を検出・追尾は切り出された台形状の人物領域内の格子点における色情報信号を特徴量とし、特徴量と人物像の切り出し処理とを繰り返し行い、追尾を行う技術が開示されている。

特開２０１０−１９９７１３号公報 特開２００６−２２９６３１号公報 特開２００８−４８４４３号公報

しかしながら、特許文献１による方法によれば、全方位画像上に複数の検出領域が存在する場合には、検出領域の数分だけの透視投影画像変換が必要になる。また、全方位画像上の歪を有する画像上で人物検知など複雑な特定の形状を認識するのは困難である問題点があった。

また、特許文献２による方法によれば、着目したい対象が１物体であれば有効であるが、複数の対象物がある場合には、それぞれの対象物を中心になるようにした展開画像が、複数枚必要となってしまう問題点があった。

また、特許文献３による方法によれば、全方位画像上での検出・追尾は、透視投影変換して画像を作成する場合に比べ計算量が多く、複数の追尾対象が存在する場合、現実的な技術ではなくなる問題点があった。また、切り出し位置に物体が存在している場合、展開後の画像では、１つの物体が２つに分割されるという課題もあった。

本発明は前述の問題点に鑑み、全方位画像上の物体が存在する位置を考慮せずにパノラマ画像に展開しても、物体を正しく検出することができるようにすることを目的とする。

本発明の画像処理装置は、全方位の画像を取得する取得手段と、前記取得手段により取得した全方位の画像をパノラマ展開したパノラマ画像の右端又は左端の一方に、前記パノラマ画像の右端又は左端の他方の一部の画像が付加された拡張画像を生成する拡張手段と、前記拡張手段により生成された拡張画像から物体を検出する検出手段と、前記拡張画像の右端側と前記拡張画像の左端側から前記検出手段により検出された同一の物体を一つの物体として対応付ける対応付け手段とを有し、前記対応付け手段は、前記パノラマ画像の右端と左端に分割された同一の物体を一つの物体として対応付けることを特徴とする。

本発明によれば、全方位画像の物体が存在する位置を考慮せずにパノラマ画像に展開しても、物体を正しく検出することができる。

実施形態の画像処理装置の構成例を説明するブロック図である。 画像処理装置が取得した全方位画像と、画像幾何変換処理後の画像を示す図である。 画像拡張処理部において画像拡張処理を施した画像の一例を示す図である。 画像幾何変換後の画像とともに表示させた画像を示す図である。 オブジェクト識別子を付与した画像の一例を示す図である。 ディスプレイで表示される画像の一例を示す図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１の実施形態＞
図１は、本発明の一実施形態である画像処理装置の構成例を説明するブロック図である。本実施形態の画像処理装置は、全方位画像を取得し、画像処理により、例えば人の通過を検知したり、通過した人数をカウントしたりする機能を有する。ユーザは、認識のためのルールやパラメータを設定することで、認識処理の結果を取得する。

図１に示す構成図は、画像処理装置の一部機能を示したもので、画像の入力から、画像処理部分、画像の出力部分を示した図である。また、図２は、画像処理装置が取得した全方位画像（ａ）と、画像幾何変換処理後の画像（ｂ）を示す図である。

図１における１０１は全方位画像取得部である。全方位画像取得部１０１で取得する全方位画像は３６０°の全周風景画像であるが、その取得には、双曲面ミラーや球面ミラーを用いて鏡面反射させ撮像センサにより取得するものや、全周魚眼レンズを用いて撮像するものなどがある。本実施形態においては、これらの取得方法はいずれの方法であっても構わない。撮像センサにより取り込まれた信号は所定の画素補間や色変換処理、現像処理、また、ホワイトバランス、シャープネス、コントラストなどの画像処理を行い、図２（ａ）の２０１に示すような、全周囲円環画像が取得される。

１０２は画像幾何変換処理部であり、全方位画像取得部１０１にて取得された全周囲円環画像２０１に対し、画像幾何変換処理を施す。画像幾何変換処理部１０２において、パノラマ変換処理あるいは透視投影変換処理を施すことにより、図２（ｂ）の２０２に示すようなパノラマ画像が生成される。

１０３は、画像拡張処理部であり、画像幾何変換処理部１０２で生成したパノラマ画像２０２の右端に、拡張させる左端の画像を付加する。ここで、画像拡張処理部１０３における画像の拡張部は、右端であっても、左端であってもかまわない。または、画像幾何変換処理部１０２で取得したパノラマ画像２０２が、全周囲円環画像２０１の一部を展開した画像である場合、画像の切り出し部の端に、拡張する画像を付加してもよい。本実施形態においては、全周囲円環画像２０１のすべてを展開した画像として説明する。

図３に示す画像は、画像拡張処理部１０３において画像拡張処理を施した画像の一例である。３０１は、画像拡張処理を施した画像全体を示す。３０２は、拡張された画像部分であり、左端の画像をコピーして付加した画像である。３０３は、拡張された画像部分３０２にて付加した範囲の画像部分を示す。拡張処理する画像部分（３０２あるいは３０３）の幅は、ユーザがあらかじめ設定したパラメータと同じ幅とする。該パラメータは、ユーザが認識処理のために設定したパラメータの一部で、認識させたいオブジェクトの最大幅を決定する値（検出物体の最大値）であり、オブジェクトの最大幅と同じ幅の画像を拡張する。

また、前述のように、拡張する幅を認識したいオブジェクトの最大幅に固定する方法の他に、拡張する画像の幅を更新する方法もある。画像拡張処理部１０３は、画像解析処理部１０４で認識されたオブジェクトの最大幅となるように、拡張する画像の幅を更新する。また、拡張する幅を決定する方法として、画像の大きさから計算された値とする方法もある。たとえば、図２（ｂ）の２０２のようなパノラマ展開された画像の幅１０％を拡張するように設定する方法もある。

画像拡張処理部１０３により拡張する画像幅を設定することで、必要以上に大きな拡張画像となることなく認識処理が行われ、また認識させたいオブジェクトが画像端で切れてしまうことがなくなる。画像拡張処理部１０３により生成された画像３０１は、次に図１の画像解析処理部１０４に送られる。

画像解析処理部１０４は、画像から物体を検出するために、動体検出部１０５と人体検出部１０７や、対応付け処理部１０６、動体追尾処理部１０８、認識・検知処理部１０９といった機能を備えている。画像から物体を検出するために、本実施形態では動体検出と人体検出の２つの検出方法を使用しているが、動体検出のみでもよいし、また、顔検出でもよい。すなわち、画像から物体を検出することができれば、何を検出するものであってもかまわない。

本実施形態における物体検出を行うために設けられている動体検出部１０５は、フレーム間差分や動きベクトルを使った動体の検出を行い、検出されたオブジェクト情報は、対応付け処理部１０６に送られる。

図４は、動体検出部１０５によりオブジェクトを検出した内部処理結果を示したものである。４０１は画像解析を行った画像全体を示す。４０２は拡張された左端の画像部分を示し、４０３は、拡張した画像部分を示す。４０４、４０５、４０６、４０７、４０８は、それぞれ動体として検出されたオブジェクトを矩形で表現したものである。

動体検出部１０５により処理された情報は、対応付け処理部１０６へ送られる。対応付け処理部１０６では、画像端で分割された同一オブジェクトを、１つのオブジェクト（同一物体）と対応付ける処理を行う。たとえば、図４の４０７と４０８は、同一のオブジェクトであると、対応付けする。

これらのオブジェクト４０４〜４０８を対応付けする判断は、たとえば、オブジェクトの情報を使用し、一定以上のオブジェクトの高さ、存在位置が同じであるとき、同一オブジェクトと対応付ける。また、オブジェクトの色情報を使用し、２つのオブジェクトの色情報がある一定以上の相関がある場合、同一オブジェクトと対応付けする。または、画像解析処理部１０４において、オブジェクトの予測位置情報を算出し、予測されたオブジェクトが画像の端を通過する場合、画像の端に存在する２つのオブジェクトは同一であると対応付けすることも可能である。対応付け処理部１０６により対応付け処理された情報は、人体検出部１０７及び動体追尾処理部１０８へ送られる。

人体検出部１０７においては、人体形状のオブジェクトを検出する。対応付け処理部１０６においてオブジェクトの対応付けを行っていることで、４０７のような画像の端にあるオブジェクトが、人体検出部１０７において、人体と検出することが可能となる。人体と検出された情報は、動体追尾処理部１０８へ送られる。

次に、動体追尾処理部１０８においては、先に検出した動体オブジェクト、人体オブジェクト情報を入力し、時間軸方向にオブジェクトの移動を追尾する追尾処理を行い、オブジェクトの移動情報を追尾情報として出力する。追尾処理では、過去のオブジェクトの動きから予測位置を推定する処理も行っている。このとき、追尾処理の過程において、各オブジェクトには識別子が付与される。

図５は、動体追尾処理部１０８にて付与された識別子を表示した内部処理結果を示した図である。５０１は、オブジェクト４０４に付与された識別子ＩＤ：１である。同様に、５０２は、オブジェクト４０５に付与された識別子ＩＤ：２であり、５０３は、オブジェクト４０６に付与された識別子ＩＤ：３である。

５０４は、オブジェクト４０７に付与された識別子ＩＤ：４である。そして、５０５は、オブジェクト４０８に付与された識別子ＩＤ：４である。ここで５０４、５０５の識別子が同じＩＤ：４であるが、先にオブジェクト４０７と４０８が同一オブジェクトであると対応付けられているため、同一識別子となっている。

このように、画像端に跨るオブジェクト４０７、４０８を同一のオブジェクトと対応付けることにより、追尾処理において同一の識別子を付与することが可能である。これにより、追尾処理が画面端で途切れることなく、連続した追尾を継続することが可能となる。動体追尾処理部１０８において処理された結果、および先に処理された動体検出情報、人体検出情報は、認識・検知処理部１０９へ送られる。

認識・検知処理部１０９においては、先に検出したオブジェクト情報、人体情報、追尾情報を入力とし、ユーザが認識したい、オブジェクトの認識、オブジェクトの動き検知を行い、その情報を出力する。オブジェクトの認識処理、オブジェクトの動き検知処理は、たとえば、通過、混雑、滞留、存在検知などにより実現可能である。

ユーザの設定は、認識のためのルール設定、パラメータ設定があるが、ここでは既に設定されたものとし、説明を省略する。認識・検知処理部１０９の認識・検知処理において、設定された認識ルール・パラメータにより、検知結果を出力する。出力された情報は、描画表示処理部１１０へ送られる。

描画表示処理部１１０には、画像解析処理部１０４から出力された情報と、画像幾何変換処理部１０２で処理された画像とが入力される。描画表示処理部１１０は、画像幾何変換処理部１０２にて幾何変換された画像上に、解析処理された情報が描画された状態で、ディスプレイ１１１に表示可能な形式に変換する。描画表示処理部１１０にて変換された情報は、ディスプレイ１１１へ送られる。ディスプレイ１１１では、画像処理装置へ入力された画像と、画像解析処理にて検出された結果が表示される。図６に、その一例を示す。

図６では、画像幾何変換処理部１０２で生成したパノラマ画像上に、解析処理された情報を描画しているので、画像拡張処理部１０３で右端に付加した画像のない、パノラマ画像の表示となっている。ディスプレイ１１１の表示では、６０１と６０２のオブジェクト矩形は、別オブジェクトのように表示される。しかし、付与されているオブジェクト識別子が６０１のオブジェクト矩形には６０３のようにＩＤ：４が、６０２のオブジェクト矩形には６０４のようにＩＤ：４と、同じオブジェクト識別子が付与されている。これは、同一のオブジェクトとして認識されていることを示している。

以上のように、本実施形態の画像処理装置においては、全方位画像の展開画像上において、オブジェクトの検出、認識処理を行う場合において、両端にかかるオブジェクトを同一のオブジェクトと認識することが可能である。また、オブジェクトの追尾処理においても、画像の端を通過するオブジェクトを同一のオブジェクトとみなし、追尾情報が継続され、精度のよい追尾が可能となる。

（その他の実施形態）
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 全方位画像取得部、１０２ 画像幾何変換処理部、１０３ 画像拡張処理部、１０４ 画像解析処理部、１０５ 動体検出部、１０６ 対応付け処理部、１０７ 人体検出部、１０８ 動体追尾処理部、１０９ 認識・検知処理部、１１０ 描画表示処理部、１１１ ディスプレイ

Claims (15)

1. 全方位の画像を取得する取得手段と、
   前記取得手段により取得した全方位の画像をパノラマ展開したパノラマ画像の右端又は左端の一方に、前記パノラマ画像の右端又は左端の他方の一部の画像が付加された拡張画像を生成する拡張手段と、
   前記拡張手段により生成された拡張画像から物体を検出する検出手段と、
   前記拡張画像の右端側と前記拡張画像の左端側から前記検出手段により検出された同一の物体を一つの物体として対応付ける対応付け手段とを有し、
   前記対応付け手段は、前記パノラマ画像の右端と左端に分割された同一の物体を一つの物体として対応付けることを特徴とする画像処理装置。
2. 前記拡張手段により付加される前記他方の一部の画像の大きさを、前記検出手段により検出する検出物体の最大値に基づいて決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記拡張手段により付加される前記他方の一部の画像の大きさを、前記検出手段により検出された物体の大きさに基づいて決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記検出手段は、動体を検出することを特徴とする請求項１に記載の画像処理装置。
5. 前記検出手段は、人体を検出することを特徴とする請求項１に記載の画像処理装置。
6. 前記検出手段は、顔を検出することを特徴とする請求項１に記載の画像処理装置。
7. 前記対応付け手段は、前記拡張画像の右端側から前記検出手段により検出された物体の位置情報と前記拡張画像の左端側から前記検出手段により検出された物体の位置情報に基づいて、前記拡張画像の右端側と前記拡張画像の左端側から前記検出手段により検出された同一の物体を一つの物体として対応付けることを特徴とする請求項１に記載の画像処理装置。
8. 前記対応付け手段は、前記拡張画像の右端側から前記検出手段により検出された物体の色情報と前記拡張画像の左端側から前記検出手段により検出された物体の色情報に基づいて、前記拡張画像の右端側と前記拡張画像の左端側から前記検出手段により検出された同一の物体を一つの物体として対応付けることを特徴とする請求項１に記載の画像処理装置。
9. 前記対応付け手段は、前記拡張画像の右端側から前記検出手段により検出された物体の移動情報と前記拡張画像の左端側から前記検出手段により検出された物体の移動情報に基づいて、前記拡張画像の右端側と前記拡張画像の左端側から前記検出手段により検出された同一の物体を一つの物体として対応付けることを特徴とする請求項１に記載の画像処理装置。
10. 前記拡張手段により前記他方の一部の画像が付加されないパララマ画像を表示手段に表示するための形式に前記パノラマ画像を変換する変換手段を更に有することを特徴とする請求項１に記載の画像処理装置。
11. 前記変換手段は、前記パノラマ画像の右側と左側に分割して表示される同一の物体に、同一の識別子を付与して表示することを特徴とする請求項１０に記載の画像処理装置。
12. 全方位の画像を取得する取得工程と、
    前記取得工程において取得した全方位の画像をパノラマ展開したパノラマ画像の右端又は左端の一方に、前記パノラマ画像の右端又は左端の他方の一部の画像が付加された拡張画像を生成する拡張工程と、
    前記拡張工程において生成された拡張画像から物体を検出する検出工程と、
    前記拡張画像の右端側と前記拡張画像の左端側から前記検出工程において検出された同一の物体を一つの物体として対応付ける対応付け工程とを有し、
    前記対応付け工程では、前記パノラマ画像の右端と左端に分割された同一の物体を一つの物体として対応付けることを特徴とする画像処理方法。
13. 前記拡張工程において付加される前記他方の一部の画像の大きさを、前記検出工程において検出する検出物体の最大値に基づいて決定することを特徴とする請求項１２に記載の画像処理方法。
14. 全方位の画像を取得する取得手順と、
    前記取得手順において取得した全方位の画像をパノラマ展開したパノラマ画像の右端又は左端の一方に、前記パノラマ画像の右端又は左端の他方の一部の画像が付加された拡張画像を生成する拡張手順と、
    前記拡張手順において生成された拡張画像から物体を検出する検出手順と、
    前記拡張画像の右端側と前記拡張画像の左端側から前記検出手順において検出された同一の物体を一つの物体として対応付ける対応付け手順とをコンピュータに実行させ、
    前記対応付け手順では、前記パノラマ画像の右端と左端に分割された同一の物体を一つの物体として対応付けるプログラム。
15. 前記拡張手順において付加される前記他方の一部の画像の大きさを、前記検出手順において検出する検出物体の最大値に基づいて決定することを特徴とする請求項１４に記載のプログラム。

Images