JP5096211B2 - 確率分布構築方法、確率分布構築装置、および確率分布構築プログラム、並びに被写体検出方法、被写体検出装置、および被写体検出プログラム - Google Patents

確率分布構築方法、確率分布構築装置、および確率分布構築プログラム、並びに被写体検出方法、被写体検出装置、および被写体検出プログラム Download PDF

Info

Publication number
JP5096211B2
JP5096211B2 JP2008091562A JP2008091562A JP5096211B2 JP 5096211 B2 JP5096211 B2 JP 5096211B2 JP 2008091562 A JP2008091562 A JP 2008091562A JP 2008091562 A JP2008091562 A JP 2008091562A JP 5096211 B2 JP5096211 B2 JP 5096211B2
Authority
JP
Japan
Prior art keywords
probability distribution
subject
unit
appearance
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008091562A
Other languages
English (en)
Other versions
JP2009245207A (ja
JP2009245207A5 (ja
Inventor
学斌 胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008091562A priority Critical patent/JP5096211B2/ja
Priority to US12/414,301 priority patent/US8284292B2/en
Publication of JP2009245207A publication Critical patent/JP2009245207A/ja
Publication of JP2009245207A5 publication Critical patent/JP2009245207A5/ja
Application granted granted Critical
Publication of JP5096211B2 publication Critical patent/JP5096211B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築する確率分布構築方法、確率分布構築装置、およびコンピュータをそのような確率分布構築装置として動作させる確率分布構築プログラム、並びに、上記出現確率分布を用いて被写体を検出する被写体検出方法、被写体検出装置、およびコンピュータをそのような被写体検出装置として動作させる被写体検出プログラムに関する。
従来より、コンビニエンスストアや銀行などには、防犯対策の一つとして防犯カメラが設置されている。防犯カメラにより撮影された動画像は、一般に、監視室等のディスプレイ画面に表示されるとともに録画されており、この動画像は、例えば犯罪発生時における犯人の特定などに利用されている。
このような防犯カメラにより撮影された動画像は、従来アナログデータとして録画されていたが、管理の容易さなどから、近年デジタルデータとして録画されている。また、上述した利用目的を有する防犯カメラでは、長時間にわたって撮影された動画像を録画しておく必要があるものの、動画像を録画する録画装置の録画容量には限度があることから、録画の際には動画像に対して圧縮処理が施されている。ところが、動画像に対して圧縮処理が施されると、動画像が不鮮明となるおそれがあり、動画像が不鮮明であると、動画像から事件の正確な発生状況を把握したり人物を特定することが困難である。
近年、デジタルカメラを中心とする撮像装置の分野では、撮像装置のハードウェア技術の発展と共に、撮像装置のソフトウェア技術の発展も盛んである。こうしたソフトウェア技術の一つに、撮影画角内の人物の顔部分を検出する技術、いわゆる顔検出技術がある。この顔検出技術では、一般に、撮影画角内の、顔部分の目印となる目や鼻や口といった顔部品を検出し、検出された顔部品を基に撮影画角内の顔部分を検出している(例えば、特許文献1参照。)。
このような顔検出技術を防犯カメラに適用することによって、動画像の撮影の際に撮影画角内の人物の顔部分の検出が可能となる。そして、動画像の録画時に、検出された顔部分を除く領域についてのみ高い圧縮処理を施すことができる。これにより、録画された動画像における人物の顔部分が鮮明となり、防犯カメラに対して正面を向いた人物の特定が容易な防犯カメラが実現されると考えられる。
ここで、防犯カメラにより撮影された動画像を、人物を特定するために有効に活用するには、防犯カメラに対して正面を向いた人物の特定が容易であることはもちろん、防犯カメラに対して側面や背面を向けた人物の特定が容易であることも重要である。これには、人物の顔部分つまり人物の正面の検出に加え、人物の正面や側面や背面を含む人物の頭部の検出が必要とされる。動画像において頭部が検出できれば、検出された頭部を撮影画角内で追跡することができ、人物の特定に大変有用である。
ここで、撮影画角内の人物の顔部分や頭部の検出においては、誤検出が入り込む余地を下げて検出精度を上げることが重要である。つまり、直接の顔部分や頭部の検出情報のみではなく、例えば、その顔部分や頭部の周囲の様々な環境情報によって検出精度を高めていく必要がある。
特開2007−188419号公報
本発明は、上記事情に鑑み、固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築する確率分布構築方法、確率分布構築装置、およびコンピュータをそのような確率分布構築装置として動作させる確率分布構築プログラム、並びに、上記出現確率分布を用いて被写体を高精度に検出する被写体検出方法、被写体検出装置、およびコンピュータをそのような被写体検出装置として動作させる被写体検出プログラムを提供することを目的とするものである。
上記目的を達成する本発明の確率分布構築方法は、
固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築する確率分布構築方法であって、
上記カメラから上記複数枚の画像を取得する画像取得ステップと、
上記画像取得ステップで取得した複数枚の画像から、上記特定種類の被写体に類似した類被写体形状を、この類被写体形状の寸法と当該カメラの画角上の位置情報とを伴って抽出する抽出ステップと、
上記抽出ステップで抽出された類被写体形状が特定種類の被写体であるか否かを判定してこの特定種類の被写体を抽出するフィルタリングステップと、
上記フィルタリングステップで抽出された被写体の寸法の出現確率分布を算出する確率分布算出ステップとを有することを特徴とする。
本発明の確率分布構築方法によれば、例えば固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から被写体を高精度に検出する際に有用な、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築することができる。
ここで、本発明の確率分布構築方法は、上記確率分布算出ステップが、特定種類の被写体の1つの寸法に対する、この寸法の被写体が画角内の各位置に出現する出現位置確率分布を、その特定種類の被写体の複数の寸法それぞれについて算出するステップであることが好ましい。
このような好ましい形態によれば、上記出現位置確率分布を容易に算出することができる
また、本発明の確率分布構築方法のうちの、上記確率分布算出ステップが上記出現位置確率分布を算出するステップである確率分布構築方法は、その確率分布算出ステップが、所定寸法の被写体の出現位置確率分布を、この寸法とは異なる寸法の被写体の出現位置確率分布から補間演算により算出するステップを含むものであることがさらに好ましい。
このような好ましい形態によれば、上記フィルタリングステップで抽出された被写体のうちの特定の寸法の被写体の数が少ない場合であっても、当該カメラの画角全域にわたる出現確率分布を算出することができる。
また、本発明の確率分布構築方法は、上記確率分布算出ステップが、画角内の1つの位置に対する、この位置に出現する特定種類の被写体の出現寸法確率分布を、画角内の複数の位置それぞれについて算出するステップであることが好ましい。
このような好ましい形態によれば、上記出現寸法確率分布を容易に算出することができる
また、本発明の確率分布構築方法のうちの、確率分布算出ステップが上記出現寸法確率分布を算出するステップである確率分布構築方法は、その確率分布算出ステップが、画角内の所定位置における出現寸法確率分布を、この位置とは異なる位置における出現寸法確率分布から補間演算により算出するステップを含むものであることがさらに好ましい。
このような好ましい形態によれば、上記フィルタリングステップで抽出された被写体のうちの画角内のある位置における被写体の数が少ない場合であっても、当該カメラの画角全域にわたる出現確率分布を算出することができる。
また、本発明の確率分布構築方法は、上記抽出ステップが、上記類被写体形状を抽出するにあたり、この類被写体形状が抽出対象の被写体である可能性の程度を表す評価値を求め、抽出対象の被写体の、抽出からの洩れを許容して設定された閾値よりも抽出対象の被写体である可能性がさらに高いことを表す評価値が得られた類被写体形状のみを抽出するステップであることが好ましい。
ここで、上記抽出ステップの目的は、抽出対象の被写体を確実に抽出することではなく、抽出対象の被写体であることが分かっているもののみを抽出することにある。そして、このような好ましい形態によれば、抽出対象の被写体である可能性が低いものが排除されるため、より精度の高い出現確率分布を構築することができる。
また、本発明の確率分布構築方法は、上記フィルタリングステップが、上記抽出ステップで抽出された類被写体形状それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における、当該類被写体形状と同一寸法に分類された他の類被写体形状の個数を計数し、この計数値が閾値以上の場合にのみ当該類被写体形状を上記特定種類の被写体として抽出するステップであることも好ましい形態である。
このような好ましい形態によれば、上記抽出ステップで抽出された類被写体形状のうちの誤抽出の可能性が高い類被写体形状が排除されることとなるため、より精度の高い出現確率分布を構築することができる。
また、本発明の確率分布構築方法は、
「上記カメラが、撮影方向の変更が可能なカメラであって、
複数の撮影方向それぞれでの撮影で得られた出現確率分布を統合することにより、これら複数の撮影方向の画角を繋げた画角内の出現確率分布を構築する統合ステップをさらに有する」
ことが好ましい。
このような好ましい形態によれば、上記カメラが、撮影方向の変更が可能なカメラであるときに、出現確率分布を構築することができる。
さらに、本発明の確率分布構築方法は、
「上記カメラが、焦点距離可変なカメラであって、
複数の焦点距離それぞれでの撮影で得られた出現確率分布を統合することにより、上記カメラの最広角の画角内の出現確率分布を構築する統合ステップをさらに有する」
ことも好ましい形態である。
このような好ましい形態によれば、上記カメラが、焦点距離可変なカメラであるときに、出現確率分布を構築することができる。
また、上記目的を達成する本発明の確率分布構築装置は、
固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築する確率分布構築装置であって、
上記カメラから上記複数枚の画像を取得する画像取得部と、
上記画像取得部で取得した複数枚の画像から、上記特定種類の被写体に類似した類被写体形状を、この類被写体形状の寸法と当該カメラの画角上の位置情報とを伴って抽出する抽出部と、
上記抽出部で抽出された類被写体形状が特定種類の被写体であるか否かを判定してこの特定種類の被写体を抽出するフィルタリング部と、
上記フィルタリング部で抽出された被写体の寸法の出現確率分布を算出する確率分布算出部とを備えたことを特徴とする。
本発明の確率分布構築装置によれば、例えば固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から被写体を高精度に検出する際に有用な、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築することができる。
ここで、本発明の確率分布構築装置は、上記確率分布算出部が、特定種類の被写体の1つの寸法に対する、この寸法の被写体が画角内の各位置に出現する出現位置確率分布を、その特定種類の被写体の複数の寸法それぞれについて算出するものであることが好ましい。
このような好ましい形態によれば、上記出現位置確率分布を容易に算出することができる
また、本発明の確率分布構築装置のうちの、上記確率分布算出部が上記出現位置確率分布を算出するものである確率分布構築装置は、その確率分布算出部が、所定寸法の被写体の出現位置確率分布を、この寸法とは異なる寸法の被写体の出現位置確率分布から補間演算により算出する補間演算部を含むものであることがさらに好ましい。
このような好ましい形態によれば、上記フィルタリング部で抽出された被写体のうちの特定の寸法の被写体の数が少ない場合であっても、当該カメラの画角全域にわたる出現確率分布を算出することができる。
また、本発明の確率分布構築装置は、上記確率分布算出部が、画角内の1つの位置に対する、この位置に出現する特定種類の被写体の出現寸法確率分布を、画角内の複数の位置それぞれについて算出するものであることが好ましい。
このような好ましい形態によれば、上記出現寸法確率分布を容易に算出することができる
また、本発明の確率分布構築装置のうちの、上記確率分布算出部が上記出現寸法確率分布を算出するものである確率分布構築装置は、その確率分布算出部が、画角内の所定位置における出現寸法確率分布を、この位置とは異なる位置における出現寸法確率分布から補間演算により算出する補間演算部を含むものであることがさらに好ましい。
このような好ましい形態によれば、上記フィルタリング部で抽出された被写体のうちの画角内のある位置における被写体の数が少ない場合であっても、当該カメラの画角全域にわたる出現確率分布を算出することができる。
また、本発明の確率分布構築装置は、上記抽出部が、上記類被写体形状を抽出するにあたり、この類被写体形状が抽出対象の被写体である可能性の程度を表す評価値を求め、抽出対象の被写体の、抽出からの洩れを許容して設定された閾値よりも抽出対象の被写体である可能性がさらに高いことを表す評価値が得られた類被写体形状のみを抽出するものであることが好ましい。
ここで、上記抽出部の目的は、抽出対象の被写体を確実に抽出することではなく、抽出対象の被写体であることが分かっているもののみを抽出することにある。そして、このような好ましい形態によれば、抽出対象の被写体である可能性が低いものが排除されるため、より精度の高い出現確率分布を構築することができる。
また、本発明の確率分布構築装置は、上記フィルタリング部が、上記抽出部で抽出された類被写体形状それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における、当該類被写体形状と同一寸法に分類された他の類被写体形状の個数を計数し、この計数値が閾値以上の場合にのみ当該類被写体形状を上記特定種類の被写体として抽出するものであることも好ましい形態である。
このような好ましい形態によれば、上記抽出部で抽出された類被写体形状のうちの誤抽出の可能性が高い類被写体形状が排除されることとなるため、より精度の高い出現確率分布を構築することができる。
また、本発明の確率分布構築装置は、
「上記カメラが、撮影方向の変更が可能なカメラであって、
複数の撮影方向それぞれでの撮影で得られた出現確率分布を統合することにより、これら複数の撮影方向の画角を繋げた画角内の出現確率分布を構築する統合部をさらに備えた」
ことが好ましい。
このような好ましい形態によれば、上記カメラが、撮影方向の変更が可能なカメラであるときに、出現確率分布を構築することができる。
また、本発明の確率分布構築装置は、
「上記カメラが、焦点距離可変なカメラであって、
複数の焦点距離それぞれでの撮影で得られた出現確率分布を統合することにより、上記カメラの最広角の画角内の出現確率分布を構築する統合部をさらに備えた」
ことも好ましい形態である。
このような好ましい形態によれば、上記カメラが、焦点距離可変なカメラであるときに、出現確率分布を構築することができる。
また、本発明の確率分布構築装置は、上記確率分布算出部で算出された出現確率分布を出力する出力部をさらに備えたことが好ましい。
このような好ましい形態によれば、出力された出現確率分布を参照することができ、例えば、抽出部で抽出された類被写体形状の数を確認して、その数が少ないときに補完するといった対策をとるなど、より精度の高い出現確率分布の構築に寄与する。
さらに、本発明の確率分布構築装置は、上記出現確率分布が一旦構築された後においても、上記画像取得部に画像を取得させ、新たに取得した画像について、上記抽出部、上記フィルタリング部を作用させて、上記確率分布算出部に、この新たな画像から抽出した上記特定種類の被写体の情報を新たに加えて上記出現確率分布を更新させる更新制御部を備えたえたことも好ましい形態である。
このような好ましい形態によれば、出現確率分布の精度向上を図ることができる。
また、上記目的を達成する本発明の確率分布構築プログラムは、
コンピュータ内で実行され、このコンピュータを、固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築する確率分布構築装置として動作させる確率分布構築プログラムであって、
上記コンピュータを、
上記カメラから上記複数枚の画像を取得する画像取得部と、
上記画像取得部で取得した複数枚の画像から、上記特定種類の被写体に類似した類被写体形状を、この類被写体形状の寸法と当該カメラの画角上の位置情報とを伴って抽出する抽出部と、
上記抽出部で抽出された類被写体形状が特定種類の被写体であるか否かを判定してこの特定種類の被写体を抽出するフィルタリング部と、
上記フィルタリング部で抽出された被写体の寸法の出現確率分布を算出する確率分布算出部とを有する確率分布構築装置として動作させることを特徴とする。
本発明の確率分布構築プログラムは、この確率分布構築プログラムをコンピュータにインストールして動作させたときに、そのコンピュータが本発明の確率分布構築装置として動作するように構成されたものであり、この確率分布構築プログラムには、その確率分布構築装置の各種態様に対応する全ての態様が含まれる。
また、本発明の確率分布構築プログラムを構成する画像取得部などといった構成要素は、1つの構成要素の機能が1つのプログラム部品によって担われるものであってもよく、1つの構成要素の機能が複数のプログラム部品によって担われるものであってもよく、複数の構成要素の機能が1つのプログラム部品によって担われるものであってもよい。また、これらの構成要素は、そのような作用を自分自身で実行するものであってもよく、あるいは、コンピュータに組み込まれている他のプログラムやプログラム部品に指示を与えて実行させるものであっても良い。
なお、本発明の確率分布構築装置と確率分布構築プログラムとで、それぞれ構成要素に同じ名前を付したが、それらの構成要素は、確率分布構築装置ではハードウェアおよびソフトウェアを意味し、確率分布構築プログラムではソフトウェアのみを意味する。
また、上記目的を達成する本発明の被写体検出方法のうちの第1の被写体検出方法は、
上記のいずれかの態様の確率分布構築方法に加え、さらに、
確率分布算出ステップで算出された出現確率分布に基づいて、上記カメラの画角内の、上記特定種類の被写体のこの画角内に出現する寸法ごとの出現領域を定義する出現領域定義ステップと、
上記カメラでの新たな撮影により得られた画像中の、上記寸法に応じた出現領域内から、この寸法の類被写体形状として現れた上記特定種類の被写体を検出する被写体検出ステップとを有することを特徴とする。
本発明の被写体検出方法のうちの第1の被写体検出方法は、上記特定種類の被写体の上記画角内に出現する寸法ごとに、この寸法に応じた出現領域内から、この寸法の類被写体形状として現れた上記特定種類の被写体を検出する方法であるため、検出の高速化が図られ、また、誤検出が抑制される。
また、上記目的を達成する本発明の被写体検出方法のうちの第2の被写体検出方法は、
上記のいずれかの態様の確率分布構築方法に加え、さらに、
上記カメラでの新たな撮影により得られた画像の中から、上記特定種類の被写体に類似した類被写体形状を、この類被写体形状の寸法と、当該カメラの画角上の位置情報と、さらにこの類被写体形状がその特定種類の被写体である確率を表す評価値とを伴って抽出する第2の抽出ステップと、
上記第2の抽出ステップで抽出された類被写体形状の寸法、位置情報、および評価値と、上記確率分布算出ステップで算出された出現確率分布とに基づいてその評価値を修正し、修正された評価値に基づいてその類被写体形状が上記特定種類の被写体であるか否かを判定する第2の判定ステップとを有することを特徴とする。
上記第1の被写体検出方法によれば、出現確率分布上では出現確率が低いときは、一律に、類被写体形状は上記特定種類の被写体ではないと判定される。これに対して、本発明の被写体検出方法のうちの第2の被写体検出方法によれば、出現確率分布上では出現確率が低くても、上記評価値が高い場合は、類被写体形状が上記特定種類の被写体であると判定され、精度の高い被写体検出が可能となる。
また、上記目的を達成する本発明の被写体検出装置のうちの第1の被写体検出装置は、
上記のいずれかの態様の確率分布構築装置を備えるとともに、さらに、
確率分布算出部で算出された出現確率分布に基づいて、上記カメラの画角内の、上記特定種類の被写体のこの画角内に出現する寸法ごとの出現領域を定義する出現領域定義部と、
上記カメラでの新たな撮影により得られた画像中の、上記寸法に応じた出現領域内から、この寸法の類被写体形状として現れた上記特定種類の被写体を検出する被写体検出部とを備えたことを特徴とする。
本発明の被写体検出装置のうちの第1の被写体検出装置は、上記特定種類の被写体の上記画角内に出現する寸法ごとに、この寸法に応じた出現領域内から、この寸法の類被写体形状として現れた上記特定種類の被写体を検出するものであるため、検出の高速化が図られ、また、誤検出が抑制される。
また、上記目的を達成する本発明の被写体検出装置のうちの第2の被写体検出装置は、
上記のいずれかの態様の確率分布構築装置を備えるとともに、さらに、
上記カメラでの新たな撮影により得られた画像の中から、上記特定種類の被写体に類似した類被写体形状を、この類被写体形状の寸法と、当該カメラの画角上の位置情報と、さらにこの類被写体形状がその特定種類の被写体である確率を表す評価値とを伴って抽出する第2の抽出部と、
上記第2の抽出部で抽出された類被写体形状の寸法、位置情報、および評価値と、上記確率分布算出部で算出された出現確率分布とに基づいてその評価値を修正し、修正された評価値に基づいてその類被写体形状が上記特定種類の被写体であるか否かを判定する第2の判定部とを備えたことを特徴とする。
上記第1の被写体検出装置によれば、出現確率分布上では出現確率が低いときは、一律に、類被写体形状は上記特定種類の被写体ではないと判定される。これに対して、本発明の被写体検出装置のうちの第2の被写体検出装置によれば、出現確率分布上では出現確率が低くても、上記評価値が高い場合は、類被写体形状が上記特定種類の被写体であると判定され、精度の高い被写体検出が可能となる。
また、上記目的を達成する本発明の被写体検出プログラムのうちの第1の被写体検出プログラムは、
本発明の確率分布構築プログラムを有するとともに、上記コンピュータを、さらに、
確率分布算出部で算出された出現確率分布に基づいて、上記カメラの画角内の、上記特定種類の被写体のこの画角内に出現する寸法ごとの出現領域を定義する出現領域定義部と、
上記カメラでの新たな撮影により得られた画像中の、上記寸法に応じた出現領域内から、この寸法の類被写体形状として現れた上記特定種類の被写体を検出する被写体検出部とを有する被写体検出装置として動作させることを特徴とする。
本発明の被写体検出プログラムのうちの第1の被写体検出プログラムは、この第1の被写体検出プログラムをコンピュータにインストールして動作させたときに、そのコンピュータが本発明の被写体検出装置のうちの第1の被写体検出装置として動作するように構成されたものである。
また、本発明の被写体検出プログラムのうちの第1の被写体検出プログラムを構成する出現領域定義部などといった構成要素は、1つの構成要素の機能が1つのプログラム部品によって担われるものであってもよく、1つの構成要素の機能が複数のプログラム部品によって担われるものであってもよく、複数の構成要素の機能が1つのプログラム部品によって担われるものであってもよい。また、これらの構成要素は、そのような作用を自分自身で実行するものであってもよく、あるいは、コンピュータに組み込まれている他のプログラムやプログラム部品に指示を与えて実行させるものであっても良い。
なお、本発明の被写体検出装置のうちの第1の被写体検出装置と、本発明の被写体検出プログラムのうちの第1の被写体検出プログラムとで、それぞれ構成要素に同じ名前を付したが、それらの構成要素は、第1の被写体検出装置ではハードウェアおよびソフトウェアを意味し、第1の被写体検出プログラムではソフトウェアのみを意味する。
また、上記目的を達成する本発明の被写体検出プログラムのうちの第2の被写体検出プログラムは、
本発明の確率分布構築プログラムを有するとともに、上記コンピュータを、さらに、
上記カメラでの新たな撮影により得られた画像の中から、上記特定種類の被写体に類似した類被写体形状を、この類被写体形状の寸法と、当該カメラの画角上の位置情報と、さらにこの類被写体形状がその特定種類の被写体である確率を表す評価値とを伴って抽出する第2の抽出部と、
上記第2の抽出部で抽出された類被写体形状の寸法、位置情報、および評価値と、上記確率分布算出部で算出された出現確率分布とに基づいてその評価値を修正し、修正された評価値に基づいてその類被写体形状が上記特定種類の被写体であるか否かを判定する第2の判定部とを有する被写体検出装置として動作させることを特徴とする。
本発明の被写体検出プログラムのうちの第2の被写体検出プログラムは、この第2の被写体検出プログラムをコンピュータにインストールして動作させたときに、そのコンピュータが本発明の被写体検出装置のうちの第2の被写体検出装置として動作するように構成されたものである。
また、本発明の被写体検出プログラムのうちの第2の被写体検出プログラムを構成する第2の抽出部などといった構成要素は、1つの構成要素の機能が1つのプログラム部品によって担われるものであってもよく、1つの構成要素の機能が複数のプログラム部品によって担われるものであってもよく、複数の構成要素の機能が1つのプログラム部品によって担われるものであってもよい。また、これらの構成要素は、そのような作用を自分自身で実行するものであってもよく、あるいは、コンピュータに組み込まれている他のプログラムやプログラム部品に指示を与えて実行させるものであっても良い。
なお、本発明の被写体検出装置のうちの第2の被写体検出装置と、本発明の被写体検出プログラムのうちの第2の被写体検出プログラムとで、それぞれ構成要素に同じ名前を付したが、それらの構成要素は、第2の被写体検出装置ではハードウェアおよびソフトウェアを意味し、第2の被写体検出プログラムではソフトウェアのみを意味する。
本発明の確率分布構築方法、確率分布構築装置、およびコンピュータをそのような確率分布構築装置として動作させる確率分布構築プログラムによれば、検出対象となる特定種類の被写体の寸法に関する高精度の出現確率分布を得ることができる。また、本発明の被写体検出方法、被写体検出装置、およびコンピュータをそのような被写体検出装置として動作させる被写体検出プログラムによれば、その出現確率分布を用いて被写体検出の精度を向上させることができる。
以下、図面を参照して本発明の実施の形態を説明する。
図1は、本発明の被写体検出装置の第1実施形態が組み込まれた監視カメラシステム1の概略構成図である。
図1に示す監視カメラシステム1の概略構成図には、監視カメラ10と、インターネット20と、パーソナルコンピュータ30とが示されている。
監視カメラ10は、例えば銀行の天井に固定的に設置されたものであって、銀行内の様子を、天井から銀行内を斜め下に見下ろすように撮影するものである。また、この監視カメラ10は、首振り機能を有する、撮影方向の変更が可能な監視カメラであり、さらには、ズーム機能を有する、焦点距離可変な監視カメラでもある。そして、この監視カメラ10は、インターネット20に接続されており、ネットワーク通信を介して、パーソナルコンピュータ30へ動画像を表す画像データを送信する。尚、図1に1つのブロックで示した監視カメラ10は、1台の監視カメラであってもよいが、ここでは、複数台の監視カメラを表している。また、この監視カメラ10は、天井から銀行内を斜め下に見下ろすように撮影するカメラであるが、本発明にいうカメラは、これに限られるものではなく、固定的に設置された、被写界を繰り返し撮影するカメラであれば、設置位置や設置角度は問わない。
パーソナルコンピュータ30は、インターネット20に接続されており、ネットワーク通信を介して、監視カメラ10から送信される画像データを受け取る。また、このパーソナルコンピュータ30は、監視カメラ10で撮影された動画像を一括管理するものである。ここで、人物の頭部の上半部分の輪郭は、半円形に類似した類半円形状を有する。そして、このパーソナルコンピュータ30は、本発明の被写体検出方法の第1実施形態を実現するための、本発明の被写体検出装置の第1実施形態であって、固定的に設置された監視カメラ10で被写界を繰り返し撮影して得られた動画像を構成する複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する、上半部分の輪郭が類半円形状を有する人物の頭部の寸法の出現確率分布を構築し、構築された出現確率分布を用いて人物の頭部を検出する機能を有するものである。尚、このパーソナルコンピュータ30は、本発明の確率分布構築方法の第1実施形態を実現するための、本発明の確率分布構築装置の第1実施形態でもある。
ここで、監視カメラ10は本発明の主題ではないため詳細な説明を省略し、以下では、本発明の被写体検出装置の第1実施形態として動作して、上記出現確率分布を構築し、構築された出現確率分布を用いて人物の頭部を検出するパーソナルコンピュータ30についてさらに説明する。
図2は、図1に1つのブロックで示すパーソナルコンピュータ30の外観斜視図、図3は、そのパーソナルコンピュータ30のハードウェア構成図である。
ここでは、このパーソナルコンピュータ30のハードウェアおよびOS(Operation System)と、このパーソナルコンピュータ30にインストールされて実行される被写体検出プログラムとにより、本発明の被写体検出装置の第1実施形態が構成されている。
このパーソナルコンピュータ30は、外観構成上、本体装置31、その本体装置31からの指示に応じて表示画面32a上に画像を表示する画像表示装置32、本体装置31に、キー操作に応じた各種の情報を入力するキーボード33、および、表示画面32a上の任意の位置を指定することにより、その指定時にその位置に表示されていた、例えばアイコン等に応じた指示を入力するマウス34を備えている。この本体装置31は、外観上、フレキシブルディスク(FD)を装填するためのFD装填口31a、およびCD−ROMを装填するためのCD−ROM装填口31bを有する。
本体装置31の内部には、図3に示すように、各種プログラムを実行するCPU311、ハードディスク装置313に格納されたプログラムが読み出されCPU311での実行のために展開される主メモリ312、各種プログラムやデータ等が保存されたハードディスク装置313、FD100が装填されその装填されたFD100をアクセスするFDドライブ314、CD−ROM110が装填され、その装填されたCD−ROM110をアクセスするCD−ROMドライブ315、および、図1に示すインターネット20に接続され、監視カメラ10とのネットワーク通信を制御するネットワーク通信インタフェース316が内蔵されており、これらの各種要素と、さらに図2にも示す画像表示装置32、キーボード33、マウス34は、バス35を介して相互に接続されている。
ここで、CD−ROM110には、このパーソナルコンピュータ30を被写体検出装置として動作させるための被写体検出プログラムが記憶されており、そのCD−ROM110はCD−ROMドライブ315に装填され、そのCD−ROM110に記憶された被写体検出プログラムがこのパーソナルコンピュータ30にアップロードされてハードディスク装置313に記憶される。
先ず、CD−ROM110に記憶された被写体検出プログラムがパーソナルコンピュータ30にアップロードされてハードディスク装置313に記憶され、このパーソナルコンピュータ30が被写体検出装置として動作する第1実施形態を説明する。
図4は、本発明の被写体検出方法の第1実施形態を示すフローチャートである。
この被写体検出方法は、固定的に設置された監視カメラ10で被写界を繰り返し撮影して得られた動画像を構成する複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する、上半部分の輪郭が類半円形状を有する人物の頭部の寸法の出現確率分布を構築し、構築された出現確率分布を用いて人物の頭部を検出する被写体検出方法であり、画像取得ステップ(ステップS11)と、抽出ステップ(ステップS12)と、フィルタリングステップ(ステップS13)と、確率分布算出ステップ(ステップS14)と、第1の統合ステップ(ステップS15)と、第2の統合ステップ(ステップS16)と、出現領域定義ステップ(ステップS17)と、被写体検出ステップ(ステップS18)とから構成されている。
尚、これらの各ステップのうちの出現領域定義ステップ(ステップS17)および被写体検出ステップ(ステップS18)を除く、画像取得ステップ(ステップS11)、抽出ステップ(ステップS12)、フィルタリングステップ(ステップS13)、確率分布算出ステップ(ステップS14)、第1の統合ステップ(ステップS15)、および第2の統合ステップ(ステップS16)の各ステップは、本発明の確率分布構築方法の第1実施形態を構成するステップである。
図4に示す被写体検出方法の各ステップの詳細については後述する。
図5は、本発明の被写体検出プログラムの第1実施形態を示した図である。
この図5に示す被写体検出プログラム400は、図3に示すCD−ROM110に記憶されている。
この被写体検出プログラム400は、図1,図2,図3に示すパーソナルコンピュータ30内で実行され、そのパーソナルコンピュータ30を、固定的に設置された監視カメラ10で被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する、上半部分の輪郭が類半円形状を有する人物の頭部の寸法の出現確率分布を構築し、構築された出現確率分布を用いて人物の頭部を検出する、本発明の被写体検出装置の第1実施形態として動作させるものである。この被写体検出プログラム400は、画像取得部410と、抽出部420と、フィルタリング部430と、確率分布算出部440と、第1の統合部451と、第2の統合部452と、出力部460と、更新制御部470と、出現領域定義部480と、被写体検出部490とから構成されている。また、確率分布算出部440は、補間演算部441を有する。
尚、被写体検出プログラム400によって構築される各プログラム部品のうちの、出現領域定義部480および被写体検出部490を除く、画像取得部410、抽出部420、フィルタリング部430、確率分布算出部440、補間演算部441、第1の統合部451、第2の統合部452、出力部460、および更新制御部470の各プログラム部品は、本発明の確率分布構築プログラムの第1実施形態を構成するプログラム部品である。
この被写体検出プログラム400によって構築される各プログラム部品のうちの、出力部460および更新制御部470を除く、画像取得部410、抽出部420、フィルタリング部430、確率分布算出部440、第1の統合部451、第2の統合部452、出現領域定義部480、および被写体検出部490の各プログラム部品は、それぞれ、この被写体検出プログラム400が図1,図2,図3に示すパーソナルコンピュータ30にインストールされて実行されたときに、図4に示す被写体検出方法の画像取得ステップ(ステップS11)、抽出ステップ(ステップS12)、フィルタリングステップ(ステップS13)、確率分布算出ステップ(ステップS14)、第1の統合ステップ(ステップS15)、第2の統合ステップ(ステップS16)、出現領域定義ステップ(ステップS17)、および被写体検出ステップ(ステップS18)の各ステップを実行するプログラム部品である。
この被写体検出プログラム400の各要素の作用については後述する。
図6は、本発明の被写体検出装置の第1実施形態を示す機能ブロック図である。
この図6に示す被写体検出装置500は、図1,図2,図3に示すパーソナルコンピュータ30に、図5に示す被写体検出プログラム400がローディングされ、その被写体検出プログラム400がそのパーソナルコンピュータ30内で実行されることにより実現される。
この図6に示す被写体検出装置500は、固定的に設置された監視カメラ10で被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する、上半部分の輪郭が類半円形状を有する人物の頭部の寸法の出現確率分布を構築し、構築された出現確率分布を用いて人物の頭部を検出するものであって、この被写体検出装置500には、画像取得部510と、抽出部520と、フィルタリング部530と、確率分布算出部540と、第1の統合部551と、第2の統合部552と、出力部560と、更新制御部570と、出現領域定義部580と、被写体検出部590とが備えられている。また、確率分布算出部540には、補間演算部541が備えられている。
尚、被写体検出装置500に備えられている各要素のうちの、出現領域定義部580および被写体検出部590を除く、画像取得部510、抽出部520、フィルタリング部530、確率分布算出部540、補間演算部541、第1の統合部551、第2の統合部552、出力部560、および更新制御部570の各要素は、本発明の確率分布構築装置の第1実施形態を構成する要素である。
この被写体検出装置500に備えられている画像取得部510、抽出部520、フィルタリング部530、確率分布算出部540、補間演算部541、第1の統合部551、第2の統合部552、出力部560、更新制御部570、出現領域定義部580、および被写体検出部590の各要素は、それぞれ、図5に示す被写体検出プログラム400を構成するプログラム部品としての画像取得部410、抽出部420、フィルタリング部430、確率分布算出部440、補間演算部441、第1の統合部451、第2の統合部452、出力部460、更新制御部470、出現領域定義部480、および被写体検出部490の各要素と、それらのプログラム部品の各機能を実現するために必要な、図1,図2,図3に示すパーソナルコンピュータ30のハードウェアとOS(Operation System)やアプリケーションプログラムとの組み合わせから構成されている。
次に、図4に示す被写体検出方法の各ステップ、図5に示す被写体検出プログラム400の各プログラム部品、および図6に示す被写体検出装置500の各要素について説明する。
尚、図4に示す被写体検出方法の画像取得ステップ(ステップS11)、抽出ステップ(ステップS12)、フィルタリングステップ(ステップS13)、確率分布算出ステップ(ステップS14)、第1の統合ステップ(ステップS15)、第2の統合ステップ(ステップS16)、出現領域定義ステップ(ステップS17)、および被写体検出ステップ(ステップS18)の各ステップは、図6に示す被写体検出装置500に備えられている各要素のうちの、出力部560および更新制御部570を除く、画像取得部510、抽出部520、フィルタリング部530、確率分布算出部540、補間演算部541、第1の統合部551、第2の統合部552、出現領域定義部580、および被写体検出部590の各要素に一対一に対応している。また、図5に示す被写体検出プログラム400の各プログラム部品は、図6に示す被写体検出装置500の各要素に一対一に対応している。
そのため、以下、図6に示す被写体検出装置500の各要素を取り上げて説明することによって、図4に示す被写体検出方法の各ステップの説明および図5に示す被写体検出プログラム400の各プログラム部品の説明を兼ねるものとする。
また、上述したように、被写体検出装置500に備えられている各要素のうちの、出現領域定義部580および被写体検出部590を除く、画像取得部510、抽出部520、フィルタリング部530、確率分布算出部540、補間演算部541、第1の統合部551、第2の統合部552、出力部560、および更新制御部570の各要素は、本発明の確率分布構築装置の第1実施形態を構成する要素であるため、これらの各要素を説明することによって、本発明の確率分布構築装置の第1実施形態の説明を兼ねるものとする。
なお、ここでは、この被写体検出装置500の各要素の概念的な作用について説明し、これら各要素の具体的な作用については後述する。
図6に示す被写体検出装置500の画像取得部510は、図4に示す被写体検出方法の画像取得ステップ(ステップS11)に対応する要素であるとともに、アプリケーションソフトウェア上は、図5に示す被写体検出プログラム400の画像取得部410に対応する要素であり、固定的に設置された監視カメラ10から、この監視カメラ10で被写界を繰り返し撮影して得られた複数枚の画像を取得するものである。この画像取得部510は、本発明にいう画像取得部の機能の一例を示すものであり、その機能は、図1,図2,図3に示すパーソナルコンピュータ30の本体装置31に内蔵された、プログラム部品としての画像取得部410(図5参照)を実行するCPU311によって主に実現される。
尚、以下説明する、被写体検出装置500の各要素においても、各要素の機能は、図1,図2,図3に示すパーソナルコンピュータ30の本体装置31に内蔵されたCPU311によって主に実現されるので、重複説明を避けるため、これら各要素のハードウェア上の説明は省略する。
また、図6に示す被写体検出装置500の抽出部520は、図4に示す被写体検出方法の抽出ステップ(ステップS12)に対応する要素であるとともに、アプリケーションソフトウェア上は、図5に示す被写体検出プログラム400の抽出部420に対応する要素であり、画像取得部510で取得した複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する、上半部分の輪郭が類半円形状を有する人物の頭部に類似した類頭部形状を、この類頭部形状の寸法と監視カメラ10の画角上の位置情報とを伴って抽出するものである。そして、この抽出部520は、上記類頭部形状を抽出するにあたり、この類頭部形状が抽出対象の頭部である可能性の程度を表す評価値を求め、抽出対象の頭部の、抽出からの洩れを許容して設定された閾値よりも抽出対象の頭部である可能性がさらに高いことを表す評価値が得られた類頭部形状のみを抽出するものである。この抽出部520は、本発明にいう抽出部の機能の一例を示すものである。
また、図6に示す被写体検出装置500のフィルタリング部530は、図4に示す被写体検出方法のフィルタリングステップ(ステップS13)に対応する要素であるとともに、アプリケーションソフトウェア上は、図5に示す被写体検出プログラム400のフィルタリング部430に対応する要素であり、抽出部520で抽出された類頭部形状が人物の頭部であるか否かを判定して人物の頭部を抽出するものである。そして、このフィルタリング部530は、抽出部520で抽出された類頭部形状それぞれについて、画角内の当該類頭部形状の周囲に広がる所定寸法のサーチ領域内における、当該類頭部形状と同一寸法に分類された他の類頭部形状の個数を計数し、この計数値が閾値以上の場合にのみ当該類頭部形状を上記人物の頭部として抽出するものである。このフィルタリング部530は、本発明にいうフィルタリング部の機能の一例を示すものである。
また、図6に示す被写体検出装置500の確率分布算出部540は、図4に示す被写体検出方法の確率分布算出ステップ(ステップS14)に対応する要素であるとともに、アプリケーションソフトウェア上は、図5に示す被写体検出プログラム400の確率分布算出部440に対応する要素であり、フィルタリング部530で抽出された頭部の寸法の出現確率分布を算出するものである。そして、この確率分布算出部540は、人物の頭部の1つの寸法に対する、この寸法の頭部が画角内の各位置に出現する出現位置確率分布を、人物の頭部の複数の寸法それぞれについて算出するものである。この確率分布算出部540は、本発明にいう確率分布算出部の機能の一例を示すものである。
また、図6に示す被写体検出装置500の確率分布算出部540に備えられた補間演算部541は、図4に示す被写体検出方法の確率分布算出ステップ(ステップS14)に対応する要素であるとともに、アプリケーションソフトウェア上は、図5に示す被写体検出プログラム400の補間演算部441に対応する要素であり、所定寸法の頭部の出現位置確率分布を、この寸法とは異なる寸法の頭部の出現位置確率分布から補間演算により算出するものである。この補間演算部541は、本発明にいう補間演算部の機能の一例を示すものである。
また、図6に示す被写体検出装置500の第1の統合部551は、図4に示す被写体検出方法の第1の統合ステップ(ステップS15)に対応する要素であるとともに、アプリケーションソフトウェア上は、図5に示す被写体検出プログラム400の第1の統合部451に対応する要素であり、複数の撮影方向それぞれでの撮影で得られた出現確率分布を統合することにより、これら複数の撮影方向の画角を繋げた画角内の出現確率分布を構築するものである。この第1の統合部551は、本発明にいう統合部の機能の一例を示すものである。
また、図6に示す被写体検出装置500の第2の統合部552は、図4に示す被写体検出方法の第2の統合ステップ(ステップS16)に対応する要素であるとともに、アプリケーションソフトウェア上は、図5に示す被写体検出プログラム400の第2の統合部452に対応する要素であり、複数の焦点距離それぞれでの撮影で得られた出現確率分布を統合することにより、監視カメラ10の最広角の画角内の出現確率分布を構築するものである。この第2の統合部552は、本発明にいう統合部の機能の一例を示すものである。
また、図6に示す被写体検出装置500の出力部560は、アプリケーションソフトウェア上は、図5に示す被写体検出プログラム400の出力部460に対応する要素であり、確率分布算出部540で算出された出現確率分布を出力するものである。この出力部560は、本発明にいう出力部の機能の一例を示すものである。
また、図6に示す被写体検出装置500の更新制御部570は、アプリケーションソフトウェア上は、図5に示す被写体検出プログラム400の更新制御部470に対応する要素であり、上記出現確率分布が一旦構築された後においても、画像取得部510に画像を取得させ、新たに取得した画像について、抽出部520、フィルタリング部530を作用させて、確率分布算出部540に、この新たな画像から抽出した上記人物の頭部の情報を新たに加えて上記出現確率分布を更新させるものである。この更新制御部570は、本発明にいう更新制御部の機能の一例を示すものである。
また、図6に示す被写体検出装置500の出現領域定義部580は、図4に示す被写体検出方法の出現領域定義ステップ(ステップS17)に対応する要素であるとともに、アプリケーションソフトウェア上は、図5に示す被写体検出プログラム400の出現領域定義部480に対応する要素であり、確率分布算出部540で算出された出現確率分布に基づいて、監視カメラ10の画角内の、上記人物の頭部のこの画角内に出現する寸法ごとの出現領域を定義するものである。この出現領域定義部580は、本発明にいう出現領域定義部の機能の一例を示すものである。
また、図6に示す被写体検出装置500の被写体検出部590は、図4に示す被写体検出方法の被写体検出ステップ(ステップS18)に対応する要素であるとともに、アプリケーションソフトウェア上は、図5に示す被写体検出プログラム400の被写体検出部490に対応する要素であり、監視カメラ10での新たな撮影により得られた画像中の、上記寸法に応じた出現領域内から、この寸法の類頭部形状として現れた上記人物の頭部を検出するものである。この被写体検出部590は、本発明にいう被写体検出部の機能の一例を示すものである。
以下、本発明の被写体検出装置の第1実施形態をさらに具体的に説明する。
図7は、画像取得部510によって取得された画像の一例を示す図である。
図7に示す画像60は、銀行の天井に固定的に設置され、インターネット20に接続された監視カメラ10で、銀行内の様子を、天井から銀行内を斜め下に見下ろすように撮影され、ネットワーク通信を介して監視カメラ10からパーソナルコンピュータ30に送信された画像データにより表わされる動画像の1コマを表す画像である。つまり、この画像60は、パーソナルコンピュータ30内で被写体検出プログラム400が実行されることにより実現される被写体検出装置500に備えられている画像取得部510によって取得された、監視カメラ10で被写界を繰り返し撮影して得られた複数枚の画像のうちの、1つの画像である。
次に、図8〜図16を参照して、被写体検出装置500に備えられている抽出部520について説明する。
図8は、図7に示す画像60を表現する複数の画素のうちの注目画素Pと評価画素Q1〜Q16と勾配算出画素R1〜R16とを示す概念図である。
図8には、図7に示す画像60を表現する複数の画素のうちの1つの画素である注目画素Pと、この注目画素Pを中心とした円に沿って等間隔に配列されて注目画素Pを取り巻く16個の評価画素Q1〜Q16とが示されている。また、図8には、16個の評価画素Q1〜Q16のうちの1つの評価画素Q1を中心とした円に沿って等間隔に配列されて評価画素Q1を取り巻く16個の勾配算出画素R1〜R16が示されている。
まず、図7に示す画像60の全域に亘る評価画素それぞれが所定の注目画素を中心とした180°の半円上の画素であるか否かを評価する画素評価値をその評価画素それぞれについて算出するにあたり、評価画素Q1〜Q16それぞれについて、画像60上の輝度値が変化している勾配方向を算出する。また、図8に示す円とは半径の異なる注目画素Pを中心とした円に沿って配列されて注目画素Pを取り巻く評価画素や、図8に示す注目画素Pとは異なる位置の、図7に示す画像60を表現する複数の画素のうちの1つの画素画素を注目画素としたときの、この注目画素を取り巻く評価画素についても、この評価画素それぞれについて、画像60上の輝度値が変化している勾配方向を算出する。このようにして、図7に示す画像60の全域に亘る評価画素それぞれについての勾配方向を算出する。尚、ここでは、図8に示す注目画素Pを中心とした円に沿って配列されて注目画素Pを取り巻く16個の評価画素Q1〜Q16のうちの1つの評価画素Q1についての勾配方向の算出について説明する。
評価画素Q1の輝度値と、評価画素Q1を一周に渡って取り巻く16個の勾配算出画素R1〜R16それぞれの輝度値との各差分に基づく各勾配値を算出する。
図9は、16個の勾配算出画素R1〜R16それぞれに対応する各勾配値をこれら16個の勾配算出画素R1〜R16が評価画素Q1を一周に渡って取り巻く順序に並べたときの勾配値群を示す図である。横軸は勾配算出画素R1〜R16を示し、縦軸は勾配値を示す。
算出された、勾配値群を構成する各勾配値は、図9に示すように、勾配算出画素R1に対応する勾配値が「2.0」、勾配算出画素R2に対応する勾配値が「2.0」、勾配算出画素R3に対応する勾配値が「5.0」、勾配算出画素R4に対応する勾配値が「10.0」、勾配算出画素R5に対応する勾配値が「11.0」、勾配算出画素R6に対応する勾配値が「14.0」、勾配算出画素R7に対応する勾配値が「12.0」、勾配算出画素R8に対応する勾配値が「15.0」、勾配算出画素R9に対応する勾配値が「22.0」、勾配算出画素R10に対応する勾配値が「12.0」、勾配算出画素R11に対応する勾配値が「7.0」、勾配算出画素R12に対応する勾配値が「12.0」、勾配算出画素R13に対応する勾配値が「9.0」、勾配算出画素R14に対応する勾配値が「1.0」、勾配算出画素R15に対応する勾配値が「1.0」、勾配算出画素R16に対応する勾配値が「3.0」である。
ここで、算出された各勾配値のノイズを除去するために、図9に示す勾配値群に平滑化処理を施すことにより平滑化勾配値群を生成する。
ここでは、平滑化処理として、高値抑制処理、雑音を抑制するための移動平均処理(以下、この移動平均処理を第1の移動平均処理と称する)、量子化処理、および唯一の最大の値を持つ平滑化勾配値を出現させるための移動平均処理(以下、この移動平均処理を第2の移動平均処理と称する)を順次施す。
図10は、図9に示す勾配値群に高値抑制処理を施すことにより生成された平滑化勾配値群を示す図である。横軸は勾配算出画素R1〜R16を示し、縦軸は勾配値を示す。
ここでは、高値抑制処理を施すにあたっての勾配値の閾値として閾値「16.0」が設定されている。図9に示す勾配値群を構成する各勾配値のうちの閾値として設定された「16.0」を超える勾配値をこの閾値「16.0」に置き換えることにより、新たな平滑化勾配値群を生成する。ここでは、勾配算出画素R9に対応する勾配値が閾値「16.0」を超える勾配値であることから、勾配算出画素R9に対応する勾配値「22.0」を平滑化勾配値「16.0」に置き換える。生成された平滑化勾配値群を構成する各平滑化勾配値は、図10に示すように、勾配算出画素R1に対応する平滑化勾配値が「2.0」、勾配算出画素R2に対応する平滑化勾配値が「2.0」、勾配算出画素R3に対応する平滑化勾配値が「5.0」、勾配算出画素R4に対応する平滑化勾配値が「10.0」、勾配算出画素R5に対応する平滑化勾配値が「11.0」、勾配算出画素R6に対応する平滑化勾配値が「14.0」、勾配算出画素R7に対応する平滑化勾配値が「12.0」、勾配算出画素R8に対応する平滑化勾配値が「15.0」、勾配算出画素R9に対応する平滑化勾配値が「16.0」、勾配算出画素R10に対応する平滑化勾配値が「12.0」、勾配算出画素R11に対応する平滑化勾配値が「7.0」、勾配算出画素R12に対応する平滑化勾配値が「12.0」、勾配算出画素R13に対応する平滑化勾配値が「9.0」、勾配算出画素R14に対応する平滑化勾配値が「1.0」、勾配算出画素R15に対応する平滑化勾配値が「1.0」、勾配算出画素R16に対応する平滑化勾配値が「3.0」である。
図11は、図10に示す平滑化勾配値群に第1の移動平均処理を施すことにより生成された平滑化勾配値群を示す図である。横軸は勾配算出画素R1〜R16を示し、縦軸は勾配値を示す。
高値抑制処理が施された後の平滑化勾配値群に、第1の移動平均処理を施すことにより、新たな平滑化勾配値群を生成する。ここでは、移動平均を行なうとする勾配算出画素に対し、前後1つの平滑化勾配値、合計、その勾配算出画素に対応する平滑化勾配値を含め3つの平滑化勾配値とし、これら3つの平滑化勾配値の平均を求める。尚、上述したように、平滑化処理は、16個の勾配算出画素R1〜R16それぞれに対応する各勾配値をこれら16個の勾配算出画素R1〜R16が評価画素Q1を一周に渡って取り巻く順序に並べたときの勾配値群に施す処理であることから、勾配算出画素R1の前後1つの平滑化勾配値は、勾配算出画素R16に対応する平滑化勾配値と勾配算出画素R2に対応する平滑化勾配値である。同様に、勾配算出画素R16の前後1つの平滑化勾配値は、勾配算出画素R15に対応する平滑化勾配値と勾配算出画素R1に対応する平滑化勾配値である。生成された平滑化勾配値群を構成する各平滑化勾配値は、図11に示すように、勾配算出画素R1に対応する平滑化勾配値が「2.3」、勾配算出画素R2に対応する平滑化勾配値が「3.0」、勾配算出画素R3に対応する平滑化勾配値が「5.7」、勾配算出画素R4に対応する平滑化勾配値が「8.7」、勾配算出画素R5に対応する平滑化勾配値が「11.7」、勾配算出画素R6に対応する平滑化勾配値が「12.3」、勾配算出画素R7に対応する平滑化勾配値が「13.7」、勾配算出画素R8に対応する平滑化勾配値が「14.3」、勾配算出画素R9に対応する平滑化勾配値が「14.3」、勾配算出画素R10に対応する平滑化勾配値が「11.7」、勾配算出画素R11に対応する平滑化勾配値が「10.3」、勾配算出画素R12に対応する平滑化勾配値が「9.3」、勾配算出画素R13に対応する平滑化勾配値が「7.3」、勾配算出画素R14に対応する平滑化勾配値が「3.7」、勾配算出画素R15に対応する平滑化勾配値が「1.7」、勾配算出画素R16に対応する平滑化勾配値が「2.0」である。
図12は、図11に示す平滑化勾配値群に量子化処理を施すことにより生成された平滑化勾配値群を示す図である。横軸は勾配算出画素R1〜R16を示し、縦軸は勾配値を示す。
第1の移動平均処理が施された後の平滑化勾配値群を構成する各平滑化勾配値を、この各平滑化勾配値に近似した値を有する、離散的に設定された複数の平滑化勾配値のうちのいずれかの平滑化勾配値に置き換えることにより、新たな平滑化勾配値群を生成する。ここでは、第1の移動平均処理が施された後の平滑化勾配値群を構成する平滑化勾配値が0より大きく4以下の場合は「2」に置き換え、その平滑化勾配値が4より大きく8以下の場合は「6」に置き換え、その平滑化勾配値が8より大きく12以下の場合は「10」に置き換え、その平滑化勾配値が12より大きく16以下の場合は「14」に置き換える。生成された平滑化勾配値群を構成する各平滑化勾配値は、図12に示すように、勾配算出画素R1に対応する平滑化勾配値が「2.0」、勾配算出画素R2に対応する平滑化勾配値が「2.0」、勾配算出画素R3に対応する平滑化勾配値が「6.0」、勾配算出画素R4に対応する平滑化勾配値が「10.0」、勾配算出画素R5に対応する平滑化勾配値が「10.0」、勾配算出画素R6に対応する平滑化勾配値が「14.0」、勾配算出画素R7に対応する平滑化勾配値が「14.0」、勾配算出画素R8に対応する平滑化勾配値が「14.0」、勾配算出画素R9に対応する平滑化勾配値が「14.0」、勾配算出画素R10に対応する平滑化勾配値が「10.0」、勾配算出画素R11に対応する平滑化勾配値が「10.0」、勾配算出画素R12に対応する平滑化勾配値が「10.0」、勾配算出画素R13に対応する平滑化勾配値が「6.0」、勾配算出画素R14に対応する平滑化勾配値が「2.0」、勾配算出画素R15に対応する平滑化勾配値が「2.0」、勾配算出画素R16に対応する平滑化勾配値が「2.0」である。
図13は、図12に示す平滑化勾配値群に第2の移動平均処理を施すことにより生成された平滑化勾配値群を示す図である。横軸は勾配算出画素R1〜R16を示し、縦軸は勾配値を示す。
量子化処理が施された後の平滑化勾配値群に、第2の移動平均処理を施すことにより、新たな平滑化勾配値群を生成する。ここでは、移動平均を行なうとする勾配算出画素に対し、前後4つの平滑化勾配値、合計、その勾配算出画素に対応する平滑化勾配値を含め9つの平滑化勾配値とし、これら9つの平滑化勾配値の平均を求める。尚、上述したように、平滑化処理は、16個の勾配算出画素R1〜R16それぞれに対応する各勾配値をこれら16個の勾配算出画素R1〜R16が評価画素Q1を一周に渡って取り巻く順序に並べたときの勾配値群に施す処理であることから、勾配算出画素R1の前後4つの平滑化勾配値は、勾配算出画素R13〜R16に対応する各平滑化勾配値と勾配算出画素R2〜R5に対応する各平滑化勾配値である。同様に、勾配算出画素R16の前後4つの平滑化勾配値は、勾配算出画素R12〜R15に対応する各平滑化勾配値と勾配算出画素R1〜R4に対応する各平滑化勾配値である。生成された平滑化勾配値群を構成する各平滑化勾配値は、図13に示すように、勾配算出画素R1に対応する平滑化勾配値が「4.7」、勾配算出画素R2に対応する平滑化勾配値が「5.6」、勾配算出画素R3に対応する平滑化勾配値が「6.9」、勾配算出画素R4に対応する平滑化勾配値が「8.2」、勾配算出画素R5に対応する平滑化勾配値が「9.6」、勾配算出画素R6に対応する平滑化勾配値が「10.4」、勾配算出画素R7に対応する平滑化勾配値が「11.3」、勾配算出画素R8に対応する平滑化勾配値が「11.8」、勾配算出画素R9に対応する平滑化勾配値が「11.3」、勾配算出画素R10に対応する平滑化勾配値が「10.4」、勾配算出画素R11に対応する平滑化勾配値が「9.1」、勾配算出画素R12に対応する平滑化勾配値が「7.8」、勾配算出画素R13に対応する平滑化勾配値が「6.4」、勾配算出画素R14に対応する平滑化勾配値が「5.1」、勾配算出画素R15に対応する平滑化勾配値が「4.7」、勾配算出画素R16に対応する平滑化勾配値が「4.7」である。このように、第2の移動平均処理が施されることによって、唯一の最大の値を持つ平滑化勾配値として、勾配算出画素R8に対応する平滑化勾配値「11.8」が得られる。
図14は、評価画素Q1についての勾配方向を示す図である。また、図15は、図7に示す画像60の全域に亘る評価画素それぞれについて算出された勾配方向を示す図である。
評価画素Q1と、評価画素Q1を一周に渡って取り巻く16個の勾配算出画素R1〜R16のうちの、第2の移動平均処理が施された後の平滑化勾配値群の中の最大の平滑化勾配値「11.8」に対応する勾配値算出画素R8とを結ぶ、図14に矢印Vで示す方向を、評価画素Q1についての勾配方向Vとして決定する。
尚、上述したように、ここでは図8に示す注目画素Pを中心とした円に沿って配列されて注目画素Pを取り巻く16個の評価画素Q1〜Q16のうちの1つの評価画素Q1についての勾配方向Vの算出について説明したが、図8に示す他の評価画素Q2〜Q16についても、図8〜図14を参照して説明した評価画素Q1についての勾配方向Vの算出と同様にして勾配方向を算出する。また、図8に示す円とは半径の異なる注目画素Pを中心とした円に沿って配列されて注目画素Pを取り巻く評価画素や、図8に示す注目画素Pとは異なる位置の、図7に示す画像60を表現する複数の画素のうちの1つの画素画素を注目画素としたときの、この注目画素を取り巻く評価画素についても、図8〜図14を参照して説明した勾配方向Vの算出と同様にして勾配方向を算出する。図15には、このようにして算出した、図7に示す画像60の全域に亘る評価画素それぞれについての勾配方向が示されている。
次に、図7に示す画像60の全域に亘る評価画素それぞれについて、当該評価画素と所定の注目画素とを結ぶ方向と、算出された勾配方向との成す角度に基づいた画素評価値を算出する。この画素評価値は、上述したように、図7に示す画像60の全域に亘る評価画素それぞれが所定の注目画素を中心とした180°の半円上の画素であるか否かを評価するものである。尚、ここでは、この画素評価値として、上記角度のうちの「0°以上90°以下の角度」を画素評価値としている。従って、画素評価値が「0」に近い値であるほどその画素評価値を有する評価画素の勾配方向が所定の注目画素を向く方向であることとなる。
図16は、テーブル70の一例を示す図である。
このような画素評価値を算出するにあたり、複数の注目画素および複数の評価画素に共通の、注目画素から見たときの評価画素の方向を表す第1の値と、評価画素の勾配方向を表す第2の値との双方と、当該評価画素の画素評価値とを対応付けたテーブル70を記憶しておく。尚、テーブル70の記憶は、後述する具体的な評価画素の画素評価値を求める前に記憶されていればよく、勾配方向の算出前に記憶されていても算出後に記憶されていてもよい。
図16に示すテーブル70では、図8における、注目画素Pから各評価画素Q1〜Q16に向かう16方向を、「PQ1、PQ2、PQ3、PQ4、PQ5、PQ6、PQ7、PQ8、PQ9、PQ10、PQ11、PQ12、PQ13、PQ14、PQ15、PQ16」と表し、これらが、注目画素から見たときの評価画素の方向を表す第1の値とされている。また、図8における、評価画素Q1から各勾配算出画素R1〜R16に向かう16方向を、「QR1、QR2、QR3、QR4、QR5、QR6、QR7、QR8、QR9、QR10、QR11、QR12、QR13、QR14、QR15、QR16」と表し、これらが、評価画素の勾配方向を表す第2の値とされている。また、図16に示すテーブル70では、第1の値と第2の値との双方と、当該評価画素の画素評価値である上記「0°以上90°以下の角度」とが対応付けられている。尚、図16に示すテーブル70には、この画素評価値のうちの一部の画素評価値が示されており、実際に記憶されたテーブル70は、第1の値と第2の値との双方に対応付けられた全ての画素評価値を有する。
具体的な注目画素から具体的な評価画素を見たときの当該評価画素の方向を表す具体的な第1の値と当該評価画素の勾配方向を表す具体的な第2の値との双方に基づいて、図16に示すテーブル70から、当該評価画素の画素評価値を求める。
例えば、図8〜図14を参照して説明した評価画素Q1についての勾配方向Vの場合は、図14に示すように、第1の値が「PQ1」であり、第2の値が「QR8」である。この具体的な第1の値と第2の値との双方に基づいて、図16に示すテーブル70から、評価画素Q1の画素評価値が「22.5」であると求められる。
図8に示す他の評価画素Q2〜Q16についても、図16に示すテーブル70からそれぞれの画素評価値を求める。
次に、図8に示す円に重なる180°の半円上の複数の評価画素、例えば評価画素Q1〜Q9に対応する複数の画素評価値を総合して、その180°の半円が類半円形状に対応する180°の半円であるか否かを評価する総合評価値を算出する処理を、その円との重なりの位相が異なる複数の180°の半円について実行する。ここでは、上記複数の画素評価値の平均値を総合評価値としている。また、図8に示す円とは半径の異なる注目画素Pを中心とした円に沿って配列されて注目画素Pを取り巻く評価画素や、図8に示す注目画素Pとは異なる位置の、図7に示す画像60を表現する複数の画素のうちの1つの画素画素を注目画素としたときの、この注目画素を取り巻く評価画素についても、総合評価値を算出する。
次に、上記複数の180°の半円に対応する複数の総合評価値を相互に比較して、上記複数の180°の半円の中から、類半円形状に最も近いことを表す総合評価値が対応付けられた180°の半円、つまり、上半部分の輪郭が類半円形状を有する人物の頭部に類似した類頭部形状が抽出対象の頭部である可能性の程度を表す評価値が対応付けられた180°の半円を抽出する。尚、上述したように、評価画素と所定の注目画素とを結ぶ方向と、算出された勾配方向との成す角度のうちの「0°以上90°以下の角度」を画素評価値としたため、上記複数の画素評価値の平均値である総合評価値が「0」に近い値であるほど、この総合評価値が対応付けられた180°の半円が類半円形状に最も近いこととなる。そして、180°の半円を抽出するにあたっては、抽出からの洩れを許容する閾値が設定されており、この閾値は例えば「30」である。そして、ここでは、「0〜30」の範囲内の総合評価値が対応付けられた180°の半円、つまり、その閾値「30」よりも抽出対象の頭部である可能性がさらに高いことを表す評価値が得られた類頭部形状のみを抽出している。このようにして抽出される180°の半円が、抽出部520で抽出される類頭部形状である。
ここで、抽出部520の目的は、抽出対象の頭部を確実に抽出することではなく、抽出対象の頭部であることが分かっているもののみを抽出することにある。そして、このような閾値が設定されていることによって、抽出対象の頭部である可能性が低いものが排除されるため、より精度の高い出現確率分布を構築することができる。
また、抽出部520は、この類頭部形状を抽出するときに、類頭部形状の寸法である180°の半円の直径寸法と、監視カメラ10の画角上の位置情報である180°の半円の中心座標とを伴って抽出する。
尚、図15に示す勾配方向のうちの太線で示された勾配方向は、抽出された180°の半円上の複数の評価画素についての勾配方向を示している。
以上、画像取得部510によって取得された複数枚の画像のうちの図7に示す1つの画像60を例に挙げて、抽出部520について、図8〜図16を参照して説明したが、この抽出部520は、画像取得部510で取得した複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する類頭部形状を、この類頭部形状の寸法と監視カメラ10の画角上の位置情報とを伴って抽出する。
尚、抽出部520による類頭部形状の抽出は、図8〜図16を参照して説明した手法に限らず、画像取得部510で取得した複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する類頭部形状を、この類頭部形状の寸法と監視カメラ10の画角上の位置情報とを伴って抽出することができるような手法であれば、いかなる手法であってもよい。
また、類頭部形状の寸法が180°の半円の直径寸法である例を挙げたが、類頭部形状の寸法は、例えば、縦幅や横幅や面積まどであってもよい。
図17は、頭部サイズの3次元空間を示す図である。X軸は撮影画角の横方向を示し、Y軸は撮影画角の縦方向を示し、Z軸は頭部サイズを示す。尚、ここでは、Z軸の上の方ほど相対的に小さい頭部サイズとなっている。
また、図18は、図17に示すZ軸座標値が「Z1」のXY平面上における類頭部形状の分布を示す図であり、図19は、図17に示すZ軸座標値が「Z1」のXY平面上における類頭部形状の分布を示す図である。尚、「Z1」はZ軸座標値が下の方の相対的に大きい頭部サイズを表すZ軸座標値であり、「Z2」はZ軸座標値が上の方の相対的に小さい頭部サイズを表すZ軸座標値である。図18,図19における横軸は撮影画角の横方向を示すX軸であり、縦軸は撮影画角の縦方向を示すY軸である。
図17〜図19に示す各点は、抽出部520によって抽出された類頭部形状を表している。また、各点をXY平面上に投影したときのそのXY平面上における位置が、抽出部520によって抽出された、監視カメラ10の画角上の位置情報である180°の半円の中心座標である。また、各点をZ軸に投影したときのZ軸座標値が、抽出部520によって抽出された、類頭部形状の寸法である180°の半円の直径寸法である。
図18示すように、図17に示すZ軸座標値すなわち類頭部形状の寸法が「Z1」のときは、Z軸座標値が「Z1」のXY平面上のY軸の値が「Y1〜Y2」の範囲内に多数の類頭部形状が分布している。また、このXY平面上のY軸の値が「Y1〜Y2」の範囲から外れた位置にも2つの類頭部形状「A、B」が分布している。
また、図19示すように、図17に示すZ軸座標値すなわち類頭部形状の寸法が「Z2」のときは、Z軸座標値が「Z2」のXY平面上のY軸の値が「Y3〜Y4」の範囲内に多数の類頭部形状が分布している。また、このXY平面上のY軸の値が「Y3〜Y4」の範囲から外れた位置にも2つの類頭部形状「C、D」が分布している。
ここで、フィルタリング部530が、抽出部520で抽出された類頭部形状それぞれについて、画角内の当該類頭部形状の周囲に広がる所定寸法のサーチ領域内における、当該類頭部形状と同一寸法に分類された他の類頭部形状の個数を計数し、この計数値が閾値「3」以上の場合にのみ、当該類頭部形状が人物の頭部であると判定し、当該類頭部形状を人物の頭部として抽出する。
例えば、フィルタリング部530によって、図18示す2つの類頭部形状「A、B」が除外され、Y軸の値が「Y1〜Y2」の範囲内に分布する類頭部形状が、寸法「Z1」を有する人物の頭部として抽出される。また、例えば、フィルタリング部530によって、図19に示す2つの類頭部形状「C、D」が除外され、Y軸の値が「Y3〜Y4」の範囲内に分布する類頭部形状が、寸法「Z2」を有する人物の頭部として抽出される。
このような閾値が設定されていることによって、抽出部520で抽出された類頭部形状のうちの誤抽出の可能性が高い類頭部形状が排除されることとなるため、より精度の高い出現確率分布を構築することができる。
図20は、確率分布算出部540で算出され出力部560で出力された出現確率分布の一例を示す図である。
確率分布算出部540が、フィルタリング部530で抽出された頭部の寸法の出現確率分布を算出する。そして、ここでは、この確率分布算出部540は、人物の頭部の1つの寸法に対する、この寸法の頭部が画角内の各位置に出現する出現位置確率分布を、人物の頭部の複数の寸法それぞれについて算出する。例えば、図20に、Y軸の値が「Y1〜Y2」の範囲内に分布する、フィルタリング部530によって抽出された頭部の寸法「Z1」の出現確率分布αと、Y軸の値が「Y3〜Y4」の範囲内に分布する、フィルタリング部530によって抽出された頭部の寸法「Z2」の出現確率分布βが示されている。
また、確率分布算出部540に備えられた補間演算部541が、所定寸法の頭部の出現位置確率分布を、この寸法とは異なる寸法の頭部の出現位置確率分布から補間演算により算出する。図20に示す、Y軸の値が「Y2〜Y5」の範囲内に分布する頭部の寸法「Z3」の出現確率分布γは、この補間演算部541によって算出された出現確率分布である。
尚、確率分布算出部540で算出され出力部560で出力されたこの図20に示す出現確率分布α,β,γの確率変数はY軸の値である。
このような補間演算部541によって、フィルタリング部530で抽出された頭部のうちの特定の寸法の頭部の数が少ない場合であっても、監視カメラ10の画角全域にわたる出現確率分布を算出することができる
そして、出力部560が、確率分布算出部540で算出された出現確率分布を出力する。この図20に示す3つの出現確率分布α,β,γが、出力部560によって出力された出現確率分布の一例である。
出力された出現確率分布を参照することによって、例えば、抽出部で抽出された類頭部形状の数を確認して、その数が少ないときに補完するといった対策をとるなど、出力部560は、より精度の高い出現確率分布の構築に寄与する。
図21は、監視カメラ10による複数の撮影方向それぞれでの撮影を説明する図である。
上述したように、監視カメラ10は、首振り機能を有する、撮影方向の変更が可能な監視カメラであり、図21に示すように、監視カメラ10は、撮影方向それぞれに対応する3つの撮影画角631,632,633を有している。そして、第1の統合部551が、3つの撮影画角631,632,633それぞれに対応する3つの撮影方向それぞれでの撮影で得られた出現確率分布を統合することにより、これら3つの撮影方向の撮影画角631,632,633を繋げた画角63内の出現確率分布を構築する。
図22は、監視カメラ10による複数の焦点距離それぞれでの撮影を説明する図である。
上述したように、監視カメラ10は、ズーム機能を有する、焦点距離可変な監視カメラであり、図22に示すように、監視カメラ10は、焦点距離それぞれに対応する2つの撮影画角641,642を有している。そして、第2の統合部552が、2つの撮影画角641,642それぞれに対応する2つの焦点距離それぞれでの撮影で得られた出現確率分布を統合することにより、監視カメラ10の最広角の画角である撮影画角641内の出現確率分布を構築する。
また、更新制御部570が、上記出現確率分布が一旦構築された後においても、画像取得部510に画像を取得させ、新たに取得した画像について、抽出部520、フィルタリング部530を作用させて、確率分布算出部540に、この新たな画像から抽出した上記人物の頭部の情報を新たに加えて上記出現確率分布を更新させる。
更新制御部570によって、出現確率分布の精度向上を図ることができる。
図23は、監視カメラ10の撮影画角と、出現領域定義部580によって定義された、この撮影画角の出現領域の一例を示す図である。尚、図23に示す撮影画角の横方向は、図17〜図20に示すX軸に対応し、撮影画角の縦方向は、図17〜図20に示すY軸に対応する。
出現領域定義部580が、確率分布算出部540で算出された出現確率分布に基づいて、監視カメラ10の画角65内の、上記人物の頭部のこの画角65内に出現する寸法ごとの出現領域を定義する。図23には、出現領域の一例として、3つの出現領域651,652,653が示されている。これら3つの出現領域651,652,653は、それぞれ、図20に示す、Y軸の値が「Y1〜Y2」の範囲、Y軸の値が「Y3〜Y4」の範囲、Y軸の値が「Y2〜Y5」の範囲に対応するものである。つまり、監視カメラ10の画角65内の、上記人物の頭部のこの画角65内に出現する寸法「Z1」の出現領域が出現領域652であり、上記人物の頭部のこの画角65内に出現する寸法「Z2」の出現領域が出現領域651であり、上記人物の頭部のこの画角65内に出現する寸法「Z3」の出現領域が出現領域653である。
図24は、画像取得部510によって取得された画像の一例を示す図である。尚、図23に示す画像の横方向は、図17〜図20に示すX軸に対応し、画像の縦方向は、図17〜図20に示すY軸に対応する。
図24に示す画像61は、図7に示す画像と同様に、画像取得部510によって取得された、監視カメラ10で被写界を繰り返し撮影して得られた複数枚の画像のうちの、1つの画像である。また、図24には、図23に示す3つの出現領域651,652,653も、画像61に重ねて示されている。
被写体検出部590が、監視カメラ10での新たな撮影により得られた画像中の、上記寸法に応じた出現領域内から、この寸法の類頭部形状として現れた上記人物の頭部を検出する。
ここでは、画像61中の、寸法「Z1」に応じた出現領域652内から、この寸法「Z1」の類頭部形状として現れた人物の頭部67が検出され、画像61中の、寸法「Z2」に応じた出現領域651内から、この寸法「Z2」の類頭部形状として現れた人物の頭部66が検出され、画像61中の、寸法「Z3」に応じた出現領域653内から、この寸法「Z3」の類頭部形状として現れた人物の頭部68が検出される。

第1実施形態によれば、固定的に設置された監視カメラ10で被写界を繰り返し撮影して得られた複数枚の画像から人物の頭部を高精度に検出する際に有用な、これら複数枚の画像中に複数の寸法で繰り返し出現する人物の頭部の寸法の出現確率分布を構築することができ、構築された出現確率分布を用いて人物の頭部を検出することにより、検出の高速化が図られ、また、誤検出が抑制される。
以上で、本発明の第1実施形態の説明を終了し、本発明の第2実施形態について説明する。
尚、以下説明する第2実施形態は、上述した第1実施形態の確率分布算出ステップ(ステップS14)、確率分布算出部440、補間演算部441、確率分布算出部540、および補間演算部541を、第2の確率分布算出ステップ(ステップS24)、第2の確率分布算出部840、第2の補間演算部841、第2の確率分布算出部940、および第2の補間演算部941に置き換えたものである。
また、以下説明する第2実施形態は、上述した第1実施形態の出現領域定義ステップ(ステップS17)、出現領域定義部480、および出現領域定義部580を、第2の抽出ステップ(ステップS27)、第2の抽出部880、および第2の抽出部980に置き換えたものである。
さらに、以下説明する第2実施形態は、上述した第1実施形態の被写体検出ステップ(ステップS18)、被写体検出部490、および被写体検出部590を、第2の判定ステップ(ステップS28)、第2の判定部890、および第2の判定部990に置き換えたものである。
以下、第1実施形態における要素と同じ要素については同じ符号を付して説明を省略し、第1実施形態との相違点についてのみ説明する。
図25は、本発明の被写体検出方法の第2実施形態を示すフローチャートである。
この被写体検出方法は、画像取得ステップ(ステップS11)と、抽出ステップ(ステップS12)と、フィルタリングステップ(ステップS13)と、第2の確率分布算出ステップ(ステップS24)と、第1の統合ステップ(ステップS15)と、第2の統合ステップ(ステップS16)と、第2の抽出ステップ(ステップS27)と、第2の判定ステップ(ステップS28)とから構成されている。
尚、これらの各ステップのうちの第2の抽出ステップ(ステップS27)および第2の判定ステップ(ステップS28)を除く、画像取得ステップ(ステップS11)、抽出ステップ(ステップS12)、フィルタリングステップ(ステップS13)、第2の確率分布算出ステップ(ステップS24)、第1の統合ステップ(ステップS15)、および第2の統合ステップ(ステップS16)の各ステップは、本発明の確率分布構築方法の第2実施形態を構成するステップである。
図25に示す被写体検出方法の各ステップの詳細については後述する。
図26は、本発明の被写体検出プログラムの第2実施形態を示した図である。
この図26に示す被写体検出プログラム800は、図3に示すCD−ROM110に記憶されている。
この被写体検出プログラム800は、図1,図2,図3に示すパーソナルコンピュータ30内で実行され、そのパーソナルコンピュータ30を、本発明の被写体検出装置の第2実施形態として動作させるものである。この被写体検出プログラム800は、画像取得部410と、抽出部420と、フィルタリング部430と、第2の確率分布算出部840と、第1の統合部451と、第2の統合部452と、出力部460と、更新制御部470と、第2の抽出部880と、第2の判定部890とから構成されている。また、第2の確率分布算出部840は、第2の補間演算部841を有する。
尚、被写体検出プログラム800によって構築される各プログラム部品のうちの、第2の抽出部880および第2の判定部890を除く、画像取得部410、抽出部420、フィルタリング部430、第2の確率分布算出部840、第2の補間演算部841、第1の統合部451、第2の統合部452、出力部460、および更新制御部470の各プログラム部品は、本発明の確率分布構築プログラムの第2実施形態を構成するプログラム部品である。
この被写体検出プログラム800によって構築される各プログラム部品のうちの、出力部460および更新制御部470を除く、画像取得部410、抽出部420、フィルタリング部430、第2の確率分布算出部840、第1の統合部451、第2の統合部452、第2の抽出部880、および第2の判定部890の各プログラム部品は、それぞれ、この被写体検出プログラム800が図1,図2,図3に示すパーソナルコンピュータ30にインストールされて実行されたときに、図25に示す被写体検出方法の画像取得ステップ(ステップS11)、抽出ステップ(ステップS12)、フィルタリングステップ(ステップS13)、第2の確率分布算出ステップ(ステップS24)、第1の統合ステップ(ステップS15)、第2の統合ステップ(ステップS16)、第2の抽出ステップ(ステップS27)、および第2の判定ステップ(ステップS28)の各ステップを実行するプログラム部品である。
この被写体検出プログラム800の各要素の作用については後述する。
図27は、本発明の被写体検出装置の第2実施形態を示す機能ブロック図である。
この図27に示す被写体検出装置900は、図1,図2,図3に示すパーソナルコンピュータ30に、図26に示す被写体検出プログラム800がローディングされ、その被写体検出プログラム800がそのパーソナルコンピュータ30内で実行されることにより実現される。
この図27に示す被写体検出装置900には、画像取得部510と、抽出部520と、フィルタリング部530と、第2の確率分布算出部940と、第1の統合部551と、第2の統合部552と、出力部560と、更新制御部570と、第2の抽出部980と、第2の判定部990とが備えられている。また、第2の確率分布算出部940には、第2の補間演算部941が備えられている。
尚、被写体検出装置900に備えられている各要素のうちの、第2の抽出部980および第2の判定部990を除く、画像取得部510、抽出部520、フィルタリング部530、第2の確率分布算出部940、第2の補間演算部941、第1の統合部551、第2の統合部552、出力部560、および更新制御部570の各要素は、本発明の確率分布構築装置の第2実施形態を構成する要素である。
この被写体検出装置900に備えられている画像取得部510、抽出部520、フィルタリング部530、第2の確率分布算出部940、第2の補間演算部941、第1の統合部551、第2の統合部552、出力部560、更新制御部570、第2の抽出部980、および第2の判定部990の各要素は、それぞれ、図26に示す被写体検出プログラム800を構成するプログラム部品としての画像取得部410、抽出部420、フィルタリング部430、第2の確率分布算出部840、第2の補間演算部841、第1の統合部451、第2の統合部452、出力部460、更新制御部470、第2の抽出部880、および第2の判定部890の各要素と、それらのプログラム部品の各機能を実現するために必要な、図1,図2,図3に示すパーソナルコンピュータ30のハードウェアとOS(Operation System)やアプリケーションプログラムとの組み合わせから構成されている。
次に、図25に示す被写体検出方法の各ステップ、図26に示す被写体検出プログラム800の各プログラム部品、および図27に示す被写体検出装置900の各要素について説明する。
尚、図25に示す被写体検出方法の画像取得ステップ(ステップS11)、抽出ステップ(ステップS12)、フィルタリングステップ(ステップS13)、第2の確率分布算出ステップ(ステップS24)、第1の統合ステップ(ステップS15)、第2の統合ステップ(ステップS16)、第2の抽出ステップ(ステップS27)、および第2の判定ステップ(ステップS28)の各ステップは、図27に示す被写体検出装置900に備えられている各要素のうちの、出力部560および更新制御部570を除く、画像取得部510、抽出部520、フィルタリング部530、第2の確率分布算出部940、第2の補間演算部941、第1の統合部551、第2の統合部552、第2の抽出部980、および第2の判定部990の各要素に一対一に対応している。また、図26に示す被写体検出プログラム800の各プログラム部品は、図27に示す被写体検出装置900の各要素に一対一に対応している。
そのため、以下、図27に示す被写体検出装置900の各要素を取り上げて説明することによって、図25に示す被写体検出方法の各ステップの説明および図26に示す被写体検出プログラム800の各プログラム部品の説明を兼ねるものとする。
また、上述したように、被写体検出装置900に備えられている各要素のうちの、第2の抽出部980および第2の判定部990を除く、画像取得部510、抽出部520、フィルタリング部530、第2の確率分布算出部940、第2の補間演算部941、第1の統合部551、第2の統合部552、出力部560、および更新制御部570の各要素は、本発明の確率分布構築装置の第2実施形態を構成する要素であるため、これらの各要素を説明することによって、本発明の確率分布構築装置の第2実施形態の説明を兼ねるものとする。
なお、ここでは、この被写体検出装置900の各要素の概念的な作用について説明し、これら各要素の具体的な作用については後述する。
図27に示す被写体検出装置900の第2の確率分布算出部940は、図25に示す被写体検出方法の第2の確率分布算出ステップ(ステップS24)に対応する要素であるとともに、アプリケーションソフトウェア上は、図26に示す被写体検出プログラム800の第2の確率分布算出部840に対応する要素であり、フィルタリング部530で抽出された頭部の寸法の出現確率分布を算出するものである。そして、この第2の確率分布算出部940は、画角内の1つの位置に対する、この位置に出現する頭部の出現寸法確率分布を、画角内の複数の位置それぞれについて算出するものである。この第2の確率分布算出部940は、本発明にいう確率分布算出部の機能の一例を示すものであり、その機能は、図1,図2,図3に示すパーソナルコンピュータ30の本体装置31に内蔵された、プログラム部品としての第2の確率分布算出部840(図26参照)を実行するCPU311によって主に実現される。
尚、以下説明する、被写体検出装置900の各要素においても、各要素の機能は、図1,図2,図3に示すパーソナルコンピュータ30の本体装置31に内蔵されたCPU311によって主に実現されるので、重複説明を避けるため、これら各要素のハードウェア上の説明は省略する。
また、図27に示す被写体検出装置900の第2の確率分布算出部940に備えられた第2の補間演算部941は、図25に示す被写体検出方法の第2の確率分布算出ステップ(ステップS24)に対応する要素であるとともに、アプリケーションソフトウェア上は、図26に示す被写体検出プログラム800の第2の補間演算部841に対応する要素であり、画角内の所定位置における出現寸法確率分布を、この位置とは異なる位置における出現寸法確率分布から補間演算により算出するものである。この第2の補間演算部941は、本発明にいう補間演算部の機能の一例を示すものである。
また、図27に示す被写体検出装置900の第2の抽出部980は、図25に示す被写体検出方法の第2の抽出ステップ(ステップS27)に対応する要素であるとともに、アプリケーションソフトウェア上は、図26に示す被写体検出プログラム800の第2の抽出部880に対応する要素であり、監視カメラ10での新たな撮影により得られた画像の中から、人物の頭部に類似した類頭部状を、この類頭部形状の寸法と、監視カメラ10の画角上の位置情報と、さらにこの類頭部形状が人物の頭部である確率を表す評価値とを伴って抽出するものである。この第2の抽出部980は、本発明にいう第2の抽出部の機能の一例を示すものである。
また、図27に示す被写体検出装置900の第2の判定部990は、図25に示す被写体検出方法の第2の判定ステップ(ステップS28)に対応する要素であるとともに、アプリケーションソフトウェア上は、図26に示す被写体検出プログラム800の第2の判定部890に対応する要素であり、第2の抽出部980で抽出された類頭部形状の寸法、位置情報、および評価値と、第2の確率分布算出部940で算出された出現確率分布とに基づいてその評価値を修正し、修正された評価値に基づいてその類頭部形状が人物の頭部であるか否かを判定するものである。この第2の判定部990は、本発明にいう第2の判定部の機能の一例を示すものである。
以下、本発明の被写体検出装置の第2実施形態をさらに具体的に説明する。
図28は、第2の確率分布算出部940で算出され出力部560で出力された出現確率分布の一例を示す図である。
第2の確率分布算出部940が、フィルタリング部530で抽出された頭部の寸法の出現確率分布を算出する。そして、ここでは、この第2の確率分布算出部940は、画角内の1つの位置に対する、この位置に出現する頭部の出現寸法確率分布を、画角内の複数の位置それぞれについて算出する。例えば、図28に、画角内の位置aにおける、この位置aに出現する、フィルタリング部530によって抽出された頭部の寸法「Z1」の出現寸法確率分布α’と、画角内の位置bにおける、この位置bに出現する、フィルタリング部530によって抽出された頭部の寸法「Z2」の出現寸法確率分布β’が示されている。
また、第2の確率分布算出部940に備えられた第2の補間演算部941が、画角内の所定位置における出現寸法確率分布を、この位置とは異なる位置における出現寸法確率分布から補間演算により算出する。図28に示す、画角内の位置bにおける頭部の寸法「Z3」の出現確率分布γ’は、この第2の補間演算部941によって算出された出現確率分布である。
尚、第2の確率分布算出部940で算出され出力部560で出力されたこの図28に示す出現確率分布α,β,γの確率変数はZ軸の値である。
このような第2の補間演算部941によって、フィルタリング部530で抽出された頭部のうちの画角内のある位置における頭部の数が少ない場合であっても、監視カメラ10の画角全域にわたる出現確率分布を算出することができる。
そして、出力部560が、第2の確率分布算出部940で算出された出現確率分布を出力する。この図28に示す3つの出現確率分布α’,β’,γ’が、出力部560によって出力された出現確率分布の一例である。
第2の抽出部980が、上述した第1実施形態において図8〜図16を参照して説明した抽出部520による抽出と同様の手法で、監視カメラ10での新たな撮影により得られた画像の中から、人物の頭部に類似した類頭部状である180°の半円を、この類頭部形状の寸法である180°の半円の直径寸法と、監視カメラ10の画角上の位置情報である180°の半円の中心座標とを伴って抽出する。さらに、この第2の抽出部980は、この類頭部形状が人物の頭部である確率を表す評価値、つまり、抽出する180°の半円に対応付けられた総合評価値とを伴って抽出する。
第2の判定部990が、第2の抽出部980で抽出された類頭部形状の寸法、位置情報、および評価値と、第2の確率分布算出部940で算出された出現確率分布とに基づいてその評価値を修正し、修正された評価値に基づいてその類頭部形状が人物の頭部であるか否かを判定する。
上述した、出現領域定義ステップ(ステップS17)、出現領域定義部480、および出現領域定義部580、並びに、被写体検出ステップ(ステップS18)、被写体検出部490、および被写体検出部590を有する第1実施形態によれば、出現確率分布上では出現確率が低いときは、一律に、類頭部形状は人物の頭部ではないと判定される。これに対して、以上説明した、第2の抽出ステップ(ステップS27)、第2の抽出部880、および第2の抽出部980、並びに、第2の判定ステップ(ステップS28)、第2の判定部890、および第2の判定部990を有する第2実施形態によれば、出現確率分布上では出現確率が低くても、上記評価値が高い場合は、類頭部形状が人物の頭部であると判定され、精度の高い頭部検出が可能となる。
尚、上述した各実施形態では、類半円形状を検出することによって人物の頭部を検出する検出方法を説明したが、人物の頭部を検出する検出方法は、これに限られるものではなく、例えば、人物頭部の外形のみでなく、内部の特徴を抽出するなど、他の検出方法を採用しても良い。さらに、上述した各実施形態では、本発明にいう「特定種類の被写体」が人物の頭部である例を挙げて説明したが、本発明にいう「特定種類の被写体」は、人物の頭部のみに限られるものではなく、例えば、人物の顔であってもよく、屋外での野鳥観察における野鳥であってもよく、様々な被写体に適用できるものである。
本発明の被写体検出装置の第1実施形態が組み込まれた監視カメラシステムの概略構成図である。 図1に1つのブロックで示すパーソナルコンピュータの外観斜視図である。 図1,図2に示すパーソナルコンピュータのハードウェア構成図である。 本発明の被写体検出方法の第1実施形態を示すフローチャートである。 本発明の被写体検出プログラムの第1実施形態を示した図である。 本発明の被写体検出装置の第1実施形態を示す機能ブロック図である。 画像取得部によって取得された画像の一例を示す図である。 図7に示す画像を表現する複数の画素のうちの注目画素Pと評価画素Q1〜Q16と勾配算出画素R1〜R16とを示す概念図である。 16個の勾配算出画素R1〜R16それぞれに対応する各勾配値をこれら16個の勾配算出画素R1〜R16が評価画素Q1を一周に渡って取り巻く順序に並べたときの勾配値群を示す図である。 図9に示す勾配値群に高値抑制処理を施すことにより生成された平滑化勾配値群を示す図である。 図10に示す平滑化勾配値群に第1の移動平均処理を施すことにより生成された平滑化勾配値群を示す図である。 図11に示す平滑化勾配値群に量子化処理を施すことにより生成された平滑化勾配値群を示す図である。 図12に示す平滑化勾配値群に第2の移動平均処理を施すことにより生成された平滑化勾配値群を示す図である。 評価画素Q1についての勾配方向を示す図である。 図7に示す画像の全域に亘る評価画素それぞれについて算出された勾配方向を示す図である。 テーブル記憶部に記憶されたテーブルの一例を示す図である。 頭部サイズの3次元空間を示す図である。 図17に示すZ軸座標値が「Z1」のXY平面上における類頭部形状の分布を示す図である。 図17に示すZ軸座標値が「Z1」のXY平面上における類頭部形状の分布を示す図である。 確率分布算出部で算出され出力部で出力された出現確率分布の一例を示す図である。 監視カメラによる複数の撮影方向それぞれでの撮影を説明する図である。 監視カメラによる複数の焦点距離それぞれでの撮影を説明する図である。 監視カメラの撮影画角と、出現領域定義部によって定義された、この撮影画角の出現領域の一例を示す図である。 画像取得部によって取得された画像の一例を示す図である。 本発明の被写体検出方法の第2実施形態を示すフローチャートである。 本発明の被写体検出プログラムの第2実施形態を示した図である。 本発明の被写体検出装置の第2実施形態を示す機能ブロック図である。 第2の確率分布算出部で算出され出力部で出力された出現確率分布の一例を示す図である。
符号の説明
1 監視カメラシステム
10 監視カメラ
20 インターネット
30 パーソナルコンピュータ
31 本体装置
31a FD装填口
31b CD−ROM装填口
311 CPU
312 主メモリ
313 ハードディスク装置
314 FDドライブ
315 CD−ROMドライブ
316 ネットワーク通信インタフェース
32 画像表示装置
32a 表示画面
33 キーボード
34 マウス
35 バス
100 FD
110 CD−ROM
400,800 被写体検出プログラム
410 画像取得部
420 抽出部
430 フィルタリング部
440 確率分布算出部
441 補間演算部
451 第1の統合部
452 第2の統合部
460 出力部
470 更新制御部
480 出現領域定義部
490 被写体検出部
500,900 被写体検出装置
510 画像取得部
520 抽出部
530 フィルタリング部
540 確率分布算出部
541 補間演算部
551 第1の統合部
552 第2の統合部
560 出力部
570 更新制御部
580 出現領域定義部
590 被写体検出部
60,61 画像
63 画角
631,632,633,641,642 撮影画角
65 画角
651,652,653 出現領域
66,67,68 頭部
70 テーブル
840 第2の確率分布算出部
841 第2の補間演算部
880 第2の抽出部
890 第2の判定部
940 第2の確率分布算出部
941 第2の補間演算部
980 第2の抽出部
990 第2の判定部

Claims (25)

  1. 固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、該複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築する確率分布構築方法であって、
    前記カメラから前記複数枚の画像を取得する画像取得ステップと、
    前記画像取得ステップで取得した複数枚の画像から、前記特定種類の被写体に類似した類被写体を、該類被写体の寸法と当該カメラの画角上の位置情報とを伴って抽出する抽出ステップと、
    前記抽出ステップで抽出された被写体のうちの少なくとも一部の被写体の寸法の出現確率分布を算出する確率分布算出ステップと
    前記抽出ステップで抽出された類被写体が前記特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出するフィルタリングステップであって、前記抽出ステップで抽出された類被写体それぞれについて、画角内の当該類被写体の周囲に広がる所定寸法のサーチ領域内における、当該類被写体と同一寸法に分類された他の類被写体の個数を計数し、該計数値が閾値以上の場合にのみ当該類被写体を前記特定種類の被写体として抽出するフィルタリングステップとを有し、
    前記確率分布算出ステップが、前記フィルタリングステップで抽出された被写体の寸法の出現確率分布を算出するステップであることを特徴とする確率分布構築方法。
  2. 前記確率分布算出ステップが、特定種類の被写体の1つの寸法に対する、該寸法の被写体が画角内の各位置に出現する出現位置確率分布を、該特定種類の被写体の複数の寸法それぞれについて算出するステップであることを特徴とする請求項1記載の確率分布構築方法。
  3. 前記確率分布算出ステップが、所定寸法の被写体の出現位置確率分布を、該寸法とは異なる寸法の被写体の出現位置確率分布から補間演算により算出するステップを含むものであることを特徴とする請求項2記載の確率分布構築方法。
  4. 前記確率分布算出ステップが、画角内の1つの位置に対する、該位置に出現する被写体の出現寸法確率分布を、画角内の複数の位置それぞれについて算出するステップであることを特徴とする請求項1記載の確率分布構築方法。
  5. 前記確率分布算出ステップが、画角内の所定位置における出現寸法確率分布を、該位置とは異なる位置における出現寸法確率分布から補間演算により算出するステップを含むものであることを特徴とする請求項4記載の確率分布構築方法。
  6. 前記抽出ステップが、前記類被写体を抽出するにあたり、該類被写体が抽出対象の被写体である可能性の程度を表す評価値を求め、抽出対象の被写体の、抽出からの洩れを許容して設定された閾値よりも抽出対象の被写体である可能性がさらに高いことを表す評価値が得られた類被写体のみを抽出するステップであることを特徴とする請求項1記載の確率分布構築方法。
  7. 前記カメラが、撮影方向の変更が可能なカメラであって、
    複数の撮影方向それぞれでの撮影で得られた出現確率分布を統合することにより、該複数の撮影方向の画角を繋げた画角内の出現確率分布を構築する統合ステップをさらに有することを特徴とする請求項1記載の確率分布構築方法。
  8. 前記カメラが、焦点距離可変なカメラであって、
    複数の焦点距離それぞれでの撮影で得られた出現確率分布を統合することにより、前記カメラの最広角の画角内の出現確率分布を構築する統合ステップをさらに有することを特徴とする請求項1記載の確率分布構築方法。
  9. 固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、該複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築する確率分布構築装置であって、
    前記カメラから前記複数枚の画像を取得する画像取得部と、
    前記画像取得部で取得した複数枚の画像から、前記特定種類の被写体に類似した類被写体を、該類被写体の寸法と当該カメラの画角上の位置情報とを伴って抽出する抽出部と、
    前記抽出部で抽出された被写体のうちの全部または一部の被写体の寸法の出現確率分布を算出する確率分布算出部と
    前記抽出部で抽出された類被写体が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出するフィルタリング部であって、前記抽出部で抽出された類被写体それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における、当該類被写体と同一寸法に分類された他の類被写体の個数を計数し、該計数値が閾値以上の場合にのみ当該類被写体を前記特定種類の被写体として抽出するフィルタリング部とを有し、
    前記確率分布算出部が、前記フィルタリング部で抽出された被写体の寸法の出現確率分布を算出するものであることを特徴とする確率分布構築装置。
  10. 前記確率分布算出部が、特定種類の被写体の1つの寸法に対する、該寸法の被写体が画角内の各位置に出現する出現位置確率分布を、該特定種類の被写体の複数の寸法それぞれについて算出するものであることを特徴とする請求項9記載の確率分布構築装置。
  11. 前記確率分布算出部が、所定寸法の被写体の出現位置確率分布を、該寸法とは異なる寸法の被写体の出現位置確率分布から補間演算により算出する補間演算部を含むものであることを特徴とする請求項10記載の確率分布構築装置。
  12. 前記確率分布算出部が、画角内の1つの位置に対する、該位置に出現する被写体の出現寸法確率分布を、画角内の複数の位置それぞれについて算出するものであることを特徴とする請求項9記載の確率分布構築装置。
  13. 前記確率分布算出部が、画角内の所定位置における出現寸法確率分布を、該位置とは異なる位置における出現寸法確率分布から補間演算により算出する補間演算部を含むものであることを特徴とする請求項12記載の確率分布構築装置。
  14. 前記抽出部が、前記類被写体を抽出するにあたり、該類被写体が抽出対象の被写体である可能性の程度を表す評価値を求め、抽出対象の被写体の、抽出からの洩れを許容して設定された閾値よりも抽出対象の被写体である可能性がさらに高いことを表す評価値が得られた類被写体のみを抽出するものであることを特徴とする請求項9記載の確率分布構築装置。
  15. 前記カメラが、撮影方向の変更が可能なカメラであって、
    複数の撮影方向それぞれでの撮影で得られた出現確率分布を統合することにより、該複数の撮影方向の画角を繋げた画角内の出現確率分布を構築する統合部をさらに備えたことを特徴とする請求項9記載の確率分布構築装置。
  16. 前記カメラが、焦点距離可変なカメラであって、
    複数の焦点距離それぞれでの撮影で得られた出現確率分布を統合することにより、前記カメラの最広角の画角内の出現確率分布を構築する統合部をさらに備えたことを特徴とする請求項9記載の確率分布構築装置。
  17. 前記確率分布算出部で算出された出現確率分布を出力する出力部をさらに備えたことを特徴とする請求項9記載の確率分布構築装置。
  18. 前記出現確率分布が一旦構築された後においても、前記画像取得部に画像を取得させ、新たに取得した画像について、前記抽出部を作用させて、前記確率分布算出部に、該新たな画像から抽出した被写体の情報を新たに加えて前記出現確率分布を更新させる更新制御部を備えたえたことを特徴とする請求項9記載の確率分布構築装置。
  19. コンピュータ内で実行され、該コンピュータを、固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、該複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築する確率分布構築装置として動作させる確率分布構築プログラムであって、
    前記コンピュータを、
    前記カメラから前記複数枚の画像を取得する画像取得部と、
    前記画像取得部で取得した複数枚の画像から、前記特定種類の被写体に類似した類被写体を、該類被写体の寸法と当該カメラの画角上の位置情報とを伴って抽出する抽出部と、
    前記抽出部で抽出された被写体のうちの全部または一部の被写体の寸法の出現確率分布を算出する確率分布算出部
    前記抽出部で抽出された類被写体が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出するフィルタリング部であって、前記抽出部で抽出された類被写体それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における、当該類被写体と同一寸法に分類された他の類被写体の個数を計数し、該計数値が閾値以上の場合にのみ当該類被写体を前記特定種類の被写体として抽出するフィルタリング部とを有し、
    前記確率分布算出部が、前記フィルタリング部で抽出された被写体の寸法の出現確率分布を算出するものである確率分布構築装置として動作させることを特徴とする確率分布構築プログラム。
  20. 請求項1から請求項のうちのいずれか1項記載の確率分布構築方法に加え、さらに、
    確率分布算出ステップで算出された出現確率分布に基づいて、前記カメラの画角内の、前記特定種類の被写体の該画角内に出現する寸法ごとの出現領域を定義する出現領域定義ステップと、
    前記カメラでの新たな撮影により得られた画像中の、前記寸法に応じた出現領域内から、該寸法の類被写体として現れた前記特定種類の被写体を検出する被写体検出ステップとを有することを特徴とする被写体検出方法。
  21. 固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、該複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築する確率分布構築方法であって、
    前記カメラから前記複数枚の画像を取得する画像取得ステップと、
    前記画像取得ステップで取得した複数枚の画像から、前記特定種類の被写体に類似した類被写体を、該類被写体の寸法と当該カメラの画角上の位置情報とを伴って抽出する抽出ステップと、
    前記抽出ステップで抽出された被写体のうちの少なくとも一部の被写体の寸法の出現確率分布を算出する確率分布算出ステップとを有する確率分布構築方法に加え、さらに、
    前記カメラでの新たな撮影により得られた画像の中から、前記特定種類の被写体に類似した類被写体を、該類被写体の寸法と、当該カメラの画角上の位置情報と、さらに該類被写体が該特定種類の被写体である確率を表す評価値とを伴って抽出する第2の抽出ステップと、
    前記第2の抽出ステップで抽出された類被写体の寸法、位置情報、および評価値と、前記確率分布算出ステップで算出された出現確率分布とに基づいて該評価値を修正し、修正された評価値に基づいて該類被写体形状が前記特定種類の被写体であるか否かを判定する第2の判定ステップとを有することを特徴とする被写体検出方法。
  22. 請求項から請求項18のうちのいずれか1項記載の確率分布構築装置を備えるとともに、さらに、
    確率分布算出部で算出された出現確率分布に基づいて、前記カメラの画角内の、前記特定種類の被写体の該画角内に出現する寸法ごとの出現領域を定義する出現領域定義部と、
    前記カメラでの新たな撮影により得られた画像中の、前記寸法に応じた出現領域内から、該寸法の類被写体として現れた前記特定種類の被写体を検出する被写体検出部とを備えたことを特徴とする被写体検出装置。
  23. 固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、該複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築する確率分布構築装置であって、
    前記カメラから前記複数枚の画像を取得する画像取得部と、
    前記画像取得部で取得した複数枚の画像から、前記特定種類の被写体に類似した類被写体を、該類被写体の寸法と当該カメラの画角上の位置情報とを伴って抽出する抽出部と、
    前記抽出部で抽出された被写体のうちの全部または一部の被写体の寸法の出現確率分布を算出する確率分布算出部とを備えた確率分布構築装置を備えるとともに、さらに、
    前記カメラでの新たな撮影により得られた画像の中から、前記特定種類の被写体に類似した類被写体を、該類被写体の寸法と、当該カメラの画角上の位置情報と、さらに該類被写体が該特定種類の被写体である確率を表す評価値とを伴って抽出する第2の抽出部と、
    前記第2の抽出部で抽出された類被写体の寸法、位置情報、および評価値と、前記確率分布算出部で算出された出現確率分布とに基づいて該評価値を修正し、修正された評価値に基づいて該類被写体が前記特定種類の被写体であるか否かを判定する第2の判定部とを備えたことを特徴とする被写体検出装置。
  24. 請求項19記載の確率分布構築プログラムを有するとともに、前記コンピュータを、さらに、
    確率分布算出部で算出された出現確率分布に基づいて、前記カメラの画角内の、前記特定種類の被写体の該画角内に出現する寸法ごとの出現領域を定義する出現領域定義部と、
    前記カメラでの新たな撮影により得られた画像中の、前記寸法に応じた出現領域内から、該寸法の類被写体として現れた前記特定種類の被写体を検出する被写体検出部とを有する被写体検出装置として動作させることを特徴とする被写体検出プログラム。
  25. コンピュータ内で実行され、該コンピュータを、固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、該複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の寸法の出現確率分布を構築する確率分布構築装置として動作させる確率分布構築プログラムであって、
    前記コンピュータを、
    前記カメラから前記複数枚の画像を取得する画像取得部と、
    前記画像取得部で取得した複数枚の画像から、前記特定種類の被写体に類似した類被写体を、該類被写体の寸法と当該カメラの画角上の位置情報とを伴って抽出する抽出部と、
    前記抽出部で抽出された被写体のうちの全部または一部の被写体の寸法の出現確率分布を算出する確率分布算出部と
    前記抽出部で抽出された類被写体が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出するフィルタリング部であって、前記抽出部で抽出された類被写体それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における、当該類被写体と同一寸法に分類された他の類被写体の個数を計数し、該計数値が閾値以上の場合にのみ当該類被写体を前記特定種類の被写体として抽出するフィルタリング部とを有し、
    前記確率分布算出部が、前記フィルタリング部で抽出された被写体の寸法の出現確率分布を算出するものである確率分布構築装置として動作させる確率分布構築プログラムを有するとともに、前記コンピュータを、さらに、
    前記カメラでの新たな撮影により得られた画像の中から、前記特定種類の被写体に類似した類被写体を、該類被写体の寸法と、当該カメラの画角上の位置情報と、さらに該類被写体が該特定種類の被写体である確率を表す評価値とを伴って抽出する第2の抽出部と、
    前記第2の抽出部で抽出された類被写体の寸法、位置情報、および評価値と、前記確率分布算出部で算出された出現確率分布とに基づいて該評価値を修正し、修正された評価値に基づいて該類被写体が前記特定種類の被写体であるか否かを判定する第2の判定部とを有する被写体検出装置として動作させることを特徴とする被写体検出プログラム。
JP2008091562A 2008-03-31 2008-03-31 確率分布構築方法、確率分布構築装置、および確率分布構築プログラム、並びに被写体検出方法、被写体検出装置、および被写体検出プログラム Active JP5096211B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008091562A JP5096211B2 (ja) 2008-03-31 2008-03-31 確率分布構築方法、確率分布構築装置、および確率分布構築プログラム、並びに被写体検出方法、被写体検出装置、および被写体検出プログラム
US12/414,301 US8284292B2 (en) 2008-03-31 2009-03-30 Probability distribution constructing method, probability distribution constructing apparatus, storage medium of probability distribution constructing program, subject detecting method, subject detecting apparatus, and storage medium of subject detecting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008091562A JP5096211B2 (ja) 2008-03-31 2008-03-31 確率分布構築方法、確率分布構築装置、および確率分布構築プログラム、並びに被写体検出方法、被写体検出装置、および被写体検出プログラム

Publications (3)

Publication Number Publication Date
JP2009245207A JP2009245207A (ja) 2009-10-22
JP2009245207A5 JP2009245207A5 (ja) 2010-09-09
JP5096211B2 true JP5096211B2 (ja) 2012-12-12

Family

ID=41117272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008091562A Active JP5096211B2 (ja) 2008-03-31 2008-03-31 確率分布構築方法、確率分布構築装置、および確率分布構築プログラム、並びに被写体検出方法、被写体検出装置、および被写体検出プログラム

Country Status (2)

Country Link
US (1) US8284292B2 (ja)
JP (1) JP5096211B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255517B2 (en) 2014-03-27 2019-04-09 Canon Kabushiki Kaisha Information processing apparatus and information processing method

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009049979A (ja) 2007-07-20 2009-03-05 Fujifilm Corp 画像処理装置、画像処理方法、画像処理システム、及びプログラム
EP2179589A4 (en) 2007-07-20 2010-12-01 Fujifilm Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
JP5087459B2 (ja) * 2008-04-10 2012-12-05 富士フイルム株式会社 背景領域認識方法、背景領域認識装置、および背景領域認識プログラム
US10152533B2 (en) * 2012-10-18 2018-12-11 Thomson Reuters Global Resources Unlimited Company System, method and interface for providing a search result using segment constraints
JP6524910B2 (ja) * 2013-10-01 2019-06-05 日本電気株式会社 物体検出装置、物体検出方法および学習装置
US10593007B1 (en) 2015-06-11 2020-03-17 Digimarc Corporation Methods and arrangements for configuring industrial inspection systems
JP2017054337A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3637360B2 (ja) 2001-12-17 2005-04-13 株式会社シーイーシー 監視カメラシステム及びこれを用いた情報提供システム
JP3810755B2 (ja) 2003-03-28 2006-08-16 株式会社エヌ・ティ・ティ・データ 位置判別装置、移動経路算出装置、位置判別方法およびプログラム
JP4789526B2 (ja) * 2005-07-13 2011-10-12 キヤノン株式会社 画像処理装置、画像処理方法
JP2007025902A (ja) * 2005-07-13 2007-02-01 Canon Inc 画像処理装置、画像処理方法
JP4874607B2 (ja) * 2005-09-12 2012-02-15 三菱電機株式会社 物体測位装置
JP4712563B2 (ja) 2006-01-16 2011-06-29 富士フイルム株式会社 顔検出方法および装置並びにプログラム
JP4532419B2 (ja) * 2006-02-22 2010-08-25 富士フイルム株式会社 特徴点検出方法および装置並びにプログラム
US8009193B2 (en) * 2006-06-05 2011-08-30 Fuji Xerox Co., Ltd. Unusual event detection via collaborative video mining
JP4928193B2 (ja) * 2006-08-16 2012-05-09 日本放送協会 顔画像認識装置及び顔画像認識プログラム
JP2008134939A (ja) * 2006-11-29 2008-06-12 Nippon Telegr & Teleph Corp <Ntt> 動体追跡装置,動体追跡方法,その方法を記述した動体追跡プログラム及びそのプログラムを格納した記録媒体
JP4960442B2 (ja) * 2007-04-16 2012-06-27 パイオニア株式会社 アップショット検出装置及び方法、電子機器、並びにコンピュータプログラム
JP4881272B2 (ja) * 2007-10-03 2012-02-22 日本放送協会 顔画像検出装置、顔画像検出方法、及び顔画像検出プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255517B2 (en) 2014-03-27 2019-04-09 Canon Kabushiki Kaisha Information processing apparatus and information processing method

Also Published As

Publication number Publication date
JP2009245207A (ja) 2009-10-22
US8284292B2 (en) 2012-10-09
US20090245579A1 (en) 2009-10-01

Similar Documents

Publication Publication Date Title
JP5096211B2 (ja) 確率分布構築方法、確率分布構築装置、および確率分布構築プログラム、並びに被写体検出方法、被写体検出装置、および被写体検出プログラム
JP4886723B2 (ja) 類半円検出装置および類半円検出プログラム
JP6503070B2 (ja) 携帯型デバイスの位置を決定するための方法
CN109492551B (zh) 活体检测方法、装置及应用活体检测方法的相关系统
JP6355052B2 (ja) 撮像装置、画像処理装置、撮像方法および記録媒体
CN106650662B (zh) 目标对象遮挡检测方法及装置
US7554575B2 (en) Fast imaging system calibration
CN105306813B (zh) 图像处理装置及图像处理方法
US10783351B2 (en) System and method for sensing facial gesture
JPWO2018047687A1 (ja) 三次元モデル生成装置及び三次元モデル生成方法
JP5722381B2 (ja) ビデオ解析
KR102476016B1 (ko) 안구 위치 정보 확정 방법 및 장치
JP2004227160A (ja) 侵入物体検出装置
US20160210761A1 (en) 3d reconstruction
JP4288428B2 (ja) 映像解析システムおよび映像解析方法
JP7255173B2 (ja) 人検出装置および人検出方法
JP5027758B2 (ja) 画像監視装置
JP6749498B2 (ja) 撮影対象追跡装置及び撮影対象追跡方法
KR101868740B1 (ko) 파노라마 이미지 생성 방법 및 장치
WO2022227462A1 (zh) 定位方法、装置、电子设备及存储介质
JPWO2012056610A1 (ja) コンテンツシーン判定装置
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
JP2012124658A (ja) 特定人物検知システムおよび検知方法
US20100014760A1 (en) Information Extracting Method, Registration Device, Verification Device, and Program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120920

R150 Certificate of patent or registration of utility model

Ref document number: 5096211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250