JP7034690B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7034690B2 JP7034690B2 JP2017233227A JP2017233227A JP7034690B2 JP 7034690 B2 JP7034690 B2 JP 7034690B2 JP 2017233227 A JP2017233227 A JP 2017233227A JP 2017233227 A JP2017233227 A JP 2017233227A JP 7034690 B2 JP7034690 B2 JP 7034690B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- region
- detection
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
人物や車等の特定の被写体を画像特徴に基づいて撮像画像から検出する技術が知られている。しかし、この技術では被写体となる物体の撮像角度次第で検出精度が低下することが知られている。これは、被写体となる物体の画像特徴が撮像角度によって変化するためである。
ところで、一般に画像特徴に基づく被写体の検出技術では、被写体となる物体の撮像角度が小さい程、検出精度が向上する傾向にある。これは、撮像角度が小さな撮像画像に映る被写体を、学習データとして画像特徴を生成しているからである。仮に、撮像角度が大きな撮像画像に映る被写体を学習データとして用いることにより、撮像角度が大きな場合でも、検出精度の低下なく被写体の検出が可能になる。しかしながら、撮像角度が大きな撮像画像に映る被写体の画像は数が少なく、収集が困難である。そのため、多くの画像特徴に基づく被写体の検出技術において、撮像角度が大きな撮像画像に映る被写体の検出は不得手である。
このように、画像特徴に基づく被写体の検出技術には、撮像画像中の領域において、被写体の検出の得手不得手が存在する。特許文献１には、被写体の検出が得意な領域を画像上に重畳表示する方法が開示されている。
ところで、一般に画像特徴に基づく被写体の検出技術では、被写体となる物体の撮像角度が小さい程、検出精度が向上する傾向にある。これは、撮像角度が小さな撮像画像に映る被写体を、学習データとして画像特徴を生成しているからである。仮に、撮像角度が大きな撮像画像に映る被写体を学習データとして用いることにより、撮像角度が大きな場合でも、検出精度の低下なく被写体の検出が可能になる。しかしながら、撮像角度が大きな撮像画像に映る被写体の画像は数が少なく、収集が困難である。そのため、多くの画像特徴に基づく被写体の検出技術において、撮像角度が大きな撮像画像に映る被写体の検出は不得手である。
このように、画像特徴に基づく被写体の検出技術には、撮像画像中の領域において、被写体の検出の得手不得手が存在する。特許文献１には、被写体の検出が得意な領域を画像上に重畳表示する方法が開示されている。
しかしながら、特許文献１に開示された従来技術では、被写体の検出が得意な領域を画像上に重畳表示するのみであり、被写体の検出が不得手な領域において、被写体の検出精度が低下したままである。
本発明の情報処理装置は、撮像画像を取得する取得手段と、前記撮像画像の画像特徴に基づく被写体検出を行う第１の領域に対する画像特徴に基づく第１の被写体検出処理の検出結果と、前記第１の領域以外の第２の領域に対する画像特徴以外に基づく第２の被写体検出処理の検出結果と、を出力する出力手段と、を有し、前記第１の領域は、環状であり、円形である前記第２の領域を囲むことを特徴とする。
本発明によれば、被写体の検出精度を向上させることができる。
以下、本発明の実施形態について図面に基づいて説明する。
＜実施形態１＞
本実施形態では、被写体検出システム（以下、システムという）は、撮像画像を画像特徴に基づく被写体検出を行う領域と画像特徴以外に基づく被写体検出を行う領域とに分割する。その後、システムは、分割した領域それぞれに対応する被写体検出を行い、検出結果を出力する。以下、本実施形態における情報処理の流れを説明する。
図１は、システムのシステム構成の一例を示す図である。
本実施形態のシステムは、撮像装置１１０、クライアント装置１２０を含む。撮像装置１１０、クライアント装置１２０は、ネットワーク１５０を介して、相互に通信可能に接続されている。クライアント装置１２０は、入力装置１３０と表示装置１４０とに接続されている。クライアント装置１２０は、情報処理装置の一例である。
撮像装置１１０は、撮像を行うネットワークカメラ等の撮像装置である。クライアント装置１２０は、撮像装置１１０の駆動、撮像画像の取得、取得した画像に対しての動体の検出、マスクの重畳等を行うパーソナルコンピュータ、サーバ装置、タブレット装置等の情報処理装置である。入力装置１３０は、マウスやキーボード等から構成される入力装置である。表示装置１４０は、クライアント装置１２０が出力した画像を表示するモニタ等の表示装置である。本実施形態では、クライアント装置１２０と入力装置１３０と表示装置１４０とは、各々独立した装置とする。しかし、例えば、クライアント装置１２０と表示装置１４０とが、一体化されていてもよいし、入力装置１３０と表示装置１４０とが一体化されていてもよい。また、クライアント装置１２０と入力装置１３０と表示装置１４０とが、一体化されていてもよい。
ネットワーク１５０は、撮像装置１１０とクライアント装置１２０とを接続するネットワークである。ネットワーク１５０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク１５０は、撮像装置１１０とクライアント装置１２０との間の通信を行うことができるものであればよく、その通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。
本実施形態では、被写体検出システム（以下、システムという）は、撮像画像を画像特徴に基づく被写体検出を行う領域と画像特徴以外に基づく被写体検出を行う領域とに分割する。その後、システムは、分割した領域それぞれに対応する被写体検出を行い、検出結果を出力する。以下、本実施形態における情報処理の流れを説明する。
図１は、システムのシステム構成の一例を示す図である。
本実施形態のシステムは、撮像装置１１０、クライアント装置１２０を含む。撮像装置１１０、クライアント装置１２０は、ネットワーク１５０を介して、相互に通信可能に接続されている。クライアント装置１２０は、入力装置１３０と表示装置１４０とに接続されている。クライアント装置１２０は、情報処理装置の一例である。
撮像装置１１０は、撮像を行うネットワークカメラ等の撮像装置である。クライアント装置１２０は、撮像装置１１０の駆動、撮像画像の取得、取得した画像に対しての動体の検出、マスクの重畳等を行うパーソナルコンピュータ、サーバ装置、タブレット装置等の情報処理装置である。入力装置１３０は、マウスやキーボード等から構成される入力装置である。表示装置１４０は、クライアント装置１２０が出力した画像を表示するモニタ等の表示装置である。本実施形態では、クライアント装置１２０と入力装置１３０と表示装置１４０とは、各々独立した装置とする。しかし、例えば、クライアント装置１２０と表示装置１４０とが、一体化されていてもよいし、入力装置１３０と表示装置１４０とが一体化されていてもよい。また、クライアント装置１２０と入力装置１３０と表示装置１４０とが、一体化されていてもよい。
ネットワーク１５０は、撮像装置１１０とクライアント装置１２０とを接続するネットワークである。ネットワーク１５０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク１５０は、撮像装置１１０とクライアント装置１２０との間の通信を行うことができるものであればよく、その通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。
図２（ａ）は、撮像装置１１０のハードウェア構成の一例を示す図である。
撮像装置１１０は、ハードウェア構成として、ＣＰＵ２１１、主記憶装置２１２、補助記憶装置２１３、駆動部２１４、撮像部２１５、ネットワークＩ／Ｆ２１６を含む。各要素は、システムバス２１７を介して、相互に通信可能に接続されている。
ＣＰＵ２１１は、撮像装置１１０の動作を制御する中央演算装置である。主記憶装置２１２は、ＣＰＵ２１１のワークエリア、データの一時的な記憶場所として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶装置である。補助記憶装置２１３は、各種プログラム、各種設定データ等を記憶するＨＤＤ（ハードディスクドライブ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（ソリッドステートドライブ）等の記憶装置である。
駆動部２１４は、撮像装置１１０を駆動し、撮像装置１１０の姿勢等を変更させ、撮像部２１５の撮影方向及び画角を変更する駆動部である。撮像部２１５は、撮像素子と光学系とを有し、光学系の光軸と撮像素子との交点を撮像中心として被写体の像を撮像素子上に結像する撮像部である。撮像素子には、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等がある。ネットワークＩ／Ｆ２１６は、クライアント装置１２０等の外部の装置とのネットワーク１５０を介した通信に利用されるインターフェースである。
ＣＰＵ２１１が、補助記憶装置２１３に記憶されたプログラムに基づき処理を実行することによって、図３（ａ）で後述する撮像装置１１０の機能及び撮像装置１１０の処理が実現される。
撮像装置１１０は、ハードウェア構成として、ＣＰＵ２１１、主記憶装置２１２、補助記憶装置２１３、駆動部２１４、撮像部２１５、ネットワークＩ／Ｆ２１６を含む。各要素は、システムバス２１７を介して、相互に通信可能に接続されている。
ＣＰＵ２１１は、撮像装置１１０の動作を制御する中央演算装置である。主記憶装置２１２は、ＣＰＵ２１１のワークエリア、データの一時的な記憶場所として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶装置である。補助記憶装置２１３は、各種プログラム、各種設定データ等を記憶するＨＤＤ（ハードディスクドライブ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（ソリッドステートドライブ）等の記憶装置である。
駆動部２１４は、撮像装置１１０を駆動し、撮像装置１１０の姿勢等を変更させ、撮像部２１５の撮影方向及び画角を変更する駆動部である。撮像部２１５は、撮像素子と光学系とを有し、光学系の光軸と撮像素子との交点を撮像中心として被写体の像を撮像素子上に結像する撮像部である。撮像素子には、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等がある。ネットワークＩ／Ｆ２１６は、クライアント装置１２０等の外部の装置とのネットワーク１５０を介した通信に利用されるインターフェースである。
ＣＰＵ２１１が、補助記憶装置２１３に記憶されたプログラムに基づき処理を実行することによって、図３（ａ）で後述する撮像装置１１０の機能及び撮像装置１１０の処理が実現される。
図２（ｂ）は、クライアント装置１２０のハードウェア構成の一例を示す図である。
クライアント装置１２０は、ハードウェア構成として、ＣＰＵ２２１、主記憶装置２２２、補助記憶装置２２３、入力Ｉ／Ｆ２２４、出力Ｉ／Ｆ２２５、ネットワークＩ／Ｆ２２６を含む。各要素は、システムバス２２７を介して、相互に通信可能に接続されている。
ＣＰＵ２２１は、クライアント装置１２０の動作を制御する中央演算装置である。主記憶装置２２２は、ＣＰＵ２２１のワークエリア、データの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。補助記憶装置２２３は、各種プログラム、各種設定データ等を記憶するＨＤＤ、ＲＯＭ、ＳＳＤ等の記憶装置である。
入力Ｉ／Ｆ２２４は、入力装置１３０等からの入力を受付ける際に利用されるインターフェースである。出力Ｉ／Ｆ２２５は、表示装置１４０等への情報の出力に利用されるインターフェースである。ネットワークＩ／Ｆ２１６は、撮像装置１１０等の外部の装置とのネットワーク１５０を介した通信に利用されるインターフェースである。
ＣＰＵ２２１が、補助記憶装置２２３に記憶されたプログラムに基づき処理を実行することによって、図３（ｂ）で後述するクライアント装置１２０の機能及び図４、図７で後述するフローチャートの処理等のクライアント装置１２０の処理が実現される。
クライアント装置１２０は、ハードウェア構成として、ＣＰＵ２２１、主記憶装置２２２、補助記憶装置２２３、入力Ｉ／Ｆ２２４、出力Ｉ／Ｆ２２５、ネットワークＩ／Ｆ２２６を含む。各要素は、システムバス２２７を介して、相互に通信可能に接続されている。
ＣＰＵ２２１は、クライアント装置１２０の動作を制御する中央演算装置である。主記憶装置２２２は、ＣＰＵ２２１のワークエリア、データの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。補助記憶装置２２３は、各種プログラム、各種設定データ等を記憶するＨＤＤ、ＲＯＭ、ＳＳＤ等の記憶装置である。
入力Ｉ／Ｆ２２４は、入力装置１３０等からの入力を受付ける際に利用されるインターフェースである。出力Ｉ／Ｆ２２５は、表示装置１４０等への情報の出力に利用されるインターフェースである。ネットワークＩ／Ｆ２１６は、撮像装置１１０等の外部の装置とのネットワーク１５０を介した通信に利用されるインターフェースである。
ＣＰＵ２２１が、補助記憶装置２２３に記憶されたプログラムに基づき処理を実行することによって、図３（ｂ）で後述するクライアント装置１２０の機能及び図４、図７で後述するフローチャートの処理等のクライアント装置１２０の処理が実現される。
図３（ａ）は、撮像装置１１０の機能構成の一例を示す図である。
撮像装置１１０は、機能構成として、撮像制御部３１１、信号処理部３１２、駆動制御部３１３、通信制御部３１４を含む。
撮像制御部３１１は、撮像部２１５を介して、周囲の環境を撮影する。信号処理部３１２は、撮像制御部３１１によって撮影された画像の処理を行う。例えば、信号処理部３１２は、撮像制御部３１１によって撮影された画像の符号化を行う。静止画の場合、信号処理部３１２は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の符号化方式を用いて、画像の符号化を行う。また、動画の場合、信号処理部３１２は、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式）等の符号化方式を用いて、画像の符号化を行う。また、例えば信号処理部３１２は、予め設定された複数の符号化方式の中から、撮像装置１１０の操作部を介してユーザーにより選択された符号化方式を用いて、画像の符号化を行うようにしてもよい。
駆動制御部３１３は、駆動部２１４を介して、撮像制御部３１１の撮影方向及び画角を変更させる制御を行う。しかし、駆動制御部３１３は、撮像制御部３１１による撮影方向と画角とのうちの何れか１つを変更することとしてもよい。また、撮像制御部３１１の撮影方向及び画角は、固定であってもよい。通信制御部３１４は、信号処理部３１２により処理された撮像制御部３１１により撮影された画像を、ネットワークＩ／Ｆ２１６を介して、クライアント装置１２０に送信する。また、通信制御部３１４は、ネットワークＩ／Ｆ２１６を介して、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。
撮像装置１１０は、機能構成として、撮像制御部３１１、信号処理部３１２、駆動制御部３１３、通信制御部３１４を含む。
撮像制御部３１１は、撮像部２１５を介して、周囲の環境を撮影する。信号処理部３１２は、撮像制御部３１１によって撮影された画像の処理を行う。例えば、信号処理部３１２は、撮像制御部３１１によって撮影された画像の符号化を行う。静止画の場合、信号処理部３１２は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の符号化方式を用いて、画像の符号化を行う。また、動画の場合、信号処理部３１２は、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式）等の符号化方式を用いて、画像の符号化を行う。また、例えば信号処理部３１２は、予め設定された複数の符号化方式の中から、撮像装置１１０の操作部を介してユーザーにより選択された符号化方式を用いて、画像の符号化を行うようにしてもよい。
駆動制御部３１３は、駆動部２１４を介して、撮像制御部３１１の撮影方向及び画角を変更させる制御を行う。しかし、駆動制御部３１３は、撮像制御部３１１による撮影方向と画角とのうちの何れか１つを変更することとしてもよい。また、撮像制御部３１１の撮影方向及び画角は、固定であってもよい。通信制御部３１４は、信号処理部３１２により処理された撮像制御部３１１により撮影された画像を、ネットワークＩ／Ｆ２１６を介して、クライアント装置１２０に送信する。また、通信制御部３１４は、ネットワークＩ／Ｆ２１６を介して、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。
図３（ｂ）は、クライアント装置１２０の機能構成の一例を示す図である。
クライアント装置１２０は、機能構成として、入力情報取得部３２１、通信制御部３２２、画像取得部３２３、検出部３２４、評価部３２５、描画部３２６、表示制御部３２７を含む。
入力情報取得部３２１は、入力装置１３０を介したユーザーによる入力を受け付ける。通信制御部３２２は、撮像装置１１０から送信された画像を、ネットワーク１５０を介して受信する。また、通信制御部３２２は、撮像装置１１０への制御命令を、ネットワーク１５０を介して送信する。画像取得部３２３は、通信制御部３２２を介して、撮像装置１１０から、撮像装置１１０により撮影された画像を、被写体の検出処理の対象である画像として取得する。また、画像取得部３２３は、補助記憶装置２２３に記憶されている画像を、被写体の検出処理の対象である画像として取得してもよい。
評価部３２５は、画像取得部３２３により取得された画像の領域に対して、画像特徴に基づく被写体検出を行う領域か、画像特徴以外に基づいて被写体検出を行う領域かを判定する。検出部３２４は、画像取得部３２３により取得された画像に対して、画像特徴に基づく被写体の検出処理、及び画像特徴以外に基づく被写体検出を行う。描画部３２６は、検出部３２４で検出された被写体を撮像画像上に重畳する。表示制御部３２７は、被写体の検出結果が重畳された撮像画像を表示装置１４０へ出力する。
クライアント装置１２０は、機能構成として、入力情報取得部３２１、通信制御部３２２、画像取得部３２３、検出部３２４、評価部３２５、描画部３２６、表示制御部３２７を含む。
入力情報取得部３２１は、入力装置１３０を介したユーザーによる入力を受け付ける。通信制御部３２２は、撮像装置１１０から送信された画像を、ネットワーク１５０を介して受信する。また、通信制御部３２２は、撮像装置１１０への制御命令を、ネットワーク１５０を介して送信する。画像取得部３２３は、通信制御部３２２を介して、撮像装置１１０から、撮像装置１１０により撮影された画像を、被写体の検出処理の対象である画像として取得する。また、画像取得部３２３は、補助記憶装置２２３に記憶されている画像を、被写体の検出処理の対象である画像として取得してもよい。
評価部３２５は、画像取得部３２３により取得された画像の領域に対して、画像特徴に基づく被写体検出を行う領域か、画像特徴以外に基づいて被写体検出を行う領域かを判定する。検出部３２４は、画像取得部３２３により取得された画像に対して、画像特徴に基づく被写体の検出処理、及び画像特徴以外に基づく被写体検出を行う。描画部３２６は、検出部３２４で検出された被写体を撮像画像上に重畳する。表示制御部３２７は、被写体の検出結果が重畳された撮像画像を表示装置１４０へ出力する。
図４は、実施形態１の被写体の検出処理の一例を示すフローチャートである。図４を用いて、クライアント装置１２０が画像を取得し、取得した画像中の被写体を検出し、検出結果が重畳された画像を出力する処理を説明する。
Ｓ４００において、画像取得部３２３は、通信制御部３２２を介して、撮像装置１１０から、撮像装置１１０により撮影された画像を取得する。以下では、Ｓ４００で取得された撮像装置１１０により撮影された画像を、撮像画像とする。
図５は、撮像装置１１０により撮影された撮像画像の一例を示す図である。撮像画像５００は、撮像装置１１０により撮影された、撮像画像を示す。被写体５０１～５０３は、撮像画像５００中の環境において、検出対象である被写体を表す。また、境界５０４は後述する、画像特徴に基づく被写体検出が可能な領域とそれ以外の領域との境界を表す。本実施形態では、撮像画像５００は可視角が１８０度の撮像装置を用いて撮像された画像とするが、この限りではない。撮像画像５００は可視角が１８０度以外の撮像装置を用いて撮像された画像であってもよい。
本実施形態では、クライアント装置１２０は、撮像装置１１０からリアルタイムで撮影されたライブ映像を受信して、受信したライブ映像（動画）の各フレームに対し図４の処理を行う。しかしながら、例えば、クライアント装置１２０は、撮像装置１１０内の補助記憶装置２１３に記憶されている静止画、又は動画の各フレームに対して図４の処理を行ってもよい。また、クライアント装置１２０は、クライアント装置１２０内の補助記憶装置２２３に記憶されている静止画、又は動画の各フレームに対して図４の処理を行ってもよい。また、クライアント装置１２０は、外部の録画サーバにアクセスし、録画サーバ内に記憶されている静止画、又は動画の各フレームに対して図４に示す処理を行ってもよい。
Ｓ４００において、画像取得部３２３は、通信制御部３２２を介して、撮像装置１１０から、撮像装置１１０により撮影された画像を取得する。以下では、Ｓ４００で取得された撮像装置１１０により撮影された画像を、撮像画像とする。
図５は、撮像装置１１０により撮影された撮像画像の一例を示す図である。撮像画像５００は、撮像装置１１０により撮影された、撮像画像を示す。被写体５０１～５０３は、撮像画像５００中の環境において、検出対象である被写体を表す。また、境界５０４は後述する、画像特徴に基づく被写体検出が可能な領域とそれ以外の領域との境界を表す。本実施形態では、撮像画像５００は可視角が１８０度の撮像装置を用いて撮像された画像とするが、この限りではない。撮像画像５００は可視角が１８０度以外の撮像装置を用いて撮像された画像であってもよい。
本実施形態では、クライアント装置１２０は、撮像装置１１０からリアルタイムで撮影されたライブ映像を受信して、受信したライブ映像（動画）の各フレームに対し図４の処理を行う。しかしながら、例えば、クライアント装置１２０は、撮像装置１１０内の補助記憶装置２１３に記憶されている静止画、又は動画の各フレームに対して図４の処理を行ってもよい。また、クライアント装置１２０は、クライアント装置１２０内の補助記憶装置２２３に記憶されている静止画、又は動画の各フレームに対して図４の処理を行ってもよい。また、クライアント装置１２０は、外部の録画サーバにアクセスし、録画サーバ内に記憶されている静止画、又は動画の各フレームに対して図４に示す処理を行ってもよい。
Ｓ４０１において、検出部３２４は、撮像画像を画像特徴に基づく被写体検出が可能な領域とそれ以外の領域とに分割する。検出部３２４は、各領域の撮像角度に基づいて分割を行う。より具体的には、検出部３２４は、撮像角度が５０度以下であれば、画像特徴に基づく被写体検出が可能な領域と判断し、５０度よりも大きければ、画像特徴に基づく被写体検出が不可能な領域と判断する。つまり、境界５０４は撮像角度が５０度の線を表し、境界５０４の外側が画像特徴に基づく被写体検出が可能な領域、内側は画像特徴に基づく被写体検出が可能な領域以外の領域を表す。
しかしながらこの限りではない。検出部３２４は、表示装置１４０に表示された撮像画像に対して入力装置１３０等を介して入力されたユーザーの操作に基づき撮像画像の境界を設定し、撮像画像を画像特徴に基づく被写体検出が可能な領域とそれ以外の領域とに分割してもよい。また、画像取得部３２３は、検出したい被写体を並べた撮像画像を取得する。そして、検出部３２４は、取得された撮像画像に対して画像特徴に基づく被写体検出を実施し、被写体を検出できた領域と被写体を検出できなかった領域とで分割を行ってもよい。
Ｓ４０２において、検出部３２４は、被写体検出処理を開始する。検出部３２４は、撮像画像をラスタースキャンしながら注目する領域を切り替えていき、注目する領域に対して被写体の検出を行う。
しかしながらこの限りではない。検出部３２４は、表示装置１４０に表示された撮像画像に対して入力装置１３０等を介して入力されたユーザーの操作に基づき撮像画像の境界を設定し、撮像画像を画像特徴に基づく被写体検出が可能な領域とそれ以外の領域とに分割してもよい。また、画像取得部３２３は、検出したい被写体を並べた撮像画像を取得する。そして、検出部３２４は、取得された撮像画像に対して画像特徴に基づく被写体検出を実施し、被写体を検出できた領域と被写体を検出できなかった領域とで分割を行ってもよい。
Ｓ４０２において、検出部３２４は、被写体検出処理を開始する。検出部３２４は、撮像画像をラスタースキャンしながら注目する領域を切り替えていき、注目する領域に対して被写体の検出を行う。
Ｓ４０３において、検出部３２４は、Ｓ４０１で行った領域分割の結果に基づき、注目する領域が画像特徴に基づく被写体検出が可能か否かを判定する。検出部３２４は、画像特徴に基づく被写体検出が可能な領域であると判定した場合、Ｓ４０４へ進み、画像特徴に基づく被写体検出が不可能な領域であると判定した場合、Ｓ４０５へ進む。
Ｓ４０４において、検出部３２４は、注目する領域に対して画像特徴に基づく被写体検出を実行する。検出部３２４は、画像特徴に基づく被写体検出を行うため、注目している領域に対し、様々なサイズでスケーリングを行う。スケーリングを行うことで、様々なサイズの被写体を検出することができる。次に、検出部３２４は、各スケールの注目領域に対し、特定のサイズの検出窓をラスタースキャンさせる。このとき、検出部３２４は、予め学習データを用いて被写体の特徴量を求めておき、スキャン時に検出窓内で取得した特徴量と前述の学習データに基づく特徴量との誤差が閾値よりも小さい場合に被写体であると判定する。また、検出部３２４は、注目する領域毎にスケーリングを行うがこの限りではない。検出部３２４は、被写体検出処理実施前に撮像画像５００に対してスケーリング処理を実施し、予め各領域のスケーリング画像を用意しておいてもよい。
Ｓ４０５において、検出部３２４は、注目する領域に対して画像特徴以外に基づく被写体検出を行う。検出部３２４は、動体検出を用いて被写体検出を行う。例えば、検出部３２４は、動体の検出に背景差分を用いる。つまり、検出部３２４は、予め取得しておいた背景画像とＳ４００において取得された撮像画像との輝度値の差分を求め、差分が閾値を超えた領域を動体と判定する。しかしながら被写体の検出方法この限りではない。検出部３２４は、ＲＧＢ値を三次元の座標として扱い、差分として背景画像のＲＧＢ値と撮像画像のＲＧＢ値との距離を測ってもよい。また、検出部３２４は、背景差分に限らず、オプティカルフローのように画像内の各座標の移動方向を求め、動体を検出してもよい。また、検出部３２４は、画像特徴以外に基づく被写体検出は動体検出でなくてもよい。例えば、検出部３２４は、距離センサーを用いて生成された距離画像に基づき、極値となる部分を被写体であると判定してもよい。即ち、被写体を検出する対象の画像に含まれる画素の画素値以外の情報に基づいて被写体検出を行うことを、画像特徴以外に基づく被写体検出としている。
Ｓ４０４、４０５において、被写体であると判定した場合、検出部３２４は、注目している領域と検出した被写体の大きさとを主記憶装置２２２に記憶する。しかしながらこの限りではなく、検出部３２４は、注目している領域と検出した被写体の大きさとを補助記憶装置２２３に記憶してもよいし、ネットワークＩ／Ｆを介し、他のデバイスに記憶してもよい。検出部３２４は、被写体の大きさに関しては、Ｓ４０４においては注目領域のスケーリングの結果から判定し、Ｓ４０５においては動体の大きさからそれぞれ判定する。
Ｓ４０４において、検出部３２４は、注目する領域に対して画像特徴に基づく被写体検出を実行する。検出部３２４は、画像特徴に基づく被写体検出を行うため、注目している領域に対し、様々なサイズでスケーリングを行う。スケーリングを行うことで、様々なサイズの被写体を検出することができる。次に、検出部３２４は、各スケールの注目領域に対し、特定のサイズの検出窓をラスタースキャンさせる。このとき、検出部３２４は、予め学習データを用いて被写体の特徴量を求めておき、スキャン時に検出窓内で取得した特徴量と前述の学習データに基づく特徴量との誤差が閾値よりも小さい場合に被写体であると判定する。また、検出部３２４は、注目する領域毎にスケーリングを行うがこの限りではない。検出部３２４は、被写体検出処理実施前に撮像画像５００に対してスケーリング処理を実施し、予め各領域のスケーリング画像を用意しておいてもよい。
Ｓ４０５において、検出部３２４は、注目する領域に対して画像特徴以外に基づく被写体検出を行う。検出部３２４は、動体検出を用いて被写体検出を行う。例えば、検出部３２４は、動体の検出に背景差分を用いる。つまり、検出部３２４は、予め取得しておいた背景画像とＳ４００において取得された撮像画像との輝度値の差分を求め、差分が閾値を超えた領域を動体と判定する。しかしながら被写体の検出方法この限りではない。検出部３２４は、ＲＧＢ値を三次元の座標として扱い、差分として背景画像のＲＧＢ値と撮像画像のＲＧＢ値との距離を測ってもよい。また、検出部３２４は、背景差分に限らず、オプティカルフローのように画像内の各座標の移動方向を求め、動体を検出してもよい。また、検出部３２４は、画像特徴以外に基づく被写体検出は動体検出でなくてもよい。例えば、検出部３２４は、距離センサーを用いて生成された距離画像に基づき、極値となる部分を被写体であると判定してもよい。即ち、被写体を検出する対象の画像に含まれる画素の画素値以外の情報に基づいて被写体検出を行うことを、画像特徴以外に基づく被写体検出としている。
Ｓ４０４、４０５において、被写体であると判定した場合、検出部３２４は、注目している領域と検出した被写体の大きさとを主記憶装置２２２に記憶する。しかしながらこの限りではなく、検出部３２４は、注目している領域と検出した被写体の大きさとを補助記憶装置２２３に記憶してもよいし、ネットワークＩ／Ｆを介し、他のデバイスに記憶してもよい。検出部３２４は、被写体の大きさに関しては、Ｓ４０４においては注目領域のスケーリングの結果から判定し、Ｓ４０５においては動体の大きさからそれぞれ判定する。
Ｓ４０６において、検出部３２４は、最後のスキャン領域か否かを判定する。検出部３２４は、最後のスキャン領域でない場合はＳ４０７へ進み、最後のスキャン領域である場合はＳ４０８へ進む。
Ｓ４０７において、検出部３２４は、次のスキャン領域に注目し、Ｓ４０３へ進む。
Ｓ４０８において、検出部３２４は、被写体の検出結果を保存する。検出部３２４は、ネットワークＩ／Ｆを介し、他のデバイスにファイル出力を行うがこの限りではない。検出部３２４は、被写体の検出結果を主記憶装置２２２に記憶してもよいし、補助記憶装置２２３に記憶してもよい。
Ｓ４０７において、検出部３２４は、次のスキャン領域に注目し、Ｓ４０３へ進む。
Ｓ４０８において、検出部３２４は、被写体の検出結果を保存する。検出部３２４は、ネットワークＩ／Ｆを介し、他のデバイスにファイル出力を行うがこの限りではない。検出部３２４は、被写体の検出結果を主記憶装置２２２に記憶してもよいし、補助記憶装置２２３に記憶してもよい。
Ｓ４０９において、表示制御部３２７は、撮像画像に被写体の検出結果を重畳し、表示装置１４０へ出力する。図６は、表示装置１４０により表示される被写体検出処理の実施後の撮像画像の一例を示す図である。撮像画像６００は撮像画像５００に対して図４に示したフローチャートの処理を適用した結果である。被写体検出結果６０１～６０３は、被写体５０１～５０３が存在する領域上に重畳された被写体検出結果を表す。図６の例では、表示制御部３２７は、楕円の点線を用いて被写体の検出結果を表現している。図６及び後述する図８、図９において楕円の点線は検出結果を表現し、図８、図９において楕円の実線は検出結果に基づき表示した表示結果を表現している。しかしながらこの限りではない。表示制御部３２７は、被写体の表示結果として三角や四角等の他の記号で表現してもよいし、文字列を重畳することで被写体の検出結果を表示してもよい。また、例えば、表示制御部３２７は、被写体を表現した画像、及び図形を撮像画像に重畳してもよい。境界６０４は、画像特徴に基づく被写体検出を行う領域とそれ以外の領域との境界を表す。図６の例では、表示制御部３２７は、境界６０４を破線で表現し撮像画像に重畳している。しかしながらこの限りではない。表示制御部３２７は、異なる種類の線で境界を表現してもよいし、各領域に異なる色を重畳することで境界を表現してもよい。又は、表示制御部３２７は、ドット、斜線等、異なるパターンを重畳してもよい。
実施形態１によれば、撮像画像内に画像特徴に基づく被写体検出が不得手な領域が含まれていても、検出精度の低下を抑制しつつ、被写体検出を実施することができる。また、実施形態１によれば、画像特徴に基づく被写体検出を行う領域に対する画像特徴に基づく被写体検出処理の検出結果と撮像画像の画像特徴に基づく被写体検出を行う領域以外の領域に対する画像特徴以外に基づく被写体検出処理の検出結果とを出力することができる。また、画像特徴に基づく被写体検出処理の検出対象の被写体と、画像特徴以外に基づく被写体検出処理の検出対象の被写体とは同一種類の被写体である。即ち、例えば、画像特徴に基づく被写体検出処理の検出対象の被写体は人であり、画像特徴以外に基づく被写体検出処理の検出対象の被写体も人である。
＜実施形態２＞
実施形態１では、システムは、撮像画像を画像特徴に基づく被写体検出を行う領域と画像特徴以外に基づく被写体検出を行う領域とに分割し、その後、分割した領域それぞれに対応する被写体検出を行っていた。しかしながら、実施形態１にて分割した各領域内においても、画像特徴に基づく被写体検出、及び画像特徴以外に基づく被写体検出には、それぞれ検出精度が下がる状況が存在する。実施形態２では、検出精度が低下する状況について説明すると共に、前のフレームの被写体検出結果に基づき、検出精度の低下を補正する方法について説明する。
実施形態２のシステムのシステム構成は、実施形態１と同様であるため、説明を省略する。また、撮像装置１１０、及びクライアント装置１２０のハードウェア構成及び機能構成は、実施形態１と同様であるため、説明を省略する。
実施形態１では、システムは、撮像画像を画像特徴に基づく被写体検出を行う領域と画像特徴以外に基づく被写体検出を行う領域とに分割し、その後、分割した領域それぞれに対応する被写体検出を行っていた。しかしながら、実施形態１にて分割した各領域内においても、画像特徴に基づく被写体検出、及び画像特徴以外に基づく被写体検出には、それぞれ検出精度が下がる状況が存在する。実施形態２では、検出精度が低下する状況について説明すると共に、前のフレームの被写体検出結果に基づき、検出精度の低下を補正する方法について説明する。
実施形態２のシステムのシステム構成は、実施形態１と同様であるため、説明を省略する。また、撮像装置１１０、及びクライアント装置１２０のハードウェア構成及び機能構成は、実施形態１と同様であるため、説明を省略する。
図７は、実施形態２の被写体の検出処理の一例を示すフローチャートである。図７を用いて、クライアント装置１２０が複数の撮像画像を取得し、取得した各撮像画像中の被写体を検出し、過去の検出結果に基づいて検出結果を補正する処理を説明する。
Ｓ７００において、画像取得部３２３は、被写体検出処理を行いたい映像の、最初のフレームに注目する。実施形態２の例では、Ｓ７００の映像は撮像装置１１０で撮像されたライブ映像とする。しかしながらこの限りではない。例えば、Ｓ７００の映像は撮像装置１１０、又はクライアント装置１２０内に保存されている録画映像でもよい。
Ｓ７０１において、画像取得部３２３は、通信制御部３２２を介して、撮像装置１１０から、注目しているフレームを取得する。そして、検出部３２４は、取得したフレームに対して被写体検出処理を実施する。実施形態２では、検出部３２４は、実施形態１に記載の被写体検出処理（Ｓ４０１～Ｓ４０８）を実施する。
Ｓ７０２において、検出部３２４は、以前のフレームの被写体検出結果と現在注目しているフレームの被写体検出結果とを比較し、同一の被写体同士を結び付けるマッチング処理を行う。検出部３２４は、一つ前のフレームで検出した被写体の座標と注目フレームで検出した被写体の座標との距離を計算し、閾値以下、かつ、最も距離が近い物を同一被写体と判定する。しかしながらこの限りではない。例えば、検出部３２４は、スケール、回転、照明変化を考慮し、ＳＩＦＴ特徴量に基づいて異なるフレーム間における同一被写体のマッチングを行ってもよい。また、検出部３２４は、撮像状況に応じて、異なる特徴量を用いてもよい。
Ｓ７００において、画像取得部３２３は、被写体検出処理を行いたい映像の、最初のフレームに注目する。実施形態２の例では、Ｓ７００の映像は撮像装置１１０で撮像されたライブ映像とする。しかしながらこの限りではない。例えば、Ｓ７００の映像は撮像装置１１０、又はクライアント装置１２０内に保存されている録画映像でもよい。
Ｓ７０１において、画像取得部３２３は、通信制御部３２２を介して、撮像装置１１０から、注目しているフレームを取得する。そして、検出部３２４は、取得したフレームに対して被写体検出処理を実施する。実施形態２では、検出部３２４は、実施形態１に記載の被写体検出処理（Ｓ４０１～Ｓ４０８）を実施する。
Ｓ７０２において、検出部３２４は、以前のフレームの被写体検出結果と現在注目しているフレームの被写体検出結果とを比較し、同一の被写体同士を結び付けるマッチング処理を行う。検出部３２４は、一つ前のフレームで検出した被写体の座標と注目フレームで検出した被写体の座標との距離を計算し、閾値以下、かつ、最も距離が近い物を同一被写体と判定する。しかしながらこの限りではない。例えば、検出部３２４は、スケール、回転、照明変化を考慮し、ＳＩＦＴ特徴量に基づいて異なるフレーム間における同一被写体のマッチングを行ってもよい。また、検出部３２４は、撮像状況に応じて、異なる特徴量を用いてもよい。
Ｓ７０３において、検出部３２４は、Ｓ７０２のマッチング結果に基づき、注目しているフレームにおいて、境界５０４付近に存在した被写体検出結果が消失したかどうかを判定する。つまり、検出部３２４は、以前のフレームにおいて、境界５０４付近に存在した被写体が、注目フレームに存在せず、マッチングができなかったか否かを判定する。検出部３２４は、被写体検出結果が消失したと判定した場合、Ｓ７０４に進み、消失していないと判定した場合、Ｓ７０５に進む。検出部３２４は、境界を示す線分と一つ前のフレームで検出した被写体の座標との最短距離が閾値未満の場合、被写体が境界付近であると判定し、閾値以上の場合、被写体が境界付近でないと判定する。
境界５０４付近に存在した被写体検出結果が消失する例について、図８、図９を用いて説明する。
図８は、二つの被写体が画像上部から画像下部に向かって歩いている状況を撮像した際の撮像画像の一例を示す図である。図８（ａ）、図８（ｂ）はあるフレームにおける撮像画像を表し、図８（ａ）の方が図８（ｂ）よりも前のフレームである。被写体８０１及び被写体８１１、被写体８０２及び被写体８１２はそれぞれ同一の被写体を表す。このとき、図８（ａ）では画像特徴量を用いた被写体検出により、二つの被写体が検出される。しかしながら、図８（ｂ）では、被写体８１１と被写体８１２との距離が近いため、動体検出に基づく被写体検出を行うと、被写体８１１と被写体８１２とが一つに動体になる。そのため、被写体の検出個数は一つになる。図８（ａ）の撮像画像は、第１のタイミングにおいて撮像された第１の撮像画像の一例である。また、図８（ｂ）の撮像画像は、第１のタイミングと異なる第２のタイミングにおいて撮像された第２の撮像画像の一例である。
図９は、二つの被写体が画像中央から画像上部に向かって歩いている状況を撮像した際の撮像画像の一例を示す図である。図９（ａ）、図９（ｂ）はあるフレームにおける撮像画像を表し、図９（ａ）の方が図９（ｂ）よりも前のフレームである。被写体９０１及び被写体９１１、被写体９０２及び被写体９１２はそれぞれ同一の被写体を表す。このとき、図９（ａ）では動体検出に基づく被写体検出により、二つの被写体が検出される。しかしながら、図９（ｂ）では、被写体９１１が被写体９１２に隠れているため、図９（ｂ）に対して画像特徴に基づく被写体検出を行うと、被写体９１１は検出されない。図９（ａ）の撮像画像は、第１のタイミングにおいて撮像された第１の撮像画像の一例である。図９（ｂ）の撮像画像は、第２のタイミングにおいて撮像された第２の撮像画像の一例である。
Ｓ７０４において、検出部３２４は、注目フレームにおける検出結果を補正する。図８、図９に示す通り、Ｓ７０４に処理が移動した際、二つ以上の検出結果が一つの検出結果にまとまってしまっている。そのため、Ｓ７０４では、検出部３２４は、被写体消失前のフレームにおける被写体の検出個数を注目しているフレームの検出個数に補正する。
図８（ｃ）は、図８（ａ）に対応する表示結果の一例を示す図である。また、図８（ｄ）は、図８（ｂ）に対応する表示結果の一例を示す図である。
また、図９（ｃ）は、図９（ａ）に対応する表示結果の一例を示す図である。また、図９（ｄ）は、図９（ｂ）に対応する表示結果の一例を示す図である。
境界５０４付近に存在した被写体検出結果が消失する例について、図８、図９を用いて説明する。
図８は、二つの被写体が画像上部から画像下部に向かって歩いている状況を撮像した際の撮像画像の一例を示す図である。図８（ａ）、図８（ｂ）はあるフレームにおける撮像画像を表し、図８（ａ）の方が図８（ｂ）よりも前のフレームである。被写体８０１及び被写体８１１、被写体８０２及び被写体８１２はそれぞれ同一の被写体を表す。このとき、図８（ａ）では画像特徴量を用いた被写体検出により、二つの被写体が検出される。しかしながら、図８（ｂ）では、被写体８１１と被写体８１２との距離が近いため、動体検出に基づく被写体検出を行うと、被写体８１１と被写体８１２とが一つに動体になる。そのため、被写体の検出個数は一つになる。図８（ａ）の撮像画像は、第１のタイミングにおいて撮像された第１の撮像画像の一例である。また、図８（ｂ）の撮像画像は、第１のタイミングと異なる第２のタイミングにおいて撮像された第２の撮像画像の一例である。
図９は、二つの被写体が画像中央から画像上部に向かって歩いている状況を撮像した際の撮像画像の一例を示す図である。図９（ａ）、図９（ｂ）はあるフレームにおける撮像画像を表し、図９（ａ）の方が図９（ｂ）よりも前のフレームである。被写体９０１及び被写体９１１、被写体９０２及び被写体９１２はそれぞれ同一の被写体を表す。このとき、図９（ａ）では動体検出に基づく被写体検出により、二つの被写体が検出される。しかしながら、図９（ｂ）では、被写体９１１が被写体９１２に隠れているため、図９（ｂ）に対して画像特徴に基づく被写体検出を行うと、被写体９１１は検出されない。図９（ａ）の撮像画像は、第１のタイミングにおいて撮像された第１の撮像画像の一例である。図９（ｂ）の撮像画像は、第２のタイミングにおいて撮像された第２の撮像画像の一例である。
Ｓ７０４において、検出部３２４は、注目フレームにおける検出結果を補正する。図８、図９に示す通り、Ｓ７０４に処理が移動した際、二つ以上の検出結果が一つの検出結果にまとまってしまっている。そのため、Ｓ７０４では、検出部３２４は、被写体消失前のフレームにおける被写体の検出個数を注目しているフレームの検出個数に補正する。
図８（ｃ）は、図８（ａ）に対応する表示結果の一例を示す図である。また、図８（ｄ）は、図８（ｂ）に対応する表示結果の一例を示す図である。
また、図９（ｃ）は、図９（ａ）に対応する表示結果の一例を示す図である。また、図９（ｄ）は、図９（ｂ）に対応する表示結果の一例を示す図である。
Ｓ７０５において、検出部３２４は、Ｓ７０２のマッチング結果に基づき、注目しているフレームにおいて、境界５０４付近に新しく被写体検出結果が出現したかどうかを判定する。つまり、検出部３２４は、以前のフレームにおいて、境界５０４付近に存在しなかった被写体が、注目フレームに突然現れ、マッチングができなかったか否かを判定する。検出部３２４は、被写体検出結果が出現したと判定した場合、Ｓ７０６に進み、出現していないと判定した場合、Ｓ７０７に進む。
境界５０４付近に新しく被写体検出結果が出現する例について、図１０を用いて説明する。
図１０は、被写体以外の動体が画像上部から画像下部に向かって歩いている状況を撮像した際の撮像画像の一例を示す図である。図１０（ａ）、図１０（ｂ）はあるフレームにおける撮像画像を表し、図１０（ａ）の方が図１０（ｂ）よりも前のフレームである。動体１００１及び動体１０１１は同一の動体を表す。このとき、図１０（ａ）では画像特徴量を用いた被写体検出を行っても、被写体は検出されない。しかしながら、図１０（ｂ）では、動体検出に基づく被写体検出を行うため、動体１０１１は被写体であると判定される。そのため、図１０（ｂ）において本来被写体は存在しないはずが、一つの被写体が検出される。
境界５０４付近に新しく被写体検出結果が出現する例について、図１０を用いて説明する。
図１０は、被写体以外の動体が画像上部から画像下部に向かって歩いている状況を撮像した際の撮像画像の一例を示す図である。図１０（ａ）、図１０（ｂ）はあるフレームにおける撮像画像を表し、図１０（ａ）の方が図１０（ｂ）よりも前のフレームである。動体１００１及び動体１０１１は同一の動体を表す。このとき、図１０（ａ）では画像特徴量を用いた被写体検出を行っても、被写体は検出されない。しかしながら、図１０（ｂ）では、動体検出に基づく被写体検出を行うため、動体１０１１は被写体であると判定される。そのため、図１０（ｂ）において本来被写体は存在しないはずが、一つの被写体が検出される。
Ｓ７０６において、検出部３２４は、注目フレームにおける検出結果を補正する。図１０に示す通り、Ｓ７０６に処理が移動した際、本来存在しない被写体が検出される。そのため、Ｓ７０６では、検出部３２４は、被写体出現前のフレームにおける被写体の検出個数を注目しているフレームの検出個数に補正する。
図１０（ｃ）は、図８（ａ）に対応する表示結果の一例を示す図である。また、図１０（ｄ）は、図８（ｂ）に対応する表示結果の一例を示す図である。
Ｓ７０７において、検出部３２４は、注目フレームが最終フレームか判定する。検出部３２４は、最終フレームであった場合、処理を終了し、最終フレームでなかった場合、Ｓ７０８へ進む。
Ｓ７０８において、検出部３２４は、次のフレームへ注目し、Ｓ７０１へ戻る。
図１０（ｃ）は、図８（ａ）に対応する表示結果の一例を示す図である。また、図１０（ｄ）は、図８（ｂ）に対応する表示結果の一例を示す図である。
Ｓ７０７において、検出部３２４は、注目フレームが最終フレームか判定する。検出部３２４は、最終フレームであった場合、処理を終了し、最終フレームでなかった場合、Ｓ７０８へ進む。
Ｓ７０８において、検出部３２４は、次のフレームへ注目し、Ｓ７０１へ戻る。
実施形態２では、表示制御部３２７は、補正した検出結果を重畳した撮像画像を出力する。図８（ｄ）、図９（ｄ）の例では、表示制御部３２７は、検出結果を表す楕円の上下左右何れかに、同サイズの楕円を補正した数だけ重畳する。また、図１０（ｄ）の例では、表示制御部３２７は、検出結果を表す楕円を消去する。
実施形態２によれば、境界付近にいた被写体が消失したり、境界付近に被写体が出現したりした場合に、検出結果を補正することができるため、検出精度の低下をより抑制しつつ、被写体検出を実施することができる。
＜実施形態３＞
実施形態１では、検出部３２４が、撮像角度に基づいて、撮像画像を画像特徴に基づく被写体検出を行う領域と画像特徴以外に基づく被写体検出を行う領域とに分割する処理を主に説明した。しかしながら、検出部３２４は、入力装置１３０等を介して入力されたユーザーの操作に基づき領域の分割を行ってもよい。実施形態３では、検出部３２４が、表示装置１４０に表示された画面に対して、入力装置１３０等を介して入力されたユーザーの操作に基づき領域の分割を行う処理について説明する。
実施形態１では、検出部３２４が、撮像角度に基づいて、撮像画像を画像特徴に基づく被写体検出を行う領域と画像特徴以外に基づく被写体検出を行う領域とに分割する処理を主に説明した。しかしながら、検出部３２４は、入力装置１３０等を介して入力されたユーザーの操作に基づき領域の分割を行ってもよい。実施形態３では、検出部３２４が、表示装置１４０に表示された画面に対して、入力装置１３０等を介して入力されたユーザーの操作に基づき領域の分割を行う処理について説明する。
図１１、図１２は領域分割のための操作ＵＩ（画面）の例を表す。表示制御部３２７は、要求に応じて、図１１、又は図１２に示される操作ＵＩを表示装置１４０に表示する。図１１（ａ）、図１２（ａ）は実施形態１で用いた、可視角が１８０度の撮像装置における操作ＵＩを表す。図１１（ｂ）、図１２（ｂ）は可視角が１８０度以下の撮像装置における操作ＵＩを表す。図１１中の操作子１１０１、１１０２は領域間の境界を表すと共に、境界の位置を操作する操作子を表す。即ち、表示制御部３２７は、図１１及び図１２に示される操作ＵＩを表示装置１４０に表示する。ユーザーはマウス等の入力装置１３０で表示装置１４０に表示されている操作子１１０１、１１０２をドラッグすることにより、領域間の境界の位置を操作することができる。即ち、表示制御部３２７は、表示装置１４０に表示した操作子１１０１、１１０２及び入力装置１３０を介した操作子１１０１、１１０２をドラッグする等の操作に応じて、領域間の境界の位置を変更し、表示する。一方、図１２中の境界１２０１、１２０３は図１１とは異なり、領域間の境界を表すのみである。図１２では、ユーザーは、スライダー１２０２、１２０４をマウスでドラッグすることにより、領域間の境界の位置を操作することができる。即ち、表示制御部３２７は、表示装置１４０に表示したスライダー１２０２、１２０４及び入力装置１３０を介したスライダー１２０２、１２０４を上下する等の操作に応じて、領域間の境界の位置を変更し、表示する。
実施形態３によれば、入力装置１３０等を介して入力されたユーザーの操作に基づき領域の分割を行うことができる。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、撮像装置１１０、クライアント装置１２０のハードウェア構成として、ＣＰＵは複数存在してもよく、複数のＣＰＵが補助記憶装置等に記憶されているプログラムに基づき処理を実行するようにしてもよい。また、撮像装置１１０のハードウェア構成として、ＣＰＵの替わりに、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてもよい。また、撮像装置１１０に入力部及び表示部等が設けられている場合、上述したクライアント装置１２０の機能を撮像装置１１０に実装するようにしてもよい。クライアント装置１２０の機能を実装された撮像装置１１０は、情報処理装置の一例である。
また、上述した実施形態を任意に組み合わせて実施してもよい。
例えば、撮像装置１１０、クライアント装置１２０のハードウェア構成として、ＣＰＵは複数存在してもよく、複数のＣＰＵが補助記憶装置等に記憶されているプログラムに基づき処理を実行するようにしてもよい。また、撮像装置１１０のハードウェア構成として、ＣＰＵの替わりに、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてもよい。また、撮像装置１１０に入力部及び表示部等が設けられている場合、上述したクライアント装置１２０の機能を撮像装置１１０に実装するようにしてもよい。クライアント装置１２０の機能を実装された撮像装置１１０は、情報処理装置の一例である。
また、上述した実施形態を任意に組み合わせて実施してもよい。
上述した各実施形態によれば、被写体の検出精度を向上させることができる。
１１０ 撮像装置
１２０ クライアント装置
２２１ ＣＰＵ
１２０ クライアント装置
２２１ ＣＰＵ
Claims (17)
- 撮像画像を取得する取得手段と、
前記撮像画像の画像特徴に基づく被写体検出を行う第１の領域に対する画像特徴に基づく第１の被写体検出処理の検出結果と、前記第１の領域以外の第２の領域に対する画像特徴以外に基づく第２の被写体検出処理の検出結果と、を出力する出力手段と、を有し、
前記第１の領域は、環状であり、円形である前記第２の領域を囲むことを特徴とする情報処理装置。 - 前記第２の被写体検出処理は、動体検出を用いた被写体検出処理である請求項１記載の情報処理装置。
- 前記撮像画像を、前記第１の領域と前記第２の領域とに分割する分割手段を更に有する請求項１又は２記載の情報処理装置。
- 前記分割手段は、前記撮像画像の各領域の撮像角度に基づいて前記第１の領域と前記第２の領域とに分割する請求項３記載の情報処理装置。
- 前記分割手段は、画面を介したユーザーの操作に基づいて前記第１の領域と前記第２の領域とに分割する請求項３記載の情報処理装置。
- 前記画面を表示する表示手段を更に有する請求項５記載の情報処理装置。
- 前記画面には、前記第１の領域と前記第２の領域との境界を示すと共に境界の位置を操作するための操作子が表示され、
前記分割手段は、前記操作子を介したユーザーの操作に基づいて前記第１の領域と前記第２の領域とに分割する請求項５又は６記載の情報処理装置。 - 前記画面には前記第１の領域と前記第２の領域との境界の位置を操作するためのスライダーが表示され、
前記分割手段は、前記スライダーを介したユーザーの操作に基づいて前記第１の領域と前記第２の領域とに分割する請求項５又は６記載の情報処理装置。 - 前記第１の領域に対して前記画像特徴に基づく前記第１の被写体検出処理を実行する第１の検出手段と、
前記第２の領域に対して前記画像特徴以外に基づく前記第２の被写体検出処理を実行する第２の検出手段と、
を更に有し、
前記出力手段は、前記第１の検出手段による検出結果と前記第２の検出手段による検出結果とを出力する請求項１乃至８何れか１項記載の情報処理装置。 - 前記出力手段は、前記第１の被写体検出処理の検出結果と前記第２の被写体検出処理の検出結果とを前記撮像画像に重畳して表示する請求項１乃至９何れか１項記載の情報処理装置。
- 前記出力手段は、前記第１の領域と前記第２の領域との境界を前記撮像画像に重畳して表示する請求項１乃至１０何れか１項記載の情報処理装置。
- 第１のタイミングにおいて撮像された第１の撮像画像に対する前記第１の被写体検出処理の検出結果である被写体の検出個数に基づいて、前記第１のタイミングと異なる第２のタイミングにおいて撮像された第２の撮像画像に対する前記第２の被写体検出処理の検出結果である被写体の検出を補正する補正手段を更に有する請求項１乃至１１何れか１項記載の情報処理装置。
- 前記補正手段は、前記第１の被写体検出処理によって検出された被写体と前記第２の被写体検出処理によって検出された被写体との間の距離に基づいて、前記第２の被写体検出処理の検出結果である被写体の検出を補正する請求項１２記載の情報処理装置。
- 第１のタイミングにおいて撮像された第１の撮像画像に対する前記第２の被写体検出処理の検出結果である被写体の検出個数に基づいて、前記第１のタイミングと異なる第２のタイミングにおいて撮像された第２の撮像画像に対する前記第１の被写体検出処理の検出結果である被写体の検出個数を補正する補正手段を更に有する請求項１乃至１１何れか１項記載の情報処理装置。
- 前記補正手段は、前記第１の被写体検出処理によって検出された被写体と前記第２の被写体検出処理によって検出された被写体との間の距離に基づいて、前記画像特徴に基づく被写体検出処理の検出結果である被写体の検出個数を補正する請求項１４記載の情報処理装置。
- 撮像画像を取得する取得工程と、
前記撮像画像の画像特徴に基づく被写体検出を行う第１の領域に対する画像特徴に基づく第１の被写体検出処理の検出結果と、前記第１の領域以外の第２の領域に対する画像特徴以外に基づく第２の被写体検出処理の検出結果と、を出力する出力工程と、を有し、
前記第１の領域は、環状であり、円形である前記第２の領域を囲むことを特徴とする情報処理方法。 - コンピュータを、請求項１乃至１５何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017233227A JP7034690B2 (ja) | 2017-12-05 | 2017-12-05 | 情報処理装置、情報処理方法及びプログラム |
| US16/203,396 US10885348B2 (en) | 2017-12-05 | 2018-11-28 | Information processing device, information processing method, and storage medium |
| KR1020180154066A KR102497593B1 (ko) | 2017-12-05 | 2018-12-04 | 정보 처리장치, 정보 처리방법 및 기억매체 |
| EP18209992.9A EP3496390B1 (en) | 2017-12-05 | 2018-12-04 | Information processing device, information processing method, and storage medium |
| CN201811478291.XA CN110059681B (zh) | 2017-12-05 | 2018-12-05 | 信息处理装置、信息处理方法和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017233227A JP7034690B2 (ja) | 2017-12-05 | 2017-12-05 | 情報処理装置、情報処理方法及びプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019101845A JP2019101845A (ja) | 2019-06-24 |
| JP2019101845A5 JP2019101845A5 (ja) | 2021-01-07 |
| JP7034690B2 true JP7034690B2 (ja) | 2022-03-14 |
Family
ID=64604495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017233227A Active JP7034690B2 (ja) | 2017-12-05 | 2017-12-05 | 情報処理装置、情報処理方法及びプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10885348B2 (ja) |
| EP (1) | EP3496390B1 (ja) |
| JP (1) | JP7034690B2 (ja) |
| KR (1) | KR102497593B1 (ja) |
| CN (1) | CN110059681B (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016111561A (ja) | 2014-12-08 | 2016-06-20 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
| JP2017073670A (ja) | 2015-10-07 | 2017-04-13 | キヤノン株式会社 | 画像処理装置、画像処理方法および画像処理システム |
| JP2017076288A (ja) | 2015-10-15 | 2017-04-20 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008035411A1 (fr) * | 2006-09-20 | 2008-03-27 | Fujitsu Limited | Dispositif de détection d'informations de corps mobile, procédé de détection d'informations de corps mobile et programme de détection d'informations de corps mobile |
| BRPI0915889B1 (pt) * | 2008-07-08 | 2023-10-31 | Nortech International (Proprietary) Limited | Aparelho e método para monitorar o movimento de objetos através de uma região de monitoramento |
| JP6335701B2 (ja) * | 2014-07-22 | 2018-05-30 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP6512787B2 (ja) * | 2014-10-07 | 2019-05-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置 |
| JP6497987B2 (ja) * | 2015-03-12 | 2019-04-10 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
-
2017
- 2017-12-05 JP JP2017233227A patent/JP7034690B2/ja active Active
-
2018
- 2018-11-28 US US16/203,396 patent/US10885348B2/en active Active
- 2018-12-04 KR KR1020180154066A patent/KR102497593B1/ko active IP Right Grant
- 2018-12-04 EP EP18209992.9A patent/EP3496390B1/en active Active
- 2018-12-05 CN CN201811478291.XA patent/CN110059681B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016111561A (ja) | 2014-12-08 | 2016-06-20 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
| JP2017073670A (ja) | 2015-10-07 | 2017-04-13 | キヤノン株式会社 | 画像処理装置、画像処理方法および画像処理システム |
| JP2017076288A (ja) | 2015-10-15 | 2017-04-20 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102497593B1 (ko) | 2023-02-08 |
| US10885348B2 (en) | 2021-01-05 |
| KR20190066586A (ko) | 2019-06-13 |
| EP3496390B1 (en) | 2023-04-26 |
| JP2019101845A (ja) | 2019-06-24 |
| US20190171887A1 (en) | 2019-06-06 |
| CN110059681A (zh) | 2019-07-26 |
| CN110059681B (zh) | 2023-09-15 |
| EP3496390A1 (en) | 2019-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10701332B2 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
| KR102492670B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 기억 매체 | |
| JP7023696B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US10713797B2 (en) | Image processing including superimposed first and second mask images | |
| EP3605468A1 (en) | Image processing apparatus, image processing apparatus control method, and non-transitory computer-readable storage medium | |
| US11019251B2 (en) | Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program | |
| WO2021168804A1 (zh) | 图像处理方法、图像处理装置和图像处理系统 | |
| JP7371076B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| JP7163049B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP7034690B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2018063675A (ja) | 画像処理装置および制御方法 | |
| JP6452738B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP7195782B2 (ja) | 情報処理装置、制御方法及びプログラム | |
| JP2018092507A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP7407963B2 (ja) | 距離情報生成装置および距離情報生成方法 | |
| JP2023133962A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2023133967A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2022069197A (ja) | 画像処理装置及びその制御方法及びプログラム | |
| JP2020181399A (ja) | 画像処理装置及びその制御方法及びプログラム | |
| JP2019125058A (ja) | 画像処理装置、撮影装置、画像処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201119 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220302 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7034690 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |