JP5102481B2 - 画像処理システム - Google Patents

Description

本発明は、ズーム機能を有する画像処理システムに関するものである。

ズーム機能を有する従来の画像処理システムとして、２台の撮像装置を備え、全視野画像（全体画像、全方位画像）を全視野画像用の撮像装置で撮像し、全視野画像内から自動又は手動で指定された範囲をズームアップ画像用の撮像装置でズームアップして撮像することによって、監視エリアの異常発生を確認するもの（第１従来例の画像処理システム）がある。また、上記従来の画像処理システムの他の例として、電子ズーム機能を用いて全視野画像とズームアップ画像を切り換えて出力するもの（第２従来例の画像処理システム）がある。さらに、特許文献１には、合焦点位置を１フレームごとに異ならせて同一被写体をカメラで撮影し、合焦点位置ごとに対応した動画像データを時分割的に生成し、画像処理部で動画像データにディジタル画像処理を行う画像システム（第３従来例の画像処理システム）が開示されている。
特開平９−８３８５５号公報（段落００３８〜００５５及び第２図）

しかしながら、第１従来例の画像処理システム及び第２従来例の画像処理システムには、撮像した画像の画像データを用いて特定物体を検出することができないという問題があった。また、第３従来例の画像処理システムは特定物体を検出することができるものの、この特定物体の検出は欠落フレームを補間するために行われるものである。したがって、第３従来例の画像システムには、検出した特定物体に基づいて撮像装置の撮像条件を設定することができないという問題があった。

本発明は上記の点に鑑みて為されたものであり、その目的とするところは、ユーザが気になる物体を検出し、この物体に注目した撮像を行うことができる画像処理システムを提供することにある。

請求項１の発明は、電子ズーム機能を有し、電子ズームの倍率及び中心位置をパラメータとする撮像条件に基づいて撮像し、撮像した画像の画像データを出力する１台の撮像装置と、全視野画像を撮像する撮像条件を少なくとも含む複数の前記撮像条件を設定し、設定した複数の撮像条件を時分割で切り換えて前記撮像装置を制御する制御手段と、前記撮像装置からの前記全視野画像の画像データから特定物体を検出する特定物体検出手段とを備え、前記制御手段は、前記特定物体検出手段で検出された特定物体の座標位置及び大きさに応じて前記電子ズームの倍率及び中心位置をパラメータとし当該特定物体を当該電子ズームの対象とする撮像条件を設定し、当該撮像条件と前記全視野画像の撮像条件とを時分割かつ電子ズームのみで切り換えて前記撮像装置を制御することを特徴とする。

請求項１の発明によれば、ユーザが気になる物体を検出し、検出した物体に基づいた撮像条件を設定することができるので、検出した物体に注目した撮像を行うことができる。

また、請求項１の発明によれば、ズームアップ画像による制限された領域ではなく、撮像装置の捉えうる広い視野全体を監視することができ、この中から特定物体を検出することができる。

さらに、請求項１の発明によれば、撮像装置の捉えうる広い視野全体から検出された特定物体をズームアップ画像として取得することで、特定物体の状況を詳細に捉えることができる。

（実施形態１）
まず、本発明の実施形態１に係る画像処理システムの構成について図１〜３を用いて説明する。この画像処理システムは、図１に示すように、電子ズーム機能を有する１台の撮像装置１と、撮像装置１で撮像された画像の画像データから特定物体を検出する特定物体検出部２と、撮像装置１の撮像条件を設定する制御部３と、撮像装置１からの画像データを記憶する記憶部４と、撮像装置１で撮像された複数の画像を１つの画面構成となるように合成する画像合成部５と、画像合成部５で合成された複数の画像を表示する表示部６とを備えている。

撮像装置１は、例えばビデオカメラなどであり、電子ズームの倍率及び中心位置をパラメータとする撮像条件が制御部３から入力されると、入力された撮像条件に基づいて撮像し、撮像した画像の画像データを出力する。撮像装置１が撮像する画像としては、電子ズームの倍率が１倍より大きく設定された撮像条件で撮像される図２（ａ）に示すようなズームアップ画像７０と、電子ズームの倍率が１倍に設定された撮像条件で撮像装置１の撮影可能範囲全体が撮像される図２（ｂ）に示すような全視野画像（全体画像、全方位画像）７１とがある。このとき、ズームアップ画像７０のフレームと全視野画像７１のフレームの切り換え周期は１０ミリ秒以上１０秒以下である。

全視野画像７１の画像データ７３ａ〜７３ｃ（図２（ｃ）参照）を含む画像データ信号が撮像装置１から出力された際、図１に示すように、この画像データ信号は特定物体検出部２に入力される。特定物体検出部２は、入力された画像データ信号から全視野画像７１の画像データ７３ａ〜７３ｃを抽出し、抽出した画像データ７３ａ〜７３ｃから全視野画像７１（図２（ｂ）参照）中の人体を特定物体として検出する。つまり、特定物体検出部２は、異なる時刻に撮像装置１で撮像された全視野画像７１の画像データ７３ａ〜７３ｃの間で移動した人体を抽出し、全視野画像７１中の人体の座標位置及び大きさを検出する。特定物体検出部２で検出された人体の座標位置及び大きさに関する情報は、物体情報信号として制御部３に出力される。なお、特定物体は人体に限定されるものではなく、人体の一部分である人の顔や他の動体などであってもよい。

制御部３は、例えばＣＰＵなどであり、撮像装置１の撮像条件を複数設定する。制御部３で設定される撮像条件としては、撮像装置１にズームアップ画像７０（図２（ａ）参照）を撮影させるためのズームアップ画像用の撮像条件と、撮像装置１に全視野画像７１（図２（ｂ）参照）を撮影させるための全視野画像用の撮像条件とがある。全視野画像用の撮像条件では、電子ズームの倍率が１倍に設定される。一方、ズームアップ画像用の撮像条件は、特定物体検出部２で検出された特定物体（人体）を電子ズームの対象とするものである。制御部３は、特定物体検出部２から物体情報信号が入力されると、入力された物体情報信号に含まれる人体の座標位置及び大きさに関する情報に基づいて電子ズームの倍率及び中心位置をパラメータとするズームアップ画像用の撮像条件を設定する。その後、制御部３は、設定した２種類の撮像条件（ズームアップ画像用及び全視野画像用の撮像条件）を時分割で切り換え、制御信号として撮像装置１に出力することによって撮像装置１を制御する。

記憶部４は、撮像装置１から出力された画像データ信号に含まれる２フレーム分の画像データを記憶可能とするものであり、ズームアップ画像７０の画像データ７２ａ〜７２ｃ（図２（ｃ）参照）及び全視野画像７１の画像データ７３ａ〜７３ｃ（図２（ｃ）参照）を１フレームずつ記憶する。

画像合成部５は、記憶部４に記憶されているズームアップ画像７０の画像データ７２ａ〜７２ｃ（図２（ｃ）参照）及び全視野画像７１の画像データ７３ａ〜７３ｃ（図２（ｃ）参照）を用いて、ズームアップ画像７０及び全視野画像７１を１つの画面構成となるように合成し、合成画像データを作成する（図３参照）。このとき、１つの画面構成において全視野画像７１のサイズよりズームアップ画像７０のサイズのほうが大きくなるように、ズームアップ画像７０及び全視野画像７１が合成される。

表示部６は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などであり、合成画像データを含む合成画像データ信号が画像合成部５から入力されると、入力された合成画像データ信号から合成画像データを抽出する。その後、表示部６は、抽出した合成画像データに基づいて、図３に示すように、撮像装置１で撮像されたズームアップ画像７０を画面の中央に、全視野画像７１を画面の左上にした１つの画面構成で合成画像８を表示する。表示部６において、複数の異なる画像に全視野画像７１が含まれて表示されるので、ユーザは、ズームアップ画像７０を表示しているときに全視野画像７１のどの位置をズームアップしているかを確認することができる。また、ズームアップ画像７０のサイズのほうが全視野画像７１より大きいので、１つの画面に全視野画像７１を表示させつつ、ズームアップ画像７０に注目させることができる。

次に、実施形態１に係る画像処理システムの動作について図１〜３を用いて説明する。まず、図１に示す撮像装置１から出力された全視野画像７１の画像データ７３ａ〜７３ｃ（図２（ｃ）参照）を含む画像データ信号が特定物体検出部２に入力される。特定物体検出部２は、入力された画像データ信号から画像データ７３ａ〜７３ｃを抽出し、全視野画像７１中の人体を検出する。その後、制御部３が、特定物体検出部２で検出された人体を電子ズームの対象とするズームアップ画像用の撮像条件を作成し、全視野画像用の撮像条件と時分割で切り換え、制御信号として撮像装置１に出力する。

その後、撮像装置１が、ズームアップ画像用及び全視野画像用の撮像条件が制御部３から時分割で切り換わって入力されることによって、ズームアップ画像７０の画像データ７２ａ〜７２ｃ（図２（ｃ）参照）と全視野画像７１の画像データ７３ａ〜７３ｃ（図２（ｃ）参照）とを１フレームごとに交互に出力する。撮像装置１から出力された画像データ７２ａ〜７２ｃ及び画像データ７３ａ〜７３ｃは１フレームずつ記憶部４に記憶される。続いて、画像合成部５が、記憶部４に記憶されている画像データ７２ａ〜７２ｃ，７３ａ〜７３ｃを用いて、ズームアップ画像７０及び全視野画像７１がピクチャ・イン・ピクチャとなるように合成処理を行い、合成画像データを作成する。最後に、表示部６が、画像合成部５からの合成画像データに基づいてズームアップ画像７０及び全視野画像７１の合成画像８（図３参照）を表示する。

このような画像処理システムの動作において、１台の撮像装置１から撮像条件の異なる複数の画像（ズームアップ画像７０及び全視野画像７１（図３参照））の画像データ７２ａ〜７２ｃ，７３ａ〜７３ｃ（図２（ｃ）参照）を時分割で出力させることができるので、２台の撮像装置を備える場合に比べてコストを抑えながら複数の異なる画像を取得し、取得した複数の画像を１つの画面構成となるように合成することができる。このとき、複数の画像データ７２ａ〜７２ｃ，７３ａ〜７３ｃを記憶部４に記憶させることによって、複数種類の画像データ７２ａ〜７２ｃ，７３ａ〜７３ｃに対して画面構成と映像送出のタイミングの自由度が高いシステムを実現することができる。

以上、実施形態１によれば、図１に示す特定物体検出部２による特定物体（人体）の検出によって、ユーザが気になる物体を検出し、検出した物体に基づいた撮像条件を設定することができるので、検出した物体に注目した撮像を行うことができる。また、特定物体の検出に全視野画像７１（図１（ｂ）参照）を用いることによって、ズームアップ画像７０（図２（ａ）参照）による制限された領域ではなく、撮像装置１の捉えうる広い視野全体を監視することができ、この中から特定物体を検出することができる。さらに、撮像装置１の捉えうる広い視野全体から検出された特定物体をズームアップ画像７０として取得することで、特定物体の状況を詳細に捉えることができる。

（実施形態２）
まず、本発明の実施形態２に係る画像処理システムの構成について図１，４を用いて説明する。この画像処理システムは、図１に示すように、１台の撮像装置１と、特定物体検出部２と、記憶部４と、画像合成部５と、表示部６とを実施形態１の画像処理システムと同様に備えているが、実施形態１の画像処理システムにはない以下に記載の特徴部分を有する。

実施形態２の制御部３は、図４に示すように、全視野画像７１の画像データ７５ａ，７５ｂよりズームアップ画像７０の画像データ７４ａ〜７４ｆのほうを多く含む画像データ信号が撮像装置１から出力されるように、ズームアップ画像用及び全視野画像用の撮像条件を時分割で切り換える。ズームアップ画像７０の画像データと全視野画像７１の画像データのフレーム比は、実施形態１では１：１であったが、実施形態２では３：１である。なお、実施形態２の制御部３は上記以外の点において実施形態１の制御部と同様である。

次に、実施形態２に係る画像処理システムの動作について図１，３，４を用いて説明する。まず、図１に示す制御部３による制御によって、撮像装置１が、ズームアップ画像７０の画像データ７４ａ〜７４ｆと全視野画像７１の画像データ７５ａ，７５ｂ（図４参照）とを３：１のフレーム比で出力する。撮像装置１から出力されたズームアップ画像７０の画像データ７４ａ〜７４ｆ及び全視野画像７１の画像データ７５ａ，７５ｂは、実施形態１と同様に、１フレームずつ記憶部４に記憶される。その後も実施形態１と同様に、画像合成部５が、記憶部４に記憶されている画像データ７４ａ〜７４ｆ，７５ａ，７５ｂを用いて合成処理を行い、表示部６がズームアップ画像７０及び全視野画像７１の合成画像８（図３参照）を表示する。

以上、実施形態２によれば、図４に示すように、全視野画像７１の画像データ７５ａ，７５ｂよりズームアップ画像７０の画像データ７４ａ〜７４ｆのほうが撮像装置１（図１参照）から多く出力される、つまり、ズームアップ画像７０のフレームレートを全視野画像７１より高くすることができるので、全視野画像７１に比べてズームアップ画像７０をより詳細に表示することができる。

（実施形態３）
まず、本発明の実施形態３に係る画像処理システムの構成について図２，５を用いて説明する。この画像処理システムは、図５に示すように、１台の撮像装置１と、特定物体検出部２と、制御部３と、表示部６とを実施形態１の画像処理システム（図１参照）と同様に備えているが、実施形態１の画像処理システムにはない以下に記載の特徴部分を有する。

実施形態３の画像処理システムは、実施形態１の記憶部４及び画像合成部５（図１参照）に代えて、図５に示すような記憶部４ａ及び画像合成部５ａを備えている。記憶部４ａは、実施形態１の記憶部４とは異なり、撮像装置１からのズームアップ画像７０の画像データ７２ａ〜７２ｃ（図２（ｃ）参照）を記憶せずに、全視野画像７１の画像データ７３ａ〜７３ｃ（図２（ｃ）参照）のみを記憶する。なお、記憶部４ａは上記以外の点において実施形態１の記憶部４と同様である。

画像合成部５ａは、記憶部４ａに記憶されている全視野画像７１の画像データ７３ａ〜７３ｃ（図２（ｃ）参照）と、撮像装置１からのズームアップ画像７０の画像データ７２ａ〜７２ｃ（図２（ｃ）参照）とを用いて、ズームアップ画像７０及び全視野画像７１を１つの画面構成となるように合成する（図３参照）。なお、画像合成部５ａは上記以外の点において実施形態１の画像合成部５（図１参照）と同様である。

次に、実施形態３に係る画像処理システムの動作について図２，３，５を用いて説明する。まず、図５に示す制御部３による制御によって、実施形態１と同様に、撮像装置１が、ズームアップ画像７０の画像データ７２ａ〜７２ｃと全視野画像７１の画像データ７３ａ〜７３ｃ（図２（ｃ）参照）とを１フレームごとに交互に出力する。撮像装置１から出力された２種類の画像データ７２ａ〜７２ｃ，７３ａ〜７３ｃのうち、全視野画像７１の画像データ７３ａ〜７３ｃのみが記憶部４ａに記憶される。続いて、ズームアップ画像７０の画像データ７２ａ〜７２ｃが撮像装置１から出力されると、画像合成部５ａが、記憶部４ａに記憶されている全視野画像７１の画像データ７３ａ〜７３ｃと、撮像装置１からのズームアップ画像７０の画像データ７２ａ〜７２ｃとを用いて、ズームアップ画像７０及び全視野画像７１がピクチャ・イン・ピクチャとなるように合成処理を行い、合成画像データを表示部６に出力する。最後に、表示部６が合成画像データに基づいてズームアップ画像７０及び全視野画像７１の合成画像８（図３参照）を表示する。

以上、実施形態３によれば、最小限のメモリ構成の記憶部４ａでズームアップ画像７０及び全視野画像７１を合成することができる。

（実施形態４）
まず、本発明の実施形態４に係る画像処理システムの構成について図４，５を用いて説明する。この画像処理システムは、図５に示すように、１台の撮像装置１と、特定物体検出部２と、記憶部４ａと、画像合成部５ａと、表示部６とを実施形態３の画像処理システムと同様に備えているが、実施形態３の画像処理システムにはない以下に記載の特徴部分を有する。

実施形態４の制御部３は、図４に示すように、全視野画像７１の画像データ７５ａ、７５ｂよりズームアップ画像７０の画像データ７４ａ〜７４ｆのほうを多く含む画像データ信号が撮像装置１から出力されるように、ズームアップ画像用及び全視野画像用の撮像条件を時分割で切り換える。ズームアップ画像７０の画像データと全視野画像７１の画像データのフレーム比は、実施形態３では１：１であったが、実施形態４では３：１である。なお、実施形態４の制御部３は上記以外の点において実施形態３の制御部と同様である。

次に、実施形態４に係る画像処理システムの動作について図３〜５を用いて説明する。まず、図５に示す制御部３による制御によって、撮像装置１が、ズームアップ画像７０の画像データ７４ａ〜７４ｆと全視野画像７１の画像データ７５ａ、７５ｂ（図４参照）とを３：１のフレーム比で出力する。実施形態３と同様に、ズームアップ画像７０の画像データ７５ａ，７５ｂのみが記憶部４ａに記憶される。その後も実施形態３と同様に、全視野画像７１の画像データ７５ａ，７５ｂが撮像装置１から出力されると、画像合成部５ａが、ズームアップ画像７０の画像データ７４ａ〜７４ｆ及び全視野画像７１の画像データ７５ａ，７５ｂを用いて合成処理を行い、表示部６がズームアップ画像７０及び全視野画像７１の合成画像８（図３参照）を表示する。

以上、実施形態４によれば、図４に示すように、全視野画像７１の画像データ７５ａ，７５ｂよりズームアップ画像７０の画像データ７４ａ〜７４ｆのほうが撮像装置１（図１参照）から多く出力される、つまり、ズームアップ画像７０のフレームレートを全視野画像７１より高くすることができるので、全視野画像７１に比べてズームアップ画像７０をより詳細に表示することができる。

なお、実施形態１乃至４の変形例として、制御部３は、特定物体検出部２で検出された特定物体を用いてズームアップするための撮像条件を設定するのではなく、特定物体に対してパンを行ったり、トリミングを行ったりするための撮像条件を設定して撮像装置１を制御してもよい。このようにしても、特定物体に注目した撮像を行うことができる。

本発明の実施形態１又は２に係る画像処理システムの構成を示すブロック図である。 本発明の実施形態１又は３に係る画像処理システムにおいて、（ａ）がズームアップ画像を示す図、（ｂ）が全視野画像を示す図、（ｃ）が撮像装置から出力される画像データのタイミングチャートである。 本発明の実施形態１乃至４に係る画像処理システムの画面構成を示す図である。 本発明の実施形態２又は４に係る画像処理システムにおいて、撮像装置から出力される画像データのタイミングチャートである。 本発明の実施形態３又は４に係る画像処理システムの構成を示すブロック図である。

符号の説明

１ 撮像装置
２ 特定物体検出部
３ 制御部

Claims (1)

1. 電子ズーム機能を有し、電子ズームの倍率及び中心位置をパラメータとする撮像条件に基づいて撮像し、撮像した画像の画像データを出力する１台の撮像装置と、
   全視野画像を撮像する撮像条件を少なくとも含む複数の前記撮像条件を設定し、設定した複数の撮像条件を時分割で切り換えて前記撮像装置を制御する制御手段と、
   前記撮像装置からの前記全視野画像の画像データから特定物体を検出する特定物体検出手段とを備え、
   前記制御手段は、前記特定物体検出手段で検出された特定物体の座標位置及び大きさに応じて前記電子ズームの倍率及び中心位置をパラメータとし当該特定物体を当該電子ズームの対象とする撮像条件を設定し、当該撮像条件と前記全視野画像の撮像条件とを時分割かつ電子ズームのみで切り換えて前記撮像装置を制御する
   ことを特徴とする画像処理システム。

Images