JP4748250B2 - 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP4748250B2 JP4748250B2 JP2009113884A JP2009113884A JP4748250B2 JP 4748250 B2 JP4748250 B2 JP 4748250B2 JP 2009113884 A JP2009113884 A JP 2009113884A JP 2009113884 A JP2009113884 A JP 2009113884A JP 4748250 B2 JP4748250 B2 JP 4748250B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- unit
- detection
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Description
この監視装置によれば、一の監視画像に拡大された人物の顔が合成されて表示される。
しかしながら、監視対象は、動きのある人物であるとは限らず、たとえば、放置された不審な鞄や停車中の不審車のように、一定時間静止している不動体(静止物)である場合も多い。
この監視装置では、監視対象が人物に限定され、例に挙げたような静止物を監視対象とすることができない。
上記したようにサーバを用意する必要があることから、監視システムなどの構築に手間がかかる。
従来の監視装置またはカメラ装置では、入力画像に対して1種類の対象しか検出することができないことから、異なる要求に対して対応することが不可能である。
上記したように1種類の対象のみの検出であることから、装置を設置する環境が限定される。
そして、生成部が、検出部によって検出された対象毎の画像データを対象の種類別に生成する。
そして、処理部が、生成部で生成された異なる画枠の画像に対して設定または要求に応じた処理が行われる。
なお、説明は以下の順序で行う。
1.第1の実施形態(画像処理システムの第1の構成例)
2.第2の実施形態(画像処理システムの第2の構成例)
[画像処理システムの第1の構成例]
始めに、基本的な画像処理システムの構成例を、監視画像処理システムを一例として図1〜図3に関連付けて説明する。
図1は、本発明の実施形態に係る基本的な監視画像処理システムの概略構成例を示す図である。
監視装置10は、たとえば監視カメラ装置等により構成され、LAN(Local Area Network)等のネットワーク30を経由して表示装置20に接続されている。この表示装置20は、液晶表示装置(LCD;Liquid Crystal Display)等により構成される。
すると、表示装置20には、監視装置10から入力された監視画像が表示される。このため、監視者は、監視装置10から離れた場所であっても、表示装置20を用いて監視装置10の監視画像を見ることができる。
図2は、本発明の第1の実施形態に係る監視装置の監視対象を説明するための模式図である。図2には、監視装置10の監視領域ARE内に、複数の監視対象が例示されている。
図2に示すように、動体は、たとえば、歩行中の人物P、走行中の自動車(不図示)のように、動きのある人物または物である。
これに対して、不動体(静止物)は、たとえば、路上に放置された鞄B、停車中の自動車C、あるいは立ち止まった人物(不図示)のように、一定時間静止した物または人物である。
図3には、監視画像データの1フレームFRMが例示されている。図3に示すように、フレームFRM内の画像は、4つのブロックBLK(1)〜BLK(4)に分割されている。
その右隣のブロックBLK(2)には、人物Pの拡大された顔が表示されている。
下方のブロックBLK(3)には、鞄Bおよび自動車Cの画像を囲むように、報知画像としての矩形の枠(以後、矩形枠)Fが表示されている。この矩形枠Fは、鞄Bおよび自動車Cが監視対象であることを報知するためのものである。
この他、各々の矩形枠Fの近傍に、「2:12」、「10:38」のような不動時間(静止時間)Tが表示されている。不動時間(静止時間)Tは、たとえば、鞄Bや自動車Cが静止してからの経過時間である。
ブロックBLK(4)には、人物Pの画像を囲むように矩形枠Fが表示されている。
図3に示すように、4つのブロックBLK(1)〜BLK(4)は、その表示面積が均等であるが、たとえば、ブロックBLK(1)の表示面積が最も大きくなるようにすることもできる。
矩形枠Fは、監視対象を明確にするためのものである。したがって、その形状は、たとえば、楕円形の枠などであってもよい。たとえば、矩形枠F自体を点滅させることや、マークなどの画像であってもよい。
以下、監視対象は、一人の人物P、一個の鞄Bおよび一台の自動車Cであるものとする。また、動体は、人物Pであり、静止物は、鞄Bおよび自動車Cであるものとする。
監視装置10の構成例について説明する。
図4は、本発明の第1の実施形態に係る監視装置の構成例を示す概略ブロック図である。
監視装置10は、撮像部(IMG)11、前処理部(FPRO)12、画像メモリ(PICS)13、検出部(DET)14、生成部(GEN)15、合成部(COMP)16、制御処理部(CNTL)17、および制御メモリ(CNTS)18を有する。
なお、前処理部12、画像メモリ13、検出部14、生成部15、合成部16、制御処理部17、および制御メモリ18により画像処理装置が形成される。
また、合成部16、制御処理部17、および制御メモリ18により処理部が形成される。
撮像部11は、監視領域AREを撮影し、これを撮像データS1として前処理部12に出力する。
なお、この撮影画像データS2は、図3に示すブロックBLK(1)に表示すべき撮影画像のデータである。
その後、前処理部12は、画像処理が終了した旨を示す画像処理終了信号S3を制御処理部17に出力する。
画像メモリ13には、前処理部12、検出部14、生成部15、および合成部16が出力したデータが格納される。
具体的には、検出部14は、前処理部12によって画像処理が施された撮影画像データS2を画像メモリ13から読み出す。そして、検出部14は、この撮影画像データS2を基に、動体検出処理、不動体(静止物)検出処理、および顔検出処理を行う。
本実施形態では、動体検出処理にて人物Pが検出され、不動体(静止物)検出処理にて鞄Bおよび自動車Cが検出される。さらに、顔検出処理にて人物Pの顔が検出される。
そして、検出部14は、これらの検出処理結果を基に監視対象データS5を生成し、これを画像メモリ13に格納する。このとき、検出部14は、制御処理部17の指示により、監視対象データS5を指定された画像メモリ13上のアドレスに格納する。
その後、検出部14は、検出処理が終了した旨の検出処理終了信号S8を制御処理部17に出力する。
ここで、監視対象データS5を図5〜図7に関連付けて説明する。
図5は、本発明の第1の実施形態に係る監視対象データの構成例を示す図である。
図5に示すように、監視対象データS5は、矩形枠データD1、フラグFL、付加データD2、および顔データD3によって構成されている。ただし、監視対象データS5は、1フレーム分のデータであるものとする。
矩形枠データD1について説明する。
矩形枠データD1は、監視対象としての人物P、鞄Bおよび自動車Cの画像を囲むように付加される矩形枠Fに関するデータである。
詳細には、矩形枠データD1は、検出部14によって検出された監視対象の個数分(N個)の矩形枠データD1(1)〜D1(N)により構成されている。
本実施形態では、1人の人物P、1個の鞄B、および1台の自動車Cが検出部14によって検出されるため、矩形枠データD1は、3個の矩形枠データD1(1)〜D1(3)で構成されている。
仮に、NP人の人物P、NB個の鞄B、およびNC台の自動車Cが検出部14にて検出された場合、矩形枠データD1は、N=(NB+NC+NP)個の矩形枠データD1(1)〜D1(N)により構成される。なお、N,NB,NCおよびNPは、各々正の整数である。
以下の説明では、矩形枠データD1(1)〜D1(3)は、各々、人物P、鞄B、および自動車Cに関するデータであるものとする。
図6は、本発明の第1の実施形態に係る矩形枠の例を示す模式図である。
図7は、本発明の第1の実施形態に係る矩形枠データの詳細例を示す図である。
たとえば、図3に示すように、人物Pの位置座標を基に、人物Pの画像の周囲に矩形枠Fが付加される。
フラグFLについて説明する。フラグFLは、監視対象が動体、不動体(静止物)および人物の顔の内、いずれであるかを識別するためのフラグである。フラグFLは、各々の監視対象、すなわち、各々の矩形枠データD1(1)〜D1(N)に関連付けられる。
監視対象が静止物である場合、静止物フラグFL2が該当する矩形枠データD1(N)に関連付けられる。この静止物フラグFL2は、監視対象が静止物であることを示すフラグである。
監視対象が人物の顔である場合、顔フラグFL3が該当する矩形枠データD1(N)に関連付けられる。この顔フラグFL3は、監視対象が人物の顔であることを示すフラグである。
付加データD2は、各静止物の画像の周囲に付加される静止時間Tに関するデータである。本実施形態では、ブロックBLK(3)に表示されている各矩形枠Fの近傍に、静止時間Tが付加される。
このため、付加データD2は、静止物フラグFL2が関連付けられた矩形枠データD1(N)に対して関連付けられる。
顔データD3は、人物Pの顔を拡大または縮小表示する場合に使用される。顔データD3は、監視対象にNP人の人物が含まれる場合、NP人の人物の顔の位置座標に関するデータである。
したがって、顔データD3は、NP個の顔データD3(1)〜D3(NP)で構成されている。本実施形態では、顔データD3は、一人の人物Pの顔に関する顔データD3(1)で構成されている。
詳細な検出部14の構成を図8に関連付けて説明する。
図8は、本発明の実施形態に係る検出部の詳細な構成例を示すブロック図である。
具体的には、検出部14は、動体検出器(MODET)141、不動体(静止物)検出器(SODET)142、および顔検出器(FDET)143を有する。
動体検出器141について説明する。
動体検出器141は、たとえば、背景差分法を使用して、画像メモリ13に格納された撮影画像データS2から動体を検出する動体検出処理を行う。
本実施形態では、一人の人物Pが検出される。動体検出処理には、背景差分法の他、フレーム間差分法やオプティカルフロー法等を好適に使用することができる。
そして、動体検出器141は、この検出処理結果を基に、監視対象データS5の一部を生成する。詳細には、動体検出器141は、人物Pに関する矩形枠データD1(1)と、動体フラグFL1とを生成し、動体フラグFL1を矩形枠データD1(1)に関連付ける。
なお、本実施形態においては、動体には静止時間Tを付加しないため、動体検出器141は、付加データD2を生成しない。
不動体(静止物)検出器142について説明する。
不動体検出器142は、画像メモリ13に格納された撮影画像データS2から不動体(静止物)を検出する不動体(静止物)検出処理を行う。
このとき、不動体検出器142は、動体検出により動体として検出される物についての範囲のうちで、たとえば、(n−1)番目のフレームFRMとn番目のフレームFRMとの差分を検出しなかった範囲の物を不動体(静止物)であるものとする。本実施形態では、動体として検出される物のうちにおいて、不動状態となっている鞄Bおよび自動車Cが不動体として検出される。
そして、不動体検出器142は、この検出結果を基に、監視対象データS5の一部を生成する。詳細には、不動体検出器142は、鞄Bに関する矩形枠データD1(2)、自動車Cに関する矩形枠データD1(3)、および静止物フラグFL2を生成する。このとき、不動体検出器142は、静止物フラグFL2を矩形枠データD1(2)、D1(3)に各々関連付ける。
そして、不動体検出器142は、この計測時間を基に付加データD2を生成し、これを矩形枠データD1(2)、D1(3)に各々関連付ける。
顔検出器143は、人物Pの顔を検出する顔検出処理を行う。顔検出処理には、たとえば、撮影画像データS2から肌色に該当する領域を検出し、この領域を顔であると判定する方法が使用される。
そして、顔検出器143は、この検出結果を基に、監視対象データS5の一部を生成する。詳細には、顔検出器143は、人物Pの顔に関する顔データD3(1)および顔フラグFL3を生成する。このとき、顔検出器143は、顔フラグFL3を顔データD3(1)に各々関連付ける。
生成部15は、前処理部12によって画像処理が施された撮影画像データS2を基に、図3に示す各ブロックBLK(2)〜BLK(4)の画像データを生成する。
生成部15は、この画像生成時に、設定条件や指示情報に従って、たとえば人物Pの顔を拡大あるいは縮小する機能を有する。
また、生成部15は、生成画像に対して付加処理を行う。
この付加処理は、矩形枠Fや静止時間T等が含まれた監視対象データS5を撮影画像データS2に付加する処理である。この付加処理の際に、生成部15は、人物Pの顔を拡大あるいは縮小する。
変換器の個数Nは、検出部14を構成する検出器の数で構成される。
本実施形態では、検出部14が、動体検出器141、不動体(静止物)検出器142および顔検出器143によって構成されているため、生成部15は、3個の変換器15(1)〜15(3)により構成される。
以下、生成部15が、3個の変換器15(1)〜15(3)により構成されているものとして説明を行う。
変換器15(1)〜15(3)は、制御信号S6により、動体検出器141、不動体(静止物)検出器142、および顔検出器143が各々対応付けられる。
以下、対応付けされた変換器15(1)〜15(3)について説明する。
変換器15(1)は、動体検出器141の検出結果を基に、ブロックBLK(4)の画像データを生成する処理が割り当てられる。変換器15(1)は、人物Pの画像の周囲に矩形枠Fを付加する。
このとき、変換器15(1)は、監視対象データS5の中から動体フラグFL1に関連付けられた矩形枠データD1を取得する。なお、この矩形枠データD1は、人物Pに関する矩形枠データD1(1)である。
その後、変換器15(1)は、付加処理を施したデータをブロックBLK(4)の画像データS7(1)として画像メモリ13に出力する。
変換器15(2)は、不動体(静止物)検出器142の検出結果を基に、ブロックBLK(3)の画像データを生成する処理が割り当てられる。変換器15(2)は、鞄Bおよび自動車Cの画像の周囲に矩形枠Fを付加する処理を行う。
このとき、変換器15(2)は、監視対象データS5の中から静止物フラグFL2に関連付けられた矩形枠データD1を取得する。なお、この矩形枠データD1は、鞄Bに関する矩形枠データD1(2)、および自動車Cに関する矩形枠データD1(3)である。
さらに、変換器15(2)は、静止時間Tに関する付加データD2も取得する。
さらに、変換器15(2)は、矩形枠Fの近傍に、静止時間Tを付加する。なお、静止時間Tを付加する位置は、監視対象の経過時間であることを容易に認識することができる位置であることが望ましい。
自動車Cに対しても同様に、変換器15(2)は、撮影画像データS2に矩形枠データD1および付加データD2を付加する。
その後、変換器15(2)は、付加処理を施したデータをブロックBLK(3)の画像データS7(2)として画像メモリ13に出力する。
変換器15(3)は、顔検出器143の検出結果を基に、ブロックBLK(2)の画像データを生成する処理が割り当てられる。変換器15(3)は、人物Pの顔を拡大あるいは縮小する。
このとき、変換器15(3)は、監視対象データS5の中から顔フラグFL3に関連付けられた顔データD3を取得する。なお、この顔データD3は、人物Pの顔に関する顔データD3(1)である。
その後、変換器15(3)は、拡大あるいは縮小した画像をブロックBLK(2)の画像データS7(3)として画像メモリ13に出力する。
具体的には、合成部16は、制御処理部17から合成処理開始信号S11が入力されると、変換器15(1)〜15(3)が生成した画像データS7(1)〜S7(3)と、撮影画像データS2とを画像メモリ13から各々読み出す。そして、合成部16は、これらのデータを合成して一の監視画像データS12を生成する。
これにより、図3に示すような監視画像が生成される。監視画像データS12は、一旦、画像メモリ13に格納された後、表示装置20(図1参照)に出力される。
すなわち、制御処理部17は、検出処理開始信号S4、制御信号S6、付加処理開始信号S9、合成処理開始信号S11等を出力し、撮像部11、前処理部12、画像メモリ13、検出部14、生成部15、合成部16、および制御メモリ18を制御する。
監視装置10の動作の全体像を図9に関連付けて説明する。
図9は、本発明の第1の実施形態に係る監視装置の動作例を示すフローチャートを示す図である。
図9に図示するように、初めに、初期化処理が行われる(ST1)。具体的には、制御処理部17は、検出部14を構成する検出器の数を制御信号S6として合成部16に出力する。
そして、制御処理部17は、制御信号S6に基づいて、変換器15(1)〜15(3)を動体検出器141、静止物検出器142、および顔検出器143に各々対応付ける。
その後、画像処理が行われる(ST2)。具体的には、前処理部12は、撮像部11から入力された撮像データS1に対して画像処理を施す。そして、前処理部12は、画像処理を施した画像データを画像メモリ13に格納し、かつ、画像処理が終了した旨を示す画像処理終了信号S3を制御処理部17に出力する。
検出部14は、制御処理部17から検出処理開始信号S4が入力されると、前処理部12によって画像処理が施された撮影画像データS2を画像メモリ13から読み出す。
そして、検出部14は、撮影画像データS2を基に、動体検出処理、不動体(静止物)検出処理、および顔検出処理を行う。
その後、検出部14は、矩形枠データD1、フラグFL、付加データD2および顔データD3で構成される監視対象データS5を生成し、これを画像メモリ13に出力する。そして、検出部14は、検出処理終了信号S8を制御処理部17に出力する。
具体的には、制御処理部17は、検出部14から検出処理終了信号S8を受信すると、付加処理を開始する旨の付加処理開始信号S9を生成部15に出力する。
変換器15(1)〜15(3)は、制御処理部17から付加処理開始信号S9が入力されると、ブロックBLK(2)〜BLK(4)の画像データを各々生成する。そして、変換器15(1)〜15(3)は、付加処理を施した画像データS7(1)〜S7(3)を画像メモリ13に出力する。
合成部16は、制御処理部17から合成処理開始信号S11が入力されると、画像メモリ13から変換器15(1)〜15(3)が生成した画像データS7(1)〜S7(3)と、撮影画像データS2とを読み出す。そして、合成部16は、これらのデータを合成して一の監視画像データS12を生成する。
検出処理における不動体(静止物)検出器の動作例を図10に関連付けて説明する。
図10は、図9に図示する検出処理(ST3)における不動体(静止物)検出処理を詳細に説明するためのフローチャートを示す図である。
不動体(静止物)検出器142は、不動体(静止物)を検出した場合(ST31のYES)、その検出時点からの時間を計測する(ST32)。その後、ステップST31の処理が再開され、その不動体(静止物)が検出される限り、時間の計測が行われる。
一方、不動体(静止物)検出器142は、不動体(静止物)を検出しなかった場合(ST31のNO)、不動体(静止物)検出処理を終了する。
あるいは、ステップST31にて不動体(静止物)が検出されたにもかかわらず、その不動体(静止物)が移動した場合(ST31のNO)も、不動体(静止物)検出器142は、不動体(静止物)検出処理を終了する。
付加処理における制御処理部17の動作例を図11に関連付けて説明する。
図11は、図9に図示する付加処理(ST4)における制御部の動作例を説明するためのフローチャートである。
そこで、制御処理部17は、矩形枠データD1が含まれている監視対象データS5のみを変換器15(1)〜15(3)に与えるための処理を行う。以下、この処理を詳細に説明する。
矩形枠データ数NがN=0の場合(YES)、制御処理部17は、画像メモリ13にアクセスし、矩形枠データ数NがN=0の監視対象データS5を破棄する(ST43)。
一方、矩形枠データ数NがN=0でない場合(NO)、制御処理部17は、画像メモリ13に格納されている全ての監視対象データS5を破棄するか否かを判別する(ST44)。
すなわち、制御処理部17は、N=0の監視対象データS5も含め、他のフレームの監視対象データS5も破棄するか否かを判別する。
動きのある動体だけではなく、一定時間静止している不動体(静止物)も監視対象とすることができる。これにより、不審な鞄や停車中の不審車等も監視することができる。
これに加え、人物の顔も認識しやすいように拡大表示されるため、人物の監視も容易である。
動体や不動体(静止物)の画像の周囲には、矩形枠Fが付加されるため、監視対象が明確となる。特に、不動体(静止物)の画像の周囲には、静止時間Tが表示されるため、不動体(静止物)が停止してからの時間を把握することができる。
監視対象毎の異なる画像が一の監視画像として表示されるため、複数の監視対象を同時に監視することができる。
監視対象を検出する検出部および生成部は、監視対象の種類に併せて構成することができるため、拡張性に優れ、監視対象の種類別に画像を生成することができる。
一の監視装置10で監視領域の撮影から最終的な監視画像データの生成まで行われるため、この監視装置10以外に画像処理を行うサーバ装置などが不要である。
たとえば、静止している人物のように、さらに監視対象を追加する場合には、静止している人物を検出する不動体(静止人物)検出器を検出部14に設けることができる。この場合、この人物の画像の周囲に矩形枠Fや静止時間Tを付加するための新たな変換器を生成部15に設ければよい。
合成部をさらに追加し、複数の監視画像データS12を同時に生成することができる。これにより、一の監視装置10から複数の表示装置に監視画像データS12を各々出力することが可能となる。
[画像処理システムの第2の構成例]
次に、より汎用的な画像処理システムの構成例を、図12および図13に関連付けて説明する。
図12は、本発明の第2の実施形態に係る画像処理システムの概略構成例を示す図である。
カメラ装置200は、その複数の異なる画枠の画像に対して独立のOSD(前景画像)を合成し出力することが可能な機能を有する。
カメラ装置200は、複数の異なる画枠の画像に対して独立して電子ズーム、パン/チルト制御可能な機能を有する。
カメラ装置200は、上記複数の画像全て、あるいは一部を合成して一つの画像を出力することが可能な機能を有する。
カメラ装置200は、入力画像から不動体検出、動体検出、顔検出といった複数種類の検出処理を行うことが可能な機能を有する。この検出処理機能は、第1の実施形態の監視装置と同様な機能により実現される。
カメラ装置200は、検出部の検出処理に応じてそれぞれ異なる画枠の画像を生成することが可能な機能を有し、検出処理を行った画像に対して上記OSDを合成し、検出情報を画像に付加することが可能な機能を有する。
そして、カメラ装置200は、生成した複数の画像を異なる通信機に対してストリーミング配信する機能を有する。
また、本カメラ装置200は、各通信機側が検出対象を設定することが可能な機能を有する。
カメラ装置200は、ストリーミング配信における画像を保存できる機能を有する。
このエンコード機能は、少なくとも単一の動画像データをエンコード指示に基づいて時分割でエンコードし、属性の異なる複数のエンコードデータを生成するエンコード処理機能を含む。
さらに、エンコード機能は、優先して生成すべき属性のエンコードデータに関する優先事項に基づいて、動画像データのエンコード順序をエンコード処理対象のフレーム画像ごとに決定する機能を有する。エンコード機能は、決定したエンコード順序をエンコード指示としてエンコード処理機能に渡す機能を有する。
ここではまず、本画像処理システム100の全体的な構成、機能の概要について説明する。
本カメラ装置200は、ネットワーク400に接続され、複数の通信機(受信機、以下、クライアントと称する)からの要求を受けることができる。
ネットワーク400には、カメラ装置200に対して要求を行うクライアント300が複数存在する。
クライアント300(−1〜−n、図12の例ではn=3)は、本カメラ装置200にネットワーク400経由でアクセスすることが可能である。
図12の例では、クライアント300−1は、パーソナルコンピュータ(PC)により構成される。クライアント300−2は、携帯電話により構成される。クライアント300−3はワークステーションにより構成される。ワークステーションには、たとえばネットワークまたは専用回線301を介して表示装置302が接続される。
各クライアント300は、カメラ装置200に対し、次のような要求を行うことが可能である。
すなわち、要求には、監視対象、監視開始時間および終了時間、通知方法選択、ストリーミング配信オン(ON)/オフ(OFF)、画像サイズ、監視画像の保存、保存された監視画像のダウンロード、音声配信ON/OFFといった要求が含まれる。
各クライアント300は、カメラ装置200に対し任意のタイミングで、上記のような設定、ストリーミング受信、リアルタイムで受信している画像に対する電子ズーム、パン/チルト操作を行うことが可能である。
このようにして、一般的な監視システムにおいても本カメラ装置200を用いて構築することが可能である。
ここでは、クライアントCLEの数は4として図13(A)〜(D)に例示されている。また、図13(E)には、本カメラ装置200のカメラ入力画像が示されている。
すなわち、撮影画像には、動体、不動体(静止物)および人物の顔が含まれる。
動体は、たとえば、歩行中の人物P、走行中の自動車(不図示)のように、動きのある人物または物である。
不動体(静止物)は、たとえば、路上に放置された鞄B、停車中の自動車C、あるいは立ち止まった人物(不図示)のように、一定時間不動な(静止した)物または人物である。
クライアントCLE2では、“顔検出”の設定を行っているため、図13(B)に示すような人物Pの顔が拡大された画像を受信している。
クライアントCLE3は、“動体検出”の設定を行っているため、図13(C)に示すように人物Pの検出情報とともに画像を受信している。
クライアントCLE4は、“検出対象なし”と“動体検出”の2種類の設定を行い、2つの画像を受信している。図13(D)において、受信画像aは“検出対象なし”の画像であり、電子ズーム、パン/チルト操作により車を拡大している。
このように、本第2の実施形態においては、特定の対象に対して、クライアント側自身で電子ズーム、パン/チルト操作により監視を行うことが可能である。また、受信画像bは“動体検出”の設定を行った画像である。
上記のように本カメラ装置200は、各クライアントに合わせた複数種の要求に同時に対応することが可能である。
アプリケーション制御部230は、ストレージに対する処理、ネットワーク関連処理、外部入力処理、またリアルタイム制御部210に対する指示を行う。
アプリケーション制御部210とリアルタイム制御部230の通信は、制御メモリ240を通して行われる。
リアルタイム制御部210は、オーディオ伸張器220、オーディオ圧縮器221、オーディオ入出力I/F222、およびリアルタイム制御処理部223を有する。
なお、信号処理部212、検出部213、画像メモリ214、N個の変換器215により画像処理装置が形成される。
オーディオ伸張器220、オーディオ圧縮器221、オーディオ入出力I/F222によりオーディオ処理系が形成される。
画像圧縮器217,218、表示インタフェース(I/F)219、およびリアルタイム制御処理部223は処理部の機能を有する。
リアルタイム制御処理部223では、各種ブロックに対して処理要求を行い、アプリケーション制御部230から要求された処理結果を制御メモリ240経由で通知する。
表示I/F219、オーディオ入出力I/F222は、本カメラ装置200で処理された画像、音声を外部装置に出力する機能を有する。
また、リアルタイム制御部210は、RTC250により時刻設定を行うことができる。RTC250の初期設定はアプリケーション制御部230により行われる。
リアルタイム制御部210の画像処理については後で詳述する。
アプリケーション制御部230は、ネットワークI/F231、ストレージI/F232、要求受付器233、内部フラッシュメモリ234、外部記録媒体235、およびアプリケーション制御処理部236を有する。
アプリケーション制御部230がクライアントCLEから受け付ける要求内容を表1および表2に示す。
表2は、表1における監視対象数分だけ設定が必要な項目、本カメラ装置200に対して各分割画像に設定する項目を表している。
アプリケーション制御部230では、新規のクライアントから要求があった場合は、画像IDを登録しこのIDをもとにリアルタイム制御部210に対して処理要求を行う。
図13に示すように、複数の監視対象を設定した場合に画面が分割される。そして、この各画面に対して設定する項目が表2に示した項目となる。
“監視対象数”が2以上の値が設定された場合は、リアルタイム制御部210に対して“合成器216の動作設定”をONに指定して通知する。
表1における“監視対象数”では、本カメラ装置200が保有する変換器215の数を最大値としてその中で未使用の1からNまでの値を設定することができる。本カメラ装置200に変換器215を追加した場合、この最大値が増加する。
“ストリーミング配信”では、ON/OFFを設定することが可能である。ONに設定した場合、クライアントは、表1、表2に設定した内容のストリーミングを受信することができる。
時刻の管理はアプリケーション制御処理部236によって行われており、指定時刻になったときに設定内容によってストリーミング配信もしくは画像保存を行う。
“画像保存”では、ストレージに監視画像を保存することができる。
“分割画面ID”は、本カメラ装置200が設定するID番号を示す。この値を“変換器ID”としてリアルタイム制御部210に通知する。
“画像サイズ”は、分割画面の画像サイズを示す。
“画像配置座標”は、対象の分割画面を配置する座標を示し、左上の角を(0,0)として設定する。
“監視対象情報付加”では、図3および図13に示すように、検出した対象に付加される矩形の情報である。また、不動体(静止物)検知であれば不動時間(静止時間)が付加情報になる。
“監視対象付加情報座標”では、“画像サイズ”で設定した範囲内で指定することが可能な座標が示される。
つまりクライアントは、ONに設定することによってリアルタイムで監視を行うことが可能となる。
“音声通知”では、検出処理と連動し、“監視対象”に設定した対象を本カメラ装置200が検出した際に、クライアントに対して音声通知を行うか否か設定項目である。
アプリケーション制御部230では、以上の項目に基づき、リアルタイム制御部210に対して処理要求を行う。
図15は、本第2の実施形態に係るカメラ装置のメモリ領域の構成例を示す図である。
本カメラ装置200の初期起動では、図15に示す“制御CPU起動パラメータ領域”項目がアプリケーション制御部230よりリアルタイム制御部210に渡される。ここでのリアルタイム制御CPUは、図14のリアルタイム制御処理部223に相当する。
リアルタイム制御CPU情報は、入力信号、Audio/検出機能、出力フォーマットに関する設定である。
また、メモリ情報は、画像処理に関連する各種メモリ情報である。
図16において、処理の中で生成されるデータを破線の枠で示されている。
図16中の機能ブロックをリアルタイム制御処理部223が全体を制御して処理を実現している。
リアルタイム制御処理部223は、各ブロックの初期化、処理要求を行う。また、全体の処理中に生成された各種データをもとに、アプリケーション制御部230からの要求に応える。
その後、検出部213によりYUVデータ内の“動体”、“不動体”といった検出を行う。この検出処理は、第1の実施形態と同様に行われることから、その詳細は省略する。
ここで検出部213は、リアルタイム制御処理部223の要求により何を検出するかを決定する。
検出部213は、検出処理終了後、処理結果をメタデータとして制御メモリ240に保存する。
リアルタイム制御処理部223の要求、検出部213にて求められたメタデータ、YUVデータにより、OSD2151とスケーラ2152を有する変換器215は、画像編集を行い、画像メモリにYUVデータ(変換器出力)出力を行う。
変換器215は、単体で配置される場合と、複数配置される場合がある。
単体の場合、変換器215を時系列並列動作させることで、複数のYUVデータ(変換器出力)出力を行うことができる。
複数の場合、複数の変換器215を並列動作させることで、複数のYUVデータ(変換器出力)出力を行うことができる。
変換器215の画像編集機能は、スケーリング編集、電子ズーム編集、電子パン・チルト編集、OSD編集の各機能を含む。
各機能の意味は次の通りである。
電子ズーム編集は、注目領域のみを切り出し、切り出した画像を出力画サイズにあわせ拡大・縮小編集する機能を含む。
電子パン・チルト編集機能は、電子ズーム編集された注目領域をパン/チルトする機能を含む。
OSD編集機能は、入力YUVデータに対して、OSDデータをあわせ、出力する機能を含む。
第1は、YUVデータ(変換器出力)出力画サイズを、スケーリング編集に使用する要求である。
第2は、入力YUVデータ注目領域座標、サイズを、電子ズーム編集、電子パン/チルト編集に使用する要求である。
第3は、YUVデータ(変換器出力)出力数を、複数出力の場合に使用する要求である。
第4は、出力タイミングを、複数出力の場合に使用する要求である。
メタデータは、OSD編集に使用され、注目領域に枠をつけ、YUVデータ(変換器出力)出力することができる。
ステップST101において、注目領域が有ると判断すると、電子パン(Pan)/チルト(Tilt)の有無を判断する(ST102)。
ステップST102において、電子パン/チルトが有ると判断すると、電子パン/チルトの座標より切り出し、座標補正する(ST103)。
ステップST103の補正処理後、またはステップST102で電子パン/チルトが無いと判断すると、切り出し座標、サイズより入力YUVデータを切り出す(ST104)。
次に、切り出しサイズと出力画サイズより電子ズームを行う(ST105)。
次に、OSD処理を行う(ST106)。
また、ステップST101において注目領域が無いと判断すると、入力YUVデータ画サイズと出力画サイズより電子ズームを行い(ST107)、ステップST106のOSD処理に移行する。
ステップST111において、OSD付加情報が有ると判断すると、時刻情報、画像情報のOSD情報を付加する(ST112)。
ステップST112の処理後、またはステップST111でOSD付加情報が無いと判断すると、メタデータにより枠付加の有無を判断する(ST113)。
次に、メタデータを解析し、枠データを生成し、注目領域に枠を付加する(ST114)。
リアルタイム制御処理部223の要求、YUVデータ(変換器出力)もしくはYUVデータ(合成器出力)により、画像圧縮器217,218は、リアルタイム制御処理部223の要求に沿ったフォーマットに圧縮処理を行う。画像圧縮器217,218は、圧縮データを制御メモリ240に出力する。
画像圧縮器217,218は、変換器215と同様、単体で配置される場合と、複数配置される場合がある。
単体の場合、画像圧縮器を時系列並列に動作させることにより、複数の圧縮データを出力することができる。
また、複数の場合、複数の画像圧縮器を並列に動作させることにより、複数の圧縮データを出力することができる。
本実施形態では、複数の画像圧縮器217,218の2つを使う場合が例示されている。
この画像圧縮情報は、リアルタイム制御処理部223にて入力される。
動画および静止画の画像圧縮情報は、次の通りである。
動画の画像圧縮情報は、“圧縮フォーマット”、“圧縮画サイズ”、“圧縮ビットレート”、“圧縮フレームレート”、“圧縮時に使用する参照フレーム情報”、“圧縮モード(CBR/VBRなど)”を含む。
静止画の画像圧縮情報は、“圧縮フォーマット”、“圧縮画サイズ”、“品質”を含む。
リアルタイム制御処理部223からの要求内容は、“入力YUVデータ(変換器出力)のアドレス、サイズ”、“出力圧縮データのアドレス、サイズ”、“画像圧縮情報(動画の画像圧縮情報または静止画の画像圧縮情報)”を含む。
図19(A)は、注目領域高画質の場合のイメージを示し、図19(B)は、合成画像の場合のイメージを示している。
画像圧縮器217は、図19(A),(B)に示すように、合成画像を動画として圧縮する場合に、動体部分に多くのビットを割り当て、不動体部分に最低限のビットを自動的に割り当てる高画質機能も有している。
ステップST121において、高画質画像が無いと判断すると、リアルタイム制御処理部223の要求内容、注目領域に従い画像を圧縮する(ST122)。
そして、ステップST121において、高画質画像が有ると判断後、またはステップST122の処理後、リアルタイム制御処理部223の要求内容、注目領域座標に従い画像を圧縮する(ST123)。
図21の画像処理情報は次の通りである。
画像処理情報は、“変換器ID”、“出力画サイズ設定(Width×Height)”、“検出器動作設定(OFF/動体検知・不動体検知/顔検知)”、“検出枠表示設定(ON/OFF)”を含む。
画像処理情報は、“検出時刻表示設定(ON/OFF)”、“検出時刻表示開始座標設定(X、Y)”、“合成後画像配置座標(X,Y)”を含む。
これらの画像処理情報のうち、“変換器ID”以下“合成後画像配置座標(X,Y)”までの情報は、使用される変換器1つにつき通知される情報である。
可否判定の結果、実行不可能である場合は異常終了する。
リアルタイム制御部210は、可否反転の結果、実行可能である場合、検出部213の初期設定を行う(ST133)。
リアルタイム制御部210は、変換器215の初期設定を行う(ST134)。
使用変換器215の数分の初期設定が完了すると(ST135)、リアルタイム制御部210は、合成器216の動作をONするかOFFするかを選定する(ST136)。
リアルタイム制御部210は、合成器216をONする場合は、合成器216の初期設定を行う(ST137)。
合成器216をOFFする場合、または合成器216の初期設定後、リアルタイム制御部210は、出力先判定を行う(ST138)。
リアルタイム制御部210は、出力先が圧縮器の場合、圧縮器の初期設定を行い(ST139)、出力先が表示装置の場合、表示装置の初期設定を行う(ST140)。
以上の処理により正常終了し、画像処理が開始される。
画像ID=1は、変換器215を2つ使用し、入力画像を縮小した画像に対して、顔検出した顔の部分を拡大し、PinPの形で合成する画像イメージである。
また、画像ID=2は、変換器を4つ使用し、顔検出、動体、不動体検出画像を拡大し、縮小し最終的に元画像と同じ画サイズで画面を4分割した形に合成する画像イメージである。
そして、以下の情報を基に、変換器215の設定を更新し、画像圧縮器および出力装置への入力画像を更新していく。
検出状態に変化がある場合、リアルタイム制御部210は、変換器215の設定の更新を行い(ST143)、合成器216の設定の更新を行う。(ST144)
そして、リアルタイム制御部210は、検出状態に変化が無い場合、または合成器設定の更新後、画面操作の要求があるか否かを判断する(ST145)。
画面操作要求が有る場合、変換器215の設定の更新を行う(ST146)。
そして、リアルタイム制御部210は、画面操作要求が無い場合、または変換器設定の更新後、処理を終了する。
図22に示す初期設定フローにおいて、アプリケーション制御処理部236からの要求に対する動作可否判定は、指示された要求がリアルタイム制御部210の上限性能内で動作可能であるかどうかを判定する。
リアルタイム制御部210の上限性能は、変換器×N、画像圧縮器の処理ピクセル(Pixel)量、および画像メモリ214のメモリ帯域で上限が決定し、システム構成により可変となるため、初期設定時に動的に判定を行う。
動的に動作可否判定を行うことにより、リアルタイム制御部210では任意の画枠サイズ、およびフレームレートの組み合わせを実現可能とし、装置全体の性能を有効に利用できる。
図14に示す装置構成において、変換器×Nが画像メモリから読み出す画像のピクセル量をXn(n=1〜N)、変換器×Nが変換処理後に画像メモリに書き出す画像のピクセル量をYn(n=1〜N)とし、それぞれの性能上限をXmax,Ymaxとする。
同様に、画像圧縮器217,218が画像メモリ214から読み出す画像のピクセル量をP、性能上限をPmaxとする。画像メモリ214のメモリ帯域をZとする。
ここで、各処理のピクセル量は(画枠サイズ×フレームレート)で表される。
判定は、以下に示す判定式で全て満たされた場合に動作可能と判定する。
Xmax≧ΣXn(n=1〜N)
Ymax≧ΣYn(n=1〜N)
Pmax≧ΣYn(n=1〜N)
Z=(ΣXn+ΣYn×2)×α
ここで、αはシステムに接続される画像メモリの個数による係数を示す。
検出部213からの監視通知とオーディオ圧縮器221およびオーディオ入出力I/Fを222用いた音声のストリーミング配信を実用例として挙げられる。
さらに、オーディオ伸張器220およびオーディオ入出力I/F222を用いた本カメラ装置200からの音声出力を組み合わせることにより、様々な実用例が挙げられる。
また、アプリケーション制御部230に、{監視通知}を受けて、音声ストリーミング配信するアプリケーションもしくは音声を本カメラ装置200から出力するアプリケーションが起動するように設定する。
また、起動するアプリケーションは、{監視対象}毎に異なる音量や音声パターンを設定できるものとする。
それにより、たとえば特定エリアに近い{監視対象}に対して、徐々に音量を大きくするように設定することにより、動体が特エリアに近づいた場合、その動体もしくは監視者に対して、その接近度合いを自動的に通知することが可能となる。
図27は、本第2の実施形態におけるアプリケーションの実行処理を説明するためのフローチャートを示す図である。
クライアントから監視の要求を受け付ける(ST151)。
受け付ける要求は、たとえば、監視対象を特定する値である“分割画面ID”、監視対象を示すサイズである“画像サイズ”、監視対象を示す座標である“画像配置座標”、{監視対象}として“動体検知”、“音声通知ON”が含まれる。
次に、リアルタイム制御部210が検出部213の設定を行う(ST152)。
次に、音声通知がONであるかOFFであるかを判断する(ST153)。
音声通知がOFFである場合は、起動せず処理を終了する。
音声通知がONである場合、アプリケーション制御部230が音声応答アプリケーションを起動する(ST154)。
次に、クライアントから音声応答の要求を受け付けて、音声コーデックの設定情報を得る(ST155)。
以下、分割画面ID毎に情報を受け付ける。
その情報には監視者への音声出力の有無、動作への音声出力の有無、アプリケーション制御部に格納されている音声パターン、音量が含まれる。
要求された情報を転送する。
そして、音声応答アプリケーションをスリープさせる(ST156)。
アプリケーション制御部230は、リアルタイム制御部210からの動体検知通知を受けると(ST161)、音声応答アプリケーションを起床する(ST162)。
次に、分割画面IDを取得し(ST163)、有効なIDであるか否かを判断する(ST164)。
有効なIDである場合、分割画面IDに応じた情報の読み出しを行う(ST165)。
次に、監視者向けの音声出力であるか否かを判断する(ST166)。
監視者向けの音声出力である場合、アプリケーション制御部230に格納されている音声パターンを読み出し、ネットワークI/F231を経由して、クライアントへ音声ストリーミング配信を行う(ST167)。
次に、動体向け音声出力であるか否かを判断する(ST168)。
動体向け音声出力である場合、リアルタイム制御部210がオーディオ入出力I/F222に音量を設定する(ST169)。
次に、アプリケーション制御部230に格納されている音声パターンを読み出し、リアルタイム制御部210の音声メモリにコピーする(ST170)。
次に、リアルタイム制御部210が、オーディオ圧縮器221にて指定されたコーデックで音声をエンコードする(ST171)。
次に、出力終了であるか否かを判断する(ST172)。
出力終了まで、ステップST170〜ST172の処理を繰り返し、出力終了である場合、あるいはステップST164で有効なIDでないと判断した場合に、音声応答アプリケーションをスリープさせる(ST173)。
また、アプリケーション制御部230に、{監視対象}を受けて、音声をストリーミング配信するアプリケーション、および音声を本カメラ装置200から出力するアプリケーションが起動するように設定する。
それにより、たとえばある特定の動体が{監視対象}に入り、{顔検知}が行われると、自動的に動体と監視者の双方向における通話が可能となる。
また、アプリケーション制御部230に、{監視通知}を受けて、音声をストリーミング配信するアプリケーションが起動するように設定する。
また、起動するアプリケーションは、{監視対象}毎に、異なる音声パターンを設定するものとする。
それにより、たとえば出入り口毎にそのエリアから特定のエリアにいくための手段を音声として設定することにより、動体に対して特定のエリアに自動的に誘導可能となる。
また、アプリケーション制御部230に、{監視通知}を受けて、音声をストリーミング配信するアプリケーション、および音声を本カメラ装置200から出力するアプリケーションが起動するように設定する。
それにより、たとえば動体が特定のエリアに入ると、{動体検知}が行われ、自動的に動体と監視者の双方向における通話が可能となる。
本カメラ装置200における入力画像に対して、複数のクライアントからの要求、たとえば検出処理、拡大/縮小の画面操作に応えることができる。
本カメラ装置200は、ストリーミング配信が可能なことから、クライアント側はリアルタイムな監視が可能である。
動体検出、不動体検出といった異なる対象の同時検出処理が可能なことから、クライアント側は効率的な監視が可能である。
本カメラ装置200は検出した対象の情報を付加した画像を送信することが可能であることから、クライアント側は監視を行いやすい。
ストリーミング配信を動的にON/OFFできるので、クライアントの受信情報量を軽減することができる。
通常の監視システムも容易に構築することが可能である。
変換器、合成器を追加すれば、生成できる画像を増やすことができ、多くのクライアントに対応できる。
動体検出や顔検出と音声に関するアプリケーションを連携させることにより、クライアントによる操作を介さずに、動体および監視者に、動体の状況を通知することが可能となる。
また、第2の実施形態によれば、このようなエンコード処理の遅延が発生したとしても、エンコード順序がローテーションするため、同一のインスタンスがスキップされるという事態を回避することができる。このため、映像の劣化が低減される。特に、各インスタンスのフレームレートが同一の場合には、顕著な効果を得ることができる。
このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし、上記プログラムを実行するように構成可能である。
Claims (17)
- 一の入力画像から複数の対象を種類別に検出する検出部と、
上記検出部によって検出された上記対象毎の画像データを、上記対象の種類別にそれぞれ異なる画像として生成する生成部と、
上記生成部で生成された上記対象の種類別の画像のうち、少なくとも一部の画像を、上記一の入力画像に対して、当該一の入力画像の画枠と並んだ異なる画枠の画像として合成して出力する処理部と
を有し、
上記生成部は、
検出に係る上記異なる画枠の画像に対して、画像毎に異なる独立のOSD(前景画像)を合成して出力する
画像処理装置。 - 上記検出部は、
上記一の入力画像に含まれる、動きのある動体を検出する
請求項1記載の画像処理装置。 - 上記検出部は、
検出した動体の不動状態を検出する
請求項2記載の画像処理装置。 - 上記検出部は、
動体として検出された後に不動状態になっている不動体についての、不動状態を検出した時点からの時間を検出し、
上記生成部は、
検出された上記不動体の画像に対して、当該不動体について検出された上記時間を合成する
請求項3に記載の画像処理装置。 - 上記検出部は、
顔検出処理機能を有する
請求項1から4のいずれか一に記載の画像処理装置。 - 上記生成部は、
上記異なる画枠の画像に対して独立して電子ズーム、パン/チルト制御可能な機能を有する
請求項1から5のいずれか一に記載の画像処理装置。 - 上記生成部は、
上記検出部の検出処理に応じてそれぞれ異なる画枠の画像を生成する
請求項1から6のいずれか一に記載の画像処理装置 - 上記生成部は、
検出処理が行われた画像に対してOSD(前景画像)を合成し、検出情報を当該画像に付加する機能を有する
請求項7記載の画像処理装置。 - 上記処理部は、
生成した複数の画像を異なる通信機に対してストリーミング配信する機能を有する
請求項1から8のいずれか一に記載の画像処理装置。 - 上記処理部は、
ストリーミング配信における画像を保存する機能を有する
請求項9記載の画像処理装置。 - オーディオ処理系を有し、
上記検出部は、
動体を検知する機能を有し、
上記処理部は、
上記オーディオ処理系を駆動して、上記動体検知した場所により応答音を変化させて、特定エリアとの距離を報知する機能を有する
請求項1から10のいずれか一に記載の画像処理装置。 - 上記処理部は、
上記オーディオ処理系を駆動して、上記動体検知した場所により特定エリアへ誘導する音声を出力する機能を含む
請求項11記載の画像処理装置。 - オーディオ処理系を有し、
上記検出部は、
顔を検知する機能を有し、
上記処理部は、
上記オーディオ処理系を駆動して、上記顔検知した情報により音声をストリーミング配信する機能、および音声を他の通信機に出力する機能を有する
請求項1から10のいずれか一に記載の画像処理装置。 - ネットワークと、
上記ネットワークを通した通信が可能な画像処理装置と、
上記画像処理装置と上記ネットワークを介して通信可能な少なくとも一つの通信機と、
を有し、
上記画像処理装置は、
一の入力画像から複数の対象を種類別に検出する検出部と、
上記検出部によって検出された上記対象毎の画像データを、上記対象の種類別にそれぞれ異なる画像として生成する生成部と、
上記生成部で生成された上記対象の種類別の画像のうち、少なくとも一部の画像を、上記一の入力画像に対して、当該一の入力画像の画枠と並んだ異なる画枠の画像として合成し、上記ネットワークへ出力する処理部と
を有し、
上記生成部は、
検出に係る上記異なる画枠の画像に対して、画像毎に異なる独立のOSD(前景画像)を合成して出力する
画像処理システム。 - 撮像した画像データを得る撮像部と、
上記撮像部による画像データに対して画像処理を行う画像処理装置と、を有し、
上記画像処理装置は、
一の入力画像から複数の対象を種類別に検出する検出部と、
上記検出部によって検出された上記対象毎の画像データを、上記対象の種類別にそれぞれ異なる画像として生成する生成部と、
上記生成部で生成された上記対象の種類別の画像のうち、少なくとも一部の画像を、上記一の入力画像に対して、当該一の入力画像の画枠と並んだ異なる画枠の画像として合成して出力する処理部と
を有し、
上記生成部は、
検出に係る上記異なる画枠の画像に対して、画像毎に異なる独立のOSD(前景画像)を合成して出力する
カメラ装置。 - 一の入力画像から複数の対象を種類別に検出する検出ステップと、
上記検出ステップによって検出された上記対象毎の画像データを、上記対象の種類別にそれぞれ異なる画像として生成する生成ステップと、
上記生成ステップで生成された上記対象の種類別の画像のうち、少なくとも一部の画像を、上記一の入力画像に対して、当該一の入力画像の画枠と並んだ異なる画枠の画像として合成して出力する処理ステップと
を有し、
上記生成ステップでは、
検出に係る上記異なる画枠の画像に対して、画像毎に異なる独立のOSD(前景画像)を合成して出力する
画像処理方法。 - 一の入力画像から複数の対象を種類別に検出する検出手順と、
上記検出手順によって検出された上記対象毎の画像データを、上記対象の種類別にそれぞれ異なる画像として生成する生成手順と、
上記生成手順で生成された上記対象の種類別の画像のうち、少なくとも一部の画像を、上記一の入力画像に対して、当該一の入力画像の画枠と並んだ異なる画枠の画像として合成して出力する処理手順と
を有する画像処理をコンピュータに実行させるプログラムであって、
上記生成手順では、
検出に係る上記異なる画枠の画像に対して、画像毎に異なる独立のOSD(前景画像)を合成して出力する
プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009113884A JP4748250B2 (ja) | 2009-02-27 | 2009-05-08 | 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム |
US12/656,046 US8970695B2 (en) | 2009-02-27 | 2010-01-14 | Image processing device, image processing system, camera device, image processing method, and program |
CN201010119469.9A CN101820530B (zh) | 2009-02-27 | 2010-02-22 | 图像处理设备、系统、方法以及摄像机设备 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009045512 | 2009-02-27 | ||
JP2009045512 | 2009-02-27 | ||
JP2009113884A JP4748250B2 (ja) | 2009-02-27 | 2009-05-08 | 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010226687A JP2010226687A (ja) | 2010-10-07 |
JP4748250B2 true JP4748250B2 (ja) | 2011-08-17 |
Family
ID=42655442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009113884A Expired - Fee Related JP4748250B2 (ja) | 2009-02-27 | 2009-05-08 | 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8970695B2 (ja) |
JP (1) | JP4748250B2 (ja) |
CN (1) | CN101820530B (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4748250B2 (ja) * | 2009-02-27 | 2011-08-17 | ソニー株式会社 | 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム |
WO2011108043A1 (ja) * | 2010-03-04 | 2011-09-09 | パナソニック株式会社 | 画像表示装置及び画像表示方法 |
JP5790761B2 (ja) * | 2011-06-08 | 2015-10-07 | オムロン株式会社 | 分散画像処理システム |
JP2013005091A (ja) * | 2011-06-14 | 2013-01-07 | Pentax Ricoh Imaging Co Ltd | 撮像装置および距離情報取得方法 |
JP5911227B2 (ja) * | 2011-07-12 | 2016-04-27 | キヤノン株式会社 | 判定装置、判定方法及びプログラム |
JP6066650B2 (ja) * | 2012-04-23 | 2017-01-25 | マスプロ電工株式会社 | 監視装置 |
CN103685965B (zh) * | 2012-09-18 | 2017-12-19 | 浙江大华技术股份有限公司 | 一种图像信息的处理方法和设备 |
WO2014065033A1 (ja) * | 2012-10-26 | 2014-05-01 | 株式会社日立国際電気 | 類似画像検索装置 |
CN103035219B (zh) * | 2012-12-25 | 2015-10-28 | 广东威创视讯科技股份有限公司 | 点阵型液晶显示器的读写方法和装置 |
JP2014176024A (ja) * | 2013-03-12 | 2014-09-22 | Olympus Imaging Corp | 撮影装置、画像処理方法、及び、画像処理プログラム |
JP6396682B2 (ja) * | 2014-05-30 | 2018-09-26 | 株式会社日立国際電気 | 監視カメラシステム |
US9886633B2 (en) | 2015-02-23 | 2018-02-06 | Vivint, Inc. | Techniques for identifying and indexing distinguishing features in a video feed |
JP6838310B2 (ja) * | 2016-08-09 | 2021-03-03 | 大日本印刷株式会社 | 撮影画像内の個体の検出装置 |
CN108990428B (zh) * | 2017-03-31 | 2021-09-07 | 株式会社日立制作所 | 移动体摄像装置以及移动体摄像方法 |
JP7099693B2 (ja) * | 2017-09-12 | 2022-07-12 | 株式会社クリューシステムズ | 映像監視方法およびサーバならびに映像監視システム |
JP6677237B2 (ja) * | 2017-12-25 | 2020-04-08 | カシオ計算機株式会社 | 画像処理システム、画像処理方法、画像処理装置、プログラム及び携帯端末 |
CN108230343B (zh) * | 2018-01-05 | 2020-06-05 | 厦门华联电子股份有限公司 | 一种图像处理方法及装置 |
CN108924657B (zh) * | 2018-06-13 | 2021-08-31 | 上海熙菱信息技术有限公司 | 一种在视频帧上叠加无闪烁图形的方法 |
CN109035287B (zh) * | 2018-07-02 | 2021-01-12 | 广州杰赛科技股份有限公司 | 前景图像提取方法和装置、运动车辆识别方法和装置 |
JP2020115607A (ja) * | 2019-01-17 | 2020-07-30 | 日本電気株式会社 | 画像処理装置、画像処理方法、プログラム |
JP2019110545A (ja) * | 2019-02-04 | 2019-07-04 | ヴィド スケール インコーポレイテッド | ビデオ再生方法、端末、およびシステム |
JP6996538B2 (ja) * | 2019-10-17 | 2022-01-17 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
CN111083513B (zh) * | 2019-12-25 | 2022-02-22 | 广州酷狗计算机科技有限公司 | 直播画面处理方法、装置、终端及计算机可读存储介质 |
CN112055179A (zh) * | 2020-09-11 | 2020-12-08 | 苏州科达科技股份有限公司 | 视频播放方法及装置 |
CN112422907B (zh) * | 2020-11-09 | 2023-10-13 | 西安万像电子科技有限公司 | 图像处理方法、装置及系统 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7868912B2 (en) * | 2000-10-24 | 2011-01-11 | Objectvideo, Inc. | Video surveillance system employing video primitives |
US9892606B2 (en) * | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
KR100927143B1 (ko) * | 2002-11-27 | 2009-11-18 | 삼성전자주식회사 | 움직임 검출장치 및 방법 |
EP1627524A4 (en) * | 2003-03-20 | 2009-05-27 | Ge Security Inc | SYSTEMS AND METHODS FOR PROCESSING IMAGES OF MULTIPLE RESOLUTIONS |
JP4168940B2 (ja) * | 2004-01-26 | 2008-10-22 | 三菱電機株式会社 | 映像表示システム |
JP2005218054A (ja) * | 2004-02-02 | 2005-08-11 | Ntt Docomo Inc | ドアホンシステム |
JP2005328236A (ja) * | 2004-05-13 | 2005-11-24 | Nippon Telegr & Teleph Corp <Ntt> | 映像監視方法、映像監視装置、および映像監視プログラム |
JP2006033380A (ja) * | 2004-07-15 | 2006-02-02 | Hitachi Kokusai Electric Inc | 監視システム |
US7982774B2 (en) * | 2004-09-13 | 2011-07-19 | Sony Corporation | Image processing apparatus and image processing method |
JP4685465B2 (ja) | 2005-02-01 | 2011-05-18 | パナソニック株式会社 | 監視記録装置 |
JP4449782B2 (ja) * | 2005-02-25 | 2010-04-14 | ソニー株式会社 | 撮像装置および画像配信方法 |
JP2007115188A (ja) * | 2005-10-24 | 2007-05-10 | Chuo Electronics Co Ltd | 入退室監視方法及び監視システム |
JP2007300456A (ja) * | 2006-05-01 | 2007-11-15 | Nippon Telegr & Teleph Corp <Ntt> | 映像モニタリングシステム及びそのインデクス生成方法 |
JP2008167127A (ja) * | 2006-12-28 | 2008-07-17 | Mitsubishi Electric Corp | 映像配信方法及び映像配信装置 |
CN100446043C (zh) * | 2007-02-06 | 2008-12-24 | 重庆大学 | 基于生物传感和图像信息融合的视频安防监控方法 |
US20090022403A1 (en) * | 2007-07-20 | 2009-01-22 | Fujifilm Corporation | Image processing apparatus, image processing method, and computer readable medium |
JP2009048620A (ja) * | 2007-07-20 | 2009-03-05 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
JP4748250B2 (ja) * | 2009-02-27 | 2011-08-17 | ソニー株式会社 | 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム |
-
2009
- 2009-05-08 JP JP2009113884A patent/JP4748250B2/ja not_active Expired - Fee Related
-
2010
- 2010-01-14 US US12/656,046 patent/US8970695B2/en not_active Expired - Fee Related
- 2010-02-22 CN CN201010119469.9A patent/CN101820530B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8970695B2 (en) | 2015-03-03 |
CN101820530A (zh) | 2010-09-01 |
CN101820530B (zh) | 2014-04-02 |
JP2010226687A (ja) | 2010-10-07 |
US20100220194A1 (en) | 2010-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4748250B2 (ja) | 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム | |
CN110753187B (zh) | 一种摄像头的控制方法及设备 | |
JP4345829B2 (ja) | 画像表示システム、画像表示装置、画像表示方法およびプログラム | |
JP4410206B2 (ja) | 動き推定システムおよび方法 | |
EP3804349B1 (en) | Adaptive panoramic video streaming using composite pictures | |
US7653265B2 (en) | Video image processing with utility processing stage | |
JP2016042712A (ja) | ズームされた画像の生成 | |
JPH11234654A (ja) | 多画面合成方法及び多画面合成装置 | |
JP2003501902A (ja) | ビデオ信号の符号化 | |
JP2007318596A (ja) | 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム | |
WO2018040577A1 (zh) | 图像采集过程中实现自适应屏幕旋转的方法及系统 | |
JP4919034B2 (ja) | ネットワークデコーダ装置 | |
JP2001507880A (ja) | ビデオ画像の伝送方法 | |
JP2008109364A (ja) | カメラサーバシステム、データの処理方法、およびカメラサーバ | |
US20040141555A1 (en) | Method of motion vector prediction and system thereof | |
JP2010004281A (ja) | 電子的撮像装置 | |
JPH11187383A (ja) | 映像監視システム及び映像監視方法 | |
JP2007228119A (ja) | 撮像装置、画像処理方法、およびプログラム | |
JP4331492B2 (ja) | 画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラム | |
JP2001320707A (ja) | 画像伝送システム | |
WO2022143205A1 (zh) | 编解码方法、电子设备、通信系统以及存储介质 | |
JP2000270336A (ja) | 動画像符号化方法及び撮影形態の推定方法 | |
JP2003179826A (ja) | 画像再生表示装置 | |
JP2000023100A (ja) | 電子スチルカメラ、電子スチルカメラの動画撮影方法、およびコンピュータが実行可能なプログラムを格納した記録媒体 | |
JP2004363974A (ja) | 映像符号化伝送装置および映像符号量制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110502 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4748250 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |