JP3870124B2 - 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents
画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 Download PDFInfo
- Publication number
- JP3870124B2 JP3870124B2 JP2002174347A JP2002174347A JP3870124B2 JP 3870124 B2 JP3870124 B2 JP 3870124B2 JP 2002174347 A JP2002174347 A JP 2002174347A JP 2002174347 A JP2002174347 A JP 2002174347A JP 3870124 B2 JP3870124 B2 JP 3870124B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- background image
- background
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
- G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
- G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19641—Multiple cameras having overlapping views on a single scene
- G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Description
【発明の属する技術分野】
本発明は、画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体に関し、特に異なる撮像倍率で撮像された複数の画像データに対する画像処理に関するものである。
【0002】
【従来の技術】
従来、撮像装置を用いた映像による監視システムについては様々な提案がされている。
【0003】
≪広角レンズを用いた監視システム≫
監視システムの一つとして魚眼レンズで代表されるような広角レンズを用いた監視システムがある。
【0004】
広角レンズを用いた監視システムの特徴は、一台の撮像装置による撮影像で広範囲な領域を監視できることがあげられ、監視領域面積に対する撮像装置設備費用のコスト比率が低い利点がある。また広範囲な監視領域撮影像は、侵入者の移動に対しても画面から外れることも少なく、侵入者の位置が視認しやすいという利点もある。
【0005】
図13は、あるオフィス内上部に一台の広角カメラ1301を設置し、比較的広範囲な監視領域1302を監視している状態を表した図である。
【0006】
いま、オフィス内に不法侵入者1303が侵入している。このような状況において、広角カメラ1301は撮像視野範囲が広いため、オフィス内に侵入してきた侵入者1303のほか、机、ドアなどオフィス内の多数の什器設備も同一映像内に撮影している。故に侵入者のいる場所が視覚的に直ちに判断できる。また、侵入者の移動にも撮像視野範囲が広いため、撮影像から外れて見えなくなることが起こり難い。
【0007】
このような広角カメラを用いた監視システムに関する技術としては、撮像光学系が広角になるほど撮影像の歪曲が大きくなるため、撮影像の歪曲を画像処理によって補正する技術や、撮像光学系にミラー光学部材を用い、周囲360°の全方位を監視領域にするものなどが提案されている。
【0008】
一方、広角レンズを用いた監視システムにおいて前述のような特徴がある反面、広範囲領域にいる侵入者の像は監視撮像領域が広範囲になるほど小さく視認しにくくなるという問題が生じる。
【0009】
図14は、図13で示したように、オフィス内に不法侵入者が侵入してきた状況を広角カメラ1301で撮影した映像の1シーンを表した図である。図からもわかるように、撮影領域が広いほど侵入者の位置は認識し易い反面、侵入者の顔、表情、容姿の細部を認識は難しい。
【0010】
≪複数台の撮像装置を用いた監視システム≫
また他の監視システムとして、監視領域内を複数台の撮像装置を用いて監視するシステムも提案されている。
【0011】
図15は、図13の広角カメラ1301による監視領域1301を3つの監視領域に分割し、それぞれ各監視領域を標準レンズを搭載した3台のカメラ1501で監視している様子を示す図である。
【0012】
それぞれのカメラは独立に監視領域(たとえば監視領域1502)を撮像し、その撮影像はカメラに1対1対応したモニタによって表示される。また映像表示に関しては、複数台のカメラからの映像をマルチチャネル入力し一台のモニタでマルチウィンドウ表示するコントローラーなどもある。
【0013】
図16は、オフィス内に侵入者1303が侵入してきて、図15に図示した3台のカメラのうち、1台のカメラ(中央のカメラ)が撮影像中に侵入者を捉え、このカメラに1対1対応した1台モニタの画面を表した図である。または、前述の3台のカメラからのマルチチャネル映像のうち侵入者を捉えたチャンネルのウィンドウに表示された映像でもよい。
【0014】
この監視システムの特徴は、図14と図16の比較によって明らかなように、若干侵入者の大きさが大きく撮影できるため、侵入者の顔、表情、容姿細部の認識は前述の広角カメラを用いた監視システムよりは優れている。
【0015】
しかし、この監視システムの利用者(例えば監視員など)は、常時多数のモニタまたはマルチウィンドウの各画面を監視しなければならないという問題点もある。
【0016】
この問題点を解決するための技術としては、特開2000−295600号に開示されているように、複数のカメラを用いて監視領域を撮像し、該撮影像から移動体を検出し、移動体の存在するカメラ映像を1台のモニタで表示するシステムが提案されている。
【0017】
≪異なる撮影倍率を有する複数のカメラを用いた監視システム≫
またさらに他の監視システムとして、異なる撮影倍率を有する複数のカメラを用いて監視するシステムも提案されている。
【0018】
図17は、図13で示したオフィス内に、広角カメラ1301に加えて、さらにパン・チルト・ズームにより撮像視野範囲を変えることの可能なカメラ(ここでは単にズームカメラと呼ぶ)1701が設置されており、広角カメラ1301で広範囲な領域を監視しつつ、ズームカメラ1701で侵入者の顔や容姿の特徴がわかるべく拡大像を撮影できる監視システムを表している図である。
図18は、図17の監視システムによる撮影像である。
【0019】
図18(a)は広角カメラ1301による撮影像で、この映像は図14と同様である。また、図18(b)は、ズームカメラ1701による撮影像を表している。これら映像は前述の複数台の撮像装置を用いた監視システムと同様に、カメラに1対1対応したモニタによってそれぞれ個別に表示される場合やマルチチャネル入力コントローラーを用いて一台のモニタでマルチウィンドウ表示する場合もある。
【0020】
この監視システムの特徴は、広角カメラの広範囲監視領域撮影像による侵入者位置が視認性の良さと、ズームカメラの侵入者拡大像による侵入者の顔、表情、容姿詳細の確認のし易さの両立である。これに関する技術としては、特開2000−32319号に開示されている技術がある。
【0021】
特開2000−32319号では、広角カメラとズームカメラの両画像をネットワーク上接続された装置に伝送、表示するシステムが開示されており、さらには、広角カメラで撮影された画像を見ながら、前記装置を操作することによってズームカメラをパン・チルト・ズームし、所望の被写体の拡大像を得る監視システムが提案されている。
【0022】
また、本特開2000−32319号の拡張として前述の特開2000−295600号に、ズームカメラの撮影対象を人為的な操作によるものでなく、広角カメラ撮影像から移動体を検出し、移動体の位置や大きさから自動的にズームカメラをパン・チルト・ズームし、移動体の拡大像を得る監視システムも提案されている。
【0023】
【発明が解決しようとする課題】
しかしながら上記従来の方法においては、以下に説明する多くの課題が残されている。
【0024】
まず、魚眼レンズのような広角レンズを用いた監視システムにおいて、監視領域内撮影像に対し侵入者の大きさが小さく顔などが認識しにくい問題点に関し、前記従来例で示したような侵入者を検知し検知された領域を拡大表示する方法は、デジタル化された画像信号の拡大及び補間処理によって可能ではあるが、拡大像に存在する情報量(画像中の周波数成分)はデジタルサンプリング時に決まるので、拡大処理後の情報量が増えることはない。
【0025】
すなわち、拡大することによって、従来見えていなかった詳細が見えてくることはないのである。画像の周波数成分に関しては拡大率に応じて見かけ上の周波数成分は低周波数にシフトするので、その拡大像は、単にボケた画像、もしくは補間処理を行なわない場合はブロック状モザイクのかかった画像に感じるのはよく経験することである。
【0026】
次に、監視領域内を複数台の撮像装置を用いて監視するシステムは、単純なシステムであり、特開2000−295600号に開示されているように表示の仕方で監視員の労力を軽減させるなど工夫されているが、監視領域が広域になるほど多くの台数のカメラが必要となり、設備投資にかかるコスト負荷が重くなるという問題がある。
【0027】
また、それぞれのカメラの監視領域が狭いため侵入者の位置の把握がしにくい、侵入者の移動によって視点の異なるカメラが頻繁に切り替わり侵入者を捉えるなど、視認性に問題がある。さらに、前記提案にはカメラからの撮影像を画像処理によって拡大像を得る方法が記載されているが、前述の理由から被写体を認識する上で有効な最大拡大倍率、カメラの焦点距離(または視野範囲)、カメラの設置間隔など、監視場所や侵入者の視認精度によって最適な環境を作るのに多くの労力を要する問題がある。
【0028】
そして、異なる撮影倍率を有する複数のカメラを用いて監視するシステムについては、前記従来例の問題点を光学的に解決しているが、一人の侵入者に対し広角カメラ撮影像とズームカメラ撮影像の2つのビデオ信号をネットワーク上に伝送する必要がありネットワーク伝送路上に多くの負荷をかける問題点がある。
【0029】
特に広角カメラによる撮影映像は、図14または図18(a)でもわかるように、侵入者以外の多くの領域は侵入以前の状態と変化がなく動画像毎フレームの多くの部分が冗長な映像を伝送しているという、有効な映像信号の伝送という観点で問題点を含む。
【0030】
この点について特開2000−32319号は、ズームカメラ拡大像は広角カメラ広範囲監視領域像より重要度が高い為、ズームカメラ拡大像を伝送するフレームレートを広角カメラ映像を伝送するフレームレートより高くし、ズームカメラ拡大像の動きが滑らかになるようなシステムについて記載されているが、広角カメラ映像のフレームレートを落とすことで侵入者の行動行為がコマ落ちすることは、監視目的のシステムにおいては問題を含んでいると考えられる。
【0031】
特に犯罪に関する行動は瞬時に行なわれるものも多く、フレームレートの低下は重要な証拠映像をコマ落ちさせる可能性を含んでいる点で監視システムにおいては問題である。
【0032】
本発明は上記問題を鑑みて成されたものであり、異なる撮像倍率で撮像された画像データの符号量を効率よく削減して、従来のようにコマ落ちさせることがない画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供することを目的とする。
【0033】
また、本発明は更に、異なる撮像倍率で撮像された複数の画像データから特定の被写体像を効率よく抽出することができる画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供することを目的とする。
【0034】
また、本発明は更に、簡単に被写体の拡大画像が得られる画像処理装置及びその方法を提供することを目的とする。
【0035】
【課題を解決するための手段】
上記の目的を達成するため、本発明に係る画像処理装置は、所定の撮像倍率で撮像された第1の撮像画像に対応する第1の背景画像を生成する第1の背景画像生成手段と、前記第1の撮像画像より第1の被写体画像を抽出する第1の被写体抽出手段と、前記所定の撮像倍率より高い撮像倍率で撮像された第2の撮像画像に対応する第2の背景画像を前記第1の背景画像と前記第1の被写体画像とに基づいて生成する第2の背景画像生成手段と、前記第2の撮像画像より第2の被写体画像を抽出する第2の被写体抽出手段と、前記第1の背景画像生成手段より生成された第1の背景画像を符号化する第1の背景画像符号化手段と、前記第1の被写体抽出手段より抽出された第1の被写体画像を符号化する第1の被写体画像符号化手段と、前記第2の背景画像生成手段より生成された第2の背景画像を符号化する第2の背景画像符号化手段と、前記第2の被写体抽出手段より抽出された第2の被写体画像を符号化する第2の被写体画像符号化手段とを有することを特徴とする。
【0036】
また、本発明に係る画像処理装置は、所定の撮像倍率で撮像された第1の撮像画像に対応する第1の背景画像を生成する第1の背景画像生成手段と、前記第1の撮像画像より第1の被写体画像を抽出する第1の被写体抽出手段と、前記所定の撮像倍率より高い撮像倍率で撮像された第2の撮像画像に対応する第2の背景画像を前記第1の背景画像と前記第1の被写体画像とに基づいて生成する第2の背景画像生成手段と、前記第2の撮像画像と前記第2の背景画像より第2の被写体画像を抽出する第2の被写体抽出手段とを有することを特徴とする。
【0037】
また、本発明に係る画像処理装置は、所定の撮像倍率で撮像された第1の背景画像と、前記所定の撮像倍率で撮像された画像データから抽出された第1の被写体画像と、前記所定の撮像倍率よりも高い撮像倍率で撮像された画像データから抽出された第2の被写体画像とを入力する入力手段と、前記第1の背景画像と前記第1の被写体画像とに基づいて第2の被写体画像に対応する第2の背景画像を生成する背景画像生成手段と、前記第2の背景画像と前記第2の被写体画像とを合成する画像合成手段とを有することを特徴とする。
【0038】
また、本発明に係る画像処理方法は、所定の撮像倍率で撮像された第1の撮像画像に対応する第1の背景画像を生成する第1の背景画像生成工程と、前記第1の撮像画像より第1の被写体画像を抽出する第1の被写体抽出工程と、前記所定の撮像倍率より高い撮像倍率で撮像された第2の撮像画像に対応する第2の背景画像を前記第1の背景画像と前記第1の被写体画像とに基づいて生成する第2の背景画像生成工程と、前記第2の撮像画像より第2の被写体画像を抽出する第2の被写体抽出工程と、前記第1の背景画像生成工程で生成された第1の背景画像を符号化する第1の背景画像符号化工程と、前記第1の被写体抽出工程で抽出された第1の被写体画像を符号化する第1の被写体画像符号化工程と、前記第2の背景画像生成工程で生成された第2の背景画像を符号化する第2の背景画像符号化工程と、前記第2の被写体抽出工程で抽出された第2の被写体画像を符号化する第2の被写体画像符号化工程とを有することを特徴とする。
【0039】
また、本発明に係る画像処理方法は、所定の撮像倍率で撮像された第1の撮像画像に対応する第1の背景画像を生成する第1の背景画像生成工程と、前記第1の撮像画像より第1の被写体画像を抽出する第1の被写体抽出工程と、前記所定の撮像倍率より高い撮像倍率で撮像された第2の撮像画像に対応する第2の背景画像を前記第1の背景画像と前記第1の被写体画像とに基づいて生成する第2の背景画像生成工程と、前記第2の撮像画像と前記第2の背景画像より第2の被写体画像を抽出する第2の被写体抽出工程とを有することを特徴とする。
【0040】
また、本発明に係る画像処理方法は、所定の撮像倍率で撮像された第1の背景画像と、前記所定の撮像倍率で撮像された画像データから抽出された第1の被写体画像と、前記所定の撮像倍率よりも高い撮像倍率で撮像された画像データから抽出された第2の被写体画像とを入力する入力工程と、前記第1の背景画像と前記第1の被写体画像とに基づいて第2の被写体画像に対応する第2の背景画像を生成する背景画像生成工程と、前記第2の背景画像と前記第2の被写体画像とを合成する画像合成工程とを有することを特徴とする。
【0043】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0044】
(第1の実施例)
≪システム構成の説明≫
図1は、本発明の第1の実施例における監視システムの画像符号化側の構成例を示すブロック図である。また、ビットストリームを入力し、映像信号を復号、表示装置への出力するまでの画像受信側の構成例を示すブロック図を図2に示す。図2の詳細は後述する。
【0045】
図1において、101は本監視システムのユーザーインターフェースを備えた操作部であり、例えば監視員などによって本監視システムの起動、終了などシステムに指示することによって本監視システムの動作が制御される。
【0046】
102は本監視システムを統括制御するシステム制御部であり、操作部101の指示に従って、本システムの各部の動作や、映像信号の処理タイミングの同期制御等も本制御部によって一括制御される。
【0047】
103は予め設定した監視領域を撮像する広角カメラで、広角カメラ103では比較的広範囲な領域を監視領域とし、本カメラで使用されるレンズも広角レンズの他に、魚眼レンズなど超広角レンズやミラー光学部材を使った全方位撮像光学系なども含まれる。
【0048】
104は広角カメラ103より高い撮影倍率を有し、特に監視領域内に侵入してきた侵入者を適当な倍率で望遠撮影する為の変倍機能を持つズームカメラである。また、ズームカメラ104には侵入者を追尾するためのパンニング、チルト可能な図示しない雲台が装備されており、後述する方法によって侵入者の位置に光軸を移動し侵入者を視界内に捉える。
【0049】
105は前述の広角カメラ103、ズームカメラ104から映像信号を取り込むための映像入力部である。映像入力部105は、カメラ撮影条件を設定制御する広角カメラ103用のカメラ制御部106とズームカメラ104用のカメラ制御部107、カメラから出力されたカメラ機種毎の映像信号形式を例えばフレーム毎のRGB24ビットデジタル信号にフォーマット変換する広角カメラ103用のビデオキャプチャ108とズームカメラ104用のビデオキャプチャ109から構成される。
【0050】
110は侵入者検出部であり、広角カメラ103用の背景画像生成部111、被写体検出部113と、ズームカメラ104用の背景画像生成部112、被写体抽出部114とから構成される。
【0051】
広角カメラ103用の背景画像生成部111は、侵入者が現れる前の正常状態の画像を背景画像として、生成・保存しておく手段である。広角カメラ103用の被写体抽出部113は、入力画像と先の背景画像との比較から侵入者の存在を検出し、監視員に発報、ズームカメラ104による侵入者追尾の為の情報出力などを行なう。
【0052】
ズームカメラ104用の背景画像生成部112は、広角カメラ103側で生成した背景画像と、広角カメラ側の被写体抽出部113によって抽出された被写体情報を元に、ズームカメラ104用の背景画像の生成を行う。ズームカメラ104用の被写体抽出部114は、ズームカメラからの入力画像と先の背景画像との比較から拡大した侵入者の画像を抽出する。
【0053】
115は、高能率符号化のための映像信号圧縮符号化部で、後述するいくつかの方式による圧縮符号化部から構成される。
【0054】
116、117は、背景の静止画像を圧縮符号化する背景画像符号化部である。背景画像符号化部での符号化方式はISO/IECで標準化されているJPEGやJPEG2000など静止画像用圧縮符号化方式でも良いし、MPEG−4符号化のスプライト符号化を用いても良い。また、単にフレーム数が1の動画像として、ISO/IECで標準化されているMPEG-2の動画像符号化方式を用いてもよい。
【0055】
118、119は映像フレームなど映像全領域からその中に含まれる任意形状の構成要素(オブジェクト)のみを符号化する任意形状符号化部である。任意形状符号化部118、119は、例えばISO/IECで標準化されているMPEG−4符号化方式のオブジェクト単位符号化方式を用いており、以下MPEG−4符号化方式を以って具体的に説明をしていくが、オブジェクト単位の符号化可能な方式であれば、方式は特にMPEG−4符号化方式に限定するものでない。
【0056】
120は圧縮符号化された複数のビットストリームを多重化する多重化部である。多重化されたビットストリームは、蓄積系の場合、しかるべきファイルフォーマットに変換されて、ハードディスク、VCR、CD−Rなどの蓄積メディアに保存される。伝送系の場合は、多重化されたビットストリームを通信路に応じたパケットに分割し、ネットワークに伝送される。
【0057】
以下、図1のように構成された本システムの動作について説明する。
【0058】
≪システム起動-初期化まで≫
広角カメラ103およびズームカメラ104は室内を広く見渡せる屋内上部など予め所定の位置に設置されており、特に広角カメラ103は予め所望の領域(監視領域)を撮影できるよう光軸方向、撮影倍率が調整されているものとする。また、後述する被写体位置推定に必要な初期設定などは、本システム設置時に済ませており、本監視システムはユーザーの指示に従い、いつでも監視状態に入れるとする。
【0059】
操作部101の図示されてない監視システム稼動スイッチがONにセットされると、システム制御部102はまず、各部に対し初期化命令を下す。例えば初期化命令を受けたカメラ制御部106及び107は、広角カメラ103およびズームカメラ104に電源を投入し、自動露出(AE)、オートフォーカス(AF)、オートホワイトバランス(AWB)、オートゲインコントロール(AGC)などの初期化が行なわれ、さらにズームカメラ104用のカメラ制御部107はズームカメラ104に対し予め決められた初期光軸方向、初期撮影倍率になるようパン・チルト・ズーミングを行なうよう制御する。
【0060】
また、侵入者検出部110の初期化では、広角カメラ103用の背景画像生成部111が、広角カメラ103の監視領域の撮影像(予め被写体(侵入者)のいない撮影像)を1フレーム分記憶保存する。また、このデータは実際に1フレームだけ撮影した映像を記憶保存してもよいが、ある短時間の撮影像を平均化して用いた方がCCD暗電流ノイズ等の影響を受けにくく好ましい。
【0061】
また、ズームカメラ104用の背景画像生成部112では、侵入者を検出してからの動作となるので、広角カメラ103用の背景画像生成部111で行った初期化は必要ない。
【0062】
また、初期化時点から以後システム終了までの期間、システム全体に同期信号が流れ、複数のカメラからの映像信号の多重化などのタイミング調整に使用される。
【0063】
≪システム監視開始≫
システム各部の初期化が終了すると、続けてシステム制御部102は監視動作状態に入ることを指示し、画像入力部105に対してカメラによる監視領域の撮像と映像信号の取得、侵入者検出部に対して撮影像から不法侵入者の検出が開始される。
【0064】
ここでシステムが監視状態にあるときの「監視モード」について説明する。
【0065】
本監視システムは2つのモードを有する。ひとつは監視領域内に侵入者のいない「正常状態」を表す「正常モード」、他のひとつは監視領域内に侵入者が存在する「異常状態」で、侵入者の行動を追尾する必要のある「侵入者追尾モード」である。これら「正常モード」と「侵入者追尾モード」の2つの監視モードは侵入者検出手段110における、広角カメラ103用の被写体抽出部113の侵入者抽出結果より判定される。どちらのモードに判定されたかはシステム制御部102に送られ、それぞれのモードに対応してシステム制御部102はシステム各部の動作を制御する。
【0066】
システム制御部102から監視開始命令を受けたカメラ制御部106は広角カメラ103に対して前述の初期設定状態から撮影を開始し、その撮影像はビデオキャプチャ108でフレーム毎に例えばRGB24ビットデジタル信号にフォーマット変換し、広角カメラ103用の被写体抽出部113へと出力される。
【0067】
一方、ズームカメラ104も初期設定状態から撮影を開始し、その撮影像はビデオキャプチャ109でフレーム毎に広角カメラの場合と同様RGB24ビットデジタル信号にフォーマット変換される。ただし、ズームカメラ用のキャプチャ画像は、後述の侵入者検出部による検出結果で侵入者の存在が検知されるまで(すなわちは「侵入者追尾モード」になるまで)は、被写体抽出部114に出力されることはない。
【0068】
「侵入者追尾モード」になった場合は、ズームカメラの制御に関するデータが、広角カメラ103側の被写体抽出部113から、システム制御部102を介して、カメラ制御部107に送られる。カメラ制御部107にて侵入者の画像をズームカメラ104に捕らえると、そのときキャプチャした画像は、ズームカメラ104用の被写体抽出部114に出力される。
【0069】
≪被写体抽出方法≫
ここで被写体抽出部113、114で行なわれる被写体抽出方法を説明する。本実施例では被写体抽出方法として良く知られている「背景差分法」と一般に呼ばれている方式を用いる。図3を用いて説明する。
【0070】
図3は、本実施例における被写体抽出処理を説明する図である。
【0071】
図3(a)は、あるオフィス内のカメラ撮影像を表している図である。
【0072】
本実施例に適用すれば、広角カメラ103で監視領域を撮影している撮影像を表しており、監視領域に侵入者が存在しない「正常モード」の監視領域像である。
【0073】
背景差分法では映像画面中に移動物体(侵入者)が存在しない状態でその映像画面を参照画像(背景画像)として記憶しておく。本実施例では、背景画像生成部111にて予め背景画像を内部メモリに保存している。
【0074】
さて、背景差分法は対象となる画像(対象画像)と参照画像(背景画像)との差を取り、対象画像に背景画像とは異なる領域を見つける方法であり、本実施例に照らし合わせて説明すると、広角カメラ103によって撮影され時系列に順次キャプチャされてくるリアルタイム映像(対象画像)は、そのフレーム毎にフレーム座標の対応する「背景画像」(参照画像)との差分が計算される。
【0075】
監視領域に侵入者が存在しない状態(図3(a))では、リアルタイム映像の各フレーム映像(対象画像)は背景画像と変わりなくフレーム内の差分はノイズ等の影響を排除すればほぼゼロに等しい。
【0076】
一方、監視領域に侵入者が存在する状態(図3(b))では、対象画像中の侵入者領域は背景画像と信号値が異なる。
【0077】
これを式で表すと、
d=(Ir(x、y)−Ib(x、y))2 − (1)
d<Thのとき b(x、y)=0 − (2)
d≧Thのとき b(x、y)=1 − (2)
ここで、Ir(x、y)は対象画像の座標(x、y)における信号値、Ib(x、y)背景画像の座標(x、y)における信号値、Thは予め決められた閾値、b(x、y)はビットマッププレーンである。
【0078】
また、(1)式では対象画像と背景画像の差の2乗を計算しているが、差信号を正符号にそろえるもので、差の2乗のかわりにデジタル信号で表されたdの符号ビットをマスクし、差の絶対値|Ir(x、y)−Ib(x、y)|を用いても構わない。
【0079】
(2)式で画像中に含まれるノイズ等による影響を排除する為、差分が一定の値以下のときは差分を0とする。また、(2)式は同時に照明などにより環境変化があるときでも、次に背景画像を取得するまでの耐性も兼ね備えている。すなわち、雲の見え隠れなどによる太陽光の強弱が多少あって、現画像が背景画像より若干暗くなった場合でも、閾値Thによって侵入物とカウントしない役目を果たしている。
【0080】
(1)、(2)式は画像の全画素について計算され、各画素について閾値以上の画素と閾値以下の画素とを0または1のビットマッププレーンb(x、y)で表す。
【0081】
図3(c)は、ビットマッププレーンb(x、y)の0を黒、1を白で表した図であり、侵入者の存在する領域のみ他と区別されているのがわかる。また、フレーム内全画素について(2)式のb(x、y)の累積を取ると、背景とは異なる画素の総数を得ることができる。
s=ΣyΣxb(x、y) − (3)
これをフレーム全画素数で割れば、背景とは異なる画素の画面全体との比率がわかり、一定以上の大きさの侵入物が監視領域内に存在するときにのみ、侵入者が存在すると判定するといったことも可能である。
【0082】
≪「監視モード」の判定≫
上述の被写体抽出方法によって、広角カメラ103によって撮影され時系列にキャプチャされて送られてくるリアルタイム映像に対し、被写体抽出部113は監視領域内の侵入者の有無を検知し、侵入者の存在しない状態である「正常モード」と、侵入者が存在する状態での「侵入者追尾モード」の判定を行なう。
【0083】
判定結果である「正常モード」および「侵入者追尾モード」の識別信号はシステム制御部102に送られるが、システム制御部102に送るタイミングは、被写体抽出部113が判定の度にすなわち広角カメラ103の撮影像毎フレームごとに識別信号を送っても良いし、被写体抽出部113が現在のモードを記憶しておきモードが遷移した時(「正常モード」→「侵入者追尾モード」への遷移、または「侵入者追尾モード」→「正常モード」への遷移)、システム制御手段102に送信しても良い。
【0084】
また、このモード判定の信号は、ズームカメラを制御するためのデータによって、代用することもできる。被写体抽出部113は、侵入者を検出すると、侵入者を映像を拡大撮影するための、カメラパラメータを計算し、この情報をシステム制御手段102に送っている。したがって、システム制御部102が、データを受け取らなければ、「正常モード」、データを受け取ったら「侵入者追尾モード」とする、簡易的な判定手段を用いることも可能である。
【0085】
次に、それぞれの監視モードでの本システムの動作について説明する。
【0086】
≪「正常モード」≫
正常モードにおける画像の蓄積・伝送方法は、蓄積メディアの容量や伝送路の帯域といった条件に合わせていくつかの方法をとることができる。
【0087】
いま、監視領域内に侵入者が存在しない場合(「正常モード」)、広角カメラ103用の被写体抽出部113に入力される画像は、背景生成部111に保存されている背景画像とほぼ同じ画像となる。したがって、正常モード時の記録、伝送が不要の場合は、この画像を圧縮符号化部115へ出力する必要はない。画像の処理を一切行わないので、もっとも符号化効率のよい方法と言える。
【0088】
背景画像を最初に1フレーム分符号化する場合は、背景画像符号化部116を用いて、符号化を行う。理想的には、侵入者を検出するまでは、背景の状態は変わらないので、最初に1フレーム分符号化すればよいはずだが、外光等による背景の状態変化に対応するため、定期的に背景画像を更新してもよい。また「正常モード」においては、ズームカメラ104は特定対象物を撮影する必要がないので、キャプチャ画像に対し、何の処理も行わなくてもよい。
【0089】
≪「侵入者追尾モード」≫
システムが「正常モード」から「侵入者追尾モード」に状態遷移すると、システム制御部102は、広角カメラに対しては、引き続き監視領域を撮影するよう指示し、さらにズームカメラに対しても、撮影を開始するよう制御する。
【0090】
具体的には、システム制御部102はカメラ制御部107に対し、被写体抽出部113から送られてきた侵入者の位置情報および変倍率を制御パラメータとして、ズームカメラ104で侵入者拡大像を撮影するよう要求する。
【0091】
要求を受けたカメラ制御部107は、侵入者位置情報からズームカメラ104のパン/チルト角を決定し、図示しない雲台を駆動し、その光軸を侵入者の位置に向ける。また変倍に関しては、広角カメラ103の焦点距離をfとしてF=Mfで表されるFを、ズームカメラの焦点距離となるようにズームカメラ104のレンズを移動し、ズーミングを行なう。さらに、ビデオキャプチャ109も駆動し、システムにズームカメラ撮影像が取り込まれる。
【0092】
このようにしてズームカメラ104による侵入者拡大像の撮影が開始され、監視領域に侵入者が存在する間(「侵入者追尾モード」の間)、逐次被写体抽出部113から侵入者の位置と変倍率がシステム制御部102に送り続けられ、システム制御部102はカメラ制御部107に対し順次侵入者の位置と変倍率を制御変数としてパン・チルト・ズーム要求を発し続けるためズームカメラ104による侵入者追尾が実行される。
【0093】
侵入者追尾中は、被写体抽出部114は、背景画像生成部112から生成される背景画像との比較から被写体を抽出し、結果を任意形状符号化手段119へ出力し続ける。背景画像生成手段112も広角カメラ側の抽出結果に応じて、毎回背景画像を生成し、背景画像符号化部117に出力し続ける。
【0094】
≪侵入者位置とズームカメラ変倍率の決定≫
ここで、被写体抽出部113の侵入者の位置決定とズームカメラ変倍率の決定方法についてその一例を説明する。
【0095】
一般にカメラで撮影された画像座標から物体の3次元位置座標を推定する問題はコンピュータビジョンなどの分野で様々な研究が進められており、その一般式はカメラパラメータと呼ばれる行列要素を用いたアフィン変換によって得られる。
【0096】
しかし、本監視システムにおいて侵入者は地面(屋内においては床面)上を移動することを仮定すれば、侵入者の位置座標は地面(床面)である二次元平面上の一点で近似できる。たとえ、床面に凹凸があり侵入者が高さ方向に多少上下しても、本システムの監視カメラを地面(床面)から十分高い位置に設置することで侵入者の位置の近似は十分に成り立つ。
【0097】
よってカメラ撮影画像座標(2次元座標)から物体の3次元位置座標(3次元座標)を推定する問題は、「撮影画像(2次元座標)と地面(2次元座標)」すなわち2次元平面どうしの対応問題に帰着する。これはいわゆる射影変換で簡単に知ることができる。
【0098】
一方、広角カメラは視野範囲が広いほど撮影像は歪曲を持ち、この歪曲を補正しないと正確な位置座標を得ることはできない。この問題に関しては、「第7回画像センシングシンポジウム:射影変換を利用した特徴点抽出処理とカメラキャリブレーション」で公知なように予め補正係数を作成することによって解決できる。そして前述のように前記補正係数の作成は本監視システム設置時などに1回行なえばよく、本監視システムのセットアップアプリケーションとして付属してもよい。
【0099】
まず、ズームカメラを侵入者の方へ向けるための座標計算について説明する。
【0100】
図4は、本発明の実施例における被写体位置とズーム変倍率の決定方法について説明する図である。
【0101】
図4(a)は、図3(c)の侵入者のビットマップ画像に対応し、見やすくするため白黒反転して侵入者領域を黒、背景領域を白で図示してある。
【0102】
広角カメラ103で表示している画面の左上を原点(0,0)の座標とし、幅をW、高さをHとする。このとき、広角カメラの光軸の中心は、(W/2、H/2)ということになる。まず、侵入者の形状情報に対し、これを含む外接矩形を設定し、このときの、外接矩形の左上の座標を(Xs、Ys)とし、幅をw、高さをhとする。すると外接矩形の中心の座標は、(Xs+w/2、Ys+h/2)となる。
【0103】
ズームカメラの光軸の中心を外接矩形の中心座標に合わせるために必要な、水平方向の移動量Xm、垂直方向の移動量Ymは、
Xm=W/2−(Xs+w/2) −(4)
Ym=H/2−(Ys+h/2) −(5)
となる。
【0104】
移動量の単位は画素なので、一画素あたりの水平方向のカメラパラメータをcx、垂直方向のカメラパラメータをcyとすると、水平、垂直方向の移動量Cx、Cyは、
Cx=cx・Xm −(6)
Cy=cy・Ym −(7)
と求めることができる。
【0105】
次にズームカメラ変倍率の決定について説明する。
【0106】
侵入者を画面いっぱいに表示するということは、先の外接矩形を画面サイズまで引き伸ばすことになる。水平方向の変倍率をMw、垂直方向の変倍率をMhとすると、
Mw=W/w −(8)
Mh=H/h −(9)
となる。画面からはみ出さないようにするためには、これらのうちの小さいほうの変倍率を選択する。
M=Min(Mw,Mh) −(10)
Mがズームカメラの持つ最大変倍率Mmaxより大きい場合は、M=Mmaxとする。
【0107】
ここで、本実施例では、わかりやすくするため、広角カメラ103とズームカメラ104は焦点距離以外、例えばCCDなどの開口サイズ、ピッチなどは同じとするが実際には様々な点で違いがあるが、それぞれの差分は予め補正方法などがわかっているものとする。
【0108】
図4(b)は、上記の計算により求めたカメラ制御パラメータを、ズームカメラ104の制御に適応した結果、得られた画像の例を示している。
【0109】
≪侵入者追尾モードの広角カメラ映像信号処理≫
つぎに「侵入者追尾モード」における広角カメラ103撮影の映像信号処理について説明する。
【0110】
監視領域内に侵入者が入ると、被写体抽出部113により、侵入者を検出する。検出方法は、図4を用いて既に説明した通りである。
【0111】
このとき、モード信号を利用している場合には、「正常モード」から「侵入者追尾モード」に遷移する。抽出した被写体を符号化するためには、画像データと形状データを任意形状符号化部118に送らなければならない。このとき画像データは、侵入者の外接矩形に囲まれた領域であり、形状データは、外接矩形内の2値データである。
【0112】
また、外接矩形の位置と大きさのデータも付加される。これらは通常、画面全体の左上を原点とするときの外接矩形の左上の座標x、yと外接矩形の幅と高さw、hの4つのパラメータで表される。MPEG−4を用いた任意形状符号化では、符号化対象領域をバウンディングボックスと呼ばれる矩形領域で定義する。バウンディングボックスの設定には、制約条件があるので、先に抽出した外接矩形をこのバウンディングボックスに拡張しておけば、符号化時の前処理を省略することができる。
【0113】
制約条件は、バウンディングボックスの左上の座標x、yが偶数であること、幅と高さが16の倍数であることである。MPEG−4の符号化については後に説明する。
【0114】
≪侵入者追尾モードのズームカメラ映像信号処理≫
侵入者追尾モードのズームカメラ映像信号処理について説明する。
【0115】
図5は、本発明の実施例におけるズームカメラ104用の背景画像の生成方法を説明する図である。
【0116】
図5(a)は、広角カメラ側でキャプチャされた画像を示しており、図中の破線は、先に説明した≪侵入者位置とズームカメラ変倍率の決定≫で得られた拡大対象領域であり、図5(c)は、拡大して得られたズームカメラ104の画像である。この画像から、侵入者のみを抽出して符号化するためには、先に説明したように、背景画像が必要となる。ズームカメラ104における背景画像は、本実施例では、予め用意せずに、広角カメラ103側で生成した背景画像と、広角カメラ103側で被写体抽出して得られた情報を元に背景画像を生成する。具体的には、上述した広角カメラ103で撮像された画像に設定された外接矩形の左上の座標位置の情報と矩形の大きさ情報に基づいてズームカメラ104に撮像された画像に最適な背景画像を広角カメラ103用の背景画像から抽出拡大して得ることができる。
【0117】
図5(b)は、広角カメラ103における背景画像(図3(a))に対し、図5(a)と同じ領域を抽出し、画像処理により拡大して生成したものである。
【0118】
画像処理により拡大して生成された背景画像のため、図5(c)における背景部分とは、同一とはならず、高域成分の情報が失われているが、背景差分によって生じる誤判定は、後処理によって改善することができる。
【0119】
また、図5(d)からもわかるように、侵入者の外接矩形の縦横比が画面の縦横比と異なる場合は、オブジェクトの存在し得ない領域501、502が生じる。このことから、領域503内で孤立点除去やフィルタリング処理により、抽出精度の向上を図ることが可能である。
【0120】
図5(e)は、被写体の最終抽出結果を示している。任意形状符号化部119の入力となるデータは、被写体抽出部114から得られた画像データと形状データであり、詳細は先に説明した広角カメラの場合と同様である。
【0121】
ズームカメラ側では、カメラの動きに応じて背景画像が変化するので、背景画像符号化部117は、動画像の符号化を利用するとよい。本実施例ではMPEG−4符号化方式を用いる。MPEG−4は、任意形状ではないフレーム単位の矩形画像も扱えるので、映像信号圧縮符号化部115をすべてMPEG−4符号化に統一することもできる。
【0122】
≪MPEG−4任意形状符号化≫
本実施例では、オブジェクト単位符号化方式にMPEG−4の任意形状符号化方式を用いる。MPEG−4における任意形状符号化は、同じ画素位置の画像信号、形状信号、透過度信号をまとめて1つのマクロブロックを構成し、マクロブロック単位で符号化する。任意形状符号化する場合には、物体を包含するバウンディングボックスと呼ばれる領域を設定し、この左上の座標位置と矩形領域の大きさを併せて符号化する。
【0123】
形状信号は、オブジェクト内部を255、オブジェクト外を0で定義される2値信号である。本実施例では、オブジェクトは監視領域の侵入者であり、前述の被写体抽出部113、114による抽出結果から簡単にバウンディングボックスを設定することができる。透過度信号は半透明物体以外のオブジェクトに対しては使用されないので本実施例でも使用しない。
【0124】
図6は、本発明の実施例におけるオブジェクトのバウンディングボックスとマクロブロックを示す図である。
【0125】
図6(a)に広角カメラ103側の画像におけるバウンディングボックスを、図6(b)にズームカメラ104側の画像におけるバウンディングボックスをそれぞれ示す。また、図6(c)は、バウンディングボックスをマクロブロックで分割した例を示す。
【0126】
ここでマクロブロック毎の符号化処理を図11を参照して説明する。
【0127】
図11は、本発明の実施例における任意形状符号化部の構成例を示すブロック図である。
【0128】
図11において、入力される信号は画像の輝度・色差信号と、形状信号であり、マクロブロック単位で処理される。また、形状信号、透過度信号により表現されるオブジェクト内部の領域をVOP(VideoObjectPlane)と呼ぶ。
【0129】
イントラモードでは、各ブロックをDCT部1101において離散コサイン変換(DCT)し、量子化部1102にて量子化する。量子化されたDCT係数と量子化幅は、可変長符号化部1112で可変長符号化される。
【0130】
インターモードでは、動き検出部1107において時間的に隣接する別のVOPの中からブロックマッチングをはじめとする動き検出方法により動きを検出し、動きベクトル予測部1108で対象マクロブロックに対して誤差の最も小さい予測マクロブロックを検出する。誤差の最も小さい予測マクロブロックへの動きを示す信号が動きベクトルである。予測マクロブロックを生成するために参照する画像を参照VOPと呼ぶ。検出された動きベクトルに基づき、参照VOPを動き補償部1106にて動き補償して、最適な予測マクロブロックを取得する。
【0131】
次に対象となるマクロブロックと対応する予測マクロブロックとの差分を求め、この差分信号に対してDCT部1101でDCTを施し、DCT変換係数を量子化部1102で量子化する。
【0132】
一方、形状データは、形状符号化CAE部1109で符号化される。ただし、ここで実際にCAE(Context-based Arithmetic Encoding)符号化が行われるのは境界ブロックのみであり、VOP内のブロックやVOP外のブロックはヘッダ情報のみが可変長符号化部1112に送られる。また、CAE符号化が施される境界ブロックは、画像データと同様に、インターモードにおいては、動き検出部1107による動き検出を行い、動きベクトル予測(1108)を行う。そして、動き補償した形状データと前フレームの形状データとの差分値に対しCAE符号化を行う。
【0133】
≪多重化動作≫
次に、多重化部120の動作について説明する。
【0134】
「正常モード」では、映像信号圧縮符号化部115から入力されるのは、背景画像符号化部116からの出力である背景画像のビットストリームのみである。
【0135】
「侵入者追尾モード」では、背景画像符号化部116からの出力である背景画像のビットストリームに加え、広角カメラ103側の任意形状符号化部118からのビットストリームおよび、ズームカメラ104側の背景画像符号化部117からのビットストリームならびにズームカメラ104側の任意形状符号化部119からのビットストリームが入力される。多重化に際し、必要な同期制御等は、システム制御部102を介して行われる。
【0136】
≪ストリーム受信から画像表示≫
次に、多重化されたビットストリームの分離から、各符号化データの復号化、表示までについて図面を用いて説明する。
【0137】
図2は、本発明の第1の実施例における監視システムの画像復号化側の構成例を示すブロック図である。
【0138】
図2において、201および202はそれぞれ操作部およびシステム制御部で、図1の操作部101およびシステム制御部102に対応している。
【0139】
203は多重化された符号化ビットストリームをそれぞれの符号化ビットストリームに分離する分離部、204は圧縮符号化データを伸張、復号化する伸張復号化部であり、図1の背景画像符号化部116の逆変換を行なう背景画像復号化部205、図1の任意形状符号化部118の逆変換を行なう任意形状復号化部207、図1の背景画像符号化部117の逆変換を行なう背景画像復号化部206および図1の任意形状符号化部119の逆変換を行なう任意形状復号化部208から構成される。
【0140】
209はオブジェクト単位符号化によってオブジェクト領域のみ符号化されたオブジェクトと背景などを合成する合成部、212はモニタなどの表示部である。
【0141】
以下、図2のように構成された本システムの動作について説明する。
【0142】
分離部203では、多重化されたビットストリームの分離を行う。システムの状態が「侵入者追跡モード」のときは、図1の広角カメラ103、ズームカメラ104にそれぞれ対応する背景画像符号化ビットストリーム、任意形状符号化ビットストリームの計4種類のビットストリームが多重化されている。システム状態が「正常モード」のときは、広角カメラ側の背景画像符号化ビットストリームのみとなる。
【0143】
分離部203によって分離された各符号化ビットストリームは、対応する復号化部により復号化される。各復号化部は、符号化部の逆変換となる。したがって、符号化時にMPEG−4の任意形状符号化部を用いた場合は、復号化時には、MPEG−4の任意形状復号化部を用いなければならない。バウンディングボックス内における各マクロブロックの復号化処理を図12を参照して説明する。
【0144】
図12は、本発明の実施例における任意形状復号化部の構成例を示すブロック図である。
【0145】
図12において、符号化されたビットストリームは、可変長復号化部1201で復号化され、画像と形状と動きにデータが分けられる。
【0146】
イントラモードでは、逆量子化部1202でDCT係数の逆量子化を行い、次に逆DCT部1203で輝度と色差の画像信号に復号される。形状データも同様に形状復号化CAE部1207において、元の形状データに復号される。このとき、実際のCAE復号化が行われるのは、境界ブロックのみであり、VOP内のブロックやVOP外のブロックはヘッダ情報のみから元の形状データに復号する。
【0147】
インターモードでは、動きベクトル復号化部1206で復号した動きベクトルを用い、前フレームとの差分画像から元の画像を復号する。デコード時に参照する画像データは、エンコード時のパディングと同じ処理で求めた画像を利用する。形状データも同様に差分値用のCAE復号処理をして、元の形状データに復号する。
【0148】
図2の動作の説明に戻り、画像合成部209では、別々に復号した背景画像と任意形状の画像(ここでは侵入者の画像)とを合成し、1つのシーケンスとなる動画像を生成する。広角カメラ用の動画像と、ズームカメラ用の動画像の2つのシーケンスを生成することになる。
【0149】
画像合成部210、211は、広角カメラ用の画像を合成するか、ズームカメラ用の画像を合成するかのみの違いであり、特に機能的な差を要求するものではない。
【0150】
表示部212は、広角カメラとズームカメラの2種類の監視画像を見やすく表示する。各監視画像を別々のモニタに表示してもよいし、1つのモニタに複数のウィンドウを設けて、そこに同時に表示してもよい。さまざまな表示方法で監視する場合は、操作部201からシステム制御部202を介して、表示方法を選択させることが可能である。
【0151】
図7は、これらの表示方法の例をいくつか示したものである。図7の例はすべて「侵入者追尾モード」の場合を示している。
【0152】
図7(a)は、広角カメラの合成復号画像を示している。この例では、広角カメラの背景復号画像と広角カメラの侵入者復号画像が合成されて表示されている。
【0153】
図7(b)は、先ほどの広角カメラの合成復号画像に、ズームカメラの合成復号画像を重ねて表示した例である。ズームカメラの合成復号画像も広角カメラの合成復号画像と同様、ズームカメラの背景復号画像とズームカメラの侵入者復号画像の合成で構成されている。
【0154】
図7(c)は、図7(b)とは逆に、ズームカメラの合成復号画像に広角カメラの合成復号画像を重ねて表示した例である。この例では、監視領域全体で、侵入者がどの位置にいるのかという情報と、侵入者のアップの画像の両方を同時に見ることができる。
【0155】
図7(d)は、ズームカメラの合成復号画像のみを表示したものであるが、侵入者のみを見たい場合は、図7(e)のような侵入者復号画像のみの表示も可能である。これは、操作部201からシステム制御部202を介し、画像合成部211で背景画像を合成しないよう制御することで実現が可能となる。
【0156】
図7(f)は、広角カメラの合成復号画像に、図7(e)のズームカメラの侵入者復号画像を重ね合わせた例である。
【0157】
図7(g)は、図7(f)とは逆に、ズームカメラの侵入者復号画像に広角カメラの合成復号画像を重ねて表示した例である。画像表示装置の一例を図8に示す。
【0158】
(第2の実施例)
以下、本発明の第2の実施例を説明する。第1の実施例では、ズームカメラ用の背景画像を符号化側で生成していたが、第2の実施例はこれを復号側で行い、ズームカメラ用の背景画像を伝送しないようにして、伝送符号量の削減を行った。
【0159】
図9は、本発明の第2の実施例における監視システムの画像符号化側の構成例を示すブロック図である。尚、図9において図1と同一機能の部分には同一符号を付し、その説明を省略する。
【0160】
図9において、図1との違いは、ズームカメラ用の背景画像生成部112において、生成した背景画像を被写体抽出部114における比較参照用にのみ用い、背景画像符号化部117への出力を行わないことにある。このため、図1における背景画像符号化部117を、図9では省略することができる。
【0161】
したがって、図9における多重化部120では、扱うビットストリームの種類は1つ減って、広角カメラ103用の背景符号化ビットストリームと任意形状符号化ビットストリーム、およびズームカメラ104用の任意形状符号化ビットストリームの3種類となる。第1の実施例の場合と同様、3つのビットストリームが同時に多重化されるのは、「侵入者追尾モード」の時である。
【0162】
次に図10を用いて、復号側の処理について説明する。
【0163】
図10は、本発明の第2の実施例における監視システムの画像復号化側の構成例を示すブロック図である。尚、図10において図2と同一機能の部分には同一符号を付し、その説明を省略する。
【0164】
図10において、分離部203によって、「侵入者追尾モード」の時は、多重化されていたビットストリームが、広角カメラ用の背景符号化ビットストリームと任意形状符号化ビットストリーム、およびズームカメラ用の任意形状符号化ビットストリームに分離される。
【0165】
広角カメラ側の処理は、第1の実施例と同様で、背景画像復号化部205が背景画像符号化ビットストリームを背景画像に復号化し、任意形状復号化部207が任意形状符号化ビットストリームを任意形状画像に復号化する。復号化されたそれぞれの画像データは、画像合成部210によって、合成復号画像となる。
【0166】
ズームカメラ側の処理は、任意形状復号化部208が任意形状ビットストリームを任意形状画像に復号化する。第1の実施例と異なり、ズームカメラ用の背景画像は、復号されないので、復号した広角カメラ用のデータから生成する。
【0167】
背景画像生成部1001の処理について説明する。
【0168】
広角カメラ側の背景画像復号化部205からは、図3(a)のような背景画像が得られるので、これを背景画像生成部1001に入力する。また、広角カメラ側の任意形状復号化部207からは、任意形状の復号画像の位置と大きさに関する情報を得ることができるので、これも背景画像生成部1001に入力する。これら2つの入力から、広角カメラの背景画像の一部を画像処理によって拡大し、図5(b)に示すようなズームカメラ用の背景画像を生成することができる。
【0169】
背景画像生成部1001により生成されたズームカメラ用の背景画像は、任意形状復号化部208より出力された任意形状復号画像と共に画像合成手段211に入力され、画像合成が行われる。合成された画像は、図5(c)のような画像となり、実施例1と同様の結果を得ることができる。
【0170】
<その他の実施形態>
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または、記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(または、CPUやMPU)が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【0171】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0172】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPU等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0173】
以上説明したように、本発明に係る実施形態によれば、撮像倍率の異なる複数の撮像装置を有し、撮像倍率の低い撮像装置から監視領域内での侵入者の位置と侵入者周辺の状況を撮像し、撮像倍率の高い撮像装置から侵入者の容姿が十分に視認可能な拡大像を得つつ、それぞれの映像信号をその映像の特性に応じてオブジェクト単位符号化を取り入れた圧縮符号化を行なうことで、魚眼レンズのような広角レンズを単体を用いた監視システムと比較して、侵入者の拡大像を十分な解像度で得ることができる。
【0174】
また、監視領域内を複数台の撮像装置を用いて監視するシステムと比較して、広角カメラによる広範囲領域の監視によって設置台数の削減から設備費用の負担が少ない。
【0175】
また、侵入者拡大映像はズームカメラが撮影するので被写体を認識する上で有効な最大拡大倍率、カメラの焦点距離(または視野範囲)、カメラの設置間隔など、監視場所や侵入者の視認精度によって最適な環境を作るのに多くの労力を必要としない。
【0176】
そして、異なる撮影倍率を有する複数のカメラを用いて監視する従来のシステムと比較して、広角カメラ映像、ズームカメラ映像共に、背景とオブジェクト領域のみを符号化するために、大幅な符号量の削減が可能となり、高能率な監視システムが実現できる。また、蓄積系に本システムを用いると、従来に比べ、長時間の監視状態を記録することが可能となる。伝送系に本システムを用いると、従来に比べ、映像品質を劣化させることなく、より狭い帯域での伝送が可能となる。また、従来と同様の伝送帯域では、より高画質な映像を伝送することが可能となる。
【0177】
また、本発明に係る第2の実施例においては、ズームカメラ用の背景画像を復号側の処理で生成するため、更なる符号量の削減が可能となり、より高能率な監視システムが実現できる。
【0178】
【発明の効果】
以上説明したように、本発明によれば、撮像倍率の高い画像データの背景画像を撮像倍率の低い画像データより生成することによって、画像データの大幅な符号量の削減が可能となる。
【0179】
また、本発明によれば、撮像倍率の高い画像データの被写体画像を背景差分法で抽出する実施例においては、撮像倍率の低い画像データを用いて背景画像を生成し、被写体画像を抽出することによって、背景画像を予め用意しなくてよいので操作性の向上となる。
【0180】
また、本発明によれば、撮像倍率の高い画像データの背景画像を復号側の処理で生成するため、更なる符号量の削減が可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施例における監視システムの画像符号化側の構成例を示すブロック図である。
【図2】本発明の第1の実施例における監視システムの画像復号化側の構成例を示すブロック図である。
【図3】本発明の実施例における被写体抽出処理を説明する図である。
【図4】本発明の実施例における被写体位置とズーム変倍率の決定方法について説明する図である。
【図5】本発明の実施例におけるズームカメラ104用の背景画像の生成方法を説明する図である。
【図6】本発明の実施例におけるオブジェクトのバウンディングボックスとマクロブロックを示す図である。
【図7】本発明の実施例における表示部212の表示例を説明する図である。
【図8】本発明の実施例における表示装置の例を説明する図である。
【図9】本発明の第2の実施例における監視システムの画像符号化側の構成例を示すブロック図である。
【図10】本発明の第2の実施例における監視システムの画像復号化側の構成例を示すブロック図である。
【図11】本発明の実施例における任意形状符号化部の構成例を示すブロック図である。
【図12】本発明の実施例における任意形状復号化部の構成例を示すブロック図である。
【図13】広角カメラを利用した監視システムの従来例を説明する図である。
【図14】図13の監視システムでの撮影像を説明する図である。
【図15】複数台数の標準カメラを利用した監視システムの従来例を説明する図である。
【図16】図15の監視システムでの撮影像を説明する図である。
【図17】広角カメラとズームカメラを併用した監視システムの従来例を説明する図である。
【図18】図17の,M監視システムでの撮影像を説明する図である。
Claims (15)
- 所定の撮像倍率で撮像された第1の撮像画像に対応する第1の背景画像を生成する第1の背景画像生成手段と、
前記第1の撮像画像より第1の被写体画像を抽出する第1の被写体抽出手段と、
前記所定の撮像倍率より高い撮像倍率で撮像された第2の撮像画像に対応する第2の背景画像を、前記第1の背景画像と前記第1の被写体画像とに基づいて生成する第2の背景画像生成手段と、
前記第2の撮像画像より第2の被写体画像を抽出する第2の被写体抽出手段と、
前記第1の背景画像生成手段より生成された第1の背景画像を符号化する第1の背景画像符号化手段と、
前記第1の被写体抽出手段より抽出された第1の被写体画像を符号化する第1の被写体画像符号化手段と、
前記第2の背景画像生成手段より生成された第2の背景画像を符号化する第2の背景画像符号化手段と、
前記第2の被写体抽出手段より抽出された第2の被写体画像を符号化する第2の被写体画像符号化手段とを有することを特徴とする画像処理装置。 - 前記第2の被写体抽出手段は、前記第2の撮像画像から前記第2の背景画像を差分することにより第2の被写体画像を抽出することを特徴とした請求項1に記載の画像処理装置。
- 所定の撮像倍率で撮像された第1の撮像画像に対応する第1の背景画像を生成する第1の背景画像生成手段と、
前記第1の撮像画像より第1の被写体画像を抽出する第1の被写体抽出手段と、
前記所定の撮像倍率より高い撮像倍率で撮像された第2の撮像画像に対応する第2の背景画像を前記第1の背景画像と前記第1の被写体画像とに基づいて生成する第2の背景画像生成手段と、
前記第2の撮像画像と前記第2の背景画像より第2の被写体画像を抽出する第2の被写体抽出手段とを有することを特徴とする画像処理装置。 - 前記第1の背景画像生成手段より生成された第1の背景画像を符号化する第1の背景画像符号化手段と、
前記第1の被写体抽出手段より抽出された第1の被写体画像を符号化する第1の被写体画像符号化手段と、
前記第2の被写体抽出手段より抽出された第2の被写体画像を符号化する第2の被写体画像符号化手段とを更に有することを特徴とした請求項3に記載の画像処理装置。 - 前記第1の被写体抽出手段は、前記第1の被写体画像の形状を包含する矩形領域を求めることを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。
- 前記第2の背景画像生成手段は、前記矩形領域の大きさと画面サイズから画像の拡大率を求め、前記画像の拡大率に基づいて前記第1の背景画像を拡大して前記第2の背景画像を生成することを特徴とする請求項5に記載の画像処理装置。
- 前記第2の背景画像生成手段は、拡大後の前記矩形領域が、前記画面サイズに内接するときの倍率を前記拡大率として求めることを特徴とする請求項6に記載の画像処理装置。
- 所定の撮像倍率で撮像された第1の背景画像と、前記所定の撮像倍率で撮像された画像データから抽出された第1の被写体画像と、前記所定の撮像倍率よりも高い撮像倍率で撮像された画像データから抽出された第2の被写体画像とを入力する入力手段と、
前記第1の背景画像と前記第1の被写体画像とに基づいて第2の被写体画像に対応する第2の背景画像を生成する背景画像生成手段と、
前記第2の背景画像と前記第2の被写体画像とを合成する画像合成手段とを有することを特徴とする画像処理装置。 - 前記画像合成手段は、前記第1の背景画像と前記第1の被写体像とを合成することを特徴とする請求項8に記載の画像処理装置。
- 前記入力手段によって入力される前記第1の背景画像、前記第1の被写体画像及び前記第2の被写体画像はそれぞれ符号化されており、前記入力手段は前記各画像を復号化する復号化手段を含むことを特徴とする請求項8又は9に記載の画像処理装置。
- 所定の撮像倍率で撮像された第1の撮像画像に対応する第1の背景画像を生成する第1の背景画像生成工程と、
前記第1の撮像画像より第1の被写体画像を抽出する第1の被写体抽出工程と、
前記所定の撮像倍率より高い撮像倍率で撮像された第2の撮像画像に対応する第2の背景画像を前記第1の背景画像と前記第1の被写体画像とに基づいて生成する第2の背景画像生成工程と、
前記第2の撮像画像より第2の被写体画像を抽出する第2の被写体抽出工程と、
前記第1の背景画像生成工程で生成された第1の背景画像を符号化する第1の背景画像符号化工程と、
前記第1の被写体抽出工程で抽出された第1の被写体画像を符号化する第1の被写体画像符号化工程と、
前記第2の背景画像生成工程で生成された第2の背景画像を符号化する第2の背景画像符号化工程と、
前記第2の被写体抽出工程で抽出された第2の被写体画像を符号化する第2の被写体画像符号化工程とを有することを特徴とする画像処理方法。 - 所定の撮像倍率で撮像された第1の撮像画像に対応する第1の背景画像を生成する第1の背景画像生成工程と、
前記第1の撮像画像より第1の被写体画像を抽出する第1の被写体抽出工程と、
前記所定の撮像倍率より高い撮像倍率で撮像された第2の撮像画像に対応する第2の背景画像を前記第1の背景画像と前記第1の被写体画像とに基づいて生成する第2の背景画像生成工程と、
前記第2の撮像画像と前記第2の背景画像より第2の被写体画像を抽出する第2の被写体抽出工程とを有することを特徴とする画像処理方法。 - 所定の撮像倍率で撮像された第1の背景画像と、前記所定の撮像倍率で撮像された画像データから抽出された第1の被写体画像と、前記所定の撮像倍率よりも高い撮像倍率で撮像された画像データから抽出された第2の被写体画像とを入力する入力工程と、
前記第1の背景画像と前記第1の被写体画像とに基づいて第2の被写体画像に対応する第2の背景画像を生成する背景画像生成工程と、
前記第2の背景画像と前記第2の被写体画像とを合成する画像合成工程とを有することを特徴とする画像処理方法。 - 請求項11〜13のいずれか1項に記載の画像処理方法を実行するコンピュータプログラム。
- 請求項14に記載のプログラムを格納し、コンピュータが読み取り可能なコンピュータ可読記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002174347A JP3870124B2 (ja) | 2002-06-14 | 2002-06-14 | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
US10/460,230 US7292264B2 (en) | 2002-06-14 | 2003-06-13 | Multiple image processing and synthesis using background image extraction |
US11/898,804 US8125521B2 (en) | 2002-06-14 | 2007-09-17 | Multiple image processing and synthesis using background image extraction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002174347A JP3870124B2 (ja) | 2002-06-14 | 2002-06-14 | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004023373A JP2004023373A (ja) | 2004-01-22 |
JP2004023373A5 JP2004023373A5 (ja) | 2005-04-14 |
JP3870124B2 true JP3870124B2 (ja) | 2007-01-17 |
Family
ID=30112231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002174347A Expired - Fee Related JP3870124B2 (ja) | 2002-06-14 | 2002-06-14 | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7292264B2 (ja) |
JP (1) | JP3870124B2 (ja) |
Families Citing this family (112)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004266376A (ja) * | 2003-02-25 | 2004-09-24 | Matsushita Electric Ind Co Ltd | 映像合成装置 |
US7956889B2 (en) * | 2003-06-04 | 2011-06-07 | Model Software Corporation | Video surveillance system |
US7623152B1 (en) * | 2003-07-14 | 2009-11-24 | Arecont Vision, Llc | High resolution network camera with automatic bandwidth control |
KR100676232B1 (ko) * | 2003-09-05 | 2007-01-30 | 가부시키가이샤 히다치 고쿠사이 덴키 | 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
WO2005086620A2 (en) * | 2003-10-10 | 2005-09-22 | L-3 Communications Security And Detection Systems | Mmw contraband screening system |
US7787013B2 (en) * | 2004-02-03 | 2010-08-31 | Panasonic Corporation | Monitor system and camera |
US7880766B2 (en) * | 2004-02-03 | 2011-02-01 | Panasonic Corporation | Detection area adjustment apparatus |
ATE547896T1 (de) * | 2004-02-03 | 2012-03-15 | Panasonic Corp | Detektionsbereichs-einstelleinrichtung |
JP2005267510A (ja) * | 2004-03-22 | 2005-09-29 | Secom Co Ltd | 画像処理装置、画像処理方法及び侵入者検出装置 |
JP4491295B2 (ja) * | 2004-07-22 | 2010-06-30 | キヤノン株式会社 | 画像再生方法及び画像再生装置 |
JP2006101327A (ja) * | 2004-09-30 | 2006-04-13 | Aiphone Co Ltd | テレビドアホン装置 |
JP2006129152A (ja) * | 2004-10-29 | 2006-05-18 | Konica Minolta Holdings Inc | 撮像装置および画像配信システム |
US7435679B2 (en) * | 2004-12-07 | 2008-10-14 | Intel Corporation | Alloyed underlayer for microelectronic interconnects |
US20060125920A1 (en) * | 2004-12-10 | 2006-06-15 | Microsoft Corporation | Matching un-synchronized image portions |
JP4624802B2 (ja) * | 2005-01-04 | 2011-02-02 | オリンパス株式会社 | 内視鏡装置、及びそのプログラム |
JP4470759B2 (ja) | 2005-02-28 | 2010-06-02 | ソニー株式会社 | 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
JP3968665B2 (ja) * | 2005-03-22 | 2007-08-29 | ソニー株式会社 | 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体 |
CN101147392B (zh) * | 2005-03-24 | 2012-05-09 | 松下电器产业株式会社 | 成像装置及其中使用的透镜阵列 |
DE102005018855B4 (de) * | 2005-04-22 | 2010-01-28 | Theta System Elektronik Gmbh | Vorrichtung zur Inspektion von Druckererzeugnissen |
US8026945B2 (en) * | 2005-07-22 | 2011-09-27 | Cernium Corporation | Directed attention digital video recordation |
JP4188394B2 (ja) * | 2005-09-20 | 2008-11-26 | フジノン株式会社 | 監視カメラ装置及び監視カメラシステム |
US7672539B2 (en) * | 2005-12-15 | 2010-03-02 | General Instrument Corporation | Method and apparatus for scaling selected areas of a graphics display |
JP4214160B2 (ja) * | 2006-08-31 | 2009-01-28 | フジノン株式会社 | 監視カメラシステム |
JP4795212B2 (ja) * | 2006-12-05 | 2011-10-19 | キヤノン株式会社 | 録画装置、端末装置及び処理方法 |
US8009200B2 (en) | 2007-06-15 | 2011-08-30 | Microsoft Corporation | Multiple sensor input data synthesis |
JP5082134B2 (ja) * | 2007-07-18 | 2012-11-28 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびプログラム |
EP1940141A1 (de) | 2008-02-11 | 2008-07-02 | Texmag GmbH Vertriebsgesellschaft GmbH | Vorrichtung zum Erfassen eines Bildes und Verfahren zum Auswerten von Bilddaten |
US7952596B2 (en) * | 2008-02-11 | 2011-05-31 | Sony Ericsson Mobile Communications Ab | Electronic devices that pan/zoom displayed sub-area within video frames in response to movement therein |
US20090202148A1 (en) * | 2008-02-11 | 2009-08-13 | Texmag Gmbh Vertriebsgesellschaft | Image Capturing System and Method for the Analysis of Image Data |
AU2008200926B2 (en) * | 2008-02-28 | 2011-09-29 | Canon Kabushiki Kaisha | On-camera summarisation of object relationships |
TWI383680B (zh) * | 2008-04-10 | 2013-01-21 | Univ Nat Chiao Tung | 整合式影像監視系統及其方法 |
US9215467B2 (en) | 2008-11-17 | 2015-12-15 | Checkvideo Llc | Analytics-modulated coding of surveillance video |
US8817092B2 (en) * | 2008-11-25 | 2014-08-26 | Stuart Leslie Wilkinson | Method and apparatus for generating and viewing combined images |
JP2010136032A (ja) * | 2008-12-04 | 2010-06-17 | Hitachi Ltd | 映像監視システム |
US8323205B2 (en) * | 2009-02-10 | 2012-12-04 | Pacesetter, Inc. | System and method for identifying a potential cause of pulmonary edema |
JP5531512B2 (ja) * | 2009-08-31 | 2014-06-25 | ソニー株式会社 | 情報処理装置、プログラム、および情報処理方法 |
USRE45980E1 (en) * | 2009-11-30 | 2016-04-19 | Panasonic Intellectual Property Corporation Of America | Communication device |
EP2509334B1 (en) * | 2009-11-30 | 2018-09-12 | Sun Patent Trust | Communication apparatus |
JP4787906B1 (ja) * | 2010-03-30 | 2011-10-05 | 富士フイルム株式会社 | 撮像装置、方法およびプログラム |
KR101149329B1 (ko) * | 2010-06-30 | 2012-05-23 | 아주대학교산학협력단 | 감시카메라를 이용한 능동적 객체 추적 장치 및 방법 |
JP2012049651A (ja) * | 2010-08-24 | 2012-03-08 | Ricoh Co Ltd | 撮像装置及び撮像方法 |
US8831287B2 (en) * | 2011-06-09 | 2014-09-09 | Utah State University | Systems and methods for sensing occupancy |
CN103177469A (zh) * | 2011-12-26 | 2013-06-26 | 深圳光启高等理工研究院 | 视频合成终端及其方法 |
CN116405747A (zh) | 2012-11-28 | 2023-07-07 | 核心光电有限公司 | 多孔径成像系统以及通过多孔径成像系统获取图像的方法 |
JP2014239382A (ja) * | 2013-06-10 | 2014-12-18 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム |
CN109040553B (zh) | 2013-06-13 | 2021-04-13 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
EP3779564B1 (en) | 2013-07-04 | 2024-04-10 | Corephotonics Ltd. | Miniature telephoto lens assembly |
KR101490921B1 (ko) * | 2013-07-11 | 2015-02-06 | 현대자동차 주식회사 | 자동차 부품의 품질 검사 장치 및 그 방법 |
WO2015015383A2 (en) | 2013-08-01 | 2015-02-05 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
CN103475882B (zh) * | 2013-09-13 | 2017-02-15 | 北京大学 | 监控视频的编码、识别方法和监控视频的编码、识别系统 |
TWI518437B (zh) * | 2014-05-12 | 2016-01-21 | 晶睿通訊股份有限公司 | 動態對焦調整系統及其動態對焦調整方法 |
TW201609395A (zh) * | 2014-07-11 | 2016-03-16 | 拜耳材料科學股份有限公司 | 水汽可滲透之複合組分(一) |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
CN104144295A (zh) * | 2014-08-12 | 2014-11-12 | 北京智谷睿拓技术服务有限公司 | 成像控制方法和装置及成像设备 |
AU2014240213B2 (en) * | 2014-09-30 | 2016-12-08 | Canon Kabushiki Kaisha | System and Method for object re-identification |
JP2016096481A (ja) * | 2014-11-14 | 2016-05-26 | キヤノン株式会社 | 制御装置、撮像システム、制御方法、及び、プログラム |
CN112327463B (zh) | 2015-01-03 | 2022-10-14 | 核心光电有限公司 | 微型长焦镜头模块和使用该镜头模块的相机 |
JP6568374B2 (ja) * | 2015-03-27 | 2019-08-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
EP3492958B1 (en) | 2015-04-02 | 2022-03-30 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
CN112305833A (zh) | 2015-04-16 | 2021-02-02 | 核心光电有限公司 | 紧凑型折叠式相机中的自动对焦和光学图像稳定 |
EP3722860B1 (en) | 2015-05-28 | 2023-04-19 | Corephotonics Ltd. | Bi-directional stiffness for optical image stabilization and auto-focus in a digital camera |
JP6095727B2 (ja) * | 2015-06-11 | 2017-03-15 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US10230898B2 (en) | 2015-08-13 | 2019-03-12 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
JP6741009B2 (ja) * | 2015-09-01 | 2020-08-19 | 日本電気株式会社 | 監視情報生成装置、撮影方向推定装置、監視情報生成方法、撮影方向推定方法、及びプログラム |
US10070060B2 (en) | 2015-09-06 | 2018-09-04 | Corephotonics Ltd | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
US10210625B2 (en) * | 2015-10-30 | 2019-02-19 | Industrial Technology Research Institute | Measurement system comprising angle adjustment module |
KR102291525B1 (ko) | 2015-12-29 | 2021-08-19 | 코어포토닉스 리미티드 | 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라 |
WO2017208090A1 (en) | 2016-05-30 | 2017-12-07 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
CN105979209A (zh) * | 2016-05-31 | 2016-09-28 | 浙江大华技术股份有限公司 | 一种监控视频显示方法及装置 |
CN107925728B (zh) | 2016-06-19 | 2020-12-08 | 核心光电有限公司 | 双孔径摄影机系统中的帧同步 |
WO2018007951A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Dual-camera system with improved video smooth transition by image blending |
EP4224233A1 (en) | 2016-07-07 | 2023-08-09 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
DE102016213111B4 (de) * | 2016-07-19 | 2018-08-09 | Koenig & Bauer Ag | Inspektionssystem mit mehreren Erfassungsbereichen |
JP6660869B2 (ja) * | 2016-11-17 | 2020-03-11 | Kddi株式会社 | 遠隔作業支援システムおよびその作業者端末 |
CN106686300A (zh) * | 2016-11-30 | 2017-05-17 | 努比亚技术有限公司 | 照片拍摄方法及装置 |
CN114051092A (zh) | 2016-12-28 | 2022-02-15 | 核心光电有限公司 | 具有延伸光折叠元件扫描范围的致动器及含其的折叠相机 |
EP3789810B1 (en) | 2017-01-12 | 2022-09-28 | Corephotonics Ltd. | Compact folded camera |
EP3579040B1 (en) | 2017-02-23 | 2021-06-23 | Corephotonics Ltd. | Folded camera lens designs |
CN114137791A (zh) | 2017-03-15 | 2022-03-04 | 核心光电有限公司 | 具有全景扫瞄范围的照相装置及移动装置 |
WO2019048904A1 (en) | 2017-09-06 | 2019-03-14 | Corephotonics Ltd. | STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA |
US20190096041A1 (en) * | 2017-09-25 | 2019-03-28 | Texas Instruments Incorporated | Methods and system for efficient processing of generic geometric correction engine |
US11145079B2 (en) * | 2017-09-25 | 2021-10-12 | Texas Instruments Incorporated | Method and apparatus for arbitrary output shape processing of an image |
US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
CN107920202B (zh) | 2017-11-15 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 基于增强现实的视频处理方法、装置及电子设备 |
KR102104761B1 (ko) | 2017-11-23 | 2020-04-27 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 구조 |
CN108305223B (zh) * | 2018-01-09 | 2020-11-03 | 珠海格力电器股份有限公司 | 图像背景虚化处理方法及装置 |
EP3848749A1 (en) | 2018-02-05 | 2021-07-14 | Corephotonics Ltd. | Reduced height penalty for folded camera |
CN111448793B (zh) | 2018-02-12 | 2021-08-31 | 核心光电有限公司 | 具有光学图像稳定化的折叠摄像机 |
US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
EP3822588B1 (en) | 2018-04-23 | 2022-09-07 | Corephotonics Ltd. | An optical-path folding-element with an extended two degree of freedom rotation range |
CN108769521B (zh) * | 2018-06-05 | 2021-02-02 | Oppo广东移动通信有限公司 | 一种拍照方法、移动终端及计算机可读存储介质 |
CN111316346B (zh) | 2018-08-04 | 2022-11-29 | 核心光电有限公司 | 摄像机上方的可切换连续显示信息系统 |
US11635596B2 (en) | 2018-08-22 | 2023-04-25 | Corephotonics Ltd. | Two-state zoom folded camera |
KR102242437B1 (ko) | 2019-01-07 | 2021-04-20 | 코어포토닉스 리미티드 | 슬라이딩 조인트를 갖는 회전 메커니즘 |
EP4224841A1 (en) | 2019-03-09 | 2023-08-09 | Corephotonics Ltd. | System and method for dynamic stereoscopic calibration |
US10885606B2 (en) * | 2019-04-08 | 2021-01-05 | Honeywell International Inc. | System and method for anonymizing content to protect privacy |
KR102365748B1 (ko) | 2019-07-31 | 2022-02-23 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
CN112399033B (zh) * | 2019-08-14 | 2022-04-15 | 杭州海康威视数字技术股份有限公司 | 摄像机组件和监控摄像机 |
JP7447417B2 (ja) | 2019-09-27 | 2024-03-12 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
CN110809101B (zh) * | 2019-11-04 | 2022-05-17 | RealMe重庆移动通信有限公司 | 图像变焦处理方法及装置、电子设备、存储介质 |
US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
CN114641983A (zh) | 2019-12-09 | 2022-06-17 | 核心光电有限公司 | 用于获得智能全景图像的系统及方法 |
CN110958431A (zh) * | 2019-12-11 | 2020-04-03 | 武汉迅检科技有限公司 | 多路视频压缩后传系统及方法 |
CN113469200A (zh) | 2020-03-30 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 数据处理方法和系统、存储介质、计算设备 |
KR20220003550A (ko) | 2020-04-26 | 2022-01-10 | 코어포토닉스 리미티드 | 홀 바 센서 보정을 위한 온도 제어 |
CN117372248A (zh) | 2020-05-17 | 2024-01-09 | 核心光电有限公司 | 全视场参考图像的图像拼接 |
WO2021245488A1 (en) | 2020-05-30 | 2021-12-09 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
EP4045960A4 (en) | 2020-07-15 | 2022-12-14 | Corephotonics Ltd. | CORRECTING THE ABERRATION OF VIEWPOINTS IN A FOLDED SCANNING CAMERA |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
WO2022023914A1 (en) | 2020-07-31 | 2022-02-03 | Corephotonics Ltd. | Hall sensor - magnet geometry for large stroke linear position sensing |
CN112887624B (zh) * | 2021-01-26 | 2022-08-09 | 维沃移动通信有限公司 | 一种拍摄方法、装置和电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3797678B2 (ja) * | 1994-05-26 | 2006-07-19 | 富士通株式会社 | ウィンドウとカメラの協調制御方法および装置 |
US6977676B1 (en) * | 1998-07-08 | 2005-12-20 | Canon Kabushiki Kaisha | Camera control system |
JP3792901B2 (ja) | 1998-07-08 | 2006-07-05 | キヤノン株式会社 | カメラ制御システム及びその制御方法 |
JP2000209425A (ja) * | 1998-11-09 | 2000-07-28 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
JP2000295600A (ja) | 1999-04-08 | 2000-10-20 | Toshiba Corp | 監視装置 |
US6813388B2 (en) * | 2000-02-07 | 2004-11-02 | Matsushita Electric Industrial Co., Ltd. | Image coding method, image coding apparatus and data storage medium |
FR2806570B1 (fr) * | 2000-03-15 | 2002-05-17 | Thomson Multimedia Sa | Procede et dispositif de codage d'images video |
-
2002
- 2002-06-14 JP JP2002174347A patent/JP3870124B2/ja not_active Expired - Fee Related
-
2003
- 2003-06-13 US US10/460,230 patent/US7292264B2/en not_active Expired - Fee Related
-
2007
- 2007-09-17 US US11/898,804 patent/US8125521B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20080212878A1 (en) | 2008-09-04 |
US20040008773A1 (en) | 2004-01-15 |
US8125521B2 (en) | 2012-02-28 |
US7292264B2 (en) | 2007-11-06 |
JP2004023373A (ja) | 2004-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3870124B2 (ja) | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
US10038841B1 (en) | System for streaming multiple regions deriving from a wide-angle camera | |
US8243135B2 (en) | Multiple-view processing in wide-angle video camera | |
US7840085B2 (en) | Electronic video image stabilization | |
US8179446B2 (en) | Video stabilization and reduction of rolling shutter distortion | |
KR101893406B1 (ko) | 카메라의 이미지처리 장치 및 방법 | |
US8427538B2 (en) | Multiple view and multiple object processing in wide-angle video camera | |
JP5268743B2 (ja) | 画像通信システム | |
CA2974104C (en) | Video transmission based on independently encoded background updates | |
JP4464360B2 (ja) | 監視装置、監視方法、及びプログラム | |
US10110929B2 (en) | Method of pre-processing digital images, and digital image preprocessing system | |
US20060093224A1 (en) | Image capturing apparatus and image distributing system | |
JP2001358984A (ja) | 動画像処理カメラ | |
JP2005175970A (ja) | 撮像システム | |
EP3029943B1 (en) | Method and device for determining properties of a graphical overlay for a video stream | |
US20010036319A1 (en) | Coding and decoding of moving pictures based on sprite coding | |
KR100420620B1 (ko) | 객체기반 영상 감시시스템 | |
JPH1079881A (ja) | 撮像装置 | |
JP2006165664A (ja) | 画像送受信システム | |
KR20170011928A (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치 | |
JP2005109725A (ja) | 映像監視システム | |
WO2012119920A1 (en) | Monitoring device and method for monitoring a location | |
Li et al. | A prototype of autonomous intelligent surveillance cameras | |
JP2006180200A (ja) | 監視装置 | |
JP4406517B2 (ja) | 画像表示制御方法及びそのシステム及びそれを構成する装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040604 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040604 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061016 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091020 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |