JP4895041B2 - Image processing apparatus, image processing method, and program - Google Patents

Image processing apparatus, image processing method, and program Download PDF

Info

Publication number
JP4895041B2
JP4895041B2 JP2007190151A JP2007190151A JP4895041B2 JP 4895041 B2 JP4895041 B2 JP 4895041B2 JP 2007190151 A JP2007190151 A JP 2007190151A JP 2007190151 A JP2007190151 A JP 2007190151A JP 4895041 B2 JP4895041 B2 JP 4895041B2
Authority
JP
Japan
Prior art keywords
image
region
unit
feature region
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007190151A
Other languages
Japanese (ja)
Other versions
JP2009027563A (en
Inventor
誠 與那覇
隆之 宇田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007190151A priority Critical patent/JP4895041B2/en
Publication of JP2009027563A publication Critical patent/JP2009027563A/en
Application granted granted Critical
Publication of JP4895041B2 publication Critical patent/JP4895041B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。本発明は、特に、画像を圧縮する画像処理装置および画像処理方法、並びに画像処理装置用のプログラムに関する。   The present invention relates to an image processing device, an image processing method, and a program. The present invention particularly relates to an image processing apparatus and an image processing method for compressing an image, and a program for the image processing apparatus.

動画像において検出された顔を含む画像ブロックのうち、目、口などを含む画像ブロックに対して、他の画像ブロックより多くの情報ビット数を割り当てて符号化する画像符号化装置が知られている(例えば、特許文献1参照。)。
特許第2828977号公報
Among image blocks including a face detected in a moving image, an image encoding device that allocates and encodes an image block including eyes, a mouth, and the like by assigning more information bits than other image blocks is known. (For example, refer to Patent Document 1).
Japanese Patent No. 2828977

しかしながら、上記特許文献1に記載の技術によると、被写体の撮像状態によっては、顔、目、口などを含む画像ブロックを検出することができないフレームが発生する場合がある。このフレームにおいては、目、口などを含む画像ブロックに対して、他の画像ブロックより多くの情報ビット数を割り当てることができない。   However, according to the technique described in Patent Document 1, a frame in which an image block including a face, eyes, a mouth, and the like cannot be detected may occur depending on an imaging state of a subject. In this frame, a larger number of information bits cannot be assigned to image blocks including eyes, mouths, and the like than other image blocks.

上記課題を解決するために、本発明の第1の形態においては、画像処理装置であって、動画に含まれる動画構成画像から、所定閾値を用いて、特徴領域を検出する特徴領域検出部と、特徴領域が検出された動画構成画像である検出画像における特徴領域の位置に基づいて、検出画像の他の動画構成画像である非検出画像において特徴領域が検出されるべき領域である予測領域を特定する特徴領域予測部と、非検出画像の予測領域から、所定閾値よりも低い閾値を用いて、特徴領域検出部に特徴領域を検出させる特徴領域検出制御部とを備える。   In order to solve the above-described problem, in the first embodiment of the present invention, an image processing device, wherein a feature region detecting unit detects a feature region from a moving image constituent image included in a moving image using a predetermined threshold value; Based on the position of the feature region in the detected image that is the moving image constituent image in which the feature region is detected, the prediction region that is the region in which the feature region is to be detected in the non-detected image that is the other moving image constituent image of the detected image A feature region prediction unit to be identified and a feature region detection control unit that causes the feature region detection unit to detect a feature region from a prediction region of a non-detected image using a threshold value lower than a predetermined threshold value.

特徴領域検出制御部は、非検出画像の予測領域から、所定閾値よりも低い閾値を用いて、特徴領域を特徴領域検出部に検出させ、非検出画像の予測領域以外の領域から、所定閾値を用いて、特徴領域を特徴領域検出部に検出させてよい。特徴領域予測部は、非検出画像より前にある複数の検出画像のそれぞれにおける特徴領域の位置に基づいて、非検出画像において予測領域を特定してよい。特徴領域予測部は、非検出画像より前にある検出画像、及び非検出画像より後にある検出画像のそれぞれにおける特徴領域の位置に基づいて、非検出画像において予測領域を特定してよい。動画における被写体の動きベクトルを取得する動きベクトル取得部をさらに備え、特徴領域予測部は、検出画像における特徴領域の位置および動きベクトルに基づいて、非検出画像において予測領域を特定してよい。   The feature region detection control unit causes the feature region detection unit to detect the feature region from the prediction region of the non-detected image using a threshold value lower than the predetermined threshold, and sets the predetermined threshold value from the region other than the prediction region of the non-detection image. The feature region detection unit may detect the feature region. The feature region prediction unit may specify the prediction region in the non-detected image based on the position of the feature region in each of the plurality of detected images preceding the non-detected image. The feature region prediction unit may specify the prediction region in the non-detected image based on the position of the feature region in each of the detected image before the non-detected image and the detected image after the non-detected image. The image processing apparatus may further include a motion vector acquisition unit that acquires a motion vector of a subject in the moving image, and the feature region prediction unit may specify a prediction region in the non-detected image based on the position and motion vector of the feature region in the detected image.

動きベクトルを含む圧縮された動画を取得する圧縮動画取得部と、圧縮動画取得部によって取得された動画を伸張する圧縮動画伸張部とをさらに備え、特徴領域検出部は、圧縮動画伸張部によって伸張された動画に含まれる動画構成画像から、前記所定閾値を用いて、特徴領域を検出し、動きベクトル取得部は、圧縮動画取得部によって取得された動画に含まれる動きベクトルを取得し、特徴領域予測部は、検出画像における特徴領域の位置および動きベクトルに基づいて、圧縮動画伸張部によって伸張された動画に含まれる非検出画像において予測領域を特定してよい。   A compressed video acquisition unit that acquires a compressed video including a motion vector; and a compressed video expansion unit that expands the video acquired by the compressed video acquisition unit. The feature region detection unit is expanded by the compressed video expansion unit. A feature region is detected from the moving image constituent image included in the moving image using the predetermined threshold, and the motion vector acquisition unit acquires a motion vector included in the moving image acquired by the compressed moving image acquisition unit. The prediction unit may specify the prediction region in the non-detected image included in the moving image expanded by the compressed moving image expansion unit based on the position of the feature region and the motion vector in the detected image.

圧縮動画取得部は、動きベクトルを含むMPEG動画を取得し、圧縮動画伸張部は、圧縮動画取得部によって取得されたMPEG動画を伸張し、特徴領域検出部は、圧縮動画伸張部によって伸張されたMPEG動画に含まれる動画構成画像から、前記所定閾値を用いて、特徴領域を検出し、動きベクトル取得部は、圧縮動画取得部によって取得されたMPEG動画に含まれる動きベクトルを取得してよい。検出画像および非検出画像のそれぞれを、特徴領域と、特徴領域以外の背景領域とに分割する画像分割部と、特徴領域の画像と背景領域の画像とを、それぞれ異なる強度で符号化する符号化部とをさらに備えてよい。検出画像および非検出画像において特定された特徴領域を包含する包含領域を特定する包含領域特定部と、検出画像および非検出画像のそれぞれにおける包含領域以外の領域の画素値を固定値化する固定値化部とをさらに備え、符号化部は、包含領域の画像と、包含領域以外の領域の画像とを、それぞれ異なる強度で圧縮してよい。   The compressed video acquisition unit acquires an MPEG video including a motion vector, the compressed video expansion unit expands the MPEG video acquired by the compressed video acquisition unit, and the feature region detection unit is expanded by the compressed video expansion unit The feature region may be detected from the moving image constituent image included in the MPEG moving image using the predetermined threshold, and the motion vector acquisition unit may acquire the motion vector included in the MPEG moving image acquired by the compressed moving image acquisition unit. An image dividing unit that divides each detected image and non-detected image into a feature region and a background region other than the feature region, and an encoding that encodes the feature region image and the background region image with different intensities. May be further included. An inclusion area specifying unit that specifies an inclusion area that includes the feature area specified in the detection image and the non-detection image, and a fixed value that fixes the pixel values of areas other than the inclusion area in each of the detection image and the non-detection image A coding unit, and the coding unit may compress the image of the inclusion region and the image of the region other than the inclusion region with different strengths.

本発明の第2の形態によると、画像処理方法であって、動画に含まれる動画構成画像から、所定閾値を用いて、特徴領域を検出する特徴領域検出段階と、特徴領域が検出された動画構成画像である検出画像における特徴領域の位置に基づいて、検出画像の他の動画構成画像である非検出画像において特徴領域が検出されるべき領域である予測領域を特定する特徴領域予測段階と、非検出画像の予測領域から、所定閾値よりも低い閾値を用いて、特徴領域検出段階に特徴領域を検出させる特徴領域検出制御段階とを備える。   According to the second aspect of the present invention, there is provided an image processing method, a feature region detection stage for detecting a feature region from a movie constituent image included in a movie using a predetermined threshold, and a movie in which the feature region is detected. Based on the position of the feature region in the detection image that is the component image, a feature region prediction step that identifies a prediction region that is a region in which the feature region is to be detected in the non-detection image that is another moving image component image of the detection image; And a feature region detection control step of causing the feature region detection step to detect the feature region from a predicted region of the non-detected image using a threshold value lower than a predetermined threshold value.

本発明の第3の形態によると、画像を符号化する画像処理装置用のプログラムであって、画像処理装置を、動画に含まれる動画構成画像から、所定閾値を用いて、特徴領域を検出する特徴領域検出部、特徴領域が検出された動画構成画像である検出画像における特徴領域の位置に基づいて、検出画像の他の動画構成画像である非検出画像において特徴領域が検出されるべき領域である予測領域を特定する特徴領域予測部、非検出画像の予測領域から、所定閾値よりも低い閾値を用いて、特徴領域検出部に特徴領域を検出させる特徴領域検出制御部として機能させる。   According to the third aspect of the present invention, there is provided a program for an image processing device that encodes an image, and the image processing device detects a feature region from a moving image constituent image included in the moving image using a predetermined threshold value. A feature region detection unit is a region in which a feature region is to be detected in a non-detected image that is another moving image constituent image based on the position of the feature region in the detected image that is a moving image constituent image in which the feature region is detected. A feature region prediction unit that identifies a prediction region, and a feature region detection control unit that causes the feature region detection unit to detect a feature region from a prediction region of a non-detected image using a threshold value lower than a predetermined threshold value.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図1は、一実施形態に係る画像処理システム10の一例を示す。画像処理システム10は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。   FIG. 1 shows an example of an image processing system 10 according to an embodiment. An object of the image processing system 10 is to reduce the amount of image data while maintaining a high quality image of a characteristic subject.

画像処理システム10は、監視対象空間150を撮像する複数の撮像装置100a−c(以下、撮像装置100と総称する。)、画像を処理する複数の画像処理装置120a−c(以下、画像処理装置120と総称する。)、画像処理装置170、通信ネットワーク110、および複数の表示装置180a−c(以下、表示装置180と総称する。)を備える。   The image processing system 10 includes a plurality of imaging devices 100a-c (hereinafter collectively referred to as imaging devices 100) that image the monitoring target space 150, and a plurality of image processing devices 120a-c (hereinafter referred to as image processing devices) that process images. 120), an image processing device 170, a communication network 110, and a plurality of display devices 180a-c (hereinafter collectively referred to as display device 180).

画像処理装置120aは、撮像装置100aに接続されている。また、画像処理装置120bは、撮像装置100bに接続されている。また、画像処理装置120cは、撮像装置100cに接続されている。なお、画像処理装置170および表示装置180は、監視対象空間150と異なる空間160に設けられている。   The image processing device 120a is connected to the imaging device 100a. Further, the image processing device 120b is connected to the imaging device 100b. Further, the image processing device 120c is connected to the imaging device 100c. Note that the image processing device 170 and the display device 180 are provided in a space 160 different from the monitoring target space 150.

以下に、撮像装置100a、画像処理装置120a、画像処理装置170、および表示装置180aの動作を説明する。撮像装置100aは、監視対象空間150を撮像して得られた撮像動画をMPEG符号化して撮像動画データを生成して、撮像装置100aが接続されている画像処理装置120aに出力する。   Hereinafter, operations of the imaging device 100a, the image processing device 120a, the image processing device 170, and the display device 180a will be described. The imaging apparatus 100a MPEG-encodes a captured moving image obtained by imaging the monitoring target space 150, generates captured moving image data, and outputs the captured moving image data to the image processing apparatus 120a to which the imaging apparatus 100a is connected.

画像処理装置120aは、撮像装置100aが生成した撮像動画データを取得する。画像処理装置120は、撮像装置100から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物130、車輌等の移動物体140等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置120aは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置120aは、特徴領域以外の背景領域の動画であって、特徴領域動画より低画質な背景領域動画を生成する。   The image processing device 120a acquires the captured moving image data generated by the imaging device 100a. The image processing device 120 decodes the captured moving image data acquired from the imaging device 100 to generate a captured moving image, and a plurality of features having different types of features such as a person 130 and a moving object 140 such as a vehicle from the generated captured moving image. Detect areas. Then, the image processing device 120a generates a plurality of feature area moving images by generating a moving image in which the characteristic region has a higher image quality than the other regions for each type of feature from the captured moving image. In addition, the image processing apparatus 120a generates a background area moving image that is a moving image of a background area other than the characteristic area and has a lower image quality than the characteristic area moving image.

そして、画像処理装置120aは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置120aは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連づけて、通信ネットワーク110を通じて画像処理装置170に送信する。   Then, the image processing device 120a generates a plurality of feature region moving image data and background region moving image data by encoding the generated plurality of feature region moving images and background region moving images, respectively. At the same time, the image processing device 120a associates a plurality of characteristic area moving image data and background region moving image data obtained by encoding with each other and transmits them to the image processing device 170 through the communication network 110.

画像処理装置170は、画像処理装置120aから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置170は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置180aに供給する。表示装置180aは、画像処理装置170から供給された動画を表示する。   The image processing device 170 acquires a plurality of feature region moving images and a background region moving image by decoding the associated plurality of feature region moving image data and background region moving image data received from the image processing device 120a, respectively. Then, the image processing apparatus 170 generates a single combined moving image by combining the plurality of feature region moving images and the background region moving image, and supplies the generated combined moving image to the display device 180a. The display device 180a displays the moving image supplied from the image processing device 170.

なお、撮像装置100bおよび撮像装置100cの機能および動作は、それぞれ画像処理装置120bおよび画像処理装置120cに撮像動画データを提供することを除いて、撮像装置100aの機能および動作と同様であるので、その説明を省略する。また、画像処理装置120bおよび画像処理装置120cの機能および動作は、それぞれ撮像装置100bおよび撮像装置100cから撮像動画データを取得することを除いて、画像処理装置120aの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置170は、撮像装置100bおよび撮像装置100cのそれぞれから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをから、一の動画をそれぞれ生成して、それぞれ表示装置180bおよび表示装置180cに供給する。また、表示装置180bおよび表示装置180cは、画像処理装置170から供給されたそれぞれの動画を表示する。   The functions and operations of the imaging device 100b and the imaging device 100c are the same as the functions and operations of the imaging device 100a, except that the imaging moving image data is provided to the image processing device 120b and the image processing device 120c, respectively. The description is omitted. The functions and operations of the image processing device 120b and the image processing device 120c are the same as the functions and operations of the image processing device 120a, except that the captured moving image data is acquired from the imaging device 100b and the imaging device 100c, respectively. Good. Therefore, the description is omitted. Further, the image processing device 170 generates one moving image from the plurality of associated feature region moving image data and background region moving image data received from the imaging device 100b and the imaging device 100c, respectively, and displays each of the display devices 180b. And supplied to the display device 180c. In addition, the display device 180b and the display device 180c display each moving image supplied from the image processing device 170.

本実施形態の画像処理システム10を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残しことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。   When the image processing system 10 of the present embodiment is actually applied as a monitoring system, for example, there may be a case where a subject that is characteristic as a monitoring target such as a person or a moving object can be left with high image quality. In addition, the amount of moving image data may be reduced.

図2は、画像処理装置120のブロック構成の一例を示す。画像処理装置120は、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、および画像生成部205を有する。また、画像処理装置120は、動きベクトル取得部251、特徴領域予測部271、特徴領域検出制御部272、包含領域特定ユニット260、固定値化ユニット210、低減化ユニット220、符号化ユニット230、対応付け処理部206、および出力部207を有する。   FIG. 2 shows an example of a block configuration of the image processing apparatus 120. The image processing apparatus 120 includes a compressed moving image acquisition unit 201, a compressed moving image expansion unit 202, a feature region detection unit 203, an image division unit 204, and an image generation unit 205. In addition, the image processing apparatus 120 includes a motion vector acquisition unit 251, a feature region prediction unit 271, a feature region detection control unit 272, an inclusion region specifying unit 260, a fixed value unit 210, a reduction unit 220, and an encoding unit 230. An attachment processing unit 206 and an output unit 207.

包含領域特定ユニット260は、複数の包含領域特定部261a−261c(以下、包含領域特定部261と総称する。)を含む。固定値化ユニット210は、複数の固定値化部211a−211c(以下、固定値化部211と総称する。)を含む。低減化ユニット220は、複数の画質低減部221a−d(以下、画質低減部221と総称する。)を含む。   The inclusion area specifying unit 260 includes a plurality of inclusion area specifying sections 261a-261c (hereinafter collectively referred to as inclusion area specifying sections 261). Fixed value unit 210 includes a plurality of fixed value units 211a to 211c (hereinafter collectively referred to as fixed value unit 211). The reduction unit 220 includes a plurality of image quality reduction units 221a-d (hereinafter collectively referred to as image quality reduction units 221).

符号化ユニット230は、背景領域動画符号化部231aおよび複数の特徴領域動画符号化部231b−d(以下、特徴領域動画符号化部231と総称する。)を含む。なお、背景領域動画符号化部231aおよび特徴領域動画符号化部231b−dを総称して、符号化部231と呼ぶ場合がある。   The encoding unit 230 includes a background region moving image encoding unit 231a and a plurality of feature region moving image encoding units 231b-d (hereinafter collectively referred to as a feature region moving image encoding unit 231). The background area moving image encoding unit 231a and the feature area moving image encoding unit 231b-d may be collectively referred to as an encoding unit 231.

なお、画質低減部221aおよび背景領域動画符号化部231aは、圧縮部240aとして機能する。また、画質低減部221bおよび背景領域動画符号化部231bは、圧縮部240bとして機能する。同様に、画質低減部221cおよび背景領域動画符号化部231cは圧縮部240cとして機能する。画質低減部221dおよび背景領域動画符号化部231dは圧縮部240dとして機能する。なお、複数の圧縮部240a−dを、圧縮部240と総称する。   The image quality reduction unit 221a and the background area moving image encoding unit 231a function as the compression unit 240a. Further, the image quality reduction unit 221b and the background area moving image encoding unit 231b function as the compression unit 240b. Similarly, the image quality reduction unit 221c and the background area moving image encoding unit 231c function as the compression unit 240c. The image quality reduction unit 221d and the background area moving image encoding unit 231d function as a compression unit 240d. The plurality of compression units 240a-d are collectively referred to as the compression unit 240.

圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。例えば、圧縮動画取得部201は、動きベクトルを含むMPEG動画を取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。   The compressed moving image acquisition unit 201 acquires a compressed moving image. Specifically, the compressed moving image acquisition unit 201 acquires encoded captured moving image data generated by the imaging device 100. For example, the compressed moving image acquisition unit 201 acquires an MPEG moving image including a motion vector. The compressed moving image decompression unit 202 restores the moving image acquired by the compressed moving image acquisition unit 201 and generates a plurality of moving image constituent images included in the moving image.

具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。例えば、圧縮動画伸張部202は、圧縮動画取得部201によって取得されたMPEG動画を伸張する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。また、圧縮された動画は、当該動画における被写体の動きベクトルを含む。   Specifically, the compressed moving image decompression unit 202 decodes the captured moving image data acquired by the compressed moving image acquisition unit 201, and generates a plurality of moving image constituent images included in the moving image. For example, the compressed moving image expansion unit 202 expands the MPEG moving image acquired by the compressed moving image acquisition unit 201. The moving image composition image includes a frame image and a field image. The compressed moving image includes a motion vector of the subject in the moving image.

特徴領域検出部203は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。具体的には、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。また、特徴領域検出部203は、所定閾値を用いて、圧縮動画伸張部202によって伸張された動画に含まれる動画構成画像から、特徴領域を検出する。例えば、特徴領域検出部203は、圧縮動画伸張部202によって伸張されたMPEG動画に含まれる動画構成画像から、所定閾値を用いて、特徴領域を検出する。   The feature region detection unit 203 detects a feature region from a plurality of moving image constituent images included in the moving image. Specifically, the feature region detection unit 203 detects a plurality of feature regions having different types of features from a plurality of moving image constituent images included in a moving image that is an image. In addition, the feature region detection unit 203 detects a feature region from the moving image constituent image included in the moving image expanded by the compressed moving image expansion unit 202 using a predetermined threshold. For example, the feature region detection unit 203 detects a feature region from a moving image constituent image included in the MPEG moving image expanded by the compressed moving image expansion unit 202 using a predetermined threshold.

ここで、特徴領域検出部203は、閾値を特徴領域を検出するときの基準値として用いる。特徴領域検出部203は、閾値が低くなることにより、動画構成画像から特徴領域を検出しやすくなる。例えば、閾値に、予め定められた被写体に関する形状または色のパターンに対する一致度を用いてよい。   Here, the feature area detection unit 203 uses the threshold value as a reference value when detecting the feature area. The feature area detection unit 203 can easily detect the feature area from the moving image constituent image by lowering the threshold value. For example, a degree of coincidence with a predetermined shape or color pattern related to the subject may be used as the threshold value.

この場合、予め定められた被写体を、人物、顔、自動車、ナンバープレートとしているが、これらに限らない。また、閾値を変更する変わりに、動画構成画像の輝度を変更してよい。特徴領域検出部203は、動画構成画像の輝度が高くなることにより、動画構成画像から、特徴領域を検出しやすくなる。   In this case, the predetermined subject is a person, a face, a car, or a license plate, but is not limited thereto. Moreover, you may change the brightness | luminance of a moving image structure image instead of changing a threshold value. The feature area detection unit 203 can easily detect the feature area from the moving image constituent image by increasing the luminance of the moving image constituent image.

動きベクトル取得部251は、動画における被写体の動きベクトルを取得する。具体的には、動きベクトル取得部251は、圧縮動画取得部201によって取得された動画(撮像動画データ)に含まれる動きベクトルを取得する。より具体的には、動きベクトル取得部251は、圧縮動画取得部201によって取得されたMPEG動画に含まれる動きベクトルを取得する。なお、動きベクトル取得部251が、圧縮動画取得部201によって取得された動画から動きベクトルを取得できない場合、動きベクトル取得部251は、圧縮動画伸張部202によって伸張された動画に含まれる複数の動画構成画像に基づいて、当該動画の動きベクトルを算出してもよい。   The motion vector acquisition unit 251 acquires the motion vector of the subject in the moving image. Specifically, the motion vector acquisition unit 251 acquires a motion vector included in the moving image (captured moving image data) acquired by the compressed moving image acquisition unit 201. More specifically, the motion vector acquisition unit 251 acquires a motion vector included in the MPEG moving image acquired by the compressed moving image acquisition unit 201. When the motion vector acquisition unit 251 cannot acquire a motion vector from the moving image acquired by the compressed moving image acquisition unit 201, the motion vector acquisition unit 251 includes a plurality of moving images included in the moving image expanded by the compressed moving image expansion unit 202. The motion vector of the moving image may be calculated based on the constituent image.

特徴領域予測部271は、特徴領域が検出された動画構成画像である検出画像における特徴領域の位置に基づいて、検出画像の他の動画構成画像である非検出画像において特徴領域が検出されるべき領域である予測領域を特定する。具体的には、特徴領域予測部271は、検出画像における特徴領域の位置、および動きベクトル取得部251によって取得された動きベクトルに基づいて、非検出画像において予測領域を特定する。   The feature region prediction unit 271 should detect the feature region in the non-detected image that is another moving image constituent image based on the position of the feature region in the detected image that is the moving image constituent image from which the feature region is detected. A prediction region that is a region is specified. Specifically, the feature region prediction unit 271 specifies a prediction region in the non-detected image based on the position of the feature region in the detected image and the motion vector acquired by the motion vector acquisition unit 251.

より具体的には、特徴領域予測部271は、非検出画像より時間軸方向の前にある一つまたは複数の検出画像における特徴領域の位置、および動きベクトル取得部251によって取得された動きベクトルに基づいて、非検出画像において予測領域を特定する。また、特徴領域予測部271は、圧縮動画伸張部202によって伸張された動画に含まれる検出画像における特徴領域の位置、および動きベクトル取得部251によって取得された動きベクトルに基づいて、圧縮動画伸張部によって伸張された動画に含まれる非検出画像において予測領域を特定する。   More specifically, the feature region predicting unit 271 calculates the position of the feature region in one or a plurality of detected images before the non-detected image in the time axis direction, and the motion vector acquired by the motion vector acquiring unit 251. Based on this, the prediction region is specified in the non-detected image. Further, the feature region prediction unit 271 is based on the position of the feature region in the detected image included in the moving image expanded by the compressed moving image expansion unit 202 and the motion vector acquired by the motion vector acquisition unit 251. The prediction area is specified in the non-detected image included in the video expanded by the above.

なお、特徴領域予測部271は、非検出画像より時間軸方向の後ろにある一つまたは複数の検出画像の特徴領域の位置、および動きベクトル取得部251によって取得された動きベクトルに基づいて、非検出画像において予測領域を特定してもよい。また、特徴領域予測部271は、非検出画像より時間軸方向の前後にある検出画像の特徴領域の位置、および動きベクトル取得部251によって取得された動きベクトルに基づいて、非検出画像において予測領域を特定してもよい。   Note that the feature region prediction unit 271 performs non-detection based on the position of the feature region of one or a plurality of detected images behind the non-detected image in the time axis direction and the motion vector acquired by the motion vector acquisition unit 251. The predicted region may be specified in the detected image. In addition, the feature region prediction unit 271 generates a prediction region in the non-detected image based on the position of the feature region of the detected image before and after the non-detected image in the time axis direction and the motion vector acquired by the motion vector acquisition unit 251. May be specified.

また、特徴領域予測部271は、非検出画像より時間軸方向の前にある一つまたは複数の検出画像の特徴領域の位置に基づいて、線形補間により、非検出画像において予測領域を特定してもよい。また、特徴領域予測部271は、非検出画像より時間軸方向の後ろにある一つまたは複数の検出画像における特徴領域の位置に基づいて、線形補間により、非検出画像において予測領域を特定してもよい。また、特徴領域予測部271は、非検出画像より時間軸方向の前後にある検出画像の特徴領域の位置に基づいて、線形補間により、非検出画像において予測領域を特定してもよい。   In addition, the feature region prediction unit 271 specifies a prediction region in the non-detected image by linear interpolation based on the position of the feature region of one or a plurality of detected images preceding the non-detected image in the time axis direction. Also good. In addition, the feature region prediction unit 271 specifies a prediction region in the non-detected image by linear interpolation based on the position of the feature region in one or a plurality of detected images behind the non-detected image in the time axis direction. Also good. Further, the feature region prediction unit 271 may identify a prediction region in the non-detected image by linear interpolation based on the position of the feature region of the detected image before and after the non-detected image in the time axis direction.

特徴領域検出制御部272は、非検出画像の予測領域から、所定閾値よりも低い閾値を用いて、特徴領域検出部に特徴領域を検出させる。これにより、特徴領域検出部203は、非検出画像の予測領域から、特徴領域を検出しやすくなる。また、特徴領域検出制御部272は、非検出画像の予測領域から、所定閾値よりも低い閾値を用いて、特徴領域を特徴領域検出部に検出させるとともに、非検出画像の予測領域以外の領域から、所定閾値を用いて、特徴領域を特徴領域検出部に検出させる。なお、特徴領域検出制御部272は、非検出画像の予測領域から、所定閾値よりも低い閾値を用いて、特徴領域を特徴領域検出部に検出させるとともに、非検出画像の予測領域以外の領域からは、特徴領域を特徴領域検出部に検出させないようにしてもよい。   The feature region detection control unit 272 causes the feature region detection unit to detect the feature region from the prediction region of the non-detected image using a threshold value lower than the predetermined threshold value. Thereby, the feature region detection unit 203 can easily detect the feature region from the prediction region of the non-detected image. In addition, the feature region detection control unit 272 causes the feature region detection unit to detect the feature region from the prediction region of the non-detected image using a threshold value lower than the predetermined threshold, and from the region other than the prediction region of the non-detection image. The feature region detection unit is caused to detect the feature region using a predetermined threshold. Note that the feature region detection control unit 272 causes the feature region detection unit to detect the feature region from the prediction region of the non-detected image using a threshold value lower than the predetermined threshold, and from the region other than the prediction region of the non-detection image. May prevent the feature region detection unit from detecting the feature region.

画像分割部204は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。具体的には、画像分割部204は、複数の動画構成画像のそれぞれを、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。   The image dividing unit 204 divides each of the plurality of moving image constituent images into a feature region and a background region. Specifically, the image dividing unit 204 divides each of the plurality of moving image constituent images into a plurality of feature regions and a background region other than the plurality of feature regions.

画像生成部205は、特徴領域動画を圧縮するための特徴領域圧縮用動画および背景領域動画を圧縮するための背景領域圧縮用動画を生成する。具体的には、画像生成部205は、動画に含まれる複数の動画構成画像から、特徴領域画像を抽出した後に、抽出された特徴領域画像を複製することにより、特徴領域圧縮用動画を生成する。より具体的には、画像生成部205は、動画に含まれる複数の動画構成画像から、複数種類の特徴領域画像を抽出することにより、複数の特徴領域圧縮用動画を生成する。また、画像生成部205は、動画に含まれる複数の動画構成画像から、背景領域画像を抽出した後に、抽出された背景領域画像を複製することにより、背景領域圧縮用動画を生成する。   The image generation unit 205 generates a feature region compression moving image for compressing the feature region moving image and a background region compression moving image for compressing the background region moving image. Specifically, the image generation unit 205 extracts a feature region image from a plurality of movie composition images included in the movie, and then generates a feature region compression movie by duplicating the extracted feature region image. . More specifically, the image generation unit 205 generates a plurality of feature region compression moving images by extracting a plurality of types of feature region images from a plurality of moving image constituent images included in the moving image. In addition, the image generation unit 205 generates a background area compression moving image by extracting a background area image from a plurality of moving image constituent images included in the moving image and then replicating the extracted background area image.

包含領域特定部261は、複数の特徴領域圧縮用動画のそれぞれにおいて、複数の特徴領域を包含する包含領域を特定する。具体的には、包含領域特定部261は、複数の特徴領域圧縮用動画のそれぞれにおいて、複数の前記特徴領域を包含する、マクロブロックの集合領域を、包含領域として特定する。   The inclusion area specifying unit 261 specifies an inclusion area that includes a plurality of feature areas in each of the plurality of feature area compression moving images. Specifically, the inclusion area specifying unit 261 specifies, as an inclusion area, a collection area of macroblocks including a plurality of the feature areas in each of the plurality of feature area compression moving images.

そして、固定値化部211は、複数の特徴領域圧縮用動画のそれぞれにおける、複数の動画構成画像のそれぞれにおいて、包含領域特定部261によって特定された包含領域以外の領域の画素値を固定値化する。例えば、固定値化部211は、包含領域以外の領域の画素値を所定の値(例えば、輝度値0)に設定する。   Then, the fixed value converting unit 211 converts the pixel values of regions other than the included region specified by the included region specifying unit 261 into fixed values in each of the plurality of moving image constituent images in each of the plurality of feature region compression moving images. To do. For example, the fixed value unit 211 sets the pixel value of the area other than the inclusion area to a predetermined value (for example, the luminance value 0).

そして、圧縮部240は、包含領域以外の領域の画素値が固定値化された動画構成画像を複数含む、複数の特徴領域圧縮用画像のそれぞれを、それぞれの特徴量に応じた強度で圧縮する。また、圧縮部240は、複数の特徴領域圧縮用画像のそれぞれに対して、包含領域の画像と、包含領域画像以外の領域の画像とを、それぞれ異なる強度で符号化する。   Then, the compression unit 240 compresses each of a plurality of feature region compression images including a plurality of moving image constituent images in which pixel values of regions other than the inclusion region are fixed values with an intensity corresponding to each feature amount. . In addition, the compression unit 240 encodes the inclusion region image and the region image other than the inclusion region image with different intensities for each of the plurality of feature region compression images.

このように、圧縮部240は、複数の特徴領域圧縮用動画のそれぞれと、背景領域圧縮用動画とを、それぞれの特徴量に応じた強度で圧縮する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。   As described above, the compression unit 240 compresses each of the plurality of feature region compression moving images and the background region compression moving image with an intensity corresponding to each feature amount. The feature amount includes the type of subject, the size of the subject, the moving speed at which the moving object moves, and the size of the feature region.

以上説明したように、特徴領域検出部203は、画像から特徴領域を検出する。そして、画像分割部204は、画像を、特徴領域と、特徴領域以外の背景領域とに分割する。そして、圧縮部240は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。そして、圧縮部240は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。   As described above, the feature region detection unit 203 detects a feature region from the image. Then, the image dividing unit 204 divides the image into a feature region and a background region other than the feature region. Then, the compression unit 240 compresses the feature area image that is the image of the feature area and the background area image that is the image of the background area with different strengths. Then, the compression unit 240 compresses the feature area moving image including a plurality of characteristic area images and the background area moving image including a plurality of background area images with different strengths.

なお、圧縮部240b、圧縮部240c、および圧縮部240dには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部240は、画像分割部204によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。   Note that in the compression unit 240b, the compression unit 240c, and the compression unit 240d, it is determined in advance which type of feature area moving image should be compressed, and the compression unit 240b, the compression unit 240c, and the compression unit 240d are determined in advance. The feature region moving image of the specified feature type is compressed. Note that the compression strength in the case of compressing the feature region moving image is determined in advance for each of a plurality of feature types, and the compression unit 240b, the compression unit 240c, and the compression unit 240d are features of the predetermined feature types. The area moving image is compressed with a compression strength predetermined for the type of the feature. As described above, the compression unit 240 compresses a plurality of regions in parallel using the compressor provided for each image region divided by the image dividing unit 204.

なお、圧縮部240は、一つの圧縮器によって実装されてよく、複数の特徴領域動画および背景領域動画を時間的に順次圧縮してもよい。他にも、圧縮部240は、圧縮動画伸張部202によって復号された撮像動画を、画像分割部204が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。   Note that the compression unit 240 may be implemented by a single compressor, and may sequentially compress a plurality of feature area videos and background area videos. In addition, the compression unit 240 is predetermined for each feature type and background of each region for each region obtained by dividing the captured moving image decoded by the compressed moving image decompression unit 202 by the image dividing unit 204. One video data may be generated by compressing at a compression rate.

圧縮部240における画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。   The image quality reduction unit 221 in the compression unit 240 compresses a plurality of feature area moving images and background area moving images by reducing the image quality according to each feature amount. More specifically, the image quality reduction unit 221 compresses a plurality of feature region moving images and background region moving images by reducing the resolution or frame rate according to each feature amount.

圧縮部240における符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。   The encoding unit 231 in the compression unit 240 compresses a plurality of feature area moving images and background region moving images by encoding them using setting values corresponding to the respective feature amounts. For example, the encoding unit 231 compresses a plurality of feature area moving images and background area moving images by encoding them using an assigned code amount corresponding to each feature amount.

対応付け処理部206は、複数の圧縮部240が複数の特徴領域動画および背景領域動画を圧縮することによって生成した複数の特徴領域動画データおよび背景領域動画データを、例えばタグ情報等を付帯する等して互いに対応づける。出力部207は、対応付け処理部206が対応づけた複数の特徴領域動画データおよび背景領域動画データを通信ネットワーク110に送出する。   The association processing unit 206 includes a plurality of feature region moving image data and background region moving image data generated by the compression units 240 compressing a plurality of feature region moving images and background region moving images, for example, with tag information and the like. And correspond to each other. The output unit 207 sends the plurality of feature area moving image data and background area moving image data associated by the association processing unit 206 to the communication network 110.

図3は、画像処理装置170のブロック構成の一例を示す。画像処理装置170は、圧縮動画取得部301、対応付け解析部302、圧縮動画伸張ユニット310、合成部303、および出力部304を有する。圧縮動画伸張ユニット310は、複数の圧縮動画伸張部311a−d(以下、圧縮動画伸張部311と総称する。)を含む。   FIG. 3 shows an example of a block configuration of the image processing apparatus 170. The image processing apparatus 170 includes a compressed moving image acquisition unit 301, an association analysis unit 302, a compressed moving image decompression unit 310, a composition unit 303, and an output unit 304. The compressed moving image expansion unit 310 includes a plurality of compressed moving image expansion units 311a-d (hereinafter collectively referred to as a compressed moving image expansion unit 311).

圧縮動画取得部301は、出力部207が出力した、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得する。対応付け解析部302は、例えば付帯されたタグ情報を解析して、圧縮動画取得部301が取得した対応づけられた複数の特徴領域動画データおよび背景領域動画データを取り出す。   The compressed moving image acquisition unit 301 acquires a plurality of associated feature region moving image data and background region moving image data output from the output unit 207. The association analysis unit 302 analyzes, for example, attached tag information, and extracts a plurality of associated feature region movie data and background region movie data acquired by the compressed movie acquisition unit 301.

圧縮動画伸張部311は、複数の特徴領域動画データおよび背景領域動画データを復号する。具体的には、圧縮動画伸張部311aは背景領域動画データを復号する。また、圧縮動画伸張部311b−dは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画および背景領域動画を取得する。なお、圧縮動画伸張部311b−dは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。   The compressed moving image decompression unit 311 decodes the plurality of characteristic area moving image data and background area moving image data. Specifically, the compressed moving image decompression unit 311a decodes the background area moving image data. In addition, the compressed moving image decompression unit 311b-d decodes one feature region moving image out of the plurality of feature region moving image data, and acquires a plurality of feature region moving images and a background region moving image. Note that the compressed moving image decompression unit 311b-d is provided for each type of feature, and decodes any type of feature region moving image data.

合成部303は、圧縮動画伸張部311が復号することによって得られた動画構成画像を合成する。具体的には、合成部303は、圧縮動画伸張部311b−dにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景領域動画が含む動画構成画像に重ね合わせた動画構成画像を生成する。出力部304は、合成部303が生成した複数の動画構成画像を含む動画を、表示装置180に供給する。   The synthesizing unit 303 synthesizes the moving image constituent images obtained by the compressed moving image decompressing unit 311 decoding. Specifically, the synthesizing unit 303 superimposes the feature region images of the moving image constituent images included in each of the plurality of feature region moving images decoded by the compressed moving image decompression unit 311b-d on the moving image constituent images included in the background region moving image. A combined moving image composition image is generated. The output unit 304 supplies a moving image including a plurality of moving image constituent images generated by the combining unit 303 to the display device 180.

なお、本実施形態の圧縮動画伸張ユニット310は、特徴の種類の数に応じた複数の圧縮動画伸張部311を含むが、他の形態では、圧縮動画伸張ユニット310が含む一の圧縮動画伸張部311が、背景領域動画データおよび複数の特徴領域動画データを順次復号してもよい。また、画像処理装置120から一の動画データとして提供される場合には、一の圧縮動画伸張部311が当該一の動画データを復号して、復号した得られた動画を出力部304が出力してもよい。   Note that the compressed video decompression unit 310 of the present embodiment includes a plurality of compressed video decompression units 311 corresponding to the number of feature types, but in another form, one compressed video decompression unit included in the compressed video decompression unit 310. 311 may sequentially decode the background area moving image data and the plurality of characteristic area moving image data. In addition, when provided as one moving image data from the image processing device 120, one compressed moving image decompression unit 311 decodes the one moving image data, and the output unit 304 outputs the decoded moving image. May be.

図4は、画像処理装置120の処理フローの一例を示す。圧縮動画取得部201が撮像動画データを取得(401)。圧縮動画伸張部202は、撮像動画データを復号することによって複数のフレーム画像410を生成する。特徴領域検出部203は、フレーム画像410の画像内容又は複数のフレーム画像410の画像内容に基づいて、特徴領域の一例であるROI(Region of interest)を検出する(402)。   FIG. 4 shows an example of the processing flow of the image processing apparatus 120. The compressed moving image acquisition unit 201 acquires captured moving image data (401). The compressed moving image decompression unit 202 generates a plurality of frame images 410 by decoding the captured moving image data. The feature region detection unit 203 detects a region of interest (ROI) that is an example of a feature region based on the image content of the frame image 410 or the image content of the plurality of frame images 410 (402).

特徴領域検出部203は、人物の顔、人体、および移動物体を含む領域を、異なる種類のROIとして検出する。例えば、特徴領域検出部203は、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きいオブジェクトを含む領域をパターンマッチング等により検出して、検出した顔領域をROIとする。また、特徴領域検出部203は、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域をROIとする。なお、特徴領域検出部203は、顔領域の近傍に存在する領域から人体領域を検出してもよい。   The feature region detection unit 203 detects regions including human faces, human bodies, and moving objects as different types of ROIs. For example, the feature area detection unit 203 detects, by pattern matching or the like, an area including an object having a degree of coincidence with a pattern related to a predetermined person's face that is greater than a predetermined degree of coincidence. And Further, the feature region detection unit 203 detects a human body region including an object whose degree of matching with a pattern related to a human body is greater than a predetermined matching level by pattern matching or the like, and sets the detected region as an ROI. Note that the feature region detection unit 203 may detect a human body region from a region existing in the vicinity of the face region.

また、特徴領域検出部203は、複数のフレーム画像の画像内容に基づいて、移動物体を含む領域である動領域を特定する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域を、動領域として特定する。他にも、特徴領域検出部203は、エッジ抽出等により複数のフレーム画像のそれぞれに含まれるオブジェクトを抽出する。そして、特徴領域検出部203は、他のフレーム画像の異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を動領域として特定してもよい。   In addition, the feature region detection unit 203 identifies a moving region that is a region including a moving object based on the image contents of a plurality of frame images. For example, an area in which the amount of change in pixel value with respect to another frame image is larger than a predetermined amount of change is specified as a moving area. In addition, the feature region detection unit 203 extracts objects included in each of the plurality of frame images by edge extraction or the like. Then, the feature region detection unit 203 identifies objects that are included in different positions of other frame images and that match with a degree of coincidence that is greater than a predetermined degree of coincidence, and includes an area that includes the identified object. It may be specified as a moving area.

このように、特徴領域検出部203は、予め定められた画像内容に関する条件に適合する領域を、ROIとして検出する。より具体的には、特徴領域検出部203は、予め定められた条件に適合するオブジェクトを含む領域を、ROIとして検出する。例えば、特徴領域検出部203は、予め定められた形状との間の一致度が予め定められた一致度より大きいオブジェクトを含む領域を、ROIとして検出する。また、特徴領域検出部203は、画像の変化量が予め定められた変化量より大きい領域を、ROIとして検出する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域をROIとして検出する。   As described above, the feature region detection unit 203 detects a region that meets a predetermined condition relating to image content as an ROI. More specifically, the feature area detection unit 203 detects an area including an object that meets a predetermined condition as an ROI. For example, the feature area detection unit 203 detects, as an ROI, an area that includes an object having a degree of coincidence with a predetermined shape that is greater than a predetermined degree of coincidence. Further, the feature area detection unit 203 detects an area where the change amount of the image is larger than the predetermined change amount as the ROI. For example, an area where the change amount of the pixel value between other frame images is larger than a predetermined change amount is detected as the ROI.

そして、画像処理装置120は、検出されたROIに基づいて圧縮用動画を生成する(403)。具体的には、画像分割部204は、フレーム画像をROIとそれ以外の領域に分割する。そして、画像生成部205は、複数のフレーム画像410を複製することによって、特徴領域動画430、特徴領域動画440、および特徴領域動画450と、背景領域動画420とを生成する。具体的には、画像生成部205は、複数のフレーム画像410を複製することによって、顔領域用の特徴領域動画450、人領域用の特徴領域動画440、動領域用の特徴領域動画430、および背景領域用の背景領域動画420を生成する。   Then, the image processing apparatus 120 generates a moving image for compression based on the detected ROI (403). Specifically, the image dividing unit 204 divides the frame image into ROI and other areas. Then, the image generation unit 205 generates a feature region moving image 430, a feature region moving image 440, a feature region moving image 450, and a background region moving image 420 by duplicating the plurality of frame images 410. Specifically, the image generation unit 205 reproduces a plurality of frame images 410, thereby generating a facial region feature region moving image 450, a human region feature region moving image 440, a moving region feature region moving image 430, and A background area moving image 420 for the background area is generated.

そして、画像処理装置120は、固定値化部211および画質低減部221により、特徴領域動画430、特徴領域動画440、および特徴領域動画450と、背景領域動画420とに対して、画質を低減する(404a、404b、404c、404d)。具体的には、固定値化部211は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像において、画像分割部204が分割したROI内の画素値は変化させず、ROI以外の領域に対する画素値を所定の値(例えば、輝度値0)にする。なお、固定値化部211は、ROI以外の領域の画素値を、当該ROIに近傍する領域の画素値の平均的な画素値にしてよい。   Then, the image processing apparatus 120 reduces the image quality of the feature region moving image 430, the feature region moving image 440, the feature region moving image 450, and the background region moving image 420 by the fixed value converting unit 211 and the image quality reducing unit 221. (404a, 404b, 404c, 404d). Specifically, the fixed value unit 211 changes the pixel values in the ROI divided by the image dividing unit 204 in the frame images included in each of the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450. First, the pixel value for the region other than the ROI is set to a predetermined value (for example, luminance value 0). Note that the fixed value converting unit 211 may set the pixel values in the region other than the ROI as an average pixel value of the pixel values in the region near the ROI.

このように、画像生成部205および固定値化部211により、同じ視野角の複数のフレーム画像をそれぞれ含む特徴領域動画430、特徴領域動画440、および特徴領域動画450および背景領域動画420が生成される。なお、後に詳しく説明するように、画像処理装置170は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のようなROI以外の領域が固定値化されている動画を、背景領域動画420に重ね合わせた動画を生成する。したがって、背景領域動画420、特徴領域動画430、特徴領域動画440、および特徴領域動画450は、それぞれ背景レイヤー、動領域レイヤー、人領域レイヤー、および顔領域レイヤーとみなすことができる。   As described above, the image generation unit 205 and the fixed value conversion unit 211 generate the feature region moving image 430, the feature region moving image 440, the feature region moving image 450, and the background region moving image 420 each including a plurality of frame images having the same viewing angle. The As will be described in detail later, the image processing apparatus 170 converts a moving image in which a region other than the ROI, such as the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450, into a fixed value is used as the background region moving image. A moving image superimposed on 420 is generated. Therefore, the background area animation 420, the feature area animation 430, the feature area animation 440, and the feature area animation 450 can be regarded as a background layer, a motion area layer, a human area layer, and a face area layer, respectively.

また、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像におけるROI内の画像の画質を、特徴の種類に応じて低減する。具体的には、顔領域、人領域、および動領域のそれぞれの画質を定めるパラメータとして、解像度、階調数、および色数の少なくとも1つが予め定められている。例えば、顔領域、人領域、動領域の順に高い解像度が予め定められている。   In addition, the image quality reduction unit 221 reduces the image quality of the image in the ROI in the frame images included in each of the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450 according to the type of feature. Specifically, at least one of resolution, the number of gradations, and the number of colors is determined in advance as a parameter that determines the image quality of each of the face area, the human area, and the moving area. For example, a high resolution is determined in advance in the order of the face area, the human area, and the moving area.

そして、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像におけるROI内の画像の画質を、特徴の種類に対して予め定められた解像度、階調数、および色数の画像に変換する。また、画質低減部221は、背景領域動画のフレーム画像の画質を、ROI内の画像の画質より低くする。例えば、画質低減部221は、背景領域動画のフレーム画像の解像度を、ROI内の画像のより小さくする。   Then, the image quality reduction unit 221 sets the image quality of the image in the ROI in the frame image included in each of the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450 to a resolution predetermined for the type of feature, Convert to an image with the number of gradations and the number of colors. In addition, the image quality reduction unit 221 makes the image quality of the frame image of the background area moving image lower than the image quality of the image in the ROI. For example, the image quality reduction unit 221 makes the resolution of the frame image of the background area moving image smaller than that of the image in the ROI.

また、画質低減部221は、背景領域動画420、特徴領域動画430、特徴領域動画440、および特徴領域動画450のフレームレートを低減する。例えば、特徴の種類ごとに、例えば顔領域、人領域、および動領域ごとに、予めフレームレートが定められている。そして、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450に含まれるフレーム画像を、特徴の種類に応じて予め定められたフレームレートに従って所定の間隔で間引くことによって、特徴領域動画430、特徴領域動画440、および特徴領域動画450のフレームレートを低減する。また、画質低減部221は、背景領域動画420に含まれるフレーム画像を、背景領域動画のフレームレートとして予め定められたフレームレートに従って間引くことによって、背景領域動画420のフレームレートを低減する。   In addition, the image quality reduction unit 221 reduces the frame rates of the background area moving image 420, the feature area moving image 430, the feature area moving image 440, and the feature area moving image 450. For example, a frame rate is determined in advance for each type of feature, for example, for each face area, human area, and moving area. Then, the image quality reduction unit 221 thins out the frame images included in the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450 at a predetermined interval according to a frame rate that is predetermined according to the type of the feature. The frame rates of the feature area animation 430, the feature area animation 440, and the feature area animation 450 are reduced. In addition, the image quality reduction unit 221 reduces the frame rate of the background area moving image 420 by thinning out the frame images included in the background area moving image 420 according to a frame rate predetermined as the frame rate of the background area moving image.

なお、画質低減部221aは、背景領域動画420の画質を低減する。また、画質低減部221b、画質低減部221c、および画質低減部221dは、それぞれ特徴領域動画430、特徴領域動画440、および特徴領域動画450の画質を低減する。   The image quality reduction unit 221a reduces the image quality of the background area moving image 420. In addition, the image quality reduction unit 221b, the image quality reduction unit 221c, and the image quality reduction unit 221d reduce the image quality of the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450, respectively.

そして、背景領域動画符号化部231a、および領域動画符号化部231b−dは、画質低減部221により画質が低減された動画をそれぞれ符号化する(405a、405b、405c、405d)。例えば、背景領域動画符号化部231a、および領域動画符号化部231b−dは、画質低減部221により画質が低減された動画をそれぞれMPEG符号化する。   Then, the background area moving image encoding unit 231a and the area moving image encoding unit 231b-d encode the moving images whose image quality has been reduced by the image quality reducing unit 221 (405a, 405b, 405c, and 405d). For example, the background area moving image encoding unit 231a and the area moving image encoding unit 231b-d each encode the moving image whose image quality has been reduced by the image quality reducing unit 221.

例えば、背景領域動画符号化部231aは、背景領域動画用の符号化設定で背景領域動画をMPEG符号化する。特徴領域動画符号化部231b、特徴領域動画符号化部231c、および特徴領域動画符号化部231dは、それぞれ動領域、人領域、および顔領域のそれぞれの特徴領域動画用の符号化設定で、特徴領域動画をそれぞれMPEG符号化する。なお、符号化設定は、例えばMPEG符号化における量子化テーブルを設定することを含む。なお、符号化設定については図5に関連して説明する。   For example, the background area moving image encoding unit 231a performs MPEG encoding on the background area moving image with the encoding setting for the background area moving image. The feature region moving image encoding unit 231b, the feature region moving image encoding unit 231c, and the feature region moving image encoding unit 231d are encoding settings for the feature region moving image of the moving region, the human region, and the face region, respectively. Each area moving image is MPEG-encoded. Note that the coding setting includes setting a quantization table in MPEG coding, for example. The encoding setting will be described with reference to FIG.

そして、対応付け処理部206は、背景領域動画符号化部231aおよび特徴領域動画符号化部231b−dが符号化することによって得られた背景領域動画データおよび複数の特徴領域動画データにタグ情報を付帯する等して関連付けして、出力部207が表示装置180に出力する(406)。このとき、対応付け処理部206は、背景領域動画および複数の特徴領域動画のそれぞれが含むフレーム画像の表示タイミングを示す情報を含むタイミング情報(例えば、タイムスタンプ)を、タグ情報等に付加してよい。また、対応付け処理部206は、複数の特徴領域の範囲をそれぞれ示す情報を含む特徴領域情報、背景領域動画および複数の特徴領域動画の元となった撮像動画データを撮像した撮像装置100を識別する識別情報等を、タグ情報等に付加してよい。   Then, the association processing unit 206 adds tag information to the background region moving image data and the plurality of feature region moving image data obtained by encoding by the background region moving image encoding unit 231a and the feature region moving image encoding unit 231b-d. The output unit 207 outputs the information to the display device 180 by associating it with an accessory (406). At this time, the association processing unit 206 adds timing information (for example, time stamp) including information indicating the display timing of the frame image included in each of the background area moving image and the plurality of characteristic area moving images to the tag information or the like. Good. In addition, the association processing unit 206 identifies the imaging device 100 that captured the feature region information including information indicating the ranges of the plurality of feature regions, the background region movie, and the captured movie data that is the basis of the plurality of feature region movies. Identification information or the like to be added may be added to tag information or the like.

以上説明したように、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、被写体の種類が異なる複数の特徴領域を検出する。そして、圧縮部240は、複数の特徴領域動画を、それぞれの被写体の種類に応じた強度で圧縮する。なお、本実施形態では、被写体の種類の一例として人物の顔および人体領域について説明したが、他の例では、自動車のナンバープレートおよびナンバープレート以外の車体を被写体の種類としてよい。   As described above, the feature region detection unit 203 detects a plurality of feature regions having different types of subjects from a plurality of moving image constituent images included in a moving image that is an image. Then, the compression unit 240 compresses the plurality of feature area moving images with an intensity corresponding to the type of each subject. In the present embodiment, a human face and a human body region have been described as examples of the types of subjects. However, in other examples, vehicle license plates and vehicle bodies other than license plates may be used as the types of subjects.

また、人物の正面の顔および横顔を被写体の種類としてもよい。また、静止している被写体および動いている被写体を被写体の種類としてもよい。また、特徴領域検出部203は、撮像装置100から被写体までの距離が異なる複数の被写体を含む領域を、特徴の種類が異なる複数の特徴領域として検出してもよい。   Further, the front face and the side face of the person may be the subject type. Further, a stationary subject and a moving subject may be used as the subject type. Further, the feature region detection unit 203 may detect a region including a plurality of subjects having different distances from the imaging device 100 to the subject as a plurality of feature regions having different types of features.

なお、圧縮部240は、特徴の種類の一例である、動き領域、人体、人物の横顔、人物の正面の顔がに大きい圧縮強度で圧縮してよい。なお、本実施形態では、画像処理システム10を監視システムとして利用する利用目的を鑑みて、人物の顔を含む領域をROIとして検出して、検出したROIをROI以外の領域より高画質にするとした。しかしながら、画像処理システム10を、例えば街角の風景を撮像するシステムとして利用することもできる。このような形態で画像処理システム10を利用する場合には、個人情報を保護することを目的として、人物の顔を含む領域をROIとして検出して、検出したROIをROI以外の領域より低画質にしてもよい。例えば圧縮部240は、人物の正面の顔、人物の横顔、人体、動き領域、背景領域の順に大きい圧縮強度で、特徴領域動画および背景領域動画を圧縮してよい。   Note that the compression unit 240 may compress the motion region, the human body, the side profile of the person, and the face in front of the person with high compression strength, which are examples of feature types. In the present embodiment, in consideration of the purpose of using the image processing system 10 as a monitoring system, an area including a human face is detected as an ROI, and the detected ROI has a higher image quality than an area other than the ROI. . However, the image processing system 10 can also be used as, for example, a system that captures landscapes of street corners. When the image processing system 10 is used in such a form, for the purpose of protecting personal information, an area including a human face is detected as an ROI, and the detected ROI has a lower image quality than an area other than the ROI. It may be. For example, the compressing unit 240 may compress the feature region moving image and the background region moving image with a large compression strength in the order of the face in front of the person, the profile of the person, the human body, the motion region, and the background region.

その他にも、特徴領域検出部203は、複数のフレーム画像から、被写体の速度が異なる複数の特徴領域を検出してもよい。この場合、画質低減部221は、特徴領域動画を、被検体の速度がより速いほど、より高いフレームレートの動画に変換してもよい。このように、圧縮部240は、複数の特徴領域動画を、それぞれの被写体の速度に応じた強度で圧縮してよい。   In addition, the feature region detection unit 203 may detect a plurality of feature regions having different subject velocities from a plurality of frame images. In this case, the image quality reduction unit 221 may convert the feature area moving image into a moving image having a higher frame rate as the subject speed increases. As described above, the compression unit 240 may compress a plurality of feature region moving images with an intensity corresponding to the speed of each subject.

以上説明したように、画像処理装置120は、特徴領域動画に含まれるフレーム画像におけるROI以外の領域を固定値化して、視野角が同じ複数の特徴領域動画および背景領域動画を生成する。このため、画像処理装置120によると、特別に設計された符号化器を使用することなく、汎用の符号化器を使用して特徴領域動画を高い圧縮率で圧縮することができる場合がある。例えば、MPEG符号化等のように動きベクトルを用いて特徴領域動画を符号化すると、固定値化した領域中のマクロブロックについては画素値の差分値が0になる場合が多くなる。したがって、このような固定値化により、圧縮率を高く維持しながら画像処理装置120の製造コストを低減することができる場合がある。   As described above, the image processing apparatus 120 generates a plurality of feature region moving images and background region moving images having the same viewing angle by fixing a region other than the ROI in the frame image included in the feature region moving image. For this reason, according to the image processing apparatus 120, the feature region moving image may be compressed at a high compression rate using a general-purpose encoder without using a specially designed encoder. For example, when a feature area moving image is encoded using a motion vector as in MPEG encoding, the difference value between pixel values is often 0 for a macroblock in a fixed value area. Therefore, such fixed values may reduce the manufacturing cost of the image processing apparatus 120 while maintaining a high compression rate.

以上の説明では、圧縮部240は、ROI領域以外の領域が固定値化されたフレーム画像を含む特徴領域動画を圧縮することとした。なお、圧縮部240は、特徴領域動画に含まれるフレーム画像におけるROI内の画像を切り出して圧縮して特徴領域動画として出力してもよい。   In the above description, the compression unit 240 compresses the feature region moving image including the frame image in which the region other than the ROI region is fixed. Note that the compression unit 240 may cut out and compress an image in the ROI in the frame image included in the feature area moving image and output it as a feature area moving image.

なお、特徴領域検出部203がROIを検出していない場合には、出力部207は、圧縮部240aが出力する背景領域動画データを画像処理装置170に出力する。この場合、画像生成部205は特徴領域動画430、特徴領域動画440、および特徴領域動画450を生成しなくてよい。そして、画像生成部205は、特徴領域検出部203がROIを検出したことを条件として、特徴領域動画430、特徴領域動画440、および特徴領域動画450を生成して、出力部207は上記の処理によって生成された複数の特徴領域動画データおよび背景領域動画データを画像処理装置170に出力する。この間、圧縮部240aは、背景領域動画420を圧縮すべく予め定められた背景領域用圧縮率で背景領域動画420を圧縮しつづけてよい。   When the feature area detection unit 203 has not detected the ROI, the output unit 207 outputs the background area moving image data output from the compression unit 240a to the image processing apparatus 170. In this case, the image generation unit 205 does not have to generate the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450. Then, the image generation unit 205 generates the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450 on condition that the feature region detection unit 203 detects the ROI, and the output unit 207 performs the above processing. The plurality of characteristic area moving image data and background area moving image data generated by the above is output to the image processing apparatus 170. During this time, the compression unit 240a may continue to compress the background area moving image 420 at a predetermined compression ratio for the background area in order to compress the background area moving image 420.

その他にも、特徴領域検出部203がROIを検出していない間には、圧縮部240は、背景領域用圧縮率より低く、かつ、特徴領域動画を圧縮する圧縮率より高い、予め定められたROI非検出期間圧縮率で、背景領域動画を圧縮してよい。そして、圧縮部240は、特徴領域検出部203がROIを検出したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。このとき、圧縮部240は、特徴領域動画をROI非検出期間圧縮率より低い圧縮率で圧縮してよい。   In addition, while the feature region detection unit 203 does not detect the ROI, the compression unit 240 is set in advance to be lower than the compression rate for the background region and higher than the compression rate for compressing the feature region moving image. The background area moving image may be compressed at the ROI non-detection period compression rate. Then, the compression unit 240 may compress the background region moving image with the background region compression rate on condition that the feature region detection unit 203 detects the ROI. At this time, the compression unit 240 may compress the feature region moving image at a compression rate lower than the ROI non-detection period compression rate.

なお、圧縮部240は、特徴領域検出部203がROIを検出してから予め定められた期間の背景領域動画をROI非検出期間圧縮率で圧縮するとともに、予め定められた期間より長い期間が経過したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。こうすると、本来ROIとして検出されるべき領域がROIとして検出されなかった場合でも、ある程度の画質の背景領域動画を提供することができる場合がある。また、圧縮部240は、特徴領域検出部203が検出した複数のフレーム画像におけるROI領域の位置から推定される他のフレーム画像におけるROI領域を含む領域の画質を、他の領域の画質より高い画質にすべく、圧縮率を領域ごとに異ならせてもよい。   The compression unit 240 compresses the background region moving image of a predetermined period after the ROI is detected by the feature region detection unit 203 at the ROI non-detection period compression rate, and a period longer than the predetermined period elapses. As a condition, the background area moving image may be compressed at the compression ratio for the background area. In this case, even when the region that should originally be detected as ROI is not detected as ROI, a background region moving image having a certain level of image quality may be provided. The compression unit 240 also sets the image quality of the region including the ROI region in the other frame image estimated from the position of the ROI region in the plurality of frame images detected by the feature region detection unit 203 to be higher than the image quality of the other region. Therefore, the compression rate may be different for each region.

図5は、複数の特徴領域動画および背景領域動画の画質の一例を示す。ここでは、説明を簡単にすることを目的として、圧縮動画取得部201が取得した撮像動画データのフレームレートが16fpsであり、当該撮像動画データに含まれるフレーム画像の解像度が72dpiであるとする。   FIG. 5 shows an example of the image quality of a plurality of feature area videos and background area videos. Here, for the purpose of simplifying the description, it is assumed that the frame rate of the captured moving image data acquired by the compressed moving image acquisition unit 201 is 16 fps, and the resolution of the frame image included in the captured moving image data is 72 dpi.

撮像動画に含まれるフレーム画像410の解像度に対する画質低減後の背景領域動画420に含まれるフレーム画像の解像度の比率を示す解像度比率は予め1/8と定められている。画質低減部221は、画像生成部205によって撮像動画が複製されることによって生成された画質低減前の背景領域動画420に含まれるフレーム画像に対して1/8の解像度である9dpiのフレーム画像を、画質低減前の背景領域動画420に含まれるフレーム画像の画素を間引くことによって生成する。また、撮像動画のフレームレートに対する画質低減後の背景領域動画420のフレームレートの比率を示すフレームレート比率は予め1/8と定められている。画質低減部221は、画質低減前の背景領域動画420のフレームレートの1/8のフレームレートである2fpsのフレームレートの背景領域動画420を、画質低減前の背景領域動画420に含まれるフレーム画像を間引くことによって生成する。   The resolution ratio indicating the ratio of the resolution of the frame image included in the background area moving image 420 after image quality reduction to the resolution of the frame image 410 included in the captured moving image is predetermined as 1/8. The image quality reduction unit 221 generates a 9 dpi frame image having a resolution of 1/8 with respect to the frame image included in the background area video 420 before image quality reduction generated by copying the captured video by the image generation unit 205. This is generated by thinning out the pixels of the frame image included in the background area moving image 420 before image quality reduction. In addition, the frame rate ratio indicating the ratio of the frame rate of the background area moving image 420 after image quality reduction to the frame rate of the captured moving image is set to 1/8 in advance. The image quality reduction unit 221 converts the background area video 420 having a frame rate of 2 fps, which is a frame rate of 1/8 of the frame rate of the background area video 420 before the image quality reduction, into a frame image included in the background area video 420 before the image quality reduction. Generate by thinning out.

同様に、複数の特徴領域動画のそれぞれに対しても、解像度比率およびフレームレート比率が定められている。例えば、特徴領域動画430については解像度比率およびフレームレート比率は1/4が定められており、特徴領域動画440については解像度比率およびフレームレート比率として1/2が定められており、特徴領域動画450については解像度比率およびフレームレート比率として1/1が定められている。これにより、画質低減部221bは、フレームレートが4fps、フレーム画像の解像度が18dpiの特徴領域動画430を生成する。また、画質低減部221cは、フレームレートが8fps、フレーム画像の解像度が36dpiの特徴領域動画440を生成する。また、画質低減部221dは、フレームレートが16fps、フレーム画像の解像度が72dpiの特徴領域動画450を生成する。   Similarly, a resolution ratio and a frame rate ratio are determined for each of the plurality of characteristic area moving images. For example, the resolution ratio and the frame rate ratio are set to 1/4 for the feature area moving image 430, and the resolution ratio and the frame rate ratio are set to 1/2 for the feature area moving image 440. Is defined as 1/1 as the resolution ratio and the frame rate ratio. As a result, the image quality reduction unit 221b generates a feature region moving image 430 having a frame rate of 4 fps and a frame image resolution of 18 dpi. In addition, the image quality reduction unit 221c generates a feature region moving image 440 having a frame rate of 8 fps and a frame image resolution of 36 dpi. In addition, the image quality reduction unit 221d generates a feature region moving image 450 having a frame rate of 16 fps and a frame image resolution of 72 dpi.

なお、上記の例では、画質低減部221が複数の特徴領域動画および背景領域動画に含まれるフレーム画像の画素を間引くことによってフレーム画像の画質を低減する場合を例に挙げて説明した。その他にも、画質低減部221は、例えばローパスフィルタ等の、所定の周波数領域を通過するフィルタを用いてフレーム画像の画質を低減してもよい。この場合、フィルタが通過する周波数帯域および通過する度合いを示す強度は、特徴の種類ごと、例えば背景領域、動領域、人領域、および顔領域ごとに予め定められてよい。   In the above example, the case where the image quality reduction unit 221 reduces the image quality of the frame image by thinning out the pixels of the frame image included in the plurality of feature region moving images and the background region moving image has been described as an example. In addition, the image quality reduction unit 221 may reduce the image quality of the frame image using a filter that passes through a predetermined frequency region, such as a low-pass filter. In this case, the frequency band through which the filter passes and the intensity indicating the degree of passage may be determined in advance for each type of feature, for example, for each of the background region, the moving region, the human region, and the face region.

なお、画質低減部221による画質低減に加えて、又は画質低減部221による画質低減に替えて、符号化部231がフレーム画像の画質を低減してもよい。例えば、符号化部231が、MPEG符号化における量子化テーブルの値を大きくすることによって、画質を低減することができる。量子化テーブルの値の大きさは、特徴の種類ごとに予め定められてよい。例えば、背景領域動画符号化部231aおよび複数の特徴領域動画符号化部231b−dのそれぞれが、予め設定された値を持つ量子化テーブルを用いて符号化してよい。また、量子化テーブルにおける周波数成分ごとの値が特徴の種類ごとに予め定められていてよい。   In addition to the image quality reduction by the image quality reduction unit 221, or in place of the image quality reduction by the image quality reduction unit 221, the encoding unit 231 may reduce the image quality of the frame image. For example, the encoding unit 231 can reduce the image quality by increasing the value of the quantization table in MPEG encoding. The magnitude of the value of the quantization table may be determined in advance for each type of feature. For example, each of the background region moving image encoding unit 231a and the plurality of feature region moving image encoding units 231b-d may perform encoding using a quantization table having a preset value. In addition, a value for each frequency component in the quantization table may be determined in advance for each type of feature.

また、画質低減部221はさらに、背景領域動画に含まれる複数のフレーム画像を平均化してもよい。これによれば、移動物体を示すオブジェクトがフレーム画像に含まれている場合に、移動物体のオブジェクトが平均化されたフレーム画像が得られる。そして、このような複数のフレーム画像を連続表示させると、移動物体の動きが閲覧者の目に滑らかに映る場合がある。   Further, the image quality reduction unit 221 may further average a plurality of frame images included in the background area moving image. According to this, when an object indicating a moving object is included in the frame image, a frame image in which the objects of the moving object are averaged is obtained. When such a plurality of frame images are continuously displayed, the movement of the moving object may appear smoothly in the viewer's eyes.

なお、以上の説明では、画像生成部205が撮像動画を複製してから、複製して得られた複数の特徴領域動画および背景領域動画に含まれるフレーム画像を間引いたり、画素を間引いたりすることによって、複数の特徴領域動画および背景領域動画を圧縮する形態について説明した。その他にも、画像生成部205は、撮像動画に含まれる複数のフレーム画像をフレームレート比率に従って間引いて選択することによって、フレームレートが低減された複数の特徴領域動画および背景領域動画を生成してもよい。その後に、固定値化部211aが固定値化して、画質低減部221が解像度を低減することによって、複数の特徴領域動画および背景領域動画の画質を低減してよい。   In the above description, after the image generation unit 205 replicates the captured moving image, frame images included in a plurality of feature region moving images and background region moving images obtained by copying are thinned out or pixels are thinned out. In the above, the mode of compressing a plurality of feature region moving images and background region moving images has been described. In addition, the image generation unit 205 generates a plurality of feature area videos and background area videos with a reduced frame rate by thinning out and selecting a plurality of frame images included in the captured video according to the frame rate ratio. Also good. Then, the image quality of the plurality of feature area moving images and the background area moving images may be reduced by the fixed value converting unit 211a fixing the value and the image quality reducing unit 221 reducing the resolution.

図6は、画像処理装置170の処理フローの一例を示す。圧縮動画取得部301は、画像処理装置120から、対応づけされた複数の特徴領域動画データおよび背景領域動画データを取得して、付帯されたタグ情報によりタイミング情報、撮像装置100を識別する情報等を取得する(601)。そして、圧縮動画伸張部311は、それぞれ複数の特徴領域動画データおよび背景領域動画データを復号することにより、背景レイヤーを示す背景領域動画610を生成する。(602a)同時に、圧縮動画伸張部311は、動領域レイヤーを示す特徴領域動画620、人領域レイヤーを示す特徴領域動画630、および顔領域レイヤーを示す特徴領域動画640を生成する(602b、602c、および602d)。   FIG. 6 shows an example of the processing flow of the image processing apparatus 170. The compressed moving image acquisition unit 301 acquires a plurality of associated feature area moving image data and background area moving image data from the image processing device 120, and identifies timing information, information for identifying the imaging device 100, and the like using the attached tag information. Is acquired (601). Then, the compressed moving image decompression unit 311 generates a background region moving image 610 indicating a background layer by decoding a plurality of feature region moving image data and background region moving image data, respectively. (602a) At the same time, the compressed video decompression unit 311 generates a feature area video 620 indicating a moving area layer, a feature area video 630 indicating a human area layer, and a feature area video 640 indicating a face area layer (602b, 602c, And 602d).

合成部303は、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640に含まれるフレーム画像を合成する(603)。このとき、合成部303は、背景領域動画および複数の特徴領域動画のそれぞれに含まれるフレーム画像の解像度に応じて、最大の解像度を有するフレーム画像と同じ位置の被写体が重ね合うようフレーム画像を拡大して、拡大したフレーム画像を重ね合わせて合成フレーム画像を生成する。   The synthesizing unit 303 synthesizes frame images included in the background area moving image 610, the characteristic area moving image 620, the characteristic area moving image 630, and the characteristic area moving image 640 (603). At this time, the synthesis unit 303 enlarges the frame image so that the subject at the same position as the frame image having the maximum resolution overlaps according to the resolution of the frame image included in each of the background area moving image and the plurality of characteristic area moving images. Then, the enlarged frame images are superimposed to generate a composite frame image.

このとき、合成部303は、特徴領域動画620、特徴領域動画630、および特徴領域動画640に含まれるフレーム画像における特徴領域の画像を切り出して、背景領域動画610に含まれるフレーム画像に上書きすることによって合成フレーム画像を生成する。また、合成部303は、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640のフレームレートが異なる場合には、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640の最新のフレーム画像を合成する。   At this time, the synthesizing unit 303 cuts out the feature region image in the frame image included in the feature region moving image 620, the feature region moving image 630, and the feature region moving image 640, and overwrites the frame image included in the background region moving image 610. To generate a composite frame image. In addition, when the frame rates of the background area moving image 610, the feature area moving image 620, the feature area moving image 630, and the feature area moving image 640 are different, the synthesizing unit 303 performs the background area moving image 610, the feature area moving image 620, and the feature area moving image 630. , And the latest frame image of the feature region moving image 640 are synthesized.

これにより、合成部303は、合成フレーム画像を生成する。合成部303は、複数の合成フレーム画像を含む合成動画650を生成する。そして、出力部304は、圧縮動画取得部301が取得したタグ情報等に基づいて、合成動画を表示させる表示装置180を選択して、選択した表示装置180に合成動画を供給する(604)。   Thereby, the composition unit 303 generates a composite frame image. The combining unit 303 generates a combined moving image 650 including a plurality of combined frame images. Then, the output unit 304 selects the display device 180 that displays the composite video based on the tag information acquired by the compressed video acquisition unit 301 and supplies the composite video to the selected display device 180 (604).

図7は、複数の動画構成画像において特徴領域を特定する方法の一例を示す。図7において、上段に示す動画700は、特徴領域予測部271によって非検出画像における予測領域が特定された状態の動画を示す。一方、下段に示す動画700は、特徴領域検出部203によって非検出画像における特徴領域が検出された状態の動画を示す。また、動画700は、連続している動画構成画像701−705を含んでいる。   FIG. 7 shows an example of a method for specifying a feature region in a plurality of moving image constituent images. In FIG. 7, a moving image 700 shown in the upper part shows a moving image in a state where the prediction region in the non-detected image is specified by the feature region prediction unit 271. On the other hand, the moving image 700 shown in the lower row shows a moving image in a state where the feature region in the non-detected image is detected by the feature region detection unit 203. The moving image 700 includes continuous moving image constituent images 701 to 705.

動画700に含まれる動画構成画像のうち、動画構成画像701および動画構成画像702は、特徴領域検出部203によって、所定閾値を用いて、特徴領域が検出された検出画像を示す。また、動画700に含まれる動画構成画像のうち、動画構成画像703、動画構成画像704、および動画構成画像705は、特徴領域検出部203によって、所定閾値を用いて、特徴領域が検出されなかった検出画像を示す。   Of the moving image constituent images included in the moving image 700, the moving image constituent image 701 and the moving image constituent image 702 indicate detection images in which the feature region is detected by the feature region detection unit 203 using a predetermined threshold. Of the moving image constituent images included in the moving image 700, the moving image constituent image 703, the moving image constituent image 704, and the moving image constituent image 705 were not detected by the feature region detection unit 203 using a predetermined threshold. A detection image is shown.

図7の上段に示すように、特徴領域検出部203は、所定閾値を用いて、動画構成画像701から特徴領域701aを検出しており、動画構成画像702から特徴領域702aを検出している。一方、特徴領域検出部203は、所定閾値を用いて、動画構成画像703、動画構成画像704、および動画構成画像705からは特徴領域を検出していない。そのかわり、特徴領域予測部271が、動画構成画像703において予測領域703aを特定している。また、特徴領域予測部271が、動画構成画像704において予測領域704aを特定している。そして、特徴領域予測部271が、動画構成画像705において予測領域705aを特定している。   As shown in the upper part of FIG. 7, the feature region detection unit 203 detects the feature region 701a from the moving image composition image 701 and detects the feature region 702a from the movie composition image 702 using a predetermined threshold. On the other hand, the feature region detection unit 203 does not detect a feature region from the moving image composition image 703, the moving image composition image 704, and the moving image composition image 705 using a predetermined threshold. Instead, the feature region prediction unit 271 specifies the prediction region 703a in the moving image composition image 703. Also, the feature region prediction unit 271 specifies the prediction region 704a in the moving image composition image 704. Then, the feature region prediction unit 271 specifies the prediction region 705a in the moving image composition image 705.

その後、特徴領域検出制御部272に制御された特徴領域検出部203が、所定閾値より低い閾値を用いて、動画構成画像703における予測領域703aから特徴領域703bを検出している。同様に、特徴領域検出部203が、所定閾値より低い閾値を用いて、動画構成画像704における予測領域704aから特徴領域704bを検出している。同様に、特徴領域検出部203が、所定閾値より低い閾値を用いて、動画構成画像705における予測領域705aから特徴領域705bを検出している。これにより、特徴領域検出部203は、図7の下段に示すように、動画構成画像701−705のそれぞれにおける特徴領域を特定したこととなる。   Thereafter, the feature region detection unit 203 controlled by the feature region detection control unit 272 detects the feature region 703b from the prediction region 703a in the moving image composition image 703 using a threshold value lower than a predetermined threshold value. Similarly, the feature region detection unit 203 detects the feature region 704b from the prediction region 704a in the moving image composition image 704 using a threshold value lower than the predetermined threshold value. Similarly, the feature region detection unit 203 detects the feature region 705b from the prediction region 705a in the moving image composition image 705 using a threshold value lower than the predetermined threshold value. As a result, the feature region detection unit 203 identifies the feature region in each of the moving image constituent images 701 to 705 as shown in the lower part of FIG.

特徴領域予測部271は、特徴領域701aの位置および特徴領域702aの位置に基づいて、動画700の動きベクトルを用いて、予測領域703a、予測領域704a、および予測領域705aを特定している。なお、特徴領域予測部271は、特徴領域701aの位置および特徴領域702aの位置に基づいて、線形補間により、予測領域703a、予測領域704a、および予測領域705aを特定してもよい。   The feature region prediction unit 271 specifies the prediction region 703a, the prediction region 704a, and the prediction region 705a using the motion vector of the moving image 700 based on the position of the feature region 701a and the position of the feature region 702a. Note that the feature region prediction unit 271 may specify the prediction region 703a, the prediction region 704a, and the prediction region 705a by linear interpolation based on the position of the feature region 701a and the position of the feature region 702a.

このように、本実施形態の画像処理装置120は、検出画像に対しては、特徴領域検出部203が、所定閾値を用いて、特徴領域を検出している。一方、本実施形態の画像処理装置120は、非検出画像に対しては、特徴領域予測部271が予測領域を特定した後に、特徴領域検出部203が、所定閾値よりも低い閾値を用いて、予測領域から特徴領域を検出している。これにより、本実施形態の画像処理装置120を、実際の監視システムに適用した場合には、非検出画像において予測領域から特徴領域を検出しやすくなることから、特徴領域検出部203が特徴領域を検出するときの検出精度の高めることができる場合がある。また、非検出画像において特徴領域の検出対象とする領域を絞り込むことができることから、特徴領域検出部203が特徴領域を検出するときの処理時間を短縮することができる場合がある。   As described above, in the image processing apparatus 120 according to the present embodiment, the feature region detection unit 203 detects a feature region using a predetermined threshold for a detected image. On the other hand, for the non-detected image, the image processing apparatus 120 according to the present embodiment uses the threshold lower than the predetermined threshold by the feature area detection unit 203 after the feature area prediction unit 271 specifies the prediction area. A feature region is detected from the prediction region. As a result, when the image processing apparatus 120 of the present embodiment is applied to an actual monitoring system, it is easy to detect a feature region from a prediction region in a non-detected image. In some cases, the accuracy of detection can be improved. In addition, since it is possible to narrow down the target area of the feature area in the non-detected image, the processing time when the feature area detection unit 203 detects the feature area may be shortened.

図8は、包含領域以外の領域を固定値化する方法の一例を示す。図8において、動画800は、包含領域特定部261によって包含領域が特定され、固定値化部211によって包含領域以外の領域が固定値化された動画を示す。また、動画800は、連続する動画構成画像801−805を含んでいる。   FIG. 8 shows an example of a method for fixing areas other than the inclusion area. In FIG. 8, a moving image 800 indicates a moving image in which an inclusion region is specified by the inclusion region specifying unit 261 and a region other than the inclusion region is fixed by the fixed value conversion unit 211. The moving image 800 includes continuous moving image constituent images 801-805.

動画構成画像801−805のそれぞれにおいて、包含領域810は、包含領域特定部261によって特定された、動画構成画像801−805のそれぞれの特徴領域を包含する領域を示す。動画構成画像801−805のそれぞれの特徴領域のうち、動画構成画像801の特徴領域および動画構成画像802の特徴領域は、特徴領域検出部203により、所定閾値を用いて検出されている。また、動画構成画像803の特徴領域、動画構成画像804の特徴領域、および動画構成画像805の特徴領域は、特徴領域検出部203は、特徴領域検出部203により、所定閾値よりも低い閾値を用いて検出されている。   In each of the moving image composition images 801 to 805, the inclusion area 810 indicates an area that includes each feature area of the moving image composition images 801 to 805 specified by the inclusion area specifying unit 261. Of the feature regions of the moving image composition images 801 to 805, the feature region of the moving image composition image 801 and the feature region of the moving image composition image 802 are detected by the feature region detection unit 203 using a predetermined threshold. In addition, the feature region detection unit 203 uses a threshold value lower than a predetermined threshold value by the feature region detection unit 203 for the feature region of the movie composition image 803, the feature region of the movie composition image 804, and the feature region of the movie composition image 805. Has been detected.

また、動画構成画像801−805のそれぞれにおいて、包含領域810以外の領域は、固定値化部211によって、画素値が「0」に固定値化されている。このように、本実施形態の画像処理装置120は、複数の動画構成画像の特徴領域を包含する包含領域を特定した後に、包含領域以外の領域を固定値化する。これにより、本実施形態の画像処理装置120を、実際の監視システムに適用した場合には、動画構成画像間における包含領域以外の領域における画素値の差分量を少なくすることができ、結果的に、動画構成画像間における差分データの圧縮率を高めることができる場合がある。   Further, in each of the moving image constituent images 801 to 805, the pixel value of the region other than the inclusion region 810 is fixed to “0” by the fixed value converting unit 211. As described above, the image processing apparatus 120 according to the present embodiment specifies an inclusion region that includes the feature regions of a plurality of moving image constituent images, and then fixes a region other than the inclusion region to a fixed value. As a result, when the image processing apparatus 120 of the present embodiment is applied to an actual monitoring system, it is possible to reduce the amount of difference in pixel values in regions other than the inclusion region between moving image constituent images. In some cases, the compression rate of difference data between moving image constituent images can be increased.

図9は、画像処理装置120および画像処理装置170のハードウェア構成の一例を示す。画像処理装置120および画像処理装置170は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、および表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、およびCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、および入出力チップ1570を有する。   FIG. 9 shows an example of the hardware configuration of the image processing device 120 and the image processing device 170. The image processing device 120 and the image processing device 170 include a CPU peripheral unit, an input / output unit, and a legacy input / output unit. The CPU peripheral section includes a CPU 1505, a RAM 1520, a graphic controller 1575, and a display device 1580 that are connected to each other by a host controller 1582. The input / output unit includes a communication interface 1530, a hard disk drive 1540, and a CD-ROM drive 1560 that are connected to the host controller 1582 by the input / output controller 1584. The legacy input / output unit includes a ROM 1510, a flexible disk drive 1550, and an input / output chip 1570 connected to the input / output controller 1584.

ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、およびグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、およびRAM1520に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。   The host controller 1582 connects the RAM 1520, the CPU 1505 that accesses the RAM 1520 at a high transfer rate, and the graphic controller 1575. The CPU 1505 operates based on programs stored in the ROM 1510 and the RAM 1520 to control each unit. The graphic controller 1575 acquires image data generated by the CPU 1505 or the like on a frame buffer provided in the RAM 1520 and displays the image data on the display device 1580. Alternatively, the graphic controller 1575 may include a frame buffer that stores image data generated by the CPU 1505 or the like.

入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、およびデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、および通信インターフェイス1530に提供する。   The input / output controller 1584 connects the host controller 1582 to the hard disk drive 1540, the communication interface 1530, and the CD-ROM drive 1560, which are relatively high-speed input / output devices. The hard disk drive 1540 stores programs and data used by the CPU 1505. The communication interface 1530 is connected to the network communication device 1598 to transmit / receive programs or data. The CD-ROM drive 1560 reads a program or data from the CD-ROM 1595 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520.

入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、および入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、および通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。   The input / output controller 1584 is connected to the ROM 1510, the flexible disk drive 1550, and the relatively low-speed input / output device of the input / output chip 1570. The ROM 1510 stores a boot program that is executed when the radiation imaging system is started up, a program that depends on the hardware of the radiation imaging system, and the like. The flexible disk drive 1550 reads a program or data from the flexible disk 1590 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520. The input / output chip 1570 connects various input / output devices via the flexible disk drive 1550 or a parallel port, serial port, keyboard port, mouse port, and the like.

CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。   A program executed by the CPU 1505 is stored in a recording medium such as the flexible disk 1590, the CD-ROM 1595, or an IC card and provided by the user. The program stored in the recording medium may be compressed or uncompressed. The program is installed in the hard disk drive 1540 from the recording medium, read into the RAM 1520, and executed by the CPU 1505.

CPU1505により実行されるプログラムは、画像処理装置120を、図1から図9に関連して説明した圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、および画像生成部205として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置120を、図1から図9に関連して説明した固定値化部211、画質低減部221、符号化部231、対応付け処理部206、および出力部207として機能させる。   The program executed by the CPU 1505 includes the image processing device 120, the compressed moving image acquisition unit 201, the compressed moving image decompression unit 202, the feature region detection unit 203, the image division unit 204, and the image described with reference to FIGS. It functions as the generation unit 205. Further, the program executed by the CPU 1505 causes the image processing apparatus 120 to be connected to the fixed value conversion unit 211, the image quality reduction unit 221, the encoding unit 231, the association processing unit 206 described with reference to FIGS. It functions as the output unit 207.

また、CPU1505により実行されるプログラムは、画像処理装置120を、図1から図9に関連して説明した動きベクトル取得部251、特徴領域予測部271、特徴領域検出制御部272、および包含領域特定部261として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置170を、図1から図9に関連して説明した圧縮動画取得部301、対応付け解析部302、圧縮動画伸張部311、合成部303、および出力部304として機能させる。   Further, the program executed by the CPU 1505 causes the image processing apparatus 120 to execute the motion vector acquisition unit 251, the feature region prediction unit 271, the feature region detection control unit 272, and the inclusion region specification described with reference to FIGS. 1 to 9. The unit 261 functions. Further, the program executed by the CPU 1505 causes the image processing apparatus 170 to be connected to the compressed moving image acquisition unit 301, the association analysis unit 302, the compressed moving image decompression unit 311, the combining unit 303, which are described with reference to FIGS. It functions as the output unit 304.

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置120および画像処理装置170に提供してもよい。   The program shown above may be stored in an external storage medium. As the storage medium, in addition to the flexible disk 1590 and the CD-ROM 1595, an optical recording medium such as a DVD or PD, a magneto-optical recording medium such as an MD, a tape medium, a semiconductor memory such as an IC card, or the like can be used. Further, a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet is used as a recording medium, and is provided to the image processing device 120 and the image processing device 170 as a program via the network. Also good.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

一実施形態に係る画像処理システム10の一例を示す。1 shows an example of an image processing system 10 according to an embodiment. 画像処理装置120のブロック構成の一例を示す。An example of a block configuration of the image processing apparatus 120 is shown. 画像処理装置170のブロック構成の一例を示す。2 shows an example of a block configuration of an image processing apparatus 170. 画像処理装置120の処理フローの一例を示す。An example of the processing flow of the image processing apparatus 120 is shown. 複数の特徴領域動画および背景領域動画の画質の一例を示す。An example of the image quality of a plurality of feature area videos and background area videos is shown. 画像処理装置170の処理フローの一例を示す。An example of the processing flow of the image processing apparatus 170 is shown. 複数の動画構成画像において特徴領域を特定する方法の一例を示す。An example of a method for specifying a feature region in a plurality of moving image constituent images will be described. 包含領域以外の領域を固定値化する方法の一例を示す。An example of a method for fixing a region other than an inclusion region to a fixed value is shown. 画像処理装置120および画像処理装置170のハードウェア構成の一例を示す。An example of the hardware configuration of the image processing apparatus 120 and the image processing apparatus 170 is shown.

符号の説明Explanation of symbols

10 画像処理システム
100 撮像装置
110 通信ネットワーク
120 画像処理装置
130 人物
140 移動物体
150 監視対象空間
160 空間
170 画像処理装置
180 表示装置
201 圧縮動画取得部
202 圧縮動画伸張部
203 特徴領域検出部
204 画像分割部
205 画像生成部
206 対応付け処理部
207 出力部
210 固定値化ユニット
211 固定値化部
220 低減化ユニット
221 画質低減部
230 符号化ユニット
231 符号化部
231a 背景領域動画符号化部
231b−d 特徴領域動画符号化部
240 圧縮部
251 動きベクトル取得部
271 特徴領域予測部
272 特徴領域検出制御部
260 包含領域特定ユニット
261 包含領域特定部
301 圧縮動画取得部
302 対応付け解析部
310 圧縮動画伸張ユニット
311 圧縮動画伸張部
303 合成部
304 出力部
DESCRIPTION OF SYMBOLS 10 Image processing system 100 Imaging device 110 Communication network 120 Image processing device 130 Person 140 Moving object 150 Monitoring object space 160 Space 170 Image processing device 180 Display device 201 Compressed moving image acquisition unit 202 Compressed moving image decompression unit 203 Feature area detection unit 204 Image division Unit 205 image generation unit 206 association processing unit 207 output unit 210 fixed value unit 211 fixed value unit 220 reduction unit 221 image quality reduction unit 230 encoding unit 231 encoding unit 231a background area moving image encoding unit 231b-d Features Region moving image encoding unit 240 compression unit 251 motion vector acquisition unit 271 feature region prediction unit 272 feature region detection control unit 260 inclusion region specification unit 261 inclusion region specification unit 301 compressed movie acquisition unit 302 association analysis unit 310 compression movie expansion unit 3 11 Compressed video decompression unit 303 Compositing unit 304 Output unit

Claims (11)

動画に含まれる動画構成画像から、予め定められた被写体に関する形状または色のパターンに対する一致度が所定閾値より大きいオブジェクトを含む領域を、特徴領域として検出する特徴領域検出部と、
前記特徴領域が検出された前記動画構成画像である検出画像における前記特徴領域の位置に基づいて、前記検出画像の他の前記動画構成画像である非検出画像において前記特徴領域が検出されるべき領域である予測領域を特定する特徴領域予測部と、
前記非検出画像の前記予測領域から、前記所定閾値よりも低い閾値を用いて、前記特徴領域検出部に前記特徴領域を検出させる特徴領域検出制御部と
を備える画像処理装置。
A feature region detection unit for detecting, as a feature region, a region including an object having a degree of coincidence with a predetermined shape or color pattern relating to a predetermined subject from a moving image constituent image included in the moving image, greater than a predetermined threshold ;
Based on the position of the feature region in the detected image that is the moving image constituent image from which the feature region has been detected, the feature region should be detected in the non-detected image that is the moving image constituent image other than the detected image A feature region prediction unit that identifies a prediction region,
An image processing apparatus comprising: a feature region detection control unit that causes the feature region detection unit to detect the feature region from the prediction region of the non-detected image using a threshold value lower than the predetermined threshold value.
前記特徴領域検出制御部は、
前記非検出画像の前記予測領域から、前記所定閾値よりも低い閾値を用いて、前記特徴領域を前記特徴領域検出部に検出させ、
前記非検出画像の前記予測領域以外の領域から、前記所定閾値を用いて、前記特徴領域を前記特徴領域検出部に検出させる請求項1に記載の画像処理装置。
The feature region detection control unit
From the predicted region of the non-detected image, using the threshold lower than the predetermined threshold, the feature region detection unit is detected,
The image processing apparatus according to claim 1, wherein the feature region detection unit is detected from the region other than the prediction region of the non-detected image by using the predetermined threshold.
前記特徴領域予測部は、前記非検出画像より前にある複数の前記検出画像のそれぞれにおける前記特徴領域の位置に基づいて、前記非検出画像において前記予測領域を特定する請求項1に記載の画像処理装置。   The image according to claim 1, wherein the feature region prediction unit identifies the prediction region in the non-detected image based on a position of the feature region in each of the plurality of detected images preceding the non-detected image. Processing equipment. 前記特徴領域予測部は、前記非検出画像より前にある前記検出画像、及び前記非検出画像より後にある前記検出画像のそれぞれにおける前記特徴領域の位置に基づいて、前記非検出画像において前記予測領域を特定する請求項1に記載の画像処理装置。   The feature region predicting unit is configured to detect the prediction region in the non-detected image based on the position of the feature region in each of the detected image before the non-detected image and the detected image after the non-detected image. The image processing apparatus according to claim 1, wherein the image processing apparatus is specified. 前記動画における被写体の動きベクトルを取得する動きベクトル取得部をさらに備え、
前記特徴領域予測部は、前記検出画像における前記特徴領域の位置および前記動きベクトルに基づいて、前記非検出画像において前記予測領域を特定する請求項1に記載の画像処理装置。
A motion vector acquisition unit that acquires a motion vector of a subject in the video;
The image processing device according to claim 1, wherein the feature region prediction unit identifies the prediction region in the non-detected image based on the position of the feature region in the detected image and the motion vector.
前記動きベクトルを含む圧縮された動画を取得する圧縮動画取得部と、
前記圧縮動画取得部によって取得された前記動画を伸張する圧縮動画伸張部と
をさらに備え、
前記特徴領域検出部は、前記圧縮動画伸張部によって伸張された前記動画に含まれる前記動画構成画像から、前記所定閾値を用いて、前記特徴領域を検出し、
前記動きベクトル取得部は、前記圧縮動画取得部によって取得された前記動画に含まれる前記動きベクトルを取得し、
前記特徴領域予測部は、前記検出画像における前記特徴領域の位置および前記動きベクトルに基づいて、前記圧縮動画伸張部によって伸張された前記動画に含まれる前記非検出画像において前記予測領域を特定する請求項に記載の画像処理装置。
A compressed video acquisition unit that acquires a compressed video including the motion vector;
A compressed video expansion unit that expands the video acquired by the compressed video acquisition unit,
The feature region detection unit detects the feature region using the predetermined threshold value from the moving image constituent image included in the moving image expanded by the compressed moving image expansion unit,
The motion vector acquisition unit acquires the motion vector included in the video acquired by the compressed video acquisition unit;
The feature region prediction unit identifies the prediction region in the non-detected image included in the moving image expanded by the compressed moving image expansion unit based on the position of the feature region in the detected image and the motion vector. Item 6. The image processing apparatus according to Item 5 .
前記圧縮動画取得部は、前記動きベクトルを含むMPEG動画を取得し、
前記圧縮動画伸張部は、前記圧縮動画取得部によって取得された前記MPEG動画を伸張し、
前記特徴領域検出部は、前記圧縮動画伸張部によって伸張された前記MPEG動画に含まれる前記動画構成画像から、前記所定閾値を用いて、前記特徴領域を検出し、
前記動きベクトル取得部は、前記圧縮動画取得部によって取得された前記MPEG動画に含まれる前記動きベクトルを取得する請求項6に記載の画像処理装置。
The compressed video acquisition unit acquires an MPEG video including the motion vector,
The compressed video decompression unit decompresses the MPEG video acquired by the compressed video acquisition unit,
The feature region detection unit detects the feature region using the predetermined threshold value from the moving image constituent image included in the MPEG moving image expanded by the compressed moving image expansion unit,
The image processing apparatus according to claim 6, wherein the motion vector acquisition unit acquires the motion vector included in the MPEG video acquired by the compressed video acquisition unit.
前記検出画像および前記非検出画像のそれぞれを、前記特徴領域と、前記特徴領域以外の背景領域とに分割する画像分割部と、
前記特徴領域の画像と前記背景領域の画像とを、それぞれ異なる強度で符号化する符号化部と
をさらに備える請求項1に記載の画像処理装置。
An image dividing unit that divides each of the detected image and the non-detected image into the feature region and a background region other than the feature region;
The image processing apparatus according to claim 1, further comprising: an encoding unit that encodes the image of the feature region and the image of the background region with different intensities.
前記検出画像および前記非検出画像において特定された前記特徴領域を包含する包含領域を特定する包含領域特定部と、
前記検出画像および前記非検出画像のそれぞれにおける前記包含領域以外の領域の画素値を固定値化する固定値化部とをさらに備え、
前記符号化部は、前記包含領域の画像と、前記包含領域以外の領域の画像とを、それぞれ異なる強度で圧縮する請求項8に記載の画像処理装置。
An inclusion area specifying unit for specifying an inclusion area including the feature area specified in the detection image and the non-detection image;
A fixed value unit for fixing a pixel value of a region other than the inclusion region in each of the detected image and the non-detected image;
The image processing apparatus according to claim 8, wherein the encoding unit compresses the image of the inclusion region and the image of the region other than the inclusion region with different intensities.
動画に含まれる動画構成画像から、予め定められた被写体に関する形状または色のパターンに対する一致度が所定閾値より大きいオブジェクトを含む領域を、特徴領域として検出する特徴領域検出段階と、
前記特徴領域が検出された前記動画構成画像である検出画像における前記特徴領域の位置に基づいて、前記検出画像の他の前記動画構成画像である非検出画像において前記特徴領域が検出されるべき領域である予測領域を特定する特徴領域予測段階と、
前記非検出画像の前記予測領域から、前記所定閾値よりも低い閾値を用いて、前記特徴領域検出段階に前記特徴領域を検出させる特徴領域検出制御段階と
を備える画像処理方法。
A feature region detection stage for detecting, as a feature region, a region including an object having a degree of matching with a predetermined shape or color pattern related to a predetermined subject from a moving image constituent image included in the moving image, and
Based on the position of the feature region in the detected image that is the moving image constituent image from which the feature region has been detected, the feature region should be detected in the non-detected image that is the moving image constituent image other than the detected image A feature region prediction stage that identifies a prediction region that is
An image processing method comprising: a feature region detection control step of causing the feature region detection step to detect the feature region using a threshold value lower than the predetermined threshold value from the prediction region of the non-detected image.
画像を符号化する画像処理装置用のプログラムであって、前記画像処理装置を、
動画に含まれる動画構成画像から、予め定められた被写体に関する形状または色のパターンに対する一致度が所定閾値より大きいオブジェクトを含む領域を、特徴領域として検出する特徴領域検出部、
前記特徴領域が検出された前記動画構成画像である検出画像における前記特徴領域の位置に基づいて、前記検出画像の他の前記動画構成画像である非検出画像において前記特徴領域が検出されるべき領域である予測領域を特定する特徴領域予測部、
前記非検出画像の前記予測領域から、前記所定閾値よりも低い閾値を用いて、前記特徴領域検出部に前記特徴領域を検出させる特徴領域検出制御部
として機能させるプログラム。
A program for an image processing apparatus for encoding an image, wherein the image processing apparatus is
A feature region detection unit for detecting, as a feature region, a region including an object having a degree of coincidence with a shape or color pattern relating to a predetermined subject from a movie constituent image included in the movie, greater than a predetermined threshold ;
Based on the position of the feature region in the detected image that is the moving image constituent image from which the feature region has been detected, the feature region should be detected in the non-detected image that is the moving image constituent image other than the detected image A feature region prediction unit that identifies a prediction region,
A program that causes the feature region detection unit to function as a feature region detection control unit that detects the feature region from the prediction region of the non-detected image using a threshold value that is lower than the predetermined threshold value.
JP2007190151A 2007-07-20 2007-07-20 Image processing apparatus, image processing method, and program Active JP4895041B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007190151A JP4895041B2 (en) 2007-07-20 2007-07-20 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007190151A JP4895041B2 (en) 2007-07-20 2007-07-20 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2009027563A JP2009027563A (en) 2009-02-05
JP4895041B2 true JP4895041B2 (en) 2012-03-14

Family

ID=40398919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007190151A Active JP4895041B2 (en) 2007-07-20 2007-07-20 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP4895041B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5193931B2 (en) * 2009-04-20 2013-05-08 富士フイルム株式会社 Image processing apparatus, image processing method, and program
JP5684488B2 (en) * 2009-04-20 2015-03-11 富士フイルム株式会社 Image processing apparatus, image processing method, and program
JP5424779B2 (en) * 2009-08-24 2014-02-26 キヤノン株式会社 Imaging apparatus, imaging method, and program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69728649T2 (en) * 1996-01-29 2005-05-12 Matsushita Electric Industrial Co., Ltd., Kadoma METHOD FOR SUPPLEMENTING A DIGITAL IMAGE WITH PICTURE ELEMENTS
JPH1063855A (en) * 1996-08-13 1998-03-06 Sanyo Electric Co Ltd Method for extracting picture area
JP3506934B2 (en) * 1998-12-11 2004-03-15 株式会社メガチップス Monitoring device and monitoring system
JP4613453B2 (en) * 2001-07-03 2011-01-19 日本電気株式会社 Moving picture coding system, moving picture coding method and program
JP2003179930A (en) * 2001-12-10 2003-06-27 Nippon Hoso Kyokai <Nhk> Method and apparatus for extracting dynamic object
JP2004046647A (en) * 2002-07-12 2004-02-12 Univ Waseda Method and device for tracking moving object based on dynamic image data
JP4100146B2 (en) * 2002-11-27 2008-06-11 ソニー株式会社 Bi-directional communication system, video communication device
JP2005184062A (en) * 2003-12-16 2005-07-07 Fuji Photo Film Co Ltd Image data conversion apparatus and image data conversion program
JP2005323021A (en) * 2004-05-07 2005-11-17 Fuji Photo Film Co Ltd In-vehicle imaging system and imaging method
JP2005348438A (en) * 2005-07-29 2005-12-15 Sanyo Electric Co Ltd Image encoding method

Also Published As

Publication number Publication date
JP2009027563A (en) 2009-02-05

Similar Documents

Publication Publication Date Title
JP4895042B2 (en) Image compression apparatus, image compression method, and program
US8345983B2 (en) Image processing apparatus, image processing method, image processing system and computer readable medium
US8363953B2 (en) Image processing apparatus, image processing method and computer readable medium
US8462226B2 (en) Image processing system
JP4897600B2 (en) Image processing apparatus, image processing method, and program
JP2009048620A (en) Image processor, image processing method, and program
JP5082134B2 (en) Image processing apparatus, image processing method, and program
JP2012085350A (en) Image processing apparatus, image processing method, and program
JP4895041B2 (en) Image processing apparatus, image processing method, and program
JP2009049976A (en) Image processing apparatus, image processing method and program
US20110019741A1 (en) Image processing system
JP5531327B2 (en) Image processing apparatus, image processing method, and program
JP5256496B2 (en) Image processing system, image processing method, and program
JP5156982B2 (en) Image processing system, image processing method, and program
JP4817260B2 (en) Image processing apparatus, image processing method, and program
JP4873488B2 (en) Image processing apparatus, image processing method, and program
JP5062407B2 (en) Image processing apparatus, image processing method, and program
JP4817263B2 (en) Image processing apparatus, image processing method, and program
JP2011172291A (en) Image processing device, image processing method, and program
JP4895044B2 (en) Image processing apparatus, image processing method, and program
JP4817262B2 (en) Image processing apparatus, image processing method, and program
JP2009253581A (en) Image processing apparatus, image processing method, and program
JP4900602B2 (en) Image processing apparatus, image processing method, program, and image processing system
JP5082141B2 (en) Image processing system, image processing method, and program
JP4905723B2 (en) Image processing system, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111129

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111213

R150 Certificate of patent or registration of utility model

Ref document number: 4895041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250