WO2016167017A1 - 画像処理装置、画像処理方法、および画像処理システム - Google Patents

画像処理装置、画像処理方法、および画像処理システム Download PDF

Info

Publication number
WO2016167017A1
WO2016167017A1 PCT/JP2016/054553 JP2016054553W WO2016167017A1 WO 2016167017 A1 WO2016167017 A1 WO 2016167017A1 JP 2016054553 W JP2016054553 W JP 2016054553W WO 2016167017 A1 WO2016167017 A1 WO 2016167017A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
region
cutout
cropping
Prior art date
Application number
PCT/JP2016/054553
Other languages
English (en)
French (fr)
Inventor
綱島　宣浩
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201680019671.XA priority Critical patent/CN107431762B/zh
Priority to EP16779809.9A priority patent/EP3285477B1/en
Priority to JP2017512215A priority patent/JP6724904B2/ja
Priority to US15/559,979 priority patent/US11263769B2/en
Publication of WO2016167017A1 publication Critical patent/WO2016167017A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and an image processing system.
  • Patent Document 1 describes a technique in which a moving body is detected from an image photographed by a fisheye lens camera, and a circumscribed square area of each detected moving body is cut out. Further, in Patent Document 2, based on the detection position of the target point included in the target object in the captured image and the distance and direction from the target point to the cut-out position stored in advance, the clip region in the image is recorded. A technique for calculating the center position is described.
  • the position of the cutout area cut out from the original image is limited.
  • the position of the cutout region is set to the same position even if the object to be cutout is different.
  • the present disclosure proposes a new and improved image processing apparatus, image processing method, and image processing system capable of determining the position of a cutout region in a scene where an image is cut out from an original image with a higher degree of freedom. .
  • an object detection unit that detects an object from a first image and a region that is positioned in a different relative direction according to a detection condition with the detection position of the object in the first image as a reference.
  • An image processing apparatus includes a cutout region determination unit that determines a cutout region.
  • an area located in a different relative direction according to a detection condition can be detected based on detection of an object from the first image and a detection position of the object in the first image.
  • An image processing method comprising: determining as a cutout region.
  • the object detection unit that detects an object from the first image and the detection position of the object in the first image are positioned in different relative directions according to detection conditions.
  • An image processing system includes a storage unit that stores a cut-out image.
  • the position of the cutout region can be determined with a higher degree of freedom in the scene where the image is cut out from the original image.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 4 is an explanatory diagram showing an example of a reduced image 32 generated by the camera 10.
  • FIG. 4 is an explanatory diagram showing an example of a plurality of cropping images 50 generated from an original image 30.
  • FIG. FIG. 2 is a functional block diagram showing a configuration of a camera 10 according to the same embodiment.
  • 4 is an explanatory diagram showing a relationship between an original image 30 and a cropping area 40.
  • FIG. It is the functional block diagram which showed the structure of the monitoring terminal 22 by the embodiment. It is explanatory drawing for demonstrating the subject of the same embodiment.
  • 3 is a functional block diagram showing a configuration of an area setting unit 104 according to the same embodiment.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • a plurality of configurations having substantially the same functional configuration are differentiated as necessary, such as a video cropping unit 106a and a video cropping unit 106b.
  • only the same reference numerals are given.
  • the video cropping unit 106a and the video cropping unit 106b they are simply referred to as the video cropping unit 106.
  • the image processing system includes a camera 10, a storage 20, a monitoring terminal 22, and a communication network 24.
  • the camera 10 is an example of an image processing device according to the present disclosure.
  • the camera 10 is a device for taking an image of the outside environment.
  • the camera 10 can be installed in a place where there is a large amount of traffic of people or vehicles, a place to be monitored, or the like.
  • the camera 10 may be installed in a road, a station, an airport, a commercial building, an amusement park, a park, a parking lot, or a restricted area.
  • the camera 10 can generate another image using a captured image (hereinafter referred to as an original image), and can transmit the generated image to another device via a communication network 24 described later.
  • an original image is an example of the first image in the present disclosure.
  • the original image is an image having an upper limit resolution that the camera 10 can capture.
  • the original image may be a 4K image.
  • the camera 10 generates another image with a small amount of data based on the original image. This is because the original image has a large amount of data, and therefore it is not desirable to transmit the original image itself to another device, for example, because it takes a long time to transmit.
  • another example of the image generated by the camera 10 is a reduced image that is an image obtained by simply reducing the resolution of the original image, or a cropped image that is an image obtained by cropping (cutting out) an area to be watched.
  • This reduced image may be, for example, a full HD image.
  • FIG. 2 is an explanatory diagram showing an example of a reduced image (reduced image 32).
  • the reduced image 32 includes all areas included in the original image.
  • a region to be watched such as a human face
  • the area 40 shown in FIG. 2 is an area corresponding to a cropping area described later.
  • the cropping area is set in the frame image, but in FIG. 2, for convenience of explanation, the area corresponding to the cropping area in the reduced image 32 is described as an area 40.
  • FIG. 3 is an explanatory diagram showing an example of a plurality of cropping images (a set 52 of cropping images) generated from one original image.
  • the cropped image 50 has the same resolution as the original image, but as shown in FIG. 3, each cropped image 50 includes only a partial area of the original image. Therefore, the camera 10 according to the present embodiment basically generates one reduced image and one or more cropped images from one original image. According to this generation example, the user can check the entire view taken by the camera 10, and the user can check the gaze target area with high resolution. The total amount of data can be suppressed as compared with the original image.
  • the camera 10 includes a photographing unit 100, a video reduction unit 102, a region setting unit 104, a plurality of video cropping units 106, and a communication unit 108.
  • FIG. 4 shows an example in which four video cropping units 106 are provided, but the present invention is not limited to this example, and an arbitrary number of one or more may be provided.
  • the imaging unit 100 has a function of acquiring an original image by forming an image of an external image on an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) through a lens.
  • an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) through a lens.
  • the video reduction unit 102 generates a reduced image by reducing the original image acquired by the photographing unit 100 to a predetermined size.
  • the region setting unit 104 sets a cropping region that is a region from which a cropped image is generated in the original image acquired by the photographing unit 100. For example, the region setting unit 104 sets cropping regions from the original image acquired by the photographing unit 100 by the number of video cropping units 106 provided in the camera 10.
  • FIG. 5 is an explanatory diagram showing an example of setting the cropping area by the area setting unit 104.
  • the width of the cropping region is described as “crop_width”, and the length of the cropping region is described as “crop_height”.
  • the area setting unit 104 detects an object to be detected such as a person 300 from the original image 30 and sets the cropping area 40 based on the detection position 302 of the object.
  • the video cropping unit 106 is an example of a cut-out image generation unit in the present disclosure.
  • the video cropping unit 106 generates a cropped image by cutting out the cropping region set by the region setting unit 104 from the original image acquired by the photographing unit 100.
  • each of the four video cropping units 106 For example, in the example shown in FIG. 3, four cropping images 50 generated by each of the four video cropping units 106 are shown. As illustrated in FIG. 3, for example, the video cropping unit 106 a generates the cropped image 50 a from the cropping region corresponding to the region 40 a illustrated in FIG. 2 set by the region setting unit 104. In addition, the video cropping unit 106b generates a cropped image 50b from the cropping region corresponding to the region 40b illustrated in FIG. 2 set by the region setting unit 104.
  • the communication unit 108 transmits and receives various types of information to and from devices connected to the communication network 24 via the communication network 24 described later. For example, the communication unit 108 transmits the reduced image acquired by the video reduction unit 102 and the plurality of cropped images generated by the plurality of video cropping units 106 to the storage 20.
  • the storage 20 is a storage device for storing reduced images and cropped images received from the camera 10.
  • the storage 20 stores the identification information of the camera 10, the shooting date and time, the received reduced image, and the plurality of received cropped images in association with each other.
  • the storage 20 can be installed in, for example, a data center or a monitoring center where a monitoring staff works.
  • the monitoring terminal 22 is an information processing terminal for displaying a reduced image and a cropped image generated by the camera 10.
  • the monitoring terminal 22 can be installed in a monitoring center, for example.
  • FIG. 6 is a functional block diagram showing the configuration of the monitoring terminal 22 according to the present embodiment.
  • the monitoring terminal 22 includes a control unit 220, a communication unit 222, a display unit 224, and an input unit 226.
  • the control unit 220 generally performs operations of the monitoring terminal 22 using hardware such as a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory) built in the monitoring terminal 22. Control.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the communication unit 222 transmits and receives various types of information to and from devices connected to the communication network 24 via the communication network 24 described later. For example, the communication unit 222 receives a reduced image and a cropped image stored in the storage 20 from the storage 20.
  • the communication unit 222 can also directly receive the reduced image generated by the camera 10 and a plurality of cropped images from the camera 10.
  • the display unit 224 includes a display such as a liquid crystal display (LCD) or an organic light emitting diode (OLED), for example.
  • the display unit 224 displays a monitoring screen including a reduced image or a cropped image received from the storage 20.
  • the input unit 226 includes an input device such as a mouse, a keyboard, or a microphone.
  • the input unit 226 accepts various inputs from the user to the monitoring terminal 22.
  • the communication network 24 is a wired or wireless transmission path for information transmitted from a device connected to the communication network 24.
  • the communication network 24 may include a public line network such as a telephone line network, the Internet, a satellite communication network, various local area networks (LANs) including Ethernet (registered trademark), a wide area network (WAN), and the like.
  • LANs local area networks
  • WAN wide area network
  • the communication network 24 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the image processing system is not limited to the configuration described above.
  • the storage 20 and the monitoring terminal 22 may be configured integrally.
  • the image processing system may not include the storage 20 or the monitoring terminal 22.
  • the region setting unit 104 sets the cropping region based on the detection position of the object detected from the original image.
  • a cropping region setting method for example, a method of setting the cropping region so that the detection position of the object to be detected is at the center of the cropping region can be considered. According to this setting method, the cropped image can be generated so that the object to be detected is easy to see for the user.
  • FIG. 7 is an explanatory diagram showing an example in which the cropping area 40 is set with the detection position 302 of the person 300 as the center of the cropping area 40.
  • the detection target part is often defined on the face of the person.
  • the face area of the person 300 is out of the cropping area 40.
  • the camera 10 according to the present embodiment has been created with the above circumstances taken into consideration.
  • the camera 10 according to the present embodiment can set the cropping region so that the detection target portion is included in the cropping region according to the type of the object to be detected.
  • the region setting unit 104 includes an object detection unit 120, a detection region calculation unit 122, and a cropping region determination unit 124.
  • the object detection unit 120 detects an object from the original image based on the set detection condition. For example, when the detection mode for each type of detection target object is set in advance (as a detection condition), the object detection unit 120 selects the type of object corresponding to the set detection mode, for example, the camera 10. The number of video cropping units 106 provided in the original image is detected from the original image.
  • the type of the object to be detected may include a person or a car. Further, the types of objects to be detected may further include a ship, an airplane, a motorcycle, a bicycle, or the like.
  • the object detection unit 120 detects a human imaging region from the original image.
  • the detection mode may be set as a mode for detecting only one type of object, or a mode for detecting a plurality of types of objects, for example, a “human and vehicle detection mode”. May be set as In addition, the setting and changing of the detection mode may be performed at an arbitrary timing by an administrator, for example. Alternatively, a specific detection mode (for example, “person detection mode”) may be set in the camera 10 when the camera 10 is developed.
  • a specific detection mode for example, “person detection mode”
  • the types of objects may be classified in a plurality of stages such as a large classification and a small classification, and different detection modes may be defined for each classification in the plurality of stages. For example, when the major classification is “automobile”, the minor classification is classified as “truck”, “ordinary car”, etc., and the detection mode is “truck detection mode”, “ordinary car detection mode”, etc. May be defined.
  • the detection area calculation unit 122 calculates the area size of the object detected by the object detection unit 120. For example, the detection area calculation unit 122 calculates the area size of the detected object in the original image acquired by the imaging unit 100 as the area size of the object.
  • the detection area calculation unit 122 may detect the area of the corresponding object detected in a predetermined number of original images (hereinafter, may be referred to as frame images) such as several or several tens taken immediately before.
  • the average size is calculated as the region size of the object. According to this calculation example, even when the size of an object detected between successive frame images varies greatly, the content of the cropped image generated between successive frame images does not change significantly. Can be suppressed.
  • the detection region calculation unit 122 applies an IIR (Infinite Impulse Response) filter, least square approximation, or Kalman filter to a predetermined number of past frame images instead of the average value.
  • IIR Infinite Impulse Response
  • the average value of the object area sizes in the past frame image is smaller than the area size of the object in the current frame image. According to this modification, even when the region size of the object is being enlarged, the calculated region size of the object is not so small (compared to the region size of the object in the current frame image). Can be suppressed.
  • the detection area calculation unit 122 may calculate a size obtained by adding a predetermined margin to the area size calculated by the above-described calculation method as the final area size of the object. Is possible. For example, the detection area calculation unit 122 may calculate a size obtained by expanding the area size calculated by the above-described calculation method to a predetermined ratio such as 110% as the final area size of the object. Alternatively, the detection area calculation unit 122 may calculate a size obtained by adding a predetermined length in the vertical and horizontal directions to the calculated area size of the object as the final area size of the object.
  • the cropping region determination unit 124 is an example of a cutout region determination unit in the present disclosure. Based on the size of the object calculated by the detection area calculation unit 122, the cropping area determination unit 124 uses the detection position of the object in the original image as a reference and determines an area located in a relative direction corresponding to the type of the object. Determine as cropping area. For example, when the size of the object calculated by the detection area calculation unit 122 is larger than the size of the cropping area, the cropping area determination unit 124 sets the detection position of the object in the original image in the direction corresponding to the type of the object.
  • the camera 10 stores a database that stores the correspondence relationship between the type of object, the moving direction (correction direction) of the cropping region, and the calculation formula of the moving amount, and the cropping region determination unit 124 The correction position can be calculated using this database.
  • the cropping area determination unit 124 performs the cropping so that the detection position of the object in the original image is the center of the cropping area. Determine the area.
  • FIG. 9 is an explanatory diagram showing an example of determining the cropping area when the type of object to be detected is a person.
  • a cropping area 44 (hereinafter referred to as a standard cropping area 44) determined so that the person detection position 302 is centered is indicated by a broken-line rectangle.
  • the cropping region 40 finally determined by the cropping region determination unit 124 is indicated by a solid line rectangle.
  • the cropping area determination unit 124 determines the cropping area 40 by moving the standard cropping area 44 in the original image 30 relatively upward.
  • the cropping area determination unit 124 first calculates the difference between the height of the upper end of the standard cropping area 44 and the height of the top of the detected person 300.
  • the cropping area determination unit 124 calculates a position where the person detection position 302 is moved upward by the calculated difference or more. Then, the cropping area determination unit 124 determines the cropping area 40 so that the calculated position becomes the center of the cropping area 40.
  • the detection target part is often designated as a face.
  • the cropping area can be determined so that the face of the person to be detected is included in the cropping area.
  • FIG. 10 is an explanatory diagram showing an example of a cropped image (cropped image 50) generated from the cropping area 40 shown in FIG. 9 by the video cropping unit 106. As illustrated in FIG. 10, the cropping image 50 is generated by the cropping region 40 being cut out from the original image 30 by the video cropping unit 106.
  • the cropping area determination unit 124 sets the standard cropping area 44 in the original image 30 as a relative value.
  • the cropping area 40 is determined by moving it downward.
  • the cropping area determination unit 124 first calculates the difference between the height of the lower end of the standard cropping area 44 and the height of the lower end of the detected tire of the track 300.
  • the cropping area determination unit 124 calculates a position where the track detection position 302 is moved downward by the calculated difference.
  • the cropping area determination unit 124 determines the cropping area 40 so that the calculated position becomes the center of the cropping area 40.
  • the detection target part is often designated as a license plate.
  • the cropping area can be determined so that the license plate of the track to be detected is included in the cropping area.
  • the cropping area determination unit 124 can determine, as a cropping area, an area obtained by enlarging the size of the standard cropping area in the direction corresponding to the type of the object on the basis of the detection position of the detection target object. It is. For example, in the example illustrated in FIG. 9, the cropping area determination unit 124 expands the standard cropping area 44 upward by a difference greater than the difference between the height of the upper end of the standard cropping area 44 and the height of the top of the detected person 300. The (rectangular) area may be determined as the cropping area.
  • FIG. 12 is a flowchart showing an operation example according to the present embodiment. As shown in FIG. 12, first, the photographing unit 100 of the camera 10 acquires an original image by photographing an external video when a predetermined timing arrives (S101).
  • the video reduction unit 102 generates a reduced image by reducing the original image acquired in S101 to a predetermined size (S103).
  • the camera 10 repeats “cropping image generation processing” to be described later for the number of video cropping units 106, that is, four times (S105 to S111).
  • the communication unit 108 transmits the reduced image generated in S103 and the four cropped images generated in S107 to the storage 20 (S113).
  • the object detection unit 120 of the camera 10 detects an object to be detected from the original image acquired in S101 based on a preset detection mode (S151). .
  • the detection area calculation unit 122 calculates the area size of the object detected in S151. Then, the cropping area determination unit 124 determines whether or not the calculated area size is larger than the size of the cropping area (S153).
  • the cropping area determination unit 124 determines the standard cropping area as the cropping area. That is, the cropping area determination unit 124 determines the cropping area so that the detection position of the object detected in S151 is the center of the cropping area (S163). And the camera 10 performs operation
  • the cropping area determination unit 124 determines whether or not the type of the object corresponding to the set detection mode is a person. Is determined (S155). When the type of the object to be detected is a person (S155: Yes), the cropping area determination unit 124 determines the cropping area by moving the standard cropping area upward in the original image acquired in S101. (S157). And the camera 10 performs operation
  • the cropping area determination unit 124 selects the standard cropping area in the original image acquired in S101.
  • the cropping area is determined by moving downward (S161). And the camera 10 performs operation
  • the cropping area determination unit 124 performs the above-described operation of S163.
  • the video cropping unit 106 generates a cropped image by cutting out the cropping area determined in S157, S161, or S163 from the original image acquired in S101 (S171).
  • the camera 10 detects an object from a photographed original image, and detects an object in the original image. Using the position as a reference, an area located in a different relative direction depending on the detection condition is determined as a cropping area. For this reason, for example, even if the detection position of the object is the same, the position of the cutout region can be changed according to the detection condition.
  • the camera 10 has a correction position obtained by moving the detection position of the object in the original image by a direction and a movement amount corresponding to the type of the object.
  • the cropping area is determined so as to be the center of the cropping area. For this reason, even if the region size of the object to be detected is larger than the size of the cropping region, the cropping region can be set so that the detection target portion of the object is included in the cropping region. As a result, it is possible to improve the visibility of a detection target portion (for example, a human face) in the cropped image.
  • the cropping area determination method by the cropping area determination unit 124 is a simple method, the camera 10 can generate a cropped image in real time.
  • the cropping region 40 is determined so that a part of the end of the cropping region 40 matches a part of the end of the original image 30.
  • the object to be detected cannot always be detected reliably, and detection may fail. If the detection fails, for example, as shown in FIG. 16, for example, the position of the object (person) in the original image 30 and the center position 410 of the cropping area 40 are usually different.
  • Video cropping unit 106 When a part of the cropping area determined by the cropping area determination unit 124 deviates from the original image, the video cropping unit 106 according to this application example displays the cropped image so as to include a display indicating the area deviated from the original image. Generate. For example, in the above case, the video cropping unit 106 fills a region outside the original image with a predetermined color or a predetermined pattern in the cropped image. In the above case, the video cropping unit 106 arranges a predetermined character string in an area outside the original image. According to these generation examples, in the cropped image, an area outside the original image can be clearly shown to the user.
  • FIG. 17 is an explanatory diagram illustrating an example of the cropping region 40 determined by the cropping region determination unit 124 when the person 300 is located near the edge of the original image 30.
  • the cropping region determination unit 124 sets the cropping region 40 so that the person detection position 302 is at the center of the cropping region 40. decide.
  • a part of the area 402 in the cropping area 40 protrudes from the original image 30.
  • FIG. 18 is an explanatory diagram showing an example of a cropping image (cropping image 50) generated by the video cropping unit 106 when the cropping region 40 is determined as shown in FIG.
  • the video cropping unit 106 generates the cropped image 50 so as to include the region 500 cut out from the original image 30 and the protruding region 502 that is a region protruding from the original image 30.
  • the cut-out area 500 is the same as the area 400 included in the original image 30 in the cropping area 40 shown in FIG.
  • the video cropping unit 106 fills the protruding area 502 with a predetermined color, for example, and clearly indicates that it is an protruding area such as “Out of light”.
  • the column is arranged in the protruding area 502.
  • the cropping image 50 can clearly indicate that the detection target object has been successfully detected and that the object is located near the edge in the original image. Further, it can be clearly shown which end in the original image the object is located near (for example, in the example shown in FIG. 18, the object is located near the right end of the original image).
  • FIG. 19 is a flowchart showing a part of the operation of “cropping image generation processing” according to this application example.
  • the operations of S101 to S163 according to the present embodiment shown in FIGS. 12 to 13 are the same in this application example.
  • the operation of S201 shown in FIG. 19 is the same as that of S171 according to the present embodiment shown in FIG. Hereinafter, operations after S201 will be described.
  • the video cropping unit 106 determines whether a part of the cropping area determined in S157, S161, or S163 protrudes from the original image acquired in S101. (S203). If a part of the cropping area does not protrude from the original image (S203: No), the camera 10 ends the “cropping image generation process”.
  • the camera 10 when a part of the determined cropping area is out of the original image, in the cropped image, the area out of the original image.
  • a cropped image is generated so as to include a display indicating. For this reason, the user can determine whether the detection of the object has failed or whether the object to be detected has been successfully detected and the object is located near the edge in the original image. Can be done just by looking at the cropped image.
  • the user can identify which edge the object is located by simply looking at the cropped image. .
  • a separately provided server can communicate with the camera 10 via, for example, the communication network 24, and this server replaces the camera 10 with the video reduction unit 102 and the region setting unit 104 described above.
  • the image processing apparatus may be a server. Further, the server and the storage 20 may be configured integrally.
  • the camera 10 can identify the type of the object included in the photographed original image, and can dynamically set the detection mode corresponding to the identified type.
  • the camera 10 determines that the object is a person, for example, by calculating the aspect ratio of the detected object area. It is also possible to identify and then dynamically set a detection mode (eg “person detection mode”) corresponding to the identification result.
  • An object detection unit for detecting an object from the first image A cutout region determination unit that determines, as a cutout region, a region located in a different relative direction according to a detection condition with the detection position of the object in the first image as a reference,
  • An image processing apparatus comprising: (2) The image processing apparatus according to (1), wherein the detection condition is associated with a type of an object to be detected. (3) The type of the object to be detected is the image processing apparatus according to (2), including a person or a vehicle. (4) When the object to be detected is a person, the cutout region determination unit determines a region positioned relatively upward as the cutout region on the basis of the detection position of the person in the first image.
  • the image processing apparatus determines a region positioned relatively downward as the cutout region on the basis of the detection position of the vehicle in the first image.
  • the image processing apparatus according to (3) or (4).
  • the cut-out area determination unit is configured so that the position where the detection position of the object in the first image is moved in a different relative direction according to the type of the object is the center of the cut-out area.
  • the image processing apparatus according to any one of (3) to (5), wherein: (7) The size of the cutout area is determined in advance,
  • the image processing apparatus further includes a detection region calculation unit that calculates a region size of the detected object,
  • the cutout area determination unit is configured to detect the object to be detected with reference to the detection position of the object in the first image when the area size calculated by the detection area calculation unit is larger than the size of the cutout area.
  • the image processing apparatus according to any one of (3) to (6), wherein an area located in a different relative direction depending on the type of the image is determined as the cutout area.
  • the first image is a frame image of a moving image;
  • the detection area calculation unit calculates the area size of the object in the first image based on the area size of the object calculated in a plurality of frame images before the first image.
  • the image processing apparatus according to 7).
  • the image processing device further includes a cutout image generation unit that generates a cutout image by cutting out the cutout region determined by the cutout region determination unit from the first image.
  • the image processing apparatus according to any one of claims.
  • the cutout image generation unit includes a display indicating a region that is out of the first image when a part of the cutout region determined by the cutout region determination unit is out of the first image.
  • the image processing apparatus according to (9), wherein the cutout image is generated.
  • An image processing method comprising: (14) An object detection unit for detecting an object from the first image; A cutout region determination unit that determines, as a cutout region, a region located in a different relative direction according to a detection condition with the detection position of the object in the first image as a reference, A cutout image generation unit that generates a cutout image by cutting out the cutout region determined by the cutout region determination unit from the first image; A storage unit for storing the generated cutout image; An image processing system comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】元画像から画像を切り出す場面において切り出し領域の位置をより自由度高く決定することが可能な、画像処理装置、画像処理方法、および画像処理システムを提案する。 【解決手段】第１の画像から物体を検出する物体検出部と、前記第１の画像における前記物体の検出位置を基準として、検出条件に応じて異なる相対的な方向に位置する領域を切り出し領域として決定する切り出し領域決定部と、を備える、画像処理装置。

Description

画像処理装置、画像処理方法、および画像処理システム
　本開示は、画像処理装置、画像処理方法、および画像処理システムに関する。
　従来、撮影された画像の中から、検出対象の人物などの物体の領域を切り出すための技術が各種開発されている。
　例えば、特許文献１には、魚眼レンズカメラにより撮影された画像の中から移動体を検出し、検出した各移動体の外接四角形の領域をそれぞれ切り出す技術が記載されている。また、特許文献２には、撮影画像における対象物体に含まれる注目点の検出位置と、予め記憶されている、注目点から切り出し位置までの距離および方向とに基づいて、当該画像における切り出し領域の中心位置を算出する技術が記載されている。
特開２００１－３３３４２２号公報 特開２００５－１８４２６６号公報
　しかしながら、特許文献１または特許文献２に記載の技術では、元画像から切り出される切り出し領域の位置が限定される。例えば、特許文献２に記載の技術では、注目点の検出位置が同じである場合には、仮に切り出し対象の物体が異なる場合であっても、切り出し領域の位置が同じ位置に定められる。
　そこで、本開示では、元画像から画像を切り出す場面において切り出し領域の位置をより自由度高く決定することが可能な、新規かつ改良された画像処理装置、画像処理方法、および画像処理システムを提案する。
　本開示によれば、第１の画像から物体を検出する物体検出部と、前記第１の画像における前記物体の検出位置を基準として、検出条件に応じて異なる相対的な方向に位置する領域を切り出し領域として決定する切り出し領域決定部と、を備える、画像処理装置が提供される。
　また、本開示によれば、第１の画像から物体を検出することと、前記第１の画像における前記物体の検出位置を基準として、検出条件に応じて異なる相対的な方向に位置する領域を切り出し領域として決定することと、を備える、画像処理方法が提供される。
　また、本開示によれば、第１の画像から物体を検出する物体検出部と、前記第１の画像における前記物体の検出位置を基準として、検出条件に応じて異なる相対的な方向に位置する領域を切り出し領域として決定する切り出し領域決定部と、前記切り出し領域決定部により決定された前記切り出し領域を前記第１の画像から切り出すことにより切り出し画像を生成する切り出し画像生成部と、生成された前記切り出し画像を記憶する記憶部と、を備える、画像処理システムが提供される。
　以上説明したように本開示によれば、元画像から画像を切り出す場面において切り出し領域の位置をより自由度高く決定することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施形態による画像処理システムの構成例を示した説明図である。 カメラ１０により生成された縮小画像３２の一例を示した説明図である。 オリジナル画像３０から生成された複数のクロッピング画像５０の一例を示した説明図である。 同実施形態によるカメラ１０の構成を示した機能ブロック図である。 オリジナル画像３０とクロッピング領域４０との関係を示した説明図である。 同実施形態による監視端末２２の構成を示した機能ブロック図である。 同実施形態の課題を説明するための説明図である。 同実施形態による領域設定部１０４の構成を示した機能ブロック図である。 同実施形態によるクロッピング領域４０の決定例を示した説明図である。 同実施形態による人のクロッピング画像５０の生成例を示した説明図である。 同実施形態によるクロッピング領域４０の別の決定例を示した説明図である。 同実施形態による動作を示したフローチャートである。 同実施形態によるクロッピング画像生成処理の動作の一部を示したフローチャートである。 同実施形態によるクロッピング画像生成処理の動作の一部を示したフローチャートである。 同実施形態の応用例の課題を説明するための説明図である。 同応用例の課題を説明するための別の説明図である。 同応用例によるクロッピング領域の決定例を示した説明図である。 同応用例によるクロッピング画像の生成例を示した説明図である。 同応用例によるクロッピング画像生成処理の動作の一部を示したフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて映像クロッピング部１０６ａおよび映像クロッピング部１０６ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、映像クロッピング部１０６ａおよび映像クロッピング部１０６ｂを特に区別する必要が無い場合には、単に映像クロッピング部１０６と称する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　１．画像処理システムの基本構成
　２．実施形態の詳細な説明
　３．応用例
　４．変形例
＜＜１．画像処理システムの基本構成＞＞
　＜１－１．基本構成＞
　本開示は、一例として「２．実施形態の詳細な説明」において詳細に説明するように、多様な形態で実施され得る。最初に、本実施形態による画像処理システムの基本構成について、図１を参照して説明する。
　図１に示したように、本実施形態による画像処理システムは、カメラ１０、ストレージ２０、監視端末２２、および、通信網２４を含む。
　［１－１－１．カメラ１０］
　カメラ１０は、本開示における画像処理装置の一例である。カメラ１０は、外環境の画像を撮影するための装置である。このカメラ１０は、人や車の交通量が多い場所や、監視対象の場所などに設置され得る。例えば、カメラ１０は、道路、駅、空港、商業用ビルディング、アミューズメントパーク、公園、駐車場、または立ち入り禁止区域などに設置されてもよい。
　また、カメラ１０は、撮影した画像（以下、オリジナル画像と称する）を用いて別の画像を生成することや、生成した画像を後述する通信網２４を介して他の装置へ送信することが可能である。ここで、オリジナル画像は、本開示における第１の画像の一例である。例えば、オリジナル画像は、カメラ１０が撮影可能な上限の解像度を有する画像である。一例として、オリジナル画像は、４Ｋの画像であってもよい。
　例えば、カメラ１０は、オリジナル画像に基づいてデータ量の小さい別の画像を生成する。この理由は、オリジナル画像はデータ量が大きいので、例えば伝送に時間がかかるなどの理由により、オリジナル画像自体を他の装置へ送信することは望ましくないからである。
　ここで、カメラ１０が生成する別の画像の例は、オリジナル画像の解像度を単純に下げた画像である縮小画像や、注視対象の領域をクロッピング（切り取り）した画像であるクロッピング画像である。この縮小画像は、例えばフルＨＤの画像であってもよい。
　図２は、縮小画像の一例（縮小画像３２）を示した説明図である。縮小画像３２は、オリジナル画像に含まれる全ての領域を含む。一方で、図２に示したように、縮小画像３２では、例えば人の顔などの、注視対象の領域が非常に小さくなり得るので、視認し辛くなり得る。なお、図２に示した領域４０は、後述するクロッピング領域に対応する領域である。通常、クロッピング領域はフレーム画像内に設定されるが、図２では、説明の便宜上、縮小画像３２における、クロッピング領域に対応する領域を領域４０と記載している。
　また、図３は、一枚のオリジナル画像から生成された複数のクロッピング画像の一例（クロッピング画像の集合５２）を示した説明図である。クロッピング画像５０は、オリジナル画像と同じ解像度を有するが、図３に示したように、個々のクロッピング画像５０は、オリジナル画像のうちの一部の領域だけしか含まない。そこで、本実施形態によるカメラ１０は、基本的には、一枚のオリジナル画像から一枚の縮小画像、および、一以上のクロッピング画像を生成する。この生成例によれば、カメラ１０により撮影された全景をユーザが確認でき、かつ、注視対象の領域を高解像度でユーザは確認することができる。そして、オリジナル画像と比較して合計のデータ量を抑制することができる。
　ここで、図４を参照して、カメラ１０の内部構成について説明する。図４に示したように、カメラ１０は、撮影部１００、映像縮小部１０２、領域設定部１０４、複数の映像クロッピング部１０６、および、通信部１０８を含む。なお、図４では、映像クロッピング部１０６が四個設けられる例を示しているが、かかる例に限定されず、一以上の任意の個数設けられてもよい。
　（１－１－１－１．撮影部１００）
　撮影部１００は、外部の映像を、レンズを通して例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子に結像させることにより、オリジナル画像を取得する機能を有する。
　（１－１－１－２．映像縮小部１０２）
　映像縮小部１０２は、撮影部１００により取得されたオリジナル画像を所定のサイズに縮小することにより縮小画像を生成する。
　（１－１－１－３．領域設定部１０４）
　領域設定部１０４は、撮影部１００により取得されたオリジナル画像において、クロッピング画像の生成元となる領域であるクロッピング領域を設定する。例えば、領域設定部１０４は、撮影部１００により取得されたオリジナル画像から、カメラ１０に設けられている映像クロッピング部１０６の個数だけクロッピング領域を設定する。
　図５は、領域設定部１０４によるクロッピング領域の設定例を示した説明図である。なお、図５では、クロッピング領域の横幅の長さを“ｃｒｏｐ＿ｗｉｄｔｈ”、クロッピング領域の縦幅の長さを“ｃｒｏｐ＿ｈｅｉｇｈｔ”とそれぞれ記載している。
　図５に示したように、領域設定部１０４は、オリジナル画像３０の中から人物３００などの検出対象の物体を検出し、そして、物体の検出位置３０２に基づいてクロッピング領域４０を設定する。
　（１－１－１－４．映像クロッピング部１０６）
　映像クロッピング部１０６は、本開示における切り出し画像生成部の一例である。映像クロッピング部１０６は、領域設定部１０４により設定されたクロッピング領域を、撮影部１００により取得されたオリジナル画像から切り出すことによりクロッピング画像を生成する。
　例えば、図３に示した例では、四個の映像クロッピング部１０６の各々により生成された四枚のクロッピング画像５０を示している。図３に示したように、例えば、映像クロッピング部１０６ａは、領域設定部１０４により設定された、図２に示した領域４０ａに相当するクロッピング領域からクロッピング画像５０ａを生成する。また、映像クロッピング部１０６ｂは、領域設定部１０４により設定された、図２に示した領域４０ｂに相当するクロッピング領域からクロッピング画像５０ｂを生成する。
　（１－１－１－５．通信部１０８）
　通信部１０８は、後述する通信網２４を介して、通信網２４に接続された装置との間で各種の情報の送受信を行う。例えば、通信部１０８は、映像縮小部１０２により取得された縮小画像、および、複数の映像クロッピング部１０６により生成された複数のクロッピング画像をストレージ２０へ送信する。
　［１－１－２．ストレージ２０］
　ストレージ２０は、カメラ１０から受信される縮小画像およびクロッピング画像を記憶するための記憶装置である。例えば、ストレージ２０は、カメラ１０の識別情報、撮影日時、受信された縮小画像、および受信された複数のクロッピング画像を対応づけて記憶する。なお、ストレージ２０は、例えばデータセンタや、監視員が勤務する監視センタなどに設置され得る。
　［１－１－３．監視端末２２］
　監視端末２２は、カメラ１０により生成された縮小画像およびクロッピング画像を表示するための情報処理端末である。この監視端末２２は、例えば監視センタに設置され得る。
　ここで、監視端末２２の構成について詳細に説明する。図６は、本実施形態による監視端末２２の構成を示した機能ブロック図である。図６に示したように、監視端末２２は、制御部２２０、通信部２２２、表示部２２４、および入力部２２６を有する。
　（１－１－３－１．制御部２２０）
　制御部２２０は、監視端末２２に内蔵されるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などのハードウェアを用いて、監視端末２２の動作を全般的に制御する。
　（１－１－３－２．通信部２２２）
　通信部２２２は、後述する通信網２４を介して、通信網２４に接続された装置との間で各種の情報の送受信を行う。例えば、通信部２２２は、ストレージ２０に格納されている縮小画像およびクロッピング画像をストレージ２０から受信する。
　なお、通信部２２２は、カメラ１０により生成された縮小画像、および複数のクロッピング画像をカメラ１０から直接受信することも可能である。
　（１－１－３－３．表示部２２４）
　表示部２２４は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）や、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などのディスプレイにより構成される。この表示部２２４は、例えば、ストレージ２０から受信された縮小画像またはクロッピング画像を含む監視画面などを表示する。
　（１－１－３－４．入力部２２６）
　入力部２２６は、例えばマウス、キーボード、または、マイクロフォンなどの入力装置を含む。この入力部２２６は、監視端末２２に対するユーザによる各種の入力を受け付ける。
　［１－１－４．通信網２４］
　通信網２４は、通信網２４に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網２４は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網２４は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　なお、本実施形態による画像処理システムは、上述した構成に限定されない。例えば、ストレージ２０および監視端末２２は一体的に構成されてもよい。または、本画像処理システムは、ストレージ２０もしくは監視端末２２を含まないことも可能である。
　＜１－２．課題の整理＞
　ところで、上述したように、領域設定部１０４は、オリジナル画像の中から検出された物体の検出位置に基づいてクロッピング領域を設定する。
　このようなクロッピング領域の設定方法として、例えば、検出対象の物体の検出位置がクロッピング領域の中心となるようにクロッピング領域を設定する方法が考えられる。この設定方法によれば、検出対象の物体がユーザにとって見やすいようにクロッピング画像を生成することができる。
　一方で、クロッピング領域のサイズに対して物体の領域サイズが大きい場合には、この設定方法では、当該物体におけるユーザの検出目的の部分がクロッピング領域に含まれなくなる場合がある。ここで、図７を参照して、上記の内容についてより具体的に説明する。図７は、人物３００の検出位置３０２をクロッピング領域４０の中心とし、クロッピング領域４０が設定された例を示した説明図である。
　通常、人が検出対象とされる場合には、検出目的の部分は人の顔に定められることが多い。しかしながら、図７に示した例では、クロッピング領域４０のサイズに対して人物３００のサイズがかなり大きいので、人物３００の顔領域がクロッピング領域４０から外れてしまっている。
　そこで、上記事情を一着眼点にして、本実施形態によるカメラ１０を創作するに至った。本実施形態によるカメラ１０は、検出対象の物体の種類に応じて、検出目的の部分がクロッピング領域に含まれるようにクロッピング領域を設定することが可能である。
＜＜２．実施形態の詳細な説明＞＞
　＜２－１．構成＞
　本実施形態によるカメラ１０の構成の特徴は、特に領域設定部１０４の構成に関する。以下では、図８を参照して、本実施形態による領域設定部１０４の構成についてさらに詳細に説明する。
　図８に示したように、領域設定部１０４は、物体検出部１２０、検出領域算出部１２２、および、クロッピング領域決定部１２４を含む。
　［２－１－１．物体検出部１２０］
　物体検出部１２０は、設定されている検出条件に基づいてオリジナル画像から物体を検出する。例えば、検出対象の物体の種類ごとの検出モードが（検出条件として）予め設定されている場合には、物体検出部１２０は、設定されている検出モードに対応する種類の物体を、例えばカメラ１０に設けられている映像クロッピング部１０６の個数だけオリジナル画像から検出する。ここで、検出対象の物体の種類は、人または自動車を含み得る。また、検出対象の物体の種類は、船、飛行機、バイク、または、自転車などをさらに含んでもよい。
　一例として、設定されている検出モードが「人検出モード」である場合には、物体検出部１２０は、オリジナル画像から人の撮影領域を検出する。
　なお、検出モードは、一種類の物体だけを検出するためのモードとして設定されてもよいし、あるいは、例えば「人および車検出モード」のように、複数の種類の物体を検出するためのモードとして設定されてもよい。また、検出モードの設定および変更は、例えば管理者により任意のタイミングで実施可能であってもよい。または、カメラ１０の開発時に特定の検出モード（例えば「人検出モード」など）がカメラ１０に設定されていてもよい。
　また、物体の種類は例えば大分類および小分類のように複数の段階で分類されており、かつ、この複数の段階での分類ごとに別々の検出モードが定められていてもよい。例えば、大分類が「自動車」である場合には、小分類は「トラック」や「普通車」などに分類されており、そして、検出モードは「トラック検出モード」や「普通車検出モード」などが定められていてもよい。
　［２－１－２．検出領域算出部１２２］
　検出領域算出部１２２は、物体検出部１２０により検出された物体の領域サイズを算出する。例えば、検出領域算出部１２２は、撮影部１００により取得されたオリジナル画像における、検出された物体の領域サイズを当該物体の領域サイズとして算出する。
　あるいは、検出領域算出部１２２は、直前に撮影された例えば数個または数十個などの所定の数のオリジナル画像（以下では、フレーム画像と称する場合がある）において検出された該当の物体の領域サイズの平均値を当該物体の領域サイズとして算出する。この算出例によれば、連続するフレーム画像間で検出される物体のサイズが大きく変動するような場合であっても、連続するフレーム画像間で生成されるクロッピング画像の内容が大きく変化しないように抑制することができる。
　（２－１－２－１．変形例１）
　なお、変形例として、検出領域算出部１２２は、過去の所定の数のフレーム画像に対して、平均値の代わりに、ＩＩＲ（Ｉｎｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタ、最小二乗近似、または、カルマンフィルタを適用することにより、当該物体の領域サイズを算出することも可能である。
　一般的に、物体の領域サイズが拡大中である場合には、過去のフレーム画像における物体の領域サイズの平均値は、現在のフレーム画像における物体の領域サイズよりも小さくなる。この変形例によれば、物体の領域サイズが拡大中である場合であっても、算出される物体の領域サイズが（現在のフレーム画像における物体の領域サイズと比較して）あまり小さくならないように抑制することができる。
　（２－１－２－２．変形例２）
　また、別の変形例として、検出領域算出部１２２は、上述した算出方法による算出後の領域サイズに対して所定のマージンを加算したサイズを、当該物体の最終的な領域サイズとして算出することも可能である。例えば、検出領域算出部１２２は、上述した算出方法による算出後の領域サイズを例えば１１０％などの所定の割合に拡大したサイズを当該物体の最終的な領域サイズとして算出してもよい。または、検出領域算出部１２２は、算出後の物体の領域サイズに対して縦横それぞれに所定の長さを加算したサイズを当該物体の最終的な領域サイズとして算出してもよい。
　［２－１－３．クロッピング領域決定部１２４］
　クロッピング領域決定部１２４は、本開示における切り出し領域決定部の一例である。クロッピング領域決定部１２４は、検出領域算出部１２２により算出された物体のサイズに基づいて、オリジナル画像における物体の検出位置を基準として、当該物体の種類に対応する相対的な方向に位置する領域をクロッピング領域として決定する。例えば、検出領域算出部１２２により算出された物体のサイズがクロッピング領域のサイズよりも大きい場合には、クロッピング領域決定部１２４は、オリジナル画像における物体の検出位置を、当該物体の種類に対応する方向に所定の移動量だけ移動した位置（補正位置）を算出し、そして、算出した補正位置がクロッピング領域の中心となるようにクロッピング領域を決定する。なお、例えば、物体の種類、クロッピング領域の移動方向（補正方向）、および移動量の算出式の対応関係が格納されているデータベースをカメラ１０が記憶しており、そして、クロッピング領域決定部１２４は、このデータベースを用いて補正位置を算出することが可能である。
　また、検出領域算出部１２２により算出された物体のサイズがクロッピング領域のサイズ以下である場合には、クロッピング領域決定部１２４は、オリジナル画像における物体の検出位置がクロッピング領域の中心となるようにクロッピング領域を決定する。
　ここで、図９～図１１を参照して、上記の機能についてより詳細に説明する。図９は、検出対象の物体の種類が人である場合におけるクロッピング領域の決定例を示した説明図である。なお、図９では、人物の検出位置３０２が中心となるように決定されたクロッピング領域４４（以下、標準クロッピング領域４４と称する）を破線の長方形で示している。また、クロッピング領域決定部１２４により最終的に決定されたクロッピング領域４０を実線の長方形で示している。
　（２－１－３－１．決定例１）
　例えば、図９に示したように、検出対象の物体の種類が「人」であり、かつ、検出された人物３００の領域サイズがクロッピング領域のサイズよりも大きい場合には、クロッピング領域決定部１２４は、オリジナル画像３０における標準クロッピング領域４４を相対的に上方向に移動させることにより、クロッピング領域４０を決定する。一例として、上記の場合には、クロッピング領域決定部１２４は、まず、標準クロッピング領域４４の上端の高さと、検出された人物３００の頭頂の高さとの差分を算出する。次に、クロッピング領域決定部１２４は、算出した差分以上、人物の検出位置３０２を上方向に移動した位置を算出する。そして、クロッピング領域決定部１２４は、算出された位置がクロッピング領域４０の中心となるようにクロッピング領域４０を決定する。
　通常、検出対象の物体の種類が「人」である場合には、検出目的の部分が顔に指定される場合が多い。この決定例１によれば、検出対象の人物の顔がクロッピング領域に含まれるようにクロッピング領域を決定することができる。
　なお、図１０は、映像クロッピング部１０６により、図９に示したクロッピング領域４０から生成されたクロッピング画像（クロッピング画像５０）の例を示した説明図である。図１０に示したように、クロッピング領域４０が映像クロッピング部１０６によりオリジナル画像３０から切り出されることにより、クロッピング画像５０は生成される。
　（２－１－３－２．決定例２）
　また、図１１に示したように、検出対象の物体の種類が例えばトラックなどの「大型の自動車」である場合には、クロッピング領域決定部１２４は、オリジナル画像３０における標準クロッピング領域４４を相対的に下方向に移動させることにより、クロッピング領域４０を決定する。一例として、上記の場合には、クロッピング領域決定部１２４は、まず、標準クロッピング領域４４の下端の高さと、検出されたトラック３００のタイヤの下端の高さとの差分を算出する。次に、クロッピング領域決定部１２４は、算出した差分だけトラックの検出位置３０２を下方向に移動した位置を算出する。そして、クロッピング領域決定部１２４は、算出された位置がクロッピング領域４０の中心となるようにクロッピング領域４０を決定する。
　通常、検出対象の物体の種類が「自動車」である場合には、検出目的の部分がナンバープレートに指定される場合が多い。この決定例２によれば、検出対象のトラックのナンバープレートがクロッピング領域に含まれるようにクロッピング領域を決定することができる。
　（２－１－３－３．変形例）
　なお、上記の説明では、クロッピング領域決定部１２４が、検出対象の物体の種類に対応する方向に標準クロッピング領域の位置を移動させることによりクロッピング領域を決定する例について説明したが、かかる例に限定されない。
　変形例として、クロッピング領域決定部１２４は、検出対象の物体の検出位置を基準として、当該物体の種類に対応する方向に標準クロッピング領域のサイズを拡大させた領域をクロッピング領域として決定することも可能である。例えば、図９に示した例では、クロッピング領域決定部１２４は、標準クロッピング領域４４の上端の高さと、検出された人物３００の頭頂の高さとの差分以上、標準クロッピング領域４４を上方向に拡大した（長方形の）領域をクロッピング領域として決定してもよい。
　＜２－２．動作＞
　以上、本実施形態による構成について説明した。続いて、本実施形態による動作について、図１２～図１４を参照して説明する。なお、ここでは、カメラ１０が映像クロッピング部１０６を四個有しており、そして、一枚のオリジナル画像から一枚の縮小画像および四枚のクロッピング画像を生成する場面における動作例について説明する。
　［２－２－１．全体の動作］
　図１２は、本実施形態による動作例を示したフローチャートである。図１２に示したように、まず、カメラ１０の撮影部１００は、所定のタイミングが到来したら、外部の映像を撮影することによりオリジナル画像を取得する（Ｓ１０１）。
　続いて、映像縮小部１０２は、Ｓ１０１で取得されたオリジナル画像を所定のサイズに縮小することにより縮小画像を生成する（Ｓ１０３）。
　その後、カメラ１０は、後述する「クロッピング画像生成処理」を映像クロッピング部１０６の個数、つまり４回繰り返して行う（Ｓ１０５～Ｓ１１１）。
　その後、通信部１０８は、Ｓ１０３で生成された縮小画像、およびＳ１０７で生成された４枚のクロッピング画像をストレージ２０へ送信する（Ｓ１１３）。
　［２－２－２．クロッピング画像生成処理］
　ここで、図１３～図１４を参照して、Ｓ１０７における「クロッピング画像生成処理」の動作について詳細に説明する。図１３に示したように、まず、カメラ１０の物体検出部１２０は、予め設定されている検出モードに基づいて、Ｓ１０１で取得されたオリジナル画像の中から検出対象の物体を検出する（Ｓ１５１）。
　続いて、検出領域算出部１２２は、Ｓ１５１で検出された物体の領域サイズを算出する。そして、クロッピング領域決定部１２４は、算出された領域サイズがクロッピング領域のサイズよりも大きいか否かを判定する（Ｓ１５３）。
　算出された領域サイズがクロッピング領域のサイズ以下である場合には（Ｓ１５３：Ｎｏ）、クロッピング領域決定部１２４は、標準クロッピング領域をクロッピング領域として決定する。すなわち、クロッピング領域決定部１２４は、Ｓ１５１で検出された物体の検出位置がクロッピング領域の中心となるようにクロッピング領域を決定する（Ｓ１６３）。そして、カメラ１０は、後述するＳ１７１の動作を行う。
　一方、算出された領域サイズがクロッピング領域のサイズよりも大きい場合には（Ｓ１５３：Ｙｅｓ）、クロッピング領域決定部１２４は、設定されている検出モードに対応する物体の種類が人であるか否かを判定する（Ｓ１５５）。検出対象の物体の種類が人である場合には（Ｓ１５５：Ｙｅｓ）、クロッピング領域決定部１２４は、Ｓ１０１で取得されたオリジナル画像において標準クロッピング領域を上方向に移動させることにより、クロッピング領域を決定する（Ｓ１５７）。そして、カメラ１０は、後述するＳ１７１の動作を行う。
　一方、設定されている検出モードに対応する物体の種類が自動車である場合には（Ｓ１５５：Ｎｏ、Ｓ１５９：Ｙｅｓ）、クロッピング領域決定部１２４は、Ｓ１０１で取得されたオリジナル画像において標準クロッピング領域を下方向に移動させることにより、クロッピング領域を決定する（Ｓ１６１）。そして、カメラ１０は、後述するＳ１７１の動作を行う。
　また、設定されている検出モードに対応する物体の種類が人または自動車のいずれでもない場合には（Ｓ１５５：Ｎｏ、Ｓ１５９：Ｎｏ）、クロッピング領域決定部１２４は、上述したＳ１６３の動作を行う。
　ここで、図１４を参照して、Ｓ１６３より後の動作について説明する。図１４に示したように、映像クロッピング部１０６は、Ｓ１５７、Ｓ１６１、またはＳ１６３で決定されたクロッピング領域を、Ｓ１０１で取得されたオリジナル画像から切り出すことによりクロッピング画像を生成する（Ｓ１７１）。
　＜２－３．効果＞
　［２－３－１．効果１］
　以上、例えば図４、図８、図１２～図１４などを参照して説明したように、本実施形態によるカメラ１０は、撮影したオリジナル画像から物体を検出し、そして、オリジナル画像における物体の検出位置を基準として、検出条件に応じて異なる相対的な方向に位置する領域をクロッピング領域として決定する。このため、例えば物体の検出位置が同じであっても、検出条件に応じて切り出し領域の位置を変化させることができる。
　例えば、検出された物体のサイズがクロッピング領域のサイズよりも大きい場合には、カメラ１０は、オリジナル画像における物体の検出位置を、当該物体の種類に対応する方向および移動量だけ移動した補正位置がクロッピング領域の中心となるようにクロッピング領域を決定する。このため、仮にクロッピング領域のサイズに対して検出対象の物体の領域サイズが大きい場合であっても、当該物体における検出目的の部分がクロッピング領域に含まれるようにクロッピング領域を設定することができる。その結果、クロッピング画像における検出目的の部分（例えば人の顔など）の視認性を向上させることができる。
　［２－３－２．効果２］
　また、クロッピング領域決定部１２４によるクロッピング領域の決定方法は簡易な方法であるので、カメラ１０は、クロッピング画像の生成をリアルタイムに行うことができる。
　［２－３－３．効果３］
　また、本実施形態によれば、カメラ１０単体で縮小画像およびクロッピング画像を生成することが可能である。このため、縮小画像およびクロッピング画像を生成するための例えばサーバなどの他の装置に、カメラ１０はオリジナル画像を送信する必要がないので、通信量を軽減することができる。
＜＜３．応用例＞＞
　以上、本実施形態について説明した。続いて、本実施形態の応用例について説明する。なお、本応用例による画像処理システムの構成は、図１に示した本実施形態と同様である。まず、本応用例を創作するに至った背景について説明する。
　検出対象の物体の検出位置がクロッピング領域の中心となるようにクロッピング領域を設定する方法の別の課題として、対象の物体がオリジナル画像の端の近くに位置する場合には、クロッピング領域の一部がオリジナル画像からはみ出てしまうことがある。
　この課題の解決を目的とした公知の技術では、クロッピング領域の中心をクロッピング対象の物体の位置と異ならせる方法が提案されている。例えば、公知の技術では、図１５に示したように、クロッピング領域４０の端の一部とオリジナル画像３０の端の一部とが一致するようにクロッピング領域４０を決定する。
　ところで、物体の検出処理では、検出対象の物体を確実に検出できるとは限らず、検出に失敗し得る。そして、検出に失敗した場合には、例えば図１６に示したように、通常、オリジナル画像３０における物体（人物）の位置とクロッピング領域４０の中心位置４１０とは異なることになる。
　このため、公知の技術では、図１５および図１６に示したように、検出対象の物体の検出に失敗したのか、あるいは、検出対象の物体がオリジナル画像の端の近くに位置するのかを、クロッピング画像を見ただけではユーザは判別することができないという問題がある。
　後述するように、本応用例によれば、クロッピング領域の一部がオリジナル画像から外れた場合には、クロッピング画像におけるオリジナル画像から外れた領域をユーザに明示することが可能である。
　＜３－１．構成＞
　次に、本応用例によるカメラ１０の構成について説明する。なお、本応用例によるカメラ１０に含まれる構成要素は、図４および図６に示した本実施形態と同様である。以下では、上述した実施形態と異なる機能を有する構成要素についてのみ説明を行う。
　［３－１－１．映像クロッピング部１０６］
　本応用例による映像クロッピング部１０６は、クロッピング領域決定部１２４により決定されたクロッピング領域の一部がオリジナル画像から外れた場合には、オリジナル画像から外れた領域を示す表示を含むようにクロッピング画像を生成する。例えば、映像クロッピング部１０６は、上記の場合には、クロッピング画像において、オリジナル画像から外れた領域を所定の色もしくは所定の模様で塗りつぶす。また、映像クロッピング部１０６は、上記の場合には、オリジナル画像から外れた領域内に所定の文字列を配置する。これらの生成例によれば、クロッピング画像において、オリジナル画像から外れた領域をユーザに明示することができる。
　ここで、図１７～図１８を参照して、上記の内容についてより詳細に説明する。図１７は、人物３００がオリジナル画像３０の端の近くに位置する場合において、クロッピング領域決定部１２４により決定されたクロッピング領域４０の例を示した説明図である。図１７に示した例では、人物３００の領域サイズはクロッピング領域４０のサイズよりも小さいので、クロッピング領域決定部１２４は、人物の検出位置３０２がクロッピング領域４０の中心となるようにクロッピング領域４０を決定する。その結果、図１７に示したように、クロッピング領域４０における一部の領域４０２は、オリジナル画像３０からはみ出る。
　また、図１８は、図１７に示したようにクロッピング領域４０が決定された場合に映像クロッピング部１０６により生成されるクロッピング画像の一例（クロッピング画像５０）を示した説明図である。図１８に示したように、映像クロッピング部１０６は、オリジナル画像３０から切り出された領域５００、および、オリジナル画像３０からはみ出した領域である、はみ出し領域５０２を含むようにクロッピング画像５０を生成する。ここで、切り出された領域５００は、図１７に示した、クロッピング領域４０のうちオリジナル画像３０に含まれる領域４００と同一になる。
　また、図１８に示したように、映像クロッピング部１０６は、はみ出し領域５０２を例えば所定の色で塗りつぶし、かつ、「Ｏｕｔ　ｏｆ　ｓｉｇｈｔ」のような、はみ出した領域であることを明示するための文字列をはみ出し領域５０２内に配置する。
　このクロッピング画像５０では、検出対象の物体の検出に成功していること、および、当該物体がオリジナル画像内の端の近くに位置することを明示することができる。さらに、当該物体がオリジナル画像内のいずれの端の近くに位置するか（例えば図１８に示した例では、オリジナル画像の右端の近くに位置すること）についても明示することができる。
　なお、その他の構成要素の機能については、本実施形態と同様である。
　＜３－２．動作＞
　以上、本応用例による構成について説明した。続いて、本応用例による動作について、図１９を参照して説明する。図１９は、本応用例による「クロッピング画像生成処理」の動作の一部を示したフローチャートである。なお、図１２～図１３に示した、本実施形態によるＳ１０１～Ｓ１６３の動作に関しては、本応用例でも同様である。また、図１９に示したＳ２０１の動作は、図１４に示した本実施形態によるＳ１７１と同様である。以下では、Ｓ２０１より後の動作について説明を行う。
　図１９に示したように、Ｓ２０１の後、映像クロッピング部１０６は、Ｓ１５７、Ｓ１６１、またはＳ１６３で決定されたクロッピング領域の一部が、Ｓ１０１で取得されたオリジナル画像からはみ出ているか否かを判定する（Ｓ２０３）。クロッピング領域の一部がオリジナル画像からはみ出ていない場合には（Ｓ２０３：Ｎｏ）、カメラ１０は、「クロッピング画像生成処理」を終了する。
　一方、クロッピング領域の一部がオリジナル画像からはみ出ている場合には（Ｓ２０３：Ｙｅｓ）、Ｓ２０１で生成されたクロッピング画像のうち、クロッピング領域におけるオリジナル画像から外れた領域を所定の色もしくは所定の模様で塗りつぶす（Ｓ２０５）。
　＜３－３．効果＞
　以上、例えば図１９などを参照して説明したように、本応用例によるカメラ１０は、決定したクロッピング領域の一部がオリジナル画像から外れた場合には、クロッピング画像において、オリジナル画像から外れた領域を示す表示を含むようにクロッピング画像を生成する。このため、物体の検出に失敗しているのか、あるいは、検出対象の物体の検出に成功しており、かつ、当該物体がオリジナル画像内の端の近くに位置しているのかの判別を、ユーザはクロッピング画像を見るだけで行うことができる。
　さらに、検出対象の物体がオリジナル画像の端の近くに位置している場合には、当該物体がいずれの端の近くに位置しているかについてもユーザはクロッピング画像を見るだけで識別することができる。
＜＜４．変形例＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　＜４－１．変形例１＞
　上述した実施形態では、本開示による画像処理装置がカメラ１０である例について説明したが、かかる例に限定されない。例えば、監視端末２２（の制御部２２０）が、カメラ１０の代わりに、上述した映像縮小部１０２、領域設定部１０４、および、複数の映像クロッピング部１０６の全てを有する場合には、本開示による画像処理装置は、監視端末２２であってもよい。
　また、別途設けられたサーバ（図示省略）が例えば通信網２４を介してカメラ１０と通信可能であり、かつ、このサーバが、カメラ１０の代わりに、上述した映像縮小部１０２、領域設定部１０４、および、複数の映像クロッピング部１０６の全てを有する場合には、本開示による画像処理装置は、サーバであってもよい。また、このサーバとストレージ２０とは一体的に構成されてもよい。
　＜４－２．変形例２＞
　また、上述した実施形態では、検出モードが予め設定されている例を中心に説明したが、かかる例に限定されない。例えば、カメラ１０は、撮影したオリジナル画像に含まれる物体の種類を識別し、そして、識別した種類に対応する検出モードを動的に設定することも可能である。一例として、撮影されたオリジナル画像内に含まれる物体の種類が人だけである場合には、カメラ１０は、例えば検出された物体領域の縦横比を算出することなどにより物体が人であることを識別し、そして、識別結果に対応する検出モード（例えば「人検出モード」）を動的に設定することも可能である。
　＜４－３．変形例３＞
　また、上述した実施形態によれば、例えばＣＰＵ、ＲＯＭ、およびＲＡＭなどのハードウェアを、上述した映像縮小部１０２、領域設定部１０４、および、映像クロッピング部１０６と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第１の画像から物体を検出する物体検出部と、
　前記第１の画像における前記物体の検出位置を基準として、検出条件に応じて異なる相対的な方向に位置する領域を切り出し領域として決定する切り出し領域決定部と、
を備える、画像処理装置。
（２）
　前記検出条件は、検出対象の物体の種類に対応づけられている、前記（１）に記載の画像処理装置。
（３）
　前記検出対象の物体の種類は、人または車両を含む、前記（２）に記載の画像処理装置。
（４）
　前記検出対象の物体が人である場合には、前記切り出し領域決定部は、前記第１の画像における人の検出位置を基準として、相対的に上方向に位置する領域を前記切り出し領域として決定する、前記（３）に記載の画像処理装置。
（５）
　前記検出対象の物体が車両である場合には、前記切り出し領域決定部は、前記第１の画像における車両の検出位置を基準として、相対的に下方向に位置する領域を前記切り出し領域として決定する、前記（３）または（４）に記載の画像処理装置。
（６）
　前記切り出し領域決定部は、前記第１の画像における前記物体の検出位置を、前記物体の種類に応じて異なる相対的な方向に移動させた位置が前記切り出し領域の中心となるように前記切り出し領域を決定する、前記（３）～（５）のいずれか一項に記載の画像処理装置。
（７）
　前記切り出し領域のサイズは、予め定められており、
　前記画像処理装置は、検出された物体の領域サイズを算出する検出領域算出部をさらに備え、
　前記切り出し領域決定部は、前記検出領域算出部により算出された領域サイズが前記切り出し領域のサイズよりも大きい場合に、前記第１の画像における前記物体の検出位置を基準として、前記検出対象の物体の種類に応じて異なる相対的な方向に位置する領域を前記切り出し領域として決定する、前記（３）～（６）のいずれか一項に記載の画像処理装置。
（８）
　前記第１の画像は、動画のフレーム画像であり、
　前記検出領域算出部は、前記第１の画像よりも前の複数のフレーム画像において算出された前記物体の領域サイズに基づいて、前記第１の画像における前記物体の領域サイズを算出する、前記（７）に記載の画像処理装置。
（９）
　前記画像処理装置は、前記切り出し領域決定部により決定された前記切り出し領域を前記第１の画像から切り出すことにより切り出し画像を生成する切り出し画像生成部をさらに備える、前記（１）～（８）のいずれか一項に記載の画像処理装置。
（１０）
　前記切り出し画像生成部は、前記切り出し領域決定部により決定された前記切り出し領域の一部が前記第１の画像から外れた場合には、前記第１の画像から外れた領域を示す表示を含むように前記切り出し画像を生成する、前記（９）に記載の画像処理装置。
（１１）
　前記第１の画像から外れた領域を示す表示は、前記第１の画像から外れた領域が所定の色もしくは所定の模様で塗りつぶされることを含む、前記（１０）に記載の画像処理装置。
（１２）
　前記第１の画像から外れた領域を示す表示は、前記第１の画像から外れた領域内に所定の文字列が配置されることを含む、前記（１０）または（１１）に記載の画像処理装置。
（１３）
　第１の画像から物体を検出することと、
　前記第１の画像における前記物体の検出位置を基準として、検出条件に応じて異なる相対的な方向に位置する領域を切り出し領域として決定することと、
を備える、画像処理方法。
（１４）
　第１の画像から物体を検出する物体検出部と、
　前記第１の画像における前記物体の検出位置を基準として、検出条件に応じて異なる相対的な方向に位置する領域を切り出し領域として決定する切り出し領域決定部と、
　前記切り出し領域決定部により決定された前記切り出し領域を前記第１の画像から切り出すことにより切り出し画像を生成する切り出し画像生成部と、
　生成された前記切り出し画像を記憶する記憶部と、
を備える、画像処理システム。
１０　カメラ
２０　ストレージ
２２　監視端末
２４　通信網
１００　撮影部
１０２　映像縮小部
１０４　領域設定部
１０６　映像クロッピング部
１０８　通信部
１２０　物体検出部
１２２　検出領域算出部
１２４　クロッピング領域決定部
２２０　制御部
２２２　通信部
２２４　表示部
２２６　入力部

Claims (14)

  1. 　第１の画像から物体を検出する物体検出部と、
    　前記第１の画像における前記物体の検出位置を基準として、検出条件に応じて異なる相対的な方向に位置する領域を切り出し領域として決定する切り出し領域決定部と、
    を備える、画像処理装置。
  2. 　前記検出条件は、検出対象の物体の種類に対応づけられている、請求項１に記載の画像処理装置。
  3. 　前記検出対象の物体の種類は、人または車両を含む、請求項２に記載の画像処理装置。
  4. 　前記検出対象の物体が人である場合には、前記切り出し領域決定部は、前記第１の画像における人の検出位置を基準として、相対的に上方向に位置する領域を前記切り出し領域として決定する、請求項３に記載の画像処理装置。
  5. 　前記検出対象の物体が車両である場合には、前記切り出し領域決定部は、前記第１の画像における車両の検出位置を基準として、相対的に下方向に位置する領域を前記切り出し領域として決定する、請求項３に記載の画像処理装置。
  6. 　前記切り出し領域決定部は、前記第１の画像における前記物体の検出位置を、前記物体の種類に応じて異なる相対的な方向に移動させた位置が前記切り出し領域の中心となるように前記切り出し領域を決定する、請求項３に記載の画像処理装置。
  7. 　前記切り出し領域のサイズは、予め定められており、
    　前記画像処理装置は、検出された物体の領域サイズを算出する検出領域算出部をさらに備え、
    　前記切り出し領域決定部は、前記検出領域算出部により算出された領域サイズが前記切り出し領域のサイズよりも大きい場合に、前記第１の画像における前記物体の検出位置を基準として、前記検出対象の物体の種類に応じて異なる相対的な方向に位置する領域を前記切り出し領域として決定する、請求項３に記載の画像処理装置。
  8. 　前記第１の画像は、動画のフレーム画像であり、
    　前記検出領域算出部は、前記第１の画像よりも前の複数のフレーム画像において算出された前記物体の領域サイズに基づいて、前記第１の画像における前記物体の領域サイズを算出する、請求項７に記載の画像処理装置。
  9. 　前記画像処理装置は、前記切り出し領域決定部により決定された前記切り出し領域を前記第１の画像から切り出すことにより切り出し画像を生成する切り出し画像生成部をさらに備える、請求項１に記載の画像処理装置。
  10. 　前記切り出し画像生成部は、前記切り出し領域決定部により決定された前記切り出し領域の一部が前記第１の画像から外れた場合には、前記第１の画像から外れた領域を示す表示を含むように前記切り出し画像を生成する、請求項９に記載の画像処理装置。
  11. 　前記第１の画像から外れた領域を示す表示は、前記第１の画像から外れた領域が所定の色もしくは所定の模様で塗りつぶされることを含む、請求項１０に記載の画像処理装置。
  12. 　前記第１の画像から外れた領域を示す表示は、前記第１の画像から外れた領域内に所定の文字列が配置されることを含む、請求項１０に記載の画像処理装置。
  13. 　第１の画像から物体を検出することと、
    　前記第１の画像における前記物体の検出位置を基準として、検出条件に応じて異なる相対的な方向に位置する領域を切り出し領域として決定することと、
    を備える、画像処理方法。
  14. 　第１の画像から物体を検出する物体検出部と、
    　前記第１の画像における前記物体の検出位置を基準として、検出条件に応じて異なる相対的な方向に位置する領域を切り出し領域として決定する切り出し領域決定部と、
    　前記切り出し領域決定部により決定された前記切り出し領域を前記第１の画像から切り出すことにより切り出し画像を生成する切り出し画像生成部と、
    　生成された前記切り出し画像を記憶する記憶部と、
    を備える、画像処理システム。
PCT/JP2016/054553 2015-04-14 2016-02-17 画像処理装置、画像処理方法、および画像処理システム WO2016167017A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680019671.XA CN107431762B (zh) 2015-04-14 2016-02-17 图像处理设备、图像处理方法以及图像处理系统
EP16779809.9A EP3285477B1 (en) 2015-04-14 2016-02-17 Image processing device, image processing method, and image processing system
JP2017512215A JP6724904B2 (ja) 2015-04-14 2016-02-17 画像処理装置、画像処理方法、および画像処理システム
US15/559,979 US11263769B2 (en) 2015-04-14 2016-02-17 Image processing device, image processing method, and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015082273 2015-04-14
JP2015-082273 2015-04-14

Publications (1)

Publication Number Publication Date
WO2016167017A1 true WO2016167017A1 (ja) 2016-10-20

Family

ID=57126149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/054553 WO2016167017A1 (ja) 2015-04-14 2016-02-17 画像処理装置、画像処理方法、および画像処理システム

Country Status (5)

Country Link
US (1) US11263769B2 (ja)
EP (1) EP3285477B1 (ja)
JP (1) JP6724904B2 (ja)
CN (1) CN107431762B (ja)
WO (1) WO2016167017A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019519015A (ja) * 2016-03-31 2019-07-04 クアルコム，インコーポレイテッド 動的で確率的なワークの削減を伴う幾何学的なワークスケジューリング
JPWO2018155683A1 (ja) * 2017-02-24 2019-12-26 国立研究開発法人宇宙航空研究開発機構 飛翔体、及びプログラム
US11823715B2 (en) 2019-03-20 2023-11-21 Sony Group Corporation Image processing device and image processing method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6693509B2 (ja) * 2015-04-14 2020-05-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP6572500B1 (ja) * 2018-03-14 2019-09-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
JP7216487B2 (ja) * 2018-06-21 2023-02-01 キヤノン株式会社 画像処理装置およびその制御方法
EP3852357A4 (en) * 2018-09-12 2021-10-13 Sony Group Corporation IMAGE PROCESSING DEVICE, PROGRAM, AND IMAGE PROCESSING METHOD
JP7491297B2 (ja) * 2019-02-21 2024-05-28 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
CN112136311B (zh) * 2019-10-22 2022-07-12 深圳市大疆创新科技有限公司 一种图像处理方法、设备、成像系统及存储介质
CN112954267B (zh) * 2019-12-11 2023-02-07 杭州海康威视数字技术股份有限公司 一种用于生成报警视频的摄像机
JP2021180379A (ja) * 2020-05-12 2021-11-18 キヤノン株式会社 撮像装置および撮像装置の制御方法
WO2023286367A1 (ja) * 2021-07-15 2023-01-19 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289516A (ja) * 2003-03-24 2004-10-14 Konica Minolta Holdings Inc 画像処理方法、画像処理装置、画像処理プログラム及び画像読取装置
JP2005175684A (ja) * 2003-12-09 2005-06-30 Nikon Corp デジタルカメラおよびデジタルカメラの画像取得方法
JP2006345134A (ja) * 2005-06-08 2006-12-21 Tomy Co Ltd デジタルカメラ
JP2008288797A (ja) * 2007-05-16 2008-11-27 Nikon Corp 撮像装置
JP2010103972A (ja) * 2008-09-25 2010-05-06 Sanyo Electric Co Ltd 画像処理装置及び電子機器

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4516665B2 (ja) 2000-05-19 2010-08-04 パナソニック株式会社 監視装置
JP2005012764A (ja) * 2003-05-22 2005-01-13 Casio Comput Co Ltd データ通信装置、画像送信方法および画像送信プログラム
JP4181923B2 (ja) * 2003-05-29 2008-11-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
US7171058B2 (en) * 2003-07-31 2007-01-30 Eastman Kodak Company Method and computer program product for producing an image of a desired aspect ratio
JP2005184266A (ja) 2003-12-17 2005-07-07 Olympus Corp 撮像装置
US20060072847A1 (en) * 2004-10-01 2006-04-06 Microsoft Corporation System for automatic image cropping based on image saliency
JP5150943B2 (ja) * 2006-12-18 2013-02-27 富士フイルム株式会社 監視システム、監視方法、及びプログラム
EP2100453B1 (en) * 2006-12-18 2013-07-03 FUJIFILM Corporation Monitoring system, monitoring method and program
JP5033412B2 (ja) * 2006-12-25 2012-09-26 富士フイルム株式会社 監視システム、監視方法、及びプログラム
JP2009089356A (ja) * 2007-09-10 2009-04-23 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
JP5111088B2 (ja) * 2007-12-14 2012-12-26 三洋電機株式会社 撮像装置及び画像再生装置
US20100074557A1 (en) 2008-09-25 2010-03-25 Sanyo Electric Co., Ltd. Image Processing Device And Electronic Appliance
JP5237055B2 (ja) * 2008-11-07 2013-07-17 キヤノン株式会社 映像送信装置、映像送信方法、およびコンピュータプログラム
JP5302740B2 (ja) * 2009-04-08 2013-10-02 オリンパスイメージング株式会社 画像表示装置
US8922661B2 (en) * 2009-11-30 2014-12-30 Hewlett-Packard Development Company, L.P. Stabilizing a subject of interest in captured video
JP5427577B2 (ja) * 2009-12-04 2014-02-26 パナソニック株式会社 表示制御装置及び表示画像形成方法
TWI430185B (zh) * 2010-06-17 2014-03-11 Inst Information Industry 臉部表情辨識系統及其辨識方法及其電腦程式產品
JP2012205037A (ja) * 2011-03-25 2012-10-22 Olympus Imaging Corp 画像処理装置および画像処理方法
CN102663357A (zh) * 2012-03-28 2012-09-12 北京工业大学 基于颜色特征的停车场车位检测算法
US9317908B2 (en) * 2012-06-29 2016-04-19 Behavioral Recognition System, Inc. Automatic gain control filter in a video analysis system
EP2680219A1 (en) * 2012-06-29 2014-01-01 Thomson Licensing Method for reframing images of a video sequence, and apparatus for reframing images of a video sequence
CN102799868B (zh) * 2012-07-10 2014-09-10 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
JP2014123815A (ja) * 2012-12-20 2014-07-03 Sony Corp 画像処理装置、画像処理方法及び記録媒体
US9087263B2 (en) * 2013-12-09 2015-07-21 National Chung Shan Institute Of Science And Technology Vision based pedestrian and cyclist detection method
JP6693509B2 (ja) * 2015-04-14 2020-05-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289516A (ja) * 2003-03-24 2004-10-14 Konica Minolta Holdings Inc 画像処理方法、画像処理装置、画像処理プログラム及び画像読取装置
JP2005175684A (ja) * 2003-12-09 2005-06-30 Nikon Corp デジタルカメラおよびデジタルカメラの画像取得方法
JP2006345134A (ja) * 2005-06-08 2006-12-21 Tomy Co Ltd デジタルカメラ
JP2008288797A (ja) * 2007-05-16 2008-11-27 Nikon Corp 撮像装置
JP2010103972A (ja) * 2008-09-25 2010-05-06 Sanyo Electric Co Ltd 画像処理装置及び電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3285477A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019519015A (ja) * 2016-03-31 2019-07-04 クアルコム，インコーポレイテッド 動的で確率的なワークの削減を伴う幾何学的なワークスケジューリング
JPWO2018155683A1 (ja) * 2017-02-24 2019-12-26 国立研究開発法人宇宙航空研究開発機構 飛翔体、及びプログラム
US11262447B2 (en) 2017-02-24 2022-03-01 Japan Aerospace Exploration Agency Flying body and program
JP7521768B2 (ja) 2017-02-24 2024-07-24 国立研究開発法人宇宙航空研究開発機構 飛翔体
US11823715B2 (en) 2019-03-20 2023-11-21 Sony Group Corporation Image processing device and image processing method

Also Published As

Publication number Publication date
US11263769B2 (en) 2022-03-01
JP6724904B2 (ja) 2020-07-15
EP3285477A4 (en) 2018-09-19
CN107431762B (zh) 2020-12-01
JPWO2016167017A1 (ja) 2018-02-08
EP3285477B1 (en) 2023-06-28
EP3285477A1 (en) 2018-02-21
CN107431762A (zh) 2017-12-01
US20180108144A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
WO2016167017A1 (ja) 画像処理装置、画像処理方法、および画像処理システム
JP6693509B2 (ja) 画像処理装置、画像処理方法、および画像処理システム
JP6604019B2 (ja) 画像処理装置、画像処理方法、および画像処理システム
JP6439820B2 (ja) 対象識別方法、対象識別装置、及び分類器訓練方法
JP5576937B2 (ja) 車両の周辺監視装置
US9295141B2 (en) Identification device, method and computer program product
US20120020523A1 (en) Information creation device for estimating object position and information creation method and program for estimating object position
CN111767888A (zh) 对象状态检测方法、计算机设备、存储介质和电子设备
JP6551226B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP2012103789A (ja) オブジェクト表示装置及びオブジェクト表示方法
US20170190301A1 (en) Vehicle periphery monitoring device
US20120056995A1 (en) Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety
JP6088024B2 (ja) 不正を検出するためのビデオ監視システムおよび方法
JP5780979B2 (ja) 車両状態検出装置、車両挙動検出装置及び車両状態検出方法
US10573014B2 (en) Image processing system and lens state determination method
KR20150060032A (ko) 움직임 검출 시스템 및 방법
JP7435298B2 (ja) 物体検出装置および物体検出方法
KR102710645B1 (ko) 객체 썸네일 처리장치 및 그 장치의 구동방법
JP2010186435A (ja) 煙検出装置
JP6948222B2 (ja) 撮影画像に含まれる停車場所を判定するためのシステム、方法、及びプログラム
JP2024089476A (ja) 情報処理装置、検知装置、情報処理方法及びプログラム
JP2013065238A (ja) コーナー検出装置
JP2011170812A (ja) 駐車検出装置、駐車検出方法および駐車検出プログラム
JP2016189504A (ja) 形状認識装置及び形状認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16779809

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016779809

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017512215

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15559979

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE