WO2016098720A1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
WO2016098720A1
WO2016098720A1 PCT/JP2015/084904 JP2015084904W WO2016098720A1 WO 2016098720 A1 WO2016098720 A1 WO 2016098720A1 JP 2015084904 W JP2015084904 W JP 2015084904W WO 2016098720 A1 WO2016098720 A1 WO 2016098720A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
image
images
image processing
time
Prior art date
Application number
PCT/JP2015/084904
Other languages
English (en)
French (fr)
Inventor
塩田 奈津子
木戸 稔人
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2016539234A priority Critical patent/JP6004148B1/ja
Publication of WO2016098720A1 publication Critical patent/WO2016098720A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to an image processing apparatus, an image processing method, and an image processing program for tracking a registered tracking target on a time-series image.
  • Patent Document 1 discloses a monitoring system for facilitating searching for a lost child.
  • the monitoring system disclosed in Japanese Patent Application Laid-Open No. 2004-151820 tracks a lost child by so-called template matching that searches for characteristics (for example, color and shape) of a tracking target in another image. For example, when the tracking target is hidden behind the object or the tracking target is undressed, the monitoring system cannot search for the tracking target in the image and cannot continue the tracking process.
  • template matching searches for characteristics (for example, color and shape) of a tracking target in another image. For example, when the tracking target is hidden behind the object or the tracking target is undressed, the monitoring system cannot search for the tracking target in the image and cannot continue the tracking process.
  • the present disclosure has been made to solve the above-described problems, and an object of the present disclosure is to provide an image processing apparatus capable of continuing a search for a tracking target even when the search for the tracking target fails. Is to provide.
  • An object in another aspect is to provide an image processing method capable of continuing a search for a tracking target even when the search for the tracking target fails.
  • Still another object of the present invention is to provide an image processing program capable of continuing the search for the tracking target even when the search for the tracking target fails.
  • the image processing apparatus inputs a display unit, a plurality of images, a storage unit for storing each of the plurality of images, and a part of the plurality of images.
  • a first receiving unit for receiving a setting of a reference region to be tracked in the input image while displaying the image on the display unit, and an image having a shooting time in time series with the input image among the plurality of images
  • a search unit for searching for a region similar to the reference region in the search image in order of time series of the search image, and a probability of a search result sequentially output by the search unit are predetermined.
  • the display control unit displays the images captured in a time series including the capturing time of the search image that does not satisfy the condition on the display unit, and the display control unit In the image to be displayed in the column, and a second receiving unit for accepting the setting of new reference region to be tracked.
  • the image displayed in chronological order by the display control unit includes at least one of a still image that is displayed side by side in the order of shooting time and a moving image that is displayed in order of the shooting time.
  • the display control unit repeatedly displays the moving image on the display unit.
  • the display control unit displays the moving image on the display unit at an interval longer than the interval of the photographing time of each image.
  • the search process by the search unit is executed in the order of going back the shooting time of the search image.
  • the display control unit sequentially displays the search results on the display unit while the likelihood of the search results sequentially output by the search unit satisfies a predetermined condition.
  • the search result includes at least one of a region similar to the reference region in the search image and the shooting time of the search image.
  • the display control unit changes the display method of the region similar to the reference region according to the degree of likelihood of the search result sequentially output by the search unit.
  • the image processing apparatus further includes a time receiving unit for receiving time input, and a search unit for searching for an image having the closest time and shooting time as an input image from a plurality of images.
  • the image processing apparatus uses the new reference area as a reference when a new reference area is set within a certain period of time after being ready to set a new reference area.
  • the search process by the search unit is continued.
  • the image processing apparatus ends the search process by the search unit when a new reference area is not set within a certain period of time after becoming ready to set a new reference area.
  • the storage unit stores a plurality of images taken by a plurality of cameras.
  • the image processing apparatus sets a new reference area within a certain period of time after a new reference area can be set in an image captured by one of a plurality of cameras. If not, the search process by the search unit is continued in an image taken by a camera adjacent to one camera.
  • an image processing method includes a step of storing a plurality of images and respective shooting times of the plurality of images, and displaying a part of the plurality of images as an input image, Receiving a setting of a reference region to be tracked in the input image, and using a search image as an image whose shooting time is in time series with the input image among the plurality of images, in the order of time series of the search image
  • a search image that no longer satisfies a predetermined condition when the search for a region similar to the reference region in the search image and the probability of the search results sequentially output in the search step no longer satisfy a predetermined condition
  • a step of accepting the setting of a new reference region that is a step of images taken in a time series including a shooting time in a time series, and a tracking target in an image displayed in a time series
  • an image processing program executed on a computer stores a plurality of images and respective shooting times of the plurality of images in the computer, and a part of the plurality of images.
  • the tracking target search can be continued.
  • Image processing apparatus 100A is used, for example, to search for a lost child or to search for an elderly person who hesitates.
  • the operator of the image processing apparatus 100A checks the video of the surveillance camera and searches for an image in which the lost child is reflected. The operator sets an area where the lost child is reflected in the image as a reference area, and inputs an instruction to start the tracking process.
  • the image processing apparatus 100A receives the instruction, the image processing apparatus 100A searches for the reference region in time series from the video of the monitoring camera and tracks the lost child. Thereby, the image processing apparatus 100A can easily find a lost child.
  • the image processing apparatus 100A searches for lost children from videos of a plurality of surveillance cameras. Thereby, the image processing apparatus 100A can search the tracking target in a wider range.
  • the image processing apparatus 100A continues the tracking process when the tracking target is hidden behind the object, when the tracking target is undressed, or when a person wearing clothes of the same color passes each other. There are times when it cannot When the tracking process fails, the image processing apparatus 100A described below displays a series of images in which the image at the time of the tracking process and the shooting time is continuous, and a new tracking target is added to the series of images. Provides a user interface for accepting settings. Accordingly, the image processing apparatus 100A can continue to search for the tracking target even when the tracking process fails in the middle.
  • FIG. 1 is a conceptual diagram showing processing executed by the image processing apparatus 100A in time series.
  • FIG. 1 shows time-series images (input image 30A and search images 30B to 30G) obtained when a person 35 passes in front of a camera 11 described later.
  • the image processing apparatus 100A accepts the setting of a reference area to be tracked.
  • FIG. 1 shows an example in which the reference area 34A is set in the input image 30A (see step (1) in FIG. 1).
  • the input image 30A may be manually selected from the image of the camera 11 by an operator, or may be selected based on the input time as described in the “second embodiment”.
  • the reference area 34A is set on the input image 30A so as to surround the person 35 as an example of the tracking target.
  • the image processing apparatus 100A is configured to set a rectangular reference region on the input image 30A by operating the pointer 36 with a mouse (not shown) or the like.
  • the image processing apparatus 100A When the image processing apparatus 100A receives the setting of the reference area 34A on the input image 30A, the input image 30A and the search images 30B to 30G in time series are arranged in the time series in order of the reference area 34A set in the input image 30A. A similar area is searched in the search images 30B to 30G (see step (2) in FIG. 1). In this way, the tracking processing of the person 35 is realized by the image processing apparatus 100A repeating the reference region search processing in time series.
  • the search processing has failed because the person 35 is hidden by the pillar 38 in the search image 30F.
  • the image processing apparatus 100A displays images captured in a time series including the capturing time of the search image 30F in time series. That is, the image processing apparatus 100A displays a series of images in which the shooting time is continuous with the search image 30F in which the search process has failed.
  • FIG. 1 shows a search image 30F that has failed in the search process, and search images 30E and 30G that have shooting times before and after the search image 30F, as examples of images that are displayed when the search process fails.
  • the image processing apparatus 100A accepts the setting of a new reference area to be tracked in the search images 30E to 30G displayed in time series when the search process fails.
  • FIG. 1 shows an example in which a new reference area 34G is set in the search image 30G (see step (3) in FIG. 1).
  • the image processing apparatus 100A loses sight of the tracking target, it is configured to accept a new setting of the reference region, so that when the tracking target is hidden behind the object, the tracking target undresses.
  • the image processing apparatus 100A can continue the tracking process of the tracking target.
  • the image processing apparatus 100A can continue searching for the tracking target even when the tracking target search fails, and as a result, the accuracy of the tracking process can be increased.
  • the person 35 is taken as an example of the tracking target, but the tracking target is not limited to a person.
  • the tracking target may be a moving object such as an animal such as a dog or an object such as a car.
  • the search image 30F in which the search process has failed and the search images 30E and 30G in which the shooting times are before and after has been described has been described.
  • only a search image with a new shooting time may be displayed.
  • the image processing apparatus 100 ⁇ / b> A may display only a search image whose shooting time is older than the search image for which the search process has failed.
  • FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus 100A.
  • the image processing apparatus 100 ⁇ / b> A includes a CPU (Central Processing Unit) 2 and a storage device 10.
  • CPU2 contains the 1st reception part 210, the search part 220, the display control part 230, and the 2nd reception part 240 as the function structure.
  • the storage device 10 stores a plurality of images 30 and respective shooting times of the plurality of images 30.
  • the first reception unit 210 sets a reference area to be tracked in the input image while displaying a part (for example, one) of the plurality of images 30 as an input image on the display 12 (display unit) described later. Accept.
  • the first reception unit 210 outputs the received reference area to the search unit 220.
  • the reference area is shown as coordinates on the input image.
  • the search unit 220 uses, as a search image, an image whose shooting time is in time series with the input image among the plurality of images 30, in the order of the search image in time series, an area similar to the reference area (hereinafter, referred to as a reference area) It is also called “similar area”. More specifically, the search unit 220 searches for similar regions in which the similarity of the image information with the reference region is relatively high in the search image in the order of the search image whose shooting time is continuous with the input image. To do. Typically, the search unit 220 determines an area in the search image having the maximum similarity to the reference area as the similar area. For example, the reference area search process is realized by an image processing technique such as template matching or optical flow.
  • the similarity is indicated by an SAD (Sum of Absolute Difference) value, an SSD (Sum of Squared Difference) value, an NCC (Normalized Cross-Correlation) value, or a ZNCC (Zero-mean Normalized Cross-Correlation) value.
  • SAD Sud of Absolute Difference
  • SSD SSD
  • NCC Normalized Cross-Correlation
  • ZNCC Zero-mean Normalized Cross-Correlation
  • the search processing by the search unit 220 is executed in order of the shooting time of the search image.
  • the operator can execute the tracking process on the search image whose shooting time is newer than the input image in which the reference area is set.
  • the search process by the search unit 220 is executed in order of going back to the shooting time of the search image.
  • the operator can perform tracking processing on a search image having a shooting time older than that of the input image in which the reference region is set.
  • the tracking function that goes back to the shooting time is used to return the video to the time when the parent was with the child who was lost.
  • the operator first sets an image showing only the parent as an input image and an area where only the parent is shown as a reference region.
  • the image processing apparatus 100A performs the tracking process in the order that the shooting time is traced back to the time when both the parent and the child are shown.
  • the operator resets the area where the child is shown as the reference area.
  • the image processing apparatus 100A starts a tracking process for tracking a child. As a result, the operator can efficiently search for a child who is lost.
  • the tracking function that goes back to the shooting time is used for measures against lost items and pick-ups.
  • the operator can trace a person who has lost a thing or a person who is in a picked-up object and starts tracking processing that goes back to the shooting time, so that the operator can go back to the point at which the lost thing or picked up.
  • the display control unit 230 When the likelihood of the search result sequentially output by the search unit 220 does not satisfy a predetermined condition, the display control unit 230 is captured during a period including the shooting time of the search image that does not satisfy the condition. Images (hereinafter also referred to as “series of images”) are displayed on the display 12 in time series. As an example, the probability of the search result is indicated by the similarity of the image information between the reference area of the input image and the similar area of the search image. It is assumed that the display control unit 230 satisfies the predetermined condition while the similarity that is sequentially output is higher than a predetermined value.
  • the display control unit 230 does not satisfy the predetermined condition when the sequentially output similarity becomes one or more times less than a predetermined value.
  • the display control part 230 shall not satisfy
  • search success the probability of the search result satisfies the predetermined condition
  • search failure the case where the probability of the search result does not satisfy the predetermined condition
  • the second accepting unit 240 accepts the setting of a new reference area to be tracked in a series of images displayed by the display control unit 230.
  • the second reception unit 240 outputs the received new reference area to the search unit 220.
  • the search unit 220 receives the setting of a new reference area, the search unit 220 continues the search process based on the new reference area.
  • FIG. 3 is a diagram illustrating an example of a screen displayed on the display 12 during the successful search for the tracking target.
  • FIG. 3 shows a state in which the person 35 is being tracked.
  • the display control unit 230 sequentially displays the search results on the display 12 while the certainty of the search results sequentially output by the search unit 220 (see FIG. 2) satisfies a predetermined condition.
  • the search result includes at least one of a region in the search image similar to the reference region set by the operator (that is, a similar region) and the shooting time of the search image.
  • the display control unit 230 displays both the search image and the shooting time, for example.
  • the display control unit 230 may display only the shooting time while the search is successful.
  • the display control unit 230 displays the similar regions 37H to 37J and the photographing times 38H to 38J of the search images 30H to 30J as the search result of the person 35.
  • the display control unit 230 displays a similar region 37H to the reference region in the search image 30H and a shooting time 38H of the search image 30H.
  • the display control unit 230 displays a similar region 37I with the reference region in the search image 30I and the shooting time 38I of the search image 30I.
  • the display control unit 230 displays a similar region 37J to the reference region in the search image 30J and the shooting time 38J of the search image 30J.
  • the display control unit 230 sequentially displays the similar areas 37H to 37J with the reference area and the photographing times 38H to 38J of the search image, so that the operator can confirm the tracking result of the person 35 at a glance. become able to.
  • the search images 30H to 30J for which the search process has been completed are displayed as moving images by fast-forwarding. That is, the search images 30H to 30J for which the search process has been completed are sequentially displayed at intervals shorter than the shooting time intervals of the search images 30H to 30J during tracking success.
  • the operator of the image processing apparatus 100A can perform a tracking target confirmation operation at a high speed during tracking success.
  • the display control unit 230 may change the display colors of the similar regions 37H to 37J according to the degree of similarity with the reference region. For example, the display control unit 230 displays the edges of the similar regions 37H to 37J in red when the similarity is low, and displays the edges of the similar regions 37H to 37J in green when the similarity is high. By changing the display color in this way, the operator can confirm the level of similarity at a glance. In addition to changing the display color, the display control unit 230 may represent the degree of similarity by other methods such as changing the image quality.
  • FIG. 4 is a diagram illustrating a modification of the screen displayed on the display 12 during the successful search for the tracking target.
  • the display control unit 230 displays a specific still image instead of a moving image while the search for the tracking target is successful.
  • FIG. 4 shows an example in which a still image 30K written as “tracking” is displayed on the display 12 as an image displayed during a successful search.
  • the operator of the image processing apparatus 100A can omit the tracking target confirmation work during the tracking success.
  • FIG. 5 is a diagram illustrating an example of a screen displayed on the display 12 when the tracking target search fails.
  • the display control unit 230 does not satisfy the condition. Images taken during a period including the shooting time are displayed on the display 12 in time series. That is, when the search process fails, the display control unit 230 displays a series of images in which the search time and the shooting time are consecutive in the time series.
  • the search unit 220 fails the search process in the search image 30M.
  • the display control unit 230 displays a search image 30M for which the search process has failed and a series of search images 30L to 30N in which shooting times are continuous in time series.
  • an image that is displayed when the search process fails is displayed as a moving image that is sequentially displayed in order of shooting time.
  • FIG. 5 shows search images 30L to 30N displayed in order as moving images.
  • the image displayed when the search process fails is displayed as a moving image, so that the operator can visually confirm the cause of the search process failure.
  • the display control unit 230 repeatedly displays the search images 30L to 30N displayed as moving images.
  • the operator can visually confirm the cause of the failure of the search process many times.
  • the display control unit 230 displays the search images 30L to 30N as moving images at intervals longer than the shooting time intervals of the search images 30L to 30N. That is, the display control unit 230 performs slow playback of the search images 30L to 30N. As a result, the operator can accurately confirm the cause of the failure of the search process.
  • images displayed in time series are displayed as still images side by side in order of shooting time.
  • FIG. 5 shows search images 31L to 31N displayed side by side as still images.
  • the search image 31L as a still image corresponds to the search image 30L as a moving image.
  • the search image 31M as a still image corresponds to the search image 30M as a moving image.
  • the search image 31N as a still image corresponds to the search image 30N as a moving image.
  • the search images 31L to 31N are displayed side by side as still images, thereby improving the operability of resetting a reference area described later.
  • the display control unit 230 changes the image quality when displaying at least one of the search images 30L to 30N and the search images 31L to 31N.
  • the image quality can be changed by image processing such as contrast enhancement, edge enhancement, and saturation enhancement.
  • FIG. 6 is a diagram showing a modification of the screen displayed on the display 12 when the tracking target search fails.
  • the search control unit 230 when the search control unit 230 repeatedly displays the search images 30L to 30N as moving images when the search of the tracking target fails, the enlarged images 33L to 33N obtained by enlarging the similar regions 32L to 32N that are the search results. Are displayed in time series in accordance with the display of the search images 30L to 30N. More specifically, when displaying the search image 30L, the display control unit 230 displays the similar region 32L in the search image 30L and the enlarged image 33L of the similar region 32L. When the search image 30M is displayed, the display control unit 230 displays the similar region 32M in the search image 30M and also displays the enlarged image 33M of the similar region 32M.
  • the display control unit 230 When displaying the search image 30N, the display control unit 230 displays the similar region 32N in the search image 30N and the enlarged image 33N of the similar region 32N. By repeatedly displaying the enlarged images 33L to 33N, the operator can confirm the cause of the failure of the search process in more detail.
  • FIG. 7 is a diagram illustrating an example of a reference area resetting screen.
  • FIG. 7 a series of search images 31L to 31N displayed when the search fails are shown in the display area 31.
  • the operator can display a search image having a shooting time older than that of the search images 31L to 31N in the display area 31.
  • the operator can cause the search area 31 to display a search image having a newer shooting time than the search images 31L to 31N by selecting the forward button 42 with the pointer 36.
  • FIG. 7 shows an example in which a search image 31N is selected and a search image 30N obtained by enlarging the search image 31N is displayed.
  • the image processing apparatus 100A accepts resetting of the reference area for the displayed search image 30N.
  • the method of resetting the reference area is arbitrary.
  • the image processing apparatus 100A is configured such that the similar area 45 displayed in the search image 30N can be designated by the pointer 36, and is configured to be able to move the designated similar area 45. Is done.
  • the image processing apparatus 100 ⁇ / b> A receives the area 46 that is the movement destination of the similar area 45 as a new reference area.
  • the image processing apparatus 100A may be configured to surround an arbitrary area on the search image 30N with a pointer as a new reference area.
  • the image processing apparatus 100 ⁇ / b> A uses the new reference area as a reference when the new reference area is implemented within a certain period of time after becoming ready to set a new reference area.
  • the search process is started based on the setting of the new reference area, the operator does not need to input an instruction for resuming the tracking process. Therefore, the operability of the image processing apparatus 100A is improved.
  • the image processing apparatus 100 ⁇ / b> A has a case where a new reference area has not been set for a certain period of time after becoming ready to set a new reference area (for example, an operator is displayed). For example, when a region to be reset as a reference region cannot be found for the search image 30N), the search process ends. As a result, the operator does not need to input an instruction to end the tracking process, and the operability of the image processing apparatus 100A is improved.
  • FIG. 8 is a diagram illustrating a modification of the reference area resetting screen.
  • an enlarged image 39Q of the reference area 38Q reset in the search image 30Q is displayed.
  • the operator can accurately set and confirm a new reference area.
  • the enlarged image 39Q is updated every time the operator resets the reference area 38Q.
  • FIG. 9 is a diagram illustrating a modification of the reference area resetting screen.
  • the reference areas 37R to 37U set in the past are displayed in the display area 33 as a history.
  • the operator can set again the reference area used in the past as a new reference area by selecting any of the reference areas 37R to 37U with the pointer 36.
  • FIG. 9 shows an example in which the reference area 37U is selected.
  • the image processing apparatus 100A displays the search image 30U including the reference area 37U on the display 12, and displays the reference area 32U corresponding to the selected reference area 37U in the search image 30U. .
  • the operator can set any one of the reference areas 37R to 37U as a history as a new reference area again. Thereby, the operator can easily return the setting to the reference area set in the past when the setting of the reference area is wrong or when the search result is not expected.
  • Reference area reset screen 4 (Reference area reset screen 4)
  • the image processing apparatus 100A sequentially detects the persons in the search image after the tracking target search process has failed, and displays the detected persons on the reset screen.
  • the image processing apparatus 100A is configured to be able to select a specific person from among the displayed persons, and sets the selected person as a new reference area. As a result, the image processing apparatus 100A can continuously track the person who has reappeared at the entrance.
  • FIG. 10 is a diagram illustrating an example of a tracking result display screen.
  • the image processing apparatus 100A displays the tracking result on the display 12 when the search process executed for each of the search images ends normally, that is, when the tracking process ends normally.
  • the tracking result is a result obtained by integrating the above-described search results output for each search image and finally output by the image processing apparatus 100A.
  • the image processing apparatus 100A outputs the latest search result as a tracking result.
  • the image processing apparatus 100A outputs a search result corresponding to the time designated by the operator as a tracking result.
  • FIG. 10 shows an example in which the tracking result 48 is shown on the display 12.
  • the tracking result 48 indicates information on the camera in which the tracking target is shown and the location where the tracking target was present.
  • the tracking result may be transmitted to a store attendant or the like. More specifically, the attendant holds a portable terminal such as a tablet terminal, and the tracking result is transmitted from the image processing apparatus 100A to the tablet terminal. At this time, preferably, the image processing apparatus 100A transmits the tracking result to the tablet terminal that is located closest to the location indicated in the tracking result. Thereby, the clerk can quickly find the tracking target at the site.
  • FIG. 11 is a flowchart showing processing executed by image processing apparatus 100A.
  • the processing in FIG. 11 is realized by the CPU 2 (see FIG. 2) of the image processing apparatus 100A executing a program. In another aspect, part or all of the processing may be performed by a circuit element or other hardware.
  • step S110 the CPU 2 displays an image selected by the operator from the plurality of images 30 (see FIG. 2) stored in the storage device 10 (see FIG. 2) on the display 12 as an input image.
  • step S ⁇ b> 112 the CPU 2 accepts the setting of the reference region to be tracked in the displayed input image as the first accepting unit 210 (see FIG. 2).
  • step S ⁇ b> 114 the CPU 2 uses the search unit 220 as a search image for images having a shooting time that is in time series with the input image among the plurality of images 30 stored in the storage device 10. Search for similar regions. More specifically, the CPU 2 searches for a similar area in which the similarity of the image information with the reference area is relatively high in the search image.
  • step S120 the CPU 2 determines whether or not the calculated similarity is equal to or greater than a predetermined value.
  • CPU 2 determines that the degree of similarity is equal to or greater than a predetermined value (YES in step S120)
  • CPU 2 switches control to step S122. If not (NO in step S120), CPU 2 switches control to step S130.
  • step S122 the CPU 2 displays the search result of the reference area on the display 12 as the above-described display control unit 230 (see FIG. 2).
  • the search result includes an area similar to the reference area in the search image (that is, a similar area), the shooting time of the search image, and the like.
  • step S ⁇ b> 122 the CPU 2 acquires, from the plurality of images 30, the next search image whose shooting time is adjacent to the search image for which the search process has been completed, and sets the search image as the next search target.
  • the CPU 2 realizes the tracking target tracking process by repeating the search process of steps S114, S120, S122, and S124.
  • step S ⁇ b> 130 the CPU 2 displays, as the display control unit 230, images displayed in a time series on the display 12 in a time series including the shooting time of the search image whose similarity with the reference region is lower than a predetermined value. To do. That is, the CPU 2 displays on the display 12 a series of images in which the search time in which the search of the reference area has failed and the shooting time are continuous are arranged in time series.
  • step S140 the CPU 2 determines whether the second reference unit 240 (see FIG. 2) described above has received the setting of a new reference area to be tracked in the search image displayed in step S130. To do. For example, the CPU 2 determines that the setting of the new reference area has been accepted based on the detection of pressing of the confirmation button (not shown) after the new reference area is set by the operator. When CPU 2 determines that a new reference area setting has been received (YES in step S140), CPU 2 switches control to step S142. If not (NO in step S140), CPU 2 ends the image processing according to the present embodiment. In step S142, the CPU 2 sets the newly set reference area as a new template.
  • FIG. 12 is a block diagram illustrating a main hardware configuration of the image processing apparatus 100A.
  • the image processing apparatus 100A includes a ROM (Read Only Memory) 1, a CPU 2, a RAM (Random Access Memory) 3, a network I / F (interface) 4, and a camera I / F ( Interface) 5, display I / F (interface) 6, and storage device 10.
  • ROM Read Only Memory
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • network I / F interface
  • camera I / F Interface
  • display I / F interface
  • the ROM 1 stores an operating system (OS), a control program executed by the image processing apparatus 100A, and the like.
  • the CPU 2 controls the operation of the image processing apparatus 100A by executing various programs such as an operating system and a control program for the image processing apparatus 100A.
  • the RAM 3 functions as a working memory and temporarily stores various data necessary for program execution.
  • the network I / F 4 transmits / receives data to / from other communication devices via the antenna 4A.
  • Other communication devices include, for example, a server and other devices having communication functions.
  • 100 A of image processing apparatuses may be comprised so that the image processing program 28 for implement
  • the camera I / F 5 is a terminal for connecting the image processing apparatus 100A and the camera 11, for example.
  • the CPU 2 performs data communication with the camera 11 via the camera I / F 5.
  • It is an imaging device capable of photographing a moving object such as a camera 11, for example, a surveillance camera.
  • the camera 11 sequentially transfers an image generated by capturing an image of the subject to the ROM 1, the RAM 3, the storage device 10 and the like through the camera I / F 5 together with the shooting time.
  • the camera I / F 5 gives an imaging command to the camera 11 in accordance with an internal command generated by the CPU 2.
  • the camera 11 and the image processing apparatus 100A may be configured as a single unit, or may be configured separately as shown in FIG.
  • the display I / F 6 is a terminal for connecting the image processing apparatus 100A and the display 12, for example.
  • the display 12 includes, for example, a liquid crystal display, an organic EL (Electro Luminescence) display, or other display devices.
  • the display 12 may be configured as a touch panel in combination with a touch sensor (not shown). As a result, the operator can perform operations such as setting the reference area and resetting the reference area on the touch panel.
  • the storage device 10 is a storage medium such as a hard disk or an external storage device.
  • the storage device 10 holds a template 22, image information 24, camera information 26, and an image processing program 28 for realizing various processes according to the present embodiment.
  • the template 22 includes at least one of the pixel value and the feature amount of the reference area set for the input image by the operator.
  • the template 22 is updated (added, deleted, etc.) every time the reference area is set by the operator.
  • FIG. 13 is a diagram showing the contents of the image information 24.
  • the image information 24 includes camera identification information, an image obtained from the camera, and a shooting time of the image.
  • the camera identification information, the image obtained from the camera, and the shooting time of the image are associated with each other.
  • the camera information 26 is not an essential component in the present embodiment.
  • the camera information 26 is data used by the image processing apparatus 100C according to a third embodiment described later. Details of the camera information 26 will be described later in a “third embodiment”.
  • the image processing program 28 may be provided by being incorporated in a part of an arbitrary program, not as a single program. In this case, image processing according to the present embodiment is realized in cooperation with an arbitrary program. Even such a program that does not include some modules does not depart from the spirit of the image processing apparatus 100A according to the present embodiment. Furthermore, part or all of the functions provided by the image processing program 28 according to the present embodiment may be realized by dedicated hardware. Furthermore, the image processing apparatus 100A and the server may cooperate to realize image processing according to the present embodiment. Furthermore, the image processing apparatus 100A may be configured in a so-called cloud service form in which at least one server realizes image processing according to the present embodiment.
  • image processing apparatus 100A displays a series of images in which the search time and the shooting time are consecutive, and accepts the setting of a new reference area on the displayed image. .
  • the image processing apparatus 100A can continue searching for the tracking target even when the tracking target search fails. Further, since the operator can set a new reference area on the displayed image, it is possible to save the trouble of searching for an image for setting a new reference area.
  • the image processing apparatus 100B according to the second embodiment differs from the image processing apparatus 100A according to the first embodiment in that an input image for setting a reference area is searched based on the time input by the operator. .
  • the operator can retrieve the approximate time when the child was lost from the parent and input the time into the image processing apparatus 100B, thereby retrieving an image showing the child as an input image.
  • FIG. 14 is a block diagram illustrating a functional configuration of the image processing apparatus 100B.
  • the image processing apparatus 100 ⁇ / b> B includes a CPU 2 and a storage device 10.
  • the CPU 2 includes a time reception unit 202, a search unit 204, a first reception unit 210, a search unit 220, a display control unit 230, and a second reception unit 240 as its functional configuration.
  • the functional configuration other than the first reception unit 210 and the search unit 204 is as described with reference to FIG.
  • the time reception unit 202 receives time input. For example, the time reception unit 202 receives the time input on the time input screen by the operator. The time reception unit 202 outputs the received time to the search unit 204.
  • the search unit 204 searches the plurality of images 30 as an input image for an image having the closest shooting time and the time output by the search unit 204.
  • the search unit 204 searches the plurality of images 30 for a plurality of images whose shooting times are close to the time output by the search unit 204, and the image processing apparatus 100B searches for the plurality of searched images. It may be configured so that the operator can select one of them.
  • FIG. 15 is a flowchart showing processing executed by image processing apparatus 100B.
  • the processing in FIG. 15 is realized by the CPU 2 (see FIG. 12) of the image processing apparatus 100B executing a program.
  • part or all of the processing may be performed by a circuit element or other hardware. Since processes other than step S111 in FIG. 15 are the same as the processes shown in FIG. 11, the description thereof will not be repeated.
  • step S111 the CPU 2 searches the search unit 204 (see FIG. 14) for an image having the closest shooting time as an input image based on the time input by the operator.
  • the CPU 2 displays the searched input image on the display 12 (see FIG. 12).
  • image processing apparatus 100B searches for an input image for setting the reference region based on the time input by the operator. As a result, the operator can easily search the input image.
  • the image processing apparatus 100C according to the third embodiment differs from the image processing apparatus 100A according to the first embodiment in that the order of searching for images is determined based on the arrangement relationship of the cameras.
  • the image processing apparatus 100 ⁇ / b> C executes the tracking target search process in the order of adjacent cameras.
  • FIG. 16 is a flowchart showing processing executed by image processing apparatus 100C.
  • the processing in FIG. 16 is realized by the CPU 2 (see FIG. 12) of the image processing apparatus 100C executing the program. In another aspect, part or all of the processing may be performed by a circuit element or other hardware. Since processes other than steps S150, S160, and S162 in FIG. 16 are the same as the processes shown in FIGS. 11 and 15, description thereof will not be repeated.
  • step S150 the CPU 2 determines whether or not a predetermined time has elapsed since the setting of a new reference area can be accepted.
  • CPU 2 determines that the predetermined time has elapsed (YES in step S150)
  • CPU 2 switches control to step S160. If not (NO in step S150), CPU 2 executes step S140 again.
  • step S160 the CPU 2 determines whether there is another camera to be tracked.
  • CPU 2 determines that there is another camera to be tracked (YES in step S160)
  • CPU 2 switches control to step S162. If not (NO in step S160), CPU 2 ends the image processing according to the present embodiment.
  • FIG. 17 is a diagram showing the contents of the above-described camera information 26 (see FIG. 12).
  • the camera information 26 includes camera identification information and information of a camera adjacent to the camera.
  • the camera identification information and the adjacent camera information are associated with each other. Information on adjacent cameras is registered in advance by an operator.
  • “Camera A” is adjacent to “Camera B”.
  • “Camera B” is adjacent to “Camera A” and “Camera C”.
  • the CPU 2 refers to the camera information 26 and sets “camera B” adjacent to “camera A” to the next tracking process. (See broken line 60).
  • the CPU 2 determines that there is another camera to be tracked (in step S160 in FIG. 16). YES). If the search process has already been performed on the image obtained from “camera B”, the CPU 2 determines that there is no other camera to be tracked (NO in step S160 in FIG. 16).
  • step S162 when CPU 2 determines that there is another camera to be tracked (YES in step S160 in FIG. 16), the control is switched to step S162.
  • step S162 the CPU 2 changes the camera to be tracked to “camera B” which is an adjacent camera.
  • the CPU 2 continues to use the image obtained from the “camera B” as the search target image and continue the search process.
  • the CPU 2 sequentially causes the adjacent cameras to continue the search process or ends the search process in any of the cameras.
  • the CPU 2 may determine a camera to be tracked according to the direction in which the tracked object has moved. More specifically, the CPU 2 detects the moving direction of the tracking target from a series of search images based on the search of the tracking target, and determines the camera existing in the moving direction from the current camera in the next tracking process. Determine as the target camera. Alternatively, the CPU 2 may perform tracking processing for a plurality of adjacent cameras.
  • image processing apparatus 100C executes the tracking target search process in the order of adjacent cameras. This increases the possibility of searching for an image in which the tracking target is shown, and the image processing apparatus 100C can search for the tracking target at an early stage.
  • the image processing apparatus 202 the time receiving unit, 204 the search unit, a first receiving unit 210, 220 the search unit, 230 display control unit, 240 second receiving section.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

 追跡対象の探索が失敗したときでも、追跡対象の探索を継続することが可能な画像処理装置を提供する。画像処理装置(100A)は、複数の画像(30)と、複数の画像(30)のそれぞれの撮影時刻とを格納する記憶装置(10)と、複数の画像(30)の一部を入力画像として表示部に表示しつつ、入力画像内で追跡の対象となる基準領域の設定を受け付ける第1受付部(210)と、複数の画像(30)のうち撮影時刻が入力画像と時系列にある画像を探索画像として、探索画像の時系列の順に基準領域と類似する領域を探索する探索部(220)と、順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に表示部に表示する表示制御部(230)と、時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付ける第2受付部(240)とを備える。

Description

画像処理装置、画像処理方法、および画像処理プログラム
 本開示は、登録した追跡対象を時系列の画像上で追跡するための画像処理装置、画像処理方法、および画像処理プログラムに関する。
 監視カメラは、ビル、駅、空港、商店街などあらゆる場所に設置されている。監視カメラの映像は、たとえば、迷子の捜索時や、徘徊する老人の捜索時などに利用されている。近年では、これらの捜索を支援するために、監視カメラの映像に写っている特定の人物を自動で追跡するための技術が開発されている。たとえば、特開2004-151820号公報(特許文献1)は、迷子の捜索を容易にするための監視システムを開示している。
特開2004-151820号公報
 特開2004-151820号公報に開示される監視システムは、追跡対象の特徴(たとえば、色や形など)を他の画像において探索する所謂テンプレートマッチングにより迷子を追跡する。当該監視システムは、たとえば、追跡対象が物陰に隠れてしまった場合や追跡対象が上着を脱いだ場合などには、追跡対象を画像内で探索できず、追跡処理を継続することができない。
 本開示は上述のような問題点を解決するためになされたものであって、その目的は、追跡対象の探索が失敗したときでも、追跡対象の探索を継続することが可能な画像処理装置を提供することである。他の局面における目的は、追跡対象の探索が失敗したときでも、追跡対象の探索を継続することが可能な画像処理方法を提供することである。さらに他の局面における目的は、追跡対象の探索が失敗したときでも、追跡対象の探索を継続することが可能な画像処理プログラムを提供することである。
 一実施の形態に従うと、画像処理装置は、表示部と、複数の画像と、当該複数の画像のそれぞれの撮影時刻とを格納するための記憶部と、複数の画像の一部の画像を入力画像として表示部に表示しつつ、当該入力画像内において追跡の対象となる基準領域の設定を受け付けるための第1受付部と、複数の画像のうち撮影時刻が入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において基準領域と類似する領域を探索するための探索部と、探索部によって順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に表示部に表示するための表示制御部と、表示制御部によって時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付けるための第2受付部とを備える。
 好ましくは、表示制御部によって時系列に表示される画像は、撮影時刻の順に並べて表示される静止画像と、撮影時刻の順に順次表示される動画像との少なくとも一方を含む。
 好ましくは、表示制御部は、動画像を表示部に繰り返して表示する。
 好ましくは、表示制御部は、各画像の撮影時刻の間隔よりも長い間隔で動画像を表示部に表示する。
 好ましくは、探索部による探索処理は、探索画像の撮影時刻を遡る順番に実行される。
 好ましくは、表示制御部は、探索部によって順次出力される探索結果の確からしさが予め定められた条件を満たしている間は、当該探索結果を表示部に順次表示する。探索結果は、探索画像内における基準領域と類似する領域と、当該探索画像の撮影時刻との少なくとも一方を含む。
 好ましくは、表示制御部は、探索部によって順次出力される探索結果の確からしさの度合いに応じて、基準領域と類似する領域の表示方法を変える。
 好ましくは、画像処理装置は、時刻の入力を受け付けるための時刻受付部と、複数の画像の中から時刻と撮影時刻が最も近い画像を入力画像として検索するための検索部とをさらに備える。
 好ましくは、画像処理装置は、新たな基準領域の設定を実施可能な状態になってから一定時間の間に新たな基準領域の設定が実施された場合は、当該新たな基準領域を基準とした探索部による探索処理を続行する。画像処理装置は、新たな基準領域の設定を実施可能な状態になってから一定時間の間に、新たな基準領域の設定が実施されなかった場合は、探索部による探索処理を終了する。
 好ましくは、記憶部は、複数のカメラで撮影された複数の画像をそれぞれ記憶する。画像処理装置は、複数のカメラの内の1つのカメラで撮影された画像において、新たな基準領域の設定を実施可能な状態になってから一定時間の間に、新たな基準領域の設定が実施されなかった場合は、1つのカメラと隣接するカメラで撮影された画像において探索部による探索処理を継続する。
 他の実施の形態に従うと、画像処理方法は、複数の画像と、当該複数の画像のそれぞれの撮影時刻とを格納するステップと、複数の画像の一部の画像を入力画像として表示しつつ、当該入力画像内において追跡の対象となる基準領域の設定を受け付けるステップと、複数の画像のうち撮影時刻が入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において基準領域と類似する領域を探索するステップと、探索するステップで順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に表示するステップと、表示するステップで時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付けるステップとを備える。
 さらに他の実施の形態に従うと、コンピュータに実行される画像処理プログラムは、コンピュータに、複数の画像と、当該複数の画像のそれぞれの撮影時刻とを格納するステップと、複数の画像の一部の画像を入力画像として表示しつつ、当該入力画像内において追跡の対象となる基準領域の設定を受け付けるステップと、複数の画像のうち撮影時刻が入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において基準領域と類似する領域を探索するステップと、探索するステップで順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に表示するステップと、表示するステップで時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付けるステップとを実行させる。
 ある局面において、追跡対象の探索が失敗したときでも、追跡対象の探索を継続することができる。
 本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。
第1の実施の形態に従う画像処理装置によって実行される処理を時系列に表した概念図である。 第1の実施の形態に従う画像処理装置の機能構成を示すブロック図である。 追跡対象の探索成功中にディスプレイに表示される画面の一例を表わす図である。 追跡対象の探索成功中にディスプレイに表示される画面の変形例を表わす図である。 追跡対象の探索失敗時にディスプレイに表示される画面の一例を表わす図である。 追跡対象の探索失敗時にディスプレイに表示される画面の変形例を表わす図である。 基準領域の再設定画面の一例を表わす図である。 基準領域の再設定画面の変形例を表わす図である。 基準領域の再設定画面の変形例を表わす図である。 追跡結果の表示画面の一例を表わす図である。 第1の実施の形態に従う画像処理装置が実行する処理を表わすフローチャートである。 第1の実施の形態に従う画像処理装置の主要なハードウェア構成を表わすブロック図である。 画像情報の内容を示した図である。 第2の実施の形態に従う画像処理装置の機能構成を表わすブロック図である。 第2の実施の形態に従う画像処理装置が実行する処理を表わすフローチャートである。 第3の実施の形態に従う画像処理装置が実行する処理を表わすフローチャートである。 カメラ情報の内容を表わす図である。
 以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
 [概要]
 以下の各実施の形態に従う画像処理装置100Aは、たとえば、迷子を捜索するためや徘徊する老人の捜索するためなどに用いられる。たとえば、画像処理装置100Aが迷子の捜索に用いられる場合には、画像処理装置100Aのオペレータは、監視カメラの映像を確認して、迷子が写っている画像を探す。オペレータは、その画像内で迷子が写っている領域を基準領域として設定し、追跡処理の開始指示を入力する。画像処理装置100Aは、当該指示を受け付けると、監視カメラの映像から時系列の順に基準領域を探索して迷子を追跡する。これにより、画像処理装置100Aは、迷子を容易に見つけることができる。好ましくは、画像処理装置100Aは、複数台の監視カメラの映像から迷子を探索する。これにより、画像処理装置100Aは、追跡対象をより広範囲に探索することができる。
 このとき、追跡対象が物陰に隠れてしまった場合や追跡対象が上着を脱いだ場合、または同色の服を着た人物がすれ違う場合などには、画像処理装置100Aは、追跡処理を継続することができないことがある。以下で説明する画像処理装置100Aは、追跡処理が失敗した場合に、追跡処理の失敗時における画像と撮影時刻が連続する一連の画像を表示し、その一連の画像に対して新たに追跡対象の設定を受け付けるためのユーザインターフェイスを提供する。これにより、画像処理装置100Aは、追跡処理が途中で失敗した場合であっても、追跡対象の探索を継続することができる。
 <第1の実施の形態>
 [画像処理装置100Aの処理]
 図1を参照して、画像処理装置100Aの処理について説明する。図1は、画像処理装置100Aによって実行される処理を時系列に表した概念図である。図1には、後述するカメラ11の前を人物35が通過しているときに得られた時系列の画像(入力画像30Aおよび探索画像30B~30G)が示されている。
 画像処理装置100Aは、最初に、追跡の対象となる基準領域の設定を受け付ける。図1には、入力画像30Aに基準領域34Aを設定する例が示されている(図1のステップ(1)参照)。入力画像30Aは、カメラ11の画像からオペレータによって手動で選択されてもよいし、「第2の実施の形態」で説明するように入力された時刻に基づいて選択されてもよい。基準領域34Aは、追跡対象の一例である人物35を囲むように入力画像30A上で設定される。一例として、画像処理装置100Aは、マウス(図示しない)などでポインタ36を操作することにより入力画像30A上で矩形状の基準領域を設定できるように構成される。
 画像処理装置100Aは、入力画像30A上で基準領域34Aの設定を受け付けると、入力画像30Aと時系列にある探索画像30B~30Gを時系列の順に、入力画像30Aに設定された基準領域34Aと類似する領域を探索画像30B~30G内において探索する(図1のステップ(2)参照)。このように、画像処理装置100Aが基準領域の探索処理を時系列の順に繰り返すことにより、人物35の追跡処理が実現される。
 画像処理装置100Aが探索画像30B~30Fに対して時系列に探索処理を実行している過程で、人物35が探索画像30Fにおいて柱38に隠れたことに起因して、探索処理が失敗したとする。このとき、画像処理装置100Aは、探索画像30Fの撮影時刻を含む期間に撮影された画像を時系列に表示する。すなわち、画像処理装置100Aは、探索処理に失敗した探索画像30Fと撮影時刻が連続する一連の画像を表示する。図1には、探索処理の失敗時に表示する画像の例として、探索処理に失敗した探索画像30F、および当該探索画像30Fと撮影時刻が前後である探索画像30E,30Gが示されている。
 画像処理装置100Aは、探索処理の失敗時に時系列に表示される探索画像30E~30G内において、追跡の対象となる新たな基準領域の設定を受け付ける。図1には、探索画像30Gに新たな基準領域34Gを設定している例が示されている(図1のステップ(3)参照)。このように、画像処理装置100Aが追跡対象を見失った場合に基準領域の新たな設定を受け付けるように構成されることにより、追跡対象が物陰に隠れてしまった場合、追跡対象が上着を脱いだ場合、および同色の服を着た人物がすれ違う場合などにおいても、画像処理装置100Aは、追跡対象の追跡処理を継続することができる。その結果、画像処理装置100Aは、追跡対象の探索が失敗したときでも、追跡対象の探索を継続することができ、結果として、追跡処理の精度を上げることができる。
 なお、上記では追跡対象として人物35を例に挙げて説明を行なったが、追跡対象は、人物に限定されない。たとえば、追跡対象は、犬などの動物や車などの物体などの動体であってもよい。
 また、上記では、探索処理が失敗した探索画像30Fと撮影時刻が前後である探索画像30E,30Gを表示する例について説明を行なったが、画像処理装置100Aは、探索処理が失敗した探索画像よりも撮影時刻が新しい探索画像のみを表示してもよい。あるいは、画像処理装置100Aは、探索処理が失敗した探索画像よりも撮影時刻が古い探索画像のみを表示してもよい。
 [画像処理装置100Aの機能構成]
 図2を参照して、第1の実施の形態に従う画像処理装置100Aの機能について説明する。図2は、画像処理装置100Aの機能構成を示すブロック図である。図2に示されるように、画像処理装置100Aは、CPU(Central Processing Unit)2と、記憶装置10とを含む。CPU2は、その機能構成として、第1受付部210と、探索部220と、表示制御部230と、第2受付部240とを含む。記憶装置10は、複数の画像30と、複数の画像30のそれぞれの撮影時刻とを格納している。
 第1受付部210は、複数の画像30の一部(たとえば、1枚)を入力画像として後述するディスプレイ12(表示部)に表示しつつ、当該入力画像において追跡の対象となる基準領域の設定を受け付ける。第1受付部210は、受け付けた基準領域を探索部220に出力する。たとえば、基準領域は、入力画像上の座標として示される。
 探索部220は、複数の画像30のうち撮影時刻が入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において基準領域と類似する領域(以下、「類似領域」ともいう。)を探索する。より具体的には、探索部220は、撮影時刻が入力画像と連続している探索画像の順に、当該探索画像内において基準領域との画像情報の類似度が相対的に高くなる類似領域を探索する。典型的には、探索部220は、基準領域との類似度が最大となる探索画像内の領域を類似領域として決定する。たとえば、基準領域の探索処理は、テンプレートマッチング、オプティカルフローなどの画像処理技術によって実現される。
 一例として、類似度は、SAD(Sum of Absolute Difference)値、SSD(Sum of Squared Difference)値、NCC(Normalized Cross-Correlation)値、またはZNCC(Zero-mean Normalized Cross-Correlation)値などによって示される。なお、探索部220は、基準領域と類似領域とが類似するほど類似度が低くなるSAD値およびSSD値のような指標を用いる場合には、探索画像内において類似度が最小となる領域を類似領域として決定する。
 ある局面において、探索部220による探索処理は、探索画像の撮影時刻の順に実行される。これにより、オペレータは、基準領域を設定した入力画像よりも撮影時刻が新しい探索画像に対して追跡処理を実行できる。
 他の局面において、探索部220による探索処理は、探索画像の撮影時刻を遡る順番に実行される。これにより、オペレータは、基準領域を設定した入力画像よりも撮影時刻が古い探索画像に対して追跡処理を実行できる。
 一例として、撮影時刻を遡る追跡機能は、親が迷子である子供と一緒にいた時点まで映像を戻す場合に利用される。オペレータは、最初に、親のみが写っている画像を入力画像として、親のみが写っている領域を基準領域として設定する。画像処理装置100Aは、親および子供の両方が写っている時点まで撮影時刻を遡る順に追跡処理を行なう。次に、オペレータは、子供が写っている領域を基準領域として再設定する。画像処理装置100Aは、子供を追跡対象とした追跡処理を開始する。これにより、オペレータは、効率的に迷子である子供を捜索することが可能になる。
 他の局面では、撮影時刻を遡る追跡機能は、落し物やスリの対策に利用される。オペレータは、落し物をした人物やスリにあった人物を追跡対象とし、撮影時刻を遡る追跡処理を開始することで、落し物をした時点やスリにあった時点まで遡ることができる。
 表示制御部230は、探索部220によって順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像(以下、「一連の画像」ともいう。)を時系列にディスプレイ12に表示する。一例として、探索結果の確からしさは、入力画像の基準領域と探索画像の類似領域との間の画像情報の類似度で示される。表示制御部230は、順次出力される類似度が所定値よりも高い間は、上記予め定められた条件を満たすものとする。一方で、表示制御部230は、順次出力される類似度が所定値よりも1回または複数回小さくなったときに上記予め定められた条件を満たさないものとする。あるいは、表示制御部230は、順次出力される類似度が所定値よりも低い時間が一定時間を超えると、上記予め定められた条件を満たさないものとする。
 なお、以下では、探索結果の確からしさが予め定められた条件を満たすことを「探索成功」ともいい、探索結果の確からしさが予め定められた条件を満たさないことを「探索失敗」ともいう。
 第2受付部240は、表示制御部230によって表示される一連の画像内において、追跡の対象となる新たな基準領域の設定を受け付ける。第2受付部240は、受け付けた新たな基準領域を探索部220に出力する。探索部220は、新たな基準領域の設定を受け付けると、当該新たな基準領域を基準とした探索処理を続行する。
 [探索成功中の画面]
  (探索成功中の画面例1)
 図3を参照して、追跡対象の探索が成功している間における表示制御部230(図2参照)の表示制御について説明する。図3は、追跡対象の探索成功中にディスプレイ12に表示される画面の一例を表わす図である。図3には、人物35を追跡している様子が示されている。
 表示制御部230は、上述の探索部220(図2参照)によって順次出力される探索結果の確からしさが予め定められた条件を満たしている間は、ディスプレイ12に探索結果を順次表示する。当該探索結果は、オペレータによって設定された基準領域と類似する探索画像内における領域(すなわち、類似領域)と、当該探索画像の撮影時刻との少なくとも一方を含む。表示制御部230は、たとえば探索画像と撮影時刻との両方を表示する。あるいは、探索が成功している間はオペレータは探索画像を詳細にチェックする必要がないので、表示制御部230は、探索が成功している間は撮影時刻のみを表示してもよい。一例として、図3に示されるように、表示制御部230は、人物35の探索結果として、類似領域37H~37Jと、探索画像30H~30Jの撮影時刻38H~38Jとを表示する。
 より具体的には、探索画像30Hの探索処理が終了したときに、表示制御部230は、探索画像30H内における基準領域との類似領域37Hと、探索画像30Hの撮影時刻38Hとを表示する。次に、探索画像30Iの探索処理が終了したときに、表示制御部230は、探索画像30I内における基準領域との類似領域37Iと、探索画像30Iの撮影時刻38Iとを表示する。次に、探索画像30Jの探索処理が終了したときに、表示制御部230は、探索画像30J内における基準領域との類似領域37Jと、探索画像30Jの撮影時刻38Jとを表示する。
 このように、表示制御部230は、基準領域との類似領域37H~37Jと、探索画像の撮影時刻38H~38Jとを順次表示することで、オペレータは、人物35の追跡結果を一見して確認できるようになる。
 好ましくは、探索処理が終了した探索画像30H~30Jは、早送りで動画像として表示される。すなわち、探索処理が終了した探索画像30H~30Jは、追跡成功中は、探索画像30H~30Jの撮影時刻の間隔よりも短い間隔で順次表示される。これにより、画像処理装置100Aのオペレータは、追跡成功中における追跡対象の確認作業を高速に行なうことができる。
 また、表示制御部230は、基準領域との類似度に応じて類似領域37H~37Jの表示色を変えてもよい。たとえば、表示制御部230は、類似度が低い場合には類似領域37H~37Jの縁を赤色で表示し、類似度が高い場合には類似領域37H~37Jの縁を緑色で表示する。このように表示色が変えられることで、オペレータは、類似度の高低を一見して確認できる。また、表示制御部230は、表示色を変える以外に、画質を変えるなど他の方法で類似度の高低を表わしてもよい。
  (探索成功中の画面例2)
 図4を参照して、追跡対象の探索成功中にディスプレイ12に表示される画面の変形例について説明する。図4は、追跡対象の探索成功中にディスプレイ12に表示される画面の変形例を表わす図である。
 本変形例では、表示制御部230は、追跡対象の探索が成功している間は、動画ではなく、特定の静止画像を表示する。図4には、探索成功中に表示される画像として、「追跡中」と表記されている静止画像30Kがディスプレイ12に表示されている例が示されている。これにより、画像処理装置100Aのオペレータは、追跡成功中における追跡対象の確認作業を省くことができる。
 [探索失敗時の画面]
  (探索失敗時の画面例1)
 図5を参照して、追跡対象の探索が失敗したときにおける表示制御部230(図2参照)の表示制御について説明する。図5は、追跡対象の探索失敗時にディスプレイ12に表示される画面の一例を表わす図である。
 上述したように、表示制御部230は、探索部220(図2参照)によって順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列にディスプレイ12に表示する。すなわち、表示制御部230は、探索処理が失敗したときに、探索処理に失敗した探索画像と撮影時刻が連続する一連の画像を時系列に表示する。
 たとえば、探索部220は、探索画像30Mにおいて探索処理を失敗したとする。このとき、図5に示されるように、表示制御部230は、探索処理に失敗した探索画像30Mと撮影時刻が連続する一連の探索画像30L~30Nを時系列に表示する。
 ある局面において、探索処理の失敗時に表示される画像は、撮影時刻の順に順次表示される動画像として表示される。図5には、動画像として順に表示される探索画像30L~30Nが示されている。このように、探索処理の失敗時に表示される画像が動画像として表示されることで、オペレータは、探索処理が失敗した原因を目視で確認できるようになる。
 好ましくは、表示制御部230は、動画像として表示される探索画像30L~30Nを繰り返して表示する。これにより、オペレータは、探索処理が失敗した原因を何度も目視で確認できるようになる。
 また、表示制御部230は、探索画像30L~30Nの各々の撮影時刻の間隔よりも長い間隔で探索画像30L~30Nを動画像として表示する。すなわち、表示制御部230は、探索画像30L~30Nをスロー再生する。これにより、オペレータは、探索処理が失敗した原因を正確に確認できるようになる。
 他の局面において、時系列に表示される画像は、静止画像として撮影時刻の順に並べて表示される。図5には、静止画像として並べて表示される探索画像31L~31Nが示されている。静止画像としての探索画像31Lは、動画像としての探索画像30Lに対応する。静止画像としての探索画像31Mは、動画像としての探索画像30Mに対応する。静止画像としての探索画像31Nは、動画像としての探索画像30Nに対応する。このように、探索画像31L~31Nが静止画像として並べて表示されることで、後述する基準領域の再設定の操作性が向上する。
 さらに他の局面において、表示制御部230は、探索画像30L~30Nおよび探索画像31L~31Nの少なくとも一方の表示時において画質を変える。たとえば、画質は、コントラスト強調、エッジ強調、彩度強調などの画像処理によって変えられる。このように画質が変えられることによって、オペレータが追跡対象を視認しやすくなり、基準領域の再設定の操作性が向上する。
  (探索失敗時の画面例2)
 図6を参照して、追跡対象の探索失敗時にディスプレイ12に表示される画面の変形例について説明する。図6は、追跡対象の探索失敗時にディスプレイ12に表示される画面の変形例を表わす図である。
 本変形例においては、表示制御部230は、追跡対象の探索失敗時に動画として繰り返して探索画像30L~30Nを表示する際に、探索結果である類似領域32L~32Nを拡大した拡大画像33L~33Nを、探索画像30L~30Nの表示に合わせて時系列に表示する。より具体的には、表示制御部230は、探索画像30Lを表示しているときには、探索画像30L内に類似領域32Lを表示するとともに、類似領域32Lの拡大画像33Lを表示する。表示制御部230は、探索画像30Mを表示しているときには、探索画像30M内に類似領域32Mを表示するとともに、類似領域32Mの拡大画像33Mを表示する。表示制御部230は、探索画像30Nを表示しているときには、探索画像30N内に類似領域32Nを表示するとともに、類似領域32Nの拡大画像33Nを表示する。拡大画像33L~33Nが繰り返して表示されることにより、オペレータは、探索処理が失敗した原因をさらに詳細に確認できるようになる。
 [基準領域の再設定画面]
  (基準領域の再設定画面1)
 図7を参照して、追跡対象の探索失敗時に基準領域を再設定する方法について説明する。図7は、基準領域の再設定画面の一例を表わす図である。
 図7には、探索失敗時に表示される一連の探索画像31L~31Nが表示領域31に示されている。オペレータは、戻るボタン41をポインタ36で選択することにより、探索画像31L~31Nよりも撮影時刻が古い探索画像を表示領域31に表示させることができる。また、オペレータは、進むボタン42をポインタ36で選択することにより、探索画像31L~31Nよりも撮影時刻が新しい探索画像を表示領域31に表示させることができる。
 オペレータは、表示領域31に表示されている探索画像31L~31Nから1枚の画像を選択する。画像処理装置100Aは、探索画像31L~31Nから1枚の画像を選択する操作を受け付けると、選択された画像をディスプレイ12に表示する。図7には、探索画像31Nが選択され、探索画像31Nを拡大した探索画像30Nが表示されている例が示されている。
 画像処理装置100Aは、表示されている探索画像30Nに対して基準領域の再設定を受け付ける。基準領域の再設定の方法は任意である。たとえば、図7に示されるように、画像処理装置100Aは、探索画像30N内に表示されている類似領域45をポインタ36で指定できるように構成され、指定した類似領域45を移動できるように構成される。画像処理装置100Aは、類似領域45の移動先である領域46を新たな基準領域として受け付ける。他にも、画像処理装置100Aは、探索画像30N上の任意の領域を新たな基準領域としてポインタで囲えるように構成されてもよい。
 好ましくは、画像処理装置100Aは、新たな基準領域の設定を実施可能な状態になってから一定時間の間に新たな基準領域の実施が実施された場合は、当該新たな基準領域を基準とした探索処理を続行する。新たな基準領域の設定に基づいて探索処理が開始されことで、オペレータは、追跡処理を再開するための指示を入力する必要がなくなる。そのため、画像処理装置100Aの操作性が改善される。また、画像処理装置100Aは、新たな基準領域の設定を実施可能な状態になってから一定時間の間に、新たな基準領域の設定が実施されなかった場合(たとえば、オペレータが表示されている探索画像30Nに対して基準領域として再設定する領域を見つけることができなかった場合など)は、探索処理を終了する。その結果、オペレータは、追跡処理の終了指示を入力する必要がなくなるため、画像処理装置100Aの操作性が改善される。
  (基準領域の再設定画面2)
 図8を参照して、基準領域の再設定画面の変形例について説明する。図8は、基準領域の再設定画面の変形例を表わす図である。
 図8に示されるように、本変形例では、探索画像30Qにおいて再設定された基準領域38Qの拡大画像39Qが表示される。これにより、オペレータは、新たな基準領域を正確に設定および確認できるようになる。その結果、画像処理装置100Aの追跡処理の精度が向上する。なお、拡大画像39Qは、オペレータが基準領域38Qを再設定する度に更新される。
  (基準領域の再設定画面3)
 図9を参照して、基準領域の再設定画面のさらに他の変形例について説明する。図9は、基準領域の再設定画面の変形例を表わす図である。
 図9に示されるように、本変形例においては、探索画像が表示領域33に表示される代わりに、過去に設定された基準領域37R~37Uが表示領域33に履歴として表示される。オペレータは、基準領域37R~37Uのいずれかをポインタ36で選択することで過去に用いられた基準領域を新たな基準領域として再度設定することができる。図9には、基準領域37Uが選択されている例が示されている。基準領域37Uが選択されると、画像処理装置100Aは、基準領域37Uを含む探索画像30Uをディスプレイ12に表示し、選択された基準領域37Uに対応する基準領域32Uを探索画像30U内に表示する。
 このように、オペレータは、履歴としての基準領域37R~37Uのいずれかを新たな基準領域として再度設定できる。これにより、オペレータは、基準領域の設定を誤った場合や探索結果が思わしくない場合などに、過去に設定した基準領域に設定を容易に戻すことが可能になる。
  (基準領域の再設定画面4)
 以下、基準領域の再設定画面のさらに他の変形例について説明する。たとえば、カメラがトイレなどの出入口に設置されている場合には、出入口を通過した追跡対象は、同じ場所から再度現れることがある。このような場合に対応するために、画像処理装置100Aは、追跡対象の探索処理が失敗した後に、探索画像に写っている人物を順次検出し、検出した人物を再設定画面に表示する。画像処理装置100Aは、表示された人物の中から特定の人物を選択できるように構成され、選択された人物を新たな基準領域として設定する。これにより、画像処理装置100Aは、出入口に再度現れた人物を続けて追跡できるようになる。
 [追跡結果の表示画面]
 図10を参照して、追跡対象の追跡処理が正常に終了したときにおける表示制御部230(図2参照)の表示制御について説明する。図10は、追跡結果の表示画面の一例を表わす図である。
 画像処理装置100Aは、探索画像のそれぞれについて実行される探索処理が正常に終了したとき、すなわち、追跡処理が正常に終了したときに、追跡結果をディスプレイ12に表示する。追跡結果は、探索画像ごとに出力される上述の探索結果を統合して最終的に画像処理装置100Aによって出力される結果である。たとえば、画像処理装置100Aは、探索結果の中で最新のものを追跡結果として出力する。あるいは、画像処理装置100Aは、オペレータによって指定された時刻に対応する探索結果を追跡結果として出力する。
 図10には、ディスプレイ12に追跡結果48が示されている例が示されている。追跡結果48は、追跡対象が写っているカメラの情報と、追跡対象が存在していた場所とを示している。オペレータは、追跡結果48を確認することにより、追跡対象が存在している場所などを容易に把握することができ、迷子や徘徊する老人を容易に見つけることができる。
 なお、追跡結果は、店の係員などに伝えられてもよい。より具体的には、係員は、タブレット端末などの携帯端末を保持し、追跡結果は、画像処理装置100Aからタブレット端末に送信される。このとき、好ましくは、画像処理装置100Aは、追跡結果に示される場所に一番近い位置に存在するタブレット端末に追跡結果を送信する。これにより、係員は、追跡対象を現場でいち早く見つけることができる。
 [制御構造]
 図11を参照して、第1の実施の形態に従う画像処理装置100Aの制御構造について説明する。図11は、画像処理装置100Aが実行する処理を表わすフローチャートである。図11の処理は、画像処理装置100AのCPU2(図2参照)がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子、その他のハードウェアによって実行されてもよい。
 ステップS110において、CPU2は、上述の記憶装置10(図2参照)に格納されている複数の画像30(図2参照)のうちからオペレータによって選択された画像を入力画像としてディスプレイ12に表示する。ステップS112において、CPU2は、上述の第1受付部210(図2参照)として、表示されている入力画像において追跡の対象となる基準領域の設定を受け付ける。
 ステップS114において、CPU2は、探索部220として、記憶装置10に格納されている複数の画像30のうち撮影時刻が入力画像と時系列にある画像を探索画像として、当該探索画像内において基準領域と類似する領域を探索する。より具体的には、CPU2は、探索画像内において基準領域との画像情報の類似度が相対的に高くなる類似領域を探索する。
 ステップS120において、CPU2は、算出された類似度が予め定められた所定値以上であるか否かを判断する。CPU2は、類似度が所定値以上であると判断した場合(ステップS120においてYES)、制御をステップS122に切り替える。そうでない場合には(ステップS120においてNO)、CPU2は、制御をステップS130に切り替える。
 ステップS122において、CPU2は、上述の表示制御部230(図2参照)として、基準領域の探索結果をディスプレイ12に表示する。探索結果は、探索画像内における基準領域と類似する領域(すなわち、類似領域)、探索画像の撮影時刻などを含む。ステップS122において、CPU2は、複数の画像30から、探索処理が終了した探索画像と撮影時刻が隣接する次の探索画像を取得し、当該探索画像を次の探索対象とする。CPU2は、ステップS114,S120,S122,S124の探索処理を繰り返すことで、追跡対象の追跡処理を実現する。
 ステップS130において、CPU2は、表示制御部230として、基準領域との類似度が予め定められた所定値を下回った探索画像の撮影時刻を含む期間に撮影された画像を時系列にディスプレイ12に表示する。すなわち、CPU2は、基準領域の探索が失敗した探索画像と撮影時刻が連続する一連の画像を時系列にディスプレイ12に表示する。
 ステップS140において、CPU2は、上述の第2受付部240(図2参照)として、ステップS130で表示される探索画像内において、追跡の対象となる新たな基準領域の設定を受け付けたか否かを判断する。たとえば、CPU2は、新たな基準領域がオペレータによって設定された後に確定ボタン(図示しない)の押下を検出したことに基づいて、新たな基準領域の設定を受け付けたと判断する。CPU2は、新たな基準領域の設定を受け付けたと判断した場合(ステップS140においてYES)、制御をステップS142に切り替える。そうでない場合には(ステップS140においてNO)、CPU2は、本実施の形態に従う画像処理を終了する。ステップS142において、CPU2は、新たに設定された基準領域を新たなテンプレートとして設定する。
 [画像処理装置100Aのハードウェア構成]
 図12を参照して、第1の実施の形態に従う画像処理装置100Aのハードウェア構成の一例について説明する。図12は、画像処理装置100Aの主要なハードウェア構成を表わすブロック図である。
 図12に示されるように、画像処理装置100Aは、ROM(Read Only Memory)1と、CPU2と、RAM(Random Access Memory)3と、ネットワークI/F(インタフェース)4と、カメラI/F(インタフェース)5と、ディスプレイI/F(インタフェース)6と、記憶装置10とを含む。
 ROM1は、オペレーティングシステム(OS:Operating System)、画像処理装置100Aで実行される制御プログラムなどを格納する。CPU2は、オペレーティングシステムや画像処理装置100Aの制御プログラムなどの各種プログラムを実行することで、画像処理装置100Aの動作を制御する。RAM3は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。
 ネットワークI/F4は、アンテナ4Aを介して、他の通信機器との間でデータを送受信する。他の通信機器は、たとえば、サーバ、その他の通信機能を有する装置などを含む。画像処理装置100Aは、アンテナ4Aを介して、本実施の形態に従う各種の処理を実現するための画像処理プログラム28をダウンロードできるように構成されてもよい。
 カメラI/F5は、たとえば、画像処理装置100Aとカメラ11とを接続するための端子である。CPU2は、カメラI/F5を介してカメラ11とデータ通信を行なう。カメラ11、たとえば、監視カメラなどの動体を撮影することが可能な撮像装置である。カメラ11は、被写体を撮像して生成した画像を撮影時刻とともにROM1、RAM3、記憶装置10などにカメラI/F5を介して順次転送する。また、カメラI/F5は、CPU2が発生した内部コマンドに従って、カメラ11に対して撮像指令を与える。なお、カメラ11および画像処理装置100Aは、一体として構成されてもよいし、図12に示されるように別個に構成されてもよい。
 ディスプレイI/F6は、たとえば、画像処理装置100Aとディスプレイ12とを接続するための端子である。ディスプレイ12は、たとえば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、またはその他の表示機器などを含む。また、ディスプレイ12は、タッチセンサ(図示しない)と組み合わされてタッチパネルとして構成されてもよい。これにより、オペレータは、基準領域の設定や、基準領域の再設定などの操作をタッチパネル上で行なうことが可能になる。
 記憶装置10は、たとえば、ハードディスクや外付けの記憶装置などの記憶媒体である。一例として、記憶装置10は、テンプレート22と、画像情報24と、カメラ情報26と、本実施の形態に従う各種の処理を実現するための画像処理プログラム28とを保持する。
 テンプレート22は、オペレータによって入力画像に対して設定された基準領域の画素値および特徴量の少なくとも一方を含む。テンプレート22は、オペレータによって基準領域が設定される度に更新(追加、削除など)される。
 図13は、画像情報24の内容を示した図である。画像情報24は、カメラの識別情報と、当該カメラから得られた画像と、当該画像の撮影時刻とを含む。カメラの識別情報、当該カメラから得られた画像、および当該画像の撮影時刻は、互いに対応付けられている。
 カメラ情報26は、本実施の形態においては必須の構成ではない。カメラ情報26は、後述する第3の実施の形態に従う画像処理装置100Cによって利用されるデータである。カメラ情報26の詳細については後述する「第3の実施の形態」において説明する。
 画像処理プログラム28は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う画像処理が実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う画像処理装置100Aの趣旨を逸脱するものではない。さらに、本実施の形態に従う画像処理プログラム28によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、画像処理装置100Aとサーバとが協働して、本実施の形態に従う画像処理を実現するようにしてもよい。さらに、少なくとも1つのサーバが本実施の形態に従う画像処理を実現する、所謂クラウドサービスの形態で画像処理装置100Aが構成されてもよい。
 [小括]
 以上のようにして、本実施の形態に従う画像処理装置100Aは、探索処理が失敗した探索画像と撮影時刻が連続する一連の画像を表示し、表示した画像上で新たな基準領域の設定を受け付ける。これにより、画像処理装置100Aは、追跡対象の探索が失敗したときでも、追跡対象の探索を継続することができ。また、オペレータは、表示された画像上で新たな基準領域を設定できるので、新たに基準領域を設定するための画像を探す手間を省くことができる。
 <第2の実施の形態>
 [画像処理装置100Bの概要]
 第2の実施の形態に従う画像処理装置100Bは、オペレータによって入力された時刻に基づいて、基準領域を設定するための入力画像を検索する点で第1の実施の形態に従う画像処理装置100Aと異なる。オペレータは、迷子の子供と一緒にいた大体の時刻を親から聞きだし、その時刻を画像処理装置100Bに入力することにより、子供が写っている画像を入力画像として検索することができる。
 なお、画像処理装置100Bのハードウェア構成などその他の点については第1の実施の形態に従う画像処理装置100Aと同じであるので、以下ではそれらの説明は繰り返さない。
 [画像処理装置100Bの機能構成]
 図14を参照して、第2の実施の形態に従う画像処理装置100Bの機能について説明する。図14は、画像処理装置100Bの機能構成を表わすブロック図である。図14に示されるように、画像処理装置100Bは、CPU2と、記憶装置10とを含む。CPU2は、その機能構成として、時刻受付部202と、検索部204と、第1受付部210と、探索部220と、表示制御部230と、第2受付部240とを含む。第1受付部210および検索部204以外の機能構成については、図2で説明した通りであるので説明を繰り返さない。
 時刻受付部202は、時刻の入力を受け付ける。時刻受付部202は、たとえば、オペレータによって時刻入力画面に入力された時刻を受け付ける。時刻受付部202は、受け付けた時刻を検索部204に出力する。
 検索部204は、複数の画像30の中から、検索部204によって出力された時刻と撮影時刻が最も近い画像を入力画像として検索する。他の局面において、検索部204は、複数の画像30の中から、検索部204によって出力された時刻と撮影時刻が近い複数の画像を検索し、画像処理装置100Bは、検索された複数の画像のうちから1枚をオペレータが選択できるように構成されてもよい。
 [画像処理装置100Bの制御構造]
 図15を参照して、第2の実施の形態に従う画像処理装置100Bの制御構造について説明する。図15は、画像処理装置100Bが実行する処理を表わすフローチャートである。図15の処理は、画像処理装置100BのCPU2(図12参照)がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子、その他のハードウェアによって実行されてもよい。なお、図15のステップS111以外の処理は、図11に示される処理と同じであるので説明を繰り返さない。
 ステップS111において、CPU2は、上述の検索部204(図14参照)として、オペレータによって入力された時刻に基づいて、撮影時刻が最も近い画像を入力画像として検索する。CPU2は、検索した入力画像をディスプレイ12(図12参照)に表示する。
 [小括]
 以上のようにして、本実施の形態に従う画像処理装置100Bは、オペレータによって入力された時刻に基づいて、基準領域を設定するための入力画像を検索する。これにより、オペレータは、入力画像を容易に検索できるようになる。
 <第3の実施の形態>
 [概要]
 第3の実施の形態に従う画像処理装置100Cは、カメラの配置関係に基づいて、画像を探索する順番を決定する点で第1の実施の形態に従う画像処理装置100Aと異なる。人物があるカメラに写っている場合には、その直後には、当該カメラの隣接するカメラに写っている可能性が高い。そのため、画像処理装置100Cは、隣接するカメラの順に追跡対象の探索処理を実行する。
 なお、画像処理装置100Cのハードウェア構成などその他の点については第1の実施の形態に従う画像処理装置100Aと同じであるので、以下ではそれらの説明は繰り返さない。
 [画像処理装置100Cの制御構造]
 図16および図17を参照して、第3の実施の形態に従う画像処理装置100Cの制御構造について説明する。図16は、画像処理装置100Cが実行する処理を表わすフローチャートである。図16の処理は、画像処理装置100CのCPU2(図12参照)がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子、その他のハードウェアによって実行されてもよい。なお、図16のステップS150,S160,S162以外の処理は、図11および図15に示される処理と同じであるので説明を繰り返さない。
 ステップS150において、CPU2は、新たな基準領域の設定を受付可能な状態になってから一定時間が経過したか否かを判断する。CPU2は、一定時間が経過したと判断した場合(ステップS150においてYES)、制御をステップS160に切り替える。そうでない場合には(ステップS150においてNO)、CPU2は、ステップS140の処理を再び実行する。
 ステップS160において、CPU2は、追跡処理の対象となるカメラが他にあるか否かを判断する。CPU2は、追跡処理の対象となるカメラが他にあると判断した場合(ステップS160においてYES)、制御をステップS162に切り替える。そうでない場合には(ステップS160においてNO)、CPU2は、本実施の形態に従う画像処理を終了する。
 ここで、図17を参照して、CPU2が追跡処理の対象となるカメラが他にあるか否かを判断する方法について説明する。図17は、上述のカメラ情報26(図12参照)の内容を表わす図である。
 図17に示されるように、カメラ情報26は、カメラの識別情報と、当該カメラに隣接するカメラの情報とを含む。カメラの識別情報と、隣接するカメラの情報とは、互いに対応付けられている。隣接するカメラの情報は、オペレータによって予め登録されている。図17の例では、「カメラA」は、「カメラB」と隣接している。「カメラB」は、「カメラA」および「カメラC」と隣接している。
 たとえば、現在追跡処理の対象となっているカメラが「カメラA」である場合には、CPU2は、カメラ情報26を参照して、「カメラA」に隣接する「カメラB」を次の追跡処理の対象となるカメラの候補とする(破線60参照)。このとき、CPU2は、「カメラB」から得られた画像に対して探索処理を未だ行なっていない場合には、追跡処理の対象となるカメラが他にあると判断する(図16のステップS160におけるYES)。CPU2は、「カメラB」から得られた画像に対して探索処理を既に行なっている場合には、追跡処理の対象となるカメラが他にないと判断する(図16のステップS160におけるNO)。
 再び図16を参照して、CPU2は、追跡処理の対象となるカメラが他にあると判断した場合(図16のステップS160におけるYES)、制御をステップS162に切り替える。ステップS162において、CPU2は、追跡対象のカメラを隣接カメラである「カメラB」に変更する。これにより、CPU2は、引き続き「カメラB」から得られた画像を探索対象の画像とし、探索処理を続行する。以下、同様に、CPU2は、順次隣接するカメラに探索処理を継続させるか、いずれかのカメラにおいて探索処理を終了する。
 なお、隣接カメラが複数ある場合には、CPU2は、追跡対象が移動した方向に応じて追跡処理の対象となるカメラを決定してもよい。より具体的には、CPU2は、追跡対象の探索したことに基づいて、一連の探索画像から追跡対象の移動方向を検出し、現在のカメラから当該移動方向に存在するカメラを次の追跡処理の対象のカメラとして決定する。あるいは、CPU2は、隣接する複数のカメラについて、追跡処理を行なってもよい。
 [小括]
 以上のようにして、本実施の形態に従う画像処理装置100Cは、隣接するカメラの順に追跡対象の探索処理を実行する。これにより、追跡対象が写っている画像を探索できる可能性が高くなり、画像処理装置100Cは、追跡対象を早期に探索することが可能になる。
 今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
 1 ROM、2 CPU、3 RAM、4 ネットワークI/F、4A アンテナ、5 カメラI/F、6 ディスプレイI/F、10 記憶装置、11 カメラ、12 ディスプレイ、22 テンプレート、24 画像情報、26 カメラ情報、28 画像処理プログラム、30 画像、30A 入力画像、30B~30J,30L~30N,30Q,31L~31N 探索画像、30K 静止画像、31,33 表示領域、32L~32N,37H~37J,45 類似領域、33L~33N,39Q 拡大画像、32U,34A,34G,37R,37U,38Q 基準領域、35 人物、36 ポインタ、38 柱、38H~38J 撮影時刻、41,42 ボタン、46 領域、48 追跡結果、60 破線、100A~100C 画像処理装置、202 時刻受付部、204 検索部、210 第1受付部、220 探索部、230 表示制御部、240 第2受付部。

Claims (12)

  1.  表示部と、
     複数の画像と、当該複数の画像のそれぞれの撮影時刻とを格納するための記憶部と、
     前記複数の画像の一部の画像を入力画像として前記表示部に表示しつつ、当該入力画像内において追跡の対象となる基準領域の設定を受け付けるための第1受付部と、
     前記複数の画像のうち撮影時刻が前記入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において前記基準領域と類似する領域を探索するための探索部と、
     前記探索部によって順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に前記表示部に表示するための表示制御部と、
     前記表示制御部によって時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付けるための第2受付部とを備える、画像処理装置。
  2.  前記表示制御部によって時系列に表示される画像は、撮影時刻の順に並べて表示される静止画像と、撮影時刻の順に順次表示される動画像との少なくとも一方を含む、請求項1に記載の画像処理装置。
  3.  前記表示制御部は、前記動画像を前記表示部に繰り返して表示する、請求項2に記載の画像処理装置。
  4.  前記表示制御部は、各画像の撮影時刻の間隔よりも長い間隔で前記動画像を前記表示部に表示する、請求項2または3に記載の画像処理装置。
  5.  前記探索部による探索処理は、探索画像の撮影時刻を遡る順番に実行される、請求項1~4のいずれか1項に記載の画像処理装置。
  6.  前記表示制御部は、前記探索部によって順次出力される探索結果の確からしさが前記予め定められた条件を満たしている間は、当該探索結果を前記表示部に順次表示し、
     前記探索結果は、前記探索画像内における前記基準領域と類似する領域と、当該探索画像の撮影時刻との少なくとも一方を含む、請求項1~5のいずれか1項に記載の画像処理装置。
  7.  前記表示制御部は、前記探索部によって順次出力される探索結果の確からしさの度合いに応じて、前記基準領域と類似する領域の表示方法を変える、請求項1~6のいずれか1項に記載の画像処理装置。
  8.  前記画像処理装置は、
      時刻の入力を受け付けるための時刻受付部と、
      前記複数の画像の中から前記時刻と撮影時刻が最も近い画像を前記入力画像として検索するための検索部とをさらに備える、請求項1~7のいずれか1項に記載の画像処理装置。
  9.  前記画像処理装置は、
      前記新たな基準領域の設定を実施可能な状態になってから一定時間の間に前記新たな基準領域の設定が実施された場合は、当該新たな基準領域を基準とした前記探索部による探索処理を続行し、
      前記新たな基準領域の設定を実施可能な状態になってから前記一定時間の間に、前記新たな基準領域の設定が実施されなかった場合は、前記探索部による探索処理を終了する、請求項1~8のいずれか1項に記載の画像処理装置。
  10.  前記記憶部は、複数のカメラで撮影された複数の画像をそれぞれ記憶し、
     前記画像処理装置は、前記複数のカメラの内の1つのカメラで撮影された画像において、新たな基準領域の設定を実施可能な状態になってから前記一定時間の間に、前記新たな基準領域の設定が実施されなかった場合は、前記1つのカメラと隣接するカメラで撮影された画像において前記探索部による探索処理を継続する、請求項9に記載の画像処理装置。
  11.  複数の画像と、当該複数の画像のそれぞれの撮影時刻とを格納するステップと、
     前記複数の画像の一部の画像を入力画像として表示しつつ、当該入力画像内において追跡の対象となる基準領域の設定を受け付けるステップと、
     前記複数の画像のうち撮影時刻が前記入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において前記基準領域と類似する領域を探索するステップと、
     前記探索するステップで順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に表示するステップと、
     前記表示するステップで時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付けるステップとを備える、画像処理方法。
  12.  コンピュータに実行される画像処理プログラムであって、
     前記画像処理プログラムは、前記コンピュータに、
      複数の画像と、当該複数の画像のそれぞれの撮影時刻とを格納するステップと、
      前記複数の画像の一部の画像を入力画像として表示しつつ、当該入力画像内において追跡の対象となる基準領域の設定を受け付けるステップと、
      前記複数の画像のうち撮影時刻が前記入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において前記基準領域と類似する領域を探索するステップと、
      前記探索するステップで順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に表示するステップと、
      前記表示するステップで時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付けるステップとを実行させる、画像処理プログラム。
PCT/JP2015/084904 2014-12-15 2015-12-14 画像処理装置、画像処理方法、および画像処理プログラム WO2016098720A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016539234A JP6004148B1 (ja) 2014-12-15 2015-12-14 画像処理装置、画像処理方法、および画像処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014253118 2014-12-15
JP2014-253118 2014-12-15

Publications (1)

Publication Number Publication Date
WO2016098720A1 true WO2016098720A1 (ja) 2016-06-23

Family

ID=56126609

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/084904 WO2016098720A1 (ja) 2014-12-15 2015-12-14 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (2)

Country Link
JP (1) JP6004148B1 (ja)
WO (1) WO2016098720A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272529A (zh) * 2017-07-18 2019-01-25 信浓绢糸株式会社 视频分析方法
CN109426811A (zh) * 2017-08-30 2019-03-05 信浓绢糸株式会社 影像分析方法
WO2021139484A1 (zh) * 2020-01-06 2021-07-15 上海商汤临港智能科技有限公司 目标跟踪方法、装置、电子设备及存储介质
JPWO2021245749A1 (ja) * 2020-06-01 2021-12-09

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001111987A (ja) * 1999-10-07 2001-04-20 Daikoku Denki Co Ltd 監視装置
JP2004151820A (ja) * 2002-10-29 2004-05-27 Hitachi Eng Co Ltd 迷子検索・監視システム
JP2009098774A (ja) * 2007-10-15 2009-05-07 Mitsubishi Electric Corp 人物追跡システム及び人物追跡方法及び人物追跡プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001111987A (ja) * 1999-10-07 2001-04-20 Daikoku Denki Co Ltd 監視装置
JP2004151820A (ja) * 2002-10-29 2004-05-27 Hitachi Eng Co Ltd 迷子検索・監視システム
JP2009098774A (ja) * 2007-10-15 2009-05-07 Mitsubishi Electric Corp 人物追跡システム及び人物追跡方法及び人物追跡プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272529A (zh) * 2017-07-18 2019-01-25 信浓绢糸株式会社 视频分析方法
JP2019021018A (ja) * 2017-07-18 2019-02-07 シナノケンシ株式会社 映像解析方法
CN109272529B (zh) * 2017-07-18 2023-07-14 信浓绢糸株式会社 视频分析方法
CN109426811A (zh) * 2017-08-30 2019-03-05 信浓绢糸株式会社 影像分析方法
CN109426811B (zh) * 2017-08-30 2023-06-30 信浓绢糸株式会社 影像分析方法
WO2021139484A1 (zh) * 2020-01-06 2021-07-15 上海商汤临港智能科技有限公司 目标跟踪方法、装置、电子设备及存储介质
JPWO2021245749A1 (ja) * 2020-06-01 2021-12-09
WO2021245749A1 (ja) * 2020-06-01 2021-12-09 日本電気株式会社 追跡装置、追跡方法、および記録媒体
JP7359306B2 (ja) 2020-06-01 2023-10-11 日本電気株式会社 追跡装置、追跡システム、追跡方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2016098720A1 (ja) 2017-04-27
JP6004148B1 (ja) 2016-10-05

Similar Documents

Publication Publication Date Title
US20220124410A1 (en) Image processing system, image processing method, and program
JP5999394B2 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
US11030463B2 (en) Systems and methods for displaying captured videos of persons similar to a search target person
RU2702160C2 (ru) Устройство поддержки отслеживания, система поддержки отслеживания и способ поддержки отслеживания
EP3754592B1 (en) Image acquisition device and method of controlling the same
RU2551128C1 (ru) Устройство содействия в отслеживании, система содействия в отслеживании и способ содействия в отслеживании
JP2020509633A (ja) 複合現実システムのための位置特定の決定
JP6593742B2 (ja) 施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法
JP6004148B1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US10038852B2 (en) Image generation method and apparatus having location information-based geo-sticker
US20210271896A1 (en) Video monitoring apparatus, method of controlling the same, computer-readable storage medium, and video monitoring system
WO2018037631A1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
CN104284147A (zh) 跟踪辅助装置、跟踪辅助系统和跟踪辅助方法
EP2869568A1 (en) E-map based intuitive video searching system and method for surveillance systems
US20230353711A1 (en) Image processing system, image processing method, and program
US20160050173A1 (en) Information processing apparatus which cooperate with other apparatus, and method for controlling the same
US20160084932A1 (en) Image processing apparatus, image processing method, image processing system, and storage medium
US9396538B2 (en) Image processing system, image processing method, and program
JP2008085874A (ja) 人物監視システムおよび人物監視方法
JP6396682B2 (ja) 監視カメラシステム
US11151730B2 (en) System and method for tracking moving objects
US20180197000A1 (en) Image processing device and image processing system
JP6941458B2 (ja) 監視システム
JP2018125587A (ja) 情報処理装置、情報処理方法およびプログラム
JP6895748B2 (ja) 情報処理装置、情報処理装置のデータ管理方法、及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016539234

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15869925

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15869925

Country of ref document: EP

Kind code of ref document: A1