WO2014087622A1 - 見え方提示システム、方法およびプログラム - Google Patents

見え方提示システム、方法およびプログラム Download PDF

Info

Publication number
WO2014087622A1
WO2014087622A1 PCT/JP2013/007026 JP2013007026W WO2014087622A1 WO 2014087622 A1 WO2014087622 A1 WO 2014087622A1 JP 2013007026 W JP2013007026 W JP 2013007026W WO 2014087622 A1 WO2014087622 A1 WO 2014087622A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
monitoring
camera
resolution
angle
Prior art date
Application number
PCT/JP2013/007026
Other languages
English (en)
French (fr)
Inventor
浩雄 池田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US14/649,312 priority Critical patent/US9811738B2/en
Priority to JP2014550914A priority patent/JP6265133B2/ja
Publication of WO2014087622A1 publication Critical patent/WO2014087622A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2207/00—Other aspects
    • G06K2207/1012—Special detection of object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to a view presentation system, a view presentation method, and a view presentation program for presenting to a user how a monitored object photographed by a camera looks in a captured image.
  • Patent Document 1 describes a technique for displaying a shooting range of a camera.
  • a camera position or the like is specified on a top view of a predetermined area displayed on a display device
  • a horizontal field of view in which a shooting range of the camera is projected is displayed in the top view.
  • the vertical field of view which is the field of view of the camera in a plane that includes the optical axis of the camera and is perpendicular to the horizontal plane, is displayed in the elevation view.
  • FIG. 13 is a schematic diagram showing a horizontal field of view and a vertical field of view displayed by the technique described in Patent Document 1.
  • a camera indicator 101 representing the camera is displayed on the top view 100.
  • the user adjusts the height of the camera by dragging the camera indicator 111 displayed in the elevation view 107.
  • the calculated horizontal field 105 is displayed in the top view 100 and the vertical field 115 is displayed in the elevation 107.
  • the vertical field of view 115 includes the optical axis 110 of the camera.
  • the wall indicator 103 is displayed on the top view by designating the position of the wall that becomes the obstacle of the camera.
  • the person indicator in the top view 100 is denoted by reference numeral “102”
  • the person indicator in the elevation view 107 is denoted by reference numeral “112”.
  • Patent Document 1 The technique described in Patent Document 1 is used for adjusting the camera position by presenting the relationship between the field of view of the camera and the walls, people, and the like in a predetermined area by performing the display as described above. .
  • an image recognition process is performed using an image obtained by photographing a monitoring object (for example, a person) by a camera.
  • the image recognition process include a detection process for detecting a monitoring object from within the image, an identification process for identifying the monitoring object as well as detecting the monitoring object from within the image.
  • the image recognition process is not limited to these examples. When executing such an image recognition process, it is preferable that the user can know in advance how much the image captured by the camera is suitable for the image recognition process.
  • the resolution of the monitoring object shown in the image is low, it cannot be said that the image is suitable for the image recognition process. Further, for example, an image obtained by photographing a monitoring object at an angle that is not preferable for the image recognition process cannot be said to be suitable for the image recognition process. It is preferable that the user can grasp such a fact before actually arranging and operating the camera.
  • the horizontal field 105 of the camera can be displayed in the top view 100
  • the vertical field 115 can be displayed in the elevation 107
  • the person indicators 102 and 112 can be displayed. (See FIG. 13).
  • the person indicator is not displayed at the position specified by the user, and how the person looks in the captured image (that is, how the person appears in the image). Can't confirm). For this reason, the user cannot know in advance how much the image obtained by the camera is suitable for the image recognition process when the arrangement position or orientation of the camera is determined. It is also preferable that the appearance of the monitoring object in the image changes depending on the position where the monitoring object appears in the captured image of the camera in which the arrangement position, orientation, etc. are determined, and it is preferable that the user can confirm such a change. .
  • the present invention allows the user to grasp in advance how much the image obtained by the camera is suitable for the image recognition process (in other words, how the monitoring target looks at the position in the image designated by the user (in other words, It is an object of the present invention to provide a view presentation system, a view presentation method, and a view presentation program capable of presenting how a monitoring object is reflected in an image.
  • the appearance presentation system causes a display device to display an image in which an object indicator representing a monitoring object is superimposed on an image when a camera with a determined position and orientation captures a predetermined monitoring object area.
  • the display control means, the position designation receiving means for accepting designation of the position of the object indicator in the image, and the monitoring object is arranged at a position on the monitoring target area corresponding to the position designated in the image Image generating means for generating an image obtained when the camera captures the state, and the display control means extracts a portion corresponding to the monitoring object from the image generated by the image generating means to the display device. It is characterized by being displayed.
  • the appearance presentation method provides an image obtained by superimposing an object indicator representing a monitoring object on an image when a camera with a predetermined position and orientation captures a predetermined monitoring object area.
  • the camera captures a state in which the object indicator is specified in the image, and the monitoring object is placed at a position on the monitoring target area corresponding to the position specified in the image. And generating a portion corresponding to the monitoring object from the generated image and displaying the portion on the display device.
  • the appearance presentation program includes an image obtained by superimposing an object indicator representing a monitoring object on an image when a camera with a determined position and orientation captures a predetermined monitoring object area.
  • the image generation processing for generating an image obtained when the camera captures the state where the image is placed, and the user who extracts the portion corresponding to the monitoring target from the image generated by the image generation processing and displays the portion on the display device
  • a determination information display process is executed.
  • the present invention it is possible to present the appearance of a monitoring object at a position in an image designated by the user so that the user can know in advance how much the image obtained by the camera is suitable for the image recognition processing. Can do.
  • FIG. 1 is a block diagram showing a configuration example of a view presentation system according to the present invention.
  • the appearance presentation system 1 of the present embodiment includes an information storage unit 2, an image generation unit 3, a position designation reception unit 4, a non-hidden ratio calculation unit 5, a gazing point angle calculation unit 6, and a first adaptation.
  • the appearance presentation system 1 also includes a pointing device such as a mouse.
  • the display unit 11 is a display device that displays an image.
  • the information storage unit 2 includes camera parameters and camera screen size, information indicating a monitoring target area, information regarding a monitoring target photographed by the camera, information regarding an obstacle placed in the monitoring target area, and resolution evaluation. It is a storage device that stores a function and a gaze angle evaluation function.
  • the camera parameter is a parameter of a camera that is a confirmation target of how the monitoring target in the captured image is seen.
  • the camera parameters include information such as camera placement position, orientation, field angle, focal length, lens distortion, and the like.
  • the monitoring target area is an area in the real space that is a target of image recognition processing in an image obtained by photographing and captured by the camera.
  • the information storage unit 2 stores the range of the monitoring target area.
  • the information related to the monitored object includes information such as the shape and size of the monitored object.
  • the information regarding the obstacle includes information such as the position, shape, and size of the obstacle.
  • the resolution evaluation function is a function for converting the resolution of the monitoring object in the image into a resolution evaluation value indicating the suitability of the image recognition process.
  • FIG. 2 is a graph showing an example of the resolution evaluation function.
  • the resolution evaluation value approaches 1 as the resolution is suitable for image recognition processing, and the resolution evaluation value approaches 0 as the resolution is not suitable for image recognition processing. Generally, the higher the resolution, the clearer the monitoring target, which is suitable for image recognition processing.
  • the resolution evaluation function is set according to the image recognition process to be handled.
  • the resolution described here may be, for example, the pixel area of the monitoring object in the image, or may be a rectangular pixel area surrounding the monitoring object in the image. Alternatively, the resolution may be a vertical pixel size of a rectangle surrounding the monitoring target in the image, or a horizontal pixel size of the rectangle.
  • a resolution evaluation function with the resolution r as a variable is denoted as FR (r).
  • the gazing point angle evaluation function is a function that converts the gazing point angle to the monitoring object into a gazing point angle evaluation value indicating the suitability of the image recognition process.
  • FIG. 3 is an explanatory diagram showing a gazing point angle with respect to the monitored object.
  • FIG. 3 illustrates a case where the monitoring target is a human head.
  • the gazing point angle with respect to the monitoring target 13 is an angle formed by a straight line connecting the camera position and the gazing point position within the monitoring target 13 and the ground.
  • the gazing point position in the monitoring target 13 is an arbitrary point in the monitoring target 13 that represents the position to which the monitoring target 13 should be noted.
  • the center of gravity of the monitoring target 13 or the center of the center of gravity axis may be set as the gaze point position.
  • FIG. 3 illustrates the case where the gazing point exists on the optical axis of the camera, but the optical axis of the camera may be shifted from the gazing point. If the camera position and the gazing point position in the monitoring target 13 are determined, the gazing point angle is determined even if the optical axis of the camera is deviated from the gazing point.
  • FIG. 4 is a graph showing an example of the gaze angle evaluation function.
  • the image recognition process is a process of estimating the position of the monitoring object, it is preferable that there is less overlap between the monitoring objects or between the monitoring object and the obstacle.
  • the closer the gazing point angle is to 90 ° that is, the closer the shooting position is directly above
  • the gazing point angle is 0.
  • a gazing point angle evaluation function may be determined so that the gazing point angle evaluation value approaches 0 as the angle is closer to 0 °.
  • the image recognition process is an object detection process or an object identification process, it is preferable that the gazing point angle is close to a specific angle.
  • a gazing point angle evaluation function that increases the gazing point angle evaluation value as the gazing point angle approaches the specific angle may be determined.
  • a gaze angle evaluation function with the gaze angle a as a variable is denoted as FA (a).
  • the image generation unit 3 generates an image when a camera that matches the camera parameters captures the state in which the obstacle indicated by the information about the obstacle is arranged in the monitoring target area.
  • the image generation unit 3 generates this image by, for example, CG (Computer / Graphics).
  • This image is not an image that is actually captured by the camera, but an image that simulates an image that is obtained when a camera that matches the camera parameters captures a space on the monitoring target area where an obstacle exists. .
  • CG Computer / Graphics
  • the image generation unit 3 superimposes an object indicator representing a monitoring object on the generated image.
  • the position where the object indicator is superimposed may be, for example, a predetermined initial position.
  • the object indicator moves in the image by a user operation.
  • An image on which the object indicator is superimposed is referred to as a user operation image.
  • the case where there is one target object indicator displayed on the user operation image will be described as an example.
  • FIG. 5 is an explanatory diagram illustrating an example of a user operation image.
  • a plurality of object indicators 17 are shown. This represents that one object indicator 17 moves in the image by a user operation.
  • the target indicator 17 representing not only the head but the entire person is displayed. This is an example.
  • the object indicator 17 is displayed together with the obstacle 22.
  • FIG. 5 also shows a portion corresponding to the monitoring target area 21 shown in the image.
  • the position designation accepting unit 4 accepts an operation in which the user designates the display position of the object indicator 17 on the user operation image (see FIG. 5). For example, when the user performs a drag operation on the object indicator 17 with a pointing device, the position designation accepting unit 4 accepts the destination moved by the drag operation as the display position of the object indicator 17. In this embodiment, the case where the user moves the object indicator 17 by a drag operation will be described as an example. However, the display position of the object indicator 17 may be specified by the user by another operation.
  • the image generation unit 3 changes the superimposed position of the object indicator 17 to the designated position, and displays the user operation image. Update.
  • the image generation unit 3 changes the size, orientation, and the like of the object indicator 17 according to the position designated by the user.
  • the image generation unit 3 specifies a position on the monitoring target area in the real space corresponding to the position in the image designated by the user.
  • the information storage unit 2 stores in advance information related to the shape and size of the object indicator 17 represented in a three-dimensional shape.
  • the image generation part 3 should just produce
  • the size and orientation of the object indicator 17 can be changed in the user operation image according to the position designated by the user. For example, when the object indicator 17 is displayed at the position A in the image shown in FIG. 5 and when the object indicator 17 is displayed at the position D, the position and orientation of the object indicator 17 are different. Yes.
  • the image generation unit 3 displays a CG image when the camera that matches the camera parameters captures the state in which the monitoring target according to the shape and size stored in the information storage unit 2 is arranged at the position. Generate by.
  • This image is an image to be evaluated to what extent it is suitable for the image recognition process, and is referred to as an evaluation image. Based on the evaluation image, information (user determination information) is generated for the user to determine how suitable the evaluation image is for the image recognition process.
  • the evaluation image is not an image actually captured by the camera, but an image obtained when the camera that matches the camera parameters captures a space on the monitoring target area where the monitoring target exists. It is an image.
  • the display control unit 10 causes the display unit 11 to display user determination information in addition to the user operation image.
  • the user determination information includes at least an image obtained by extracting a portion corresponding to the monitoring target from the evaluation image.
  • a specific example of the user determination information other than the image and a display example of the user determination information will be described later.
  • the non-hidden rate calculation unit 5 calculates the non-hidden rate.
  • the non-hidden rate is the ratio of the part of the monitoring object that is within the evaluation image and is not hidden by the obstacle to the entire monitoring object in the evaluation image.
  • the non-hidden rate is a value in the range of 0-1.
  • FIG. 6 is an explanatory diagram showing an example of an evaluation image.
  • FIG. 6 in order to make the description easy to understand, the case where not only the head but also the whole person is the monitoring target will be described as an example.
  • the entire monitoring target 13 is accommodated in the evaluation image shown in FIG. Therefore, in the example shown in FIG. 6A, the non-hidden rate is “1”.
  • the non-hidden rate is a value less than 1.
  • the non-hidden rate calculation unit 5 calculates the non-hidden rate as follows, for example.
  • the non-hidden ratio calculation unit 5 generates an image that is large enough to accommodate the monitoring target 13 and that has no obstacle. This image is an image when it is assumed that the size of the image obtained by the camera is sufficiently large. The entire monitoring target 13 is contained in this image, and the monitoring target 13 is not hidden by an obstacle in this image.
  • the non-hidden ratio calculation unit 5 obtains the number of pixels (assumed to be A) of the monitoring target 13 in this image. Then, the non-hidden ratio calculation unit 5 obtains the number of pixels (assumed to be B) of the portion of the monitoring target 13 that is within the evaluation image and is not hidden by the obstacle in the evaluation image. Then, the non-hidden ratio calculation unit 5 calculates the ratio of the number of pixels B to the number of pixels A, and sets the value as the non-hidden ratio.
  • the non-hidden rate is represented by ⁇ .
  • the non-hidden rate ⁇ corresponds to the user judgment information.
  • the position on the monitoring target area in the real space corresponding to the position in the image designated by the user is specified by the image generation unit 3.
  • this position is represented by the symbol P.
  • the gazing point angle calculation unit 6 determines a state in which the monitoring object is arranged at the position P, and calculates a straight line passing through the gazing point of the monitoring object and the camera position in the state using the camera parameter. And the gaze point angle calculation part 6 calculates the angle which the straight line and the ground make as a gaze point angle.
  • the first matching level calculation unit 7 calculates the gaze angle evaluation value of the position P using the gaze angle and the gaze angle evaluation function FA (a).
  • the fixation point angle calculated with respect to the position P referred to as a P. Further, it marks the fixation point angle evaluation value obtained from the fixation point angle a P and SA P.
  • First fitness calculating section 7 evaluates the fixation point angle a P position P in the fixation point angle evaluation function FA (a), calculates the fixation point angle evaluation value SA P. That is, the first matching degree calculating unit 7, by the following calculation formula (1), calculates the fixation point angle evaluation value SA P.
  • the non-hidden rate calculated for the position P is denoted as ⁇ P.
  • the suitability is an index value that represents the degree to which the captured image with the monitoring target placed at the position P is suitable for image recognition processing.
  • the first fitness level is a fitness level calculated from the viewpoint of the gazing point angle.
  • the calculation of the first degree of fitness means that the difference in appearance depending on the shooting angle of the camera, which is important in evaluating the suitability of the image recognition processing, the overlapping state of the monitoring objects, etc.
  • the evaluation is based on the gaze angle.
  • the gazing point angle and the first fitness level correspond to user judgment information.
  • the resolution acquisition unit 8 uses the evaluation image generated by the image generation unit 3 to acquire the resolution of the monitoring object shown in the evaluation image. As described above, as the resolution, the pixel area of the monitoring object in the image or the rectangular pixel area surrounding the monitoring object in the image may be used. Pixel size may be adopted.
  • the second fitness level calculation unit 9 calculates the resolution evaluation value of the position P using the resolution acquired by the resolution acquisition unit 8 and the resolution evaluation function FR (r). The resulting resolution with respect to the position P referred to as r P. Also, mark the resolution evaluation value obtained from the resolution r P and SR P.
  • the second fitness calculating unit 9 evaluates the resolution r P position P in the resolution evaluation function FR (r), and calculates the resolution evaluation value SR P. That is, the second adaptation degree calculation section 9, by the following calculation equation (3) to calculate the resolution evaluation value SR P.
  • the second adaptation degree calculation section 9 by multiplying the non-hiding factor alpha P to the resolution evaluation value SR P position P, and calculates a second matching degree. That is, the second fitness is calculated by the following equation (4).
  • the second fitness ⁇ P ⁇ SR P (4)
  • the second fitness is a fitness calculated from the viewpoint of resolution.
  • Calculating the second fitness level means that the sharpness of the monitoring object in the image, which is important in evaluating the suitability of the image recognition processing, is evaluated based on the resolution of the monitoring object.
  • the resolution and the second fitness level correspond to user judgment information.
  • the display control unit 10 extracts an image obtained by extracting a portion corresponding to the monitoring target from the evaluation image, and displays the extracted image on the display unit 11 as user determination information.
  • This image can be said to be an image that directly represents the appearance of the monitoring object in the captured image of the camera.
  • the display control unit 10 also causes the display unit 11 to display the non-hidden rate, the gaze point angle, the first matching level, the resolution, the second matching level, and the non-hidden rate as user determination information.
  • the unit 10 is realized by, for example, a CPU of a computer that operates in accordance with the appearance presentation program. In this case, the CPU reads the appearance presentation program, and according to the program, the image generation unit 3, the position designation reception unit 4, the non-hidden ratio calculation unit 5, the gaze angle calculation unit 6, and the first fitness calculation unit 7.
  • the resolution acquisition unit 8, the second fitness level calculation unit 9, and the display control unit 10 may be operated. Further, the appearance presentation program may be recorded on a computer-readable recording medium.
  • the display control unit 10 may be realized by separate hardware.
  • FIG. 7 is a flowchart showing an example of processing progress of the present invention. It is assumed that the display control unit 10 displays a user operation image.
  • the position designation receiving unit 4 designates the position of the object indicator 17 in the user operation image (for example, see FIG. 5) (step S1). For example, the user performs a drag operation on the object indicator 17. Then, the position designation receiving unit 4 receives the destination moved by the drag operation as the display position of the object indicator 17. In addition, according to step S1, the image generation part 3 produces
  • the image generation unit 3 specifies a position P on the monitoring area in the real space corresponding to the position in the user operation image specified in step S1. Then, the image generation unit 3 generates an image (that is, an evaluation image) when the camera that matches the camera parameters is captured in a state where the monitoring target is arranged at the position P (step S2).
  • the non-hidden rate calculation unit 5 a non-hidden factor alpha P on the position P, and calculated based on the evaluation image generated in step S2 (step S3).
  • the fixation point angle calculating section 6 calculates the fixation point angle a P position P (step S4). Specifically, the gazing point angle calculation unit 6 determines a state in which the monitoring object is arranged at the position P, calculates a straight line passing through the gazing point of the monitoring object and the camera position in the state, Calculate the angle with the ground. This angle is gazing point angle a P.
  • the first matching degree calculation unit 7 uses the gazing point angle a P calculated with respect to the position P and the gazing point angle evaluation function to calculate the gazing point angle evaluation value SA P by the calculation of Expression (1). Is calculated. Furthermore, the first fitness calculating unit 7, by multiplying the non-hiding factor alpha P to the fixation point angle evaluation value SA P, calculates a first matching degree regarding the position P (step S5).
  • the resolution acquisition unit 8 acquires the resolution of the monitoring object shown in the evaluation image using the evaluation image generated by the image generation unit 3 (step S6). This resolution is a resolution r P on the position P.
  • the second adaptation degree calculation unit 9 by using the resolution r P and resolution evaluation function obtained for position P, the calculation of equation (3) to calculate the resolution evaluation value SR P. Further, the second adaptation degree calculation section 9, by multiplying the non-hiding factor alpha P to the resolution evaluation value SR P, calculates a second matching degree regarding the position P (step S7).
  • the display control part 10 displays the information for user judgment on the display part 11 (step S8).
  • the display control unit 10 extracts an image obtained by extracting a portion corresponding to the monitoring object from the evaluation image and causes the display unit 11 to display the image as user determination information.
  • the display control unit 10 also causes the display unit 11 to display the non-hiding ratio, the gazing point angle, the first matching level, the resolution, and the second matching level as user determination information.
  • the display control unit 10 displays the magnitude of the gazing point angle on the display unit 11 as a figure and also displays the value of the gazing point angle on the display unit 11 as an example.
  • the appearance presentation system 1 may display only the figure or only the value regarding the gazing point angle. However, by displaying a diagram representing the magnitude of the gazing point angle, the user can intuitively grasp the magnitude of the gazing point angle. Therefore, it is preferable to display a diagram representing the magnitude of the gazing point angle.
  • FIG. 8 to 11 are explanatory diagrams showing display examples of the user determination information displayed in step S8.
  • the case where the gaze angle is closer to the specific angle is described as an example. .
  • the image display column 51 shown in FIGS. 8 to 11 is a display column that displays an image of a portion corresponding to the monitoring object extracted from the evaluation image.
  • the size of the image display column 51 is constant, and the display control unit 10 displays an image of a portion corresponding to the monitoring target according to the size of the image display column 51.
  • the display control unit 10 does not perform bilinear processing or bicubic processing in the image resizing processing, but performs processing that represents the resolution of the original image (for example, nearest neighbor). Execute interpolation (Nearest neighbor) etc.) and display.
  • the appearance of the monitoring object in the captured image of the camera is directly represented.
  • the non-hidden rate display column 57 is a display column for displaying the non-hidden rate calculated in step S3.
  • the gazing point angle display column 55 is a display column that displays the value of the gazing point angle calculated in step S4.
  • the gazing point angle display column 54 is a display column that displays a diagram representing the magnitude of the gazing point angle.
  • the first fitness level display field 56 is a display field for displaying the first fitness level calculated in step S5.
  • the resolution display field 52 is a display field for displaying the resolution obtained in step S6.
  • the second fitness level display field 53 is a display field for displaying the second fitness level calculated in step S7.
  • the display control unit 10 includes the user determination information in the display columns 51 to 57 and causes the display unit 11 to display the information.
  • FIG. 8 shows an example of user determination information when the position A shown in FIG. 5 is designated. Since the monitoring object placed at the position A appears small in the image, when displayed in accordance with the image display column 51 having a certain size, a rough image is formed as illustrated in FIG. Further, it can be seen from the image display column 51 illustrated in FIG. 8 that the monitoring target is not hidden by the degree of the gazing point angle or the obstacle. Therefore, the user is preferable from the image display column 51 illustrated in FIG. 8 that the captured image when the monitoring target exists at the position A (see FIG. 5) is not hidden by the obstacle. However, from the viewpoint of resolution, it can be determined that the image recognition processing is not preferable.
  • the image displayed in the image display column 51 is an image that comprehensively represents the state of the non-hiding ratio, the gazing point angle, and the resolution. Therefore, by referring to this image, the user can see how suitable the captured image is when the monitoring target is present at the specified position from the viewpoint of non-hidden rate, gaze angle, and resolution. Can be judged.
  • the gaze point angle display field 54 displays a diagram representing the magnitude of the gaze point angle. Therefore, the user can easily understand the size of the gazing point angle, and determine how much the captured image when the monitoring target exists at the designated position is suitable for the image recognition processing from the viewpoint of the gazing point angle. be able to.
  • the value of the gazing point angle is displayed in the gazing point angle display column 55, and the first matching level is displayed in the first matching level display column 56. Also with these values, the user can determine how much the captured image is suitable for the image recognition processing from the viewpoint of the gazing angle.
  • the non-hidden ratio display column 57 displays the non-hidden ratio value. The user refers to this value to determine how well the captured image is suitable for the image recognition processing from the viewpoint of the non-hidden rate (that is, the viewpoint of how much of the entire monitoring object is captured in the image). It can be judged from.
  • the resolution value is displayed in the resolution display field 52, and the second fitness level is displayed in the second fitness level display field 53.
  • FIG. 9 shows an example of user determination information when the position B shown in FIG. 5 is designated.
  • the user captures the captured image when the monitoring target exists at the position B (see FIG. 5) from any viewpoint of the gazing point angle, the resolution, and the non-hiding ratio. Also, it can be determined that it is preferable for the image recognition processing.
  • FIG. 10 shows an example of user determination information when the position C shown in FIG. 5 is designated. From the image display column 51 illustrated in FIG. 10, it can be seen that the degree of the gazing point angle and the resolution are good, and the monitoring target is hidden by the obstacle. Therefore, the user can select the captured image when the monitoring target exists at the position C (see FIG. 5) from the image display column 51 illustrated in FIG. 10 in the image recognition process from the viewpoint of the gazing point angle and the resolution. However, it can be determined that it is not sufficiently preferable from the viewpoint of the non-hidden rate.
  • FIG. 11 shows an example of user determination information when the position D shown in FIG. 5 is designated. From the image display column 51 illustrated in FIG. 11, it can be seen that the head is photographed from above, the gaze angle is large, the resolution is good, and the monitoring target is not hidden by the obstacle. Accordingly, the user can select the captured image in the case where the monitoring target exists at the position D (see FIG. 5) from the image display field 51 illustrated in FIG. 11 from the viewpoint of the non-hidden rate and the resolution. However, it can be determined that it is not preferable from the viewpoint of the gaze angle.
  • the user quantifies the preference in terms of the non-hidden ratio, the gazing point angle, and the resolution by referring to the display in the other display fields 52 to 57. Can be judged.
  • the appearance display system is an image (evaluation when a monitoring target is placed at a position on the monitoring target region in the real space corresponding to the position specified by the user in the user operation image. Image) and a portion of the image corresponding to the monitoring object extracted from the evaluation image is displayed. Therefore, it is possible to present to the user how the monitoring object is captured in the captured image when the monitoring object exists at the designated position. In other words, it is possible to present to the user how the monitored object appears in the captured image. Then, the user can comprehensively confirm how much the image obtained by the camera is suitable for the image recognition processing from the viewpoint of the non-hidden rate, the gazing point angle, and the resolution by confirming the appearance. it can. Further, the user can perform such confirmation before actually placing and operating the camera.
  • the appearance display system of the present embodiment displays the magnitude of the gazing point angle as a diagram. Therefore, the user can determine how much the captured image is suitable for the image recognition processing from the viewpoint of the gazing point angle. In addition, since the value of the gazing point angle and the first matching degree is also displayed, the user can determine the suitability of the captured image from the viewpoint of the gazing point angle.
  • the appearance display system of the present embodiment displays the resolution and the second fitness value. Therefore, the user can determine how much the captured image is suitable for the image recognition processing from the viewpoint of resolution.
  • the appearance display system of this embodiment also displays the value of the non-hidden rate. Therefore, the user can determine how much the captured image is suitable for the image recognition processing from the viewpoint of the non-hidden rate.
  • processing progress shown in FIG. 7 is an example, and the order of processing in the present invention is not limited to the example shown in FIG.
  • the appearance presentation system 1 of the present invention displays at least a portion corresponding to the monitoring object extracted from the evaluation image as the user determination information.
  • the appearance presentation system 1 may omit the display of the first fitness level. In that case, the appearance presentation system 1 may not include the first fitness level calculation unit 7. Further, the appearance presentation system 1 may omit the display of the gazing point angle. In that case, the appearance presentation system 1 may not include the gaze angle calculation unit 6.
  • the appearance presentation system 1 may omit the display of the second fitness level. In that case, the appearance presentation system 1 may not include the second fitness level calculation unit 9. Further, the appearance presentation system 1 may omit the display of resolution. In that case, the appearance presentation system 1 may not include the resolution acquisition unit 8.
  • the view presentation system 1 may omit the display of the non-hidden rate.
  • the appearance presentation system 1 may not include the non-hidden rate calculation unit 5.
  • the object indicator 17 is shown in a simplified shape, but the object indicator 17 that specifically represents the monitoring object may be displayed.
  • the image generation unit 3 may generate an image of the object indicator 17 based on the shape and size of the monitoring object stored in the information storage object 2.
  • FIG. 12 is a block diagram showing an example of a main part of the present invention.
  • the appearance presentation system of the present invention includes a display control unit 10, a position designation reception unit 4, and an image generation unit 3 as main parts.
  • the display control unit 10 displays an image (for example, an image for user operation) in which an object indicator representing a monitoring object is superimposed on an image when a camera with a determined position and orientation captures a predetermined monitoring object area. Display on the display device.
  • the position designation accepting unit 4 accepts designation of the position of the object indicator in the image.
  • the image generation unit 3 generates an image (e.g., an evaluation image) obtained when the camera captures a state in which the monitoring target is arranged at a position on the monitoring target area corresponding to the position designated in the image. To do.
  • an image e.g., an evaluation image
  • the display control unit 10 extracts a portion corresponding to the monitoring object from the image generated by the image generation unit 3 and displays the portion on the display device.
  • the user should be able to see in advance how well the image obtained by the camera is suitable for the image recognition process, and present the appearance of the monitored object at the position in the image specified by the user Can do.
  • Display control means for displaying on a display device an image obtained by superimposing an object indicator representing a monitoring object on an image when a camera whose position and orientation are determined captures a predetermined monitoring object area;
  • a position designation receiving means for accepting designation of the position of the object indicator, and a state in which the monitoring object is arranged at a position on the monitoring target area corresponding to the position designated in the image
  • An image generation unit configured to generate an image obtained when the camera captures the image, and the display control unit extracts a portion corresponding to the monitoring object from the image generated by the image generation unit.
  • a visual presentation system characterized by being displayed on the screen.
  • a gaze point that is an angle formed by a straight line passing through a gaze point in a monitoring target object and a camera position arranged at a position on the monitoring target region corresponding to the position designated in the image and the ground.
  • the appearance presentation system according to attachment 1 further comprising a gazing point calculation unit that calculates an angle, wherein the display control unit displays a diagram representing the gazing point angle on a display device.
  • the non-hidden rate which is a ratio of the part of the monitoring target object which is settled in the image with respect to the whole monitoring target object and is not hidden by the obstacle is calculated.
  • the non-hidden ratio calculation means and the angle formed by the ground and the straight line passing through the point of interest in the monitoring target located at the position on the monitoring target area corresponding to the position specified in the image and the position of the camera A gazing point calculating means for calculating a certain gazing point angle, and evaluating the gazing point angle with a gazing point angle evaluation function that defines a relationship between a gazing point angle and a gazing point angle evaluation value indicating suitability of image recognition processing.
  • a first fitness level calculating unit that calculates a first fitness level that indicates a degree of presence, and the display control unit causes the display device to display the gaze angle and the first fitness level. Appearance presentation system described in 1.
  • the non-hidden rate which is a ratio of the part of the monitoring target object which is settled in the image with respect to the whole monitoring target object and is not hidden by the obstacle is calculated.
  • a resolution evaluation value at the arrangement position of the monitoring object in the monitoring target area is calculated, and the evaluation value is arranged at the arrangement position based on the resolution evaluation value and the non-hidden ratio.
  • a second fitness level calculating means for calculating a second fitness level indicating a degree of suitability of the image of the monitored object for image recognition processing, and the display control means includes the resolution and the second fitness level.
  • Appearance presentation system according to any one of Appendices 3 Appendixes 1 to be displayed on the display device.
  • a gaze point that is an angle formed by a straight line passing through a gaze point in a monitoring target object located at a position on the monitoring target region corresponding to a position designated in the image and the camera position and the ground.
  • the monitoring object arranged at the arrangement position The image of the object is Calculating a first adaptation level indicating the degree suitable for processing, appearance presentation method according to Appendix 6 or Appendix 7 displays the gaze point angle and the first fit on the display device.
  • a resolution evaluation value at the arrangement position of the monitoring object on the monitoring object area is calculated, and the monitoring object arranged at the arrangement position based on the resolution evaluation value and the non-hidden ratio Any one of Supplementary Note 6 to Supplementary Note 8, wherein a second fitness level indicating a degree of suitability of the image of the object for image recognition processing is calculated, and the resolution and the second fitness level are displayed on a display device. Appearance presented method according to.
  • Additional remark 10 The appearance presentation method of Additional remark 8 or Additional remark 9 which displays a non-hidden rate on a display apparatus.
  • Display control for causing a display device to display an image in which an object indicator representing a monitoring target is superimposed on an image when a camera whose position and orientation are determined captures a predetermined monitoring target area.
  • Processing a position designation receiving process for accepting designation of the position of the object indicator in the image, and a state in which the monitoring object is arranged at a position on the monitoring target area corresponding to the position designated in the image.
  • Image generation processing for generating an image obtained when the camera takes a picture, and user judgment for extracting a portion corresponding to the monitoring object from the image generated by the image generation processing and displaying the portion on the display device
  • An appearance presentation program for executing information display processing.
  • the non-hidden rate which is a ratio of the part of the monitoring target object which is settled in the image and is not hidden by the obstacle with respect to the whole monitoring target object in the image generated by the image generation processing
  • Non-hidden ratio calculation processing to be calculated, the angle between the ground and the straight line that passes through the point of interest in the monitoring target located at the position on the monitoring target area corresponding to the position specified in the image and the position of the camera
  • a gazing point calculation process for calculating a gazing point angle, and evaluating the gazing point angle with a gazing point angle evaluation function that defines a relationship between the gazing point angle and a gazing point angle evaluation value indicating suitability of the image recognition processing
  • a first fitness level calculation process for calculating a first fitness level indicating a degree suitable for the image recognition process is executed, and
  • the non-hidden rate which is the ratio of the part of the monitoring target object which is settled in the image and is not hidden by the obstacle with respect to the whole monitoring target object in the image generated by the image generation processing
  • Non-hidden ratio calculation processing to be calculated, resolution acquisition processing to acquire the resolution of the monitoring object in the image generated by the image generation processing, and the relationship between the resolution and the resolution evaluation value indicating the suitability of the image recognition processing
  • a second fitness level calculation process is performed to calculate a second fitness level indicating the degree of suitability of the image of the monitored object that is suitable for the image recognition process.
  • the resolution and appearance presentation program as set forth in Appendix 11 to any one of Appendices 13 to display the second fit on the display device.
  • Additional remark 15 The appearance presentation program of Additional remark 13 or Additional remark 14 which makes a computer display a non-hidden rate on a display apparatus by the information display process for user judgment.
  • the present invention is preferably applied to an appearance presentation system that presents to a user how a monitored object photographed by a camera looks in a photographed image.

Abstract

　カメラによって得られる画像が画像認識処理にどの程度適しているかをユーザが事前に把握できるように、ユーザが指定した画像内の位置における監視対象物の見え方を提示することができる見え方提示システムを提供する。表示制御部１０は、位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる。位置指定受付部４は、その画像内で、対象物表示子の位置の指定を受け付ける。画像生成部３は、その画像内で指定された位置に対応する監視対象領域上の位置に監視対象物を配置した状態をカメラが撮影した場合に得られる画像を生成する。そして、表示制御部１０は、画像生成部３に生成された画像から、監視対象物に該当する部分を抽出して表示装置に表示させる。

Description

見え方提示システム、方法およびプログラム
　本発明は、カメラによって撮影される監視対象物が撮影画像内でどのように見えるかをユーザに提示する見え方提示システム、見え方提示方法および見え方提示プログラムに関する。
　カメラの撮影範囲を表示する技術が特許文献１に記載されている。特許文献１に記載された技術では、表示装置に表示された所定エリアの上面図上で、カメラの位置等を指定すると、カメラの撮影範囲を投影した水平視野をその上面図内に表示するとともに、カメラの光軸を含み水平面に垂直な面内におけるカメラの視野である垂直視野を立面図内に表示する。図１３は、特許文献１に記載の技術によって表示される水平視野および垂直視野を表す模式図である。
　特許文献１に記載の技術では、例えば、上面図１００においてカメラの位置を指定すると、カメラを表すカメラ表示子１０１が上面図１００上に表示される。また、ユーザは、カメラの高さを、立面図１０７に表示されるカメラ表示子１１１をドラッグすることで調整する。カメラの位置が指定されると、計算された水平視野１０５が上面図１００に表示され、垂直視野１１５が立面図１０７に表示される。垂直視野１１５は、カメラの光軸１１０を含む。また、人物のアイコンを上面図１００上にドラッグアンドドロップすると、その位置に人物表示子１０２が表示され、さらに、立面図１０７内にも人物表示子１１２が表示される。同様に、カメラの障害物となる壁の存在位置を指定することで、壁表示子１０３が上面図に表示される。なお、図１３において、上面図１００内の人物表示子を符号“１０２”で表し、立面図１０７内の人物表示子を符号“１１２”で表す。
　特許文献１に記載の技術は、上記のような表示を行うことで、カメラの視野と、所定エリア内の壁、人物等との関係を提示して、カメラの配置位置の調整に利用される。
特開２００９－２３９８２１号公報
　カメラが監視対象物（例えば、人物）を撮影することによって得られた画像を用いて、画像認識処理を行う場合がある。画像認識処理の例として、画像内から監視対象物を検出する検出処理や、画像内から監視対象物を検出するだけでなく、さらにその監視対象物を識別する識別処理等が挙げられる。ただし、画像認識処理は、これらの例に限定されない。このような画像認識処理を実行する場合、カメラによって撮影される画像がどの程度、画像認識処理に適しているかをユーザが事前に把握できることが好ましい。
　例えば、画像内に写った監視対象物の解像度が低いと、その画像は画像認識処理に適していると言えない。また、例えば、画像認識処理にとって好ましくない角度で監視対象物を撮影した場合の画像も、画像認識処理に適していると言えない。このようなことを、実際にカメラを配置して運用する前にユーザが把握できることが好ましい。
　特許文献１に記載された技術では、カメラの水平視野１０５を上面図１００内に表示し、垂直視野１１５を立面図１０７内に表示するとともに、人物表示子１０２，１１２を表示することができる（図１３参照）。
　しかし、特許文献１に記載した技術では、ユーザが指定した位置に人物表示子を表示するに止まっていて、撮影画像内で人物がどのように見えるか（すなわち、人物がどのように画像に写るか）を確認することができない。そのため、カメラの配置位置や姿勢等を定めた場合にそのカメラによって得られる画像が、画像認識処理にどの程度適しているかをユーザが事前に把握できない。また、配置位置や姿勢等が定められたカメラの撮影画像内で監視対象物が写る位置によっても、画像内における監視対象物の見え方は変化し、そのような変化をユーザが確認できることが好ましい。
　そこで、本発明は、カメラによって得られる画像が画像認識処理にどの程度適しているかをユーザが事前に把握できるように、ユーザが指定した画像内の位置における監視対象物の見え方（換言すれば、監視対象物が画像内にどのように写るか）を提示することができる見え方提示システム、見え方提示方法および見え方提示プログラムを提供することを目的とする。
　本発明による見え方提示システムは、位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる表示制御手段と、その画像内で、対象物表示子の位置の指定を受け付ける位置指定受付手段と、その画像内で指定された位置に対応する監視対象領域上の位置に監視対象物を配置した状態をカメラが撮影した場合に得られる画像を生成する画像生成手段とを備え、表示制御手段が、画像生成手段に生成された画像から、監視対象物に該当する部分を抽出して表示装置に表示させることを特徴とする。
　また、本発明による見え方提示方法は、位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させ、その画像内で、対象物表示子の位置の指定を受け付け、その画像内で指定された位置に対応する監視対象領域上の位置に監視対象物を配置した状態をカメラが撮影した場合に得られる画像を生成し、生成した画像から、監視対象物に該当する部分を抽出して表示装置に表示させることを特徴とする。
　また、本発明による見え方提示プログラムは、コンピュータに、位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる表示制御処理、その画像内で、対象物表示子の位置の指定を受け付ける位置指定受付処理、その画像内で指定された位置に対応する監視対象領域上の位置に監視対象物を配置した状態をカメラが撮影した場合に得られる画像を生成する画像生成処理、および、画像生成処理で生成された画像から、監視対象物に該当する部分を抽出して表示装置に表示させるユーザ判断用情報表示処理を実行させることを特徴とする。
　本発明によれば、カメラによって得られる画像が画像認識処理にどの程度適しているかをユーザが事前に把握できるように、ユーザが指定した画像内の位置における監視対象物の見え方を提示することができる。
本発明の見え方提示システムの構成例を示すブロック図である。 解像度評価関数の例を示すグラフである。 監視対象物への注視点角度を示す説明図である。 注視点角度評価関数の例を示すグラフである。 ユーザ操作用画像の例を示す説明図である。 評価用画像の例を示す説明図である。 本発明の処理経過の例を示すフローチャートである。 ステップＳ８で表示されるユーザ判断用情報の表示例を示す説明図である。 ステップＳ８で表示されるユーザ判断用情報の表示例を示す説明図である。 ステップＳ８で表示されるユーザ判断用情報の表示例を示す説明図である。 ステップＳ８で表示されるユーザ判断用情報の表示例を示す説明図である。 本発明の主要部の例を示すブロック図である。 特許文献１に記載の技術によって表示される水平視野および垂直視野を表す模式図である。
　以下、本発明の実施形態を図面を参照して説明する。
　図１は、本発明の見え方提示システムの構成例を示すブロック図である。本実施形態の見え方提示システム１は、情報記憶部２と、画像生成部３と、位置指定受付部４と、非隠れ率算出部５と、注視点角度算出部６と、第１の適合度算出部７と、解像度取得部８と、第２の適合度算出部９と、表示制御部１０と、表示部１１とを備える。また、図示を省略しているが、見え方提示システム１は、マウス等のポインティングデバイスも備える。
　表示部１１は、画像を表示する表示装置である。
　情報記憶部２は、カメラパラメータおよびカメラの画面サイズと、監視対象領域を示す情報と、カメラによって撮影される監視対象物に関する情報と、監視対象領域に配置される障害物に関する情報と、解像度評価関数と、注視点角度評価関数とを記憶する記憶装置である。
　カメラパラメータは、撮影画像内の監視対象物の見え方の確認対象となるカメラのパラメータである。カメラパラメータには、カメラの配置位置、姿勢、画角、焦点距離、レンズ歪み等の情報が含まれる。
　監視対象領域は、カメラによって撮影され、撮影の結果得られた画像内で画像認識処理の対象となる実空間内の領域である。情報記憶部２は、監視対象領域の範囲を記憶する。
　監視対象物に関する情報には、監視対象物の形状、大きさ等の情報が含まれる。
　障害物に関する情報には、障害物の配置位置、形状、大きさ等の情報が含まれる。
　解像度評価関数は、画像内の監視対象物の解像度を、画像認識処理の適性を示す解像度評価値に変換する関数である。図２は、解像度評価関数の例を示すグラフである。画像認識処理に適している解像度であるほど、解像度評価値は１に近づき、画像認識処理に適していない解像度であるほど、解像度評価値は０に近づく。一般的に、解像度が高いほど、監視対象物が鮮明となり、画像認識処理に適する。解像度評価関数は、扱う画像認識処理に応じて設定しておく。ここで述べる解像度は、例えば、画像内の監視対象物の画素面積であってもよく、あるいは、画像内の監視対象物を囲む矩形の画素面積であってもよい。または、解像度は、画像内の監視対象物を囲む矩形の縦方向の画素サイズ、あるいは、その矩形の横方向の画素サイズであってもよい。解像度ｒを変数とする解像度評価関数をＦＲ（ｒ）と記す。
　注視点角度評価関数は、監視対象物への注視点角度を、画像認識処理の適性を示す注視点角度評価値に変換する関数である。図３は、監視対象物への注視点角度を示す説明図である。図３では、監視対象物が人物の頭部である場合を例示している。監視対象物１３への注視点角度とは、カメラ位置と監視対象物１３内の注視点位置とを結ぶ直線と、地面とがなす角度である。ここで、監視対象物１３内の注視点位置とは、監視対象物１３の注目すべき位置を表す監視対象物１３内の任意の点である。例えば、監視対象物１３の重心や、重心軸の中心を注視点位置としてもよい。なお、図３では、カメラの光軸上に注視点が存在する場合を例示しているが、カメラの光軸は注視点とずれていてもよい。カメラ位置と監視対象物１３内の注視点位置が定まれば、カメラの光軸が注視点からずれていても、注視点角度が定まる。
　図４は、注視点角度評価関数の例を示すグラフである。例えば、画像認識処理が、監視対象物の位置を推定する処理である場合、監視対象物同士の重なりや監視対象物と障害物との重なりが少ない方が好ましい。この場合、図４（ａ）に示すように、注視点角度が９０°に近いほど（すなわち、撮影位置が真上に近いほど）、注視点角度評価値が１に近づき、注視点角度が０°に近いほど注視点角度評価値が０に近づくような注視点角度評価関数を定めておけばよい。また、例えば、画像認識処理が物体検出処理や物体識別処理である場合、注視点角度が特定角度に近いことが好ましい。この場合、図４（ｂ）に示すように、注視点角度が特定角度に近づくほど注視点角度評価値が高くなる注視点角度評価関数を定めておけばよい。注視点角度ａを変数とする注視点角度評価関数をＦＡ（ａ）と記す。
　本実施形態では、解像度評価値および注視点角度評価値がいずれも０～１の範囲である場合を例にする。
　画像生成部３は、障害物に関する情報が示す障害物を監視対象領域に配置した状態を、カメラパラメータに合致するカメラが撮影した場合の画像を生成する。画像生成部３は、例えばＣＧ（Computer Graphics）によってこの画像を生成する。この画像は、実際にカメラが撮影して得た画像ではなく、カメラパラメータに合致するカメラが、障害物の存在する監視対象領域上の空間を撮影した場合に得られる画像を模擬した画像である。ただし、実空間の監視対象領域に障害物が存在しない場合には、情報記憶部２に障害物に関する情報を記憶させておく必要はない。その場合、画像生成部３は、障害物が存在しない監視対象領域上の空間をカメラが撮影した場合の画像を生成する。さらに、画像生成部３は、生成した画像に、監視対象物を表す対象物表示子を重畳する。対象物表示子を重畳する位置は例えば予め定められた初期位置でよい。後述するように、対象物表示子は、ユーザの操作によって画像内で移動する。対象物表示子を重畳した画像をユーザ操作用画像と記す。本例では、ユーザ操作用画像に表示される対象物表示子が１つである場合を例にして説明する。
　表示制御部１０は、ユーザ操作用画像を表示部１１に表示させる。図５は、ユーザ操作用画像の例を示す説明図である。図５では、対象物表示子１７を複数図示している。このことは、１つの対象物表示子１７がユーザの操作により画像内で移動することを表している。また、本実施形態では、人物の頭部を監視対象物とする場合を例にして説明するが、図５に示す例では、頭部だけでなく人物全体を表す対象物表示子１７が表示される場合を例示している。また、図５では、障害物２２とともに対象物表示子１７が表示される。また、図５では、画像内に写った監視対象領域２１に該当する部分も図示している。
　位置指定受付部４は、ユーザ操作用画像（図５参照）上でユーザが対象物表示子１７の表示位置を指定する操作を受け付ける。例えば、位置指定受付部４は、ユーザがポインティングデバイスによって対象物表示子１７に対してドラッグ操作を行った場合、ドラッグ操作によって移動した先を、対象物表示子１７の表示位置として受け付ける。本実施形態では、ユーザがドラッグ操作で対象物表示子１７を移動させる場合を例にして説明するが、他の操作で、ユーザが対象物表示子１７の表示位置を指定してもよい。
　位置指定受付部４が対象物表示子１７の表示位置をユーザから指定されると、画像生成部３は、対象物表示子１７の重畳位置を指定された位置に変更し、ユーザ操作用画像を更新する。
　このとき、画像生成部３は、ユーザに指定された位置に応じて、対象物表示子１７の大きさや向き等を変えることが好ましい。この場合、例えば、画像生成部３は、ユーザに指定された画像内の位置に対応する実空間の監視対象領域上の位置を特定する。また、情報記憶部２は、対象物表示子１７を３次元形状で表した形状、大きさに関する情報を予め記憶しておく。そして、画像生成部３は、その形状、大きさによって表される物体を、特定した監視対象領域上の位置に配置した状態をカメラで撮影した場合の画像を生成すればよい。この結果、ユーザに指定された位置に応じて、ユーザ操作用画像内で対象物表示子１７の大きさや向きを変えることができる。例えば、図５に示す画像内の位置Ａに対象物表示子１７を表示する場合と、位置Ｄに対象物表示子１７を表示する場合とでは、対象物表示子１７の位置や向きが異なっている。
　また、位置指定受付部４が対象物表示子１７の表示位置をユーザから指定されると、画像生成部３は、前述のように、ユーザに指定された画像内の位置に対応する実空間の監視対象領域上の位置を特定する。そして、画像生成部３は、その位置に、情報記憶部２に記憶された形状および大きさに応じた監視対象物を配置した状態を、カメラパラメータに合致するカメラが撮影した場合の画像をＣＧによって生成する。この画像は、画像認識処理にどの程度適しているか評価される画像であり、評価用画像と記す。評価用画像に基づいて、その評価用画像が画像認識処理にどの程度適しているかをユーザが判断するための情報（ユーザ判断用情報）が生成される。
　なお、評価用画像も、実際にカメラが撮影して得た画像ではなく、カメラパラメータに合致するカメラが、監視対象物が存在する監視対象領域上の空間を撮影した場合に得られる画像を模擬した画像である。
　表示制御部１０は、ユーザ操作用画像の他に、ユーザ判断用情報も表示部１１に表示させる。ユーザ判断用情報には、少なくとも、評価用画像から監視対象物に該当する部分を抽出した画像が含まれる。この画像以外のユーザ判断用情報の具体例、および、ユーザ判断用情報の表示例については後述する。
　非隠れ率算出部５は、非隠れ率を算出する。非隠れ率とは、評価用画像内で、監視対象物全体に対する、評価用画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である。非隠れ率は、０～１の範囲の値である。
　図６は、評価用画像の例を示す説明図である。図６では、説明をわかりやすくするために、頭部だけでなく人物全体が監視対象物である場合を例にして説明する。
　図６（ａ）に示す評価用画像には、監視対象物１３全体が収まっている。従って、図６（ａ）に示す例では、非隠れ率は“１”である。
　図６（ｂ）に例示する評価用画像では、監視対象物１３の一部のみが評価用画像内に収まっている。また、図６（ｃ）に例示する画像では、監視対象物１３の一部が障害物２２によって隠されている。従って、図６（ｂ），（ｃ）に示す評価用画像では、非隠れ率は１未満の値となる。
　非隠れ率算出部５は、例えば、以下のように非隠れ率を算出する。非隠れ率算出部５は、監視対象物１３が収まる十分な大きさの画像であって、障害物が存在しない状態の画像を生成する。この画像は、カメラによって得られる画像の大きさが十分に大きいと仮定した場合の画像である。監視対象物１３全体はこの画像内に収まり、また、この画像内で監視対象物１３が障害物に隠されることはない。非隠れ率算出部５は、この画像における監視対象物１３の画素数（Ａとする。）を求める。そして、非隠れ率算出部５は、評価用画像において、評価用画像内に収まっていてかつ障害物に隠されていない監視対象物１３の部分の画素数（Ｂとする。）を求める。そして、非隠れ率算出部５は、画素数Ａに対する画素数Ｂの割合を算出し、その値を非隠れ率とする。非隠れ率をαで表す。
　非隠れ率αは、ユーザ判断用情報に該当する。
　前述のように、ユーザに指定された画像内の位置に対応する実空間の監視対象領域上の位置が、画像生成部３によって特定される。以下、この位置を符号Ｐで表す。
　注視点角度算出部６は、位置Ｐに監視対象物を配置した状態を定め、その状態における監視対象物の注視点とカメラ位置とを通過する直線を、カメラパラメータを用いて算出する。そして、注視点角度算出部６は、その直線と地面とのなす角度を注視点角度として算出する。
　第１の適合度算出部７は、その注視点角度と注視点角度評価関数ＦＡ（ａ）とを用いて、位置Ｐの注視点角度評価値を算出する。位置Ｐに関して算出された注視点角度をａＰと記す。また、その注視点角度ａＰから得られる注視点角度評価値をＳＡＰと記す。
　第１の適合度算出部７は、位置Ｐの注視点角度ａＰを注視点角度評価関数ＦＡ（ａ）で評価し、注視点角度評価値ＳＡＰを算出する。すなわち、第１の適合度算出部７は、以下の式（１）の計算によって、注視点角度評価値ＳＡＰを算出する。
　ＳＡＰ＝ＦＡ（ａＰ）　　　　　式（１）
　ここで、位置Ｐに関して算出された非隠れ率をαＰと記す。そして、第１の適合度算出部７は、位置Ｐの注視点角度評価値ＳＡＰに非隠れ率αＰを乗算することによって、第１の適合度を算出する。すなわち、以下の式（２）の計算により、第１の適合度を算出する。
　第１の適合度＝αＰ×ＳＡＰ　　　　　式（２）
　適合度は、位置Ｐに監視対象物を配置した状態の撮影画像が画像認識処理に適している度合いを表す指標値である。第１の適合度は、注視点角度の観点から算出した適合度である。
　第１の適合度を算出するということは、画像認識処理の適性を評価する上で重要となるカメラの撮影角度によるアピアランスの違いや、監視対象物同士の重なり具合等を、監視対象物への注視点角度で評価していることになる。
　注視点角度および第１の適合度は、それぞれユーザ判断用情報に該当する。
　解像度取得部８は、画像生成部３が生成した評価用画像を用いて、評価用画像内に写っている監視対象物の解像度を取得する。前述のように、解像度として、画像内の監視対象物の画素面積を採用しても、画像内の監視対象物を囲む矩形の画素面積を採用しても、その矩形の縦方向または横方向の画素サイズを採用してもよい。
　第２の適合度算出部９は、解像度取得部８が取得した解像度と解像度評価関数ＦＲ（ｒ）とを用いて、位置Ｐの解像度評価値を算出する。位置Ｐに関して得られた解像度をｒＰと記す。また、その解像度ｒＰから得られる解像度評価値をＳＲＰと記す。
　第２の適合度算出部９は、位置Ｐの解像度ｒＰを解像度評価関数ＦＲ（ｒ）で評価し、解像度評価値ＳＲＰを算出する。すなわち、第２の適合度算出部９は、以下の式（３）の計算によって、解像度評価値ＳＲＰを算出する。
　ＳＲＰ＝ＦＲ（ｒＰ）　　　　　式（３）
　さらに、第２の適合度算出部９は、位置Ｐの解像度評価値ＳＲＰに非隠れ率αＰを乗算することによって、第２の適合度を算出する。すなわち、以下の式（４）の計算により、第２の適合度を算出する。
　第２の適合度＝αＰ×ＳＲＰ　　　　式（４）
　第２の適合度は、解像度の観点から算出した適合度である。
　第２の適合度を算出するということは、画像認識処理の適性を評価する上で重要となる画像内の監視対象物の鮮明さを監視対象物の解像度で評価していることになる。
　解像度および第２の適合度は、それぞれユーザ判断用情報に該当する。
　表示制御部１０は、評価用画像から監視対象物に該当する部分を抽出した画像を抽出し、ユーザ判断用情報として表示部１１に表示させる。この画像は、カメラの撮影画像内における監視対象物の見え方を直接的に表した画像であると言える。また、表示制御部１０は、非隠れ率、注視点角度、第１の適合度、解像度、第２の適合度および非隠れ率もユーザ判断用情報として表示部１１に表示させる。
　画像生成部３、位置指定受付部４、非隠れ率算出部５、注視点角度算出部６、第１の適合度算出部７、解像度取得部８、第２の適合度算出部９および表示制御部１０は、例えば、見え方提示プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵが、見え方提示プログラムを読み込み、そのプログラムに従って、画像生成部３、位置指定受付部４、非隠れ率算出部５、注視点角度算出部６、第１の適合度算出部７、解像度取得部８、第２の適合度算出部９および表示制御部１０として動作すればよい。また、見え方提示プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、画像生成部３、位置指定受付部４、非隠れ率算出部５、注視点角度算出部６、第１の適合度算出部７、解像度取得部８、第２の適合度算出部９および表示制御部１０がそれぞれ別々のハードウェアで実現されていてもよい。
　次に、本発明の処理経過について説明する。図７は、本発明の処理経過の例を示すフローチャートである。なお、表示制御部１０は、ユーザ操作用画像を表示しているものとする。
　位置指定受付部４は、ユーザ操作用画像（例えば、図５参照）内での対象物表示子１７の位置をユーザによって指定される（ステップＳ１）。例えば、ユーザが対象物表示子１７に対してドラッグ操作を行う。そして、位置指定受付部４は、ドラッグ操作によって移動した先を、対象物表示子１７の表示位置として受け付ける。なお、ステップＳ１に応じて、画像生成部３は、指定された位置に対象物表示子１７の位置を変更したユーザ操作用画像を生成し、表示制御部１０は、そのユーザ操作用画像を表示部１１に表示させる。
　また、ステップＳ１の後、画像生成部３は、ステップＳ１で指定されたユーザ操作用画像内の位置に対応する実空間の監視領域上の位置Ｐを特定する。そして、画像生成部３は、その位置Ｐに監視対象物を配置した状態を、カメラパラメータに合致するカメラが撮影した場合の画像（すなわち、評価用画像）を生成する（ステップＳ２）。
　次に、非隠れ率算出部５は、位置Ｐに関する非隠れ率αＰを、ステップＳ２で生成された評価用画像に基づいて算出する（ステップＳ３）。
　また、注視点角度算出部６は、位置Ｐの注視点角度ａＰを算出する（ステップＳ４）。具体的には、注視点角度算出部６は、位置Ｐに監視対象物を配置した状態を定め、その状態における監視対象物の注視点とカメラ位置とを通過する直線を算出し、その直線と地面とのなす角を算出する。この角度が注視点角度ａＰである。
　次に、第１の適合度算出部７は、位置Ｐに関して算出された注視点角度ａＰと注視点角度評価関数とを用いて、式（１）の計算により、注視点角度評価値ＳＡＰを算出する。さらに、第１の適合度算出部７は、その注視点角度評価値ＳＡＰに非隠れ率αＰを乗じることによって、位置Ｐに関する第１の適合度を算出する（ステップＳ５）。
　また、解像度取得部８は、画像生成部３が生成した評価用画像を用いて、評価用画像内に写っている監視対象物の解像度を取得する（ステップＳ６）。この解像度は、位置Ｐに関する解像度ｒＰである。
　次に、第２の適合度算出部９は、位置Ｐに関して得られた解像度ｒＰと解像度評価関数とを用いて、式（３）の計算により、解像度評価値ＳＲＰを算出する。さらに、第２の適合度算出部９は、その解像度評価値ＳＲＰに非隠れ率αＰを乗じることによって、位置Ｐに関する第２の適合度を算出する（ステップＳ７）。
　そして、表示制御部１０は、ユーザ判断用情報を表示部１１に表示させる（ステップＳ８）。表示制御部１０は、評価用画像から監視対象物に該当する部分を抽出した画像を抽出し、ユーザ判断用情報として表示部１１に表示させる。また、表示制御部１０は、非隠れ率、注視点角度、第１の適合度、解像度および第２の適合度もユーザ判断用情報として表示部１１に表示させる。本実施形態では、表示制御部１０は、注視点角度の大きさを図として表示部１１に表示させるとともに、注視点角度の値も表示部１１に表示させる場合を例にする。見え方提示システム１は、注視点角度に関して、図のみ、あるいは、値のみ表示してもよい。ただし、注視点角度の大きさを表す図を表示することで、ユーザに注視点角度の大きさを直感的に把握させることができる。従って、注視点角度の大きさを表す図を表示することが好ましい。
　図８ないし図１１は、ステップＳ８で表示されるユーザ判断用情報の表示例を示す説明図である。なお、図８から図１１に示す例では、注視点角度が特定角度（顔の正面が撮影でき、適用する画像認識エンジンが最も有効に機能する角度）に近いほど好ましい場合を例にして説明する。
　図８ないし図１１に示す画像表示欄５１は、評価用画像から抽出された監視対象物に該当する部分の画像を表示する表示欄である。画像表示欄５１の大きさは一定であり、表示制御部１０は、監視対象物に該当する部分の画像を画像表示欄５１の大きさに合わせて表示させる。その場合、表示制御部１０は、画像のリサイズ処理において、バイリニア（Bilinear）やバイキュービック（Bicubic ）等の処理は行わずに、元の画像の解像度が表現されるような処理（例えば、最近傍補間（Nearest neighbor）等）を実行し、表示する。画像表示欄５１において、カメラの撮影画像内における監視対象物の見え方が直接表される。
　非隠れ率表示欄５７は、ステップＳ３で算出された非隠れ率を表示する表示欄である。
　注視点角度表示欄５５は、ステップＳ４で算出された注視点角度の値を表示する表示欄である。また、注視点角度表示欄５４は、その注視点角度の大きさ表す図を表示する表示欄である。
　第１の適合度表示欄５６は、ステップＳ５で算出された第１の適合度を表示する表示欄である。
　解像度表示欄５２は、ステップＳ６で得られた解像度を表示する表示欄である。
　第２の適合度表示欄５３は、ステップＳ７で算出された第２の適合度を表示する表示欄である。
　図８ないし図１１では、非隠れ率、第１の適合度および第２の適合度に関して、値だけを表示するのではなく、その値に対応する長さのバーも併せて表示する場合を例示している（図８ないし図１１に示す非隠れ率表示欄５７、第１の適合度表示欄５６および第２の適合度表示欄５３を参照）。
　表示制御部１０は、ユーザ判断用情報を上述の表示欄５１～５７内に含めて、表示部１１に表示させる。
　図８は、図５に示す位置Ａが指定された場合のユーザ判断用情報の例を示す。位置Ａに配置された監視対象物は、画像内で小さく写るので、一定の大きさの画像表示欄５１に合わせて表示すると、図８に例示するように荒い画像となる。また、図８に例示する画像表示欄５１から、注視点角度の程度や、障害物に監視対象物が隠されていないことが分かる。従って、ユーザは、図８に例示する画像表示欄５１から、位置Ａ（図５参照）に監視対象物が存在する場合の撮影画像は、監視対象物が障害物に隠されていない点では好ましいが、解像度の観点からは画像認識処理に好ましくないと判断できる。画像表示欄５１に表示された画像は、非隠れ率、注視点角度および解像度の状態を総合的に表した画像である。従って、ユーザは、この画像を参照することによって、非隠れ率、注視点角度および解像度の観点から、指定した位置に監視対象物が存在した場合の撮影画像が画像認識処理にどの程度適しているかを判断することができる。
　また、注視点角度表示欄５４には、注視点角度の大きさを表す図が表示される。従って、ユーザは、注視点角度の大きさを容易に理解でき、指定した位置に監視対象物が存在した場合の撮影画像が画像認識処理にどの程度適しているかを注視点角度の観点から判断することができる。また、注視点角度表示欄５５には、注視点角度の値が表示され、第１の適合度表示欄５６には、第１の適合度が表示される。これらの値によっても、ユーザは、撮影画像が画像認識処理にどの程度適しているかを注視点角度の観点から判断できる。
　また、非隠れ率表示欄５７には非隠れ率の値が表示される。ユーザは、この値を参照して、撮影画像が画像認識処理にどの程度適しているかを非隠れ率の観点（すなわち、監視対象物全体のうちどの程度の部分が画像内に写るかという観点）から判断することができる。
　また、解像度表示欄５２には解像度の値が表示され、第２の適合度表示欄５３には、第２の適合度が表示される。ユーザは、これらの値を参照することによって、撮影画像が画像認識処理にどの程度適しているかを解像度の観点から判断することができる。
　図９は、図５に示す位置Ｂが指定された場合のユーザ判断用情報の例を示す。図９に、例示する画像表示欄５１から、注視点角度の程度、解像度は良好なこと、障害物に監視対象物が隠されていないことが分かる。従って、ユーザは、図９に例示する画像表示欄５１から、位置Ｂ（図５参照）に監視対象物が存在する場合の撮影画像は、注視点角度、解像度および非隠れ率のいずれの観点からも、画像認識処理に好ましいと判断することができる。
　図１０は、図５に示す位置Ｃが指定された場合のユーザ判断用情報の例を示す。図１０に例示する画像表示欄５１から、注視点角度の程度、解像度は良好なこと、障害物に監視対象物が隠されていることが分かる。従って、ユーザは、図１０に例示する画像表示欄５１から、位置Ｃ（図５参照）に監視対象物が存在する場合の撮影画像は、注視点角度および解像度の観点からは画像認識処理に好ましいと言えるが、非隠れ率の観点からは十分に好ましいとは言えないと判断することができる。
　図１１は、図５に示す位置Ｄが指定された場合のユーザ判断用情報の例を示す。図１１に例示する画像表示欄５１から、頭部が上側から撮影され注視点角度が大きいこと、解像度が良好なこと、および障害物に監視対象物が隠されていないことが分かる。従って、ユーザは、図１１に例示する画像表示欄５１から、位置Ｄ（図５参照）に監視対象物が存在する場合の撮影画像は、非隠れ率および解像度の観点からは画像認識処理に好ましいと言えるが、注視点角度の観点からは好ましいとは言えないと判断することができる。
　また、図８から図１１に示す各表示例において、ユーザは、他の表示欄５２～５７の表示を参照することによって、非隠れ率、注視点角度および解像度それぞれの観点における好ましさを定量的に判断できる。
　上記のように、本実施形態の見え方表示システムは、ユーザ操作用画像内でユーザが指定した位置に対応する実空間の監視対象領域上の位置に監視対象物を配置した場合の画像（評価用画像）を生成し、評価用画像から抽出された監視対象物に該当する部分の画像を表示する。従って、指定した位置に監視対象物が存在する場合の撮影画像において、監視対象物がどのように写るかをユーザに提示することができる。換言すれば、撮影画像内における監視対象物の見え方をユーザに提示することができる。そして、ユーザは、その見え方を確認することによって、カメラによって得られる画像が画像認識処理にどの程度適しているかを、非隠れ率、注視点角度および解像度の観点から総合的に確認することができる。また、ユーザは、そのような確認を、実際にカメラを配置して運用する前に行うことができる。
　また、本実施形態の見え方表示システムは、注視点角度の大きさを図として表示する。従って、ユーザは、撮影画像が画像認識処理にどの程度適しているかを、注視点角度の観点から判断できる。また、注視点角度および第１の適合度の値も表示するので、これらの値によっても、ユーザは、注視点角度の観点から撮影画像の適性を判断できる。
　また、本実施形態の見え方表示システムは、解像度および第２の適合度の値も表示する。従って、ユーザは、撮影画像が画像認識処理にどの程度適しているかを、解像度の観点から判断できる。
　また、本実施形態の見え方表示システムは、非隠れ率の値も表示する。従って、ユーザは、撮影画像が画像認識処理にどの程度適しているかを、非隠れ率の観点から判断できる。
　なお、図７に示した処理経過は例示であり、本発明における処理の順番は、図７に示す例に限定されない。
　また、本発明の見え方提示システム１は、ユーザ判断用情報として、少なくとも、評価用画像から抽出した監視対象物に該当する部分を表示する。
　見え方提示システム１は、第１の適合度の表示を省略してもよい。その場合、見え方提示システム１は、第１の適合度算出部７を備えていなくてもよい。さらに、見え方提示システム１は、注視点角度の表示を省略してもよい。その場合には、見え方提示システム１は、注視点角度算出部６も備えていなくてよい。
　また、見え方提示システム１は、第２の適合度の表示を省略してもよい。その場合、見え方提示システム１は、第２の適合度算出部９を備えていなくてもよい。さらに、見え方提示システム１は、解像度の表示も省略してもよい。その場合には、見え方提示システム１は、解像度取得部８も備えていなくてよい。
　また、見え方提示システム１は、非隠れ率の表示も省略してよい。非隠れ率、第１の適合度および第２の適合度の表示を省略する場合には、見え方提示システム１は、非隠れ率算出部５を備えていなくてもよい。
　また、図５では、対象物表示子１７を、簡略化した形状で示しているが、監視対象物を具体的に表した対象物表示子１７を表示させてもよい。この場合、画像生成部３は、情報記憶物２に記憶された監視対象物の形状および大きさに基づいて対象物表示子１７の画像を生成すればよい。
　次に、本発明の主要部について説明する。図１２は、本発明の主要部の例を示すブロック図である。本発明の見え方提示システムは、主要部として、表示制御部１０と、位置指定受付部４と、画像生成部３とを備える。
　表示制御部１０は、位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像（例えば、ユーザ操作用画像）を表示装置に表示させる。
　位置指定受付部４は、その画像内で、対象物表示子の位置の指定を受け付ける。
　画像生成部３は、その画像内で指定された位置に対応する監視対象領域上の位置に監視対象物を配置した状態をカメラが撮影した場合に得られる画像（例えば、評価用画像）を生成する。
　そして、表示制御部１０は、画像生成部３に生成された画像から、監視対象物に該当する部分を抽出して表示装置に表示させる。
　そのような構成により、カメラによって得られる画像が画像認識処理にどの程度適しているかをユーザが事前に把握できるように、ユーザが指定した画像内の位置における監視対象物の見え方を提示することができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
（付記１）位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる表示制御手段と、前記画像内で、前記対象物表示子の位置の指定を受け付ける位置指定受付手段と、前記画像内で指定された位置に対応する監視対象領域上の位置に前記監視対象物を配置した状態を前記カメラが撮影した場合に得られる画像を生成する画像生成手段とを備え、前記表示制御手段は、前記画像生成手段に生成された画像から、前記監視対象物に該当する部分を抽出して表示装置に表示させることを特徴とする見え方提示システム。
（付記２）画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出手段を備え、表示制御手段は、前記注視点角度を表す図を表示装置に表示させる付記１に記載の見え方提示システム。
（付記３）画像生成手段に生成された画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出する非隠れ率算出手段と、画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出手段と、前記注視点角度を、注視点角度と画像認識処理の適性を示す注視点角度評価値との関係を定めた注視点角度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での注視点角度評価値を算出し、当該注視点角度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第１の適合度を算出する第１の適合度算出手段とを備え、表示制御手段は、前記注視点角度および前記第１の適合度を表示装置に表示させる付記１または付記２に記載の見え方提示システム。
（付記４）画像生成手段に生成された画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出する非隠れ率算出手段と、画像生成手段に生成された画像内における監視対象物の解像度を取得する解像度取得手段と、前記解像度を、解像度と画像認識処理の適性を示す解像度評価値との関係を定めた解像度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での解像度評価値を算出し、当該解像度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第２の適合度を算出する第２の適合度算出手段とを備え、表示制御手段は、前記解像度および前記第２の適合度を表示装置に表示させる付記１から付記３のうちのいずれかに記載の見え方提示システム。
（付記５）表示制御手段は、非隠れ率を表示装置に表示させる付記３または付記４に記載の見え方提示システム。
（付記６）位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させ、前記画像内で、前記対象物表示子の位置の指定を受け付け、前記画像内で指定された位置に対応する監視対象領域上の位置に前記監視対象物を配置した状態を前記カメラが撮影した場合に得られる画像を生成し、生成した前記画像から、前記監視対象物に該当する部分を抽出して表示装置に表示させることを特徴とする見え方提示方法。
（付記７）画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出し、前記注視点角度を表す図を表示装置に表示させる付記６に記載の見え方提示方法。
（付記８）監視対象物を配置した状態をカメラが撮影した場合に得られる画像として生成した画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出し、画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出し、前記注視点角度を、注視点角度と画像認識処理の適性を示す注視点角度評価値との関係を定めた注視点角度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での注視点角度評価値を算出し、当該注視点角度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第１の適合度を算出し、前記注視点角度および前記第１の適合度を表示装置に表示させる付記６または付記７に記載の見え方提示方法。
（付記９）監視対象物を配置した状態をカメラが撮影した場合に得られる画像として生成した画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出し、前記画像内における監視対象物の解像度を取得し、前記解像度を、解像度と画像認識処理の適性を示す解像度評価値との関係を定めた解像度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での解像度評価値を算出し、当該解像度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第２の適合度を算出し、前記解像度および前記第２の適合度を表示装置に表示させる付記６から付記８のうちのいずれかに記載の見え方提示方法。
（付記１０）非隠れ率を表示装置に表示させる付記８または付記９に記載の見え方提示方法。
（付記１１）コンピュータに、位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる表示制御処理、前記画像内で、前記対象物表示子の位置の指定を受け付ける位置指定受付処理、前記画像内で指定された位置に対応する監視対象領域上の位置に前記監視対象物を配置した状態を前記カメラが撮影した場合に得られる画像を生成する画像生成処理、および、前記画像生成処理で生成された画像から、前記監視対象物に該当する部分を抽出して表示装置に表示させるユーザ判断用情報表示処理を実行させるための見え方提示プログラム。
（付記１２）コンピュータに、画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出処理を実行させ、ユーザ判断用情報表示処理で、前記注視点角度を表す図を表示装置に表示させる付記１１に記載の見え方提示プログラム。
（付記１３）コンピュータに、画像生成処理で生成した画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出する非隠れ率算出処理、画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出処理、および、前記注視点角度を、注視点角度と画像認識処理の適性を示す注視点角度評価値との関係を定めた注視点角度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での注視点角度評価値を算出し、当該注視点角度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第１の適合度を算出する第１の適合度算出処理を実行させ、ユーザ判断用情報表示処理で、前記注視点角度および前記第１の適合度を表示装置に表示させる付記１１または付記１２に記載の見え方提示プログラム。
（付記１４）コンピュータに、画像生成処理で生成した画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出する非隠れ率算出処理、画像生成処理で生成した画像内における監視対象物の解像度を取得する解像度取得処理、および、前記解像度を、解像度と画像認識処理の適性を示す解像度評価値との関係を定めた解像度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での解像度評価値を算出し、当該解像度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第２の適合度を算出する第２の適合度算出処理を実行させ、ユーザ判断用情報表示処理で、前記解像度および前記第２の適合度を表示装置に表示させる付記１１から付記１３のうちのいずれかに記載の見え方提示プログラム。
（付記１５）コンピュータに、ユーザ判断用情報表示処理で、非隠れ率を表示装置に表示させる付記１３または付記１４に記載の見え方提示プログラム。
　この出願は、２０１２年１２月６日に出願された日本特許出願２０１２－２６７５５４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
　本発明は、カメラによって撮影される監視対象物が撮影画像内でどのように見えるかをユーザに提示する見え方提示システムに好適に適用される。
　１　見え方提示システム
　２　情報記憶部
　３　画像生成部
　４　位置指定受付部
　５　非隠れ率算出部
　６　注視点角度算出部
　７　第１の適合度算出部
　８　解像度取得部
　９　第２の適合度算出部
　１０　表示制御部
　１１　表示部

Claims (9)

  1. 　位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる表示制御手段と、
    　前記画像内で、前記対象物表示子の位置の指定を受け付ける位置指定受付手段と、
    　前記画像内で指定された位置に対応する監視対象領域上の位置に前記監視対象物を配置した状態を前記カメラが撮影した場合に得られる画像を生成する画像生成手段とを備え、
    　前記表示制御手段は、前記画像生成手段に生成された画像から、前記監視対象物に該当する部分を抽出して表示装置に表示させる
    　ことを特徴とする見え方提示システム。
  2. 　画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出手段を備え、
    　表示制御手段は、前記注視点角度を表す図を表示装置に表示させる
    　請求項１に記載の見え方提示システム。
  3. 　画像生成手段に生成された画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出する非隠れ率算出手段と、
    　画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出手段と、
    　前記注視点角度を、注視点角度と画像認識処理の適性を示す注視点角度評価値との関係を定めた注視点角度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での注視点角度評価値を算出し、当該注視点角度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第１の適合度を算出する第１の適合度算出手段とを備え、
    　表示制御手段は、前記注視点角度および前記第１の適合度を表示装置に表示させる
    　請求項１または請求項２に記載の見え方提示システム。
  4. 　画像生成手段に生成された画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出する非隠れ率算出手段と、
    　画像生成手段に生成された画像内における監視対象物の解像度を取得する解像度取得手段と、
    　前記解像度を、解像度と画像認識処理の適性を示す解像度評価値との関係を定めた解像度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での解像度評価値を算出し、当該解像度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第２の適合度を算出する第２の適合度算出手段とを備え、
    　表示制御手段は、前記解像度および前記第２の適合度を表示装置に表示させる
    　請求項１から請求項３のうちのいずれか１項に記載の見え方提示システム。
  5. 　表示制御手段は、非隠れ率を表示装置に表示させる請求項３または請求項４に記載の見え方提示システム。
  6. 　位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させ、
    　前記画像内で、前記対象物表示子の位置の指定を受け付け、
    　前記画像内で指定された位置に対応する監視対象領域上の位置に前記監視対象物を配置した状態を前記カメラが撮影した場合に得られる画像を生成し、
    　生成した前記画像から、前記監視対象物に該当する部分を抽出して表示装置に表示させる
    　ことを特徴とする見え方提示方法。
  7. 　画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出し、
    　前記注視点角度を表す図を表示装置に表示させる
    　請求項６に記載の見え方提示方法。
  8. 　コンピュータに、
    　位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる表示制御処理、
    　前記画像内で、前記対象物表示子の位置の指定を受け付ける位置指定受付処理、
    　前記画像内で指定された位置に対応する監視対象領域上の位置に前記監視対象物を配置した状態を前記カメラが撮影した場合に得られる画像を生成する画像生成処理、および、
    　前記画像生成処理で生成された画像から、前記監視対象物に該当する部分を抽出して表示装置に表示させるユーザ判断用情報表示処理
    　を実行させるための見え方提示プログラム。
  9. 　コンピュータに、
    　画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出処理を実行させ、
    　ユーザ判断用情報表示処理で、前記注視点角度を表す図を表示装置に表示させる
    　請求項８に記載の見え方提示プログラム。
PCT/JP2013/007026 2012-12-06 2013-11-29 見え方提示システム、方法およびプログラム WO2014087622A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/649,312 US9811738B2 (en) 2012-12-06 2013-11-29 Appearance presentation system, method, and program
JP2014550914A JP6265133B2 (ja) 2012-12-06 2013-11-29 見え方提示システム、方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-267554 2012-12-06
JP2012267554 2012-12-06

Publications (1)

Publication Number Publication Date
WO2014087622A1 true WO2014087622A1 (ja) 2014-06-12

Family

ID=50883064

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/007026 WO2014087622A1 (ja) 2012-12-06 2013-11-29 見え方提示システム、方法およびプログラム

Country Status (3)

Country Link
US (1) US9811738B2 (ja)
JP (1) JP6265133B2 (ja)
WO (1) WO2014087622A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021044616A (ja) * 2019-09-06 2021-03-18 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 カメラ設置支援システムおよびカメラ設置支援方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
US10825095B1 (en) 2015-10-15 2020-11-03 State Farm Mutual Automobile Insurance Company Using images and voice recordings to facilitate underwriting life insurance
US20230298464A1 (en) * 2022-03-16 2023-09-21 Rekor Systems, Inc. Systems and Methods for Distributed Video-Management in Traffic Monitoring Systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11266450A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 物体領域追跡装置および物体領域追跡方法
JP2009239821A (ja) * 2008-03-28 2009-10-15 Toa Corp カメラ設置シミュレータプログラム
JP2012155595A (ja) * 2011-01-27 2012-08-16 Secom Co Ltd 対象物画像判定装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801245B2 (en) * 2002-01-18 2004-10-05 Imageid Ltd. Method for automatic identification and data capture
DE112005000929B4 (de) * 2004-04-28 2011-07-21 Chuo Electronics Co. Ltd., Tokyo Automatisches Abbildungsverfahren und Vorrichtung
US8599238B2 (en) * 2009-10-16 2013-12-03 Apple Inc. Facial pose improvement with perspective distortion correction
CN102985957B (zh) * 2010-07-09 2015-03-04 本田技研工业株式会社 车辆周围监测装置
US9094617B2 (en) * 2011-04-01 2015-07-28 Sharp Laboratories Of America, Inc. Methods and systems for real-time image-capture feedback

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11266450A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 物体領域追跡装置および物体領域追跡方法
JP2009239821A (ja) * 2008-03-28 2009-10-15 Toa Corp カメラ設置シミュレータプログラム
JP2012155595A (ja) * 2011-01-27 2012-08-16 Secom Co Ltd 対象物画像判定装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021044616A (ja) * 2019-09-06 2021-03-18 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 カメラ設置支援システムおよびカメラ設置支援方法
US11373334B2 (en) 2019-09-06 2022-06-28 Panasonic I-Pro Sensing Solutions Co., Ltd. Camera setting assist system and camera setting assist method

Also Published As

Publication number Publication date
JP6265133B2 (ja) 2018-01-24
US20150317522A1 (en) 2015-11-05
US9811738B2 (en) 2017-11-07
JPWO2014087622A1 (ja) 2017-01-05

Similar Documents

Publication Publication Date Title
EP2590138B1 (en) Gas visualization arrangements, devices, and methods
US20180121739A1 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP6265132B2 (ja) 画像認識処理適性表示システム、方法およびプログラム
JP4537557B2 (ja) 情報呈示システム
CN108292448B (zh) 信息处理装置、信息处理方法和程序
US9807310B2 (en) Field display system, field display method, and field display program
JP5281972B2 (ja) 撮像装置
JP2013152423A5 (ja)
KR102279300B1 (ko) 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
JP6126501B2 (ja) カメラ設置シミュレータ及びそのコンピュータプログラム
JP6265133B2 (ja) 見え方提示システム、方法およびプログラム
JP2010117800A (ja) 駐車場監視装置及び方法
WO2018179040A1 (ja) カメラパラメータ推定装置、方法およびプログラム
US20170169595A1 (en) Information superimposed image display device, non-transitory computer-readable medium which records information superimposed image display program, and information superimposed image display method
JP4872396B2 (ja) 画像編集装置、画像編集方法および画像編集プログラム
JP5111934B2 (ja) 監視装置
US20220130105A1 (en) Image display method, display control device, and recording medium
JP5714960B2 (ja) 監視範囲検知装置
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
TWI486054B (zh) A portrait processing device, a three-dimensional image display device, a method and a program
JP2006017632A (ja) ３次元画像処理装置、光軸調整方法、光軸調整支援方法
JP6789899B2 (ja) 計測装置および計測装置の作動方法
JP5199634B2 (ja) 計測内視鏡システム
JP2013092888A (ja) データ処理装置
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13861248

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014550914

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14649312

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13861248

Country of ref document: EP

Kind code of ref document: A1