WO2020194564A1 - カメラ調整装置、カメラ位置調整方法及びコンピュータ可読媒体 - Google Patents
カメラ調整装置、カメラ位置調整方法及びコンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2020194564A1 WO2020194564A1 PCT/JP2019/013093 JP2019013093W WO2020194564A1 WO 2020194564 A1 WO2020194564 A1 WO 2020194564A1 JP 2019013093 W JP2019013093 W JP 2019013093W WO 2020194564 A1 WO2020194564 A1 WO 2020194564A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- adjustment
- camera
- adjustment mark
- subject information
- mark
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Definitions
- the present invention relates to a camera adjusting device, a camera position adjusting method, and a computer-readable medium.
- Patent Document 1 discloses a technique for acquiring recognition environment information by an adjustment marker arranged in a recognition target range of a camera.
- the present invention has been made in view of the above background, and an object of the present invention is to provide a camera adjusting device capable of easily performing a camera adjusting work.
- the camera adjusting device detects an adjustment mark for extracting subject information including size, orientation, and brightness from an image captured by a camera that images a recognition object, and the detected adjustment mark is described above.
- An adjustment mark position detection unit that detects the position of the adjustment mark in the captured image
- a subject information extraction unit that extracts the subject information from the adjustment mark detected by the adjustment mark position detection unit
- the adjustment mark detected by the camera It is determined whether or not the adjustment mark detected by the camera can be recognized by comparing the corresponding subject information with the preset judgment standard, and the adjustment mark detected by the adjustment mark position detection unit It has a recognition / non-recognition determination unit that generates adjustment information for adjusting the camera based on the subject information corresponding to the adjustment mark determined to be unrecognizable and the criteria.
- the camera position adjustment method detects an adjustment mark for extracting subject information including size, orientation, and brightness from an image captured by a camera that captures a recognition target, and detects the above.
- a first step of detecting the position of the adjustment mark in the captured image a second step of extracting the subject information from the adjustment mark detected in the first step, and detection in the first step. It is determined whether or not the adjusted adjustment mark can be recognized by comparing the corresponding subject information with the preset determination standard, and among the adjustment marks detected by the adjustment mark position detection unit. It has a third step of generating adjustment information for adjusting the camera based on the subject information corresponding to the adjustment mark determined to be unrecognizable and the criterion.
- the non-transitory computer-readable medium detects and detects adjustment marks for extracting subject information including size, orientation, and brightness from an image captured by a camera that images a recognition target.
- the adjustment work of the camera can be easily performed.
- FIG. 5 is a flowchart illustrating a flow of processing for generating adjustment information for adjusting a camera in the camera adjusting device according to the second embodiment. It is a schematic diagram which shows an example of the adjustment mark. It is a schematic diagram explaining the installation of the adjustment board which has the adjustment mark for adjusting a camera. It is a schematic diagram explaining the position in the captured image of the adjustment mark detected by the adjustment mark position detection unit of the camera adjustment device which concerns on Embodiment 2.
- FIG. 2 It is a schematic diagram explaining the size extracted from the adjustment mark by the subject information extraction part of the camera adjustment apparatus which concerns on Embodiment 2.
- FIG. 2 It is a schematic diagram explaining the direction which the subject information extraction part of the camera adjustment apparatus which concerns on Embodiment 2 extracts from the adjustment mark.
- FIG. It is a schematic diagram which shows the determination standard table for determining whether or not the adjustment mark detected from the captured image can be recognized.
- FIG. It is a schematic diagram which shows an example of the subject information table output by the subject information extraction unit of the camera adjustment apparatus which concerns on Embodiment 2.
- FIG. It is a schematic diagram which shows an example of the judgment result obtained by applying the judgment standard to the subject information of the detected adjustment mark.
- It is a schematic diagram which shows an example of the determination result table generated by the recognition admissibility determination part of the camera adjustment apparatus which concerns on Embodiment 2.
- FIG. It is a schematic diagram explaining an example which uses adjustment marks with different symbols.
- It is a flowchart which shows the process at the time of grouping the detected adjustment mark by the similarity of the determination result in step S107 of the flowchart of FIG.
- It is a schematic diagram explaining the adjustment method of a camera when the camera is installed in the place where the brightness fluctuates greatly throughout the day.
- FIG. 1 is a block diagram showing a configuration of a camera adjusting device 10 according to a first embodiment.
- the camera adjustment device 10 includes an adjustment mark position detection unit 11, a subject information extraction unit 12, and a recognition / rejection determination unit 13.
- the adjustment mark position detection unit 11 detects an adjustment mark for extracting subject information including size, orientation, and brightness from an image captured by a camera that captures an object to be recognized, and positions the detected adjustment mark in the captured image. Is detected.
- the subject information extraction unit 12 extracts subject information from the adjustment mark detected by the adjustment mark position detection unit.
- the recognition / non-recognition determination unit 13 determines whether or not the adjustment mark detected by the adjustment mark position detection unit 11 can be recognized by comparing the corresponding subject information with a preset determination standard. Then, the recognition / rejection determination unit 13 adjusts the camera based on the subject information and the standard corresponding to the adjustment mark determined to be not recognizable among the adjustment marks detected by the adjustment mark position detection unit. Generate adjustment information. By doing so, the adjustment work of the camera can be easily performed.
- FIG. 2 is a block diagram showing a configuration of the camera adjusting device 110 according to the second embodiment.
- the camera adjusting device 110 shown in FIG. 2 generates adjustment information for adjusting the camera 120.
- the camera 120 is for capturing an image of a recognition object, and includes, for example, an image acquisition camera 121, an image recognition unit 122, and a camera control unit 123.
- the image acquisition camera 121 is for acquiring an captured image.
- the captured image is, for example, a frame image of a captured image.
- the image recognition unit 122 is for executing recognition processing on the captured image and recognizing the recognition target object.
- the camera control unit 123 is for adjusting the angle of view, zoom, and brightness of the image acquisition camera 121.
- the image recognition unit 122 may be configured as an integrated device with the image acquisition camera 121 and the camera control unit 123, or may be configured as a separate device. Further, the camera 120 may be configured without the camera control unit 123. For example, for a camera that does not have the pan / tilt zoom function, the installer may look at the generated adjustment information and manually adjust the angle of view.
- the camera adjustment device 110 includes an adjustment mark position detection unit 111, a subject information extraction unit 112, and a recognition / rejection determination unit 113.
- the adjustment mark position detection unit 111 detects the adjustment mark and detects the position of the detected adjustment mark in the captured image. That is, the adjustment mark position detection unit 111 inputs the captured image and outputs the position of the adjustment mark in the captured image. The details of the adjustment mark will be described later.
- the subject information extraction unit 112 extracts subject information from the adjustment mark detected by the adjustment mark position detection unit 111. That is, the subject information extraction unit 112 inputs the positions of the captured image and the captured image of the adjustment mark, and outputs the subject information of the adjustment mark.
- the recognition possibility determination unit 113 determines whether or not the adjustment mark detected by the adjustment mark position detection unit 111 can be recognized by comparing the corresponding subject information with a preset determination standard. Then, the recognition / non-recognition determination unit 113 adjusts the camera 120 based on the subject information corresponding to the adjustment mark determined to be unrecognizable among the adjustment marks detected by the adjustment mark position detection unit and the determination standard. Generate adjustment information for. That is, the recognition / rejection determination unit 113 inputs the subject information of the adjustment mark and the position of the adjustment mark in the captured image, and outputs the adjustment information for adjusting the camera 120.
- FIG. 2 will also be referred to as appropriate.
- FIG. 3 is a flowchart illustrating a flow of processing for generating adjustment information for adjusting the camera 120 in the camera adjusting device 110.
- the adjustment mark position detection unit 111 acquires the captured image (step S101).
- the adjustment mark position detection unit 111 detects the adjustment mark from the captured image and detects the position of the detected adjustment mark in the captured image. (Step S102).
- the subject information extraction unit 112 extracts subject information from the detected adjustment mark (step S103).
- the recognition / rejection determination unit 113 determines whether or not the detected adjustment mark can be recognized by comparing the corresponding subject information with a preset determination criterion (step 104). .. Subsequently, the recognition / rejection determination unit 113 determines whether or not the number of extracted subject information is greater than the threshold Th1 (step S105).
- step S105 If the number of extracted subject information is equal to or less than the threshold Th1 in step S105, the process returns to step S101.
- step S105 when the number of extracted subject information is larger than the threshold value Th1, the recognizability determination unit 113 determines whether or not the recognizable ratio is larger than the threshold value Th2 (step S106).
- the recognizable ratio is a ratio of the number of subject information determined to be recognizable to the total number of extracted subject information.
- step S106 if the recognizable ratio is the threshold Th2 or less, the process ends. In step S106, when the recognizable ratio is larger than the threshold Th2, adjustment information is generated (step S107).
- the recognition / rejection determination unit 113 outputs the generated adjustment information to the camera control unit 123 of the camera 120 (step S108). Subsequently, the recognition / rejection determination unit 113 erases the input subject information of the adjustment mark (step S109), and returns the process to step S101.
- FIG. 4 is a schematic view showing an example of the adjustment mark.
- the adjustment board 130 is a rectangular plate having sides extending in the horizontal direction A1 and the vertical direction A2.
- the adjustment mark 131 includes a size orientation adjusting pattern 131a and a brightness adjusting pattern 131b.
- the middle part of FIG. 4 shows an enlarged view of the size orientation adjustment pattern 131a.
- the size orientation adjusting pattern 131a is for extracting subject information regarding the size and orientation.
- the design of the size orientation adjusting pattern 131a is a combination of a plurality of straight lines extending in the horizontal direction A1 and a plurality of straight lines extending in the vertical direction A2.
- the lower part of FIG. 4 shows an enlarged view of the brightness adjustment pattern 131b.
- the brightness adjustment pattern 131b is for extracting subject information regarding brightness (luminance).
- a predetermined number of monochromatic regions having different shades are arranged side by side in at least one of the horizontal direction A1 and the vertical direction A2.
- the brightness adjustment patterns 131b are arranged side by side in the horizontal direction, and the predetermined number is 6.
- the predetermined number is not limited to 6, and may be 2 or more.
- FIG. 5 is a schematic diagram illustrating the installation of the adjustment board 130 having the adjustment mark 131 (see FIG. 4) for adjusting the camera 120.
- the recognition object recognized by the camera 120 is a “face”, as shown in FIG. 5, the operator T holds the adjustment board 130 by hand so that the adjustment board 130 comes to the position of the face. Then, the worker T moves as shown by the arrow while holding the adjustment board 130 so that the adjustment board 130 moves all over the range of the recognition target of the camera 120.
- the range of the recognition target in the captured image can be specified as the range in which the adjustment mark 131 on the adjustment board 130 held by the operator has moved.
- the user may set the range of the recognition target in the captured image. Further, in the camera 120, the range of the recognition target in the captured image may be set in advance.
- FIG. 6 is a schematic diagram illustrating the position of the adjustment mark 131 in the captured image detected by the adjustment mark position detection unit 111.
- the position of the adjustment mark 131 in the captured image is, for example, the two-dimensional coordinates (X,) of the size orientation adjustment pattern 131a included in the adjustment mark 131 with the center position P1 of the captured image as the origin. It is represented by Y).
- the position of the adjustment mark 131 in the captured image may be such that the coordinates of the center position P2 of the size orientation adjustment pattern 131a are detected as shown in FIG. 6, and the four corners of the size orientation adjustment pattern 131a may be detected.
- the coordinates of (P3, P4, P5, P6) may be detected respectively.
- FIG. 7 is a schematic diagram illustrating the size extracted from the adjustment mark 131 by the subject information extraction unit 112.
- the subject information extraction unit 112 determines the size of the adjustment mark 131, which is the width (wise) which is the number of pixels in the horizontal direction A1 of the size orientation adjustment pattern 131a included in the adjustment mark 131 in the captured image M shown in FIG. ) And the height (high), which is the number of pixels in the vertical direction A2, are extracted.
- FIG. 8 is a schematic diagram illustrating the orientation extracted from the adjustment mark 131 by the subject information extraction unit 112.
- the subject information extraction unit 112 adjusts the yaw, pitch, and roll of the size orientation adjustment pattern 131a included in the adjustment mark 131 in the captured image M. Extracted as the orientation of the mark 131.
- yaw is the left and right angle (plus on the left, minus on the right)
- pitch is the up and down angle (plus on the top, minus on the bottom)
- roll is the angle of rotation (plus clockwise, minus counterclockwise). Is.
- FIG. 9 is a schematic diagram illustrating brightness (luminance information) extracted from the adjustment mark 131 by the subject information extraction unit 112.
- the subject information extraction unit 112 detects the brightness values of all the pixels of the brightness adjustment pattern 131b included in the adjustment mark 131 in the captured image M shown in the upper part of FIG. Then, the subject information extraction unit 112 creates a luminance histogram in which the horizontal axis is the luminance value and the vertical axis is the number of pixels, which is shown in the lower part of FIG. 9, and the maximum value Lmax and the minimum value Lmin of the peak brightness in the luminance histogram are created. Are extracted as the luminance information of the adjustment mark 131.
- the ratio [%] of the number of pixels at the peak to the total number of pixels of the brightness adjustment pattern 131b needs to exceed the threshold Th3.
- the maximum value Lmax of the peak brightness in the brightness histogram is about 120
- the minimum value Lmin is about 5.
- the central luminance value of the region 1 is Lu1
- the central luminance value of the region 2 is Lu2
- the central luminance value of the region 3 is Lu3, and the center of the region 4.
- the brightness value be Lu4
- the central brightness value of the area 5 be Lu5
- the central brightness value of the area 6 be Lu6.
- the subject information extraction unit 112 has a difference Dn between the maximum value Lmax and the minimum value Lmin of the peak brightness in the luminance histogram and the central luminance value in the adjacent region from the brightness adjustment pattern 131b in the captured image M. And at least one of them is extracted as luminance information.
- FIG. 10 is a schematic diagram showing a determination criterion table for determining whether or not the adjustment mark detected from the captured image can be recognized.
- the recognition target is a "face”
- the judgment criterion ID: K1 is applied
- the recognition target is "baggage”
- the judgment criterion ID: K2 is applied.
- the number of judgment criterion IDs is not limited to two, and may be one or more than two.
- the eligibility range for each of the subject information (size, orientation, brightness) in the detected adjustment mark is defined.
- the eligibility range of the width (wise) shown in FIG. 7 is -20 ⁇ wise ⁇ 200.
- the eligibility ranges of yaw, pitch, and roll shown in FIG. 8 are -10 ⁇ yaw ⁇ 10, -10 ⁇ pitch ⁇ 10, and -10, respectively.
- the eligibility ranges of the maximum value Lmax and the minimum value Lmin of the peak brightness in the luminance histogram shown in the upper part of FIG. 9 are Lmax> 150 and Lmin> 30, respectively.
- the threshold Th3 is 5%.
- the eligibility range for the number of distinguishable regions is the number of distinguishable regions> 4.
- FIG. 11 is a schematic diagram showing an example of the adjustment mark detection information table output by the adjustment mark position detection unit 111.
- the adjustment mark detection information table includes the adjustment mark detection ID (here, M1, M2, M3), the detected time, and the position of the adjustment mark in the captured image.
- the position of the adjustment mark in the captured image is the coordinates of the center position of the size orientation adjustment pattern included in the adjustment mark.
- FIG. 12 is a schematic diagram showing an example of a subject information table output by the subject information extraction unit 112.
- the adjustment mark detection ID here, M1, M2, M3
- size wise
- orientation yaw, pitch, roll
- brightness number of distinguishable areas
- the recognition / rejection determination unit 113 obtains deviations from the size, orientation, and brightness determination criteria in the corresponding subject information for each of the adjustment marks detected by the adjustment mark position detection unit 111.
- FIG. 13 is a schematic diagram showing an example of a determination result obtained by applying a determination criterion to the subject information of the detected adjustment mark.
- the judgment standard judgment standard ID: K1 when the recognition target object is a face
- the judgment standard judgment
- Criteria ID: K2 are applied respectively.
- face recognition is more difficult to recognize than baggage recognition, so that the judgment criterion ID: K1 is stricter than the judgment criterion ID: K2.
- a circle is added when the determination result is within the conforming range.
- the judgment criterion ID: K1 the items other than the size (with) and the roll (roll) are within the conforming range.
- the judgment standard ID: K1 is applied, the amount of deviation from the conformance range of the judgment standard is -9 for the size (with) and +6 for the roll (roll).
- the judgment criterion ID: K2 is applied, all the items are within the conforming range.
- FIG. 14 is a schematic diagram showing an example of a determination result table generated by the recognition / rejection determination unit 113.
- a circle is added when it is within the conforming range.
- "Brightness" in FIG. 14 is the number of distinguishable regions.
- the determination criteria IDs of K1 and K2 are applied to the adjustment mark IDs M1, M2, and M3, respectively.
- the adjustment mark ID: M1 when the judgment standard ID: K2 is applied, all items are within the conforming range, but when the judgment standard ID: K2 is applied, the conformity in size (width) is applied.
- the amount of deviation from the range is -9, and the amount of deviation from the applicable range in the roll is +6.
- adjustment mark ID: M2 when the judgment standard ID: K2 is applied, all items are within the conforming range, but when the judgment standard ID: K2 is applied, the conformity in size (width) is applied. The amount of deviation from the range is -4, and the amount of deviation from the applicable range in the roll is +1. In the adjustment mark ID: M3, all the items are within the conforming range in both cases when the judgment standard ID: K1 is applied and when the judgment standard ID: K2 is applied.
- FIG. 15 is a schematic diagram illustrating an example in which adjustment marks having different symbols are used.
- the adjustment mark 131F includes a size orientation adjusting pattern 131aA and a brightness adjusting pattern 131b.
- the adjustment mark 131L includes a size orientation adjusting pattern 131aB and a brightness adjusting pattern 131b.
- the size orientation adjusting pattern 131aA and the size orientation adjusting pattern 131aB have different designs. In this way, the design of the adjustment mark to be arranged may be different for each attribute of the recognition target object.
- the recognizability determination unit 113 determines the deviation of each of the adjustment marks detected by the adjustment mark position detection unit 111 from the determination criteria of the size, orientation, and brightness in the corresponding subject information, and then alleviates the deviation. To generate adjustment information.
- FIG. 16 is a schematic diagram illustrating a process of generating adjustment information.
- "Brightness" in FIG. 16 is the number of distinguishable regions.
- the row vector of the determination result has a magnitude (with), a direction (yaw), a direction (pitch), a direction (roll), a brightness, a position (X coordinate), and a position (Y coordinate).
- the elements are arranged in order.
- 0 is input when it is within the conforming range.
- the row vector of adjustment information has elements arranged in the order of pan, tilt, roll, zoom, and brightness. When the value of the element is 0 in the row vector of the adjustment information, the adjustment for the element is not necessary.
- the transformation matrix is for converting the row vector of the determination result into the row vector of the adjustment information. That is, the row vector of the adjustment information can be obtained by multiplying the row vector of the determination result by the transformation matrix.
- the row vector element "pan” of the adjustment information is affected by the row vector element "direction (yaw)" and the position (X coordinate) of the judgment result.
- the element “tilt” of the row vector of the adjustment information is affected by the "direction” and the position (Y coordinate) of the element of the row vector of the determination result.
- the element “roll” of the row vector of the adjustment information is affected by the "direction (roll)” and the position (Y coordinate) of the element of the row vector of the determination result.
- the element “zoom” of the row vector of the adjustment information is affected by the "magnitude" of the element of the row vector of the determination result.
- the element "brightness" of the row vector of the adjustment information is affected by the "brightness” of the element of the row vector of the determination result.
- the transformation matrix is configured so as to reflect the element of the row vector of the judgment result that affects.
- the adjustment information output by the recognition / rejection determination unit 113 is input to the camera control unit 123 of the camera 120.
- the camera control unit 123 automatically adjusts the camera 120 according to the input adjustment information.
- step S107 of the flowchart of FIG. 3 the recognition / rejection determination unit 113 groups the adjustment marks detected by the adjustment mark position detection unit 111 based on the similarity of the determination results of whether or not each recognition is possible, and groups each group. Adjustment information may be generated in. In this case, the final adjustment information is generated based on the adjustment information of all groups.
- FIG. 17 is a flowchart showing a process in step S107 of the flowchart of FIG. 3 in the case of grouping the detected adjustment marks based on the similarity of the determination results.
- subject information that is out of the conforming range for the same item in the determination criteria is grouped (step S201).
- the adjustment mark detection IDs M1 and M2 are out of the conforming range in terms of size (with) and orientation (roll) when the determination criterion ID: K1 is applied. ing.
- the adjustment mark detection IDs M1 and M2 are in the same group because the judgment results are similar.
- step S202 it is determined whether or not all subject information has been determined. If undetermined subject information remains in step S202, adjustment information for the cameras 120 of each group is generated (step S203), and the process returns to step S202.
- the adjustment information of the camera 120 in the group is generated by averaging the determination results of the subject information included in the group and applying a transformation matrix (see FIG. 10) to the averaged determination results.
- step S204 the adjustment information of the cameras 120 of each group is integrated.
- the adjustment information of the cameras 120 in each group is averaged.
- the adjustment information of each group is first weighted according to the importance in recognizing the recognition object, and the adjustment information of the group after being weighted. May be averaged.
- FIG. 18 is a schematic view illustrating an adjustment method of the camera 120 when the camera 120 is installed in a place where the brightness fluctuates greatly throughout the day.
- the adjustment board having the adjustment mark 131 is attached at a predetermined position in the field of view of the camera 120. In this state, for example, captured images are acquired by the camera 120 at 6:00 am, noon, 6:00 pm, and midnight, and adjustment marks 131 are detected for each of the acquired captured images for adjustment. Extract the subject information of the mark.
- the camera control unit 123 of the camera 120 adjusts the camera at 6:00 am, noon, 6:00 pm, and 0:00 am based on the adjustment information corresponding to each time. By doing so, even when the camera 120 is installed in a place where the brightness fluctuates greatly throughout the day, it becomes possible to appropriately recognize the recognition object throughout the day.
- the adjustment information generated by the recognition / non-recognition determination unit 113 of the camera adjustment device 110 is output to the camera control unit 123 of the camera 120 .
- the adjustment information may be output to a display unit such as a monitor.
- the adjustment of the camera 120 is automatically performed according to the adjustment information input by the camera control unit 123, but in the latter configuration, the adjustment of the camera 120 is displayed by a person on the display unit. Perform manually according to the adjustment information.
- the present invention has been described as a hardware configuration, but the present invention is not limited thereto.
- the present invention can also be realized by causing a CPU (Central Processing Unit) to execute a program for each process.
- a CPU Central Processing Unit
- Non-transitory computer-readable media include various types of tangible recording media (tangible storage media).
- Examples of non-temporary computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), optical magnetic recording media (eg optical magnetic disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory).
- the program includes various types of temporary ones.
- a computer readable medium Transition computer readable medium
- Examples of temporary computer readable media include electrical signals, optical signals, and electromagnetic waves.
- Temporary computer readable media include wires and light.
- the program can be supplied to the computer via a wired communication path such as a fiber or a wireless communication path.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Facsimile Scanning Arrangements (AREA)
Abstract
カメラ調整装置(10)は、認識対象物を撮像するカメラの認識対象の範囲に1つ以上設置され、カメラの撮像画像から大きさ、向き、輝度を含む被写体情報を抽出するための調整マークを検出し、検出された調整マークの撮像画像における位置を検出する調整マーク位置検出部(11)と、調整マーク位置検出部(11)によって検出された調整マークから被写体情報を抽出する被写体情報抽出部(12)と、調整マーク位置検出部(11)によって検出された調整マークについて、対応する被写体情報と予め設定された判定規準とを比較することにより認識が可能か否かを判定し、調整マーク位置検出部(11)によって検出された調整マークのうちで認識が可能でないと判定された調整マークに対応する被写体情報と規準とに基づいてカメラを調整するための調整情報を生成する認識可否判定部(13)と、を有する。
Description
本発明は、カメラ調整装置、カメラ位置調整方法及びコンピュータ可読媒体に関する。
画像認識技術により、コンピュータは、駅や空港といった公共施設などに設置されたカメラによって撮像された顔や手荷物などを認識することができる。特許文献1には、カメラの認識対象の範囲に配置された調整マーカーにより認識環境情報を取得する技術が開示されている。
特許文献1に記載の技術では、取得された認識環境情報を専門的な知識を持たない作業者が見てもカメラをどのように調整したら良いかが分からないため、専門的な知識を持つ技術者しかカメラの調整作業を行うことができないという問題があった。
本発明は、以上の背景に鑑みなされたものであり、カメラの調整作業を容易に行うことができるカメラ調整装置を提供することを目的とする。
本発明の第1の態様に係るカメラ調整装置は、認識対象物を撮像するカメラの撮像画像から大きさ、向き、輝度を含む被写体情報を抽出するための調整マークを検出し、検出された前記調整マークの前記撮像画像における位置を検出する調整マーク位置検出部と、前記調整マーク位置検出部によって検出された前記調整マークから前記被写体情報を抽出する被写体情報抽出部と、前記調整マーク位置検出部によって検出された調整マークについて、対応する前記被写体情報と予め設定された判定規準とを比較することにより認識が可能か否かを判定し、前記調整マーク位置検出部によって検出された前記調整マークのうちで認識が可能でないと判定された調整マークに対応する被写体情報と前記規準とに基づいて前記カメラを調整するための調整情報を生成する認識可否判定部と、を有する。
本発明の第2の態様に係るカメラ位置調整方法は、認識対象を撮像するカメラの撮像画像から大きさ、向き、輝度を含む被写体情報を抽出するための調整マークを検出し、検出された前記調整マークの前記撮像画像における位置を検出するする第1のステップと、前記第1のステップにおいて検出された前記調整マークから前記被写体情報を抽出する第2のステップと、前記第1のステップにおいて検出された調整マークについて、対応する前記被写体情報と予め設定された判定規準とを比較することにより認識が可能か否かを判定し、前記調整マーク位置検出部によって検出された前記調整マークのうちで認識が可能でないと判定された調整マークに対応する被写体情報と前記規準とに基づいて前記カメラを調整するための調整情報を生成する第3のステップと、を有する。
本発明の第3の態様に係る非一時的なコンピュータ可読媒体は、認識対象を撮像するカメラの撮像画像から大きさ、向き、輝度を含む被写体情報を抽出するための調整マークを検出し、検出された前記調整マークの前記撮像画像における位置を検出するする第1のステップと、前記第1のステップにおいて検出された前記調整マークから前記被写体情報を抽出する第2のステップと、前記第1のステップにおいて検出された調整マークについて、対応する前記被写体情報と予め設定された判定規準とを比較することにより認識が可能か否かを判定し、前記調整マーク位置検出部によって検出された前記調整マークのうちで認識が可能でないと判定された調整マークに対応する被写体情報と前記規準とに基づいて前記カメラを調整するための調整情報を生成する第3のステップと、をコンピュータに実行させるプログラムが格納されている。
本発明によれば、カメラの調整作業を容易に行うことができる。
以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
[実施の形態1]
以下、実施の形態1について説明する。
図1は、実施の形態1に係るカメラ調整装置10の構成を示すブロック図である。図1に示すように、カメラ調整装置10は、調整マーク位置検出部11と、被写体情報抽出部12と、認識可否判定部13と、を備えている。
以下、実施の形態1について説明する。
図1は、実施の形態1に係るカメラ調整装置10の構成を示すブロック図である。図1に示すように、カメラ調整装置10は、調整マーク位置検出部11と、被写体情報抽出部12と、認識可否判定部13と、を備えている。
調整マーク位置検出部11は、認識対象物を撮像するカメラの撮像画像から大きさ、向き、輝度を含む被写体情報を抽出するための調整マークを検出し、検出された調整マークの撮像画像における位置を検出する。被写体情報抽出部12は、調整マーク位置検出部によって検出された調整マークから被写体情報を抽出する。
認識可否判定部13は、調整マーク位置検出部11によって検出された調整マークについて、対応する被写体情報と予め設定された判定規準とを比較することにより認識が可能か否かを判定する。そして、認識可否判定部13は、調整マーク位置検出部によって検出された調整マークのうちで認識が可能でないと判定された調整マークに対応する被写体情報と規準とに基づいてカメラを調整するための調整情報を生成する。このようにすることで、カメラの調整作業を容易に行うことができる。
[実施の形態2]
以下、実施の形態2について説明する。
まず、実施の形態2にかかるに係るカメラ調整装置の構成例について説明する。図2は、実施の形態2に係るカメラ調整装置110の構成を示すブロック図である。図2に示すカメラ調整装置110は、カメラ120を調整するための調整情報を生成する。
以下、実施の形態2について説明する。
まず、実施の形態2にかかるに係るカメラ調整装置の構成例について説明する。図2は、実施の形態2に係るカメラ調整装置110の構成を示すブロック図である。図2に示すカメラ調整装置110は、カメラ120を調整するための調整情報を生成する。
カメラ120は、認識対象物を撮像するためのもので、例えば、画像取得用カメラ121と、映像認識部122と、カメラ制御部123と、を備えている。画像取得用カメラ121は、撮像画像を取得するためのものである。撮像画像は、例えば撮影した映像のフレーム画像である。映像認識部122は、撮像画像に対して認識処理を実行し、認識対象物の認識を行うためのものである。カメラ制御部123は、画像取得用カメラ121の画角、ズーム、輝度を調整するためのものである。なお、カメラ120において、映像認識部122は、画像取得用カメラ121及びカメラ制御部123と、一体の装置として構成してもよく、別体の装置として構成してもよい。また、カメラ120は、カメラ制御部123がない構成であってもよい。例えば、パンチルトズーム機能がついていないカメラに対して、生成した調整情報を設置者が見て、人手で画角を調整してもよい。
カメラ調整装置110は、調整マーク位置検出部111と、被写体情報抽出部112と、認識可否判定部113と、を備えている。
調整マーク位置検出部111は、調整マークを検出し、検出された調整マークの撮像画像における位置を検出する。すなわち、調整マーク位置検出部111は、撮像画像が入力され、調整マークの撮像画像における位置を出力する。なお、調整マークの詳細については後述する。
被写体情報抽出部112は、調整マーク位置検出部111によって検出された調整マークから被写体情報を抽出する。すなわち、被写体情報抽出部112は、撮像画像と調整マークの撮像画像における位置が入力され、調整マークの被写体情報を出力する。
認識可否判定部113は、調整マーク位置検出部111によって検出された調整マークについて、対応する被写体情報と予め設定された判定規準とを比較することにより認識が可能か否かを判定する。そして、認識可否判定部113は、調整マーク位置検出部によって検出された調整マークのうちで認識が可能でないと判定された調整マークに対応する被写体情報と判定規準とに基づいてカメラ120を調整するための調整情報を生成する。すなわち、認識可否判定部113は、調整マークの被写体情報と調整マークの撮像画像における位置が入力され、カメラ120を調整するための調整情報を出力する。
次に、カメラ調整装置110において、カメラ120を調整するための調整情報を生成する処理の流れについて説明する。なお、以下の説明では図2についても適宜参照する。
図3は、カメラ調整装置110において、カメラ120を調整するための調整情報を生成する処理の流れについて説明するフローチャートである。図3に示すように、まず、調整マーク位置検出部111が、撮像画像を取得する(ステップS101)。続いて、調整マーク位置検出部111が、撮像画像から調整マークを検出し、検出された調整マークの撮像画像における位置を検出する。(ステップS102)。続いて、被写体情報抽出部112が、検出された調整マークから被写体情報を抽出する(ステップS103)。
ステップS103に続いて、認識可否判定部113が、検出された調整マークについて、対応する被写体情報と予め設定された判定規準とを比較することにより認識が可能か否かを判定する(ステップ104)。続いて、認識可否判定部113が、抽出された被写体情報数が閾値Th1より多いか否かを判定する(ステップS105)。
ステップS105において、抽出された被写体情報数が閾値Th1以下である場合、処理をステップS101に戻す。ステップS105において、抽出された被写体情報数が閾値Th1より多い場合、認識可否判定部113が、認識可能比率が閾値Th2より大きいか否か判定する(ステップS106)。ここで、認識可能比率とは、認識が可能であると判定された被写体情報数の、抽出された全被写体情報数に対する比率である。
ステップS106において、認識可能比率が閾値Th2以下である場合、処理を終了する。ステップS106において、認識可能比率が閾値Th2より大きい場合、調整情報を生成する(ステップS107)。
ステップS107に続いて、認識可否判定部113が、生成した調整情報をカメラ120のカメラ制御部123に出力する(ステップS108)。続いて、認識可否判定部113が、入力されている調整マークの被写体情報を消去し(ステップS109)、処理をステップS101に戻す。
次に、調整マークについて説明する。
図4は、調整マークの一例について示す模式図である。図4の上段に示すように、調整ボード130は、横方向A1、縦方向A2に延びる辺を有する長方形の板で、カメラ120の認識対象の範囲に1つ以上設置され、表面に調整マーク131を有する。調整マーク131は、大きさ向き調整用パターン131aと、明るさ調整用パターン131bと、を含む。
図4は、調整マークの一例について示す模式図である。図4の上段に示すように、調整ボード130は、横方向A1、縦方向A2に延びる辺を有する長方形の板で、カメラ120の認識対象の範囲に1つ以上設置され、表面に調整マーク131を有する。調整マーク131は、大きさ向き調整用パターン131aと、明るさ調整用パターン131bと、を含む。
図4の中段には大きさ向き調整用パターン131aの拡大図を示す。大きさ向き調整用パターン131aは、大きさ、向きに関する被写体情報を抽出するためのものである。大きさ向き調整用パターン131aの図柄は、横方向A1に延びる直線と縦方向A2に延びる直線が複数組み合わされたものである。
図4の下段には明るさ調整用パターン131bの拡大図を示す。明るさ調整用パターン131bは、明るさ(輝度)に関する被写体情報を抽出するためのものである。明るさ調整用パターン131bには、濃淡の異なる所定の数の単色領域が、横方向A1と縦方向A2の少なくとも一方に並べて配置されている。ここでは、明るさ調整用パターン131bは横方向に並べて配置され、所定の数は6である。なお、所定の数は6に限らず、2以上であればよい。
図5は、カメラ120を調整するための調整マーク131(図4参照)を有する調整ボード130の設置について説明する模式図である。例えば、カメラ120により認識する認識対象物が“顔”である場合、図5に示すように、作業者Tは、調整ボード130が顔の位置に来るように調整ボード130を手で保持する。そして、作業者Tは、調整ボード130を保持した状態で矢印のように移動して、調整ボード130がカメラ120の認識対象の範囲を隈なく移動するようにする。撮像画像における認識対象の範囲は、作業者に保持された調整ボード130における調整マーク131が移動した範囲として特定することができる。なお、カメラ120において、撮像画像における認識対象の範囲をユーザが設定するようにしてもよい。また、カメラ120において、撮像画像における認識対象の範囲が予め設定されていてもよい。
次に、調整マーク位置検出部111(図2参照)が検出する、調整マーク131(図4参照)の撮像画像における位置について説明する。
図6は、調整マーク位置検出部111が検出する、調整マーク131の撮像画像における位置について説明する模式図である。図6に示すように、調整マーク131の撮像画像における位置は、例えば、調整マーク131に含まれる大きさ向き調整用パターン131aの、撮像画像の中央位置P1を原点とする2次元座標(X,Y)で表される。なお、調整マーク131の撮像画像における位置は、図6に示すように大きさ向き調整用パターン131aの中央位置P2の座標を検出するようにしてもよく、大きさ向き調整用パターン131aの4隅(P3、P4、P5、P6)の座標をそれぞれ検出するようにしてもよい。
図6は、調整マーク位置検出部111が検出する、調整マーク131の撮像画像における位置について説明する模式図である。図6に示すように、調整マーク131の撮像画像における位置は、例えば、調整マーク131に含まれる大きさ向き調整用パターン131aの、撮像画像の中央位置P1を原点とする2次元座標(X,Y)で表される。なお、調整マーク131の撮像画像における位置は、図6に示すように大きさ向き調整用パターン131aの中央位置P2の座標を検出するようにしてもよく、大きさ向き調整用パターン131aの4隅(P3、P4、P5、P6)の座標をそれぞれ検出するようにしてもよい。
次に、被写体情報抽出部112(図2参照)が検出する、調整マーク131(図4参照)の被写体情報(大きさ、向き、明るさ)について説明する。
図7は、被写体情報抽出部112が調整マーク131から抽出する、大きさについて説明する模式図である。被写体情報抽出部112は、調整マーク131の大きさとして、図7に示す、撮像画像Mにおける調整マーク131に含まれる大きさ向き調整用パターン131aの、横方向A1のピクセル数である幅(width)と縦方向A2のピクセル数である高さ(hight)の少なくとも一方を抽出する。
図7は、被写体情報抽出部112が調整マーク131から抽出する、大きさについて説明する模式図である。被写体情報抽出部112は、調整マーク131の大きさとして、図7に示す、撮像画像Mにおける調整マーク131に含まれる大きさ向き調整用パターン131aの、横方向A1のピクセル数である幅(width)と縦方向A2のピクセル数である高さ(hight)の少なくとも一方を抽出する。
図8は、被写体情報抽出部112が調整マーク131から抽出する、向きについて説明する模式図である。被写体情報抽出部112は、図8に示すように、撮像画像Mにおける、調整マーク131に含まれる大きさ向き調整用パターン131aのヨー(yaw)、ピッチ(pitch)、ロール(roll)を、調整マーク131の向きとして抽出する。ここで、ヨーは左右の角度(左がプラス、右がマイナス)、ピッチは上下の角度(上がプラス、下がマイナス)、ロールは回転の角度(時計回りがプラス、反時計回りがマイナス)である。
図9は、被写体情報抽出部112が調整マーク131から抽出する、明るさ(輝度情報)について説明する模式図である。被写体情報抽出部112は、図9の上段に示す撮像画像Mにおける、調整マーク131に含まれる明るさ調整用パターン131bの全ピクセルについて、それぞれ輝度値を検出する。そして、被写体情報抽出部112は、図9の下段に示す、横軸を輝度値、縦軸をピクセル数とする輝度ヒストグラムを作成し、輝度ヒストグラムのおけるピークの輝度の最大値Lmax及び最小値Lminを、調整マーク131の輝度情報としてそれぞれ抽出する。なお、ピークにおけるピクセル数の、明るさ調整用パターン131bの全ピクセル数に対する割合[%]が、閾値Th3を超えている必要がある。ここでは、輝度ヒストグラムのおけるピークの輝度の最大値Lmaxは約120、最小値Lminは約5である。
また、図9の上段に示すように、明るさ調整用パターン131bにおける、領域1の中央輝度値をLu1、領域2の中央輝度値をLu2、領域3の中央輝度値をLu3、領域4の中央輝度値をLu4、領域5の中央輝度値をLu5、領域6の中央輝度値をLu6とする。被写体情報抽出部112は、隣接する領域における中央輝度値の差Dn(n=5)をそれぞれ算出する(D1=Lu1-Lu2、D2=Lu2-Lu3、D3=Lu3-Lu4、D4=Lu4-Lu3、D5=Lu5-Lu6)。すなわち、被写体情報抽出部112は、隣接する領域における中央輝度値の差Dn(n=5)をそれぞれ算出し、これらを調整マーク131の輝度情報として抽出する。
このように、被写体情報抽出部112は、撮像画像Mにおける明るさ調整用パターン131bから、輝度ヒストグラムのおけるピークの輝度の最大値Lmax及び最小値Lminと、隣接する領域における中央輝度値の差Dnと、の少なくとも一方を輝度情報として抽出する。
次に、撮像画像から検出された調整マークの認識が可能か否かを判定する処理について説明する。なお、以下の説明では図2についても適宜参照する。
図10は、撮像画像から検出された調整マークの認識が可能か否かを判定するための判定規準テーブルについて示す模式図である。図10に示すように、判定規準IDには、K1、K2の2つがある。例えば、認識対象物が“顔”である場合には判定規準ID:K1を適用し、認識対象物が“手荷物”である場合には判定規準ID:K2を適用する。このように、調整マークの認識が可能か否かを判定するための判定規準は、認識対象物に応じたものを用いる。なお、判定規準IDは2つに限るものではなく、1つであっても、2つより多くてもよい。判定規準テーブルには、検出された調整マークにおける被写体情報(大きさ、向き、明るさ)のそれぞれについての適格範囲が規定されている。
図10は、撮像画像から検出された調整マークの認識が可能か否かを判定するための判定規準テーブルについて示す模式図である。図10に示すように、判定規準IDには、K1、K2の2つがある。例えば、認識対象物が“顔”である場合には判定規準ID:K1を適用し、認識対象物が“手荷物”である場合には判定規準ID:K2を適用する。このように、調整マークの認識が可能か否かを判定するための判定規準は、認識対象物に応じたものを用いる。なお、判定規準IDは2つに限るものではなく、1つであっても、2つより多くてもよい。判定規準テーブルには、検出された調整マークにおける被写体情報(大きさ、向き、明るさ)のそれぞれについての適格範囲が規定されている。
例えば、判定規準ID:K1の大きさについて、図7に示す幅(width)の適格範囲は、-20<width<200である。判定規準ID:K1の向きについて、図8に示すヨー(yaw)、ピッチ(pitch)、ロール(roll)の適格範囲は、それぞれ、-10<yaw<10、-10<pitch<10、-10<roll<10である。判定規準ID:K1の明るさについて、図9の上段に示す、輝度ヒストグラムのおけるピークの輝度の最大値Lmax及び最小値Lminの適格範囲は、それぞれ、Lmax>150、Lmin>30である。ここで、閾値Th3は5%である。また、図9の下段に示す、明るさ調整用パターン131bについて、隣接する領域における中央輝度値の差(D1、D2、D3、D4、D5)のうち、閾値Th4(=10)より大きいものを区別可能な領域とする。区別可能な領域数の適格範囲は、区別可能な領域数>4である。
図11は、調整マーク位置検出部111により出力される、調整マーク検出情報テーブルの一例を示す模式図である。図11に示すように、調整マーク検出情報テーブルには、調整マーク検出ID(ここではM1、M2、M3)、検出した時刻、調整マークの撮像画像における位置が含まれる。ここで、調整マークの撮像画像における位置は、調整マークに含まれる大きさ向き調整用パターンの中央位置の座標である。
図12は、被写体情報抽出部112により出力される、被写体情報テーブルの一例を示す模式図である。図12に示すように、被写体情報テーブルには、調整マーク検出ID(ここではM1、M2、M3)、大きさ(width)、向き(yaw、pitch、roll)、明るさ(区別可能な領域数)が含まれている。
認識可否判定部113は、調整マーク位置検出部111によって検出された調整マークのそれぞれについて、対応する被写体情報における大きさ、向き、輝度の判定規準からのずれを求める。図13は、検出された調整マークの被写体情報に判定規準を適用して得られた判定結果の一例を示す模式図である。図13に示すように、調整マークID:M1における被写体情報に対し、認識対象物が顔の場合の判定規準(判定規準ID:K1)と、認識対象物が手荷物である場合の判定規準(判定規準ID:K2)と、をそれぞれ適用している。一般的に、顔の認識の方が手荷物の認識よりも認識の難易度が高いため、判定規準ID:K1の方が判定規準ID:K2よりも厳しくなっている。図13に示す判定結果の表では、適合範囲内である場合には丸印が付されている。判定規準ID:K1を適用した場合、大きさ(width)とロール(roll)以外の項目は適合範囲内である。判定規準ID:K1を適用した場合、判定規準の適合範囲からのずれ量が、大きさ(width)では-9、ロール(roll)では+6となっている。一方、判定規準ID:K2を適用した場合、全ての項目が適合範囲内である。
図14は、認識可否判定部113が生成する判定結果テーブルの一例を示す模式図である。図14に示す判定結果テーブルでは、適合範囲内である場合には丸印が付されている。図14中の”明るさ“は区別可能な領域数である。図14に示すように、調整マークIDがM1、M2、M3に対して、それぞれ判定規準IDがK1とK2の判定規準を適用している。調整マークID:M1では、判定規準ID:K2を適用した場合には全ての項目で適合範囲内となっているが、判定規準ID:K2を適用した場合には、大きさ(width)における適合範囲からのずれ量が-9、ロール(roll)における適合範囲からのずれ量が+6となっている。調整マークID:M2では、判定規準ID:K2を適用した場合には全ての項目で適合範囲内となっているが、判定規準ID:K2を適用した場合には、大きさ(width)における適合範囲からのずれ量が-4、ロール(roll)における適合範囲からのずれ量が+1となっている。調整マークID:M3では、判定規準ID:K1を適用した場合、判定規準ID:K2を適用した場合のいずれにおいても全ての項目で適合範囲内となっている。
図15は、図柄の異なる調整マークを用いる例について説明する模式図である。図15に示すように、認識対象物が“顔”である場合には調整マーク131Fを有する調整ボード130aを用い、認識対象物が“手荷物”である場合には調整マーク131Lを用いている。調整マーク131Fは、大きさ向き調整用パターン131aAと、明るさ調整用パターン131bと、を含む。調整マーク131Lは、大きさ向き調整用パターン131aBと、明るさ調整用パターン131bと、を含む。大きさ向き調整用パターン131aAと大きさ向き調整用パターン131aBは図柄が異なる。このように、配置する調整マークの図柄を、認識対象物の属性ごとに異なるものにしてもよい。これにより、検出した調整マークの認識対象が何であるか(ここでは、認識対象物が”顔“であるか”手荷物“であるか)を容易に識別することができる。図14に示す例のように判定規準が複数ある場合に、配置する調整マークの図柄を認識対象物の属性ごとに異なるものにすると、検出された調整マークに対していずれの判定規準を適用するか、を容易に決定することができる。
次に、調整情報を生成する処理について説明する。なお、以下の説明では図2についても適宜参照する。
認識可否判定部113は、調整マーク位置検出部111によって検出された調整マークのそれぞれについて、対応する被写体情報における大きさ、向き、輝度の判定規準からのずれを求めた後に、ずれが緩和されるように調整情報を生成する。
認識可否判定部113は、調整マーク位置検出部111によって検出された調整マークのそれぞれについて、対応する被写体情報における大きさ、向き、輝度の判定規準からのずれを求めた後に、ずれが緩和されるように調整情報を生成する。
図16は、調整情報を生成する処理について説明する模式図である。図16中の”明るさ“は区別可能な領域数である。図16に示すように、判定結果の行ベクトルは、大きさ(width)、向き(yaw)、向き(pitch)、向き(roll)、明るさ、位置(X座標)、位置(Y座標)の順に要素が並んでいる。なお、判定結果の行ベクトルにおいて、適合範囲内である場合には0が入力されている。調整情報の行ベクトルは、パン、チルト、ロール、ズーム、明るさの順に要素が並んでいる。調整情報の行ベクトルにおいて、要素の値が0の場合には、当該要素についての調整は不要である。ここでは、要素“明るさ”の値が0なので、明るさの調整は不要である。変換行列は、判定結果の行ベクトルを調整情報の行ベクトルに変換するためのものである。すなわち、判定結果の行ベクトルに変換行列をかけることで調整情報の行ベクトルが得られる。
調整情報の行ベクトルの要素“パン”には、判定結果の行ベクトルの要素“向き(yaw)”と位置(X座標)が影響する。調整情報の行ベクトルの要素“チルト”には、判定結果の行ベクトルの要素の“向き(pitch)”と位置(Y座標)が影響する。調整情報の行ベクトルの要素“ロール”には、判定結果の行ベクトルの要素の“向き(roll)”と位置(Y座標)が影響する。調整情報の行ベクトルの要素“ズーム”には、判定結果の行ベクトルの要素の“大きさ(width)”が影響する。調整情報の行ベクトルの要素“明るさ”には、判定結果の行ベクトルの要素の“明るさ”が影響する。調整情報の行ベクトルの要素において、影響を及ぼす判定結果の行ベクトルの要素が反映されるように変換行列が構成されている。
認識可否判定部113が出力した調整情報は、カメラ120のカメラ制御部123に入力される。カメラ制御部123は、入力された調整情報に従ってカメラ120の調整を自動で行う。
図3のフローチャートのステップS107において、認識可否判定部113は、調整マーク位置検出部111によって検出された調整マークを、それぞれにおける認識が可能か否かの判定結果の類似性からグループ化し、グループごとに調整情報を生成してもよい。このようにする場合、全グループの調整情報に基づいて最終的な調整情報を生成するようにする。
図17は、図3のフローチャートのステップS107における、検出された調整マークを判定結果の類似性からグループ化する場合の処理を示すフローチャートである。図17に示すように、まず、判定規準における同じ項目で適合範囲外となった被写体情報をグループ化する(ステップS201)。例えば、図14に示す判定結果テーブルにおいて、調整マーク検知IDがM1とM2は、判定規準ID:K1を適用した場合に、いずれも大きさ(width)と向き(roll)で適合範囲外となっている。判定規準ID:K1を適用した場合、調整マーク検知IDがM1とM2は判定結果が類似しているので同じグループとする。
ステップS201に続いて、全ての被写体情報を判定したか否か判定する(ステップS202)。ステップS202において、判定していない被写体情報が残っている場合は、各グループのカメラ120の調整情報を生成し(ステップS203)、処理をステップS202に戻す。なお、グループにおけるカメラ120の調整情報は、当該グループに含まれる被写体情報の判定結果を平均し、平均した判定結果に変換行列(図10参照)を適用することで生成する。
ステップS202おいて、全ての被写体情報を評価した場合は、各グループのカメラ120の調整情報を統合する(ステップS204)。各グループのカメラ120の調整情報を統合する処理において、例えば、それぞれのグループにおけるカメラ120の調整情報を平均する。なお、各グループのカメラ120の調整情報の統合する処理において、それぞれのグループの調整情報に対し、まず、認識対象物の認識における重要度に応じて重み付けし、重み付けされた後のグループの調整情報を平均するようにしてもよい。
カメラ120が、空港や駅のホームなど、一日を通して明るさが大きく変動する場所に設置されている場合、カメラ120を時間帯に応じて調整する必要がある。図18は、一日を通して明るさが大きく変動する場所にカメラ120が設置されている場合における、カメラ120の調整方法について説明する模式図である。図18に示すように、調整マーク131を有する調整ボードは、カメラ120の視野における所定の位置に取付けられている。この状態で、例えば、午前6時、正午、午後6時、午前0時の時刻にカメラ120によって撮像画像を取得し、取得された撮像画像のそれぞれに対し、調整マーク131の検出を行って調整マークの被写体情報を抽出する。そして、それぞれの時刻における調整マークの被写体情報について認識の可否の判定を行い、判定結果から調整情報を生成する。カメラ120のカメラ制御部123は、午前6時、正午、午後6時、午前0時の時刻において、それぞれの時刻に対応する調整情報に基づいてカメラの調整を行う。このようにすることで、カメラ120が一日を通して明るさが大きく変動する場所に設置されている場合にも、一日を通して認識対象物の認識を適切に行うことができるようになる。
上記実施の形態2では、カメラ調整装置110の認識可否判定部113により生成された調整情報が、カメラ120のカメラ制御部123に調整情報が出力される構成について説明した(図2参照)。これに対し、上記調整情報がモニターなどの表示部に出力される構成であってもよい。前者の構成にした場合、カメラ120の調整は、カメラ制御部123が入力された調整情報に従って自動で行うが、後者の構成にした場合、カメラ120の調整は、人が表示部に表示された調整情報に従って手動で行う。
上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、各処理を、CPU(Central Processing Unit)にプログラムを実行させることにより実現することも可能である。
上述のカメラ調整方法を実現するためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
10、110 カメラ調整装置
11、111 調整マーク位置検出部
12、112 被写体情報抽出部
13、113 認識可否判定部
120 カメラ
121 画像取得用カメラ
122 映像認識部
123 カメラ制御部
130 調整ボード
131 調整マーク
11、111 調整マーク位置検出部
12、112 被写体情報抽出部
13、113 認識可否判定部
120 カメラ
121 画像取得用カメラ
122 映像認識部
123 カメラ制御部
130 調整ボード
131 調整マーク
Claims (9)
- 認識対象物を撮像するカメラの撮像画像から大きさ、向き、輝度を含む被写体情報を抽出するための調整マークを検出し、検出された前記調整マークの前記撮像画像における位置を検出する調整マーク位置検出部と、
前記調整マーク位置検出部によって検出された前記調整マークから前記被写体情報を抽出する被写体情報抽出部と、
前記調整マーク位置検出部によって検出された調整マークについて、対応する前記被写体情報と予め設定された判定規準とを比較することにより認識が可能か否かを判定し、前記調整マーク位置検出部によって検出された前記調整マークのうちで認識が可能でないと判定された調整マークに対応する被写体情報と前記判定規準とに基づいて前記カメラを調整するための調整情報を生成する認識可否判定部と、を有するカメラ調整装置。 - 前記認識可否判定部は、前記調整マーク位置検出部によって検出された調整マークを、それぞれにおける認識が可能か否かの判定結果の類似性からグループ化し、グループごとに調整情報を生成するとともに、全グループの調整情報に基づいて最終的な調整情報を生成する、請求項1に記載のカメラ調整装置。
- 前記認識可否判定部は、前記調整マーク位置検出部によって検出された調整マークのそれぞれについて、対応する被写体情報における大きさ、向き、輝度の前記判定規準からのずれを求め、前記ずれが緩和されるように調整情報を生成する、請求項1に記載のカメラ調整装置。
- 前記被写体情報における向きはヨー、ピッチ、ロールによって特定され、
前記調整情報は、パン、チルト、ロール、ズームを含む、請求項1から3のいずれか一項に記載のカメラ調整装置。 - 前記認識対象物の属性ごとに、対応する前記調整マークの前記判定規準を異なるものとする、請求項1から4のいずれか一項に記載のカメラ調整装置。
- 配置する前記調整マークの図柄は、前記認識対象物の属性ごとに異なるものとする、請求項1から5のいずれか一項に記載のカメラ調整装置。
- 調整マークには、濃淡の異なる所定の数の単色領域を横方向と縦方向の少なくとも一方に並べて配置された明るさ調整用パターンが含まれる、請求項1から6のいずれか一項に記載のカメラ調整装置。
- 認識対象物を撮像するカメラの撮像画像から大きさ、向き、輝度を含む被写体情報を抽出するための調整マークを検出し、検出された前記調整マークの前記撮像画像における位置を検出する第1のステップと、
前記第1のステップにおいて検出された前記調整マークから前記被写体情報を抽出する第2のステップと、
前記第1のステップにおいて検出された調整マークについて、対応する前記被写体情報と予め設定された判定規準とを比較することにより認識が可能か否かを判定し、前記第1のステップにおいて検出された前記調整マークのうちで認識が可能でないと判定された調整マークに対応する被写体情報と前記判定規準とに基づいて前記カメラを調整するための調整情報を生成する第3のステップと、を有するカメラ調整方法。 - 認識対象物を撮像するカメラの撮像画像から大きさ、向き、輝度を含む被写体情報を抽出するための調整マークを検出し、検出された前記調整マークの前記撮像画像における位置を検出する第1のステップと、
前記第1のステップにおいて検出された前記調整マークから前記被写体情報を抽出する第2のステップと、
前記第1のステップにおいて検出された調整マークについて、対応する前記被写体情報と予め設定された判定規準とを比較することにより認識が可能か否かを判定し、前記第1のステップにおいて検出された前記調整マークのうちで認識が可能でないと判定された調整マークに対応する被写体情報と前記判定規準とに基づいて前記カメラを調整するための調整情報を生成する第3のステップと、をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021508519A JP7136328B2 (ja) | 2019-03-27 | 2019-03-27 | カメラ調整装置、カメラ位置調整方法及びプログラム |
US17/441,824 US11627246B2 (en) | 2019-03-27 | 2019-03-27 | Camera adjustment apparatus, camera position adjustment method, and computer readable medium |
PCT/JP2019/013093 WO2020194564A1 (ja) | 2019-03-27 | 2019-03-27 | カメラ調整装置、カメラ位置調整方法及びコンピュータ可読媒体 |
ARP200100869A AR118520A1 (es) | 2019-03-27 | 2020-03-27 | Aparato de ajuste de cámara, método de ajuste de posición de cámara y medio legible por computadora |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/013093 WO2020194564A1 (ja) | 2019-03-27 | 2019-03-27 | カメラ調整装置、カメラ位置調整方法及びコンピュータ可読媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020194564A1 true WO2020194564A1 (ja) | 2020-10-01 |
Family
ID=72609692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/013093 WO2020194564A1 (ja) | 2019-03-27 | 2019-03-27 | カメラ調整装置、カメラ位置調整方法及びコンピュータ可読媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11627246B2 (ja) |
JP (1) | JP7136328B2 (ja) |
AR (1) | AR118520A1 (ja) |
WO (1) | WO2020194564A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114200624A (zh) * | 2021-08-25 | 2022-03-18 | 浙江宇视科技有限公司 | 一种相机镜头模组、相机镜头光轴调节装置及双目相机 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004187140A (ja) * | 2002-12-05 | 2004-07-02 | Fuji Photo Optical Co Ltd | 資料提示装置 |
JP2007017424A (ja) * | 2005-06-10 | 2007-01-25 | Fast:Kk | XYθステージによる位置アライメントシステム |
JP2013009202A (ja) * | 2011-06-24 | 2013-01-10 | Toshiba Corp | カメラ方向調整装置及びカメラ方向調整方法 |
JP2013024656A (ja) * | 2011-07-19 | 2013-02-04 | Toyota Motor Corp | 光軸調整システム |
US20150288956A1 (en) * | 2014-04-08 | 2015-10-08 | Lucasfilm Entertainment Company, Ltd. | Calibration target for video processing |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4670657B2 (ja) * | 2006-01-24 | 2011-04-13 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN101401124A (zh) * | 2006-03-20 | 2009-04-01 | 奥林巴斯株式会社 | 图像信息处理装置、判定方法以及计算机程序 |
JP5168124B2 (ja) * | 2008-12-18 | 2013-03-21 | 富士通株式会社 | 画像のマーカ付加装置、方法、及びプログラム |
JP5778967B2 (ja) * | 2011-04-08 | 2015-09-16 | 任天堂株式会社 | 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム |
US8934667B2 (en) * | 2011-06-20 | 2015-01-13 | Sony Corporation | System and method for confidence-based marker adjustment |
JP5821526B2 (ja) * | 2011-10-27 | 2015-11-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2014069247A1 (ja) * | 2012-11-02 | 2014-05-08 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP6344029B2 (ja) * | 2014-04-16 | 2018-06-20 | 富士通株式会社 | 表示方法、表示プログラム、及び表示装置 |
JP6750500B2 (ja) * | 2014-08-27 | 2020-09-02 | 日本電気株式会社 | 情報処理装置および認識支援方法 |
US10812693B2 (en) * | 2017-10-20 | 2020-10-20 | Lucasfilm Entertainment Company Ltd. | Systems and methods for motion capture |
-
2019
- 2019-03-27 JP JP2021508519A patent/JP7136328B2/ja active Active
- 2019-03-27 US US17/441,824 patent/US11627246B2/en active Active
- 2019-03-27 WO PCT/JP2019/013093 patent/WO2020194564A1/ja active Application Filing
-
2020
- 2020-03-27 AR ARP200100869A patent/AR118520A1/es unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004187140A (ja) * | 2002-12-05 | 2004-07-02 | Fuji Photo Optical Co Ltd | 資料提示装置 |
JP2007017424A (ja) * | 2005-06-10 | 2007-01-25 | Fast:Kk | XYθステージによる位置アライメントシステム |
JP2013009202A (ja) * | 2011-06-24 | 2013-01-10 | Toshiba Corp | カメラ方向調整装置及びカメラ方向調整方法 |
JP2013024656A (ja) * | 2011-07-19 | 2013-02-04 | Toyota Motor Corp | 光軸調整システム |
US20150288956A1 (en) * | 2014-04-08 | 2015-10-08 | Lucasfilm Entertainment Company, Ltd. | Calibration target for video processing |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114200624A (zh) * | 2021-08-25 | 2022-03-18 | 浙江宇视科技有限公司 | 一种相机镜头模组、相机镜头光轴调节装置及双目相机 |
WO2023024753A1 (zh) * | 2021-08-25 | 2023-03-02 | 浙江宇视科技有限公司 | 相机镜头模组、相机镜头光轴调节装置及双目相机 |
Also Published As
Publication number | Publication date |
---|---|
AR118520A1 (es) | 2021-10-20 |
US20220201193A1 (en) | 2022-06-23 |
US11627246B2 (en) | 2023-04-11 |
JPWO2020194564A1 (ja) | 2021-11-04 |
JP7136328B2 (ja) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
US20110164816A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6453488B2 (ja) | 人体頭頂部の識別に基づく通行人の統計方法及び装置 | |
CN110232320A (zh) | 实时检测工地现场工人危险靠近施工机械的方法及系统 | |
JP2975629B2 (ja) | 画像認識装置 | |
US10325338B2 (en) | Information embedding device, information detecting device, information embedding method, and information detecting method | |
JP2008134196A (ja) | 線状の欠陥の検出装置および半導体基板の製造装置、線状の欠陥の検出方法および半導体基板の製造方法、コンピュータを当該検出装置または当該製造装置として機能させるためのプログラム、ならびに当該プログラムを格納した記録媒体 | |
DE112020001706T5 (de) | Personenerkennungsvorrichtung und personenerkennungsverfahren | |
WO2020194564A1 (ja) | カメラ調整装置、カメラ位置調整方法及びコンピュータ可読媒体 | |
US9111346B2 (en) | Image processing apparatus, image processing method, and recording medium | |
CN111429376A (zh) | 高低精度融合的高效数字图像处理方法 | |
JP3081396B2 (ja) | 画像処理装置 | |
CN109522893B (zh) | 一种空中非合作目标气球要害点快速的检测方法 | |
WO2019123983A1 (ja) | 認証システムおよびデータ処理方法 | |
US20180276458A1 (en) | Information processing device, method and storage medium | |
KR101935969B1 (ko) | 히스토그램을 이용한 객체 추적 실패 감지 및 재추적 방법 및 장치 | |
CN111325073A (zh) | 基于运动信息聚类的监控视频异常行为检测方法 | |
JP2008234619A (ja) | 顔認証装置および顔認証方法 | |
JP2015158880A (ja) | 変化検出装置、方法及びプログラム | |
Milecki et al. | The application of a vision system to detect trajectory points for soldering robot programming | |
KR20200086463A (ko) | 차량 번호판의 검출 방법 | |
EP2528019A1 (en) | Apparatus and method for detecting objects in moving images | |
US20240087301A1 (en) | Information processing system and information processing method | |
JP2014059819A (ja) | 表示装置 | |
KR102436197B1 (ko) | 이미지 객체 검출 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19921430 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021508519 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19921430 Country of ref document: EP Kind code of ref document: A1 |