WO2011043350A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
WO2011043350A1
WO2011043350A1 PCT/JP2010/067481 JP2010067481W WO2011043350A1 WO 2011043350 A1 WO2011043350 A1 WO 2011043350A1 JP 2010067481 W JP2010067481 W JP 2010067481W WO 2011043350 A1 WO2011043350 A1 WO 2011043350A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
target
tracking target
pedestrian
Prior art date
Application number
PCT/JP2010/067481
Other languages
English (en)
French (fr)
Inventor
暁林 張
剛 小林
亨 村瀬
雅弘 森口
Original Assignee
国立大学法人東京工業大学
住友電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2009232214A external-priority patent/JP2011081533A/ja
Priority claimed from JP2009232786A external-priority patent/JP2011081567A/ja
Application filed by 国立大学法人東京工業大学, 住友電気工業株式会社 filed Critical 国立大学法人東京工業大学
Publication of WO2011043350A1 publication Critical patent/WO2011043350A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Definitions

  • the present invention relates to an imaging system provided at an intersection. More specifically, the present invention relates to an imaging system that captures an image while tracking a specific object among a plurality of objects moving in and around an intersection. The present invention also relates to an imaging system that captures an image while tracking the target and outputs audio information having directivity with respect to the specific target.
  • An intersection driving support system that supports a driver of a vehicle traveling at an intersection is known (see, for example, Patent Document 1).
  • an intersection is detected by detecting a moving body from an image obtained by imaging the front and side of the host vehicle and notifying or warning the driver of the vehicle according to the risk of the moving body. The safety when traveling can be improved.
  • the present invention provides, as a first embodiment, an imaging system provided at an intersection, and an overall imaging unit that images a plurality of objects moving in and around the intersection
  • a signal information acquisition unit that acquires signal information indicating a lighting state of at least one of a pair of pedestrian signals and an automobile signal installed at the intersection, and based on the signal information
  • a tracking target specifying unit that specifies the target having a high risk of an accident from the imaging data as a tracking target; and an imaging element having a pixel density higher than a pixel density in the imaging element of the whole-view imaging unit.
  • An imaging system comprising: a plurality of specific target imaging units that perform imaging while tracking; and a control unit that controls an imaging direction and a focus of the specific target imaging unit. Subjected to.
  • a plurality of objects that move within and around the intersection are imaged by the overall imaging unit, and a plurality of tracking targets identified based on conditions such as the degree of risk from the imaging data Since the imaging is performed while tracking by the specific target imaging unit, the position and size of the tracking target can be detected more accurately.
  • the pixel density of the image pickup device of the overall image pickup unit is lower than the pixel density of the image pickup device of the specific target image pickup unit, it is possible to suppress the load of detection processing when detecting a plurality of targets from image data inside and outside the intersection. Can do.
  • the tracking target specifying unit is in contact with each other among the target moving in the intersection and the target moving from the periphery of the intersection toward the intersection. It is preferable that the target for which the prediction is predicted is the tracking target.
  • the tracking target specifying unit when the tracking target specifying unit specifies a plurality of tracking targets, the tracking target specifying unit is configured in descending order of risk indicating an accident risk for each of the tracking targets.
  • an identification ID is assigned, and the control unit causes the specific target imaging unit to image the tracking target with the highest degree of risk based on the identification ID.
  • the imaging system further includes a risk target identifying unit that identifies the tracking target having the risk level equal to or higher than a predetermined level as a risk target based on the image data from the specific target image capturing unit. It is preferable.
  • the danger target identification unit acquires the signal information from the signal information acquisition unit, and when the signal information indicates that a pedestrian cannot cross, You may identify the pedestrian in the said intersection as the said danger object.
  • a pedestrian that remains in the intersection even if the pedestrian signal turns red can identify an object that is highly likely to collide with a vehicle from other objects.
  • the global imaging unit images a lighting state of a signal installed at the intersection together with the plurality of objects
  • the dangerous object identification unit includes the global imaging. It is preferable that the object in the intersection is identified as the danger object when the imaging data of the part is acquired and the lighting state indicates that the pedestrian cannot cross.
  • a pedestrian that remains in the intersection even if the pedestrian signal turns red can identify an object that is highly likely to collide with a vehicle from other objects.
  • the imaging system according to the first embodiment further includes a warning information output unit that issues warning information to the dangerous object.
  • the warning information output unit transmits the warning information to an in-vehicle terminal of the automobile that is the danger target.
  • warning information output unit By providing such a warning information output unit, it is possible to avoid danger by causing at least one of an automobile or a pedestrian who is likely to collide or contact each other to recognize their own danger.
  • the present invention provides, as a second embodiment, an imaging system provided at an intersection, the entire imaging unit that images a pedestrian moving in the intersection, and the entire system based on a predetermined condition.
  • a tracking target specifying unit that specifies the pedestrian to be tracked from imaging data of the visual imaging unit, and an imaging element having a pixel density higher than a pixel density in the imaging device of the overall imaging unit, and the tracking target
  • a plurality of specific target image capturing units that capture images while tracking and a dangerous state determination that determines whether or not the tracked target is in a dangerous state with a high risk of encountering an accident, based on imaging data of the specific target image capturing unit And an imaging system.
  • one or a plurality of pedestrians moving in and around the intersection are imaged by the overall imaging unit and specified from the imaging data based on conditions such as the moving speed and the moving direction, for example.
  • the captured pedestrian can be imaged while being tracked by a plurality of specific target imaging units. Therefore, it is possible to detect not only the position of the pedestrian to be tracked but also a change in the posture of the pedestrian with high accuracy. Therefore, it is possible to detect at an early stage that the pedestrian has fallen into a dangerous state such as falling or hitting in an intersection.
  • the pixel density of the image pickup device of the overall image pickup unit is lower than the pixel density of the image pickup device of the specific target image pickup unit, it is possible to suppress the load of detection processing when detecting a plurality of targets from image data inside and outside the intersection. Can do.
  • the tracking target specifying unit classifies the plurality of pedestrians into groups based on a moving direction, and sets the pedestrian at the end of the group as the tracking target. It is preferable to do.
  • specification part is good also considering the said pedestrian who stopped in the said intersection as the said tracking object.
  • the dangerous state determination unit detects a change in the posture of the tracking target from the imaging data of the specific target imaging unit, and has fallen or crossed in an intersection. It is preferable to determine that the tracking target is in the dangerous state.
  • the imaging system acquires signal information indicating a lighting state of at least one of a pair of pedestrian signals and an automobile signal installed at the intersection, and sends the signal information to the dangerous state determination unit.
  • the pedestrian in the intersection may be determined to be in the dangerous state.
  • pedestrians who are likely to encounter an accident such as pedestrians remaining in the intersection even when the pedestrian signal turns red can be identified from other pedestrians.
  • the vehicle in response to the danger state determination unit determining that the pedestrian in the intersection is in the dangerous state, the vehicle cannot pass the vehicle signal. It is preferable to further include a signal information control unit that turns on to indicate that
  • this invention is an imaging system provided in an intersection as a 3rd form, Comprising: The global imaging part which images the some object which moves the inside of the said intersection and the said periphery of an intersection, and predetermined conditions
  • a tracking target specifying unit that specifies a tracking target from the imaging data of the overall imaging unit, and an imaging device having an image resolution higher than that of the imaging device of the overall imaging unit, and tracking the tracking target
  • an imaging system comprising: a plurality of specific target imaging units that perform imaging; and an audio information output unit that outputs audio information having directivity with respect to the tracking target.
  • a plurality of objects that move within and around the intersection are imaged by the overall imaging unit, and a plurality of tracking targets identified based on conditions such as the degree of risk from the imaging data Since the imaging is performed while tracking by the specific target imaging unit, the position and size of the tracking target can be detected more accurately.
  • the image resolution of the image pickup device of the overall image pickup unit is lower than the image resolution of the image pickup device of the specific target image pickup unit, it is possible to suppress the load of the detection process when detecting a plurality of targets from the image data inside and outside the intersection. Can do.
  • information such as a warning can be transmitted to the tracking target only by voice.
  • the imaging system according to the third aspect further includes a voice information setting unit that sets the contents of the voice information according to the state of the tracking target.
  • the tracking target specifying unit is in contact with each other among the target moving within the intersection and the target moving from the vicinity of the intersection into the intersection. It is preferable that the target to be predicted is identified as the tracking target, and the voice information setting unit sets the content of the voice information to a content indicating that there is a risk of contact with the other target.
  • the tracking target specifying unit specifies a pedestrian stopped in the intersection as the tracking target
  • the voice information setting unit determines the content of the voice information. It is preferable to set the content to prompt the evacuation from within the intersection.
  • the tracking target specifying unit when the tracking target specifying unit specifies a plurality of tracking targets, the tracking target specifying unit is configured in descending order of risk indicating an accident risk with respect to each of the tracking targets.
  • An identification ID for identifying the risk level is assigned, and the specific target imaging unit captures an image while tracking the tracking target with the highest risk level based on the identification ID, and the audio information output unit It is preferable to output the audio information to a target.
  • the voice information setting unit sets the content of the voice information in association with the identification ID, and the voice information output unit is provided for each of the tracking targets.
  • the voice information corresponding to the assigned identification ID is preferably output.
  • the audio information output unit includes a directional speaker that uses ultrasonic waves as a carrier wave and uses sound waves as a modulated wave, and the directional speaker includes a direction of the tracking target. It is preferable that the audio information is output in a narrow area centered at.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging system 100.
  • FIG. 4 is an operation flow of tracking imaging of a pedestrian and a car by the imaging system 100. It is a block diagram which shows the structure of the imaging system 101 which concerns on the other example of 1st Embodiment of this invention. It is the figure which looked at the intersection 2500 where the imaging system 200 which concerns on 2nd Embodiment of this invention was provided from upper direction.
  • 1 is a block diagram illustrating a configuration of an imaging system 200.
  • FIG. 3 is an operation flow of tracking imaging of a pedestrian by the imaging system 200.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging system 300.
  • FIG. It is the operation
  • It is a block diagram which shows the structure of the imaging system 301 which concerns on the other example of 3rd Embodiment of this invention.
  • 2 shows an example of a hardware configuration of a computer 5000.
  • FIG. 1 is a view of an intersection 1500 where the imaging system 100 according to the first embodiment of the present invention is provided as viewed from above.
  • FIG. 2 is a block diagram showing a configuration of the imaging system 100.
  • the imaging system 100 according to the present embodiment images a plurality of targets such as pedestrians and cars moving in and around the intersection 1500, and selects and tracks a specific pedestrian from the plurality of captured pedestrians.
  • the system is capable of detecting a pedestrian in a high risk state (dangerous state).
  • intersection 1500 illustrated for explaining the imaging system 100 intersects a roadway 1511 in which the automobile can pass in the up-down direction in FIG. 1 and a roadway 1512 in which the automobile can pass in the left-right direction in FIG. It is a crossroad intersection.
  • the intersection 1500 is provided with pedestrian crossings 1531, 1532, 1533, and 1534 for crossing the sidewalks 1521, 1522, 1523, and 1524 on the sides of the roadways 1511 and 1512.
  • automobile signals 1541, 1542, 1543, 1544 are provided in front of the pedestrian crossings 1531-1534 on the roadways 1511, 1512 (on the side far from the center of the intersection 1500).
  • pedestrian signals 1551, 1552, 1553, and 1554 are provided on both sides of the pedestrian crossings 1531 to 1534 (sidewalks 1521 to 1524).
  • an automobile signal 1541 is provided on the front side of the pedestrian crossing 1531 for crossing the roadway 1511 from the sidewalk 1521 to the sidewalk 1522.
  • pedestrian signals 1551 are provided on both sides of the pedestrian crossing 1531.
  • the automobiles 1621A, 1621B, 1621C, 1621D, 1621E, and the two-wheeled vehicle 1631 traveling on the roadway 1511 can enter the intersection 1500 as they are when the automobile signals 1541 and 1543 are blue. If 1541 and 1543 are red, the vehicle must stop before the temporary stop line provided on the front side of the pedestrian crossings 1531 and 1533.
  • the pedestrian 1611 can cross the pedestrian crossing 1531 when the pedestrian signal 1551 is blue, but cannot cross the pedestrian signal 1551 when the pedestrian signal 1551 is red.
  • pedestrians 1612, 1613, 1614 can cross pedestrian crossings 1532, 1533, 1534 when pedestrian signals 1552, 1553, 1554 are blue, but pedestrian signals 1552, 1553, 1554 are If it is red, you cannot cross it.
  • the imaging system 100 includes a fixed unit 105, an overall imaging unit 110, and two specific target imaging units 120 and 130.
  • the fixed portion 105 includes a column portion provided on both sides of the roadway 1511 and a beam portion in which both ends are fixed to the column portion.
  • the whole-view imaging unit 110 and the specific target imaging units 120 and 130 are fixed to the beam portion of the fixing unit 105.
  • the two specific target imaging units 120 and 130 are provided on both sides of the overall imaging unit 110. Moreover, it is preferable that the whole-view imaging unit 110 and the specific target imaging units 120 and 130 are both installed at a height of about 10 m from the road surface of the roadway 1511. In addition, the arrangement of the whole-view imaging unit 110 and the specific target imaging units 120 and 130 and the height from the road surface on which these are installed are not limited to this example, and are appropriately set depending on the imaging target and imaging range of each imaging unit. Is done.
  • the imaging system 100 further includes imaging data acquisition units 141 and 142, a moving object identification unit 150, a tracking target specifying unit 160, a control unit 170, a signal information acquisition unit 175, and a risk target.
  • An identification unit 180 and a warning information output unit 190 are provided.
  • the whole-view imaging unit 110 includes a CCD camera 111 that can image the intersection 1500 and its surroundings, and an image storage unit 112 that stores imaging data obtained by the CCD camera 111.
  • the CCD camera 111 may be a CCD camera that has, for example, a CCD image sensor with 320 ⁇ 240 pixels as an imaging element and can capture the imaging range at a frame rate of 30 fps.
  • the CCD camera 111 is a camera that is fixed to the fixing unit 105 and images a certain range.
  • the overall image capturing unit 110 may include a camera having an image sensor of another type such as a CMOS image sensor instead of the CCD camera 111.
  • the image storage unit 112 stores the image data captured by the CCD camera 111 at the frame rate in association with the imaging time.
  • a storage element such as a flash memory or a storage device such as a hard disk drive is used.
  • the specific target imaging unit 120 stores the image data captured by the CCD camera 121 and the CCD camera 121 having an optical zoom function for enlarging and imaging a specific range of the imaging range of the CCD camera 111 included in the overall imaging unit 110.
  • An image storage unit 122 and a drive unit 123 that drives the CCD camera 121 are included.
  • the specific target imaging unit 130 includes a CCD camera 131, an image storage unit 132, and a driving unit 133 having the same functions as the CCD camera 121, the image storage unit 122, and the driving unit 123 of the specific target imaging unit 120, respectively. Have.
  • the CCD cameras 121 and 131 may be CCD cameras that have, for example, a CCD image sensor having a number of pixels of 640 ⁇ 480 as an imaging element and can capture the imaging range at a frame rate of 30 fps.
  • the image storage unit 122 acquires imaging data captured by the CCD camera 121 at the above frame rate in time series, and stores each imaging data in association with the imaging time.
  • the specific target imaging units 120 and 130 may include other types of imaging elements such as CMOS image sensors instead of the CCD cameras 121 and 131 and cameras having a predetermined optical zoom function.
  • the image storage unit 132 stores the imaging data captured by the CCD camera 131 at the frame rate in association with the imaging time.
  • a storage device such as a flash memory or a storage device such as a hard disk drive is used for the image storage units 122 and 132, similarly to the image storage unit 112.
  • the imaging data acquisition unit 141 accesses the image storage unit 112 at a predetermined timing and acquires the imaging data stored in the image storage unit 112.
  • the moving object identification unit 150 receives the imaging data output from the imaging data acquisition unit 141, and identifies one or a plurality of targets that move within the imaging range of the CCD camera 111 from the imaging data.
  • the moving object identification unit 150 extracts and stores luminance information for each pixel from the imaging data. Then, the moving object identification unit 150 obtains a difference from the luminance of the corresponding pixel in the imaging data sent from the imaging data acquisition unit 141 next.
  • the moving body identification unit 150 identifies the object that moves within the imaging range of the CCD camera 111 by repeating this process for imaging data sent in time series.
  • the moving object identification unit 150 can identify the type of object to be identified (pedestrian, car, etc.), but in this example, an object that moves within the imaging range of the CCD camera 111 of the overall imaging unit 110. It is only necessary to detect at least the position and number, and the moving speed and predicted course of the detected object may be calculated.
  • the signal information acquisition unit 175 acquires signal information indicating lighting states of the pedestrian signal and the automobile signal installed at the intersection 1500 via, for example, a network.
  • the signal information acquisition unit 175 is in a lighting state (for example, red) indicating which of the pedestrian signals 1551 to 1554 and the automobile signals 1541 to 1544 installed at the intersection 1500 indicates that no traffic or crossing is possible.
  • Signal information indicating which signal is in a lighting state for example, blue
  • the signal information acquisition unit 175 outputs the acquired signal information to the tracking target identification unit 160 and the danger target identification unit 180.
  • the tracking target specifying unit 160 acquires information such as the position of each target identified by the moving object identifying unit 150 from the moving object identifying unit 150 and acquires the signal information from the signal information acquiring unit 175. Then, the tracking target specifying unit 160 is a target to be imaged while being tracked by the specific target imaging units 120 and 130 based on the signal information from the target identified by the moving object identifying unit 150 (hereinafter referred to as “tracking target”). Specified). More specifically, among the objects identified by the moving object identifying unit 150, for example, a pedestrian that remains stationary in the intersection 1500 while the pedestrian signal is about to change from blue to red. If there is, such a pedestrian is at high risk of an accident. Therefore, when the pedestrian is specified, the tracking target specifying unit 160 sets the pedestrian as a tracking target.
  • the tracking target specifying unit 160 may specify the tracking target by further referring to the information when the information such as the moving speed and the expected course of the target can be acquired from the moving object identifying unit 150. Further, the tracking target specifying unit 160 may calculate a risk level indicating the risk of an accident from the information related to the target, and may set a target whose risk level is a predetermined level or higher as the tracking target. By referring to the degree of risk in identifying the tracking target, a target with a higher risk of accident can be set as the tracking target.
  • the control unit 170 includes a specific result acquisition unit 171 and an imaging condition control unit 172.
  • the identification result acquisition unit 171 acquires information regarding the tracking target by the tracking target specifying unit 160. Specifically, the identification result acquisition unit 171 acquires, for example, the degree of risk of the tracking target together with the information regarding the tracking target specified by the tracking target specifying unit 160.
  • the imaging condition control unit 172 determines the imaging direction and focus of the CCD camera 121 of the specific target imaging unit 120 and the CCD camera 131 of the specific target imaging unit 130 based on the information regarding the tracking target acquired by the specific result acquisition unit 171. Set the imaging conditions.
  • the imaging condition control unit 172 causes the drive unit 123 to drive the CCD camera 121 based on information on the position of the tracking target, the moving speed, the expected course, and the like acquired by the identification result acquisition unit 171.
  • the imaging direction of the CCD camera 121 is set to the direction of the tracking target, and the focus and exposure are set to conditions suitable for the imaging of the tracking target by controlling the optical system of the CCD camera 121.
  • the imaging condition control unit 172 sets the imaging direction of the CCD camera 131 to the tracking target direction by driving the CCD camera 131 by the driving unit 133 and controls the optical system of the CCD camera 131. By doing so, the focus and exposure are set to conditions suitable for the imaging of the tracking target.
  • the imaging condition control unit 172 appropriately changes the imaging condition of the tracking target by the CCD cameras 121 and 131 based on the imaging data of the tracking target by the CCD cameras 121 and 131. Thereby, the imaging ranges of the CCD cameras 121 and 131 both follow the movement of the tracking target. In place of this, when the specific result acquisition unit 171 acquires information indicating that the position of the tracking target, the moving speed, the expected course, and the like have changed, the imaging condition control unit 172 adds the new information to the new information. Based on this, the imaging conditions of the tracking target by the CCD cameras 121 and 131 may be changed.
  • the two specific target imaging units 120 and 130 (CCD cameras 121 and 131) can cause the specific target imaging units 120 and 130 to function as a stereo camera by capturing an image while tracking the same tracking target. it can. Therefore, the distance to the tracking target can be accurately measured.
  • the CCD cameras 121 and 131 of this example have a high-magnification optical zoom function, and the image sensor included in each CCD camera has a higher pixel density than the image sensor included in the CCD camera 111. Therefore, since the size of the tracking target can be accurately measured, it is possible to accurately detect, for example, that a pedestrian imaging as a tracking target has fallen or fallen while crossing a pedestrian crossing.
  • the tracking target specifying unit 160 identifies each of the tracking targets with an identification ID associated with the risk level in descending order of the risk level indicating the risk of an accident. Assign. And the specific result acquisition part 171 acquires identification ID of each tracking object with the information regarding a position, a moving speed, an estimated course, etc. about each of several tracking object. Then, based on the identification ID, the imaging condition control unit 172 causes the CCD cameras 121 and 131 to image the tracking target with the highest degree of risk among the plurality of tracking targets.
  • a tracking target with a high risk of reaching an accident is accurately selected and tracked by the specific target imaging units 120 and 130.
  • An image can be taken.
  • the CCD cameras 121 and 131 of the specific target imaging units 120 and 130 as stereo cameras, it is possible to more accurately detect that the tracking target is in a dangerous state.
  • the dangerous target identification unit 180 identifies a tracking target having a risk level equal to or higher than a predetermined level as a dangerous target based on the imaging data of the tracking target by the specific target imaging units 120 and 130. More specifically, the risk target identification unit 180 calculates the risk level of the tracking target based on, for example, imaging data of the tracking target by the CCD cameras 121 and 131 of the specific target imaging units 120 and 130.
  • the danger target identifying unit 180 may identify the tracking target as a dangerous target by referring to the signal information from the signal information acquisition unit 175 in addition to the imaging data of the tracking target by the specific target imaging units 120 and 130. Good. More specifically, the danger target identifying unit 180 has the intersection 1500 although the signal information from the signal information obtaining unit 175 indicates that the pedestrian signal is red (the pedestrian cannot cross). If pedestrians remain inside (on the pedestrian crossing), such pedestrians are extremely at risk of encountering an accident. Therefore, when there is such a pedestrian, the dangerous object identification unit 180 may identify the pedestrian as a dangerous object.
  • the risk level calculated by the risk target identification unit 180 reflects the imaging data of the tracking target by the specific target imaging units 120 and 130, it is compared with the risk level calculated by the tracking target specifying unit 160. It is an index that more closely reflects the risk of the accident being tracked.
  • the dangerous object identification unit 180 identifies the tracking object that is being tracked and imaged as a dangerous object that has a very high risk of accident. Then, the dangerous object identification unit 180 outputs information indicating that the tracking target is a dangerous object to the warning information output unit 190.
  • the warning information output unit 190 When the warning information output unit 190 receives the information from the dangerous object identification unit 180, the warning information output unit 190 issues warning information to the dangerous object. For example, when the danger target is an automobile, the warning information output unit 190 may transmit data indicating the warning information to a vehicle-mounted terminal such as a VICS receiver or a car navigation device having a communication function.
  • a vehicle-mounted terminal such as a VICS receiver or a car navigation device having a communication function.
  • the warning information output unit 190 may display a warning message on the display screen of the in-vehicle terminal and may cause the terminal to issue a warning alarm.
  • the warning information output unit 190 may display a warning message on the display screen of the in-vehicle terminal and may cause the terminal to issue a warning alarm.
  • the pixel density of the image sensor included in the CCD camera 111 of the overall image capturing unit 110 is lower than the pixel density of the image sensor included in the CCD cameras 121 and 131 of the specific target image capturing units 120 and 130. Therefore, although the CCD camera 111 has a lower resolution than the CCD cameras 121 and 131, it can specify a wider range of objects while suppressing the load of detection processing. Then, by capturing only the tracking target with higher-resolution CCD cameras 121 and 131, the distance to the tracking target to be noticed, the size and orientation of the tracking target, and the like can be detected more accurately.
  • FIG. 3 is an operation flow of tracking imaging of a pedestrian and a car by the imaging system 100.
  • the overall image capturing unit 110 captures an image of the intersection 1500 and its vicinity (particularly, the roadway 1511 in this example) (step: S1300).
  • the moving body identification unit 150 tries to turn left in the pedestrian 1612A to 1612E crossing the pedestrian crossing 1532, the pedestrian 1614 crossing the pedestrian crossing 1534, and the intersection 1500 from the image data captured by the general-view imaging unit 110.
  • the automobile 1621A, the automobiles 1621D and 1621E about to turn right in the intersection 1500, and the automobiles 1621B and 1621C and the motorcycle 1631 traveling on the roadway 1511 toward the intersection 1500 are identified as objects to be moved (step S1305).
  • the tracking target specifying unit 160 specifies a tracking target that is to be tracked and imaged by the specific target imaging units 120 and 130 among the moving targets (step: S1310).
  • the tracking target specifying unit 160 sets the automobile 1621A as the tracking target.
  • the tracking target specifying unit 160 determines that the two-wheeled vehicle 1631 is a blind spot of the motor vehicle 1621D from the positional relationship of the motor vehicle 1621A, the motor vehicle 1621D, and the two-wheeled vehicle 1631, for example, the tracking target vehicle 1601D and the two-wheeled vehicle 1631 are tracked. To do.
  • the tracking target specifying unit 160 determines that any of the pedestrians 1612A to 1612E is a pedestrian crossing 1532 when the pedestrian signal 1552 is about to change from blue to red based on the signal information from the signal information acquisition unit 175. When the robot stops and moves or stops on the pedestrian crossing 1532, the pedestrian is set as a tracking target. In addition, when any of the pedestrians 1612A to 1612E is walking at a speed that cannot cross the pedestrian crossing 1532 while the pedestrian signal 1552 is blue, the tracking target specifying unit 160 identifies the pedestrian. It becomes a tracking target.
  • the tracking target specifying unit 160 calculates the risk level indicating the risk of an accident for each of the tracking targets, and in descending order of the risk level.
  • An identification ID is assigned (step: S1320).
  • the identification ID assigned to each tracking target includes information indicating the risk level of the corresponding tracking target.
  • the control unit 170 causes the specific target imaging units 120 and 130 to image the tracking target with the highest degree of risk among the plurality of tracking targets (step: S1325).
  • the tracking target specifying unit 160 causes the specific target imaging units 120 and 130 to capture the tracking target (step: S1330).
  • the dangerous object identification unit 180 identifies whether or not the tracking object is a dangerous object based on the imaging data to be tracked and the signal information from the signal information acquisition unit 175 (step: S1340).
  • the danger target identifying unit 180 indicates the pedestrian.
  • the danger object identification unit 180 determines that the automobile 1621D immediately turns right after the automobile 1621A makes a left turn even though the motorcycle 1631 is approaching, or the automobile signals 1541 and 1543 turn red. Nevertheless, if the automobile 1621D cannot turn right and remains in the intersection 1500, the automobile 1621D is regarded as a danger object.
  • the danger target identification unit 180 outputs information indicating that the tracking target tracked and captured by the specific target imaging units 120 and 130 is a danger target to the warning information output unit 190, and the warning information output unit 190. Issues warning information to the dangerous object (step: S1345).
  • step: S1340 NO when the tracking target that has been tracked and captured by the specific target imaging units 120 and 130 does not become a dangerous target by the dangerous target identification unit 180 (step: S1340 NO) and goes directly outside the intersection 1500 (step: S1350 YES) ) That is, when the pedestrians 1611 to 1614 that have been tracked and imaged as the tracking target cross the pedestrian crossings 1531 to 1534, or the traveling positions of the automobiles 1621A to 1621E and the motorcycle 1631 that have been tracked and imaged as the tracking target are When the specific target imaging units 120 and 130 are out of the tracking range, this flow ends.
  • step S1340 and subsequent steps are repeated again until the tracking target goes outside the intersection 1500 (step: S1350, NO).
  • FIG. 4 is a block diagram showing a configuration of an imaging system 101 according to another example of the first embodiment of the present invention.
  • symbol is attached
  • the overall imaging unit 110 images the lighting state of at least one of the pedestrian signal and the car signal installed at the intersection 1500 together with the plurality of objects. That is, the general-view imaging unit 110 included in the imaging system 101 of this example includes a pedestrian signal provided on a pedestrian crossing traversed by a pedestrian that is imaged in the imaging range, and the traveling direction of the vehicle that is imaged. For at least one of the automobile signals provided in, the lighting state (red or blue, etc.) is provided in the imaging range.
  • the dangerous object identification unit 180 acquires the imaging data of the overall imaging unit 110. Then, in the acquired imaging data, for example, the danger object identification unit 180 indicates that the pedestrian to be tracked is the intersection 1500 even though the pedestrian signal indicates that the pedestrian cannot cross. If it remains inside (on a pedestrian crossing), the pedestrian is identified as a danger target.
  • the imaging system 101 it is possible to identify that the tracking target is a dangerous target without providing the signal information by providing the signal information acquisition unit 175 as in the imaging system 100.
  • FIG. 5 is a view of an intersection 2500 where the imaging system 200 according to the second embodiment of the present invention is provided as viewed from above.
  • FIG. 6 is a block diagram illustrating a configuration of the imaging system 200.
  • the imaging system 200 according to the present embodiment images a plurality of objects such as pedestrians and automobiles moving in and around the intersection 2500 and, for example, selects and tracks a specific pedestrian from the plurality of captured pedestrians. It is a system that can pick up an image and detect a pedestrian in a high risk state (dangerous state).
  • intersection 2500 illustrated for explaining the imaging system 200 intersects a roadway 2511 in which a vehicle can pass in the up-down direction in FIG. 5 and a roadway 2512 in which the vehicle can face-to-face in FIG. It is a crossroad intersection.
  • the intersection 2500 is provided with pedestrian crossings 2531, 2532, 2533, 2534 for crossing between the sidewalks 2521, 2522, 2523, 2524 on the side of the roadways 2511, 2512.
  • car signals 2541, 2542, 2543, and 2544 are provided on the near side of the pedestrian crossings 2531 to 534 of the roadways 2511 and 2512 (the side far from the center of the intersection 2500).
  • pedestrian signals 2551, 2552, 2553, and 2554 are provided on both sides of the pedestrian crossings 2531 to 534 (on the sidewalks 2521 to 2524).
  • an automobile signal 2541 is provided in front of a pedestrian crossing 2531 for crossing the roadway 2511 from the sidewalk 2521 to the sidewalk 2522.
  • pedestrian signals 2551 are provided on both sides of the pedestrian crossing 2531.
  • the automobile signals 2541 to 2544 and the pedestrian signals 2551 to 2554 are all provided at a height of about 5 to 10 m from the road surface.
  • automobiles 2621A and 2621B moving toward the intersection 2500 on the roadway 2511 can enter the intersection 2500 as it is when the automobile signal 2541 is blue, for example, but the automobile signal 2541 is red.
  • pedestrians 2611A, 2611B, 2611C, 2611D, and 2611E can cross the pedestrian crossing 2531 when the pedestrian signal 2551 is blue, but cross when the pedestrian signal 2551 is red. I can't.
  • pedestrians 2612, 2613 are pedestrian signals 2552, 2553, 2554 corresponding to pedestrian crossings 2532, 2533, 2534, respectively, which are about to cross. Is blue, it can cross the pedestrian crossings 2532, 2533, 2534, but cannot cross when the pedestrian signals 2552, 2553, 2554 are red.
  • the imaging system 200 includes a fixing unit 205, an overall imaging unit 210, and two specific target imaging units 220 and 230.
  • the fixed portion 205 includes a column portion provided on both sides of the roadway 2511 and a beam portion in which both ends are fixed to the column portion.
  • the whole-view imaging unit 210 and the specific target imaging units 220 and 230 are fixed to the beam portion of the fixing unit 205.
  • the two specific target imaging units 220 and 230 are provided on both sides of the overall imaging unit 210. Moreover, it is preferable that the whole-view imaging unit 210 and the specific target imaging units 220 and 230 are both installed at a height of about 10 m from the road surface of the roadway 2511. Note that the arrangement of the whole-view imaging unit 210 and the specific target imaging units 220 and 230 and the height from the road surface on which they are installed are not limited to this example, and are appropriately set depending on the imaging target and imaging range of each imaging unit. Is done.
  • the imaging system 200 further includes imaging data acquisition units 241 and 242, a moving object identification unit 250, a tracking target identification unit 260, a control unit 270, a signal information acquisition unit 275, and a dangerous state.
  • a determination unit 280 and a signal information control unit 290 are provided.
  • the overall image capturing unit 210 includes a CCD camera 211 and a CCD camera 211 capable of capturing images in and around the intersection 2500 (in this example, on the roadway 2511 beyond the pedestrian crossing 2531 as viewed from the overall image capturing unit 210).
  • An image storage unit 212 that stores imaging data is included.
  • the CCD camera 211 may be a CCD camera that has, for example, a CCD image sensor having 320 ⁇ 240 pixels as an imaging element and can capture the imaging range at a frame rate of 30 fps.
  • the CCD camera 211 is fixed to the fixing unit 205, for example, and the imaging range is constant.
  • the overall image capturing unit 210 may include a camera having an image sensor of another method such as a CMOS image sensor instead of the CCD camera 211.
  • the image storage unit 212 stores the image data captured by the CCD camera 211 at the frame rate in association with the imaging time.
  • a storage element such as a flash memory or a storage device such as a hard disk drive is used.
  • the specific target imaging unit 220 stores the image data captured by the CCD camera 221 and the CCD camera 221 having an optical zoom function for enlarging and imaging a specific range of the imaging range of the CCD camera 211 included in the overall imaging unit 210.
  • An image storage unit 222 and a drive unit 223 that drives the CCD camera 221 are included.
  • the specific target imaging unit 230 includes a CCD camera 231, an image storage unit 232, and a driving unit 233 having the same functions as the CCD camera 221, the image storage unit 222, and the driving unit 223 of the specific target imaging unit 220. Have.
  • the CCD cameras 221 and 231 may be CCD cameras that have, for example, a CCD image sensor having a number of pixels of 640 ⁇ 480 as an imaging device and can capture the imaging range at a frame rate of 30 fps.
  • the image storage unit 222 acquires imaging data captured at the frame rate by the CCD camera 221 in time series, and stores each imaging data in association with the imaging time.
  • the specific target imaging units 220 and 230 may include other types of imaging elements such as CMOS image sensors and cameras having a predetermined optical zoom function instead of the CCD cameras 221 and 231.
  • the image storage unit 232 stores the imaging data captured by the CCD camera 231 at the frame rate in association with the imaging time.
  • a storage element such as a flash memory or a storage device such as a hard disk drive is used for the image storage units 222 and 232, similarly to the image storage unit 212.
  • the imaging data acquisition unit 241 acquires the imaging data stored in the image storage unit 212 by accessing the image storage unit 212 at a predetermined timing.
  • the moving object identification unit 250 receives the imaging data output from the imaging data acquisition unit 241 and identifies one or a plurality of objects that move within the imaging range of the CCD camera 211 from the imaging data.
  • the moving object identification unit 250 extracts and stores luminance information for each pixel from the imaging data. Then, the moving object identification unit 250 obtains a difference from the luminance of the corresponding pixel in the imaging data sent from the imaging data acquisition unit 241 next.
  • the moving body identification unit 250 identifies the object that moves within the imaging range of the CCD camera 211 by repeating this process for imaging data sent in time series.
  • the moving body identification unit 250 can identify the type of object to be identified (pedestrian, car, etc.), but in this example, the object that moves within the imaging range by the CCD camera 211 of the overall imaging unit 210. It is only necessary to detect at least the position and number, and the moving speed and predicted course of the detected object may be calculated.
  • the tracking target specifying unit 260 selects a target (hereinafter referred to as “tracking target”) to be tracked and captured by the specific target imaging units 220 and 230 from the targets identified by the moving object identifying unit 250 based on a predetermined condition. To identify. More specifically, the tracking target specifying unit 260 acquires information on the position and moving speed of each of the targets identified by the moving object identifying unit 250 from the moving object identifying unit 250, and remains stationary while moving in the intersection 2500, for example. A pedestrian that moves differently from a normal crossing pedestrian, such as a pedestrian that does not move, is identified and tracked.
  • a target hereinafter referred to as “tracking target”
  • the tracking target specifying unit 260 classifies the plurality of pedestrians crossing the pedestrian crossing into groups based on the moving direction, and walks at the end of the group. The person is tracked.
  • the tracking target specifying unit 260 causes an accident due to the position and moving speed of each pedestrian or the positional relationship with a car traveling on a roadway.
  • a risk level indicating the risk of encounter may be calculated and ranking may be performed according to the level of the risk level.
  • the control unit 270 includes a specific result acquisition unit 271 and an imaging condition control unit 272.
  • the identification result acquisition unit 271 acquires information such as the position and movement speed of the tracking target by the tracking target specifying unit 260. Specifically, the identification result acquisition unit 271 acquires information such as the position and movement speed of the tracking target specified by the tracking target specifying unit 260, for example.
  • the imaging condition control unit 272 determines the imaging direction and focus of the CCD camera 221 of the specific target imaging unit 220 and the CCD camera 231 of the specific target imaging unit 230 based on the information regarding the tracking target acquired by the specific result acquisition unit 271. Set the imaging conditions.
  • the imaging condition control unit 272 gives a drive control signal to the drive unit 223 based on the information related to the tracking target acquired by the specific result acquisition unit 271. Based on the drive control signal, the drive unit 223 sets the imaging direction of the CCD camera 221 so that the tracking target is within the imaging range of the CCD camera 221. The drive unit 223 controls the optical system of the CCD camera 221 based on the drive control signal to set the focus, exposure, and the like to conditions suitable for tracking target imaging.
  • the imaging condition control unit 272 also gives a drive control signal to the drive unit 233. Then, the drive unit 233 sets the imaging direction, focus, exposure, and the like of the CCD camera 231 to conditions suitable for tracking target imaging based on the drive control signal.
  • the imaging condition control unit 272 appropriately changes the imaging condition of the tracking target by the CCD cameras 221 and 231 based on the imaging data of the tracking target by the CCD cameras 221 and 231. Thereby, the imaging ranges of the CCD cameras 221 and 231 both follow the movement of the tracking target.
  • the imaging condition control unit 272 changes to the new information when the specific result acquisition unit 271 acquires information indicating that the position of the tracking target, the moving speed, the expected course, and the like have changed. Based on this, the imaging conditions of the tracking target by the CCD cameras 221 and 231 may be changed.
  • the two specific target imaging units 220 and 230 (CCD cameras 221 and 231) cause the specific target imaging units 220 and 230 to function as a stereo camera by capturing an image while tracking the same tracking target. it can. Therefore, the distance to the tracking target can be accurately measured.
  • the CCD cameras 221 and 231 of this example have a high-magnification optical zoom function, and the image sensor provided in each CCD camera has a higher pixel density than the image sensor provided in the CCD camera 211. Therefore, it is possible to accurately measure the size of the tracking target.For example, there is a risk that the pedestrian taking an image as the tracking target may fall into an accident, for example, when the pedestrian falls or falls while crossing the pedestrian crossing. It is possible to accurately detect that the state has reached a very high level.
  • the control unit 270 determines the ranks of those pedestrians. Information about the pedestrian may be obtained from the tracking target specifying unit 260, and the pedestrian having the highest rank may be tracked and captured by the specific target imaging units 220 and 230.
  • a tracking target having a high risk of reaching an accident is accurately selected and tracked by the specific target imaging units 220 and 230.
  • An image can be taken.
  • the CCD cameras 221 and 231 of the specific target imaging units 220 and 230 as stereo cameras, it is possible to more accurately detect that the tracking target is in a dangerous state.
  • the signal information acquisition unit 275 acquires signal information indicating the lighting state of at least one of a pedestrian signal and an automobile signal installed at the intersection 2500 and outputs the signal information to the dangerous state determination unit 280. For example, when one of the pedestrian signals 2551 to 2554 and the automobile signals 2541 to 2544 installed at the intersection 2500 indicates that the vehicle cannot pass or cross (for example, red), the signal information acquisition unit 275 indicates that the other is blue. Signal information indicating the lighting state of each of a pair of signals (for example, an automobile signal 2541 and a pedestrian signal 2551) indicating (passable or traversable) is acquired and output to the dangerous state determination unit 280.
  • the dangerous state determination unit 280 determines whether or not the tracking target has a high risk of encountering an accident based on the imaging data of the tracking target by the specific target imaging units 220 and 230. More specifically, the dangerous state determination unit 280 detects a change in the posture of the pedestrian from the imaging data of the pedestrian (tracking target) that is being tracked and captured by the specific target imaging units 220 and 230, for example. And when the dangerous state determination part 280 detects that a pedestrian falls down or hits in an intersection, it determines with the pedestrian being in a dangerous state.
  • the dangerous state determination unit 280 may identify the tracking target as a dangerous target by referring to the signal information from the signal information acquisition unit 275 in addition to the imaging data of the tracking target by the specific target imaging units 220 and 230. Good. More specifically, the danger state determination unit 280 indicates that the signal information from the signal information acquisition unit 275 indicates that the pedestrian signal cannot be crossed by the pedestrian signal or that the vehicle can pass. If the pedestrian remains in the intersection 2500 (on the pedestrian crossing) in spite of the fact that the car signal indicates, the pedestrian is determined to be in a dangerous state.
  • the dangerous state determination unit 280 determines that the pedestrian in the intersection 2500 is in a dangerous state
  • the dangerous state determination unit 280 outputs information to the signal information control unit 290 that the automobile should not pass through the intersection 2500.
  • the signal information control unit 290 receives the above information from the dangerous state determination unit 280
  • the signal information control unit 290 changes the vehicle signal to red so that the vehicle does not enter the intersection 2500.
  • the pixel density of the image sensor included in the CCD camera 211 of the overall image capturing unit 210 is lower than the pixel density of the image sensor included in the CCD cameras 221 and 231 of the specific target image capturing units 220 and 230. Therefore, although the CCD camera 211 has a lower resolution than the CCD cameras 221 and 231, it can identify a wider range of objects while suppressing the load of detection processing. Then, by capturing only the tracking target with higher-resolution CCD cameras 221 and 231, it is possible to more accurately detect the distance to the tracking target to be noticed and the size and orientation of the tracking target.
  • FIG. 7 is an operation flow of tracking imaging of a pedestrian by the imaging system 200.
  • the overall view imaging unit 210 images the pedestrian crossing 2531 and the pedestrian crossing 2533 (step: S2300).
  • the moving body identification unit 250 uses pedestrians 2611A to 2611E crossing the pedestrian crossing 2531 and pedestrians 2613A to 2613E crossing the pedestrian crossing 2533 as the objects to be moved from the image data captured by the general-view imaging unit 210. Identify (step: S2305).
  • the tracking target specifying unit 260 specifies the tracking target to be tracked and imaged by the specific target imaging units 220 and 230 from the pedestrians 2611A to 2611E and the pedestrians 2613A to 2613E (step: S2310).
  • the tracking target specifying unit 260 divides the pedestrians 2611A to 2611E crossing the pedestrian crossing 2531 and the pedestrians 2613A to 2613E crossing the pedestrian crossing 2533 into two groups (four groups in total) according to the crossing direction. Classify. In this example, pedestrians 2611A to 2611E crossing the pedestrian crossing 2531 are classified into a group of pedestrians 2611A, 2611B, and 2611C and a group of pedestrians 2611D and 2611E. Similarly, pedestrians 2613A to 2613E crossing the pedestrian crossing 2533 are classified into a group of pedestrians 2613A, 2613B, and 2613C and a group of pedestrians 2613D and 2613E.
  • the tracking target specifying unit 260 sets the last pedestrian of each group as the tracking target. Therefore, in this example, pedestrians 2611A, 2611D, 2613A, and 2613D are tracking targets. When there is a pedestrian that does not move on the pedestrian crossing, the tracking target specifying unit 260 replaces the pedestrian 2611A, 2611D, 2613A, 2613D with the pedestrian as a tracking target.
  • the tracking target specifying unit 260 determines the position and moving speed of each of the pedestrians 2611A, 2611D, 2613A, and 2613D, or the roadway.
  • the risk level indicating the risk of encountering an accident is calculated based on the positional relationship with the car traveling on the road, and ranking is performed according to the level of the risk level. For example, the tracking target specifying unit 260 ranks the pedestrians 2611A, 2611D, 2613A, and 2613D as pedestrians having the highest risk of the pedestrian 2611D having the longest distance to cross the pedestrian crossing, for example.
  • control unit 270 causes the specific target imaging units 220 and 230 to image the pedestrian 2611D that is the tracking target with the highest rank (step: S2320).
  • the control unit 270 causes the specific target imaging units 220 and 230 to capture an image of the pedestrian (step: S2330). ).
  • the signal information acquisition unit 275 acquires signal information indicating the lighting states of the pedestrian signals 2551 and 2553 and the automobile signals 2541 and 2543 and outputs the signal information to the dangerous state determination unit 280 (step: S2335).
  • the dangerous state determination unit 280 determines whether the tracking target pedestrian is in a dangerous state based on the imaging data and signal information of the tracking target by the specific target imaging units 220 and 230 (step: S2340).
  • the dangerous state determination unit 280 detects that the pedestrians 2611A, 2611D, 2613A, and 2613D that have been tracked and imaged by the specific target imaging units 220 and 230 have fallen or crawled in the intersection, the walking It is determined that the person is in a dangerous state (step: S2340 NO). Further, the danger state determination unit 280 indicates that any of the pedestrians 2611A to 2611E and the pedestrians 2613A to 2613E is a pedestrian crossing 2531, 2553 when the signal information indicates that the pedestrian signals 2551, 2553 are red. If it remains above, it is determined that the pedestrian is in danger (step: S2340 NO).
  • the dangerous state determination unit 280 determines that the pedestrian in the intersection 2500 is in a dangerous state
  • the dangerous state determination unit 280 outputs information indicating that the vehicle is not allowed to pass through the intersection 2500 to the signal information control unit 290.
  • the signal information control unit 290 turns the automobile signal red and stops the automobile (for example, the automobiles 2621A and 2621B) (step: S2345).
  • any pedestrians including the pedestrians 2611A, 2611D, 2613A, and 2613D that have been tracked and imaged by the specific target imaging units 220 and 230 are not in a dangerous state by the dangerous state determination unit 280 (step: S2340 YES). If the vehicle goes outside the intersection 2500 as it is (step: S2350 YES), that is, if all pedestrians have crossed the pedestrian crossings 2531 and 2553, the flow is finished.
  • step S2335 the above steps S2335 and after are repeated again (step S2350: NO).
  • FIG. 8 is a view of an intersection 3500 provided with an imaging system 300 according to the third embodiment of the present invention as viewed from above.
  • FIG. 9 is a block diagram illustrating a configuration of the imaging system 300.
  • the imaging system 300 according to the present embodiment is a pedestrian crossing 3531 among a plurality of objects in and around the intersection 3500 such as an automobile passing through roadways 3511 and 3512 and a pedestrian crossing pedestrian crossings 3531 to 3534.
  • intersection 3500 illustrated for explaining the imaging system 300 intersects a roadway 3511 in which an automobile can pass in the up-down direction of FIG. 8 and a roadway 3512 in which the automobile can face-to-face in the left-right direction of FIG. It is a crossroad intersection.
  • the intersection 3500 is provided with pedestrian crossings 3531, 3532, 3533, and 3534 for crossing the sideways 3521, 3522, 3523, and 3524 on the sides of the roadways 3511 and 3512.
  • an automobile signal 3541 is provided in front of a pedestrian crossing 3531 for crossing the roadway 3511 from the sidewalk 3521 to the sidewalk 3522.
  • a pedestrian signal 3551A and a pedestrian signal 3551B are provided on both sides of the pedestrian crossing 3531.
  • the automobiles 3621A and 3621B moving toward the intersection 3500 on the roadway 3511 can enter the intersection 3500 as it is when the automobile signal 3541 is blue, for example, but the automobile signal 3541 is red.
  • pedestrians 3611A, 3611B, 3611C, 3611D, and 3611E can cross the pedestrian crossing 3531 when the pedestrian signals 3551A and 3551B are blue, but the pedestrian signals 3551A and 3551B are red. , Can't cross.
  • the pedestrians 3612, 3613, and 3614 are pedestrian signals 3552 (3552A, 3552B), 3553 (3553A, 3553B), and 3554 (corresponding to the pedestrian crossings 3532, 3533, and 3534, respectively, that are about to cross. 3554A, 3554B) is blue, it can cross the pedestrian crossings 3532, 3533, 3534, but it cannot cross if the pedestrian signals 3552, 3553, 3554 are red.
  • the imaging system 300 includes a fixed unit 305, an overview imaging unit 310 attached to the fixed unit 305, two specific target imaging units 320 and 330, and audio information output. Part 380.
  • the fixed portion 305 is bridged above the roadway 3511 at the intersection 3500, and both ends thereof are fixed to the support column 3563A and the support column 3564A.
  • the overall imaging unit 310 is provided at a height of 5 to 10 m from the road surface at the center of the roadway 3511, and the two specific target imaging units 320 and 330 are provided on both sides of the overall imaging unit 310.
  • the arrangement of the whole-view imaging unit 310 and the specific target imaging units 320 and 330 and the height from the road surface on which they are installed are not limited to this example, and are appropriately determined depending on the imaging target and imaging range of each imaging unit. Is set.
  • the imaging system 300 further includes imaging data acquisition units 341 and 342, a moving object identification unit 350, a tracking target identification unit 360, a control unit 370, and an audio information output unit 380.
  • the whole-view imaging unit 310 images the entire target range in which pedestrians, cars, and the like are to be detected.
  • the overall imaging unit 310 includes a CCD camera 311 having the entire target range as an imaging range, and an image storage unit 312 for storing imaging data from the CCD camera 311.
  • the CCD camera 311 may be a CCD camera that has, for example, a CCD image sensor having 320 ⁇ 240 pixels as an imaging element and can capture the imaging range at a frame rate of 30 fps.
  • the CCD camera 311 is fixed to the fixing unit 305, for example, and the imaging range is constant.
  • the overall image capturing unit 310 may include a camera having an image sensor of another method such as a CMOS image sensor instead of the CCD camera 311.
  • the image storage unit 312 stores the image data captured by the CCD camera 311 at the frame rate in association with the imaging time.
  • a storage element such as a flash memory or a storage device such as a hard disk drive is used.
  • the specific target imaging unit 320 enlarges a specific range of the imaging range of the CCD camera 311 included in the overall imaging unit 310, an image storage unit 322 that stores imaging data by the CCD camera 321, and And a camera driving unit 323 for driving the CCD camera 321.
  • the specific target imaging unit 330 includes a CCD camera 331, an image storage unit 332, and a camera driving unit that have the same functions as the CCD camera 321, the image storage unit 322, and the camera driving unit 323 of the specific target imaging unit 320. 333.
  • the CCD cameras 321 and 331 may be CCD cameras that have, for example, a CCD image sensor having a number of pixels of 640 ⁇ 480 as an imaging element and can capture the imaging range at a frame rate of 30 fps.
  • the image storage unit 322 acquires imaging data captured at the frame rate by the CCD camera 321 in time series, and stores each imaging data in association with the imaging time.
  • the specific target imaging units 320 and 330 may include cameras having other types of imaging elements such as CMOS image sensors instead of the CCD cameras 321 and 331, for example.
  • the image storage unit 332 stores the image data captured by the CCD camera 331 at the frame rate in association with the imaging time.
  • a storage element such as a flash memory or a storage device such as a hard disk drive is used for the image storage units 322 and 332, similarly to the image storage unit 312.
  • the imaging data acquisition unit 341 acquires the imaging data stored in the image storage unit 312 by accessing the image storage unit 312 at a predetermined timing.
  • the moving body identification unit 350 receives the imaging data output from the imaging data acquisition unit 341, and identifies one or a plurality of targets that move within the imaging range of the CCD camera 311 from the imaging data.
  • the moving object identification unit 350 when imaging data at a certain point in time is sent from the imaging data acquisition unit 341, the moving object identification unit 350 extracts and stores luminance information for each pixel from the imaging data. Then, the moving object identification unit 350 obtains a difference from the luminance of the corresponding pixel in the imaging data sent from the imaging data acquisition unit 341 next. The moving object identification unit 350 identifies a target that moves within the imaging range of the CCD camera 311 by repeating this process for imaging data sent in time series.
  • the moving object identification unit 350 can identify the type of object to be identified (pedestrian, car, etc.), but in this example, the object that moves within the imaging range by the CCD camera 311 of the overall imaging unit 310. It is only necessary to detect at least the position and number, and the moving speed and predicted course of the detected object may be calculated.
  • the tracking target specifying unit 360 has a predetermined condition for a target to be imaged while being tracked by the specific target imaging units 320 and 330 from the target identified by the moving object identifying unit 350 (hereinafter referred to as “tracking target”). Identify based on. More specifically, the tracking target specifying unit 360 acquires information on the position of each target identified by the moving object identifying unit 350 from the moving object identifying unit 350, for example, like a pedestrian who does not move while standing within the intersection 3500. In addition, a target that is predicted or likely to collide with a vehicle is identified from the information and is set as a tracking target.
  • the tracking target specifying unit 360 may further specify the tracking target with reference to the information. Further, the tracking target specifying unit 360 may calculate a risk level indicating the risk of an accident from the information related to the target, and may set a target whose risk level is a predetermined level or more as a tracking target. By referring to the degree of risk in identifying the tracking target, a target with a higher risk of accident can be set as the tracking target.
  • the control unit 370 includes a specific result acquisition unit 371 and an imaging condition control unit 376.
  • the identification result acquisition unit 371 acquires information on the tracking target by the tracking target specifying unit 360. Specifically, the identification result acquisition unit 371 acquires the degree of risk of the tracking target together with the information related to the tracking target specified by the tracking target specifying unit 360, for example.
  • the imaging condition control unit 376 sets imaging conditions by the specific target imaging unit 320 and the specific target imaging unit 330 based on the above information regarding the tracking target acquired by the specific result acquisition unit 371.
  • the imaging condition control unit 376 determines whether the CCD camera 321 and the specific target of the specific target imaging unit 320 are based on information on the position, moving speed, expected course, and the like of the tracking target acquired by the specific result acquisition unit 371. Imaging conditions such as the imaging direction and focus of the CCD camera 331 of the imaging unit 330 are set. Then, the imaging condition control unit 376 gives a predetermined drive signal to the camera driving units 323 and 333 based on the set imaging condition. In addition, the imaging condition control unit 376 controls the optical system of the CCD cameras 321 and 331 to set the focus, exposure, and the like to conditions suitable for tracking target imaging. Note that the imaging condition control unit 376 gives a driving signal similar to that given to the camera driving units 323 and 333 to a speaker driving unit 385 described later.
  • the camera driving unit 323 controls the imaging direction of the CCD camera 321 based on the drive signal from the imaging condition control unit 376. More specifically, the camera driving unit 323 controls the imaging direction of the CCD camera 321 so that the tracking target is approximately at the center of the imaging range.
  • the camera driving unit 333 controls the imaging direction of the CCD camera 331 based on the drive signal from the imaging condition control unit 376. More specifically, the camera driving unit 333 controls the imaging direction of the CCD camera 331 so that the tracking target is positioned approximately at the center of the imaging range.
  • the imaging condition control unit 376 appropriately changes the imaging condition of the tracking target by the CCD cameras 321 and 331 based on the imaging data of the tracking target by the CCD cameras 321 and 331. Thereby, the imaging ranges of the CCD cameras 321 and 331 both follow the movement of the tracking target.
  • the imaging condition control unit 376 when the specific result acquisition unit 371 acquires information indicating that the position of the tracking target, the moving speed, the expected course, and the like have changed, is added to the new information. Based on this, the imaging conditions of the tracking target by the CCD cameras 321 and 331 may be changed.
  • the two specific target imaging units 320 and 330 (CCD cameras 321 and 331) cause the specific target imaging units 320 and 330 to function as a stereo camera by imaging while tracking the same tracking target. it can. Therefore, the distance to the tracking target can be accurately measured.
  • the CCD cameras 321 and 331 of the present example have a high-magnification optical zoom function, and an image sensor included in each CCD camera has a higher image resolution than an image sensor included in the CCD camera 311. Therefore, since the size of the tracking target can be accurately measured, it is possible to accurately detect, for example, that a pedestrian imaging as a tracking target has fallen or fallen while crossing a pedestrian crossing.
  • the tracking target specifying unit 360 identifies each of the tracking targets with an identification ID associated with the risk level in descending order of the risk level indicating the risk of an accident. Assign. And the specific result acquisition part 371 acquires identification ID of each tracking object with the information regarding a position, a moving speed, an estimated course, etc. about each of several tracking object. Then, based on the identification ID, the imaging condition control unit 376 causes the CCD cameras 321 and 331 to image the tracking target with the highest degree of risk among the plurality of tracking targets.
  • a tracking target with a high risk of reaching an accident is accurately selected and tracked by the specific target imaging units 320 and 330.
  • An image can be taken.
  • the CCD cameras 321 and 331 of the specific target imaging units 320 and 330 as stereo cameras, it is possible to more accurately detect that the tracking target is in a dangerous state.
  • the audio information output unit 380 includes a directional speaker 381 and a speaker driving unit 385.
  • the directional speaker 381 is a speaker that uses, for example, an ultrasonic wave as a carrier wave and a sound wave as a modulated wave, and can output sound in a narrow region centered on a specific output direction.
  • the diffusion angle of the directional speaker 381 is preferably within 3 degrees, for example.
  • the speaker drive unit 385 controls the output direction of the directional speaker 381 based on the drive signal received from the imaging condition control unit 376 so as to substantially match the direction of the tracking target.
  • the voice information output unit 380 can output voice information having directivity with respect to the tracking target, even when another target exists in the vicinity of the tracking target, only the tracking target is warned. Etc. can be conveyed by voice. Therefore, for example, even when there are a plurality of pedestrians in the intersection 3500, only a pedestrian who has a high risk of colliding with or contacting a vehicle can recognize his / her danger.
  • the image resolution of the image sensor included in the CCD camera 311 of the overall image capturing unit 310 is based on the image resolution of the image sensor included in the CCD cameras 321 and 331 of the specific target imaging units 320 and 330.
  • the image resolution of the image sensor included in the CCD cameras 321 and 331 of the specific target imaging units 320 and 330 is based on the image resolution of the image sensor included in the CCD cameras 321 and 331 of the specific target imaging units 320 and 330.
  • FIG. 10 is an operation flow of tracking imaging and warning by the imaging system 300 for a pedestrian and a car.
  • the whole-view imaging unit 310 images the pedestrian crossing 3531 and the roadway 3511 opposite to the intersection 3500 as viewed from the pedestrian crossing 3531 (step: S300).
  • the moving body identification unit 350 identifies pedestrians 3611A to 3611E crossing the pedestrian crossing 3531 and automobiles 3621A and 3621B traveling on the roadway 3511 as moving objects from the imaging data obtained by the general-view imaging unit 310. (Step: S305).
  • the tracking target specifying unit 360 specifies the tracking target to be tracked and imaged by the specific target imaging units 320 and 330 from the pedestrians 3611A to 3611E and the automobiles 3621A and 3621B traveling on the roadway 3511 (step: S310).
  • the tracking target specifying unit 360 sets the pedestrian as a tracking target.
  • the tracking target specifying unit 360 tracks a pedestrian when any of the pedestrians 3611A to 3611E is walking at a speed that cannot cross the pedestrian crossing 3531 while the pedestrian signal is blue. set to target.
  • the tracking target specifying unit 360 selects the car 3621A when the car 3621A crosses the temporary stop line and approaches the pedestrian crossing 3531, or when any of the cars 3621A and 3621B greatly exceeds the legal speed. It becomes a tracking target.
  • the tracking target specifying unit 360 calculates a risk level indicating the risk of an accident for each of the tracking targets, and in order of increasing risk level.
  • An identification ID is assigned (step: S320).
  • the identification ID assigned to each tracking target includes information indicating the risk level of the corresponding tracking target.
  • the control unit 370 causes the specific target imaging units 320 and 330 to image the tracking target with the highest degree of risk among the plurality of tracking targets (step: S325).
  • control unit 370 causes the specific target imaging units 320 and 330 to capture the tracking target (step: S330). Then, the voice information output unit 380 warns the tracking target by voice (step: S340).
  • step: S350 YES When the tracking target that has received the warning by the voice goes out of the intersection 3500 as it is (step: S350 YES), that is, the pedestrian (3611A to 3611E) that has been tracking and imaged as the tracking target crosses the pedestrian crossing 3531. If the travel position of the automobiles 3621A and 3621B that have been tracked and imaged as the tracking target is outside the tracking range of the specific target imaging units 320 and 330, the flow ends.
  • step S350 NO.
  • FIG. 11 is a block diagram showing a configuration of an imaging system 301 according to another example of the third embodiment of the present invention.
  • symbol is attached
  • control unit 370 further includes an audio information setting unit 375.
  • the audio information setting unit 375 sets the content according to the state of the tracking target specified by the tracking target specifying unit 360. More specifically, the audio information setting unit 375 sets the content of the audio information output from the audio information output unit 380 to the content corresponding to the risk level based on the risk level of the tracking target.
  • the tracking target specifying unit 360 specifies a pedestrian stopped at a position where contact with an automobile in the intersection 3500 is predicted as a first tracking target, and further, When a pedestrian walking and crossing at substantially the same position is specified as the second tracking target, the risk level of the first tracking target is higher than the risk level of the second tracking target.
  • the voice information setting unit 375 sets the content of the voice information output by the voice information output unit 380 for the first tracking target, for example, a message “Dangerous, please do not stop there!”.
  • the voice information setting unit 375 sets the content of the voice information output from the voice information output unit 380 for the second tracking target, for example, a message “Dangerous, please cross it as it is!”.
  • a message having contents corresponding to the risk level of each tracking target is transmitted to only the corresponding tracking target by voice. be able to.
  • the audio information setting unit 375 sets the content of the audio information in association with the identification ID. May be. Then, the audio information output unit 380 may acquire the audio information corresponding to the tracking target identification ID from the audio information setting unit 375 and output the audio information to the tracking target.
  • FIG. 12 shows an example of the hardware configuration of the computer 5000.
  • the computer 5000 is incorporated in, for example, the imaging systems 100 and 101 described with reference to FIGS. 1 to 4, and based on a given program, the overall imaging unit 110 and the specific target imaging of the imaging systems 100 and 101 are provided. It functions as a host computer that controls the units 120 and 130.
  • the above program causes the computer 5000 to be used, for example, the imaging data acquisition units 141 and 142 and the moving object of the imaging systems 100 and 101.
  • the identification unit 150, the tracking target identification unit 160, the control unit 170, the signal information acquisition unit 175, the danger target identification unit 180, and the warning information output unit 190 may function.
  • the computer 5000 is incorporated in the imaging system 200 described with reference to FIGS. 5 to 7, and based on a given program, the overall imaging unit 210 and the specific target imaging of the imaging system 200. It may function as a host computer that controls the units 220 and 230.
  • the above program causes the computer 5000 to be used, for example, the imaging data acquisition units 241 and 242, the moving object identification unit 250, and the tracking target of the imaging system 200.
  • the identification unit 260, the control unit 270, the signal information acquisition unit 275, the dangerous state determination unit 280, and the signal information control unit 290 are caused to function.
  • the computer 5000 is incorporated in the imaging systems 300 and 301 described with reference to FIGS. 8 to 11 and based on a given program, the overall imaging unit 310 of the imaging systems 300 and 301.
  • the specific target imaging units 320 and 330 and the audio information output unit 380 may function as a host computer.
  • the above program causes the computer 5000 to be used, for example, the imaging data acquisition units 341 and 342 of the imaging systems 300 and 301, moving objects.
  • the identification unit 350, the tracking target specifying unit 360, and the control unit 370 function.
  • the computer 5000 includes a CPU peripheral part, an input / output part, and a legacy input / output part.
  • the CPU peripheral section includes a CPU 5005, a RAM 5020, a graphic controller 5075, and a display device 5080 that are connected to each other by a host controller 5082.
  • the input / output unit includes a communication interface 5030, a hard disk drive 5040, and a CD-ROM drive 5060 connected to the host controller 5082 by the input / output controller 5084.
  • the legacy input / output unit includes a ROM 5010 connected to an input / output controller 5084, a flexible disk drive 5050, and an input / output chip 5070.
  • the host controller 5082 connects the RAM 5020 to the CPU 5005 and the graphic controller 5075 that access the RAM 5020 at a high transfer rate.
  • the CPU 5005 operates based on programs stored in the ROM 5010 and the RAM 5020 and controls each unit.
  • the graphic controller 5075 acquires image data generated by the CPU 5005 or the like on a frame buffer provided in the RAM 5020 and displays it on the display device 5080.
  • the graphic controller 5075 may include a frame buffer for storing image data generated by the CPU 5005 or the like.
  • the input / output controller 5084 connects the host controller 5082 to the communication interface 5030, the hard disk drive 5040, and the CD-ROM drive 5060 which are relatively high-speed input / output devices.
  • the communication interface 5030 communicates with the overall imaging unit 110, the specific target imaging units 120 and 130, and the like via a network. To do.
  • the communication interface 5030 communicates with the overall imaging unit 210, the specific target imaging units 220 and 230, and the like via a network.
  • the communication interface 5030 includes the overall imaging unit 310, the specific target imaging units 320 and 330, and the network. And communicates with the audio information output unit 380 and the like.
  • the hard disk drive 5040 stores programs and data used by the CPU 5005 in the computer 5000.
  • the CD-ROM drive 5060 reads a program or data from a CD-ROM 5095 and provides it to the hard disk drive 5040 via the RAM 5020.
  • the input / output controller 5084 is connected to the ROM 5010, the flexible disk drive 5050, and the relatively low-speed input / output device of the input / output chip 5070.
  • the ROM 5010 stores a boot program executed when the computer 5000 is started up, a program depending on the hardware of the computer 5000, and the like.
  • the flexible disk drive 5050 reads a program or data from the flexible disk 5090 and provides it to the hard disk drive 5040 via the RAM 5020.
  • the input / output chip 5070 connects various input / output devices via the flexible disk drive 5050 and, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like.
  • the program provided to the hard disk drive 5040 via the RAM 5020 is stored in a recording medium such as the flexible disk 5090, the CD-ROM 5095, or an IC card and provided by the user.
  • the program is read from the recording medium, installed in the hard disk drive 5040 in the computer 5000 via the RAM 5020, and executed by the CPU 5005.
  • the program is installed on the computer 5000.
  • the computer 5000 When the computer 5000 is incorporated in the imaging systems 100 and 101 and functions as a host computer of the imaging systems 100 and 101, the program works on the CPU 5005 and the like to acquire the imaging data in the imaging systems 100 and 101 described above.
  • the above program works on the CPU 5005 and the like to cause the computer 5000 to perform the imaging data acquisition unit 241 in the imaging system 200 described above.
  • moving object identification unit 250 tracking target identification unit 260
  • control unit 270 signal information acquisition unit 275
  • dangerous state determination unit 280 dangerous state determination unit 280
  • signal information control unit 290 signal information control unit 290.
  • the above program works on the CPU 5005 and the like to cause the computer 5000 to capture images in the imaging systems 300 and 301 described above.
  • the data acquisition units 341 and 342, the moving object identification unit 350, the tracking target identification unit 360, and the control unit 370 function.
  • the programs shown above may be stored in an external recording medium.
  • an optical recording medium such as DVD or CD
  • a magneto-optical recording medium such as MO
  • a tape medium such as an IC card, or the like
  • a storage device such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 5000 via the network.
  • a characteristic configuration of any one of the imaging systems 100 and 101 according to the first embodiment, the imaging system 200 according to the second embodiment, and the imaging systems 300 and 301 according to the third embodiment can be used in other systems.
  • the tracking target specifying unit 160 included in the imaging systems 100 and 101 according to the first embodiment has the function of the tracking target specifying unit 260 included in the imaging system 200 according to the second embodiment.
  • the tracking target specifying unit 160 may change the tracking target specifying method according to, for example, the type of intersection or the situation of a pedestrian or the like in the intersection.
  • the imaging systems 100 and 101 according to the first embodiment may further include at least one of a dangerous state determination unit 280 and a signal information control unit 290 included in the imaging system 200 according to the second embodiment.
  • the imaging systems 100 and 101 according to the first embodiment may further include at least one of the audio information output unit 380 and the audio information setting unit 375 included in the imaging systems 300 and 301 according to the third embodiment. .
  • the tracking target specifying unit 260 included in the imaging system 200 according to the second embodiment may include the function of the tracking target specifying unit 160 included in the imaging systems 100 and 101 according to the first embodiment.
  • the tracking target specifying unit 260 may change the tracking target specifying method in accordance with, for example, the type of intersection or the situation of a pedestrian or the like in the intersection.
  • the imaging system 200 according to the second embodiment may further include a danger target identification unit 180 included in the imaging systems 100 and 101 according to the first embodiment. In this case, the imaging system 200 is in a dangerous state.
  • the risk target may be specified by making a composite determination from the output results of the determination unit 280 and the risk target identification unit 180.
  • the imaging system 200 according to the second embodiment may further include a warning information output unit 190 included in the imaging systems 100 and 101 according to the first embodiment.
  • the warning information output unit 190 For example, the warning information may be transmitted to an in-vehicle terminal of an automobile approaching a pedestrian determined to be in a dangerous state by the dangerous state determination unit 280.
  • the imaging system 200 according to the second embodiment may further include at least one of the audio information output unit 380 and the audio information setting unit 375 included in the imaging systems 300 and 301 according to the third embodiment.
  • the tracking target specifying unit 360 included in the imaging systems 300 and 301 according to the third embodiment may include the function of the tracking target specifying unit 260 included in the imaging system 200 according to the second embodiment.
  • the tracking target specifying unit 360 may change the tracking target specifying method according to, for example, the type of intersection or the situation of a pedestrian or the like in the intersection.
  • the imaging systems 300 and 301 according to the third embodiment may further include a warning information output unit 190 included in the imaging systems 100 and 101 according to the first embodiment.
  • the warning information output unit 190 For example, the warning information may be transmitted to an in-vehicle terminal of an automobile approaching a pedestrian specified as a tracking target by the tracking target specifying unit 360.
  • the imaging systems 300 and 301 according to the third embodiment may further include at least one of a dangerous state determination unit 280 and a signal information control unit 290 included in the imaging system 200 according to the second embodiment.
  • DESCRIPTION OF SYMBOLS 100 101 ... Imaging system 105 ... Fixed part 110 ... Whole-view imaging part 120, 130 ... Specific object imaging part 111, 121, 131 ... CCD camera 112, 122, 132 ... Image storage part 123, 133 ... Drive part 141, 142 ... imaging data acquisition unit 150 ... moving object identification unit 160 ... tracking target identification unit 170 ... control unit 171 ... identification result acquisition unit 172 ... imaging condition control unit 175 ... signal information acquisition unit 180 ... danger target identification unit 190 ... warning information output unit 1500 ... intersections 1511, 1512 ... roadways 1521, 1522, 1523, 1524 ... sidewalks 1531, 1532, 1533, 1534 ...
  • Signal information acquisition unit 280 ... Danger State determination section 290 ... Signal information control section 2500 ... Intersections 2511, 2512 ... Roadways 2521, 2522, 2523, 2524 ... Sidewalks 2531, 2532, 2533, 2534 ... Crosswalks 2541, 2542, 2543, 2544 ... Signals for automobiles 2551, 2552 , 2553, 2554 ... Pedestrian signal 2 11A to 2611E, 2612, 2613A to 2613E, 2614 ... Pedestrians 2621A, 2621B ... Automobiles 300, 301 ... Imaging system 305 ... Fixed part 310 ... Overall view imaging part 320, 330 ... Specific target imaging part 311, 321, 331 ...

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

　交差点に設けられて、追跡対象の位置および大きさを正確に検出可能な撮像システムであって、前記交差点内および前記交差点周辺を移動する複数の対象を撮像する全体視撮像部と、前記交差点に設置された一対の歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得する信号情報取得部と、前記信号情報に基づいて、前記全体視撮像部の撮像データから事故の危険性の高い前記対象を追跡対象として特定する追跡対象特定部と、前記全体視撮像部の撮像素子における画素密度よりも高い画素密度の撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、前記特定対象撮像部の撮像方向および焦点を制御する制御部と、を備えることを特徴とする撮像システムを提供する。

Description

撮像システム
　本発明は、交差点に設けられる撮像システムに関する。より詳しくは、交差点内および交差点周辺を移動する複数の対象うちの特定の対象を追跡しながら撮像する撮像システムに関する。また、本発明は、上記対象を追跡しながら撮像するとともに、特定の対象に対して指向性を持たせた音声情報を出力する撮像システムに関する。
　交差点を走行する車両の運転者を支援する交差点運転支援システムが知られている（例えば特許文献１参照）。特許文献１に記載のシステムでは、自車両の前方および側方を撮像した画像から移動体を検出して当該移動体の危険度に応じて車両の運転者に通知または警報を行うことにより、交差点を走行する際の安全性を高めることができる。
　また、特許文献１に記載のシステムでは、交差点に向かう移動体のいる道路と当該交差点で交差する他の道路上を撮像し、当該他の道路上の他の移動体の状況を当該移動体の前方に該当する場所に設置した表示器に表示させている。
　また、特許文献１に記載のシステムでは、例えば移動体が向かっている交差点の近傍に他の移動体がいることが検出された場合、当該移動体に設置した警報器にアラームを伝送して当該警報器を鳴動させることにより、当該移動体に対して自身の状態を知らせることができる。
日本国特許出願公開第２００２－３５２３９４号公報
　しかしながら、特許文献１に記載されたシステムでは、車両前方および車両側方にそれぞれ1台ずつ設けられた撮像装置により移動体を検知することから、移動体の位置および大きさを正確に検出することが難しかった。ゆえに、例えば、道路上に障害物が放置されているなどの車両にとって極めて危険な状態を早期かつ正確に検出することができなかった。また、例えば、車両前方を横断中の歩行者が倒れたり、あるいは蹲ったりした場合は、事故に至る危険性が極めて高い状態となるが、このような移動体の大きさの変化についても正確に検出することができなかった。これに対し、移動体の種類や大きさの検出精度を高めるために撮像装置の解像度を高めると、撮像される画像のデータが大きくなり、それに伴って移動体の検出処理による負荷も大きくなることが課題であった。
　上記課題を解決することを目的として、本発明は、第１の形態として、交差点に設けられる撮像システムであって、前記交差点内および前記交差点周辺を移動する複数の対象を撮像する全体視撮像部と、前記交差点に設置された一対の歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得する信号情報取得部と、前記信号情報に基づいて、前記全体視撮像部の撮像データから事故の危険性の高い前記対象を追跡対象として特定する追跡対象特定部と、前記全体視撮像部の撮像素子における画素密度よりも高い画素密度の撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、前記特定対象撮像部の撮像方向および焦点を制御する制御部と、を備えることを特徴とする撮像システムを提供する。
　このような撮像システムによれば、交差点内および交差点周辺を移動する複数の対象を全体視撮像部で撮像するとともに、その撮像データから危険度などの条件に基づいて特定された追跡対象を複数の特定対象撮像部で追跡しながら撮像するので、当該追跡対象の位置および大きさをより正確に検出することができる。また、全体視撮像部の撮像素子における画素密度は、特定対象撮像部の撮像素子における画素密度よりも低いので、交差点内外の撮像データから複数の対象を検出する際の検出処理の負荷を抑えることができる。
　また、上記第１の形態に係る撮像システムにおいて、前記追跡対象特定部は、前記交差点内を移動する前記対象および前記交差点周辺から前記交差点内へ向けて移動する前記対象のうち、互いに接触することが予見される前記対象を前記追跡対象とすることが好ましい。
　これにより、事故の危険性のより高い対象を追跡対象とすることができる。
　また、上記第１の形態に係る撮像システムにおいて、前記追跡対象特定部は、前記追跡対象が複数特定される場合に、当該追跡対象の各々に対して事故の危険性を示す危険度の高い順に識別ＩＤを割り当て、前記制御部は、前記識別ＩＤに基づいて、前記危険度の最も高い前記追跡対象を前記特定対象撮像部に撮像させることが好ましい。
　これにより、複数の追跡対象が特定された場合でも、その中でより事故に至る危険性の高い（より危険度の高い）追跡対象を正確に選択して特定対象撮像部で追跡撮像させることができる。
　また、上記第１の形態に係る撮像システムは、前記特定対象撮像部からの撮像データに基づいて前記危険度が所定レベル以上である前記追跡対象を危険対象として識別する危険対象識別部をさらに備えることが好ましい。
　これにより、事故の危険性が高まった追跡対象を他の対象から識別することができる。
　また、上記第１の形態に係る撮像システムにおいて、前記危険対象識別部は、前記信号情報取得部から前記信号情報を取得し、歩行者が横断不可であることを当該信号情報が示す場合に、前記交差点内の歩行者を前記危険対象として識別してもよい。
　これにより、例えば歩行者用信号が赤になっても交差点内に残っている歩行者など、車と衝突する可能性の高い対象を他の対象から識別することができる。
　また、上記第１の形態に係る撮像システムにおいて、前記全体視撮像部は、前記複数の対象とともに前記交差点に設置された信号の点灯状態を撮像し、前記危険対象識別部は、前記全体視撮像部の撮像データを取得して、前記点灯状態が歩行者が横断不可であることを示す場合に、前記交差点内の前記対象を前記危険対象として識別することが好ましい。
　この場合においても、例えば歩行者用信号が赤になっても交差点内に残っている歩行者など、車と衝突する可能性の高い対象を他の対象から識別することができる。
　また、上記第１の形態に係る撮像システムは、前記危険対象に対して警告情報を発する警告情報出力部をさらに備えることが好ましい。また、前記警告情報出力部は、前記危険対象である自動車の車載端末へ、前記警告情報を送信することが好ましい。
　このような警告情報出力部を備えることにより、互いに衝突あるいは接触する可能性の高い自動車または歩行者の少なくとも一方に自身の危険性を認識させて危険を回避させることができる。
　また、本発明は、第２の形態として、交差点に設けられる撮像システムであって、前記交差点内を移動する歩行者を撮像する全体視撮像部と、予め定められた条件に基づいて、前記全体視撮像部の撮像データから追跡対象とすべき前記歩行者を特定する追跡対象特定部と、前記全体視撮像部の撮像素子における画素密度よりも高い画素密度の撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、前記特定対象撮像部の撮像データに基づいて、前記追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する危険状態判定部と、を備えることを特徴とする撮像システムを提供する。
　このような撮像システムによれば、交差点内および交差点周辺を移動する一または複数の歩行者を全体視撮像部で撮像するとともに、その撮像データから例えば移動速度および移動方向などの条件に基づいて特定された歩行者を追跡対象として複数の特定対象撮像部で追跡しながら撮像することができる。したがって、追跡対象である歩行者の位置だけでなく、当該歩行者の姿勢の変化などを高い精度で検出することができる。したがって、当該歩行者が交差点内で倒れたり、あるいは蹲るなど危険な状態に至ったことを早期に発見することができる。また、全体視撮像部の撮像素子における画素密度は、特定対象撮像部の撮像素子における画素密度よりも低いので、交差点内外の撮像データから複数の対象を検出する際の検出処理の負荷を抑えることができる。
　また、上記第２の形態に係る撮像システムにおいて、前記追跡対象特定部は、複数の前記歩行者を移動方向に基づいてグループに分類し、前記グループの最後尾の前記歩行者を前記追跡対象とすることが好ましい。また、上記撮像システムにおいて、前記追跡対象特定部は、前記交差点内で立ち止まった前記歩行者を前記追跡対象としてもよい。
　これにより、危険な状態に至る可能性のより高い歩行者を追跡対象とすることができる。
　また、上記第２の形態に係る撮像システムにおいて、前記危険状態判定部は、前記特定対象撮像部の撮像データから前記追跡対象の姿勢の変化を検出し、交差点内で倒れているか、または蹲っている前記追跡対象を前記危険状態であると判定することが好ましい。
　これにより、交差点内において事故の危険性が高まった歩行者を他の歩行者から識別することができる。
　また、上記第２の形態に係る撮像システムは、前記交差点に設置された一対の歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得して前記危険状態判定部へと出力する信号情報取得部をさらに備え、前記危険状態判定部は、前記信号情報取得部からの前記信号情報が、歩行者が横断不可であることを前記歩行者用信号が示す場合、又は、自動車が通行可能であることを前記自動車用信号が示す場合に、前記交差点内の前記歩行者を前記危険状態であると判定してもよい。
　これにより、例えば歩行者用信号が赤になっても交差点内に残っている歩行者など、事故に遭う可能性の高い歩行者を他の歩行者から識別することができる。
　また、上記第２の形態に係る撮像システムは、前記危険状態判定部が前記交差点内の前記歩行者を前記危険状態であると判定したことに応じて、前記自動車用信号を、自動車が通行不可であることを示す点灯状態とする信号情報制御部をさらに備えることが好ましい。
　これにより、歩行者用信号が赤になったときに交差点内に歩行者が残っている場合でも、当該歩行者を保護することができる。
　また、本発明は、第３の形態として、交差点に設けられる撮像システムであって、前記交差点内および前記交差点周辺を移動する複数の対象を撮像する全体視撮像部と、予め定められた条件に基づいて、前記全体視撮像部の撮像データから追跡対象を特定する追跡対象特定部と、前記全体視撮像部の撮像素子よりも画像解像度が高い撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、前記追跡対象に対する指向性を持たせた音声情報を出力する音声情報出力部と、を備えることを特徴とする撮像システムを提供する。
　このような撮像システムによれば、交差点内および交差点周辺を移動する複数の対象を全体視撮像部で撮像するとともに、その撮像データから危険度などの条件に基づいて特定された追跡対象を複数の特定対象撮像部で追跡しながら撮像するので、当該追跡対象の位置および大きさをより正確に検出することができる。また、全体視撮像部の撮像素子の画像解像度は、特定対象撮像部の撮像素子の画像解像度よりも低いので、交差点内外の撮像データから複数の対象を検出する際の検出処理の負荷を抑えることができる。さらには、追跡対象の付近に他の対象が存在する場合でも、当該追跡対象だけに警告などの情報を音声で伝えることができる。
　また、上記第３の形態に係る撮像システムは、前記音声情報の内容を前記追跡対象の状態に応じた内容に設定する音声情報設定部をさらに備えることが好ましい。
　これにより、追跡対象の置かれた状況に対してより適切な内容の音声情報を伝えることができる。
　また、上記第３の形態に係る撮像システムにおいて、前記追跡対象特定部は、前記交差点内を移動する前記対象および前記交差点周辺から前記交差点内へ向けて移動する前記対象のうち、互いに接触することが予見される前記対象を前記追跡対象として特定し、前記音声情報設定部は、前記音声情報の内容を、他の前記対象と接触する危険性がある旨の内容に設定することが好ましい。
　これにより、例えば接触事故を起こす危険性が予見される対象に対して自身が危険な状態にあることを音声で伝えることができる。
　また、上記第３の形態に係る撮像システムにおいて、前記追跡対象特定部は、前記交差点内で立ち止まった歩行者を前記追跡対象として特定し、前記音声情報設定部は、前記音声情報の内容を、前記交差点内からの退避を促す旨の内容に設定することが好ましい。
　これにより、交差点内で立ち止まっている歩行者に対して、退避を促す旨の警告を音声で伝えることができる。
　また、上記第３の形態に係る撮像システムにおいて、前記追跡対象特定部は、前記追跡対象が複数特定される場合に、当該追跡対象の各々に対して事故の危険性を示す危険度の高い順に当該危険度を識別する識別ＩＤを割り当て、前記特定対象撮像部は、前記識別ＩＤに基づいて、最も前記危険度の高い前記追跡対象を追跡しながら撮像し、前記音声情報出力部は、当該追跡対象に対して前記音声情報を出力することが好ましい。
　これにより、複数の追跡対象が特定された場合でも、その中でより事故に至る危険性の高い（より危険度の高い）追跡対象を正確に選択して特定対象撮像部で追跡撮像させることができる。また、当該より危険度の高い追跡対象に対して警告などの情報を音声で伝えることができる。
　また、上記第３の形態に係る撮像システムにおいて、前記音声情報設定部は、前記識別ＩＤに対応付けて前記音声情報の内容を設定し、前記音声情報出力部は、それぞれの前記追跡対象に対して、割り当てられた前記識別ＩＤに対応する前記音声情報を出力することが好ましい。
　これにより、複数の追跡対象が特定された場合に、それぞれの追跡対象に対してその危険度に応じた内容の情報を音声で伝えることができる。
　また、上記第３の形態に係る撮像システムにおいて、前記音声情報出力部は、超音波を搬送波とし、音波を変調波とする指向性スピーカを有し、前記指向性スピーカは、前記追跡対象の方向を中心とする狭い領域に前記音声情報を出力することが好ましい。
　これにより、追跡対象の付近に他の対象が存在する場合でも、当該追跡対象だけに警告などの情報を音声で伝えることができる。
　なお、本発明の上記各形態は、本発明の必要な特徴の全てを列挙したものではなく、これらの各形態の特徴群のサブコンビネーションもまた、本発明に含まれる。
本発明の第１実施形態に係る撮像システム１００が設けられた交差点１５００を上方から見た図である。 撮像システム１００の構成を示すブロック図である。 撮像システム１００による歩行者および自動車の追跡撮像の動作フローである。 本発明の第１実施形態の他の例に係る撮像システム１０１の構成を示すブロック図である。 本発明の第２実施形態に係る撮像システム２００が設けられた交差点２５００を上方から見た図である。 撮像システム２００の構成を示すブロック図である。 撮像システム２００による歩行者の追跡撮像の動作フローである。 本発明の第３実施形態に係る撮像システム３００が設けられた交差点５００を上方から見た図である。 撮像システム３００の構成を示すブロック図である。 歩行者および自動車に対する撮像システム３００による追跡撮像および警告の動作フローである。 本発明の第３実施形態の他の例に係る撮像システム３０１の構成を示すブロック図である。 コンピュータ５０００のハードウェア構成の一例を示す。
　以下において、添付図面に基づいて本発明の好ましい実施形態について説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、以下の実施形態における特徴の組み合わせの全てが本発明の解決手段に必須であるとは限らない。
　図1は、本発明の第１実施形態に係る撮像システム１００が設けられた交差点１５００を上方から見た図である。また、図２は、撮像システム１００の構成を示すブロック図である。本実施形態に係る撮像システム１００は、交差点１５００内およびその周辺を移動する歩行者や自動車などの複数の対象を撮像するとともに、撮像した複数の歩行者から特定の歩行者を選択して追跡撮像し、事故に遭う危険性の高い状態（危険状態）にある歩行者を検出することのできるシステムである。
　なお、撮像システム１００の説明のために例示する交差点１５００は、図１の上下方向に自動車が対面通行可能な車道１５１１と、図１の左右方向に自動車が対面通行可能な車道１５１２とが交差する十字路型の交差点である。また、交差点１５００には、車道１５１１，１５１２側方の歩道１５２１，１５２２，１５２３，１５２４間を横断するための横断歩道１５３１，１５３２，１５３３，１５３４が設けられている。
　また、車道１５１１，１５１２のそれぞれにおける横断歩道１５３１～１５３４の手前側（交差点１５００の中心から遠い側）には、自動車用信号１５４１，１５４２，１５４３，１５４４が設けられている。また、横断歩道１５３１～１５３４の両側（歩道１５２１～１５２４側）には、歩行者用信号１５５１，１５５２，１５５３，１５５４が設けられている。
　例えば、歩道１５２１から歩道１５２２へと車道１５１１を横断するための横断歩道１５３１の手前側には、自動車用信号１５４１が設けられている。また、横断歩道１５３１の両側には、歩行者用信号１５５１が設けられている。
　例えば車道１５１１を走行する自動車１６２１Ａ，１６２１Ｂ，１６２１Ｃ，１６２１Ｄ，１６２１Ｅ、および二輪車１６３１は、自動車用信号１５４１，１５４３が青である場合は、そのまま交差点１５００内に侵入することができるが、自動車用信号１５４１，１５４３が赤である場合は、横断歩道１５３１，１５３３の手前側に設けられた一時停止線より手前にて停車しなければならない。また、歩行者１６１１は、歩行者用信号１５５１が青である場合は、横断歩道１５３１を横断できるが、歩行者用信号１５５１が赤である場合は、横断することはできない。同様に、歩行者１６１２，１６１３，１６１４は、歩行者用信号１５５２，１５５３，１５５４が青である場合は、横断歩道１５３２，１５３３，１５３４を横断できるが、歩行者用信号１５５２，１５５３，１５５４が赤である場合は、横断することはできない。
　図１に示すように、本実施形態に係る撮像システム１００は、固定部１０５と、全体視撮像部１１０と、２台の特定対象撮像部１２０，１３０とを備える。固定部１０５は、車道１５１１の両側に設けられた支柱部と当該支柱部に両端が固定された梁部によって構成される。全体視撮像部１１０および特定対象撮像部１２０，１３０は、固定部１０５の梁部に固定される。
　本例において、２台の特定対象撮像部１２０，１３０は、全体視撮像部１１０の両側に設けられる。また、全体視撮像部１１０および特定対象撮像部１２０，１３０は、いずれも車道１５１１の路面から１０ｍ程度の高さに設置されることが好ましい。なお、全体視撮像部１１０および特定対象撮像部１２０，１３０の配置およびこれらを設置する路面からの高さは、本例に限られず、それぞれの撮像部の撮像対象および撮像範囲などにより適切に設定される。
　図２に示すように、撮像システム１００は、さらに、撮像データ取得部１４１，１４２と、動体識別部１５０と、追跡対象特定部１６０と、制御部１７０と、信号情報取得部１７５と、危険対象識別部１８０と、警告情報出力部１９０とを備える。
　全体視撮像部１１０は、交差点１５００内およびその周辺を撮像可能なＣＣＤカメラ１１１、およびＣＣＤカメラ１１１による撮像データを記憶する画像記憶部１１２を有する。ＣＣＤカメラ１１１は、例えば画素数が３２０×２４０のＣＣＤイメージセンサを撮像素子として有し、３０ｆｐｓのフレームレートで上記撮像範囲を撮像可能なＣＣＤカメラであってよい。また、本例において、ＣＣＤカメラ１１１は、固定部１０５に固定されて一定の範囲を撮像するカメラである。なお、全体視撮像部１１０は、ＣＣＤカメラ１１１に替えて、ＣＭＯＳイメージセンサなど他の方式の撮像素子を有するカメラを有してもよい。
　画像記憶部１１２は、ＣＣＤカメラ１１１によって上記フレームレートで撮像された撮像データを撮像時間に対応付けて記憶する。画像記憶部１１２には、例えばフラッシュメモリなどの記憶素子またはハードディスクドライブなどの記憶装置が用いられる。
　特定対象撮像部１２０は、全体視撮像部１１０が有するＣＣＤカメラ１１１の撮像範囲のうちの特定の範囲を拡大して撮像する光学ズーム機能を有するＣＣＤカメラ１２１、ＣＣＤカメラ１２１による撮像データを記憶する画像記憶部１２２、およびＣＣＤカメラ１２１を駆動する駆動部１２３を有する。また、特定対象撮像部１３０は、特定対象撮像部１２０のＣＣＤカメラ１２１、画像記憶部１２２、および駆動部１２３のそれぞれと同様の機能を有するＣＣＤカメラ１３１、画像記憶部１３２、および駆動部１３３を有する。
　ＣＣＤカメラ１２１，１３１は、例えば画素数が６４０×４８０のＣＣＤイメージセンサを撮像素子として有し、３０ｆｐｓのフレームレートで上記撮像範囲を撮像可能なＣＣＤカメラであってよい。画像記憶部１２２は、ＣＣＤカメラ１２１によって上記フレームレートで撮像された撮像データを時系列で取得し、それぞれの撮像データを撮像時間に対応付けて記憶する。なお、特定対象撮像部１２０，１３０は、ＣＣＤカメラ１２１，１３１に替えて、ＣＭＯＳイメージセンサなど他の方式の撮像素子を有し、かつ所定の光学ズーム機能を有するカメラを有してもよい。
　画像記憶部１３２は、ＣＣＤカメラ１３１によって上記フレームレートで撮像された撮像データを撮像時間に対応付けて記憶する。画像記憶部１３２は、画像記憶部１２２，１３２には、画像記憶部１１２と同様に、例えばフラッシュメモリなどの記憶素子またはハードディスクドライブなどの記憶装置が用いられる。
　撮像データ取得部１４１は、画像記憶部１１２に対して所定のタイミングでアクセスして画像記憶部１１２が記憶する撮像データを取得する。動体識別部１５０は、撮像データ取得部１４１から出力される撮像データを受け取り、ＣＣＤカメラ１１１の撮像範囲内において移動する一または複数の対象を当該撮像データから識別する。
　より具体的には、動体識別部１５０は、ある時点における撮像データが撮像データ取得部１４１から送られると、当該撮像データから画素毎の輝度の情報を抽出して記憶する。そして、動体識別部１５０は、次に撮像データ取得部１４１から送られる撮像データにおける対応する画素の輝度との差分を求める。動体識別部１５０は、時系列で送られる撮像データについてこの処理を繰り返すことにより、ＣＣＤカメラ１１１の撮像範囲内において移動する対象を識別する。
　ここで、動体識別部１５０は、識別される対象の種類（歩行者、自動車など）まで識別できることが好ましいが、本例では、全体視撮像部１１０のＣＣＤカメラ１１１による撮像範囲内で移動する対象の位置および数を少なくとも検出できればよく、さらには検出した対象の移動速度および予想進路などを算出してもよい。
　信号情報取得部１７５は、交差点１５００に設置された歩行者用信号および自動車用信号の点灯状態を示す信号情報を例えばネットワーク経由で取得する。例えば、信号情報取得部１７５は、交差点１５００に設置された歩行者用信号１５５１～１５５４、および自動車用信号１５４１～１５４４のうち、どの信号が通行または横断不可を示す点灯状態（例えば赤）であり、どの信号が通行または横断可能を示す点灯状態（例えば青）であるかなどを示す信号情報を取得する。そして、信号情報取得部１７５は、取得した信号情報を追跡対象特定部１６０および危険対象識別部１８０へと出力する。
　追跡対象特定部１６０は、動体識別部１５０により識別された対象それぞれの位置などの情報を動体識別部１５０から取得するとともに、上記信号情報を信号情報取得部１７５から取得する。そして、追跡対象特定部１６０は、動体識別部１５０により識別された対象から、上記信号情報に基づいて、特定対象撮像部１２０，１３０により追跡させながら撮像させるべき対象（以下、「追跡対象」と称する）を特定する。より具体的には、動体識別部１５０により識別された対象の中に、例えば、歩行者用信号が青から赤に変わろうとしているにも関わらず、交差点１５００内で立ち止まったまま動かない歩行者がいる場合、そのような歩行者は事故に遭う危険性が高い。したがって、追跡対象特定部１６０は、かかる歩行者が特定された場合は、その歩行者を追跡対象とする。
　また、追跡対象特定部１６０は、上記対象の移動速度および予想進路などの情報を動体識別部１５０から取得可能な場合は、これらの情報をさらに参照して追跡対象を特定してもよい。また、追跡対象特定部１６０は、対象に関する上記情報から事故の危険性を示す危険度を算出し、当該危険度が所定レベル以上の対象を追跡対象としてもよい。追跡対象の特定に上記危険度を参照することにより、事故の危険性のより高い対象を追跡対象とすることができる。
　制御部１７０は、特定結果取得部１７１および撮像条件制御部１７２を有する。特定結果取得部１７１は、追跡対象特定部１６０による追跡対象に関する情報を取得する。具体的には、特定結果取得部１７１は、例えば、追跡対象特定部１６０により特定された追跡対象に関する上記情報とともに当該追跡対象の危険度を取得する。撮像条件制御部１７２は、特定結果取得部１７１が取得した追跡対象に関する上記情報に基づいて、特定対象撮像部１２０のＣＣＤカメラ１２１および特定対象撮像部１３０のＣＣＤカメラ１３１の撮像方向および焦点などの撮像条件を設定する。
　より具体的には、撮像条件制御部１７２は、特定結果取得部１７１が取得した追跡対象の位置、移動速度、予想進路などに関する情報に基づいて、駆動部１２３にＣＣＤカメラ１２１を駆動させることによりＣＣＤカメラ１２１の撮像方向を追跡対象の方向に設定するとともに、ＣＣＤカメラ１２１の光学系を制御することにより焦点および露出などを追跡対象の撮像に適した条件に設定する。また、これと同様に、撮像条件制御部１７２は、駆動部１３３にＣＣＤカメラ１３１を駆動させることによりＣＣＤカメラ１３１の撮像方向を追跡対象の方向に設定するとともに、ＣＣＤカメラ１３１の光学系を制御することにより焦点および露出などを追跡対象の撮像に適した条件に設定する。
　そして、撮像条件制御部１７２は、ＣＣＤカメラ１２１，１３１による追跡対象の撮像データに基づいて、ＣＣＤカメラ１２１，１３１による追跡対象の撮像条件を適宜変更する。これにより、ＣＣＤカメラ１２１，１３１の撮像範囲は、いずれも上記追跡対象の移動に追従する。また、これに替えて、撮像条件制御部１７２は、特定結果取得部１７１が上記追跡対象の位置、移動速度、予想進路などが変化したことを示す情報を取得した場合に、当該新たな情報に基づいてＣＣＤカメラ１２１，１３１による追跡対象の撮像条件を変更してもよい。
　このように、２台の特定対象撮像部１２０，１３０（ＣＣＤカメラ１２１，１３１）で同一の追跡対象を追跡させながら撮像させることにより、特定対象撮像部１２０，１３０をステレオカメラとして機能させることができる。したがって、追跡対象までの距離を正確に測定することができる。
　また、本例のＣＣＤカメラ１２１，１３１は、高倍率の光学ズーム機能を有するとともに、それぞれのＣＣＤカメラが備える撮像素子は、ＣＣＤカメラ１１１が備える撮像素子よりも高い画素密度を有する。したがって、追跡対象の大きさを正確に測定することができるので、例えば追跡対象として撮像している歩行者が横断歩道を横断中に倒れたり蹲って立往生したことを正確に検知することができる。
　また、本例において、追跡対象が複数特定される場合は、追跡対象特定部１６０は、当該追跡対象の各々に対して事故の危険性を示す危険度の高い順に当該危険度に関連付けた識別ＩＤを割り当てる。そして、特定結果取得部１７１は、複数の追跡対象のそれぞれについて、位置、移動速度、予想進路などに関する情報とともに各々の追跡対象の識別ＩＤを取得する。そして、撮像条件制御部１７２は、識別ＩＤに基づいて、複数の追跡対象の中から危険度の最も高い追跡対象をＣＣＤカメラ１２１，１３１により撮像させる。
　このように、複数の追跡対象が特定された場合でも、その中でより事故に至る危険性の高い（より危険度の高い）追跡対象を正確に選択して特定対象撮像部１２０，１３０により追跡撮像させることができる。また、特定対象撮像部１２０，１３０のＣＣＤカメラ１２１，１３１をステレオカメラとすることにより、追跡対象が危険な状態となったことをより正確に検知することができる。
　危険対象識別部１８０は、特定対象撮像部１２０，１３０による追跡対象の撮像データに基づいて、危険度が所定レベル以上である追跡対象を危険対象として識別する。より具体的には、危険対象識別部１８０は、例えば、特定対象撮像部１２０，１３０のＣＣＤカメラ１２１，１３１による追跡対象の撮像データに基づいて、当該追跡対象の危険度を算出する。
　また、危険対象識別部１８０は、特定対象撮像部１２０，１３０による追跡対象の撮像データに加えて、信号情報取得部１７５からの信号情報を参照することにより追跡対象を危険対象として識別してもよい。より具体的には、危険対象識別部１８０は、信号情報取得部１７５からの信号情報が、歩行者用信号が赤（歩行者が横断不可）であることを示しているにも関わらず交差点１５００内（横断歩道上）に歩行者が残っている場合、そのような歩行者は事故に遭う危険性が極めて高い。したがって、危険対象識別部１８０は、かかる歩行者がいる場合は、その歩行者を、危険対象として識別してもよい。
　危険対象識別部１８０において算出される危険度は、特定対象撮像部１２０，１３０による追跡対象の撮像データを反映させたものであることから、追跡対象特定部１６０が算出する上記危険度と比べて追跡対象の事故の危険性がより反映された指標となる。
　そして、危険対象識別部１８０は、算出される危険度が所定レベル以上となった場合に、追跡撮像している追跡対象が事故の危険性が非常に高い状態である危険対象として識別する。そして、危険対象識別部１８０は、追跡対象が危険対象となったことを示す情報を警告情報出力部１９０へと出力する。
　警告情報出力部１９０は、危険対象識別部１８０からの上記情報を受け付けると、危険対象に対して警告情報を発する。例えば、警告情報出力部１９０は、危険対象が自動車である場合には、ＶＩＣＳ受信機あるいは通信機能を有するカーナビゲーション装置などの車載端末へ警告情報を示すデータを送信してもよい。
　この場合、警告情報出力部１９０は、例えば、車載端末の表示画面へ警告メッセージを表示させるとともに、当該端末に警告アラームを発報させてもよい。これにより、互いに衝突あるいは接触する可能性の高い自動車または歩行者の少なくとも一方に自身の危険性を認識させて危険を回避させることができる。
　また、本実施形態において、全体視撮像部１１０のＣＣＤカメラ１１１が有する撮像素子の画素密度は、特定対象撮像部１２０，１３０のＣＣＤカメラ１２１，１３１が有する撮像素子の画素密度よりも低い。したがって、ＣＣＤカメラ１１１は、ＣＣＤカメラ１２１，１３１よりも解像度は低くなるものの、より広範囲の対象を検出処理の負荷を抑えつつ特定することができる。そして、追跡対象のみをより高解像度のＣＣＤカメラ１２１，１３１で撮像することにより、注目すべき追跡対象までの距離、および当該追跡対象の大きさ、姿勢などをより正確に検出することができる。
　以下において、撮像システム１００の動作フローをより具体的に説明する。
　図３は、撮像システム１００による歩行者および自動車の追跡撮像の動作フローである。本フローにおいては、まず、全体視撮像部１１０で、交差点１５００およびその周辺（本例では特に車道１５１１）を撮像する（ステップ：Ｓ１３００）。次に、動体識別部１５０は、全体視撮像部１１０による撮像データから、横断歩道１５３２を横断中の歩行者１６１２Ａ～１６１２Ｅ、横断歩道１５３４を横断中の歩行者１６１４、交差点１５００内で左折しようとしている自動車１６２１Ａ、交差点１５００内で右折しようとしている自動車１６２１Ｄ，１６２１Ｅ、および、車道１５１１を交差点１５００へ向けて走行する自動車１６２１Ｂ，１６２１Ｃおよび二輪車１６３１を、移動する対象として識別する（ステップ：Ｓ１３０５）。
　そして、追跡対象特定部１６０は、移動する対象の中から、特定対象撮像部１２０，１３０により追跡撮像させるべき追跡対象を特定する（ステップ：Ｓ１３１０）。
　例えば、追跡対象特定部１６０は、歩行者１６１２Ｄが左折してくる自動車１６２１Ａと接触することが予見される場合は、自動車１６２１Ａを追跡対象とする。また、追跡対象特定部１６０は、自動車１６２１Ａ、自動車１６２１Ｄ、および二輪車１６３１の位置関係から、二輪車１６３１が自動車１６２１Ｄの死角となっていると判別される場合、例えば自動車１６２１Ｄおよび二輪車１６３１を追跡対象とする。
　また、追跡対象特定部１６０は、信号情報取得部１７５からの信号情報に基づいて、歩行者用信号１５５２が青から赤に変わろうとしているときに歩行者１６１２Ａ～１６１２Ｅのいずれかが横断歩道１５３２上で立ち止まったまま動かなくなった場合、あるいは横断歩道１５３２上で蹲った場合、その歩行者を追跡対象とする。また、追跡対象特定部１６０は、歩行者１６１２Ａ～１６１２Ｅのいずれかが、歩行者用信号１５５２が青の間に横断歩道１５３２を渡り切ることができない速度で歩行している場合、その歩行者を追跡対象とする。
　そして、追跡対象が複数特定される場合（ステップ：Ｓ１３１５　ＹＥＳ）、追跡対象特定部１６０は、当該追跡対象の各々に対して事故の危険性を示す危険度を算出し、当該危険度の高い順に識別ＩＤを割り当てる（ステップ：Ｓ１３２０）。ここで、それぞれの追跡対象に割り当てられる識別ＩＤは、対応する追跡対象の危険度を示す情報を含む。そして、制御部１７０は、識別ＩＤに基づいて、複数の追跡対象の中から危険度の最も高い追跡対象を特定対象撮像部１２０，１３０により撮像させる（ステップ：Ｓ１３２５）。
　一方、追跡対象が一つの場合（ステップ：Ｓ１３１５　ＮＯ）、追跡対象特定部１６０は、当該追跡対象を特定対象撮像部１２０，１３０により撮像させる（ステップ：Ｓ１３３０）。
　そして、危険対象識別部１８０は、追跡対象の撮像データおよび信号情報取得部１７５からの信号情報に基づいて、追跡対象が危険対象であるか否かを識別する（ステップ：Ｓ１３４０）。
　そして、危険対象識別部１８０は、歩行者用信号１５５２が赤であることを信号情報が示しているときに歩行者１６１２Ａ～１６１２Ｅのいずれかが横断歩道１５３２上に残っている場合、その歩行者を危険対象として識別する（ステップ：Ｓ１３４０　ＹＥＳ）。また、危険対象識別部１８０は、二輪車１６３１が接近しているにもかかわらず、自動車１６２１Ａが左折した後で直ちに自動車１６２１Ｄが右折しようとした場合、あるいは、自動車用信号１５４１，１５４３が赤に変わったにも関わらず、自動車１６２１Ｄが右折できずに交差点１５００内に止まっている場合、自動車１６２１Ｄを危険対象とする。
　そして、危険対象識別部１８０は、特定対象撮像部１２０，１３０により追跡撮像していた追跡対象が危険対象となったことを示す情報を警告情報出力部１９０へと出力し、警告情報出力部１９０は、当該危険対象に対して警告情報を発する（ステップ：Ｓ１３４５）。
　一方、危険対象識別部１８０によって、特定対象撮像部１２０，１３０により追跡撮像していた追跡対象が危険対象とならず（ステップ：Ｓ１３４０　ＮＯ）、そのまま交差点１５００外に出た場合（ステップ：Ｓ１３５０　ＹＥＳ）、すなわち、追跡対象として追跡撮像していた歩行者１６１１～１６１４が横断歩道１５３１～１５３４を渡り切った場合、あるいは、追跡対象として追跡撮像していた自動車１６２１Ａ～１６２１Ｅおよび二輪車１６３１の走行位置が特定対象撮像部１２０，１３０による追跡範囲外となった場合、本フローは終了する。
　なお、追跡対象が交差点１５００外に出るまでは、再び上記ステップＳ１３４０以降を繰り返す（ステップ：Ｓ１３５０　ＮＯ）。
　図４は、本発明の第１実施形態の他の例に係る撮像システム１０１の構成を示すブロック図である。撮像システム１０１において、上記の撮像システム１００と略同じ構成については、同じ符号を付して説明を適宜省略する。
　撮像システム１０１では、全体視撮像部１１０は、上記複数の対象とともに交差点１５００に設置された歩行者用信号および自動車用信号の少なくとも一方の点灯状態を撮像する。すなわち、本例の撮像システム１０１が備える全体視撮像部１１０は、その撮像範囲において撮像される歩行者が横断する横断歩道に設けられている歩行者用信号、および、撮像される自動車の走行方向に設けられている自動車用信号の少なくとも一方について、その点灯状態（赤か、青か、など）が撮像範囲に入るように設けられる。
　また、危険対象識別部１８０は、全体視撮像部１１０の撮像データを取得する。そして、危険対象識別部１８０は、取得した撮像データにおいて、例えば、上記歩行者用信号が、歩行者が横断不可であることを示しているにも関わらず、追跡対象である歩行者が交差点１５００内（横断歩道上）に残っている場合、その歩行者を危険対象として識別する。
　このように、撮像システム１０１においては、撮像システム１００のように信号情報取得部１７５を設けて信号情報を取得することなく、追跡対象が危険対象となったことを識別することができる。
　図５は、本発明の第２実施形態に係る撮像システム２００が設けられた交差点２５００を上方から見た図である。また、図６は、撮像システム２００の構成を示すブロック図である。本実施形態に係る撮像システム２００は、交差点２５００内およびその周辺を移動する歩行者や自動車などの複数の対象を撮像するとともに、例えば撮像した複数の歩行者から特定の歩行者を選択して追跡撮像し、事故に遭う危険性の高い状態（危険状態）にある歩行者を検出することのできるシステムである。
　なお、撮像システム２００の説明のために例示する交差点２５００は、図５の上下方向に自動車が対面通行可能な車道２５１１と、図５の左右方向に自動車が対面通行可能な車道２５１２とが交差する十字路型の交差点である。また、交差点２５００には、車道２５１１，２５１２側方の歩道２５２１，２５２２，２５２３，２５２４間を横断するための横断歩道２５３１，２５３２，２５３３，２５３４が設けられている。
　また、車道２５１１，２５１２の各横断歩道２５３１～５３４の手前側（交差点２５００の中心から遠い側）には、自動車用信号２５４１，２５４２，２５４３，２５４４が設けられている。また、横断歩道２５３１～５３４の両側（歩道２５２１～２５２４側）には、歩行者用信号２５５１，２５５２，２５５３，２５５４が設けられている。
　例えば、歩道２５２１から歩道２５２２へと車道２５１１を横断するための横断歩道２５３１の手前側には、自動車用信号２５４１が設けられている。また、横断歩道２５３１の両側には、歩行者用信号２５５１が設けられている。なお、自動車用信号２５４１～２５４４および歩行者用信号２５５１～２５５４は、いずれも路面から５～１０ｍ程度の高さに設けられる。
　例えば車道２５１１を交差点２５００に向けて移動する自動車２６２１Ａ，２６２１Ｂは、例えば自動車用信号２５４１が青である場合は、そのまま交差点２５００内に侵入することができるが、自動車用信号２５４１が赤である場合は、横断歩道２５３１の手前側に設けられた一時停止線より手前にて停車しなければならない。一方、歩行者２６１１Ａ，２６１１Ｂ，２６１１Ｃ，２６１１Ｄ，２６１１Ｅは、歩行者用信号２５５１が青である場合は、横断歩道２５３１を横断できるが、歩行者用信号２５５１が赤である場合は、横断することはできない。また、同様に、歩行者２６１２，２６１３（２６１３Ａ，２６１３Ｂ，２６１３Ｃ，２６１３Ｄ，２６１３Ｅ），２６１４は、それぞれ、横断しようとしている横断歩道２５３２，２５３３，２５３４に対応する歩行者用信号２５５２，２５５３，２５５４が青である場合は、横断歩道２５３２，２５３３，２５３４を横断できるが、歩行者用信号２５５２，２５５３，２５５４が赤である場合は、横断することはできない。
　図５に示すように、本実施形態に係る撮像システム２００は、固定部２０５と、全体視撮像部２１０と、２台の特定対象撮像部２２０，２３０とを備える。固定部２０５は、車道２５１１の両側に設けられた支柱部と当該支柱部に両端が固定された梁部によって構成される。全体視撮像部２１０および特定対象撮像部２２０，２３０は、固定部２０５の梁部に固定される。
　本例において、２台の特定対象撮像部２２０，２３０は、全体視撮像部２１０の両側に設けられる。また、全体視撮像部２１０および特定対象撮像部２２０，２３０は、いずれも車道２５１１の路面から１０ｍ程度の高さに設置されることが好ましい。なお、全体視撮像部２１０および特定対象撮像部２２０，２３０の配置およびこれらを設置する路面からの高さは、本例に限られず、それぞれの撮像部の撮像対象および撮像範囲などにより適切に設定される。
　図６に示すように、撮像システム２００は、さらに、撮像データ取得部２４１，２４２と、動体識別部２５０と、追跡対象特定部２６０と、制御部２７０と、信号情報取得部２７５と、危険状態判定部２８０と、信号情報制御部２９０とを備える。
　全体視撮像部２１０は、交差点２５００内およびその周辺（本例では全体視撮像部２１０から見て横断歩道２５３１よりも向こう側の車道２５１１上）を撮像可能なＣＣＤカメラ２１１、およびＣＣＤカメラ２１１による撮像データを記憶する画像記憶部２１２を有する。ＣＣＤカメラ２１１は、例えば画素数が３２０×２４０のＣＣＤイメージセンサを撮像素子として有し、３０ｆｐｓのフレームレートで上記撮像範囲を撮像可能なＣＣＤカメラであってよい。また、本例において、ＣＣＤカメラ２１１は、例えば固定部２０５に固定されており、その撮像範囲は一定である。なお、全体視撮像部２１０は、ＣＣＤカメラ２１１に替えて、ＣＭＯＳイメージセンサなど他の方式の撮像素子を有するカメラを有してもよい。
　画像記憶部２１２は、ＣＣＤカメラ２１１によって上記フレームレートで撮像された撮像データを撮像時間に対応付けて記憶する。画像記憶部２１２には、例えばフラッシュメモリなどの記憶素子またはハードディスクドライブなどの記憶装置が用いられる。
　特定対象撮像部２２０は、全体視撮像部２１０が有するＣＣＤカメラ２１１の撮像範囲のうちの特定の範囲を拡大して撮像する光学ズーム機能を有するＣＣＤカメラ２２１、ＣＣＤカメラ２２１による撮像データを記憶する画像記憶部２２２、およびＣＣＤカメラ２２１を駆動する駆動部２２３を有する。また、特定対象撮像部２３０は、特定対象撮像部２２０のＣＣＤカメラ２２１、画像記憶部２２２、および駆動部２２３のそれぞれと同様の機能を有するＣＣＤカメラ２３１、画像記憶部２３２、および駆動部２３３を有する。
　ＣＣＤカメラ２２１，２３１は、例えば画素数が６４０×４８０のＣＣＤイメージセンサを撮像素子として有し、３０ｆｐｓのフレームレートで上記撮像範囲を撮像可能なＣＣＤカメラであってよい。画像記憶部２２２は、ＣＣＤカメラ２２１によって上記フレームレートで撮像された撮像データを時系列で取得し、それぞれの撮像データを撮像時間に対応付けて記憶する。なお、特定対象撮像部２２０，２３０は、ＣＣＤカメラ２２１，２３１に替えて、ＣＭＯＳイメージセンサなど他の方式の撮像素子を有し、かつ所定の光学ズーム機能を有するカメラを有してもよい。
　画像記憶部２３２は、ＣＣＤカメラ２３１によって上記フレームレートで撮像された撮像データを撮像時間に対応付けて記憶する。画像記憶部２３２は、画像記憶部２２２，２３２には、画像記憶部２１２と同様に、例えばフラッシュメモリなどの記憶素子またはハードディスクドライブなどの記憶装置が用いられる。
　撮像データ取得部２４１は、画像記憶部２１２に対して所定のタイミングでアクセスして画像記憶部２１２が記憶する撮像データを取得する。動体識別部２５０は、撮像データ取得部２４１から出力される撮像データを受け取り、ＣＣＤカメラ２１１の撮像範囲内において移動する一または複数の対象を当該撮像データから識別する。
　より具体的には、動体識別部２５０は、ある時点における撮像データが撮像データ取得部２４１から送られると、当該撮像データから画素毎の輝度の情報を抽出して記憶する。そして、動体識別部２５０は、次に撮像データ取得部２４１から送られる撮像データにおける対応する画素の輝度との差分を求める。動体識別部２５０は、時系列で送られる撮像データについてこの処理を繰り返すことにより、ＣＣＤカメラ２１１の撮像範囲内において移動する対象を識別する。
　ここで、動体識別部２５０は、識別される対象の種類（歩行者、自動車など）まで識別できることが好ましいが、本例では、全体視撮像部２１０のＣＣＤカメラ２１１による撮像範囲内で移動する対象の位置および数を少なくとも検出できればよく、さらには検出した対象の移動速度および予想進路などを算出してもよい。
　追跡対象特定部２６０は、動体識別部２５０により識別された対象から、特定対象撮像部２２０，２３０により追跡撮像させるべき対象（以下、「追跡対象」と称する）を、予め定められた条件に基づいて特定する。より具体的には、追跡対象特定部２６０は、動体識別部２５０により識別された対象それぞれの位置および移動速度に関する情報を動体識別部２５０から取得し、例えば交差点２５００内を移動中に立ち止まったまま動かない歩行者のように、通常の横断歩行者と異なる動きをする歩行者を特定して追跡対象とする。
　また、このような歩行者がいない場合は、追跡対象特定部２６０は、横断歩道上を横断中の複数の歩行者について、その移動方向に基づいてグループに分類し、当該グループの最後尾の歩行者を追跡対象とする。また、追跡対象特定部２６０は、複数の歩行者が追跡対象として特定される場合は、それぞれの歩行者について、その位置および移動速度、あるいは車道を走行中の自動車との位置関係などから事故に遭う危険性を示す危険度を算出して当該危険度のレベルに応じて順位付けを行ってもよい。
　制御部２７０は、特定結果取得部２７１および撮像条件制御部２７２を有する。特定結果取得部２７１は、追跡対象特定部２６０による追跡対象の位置および移動速度などの情報を取得する。具体的には、特定結果取得部２７１は、例えば、追跡対象特定部２６０により特定された追跡対象の位置および移動速度などの情報を取得する。撮像条件制御部２７２は、特定結果取得部２７１が取得した追跡対象に関する上記情報に基づいて、特定対象撮像部２２０のＣＣＤカメラ２２１および特定対象撮像部２３０のＣＣＤカメラ２３１の撮像方向および焦点などの撮像条件を設定する。
　より具体的には、撮像条件制御部２７２は、特定結果取得部２７１が取得した追跡対象に関する上記情報に基づいて、駆動部２２３に駆動制御信号を与える。そして、駆動部２２３は、上記駆動制御信号に基づいて、ＣＣＤカメラ２２１の撮像範囲内に追跡対象が入るようにＣＣＤカメラ２２１の撮像方向を設定する。また、駆動部２２３は、上記駆動制御信号に基づいて、ＣＣＤカメラ２２１の光学系を制御することにより焦点および露出などを追跡対象の撮像に適した条件に設定する。
　また、これと同様に、撮像条件制御部２７２は、駆動部２３３にも駆動制御信号を与える。そして、駆動部２３３は、上記駆動制御信号に基づいて、ＣＣＤカメラ２３１の撮像方向、焦点、および露出などを追跡対象の撮像に適した条件に設定する。
　そして、撮像条件制御部２７２は、ＣＣＤカメラ２２１，２３１による追跡対象の撮像データに基づいて、ＣＣＤカメラ２２１，２３１による追跡対象の撮像条件を適宜変更する。これにより、ＣＣＤカメラ２２１，２３１の撮像範囲は、いずれも上記追跡対象の移動に追従する。また、これに替えて、撮像条件制御部２７２は、特定結果取得部２７１が上記追跡対象の位置、移動速度、予想進路などが変化したことを示す情報を取得した場合に、当該新たな情報に基づいてＣＣＤカメラ２２１，２３１による追跡対象の撮像条件を変更してもよい。
　このように、２台の特定対象撮像部２２０，２３０（ＣＣＤカメラ２２１，２３１）で同一の追跡対象を追跡させながら撮像させることにより、特定対象撮像部２２０，２３０をステレオカメラとして機能させることができる。したがって、追跡対象までの距離を正確に測定することができる。
　また、本例のＣＣＤカメラ２２１，２３１は、高倍率の光学ズーム機能を有するとともに、それぞれのＣＣＤカメラが備える撮像素子は、ＣＣＤカメラ２１１が備える撮像素子よりも高い画素密度を有する。したがって、追跡対象の大きさを正確に測定することができるので、例えば追跡対象として撮像している歩行者が横断歩道を横断中に倒れたり蹲って立往生するなど、当該歩行者が事故に遭う危険性が極めて高い状態に至ったことを正確に検出することができる。
　また、本例において、追跡対象特定部２６０が複数の歩行者を追跡対象として特定し、危険度のレベルに応じて順位付けを行っている場合、制御部２７０は、それらの歩行者の当該順位に関する情報を追跡対象特定部２６０から取得し、最も順位の高い歩行者を特定対象撮像部２２０，２３０により追跡撮像させてもよい。
　このように、複数の追跡対象が特定された場合でも、その中でより事故に至る危険性の高い（より危険度の高い）追跡対象を正確に選択して特定対象撮像部２２０，２３０により追跡撮像させることができる。また、特定対象撮像部２２０，２３０のＣＣＤカメラ２２１，２３１をステレオカメラとすることにより、追跡対象が危険な状態となったことをより正確に検知することができる。
　信号情報取得部２７５は、交差点２５００に設置された歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得して危険状態判定部２８０へと出力する。例えば、信号情報取得部２７５は、交差点２５００に設置された歩行者用信号２５５１～２５５４、および自動車用信号２５４１～２５４４のうち、一方が通行または横断不可（例えば赤）を示すときに他方が青（通行または横断可能）を示す一対の信号（例えば自動車用信号２５４１と歩行者用信号２５５１）の各々の点灯状態を示す信号情報を取得して危険状態判定部２８０へと出力する。
　危険状態判定部２８０は、特定対象撮像部２２０，２３０による追跡対象の撮像データに基づいて、当該追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する。より具体的には、危険状態判定部２８０は、例えば、特定対象撮像部２２０，２３０で追跡撮像している歩行者（追跡対象）の撮像データから当該歩行者の姿勢の変化を検出する。そして、危険状態判定部２８０は、歩行者が交差点内で倒れたり、または蹲っていることを検出した場合、その歩行者が危険状態であると判定する。
　また、危険状態判定部２８０は、特定対象撮像部２２０，２３０による追跡対象の撮像データに加えて、信号情報取得部２７５からの信号情報を参照することにより追跡対象を危険対象として識別してもよい。より具体的には、危険状態判定部２８０は、信号情報取得部２７５からの信号情報が、歩行者が横断不可であることを歩行者用信号が示すか、又は、自動車が通行可能であることを自動車用信号が示しているにも関わらず交差点２５００内（横断歩道上）に歩行者が残っている場合、当該歩行者が危険状態であると判定する。
　そして、危険状態判定部２８０は、交差点２５００内の歩行者を危険状態であると判定した場合、交差点２５００内を自動車が通行不可とすべき旨の情報を信号情報制御部２９０へと出力する。信号情報制御部２９０は、危険状態判定部２８０から上記情報を受け取ると、自動車用信号を赤に変更して交差点２５００内に自動車を侵入させないようにする。このように、本実施形態に係る撮像システム２００によれば、歩行者用信号が赤になったときに交差点２５００内に歩行者が残っている場合でも、当該歩行者を保護することができる。
　また、本実施形態において、全体視撮像部２１０のＣＣＤカメラ２１１が有する撮像素子の画素密度は、特定対象撮像部２２０，２３０のＣＣＤカメラ２２１，２３１が有する撮像素子の画素密度よりも低い。したがって、ＣＣＤカメラ２１１は、ＣＣＤカメラ２２１，２３１よりも解像度は低くなるものの、より広範囲の対象を検出処理の負荷を抑えつつ特定することができる。そして、追跡対象のみをより高解像度のＣＣＤカメラ２２１，２３１で撮像することにより、注目すべき追跡対象までの距離、および当該追跡対象の大きさ、姿勢などをより正確に検出することができる。
　以下において、撮像システム２００の動作フローをより具体的に説明する。
　図７は、撮像システム２００による歩行者の追跡撮像の動作フローである。本フローにおいては、まず、全体視撮像部２１０によって、横断歩道２５３１および横断歩道２５３３を撮像する（ステップ：Ｓ２３００）。次に、動体識別部２５０は、全体視撮像部２１０による撮像データから、横断歩道２５３１を横断中の歩行者２６１１Ａ～２６１１Ｅおよび横断歩道２５３３を横断中の歩行者２６１３Ａ～２６１３Ｅを、移動する対象として識別する（ステップ：Ｓ２３０５）。
　追跡対象特定部２６０は、歩行者２６１１Ａ～２６１１Ｅおよび歩行者２６１３Ａ～２６１３Ｅから、特定対象撮像部２２０，２３０により追跡撮像させるべき追跡対象を特定する（ステップ：Ｓ２３１０）。
　例えば、追跡対象特定部２６０は、横断歩道２５３１を横断中の歩行者２６１１Ａ～２６１１Ｅと、横断歩道２５３３を横断中の歩行者２６１３Ａ～２６１３Ｅを、横断方向によってそれぞれ２つのグループ（計４グループ）に分類する。本例では、横断歩道２５３１を横断中の歩行者２６１１Ａ～２６１１Ｅは、歩行者２６１１Ａ，２６１１Ｂ，２６１１Ｃのグループと歩行者２６１１Ｄ，２６１１Ｅのグループに分類される。また、同様に、横断歩道２５３３を横断中の歩行者２６１３Ａ～２６１３Ｅは、歩行者２６１３Ａ，２６１３Ｂ，２６１３Ｃのグループと歩行者２６１３Ｄ，２６１３Ｅのグループに分類される。
　そして、追跡対象特定部２６０は、各グループの最後尾の歩行者を追跡対象とする。したがって、本例では、歩行者２６１１Ａ，２６１１Ｄ，２６１３Ａ，２６１３Ｄが追跡対象となる。なお、追跡対象特定部２６０は、横断歩道上で動かない歩行者がいる場合、その歩行者を上記歩行者２６１１Ａ，２６１１Ｄ，２６１３Ａ，２６１３Ｄに替えて追跡対象とする。
　そして、本例のように追跡対象が複数特定される場合（ステップ：Ｓ２３１５　ＹＥＳ）、追跡対象特定部２６０は、歩行者２６１１Ａ，２６１１Ｄ，２６１３Ａ，２６１３Ｄのそれぞれについて、その位置および移動速度、あるいは車道を走行中の自動車との位置関係などから事故に遭う危険性を示す危険度を算出して当該危険度のレベルに応じて順位付けを行う。例えば、追跡対象特定部２６０は、歩行者２６１１Ａ，２６１１Ｄ，２６１３Ａ，２６１３Ｄのうち、例えば横断歩道を渡り切るまでの距離が最も遠い歩行者２６１１Ｄの危険度が最も高い歩行者として順位付けする。
　そして、制御部２７０は、最も上記順位の高い追跡対象である歩行者２６１１Ｄを特定対象撮像部２２０，２３０により撮像させる（ステップ：Ｓ２３２０）。なお、追跡対象特定部２６０により追跡対象として特定される歩行者が一人の場合（ステップ：Ｓ２３１５　ＮＯ）、制御部２７０は、当該歩行者を特定対象撮像部２２０，２３０により撮像させる（ステップ：Ｓ２３３０）。
　次に、信号情報取得部２７５は、歩行者用信号２５５１，２５５３および自動車用信号２５４１，２５４３の点灯状態を示す信号情報を取得して危険状態判定部２８０へと出力する（ステップ：Ｓ２３３５）。そして、危険状態判定部２８０は、特定対象撮像部２２０，２３０による追跡対象の撮像データおよび信号情報に基づいて、追跡対象である歩行者が危険な状態となっていないかを判定する（ステップ：Ｓ２３４０）。
　そして、危険状態判定部２８０は、特定対象撮像部２２０，２３０により追跡撮像していた歩行者２６１１Ａ，２６１１Ｄ，２６１３Ａ，２６１３Ｄが交差点内で倒れたり、または蹲っていることを検出した場合、その歩行者が危険状態であると判定する（ステップ：Ｓ２３４０　ＮＯ）。また、危険状態判定部２８０は、歩行者用信号２５５１，２５５３が赤であることを信号情報が示しているときに歩行者２６１１Ａ～２６１１Ｅおよび歩行者２６１３Ａ～２６１３Ｅのいずれかが横断歩道２５３１，２５５３上に残っている場合、その歩行者が危険状態であると判定する（ステップ：Ｓ２３４０　ＮＯ）。
　そして、危険状態判定部２８０は、交差点２５００内の歩行者を危険状態であると判定した場合、交差点２５００内を自動車が通行不可とすべき旨の情報を信号情報制御部２９０へと出力し、信号情報制御部２９０は、自動車用信号を赤にして自動車（例えば自動車２６２１Ａ，２６２１Ｂ）を停止させる（ステップ：Ｓ２３４５）。
　一方、危険状態判定部２８０によって、特定対象撮像部２２０，２３０により追跡撮像していた歩行者２６１１Ａ，２６１１Ｄ，２６１３Ａ，２６１３Ｄを含むいずれの歩行者も危険状態とならず（ステップ：Ｓ２３４０　ＹＥＳ）に、そのまま交差点２５００外に出た場合（ステップ：Ｓ２３５０　ＹＥＳ）、すなわち、全ての歩行者が横断歩道２５３１，２５５３を渡り切った場合、本フローは終了する。
　なお、全体視撮像部２１０により撮像される全ての歩行者が横断歩道２５３１，２５５３を渡り切るまでは、再び上記ステップＳ２３３５以降を繰り返す（ステップ：Ｓ２３５０　ＮＯ）。
　図８は、本発明の第３実施形態に係る撮像システム３００が設けられた交差点３５００を上方から見た図である。また、図９は、撮像システム３００の構成を示すブロック図である。本実施形態に係る撮像システム３００は、車道３５１１，３５１２を通行する自動車および横断歩道３５３１～３５３４を横断する歩行者などのように交差点３５００内およびその周辺における複数の対象のうち、特に横断歩道３５３１を横断する歩行者および車道３５１１を横断歩道３５３１に向けて接近する自動車を撮像するとともに、撮像した複数の対象から例えば互いに接触することが予見されるなど事故に至る危険性の高い対象を追跡しながら撮像することのできるシステムである。
　なお、撮像システム３００の説明のために例示する交差点３５００は、図８の上下方向に自動車が対面通行可能な車道３５１１と、図８の左右方向に自動車が対面通行可能な車道３５１２とが交差する十字路型の交差点である。また、交差点３５００には、車道３５１１，３５１２側方の歩道３５２１，３５２２，３５２３，３５２４間を横断するための横断歩道３５３１，３５３２，３５３３，３５３４が設けられている。
　また、車道３５１１，３５１２のそれぞれにおける横断歩道３５３１～３５３４の手前側（交差点３５００の中心から遠い側）には、支柱３５６１Ｂ，３５６２Ｂ，３５６３Ｂ，３５６４Ｂによって支持された自動車用信号３５４１，３５４２，３５４３，３５４４が設けられている。また、横断歩道３５３１～３５３４の両側（歩道３５２１～３５２４側）には、支柱３５６１Ａ，３５６２Ａ，３５６３Ａ，３５６４Ａによって支持された歩行者用信号３５５１Ａ，３５５２Ａ，３５５３Ａ，３５５４Ａ、および支柱３５６１Ｂ～３５６４Ｂによって支持された歩行者用信号３５５１Ｂ，３５５２Ｂ，３５５３Ｂ，３５５４Ｂが設けられている。
　例えば、歩道３５２１から歩道３５２２へと車道３５１１を横断するための横断歩道３５３１の手前側には、自動車用信号３５４１が設けられている。また、横断歩道３５３１の両側には、歩行者用信号３５５１Ａおよび歩行者用信号３５５１Ｂが設けられている。
　例えば車道３５１１を交差点３５００に向けて移動する自動車３６２１Ａ，３６２１Ｂは、例えば自動車用信号３５４１が青である場合は、そのまま交差点３５００内に侵入することができるが、自動車用信号３５４１が赤である場合は、横断歩道３５３１の手前側に設けられた一時停止線より手前にて停車しなければならない。一方、歩行者３６１１Ａ，３６１１Ｂ，３６１１Ｃ，３６１１Ｄ，３６１１Ｅは、歩行者用信号３５５１Ａ，３５５１Ｂが青である場合は、横断歩道３５３１を横断できるが、歩行者用信号３５５１Ａ，３５５１Ｂが赤である場合は、横断することはできない。また、同様に、歩行者３６１２，３６１３，３６１４は、それぞれ、横断しようとしている横断歩道３５３２，３５３３，３５３４に対応する歩行者用信号３５５２（３５５２Ａ，３５５２Ｂ），３５５３（３５５３Ａ，３５５３Ｂ），３５５４（３５５４Ａ，３５５４Ｂ）が青である場合は、横断歩道３５３２，３５３３，３５３４を横断できるが、歩行者用信号３５５２，３５５３，３５５４が赤である場合は、横断することはできない。
　図８に示すように、本実施形態に係る撮像システム３００は、固定部３０５と、固定部３０５に取り付けられた全体視撮像部３１０、２台の特定対象撮像部３２０，３３０、および音声情報出力部３８０とを備える。固定部３０５は、交差点３５００における車道３５１１の上方に架け渡されており、その両端は、支柱３５６３Ａおよび支柱３５６４Ａに固定されている。全体視撮像部３１０は、車道３５１１の中央における路面から５～１０ｍの高さに設けられ、２台の特定対象撮像部３２０，３３０は、全体視撮像部３１０の両側に設けられる。なお、全体視撮像部３１０および特定対象撮像部３２０，３３０の配置およびこれらが設置される路面からの高さは、本例に限られず、それぞれの撮像部の撮像対象および撮像範囲などにより適切に設定される。
　図９に示すように、撮像システム３００は、さらに、撮像データ取得部３４１，３４２と、動体識別部３５０と、追跡対象特定部３６０と、制御部３７０と、音声情報出力部３８０とを備える。
　全体視撮像部３１０は、歩行者および自動車などを検出すべき対象範囲全体を撮像する。全体視撮像部３１０は、上記対象範囲全体を撮像範囲とするＣＣＤカメラ３１１、およびＣＣＤカメラ３１１による撮像データを記憶する画像記憶部３１２を有する。ＣＣＤカメラ３１１は、例えば画素数が３２０×２４０のＣＣＤイメージセンサを撮像素子として有し、３０ｆｐｓのフレームレートで上記撮像範囲を撮像可能なＣＣＤカメラであってよい。また、本例において、ＣＣＤカメラ３１１は、例えば固定部３０５に固定されており、その撮像範囲は一定である。なお、全体視撮像部３１０は、ＣＣＤカメラ３１１に替えて、例えばＣＭＯＳイメージセンサなど他の方式の撮像素子を有するカメラを有してもよい。
　画像記憶部３１２は、ＣＣＤカメラ３１１によって上記フレームレートで撮像された撮像データを撮像時間に対応付けて記憶する。画像記憶部３１２には、例えばフラッシュメモリなどの記憶素子またはハードディスクドライブなどの記憶装置が用いられる。
　特定対象撮像部３２０は、全体視撮像部３１０が有するＣＣＤカメラ３１１の撮像範囲のうちの特定の範囲を拡大して撮像するＣＣＤカメラ３２１、ＣＣＤカメラ３２１による撮像データを記憶する画像記憶部３２２、およびＣＣＤカメラ３２１を駆動するカメラ駆動部３２３を有する。また、特定対象撮像部３３０は、特定対象撮像部３２０のＣＣＤカメラ３２１、画像記憶部３２２、およびカメラ駆動部３２３のそれぞれと同様の機能を有するＣＣＤカメラ３３１、画像記憶部３３２、およびカメラ駆動部３３３を有する。
　ＣＣＤカメラ３２１，３３１は、例えば画素数が６４０×４８０のＣＣＤイメージセンサを撮像素子として有し、３０ｆｐｓのフレームレートで上記撮像範囲を撮像可能なＣＣＤカメラであってよい。画像記憶部３２２は、ＣＣＤカメラ３２１によって上記フレームレートで撮像された撮像データを時系列で取得し、それぞれの撮像データを撮像時間に対応付けて記憶する。なお、特定対象撮像部３２０，３３０は、ＣＣＤカメラ３２１，３３１に替えて、例えばＣＭＯＳイメージセンサなど他の方式の撮像素子を有するカメラを有してもよい。
　画像記憶部３３２は、ＣＣＤカメラ３３１によって上記フレームレートで撮像された撮像データを撮像時間に対応付けて記憶する。画像記憶部３３２は、画像記憶部３２２，３３２には、画像記憶部３１２と同様に、例えばフラッシュメモリなどの記憶素子またはハードディスクドライブなどの記憶装置が用いられる。
　撮像データ取得部３４１は、画像記憶部３１２に対して所定のタイミングでアクセスして画像記憶部３１２が記憶する撮像データを取得する。動体識別部３５０は、撮像データ取得部３４１から出力される撮像データを受け取り、ＣＣＤカメラ３１１の撮像範囲内において移動する一または複数の対象を当該撮像データから識別する。
　より具体的には、動体識別部３５０は、ある時点における撮像データが撮像データ取得部３４１から送られると、当該撮像データから画素毎の輝度の情報を抽出して記憶する。そして、動体識別部３５０は、次に撮像データ取得部３４１から送られる撮像データにおける対応する画素の輝度との差分を求める。動体識別部３５０は、時系列で送られる撮像データについてこの処理を繰り返すことにより、ＣＣＤカメラ３１１の撮像範囲内において移動する対象を識別する。
　ここで、動体識別部３５０は、識別される対象の種類（歩行者、自動車など）まで識別できることが好ましいが、本例では、全体視撮像部３１０のＣＣＤカメラ３１１による撮像範囲内で移動する対象の位置および数を少なくとも検出できればよく、さらには検出した対象の移動速度および予想進路などを算出してもよい。
　追跡対象特定部３６０は、動体識別部３５０により識別された対象から、特定対象撮像部３２０，３３０により追跡させながら撮像させるべき対象（以下、「追跡対象」と称する）を、予め定められた条件に基づいて特定する。より具体的には、追跡対象特定部３６０は、動体識別部３５０により識別された対象それぞれの位置の情報を動体識別部３５０から取得し、例えば交差点３５００内で立ち止まったまま動かない歩行者のように、自動車との衝突あるいは接触することが予見される、あるいはその可能性の高い対象を当該情報から特定して追跡対象とする。
　また、追跡対象特定部３６０は、上記対象の移動速度および予想進路などの情報を動体識別部３５０から取得可能な場合は、これらの情報をさらに参照して追跡対象を特定してもよい。また、追跡対象特定部３６０は、対象に関する上記情報から事故の危険性を示す危険度を算出し、当該危険度が所定レベル以上の対象を追跡対象としてもよい。追跡対象の特定に上記危険度を参照することにより、事故の危険性のより高い対象を追跡対象とすることができる。
　制御部３７０は、特定結果取得部３７１および撮像条件制御部３７６を有する。特定結果取得部３７１は、追跡対象特定部３６０による追跡対象に関する情報を取得する。具体的には、特定結果取得部３７１は、例えば、追跡対象特定部３６０により特定された追跡対象に関する上記情報とともに当該追跡対象の危険度を取得する。撮像条件制御部３７６は、特定結果取得部３７１が取得した追跡対象に関する上記情報に基づいて、特定対象撮像部３２０および特定対象撮像部３３０による撮像条件を設定する。
　より具体的には、撮像条件制御部３７６は、特定結果取得部３７１が取得した追跡対象の位置、移動速度、予想進路などに関する情報に基づいて、特定対象撮像部３２０のＣＣＤカメラ３２１および特定対象撮像部３３０のＣＣＤカメラ３３１の撮像方向および焦点などの撮像条件を設定する。そして、撮像条件制御部３７６は、設定した撮像条件に基づいて、カメラ駆動部３２３，３３３に所定の駆動信号を与える。また、撮像条件制御部３７６は、ＣＣＤカメラ３２１，３３１の光学系を制御することにより焦点および露出などを追跡対象の撮像に適した条件に設定する。なお、撮像条件制御部３７６は、後述するスピーカ駆動部３８５にもカメラ駆動部３２３，３３３に与えるのと同様の駆動信号を与える。
　カメラ駆動部３２３は、撮像条件制御部３７６からの駆動信号に基づいてＣＣＤカメラ３２１の撮像方向を制御する。より具体的には、カメラ駆動部３２３は、撮像範囲の略中央に追跡対象がくるようにＣＣＤカメラ３２１の撮像方向を制御する。また、カメラ駆動部３３３は、撮像条件制御部３７６からの駆動信号に基づいてＣＣＤカメラ３３１の撮像方向を制御する。より具体的には、カメラ駆動部３３３は、撮像範囲の略中央に追跡対象がくるようにＣＣＤカメラ３３１の撮像方向を制御する。
　そして、撮像条件制御部３７６は、ＣＣＤカメラ３２１，３３１による追跡対象の撮像データに基づいて、ＣＣＤカメラ３２１，３３１による追跡対象の撮像条件を適宜変更する。これにより、ＣＣＤカメラ３２１，３３１の撮像範囲は、いずれも上記追跡対象の移動に追従する。また、これに替えて、撮像条件制御部３７６は、特定結果取得部３７１が上記追跡対象の位置、移動速度、予想進路などが変化したことを示す情報を取得した場合に、当該新たな情報に基づいてＣＣＤカメラ３２１，３３１による追跡対象の撮像条件を変更してもよい。
　このように、２台の特定対象撮像部３２０，３３０（ＣＣＤカメラ３２１，３３１）で同一の追跡対象を追跡させながら撮像させることにより、特定対象撮像部３２０，３３０をステレオカメラとして機能させることができる。したがって、追跡対象までの距離を正確に測定することができる。
　また、本例のＣＣＤカメラ３２１，３３１は、高倍率の光学ズーム機能を有するとともに、それぞれのＣＣＤカメラが備える撮像素子は、ＣＣＤカメラ３１１が備える撮像素子よりも高い画像解像度を有する。したがって、追跡対象の大きさを正確に測定することができるので、例えば追跡対象として撮像している歩行者が横断歩道を横断中に倒れたり蹲って立往生したことを正確に検知することができる。
　また、本例において、追跡対象が複数特定される場合は、追跡対象特定部３６０は、当該追跡対象の各々に対して事故の危険性を示す危険度の高い順に当該危険度に関連付けた識別ＩＤを割り当てる。そして、特定結果取得部３７１は、複数の追跡対象のそれぞれについて、位置、移動速度、予想進路などに関する情報とともに各々の追跡対象の識別ＩＤを取得する。そして、撮像条件制御部３７６は、識別ＩＤに基づいて、複数の追跡対象の中から危険度の最も高い追跡対象をＣＣＤカメラ３２１，３３１により撮像させる。
　このように、複数の追跡対象が特定された場合でも、その中でより事故に至る危険性の高い（より危険度の高い）追跡対象を正確に選択して特定対象撮像部３２０，３３０により追跡撮像させることができる。また、特定対象撮像部３２０，３３０のＣＣＤカメラ３２１，３３１をステレオカメラとすることにより、追跡対象が危険な状態となったことをより正確に検知することができる。
　音声情報出力部３８０は、指向性スピーカ３８１およびスピーカ駆動部３８５を有する。指向性スピーカ３８１は、例えば超音波を搬送波とし、音波を変調波とするスピーカであり、特定の出力方向を中心とする狭い領域に音声を出力することができる。指向性スピーカ３８１の拡散角は、例えば３度以内であることが好ましい。スピーカ駆動部３８５は、撮像条件制御部３７６から受け取った上記駆動信号に基づいて、指向性スピーカ３８１の出力方向を制御して追跡対象の方向と略一致させる。
　このように、音声情報出力部３８０は、追跡対象に対する指向性を持たせた音声情報を出力することができるので、追跡対象の付近に他の対象が存在する場合でも、当該追跡対象だけに警告などの情報を音声で伝えることができる。したがって、例えば交差点３５００内に複数の歩行者が存在する場合でも、自動車と衝突あるいは接触する危険性の高い歩行者だけに自身の危険性を認識させることができる。
　また、本実施形態の撮像システム３００では、全体視撮像部３１０のＣＣＤカメラ３１１が有する撮像素子の画像解像度を、特定対象撮像部３２０，３３０のＣＣＤカメラ３２１，３３１が有する撮像素子の画像解像度よりも低くすることで、より広範囲の対象を検出処理の負荷を抑えつつ特定することができる。そして、追跡対象のみをより高解像度のＣＣＤカメラ３２１，３３１で撮像することにより、注目すべき追跡対象までの距離、および当該追跡対象の大きさ、姿勢などをより正確に検出することができる。
　以下において、撮像システム３００の動作フローをより具体的に説明する。
　図１０は、歩行者および自動車に対する撮像システム３００による追跡撮像および警告の動作フローである。本フローにおいては、まず、全体視撮像部３１０によって、横断歩道３５３１および横断歩道３５３１から見て交差点３５００と反対側の車道３５１１を撮像する（ステップ：Ｓ３００）。次に、動体識別部３５０は、全体視撮像部３１０による撮像データから、横断歩道３５３１を横断中の歩行者３６１１Ａ～３６１１Ｅ、および車道３５１１を走行する自動車３６２１Ａ，３６２１Ｂを、移動する対象として識別する（ステップ：Ｓ３０５）。
　追跡対象特定部３６０は、歩行者３６１１Ａ～３６１１Ｅおよび車道３５１１を走行する自動車３６２１Ａ，３６２１Ｂから、特定対象撮像部３２０，３３０により追跡撮像させるべき追跡対象を特定する（ステップ：Ｓ３１０）。
　例えば、追跡対象特定部３６０は、歩行者３６１１Ａ～３６１１Ｅのいずれかが横断歩道３５３１上で立ち止まったまま動かなくなった場合、あるいは横断歩道３５３１上で蹲った場合、その歩行者を追跡対象とする。また、追跡対象特定部３６０は、歩行者３６１１Ａ～３６１１Ｅのいずれかが、歩行者用信号が青の間に横断歩道３５３１を渡り切ることができない速度で歩行している場合、その歩行者を追跡対象とする。また、追跡対象特定部３６０は、自動車３６２１Ａが一時停止線を越えて横断歩道３５３１に近付いた場合、あるいは、自動車３６２１Ａ，３６２１Ｂのいずれかが法定速度を大幅に超過している場合、その自動車を追跡対象とする。
　そして、追跡対象が複数特定される場合（ステップ：Ｓ３１５　ＹＥＳ）、追跡対象特定部３６０は、当該追跡対象の各々に対して事故の危険性を示す危険度を算出し、当該危険度の高い順に識別ＩＤを割り当てる（ステップ：Ｓ３２０）。ここで、それぞれの追跡対象に割り当てられる識別ＩＤは、対応する追跡対象の危険度を示す情報を含む。そして、制御部３７０は、識別ＩＤに基づいて、複数の追跡対象の中から危険度の最も高い追跡対象を特定対象撮像部３２０，３３０により撮像させる（ステップ：Ｓ３２５）。
　一方、追跡対象が一つの場合（ステップ：Ｓ３１５　ＮＯ）、制御部３７０は、当該追跡対象を特定対象撮像部３２０，３３０により撮像させる（ステップ：Ｓ３３０）。そして、音声情報出力部３８０は、追跡対象に対して音声により警告する（ステップ：Ｓ３４０）。
　そして、音声により警告を受けた追跡対象がそのまま交差点３５００外に出た場合（ステップ：Ｓ３５０　ＹＥＳ）、すなわち、追跡対象として追跡撮像していた歩行者（３６１１Ａ～３６１１Ｅ）が横断歩道３５３１を渡り切った場合、あるいは、追跡対象として追跡撮像していた自動車３６２１Ａ，３６２１Ｂの走行位置が特定対象撮像部３２０，３３０による追跡範囲外となった場合、本フローは終了する。
　なお、追跡対象として追跡撮像している歩行者（３６１１Ａ～３６１１Ｅ）が横断歩道３５３１を渡り切るまでは、再び上記ステップＳ３３５以降を繰り返す（ステップ：Ｓ３５０　ＮＯ）。
　図１１は、本発明の第３実施形態の他の例に係る撮像システム３０１の構成を示すブロック図である。撮像システム３０１において、上記の撮像システム３００と略同じ構成については、同じ符号を付して説明を適宜省略する。
　撮像システム３０１において、制御部３７０は、音声情報設定部３７５をさらに備える。音声情報設定部３７５は、追跡対象特定部３６０により特定された追跡対象の状態に応じた内容に設定する。より具体的には、音声情報設定部３７５は、追跡対象の危険度に基づいて、音声情報出力部３８０が出力する音声情報の内容を、当該危険度に応じた内容に設定する。
　より具体的には、例えば、追跡対象特定部３６０が、交差点３５００内における自動車との接触が予見される位置で立ち止まった歩行者を第１の追跡対象として特定し、さらに第１の追跡対象と略同じ位置を歩いて横断している歩行者を第２の追跡対象として特定した場合、第１の追跡対象の危険度は、第２の追跡対象の危険度よりも高くなる。
　この場合、音声情報設定部３７５は、第１の追跡対象に対して音声情報出力部３８０が出力する音声情報の内容を、例えば「危険ですからそこで止まらないで下さい！」というメッセージに設定する。一方、音声情報設定部３７５は、第２の追跡対象に対して音声情報出力部３８０が出力する音声情報の内容は、例えば「危険ですからそのまま横断して下さい！」というメッセージに設定する。
　このように、撮像システム３０１では、複数の追跡対象に対して交差点３５００内からの退避を促す際に、それぞれの追跡対象の危険度に応じた内容のメッセージを対応する追跡対象にだけ音声で伝えることができる。
　また、複数の追跡対象に対して、上記のように危険度に関連付けた識別ＩＤが割り当てられている場合には、音声情報設定部３７５は、識別ＩＤに対応付けて音声情報の内容を設定してもよい。そして、音声情報出力部３８０は、追跡対象の識別ＩＤに対応する音声情報を音声情報設定部３７５から取得して当該追跡対象に対して出力してもよい。
　図１２は、コンピュータ５０００のハードウェア構成の一例を示す。このコンピュータ５０００は、例えば、図１から図４を参照して説明した撮像システム１００，１０１に組み込まれて、与えられるプログラムに基づいて、撮像システム１００，１０１の全体視撮像部１１０および特定対象撮像部１２０，１３０を制御するホストコンピュータとして機能する。コンピュータ５０００が撮像システム１００，１０１に組み込まれて撮像システム１００，１０１のホストコンピュータとして機能する場合、上記プログラムは、コンピュータ５０００を、例えば、撮像システム１００，１０１の撮像データ取得部１４１，１４２、動体識別部１５０、追跡対象特定部１６０、制御部１７０、信号情報取得部１７５、危険対象識別部１８０、および警告情報出力部１９０として機能させてよい。
　また、これに替えて、コンピュータ５０００は、図５から図７を参照して説明した撮像システム２００に組み込まれて、与えられるプログラムに基づいて、撮像システム２００の全体視撮像部２１０および特定対象撮像部２２０，２３０を制御するホストコンピュータとして機能してもよい。コンピュータ５０００が撮像システム２００に組み込まれて撮像システム２００のホストコンピュータとして機能する場合、上記プログラムは、コンピュータ５０００を、例えば、撮像システム２００の撮像データ取得部２４１，２４２、動体識別部２５０、追跡対象特定部２６０、制御部２７０、信号情報取得部２７５、危険状態判定部２８０、および信号情報制御部２９０として機能させる。
　また、これに替えて、コンピュータ５０００は、図８から図１１を参照して説明した撮像システム３００，３０１に組み込まれて、与えられるプログラムに基づいて、撮像システム３００，３０１の全体視撮像部３１０、特定対象撮像部３２０，３３０、および音声情報出力部３８０を制御するホストコンピュータとして機能してもよい。コンピュータ５０００が撮像システム３００，３０１に組み込まれて撮像システム３００，３０１のホストコンピュータとして機能する場合、上記プログラムは、コンピュータ５０００を、例えば、撮像システム３００，３０１の撮像データ取得部３４１，３４２、動体識別部３５０、追跡対象特定部３６０、および制御部３７０として機能させる。
　コンピュータ５０００は、ＣＰＵ周辺部、入出力部、及びレガシー入出力部を備える。ＣＰＵ周辺部は、ホスト・コントローラ５０８２により相互に接続されるＣＰＵ５００５、ＲＡＭ５０２０、グラフィック・コントローラ５０７５、及び表示装置５０８０を有する。入出力部は、入出力コントローラ５０８４によりホスト・コントローラ５０８２に接続される通信インターフェース５０３０、ハードディスクドライブ５０４０、及びＣＤ－ＲＯＭドライブ５０６０を有する。レガシー入出力部は、入出力コントローラ５０８４に接続されるＲＯＭ５０１０、フレキシブルディスク・ドライブ５０５０、及び入出力チップ５０７０を有する。
　ホスト・コントローラ５０８２は、ＲＡＭ５０２０と、高い転送レートでＲＡＭ５０２０をアクセスするＣＰＵ５００５及びグラフィック・コントローラ５０７５とを接続する。ＣＰＵ５００５は、ＲＯＭ５０１０及びＲＡＭ５０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ５０７５は、ＣＰＵ５００５等がＲＡＭ５０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置５０８０上に表示させる。これに代えて、グラフィック・コントローラ５０７５は、ＣＰＵ５００５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
　入出力コントローラ５０８４は、ホスト・コントローラ５０８２と、比較的高速な入出力装置である通信インターフェース５０３０、ハードディスクドライブ５０４０、ＣＤ－ＲＯＭドライブ５０６０を接続する。
　通信インターフェース５０３０は、コンピュータ５０００が撮像システム１００，１０１に組み込まれて撮像システム１００，１０１のホストコンピュータとして機能する場合、ネットワークを介して全体視撮像部１１０および特定対象撮像部１２０，１３０などと通信する。
　また、通信インターフェース５０３０は、コンピュータ５０００が撮像システム２００に組み込まれて撮像システム２００のホストコンピュータとして機能する場合、ネットワークを介して全体視撮像部２１０および特定対象撮像部２２０，２３０などと通信する。
　また、通信インターフェース５０３０は、コンピュータ５０００が撮像システム３００，３０１に組み込まれて撮像システム３００，３０１のホストコンピュータとして機能する場合、ネットワークを介して全体視撮像部３１０、特定対象撮像部３２０，３３０、および音声情報出力部３８０などと通信する。
　ハードディスクドライブ５０４０は、コンピュータ５０００内のＣＰＵ５００５が使用するプログラム及びデータを格納する。ＣＤ－ＲＯＭドライブ５０６０は、ＣＤ－ＲＯＭ５０９５からプログラム又はデータを読み取り、ＲＡＭ５０２０を介してハードディスクドライブ５０４０に提供する。
　また、入出力コントローラ５０８４には、ＲＯＭ５０１０と、フレキシブルディスク・ドライブ５０５０、及び入出力チップ５０７０の比較的低速な入出力装置とが接続される。ＲＯＭ５０１０は、コンピュータ５０００が起動時に実行するブート・プログラムや、コンピュータ５０００のハードウェアに依存するプログラム等を格納する。
　フレキシブルディスク・ドライブ５０５０は、フレキシブルディスク５０９０からプログラム又はデータを読み取り、ＲＡＭ５０２０を介してハードディスクドライブ５０４０に提供する。入出力チップ５０７０は、フレキシブルディスク・ドライブ５０５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
　ＲＡＭ５０２０を介してハードディスクドライブ５０４０に提供されるプログラムは、フレキシブルディスク５０９０、ＣＤ－ＲＯＭ５０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ５０２０を介してコンピュータ５０００内のハードディスクドライブ５０４０にインストールされ、ＣＰＵ５００５において実行される。
　当該プログラムは、コンピュータ５０００にインストールされる。コンピュータ５０００が撮像システム１００，１０１に組み込まれて撮像システム１００，１０１のホストコンピュータとして機能する場合、当該プログラムは、ＣＰＵ５００５等に働きかけて、コンピュータ５０００を、前述した撮像システム１００，１０１における撮像データ取得部１４１，１４２、動体識別部１５０、追跡対象特定部１６０、制御部１７０、信号情報取得部１７５、危険対象識別部１８０、および警告情報出力部１９０として機能させる。
　また、コンピュータ５０００が撮像システム２００に組み込まれて撮像システム２００のホストコンピュータとして機能する場合は、上記プログラムは、ＣＰＵ５００５等に働きかけて、コンピュータ５０００を、前述した撮像システム２００における撮像データ取得部２４１，２４２、動体識別部２５０、追跡対象特定部２６０、制御部２７０、信号情報取得部２７５、危険状態判定部２８０、および信号情報制御部２９０として機能させる。
　また、コンピュータ５０００が撮像システム３００，３０１に組み込まれて撮像システム３００，３０１のホストコンピュータとして機能する場合、上記プログラムは、ＣＰＵ５００５等に働きかけて、コンピュータ５０００を、前述した撮像システム３００，３０１における撮像データ取得部３４１，３４２、動体識別部３５０、追跡対象特定部３６０、および制御部３７０として機能させる。
　以上に示したプログラムは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク５０９０、ＣＤ－ＲＯＭ５０９５の他に、ＤＶＤやＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ５０００に提供してもよい。
　以上、本発明の実施形態について説明したが、本発明の技術的範囲は上記の実施形態に記載された範囲には限定されない。上記の実施形態に、多様な変更または改良を加えることができることは当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
　また、上記第１実施形態に係る撮像システム１００，１０１、上記第２実施形態に係る撮像システム２００、および、上記第３実施形態に係る撮像システム３００，３０１のいずれかのシステムにおける特徴的な構成を他のシステムに用いることが可能なことは当業者に明らかである。
　より具体的には、例えば、上記第１実施形態に係る撮像システム１００，１０１が備える追跡対象特定部１６０は、上記第２実施形態に係る撮像システム２００が備える追跡対象特定部２６０が有する機能を備えてもよく、この場合、追跡対象特定部１６０は、例えば交差点の種類や交差点内の歩行者等の状況などに応じて追跡対象の特定方法を変更してもよい。また、上記第１実施形態に係る撮像システム１００，１０１は、上記第２実施形態に係る撮像システム２００が備える危険状態判定部２８０および信号情報制御部２９０の少なくとも一方を更に備えてもよい。また、上記第１実施形態に係る撮像システム１００，１０１は、上記第３実施形態に係る撮像システム３００，３０１が備える音声情報出力部３８０および音声情報設定部３７５の少なくとも一方を更に備えてもよい。
　また、上記第２実施形態に係る撮像システム２００が備える追跡対象特定部２６０は、上記第１実施形態に係る撮像システム１００，１０１が備える追跡対象特定部１６０が有する機能を備えてもよく、この場合、追跡対象特定部２６０は、例えば交差点の種類や交差点内の歩行者等の状況などに応じて追跡対象の特定方法を変更してもよい。また、上記第２実施形態に係る撮像システム２００は、上記第１実施形態に係る撮像システム１００，１０１が備える危険対象識別部１８０をさらに備えてもよく、この場合、撮像システム２００は、危険状態判定部２８０および危険対象識別部１８０のそれぞれの出力結果から複合的に判断して危険対象を特定してもよい。また、上記第２実施形態に係る撮像システム２００は、上記第１実施形態に係る撮像システム１００，１０１が備える警告情報出力部１９０を更に備えてもよく、この場合、警告情報出力部１９０は、例えば、危険状態判定部２８０によって危険状態であると判定された歩行者に接近する自動車の車載端末へ警告情報を送信してもよい。また、上記第２実施形態に係る撮像システム２００は、上記第３実施形態に係る撮像システム３００，３０１が備える音声情報出力部３８０および音声情報設定部３７５の少なくとも一方を更に備えてもよい。
　また、上記第３実施形態に係る撮像システム３００，３０１が備える追跡対象特定部３６０は、上記第２実施形態に係る撮像システム２００が備える追跡対象特定部２６０が有する機能を備えてもよく、この場合、追跡対象特定部３６０は、例えば交差点の種類や交差点内の歩行者等の状況などに応じて追跡対象の特定方法を変更してもよい。また、上記第３実施形態に係る撮像システム３００，３０１は、上記第１実施形態に係る撮像システム１００，１０１が備える警告情報出力部１９０を更に備えてもよく、この場合、警告情報出力部１９０は、例えば、追跡対象特定部３６０によって追跡対象として特定された歩行者に接近する自動車の車載端末へ警告情報を送信してもよい。また、上記第３実施形態に係る撮像システム３００，３０１は、上記第２実施形態に係る撮像システム２００が備える危険状態判定部２８０および信号情報制御部２９０の少なくとも一方を更に備えてもよい。
１００，１０１…撮像システム
１０５…固定部
１１０…全体視撮像部
１２０，１３０…特定対象撮像部
１１１，１２１，１３１…ＣＣＤカメラ
１１２，１２２，１３２…画像記憶部
１２３，１３３…駆動部
１４１，１４２…撮像データ取得部
１５０…動体識別部
１６０…追跡対象特定部
１７０…制御部
１７１…特定結果取得部
１７２…撮像条件制御部
１７５…信号情報取得部
１８０…危険対象識別部
１９０…警告情報出力部
１５００…交差点
１５１１，１５１２…車道
１５２１，１５２２，１５２３，１５２４…歩道
１５３１，１５３２，１５３３，１５３４…横断歩道
１５４１，１５４２，１５４３，１５４４…自動車用信号
１５５１，１５５２，１５５３，１５５４…歩行者用信号
１６１１，１６１２Ａ～１６１２Ｇ，１６１３，１６１４…歩行者
１６２１Ａ～１６２１Ｅ…自動車
１６３１…二輪車
２００…撮像システム
２０５…固定部
２１０…全体視撮像部
２２０，２３０…特定対象撮像部
２１１，２２１，２３１…ＣＣＤカメラ
２１２，２２２，２３２…画像記憶部
２２３，２３３…駆動部
２４１，２４２…撮像データ取得部
２５０…動体識別部
２６０…追跡対象特定部
２７０…制御部
２７１…特定結果取得部
２７２…撮像条件制御部
２７５…信号情報取得部
２８０…危険状態判定部
２９０…信号情報制御部
２５００…交差点
２５１１，２５１２…車道
２５２１，２５２２，２５２３，２５２４…歩道
２５３１，２５３２，２５３３，２５３４…横断歩道
２５４１，２５４２，２５４３，２５４４…自動車用信号
２５５１，２５５２，２５５３，２５５４…歩行者用信号
２６１１Ａ～２６１１Ｅ，２６１２，２６１３Ａ～２６１３Ｅ，２６１４…歩行者
２６２１Ａ，２６２１Ｂ…自動車
３００，３０１…撮像システム
３０５…固定部
３１０…全体視撮像部
３２０，３３０…特定対象撮像部
３１１，３２１，３３１…ＣＣＤカメラ
３１２，３２２，３３２…画像記憶部
３２３，３３３…カメラ駆動部
３４１，３４２…撮像データ取得部
３５０…動体識別部
３６０…追跡対象特定部
３７０…制御部
３７１…特定結果取得部
３７５…音声情報設定部
３７６…撮像条件制御部
３８０…音声情報出力部
３８１…指向性スピーカ
３８５…スピーカ駆動部
３５００…交差点
３５１１，３５１２…車道
３５２１，３５２２，３５２３，３５２４…歩道
３５３１，３５３２，３５３３，３５３４…横断歩道
３５４１，３５４２，３５４３，３５４４…自動車用信号
３５５１Ａ，３５５１Ｂ，３５５２Ａ，３５５２Ｂ，３５５３Ａ，３５５３Ｂ，３５５４Ａ，３５５４Ｂ…歩行者用信号
３５６１Ａ，３５６１Ｂ，３５６２Ａ，３５６２Ｂ，３５６３Ａ，３５６３Ｂ，３５６４Ａ，３５６４Ｂ…支柱
３６１１Ａ，３６１１Ｂ，３６１１Ｃ，３６１１Ｄ，３６１１Ｅ，３６１２，３６１３，３６１４…歩行者
３６２１Ａ，３６２１Ｂ…自動車
５０００…コンピュータ
５００５…ＣＰＵ
５０１０…ＲＯＭ
５０２０…ＲＡＭ
５０３０…通信インターフェース
５０４０…ハードディスクドライブ
５０５０…フレキシブルディスク・ドライブ
５０６０…ＣＤ－ＲＯＭドライブ
５０７０…入出力チップ
５０７５…グラフィック・コントローラ
５０８０…表示装置
５０８２…ホスト・コントローラ
５０８４…入出力コントローラ
５０９０…フレキシブルディスク
５０９５…ＣＤ－ＲＯＭ
 

Claims (22)

  1. 　交差点に設けられる撮像システムであって、
    　前記交差点内および前記交差点周辺を移動する複数の対象を撮像する全体視撮像部と、
    　前記交差点に設置された一対の歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得する信号情報取得部と、
    　前記信号情報に基づいて、前記全体視撮像部の撮像データから事故の危険性の高い前記対象を追跡対象として特定する追跡対象特定部と、
    　前記全体視撮像部の撮像素子における画素密度よりも高い画素密度の撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、
    　前記特定対象撮像部の撮像方向および焦点を制御する制御部と、
    　を備えることを特徴とする撮像システム。
  2. 　前記追跡対象特定部は、前記交差点内を移動する前記対象および前記交差点周辺から前記交差点内へ向けて移動する前記対象のうち、互いに接触することが予見される前記対象を前記追跡対象とすることを特徴とする請求項１に記載の撮像システム。
  3. 　前記追跡対象特定部は、前記交差点内で立ち止まった歩行者を前記追跡対象とすることを特徴とする請求項２に記載の撮像システム。
  4. 　前記追跡対象特定部は、前記追跡対象が複数特定される場合に、当該追跡対象の各々に対して事故の危険性を示す危険度の高い順に識別ＩＤを割り当て、
    　前記制御部は、前記識別ＩＤに基づいて、前記危険度の最も高い前記追跡対象を前記特定対象撮像部に撮像させることを特徴とする請求項１から３のいずれか１項に記載の撮像システム。
  5. 　前記特定対象撮像部からの撮像データに基づいて前記危険度が所定レベル以上である前記追跡対象を危険対象として識別する危険対象識別部をさらに備えることを特徴とする請求項４に記載の撮像システム。
  6. 　前記危険対象識別部は、前記信号情報取得部から前記信号情報を取得し、歩行者が横断不可であることを当該信号情報が示す場合に、前記交差点内の歩行者を前記危険対象として識別することを特徴とする請求項５に記載の撮像システム。
  7. 　前記全体視撮像部は、前記複数の対象とともに前記交差点に設置された信号の点灯状態を撮像し、
    　前記危険対象識別部は、前記全体視撮像部の撮像データを取得して、前記点灯状態が歩行者が横断不可であることを示す場合に、前記交差点内の歩行者を前記危険対象として識別することを特徴とする請求項５に記載の撮像システム。
  8. 　前記危険対象に対して警告情報を発する警告情報出力部をさらに備えることを特徴とする請求項５から７のいずれか１項に記載の撮像システム。
  9. 　前記警告情報出力部は、前記危険対象である自動車の車載端末へ、前記警告情報を送信することを特徴とする請求項８に記載の撮像システム。
  10. 　交差点に設けられる撮像システムであって、
    　前記交差点内を移動する歩行者を撮像する全体視撮像部と、
    　予め定められた条件に基づいて、前記全体視撮像部の撮像データから追跡対象とすべき前記歩行者を特定する追跡対象特定部と、
    　前記全体視撮像部の撮像素子における画素密度よりも高い画素密度の撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、
    　前記特定対象撮像部の撮像データに基づいて、前記追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する危険状態判定部と、
    　を備えることを特徴とする撮像システム。
  11. 　前記追跡対象特定部は、複数の前記歩行者を移動方向に基づいてグループに分類し、前記グループの最後尾の前記歩行者を前記追跡対象とすることを特徴とする請求項１０に記載の撮像システム。
  12. 　前記追跡対象特定部は、前記交差点内で立ち止まった前記歩行者を前記追跡対象とすることを特徴とする請求項１０に記載の撮像システム。
  13. 　前記危険状態判定部は、前記特定対象撮像部の撮像データから前記追跡対象の姿勢の変化を検出し、交差点内で倒れているか、または蹲っている前記追跡対象を前記危険状態であると判定することを特徴とする請求項１２に記載の撮像システム。
  14. 　前記交差点に設置された一対の歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得して前記危険状態判定部へと出力する信号情報取得部をさらに備え、
    　前記危険状態判定部は、前記信号情報取得部からの前記信号情報が、歩行者が横断不可であることを前記歩行者用信号が示す場合、又は、自動車が通行可能であることを前記自動車用信号が示す場合に、前記交差点内の前記歩行者を前記危険状態であると判定することを特徴とする請求項１０から１３のいずれか１項に記載の撮像システム。
  15. 　前記危険状態判定部が前記交差点内の前記歩行者を前記危険状態であると判定したことに応じて、前記自動車用信号を、自動車が通行不可であることを示す点灯状態とする信号情報制御部をさらに備えることを特徴とする請求項１４に記載の撮像システム。
  16. 　交差点に設けられる撮像システムであって、
    　前記交差点内および前記交差点周辺を移動する複数の対象を撮像する全体視撮像部と、
    　予め定められた条件に基づいて、前記全体視撮像部の撮像データから追跡対象を特定する追跡対象特定部と、
    　前記全体視撮像部の撮像素子よりも画像解像度が高い撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、
    　前記追跡対象に対する指向性を持たせた音声情報を出力する音声情報出力部と、
    　を備えることを特徴とする撮像システム。
  17. 　前記音声情報の内容を前記追跡対象の状態に応じた内容に設定する音声情報設定部をさらに備えることを特徴とする請求項１６に記載の撮像システム。
  18. 　前記追跡対象特定部は、前記交差点内を移動する前記対象および前記交差点周辺から前記交差点内へ向けて移動する前記対象のうち、互いに接触することが予見される前記対象を前記追跡対象として特定し、
    　前記音声情報設定部は、前記音声情報の内容を、他の前記対象と接触する危険性がある旨の内容に設定することを特徴とする請求項１７に記載の撮像システム。
  19. 　前記追跡対象特定部は、前記交差点内で立ち止まった歩行者を前記追跡対象として特定し、
    　前記音声情報設定部は、前記音声情報の内容を、前記交差点内からの退避を促す旨の内容に設定することを特徴とする請求項１７に記載の撮像システム。
  20. 　前記追跡対象特定部は、前記追跡対象が複数特定される場合に、当該追跡対象の各々に対して事故の危険性を示す危険度の高い順に当該危険度を識別する識別ＩＤを割り当て、
    　前記特定対象撮像部は、前記識別ＩＤに基づいて、最も前記危険度の高い前記追跡対象を追跡しながら撮像し、
    　前記音声情報出力部は、当該追跡対象に対して前記音声情報を出力することを特徴とする請求項１６から１９のいずれか１項に記載の撮像システム。
  21. 　前記音声情報設定部は、前記識別ＩＤに対応付けて前記音声情報の内容を設定し、
    　前記音声情報出力部は、それぞれの前記追跡対象に対して、割り当てられた前記識別ＩＤに対応する前記音声情報を出力することを特徴とする請求項２０に記載の撮像システム。
  22. 　前記音声情報出力部は、超音波を搬送波とし、音波を変調波とする指向性スピーカを有し、
    　前記指向性スピーカは、前記追跡対象の方向を中心とする狭い領域に前記音声情報を出力することを特徴とする請求項１６から２１のいずれか１項に記載の撮像システム。
     
PCT/JP2010/067481 2009-10-06 2010-10-05 撮像システム WO2011043350A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009232214A JP2011081533A (ja) 2009-10-06 2009-10-06 撮像システム
JP2009232786A JP2011081567A (ja) 2009-10-06 2009-10-06 撮像システム
JP2009-232214 2009-10-06
JP2009-232786 2009-10-06

Publications (1)

Publication Number Publication Date
WO2011043350A1 true WO2011043350A1 (ja) 2011-04-14

Family

ID=43856803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/067481 WO2011043350A1 (ja) 2009-10-06 2010-10-05 撮像システム

Country Status (1)

Country Link
WO (1) WO2011043350A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016533066A (ja) * 2014-06-03 2016-10-20 シャオミ・インコーポレイテッド 撮影制御方法、撮影制御装置、端末、プログラム及び記録媒体
US9584725B2 (en) 2014-06-03 2017-02-28 Xiaomi Inc. Method and terminal device for shooting control
US20220261577A1 (en) * 2021-02-17 2022-08-18 Electronics And Telecommunications Research Institute Method and apparatus for reidentification

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215294A (ja) * 1993-01-13 1994-08-05 Mitsubishi Electric Corp 交差点情報伝達装置
JPH06251285A (ja) * 1993-03-01 1994-09-09 Koito Ind Ltd 信号無視車両検出装置
JPH10162288A (ja) * 1996-11-28 1998-06-19 Mitsubishi Heavy Ind Ltd 交差点通過車両監視システム
JPH11185194A (ja) * 1997-12-22 1999-07-09 Mitsubishi Heavy Ind Ltd 車両検知装置
JPH11203590A (ja) * 1997-05-28 1999-07-30 Hitachi Denshi Ltd 交通監視用テレビシステム
WO2001067393A1 (fr) * 2000-03-10 2001-09-13 Mkc Stat Corporation Dispositif et procede de traitement d'images, et support d'enregistrement sur lequel le programme relatif a ce procede de traitement est enregistre
JP2006146429A (ja) * 2004-11-17 2006-06-08 Mitsubishi Electric Corp 自動追尾装置
JP2008040685A (ja) * 2006-08-03 2008-02-21 Mitsubishi Electric Engineering Co Ltd 音響信号機

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215294A (ja) * 1993-01-13 1994-08-05 Mitsubishi Electric Corp 交差点情報伝達装置
JPH06251285A (ja) * 1993-03-01 1994-09-09 Koito Ind Ltd 信号無視車両検出装置
JPH10162288A (ja) * 1996-11-28 1998-06-19 Mitsubishi Heavy Ind Ltd 交差点通過車両監視システム
JPH11203590A (ja) * 1997-05-28 1999-07-30 Hitachi Denshi Ltd 交通監視用テレビシステム
JPH11185194A (ja) * 1997-12-22 1999-07-09 Mitsubishi Heavy Ind Ltd 車両検知装置
WO2001067393A1 (fr) * 2000-03-10 2001-09-13 Mkc Stat Corporation Dispositif et procede de traitement d'images, et support d'enregistrement sur lequel le programme relatif a ce procede de traitement est enregistre
JP2006146429A (ja) * 2004-11-17 2006-06-08 Mitsubishi Electric Corp 自動追尾装置
JP2008040685A (ja) * 2006-08-03 2008-02-21 Mitsubishi Electric Engineering Co Ltd 音響信号機

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016533066A (ja) * 2014-06-03 2016-10-20 シャオミ・インコーポレイテッド 撮影制御方法、撮影制御装置、端末、プログラム及び記録媒体
US9584725B2 (en) 2014-06-03 2017-02-28 Xiaomi Inc. Method and terminal device for shooting control
US20220261577A1 (en) * 2021-02-17 2022-08-18 Electronics And Telecommunications Research Institute Method and apparatus for reidentification

Similar Documents

Publication Publication Date Title
US10387733B2 (en) Processing apparatus, processing system, and processing method
US11034294B2 (en) Driving notification method and driving notification system
JP4622928B2 (ja) 車載カメラ制御装置および車載カメラ制御方法。
US20150332103A1 (en) Processing apparatus, computer program product, and processing method
CN108248602B (zh) 信息处理装置、信息处理方法以及记录介质
JP2010067262A (ja) インテリジェント走行支援システム
JP6815262B2 (ja) 交通違反検知装置、システム、交通違反検知方法およびプログラム
CN111186432B (zh) 一种车辆盲区预警的方法及装置
ES2603002T3 (es) Sistema de asistencia al conductor para vehículos, en particular vehículos industriales
CN108242182B (zh) 信息处理装置、信息处理方法以及记录介质
JP4590962B2 (ja) 車両用周辺監視装置
JP2006295676A (ja) 移動体用撮像装置
JP2002074594A (ja) 障害物検知システム
JP6046327B2 (ja) 車両用蛇行運転検出装置
JP4775034B2 (ja) 画像認識システムおよび画像認識方法
WO2011043350A1 (ja) 撮像システム
JP2010281781A (ja) 走行車線検出装置
JP7051326B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018074286A (ja) 運転支援装置
JP2009146153A (ja) 移動体検出装置、移動体検出方法および移動体検出プログラム
JP2017126213A (ja) 交差点状況確認システム、撮像装置、車載装置、交差点状況確認プログラムおよび交差点状況確認方法
JP2011043943A (ja) 撮像システム
JP6953228B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20220404163A1 (en) Vehicle Surroundings Information Displaying System and Vehicle Surroundings Information Displaying Method
JP2011081567A (ja) 撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10822020

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10822020

Country of ref document: EP

Kind code of ref document: A1