WO2022009506A1 - 撮影装置 - Google Patents

撮影装置 Download PDF

Info

Publication number
WO2022009506A1
WO2022009506A1 PCT/JP2021/016438 JP2021016438W WO2022009506A1 WO 2022009506 A1 WO2022009506 A1 WO 2022009506A1 JP 2021016438 W JP2021016438 W JP 2021016438W WO 2022009506 A1 WO2022009506 A1 WO 2022009506A1
Authority
WO
WIPO (PCT)
Prior art keywords
shooting
unit
image
photographing
vehicle
Prior art date
Application number
PCT/JP2021/016438
Other languages
English (en)
French (fr)
Inventor
義喜 間嶋
広幸 小林
拓也 二神
雄介 高橋
達哉 大嶽
紀康 加藤
陽平 服部
Original Assignee
株式会社 東芝
東芝インフラシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝, 東芝インフラシステムズ株式会社 filed Critical 株式会社 東芝
Priority to CN202180036095.0A priority Critical patent/CN115668965A/zh
Priority to EP21837198.7A priority patent/EP4181500A1/en
Publication of WO2022009506A1 publication Critical patent/WO2022009506A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0072—On-board train data handling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0081—On-board diagnosis or maintenance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02—Indicating or recording positions or identities of vehicles or trains
    • B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/02—Head or tail indicators, e.g. light

Definitions

  • the embodiment according to the present invention relates to a photographing device.
  • a camera is installed in front of the vehicle for monitoring purposes.
  • the quality (for example, contrast) of camera images taken in scenes with significant changes in illuminance, such as tunnels and homes where overexposure and underexposure are likely to occur, may be significantly reduced. It is difficult to detect obstacles using image recognition technology for such degraded images.
  • Japanese Unexamined Patent Publication No. 2018-037061 Japanese Unexamined Patent Publication No. 2018-002007 Japanese Unexamined Patent Publication No. 2009-027651 Japanese Unexamined Patent Publication No. 2019-22115 Japanese Unexamined Patent Publication No. 2018-181254
  • the purpose is to provide a shooting device that can suppress deterioration of the quality of shot images due to changes in the environment.
  • the photographing apparatus includes a photographing unit, a vehicle information acquisition unit, and a photographing parameter updating unit.
  • the shooting unit is a shooting unit provided in the vehicle, and shoots a shooting target based on shooting parameters related to shooting conditions.
  • the vehicle information acquisition unit acquires driving environment information of a moving vehicle.
  • the shooting parameter update unit updates the shooting parameters based on the image shot by the shooting unit and the driving environment information acquired by the vehicle information acquisition unit.
  • Drivers are required to quickly discover factors that can hinder driving when driving railway vehicles. For example, when the driver finds an obstacle such as a flying object or an animal that may be an obstacle near the railroad track in the traveling direction of the vehicle, the driver promptly stops the vehicle in an emergency.
  • an obstacle detection may be performed using a photographing device such as a camera.
  • the first embodiment shows an example of detecting an obstacle in the vicinity of a railroad track in front of a railroad vehicle with higher accuracy while the railroad vehicle is traveling.
  • FIG. 1 is a diagram schematically showing a configuration of a monitoring system 100 including a photographing device 1 in the first embodiment.
  • the monitoring system 100 is mounted on a railroad vehicle RV that travels along a direction G on a traveling track R composed of a pair.
  • the monitoring system 100 includes a photographing device 1, a detecting device 2, and an interface device 3.
  • the photographing device 1 is installed near the driver's seat window, for example, and can photograph a landscape in the traveling direction G (front of the railway vehicle) of the railway vehicle RV.
  • FIG. 2 is a diagram illustrating the functional configuration of each device included in the monitoring system 100 in the first embodiment.
  • the photographing device 1 includes a vehicle information acquisition unit 1A, a photographing unit 1B, an image acquisition unit 1C, a photographing parameter updating unit 1D, and an image output unit 1E.
  • the detection device 2 includes a detection unit 2A and a detection result output control unit 2B.
  • the interface device 3 includes a detection result output unit 3A.
  • the vehicle information acquisition unit 1A possessed by the photographing device 1 has a function of acquiring peripheral information of the vehicle, and includes a weather information acquisition unit 1A1, an operation information acquisition unit 1A2, a current position information acquisition unit 1A3, and a headlight. It is provided with a light information acquisition unit 1A4.
  • the weather information acquisition unit 1A1 has a function of acquiring information on the weather such as sunny weather, cloudy weather, rain, snow, hail, wind direction, wind speed, and position of the sun when the vehicle is running or stopped.
  • the operation information acquisition unit 1A2 has a function of acquiring vehicle information such as the current speed that can be acquired when the vehicle is operating, the traveling direction in traveling, the track shape to be traveled, and equipment information.
  • the current position information acquisition unit 1A3 has a function of acquiring the current position information of the vehicle.
  • the headlight information acquisition unit 1A4 has a function of acquiring information such as the brightness of the headlight installed in front of the vehicle and the irradiation angle.
  • the vehicle information acquisition unit 1A acquires the traveling environment information of the running railway vehicle RV (vehicle).
  • the driving environment information is, for example, at least one of the weather condition, speed, direction of travel, track information to be traveled, equipment information to be traveled, position, and headlight condition around the railroad vehicle RV as described above. Including one.
  • the vehicle information acquisition unit 1A may acquire the traveling environment information from various sensors provided in the railway vehicle RV, for example, or may acquire the traveling environment information by communicating with the outside of the railway vehicle RV.
  • the vehicle information acquisition unit 1A sends vehicle environment information to the shooting parameter update unit 1D.
  • the shooting unit 1B included in the shooting device 1 refers to a shooting device that is shot based on the shooting parameters set by the shooting parameter determination unit 1D3.
  • the shooting unit 1B is provided on the railway vehicle RV and shoots the shooting target based on the shooting parameters related to the shooting conditions.
  • the captured image is acquired by the image acquisition unit 1C.
  • the shooting conditions include, for example, the shutter speed, gain, aperture value, HDR (High Dynamic Range) parameter of the shooting unit 1B, and at least one of the angle of view.
  • the object to be photographed includes, for example, a travel path (travel track R) of a railway vehicle RV, a periphery of the travel path, and at least one of signs provided in the periphery.
  • the shooting target may be changed depending on the monitoring target or the monitoring purpose.
  • the image acquisition unit 1C possessed by the imaging device 1 acquires an image captured by the imaging unit 1B. That is, the image acquisition unit 1C acquires a captured image to be captured by the imaging unit 1B based on the imaging parameters.
  • the image acquisition unit 1C sends the captured image to the imaging parameter updating unit 1D.
  • the shooting unit 1B sends the shot image to the image acquisition unit 1C and the image output unit 1E, and receives the shooting parameters from the shooting parameter updating unit 1D.
  • the shooting parameter updating unit 1D included in the shooting device 1 includes a shooting parameter dictionary unit 1D1, a shooting parameter adjustment area determination unit 1D2, and a shooting parameter determination unit 1D3.
  • the shooting parameter dictionary unit 1D1 is a reference dictionary unit for acquiring an adjustment area that serves as a reference for adjusting shooting parameters and a reference value such as an image feature amount. At this time, the value input to the reference dictionary is referred to based on the above-mentioned information obtained by the vehicle information acquisition unit 1A.
  • the shooting parameter adjustment area determination unit 1D2 sets the adjustment area referred to by the shooting parameter dictionary unit 1D1 described above.
  • the shooting parameter determination unit 1D3 sets the value of each shooting parameter based on the set adjustment area and the image obtained by the image acquisition unit 1C so as not to cause overexposure or underexposure.
  • the shooting parameters shown here are parameters (values) of shooting conditions such as shutter speed, gain, aperture value, HDR parameter, and angle of view.
  • the information obtained by the vehicle information acquisition unit 1A described above may be referred to in order to determine the shooting parameters.
  • the shooting parameter updating unit 1D updates the shooting parameters based on the shooting image acquired by the image acquisition unit 1C (shooting image taken by the shooting unit 1B) and the driving environment information acquired by the vehicle information acquisition unit 1A. do.
  • the shooting unit 1B shoots a shooting target based on the updated shooting parameters.
  • the image acquisition unit 1C acquires a captured image to be captured, which is captured by the imaging unit 1B based on the updated imaging parameters.
  • the photographing device 1 can photograph the imaged object while suppressing deterioration of the quality of the photographed image (for example, overexposure or underexposure) due to changes in the environment.
  • the shooting parameter updating unit 1D receives the driving environment information and the shooting image from the vehicle information acquisition unit 1A and the image acquisition unit 1C, respectively, and sends the shooting parameters to the shooting unit 1B.
  • the image output unit 1E possessed by the photographing device 1 receives the photographed object acquired by the image acquisition unit 1C described above and outputs the photographed object to the detection unit 2A possessed by the detection device 2 described later.
  • the detection device 2 includes a detection unit 2A and a detection result output control unit 2B.
  • the detection unit 2A included in the detection device 2 acquires an imaged object from the image output unit 1E described above and detects an obstacle.
  • the detection unit 2A detects an abnormality of the shooting target based on the image.
  • the abnormality of the object to be photographed is not limited to an obstacle on the traveling track R, and may be, for example, an animal approaching the vicinity of the traveling track R, an abnormality of a sign, or the like.
  • the detection result output control unit 2B of the detection device 2 outputs the result of obstacle detection to the detection result output unit 3A of the interface device 3, which will be described later.
  • the interface device 3 includes a detection result output unit 3A.
  • the detection result output unit 3A of the interface device 3 acquires the obstacle detection result from the detection result output control unit 2B described above and notifies the result through each interface device.
  • the targets to be notified are drivers, passengers, railway command centers, ordinary people around the road, animals, and so on.
  • the notification method is not specified as long as it is in a format that can be understood by the person receiving the notification.
  • the understandable format is, for example, when the person to be notified is in the car, the notification is made through the description such as the display or bulletin board in the vehicle or the attached speaker, or when the person to be notified is outside the car, the horn or the outside of the vehicle. Notification by voice such as a speaker, etc. That is, the detection result output unit 3A as a display device displays an image or a detection result of the detection device 2.
  • FIG. 3 shows an operation flow diagram of the monitoring system 100 in the first embodiment.
  • FIG. 3 shows, for example, a flowchart of an operation in which a shooting parameter is updated once.
  • the operation shown in FIG. 3 is repeatedly executed, for example, while the railway vehicle RV is running.
  • the vehicle information acquisition unit 1A acquires weather information, operation information, current position, and headlight information for determining shooting parameters.
  • the weather information refers to, for example, sunny, cloudy, rainy, snowy, hail, wind direction, wind speed, position of the sun, etc. when the vehicle is running or stopped.
  • the operation information refers to information including, for example, a track shape in a traveling direction, a track branch, a tunnel for equipment information, a station platform, an overpass, and a railroad crossing.
  • the current position information refers to, for example, the current position of a railroad vehicle RV using a position detection device called GNSS (Global Navigation Satellite System) or TG (Tachogenerator).
  • GNSS Global Navigation Satellite System
  • TG achogenerator
  • the current position is expressed in, for example, latitude / longitude or kilometers.
  • the kilometer indicates the traveling position of the vehicle expressed in units of 100 m from the starting point such as the starting station, and the latitude / longitude indicates the measured value that can be acquired from the position detecting device.
  • the headlight information refers to the brightness and irradiation angle of the headlights installed in front of the railway vehicle RV.
  • step S002 the image acquisition unit 1C acquires an image to be captured by the photographing unit 1B.
  • the image taken in step S002 is the image before adjusting the shooting parameters. For example, assuming that the time of the image for which the detection process is performed is t, the image taken at the time t-1 is used. At this time, an image taken by adjusting the shooting parameters at time t-1 may be used.
  • the shooting parameter updating unit 1D acquires the adjustment area and the reference value of the image feature amount from the shooting parameter dictionary unit 1D1 based on the acquired information.
  • the reference value of the image feature amount may also be referred to as a feature reference value.
  • FIG. 4 is a diagram showing an example of an adjustment area referred to from a shooting parameter dictionary and a reference value of an image feature amount.
  • FIG. 4A is relational information showing the correspondence between the driving environment information and the adjustment area and the feature reference value stored in the shooting parameter dictionary unit 1D1.
  • a plurality of correspondence relationships (for example, n in the example shown in FIG. 4A) are stored in the shooting parameter dictionary unit 1D1.
  • FIG. 4B shows a photographed image and an adjustment area in the photographed image.
  • Candidates for the adjustment area include, for example, any square on the shooting screen divided by an arbitrary size and shape such as a quadrangle. Further, by selecting a plurality of each cell, it is possible to select an adjustment area that can be enlarged / reduced and an adjustment area that is not limited to the selection of adjacent cells.
  • FIG. 4B shows the adjustment regions A1 and A2. The adjustment area may change depending on the driving environment information.
  • FIG. 5 is a diagram showing an example of selection of the adjustment region A in the railway vehicle RV traveling near the tunnel T.
  • FIG. 5A is a view of the railway vehicle RV as viewed from above.
  • FIG. 5B shows a photographed image taken from a railroad vehicle RV.
  • a set of squares near the traveling line R is acquired as the adjustment region A from the candidate AC of the adjustment region divided into a matrix of 64 squares on the shooting screen C. That is, even if the line is curved, the adjustment area A is set according to the shape of the line.
  • the reference value of the image feature amount may be used, for example, based on the edge amount in the adjustment area of the acquired image.
  • the reference value is, for example, the amount of edge in the adjustment area judged to be sufficiently clear by the driver or the manager.
  • a reference value of an edge amount suitable for the adjustment area can be obtained according to each weather, operation information, current position, and headlight. Based on this reference value, the shooting parameters are dynamically determined in a later step.
  • the shooting parameter update unit 1D acquires a predetermined image feature in the adjustment region from the image acquired in step S002 by using image processing or signal processing.
  • the image feature refers to an image feature set in the shooting parameter dictionary, and is, for example, an edge amount.
  • the image feature amount is not limited to the edge amount, and may be another feature amount.
  • step S005 the shooting parameter updating unit 1D determines whether or not the shooting parameter needs to be updated. For example, if the acquired image feature amount is within the range of the reference value of the image feature amount referred to in the shooting parameter dictionary, it is not necessary to update the shooting parameter.
  • the shooting parameter update unit 1D determines that the update is unnecessary, the process proceeds to step S009 and the process is continued.
  • the shooting parameter updating unit 1D determines that the shooting parameter is updated if the acquired image feature amount is within the range of the feature reference value, and proceeds to step S006.
  • the shooting parameter update unit 1D updates the shooting parameters.
  • the shooting parameters refer to parameters (values) of shooting conditions such as shutter speed, gain, aperture value, HDR parameters, and angle of view.
  • the shooting parameters may be determined from a dictionary that summarizes certain rules based on knowledge, such as increasing the shooting parameters of gain by one step. This dictionary may include the correspondence between the driving environment information and the shooting parameters.
  • the objective function may be set, and the shooting parameters may be determined so as to minimize the objective function.
  • the shooting parameter update unit 1D updates the shooting parameters based on the adjustment area set from the shot image. More specifically, the shooting parameter update unit 1D updates the shooting parameters so as to maintain or improve the image quality in the adjustment region.
  • step S007 the shooting parameter updating unit 1D transmits the adjusted shooting parameter to the shooting unit 1B.
  • step S008 the photographing unit 1B applies the received adjusted imaging parameters and performs imaging again.
  • the image acquisition unit 1C acquires an image taken again by the photographing unit 1B.
  • step S009 the image acquisition unit 1C applies the adjusted shooting parameters and transmits the acquired image to the image output unit 1E.
  • the image acquisition unit 1C outputs an image acquired before adjusting the shooting parameters (an image shot by the unadjusted shooting parameters) to the image output unit 1E. Send to.
  • step S010 the image output unit 1E transmits the received image to the detection device 2.
  • step S011 the detection device 2 carries out a detection process for detecting an object from the received image.
  • the detection result may be displayed on the image. Further, the detection result may not be clearly shown on the image and may be described in a separate file.
  • known examples such as Patent Document 4 and Patent Document 5 may be referred to.
  • step S012 the detection result output unit 3A of the interface device 3 notifies the detection result obtained in the above-mentioned step S011.
  • the notification method is display / drawing of a detection output image through a device capable of outputting an image such as a display
  • the display / drawing update frequency is not set appropriately, the driver's vehicle operation will be hindered.
  • the driver may change the brightness of the image or flicker on the screen due to a sudden change in the driving environment. It may interfere with the operation of the vehicle.
  • the frequency of displaying / updating the detection result image drawn on the device of the interface device 3 may be the same as or less than the frequency of detection by the detection device 2.
  • a dictionary (see FIG. 4A) that outputs the adjustment area of the imaging parameter and the reference value of the image feature amount by inputting each environmental condition when setting the imaging parameter is provided. Used.
  • This dictionary may be pre-obtained from the vehicle on which it is mounted. In addition, this dictionary may be collected in advance by simulation on software.
  • FIG. 4 (a) An example of the specific structure of the dictionary is as shown in FIG. 4 (a). That is, the shooting parameter updating unit 1D uses the weather information, the operation information, the current position, and the headlight information acquired from the vehicle information acquisition unit 1A of the photographing device 1 as keys, and sets the adjustment area and the reference value of the image feature amount. Get as a value. An example of each adjustment area is as shown in the figure.
  • FIG. 6 is a diagram illustrating an example of performing obstacle detection while traveling in the vicinity of the tunnel T entrance and the vicinity of the tunnel T exit.
  • FIG. 6A shows an example of the positional relationship of the railway vehicle RV with respect to the tunnel T.
  • FIG. 6 (b) is almost the same as FIG. 4 (b).
  • the shooting situation ST1 just before passing through the tunnel T entrance will be described as an example.
  • the detection device 2 detects an obstacle immediately before passing through the tunnel T entrance
  • the area where the obstacle is detected is on the line inside the tunnel, so it is necessary to dynamically determine the adjustment area and the photographing parameter.
  • the weather information acquired from the vehicle information acquisition unit 1A is sunny
  • the operation information is that the shape of the next track is straight
  • the equipment information is the tunnel entrance
  • the current position is latitude X1 °, longitude Y1 °
  • the headlights are off. ..
  • the shooting parameter updating unit 1D refers to the adjustment area and the reference value of the image feature amount from the shooting parameter dictionary unit 1D1 shown in FIG. 4A, and is displayed on the shooting screen C1 of FIG. 6B.
  • the adjustment area A1 is acquired.
  • the shooting parameter updating unit 1D determines the shooting parameters based on the adjustment area A1 and the image information acquired by the image acquisition unit 1C.
  • the photographing parameter updating unit 1D focuses on the adjustment area A1 and acquires an image feature amount from image processing or signal processing.
  • the image feature amount refers to, for example, an edge amount.
  • the shooting parameter updating unit 1D determines that the shooting parameter update is unnecessary.
  • the shooting parameter updating unit 1D determines that the shooting parameter needs to be updated.
  • the shooting parameter updating unit 1D determines the shooting parameters from a dictionary that summarizes certain rules based on knowledge, such as increasing the shooting parameters such as gain by one step. Since the adjustment area of the shooting parameter update unit 1D is on the line inside the tunnel T, for example, the shutter speed is set to 1 / 30s, the gain is increased, the aperture value (F value) is set low, and the HDR parameter is set to the EV value. It is acquired in two steps, and the angle of view is set higher so that the inside of the adjustment area is displayed in the center of the image.
  • the shooting parameter updating unit 1D applies the determined shooting parameter to the shooting unit 1B, and the image acquisition unit 1C acquires an image again. After that, the image output unit 1E outputs an image to the detection device 2, and the detection device 2 performs detection processing with an image more suitable for obstacle detection.
  • the shooting parameter updating unit 1D sets (determines) at least a predetermined area (adjustment area) including the shooting target from the shot image based on the driving environment information acquired by the vehicle information acquisition unit 1A. More specifically, the shooting parameter updating unit 1D acquires the vehicle information acquisition unit 1A in the first relationship in which the driving environment information obtained in advance and the adjustment area in the photographed image obtained in advance are related. By applying the driving environment information to be performed, the adjustment area is set from the captured image captured by the photographing unit 1B.
  • the "driving environment information obtained in advance” includes, for example, the past running environment information of the railway vehicle RV acquired in the past by the vehicle information acquisition unit 1A, the running environment information obtained by simulation, and the like.
  • the "preliminarily obtained captured image” includes, for example, a past captured image acquired by the image acquisition unit 1C in the past (photographed by the photographing unit 1B in the past), a captured image obtained by simulation, or the like. Simulation is, for example, simulating vehicle running on software. Since it is costly to actually acquire driving environment information and captured images on site, the above simulation may be used.
  • the "driving environment information acquired by the vehicle information acquisition unit 1A" indicates the current (running) driving environment information. The current driving environment information may be used for updating shooting parameters as past driving environment information in the future.
  • the “photographed image captured by the photographing unit 1B” indicates a current (running) photographed image.
  • the currently captured image may be used as a past captured image for updating the imaging parameters in the future.
  • the first relationship is a part of the shooting parameter dictionary unit 1D1.
  • the adjustment area of the shooting parameter dictionary unit 1D1 may be selected from, for example, a shot image obtained in advance by the driver or a manager, and is selected by specifying a shooting target from the shot image obtained in advance by image recognition. May be done.
  • the shooting parameter updating unit 1D acquires the feature reference value of the image feature amount in the adjustment region based on the driving environment information acquired by the vehicle information acquisition unit 1A.
  • the feature reference value is an image feature amount in the adjustment region in the captured image obtained in advance. More specifically, the shooting parameter updating unit 1D applies the driving environment information acquired by the vehicle information acquisition unit 1A to the second relationship in which the driving environment information obtained in advance and the feature reference value are related. By doing so, the feature reference value is acquired.
  • the second relationship is a part of the shooting parameter dictionary unit 1D1.
  • the photographing parameter dictionary unit 1D1 including the first relation and the second relation includes the past traveling environment information of the railway vehicle RV acquired in the past by the vehicle information acquisition unit 1A and the photographing unit.
  • the adjustment area and the feature reference value in the past captured image taken by 1B in the past are related to each other.
  • the shooting parameter update unit 1D updates the shooting parameter every time the adjustment area is set. More specifically, the shooting parameter updating unit 1D determines whether or not to update the shooting parameter each time the adjustment area is updated. Further, the shooting parameter updating unit 1D updates the shooting parameters based on the comparison between the image feature amount and the feature reference value in the adjustment area set from the shot image. More specifically, the shooting parameter updating unit 1D updates the shooting parameter when the image feature amount in the adjustment area set from the shot image is outside the predetermined range including the feature reference value. The shooting parameter update unit 1D does not update the shooting parameter when the image feature amount in the adjustment area set from the shot image is within a predetermined range. Therefore, when the image feature amount is within a predetermined range, the captured image is sufficiently useful for obstacle detection, and the update process of the captured parameter can be omitted.
  • the shooting situation ST2 which is just before passing through the tunnel T exit, will be described as an example.
  • the area where obstacles are detected is on the track outside the tunnel T, so there is a possibility that the adjustment area and shooting parameters are dynamically determined as in the shooting status ST1. expensive.
  • the weather information acquired from the vehicle information acquisition unit 1A is sunny, the operation information is the next track shape is straight, the equipment information is the tunnel exit, the current position is latitude X2 °, longitude Y2 °, the headlights are on, and the headlights. It is assumed that the lighting angle is Z1 °.
  • the shooting parameter updating unit 1D refers to the adjustment area and the reference value of the image feature amount from the shooting parameter dictionary unit 1D1 shown in FIG. 4A, and is displayed on the shooting screen C2 of FIG. 6B.
  • the adjustment area A2 is acquired.
  • the shooting parameter updating unit 1D determines the shooting parameters based on the adjustment area A2 and the image information acquired by the image acquisition unit 1C. Similar to the shooting status ST1, the shooting parameter update unit 1D obtains the image feature amount from the image obtained from the image feature amount in the adjustment region by image processing or signal processing. The shooting parameter update unit 1D compares the obtained image feature amount with the reference value of the image feature amount referred to by the shooting parameter dictionary unit 1D1 and determines whether or not the shooting parameter needs to be updated. If it is necessary to update, the shooting parameter update unit 1D sets the aperture value (F value) to, for example, a shutter speed of 1 / 30s and a low gain because the adjustment area is on the line outside the tunnel T.
  • F value aperture value
  • the detection device 2 performs obstacle detection in the same manner as in the shooting status ST1 and detects the obstacle with higher accuracy.
  • the shooting parameter updating unit 1D sets (updates) the adjustment area in the shooting image again for each predetermined section on the traveling path of the railway vehicle RV.
  • the predetermined section is, for example, within a range of 500 m around the shooting conditions ST1 and ST2 shown in FIG.
  • the present invention is not limited to this, and a predetermined section may be further provided between the shooting conditions ST1 and ST2 in FIG. 6, and a plurality of predetermined sections are also provided on the traveling track R not shown in FIG. Therefore, the shooting parameters are repeatedly updated during the running of the railway vehicle RV.
  • the shooting unit 1B shoots the shooting target based on the shooting parameters related to the shooting conditions. Further, the shooting parameter updating unit 1D updates the shooting parameters based on the shooting image shot by the shooting unit 1B and the traveling environment information acquired by the vehicle information acquisition unit 1A. Further, the shooting unit 1B shoots a shooting target based on the updated shooting parameters.
  • This makes it possible to change the shooting parameters according to changes in the environment such as changes in illuminance near the tunnel. As a result, it is possible to suppress deterioration of the quality of the captured image due to changes in the environment and improve the image quality. Therefore, for example, it is possible to acquire an image useful for more accurate detection of an obstacle that is an obstacle in the vicinity of the railroad track in front of the vehicle.
  • the environment changes that can be handled may change depending on the type of driving environment information.
  • the type of driving environment information is not limited to the above, and the number used as a dictionary may be limited as necessary.
  • the environmental change is not limited to the tunnel, and may be, for example, a change in illuminance due to the west sun.
  • the shooting parameter updating unit 1D updates the shooting parameters based on the adjustment area determined from the shot image.
  • the shooting parameters for clearly capturing the entire image are set, there is a possibility that the shooting target, which is the monitoring target, cannot be shot clearly.
  • the shooting parameters can be adjusted by focusing on the adjustment area in the shot image.
  • the image quality of the image to be photographed can be improved, and the detection device 2 can easily recognize the object to be photographed from within the photographed image.
  • the detection accuracy of the detection device 2 can be improved.
  • the adjustment area can be dynamically changed according to each driving situation. Further, the period for changing the adjustment region may be arbitrary. For example, when the frame rate of the camera (shooting unit 1B) acquired by the photographing apparatus 1 is 30 fps, the photographing parameter updating unit 1D may update the adjustment area every time one frame is acquired. On the other hand, the shooting parameter updating unit 1D may update the adjustment area every second regardless of the frame rate of the camera. That is, the shooting parameter updating unit 1D may reset the adjustment area in the shot image at predetermined time intervals. The predetermined time is not limited to the above frame rate and 1 second. Further, the photographing parameter updating unit 1D may update the adjustment area by combining each predetermined section and each predetermined time.
  • the photographing unit 1B may photograph an imaged object in at least one of the traveling direction (traveling direction G) of the railway vehicle RV and the direction opposite to the traveling direction.
  • the photographing device 1 may further include, for example, a photographing unit 1B provided behind the railway vehicle RV and photographing the imaged object behind the vehicle.
  • the shooting target may be different between the front and the rear, and the shooting parameter update method may be the same.
  • the photographing unit 1B may photograph the rear imaged object without photographing the front imaged object.
  • the shooting parameter updating unit 1D does not omit updating the shooting parameter every time the adjustment area is reset. In this case, it is not necessary to relate the feature reference values in the photographing parameter dictionary unit 1D1. Therefore, it is possible to reduce the time and effort required to create the photographing parameter dictionary unit 1D1.
  • FIG. 7 shows a diagram schematically showing the functional configuration of each device included in the monitoring system 100 in the second embodiment.
  • the second embodiment is different from the first embodiment in that detection by the detection device 2 may not be performed.
  • the interface device 3 further includes an image display unit 3B.
  • the image display unit 3B as a display device displays an image. More specifically, the image display unit 3B displays the image output by the image output unit 1E without going through the detection device 2. This is because it may be required to shoot the object to be photographed more clearly instead of detecting an obstacle. Therefore, the photographing device 1 can set the photographing parameters so that the person can easily recognize the imaged object from the photographed image, for example.
  • the image output unit 1E outputs the captured image captured by the imaging unit 1B based on the updated imaging parameters to at least one of the detection unit 2A and the image display unit 3B.
  • the detection device 2 and the detection result output unit 3A are shown in FIG. 7, they may not be provided.
  • the photographing apparatus 1 according to the second embodiment can obtain the same effect as that of the first embodiment.
  • At least a part of the photographing apparatus 1 may be configured by hardware or software.
  • a program that realizes at least a part of the functions of the photographing apparatus 1 may be stored in a recording medium such as a flexible disk or a CD-ROM, read by a computer, and executed.
  • the recording medium is not limited to a removable one such as a magnetic disk or an optical disk, and may be a fixed recording medium such as a hard disk device or a memory.
  • a program that realizes at least a part of the functions of the photographing apparatus 1 may be distributed via a communication line (including wireless communication) such as the Internet.
  • the program may be encrypted, modulated, compressed, and distributed via a wired line or a wireless line such as the Internet, or stored in a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本実施形態による撮影装置は、撮影部と、車両情報取得部と、撮影パラメータ更新部と、を備える。撮影部は、車両に設けられる撮影部であって、撮影条件に関する撮影パラメータに基づいて、撮影対象を撮影する。車両情報取得部は、走行中の車両の走行環境情報を取得する。撮影パラメータ更新部は、撮影部が撮影する画像、および、車両情報取得部が取得する走行環境情報に基づいて、撮影パラメータを更新する。

Description

撮影装置
　本発明による実施形態は、撮影装置に関する。
　車両前方には、監視目的でカメラが設置されている。このカメラにより取得された画像から、車両と衝突する可能性のある障害物を検出して、運転士に通知する障害物検知システムが存在する。障害物検知システムは、鉄道の自動運転に向けても走行安全性確保の観点から重要である。また、障害物検知システムは、全走行区間に渡って高い障害物検出精度を維持することが求められる。
　しかし、白飛びや黒つぶれが発生しやすいトンネルやホームなど照度変化の顕著な場面で撮影されたカメラ画像は、品質（例えば、コントラストなど）が著しく低下する場合がある。そのような品質が低下した画像に対して、画像認識技術を用いて障害物を検知することは困難である。
特開２０１８－０３７０６１号公報 特開２０１８－００２００７号公報 特開２００９－０２７６５１号公報 特開２０１９－２２１１１５号公報 特開２０１８－１８１２５４号公報
　環境変化による撮影画像の品質低下を抑制することができる撮影装置を提供することを目的とする。
　本実施形態による撮影装置は、撮影部と、車両情報取得部と、撮影パラメータ更新部と、を備える。撮影部は、車両に設けられる撮影部であって、撮影条件に関する撮影パラメータに基づいて、撮影対象を撮影する。車両情報取得部は、走行中の車両の走行環境情報を取得する。撮影パラメータ更新部は、撮影部が撮影する画像、および、車両情報取得部が取得する走行環境情報に基づいて、撮影パラメータを更新する。
第１実施形態における撮影装置を含む監視システムの構成を模式した図。 第１実施形態における監視システムに内包される各装置の機能構成を模式した図。 第１実施形態における監視システムの動作フロー図。 撮影パラメータ辞書から参照される調整領域と画像特徴量の基準値との一例を示す図。 トンネル付近を走行する鉄道車両における調整領域の選択の一例を示す図。 トンネル入口付近およびトンネル出口付近での走行中に障害物検知を実施する事例を一例として説明する図。 第２実施形態における監視システムに内包される各装置の機能構成を模式した図。
　以下、図面を参照して本発明に係る実施形態を説明する。本実施形態は、本発明を限定するものではない。図面は模式的または概念的なものであり、各部分の比率などは、必ずしも現実のものと同一とは限らない。明細書と図面において、既出の図面に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
（第１実施形態）
　運転士には、鉄道車両の運転時に、走行の支障となりうる要因をいち早く発見することが求められている。運転士は、例えば、車両の進行方向の線路付近に障害となりうる飛来物や動物などの障害物を発見した際に、車両の緊急停止を迅速に実施する。そのような障害物の迅速な発見を機械的に実施するために、例えば、カメラなどの撮影機材を用いて障害物検知を実施する場合がある。第１実施形態は、鉄道車両の走行中に車両前方の線路付近において支障となる障害物をより高精度に検知する一例を示す。
　まず、実施形態１の構成について説明する。図１は、第１実施形態における撮影装置１を含む監視システム１００の構成を模式した図である。監視システム１００は、一対で構成されている走行線路Ｒ上を方向Ｇに沿って走行する鉄道車両ＲＶに搭載されている。監視システム１００は、撮影装置１と、検知装置２と、インターフェイス装置３と、を備える。撮影装置１は、例えば、運転席窓際付近に設置され、鉄道車両ＲＶの走行方向Ｇ（鉄道車両前方）の風景を撮影することができる。
　図２は、第１実施形態における監視システム１００に内包される各装置の機能構成を模式した図である。撮影装置１は、車両情報取得部１Ａと、撮影部１Ｂと、画像取得部１Ｃと、撮影パラメータ更新部１Ｄと、画像出力部１Ｅと、を備える。検知装置２は、検知部２Ａと、検知結果出力制御部２Ｂと、を備える。インターフェイス装置３は、検知結果出力部３Ａを備える。
　撮影装置１が有する車両情報取得部１Ａは、車両の周辺情報を取得する機能を有しており、天候情報取得部１Ａ１と、運行情報取得部１Ａ２と、現在位置情報取得部１Ａ３と、前照灯情報取得部１Ａ４と、を備える。天候情報取得部１Ａ１は、車両の走行あるいは停止時における晴れ、曇り、雨、雪、雹、風向、風速、太陽の位置などの天候に関する情報を取得する機能を有する。運行情報取得部１Ａ２は、車両運行時に獲得できる現在速度や、走行における進行方向、進行予定の線路形状、設備情報などの車両情報を取得する機能を有する。現在位置情報取得部１Ａ３は、車両の現在位置情報を取得する機能を有する。前照灯情報取得部１Ａ４は、車両前方に設置されている前照灯の明るさや、照射角度などの情報を取得する機能を有する。
　すなわち、車両情報取得部１Ａは、走行中の鉄道車両ＲＶ（車両）の走行環境情報を取得する。走行環境情報は、例えば、上記のように、鉄道車両ＲＶの周辺の天候状態、速度、進行方向、進行予定の線路情報、進行予定の設備情報、位置、および、前照灯の状態の少なくとも１つを含む。車両情報取得部１Ａは、例えば、鉄道車両ＲＶ内に設けられた各種センサから走行環境情報を取得してもよく、鉄道車両ＲＶの外部と通信することにより走行環境情報を取得してもよい。車両情報取得部１Ａは、車両環境情報を撮影パラメータ更新部１Ｄに送る。
　撮影装置１が有する撮影部１Ｂは、撮影パラメータ決定部１Ｄ３で設定された撮影パラメータをもとに撮影される撮影機器を指す。
　すなわち、撮影部１Ｂは、鉄道車両ＲＶに設けられ、撮影条件に関する撮影パラメータに基づいて、撮影対象を撮影する。撮影された画像は画像取得部１Ｃによって取得される。撮影条件は、例えば、撮影部１Ｂのシャッタースピード、ゲイン、絞り値、ＨＤＲ（High Dynamic Range）パラメータ、および、画角の少なくとも１つを含む。撮影対象は、例えば、鉄道車両ＲＶの走行経路（走行線路Ｒ）、該走行経路の周辺、および、該周辺に設けられる標識の少なくとも１つを含む。撮影対象は、監視対象または監視目的によって変更されてもよい。
　撮影装置１が有する画像取得部１Ｃは、撮影部１Ｂで撮影された画像を取得する。すなわち、画像取得部１Ｃは、撮影パラメータに基づいて撮影部１Ｂが撮影する撮影画像を取得する。画像取得部１Ｃは、撮影画像を撮影パラメータ更新部１Ｄに送る。撮影部１Ｂは、撮影画像を画像取得部１Ｃおよび画像出力部１Ｅに送り、撮影パラメータを撮影パラメータ更新部１Ｄから受け取る。
　撮影装置１が有する撮影パラメータ更新部１Ｄは、撮影パラメータ辞書部１Ｄ１と、撮影パラメータ調整領域決定部１Ｄ２と、撮影パラメータ決定部１Ｄ３と、を備える。撮影パラメータ辞書部１Ｄ１は、撮影パラメータの調整を行う基準となる調整領域と画像特徴量などの基準値とを取得するための参照辞書部である。このとき、参照辞書に入力される値は、車両情報取得部１Ａで得られる前述した情報を元に参照される。撮影パラメータ調整領域決定部１Ｄ２は、前述した撮影パラメータ辞書部１Ｄ１で参照された調整領域を設定する。撮影パラメータ決定部１Ｄ３は、設定された調整領域と画像取得部１Ｃで得られた画像をもとに白とびあるいは黒つぶれなどをしないように各撮影パラメータの値を設定する。ここで示す撮影パラメータとは、シャッタースピード、ゲイン、絞り値、ＨＤＲパラメータ、画角などの撮影条件のパラメータ（値）である。このとき、撮影パラメータの決定のために、前述した車両情報取得部１Ａで得られる情報が参照されてもよい。
　すなわち、撮影パラメータ更新部１Ｄは、画像取得部１Ｃが取得する撮影画像（撮影部１Ｂが撮影する撮影画像）、および、車両情報取得部１Ａが取得する走行環境情報に基づいて、撮影パラメータを更新する。撮影部１Ｂは、更新された撮影パラメータに基づいて、撮影対象を撮影する。画像取得部１Ｃは、更新された撮影パラメータに基づいて撮影部１Ｂが撮影する、撮影対象の撮影画像を取得する。これにより、撮影装置１は、環境変化による撮影画像の品質低下（例えば、白とびあるいは黒つぶれなど）を抑制して撮影対象を撮影することができる。撮影パラメータ更新部１Ｄは、走行環境情報および撮影画像を、それぞれ車両情報取得部１Ａおよび画像取得部１Ｃから受け取り、撮影パラメータを撮影部１Ｂに送る。
　尚、調整領域を用いた撮影パラメータの更新の詳細については、図３～図５を参照して、後で説明する。
　撮影装置１が有する画像出力部１Ｅは、前述した画像取得部１Ｃが取得した撮影物を受け取り、後述する検知装置２が有する検知部２Ａに出力する。
　検知装置２は、検知部２Ａと、検知結果出力制御部２Ｂと、を備える。検知装置２が有する検知部２Ａは、前述した画像出力部１Ｅから撮影物を取得し障害物検知を実施する。
　より詳細には、検知部２Ａ（検知装置２）は、撮影対象の異常を画像に基づいて検知する。撮影対象の異常は、走行線路Ｒ上の障害物に限られず、例えば、走行線路Ｒ周辺に動物が近づくこと、および、標識の異常などであってもよい。
　検知装置２が有する検知結果出力制御部２Ｂは、障害物検知の結果を後述するインターフェイス装置３が有する検知結果出力部３Ａに出力する。
　インターフェイス装置３は、検知結果出力部３Ａを備える。インターフェイス装置３が有する検知結果出力部３Ａは、前述した検知結果出力制御部２Ｂから障害物検知の結果を取得し、各インターフェイス装置を通して通知する。通知を受ける対象は、運転士、乗客、鉄道指令所、走行周辺の一般人、動物などである。通知方法は通知を受ける対象者が理解可能な形式であれば、特に指定しない。理解可能な形式は、例えば、通知を受ける対象者が車内にいる場合、車両内のディスプレイや掲示板などの記述や付属するスピーカーを通して通知したり、通知対象者が車外の場合、車両の警笛や外部スピーカーなどの音声によって通知したり、などである。すなわち、表示装置としての検知結果出力部３Ａは、画像または検知装置２の検知結果を表示する。
　図３は、第１実施形態における監視システム１００の動作フロー図を示す。図３は、例えば、撮影パラメータが１回更新される動作のフローチャートを示す。図３に示す動作は、例えば、鉄道車両ＲＶの走行中に繰り返し実行される。
　始めに、ステップＳ００１では、車両情報取得部１Ａは、撮影パラメータを決定するための天候情報、運行情報、現在位置、および、前照灯情報を取得する。天候情報は、例えば、車両の走行あるいは停止時における晴れ、曇り、雨、雪、雹、風向、風速、太陽の位置などを指す。運行情報は、例えば、進行方向の線路形状や、線路分岐、設備情報のトンネル、駅ホーム、陸橋、および、踏切などを含めた情報を指す。現在位置情報は、例えば、ＧＮＳＳ(Global Navigation Satellite System)もしくはＴＧ（Tachogenerator）と呼ばれる位置検知装置を用いた鉄道車両ＲＶの現在位置を指す。現在位置は、例えば、緯度・経度やキロ程で表記される。ここで、キロ程は、例えば、始発駅などの起点から１００ｍ単位で表現された車両の走行位置を示し、緯度・経度は位置検知装置から取得可能な計測値を示す。前照灯情報は、鉄道車両ＲＶの前方に設置された前照灯の明るさや照射角度などを指す。
　次に、ステップＳ００２では、画像取得部１Ｃは、撮影部１Ｂが撮影する画像を取得する。ステップＳ００２で撮影された画像は撮影パラメータを調整する前の画像とする。例えば、検知処理を実施する画像の時刻をｔとすると、時刻ｔ－１の時点で撮影された画像が用いることとする。このとき、時刻ｔ－１において撮影パラメータを調整して撮影された画像が用いられてもよい。
　次に、ステップＳ００３では、撮影パラメータ更新部１Ｄは、取得した情報をもとに撮影パラメータ辞書部１Ｄ１から調整領域と画像特徴量の基準値とを取得する。尚、画像特徴量の基準値は、以下では、特徴基準値とも呼ばれる場合がある。
　図４は、撮影パラメータ辞書から参照される調整領域と画像特徴量の基準値との一例を示す図である。図４（ａ）は、撮影パラメータ辞書部１Ｄ１に格納される、走行環境情報と、調整領域および特徴基準値と、の対応関係を示す関係情報である。対応関係は、撮影パラメータ辞書部１Ｄ１内に複数（例えば、図４（ａ）に示す例ではｎ個）格納されている。現在位置は、例えば、緯度Ｘｎ°（ｎ＝１，２，・・・）および経度Ｙｎ°（ｎ＝１，２，・・・）で表される。前照灯角度は、Ｚｍ°（ｍ＝１，２，・・・）で表される。また、走行環境情報の各パターンに、調整領域Ａｎ（ｎ＝１，２，・・・）および特徴基準値ＣＶｎ（ｎ＝１，２，・・・）が関連付けられている。図４（ｂ）は、撮影画像および撮影画像内の調整領域を示す。
　調整領域の候補は、例えば、四角形のような任意の大きさ・形状で区切られた撮影画面上の任意の各マスなどが挙げられる。また、各マスを複数選択することで、拡大・縮小が可能な調整領域の選択や、隣接したマスの選択に限定しない調整領域の選択を実施することが可能となる。図４（ｂ）は、調整領域Ａ１、Ａ２を示す。走行環境情報によって、調整領域が変更される場合がある。
　図５は、トンネルＴ付近を走行する鉄道車両ＲＶにおける調整領域Ａの選択の一例を示す図である。図５（ａ）は、鉄道車両ＲＶを上方から見た図である。図５（ｂ）は、鉄道車両ＲＶから撮影した撮影画像を示す。
　図５（ｂ）では、撮影画面Ｃにおいて６４マスの行列に区切られた調整領域の候補ＡＣから走行線路Ｒ付近のマスの集合を調整領域Ａとして取得している。すなわち、線路が曲線であっても、線路の形状に合わせて調整領域Ａが設定される。また、画像特徴量の基準値は、例えば、取得した画像の調整領域内のエッジ量を基準として使用されてもよい。基準値は、例えば、運転士または管理員によって十分に鮮明と判断された調整領域におけるエッジ量である。この場合、各天候、運行情報、現在位置、前照灯に応じて調整領域内に適したエッジ量の基準値が得られる。この基準値に基づき、後のステップにおいて撮影パラメータを動的に決定する。
　次に、ステップＳ００４では、撮影パラメータ更新部１Ｄは、ステップＳ００２で取得した画像から画像処理あるいは信号処理を用いて調整領域内における所定の画像特徴を取得する。画像特徴は、撮影パラメータ辞書に設定されている画像特徴を指し、例えば、エッジ量である。尚、画像特徴量は、エッジ量に限られず、他の特徴量であってもよい。
　次に、ステップＳ００５では、撮影パラメータ更新部１Ｄは、撮影パラメータの更新が必要かどうかを判定する。例えば、取得した画像特徴量が撮影パラメータ辞書で参照した画像特徴量の基準値の範囲内であれば撮影パラメータの更新は不要とする。撮影パラメータ更新部１Ｄは、更新が不要だと判定した場合、ステップＳ００９に移行し、処理を継続する。一方で、撮影パラメータ更新部１Ｄは、取得した画像特徴量が特徴基準値の範囲内であれば撮影パラメータを更新すると判定し、ステップＳ００６に移行する。
　次に、ステップＳ００６では、撮影パラメータ更新部１Ｄは、撮影パラメータを更新する。撮影パラメータを走行場面に合わせて更新することで、白とびや黒つぶれなどを考慮した検知に適した撮影画像を取得する。ここで撮影パラメータは、シャッタースピード、ゲイン、絞り値、ＨＤＲパラメータ、画角などの撮影条件のパラメータ（値）を指す。撮影パラメータの変更方法としては、例えばゲインの撮影パラメータを一段階上昇するなど知見に基づく一定のルールをまとめた辞書から、撮影パラメータが決定されてもよい。この辞書には、走行環境情報と撮影パラメータとの対応関係が含まれていてもよい。また、目的関数が設定され、その目的関数を最小化するように撮影パラメータを決定してもよい。
　すなわち、撮影パラメータ更新部１Ｄは、撮影画像内から設定された調整領域に基づいて、撮影パラメータを更新する。より詳細には、撮影パラメータ更新部１Ｄは、調整領域における画像品質を維持または向上させるように、撮影パラメータを更新する。
　尚、ステップＳ００３～Ｓ００６に関する撮影パラメータの更新の詳細については、図６を参照して、後で説明する。
　次に、ステップＳ００７では、撮影パラメータ更新部１Ｄは、調整された撮影パラメータを撮影部１Ｂに送信する。
　次に、ステップＳ００８では、撮影部１Ｂは、受信した調整済みの撮影パラメータを適用し再度撮影を実施する。画像取得部１Ｃは、撮影部１Ｂにより再度撮影された画像を取得する。
　次に、ステップＳ００９では、画像取得部１Ｃは、調整済みの撮影パラメータを適用し取得された画像を画像出力部１Ｅに送信する。あるいは、ステップＳ００５で撮影パラメータの更新が不要と判定された場合、画像取得部１Ｃは、撮影パラメータを調整前に取得された画像（未調整の撮影パラメータにより撮影された画像）を画像出力部１Ｅに送信する。
　次に、ステップＳ０１０では、画像出力部１Ｅは、受信した画像を検知装置２に送信する。
　次に、ステップＳ０１１では、検知装置２は、受信した画像から対象物を検知する検知処理を実施する。その際、画像上に検知結果を表示してもよい。また画像上に検知結果を明示せず、別ファイルに記述する形を取ってもよい。検知方法については、例えば、特許文献４や特許文献５のような公知例を参照してもよい。
　終わりに、ステップＳ０１２では、インターフェイス装置３が有する検知結果出力部３Ａは、前述のステップＳ０１１で得られた検知結果を通知する。ここで、通知方法がディスプレイなどのような画像出力可能なデバイスを通じた検知出力画像の表示・描画の場合、表示・描画更新頻度を適切に設定しなければ、運転士の車両操縦に支障をきたす場合がある。例えば、検知結果画像を画像出力部１Ｅから得た画像に描画することで運転士にディスプレイを通して通知する場合、走行環境の急激な変化に伴う画像の明るさの変化や画面のちらつきによって、運転士の車両操縦に支障をきたす可能性がある。その場合、インターフェイス装置３のデバイスに描画される検知結果画像の表示・描画更新頻度が、検知装置２が検知する頻度と同程度、あるいは少なくされてもよい。
　次に、図６を参照して、図３のステップＳ００３～Ｓ００６に関する具体的な実施場面における撮影パラメータの動的な更新の一例について説明する。
　図３のステップＳ００３では、撮影パラメータを設定する際に各環境条件を入力することにより、撮影パラメータの調整領域と画像特徴量の基準値とを出力する辞書（図４（ａ）を参照）が用いられる。この辞書は、実装される車両から事前に取得されてもよい。また、この辞書は、ソフトウェア上でのシミュレーションによって事前に収集されてもよい。
　辞書の具体的な構成の一例は、図４（ａ）に示したとおりである。すなわち、撮影パラメータ更新部１Ｄは、撮影装置１の車両情報取得部１Ａから取得される天候情報、運行情報、現在位置、前照灯情報をキーとし、調整領域と画像特徴量の基準値とを値として取得する。各調整領域の一例は、同図に示したとおりである。
　図６は、トンネルＴ入口付近およびトンネルＴ出口付近での走行中に障害物検知を実施する事例を一例として説明する図である。図６（ａ）は、トンネルＴに対する鉄道車両ＲＶの位置関係の一例を示す。図６（ｂ）は、図４（ｂ）とほぼ同じである。
　まず、トンネルＴ入口通過直前である撮影状況ＳＴ１を例に説明する。トンネルＴ入口通過直前で検知装置２が障害物検知する場合、障害物が検知される領域がトンネル内部の線路上であるため、動的に調整領域と撮影パラメータとを決定する必要がある。仮に車両情報取得部１Ａから取得される天候情報は晴れ、運行情報は次走行線路形状が直線、設備情報はトンネル入口、現在位置は緯度Ｘ１°、経度Ｙ１°、前照灯は消灯だったとする。その場合、撮影パラメータ更新部１Ｄは、図４（ａ）に示す撮影パラメータ辞書部１Ｄ１から調整領域と画像特徴量の基準値とを参照し、図６（ｂ）の撮影画面Ｃ１上に表示される調整領域Ａ１を取得する。
　次に、撮影パラメータ更新部１Ｄは、この調整領域Ａ１と、画像取得部１Ｃが取得する画像情報と、をもとに撮影パラメータを決定する。まず、撮影パラメータ更新部１Ｄは、調整領域Ａ１内に焦点をあて画像処理あるいは信号処理から画像特徴量を取得する。ここで、画像特徴量は、例えば、エッジ量などを指す。この画像特徴量が撮影パラメータ辞書部１Ｄ１で得られた画像特徴量の基準値の範囲内であった場合、撮影パラメータ更新部１Ｄは、撮影パラメータの更新は不要と判定する。一方で、調整領域Ａ１から取得した画像特徴量が画像特徴量の基準値の範囲外にあった場合、撮影パラメータ更新部１Ｄは、撮影パラメータの更新が必要だと判定する。撮影パラメータの更新が必要であった場合、撮影パラメータ更新部１Ｄは、例えば、ゲインなどの撮影パラメータを一段階上昇するなど知見に基づく一定のルールをまとめた辞書から撮影パラメータを決定する。撮影パラメータ更新部１Ｄは、調整領域がトンネルＴ内部の線路上であるため、例えば、シャッタースピードを１／３０ｓ、ゲインを高め、絞り値（Ｆ値）を低めに設定し、ＨＤＲパラメータをＥＶ値２段階で取得し、調整領域内が画像中央に表示されるように画角を高めに設定する。撮影パラメータ更新部１Ｄは、この決定された撮影パラメータを撮影部１Ｂに適用し、画像取得部１Ｃは再度画像を取得する。その後、画像出力部１Ｅは検知装置２に画像を出力し、検知装置２は障害物検知により適した画像で検知処理を行う。
　すなわち、撮影パラメータ更新部１Ｄは、車両情報取得部１Ａが取得する走行環境情報に基づいて、撮影画像内から、少なくとも撮影対象を含む所定領域（調整領域）を設定（決定）する。より詳細には、撮影パラメータ更新部１Ｄは、予め得られた走行環境情報と、予め得られた撮影画像内の調整領域と、が関係付けられた第１関係に、車両情報取得部１Ａが取得する走行環境情報を適用することにより、撮影部１Ｂが撮影する撮影画像内から調整領域を設定する。尚、「予め得られた走行環境情報」は、例えば、車両情報取得部１Ａが過去に取得した鉄道車両ＲＶの過去走行環境情報、または、シミュレーションにより得られた走行環境情報などを含む。「予め得られた撮影画像」は、例えば、画像取得部１Ｃが過去に取得した（撮影部１Ｂが過去に撮影した）過去撮影画像、または、シミュレーションにより得られた撮影画像などを含む。シミュレーションは、例えば、ソフトウェア上で車両走行をシミュレートすることである。実際に現地で走行環境情報および撮影画像を取得することはコストが高いため、上記のシミュレーションが用いられる場合がある。「車両情報取得部１Ａが取得する走行環境情報」は、現在（走行中）の走行環境情報を示す。現在の走行環境情報は、将来において、過去走行環境情報として撮影パラメータの更新に用いられる場合がある。「撮影部１Ｂが撮影する撮影画像」は、現在（走行中）の撮影画像を示す。現在の撮影画像は、将来において、過去撮影画像として撮影パラメータの更新に用いられる場合がある。また、第１関係は、撮影パラメータ辞書部１Ｄ１の一部である。撮影パラメータ辞書部１Ｄ１の調整領域は、例えば、運転士または管理員によって予め得られた撮影画像内から選択されてもよく、画像認識により予め得られた撮影画像から撮影対象を特定することにより選択されてもよい。
　また、撮影パラメータ更新部１Ｄは、車両情報取得部１Ａが取得する走行環境情報に基づいて、調整領域における画像特徴量の特徴基準値を取得する。特徴基準値は、予め得られた撮影画像内の調整領域における画像特徴量である。より詳細には、撮影パラメータ更新部１Ｄは、予め得られた走行環境情報と、特徴基準値と、が関係付けられた第２関係に、車両情報取得部１Ａが取得する走行環境情報を適用することにより、特徴基準値を取得する。第２関係は、撮影パラメータ辞書部１Ｄ１の一部である。
　尚、図４（ａ）に示す例では、第１関係および第２関係を含む撮影パラメータ辞書部１Ｄ１は、車両情報取得部１Ａが過去に取得した鉄道車両ＲＶの過去走行環境情報と、撮影部１Ｂが過去に撮影した過去撮影画像内の調整領域および特徴基準値と、が関係付けられている。
　さらに、撮影パラメータ更新部１Ｄは、調整領域が設定される毎に、撮影パラメータを更新する。より詳細には、撮影パラメータ更新部１Ｄは、調整領域が更新される毎に、撮影パラメータを更新するか否かを判定する。また、撮影パラメータ更新部１Ｄは、撮影画像内から設定された調整領域における画像特徴量と特徴基準値との比較に基づいて、撮影パラメータを更新する。より詳細には、撮影パラメータ更新部１Ｄは、撮影画像内から設定された調整領域における画像特徴量が特徴基準値を含む所定範囲外である場合、撮影パラメータを更新する。撮影パラメータ更新部１Ｄは、撮影画像内から設定された調整領域における画像特徴量が所定範囲内である場合、撮影パラメータを更新しない。従って、画像特徴量が所定範囲内である場合、撮影画像が障害物検知に十分有用であるため、撮影パラメータの更新処理を省略することができる。
　次に、トンネルＴ出口通過直前である撮影状況ＳＴ２を例に説明する。トンネルＴ入口通過直前の撮影状況ＳＴ１と異なり、障害物が検知される領域がトンネルＴ外部の線路上であるため、撮影状況ＳＴ１と同じく動的に調整領域と撮影パラメータとを決定する可能性が高い。仮に車両情報取得部１Ａから取得される天候情報は晴れ、運行情報は次走行線路形状が直線、設備情報はトンネル出口、現在位置は緯度Ｘ２°、経度Ｙ２°、前照灯は点灯、前照灯角度はＺ１°だったとする。その場合、撮影パラメータ更新部１Ｄは、図４（ａ）に示す撮影パラメータ辞書部１Ｄ１から調整領域と画像特徴量の基準値とを参照し、図６（ｂ）の撮影画面Ｃ２上に表示される調整領域Ａ２を取得する。
　次に、撮影パラメータ更新部１Ｄは、この調整領域Ａ２と、画像取得部１Ｃが取得する画像情報と、をもとに撮影パラメータを決定する。撮影パラメータ更新部１Ｄは、撮影状況ＳＴ１と同様に、調整領域内の画像特徴量を取得した画像から、画像処理あるいは信号処理によって画像特徴量を求める。撮影パラメータ更新部１Ｄは、求めた画像特徴量を撮影パラメータ辞書部１Ｄ１で参照した画像特徴量の基準値と比較し、撮影パラメータの更新が必要かどうかを判定する。仮に更新が必要だとした場合、撮影パラメータ更新部１Ｄは、調整領域がトンネルＴ外部の線路上であるため、例えば、シャッタースピードを１／３０ｓ、ゲインを低めに、絞り値（Ｆ値）を高めに設定し、ＨＤＲパラメータをＥＶ値２段階で取得し、調整領域内が画像中央に表示されるように画角を高めに設定する。その後、検知装置２は、撮影状況ＳＴ１と同様に障害物検知を実施し、より高精度に障害物を検知する。
　すなわち、撮影パラメータ更新部１Ｄは、鉄道車両ＲＶの走行経路上の所定区間毎に、撮影画像内の調整領域を再び設定（更新）する。所定区間は、例えば、図６に示す撮影状況ＳＴ１、ＳＴ２の周囲５００ｍの範囲内である。しかし、これに限られず、所定区間は、図６の撮影状況ＳＴ１，ＳＴ２間にさらに設けられてもよく、図６に示されない走行線路Ｒ上にも複数設けられている。従って、撮影パラメータは、鉄道車両ＲＶの走行中に繰り返し更新される。
　以上のように、第１実施形態によれば、撮影部１Ｂは、撮影条件に関する撮影パラメータに基づいて、撮影対象を撮影する。また、撮影パラメータ更新部１Ｄは、撮影部１Ｂが撮影する撮影画像、および、車両情報取得部１Ａが取得する走行環境情報に基づいて、撮影パラメータを更新する。また、撮影部１Ｂは、更新された撮影パラメータに基づいて、撮影対象を撮影する。これにより、トンネル付近の照度変化等の環境変化に応じて、撮影パラメータを変更することができる。この結果、環境変化による撮影画像の品質低下を抑制し、画像品質を向上させることができる。従って、例えば、車両前方の線路付近において支障となる障害物のより高精度な検知に有用な画像を取得することができる。尚、走行環境情報の種類によって、対応可能な環境変化が変わる場合がある。走行環境情報の種類は、上記に限られず、また、必要に応じて辞書としても用いられる数が制限されてもよい。また、環境変化は、トンネルに限られず、例えば、西日による照度変化などであってもよい。
　また、前記撮影パラメータ更新部１Ｄは、撮影画像内から決定された調整領域に基づいて、撮影パラメータを更新する。
　もし、画像全体を鮮明に撮像する撮影パラメータが設定される場合、監視対象である撮影対象が鮮明に撮影することができない可能性がある。
　これに対して、第１実施形態では、撮影画像内の調整領域に焦点をあてて、撮影パラメータを調整することができる。これにより、撮影対象の画像品質を向上させ、検知装置２が撮影画像内から撮影対象を認識しやすくさせることができる。この結果、検知装置２の検知精度を向上させることができる。
　尚、調整領域は走行中の各状況に合わせて動的に変化可能である。また、調整領域を変化させる期間は任意であってもよい。例えば、撮影装置１で取得されるカメラ（撮影部１Ｂ）のフレームレートが３０ｆｐｓだった場合、撮影パラメータ更新部１Ｄは、１フレームを取得するごとに調整領域を更新してもよい。一方で、撮影パラメータ更新部１Ｄは、カメラのフレームレートに関わらず１秒ごとに調整領域を更新してもよい。すなわち、撮影パラメータ更新部１Ｄは、所定時間毎に、撮影画像内の調整領域を再び設定してもよい。尚、所定時間は、上記のフレームレートおよび１秒に限られない。また、撮影パラメータ更新部１Ｄは、所定区間毎および所定時間毎を組み合わせて、調整領域を更新してもよい。
　また、撮影部１Ｂは、鉄道車両ＲＶの進行方向（走行方向Ｇ）、および、該進行方向とは反対方向の少なくとも一方における撮影対象を撮影してもよい。この場合、撮影装置１は、例えば、鉄道車両ＲＶの後方に設けられ車両後方の撮影対象を撮影する撮影部１Ｂをさらに備えてもよい。尚、前方と後方とで、撮影対象が異なっていてもよく、また、撮影パラメータの更新方法は同じよい。また、撮影部１Ｂは、前方の撮影対象を撮影せずに、後方の撮影対象を撮影してもよい。
　また、図３に示すステップＳ００４、Ｓ００５の画像特徴量による判定が行われなくてもよい。すなわち、撮影パラメータ更新部１Ｄは、調整領域の再設定毎に、撮影パラメータの更新を省略することなく行う。この場合、撮影パラメータ辞書部１Ｄ１における特徴基準値の関係付けが不要である。従って、撮影パラメータ辞書部１Ｄ１の作成の手間を削減することができる。
（第２実施形態）
　図７は、第２実施形態における監視システム１００に内包される各装置の機能構成を模式した図を示す。第２実施形態は、検知装置２による検知が行われない場合がある点で、第１実施形態と異なる。
　インターフェイス装置３は、画像表示部３Ｂをさらに備える。
　表示装置としての画像表示部３Ｂは、画像を表示する。より詳細には、画像表示部３Ｂは、検知装置２を介さず、画像出力部１Ｅが出力する画像を表示する。これは、障害物検知ではなく、撮影対象をより鮮明に撮影することが求められる場合があるためである。従って、撮影装置１は、例えば、人が撮影画像内から撮影対象を認識しやすくさせるように、撮影パラメータを設定することができる。
　画像出力部１Ｅは、更新された撮影パラメータに基づいて撮影部１Ｂが撮影する撮影画像を、検知部２Ａおよび画像表示部３Ｂの少なくとも一方に出力する。
　尚、図７では、検知装置２および検知結果出力部３Ａが示されているが、設けられていなくてもよい。
　第２実施形態における撮影装置１および監視システム１００のその他の構成は、第１実施形態における撮影装置１および監視システム１００の対応する構成と同様であるため、その詳細な説明を省略する。
　第２実施形態による撮影装置１は、第１実施形態と同様の効果を得ることができる。
　本実施形態による撮影装置１の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、撮影装置１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、撮影装置１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

Claims (10)

  1. 　車両に設けられる撮影部であって、撮影条件に関する撮影パラメータに基づいて、撮影対象を撮影する撮影部と、
    　走行中の前記車両の走行環境情報を取得する車両情報取得部と、
    　前記撮影部が撮影する撮影画像、および、前記車両情報取得部が取得する前記走行環境情報に基づいて、前記撮影パラメータを更新する撮影パラメータ更新部と、を備える、撮影装置。
  2. 　前記撮影パラメータ更新部は、
    　前記車両情報取得部が取得する前記走行環境情報に基づいて、前記撮影画像内から、少なくとも前記撮影対象を含む所定領域を設定し、
    　前記撮影画像内から設定された前記所定領域に基づいて、前記撮影パラメータを更新する、請求項１に記載の撮影装置。
  3. 　前記撮影パラメータ更新部は、予め得られた前記走行環境情報と、予め得られた前記撮影画像内の前記所定領域と、が関係付けられた第１関係に、前記車両情報取得部が取得する前記走行環境情報を適用することにより、前記撮影部が撮影する前記撮影画像内から前記所定領域を設定する、請求項２に記載の撮影装置。
  4. 　前記撮影パラメータ更新部は、
    　前記車両情報取得部が取得する前記走行環境情報に基づいて、前記所定領域における画像特徴量の基準値を取得し、
    　前記撮影画像内から設定された前記所定領域における画像特徴量と前記基準値との比較に基づいて、前記撮影パラメータを更新する、請求項２または請求項３に記載の撮影装置。
  5. 　前記基準値は、予め得られた前記撮影画像内の前記所定領域における画像特徴量である、請求項４に記載の撮影装置。
  6. 　前記撮影パラメータ更新部は、予め得られた前記走行環境情報と、前記基準値と、が関係付けられた第２関係に、前記車両情報取得部が取得する前記走行環境情報を適用することにより、前記基準値を取得する、請求項４または請求項５に記載の撮影装置。
  7. 　前記撮影パラメータ更新部は、
    　前記撮影画像内から設定された前記所定領域における画像特徴量が前記基準値を含む所定範囲外である場合、前記撮影パラメータを更新し、
    　前記撮影画像内から設定された前記所定領域における画像特徴量が前記所定範囲内である場合、前記撮影パラメータを更新しない、請求項４から請求項６のいずれか一項に記載の撮影装置。
  8. 　前記撮影パラメータ更新部は、前記車両の走行経路上の所定区間毎に、前記撮影画像内の前記所定領域を再び設定する、請求項２から請求項７のいずれか一項に記載の撮影装置。
  9. 　前記撮影パラメータ更新部は、所定時間毎に、前記撮影画像内の前記所定領域を再び設定する、請求項２から請求項８のいずれか一項に記載の撮影装置。
  10. 　前記撮影パラメータ更新部は、前記所定領域が設定される毎に、前記撮影パラメータを更新する、請求項２から請求項９のいずれか一項に記載の撮影装置。
PCT/JP2021/016438 2020-07-07 2021-04-23 撮影装置 WO2022009506A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180036095.0A CN115668965A (zh) 2020-07-07 2021-04-23 拍摄装置
EP21837198.7A EP4181500A1 (en) 2020-07-07 2021-04-23 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020117266A JP2022014743A (ja) 2020-07-07 2020-07-07 撮影装置
JP2020-117266 2020-07-07

Publications (1)

Publication Number Publication Date
WO2022009506A1 true WO2022009506A1 (ja) 2022-01-13

Family

ID=79552902

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/016438 WO2022009506A1 (ja) 2020-07-07 2021-04-23 撮影装置

Country Status (4)

Country Link
EP (1) EP4181500A1 (ja)
JP (1) JP2022014743A (ja)
CN (1) CN115668965A (ja)
WO (1) WO2022009506A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024023906A1 (ja) * 2022-07-26 2024-02-01 日立Astemo株式会社 外界センサの更新装置及び外界センサの更新方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027651A (ja) 2007-07-23 2009-02-05 Sony Corp 監視システム、監視カメラ、監視方法および監視プログラム
JP2009071706A (ja) * 2007-09-14 2009-04-02 Toshiba Corp 撮像装置
JP2009177250A (ja) * 2008-01-21 2009-08-06 Fujitsu Ten Ltd 車載用画像認識装置、車両状況判定装置および車載用画像認識方法
JP2016052131A (ja) * 2015-09-18 2016-04-11 株式会社ニコン 撮像装置
JP2018002007A (ja) 2016-07-05 2018-01-11 日立造船株式会社 鉄道用障害物検知システム
JP2018037061A (ja) 2016-09-01 2018-03-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 自律走行車両のためのビジョンセンサの制御方法及び装置
JP2018181254A (ja) 2017-04-21 2018-11-15 株式会社東芝 軌道識別装置、およびプログラム
JP2019209734A (ja) * 2018-05-31 2019-12-12 株式会社東芝 軌道識別装置
JP2019221115A (ja) 2018-06-22 2019-12-26 株式会社東芝 走行状況提示装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027651A (ja) 2007-07-23 2009-02-05 Sony Corp 監視システム、監視カメラ、監視方法および監視プログラム
JP2009071706A (ja) * 2007-09-14 2009-04-02 Toshiba Corp 撮像装置
JP2009177250A (ja) * 2008-01-21 2009-08-06 Fujitsu Ten Ltd 車載用画像認識装置、車両状況判定装置および車載用画像認識方法
JP2016052131A (ja) * 2015-09-18 2016-04-11 株式会社ニコン 撮像装置
JP2018002007A (ja) 2016-07-05 2018-01-11 日立造船株式会社 鉄道用障害物検知システム
JP2018037061A (ja) 2016-09-01 2018-03-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 自律走行車両のためのビジョンセンサの制御方法及び装置
JP2018181254A (ja) 2017-04-21 2018-11-15 株式会社東芝 軌道識別装置、およびプログラム
JP2019209734A (ja) * 2018-05-31 2019-12-12 株式会社東芝 軌道識別装置
JP2019221115A (ja) 2018-06-22 2019-12-26 株式会社東芝 走行状況提示装置

Also Published As

Publication number Publication date
EP4181500A1 (en) 2023-05-17
JP2022014743A (ja) 2022-01-20
CN115668965A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
US11554717B2 (en) Vehicular vision system that dynamically calibrates a vehicular camera
KR102554643B1 (ko) 동적 범위를 확장하기 위한 다수의 동작 모드들
US10997461B2 (en) Generating ground truth for machine learning from time series elements
CN104506804B (zh) 一种快速道路上的机动车异常行为监测装置及其方法
IL285152B1 (en) 3D feature prediction for automated driving
WO2017187811A1 (ja) 撮像制御装置及び撮像制御方法、並びに撮像装置
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
WO2014054289A1 (ja) 車両用ナビゲーションシステムおよび車両用撮影装置
JP6816768B2 (ja) 画像処理装置と画像処理方法
DE112017002774T5 (de) Bildverarbeitungseinrichtung und Bildverarbeitungsverfahren, und Lerneinrichtung und Lernverfahren
JP6816769B2 (ja) 画像処理装置と画像処理方法
WO2022009506A1 (ja) 撮影装置
WO2017122396A1 (ja) 制御装置、制御方法及びプログラム
WO2020085101A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP5012704B2 (ja) 車両用撮影システム
US20190394405A1 (en) Information processing apparatus, information processing method, and information processing program
CN113170057B (zh) 摄像部控制装置
US20220165066A1 (en) Information processing apparatus, information processing method, and program
JP2015018515A (ja) 車載器
WO2022102425A1 (ja) 信号処理装置及び信号処理方法
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2022153838A1 (ja) 情報処理装置、情報処理システム、および方法、並びにプログラム
KR20160092403A (ko) 차량 운전 보조 장치 및 차량 운전 보조 장치의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21837198

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021837198

Country of ref document: EP

Effective date: 20230207