WO2022145054A1 - 画像処理装置、画像処理方法、及び記録媒体 - Google Patents

画像処理装置、画像処理方法、及び記録媒体 Download PDF

Info

Publication number
WO2022145054A1
WO2022145054A1 PCT/JP2021/000031 JP2021000031W WO2022145054A1 WO 2022145054 A1 WO2022145054 A1 WO 2022145054A1 JP 2021000031 W JP2021000031 W JP 2021000031W WO 2022145054 A1 WO2022145054 A1 WO 2022145054A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
image processing
distant
unit
Prior art date
Application number
PCT/JP2021/000031
Other languages
English (en)
French (fr)
Inventor
大輝 五日市
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/000031 priority Critical patent/WO2022145054A1/ja
Priority to EP21914916.8A priority patent/EP4254944A4/en
Priority to US18/270,034 priority patent/US20240071104A1/en
Priority to JP2022572879A priority patent/JP7505596B2/ja
Publication of WO2022145054A1 publication Critical patent/WO2022145054A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an image processing device, an image processing method, and a recording medium.
  • Image processing technology using a computer is widespread.
  • efforts are being made to perform image processing on images taken by a camera mounted on a vehicle to help provide various services.
  • Patent Document 1 among the images taken by the rear side camera mounted on the vehicle, the area of interest of interest to the driver is enlarged and displayed in a composite manner, so that the driver can easily recognize the image.
  • An image processing device that presents information is disclosed.
  • the image processing includes image recognition that recognizes the content reflected in the image.
  • image recognition there is area recognition (also referred to as area division or segmentation).
  • Area recognition is a technique for estimating the type of subject represented in an area for each area included in the image by inputting an image.
  • Non-Patent Document 1 is an example of such area recognition.
  • the inventor of the present invention has found the following problems in image processing.
  • the part occupied by a distant subject in the image is small.
  • such a small part cannot be easily recognized by image processing. That is, there is a problem that it is difficult to accurately recognize a distant subject when performing image processing on a captured image.
  • Cited Document 1 merely displays an area of interest that is of interest to the driver in an easy-to-see manner for the driver. That is, it does not solve the above-mentioned problem of accurately recognizing a distant subject.
  • One of the objects of the present invention is an image processing apparatus, an image processing method, and an image processing method capable of accurately recognizing a distant subject when the above-mentioned problems are solved and image processing is performed on a captured image. It is to provide a recording medium.
  • the image processing device includes an image acquisition means for acquiring an image taken by an image pickup device, a first processing means for performing a first image processing on the image, and a distant portion of the image.
  • a distant specifying means to be specified a second processing means for performing a second image processing different from the first image processing on a distant portion of the image, a processing result of the first image processing, and the second image processing. It is provided with an output means for outputting based on the processing result of image processing.
  • the image processing apparatus acquires an image taken by the image pickup apparatus, performs the first image processing on the image, identifies a distant portion of the image, and describes the image.
  • a second image processing different from the first image processing is performed on the distant portion of the image, and output is performed based on the processing result of the first image processing and the processing result of the second image processing.
  • an image taken by an image pickup apparatus is acquired by a computer, the first image processing is performed on the image, a distant portion of the image is specified, and the distant portion of the image is specified.
  • FIG. 1 is a diagram showing a configuration of an image processing system according to the first embodiment.
  • the image processing system includes an image processing device 10 and an image pickup device 20.
  • the image processing device 10 and the image pickup device 20 are communicably connected.
  • the image processing device 10 acquires an image taken by the image pickup device 20, performs image processing on the image, and outputs the image based on the processing result.
  • the image processing device 10 is realized, for example, as a computer mounted on a vehicle.
  • the present invention is not limited to this, and the image processing apparatus 10 may be realized as a server installed in, for example, a data center or the like.
  • the image pickup device 20 captures an image.
  • the image pickup device 20 is, for example, a camera of a drive recorder mounted on a vehicle. In this case, the image pickup device 20 generates an image of the surroundings of the vehicle, for example, the front.
  • the image pickup apparatus 20 may be, for example, a camera installed on the roadside of a road or a camera installed inside a facility. Further, the image captured by the image pickup apparatus 20 may be a still image or an image (moving image) of a plurality of frames continuously in time.
  • the image processing device 10 and the image pickup device 20 may be connected by a wired communication such as a wired LAN or an internal bus communication, or may be connected by a wireless communication such as a wireless LAN or a short-range communication.
  • a wired communication such as a wired LAN or an internal bus communication
  • a wireless communication such as a wireless LAN or a short-range communication.
  • the image processing device 10 and the image pickup device 20 may be connected by an internal bus of the vehicle, but the present invention is not limited to this.
  • a plurality of image processing devices 10 and image pickup devices 20 may exist.
  • the image processing device 10 and the image pickup device 20 do not necessarily have to be connected one-to-one, and may be connected one-to-many or many-to-many.
  • a plurality of image pickup devices 20 may be connected to one image processing device 10.
  • FIG. 2 is a diagram showing a functional block of the image processing device 10 in the first embodiment.
  • the image processing device 10 includes an image acquisition unit 110, an image processing unit 120, a scene recognition unit 130, and an output unit 140.
  • the image acquisition unit 110 functions as a means for acquiring an image captured by the image pickup device 20.
  • the image processing unit 120 functions as a means for performing image processing on the acquired image and generating a processing result.
  • the image processing unit 120 further includes a first processing unit 121, a distant identification unit 122, a second processing unit 123, and a compositing unit 124.
  • the first processing unit 121 functions as a means for performing a predetermined first image processing on the acquired image.
  • the range to be processed by the first image processing by the first processing unit 121 is, for example, the entire image.
  • the present invention is not limited to this, and the first processing unit 121 may use mask processing or the like to exclude a part of the range of the image (for example, a distant portion of the image) from the processing target of the first image processing. ..
  • the first processing unit 121 can perform area recognition as the first image processing.
  • area recognition is mainly performed as the first image processing.
  • the first processing unit 121 generates the first processing result as a result of performing the above-mentioned first image processing.
  • the distant identification unit 122 functions as a means for identifying a distant portion from the acquired image.
  • the distant portion is a portion of the image including a distant subject.
  • the distant portion is represented by, for example, a rectangle including a distant subject in the image.
  • the present invention is not limited to this, and the distant portion may be represented by a polygon other than a rectangle, a circle, an ellipse, or any other shape.
  • the distant portion is not limited to a continuous single shape in such an image, but may be a plurality of discrete shapes.
  • the distant identification unit 122 generates distant identification information expressing the distant portion in a predetermined format as a result of specifying the distant portion.
  • the distant identification information is, for example, the coordinates of each point of the rectangle in the image.
  • the second processing unit 123 functions as a means for performing a second image processing different from the first image processing on the distant portion of the acquired image based on the above-mentioned distant identification information.
  • the second processing unit 123 uses, as the second image processing, a process of enlarging a distant portion of an image, performing a predetermined process on the enlarged image, and reducing the processing result of the predetermined process. be able to. Further, for example, the second processing unit 123 can use, as the second image processing, an image processing in which a setting different from that of the first image processing is applied to a distant portion of the image.
  • the second processing unit 123 generates a second processing result as a result of performing the predetermined second image processing as described above.
  • the synthesizing unit 124 functions as a means for synthesizing the above-mentioned first processing result and the second processing result.
  • the synthesizing unit 124 generates a synthesizing process result which is the result of synthesizing.
  • the scene recognition unit 130 functions as a means for performing scene recognition based on at least one of the above-mentioned first processing result and second processing result and the above-mentioned synthesis processing result.
  • the scene recognition is a process of recognizing the meaning of the scene represented in the image.
  • the scene recognition unit 130 generates a scene recognition result as a result of performing scene recognition.
  • the output unit 140 functions as a means for performing a predetermined output based on at least one of the above-mentioned first processing result and the second processing result, the above-mentioned synthesis processing result, and the above-mentioned scene recognition result. ..
  • FIG. 3 is a flowchart showing the operation of the image processing device 10 in the first embodiment.
  • the image acquisition unit 110 of the image processing device 10 acquires a captured image from the image pickup device 20 (step S110 in FIG. 3). For example, the image acquisition unit 110 acquires an image including the road in front of the vehicle as shown in FIG.
  • the first processing unit of the image processing device 10 performs predetermined first image processing on the image acquired by the image acquisition unit 110 to generate a first processing result (step S120 in FIG. 3).
  • the first processing unit 121 can perform area recognition as the first image processing.
  • area recognition also referred to as region division or segmentation
  • the first processing unit 121 uses the acquired image as an input image to perform region recognition (also referred to as region division or segmentation) on the input image, and each region included in the input image is represented in that region. Estimate the type of subject and generate the processing result.
  • FIG. 5 is a diagram showing an example of the processing result of area recognition.
  • the area recognition processing result is, for example, an image having the same resolution as the input image, and is expressed in the form of an image in which the subject type ID to which the corresponding pixel of the input image belongs is stored in each pixel. Will be done.
  • the subject type ID is an identifier that identifies the type of the subject.
  • the subject type ID is a numerical value of 1, 2, 3, 4, 5, and 6, and each corresponds to a person, an automobile, a building, other, a road, and the sky as the subject type.
  • the type of subject is not limited to the example shown in FIG. 5, for example, a two-wheeled vehicle, a sign, a traffic light, a white line, a stop line, an obstacle, a pedestrian crossing, a parking lot (parking space on the road shoulder), a paint on the road, a sidewalk, and a drive. It may include ways (vehicle passages on sidewalks connecting roadways and facilities), railroad tracks, and vegetation.
  • the first processing unit 121 calculates the reliability when estimating the type of the subject represented in each area, and includes the reliability in the processing result. May be good.
  • the reliability for each pixel may be separately generated as additional information and included in the processing result.
  • the first processing unit 121 executes the first image processing as described above to generate the first processing result.
  • the distant identification unit 122 of the image processing device 10 identifies the distant portion based on the image acquired by the image acquisition unit 110 and generates the distant identification information (step S130 in FIG. 3).
  • FIG. 6 is a flowchart showing the operation of the distant identification unit 122.
  • the image acquired by the image acquisition unit 110 is an image including a road.
  • the distant identification unit 122 estimates the vanishing point of the road for the image acquired by the image acquisition unit 110 (step S131 in FIG. 6).
  • the vanishing point of the road will be described.
  • the vanishing point of a road is such a point where distant roads are aggregated in the image.
  • FIG. 7 is a diagram showing an example of a vanishing point of a road in such an image including a road.
  • the point VP represents the vanishing point of the road.
  • the distant identification unit 122 performs area recognition on the acquired image.
  • the distant identification unit 122 extracts the point at the uppermost part of the image from the area where the type of the subject is estimated to be a road in the processing result of the area recognition, and estimates it as the vanishing point of the road. This is because the image pickup apparatus 20 usually captures the road in such an arrangement that the farther the road is, the higher the image is.
  • FIG. 8 is a diagram showing an example of the vanishing point of the road estimated in this way. In FIG. 8, the point VP represents the estimated vanishing point of the road.
  • simple area recognition may be used as the area recognition performed by the distant identification unit 122.
  • the distant identification unit 122 may use the area recognition in which the type of the subject is limited to a small number (for example, a road and two others) as a simple area recognition.
  • the distant identification unit 122 may reduce the image and perform area recognition on the reduced image as a simple area recognition. By using such a simple area recognition, it is possible to reduce the processing load in the distant specific unit 122.
  • the distant identification unit 122 does not perform area recognition, and the first processing unit 121 does not perform area recognition.
  • the generated area recognition processing result may be used. By omitting the area recognition in this way, the processing load in the distant specific unit 122 can be reduced.
  • the distant identification unit 122 estimates a line representing the road edge for each of the left and right road edges on the road.
  • the distant identification unit 122 estimates the point where the lines representing the left and right road edges intersect as the vanishing point of the road.
  • FIG. 9 is a diagram showing an example of a line representing such a roadside and a vanishing point of the road.
  • the line LL represents the left road edge
  • the line RL represents the right road edge
  • the point VP represents the vanishing point of the road.
  • various methods can be used as a method for estimating the line representing the roadside by the distant identification unit 122.
  • the distant identification unit 122 performs area recognition on the acquired image, extracts an area in which the type of the subject is presumed to be a road from the processing result of the area recognition, and left and right of the extracted area. Each end may be approximated by a straight line, and the straight line may be used as a line representing the road end.
  • the distant identification unit 122 may detect the white line and / and the guardrail from the acquired image, approximate the detected white line and / and the guardrail with a straight line, and use the straight line as a line representing the roadside. good.
  • the distant identification unit 122 has been described as approximating a line representing a roadside with a straight line, but the present invention is not limited to this, and a curved line may be used for approximation.
  • a curved line may be used for approximation.
  • the distant identification unit 122 may select whether to use a straight line approximation or a curved line approximation for each image.
  • the distant identification unit 122 may perform approximation with a straight line and approximation with a curve, and may select the one having the smaller approximation error.
  • the image processing device 10 can acquire the shooting position of the image and the road map information
  • the distant identification unit 122 has a straight line on the road displayed in the image based on the shooting position and the road map information. It is possible to estimate whether it is a curve or a curve, and select whether to use a straight line approximation or a curved line approximation depending on the result of the estimation.
  • the distant identification device 20 is specified.
  • the unit 122 estimates whether the road displayed in the image is a straight line or a curved line based on the traveling data, and depending on the result of the estimation, whether the approximation is a straight line or a curved line. You may choose whether to use. In this way, by selecting whether the distant identification unit 122 uses a straight line approximation or a curved line approximation, the vanishing point of the road is estimated accurately according to the shape of the road displayed in the image. be able to.
  • the distant identification unit 122 determines the distant portion based on the estimated vanishing point of the road (step S132 in FIG. 6).
  • the distant identification unit 122 determines a portion occupying a predetermined ratio in the image centered on the estimated vanishing point as the distant portion.
  • FIG. 10 is a diagram showing a distant portion determined in this way.
  • the point VP represents the vanishing point of the road and the partial FR represents the distant portion.
  • the shape of the distant portion is, for example, a rectangle having the same aspect ratio as the acquired image.
  • the shape of the distant portion is not limited to this, and may be a rectangle having an aspect ratio different from that of the acquired image, or may be a polygon other than the rectangle, a circle, an ellipse, or any other shape. ..
  • the predetermined ratio is, for example, 1/16 of the area of the acquired image.
  • the present invention is not limited to this, and other ratios may be used.
  • the distant identification unit 122 lists a plurality of portions including the estimated vanishing point of the road as candidates for the distant portion.
  • FIG. 11 is a diagram showing an example of a candidate for a distant portion listed by the distant identification unit 122.
  • the point VP is the estimated vanishing point of the road
  • the partial FR1 is the portion including the vanishing point of the road in the lower half
  • the partial FR2 is the portion including the vanishing point of the road in the upper half
  • the partial FR3 is the vanishing point of the road.
  • the part FR4 is the part including the vanishing point of the road in the left half.
  • the distant identification unit 122 can list such a plurality of rectangular portions as candidates for the distant portion. However, not limited to this, the distant identification unit 122 can list any number of other portions occupying any shape, size, and position as candidates for the distant portion.
  • the distant identification unit 122 evaluates a plurality of candidates for the distant portion based on a predetermined criterion, and determines the candidate with the highest evaluation as the distant portion.
  • the distant identification unit 122 can evaluate a plurality of distant portion candidates based on the processing result of the area recognition. As an example, the distant identification unit 122 can give a high evaluation when a large number of areas of the type of subject (for example, a road) to be watched are included in the candidates of the distant portion. By evaluating in this way, it is possible to determine a portion containing a large number of subjects to be watched as a distant portion.
  • the remote identification unit 122 may use the simple area recognition as shown in the first example of the vanishing point estimation as the area recognition. Further, in the first example of vanishing point estimation, when the first processing unit 121 has already performed area recognition as the first image processing, the distant identification unit 122 does not perform area recognition and the first processing unit 121 The processing result of the area recognition generated by may be used. Furthermore, in the first example of vanishing point estimation, when the distant identification unit 122 has already performed the area recognition, the distant identification unit 122 does not perform further area recognition, and the processing result of the area recognition already performed is performed. You may use it. By omitting the area recognition in this way, the processing load in the distant specific unit 122 can be reduced.
  • the image acquisition unit 110 acquires images (moving images) of a plurality of frames continuously in time from the image pickup apparatus 20.
  • These multi-frame images (moving images) are images including roads.
  • the distant identification unit 122 performs the processing as described in the first example of the distant identification for each frame of the images (moving images) of the plurality of frames, and generates a plurality of distant portions that are continuous in time. do.
  • the distant identification unit 122 integrates a plurality of distant portions that are continuous in time, and determines one distant portion.
  • the integration of a plurality of distant parts is performed, for example, by statistically processing the plurality of distant parts.
  • the distant identification unit 122 excludes a distant portion whose position and size are extremely different from those of the other distant portions among a plurality of distant portions which are continuous in time.
  • the distant identification unit 122 calculates a representative position and size for the remaining distant portion (for example, calculates the average of the positions and sizes).
  • the portion having the position and size calculated in this way is defined as the distant portion.
  • the present invention is not limited to this, and the distant identification unit 122 may use other statistical processing as the integration of the distant part.
  • the integration of a plurality of distant portions can be performed at predetermined time units.
  • the distant identification unit 122 may divide a plurality of frames of images (moving images) into time units of 5 seconds and integrate the images (moving images) in the time units of 5 seconds.
  • the present invention is not limited to this, and the remote identification unit 122 may be integrated for each other fixed or variable time unit.
  • the distant part 122 temporarily has a road area in the image due to a vehicle, a person, an obstacle, or the like. Even when concealed, it is possible to accurately identify the distant part of the road.
  • the distant identification unit 122 specifies a predetermined range as a distant portion.
  • the distant identification unit 122 can use a rectangular portion having a size of 1/16 of the area of the acquired image and whose center coincides with the center of the image as a predetermined range.
  • the present invention is not limited to this, and the distant identification portion 122 may use any other portion occupying any shape, size, and position as a predetermined range.
  • the above-mentioned predetermined range can be set by, for example, the user or manager of the image processing device 10, or the user or manager of the image pickup device 20. After the image pickup device 20 is installed, these users or managers may check the image taken by the image pickup device 20 and set a range considered to represent a distant portion. As an example, when the image pickup device 20 is a camera of a drive recorder mounted on a vehicle, the user or the manager considers that the angle of view or the like is confirmed from the image taken by the camera and represents a distant part of the road. The range may be set. When there are a plurality of image pickup devices 20, the predetermined range may be different for each image pickup device 20.
  • the recognition may be performed by using data interpolation (also called image hallucination) together with the area recognition.
  • data interpolation also called image hallucination
  • the area of an object in the foreground of a screen such as a vehicle is specified by performing area recognition on an image taken by a camera mounted on the vehicle, and further data interpolation is performed.
  • the distant identification unit 122 may recognize the area of the road by using the technique disclosed in Non-Patent Document 1. In this way, by using data interpolation together with area recognition, the distant identification unit 122 can accurately cover the distant part of the road even when the road area in the image is temporarily concealed by a vehicle, a person, an obstacle, or the like. Can be identified.
  • the distant identification unit 122 when the distant identification unit 122 processes an image (moving image) of a plurality of frames continuously in time, the distant identification unit 122 may omit the processing of some frames. good.
  • the distant identification unit 122 divides a plurality of frames of images (moving images) into time units of 5 seconds, performs specific processing of the distant portion only for one frame in the time unit of 5 seconds, and performs other processing. Processing may be omitted for frames.
  • the present invention is not limited to this, and the remote identification unit 122 may omit the processing of an arbitrary number of frames for each of other fixed or variable time units. In this case, the distant identification unit 122 may temporarily store the specified distant portion when the frame is processed.
  • the distant identification unit 122 may specify the temporarily stored distant portion (in the previous frame in time) as the distant portion in the frame. .. By omitting the processing of a part of the frames in this way, the processing load in the distant specific unit 122 can be reduced.
  • the distant identification unit 122 After specifying the distant portion as described above, the distant identification unit 122 generates distant identification information expressing the distant portion in a predetermined format.
  • the distant identification information is, for example, the coordinates of each point of the rectangle in the image.
  • the present invention is not limited to this, and any format can be used as the distant specific information according to the shape of the distant portion and the like.
  • the second processing unit 123 of the image processing device 10 makes a first image with respect to the distant portion of the image acquired by the image acquisition unit 110 based on the distant identification information generated by the distant identification unit 122. A predetermined second image processing different from the processing is performed, and the second processing result is generated (step S140 in FIG. 3).
  • FIG. 12 is a diagram showing the operation of the first example of the second image processing.
  • the second processing unit 123 enlarges a distant portion of the image, performs a predetermined process on the enlarged image, and reduces the processing result of the predetermined process. ..
  • the second processing unit 123 cuts out a distant portion of the image from the image acquired by the image acquisition unit 110 by using the distant identification information generated by the distant identification unit 122. Then, the second processing unit 123 enlarges the cut-out image to a predetermined size (step S141 in FIG. 12).
  • the predetermined size is, for example, the same size as the size of the acquired image.
  • the present invention is not limited to this, and the predetermined size may be any other size.
  • the enlargement of the image can be performed by using the nearest neighbor interpolation method, the bicubic interpolation method, the bicubic interpolation method, or other known methods.
  • the second processing unit 123 performs predetermined processing on the enlarged image and generates a processing result (step S142 in FIG. 12). For example, when the first processing unit 121 performs area recognition as the first image processing, the second processing unit 123 performs area recognition on the enlarged image and generates a processing result. For example, when the distant portion is the partial FR of FIG. 10, the second processing unit 123 enlarges the partial FR, performs region recognition on the enlarged image, and generates a processing result as shown in FIG. ..
  • the second processing unit 123 reduces the processing result for the enlarged image (step S143 in FIG. 12).
  • FIG. 14 is a diagram schematically showing the reduction of the processing result when the predetermined processing performed in step S142 is area recognition.
  • the area recognition processing result is, for example, an image having the same resolution as the input image, and is expressed in the form of an image in which the subject type ID to which the corresponding pixel of the input image belongs is stored in each pixel.
  • the processing result ER of FIG. 14 is an example of the processing result of area recognition for the enlarged image expressed in such a format.
  • the resolution of the processing result ER is the same as that of the enlarged image.
  • the processing result RR in FIG. 14 is an example of the processing result obtained by reducing the processing result ER.
  • the resolution of the processing result RR is the same as that of the image before being enlarged.
  • the reduction of the processing result means to determine the subject type ID to be stored in each pixel of the processing result RR based on the processing result ER.
  • the second processing unit 123 sequentially selects the pixels of the processing result RR to be determined.
  • Pixel RP1 is an example of pixels selected in this way.
  • the second processing unit 123 extracts the pixels on the processing result ER corresponding to the positions of the selected pixels on the processing result RR.
  • the second processing unit 123 may extract a single pixel on the corresponding processing result ER, or may extract a plurality of pixels including the periphery.
  • Pixels EP1, EP2, EP3, and EP4 are examples of pixels extracted in this way. In the example of FIG. 14, four pixels are extracted, but any number of other pixels may be extracted.
  • the second processing unit 123 determines the subject type ID to be stored in the pixels of the processing result RR based on the extracted pixels.
  • Various methods can be used for this determination.
  • the second processing unit 123 may use the methods shown in the following (A) to (D) as the method for determining the above.
  • (A) Use the most frequent subject type ID
  • (B) Determine the subject type ID based on the priority of the predetermined subject type
  • (C) Prioritize the subject type from the processing result of the area recognition for the distant part Determine the degree and determine the subject type ID based on the priority
  • D Determine the priority of the subject type from the comparison of the processing results between the area recognition for the distant part and the area recognition for the acquired image, and determine the priority.
  • the subject type ID is determined based on the above.
  • (A) to (D) will be described in detail.
  • the second processing unit 123 determines the most frequent subject type ID included in the extracted pixels as the stored subject type ID.
  • the extracted pixels are pixels EP1, EP2, EP3, and EP4, and the subject type IDs are EP1: 5 (road), EP2: 1 (person), and EP3: 5 (road), respectively.
  • EP4: 5 (road) the second processing unit 123 determines the subject type ID stored in the pixel RP1 to be 5 (road).
  • the second processing unit 123 determines the subject type ID to be stored based on the priority of the predetermined subject type.
  • the extracted pixels are pixels EP1, EP2, EP3, and EP4, and the subject type IDs are EP1: 5 (road), EP2: 1 (person), and EP3: 5 (road), respectively.
  • EP4: 5 (road) when "person" is defined as the priority subject type, the second processing unit 123 determines the subject type ID to be stored in the pixel RP1 to be 1 (person). can do.
  • the format of priority is not limited to the above example, and various types can be used.
  • the priority format may be expressed as a weighting coefficient for each type of subject.
  • the method for determining the subject type ID based on the priority is not limited to the above example, and various methods can be used.
  • the second processing unit 123 calculates the number of pixels for each type of subject for the extracted pixels, and calculates the evaluation value by multiplying the number of pixels and the above weighting coefficient for each type of subject.
  • the subject type ID to be stored may be determined by comparing the calculated evaluation values.
  • the second processing unit 123 by determining the subject type ID to be stored based on the priority of the subject type, the second processing unit 123 appropriately processes the subject to be recognized with priority. Can be included in the results.
  • the second processing unit 123 determines the priority of the subject type from the processing result of the area recognition for the enlarged image corresponding to the distant portion of the image, and based on the priority, the second processing unit 123 determines the priority. Determine the subject type ID to be stored.
  • the second processing unit 123 calculates the number of pixels for each type of subject from the processing result ER, and determines the priority of the type of subject according to the ratio of the calculated number of pixels. For example, when the ratio of the number of pixels recognized as "human” is small, "human” may be defined as the priority subject type. This makes it possible, for example, to prevent a small "human” area from being absorbed and lost by a surrounding subject (eg, "road”) area due to reduction. For example, in an image in which a person appears large, the priority subject type may be a surrounding subject (for example, "road”) instead of "person", but even in this case, it is usually "person". No space is lost.
  • a surrounding subject for example, "road
  • the second processing unit 123 may determine the priority of the subject type by any other method or format.
  • the second processing unit 123 After determining the priority of the subject type, the second processing unit 123 determines the subject type ID to be stored based on the priority of the subject type by using the same method as in (B) above.
  • the second processing unit 123 can be, for example, by determining the priority of the subject type from the processing result of the area recognition for the enlarged image corresponding to the distant portion of the image. Even a subject that occupies a small proportion (rare) in the distant part of the image can be appropriately included in the processing result.
  • the second processing unit 123 includes a processing result of area recognition for the enlarged image corresponding to a distant portion of the image and a processing result of area recognition for the acquired image (first processing). By comparing with the result), the priority of the subject type is determined, and the subject type ID to be stored is determined based on the priority.
  • the second processing unit 123 specifies the type of the subject included in the processing result ER.
  • the second processing unit 123 specifies the type of the subject included in the first processing result generated by the first processing unit 121.
  • the second processing unit 123 is a type of subject that is included in the processing result ER and is not included in the first processing result, or a type of subject whose ratio in the first processing result is equal to or less than a predetermined reference. Is specified, and the type of the subject is determined as the type of the subject to be prioritized.
  • the processing result ER includes "person" as the subject type and the first processing result does not include "person”
  • the second processing unit 123 sets "person" as the priority subject type. Can be determined.
  • the second processing unit 123 may determine the priority of the subject type by any other method or format. For example, the second processing unit 123 identifies a subject that is included in the processing result ER and whose ratio in the first processing result is larger than a predetermined standard, and determines a low priority for the type of the subject. You may.
  • the second processing unit 123 After determining the priority of the subject type, the second processing unit 123 determines the subject type ID to be stored based on the priority of the subject type by using the same method as in (B) above.
  • the processing result of the area recognition for the enlarged image corresponding to the distant portion of the image and the processing result of the area recognition for the acquired image (first processing result).
  • the second processing unit 123 is not sufficiently recognized by the area recognition for the acquired image, for example, but is recognized by the area recognition for the enlarged image.
  • the subject can be appropriately included in the processing result.
  • the second processing unit 123 reduces the processing result as described above and generates the second processing result which is the reduced processing result.
  • the second processing unit 123 cuts out a distant portion of the image from the image acquired by the image acquisition unit 110 by using the distant identification information generated by the distant identification unit 122. Then, the second processing unit 123 performs image processing on the cut out image by applying settings different from those of the first image processing.
  • the second processing unit 123 can use a setting that can recognize the type of the subject even with a smaller number of pixels as a different setting.
  • the first processing unit 121 performs area recognition in the first image processing using a setting in which a group of eight pixels is the smallest unit for recognizing the type of the subject
  • the second processing unit 123 may perform area recognition.
  • area recognition may be performed using a setting in which a group of four pixels is the minimum unit for recognizing the type of the subject.
  • the second processing unit 123 can use a setting that can recognize different types of subjects as different settings.
  • a setting that can recognize six types of subjects human, automobile, road, other, building, and sky.
  • the second processing unit 123 performs area recognition using a setting that can recognize eight types of subjects, such as people, automobiles, roads, others, buildings, and the sky, as well as signs and traffic lights. You may go.
  • such a setting is useful when there is a high need to recognize a distant sign or traffic light as compared to a nearby sign or traffic light that is likely to be already visible.
  • an image processing engine a processing component that performs substantive processing on an image.
  • the image processing engine includes a recognition model generated by learning or the like.
  • the image processing engine may be implemented by software or hardware.
  • the application of different settings can be done, for example, by having the image processing engine read the settings at runtime.
  • the image processing device 10 causes the image processing engine included in the image processing device 10 to read the settings as described above at the time of starting the image processing device 10 or at an arbitrary timing during execution. Then, the second processing unit 123 of the image processing device 10 performs the second image processing by using the image processing engine from which the settings are read in this way.
  • the application of different settings can be performed, for example, at the time of creating an image processing engine.
  • the creator of the image processing engine designs and creates the image processing engine so that the settings as described above are used.
  • the second processing unit 123 of the image processing device 10 performs the second image processing using the image processing engine created in this way.
  • the second processing unit 123 applies different settings as described above to execute the image processing and generate the second processing result.
  • the compositing unit 124 of the image processing apparatus 10 synthesizes the first processing result generated by the first processing unit 121 and the second processing result generated by the second processing unit 123, and synthesizes the first processing result.
  • the resulting synthesis processing result is generated (step S150 in FIG. 3).
  • the synthesizing unit 124 replaces the subject type ID of each pixel corresponding to the distant portion of the image among the pixels of the first processing result with the subject type ID of each pixel of the second processing result.
  • the synthesis unit 124 is described above. By the substitution described, the synthesis processing result as shown in FIG. 15 is generated.
  • the portion corresponding to the second processing result (the portion corresponding to the distant portion of the image) in the composition processing result is shown by a rectangle. It is arbitrary whether or not the synthesis unit 124 includes information representing a portion corresponding to the second processing result, such as this rectangle, in the synthesis processing result. For example, when it is not necessary to display the composition processing result, the composition unit 124 does not have to include the information representing the portion corresponding to the second processing result such as the above rectangle in the composition processing result. ..
  • the compositing unit 124 integrates the processing result corresponding to the distant portion of the image and the second processing result in the first processing result.
  • the compositing unit 124 may use the methods shown in the following (E) to (F) as the above-mentioned integration method (E) integration based on the priority of the subject type (F) of the subject type. Integration based on reliability The following describes (E) to (F) in detail.
  • the synthesis unit 124 integrates the subject type IDs based on the priority of the subject types. For example, in the first processing result, the subject type ID stored in a certain pixel corresponding to the distant portion of the image is 5 (road), and the subject type ID of the corresponding pixel of the second processing result is 1 (). (People), and if "person" is defined as the type of subject to be prioritized, the compositing unit 124 can determine the subject type ID of the pixel to be 1 (person). On the contrary, when "road” is defined as the priority subject type, the compositing unit 124 can determine the subject type ID of the pixel to 5 (road). By doing so, the compositing unit 124 can appropriately select and provide the required subject type from the subject types recognized by the first image processing and the second image processing. It becomes.
  • the integration of the subject type ID based on the priority of the subject type can be performed by any other method.
  • the compositing unit 124 statically or dynamically determines the priority of the subject type by any other method or format, and the priority is given.
  • Subject IDs may be integrated based on the degree.
  • the first processing result and the second processing result include the image in which the subject type ID is stored in each pixel and the reliability (for example, minimum 0.0 to maximum 1.0) for each pixel. What to do.
  • the subject type ID stored in a certain pixel corresponding to the distant portion of the image is 5 (road), and the reliability thereof is 0.4, which corresponds to the second processing result.
  • the compositing unit 124 determines the subject type ID of the pixel to be 1 (person) having a higher reliability.
  • the compositing unit 124 integrates the subject type ID based on the reliability of the subject type and the predetermined weights of the first processing result and the second processing result.
  • the subject type ID stored in a certain pixel corresponding to the distant portion of the image is 5 (road), and the reliability thereof is 0.8, which corresponds to the second processing result.
  • the weighting coefficient of the first processing result is 0.5
  • the weighting coefficient of the second processing result is 0.5.
  • the synthesizing unit 124 calculates an evaluation value by multiplying each of the pixel of the first processing result and the pixel of the second processing result by the reliability and the weighting coefficient. In the above case, the synthesis unit 124 calculates 0.4 as the evaluation value of the pixel of the first processing result and 0.7 as the evaluation value of the pixel of the second processing result. Next, the synthesis unit 124 compares the comparison of the calculated evaluation values and determines the subject type ID of the pixel. In the above case, 1 (person) of the second processing result having a larger evaluation value is determined as the subject identification ID of the pixel.
  • the synthesis unit 124 uses other reliability formats, an evaluation value calculation method, a subject identification ID, and the like, and uses a subject based on the reliability of the subject type.
  • the type ID can be integrated.
  • the scene recognition unit 130 of the image processing device 10 is generated by the first processing unit 121, the second processing result generated by the second processing unit 123, and the synthesis unit 124.
  • Scene recognition is performed based on at least one of the combined processing results, and a scene recognition result is generated (step S160 in FIG. 3).
  • the scene recognition is a process of recognizing the meaning of the scene represented in the image.
  • various things can be used.
  • the scene recognition unit 130 can perform a process of recognizing the road condition as scene recognition.
  • a specific example of the process of recognizing such a road condition will be described with reference to FIGS. 16 and 17.
  • the scene recognition unit 130 uses a process for determining whether or not a scene type such as "with a pedestrian crossing in front” or "with a pedestrian in front” is true or false as scene recognition. be able to.
  • FIG. 16 is a diagram showing an example of a scene recognition result by such scene recognition.
  • the scene recognition unit 130 can use a process for determining the numerical value of the scene type such as "distance to the intersection ahead" and "number of lanes in the traveling direction" for scene recognition.
  • FIG. 17 is a diagram showing an example of a scene recognition result by such scene recognition.
  • the scene recognition unit 130 may determine the position of the subject in the image (for example, the position of the pedestrian crossing or the position of the intersection) together with the truth value and the numerical value as described above, and may include it in the scene recognition result.
  • the scene recognition unit 130 can perform the above-mentioned scene recognition by using a predetermined recognition model.
  • the scene recognition unit 130 may use a recognition model created by any method.
  • the scene recognition unit 130 uses a recognition model created by performing deep learning or learning by other known methods using teacher data in which the correct answer label of the scene is associated with the synthesis processing result. You may perform scene recognition.
  • the output unit 140 of the image processing device 10 is generated by the first processing unit 121, the second processing result generated by the second processing unit 123, and the synthesis unit 124.
  • a predetermined output is performed based on at least one of the combined processing result and the scene recognition result generated by the scene recognition unit 130. (Step S170 in FIG. 3).
  • the output unit 140 can output using one or more of the following specific examples.
  • the image acquired by the image acquisition unit 110 is an image including a road. Further, it is assumed that the image processing device 10 and the vehicle traveling on the above road are communicably connected to each other. In the first example of the output, the output unit 140 provides information as an output to the occupants of the vehicle traveling on the road.
  • the output unit 140 can give an instruction to display as an output on a display device installed in the vehicle traveling on the road.
  • the output unit 140 is instructed to display the image as shown in FIG. 15 on the above display device. May be done. Further, the output unit 140 shows a subject (for example, a person or a car) to be watched on the acquired image as shown in FIG. 4 based on the processing result of the area recognition as shown in FIG. You may perform processing to emphasize the area and give an instruction to display the processed image on the above display device. Further, the output unit 140 may instruct the display device to display the character information of the subject type displayed on the image together with the image.
  • a subject for example, a person or a car
  • the output unit 140 has the character information "there is a pedestrian in front”. May be instructed to be displayed on the above display device.
  • the output unit 140 can give an instruction to announce as an output through a voice output device installed in the vehicle traveling on the road.
  • the output unit 140 outputs the character information "there is a pedestrian in front".
  • a voice an instruction to announce through the above-mentioned voice output device may be given.
  • the output unit 140 can provide information to the occupants of the vehicle traveling on the road in any other manner.
  • the image acquired by the image acquisition unit 110 is an image including a road. Further, it is assumed that the image processing device 10 and the vehicle traveling on the above road are communicably connected to each other. In the second example of the output, the output unit 140 gives an instruction of driving control to the vehicle traveling on the road as an output.
  • the output unit 140 can instruct the vehicle traveling on the road to brake, steer the steering wheel, and turn on or off the light.
  • the output unit 140 brakes the vehicle traveling on the above road. You may give the instruction of.
  • the output unit 140 can give an instruction for driving control to the vehicle traveling on the road in any other manner.
  • the vehicle traveling on the above road may be an automatically driven vehicle or a manually driven vehicle.
  • the output unit 140 provides information to the manager.
  • the manager includes various persons such as a vehicle manager, a road manager and a guard, a manager and a guard of other facilities, and the like. It is assumed that the manager uses the terminal device, and that the image processing device 10 and the terminal device are communicably connected to each other.
  • the terminal device used by the manager may be installed close to the image processing device 10, may be installed remotely from the image processing device 10, or may be a portable terminal device. There may be.
  • the output unit 140 can instruct the terminal device of the manager to present the first processing result, the second processing result, the synthesis processing result, and the scene recognition result as an output.
  • the output unit 140 gives an instruction or a voice to display the first processing result, the second processing result, the synthesis processing result, and the scene recognition result in the same manner as the mode described in the first example of the output. You may give an instruction to announce as.
  • the output unit 140 transmits information to an external device (not shown).
  • the external device includes various devices such as a display device, a storage device, and an analysis device. It is assumed that the image processing device 10 and the external device are communicably connected to each other.
  • the output unit 140 transmits, for example, information such as a first processing result, a second processing result, a synthesis processing result, and a scene recognition result to such an external device.
  • the external device can perform various processes such as displaying the received information on the screen, accumulating the received information, and further analyzing based on the received information.
  • the order of the processes shown in FIGS. 4, 6 and 12 is an example, and the order may be changed or some processes may be performed in parallel as long as the process results do not change.
  • the image processing apparatus 10 may change the order of the processing of step S120 in FIG. 4 and the series of processing of steps S130 and S140, or may perform some processing in parallel.
  • ⁇ Explanation of effect> when image processing is performed on a captured image, a distant subject can be recognized with high accuracy.
  • the reason is that the distant identification unit 122 identifies the distant portion of the captured image, and the second processing unit performs a predetermined second image processing on the distant portion of the identified image.
  • the distant identification unit 122 identifies the distant portion of the captured image, and the second processing unit performs a predetermined second image processing on the distant portion of the identified image. This is because it is not necessary to perform the second image processing up to the range excluding the distant portion.
  • FIG. 18 is a diagram showing a functional block of the image processing device 10 in the second embodiment.
  • the image processing apparatus 10 in the second embodiment is different from the first embodiment in that it includes a depth data acquisition unit 150.
  • the other components of the second embodiment are the same as those of the first embodiment.
  • the same reference numerals as those in FIGS. 1 and 2 are used, and detailed description thereof will be omitted.
  • the depth data acquisition unit 150 functions as a means for acquiring depth data.
  • the depth data is data representing the depth with respect to the object.
  • Depth data is represented, for example, in the form of an image (called a depth image) in which the distance to an object is stored in each pixel.
  • a depth image an image in which the distance to an object is stored in each pixel.
  • the depth data acquisition unit 150 may acquire the measured depth data from the measuring device by communication or the like.
  • measuring devices include LIDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing), millimeter-wave radar, stereo camera, and ToF (Time of Flyht) camera.
  • the depth data acquisition unit 150 may generate depth data using the image acquired by the image acquisition unit 110.
  • a method called depth estimation which estimates the depth from a two-dimensional image using deep learning or the like, is known, and the depth data acquisition unit 150 can generate depth data using such depth estimation. can.
  • the depth data acquisition unit 150 may acquire the depth data generated from the processing device by communication or the like.
  • FIG. 19 is a flowchart showing the operation of the image processing device 10 in the second embodiment.
  • the same operations as those in the first embodiment are designated by the same reference numerals as those in FIG. 3, and detailed description thereof will be omitted.
  • the image acquisition unit 110 of the image processing device 10 acquires a captured image from the image pickup device 20 (step S110 in FIG. 19).
  • the first processing unit of the image processing device 10 performs predetermined first image processing on the image acquired by the image acquisition unit 110 to generate a first processing result (step S120 in FIG. 19).
  • the depth data acquisition unit 150 of the image processing apparatus 10 acquires depth data by using the method as described above (step S180 in FIG. 19).
  • the depth data acquisition unit 150 acquires a depth image as shown in FIG. 20 as depth data.
  • the depth is represented by shading. The darker the part, the smaller the depth (near), and the brighter the part, the larger the depth (far).
  • the distant identification unit 122 of the image processing device 10 identifies the distant portion based on the depth data acquired by the depth data acquisition unit 150, and generates distant identification information (step S190 in FIG. 19).
  • the distant identification unit 122 can identify the distant portion based on the depth data. A specific example will be described below.
  • FIG. 21 is a flowchart showing the operation of the distant identification unit 122 based on the depth data.
  • the distant identification unit 122 identifies a distant portion in the coordinate system of the depth data based on the depth data acquired by the depth data acquisition unit 150 (step S191 in FIG. 21).
  • the distant identification unit 122 extracts the point having the largest depth from the points included in the depth data, identifies a predetermined portion including the point, and sets this as the distant portion in the coordinate system of the depth data. Can be done. Further, for example, the distant identification unit 122 extracts a point cloud whose depth is equal to or higher than a predetermined threshold value among the points included in the depth data, identifies a predetermined portion including the extracted point cloud, and determines the depth. It can be a distant part of the data coordinate system.
  • the shape of the distant portion in the coordinate system of the depth data may be, for example, a rectangle, a polygon other than the rectangle, a circle, an ellipse, or any other shape.
  • the distant identification unit 122 converts the distant portion in the coordinate system of the specified depth data into the distant portion in the coordinate system of the image (step S192 in FIG. 21).
  • the process of obtaining the conversion formula between the coordinate system of the depth data and the coordinate system of the image is called calibration.
  • various methods are known, for example, the above conversion formula is obtained based on a small number of points in the coordinate system of depth data and a small number of points in the coordinate system of the corresponding image. Has been done.
  • the distant identification unit 122 converts the distant part in the coordinate system of the depth data into the distant part in the coordinate system of the image by using, for example, the conversion formulas obtained by such various methods.
  • the distant identification unit 122 corrects the distant portion in the coordinate system of the image obtained by the transformation. (Step S193 in FIG. 21).
  • the distant identification unit 122 may make a correction to approximate the shape to a rectangle.
  • the present invention is not limited to this, and the distant identification portion 122 may be corrected to approximate a polygon, a circle, an ellipse, or another shape other than a rectangle, or may be corrected to various other shapes.
  • the distant identification unit 122 may omit the correction process when it is not necessary to correct the distant part in the coordinate system of the image obtained by the conversion.
  • FIG. 22 is a flowchart showing the operation of the distant identification unit 122 based on the depth data.
  • the distant identification unit 122 generates a plurality of candidates for the distant portion based on the depth data acquired by the depth data acquisition unit 150 (step S196 in FIG. 22).
  • the distant identification unit 122 identifies a plurality of candidates for the distant portion in the coordinate system of the depth data based on the depth data acquired by the depth data acquisition unit 150.
  • the distant identification unit 122 first extracts a point cloud whose depth is equal to or higher than a predetermined threshold value among the points included in the depth data. Next, the distant identification unit 122 divides the extracted point cloud into a group of points having a short distance in the coordinate system of the depth data. Subsequently, the distant identification unit 122 identifies a portion including a point cloud included in the group for each of the plurality of divided groups. The distant identification unit 122 can make these plurality of parts a plurality of candidates for the distant part in the coordinate system of the depth data.
  • the distant identification unit 122 converts each of the plurality of candidates for the distant portion in the coordinate system of the depth data specified above into the distant portion in the coordinate system of the image.
  • various methods as described in the first example of distant identification based on depth data can be used.
  • the distant identification unit 122 corrects each of the plurality of candidates for the distant portion in the coordinate system of the image obtained by the above conversion.
  • various methods as described in the first example of distant identification based on depth data can be used.
  • the distant identification unit 122 may omit the correction process when it is not necessary to correct the candidate of the distant part in the coordinate system of the image obtained by the conversion.
  • the distant identification unit 122 can obtain a plurality of candidates for the distant portion based on the depth data acquired by the depth data acquisition unit 150.
  • the distant identification unit 122 identifies the distant portion from the plurality of candidates for the distant portion generated by the above based on the image acquired by the image acquisition unit 110 (step S197 in FIG. 22).
  • the distant identification unit 122 performs image recognition on the image acquired by the image acquisition unit 110.
  • the image recognition performed by the distant identification unit 122 is, for example, area recognition.
  • the present invention is not limited to this, and the image recognition may be object recognition or other image recognition.
  • the remote identification unit 122 may use simple area recognition as described in the first example of vanishing point estimation in the first embodiment.
  • the distant identification unit 122 calculates an evaluation value for each of the plurality of candidates in the distant portion based on the above-mentioned image recognition processing result. For example, when the distant identification unit 122 includes a larger range recognized as a predetermined subject type (for example, a road) as a result of image recognition processing, a larger evaluation value is given to the candidate in the distant portion. Can be given.
  • a predetermined subject type for example, a road
  • the distant identification unit 122 identifies the candidate having the largest calculated evaluation value as the distant portion.
  • the distant identification unit 122 After specifying the distant portion as described above, the distant identification unit 122 generates distant identification information expressing the distant portion in a predetermined format.
  • the second processing unit 123 of the image processing device 10 makes a first image with respect to the distant portion of the image acquired by the image acquisition unit 110 based on the distant identification information generated by the distant identification unit 122. A predetermined second image processing different from the processing is performed, and the second processing result is generated (step S140 in FIG. 19).
  • the compositing unit 124 of the image processing apparatus 10 synthesizes the first processing result generated by the first processing unit 121 and the second processing result generated by the second processing unit 123, and synthesizes the first processing result.
  • the resulting synthesis processing result is generated (step S150 in FIG. 19).
  • the scene recognition unit 130 of the image processing device 10 is generated by the first processing unit 121, the second processing result generated by the second processing unit 123, and the synthesis unit 124.
  • Scene recognition is performed based on at least one of the combined processing results, and a scene recognition result is generated (step S160 in FIG. 19).
  • the output unit 140 of the image processing device 10 is generated by the first processing unit 121, the second processing result generated by the second processing unit 123, and the synthesis unit 124.
  • a predetermined output is performed based on at least one of the combined processing result and the scene recognition result generated by the scene recognition unit 130. (Step S170 in FIG. 19).
  • the order of the processes shown in FIGS. 19, 21 and 22 is an example, and the order may be changed or some processes may be performed in parallel as long as the process results do not change.
  • the image processing apparatus 10 may change the order of the processing of step S120 in FIG. 19 and the series of processing of steps S180, S190, and S140, or may perform some processing in parallel.
  • the depth data acquisition unit 150 acquires the depth data
  • the distant identification unit 122 identifies the distant portion of the captured image based on the acquired depth data.
  • the configuration of the third embodiment will be described.
  • the configuration of the third embodiment is the minimum configuration in each embodiment.
  • FIG. 23 is a diagram showing a functional block of the image processing device 10 in the third embodiment.
  • the image processing apparatus 10 includes an image acquisition unit 110, an image processing unit 120, and an output unit 140.
  • the image processing unit 120 further includes a first processing unit 121, a distant identification unit 122, and a second processing unit 123.
  • Each component of the image processing device 10 functions as a means similar to the corresponding component in the image processing device 10 or the like of the first embodiment.
  • FIG. 24 is a flowchart showing the operation of the image processing device 10 in the third embodiment.
  • the same operations as those in the first embodiment are designated by the same reference numerals as those in FIG. 3, and detailed description thereof will be omitted.
  • the image acquisition unit 110 of the image processing device 10 acquires a captured image from the image pickup device 20 (step S110 in FIG. 24).
  • the first processing unit of the image processing device 10 performs predetermined first image processing on the image acquired by the image acquisition unit 110 to generate a first processing result (step S120 in FIG. 24).
  • the distant identification unit 122 of the image processing device 10 identifies the distant portion based on the image acquired by the image acquisition unit 110 (step S130 in FIG. 24).
  • the second processing unit 123 of the image processing device 10 is different from the first image processing with respect to the distant portion of the image acquired by the image acquisition unit 110 based on the distant identification information generated by the distant identification unit 122.
  • a predetermined second image processing is performed to generate a second processing result (step S140 in FIG. 24).
  • the output unit 140 of the image processing unit 10 outputs a predetermined output based on the first processing result generated by the first processing unit 121 and the second processing result generated by the second processing unit 123 (FIG. FIG. Step 3 S170).
  • the order of the processes shown in FIG. 24 is an example, and the order may be changed or some processes may be performed in parallel as long as the process results do not change.
  • the image processing apparatus 10 may change the order of the processing of step S120 in FIG. 24 and the series of processing of steps S130 and S140, or may perform some processing in parallel.
  • the processing unit 121 and the second processing unit 123 may perform image recognition other than area recognition as image processing.
  • image recognition object recognition for estimating a shape (for example, a rectangle) surrounding a subject included in an image and the type of the subject is known, and the first processing unit 121 and the second processing unit 123 are images. As a process, this object recognition may be performed.
  • the first processing unit 121 and the second processing unit 123 of the image processing apparatus 10 may perform image processing other than image recognition, for example, image conversion / processing, as image processing.
  • image conversion / processing super-resolution that generates a high-definition image by using pixel interpolation or the like is known, and the first processing unit 121 and the second processing unit 123 perform this as image processing. Super-resolution may be performed. As a result, high-quality processing results can be obtained for the distant portion.
  • the image processing apparatus 10 when the first processing result satisfies a predetermined condition, the image processing apparatus 10 omits the specific processing of the distant portion by the distant identification unit 122 and the second image processing by the second processing unit 123. You may.
  • the first processing unit 121 performs image recognition such as area recognition and object recognition as the first image processing, and generates the reliability together with the image recognition result as the first processing result, the image processing apparatus. If the reliability is sufficiently high, the 10 may omit the specific processing of the distant portion by the distant identification unit 122 and the second image processing by the second processing unit 123. By omitting the processing in this way, the processing load in the distant identification unit 122 and the second processing unit 123 can be reduced.
  • the image processing device 10 has been described as acquiring an image from the image pickup device 20, but the image processing device 10 is not limited to this, and the image processing device 10 may be stored in a storage device or a recording medium in advance. The recorded image may be acquired and image processing may be performed on the image (offline image processing). As an example of such offline image processing, the image processing device 10 may perform image processing on pre-recorded images before and after the occurrence of an accident on the road. As a result of such image processing, the image processing apparatus 10 may provide information useful for detailed analysis of an accident after the fact, for example, a person passing through a distant pedestrian crossing before the accident occurred. can.
  • the image processing device 10 has been described as specifying a distant portion of the captured image and performing a predetermined second image processing on the distant portion.
  • the part to be watched may be specified by using a criterion other than "far".
  • the distant identification unit 122 identifies a portion of the captured image to be watched using a reference other than "far”, and the second processing unit 123 is assigned to the portion to be watched.
  • a predetermined second image processing may be performed.
  • each component of the image processing apparatus 10 represents a functional block. A part or all of each component of the image processing apparatus 10 may be realized by any combination of the computer 1000 and the program.
  • FIG. 25 is a block diagram showing an example of the hardware configuration of the computer 1000.
  • the computer 1000 may include, for example, a processor 1001, a ROM (Read Only Memory) 1002, a RAM (Random Access Memory) 1003, a program 1004, a storage device 1005, a drive device 1007, a communication interface 1008, an input device 1009, and the like. It includes an output device 1010, an input / output interface 1011 and a bus 1012.
  • Program 1004 includes instructions for realizing each function of each device.
  • the program 1004 is stored in the ROM 1002, the RAM 1003, and the storage device 1005 in advance.
  • the processor 1001 realizes each function of each device by executing the instruction included in the program 1004.
  • the processor 1001 of the image processing device 10 realizes the functions of the image acquisition unit 110, the image processing unit 120, and the like by executing the instructions included in the program 1004.
  • the drive device 1007 reads and writes the recording medium 1006.
  • Communication interface 1008 provides an interface with a communication network.
  • the input device 1009 is, for example, a mouse, a keyboard, or the like, and receives input of information from an operator or the like.
  • the output device 1010 is, for example, a display, and outputs (displays) information to an operator or the like.
  • the input / output interface 1011 provides an interface with peripheral devices. Bus 1012 connects each component of these hardware.
  • the program 1004 may be supplied to the processor 1001 via a communication network, or may be stored in the recording medium 1006 in advance, read by the drive device 1007, and supplied to the processor 1001.
  • FIG. 25 is an example, and components other than these may be added, or some components may not be included.
  • the image processing device 10 may be realized by any combination of a computer and a program that are different for each component. Further, a plurality of components included in each device may be realized by any combination of one computer and a program.
  • each component of each device may be realized by a general-purpose or dedicated circuit or a combination thereof. These circuits may be composed of a single chip or a plurality of chips connected via a bus. A part or all of each component of each device may be realized by the combination of the circuit or the like and the program described above.
  • each component of each device when a part or all of each component of each device is realized by a plurality of computers, circuits, etc., the plurality of computers, circuits, etc. may be centrally arranged or distributed.
  • Appendix 1 An image acquisition means for acquiring an image taken by an image pickup device, and A first processing means for performing a first image processing on the image, A distant identification means for specifying a distant part of the image, and A second processing means that performs a second image processing different from the first image processing on a distant portion of the image, An image processing apparatus including an output means for outputting a processing result of the first image processing and an output based on the processing result of the second image processing.
  • Appendix 2 Further comprising a synthesizing means for synthesizing the processing result of the first image processing and the processing result of the second image processing.
  • the image processing apparatus according to Appendix 1.
  • the second processing means As the second image processing, the second processing means enlarges a distant portion of the image, performs a predetermined process on the enlarged image, and reduces the processing result of the predetermined process. 2.
  • the image processing apparatus according to 2. (Appendix 4)
  • the first processing means performs area recognition as the first image processing, and performs area recognition.
  • a compositing means for synthesizing the processing result of the first image processing and the processing result of the second image processing is provided.
  • the synthesizing means is based on the type of the subject estimated in the first image processing, the type of the subject estimated in the second image processing, and the priority of the predetermined type of the subject. Determining the type of subject in each region of the distant portion of the image.
  • the image processing apparatus according to Appendix 4. As the second image processing, the second processing means performs image processing on a distant portion of the image by applying settings different from those of the first image processing.
  • the image is an image including a road, and the distant identification means estimates the vanishing point of the road in the image, and specifies a predetermined portion based on the vanishing point of the road as a distant portion of the image.
  • the image processing apparatus according to any one of Supplementary note 1 to 6.
  • Appendix 8 The image processing apparatus according to Appendix 7, wherein the distant identification means estimates a vanishing point of a road in the image based on a region determined to be a road in the processing result of area recognition for the image.
  • Appendix 9 Further equipped with a depth data acquisition means to acquire depth data, The distant identification means identifies a distant portion in the image based on the depth data.
  • the image processing apparatus according to any one of Supplementary note 1 to 6.
  • Appendix 10 A scene recognition means for recognizing a road condition based on the processing result of the first image processing and the processing result of the second image processing is further provided.
  • the image processing apparatus according to any one of Supplementary note 1 to 9.
  • the output means outputs a predetermined output to a vehicle traveling on a road based on the processing result of the first image processing and the processing result of the second image processing.
  • the image processing apparatus according to any one of Supplementary note 1 to 10.
  • the image processing device Acquire the image taken by the image pickup device and The first image processing is performed on the image, and the image is processed. Identify the distant part of the image and A second image process different from the first image process is performed on the distant portion of the image. Output based on the processing result of the first image processing and the processing result of the second image processing.
  • Image processing method On the computer Acquire the image taken by the image pickup device and The first image processing is performed on the image, and the image is processed.
  • Image processing device 20 Image pickup device 110 Image acquisition unit 120 Image processing unit 121 First processing unit 122 Remote identification unit 123 Second processing unit 124 Synthesis unit 130 Scene recognition unit 140 Output unit 150 Depth data acquisition unit 1000 Computer 1001 Processor 1002 ROM 1003 RAM 1004 Program 1005 Storage device 1006 Recording medium 1007 Drive device 1008 Communication interface 1009 Input device 1010 Output device 1011 Input / output interface 1012 Bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

撮影された画像に対して画像処理を行う場合において、遠方の被写体を精度よく認識することができる、画像処理装置を提供する。画像処理装置は、撮像装置で撮影された画像を取得する画像取得手段と、前記画像に対して第１の画像処理を行う第１処理手段と、前記画像の遠方部分を特定する遠方特定手段と、前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行う第２処理手段と、前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う出力手段と、を備える。

Description

画像処理装置、画像処理方法、及び記録媒体
　本発明は、画像処理装置、画像処理方法及び記録媒体に関する。
　コンピュータを用いた画像処理の技術は、広く普及している。画像処理の活用例として、車両に搭載されたカメラで撮影した画像に対して画像処理を行い、様々なサービスの提供に役立てる取り組みが行われている。例えば、特許文献１には、車両に搭載した後側方カメラによって撮影される画像のうち、運転者の関心の対象となる関心領域を拡大して合成表示することで、運転者にとって認識しやすい情報提示を行う画像処理装置が開示されている。
　ここで、画像処理には、画像に写されている内容を認識する画像認識が含まれる。このような画像認識の１つとして、領域認識（領域分割又はＳｅｇｍｅｎｔａｔｉｏｎとも呼ばれる）がある。領域認識は、画像を入力として、画像に含まれる各領域について、その領域に表される被写体の種別を推定する技術である。このような領域認識の例として、非特許文献１が挙げられる。
特開２０１８－１２９８３３号公報
　本発明の発明者は、画像処理において、以下のような課題を見出した。撮影された画像において、遠方にある被写体が画像の中で占める部分は小さい。そのような小さい部分については、画像処理によって容易に認識できない場合も多い。即ち、撮影された画像に対して画像処理を行う場合において、遠方の被写体を精度よく認識することが困難である、という課題がある。
ここで、引用文献１に開示された画像処理装置は、あくまで運転者の関心の対象となる関心領域を運転者にとって視認しやすく表示するものである。即ち、遠方にある被写体を精度よく認識するという、上記の課題を解決するものではない。
　本発明の目的の１つは、上記の課題を解決し、撮影された画像に対して画像処理を行う場合において、遠方の被写体を精度よく認識することができる、画像処理装置、画像処理方法及び記録媒体を提供することである。
本開示の一態様における画像処理装置は、撮像装置で撮影された画像を取得する画像取得手段と、前記画像に対して第１の画像処理を行う第１処理手段と、前記画像の遠方部分を特定する遠方特定手段と、前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行う第２処理手段と、前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う出力手段と、を備える。
　本開示の一態様における画像処理方法は、画像処理装置が、撮像装置で撮影された画像を取得し、前記画像に対して第１の画像処理を行い、前記画像の遠方部分を特定し、前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行い、前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う。
　本開示の一態様における記録媒体は、コンピュータに、撮像装置で撮影された画像を取得し、前記画像に対して第１の画像処理を行い、前記画像の遠方部分を特定し、前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行い、前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う処理を実行させるプログラムを記録する。
　本開示によれば、撮影された画像に対して画像処理を行う場合において、遠方の被写体を精度よく認識することができる。
第１の実施形態における、画像処理システムの構成の例を示す図である。 第１の実施形態における、画像処理装置１０の機能ブロックの例を示す図である。 第１の実施形態における、画像処理装置１０の動作の例を示すフローチャートである。 第１の実施形態における、取得された画像の例を示す図である。 第１の実施形態における、領域認識の処理結果の例を示す図である。 第１の実施形態における、遠方特定部１２２の動作の例を示すフローチャートである。 第１の実施形態における、道路の消失点の例を示す図である。 第１の実施形態における、道路の消失点の推定の例を示す図である。 第１の実施形態における、道路の消失点の推定の他の例を示す図である。 第１の実施形態における、画像の遠方部分の例を示す図である。 第１の実施形態における、画像の遠方部分の候補の例を示す図である。 第１の実施形態における、第２の画像処理の例を示す図である。 第１の実施形態における、第２の画像処理の処理結果の例を示す図である。 第１の実施形態における、処理結果の縮小の例を示す図である。 第１の実施形態における、合成処理結果の例を示す図である。 第１の実施形態における、シーン認識結果の例を示す図である。 第１の実施形態における、シーン認識結果の他の例を示す図である。 第２の実施形態における、画像処理装置１０の機能ブロックの例を示す図である。 第２の実施形態における、画像処理装置１０の動作の例を示すフローチャートである。 第２の実施形態における、深度データの例を示す図である。 第２の実施形態における、遠方特定部１２２の動作の例を示すフローチャートである。 第２の実施形態における、遠方特定部１２２の動作の他の例を示すフローチャートである。 第３の実施形態における、画像処理装置１０の機能ブロックの例を示す図である。 第３の実施形態における、画像処理装置１０の動作の例を示すフローチャートである。 コンピュータ１０００のハードウェア構成の例を示すブロック図である。
　本発明の実施形態について、図面を参照して詳細に説明する。なお、各図面、及び、明細書記載の各実施形態において、同様の構成要素には同一の符号を付与し、説明を適宜省略する。
［第１の実施形態］
　第１の実施形態について説明する。
　＜構成の説明＞
　まず、第１の実施形態の構成について説明する。
　図１は、第１の実施形態における画像処理システムの構成を示す図である。図１を参照すると、画像処理システムは、画像処理装置１０と、撮像装置２０とを備える。画像処理装置１０と撮像装置２０は、通信可能に接続される。
　画像処理装置１０は、撮像装置２０によって撮影された画像を取得し、当該画像に対して画像処理を行い、処理結果に基づいて出力を行う。画像処理装置１０は、例えば、車両に搭載されたコンピュータとして実現される。しかし、これに限らず、画像処理装置１０は、例えば、データセンター等に設置されたサーバとして実現されてもよい。
　撮像装置２０は、画像を撮影する。撮像装置２０は、例えば、車両に搭載されたドライブレコーダーのカメラである。この場合、撮像装置２０は、当該車両の周囲、例えば前方を撮影した画像を生成する。しかし、これに限らず、撮像装置２０は、例えば、道路の路側に設置されたカメラであってもよいし、施設の内部に設置されたカメラであってもよい。また、撮像装置２０が撮影する画像は、静止画であってもよいし、時間的に連続する複数フレームの画像（動画）であってもよい。
　画像処理装置１０と撮像装置２０とは、有線ＬＡＮや内部バス通信等の有線通信で接続されてよく、また、無線ＬＡＮや近距離通信等の無線通信で接続されてもよい。例えば、画像処理装置１０と撮像装置２０とが同一の車両に搭載される場合、画像処理装置１０と撮像装置２０とは車両の内部バスによって接続されてよいが、これに限られない。
　また、１つの画像処理システムにおいて、画像処理装置１０と撮像装置２０とが複数存在してもよい。この場合、画像処理装置１０と撮像装置２０とは、必ずしも１対１で接続される必要はなく、１対多又は多対多で接続され得る。例えば、１つ画像処理装置１０に対して、複数の撮像装置２０が接続されてもよい。
　図２は、第１の実施形態における、画像処理装置１０の機能ブロックを示す図である。図２を参照すると、画像処理装置１０は、画像取得部１１０、画像処理部１２０、シーン認識部１３０、出力部１４０を備える。
　画像取得部１１０は、撮像装置２０によって撮影された画像を取得する手段として機能する。
　画像処理部１２０は、取得された画像に対して画像処理を行い、処理結果を生成する手段として機能する。画像処理部１２０は、さらに、第１処理部１２１、遠方特定部１２２、第２処理部１２３、合成部１２４を備える。
第１処理部１２１は、取得された画像に対して、所定の第１の画像処理を行う手段として機能する。
画像のうち、第１処理部１２１による第１の画像処理の処理対象となる範囲は、例えば、画像の全体である。しかし、これに限らず、第１処理部１２１は、マスク処理等を用いて、画像の一部の範囲（例えば画像の遠方部分）を、第１の画像処理の処理対象から除外してもよい。
第１処理部１２１が行う第１の画像処理としては、種々のものを用いることができる。例えば、第１処理部１２１は、第１の画像処理として領域認識を行うことができる。第１の実施形態では、主に、第１の画像処理として領域認識を行う場合を例として説明する。
第１処理部１２１は、上記の第１の画像処理を行った結果として、第１の処理結果を生成する。
遠方特定部１２２は、取得された画像から遠方部分を特定する手段として機能する。
ここで、遠方部分とは、画像のうち、遠方に存在する被写体を含む部分である。遠方部分は、例えば、画像のうち、遠方に存在する被写体を含む矩形で表される。しかし、これに限らず、遠方部分は、矩形以外の多角形、円、楕円、その他の形状で表されてもよい。また、遠方部分は、このような画像の中の連続した単一の形状に限らず、離散した複数の形状であってもよい。
　遠方特定部１２２は、遠方部分を特定した結果として、当該遠方部分を所定の形式で表現した遠方特定情報を生成する。遠方部分が矩形である場合、遠方特定情報は、例えば、画像における当該矩形の各点の座標である。
第２処理部１２３は、上記の遠方特定情報に基づいて、取得された画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行う手段として機能する。
第２処理部１２３が行う第２の画像処理としては、種々のものを用いることができる。例えば、第２処理部１２３は、第２の画像処理として、画像の遠方部分を拡大し、拡大された画像に対して所定の処理を行い、当該所定の処理の処理結果を縮小する処理を用いることができる。また、例えば、第２処理部１２３は、第２の画像処理として、画像の遠方部分に対して第１の画像処理とは異なる設定を適用した画像処理を用いることができる。
第２処理部１２３は、上記のような所定の第２の画像処理を行った結果として、第２の処理結果を生成する。
合成部１２４は、上記の第１の処理結果と第２の処理結果とを合成する手段として機能する。合成部１２４は、合成の結果である合成処理結果を生成する。
シーン認識部１３０は、上記の第１の処理結果及び第２の処理結果と、上記の合成処理結果との少なくともいずれかに基づいて、シーン認識を行う手段として機能する。ここで、シーン認識とは、画像に表されているシーンの意味を認識する処理である。シーン認識部１３０は、シーン認識を行った結果として、シーン認識結果を生成する。
出力部１４０は、上記の第１の処理結果及び第２の処理結果と、上記の合成処理結果と、上記のシーン認識結果との少なくともいずれかに基づいて、所定の出力を行う手段として機能する。
＜動作の説明＞
次に、第１の実施形態の動作について説明する。
図３は、第１の実施形態における、画像処理装置１０の動作を示すフローチャートである。
画像処理装置１０の画像取得部１１０は、撮像装置２０より、撮影された画像を取得する（図３のステップＳ１１０）。例えば、画像取得部１１０は、図４に示すような、車両の前方の道路を含む画像を取得する。
画像処理装置１０の第１処理部は、画像取得部１１０によって取得された画像に対して、所定の第１の画像処理を行い、第１の処理結果を生成する（図３のステップＳ１２０）。
第１処理部１２１が行う第１の画像処理としては、種々のものを用いることができる。例えば、第１処理部１２１は、第１の画像処理として領域認識を行うことができる。第１の実施形態では、主に、第１の画像処理として領域認識を行う場合について説明する。第１処理部１２１は、取得された画像を入力画像として、入力画像に対して領域認識（領域分割又はＳｅｇｍｅｎｔａｔｉｏｎとも呼ばれる）を行い、当該入力画像に含まれる各領域について、その領域に表される被写体の種別を推定し、処理結果を生成する。
図５は、領域認識の処理結果の例を示す図である。図５を参照すると、領域認識の処理結果は、例えば、入力画像と同じ解像度の画像であって、各画素に、入力画像の対応する画素が属する被写体種別ＩＤが格納された画像の形式で表現される。ここで、被写体種別ＩＤとは、被写体の種別を識別する識別子である。図５の例では、被写体種別ＩＤは、１、２、３、４、５及び６の数値であり、それぞれが、被写体の種別として、人、自動車、建物、その他、道路、空に対応する。
なお、被写体の種別は、図５の例に限らず、例えば、二輪車、標識、信号機、白線、停止線、障害物、横断歩道、パーキングロット（路肩の駐車スペース）、路上のペイント、歩道、ドライブウェイ（車道と施設等とを結ぶ歩道上の車両通行路）、線路、草木を含んでもよい。
また、第１の画像処理として領域認識を行う場合、第１処理部１２１は、各領域に表される被写体の種別を推定したときの信頼度を算出し、当該信頼度を処理結果に含めてもよい。例えば、図５の例では、各画素についての信頼度を、追加の情報として別途生成し、処理結果に含めてもよい。
第１処理部１２１は、上記のように第1の画像処理を実行して第１の処理結果を生成する。
次に、画像処理装置１０の遠方特定部１２２は、画像取得部１１０によって取得された画像に基づいて、遠方部分を特定し、遠方特定情報を生成する（図３のステップＳ１３０）。
遠方特定部１２２が遠方部分を特定する方法には、種々のものを用いることができる。以下に、具体例を説明する。
〔遠方特定の第１の例〕
遠方特定の第１の例について説明する。図６は、遠方特定部１２２の動作を示すフローチャートである。なお、遠方特定の第１の例において、画像取得部１１０によって取得された画像は、道路を含む画像である。
遠方特定部１２２は、画像取得部１１０によって取得された画像について、道路の消失点を推定する（図６のステップＳ１３１）。ここで、道路の消失点について説明する。道路を含む画像においては、通常、遠方であればあるほど道路は小さく表示され、さらに遠方においては１つの点に集約される。道路の消失点とは、このような、画像において遠方の道路が集約される点である。図７は、このような、道路を含む画像における道路の消失点の例を示す図である。図７において、点ＶＰは、道路の消失点を表す。
遠方特定部１２２が道路の消失点を推定する方法としては、種々のものを用いることができる。以下に、具体例を説明する。
（消失点推定の第１の例）
消失点推定の第１の例について説明する。
まず、遠方特定部１２２は、取得された画像に対して領域認識を行う。次に、遠方特定部１２２は、当該領域認識の処理結果において被写体の種別が道路であると推定された領域のうち画像の最も上方にある点を抽出し、道路の消失点と推定する。これは、撮像装置２０は、通常、道路の遠方であるほど画像の上方になるような配置で道路を撮影するためである。図８は、このようにして推定された道路の消失点の例を示す図である。図８において、点ＶＰが、推定された道路の消失点を表す。
なお、消失点推定の第１の例において、遠方特定部１２２が行う領域認識として、簡易な領域認識を用いてもよい。例えば、遠方特定部１２２は、簡易な領域認識として、被写体の種別を少数（例えば、道路及びその他の２つ）に限定した領域認識を用いてもよい。また、例えば、遠方特定部１２２は、簡易な領域認識として、画像を縮小し、縮小した画像に対して領域認識を行ってもよい。このように簡易な領域認識を用いることで、遠方特定部１２２における処理負荷を削減することができる。
また、消失点推定の第１の例において、第１処理部１２１が第１の画像処理として領域認識を既に行っている場合、遠方特定部１２２は領域認識を行わず、第１処理部１２１によって生成された領域認識の処理結果を用いてもよい。このように領域認識を省略することで、遠方特定部１２２における処理負荷を削減することができる。
（消失点推定の第２の例）
消失点推定の第２の例について説明する。
まず、遠方特定部１２２は、道路における左右の路端のそれぞれについて、路端を表す線を推定する。次に、遠方特定部１２２は、左右の路端を表す線が交差する箇所を、道路の消失点として推定する。図９は、このような路端を表す線および道路の消失点の例を示す図である。図９において、線ＬＬは左の路端を、線ＲＬは右の路端を、点ＶＰは道路の消失点を表す。
消失点推定の第２の例において、遠方特定部１２２が路端を表す線を推定する方法としては、種々のものを用いることができる。例えば、遠方特定部１２２は、取得された画像に対して領域認識を行い、当該領域認識の処理結果から被写体の種別が道路であると推定された領域を抽出し、抽出された領域の左右の端をそれぞれ直線で近似し、当該直線を、路端を表す線としてもよい。また、例えば、遠方特定部１２２は、取得された画像から白線又は／及びガードレールの検出を行い、検出された白線又は／及びガードレールを直線で近似し、当該直線を、路端を表す線としてもよい。
なお、上記において、遠方特定部１２２は、路端を表す線を直線で近似するものとして説明したが、これに限らず、曲線で近似してもよい。曲線での近似を用いることで、例えば道路がカーブしている場合において、精度よく道路の消失点を推定することができる。
また、遠方特定部１２２は、画像毎に、直線での近似と曲線での近似のどちらを用いるかを選択してもよい。この場合、遠方特定部１２２は、例えば、直線での近似及び曲線での近似を行い、近似の誤差がより小さいほうを選択してもよい。また、画像処理装置１０が、画像の撮影位置と、道路地図情報とを取得できる場合、遠方特定部１２２は、当該撮影位置及び道路地図情報に基づいて、画像に表示されている道路が直線であるか曲線であるかを推定し、当該推定の結果に応じて、直線での近似と曲線での近似のどちらを用いるかを選択してもよい。さらにまた、撮像装置２０が車両に搭載されており、画像処理装置１０が、画像が撮影されたときの当該車両の走行データ（例えば、左右方向の加速度やハンドル角度）を取得できる場合、遠方特定部１２２は、当該走行データに基づいて、画像に表示されている道路が直線であるか曲線であるかを推定し、当該推定の結果に応じて、直線での近似と曲線での近似のどちらを用いるかを選択してもよい。このように、遠方特定部１２２が直線での近似と曲線での近似のどちらを用いるかを選択することで、画像に表示されている道路の形状に応じて精度よく道路の消失点を推定することができる。
次に、遠方特定部１２２は、推定された道路の消失点に基づいて遠方部分を決定する（図６のステップＳ１３２）。
遠方特定部１２２が遠方部分を決定する方法としては、種々のものを用いることができる。以下に、具体例を説明する。
（遠方部分決定の第１の例）
遠方部分決定の第１の例について説明する。
遠方部分決定の第１の例においては、遠方特定部１２２は、推定された消失点を中心とする、画像において所定の割合を占める部分を、遠方部分として決定する。図１０は、このようにして決定された遠方部分を示す図である。図１０において、点ＶＰは道路の消失点を、部分ＦＲは遠方部分を表す。
遠方部分の形状は、例えば、取得された画像と同じ縦横比の矩形である。しかし、これに限らず、遠方部分の形状は、取得された画像と異なる縦横比の矩形であってもよいし、また、矩形以外の多角形、円、楕円、その他の形状であってもよい。また、前記所定の割合は、例えば、取得された画像の面積の１６分の１である。しかし、これに限らず、その他の割合を用いてもよい。
（遠方部分決定の第２の例）
遠方部分決定の第２の例について説明する。
まず、遠方特定部１２２は、推定された道路の消失点を含む複数の部分を、遠方部分の候補として列挙する。
図１１は、遠方特定部１２２によって列挙された、遠方部分の候補の例を示す図である。図１１において、点ＶＰは推定された道路の消失点を、部分ＦＲ１は道路の消失点を下半分に含む部分、部分ＦＲ２は道路の消失点を上半分に含む部分、部分ＦＲ３は道路の消失点を右半分に含む部分、部分ＦＲ４は道路の消失点を左半分に含む部分である。遠方特定部１２２は、このような複数の矩形の部分を、遠方部分の候補として列挙することができる。しかし、これに限らず、遠方特定部１２２は、その他の任意の形状、大きさ、位置を占める部分を、任意の数だけ、遠方部分の候補として列挙することができる。
次に、遠方特定部１２２は、複数の遠方部分の候補を所定の基準で評価し、最も評価が高い候補を遠方部分として決定する。
例えば、遠方特定部１２２は、複数の遠方部分の候補を、領域認識の処理結果に基づいて評価することができる。一例として、遠方特定部１２２は、遠方部分の候補の中に、注視したい被写体の種別（例えば、道路）の領域が多く含まれる場合に、高い評価を与えることができる。このように評価することで、注視したい被写体を多く含む部分を遠方部分として決定することができる。
領域認識の処理結果に基づいて評価する場合、遠方特定部１２２は、領域認識として、消失点推定の第１の例で示したような簡易な領域認識を用いてもよい。また、消失点推定の第１の例において、第１処理部１２１が第１の画像処理として領域認識を既に行っている場合、遠方特定部１２２は、領域認識を行わず、第１処理部１２１によって生成された領域認識の処理結果を用いてもよい。さらにまた、消失点推定の第１の例において、遠方特定部１２２が領域認識を既に行っている場合、遠方特定部１２２は、さらなる領域認識を行わず、既に行った当該領域認識の処理結果を用いてもよい。このように領域認識を省略することで、遠方特定部１２２における処理負荷を削減することができる。
〔遠方特定の第２の例〕
遠方特定の第２の例について説明する。
遠方特定の第２の例においては、画像取得部１１０は、撮像装置２０から、時間的に連続する複数フレームの画像（動画）を取得する。これらの複数フレームの画像（動画）は、道路を含む画像である。
まず、遠方特定部１２２は、これらの複数フレームの画像（動画）のそれぞれのフレームについて、遠方特定の第１の例で説明したような処理を行い、時間的に連続する複数の遠方部分を生成する。次に、遠方特定部１２２は、時間的に連続する複数の遠方部分を統合し、１つの遠方部分を定める。
複数の遠方部分の統合は、例えば、複数の遠方部分を統計的に処理することで行う。ここで、統計的な処理の一例を説明する。まず、遠方特定部１２２は、時間的に連続する複数の遠方部分のうち、他と比べて位置や大きさが極端に異なる遠方部分を除外する。次に、遠方特定部１２２は、残る遠方部分について、代表的な位置や大きさを算出する（例えば、位置や大きさの平均を算出する）。このように算出された位置や大きさを有する部分を、遠方部分として定める。しかし、これに限らず、遠方特定部１２２は、遠方部分の統合として、その他の統計的な処理を用いてもよい。
また、複数の遠方部分の統合は、所定の時間単位毎に行うことができる。例えば、遠方特定部１２２は、複数フレームの画像（動画）を５秒の時間単位で区切り、その５秒の時間単位毎に統合を行ってもよい。しかし、これに限らず、遠方特定部１２２は、その他の固定又は可変の時間単位毎に、統合を行ってもよい。
このように、時間的に連続して撮影された複数の画像に基づいて遠方部分を特定することで、遠方特定部１２２は、車両や人、障害物等によって画像における道路の領域が一時的に隠蔽された場合においても、精度よく道路の遠方部分を特定することができる。
〔遠方特定の第３の例〕
遠方特定の第３の例について説明する。
遠方特定の第３の例においては、遠方特定部１２２は、予め定められた範囲を、遠方部分として特定する。例えば、遠方特定部１２２は、取得された画像の面積の１６分の１の大きさで、中心が画像の中心と一致する矩形の部分を、予め定められた範囲として用いることができる。しかし、これに限らず、遠方特定部１２２は、その他の任意の形状、大きさ、位置を占める部分を、予め定められた範囲として用いてもよい。
上記の予め定められた範囲は、例えば、画像処理装置１０の使用者若しくは管理者、又は撮像装置２０の使用者若しくは管理者が設定することができる。これらの使用者若しくは管理者は、撮像装置２０が設置された後に、当該撮像装置２０によって撮影された画像を確認し、遠方部分を表すと考えられる範囲を設定してもよい。一例として、撮像装置２０が車両に搭載されたドライブレコーダーのカメラである場合、使用者若しくは管理者は、当該カメラで撮影された画像から画角等を確認し、道路の遠方部分を表すと考えられる範囲を設定してもよい。なお、複数の撮像装置２０が存在する場合、上記の予め定められた範囲は、撮像装置２０毎に異なっていてもよい。
〔遠方特定のその他の例〕
遠方特定のその他の例について説明する。
上記の遠方特定の各例において、領域認識を用いて道路の領域を認識する場合、領域認識とともにデータ補間（イメージハルシネーションとも呼ばれる）を用いて認識を行ってもよい。例えば、非特許文献１には、車両に搭載されたカメラで撮影した画像に対して領域認識を行うことで、車両のような画面前景の物体の領域を特定し、さらに、データ補間を行うことにより、画面前景の物体によって隠蔽された道路の領域を推定する技術が開示されている。遠方特定部１２２は、この非特許文献１に開示されているような技術を用いて、道路の領域を認識してもよい。このように、領域認識とともにデータ補間を用いることで、遠方特定部１２２は、車両や人、障害物等によって画像における道路の領域が一時的に隠蔽された場合においても、精度よく道路の遠方部分を特定することができる。
また、上記の遠方特定の各例において、遠方特定部１２２が時間的に連続する複数フレームの画像（動画）を処理する場合、遠方特定部１２２は、一部のフレームの処理を省略してもよい。例えば、遠方特定部１２２は、複数フレームの画像（動画）を５秒の時間単位で区切り、その５秒の時間単位のうち１つのフレームに対してのみ遠方部分の特定の処理を行い、その他のフレームに対しては処理を省略してもよい。しかし、これに限らず、遠方特定部１２２は、その他の固定又は可変の時間単位毎に、任意の数のフレームの処理を省略してもよい。なお、この場合において、遠方特定部１２２は、フレームの処理を行った場合に、特定された遠方部分を一時的に保存してもよい。そして、遠方特定部１２２は、フレームの処理を省略する場合には、上記の一時的に保存された（時間的に前のフレームにおける）遠方部分を、当該フレームにおける遠方部分として特定してもよい。このように、一部のフレームの処理を省略することで、遠方特定部１２２における処理負荷を削減することができる。
以上のようにして遠方部分を特定したら、遠方特定部１２２は、当該遠方部分を所定の形式で表現した遠方特定情報を生成する。一例として、遠方部分が矩形である場合、遠方特定情報は、例えば、画像における当該矩形の各点の座標である。しかし、これに限らず、遠方部分の形状等に応じて、遠方特定情報として任意の形式を用いることができる。
次に、画像処理装置１０の第２処理部１２３は、遠方特定部１２２によって生成された遠方特定情報に基づいて、画像取得部１１０によって取得された画像の遠方部分に対して、第１の画像処理と異なる所定の第２の画像処理を行い、第２の処理結果を生成する（図３のステップＳ１４０）。
第２処理部１２３が行う第２の画像処理としては、種々のものを用いることができる。以下に、具体例を説明する。
〔第２の画像処理の第１の例〕
第２の画像処理の第１の例について説明する。
図１２は、第２の画像処理の第１の例の動作を示す図である。第２の画像処理の第１の例では、第２処理部１２３は、画像の遠方部分を拡大し、拡大された画像に対して所定の処理を行い、当該所定の処理の処理結果を縮小する。
まず、第２処理部１２３は、遠方特定部１２２によって生成された遠方特定情報を用いて、画像取得部１１０によって取得された画像の中から、画像の遠方部分を切り出す。そして、第２処理部１２３は、切り出された画像を、所定の大きさに拡大する（図１２のステップＳ１４１）。ここで、所定の大きさは、例えば、取得された画像の大きさと同じ大きさである。しかし、これに限らず、所定の大きさは、その他の任意の大きさであってもよい。また、画像の拡大は、最近傍補間法、双一次補間法、双三次補間法、その他知られた手法を用いて行うことができる。
次に、第２処理部１２３は、拡大された画像に対して、所定の処理を行い、処理結果を生成する（図１２のステップＳ１４２）。例えば、第１処理部１２１が第１の画像処理として領域認識を行う場合、第２処理部１２３は、拡大された画像に対して領域認識を行い、処理結果を生成する。例えば、遠方部分が図１０の部分ＦＲである場合、第２処理部１２３は、部分ＦＲを拡大し、拡大された画像に対して領域認識を行い、図１３に示すような処理結果を生成する。
次に、第２処理部１２３は、拡大された画像に対する処理結果を縮小する（図１２のステップＳ１４３）。
図１４は、ステップＳ１４２において行った所定の処理が領域認識である場合において、処理結果の縮小を模式的に示す図である。以下、図１４を参照して詳細に説明する。
領域認識の処理結果は、例えば、入力画像と同じ解像度の画像であって、各画素に、入力画像の対応する画素が属する被写体種別ＩＤが格納された画像の形式で表現される。図１４の処理結果ＥＲは、このような形式で表現された、拡大された画像に対する領域認識の処理結果の例である。処理結果ＥＲの解像度は、拡大された画像と同じ解像度である。一方、図１４の処理結果ＲＲは、処理結果ＥＲを縮小して得られる処理結果の例である。処理結果ＲＲの解像度は、拡大される前の画像と同じ解像度である。
図１４の例において、処理結果の縮小とは、処理結果ＥＲに基づいて、処理結果ＲＲの各画素に格納する被写体種別ＩＤを定めることである。
まず、第２処理部１２３は、定めるべき処理結果ＲＲの画素を順次、選択する。画素ＲＰ１は、このように選択された画素の例である。次に、第２処理部１２３は、処理結果ＲＲ上の選択された画素の位置に対応する、処理結果ＥＲ上の画素を抽出する。この場合において、第２処理部１２３は、対応する処理結果ＥＲ上の単一の画素を抽出してもよく、また、周辺を含む複数の画素を抽出してもよい。画素ＥＰ１、ＥＰ２、ＥＰ３、ＥＰ４は、このようにして抽出された画素の例である。図１４の例では、４つの画素を抽出しているが、その他の任意の数の画素を抽出してもよい。
次に、第２処理部１２３は、抽出された画素に基づいて、処理結果ＲＲの画素に格納する被写体種別ＩＤを決定する。この決定の方法としては、種々のものを用いることができる。例えば、第２処理部１２３は、上記の決定の方法として、以下の（Ａ）～（Ｄ）に示す方法を用いてよい。
（Ａ）最頻の被写体種別ＩＤを用いる
（Ｂ）予め定められた被写体の種別の優先度に基づいて、被写体種別ＩＤを決定
（Ｃ）遠方部分に対する領域認識の処理結果から被写体の種別の優先度を定め、当該優先度に基づいて被写体種別ＩＤを決定
（Ｄ）遠方部分に対する領域認識と取得された画像に対する領域認識との処理結果の比較から被写体の種別の優先度を定め、当該優先度に基づいて被写体種別ＩＤを決定
以下に、（Ａ）～（Ｄ）について、詳細に説明する。
上記（Ａ）の例について、詳細に説明する。
上記（Ａ）の例では、第２処理部１２３は、抽出された画素に含まれる最頻の被写体種別ＩＤを、格納する被写体種別ＩＤとして決定する。例えば、図１４の例において、抽出された画素が画素ＥＰ１、ＥＰ２、ＥＰ３、ＥＰ４であり、それぞれの被写体種別ＩＤがＥＰ１：５（道路）、ＥＰ２：１（人）、ＥＰ３：５（道路）、ＥＰ４：５（道路）であった場合、第２処理部１２３は、画素ＲＰ１に格納する被写体種別ＩＤを５（道路）に決定する。
上記（Ｂ）の例について、詳細に説明する。
上記（Ｂ）の例では、第２処理部１２３は、予め定められた被写体の種別の優先度に基づいて、格納する被写体種別ＩＤを決定する。例えば、図１４の例において、抽出された画素が画素ＥＰ１、ＥＰ２、ＥＰ３、ＥＰ４であり、それぞれの被写体種別ＩＤがＥＰ１：５（道路）、ＥＰ２：１（人）、ＥＰ３：５（道路）、ＥＰ４：５（道路）であり、さらに、優先する被写体の種別として「人」が定められていた場合、第２処理部１２３は、画素ＲＰ１に格納する被写体種別ＩＤを１（人）に決定することができる。
なお、優先度の形式としては、上記の例に限らず、種々のものを用いることができる。例えば、優先度の形式は、被写体の種別毎の重み係数として表してもよい。また、優先度に基づく被写体種別ＩＤの決定の方法としては、上記の例に限らず、種々のものを用いることができる。例えば、第２処理部１２３は、抽出された画素について被写体の種別毎の画素数を算出し、被写体の種別毎に、画素数と上記の重み係数とを乗算することで評価値を算出し、算出された評価値の比較により、格納する被写体種別ＩＤを決定してもよい。
このように、上記（Ｂ）の例では、被写体の種別の優先度に基づいて格納する被写体種別ＩＤを決定することで、第２処理部１２３は、優先して認識したい被写体を、適切に処理結果に含めることができる。
上記（Ｃ）の例について、詳細に説明する。
上記（Ｃ）の例では、第２処理部１２３は、画像の遠方部分に相当する、拡大された画像に対する領域認識の処理結果から被写体の種別の優先度を定め、当該優先度に基づいて、格納する被写体種別ＩＤを決定する。
例えば、図１４の例において、第２処理部１２３は、処理結果ＥＲから被写体の種別毎の画素数を算出し、算出された画素数の割合に応じて、被写体の種別の優先度を定める。例えば、「人」と認識された画素数の割合が少ない場合、優先する被写体の種別として「人」を定めてもよい。これにより、例えば、小さく映っていた「人」の領域が、縮小によって、周囲の被写体（例えば「道路」）の領域に吸収されて失われてしまうことを防ぐことができる。なお、例えば、人が大きく映っている画像においては、優先する被写体の種別が「人」ではなく周囲の被写体（例えば「道路」）となり得るが、この場合においても、通常は、「人」の領域が失われてしまうことはない。なぜなら、「人」と周囲の被写体（例えば「道路」）の境界付近の箇所においては、被写体の種別として周囲の被写体（例えば「道路」）が採用され得るものの、境界付近でない、「人」のみが映っている箇所においては、被写体の種別として「人」が採用されるからである。
なお、上記に限らず、第２処理部１２３は、その他の任意の方法や形式で、被写体の種別の優先度を定めてもよい。
被写体の種別の優先度を定めたら、第２処理部１２３は、上記（Ｂ）と同様の方法を用いて、被写体の種別の優先度に基づいて、格納する被写体種別ＩＤを決定する。
このように、上記（Ｃ）の例では、画像の遠方部分に相当する、拡大された画像に対する領域認識の処理結果から被写体の種別の優先度を定めることで、第２処理部１２３は、例えば、画像の遠方部分において占める割合が少ない（珍しい）被写体であっても、適切に処理結果に含めることができる。
上記（Ｄ）の例について、詳細に説明する。
上記（Ｄ）の例では、第２処理部１２３は、画像の遠方部分に相当する、拡大された画像に対する領域認識の処理結果と、取得された画像に対する領域認識の処理結果（第１の処理結果）とを比較することで、被写体の種別の優先度を定め、当該優先度に基づいて、格納する被写体種別ＩＤを決定する。
例えば、図１４の例において、まず、第２処理部１２３は、処理結果ＥＲに含まれる被写体の種別を特定する。次に、第２処理部１２３は、第１処理部１２１によって生成された第１の処理結果に含まれる被写体の種別を特定する。そして、第２処理部１２３は、処理結果ＥＲに含まれており、かつ、第１の処理結果に含まれない被写体の種別又は第１の処理結果における割合が所定の基準以下である被写体の種別を特定し、当該被写体の種別を、優先する被写体の種別として定める。一例として、処理結果ＥＲに被写体の種別として「人」が含まれ、第１の処理結果に「人」が含まれない場合、第２処理部１２３は、優先する被写体の種別として「人」を定めることができる。
なお、上記に限らず、第２処理部１２３は、その他の任意の方法や形式で、被写体の種別の優先度を定めてもよい。例えば、第２処理部１２３は、処理結果ＥＲに含まれており、かつ、第１の処理結果における割合が所定の基準より大きい被写体を特定し、当該被写体の種別に対して低い優先度を定めてもよい。
被写体の種別の優先度を定めたら、第２処理部１２３は、上記（Ｂ）と同様の方法を用いて、被写体の種別の優先度に基づいて、格納する被写体種別ＩＤを決定する。
このように、上記（Ｄ）の例では、画像の遠方部分に相当する、拡大された画像に対する領域認識の処理結果と、取得された画像に対する領域認識の処理結果（第１の処理結果）との比較から、被写体の種別の優先度を定めることで、第２処理部１２３は、例えば、取得された画像に対する領域認識では十分に認識されなかったが、拡大された画像に対する領域認識では認識された被写体を、適切に処理結果に含めることができる。
第２の画像処理の第１の例においては、第２処理部１２３は、上記のように処理結果を縮小し、縮小された処理結果である第２の処理結果を生成する。
〔第２の画像処理の第２の例〕
第２の画像処理の第２の例について説明する。
まず、第２処理部１２３は、遠方特定部１２２によって生成された遠方特定情報を用いて、画像取得部１１０によって取得された画像の中から、画像の遠方部分を切り出す。そして、第２処理部１２３は、切り出された画像に対して、第１の画像処理とは異なる設定を適用した画像処理を行う。
第２処理部１２３が行う、異なる設定を適用した画像処理には、種々のものを用いることができる。以下に、具体例を説明する。
例えば、第２の画像処理において領域認識のような画像認識を行う場合、第２処理部１２３は、異なる設定として、より少ない画素数でも被写体の種別を認識できるような設定を用いることができる。一例として、第１処理部１２１が、第１の画像処理において、８画素のまとまりを被写体の種別を認識する最小の単位とする設定を用いて領域認識を行う場合、第２処理部１２３は、第２の画像処理において、４画素のまとまりを被写体の種別を認識する最小の単位とする設定を用いて領域認識を行ってもよい。
また、例えば、第２の画像処理において領域認識のような画像認識を行う場合、第２処理部１２３は、異なる設定として、異なる被写体の種別を認識できるような設定を用いることができる。一例として、第１処理部１２１が第１の画像処理において、被写体の種別として、人、自動車、道路、その他、建物、空の６種類を認識できるような設定を用いて領域認識を行う場合、第２処理部１２３は第２の画像処理において、被写体の種別として、人、自動車、道路、その他、建物、空に加え、標識、信号機の８種類を認識できるような設定を用いて領域認識を行ってもよい。例えば、既に目視されている可能性が高い近傍の標識や信号機に比べ、遠方の標識や信号機を認識する必要性が高い場合に、このような設定が有用である。
ここで、異なる設定を適用する方法について説明する。
一般に、画像に対する実体的な処理を行う処理部品を、画像処理エンジンと呼ぶ。画像処理が画像認識である場合、画像処理エンジンには、学習等で生成する認識モデルが含まれる。画像処理エンジンは、ソフトウェアによって実現されてもよいし、ハードウェアによって実現されてもよい。
異なる設定の適用は、例えば、実行時において、画像処理エンジンに設定を読み込ませることで行うことができる。この場合、画像処理装置１０は、画像処理装置１０の起動時、又は実行中の任意のタイミングにおいて、画像処理装置１０に含まれる画像処理エンジンに、上記で説明したような設定を読み込ませる。そして、画像処理装置１０の第２処理部１２３は、このように設定を読み込ませた画像処理エンジンを用いて、第２の画像処理を行う。
また、異なる設定の適用は、例えば、画像処理エンジンの作成時において行うこともできる。この場合、画像処理エンジンの作成者は、上記で説明したような設定が用いられるように、画像処理エンジンの設計、作成を行う。画像処理装置１０の第２処理部１２３は、このように作成された画像処理エンジンを用いて、第２の画像処理を行う。
第２の画像処理の第２の例においては、第２処理部１２３は、上記のように異なる設定を適用して画像処理を実行し、第２の処理結果を生成する。
次に、画像処理装置１０の合成部１２４は、第１処理部１２１によって生成された第１の処理結果と、第２処理部１２３によって生成された第２の処理結果とを合成し、合成の結果である合成処理結果を生成する（図３のステップＳ１５０）。
合成部１２４が行う合成としては、種々のものを用いることができる。以下に、具体例を説明する。
〔合成の第１の例〕
合成の第１の例について説明する。合成の第１の例においては、合成部１２４は、第１の処理結果のうち、画像の遠方部分に相当する処理結果を、第２の処理結果で置換する。
第１の画像処理及び第２の画像処理として領域認識を用い、第１の処理結果及び第２の処理結果として、それぞれ、各画素に被写体種別ＩＤを格納した画像が生成された場合について説明する。この場合、合成部１２４は、第１の処理結果の各画素のうち、画像の遠方部分に相当する各画素の被写体種別ＩＤを、第２の処理結果の各画素の被写体種別ＩＤで置換する。例えば、第１の処理結果として図５のような処理結果が生成され、第２の処理結果として図１３のような処理結果を縮小した処理結果が生成された場合、合成部１２４は、上記で説明した置換により、図１５のような合成処理結果を生成する。
なお、図１５においては、合成処理結果のうち第２の処理結果に相当する部分（画像の遠方部分に相当する部分）を、矩形で示している。合成部１２４が、この矩形のような、第２の処理結果に相当する部分を表す情報を、合成処理結果に含めるか否かは、任意である。例えば、合成処理結果の表示において不要である場合には、合成部１２４は、上記の矩形のような、第２の処理結果に相当する部分を表す情報を、合成処理結果に含めなくてもよい。
〔合成の第２の例〕
　合成の第２の例について説明する。合成の第２の例においては、合成部１２４は、第１の処理結果のうち、画像の遠方部分に相当する処理結果と、第２の処理結果とを統合する。
合成部１２４が行う上記の統合の方法としては、種々のものを用いることができる。例えば、第１の画像処理及び第２の画像処理として領域認識を用い、第１の処理結果及び第２の処理結果として、それぞれ、各画素に被写体種別ＩＤを格納した画像が生成された場合においては、合成部１２４は、上記の統合の方法として、以下の（Ｅ）～（Ｆ）に示す方法を用いてよい
（Ｅ）被写体の種別の優先度に基づいて統合
（Ｆ）被写体の種別の信頼度に基づいて統合
以下に、（Ｅ）～（Ｆ）について詳細に説明する。
上記（Ｅ）の例について、詳細に説明する。
上記（Ｅ）の例では、合成部１２４は、被写体の種別の優先度に基づいて、被写体種別ＩＤを統合する。例えば、第１の処理結果のうち、画像の遠方部分に相当するある画素に格納された被写体種別ＩＤが５（道路）であり、第２の処理結果の対応する画素の被写体種別ＩＤが１（人）であり、さらに優先する被写体の種別として「人」が定められていた場合、合成部１２４は、当該画素の被写体種別ＩＤを１（人）に決定することができる。逆に、優先する被写体の種別として「道路」が定められていた場合、合成部１２４は、当該画素の被写体種別ＩＤを５（道路）に決定することができる。このようにすることで、合成部１２４は、第１の画像処理及び第２の画像処理にて認識された被写体種別のうち、必要となる被写体の種別を適切に選択して提供することが可能となる。
なお、これに限らず、上記（Ｅ）の例において、被写体の種別の優先度に基づく被写体種別ＩＤの統合は、その他の任意の方法で行うことができる。例えば、合成部１２４は、縮小の例（Ａ）～（Ｄ）に記載したように、その他の任意の方法や形式で、静的または動的に被写体の種別の優先度を定めて、当該優先度に基づいて被写体ＩＤの統合を行ってもよい。
上記（Ｆ）の例について、詳細に説明する。
一例として、合成部１２４が、被写体の種別の信頼度に基づいて、被写体種別ＩＤを統合する例を説明する。ここで、第１の処理結果及び第２の処理結果には、各画素に被写体種別ＩＤを格納した画像とともに、各画素についての信頼度（例えば、最小０．０～最大１．０）が含まれるものする。例えば、第１の処理結果のうち、画像の遠方部分に相当するある画素に格納された被写体種別ＩＤが５（道路）、その信頼度が０．４であり、第２の処理結果の対応する画素が１（人）、その信頼度が０．７であった場合、合成部１２４は、当該画素の被写体種別ＩＤを、より信頼度の大きい１（人）に決定する。
また、別の一例として、合成部１２４が、被写体の種別の信頼度と、予め定められた第１の処理結果及び第２の処理結果の重みとに基づいて、被写体種別ＩＤを統合する例を説明する。例えば、第１の処理結果のうち、画像の遠方部分に相当するある画素に格納された被写体種別ＩＤが５（道路）、その信頼度が０．８であり、第２の処理結果の対応する画素が１（人）、その信頼度が０．７であった場合において、さらに、第１の処理結果の重み係数が０．５、第２の処理結果の重み係数が０．５、１．０と定められていた場合について考える。合成部１２４は、例えば、第１の処理結果の当該画素と、第２の処理結果の当該画素のそれぞれについて、信頼度と重み係数とを乗算することで評価値を算出する。上記の場合においては、合成部１２４は、第１の処理結果の当該画素の評価値として０．４を算出し、第２の処理結果の当該画素の評価値として０．７を算出する。次に、合成部１２４は、算出された評価値の比較を比較し、当該画素の被写体種別ＩＤを決定する。上記の場合においては、より評価値の大きい第２の処理結果の１（人）を、当該画素の被写体識別ＩＤとして決定する。
なお、これらに限らず、上記（Ｆ）の例において、合成部１２４は、その他の信頼度の形式、評価値の算出方法、被写体識別ＩＤ等を用いて、被写体の種別の信頼度に基づく被写体種別ＩＤの統合を行うことができる。
次に、画像処理装置１０のシーン認識部１３０は、第１処理部１２１によって生成された第１の処理結果及び第２処理部１２３によって生成された第２の処理結果と、合成部１２４によって生成された合成処理結果との少なくともいずれかに基づいて、シーン認識を行い、シーン認識結果を生成する（図３のステップＳ１６０）。
ここで、シーン認識とは、画像に表されているシーンの意味を認識する処理である。シーン認識部１３０が行うシーン認識としては、種々のものを用いることができる。例えば、画像取得部１１０によって取得された画像が、道路を含む画像であった場合、シーン認識部１３０は、シーン認識として、道路の状況を認識する処理を行うことができる。以下、図１６及び図１７を用いて、このような道路の状況を認識する処理の具体例を説明する。
一例として、シーン認識部１３０は、シーン認識として、「前方に横断歩道あり」、「前方に歩行者あり」等のシーンの種別について、該当するか否かの真偽値を判定する処理を用いることができる。図１６は、このようなシーン認識によるシーン認識結果の例を示す図である。
また、一例として、シーン認識部１３０は、シーン認識として、「前方の交差点までの距離」、「進行方向の車線数」等のシーンの種別について、その数値を判定する処理を用いることができる。図１７は、このようなシーン認識によるシーン認識結果の例を示す図である。
ここで、シーン認識部１３０は、上記のような真偽値や数値とともに、画像における被写体の位置（例えば、横断歩道の位置や交差点の位置）を判定し、シーン認識結果に含めてもよい。
なお、シーン認識部１３０は、所定の認識モデルを用いて、上記のようなシーン認識を行うことができる。シーン認識部１３０は、任意の方法によって作成された認識モデルを用いてよい。例えば、シーン認識部１３０は、合成処理結果に対してシーンの正解ラベルを対応付けた教師データを用いて、深層学習やその他の知られた手法による学習を行うことによって作成された認識モデルを用いて、シーン認識を行ってよい。
次に、画像処理装置１０の出力部１４０は、第１処理部１２１によって生成された第１の処理結果及び第２処理部１２３によって生成された第２の処理結果と、合成部１２４によって生成された合成処理結果と、シーン認識部１３０によって生成されたシーン認識結果との少なくともいずれかに基づいて、所定の出力を行う。（図３のステップＳ１７０）。
出力部１４０が行う出力の態様としては、種々のものを用いることができる。以下に、出力の具体例を説明する。出力部１４０は、以下の具体例のうち１つ又は複数を用いて、出力を行うことができる。
〔出力の第１の例〕
出力の第１の例について説明する。出力の第１の例において、画像取得部１１０によって取得された画像は、道路を含む画像である。また、画像処理装置１０と上記の道路を走行する車両は通信可能に接続されているものとする。出力の第１の例において、出力部１４０は、出力として、上記の道路を走行する車両の乗員に対する情報の提供を行う。
例えば、出力部１４０は、出力として、上記の道路を走行する車両に設置された表示装置に表示する指示を行うことができる。
一例として、合成部１２４が合成処理結果として図１５示すような領域認識の処理結果の画像を生成した場合、出力部１４０は、図１５に示すような画像を、上記の表示装置に表示する指示を行ってもよい。また、出力部１４０は、図１５に示すような領域認識の処理結果に基づいて、図４に示すような取得された画像に対して、注視すべき被写体（例えば、人や自動車）が映っている領域を強調する加工を行い、当該加工された画像を上記の表示装置に表示する指示を行ってもよい。また、出力部１４０は、画像とともに、当該画像に表示されている被写体の種別の文字情報を、上記の表示装置に表示する指示を行ってもよい。
また、一例として、シーン認識部１３０が、シーン認識結果として図１６に示すように「前方に歩行者あり」という結果を生成した場合、出力部１４０は、「前方に歩行者あり」という文字情報を、上記の表示装置に表示する指示を行ってもよい。
また、例えば、出力部１４０は、出力として、上記の道路を走行する車両に設置された音声出力装置を通してアナウンスする指示を行うことができる。
一例として、シーン認識部１３０が、シーン認識結果として図１６に示すように「前方に歩行者あり」という結果を生成した場合、出力部１４０は、「前方に歩行者あり」という文字情報を、音声として、上記の音声出力装置を通してアナウンスする指示を行ってもよい。
なお、上記の例に限らず、出力部１４０は、その他の任意の態様で、上記の道路を走行する車両の乗員に対する情報の提供を行うことができる。
〔出力の第２の例〕
出力の第２の例について説明する。出力の第２の例において、画像取得部１１０によって取得された画像は、道路を含む画像である。また、画像処理装置１０と上記の道路を走行する車両は通信可能に接続されているものとする。出力の第２の例において、出力部１４０は、出力として、上記の道路を走行する車両に対する運転制御の指示を行う。
出力部１４０が行う運転制御の指示としては、種々のものを用いることができる。
例えば、出力部１４０は、上記の道路を走行する車両に対して、ブレーキの指示、ハンドル操舵の指示、ライト点灯若しくは消灯の指示を行うことができる。一例として、シーン認識部１３０が、シーン認識結果として図１６に示すように「前方に歩行者あり」という結果を生成した場合、出力部１４０は、上記の道路を走行する車両に対して、ブレーキの指示を行ってもよい。
なお、これに限らず、出力部１４０は、その他の任意の態様で、上記の道路を走行する車両に対して運転制御の指示を行うことができる。また、上記の道路を走行する車両は、自動運転の車両であってもよく、手動運転の車両であってもよい。
〔出力の第３の例〕
出力の第３の例について説明する。出力の第３の例において、出力部１４０は、管理員に対する情報の提供を行う。ここで、管理員とは、車両の管理者、道路の管理者や監視員、その他の施設の管理者や監視員等、種々の人物を含む。管理員は端末装置を使用するものとし、画像処理装置１０と当該端末装置は、通信可能に接続されているものとする。上記の管理員の使用する端末装置は、画像処理装置１０に近接して設置されていてもよいし、画像処理装置１０の遠隔に設置されていてもよいし、また、携帯可能な端末装置であってもよい。
出力部１４０が行う管理員に対する情報の提供の態様としては、種々のものを用いることができる。例えば、出力部１４０は、出力として、上記の管理員の端末装置に対して、第１の処理結果や第２の処理結果、合成処理結果、シーン認識結果を提示する指示を行うことができる。この場合、出力部１４０は、第１の処理結果や第２の処理結果、合成処理結果、シーン認識結果を、出力の第１の例で説明した態様と同様の態様で、表示する指示又は音声としてアナウンスする指示を行ってもよい。
〔出力の第４の例〕
出力の第４の例について説明する。
出力の第４の例において、出力部１４０は、図示しない外部の装置に対する情報の送信を行う。ここで、外部の装置には、表示装置、記憶装置、分析装置等、種々の装置が含まれる。画像処理装置１０と外部の装置とは、通信可能に接続されているものとする。出力部１４０は、例えば、第１の処理結果や第２の処理結果、合成処理結果、シーン認識結果等の情報を、このような外部の装置に送信する。外部の装置は、例えば、受信した情報の画面への表示、受信した情報の蓄積、受信した情報に基づくさらなる分析等、種々の処理を行うことができる。
以上により、第１の実施形態の動作が完了する。
なお、図４、図６及び図１２に示す処理の順序は例示であり、処理結果が変わらない範囲において、順序を入れ替えてもよいし、一部の処理を並列に行ってもよい。例えば、画像処理装置１０は、図４のステップＳ１２０の処理と、ステップＳ１３０及びＳ１４０の一連の処理とについて、順序を入れ替えてもよいし、一部の処理を並列に行ってもよい。
＜効果の説明＞
第１の実施形態によれば、撮影された画像に対して画像処理を行う場合において、遠方の被写体を精度よく認識することができる。その理由は、遠方特定部１２２が、撮影された画像の遠方部分を特定し、第２処理部が、特定された画像の遠方部分に対して所定の第２の画像処理を行うためである。
また、第１の実施形態によれば、撮影された画像に対して画像処理を行う場合において、処理負荷を削減することができる。その理由は、遠方特定部１２２が、撮影された画像の遠方部分を特定し、第２処理部が、特定された画像の遠方部分に対して所定の第２の画像処理を行うため、画像の遠方部分を除く範囲に対してまで第２の画像処理を行う必要がないからである。
　［第２の実施形態］
　第２の実施形態について説明する。
　＜構成の説明＞
　まず、第２の実施形態の構成について説明する。
図１８は、第２の実施形態における、画像処理装置１０の機能ブロックを示す図である。図１８を参照すると、第２の実施形態における画像処理装置１０は、深度データ取得部１５０を備える点で、第１の実施形態と異なる。第２の実施形態におけるその他の構成要素については、第１の実施形態と同様である。第１の実施形態と同様の構成要素については、図１及び図２と同一の符号を用い、詳細な説明を省略する。
　深度データ取得部１５０は、深度データを取得する手段として機能する。
ここで、深度データとは、対象物に対する深度を表すデータである。深度データは、例えば、各画素に、対象物までの距離が格納された画像（深度画像と呼ばれる）の形式で表現される。深度データ取得部１５０が深度データを取得する方法としては、種々のものを用いることができる。
例えば、深度データ取得部１５０は、図示しない外部の計測装置が深度データを計測する場合、当該計測装置から、計測された深度データを通信等によって取得してもよい。このような計測装置には、ＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ミリ波レーダー、ステレオカメラ、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラが含まれる。
また、例えば、深度データ取得部１５０は、画像取得部１１０によって取得された画像を用いて、深度データを生成してもよい。深層学習等を用いて、二次元の画像から深度を推定する深度推定と呼ばれる手法が知られており、深度データ取得部１５０は、このような深度推定を用いて、深度データを生成することができる。また、深度データ取得部１５０は、図示しない外部の処理装置がこのような深度推定を行う場合、当該処理装置から、生成された深度データを通信等によって取得してもよい。
＜動作の説明＞
次に、第２の実施形態の動作について説明する。
図１９は、第２の実施形態における、画像処理装置１０の動作を示すフローチャートである。第１の実施形態と同様の動作については図３と同一の符号を付し、詳細な説明を省略する。
画像処理装置１０の画像取得部１１０は、撮像装置２０より、撮影された画像を取得する（図１９のステップＳ１１０）。
画像処理装置１０の第１処理部は、画像取得部１１０によって取得された画像に対して、所定の第１の画像処理を行い、第１の処理結果を生成する（図１９のステップＳ１２０）。
次に、画像処理装置１０の深度データ取得部１５０は、上記で説明したような方法を用いて、深度データを取得する（図１９のステップＳ１８０）。例えば、深度データ取得部１５０は、深度データとして、図２０に示すような深度画像を取得する。図２０において、深度は濃淡で表され、濃い部分ほど深度が小さく（近く）、明るい部分ほど深度が大きい（遠い）。
次に、画像処理装置１０の遠方特定部１２２は、深度データ取得部１５０によって取得された深度データに基づいて、遠方部分を特定し、遠方特定情報を生成する（図１９のステップＳ１９０）。
遠方特定部１２２が深度データに基づいて遠方部分を特定する方法には、種々のものを用いることができる。以下に、具体例を説明する。
〔深度データに基づく遠方特定の第１の例〕
深度データに基づく遠方特定の第１の例について説明する。図２１は、深度データに基づく、遠方特定部１２２の動作を示すフローチャートである。
遠方特定部１２２は、深度データ取得部１５０によって取得された深度データに基づいて、深度データの座標系における遠方部分を特定する（図２１のステップＳ１９１）。
　遠方特定部１２２が行うこの特定の方法としては、種々のものを用いることができる。
例えば、遠方特定部１２２は、深度データに含まれる点のうち、深度の最も大きい点を抽出し、その点を含む所定の部分を特定し、これを深度データの座標系における遠方部分とすることができる。また、例えば、遠方特定部１２２は、深度データに含まれる点のうち、深度が所定の閾値以上である点群を抽出し、抽出された点群を含む所定の部分を特定し、これを深度データの座標系における遠方部分とすることができる。なお、深度データの座標系における遠方部分の形状は、例えば、矩形であってもよいし、矩形以外の多角形、円、楕円、その他の形状であってもよい。
次に、遠方特定部１２２は、特定された深度データの座標系における遠方部分を、画像の座標系における遠方部分に変換する（図２１のステップＳ１９２）。
　ここで、深度データの座標系と画像の座標系との変換式を求める処理は、キャリブレーションと呼ばれる。このようなキャリブレーションの手法として、例えば、深度データの座標系における少数の点と、それに対応する画像の座標系における少数の点を元に、上記の変換式を求める等、種々の手法が知られている。遠方特定部１２２は、例えば、このような種々の手法によって求められた変換式を用いて、深度データの座標系における遠方部分を、画像の座標系における遠方部分に変換する。
次に、遠方特定部１２２は、変換によって得られた画像の座標系における遠方部分を補正する。（図２１のステップＳ１９３）。
遠方特定部１２２が行う補正としては、種々のものを用いることができる。例えば、遠方特定部１２２は、変換によって得られた画像の座標系における遠方部分の形状が矩形でなかった場合、当該形状を矩形に近似する補正を行ってもよい。しかし、これに限らず、遠方特定部１２２は、矩形以外の多角形、円、楕円、その他の形状に近似する補正を行ってもよいし、その他の種々の形状の補正を行ってもよい。また、遠方特定部１２２は、変換によって得られた画像の座標系における遠方部分について、補正の必要がない場合は、補正の処理を省略してもよい。
〔深度データに基づく遠方特定の第２の例〕
深度データに基づく遠方特定の第２の例について説明する。深度データに基づく遠方特定の第２の例では、深度データに加えて、画像取得部１１０によって取得された画像に基づいて、遠方部分を特定する。図２２は、深度データに基づく、遠方特定部１２２の動作を示すフローチャートである。
遠方特定部１２２は、深度データ取得部１５０によって取得された深度データに基づいて、遠方部分についての複数の候補を生成する（図２２のステップＳ１９６）。
まず、遠方特定部１２２は、深度データ取得部１５０によって取得された深度データに基づいて、深度データの座標系における遠方部分について、複数の候補を特定する。
深度データ取得部１５０が行う上記の特定の方法としては、種々のものを用いることができる。例えば、遠方特定部１２２は、まず、深度データに含まれる点のうち、深度が所定の閾値以上である点群を抽出する。次に、遠方特定部１２２は、抽出された点群を、深度データの座標系において距離が近い点同士のグループに分割する。続いて、遠方特定部１２２は、分割された複数のグループのそれぞれについて、グループに含まれる点群を含む部分を特定する。遠方特定部１２２は、これらの複数の部分を、深度データの座標系における遠方部分についての複数の候補とすることができる。
次に、遠方特定部１２２は、上記において特定された深度データの座標系における遠方部分の複数の候補のそれぞれを、画像の座標系における遠方部分に変換する。この変換の方法としては、深度データに基づく遠方特定の第１の例で説明したような、種々の方法を用いることができる。
次に、遠方特定部１２２は、上記の変換によって得られた、画像の座標系における遠方部分の複数の候補のそれぞれを補正する。この補正の方法としては、深度データに基づく遠方特定の第１の例で説明したような、種々の方法を用いることができる。また、遠方特定部１２２は、変換によって得られた画像の座標系における遠方部分の候補について、補正の必要がない場合は、補正の処理を省略してもよい。
これにより、遠方特定部１２２は、深度データ取得部１５０によって取得された深度データに基づいて、遠方部分の複数の候補を得ることができる。
続いて、遠方特定部１２２は、画像取得部１１０によって取得された画像に基づいて、上記により生成された遠方部分の複数の候補から、遠方部分を特定する（図２２のステップＳ１９７）。
遠方特定部１２２は、画像取得部１１０によって取得された画像に対して、画像認識を行う。ここで、遠方特定部１２２が行う画像認識は、例えば、領域認識である。しかし、これに限らず、画像認識は、物体認識であってもよく、その他の画像認識であってもよい。なお、領域認識を行う場合、遠方特定部１２２は、第１の実施形態における消失点推定の第１の例で説明したような、簡易な領域認識を用いてもよい。
次に、遠方特定部１２２は、上記の画像認識の処理結果に基づいて、遠方部分の複数の候補のそれぞれについて、評価値を算出する。例えば、遠方特定部１２２は、画像認識の処理結果として、所定の被写体の種別（例えば、道路）であると認識された範囲をより多く含む場合、遠方部分の候補に対して、より大きい評価値を与えることができる。
　遠方特定部１２２は、算出された評価値が最も大きい候補を、遠方部分として特定する。
以上のようにして遠方部分を特定したら、遠方特定部１２２は、当該遠方部分を所定の形式で表現した遠方特定情報を生成する。
次に、画像処理装置１０の第２処理部１２３は、遠方特定部１２２によって生成された遠方特定情報に基づいて、画像取得部１１０によって取得された画像の遠方部分に対して、第１の画像処理と異なる所定の第２の画像処理を行い、第２の処理結果を生成する（図１９のステップＳ１４０）。
次に、画像処理装置１０の合成部１２４は、第１処理部１２１によって生成された第１の処理結果と、第２処理部１２３によって生成された第２の処理結果とを合成し、合成の結果である合成処理結果を生成する（図１９のステップＳ１５０）。
次に、画像処理装置１０のシーン認識部１３０は、第１処理部１２１によって生成された第１の処理結果及び第２処理部１２３によって生成された第２の処理結果と、合成部１２４によって生成された合成処理結果との少なくともいずれかに基づいて、シーン認識を行い、シーン認識結果を生成する（図１９のステップＳ１６０）。
次に、画像処理装置１０の出力部１４０は、第１処理部１２１によって生成された第１の処理結果及び第２処理部１２３によって生成された第２の処理結果と、合成部１２４によって生成された合成処理結果と、シーン認識部１３０によって生成されたシーン認識結果との少なくともいずれかに基づいて、所定の出力を行う。（図１９のステップＳ１７０）。
以上により、第２の実施形態の動作が完了する。
なお、図１９、図２１及び図２２に示す処理の順序は例示であり、処理結果が変わらない範囲において、順序を入れ替えてもよいし、一部の処理を並列に行ってもよい。例えば、画像処理装置１０は、図１９のステップＳ１２０の処理と、ステップＳ１８０、Ｓ１９０及びＳ１４０の一連の処理とについて、順序を入れ替えてもよいし、一部の処理を並列に行ってもよい。
＜効果の説明＞
第２の実施形態によれば、撮影された画像に対して画像処理を行う場合において、精度よく遠方部分を特定することができる。その理由は、深度データ取得部１５０が、深度データを取得し、遠方特定部１２２が、取得された深度データに基づいて、撮影された画像の遠方部分を特定するためである。
　［第３の実施形態］
第３の実施形態について説明する。
＜構成の説明＞
第３の実施形態の構成について説明する。第３の実施形態の構成は、各実施形態における最小構成である。
図２３は、第３の実施形態における、画像処理装置１０の機能ブロックを示す図である。
図２３を参照すると、画像処理装置１０は、画像取得部１１０、画像処理部１２０、出力部１４０を備える。画像処理部１２０は、さらに、第１処理部１２１、遠方特定部１２２、第２処理部１２３を備える。
画像処理装置１０の各構成要素は、第１の実施形態の画像処理装置１０等における対応する構成要素と同様の手段として機能する。
＜動作の説明＞
第３の実施形態の動作について説明する。
図２４は、第３の実施形態における、画像処理装置１０の動作を示すフローチャートである。第１の実施形態と同様の動作については、図３と同一の符号を付し、詳細な説明を省略する。
画像処理装置１０の画像取得部１１０は、撮像装置２０より、撮影された画像を取得する（図２４のステップＳ１１０）。
画像処理装置１０の第１処理部は、画像取得部１１０によって取得された画像に対して、所定の第１の画像処理を行い、第１の処理結果を生成する（図２４のステップＳ１２０）。
画像処理装置１０の遠方特定部１２２は、画像取得部１１０によって取得された画像に基づいて、遠方部分を特定する（図２４のステップＳ１３０）。
画像処理装置１０の第２処理部１２３は、遠方特定部１２２によって生成された遠方特定情報に基づいて、画像取得部１１０によって取得された画像の遠方部分に対して、第１の画像処理と異なる所定の第２の画像処理を行い、第２の処理結果を生成する（図２４のステップＳ１４０）。
画像処理装置１０の出力部１４０は、第１処理部１２１によって生成された第１の処理結果及び第２処理部１２３によって生成された第２の処理結果に基づいて、所定の出力を行う（図３のステップＳ１７０）。
以上により、第３の実施形態の動作が完了する。
なお、図２４に示す処理の順序は例示であり、処理結果が変わらない範囲において、順序を入れ替えてもよいし、一部の処理を並列に行ってもよい。例えば、画像処理装置１０は、図２４のステップＳ１２０の処理と、ステップＳ１３０及びＳ１４０の一連の処理とについて、順序を入れ替えてもよいし、一部の処理を並列に行ってもよい。
＜効果の説明＞
　第３の実施形態によれば、撮影された画像に対して画像処理を行う場合において、遠方の被写体を精度よく認識することができる。
［変形例］
以上、本発明の各実施形態を説明したが、本発明は、上記の各実施形態に限定されるものではなく、本発明の基本的な技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。
例えば、上記の各実施形態においては、画像処理装置１０の第１処理部１２１及び第２処理部１２３が、画像処理として領域認識を行う例を主に説明したが、これに限らず、第１処理部１２１及び第２処理部１２３は、画像処理として、領域認識以外の画像認識を行ってもよい。画像認識の１つとして、画像に含まれる被写体を囲む形状（例えば、矩形）及び当該被写体の種別を推定する物体認識が知られており、第１処理部１２１及び第２処理部１２３は、画像処理として、この物体認識を行ってもよい。
また、例えば、画像処理装置１０の第１処理部１２１及び第２処理部１２３は、画像処理として、画像認識以外の画像処理、例えば画像変換・加工を行ってもよい。画像変換・加工の１つとして、画素の補間等を用いて高精細な画像を生成する超解像が知られており、第１処理部１２１及び第２処理部１２３は、画像処理として、この超解像を行ってもよい。これにより、遠方部分について高品質な処理結果を得ることができる。
また、例えば、画像処理装置１０は、第１の処理結果が所定の条件を満たす場合に、遠方特定部１２２による遠方部分の特定の処理及び第２処理部１２３による第２の画像処理を省略してもよい。一例として、第１処理部１２１が、第１の画像処理として領域認識や物体認識等の画像認識を行い、第１の処理結果として画像認識の結果とともにその信頼度を生成した場合、画像処理装置１０は、信頼度が十分に大きい場合には、遠方特定部１２２による遠方部分の特定の処理及び第２処理部１２３による第２の画像処理を省略してもよい。このように処理を省略することで、遠方特定部１２２及び第２処理部１２３における処理負荷を削減することができる。
また、例えば、上記の各実施形態においては、画像処理装置１０は、撮像装置２０から画像を取得するものとして説明したが、これに限らず、画像処理装置１０は、記憶装置や記録媒体に予め記録された画像を取得し、当該画像に対して画像処理を行ってもよい（オフライン画像処理）。このようなオフライン画像処理の一例として、画像処理装置１０は、予め記録された、道路での事故の発生前後の画像に対して、画像処理を行ってもよい。画像処理装置１０は、このような画像処理の処理結果として、例えば、事故の発生前に遠方の横断歩道を通行する人物がいた等、事後的な事故の詳細分析に役立つ情報を提供することができる。
また、例えば、上記の各実施形態においては、画像処理装置１０は、撮影された画像の遠方部分を特定し、当該遠方部分に対して所定の第２の画像処理を行うものとして説明したが、これに限らず、「遠方」以外の基準を用いて注視すべき部分を特定してもよい。例えば、画像処理装置１０において、遠方特定部１２２は、撮影された画像について、「遠方」以外の基準を用いて注視すべき部分を特定し、第２処理部１２３は、当該注視すべき部分に対して所定の第２の画像処理を行ってもよい。
　［ハードウェア構成］
上記で説明した各実施形態において、画像処理装置１０の各構成要素は、機能ブロックを示している。画像処理装置１０の各構成要素の一部又は全部は、コンピュータ１０００とプログラムとの任意の組み合わせにより実現されてもよい。
　図２５は、コンピュータ１０００のハードウェア構成の例を示すブロック図である。図２５を参照すると、コンピュータ１０００は、例えば、プロセッサ１００１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１００３、プログラム１００４、記憶装置１００５、ドライブ装置１００７、通信インタフェース１００８、入力装置１００９、出力装置１０１０、入出力インタフェース１０１１、及び、バス１０１２を含む。
　プログラム１００４は、各装置の各機能を実現するための命令を含む。プログラム１００４は、予め、ＲＯＭ１００２やＲＡＭ１００３、記憶装置１００５に格納される。プロセッサ１００１は、プログラム１００４に含まれる命令を実行することにより、各装置の各機能を実現する。例えば、画像処理装置１０のプロセッサ１００１がプログラム１００４に含まれる命令を実行することにより、画像取得部１１０、画像処理部１２０等の機能を実現する。
　ドライブ装置１００７は、記録媒体１００６の読み書きを行う。通信インタフェース１００８は、通信ネットワークとのインタフェースを提供する。入力装置１００９は、例えば、マウスやキーボード等であり、操作者等からの情報の入力を受け付ける。出力装置１０１０は、例えば、ディスプレイであり、操作者等へ情報を出力（表示）する。入出力インタフェース１０１１は、周辺機器とのインタフェースを提供する。バス１０１２は、これらハードウェアの各構成要素を接続する。なお、プログラム１００４は、通信ネットワークを介してプロセッサ１００１に供給されてもよいし、予め、記録媒体１００６に格納され、ドライブ装置１００７により読み出され、プロセッサ１００１に供給されてもよい。
　なお、図２５に示されているハードウェア構成は例示であり、これら以外の構成要素が追加されていてもよく、一部の構成要素を含まなくてもよい。
　画像処理装置１０の実現方法には、様々な変形例がある。例えば、画像処理装置１０は、構成要素毎にそれぞれ異なるコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、１つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。
　また、各装置の各構成要素の一部または全部は、汎用または専用の回路や、これらの組み合わせによって実現されてもよい。これらの回路は、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　また、各装置の各構成要素の一部又は全部が複数のコンピュータや回路等により実現される場合、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。
　以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本開示のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
撮像装置で撮影された画像を取得する画像取得手段と、
前記画像に対して第１の画像処理を行う第１処理手段と、
前記画像の遠方部分を特定する遠方特定手段と、
前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行う第２処理手段と、
前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う出力手段と、を備える
画像処理装置。
（付記２）
　前記第１の画像処理の処理結果と前記第２の画像処理の処理結果とを合成する合成手段をさらに備える、
　付記１に記載の画像処理装置。
（付記３）
前記第２処理手段は、前記第２の画像処理として、前記画像の遠方部分を拡大し、拡大された画像に対して所定の処理を行い、当該所定の処理の処理結果を縮小する
付記１又は２に記載の画像処理装置。
（付記４）
　前記第１処理手段は、前記第１の画像処理として領域認識を行い、
　前記第２処理手段は、前記第２の画像処理における前記所定の処理として領域認識を行う
付記３に記載の画像処理装置。
（付記５）
　前記第１の画像処理の処理結果と前記第２の画像処理の処理結果とを合成する合成手段を備え、
　前記合成手段は、前記第１の画像処理において推定された被写体の種別と、前記第２の画像処理において推定された被写体の種別と、予め定められた被写体の種別の優先度とに基づいて、前記画像の遠方部分の各領域における被写体の種別を決定する、
　付記４に記載の画像処理装置。
（付記６）
　前記第２処理手段は、前記第２の画像処理として、前記画像の遠方部分に対して、第１の画像処理とは異なる設定を適用した画像処理を行う、
付記１又は２に記載の画像処理装置。
（付記７）
前記画像は道路を含む画像であって
前記遠方特定手段は、前記画像における道路の消失点を推定し、当該道路の消失点を基準する所定の部分を、前記画像の遠方部分として特定する、
　付記１乃至６のいずれか一項に記載の画像処理装置。
（付記８）
前記遠方特定手段は、前記画像に対する領域認識の処理結果において、道路であると判定された領域に基づいて、前記画像における道路の消失点を推定する
付記７に記載の画像処理装置。
（付記９）
深度データを取得する深度データ取得手段をさらに備え、
前記遠方特定手段は、前記深度データに基づいて、前記画像における遠方部分を特定する、
付記１乃至６のいずれか一項に記載の画像処理装置。
（付記１０）
前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づいて、道路の状況を認識するシーン認識手段をさらに備える、
付記１乃至９のいずれか一項に記載の画像処理装置。
（付記１１）
前記出力手段は、前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づいて、道路を走行する車両に対して所定の出力を行う、
付記１乃至１０のいずれか一項に記載の画像処理装置。
（付記１２）
　画像処理装置が、
撮像装置で撮影された画像を取得し、
前記画像に対して第１の画像処理を行い、
前記画像の遠方部分を特定し、
前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行い、
前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う、
画像処理方法。
（付記１３）
　コンピュータに、
撮像装置で撮影された画像を取得し、
前記画像に対して第１の画像処理を行い、
前記画像の遠方部分を特定し、
前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行い、
前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う処理を実行させる、
プログラムの記録媒体。
　１０　　　画像処理装置
　２０　　　撮像装置
　１１０　　画像取得部
　１２０　　画像処理部
　１２１　　第１処理部
　１２２　　遠方特定部
　１２３　　第２処理部
　１２４　　合成部
　１３０　　シーン認識部
　１４０　　出力部
　１５０　　深度データ取得部
１０００　　コンピュータ
１００１　　プロセッサ
１００２　　ＲＯＭ
１００３　　ＲＡＭ
１００４　　プログラム
１００５　　記憶装置
１００６　　記録媒体
１００７　　ドライブ装置
１００８　　通信インタフェース
１００９　　入力装置
１０１０　　出力装置
１０１１　　入出力インタフェース
１０１２　　バス

Claims (13)

  1. 撮像装置で撮影された画像を取得する画像取得手段と、
    前記画像に対して第１の画像処理を行う第１処理手段と、
    前記画像の遠方部分を特定する遠方特定手段と、
    前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行う第２処理手段と、
    前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う出力手段と、を備える
    画像処理装置。
  2. 　前記第１の画像処理の処理結果と前記第２の画像処理の処理結果とを合成する合成手段をさらに備える、
    　請求項１に記載の画像処理装置。
  3. 前記第２処理手段は、前記第２の画像処理として、前記画像の遠方部分を拡大し、拡大された画像に対して所定の処理を行い、当該所定の処理の処理結果を縮小する
    請求項１又は２に記載の画像処理装置。
  4. 　前記第１処理手段は、前記第１の画像処理として領域認識を行い、
    　前記第２処理手段は、前記第２の画像処理における前記所定の処理として領域認識を行う
    請求項３に記載の画像処理装置。
  5. 　前記第１の画像処理の処理結果と前記第２の画像処理の処理結果とを合成する合成手段を備え、
    　前記合成手段は、前記第１の画像処理において推定された被写体の種別と、前記第２の画像処理において推定された被写体の種別と、予め定められた被写体の種別の優先度とに基づいて、前記画像の遠方部分の各領域における被写体の種別を決定する、
    　請求項４に記載の画像処理装置。
  6. 　前記第２処理手段は、前記第２の画像処理として、前記画像の遠方部分に対して、第１の画像処理とは異なる設定を適用した画像処理を行う、
    請求項１又は２に記載の画像処理装置。
  7. 前記画像は道路を含む画像であって
    前記遠方特定手段は、前記画像における道路の消失点を推定し、当該道路の消失点を基準する所定の部分を、前記画像の遠方部分として特定する、
    　請求項１乃至６のいずれか一項に記載の画像処理装置。
  8. 前記遠方特定手段は、前記画像に対する領域認識の処理結果において、道路であると判定された領域に基づいて、前記画像における道路の消失点を推定する
    請求項７に記載の画像処理装置。
  9. 深度データを取得する深度データ取得手段をさらに備え、
    前記遠方特定手段は、前記深度データに基づいて、前記画像における遠方部分を特定する、
    請求項１乃至６のいずれか一項に記載の画像処理装置。
  10. 前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づいて、道路の状況を認識するシーン認識手段をさらに備える、
    請求項１乃至９のいずれか一項に記載の画像処理装置。
  11. 前記出力手段は、前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づいて、道路を走行する車両に対して所定の出力を行う、
    請求項１乃至１０のいずれか一項に記載の画像処理装置。
  12. 　画像処理装置が、
    撮像装置で撮影された画像を取得し、
    前記画像に対して第１の画像処理を行い、
    前記画像の遠方部分を特定し、
    前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行い、
    前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う、
    画像処理方法。
  13. 　コンピュータに、
    撮像装置で撮影された画像を取得し、
    前記画像に対して第１の画像処理を行い、
    前記画像の遠方部分を特定し、
    前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行い、
    前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う処理を実行させる、
    プログラムの記録媒体。
PCT/JP2021/000031 2021-01-04 2021-01-04 画像処理装置、画像処理方法、及び記録媒体 WO2022145054A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2021/000031 WO2022145054A1 (ja) 2021-01-04 2021-01-04 画像処理装置、画像処理方法、及び記録媒体
EP21914916.8A EP4254944A4 (en) 2021-01-04 2021-01-04 IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND RECORDING MEDIUM
US18/270,034 US20240071104A1 (en) 2021-01-04 2021-01-04 Image processing device, image processing method, and recording medium
JP2022572879A JP7505596B2 (ja) 2021-01-04 2021-01-04 画像処理装置、画像処理方法、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/000031 WO2022145054A1 (ja) 2021-01-04 2021-01-04 画像処理装置、画像処理方法、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2022145054A1 true WO2022145054A1 (ja) 2022-07-07

Family

ID=82259184

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000031 WO2022145054A1 (ja) 2021-01-04 2021-01-04 画像処理装置、画像処理方法、及び記録媒体

Country Status (4)

Country Link
US (1) US20240071104A1 (ja)
EP (1) EP4254944A4 (ja)
JP (1) JP7505596B2 (ja)
WO (1) WO2022145054A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009519A1 (ja) * 2022-07-08 2024-01-11 日本電信電話株式会社 認識装置、認識方法及び認識プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004194169A (ja) * 2002-12-13 2004-07-08 Auto Network Gijutsu Kenkyusho:Kk 視覚補助装置及び視覚補助方法
WO2012172713A1 (ja) * 2011-06-13 2012-12-20 日産自動車株式会社 道路形状判定装置、車載用画像認識装置、撮像軸調整装置およびレーン認識方法
JP2013142972A (ja) * 2012-01-10 2013-07-22 Toyota Motor Corp 走行路認識装置
JP2015149028A (ja) * 2014-02-07 2015-08-20 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
JP2015179368A (ja) * 2014-03-19 2015-10-08 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
JP2019014407A (ja) * 2017-07-10 2019-01-31 株式会社Ｓｏｋｅｎ 走路認識装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004288100A (ja) * 2003-03-25 2004-10-14 Minolta Co Ltd 撮像装置及び移動体カメラ
WO2020027233A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004194169A (ja) * 2002-12-13 2004-07-08 Auto Network Gijutsu Kenkyusho:Kk 視覚補助装置及び視覚補助方法
WO2012172713A1 (ja) * 2011-06-13 2012-12-20 日産自動車株式会社 道路形状判定装置、車載用画像認識装置、撮像軸調整装置およびレーン認識方法
JP2013142972A (ja) * 2012-01-10 2013-07-22 Toyota Motor Corp 走行路認識装置
JP2015149028A (ja) * 2014-02-07 2015-08-20 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
JP2015179368A (ja) * 2014-03-19 2015-10-08 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
JP2019014407A (ja) * 2017-07-10 2019-01-31 株式会社Ｓｏｋｅｎ 走路認識装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. SCHULTER ET AL.: "Learning to Look around Objects for Top-ViewRepresentations of Outdoor Scenes", ECCV, 2018, pages 787 - 802
See also references of EP4254944A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009519A1 (ja) * 2022-07-08 2024-01-11 日本電信電話株式会社 認識装置、認識方法及び認識プログラム

Also Published As

Publication number Publication date
JPWO2022145054A1 (ja) 2022-07-07
EP4254944A4 (en) 2024-01-31
JP7505596B2 (ja) 2024-06-25
US20240071104A1 (en) 2024-02-29
EP4254944A1 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
JP6741107B2 (ja) 交通状況のリアルタイム検出
JP7332726B2 (ja) ヒートマップを使用したドライバーの注目の検出
JP6548691B2 (ja) 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
US20190385336A1 (en) Vehicle Localization Using Cameras
US7957559B2 (en) Apparatus and system for recognizing environment surrounding vehicle
US11338807B2 (en) Dynamic distance estimation output generation based on monocular video
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
JP6082802B2 (ja) 物体検知装置
GB2560625A (en) Detecting vehicles in low light conditions
US11574462B1 (en) Data augmentation for detour path configuring
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
JP6653361B2 (ja) 路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム
JP3849505B2 (ja) 障害物監視装置及びプログラム
US8170284B2 (en) Apparatus and method for displaying image of view in front of vehicle
US20240005642A1 (en) Data Augmentation for Vehicle Control
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
CN114750696A (zh) 车辆视觉呈现的方法、车载设备及车辆
JP2024019588A (ja) 地図データ生成装置
WO2022145054A1 (ja) 画像処理装置、画像処理方法、及び記録媒体
US20240193957A1 (en) Advanced driver assist system and method of detecting object in the same
KR20190134303A (ko) 영상 인식 장치 및 그 방법
US11702011B1 (en) Data augmentation for driver monitoring
Franke et al. Steps towards an intelligent vision system for driver assistance in urban traffic
JP4469980B2 (ja) 移動体追跡のための画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21914916

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18270034

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2022572879

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021914916

Country of ref document: EP

Effective date: 20230629

NENP Non-entry into the national phase

Ref country code: DE