WO2023135952A1 - 画像処理装置、画像処理方法および画像処理システム - Google Patents

画像処理装置、画像処理方法および画像処理システム Download PDF

Info

Publication number
WO2023135952A1
WO2023135952A1 PCT/JP2022/043653 JP2022043653W WO2023135952A1 WO 2023135952 A1 WO2023135952 A1 WO 2023135952A1 JP 2022043653 W JP2022043653 W JP 2022043653W WO 2023135952 A1 WO2023135952 A1 WO 2023135952A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
information
detection target
unit
Prior art date
Application number
PCT/JP2022/043653
Other languages
English (en)
French (fr)
Inventor
智詞 中山
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023135952A1 publication Critical patent/WO2023135952A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present technology relates to an image processing device, an image processing method, and an image processing system mounted on a vehicle, for example.
  • Patent Document 1 describes an in-vehicle camera having a lens and an imaging device, a mirror that reflects an image on the surface of the lens and forms an image on the imaging device, and a reference image of the surface of the lens that is stored. and an image processing unit that compares the image of the lens surface as a reference with the image of the lens surface formed on the imaging device.
  • Patent Document 1 since the in-vehicle camera system described in Patent Document 1 is a monocular camera, if the lens is stained with raindrops, sludge, or the like, the object recognition function of the following vehicle and the accompanying vehicle control are performed with the stain attached. It was difficult to get it to work correctly.
  • the purpose of this technology is to provide an image processing device that accurately functions the object recognition function and accompanying vehicle control even with a monocular camera.
  • an image processing apparatus includes an acquisition unit and a control unit.
  • the acquisition unit acquires a captured image including a detection target and a reflector in which the detection target is reflected, captured by the imaging unit.
  • the control unit provides first image information, which is image information of a first image area including the detection target within the captured image, and image information of a second image area including the reflector within the captured image.
  • Information related to the position of the detection target with respect to the imaging unit is calculated based on at least one of the second image information where .
  • information related to the position of the detection target with respect to the imaging unit is calculated based on at least one of image information of the detection target and the reflector in which the detection target is reflected, which is captured by the imaging unit. be done.
  • a monocular camera can use the image information of the object to be detected reflected in the reflector, so it is possible to provide an image processing device that accurately functions the object recognition function and the accompanying vehicle control.
  • the control unit controls a predetermined first specific area among the first image areas and a second specific area corresponding to a reflected image of the first specific area among the second image areas. may be extracted.
  • the first image information is image information of a preset first specific area of the first image area
  • the second image information is the first image area of the second image area.
  • the information related to the position of the detection target may be the relative distance of the detection target to the imaging unit.
  • the control unit determines whether or not a first pixel region corresponding to a predetermined specific pattern exists in at least a part of the first image information, and stains the light receiving unit of the imaging unit based on the determination result. may be detected.
  • the control unit extracts a second pixel area of the second image information corresponding to the reflected image of the first pixel area when the dirt on the light receiving unit is detected, and extracts the second pixel area of the second pixel area.
  • a display image may be generated by interpolating the first pixel region with the pixel information of the second pixel region based on the pixel information.
  • control unit When the control unit detects dirt on the light receiving unit, the control unit may calculate information related to the position of the detection target with respect to the imaging unit based on the second image information.
  • An image processing method includes acquiring a captured image including a detection target and a reflector in which the detection target is reflected, captured by an imaging unit.
  • First image information that is image information of a first image area containing the detection target within the photographed image
  • second image information that is image information of a second image area containing the reflector within the photographed image.
  • Information related to the position of the detection target with respect to the imaging unit is calculated based on at least one of the image information.
  • An image processing system includes an imaging unit, a reflector, and an image processing device.
  • the image processing device includes an acquisition unit that acquires a photographed image that includes a detection target and the reflector in which the detection target is captured, and that includes the detection target in the photographed image. Based on at least one of first image information that is image information of one image area and second image information that is image information of a second image area including the reflector in the captured image, and a control unit that calculates information related to the position of the detection target with respect to the imaging unit.
  • the reflector may have a content display section that displays preset content.
  • the control unit may periodically blink the content displayed by the content display unit during a non-exposure period of the imaging unit.
  • the reflector may be an optical element that reflects the detection target light of the detection target to the light receiving section of the imaging section and transmits the content light of the content display section.
  • the imaging unit may be an in-vehicle camera that captures at least part of the surroundings of the vehicle body, and the reflector may be provided below the imaging unit.
  • FIG. 1 is a block diagram of an image processing system according to an embodiment of the present technology
  • FIG. It is an overall view of the camera unit. It is a figure of the motor vehicle which has the said image processing system, (A) is a perspective view of the motor vehicle rear, (B) is a side view of the motor vehicle rear. It is the figure which showed the optical path of object light. It is a photographed image of the rear of the automobile with no dirt attached to the camera, (A) is an overall view of the rear of the automobile, (B) is a diagram of the detection target behind the automobile photographed without a mirror, and (C). 1 is a diagram including a mirror reflecting the rear of an automobile; FIG.
  • FIG. 10 is a diagram for explaining complementation of the first image area G1, (A) is a diagram of the first image area G1 in which dirt D is detected, and (B) is a diagram of the second image area G2 (A ), and (C) is a diagram of a display image G3 in which the pixel information of the second pixel region C22 is interpolated.
  • 4 is a flowchart showing distance measurement processing of the image processing device; 4 is a flowchart showing complement processing of the image processing apparatus; It is a block diagram showing the configuration of an image processing system according to a second embodiment of the present technology. It is a figure showing composition of an image processing system concerning a 2nd embodiment of this art. It is a figure which shows a shutter timing and a light emission timing. It is the figure which looked at the camera unit and detection object from the side.
  • FIG. 1 is a block diagram showing the configuration of an image processing system 100 according to an embodiment of the present technology
  • FIG. 2 is an overall view of a camera unit 20
  • FIG. 3 is a diagram of a car 1 having the image processing system 100
  • A) is a perspective view of the rear of the automobile
  • B) is a side view of the rear of the automobile.
  • FIG. 4 is a diagram showing the optical path of object light.
  • the image processing system of this embodiment is installed on a ship, a flying object such as a drone, or a moving object such as a vehicle.
  • the image processing system according to this embodiment will be described by taking an automobile as an example of a moving body.
  • the image processing system 100 mainly includes an image processing device 10, a camera unit 20, and a display section 30.
  • the image processing apparatus 10 controls each section of the image processing system 100 .
  • the image processing device 10 is configured to display an image of the rear of the automobile 1 captured by the camera unit 20 on the display unit 30 installed inside the automobile 1 .
  • the display unit 30 is, for example, a screen of a car navigation system. Details of the image processing apparatus 10 will be described later.
  • the camera unit 20 includes a camera 21 as an imaging section and a mirror 22 as a reflector.
  • the camera unit 20 is an in-vehicle camera that captures at least part of the surroundings of the automobile 1, and is installed behind the automobile 1. It is a rear camera that can shoot behind the
  • a digital camera equipped with an image sensor such as a CMOS (Complementary Metal-Oxide Semiconductor) sensor or a CCD (Charge Coupled Device) sensor is used.
  • an infrared camera equipped with an infrared illumination such as an infrared LED may be used.
  • a fisheye camera having a wide viewing angle may be used as the camera 21 .
  • the angle of view of the camera 21 is not particularly limited, but it is preferable that the camera 21 (automobile 1) can photograph the surroundings approximately several meters to several tens of meters ahead of it.
  • the camera 21 is installed above the license plate N at the rear of the automobile 1, as shown in FIGS.
  • the position is not limited to this, and the position may be below the license plate N.
  • the camera 21 may be, for example, a front camera arranged in front of the automobile 1 and capable of photographing the front of the automobile 1, or may be a side camera arranged in a door mirror and capable of photographing the side of the automobile. good.
  • the mirror 22 is provided below the camera 21, and is positioned below the license plate N in this embodiment.
  • the shape of the mirror 22 is a substantially symmetrical rectangular shape centered on the lens position of the camera 21 .
  • the mirror 22 specularly reflects the object light of the object behind the automobile 1 and causes it to enter the lens, which is the light receiving portion of the camera 21 .
  • the installation angle of the mirror 22 is the same as the angle of view of the camera 21 described above. The angle of incidence is preferred. Also, the angle of the mirror 22 may be any angle as long as the sunlight reflected by the mirror 22 does not hit the user of the following vehicle.
  • the area R indicated by the dashed line is the imaging range of the camera 21 .
  • a region R2 of the region R is a region in which the vehicle body of the vehicle 1 is captured within the imaging range of the camera 21, and a region R1 is a region within the imaging range of the camera 21 in which the vehicle body of the vehicle 1 is not captured.
  • the mirror 22 is arranged at a position corresponding to the region R2.
  • the mirror 22 is attached to the automobile 1 and arranged separately from the camera 21, but it is not limited to this, and may be an integrated object directly attached around the camera 21.
  • the positional relationship between the camera 21 and the mirror 22 can be set appropriately.
  • FIG. 5A and 5B are images of the rear of the automobile taken with no dirt attached to the camera 21.
  • (A) is an overall view of the rear of the automobile
  • (B) is an image of the detection target behind the automobile taken without a mirror.
  • FIG. (C) is a view including a mirror in which the rear of the automobile is reflected.
  • a captured image G captured by the camera 21 as shown in FIG. 5 includes a first image area G1 and a second image area G2.
  • the second image area G2 is an area including the mirror 22 in which the detection target C is reflected. Further, the object light of the detection object C in the second image area G2 is reflected by the mirror 22 (optical path L2 of the object light), and the reflected light enters the lens of the camera 21. be filmed.
  • the first image area G1 is an area including the detection target C.
  • the detection target C in the first image area G1 is photographed by the object light of the detection target C being incident on the lens of the camera 21 without passing through the mirror (optical path L1 of the object light). Therefore, the detection target C2 displayed in the second image area G2 is vertically inverted with respect to the detection target C1 in the first image area G1, and the image is distorted by the installation angle of the mirror 22.
  • the first image area G1 has a wider angle of view than the second image area G2. Also, the position of the second image G2 in the captured image G corresponds to the arrangement position of the mirror 22 described above.
  • the size of the mirror 22 can be set as appropriate, but as shown in FIG.
  • the image processing apparatus 10 has an acquisition unit 11, a control unit 110, and a storage unit 18 as functional blocks of the CPU. 14, a distance measuring unit 15, an extracting unit 16, a complementing unit 17, and a storage unit 18 (see FIG. 1).
  • the acquisition unit 11 acquires the captured image G including the detection target C and the mirror 22 reflecting the detection target C captured by the camera 21 at a predetermined frame rate, and stores the captured image G in the storage unit 18 .
  • the preprocessing unit 12 extracts an image so that the captured image G acquired by the acquisition unit 11 can be processed by the detection unit 13, which will be described later.
  • the preprocessing unit 12 selects a first image region G1 including the detection target C1 and a detection target C2 from the captured image G acquired.
  • a second image region G2 containing the recessed mirror 22 is extracted.
  • the size of the image regions of the first image region G1 and the second image region G2 extracted by the preprocessing unit 12 is not particularly limited, and is appropriately set according to the angle of view of the camera 21 and the size of the mirror 22. It is possible.
  • the detection unit 13 detects the first image information that is the image information of the first image region G1 and the second image information that is the image information of the second image region G2 extracted by the preprocessing unit 12.
  • the detection unit 13 includes, for example, a deep learning device, and uses a learning model stored in the storage unit 18, which will be described later, to determine whether or not the detection target exists in the input image.
  • the type and position are detected for each detection target.
  • An object set as a detection target in this embodiment is an automobile, but is of course not limited to this, and may be a pedestrian, a utility pole, a wall, or the like.
  • the detection unit 13 recognizes the lane in which the vehicle is traveling (for example, recognizes two white lines), and recognizes the vehicle in that lane as the detection target. You may
  • the detection unit 13 generates a predetermined first specific region S1 in the first image region G1 and a second specific region S1 in the second image region G2 corresponding to the reflected image of the first specific region S1.
  • a region S2 is extracted (see FIG. 5A).
  • the first specific area S1 and the second specific area S2 are areas that characterize the detection target C, and are areas that include the license plate N in this embodiment.
  • the specific area is the license plate, but it is of course not limited to this, and may be the windshield.
  • FIG. 6A and 6B are images of the rear of the automobile with dirt adhering to the camera 21.
  • FIG. 6A is an overall view of the rear of the automobile
  • FIG. (C) is a diagram including a mirror reflecting a detection target behind the automobile.
  • the dirt detection unit 14 stores the first image information, which is the image information of the first image region G1 extracted by the detection unit 13, and the second image information, which is the image information of the second image region G2, into the storage unit.
  • the presence or absence of the first pixel region C12 corresponding to the specific pattern preset in 18 is determined, and dirt on the lens of the camera 21 is detected based on the determination result.
  • the first image information includes the detection target C1 in the first image area G1 and the preset first specific area S1 in the first image area G1.
  • the second image information includes the detection target C2 in the second image area G2 and the preset second specific area S2 in the second image area G2.
  • the first pixel region C12 corresponding to the specific pattern is, for example, dirt.
  • dirt When the dirt is present, a part of the pixel area exhibits brown pixel values peculiar to the dirt, and the pixel area has the characteristic pixel value.
  • the dirt detection unit 14 determines that dirt D overlapping the image area of the detection target C1 is dirt on the lens of the camera 21, as shown in FIGS. 6A and 6B, for example.
  • the stain detection unit 14 includes a deep learning device, and uses a learning model stored in the storage unit 18 to determine the presence or absence of stains in the captured image. Detect location.
  • dirt is not limited to mud dirt, and includes water droplets and the like.
  • the method of detecting dirt is not limited to deep learning.
  • a method may be used in which a difference image is obtained from a plurality of shot images taken in chronological order, and if the change in pixel value in the difference image is a predetermined value or less, an area of the predetermined value or less is determined to be dirty. .
  • FIG. 13 is a side view of the camera unit 20 and the detection target C.
  • the distance measuring unit 15 calculates information related to the positions of the camera 21 (vehicle 1) and the detection target C (following vehicle). For example, when there is no dirt D in the first specific region S1 of the first image region G1 and the second specific region S2 of the second image region G2 as shown in FIGS. As shown in FIGS. 4 and 5A to 5C, the distance measuring unit 15 measures the first image information (optical path L1) of the first image area G1 and the second image information of the second image area G1. Based on the image information (optical path L2), information related to the position of the detection target C with respect to the camera 21 is calculated (first distance measurement).
  • the distance measuring unit 15 uses the second specific area S2 to determine the detection target for the camera 21. Compute information related to the location of C.
  • a method of performing distance measurement with a monocular camera is not particularly limited, and various methods can be adopted. For example, as shown in FIGS. 6 and 13, the first specific region S1 corresponding to the camera 21 based on the position (image height) of the first specific region S1 and the image height characteristics of the camera 21 relative to the optical axis X The height h from the road R to one of the four corners of the license plate N corresponding to the first specific region S1 is calculated based on the inclination angle ⁇ 1 and the pixel information of the first image region G1. Then, information related to the position of the detection target C with respect to the camera 21 is calculated based on the distance H1 from the camera 21 and the road R (second distance measurement).
  • the first distance measurement is information related to the position of the detection target C with respect to the mirror 22 based on the second distance measurement described above and the distance measurement information based on the second image information photographed through the mirror 22.
  • the distance measurement information calculates information related to the position of the detection target C with respect to the mirror 22 .
  • distance measurement information is calculated assuming that the second image area G2 is photographed from the mirror 22 . That is, as shown in FIGS. 6 and 13, the position (image height) of the second specific region S2 and the optical axis X′ (optical axis X) is calculated, and based on the pixel information of the second image area G2, the angle from the road R to one of the four corners of the license plate N corresponding to the second specific area S2 is calculated. , and information related to the position of the detection target C with respect to the mirror 22 based on the distance H2 from the mirror 22 and the road R is calculated.
  • the distance measurement unit 15 uses the first specific region S1 to Then, information relating to the position of the detection target C with respect to the camera 21 is calculated (second distance measurement).
  • the distance measurement unit 15 calculates information related to the position of the detection target C with respect to the camera 21 based on the above-described relative distances L1 and L2. For example, among the calculated relative distances L1 and L2, the numerical value of the distance closer to the camera 21 may be calculated as the relative distance of the detection target C with respect to the camera 21, or the average of the relative distances L1 and L2 may be calculated as the detection target with respect to the camera 21. It may be calculated as the relative distance of C.
  • the information about the position described above is, for example, the relative distance, but is not limited to this, and may be, for example, the relative velocity using the captured images captured in chronological order.
  • FIGS. 7A and 7B are diagrams for explaining complementation of the first image area G1.
  • FIG. 7A is a diagram of the first image area G1 in which dirt D is detected
  • FIG. 7B is a diagram of the second image area G2.
  • (A) shows the second pixel region C22 corresponding to the first pixel region C12, which is the stained portion; It is a diagram.
  • the extraction unit 16 detects dirt D on the lens of the camera 21, the extraction unit 16 extracts a second pixel region C22 corresponding to the reflected image of the first pixel region C12. Extract.
  • the extraction unit 16 needs to perform a process of converting the optical axis of the camera 21 in order to extract the second pixel region C22.
  • a method for converting the optical axis of the camera 21 is not particularly limited, and various methods can be adopted. For example, by projecting the second image information onto a plane perpendicular to the optical path L1, a viewpoint-converted image can be generated. Thereby, the extraction unit 16 can extract the second pixel region C22 corresponding to the reflected image of the first pixel region C12.
  • the complementing unit 17 causes the extracting unit 16 to extract the pixel information of the first pixel area C12 corresponding to the position of the stain D.
  • a display image G3 is generated by complementing the first pixel region C12 with the pixel information of the second pixel region C22.
  • the extraction unit 16 extracts the second pixel region C22 in the second image region G2, and the complementation unit 17 extracts the first pixel region C22.
  • the pixel information of the pixel region C12 is replaced with the pixel information of the second pixel region C22. That is, in the present embodiment, the first pixel region C12 is assumed to have, for example, pixel values peculiar to mud stains. A process of replacing the pixel values peculiar to the mud stain with the pixel values of the second pixel region C22 is performed. Then, a display image G3 including a complemented image region C3 obtained by complementing the first pixel region C12 is generated.
  • the first pixel region C12 complemented by the complementing unit 17 exists in the region overlapping the detection target C1, but is not limited to this.
  • the interpolation processing is performed.
  • the storage unit 18 is composed of a storage device such as a hard disk or semiconductor memory.
  • the storage unit 18 stores programs and calculation parameters for causing the image processing apparatus 10 to execute the various functions described above, and learning models that are referred to during object detection processing in the detection unit 13 and dirt detection processing in the dirt detection unit 14. is stored.
  • the storage unit 18 is not limited to being built in the image processing device 10, and may be a storage device separate from the image processing device 10, or a cloud server or the like connectable to the control device 10 via a network. may be
  • the model in the learning model of the present embodiment is, for example, an object such as a person or a car in the first image area G1 captured without the mirror 22, and a second image including the detection target reflected in the mirror 22.
  • the object In the image area G2, the object is vertically inverted from the first image area G1 and is distorted due to the installation angle of the mirror 22.
  • the dirt used in this embodiment is dirt adhering to the lens of the camera 21 .
  • dirt on the first image area G1 is dirt on the lens of the camera 21 corresponding to the first image area G1.
  • FIG. 8 is a flow chart showing an example of the procedure of distance measurement processing executed in the image processing apparatus 10. As shown in FIG.
  • the acquisition unit 11 acquires an image captured by the camera 21 (step 101).
  • the images captured by the camera 21 are, for example, a first image region G1 including the detection target C1 as shown in FIGS. 5A and 6A, and a second image including the detection target C2 reflected on the mirror 22. It is a photographed image G including a region G2.
  • the preprocessing unit 12 extracts a first image area G1 and a second image area G2 from the photographed image G as shown in FIGS. 5A and 6A (step 102). .
  • the detection unit 13 executes detection processing of the first specific region S1 and the second specific region S2 from the first image region G1 and the second image region G2, respectively (step 103).
  • the specific area detection process the presence or absence of a detection target in the captured image (first image area G1 and second image area G2) is detected, and if an object exists, its type and position are detected, and the detection target is detected.
  • a specific region preset for each type is extracted.
  • step 104 it is detected whether or not the first pixel area C12 exists in the first specific area S1 (step 104). Therefore, if the first pixel region C12 is not detected in the first specific region S1, step 105 is performed. In this embodiment, as shown in FIG. 6, it is detected whether or not there is dirt D in the image area of the license plate N.
  • FIG. 6 it is detected whether or not there is dirt D in the image area of the license plate N.
  • the dirt detection unit 14 detects whether the second specific area S2 includes the second pixel area C22. If dirt is not detected in the second specific area S2 as well, the distance of the detection target C to the camera 21 (automobile 1) is measured based on the first distance measurement described above (step 106).
  • the camera 21 (automobile 1) and the detection target C A distance is measured based on the second ranging described above (step 107).
  • the measurement result is displayed on the display unit 30.
  • this flowchart may be performed when measuring the distance to the following vehicle when the automobile 1 is backing up, or may be performed all the time.
  • the information is not limited to being displayed on the display unit 30, and may be transmitted to the user through a speaker.
  • it is not limited to the purpose of outputting to the user, and may be used, for example, as information for controlling the inter-vehicle distance of an automatic driving system.
  • FIG. 9 is a flow chart showing an example of the procedure of complementing processing executed in the image processing apparatus 10. As shown in FIG.
  • step 114 the dirt detection unit 14 determines whether or not there is a first pixel region C12 corresponding to a specific pattern preset in at least part of the first image information, which is the image information of the first image region G1. . If there is a first pixel region C12, go to step 115;
  • the extraction unit 16 extracts the second pixel area C22 of the second image information corresponding to the reflected image of the first pixel area C12.
  • the complementing unit 17 complements the first pixel region C12 with the pixel information of the second pixel region C22 based on the pixel information of the second pixel region C22.
  • An image G3 is generated (step 116).
  • the complemented display image G3 is transmitted to the display unit 30 and provided to the user.
  • this flowchart may be performed when measuring the distance to the following vehicle when the automobile 1 is backing up, or may be performed all the time.
  • distance measurement can be performed by using an image captured through the mirror 22, so distance measurement performance can be improved. Also, by providing the mirror 22 below the imaging area of the camera 21, the imaging area of the camera 21 can be effectively utilized. In particular, by arranging the mirror 22 at a position where the vehicle body of the automobile 1 is reflected within the imaging area of the camera 21, the imaging area of the camera 21 can be utilized without waste.
  • the second pixel area C22 of the second image area G2 including the detection target reflected on the mirror 22 is used to complement the part where dirt is detected in the first image area G1. Therefore, the user can recognize the following vehicle and its sense of distance.
  • the object recognition function and accompanying vehicle control can be made to function accurately.
  • FIG. 10 is a block diagram showing the configuration of an image processing system 200 according to the second embodiment of the present technology
  • FIG. 11 is a diagram showing the configuration of the image processing system 200.
  • FIG. 12 is a diagram showing shutter timing X and light emission timing Y.
  • a camera unit 20A according to this embodiment differs from the first embodiment in that a mirror 22 is installed instead of the half mirror 23, and a content display section 24 is installed on the vehicle side of the half mirror 23.
  • the control unit 110A has a display control unit 19 that periodically blinks the content displayed by the content display unit 24 during the non-exposure period of the camera 21 .
  • the content display unit 24 is typically an LED display, but is not limited to this, and may be of any type such as a liquid crystal display or an organic EL display.
  • the half mirror 23 has one surface that reflects the detection target light L2 coming from the detection target C to the lens of the camera 21, and transmits the content light L3 from the content display unit 24 to the rear of the automobile 1.
  • an optical element having a second surface that allows the
  • the content display unit 24 is a monitor for displaying preset content to the rear of the vehicle, and the content is, for example, still images, moving images, color information, or character information.
  • the content display unit 24 is a monitor for displaying preset content to the rear of the vehicle, and the content is, for example, still images, moving images, color information, or character information.
  • the shutter timing X of the camera 21 includes an exposure period X1 and a non-exposure period X2, and the light emission timing Y includes a light emission period Y1 and a non-light emission period Y2.
  • the content display section 24 is in the non-light-emitting period Y2
  • the content display section 24 is in the light-emitting period Y1.
  • a frame rate at which the camera 21 captures an image of the detection target C can be arbitrarily set, and is, for example, 30 fps.
  • the display control unit 19 shifts the light emission timing Y of the content display unit 24 and the shutter timing X of the camera 21, so that the image information of the detection target C reflected in the half mirror 23 can be easily captured.
  • the half mirror 23 and the content display unit 24 are configured separately, but they may be an integral reflector having a reflecting surface and a content display function.
  • the acquisition unit 11 acquires the image information including the detection target C and the content.
  • the extraction unit 16 extracts the image information, the area including the content is removed by machine learning and then complemented.
  • a half mirror is used in this embodiment, it is not limited to this, and may be, for example, a beam splitter.
  • an example of application to the automobile 1 has been described as a moving object, but the present invention is not limited to this, and may be a flying object such as a drone.
  • a detection target such as a building such as a building or a creature such as a bird is detected during flight based on the detection unit 13, and when the detection target falls below a certain distance by the distance measurement unit 15,
  • a drone flight control signal may be configured to be able to be transmitted.
  • the control signal is used to control the flight to avoid the detection target, and the drone measures the distance between the package and the luggage storage area (for example, the entrance) when carrying the package, so as not to impact the package. can be put as
  • This technology can also adopt the following configuration.
  • An acquisition unit that acquires a photographed image including a detection target and a reflector in which the detection target is captured, and a first image region that includes the detection target in the photographed image.
  • the detection for the imaging unit based on at least one of first image information that is image information and second image information that is image information of a second image area including the reflector in the captured image. and a controller that calculates information related to the position of an object.
  • the control unit controls a predetermined first specific area among the first image areas and a second specific area corresponding to a reflected image of the first specific area among the second image areas.
  • the first image information is image information of a first specific area preset in the first image area
  • the image processing device wherein the second image information is image information of a second specific area corresponding to a reflected image of the first specific area in the second image area.
  • the control device according to any one of (1) to (3) above, The image processing device, wherein the information related to the position of the detection target is a relative distance of the detection target to the imaging unit.
  • the control unit determines whether or not a first pixel region corresponding to a predetermined specific pattern exists in at least a part of the first image information, and based on the determination result, stains on the light receiving unit of the imaging unit.
  • An image processing device that detects (6) The control device according to (5) above, The control unit extracts a second pixel area of the second image information corresponding to the reflected image of the first pixel area when the dirt on the light receiving unit is detected, and extracts the second pixel area of the second pixel area.
  • An image processing apparatus that generates a display image in which the first pixel region is complemented with pixel information of the second pixel region based on pixel information.
  • the control device according to (5) or (6) above, The image processing device, wherein the control unit calculates information related to the position of the detection target with respect to the imaging unit based on the second image information when the dirt on the light receiving unit is detected.
  • the detection target for the imaging unit is detected. and an image processing device having a controller for calculating information related to the position of the image processing system.
  • the control unit periodically blinks the content displayed by the content display unit during a non-exposure period of the imaging unit.
  • the imaging unit is an in-vehicle camera that images at least part of the surroundings of the vehicle body, The image processing system, wherein the reflector is provided below the imaging unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】単眼カメラであっても物体認識機能やそれに伴う車両制御を正確に機能させる画像処理装置を提供する。 【解決手段】本技術の一形態に係る信号処理装置は、取得部と制御部とを具備する。上記取得部は、撮像部によって撮影された、検出対象と上記検出対象が映り込んだ反射体とを含む撮影画像を取得する。上記制御部は、上記撮影画像内の上記検出対象を含む第１の画像領域の画像情報である第１の画像情報と、上記撮影画像内の上記反射体を含む第２の画像領域の画像情報である第２の画像情報との少なくとも一方に基づいて、上記撮像部に対する上記検出対象の位置に関連する情報を算出する。

Description

画像処理装置、画像処理方法および画像処理システム
　本技術は、例えば車両に搭載される画像処理装置、画像処理方法および画像処理システムに関する。
　従来、自動車の利便性や安全性を向上させるために、車両に搭載され、コクピット近傍に設置されたモニター装置によって視認するためのカメラ装置が提供されている。この種のカメラとして例えば特許文献１には、レンズと撮像素子とを有する車載カメラと、レンズ表面の像を反射し、撮像素子上に結像させる鏡と、基準となるレンズ表面の像を記憶する記憶回路と、基準となるレンズ表面の像と撮像素子上に結像したレンズ表面の像とを比較する画像処理部とを備え、レンズへの付着物やレンズ表面の異変を検出する車載カメラシステムが開示されている。
特許第６７４４５７５号公報
　しかしながら、特許文献１に記載の車載カメラシステムは、単眼カメラであるため、レンズに雨滴や汚泥等の汚れがついた場合、汚れが付着したまま後続車等の物体認識機能やそれに伴う車両制御を正確に機能させることが困難であった。
　以上のような事情に鑑み、本技術の目的は、単眼カメラであっても物体認識機能やそれに伴う車両制御を正確に機能させる画像処理装置を提供することにある。
　上記目的を達成するため、本技術の一形態に係る画像処理装置は、取得部と、制御部を具備する。
　上記取得部は、撮像部によって撮影された、検出対象と上記検出対象が映り込んだ反射体とを含む撮影画像を取得する。
　上記制御部は、上記撮影画像内の上記検出対象を含む第１の画像領域の画像情報である第１の画像情報と、上記撮影画像内の上記反射体を含む第２の画像領域の画像情報である第２の画像情報との少なくとも一方に基づいて、上記撮像部に対する上記検出対象の位置に関連する情報を算出する。
　上記画像処理装置において、撮像部によって撮影された、検出対象と上記検出対象が映り込んだ反射体との画像情報の少なくとも一方に基づいて上記撮像部に対する上記検出対象の位置に関連する情報を算出される。これにより、単眼カメラであっても反射体に映り込んだ検出対象の画像情報を用いることができるため、物体認識機能やそれに伴う車両制御を正確に機能させる画像処理装置を提供することができる。
　上記制御部は、上記第１の画像領域のうち予め設定された第１の特定領域と、上記第２の画像領域のうち上記第１の特定領域の反射像に対応する第２の特定領域とを抽出してもよい。
　上記第１の画像情報は、上記第１の画像領域のうち予め設定された第１の特定領域の画像情報であり、上記第２の画像情報は、上記第２の画像領域のうち上記第１の特定領域の反射像に対応する第２の特定領域の画像情報であってもよい。
　上記検出対象の位置に関連する情報は、上記撮像部に対する上記検出対象の相対距離であってもよい。
　上記制御部は、上記第１の画像情報の少なくとも一部に、予め設定された特定パターンに対応する第１の画素領域の有無を判定し、その判定結果に基づき上記撮像部の受光部の汚れを検出してもよい。
　上記制御部は、上記受光部の汚れを検出した場合、上記第１の画素領域の反射像に対応する上記第２の画像情報の第２の画素領域を抽出し、上記第２の画素領域の画素情報に基づいて、上記第２の画素領域の画素情報で上記第１の画素領域を補完した表示用画像を生成してもよい。
　上記制御部は、上記受光部の汚れを検出した場合、上記第２の画像情報に基づいて上記撮像部に対する上記検出対象の位置に関連する情報を算出してもよい。
　本技術の一形態に係る画像処理方法は、撮像部によって撮影された、検出対象と上記検出対象が映り込んだ反射体とを含む撮影画像を取得することを含む。
　上記撮影画像内の上記検出対象を含む第１の画像領域の画像情報である第１の画像情報と、上記撮影画像内の上記反射体を含む第２の画像領域の画像情報である第２の画像情報との少なくとも一方に基づいて、上記撮像部に対する上記検出対象の位置に関連する情報を算出する。
　本技術の一形態に係る画像処理システムは、撮像部と、反射体と、画像処理装置とを具備する。
　上記画像処理装置は、上記撮像部によって撮影された、検出対象と上記検出対象が映り込んだ上記反射体とを含む撮影画像を取得する取得部と、上記撮影画像内の上記検出対象を含む第１の画像領域の画像情報である第１の画像情報と、上記撮影画像内の上記反射体を含む第２の画像領域の画像情報である第２の画像情報との少なくとも一方に基づいて、上記撮像部に対する上記検出対象の位置に関連する情報を算出する制御部とを有する。
　上記反射体は、予め設定されたコンテンツを表示するコンテンツ表示部を有してもよい。
　上記制御部は、上記コンテンツ表示部が表示する上記コンテンツを上記撮像部の非露光期間に周期的に点滅表示させてもよい。
　上記反射体は、上記検出対象の検出対象光を上記撮像部の受光部へ反射させ、上記コンテンツ表示部のコンテンツ光を透過させる光学素子であってもよい。
　上記撮像部は、車体の周囲の少なくとも一部を撮影する車載カメラであり、上記反射体は、上記撮像部の下方に設けられてもよい。
本技術の一実施形態に係る画像処理システムのブロック図である。 上記カメラユニットの全体図である。 上記画像処理システムを有する自動車の図であり、（Ａ）は自動車後方の斜視図、（Ｂ）は自動車後方の側面図である。 対象物光の光路を示した図である。 カメラに汚れの付着がない、自動車後方の撮影画像であり、（Ａ）は、自動車後方の全体図、（Ｂ）は、ミラーを介さず自動車後方の検出対象が撮影された図、（Ｃ）は、自動車後方が映り込んだミラーを含む図である。 カメラに汚れの付着がある、自動車後方の撮影画像であり、（Ａ）は、自動車後方の全体図、（Ｂ）はミラーを介さずに自動車後方の検出対象が撮影された図、（Ｃ）は、自動車後方が映り込んだミラーを含む図である。 第１の画像領域Ｇ１の補完を説明した図であり、（Ａ）は、汚れＤが検出された第１の画像領域Ｇ１の図、（Ｂ）は、第２の画像領域Ｇ２のうち（Ａ）の汚れ部分である第１の画素領域に対応する第２の画素領域Ｃ２２の図、（Ｃ）は、第２の画素領域Ｃ２２の画素情報を補完した表示用画像Ｇ３の図である。 画像処理装置の測距処理を示すフローチャートである。 画像処理装置の補完処理を示すフローチャートである。 本技術の第２の実施形態に係る画像処理システムの構成を示すブロック図である。 本技術の第２の実施形態に係る画像処理システムの構成を示す図である。 シャッタータイミングと発光タイミングを示す図である。 カメラユニットと検出対象を側方からみた図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
［画像処理システム］
　図１は、本技術の一実施形態の画像処理システム１００の構成を示すブロック図、図２は、カメラユニット２０の全体図、図３は画像処理システム１００を有する自動車１の図であり、（Ａ）は自動車後方の斜視図、（Ｂ）は自動車後方の側面図である。また図４は対象物光の光路を示した図である。
　本実施形態の画像処理システムは、船舶、ドローンなどの飛行体や車両などの移動体に設置される。本実施形態では、移動体として自動車を例に挙げて、本実施形態の画像処理システムについて説明する。
　図１に示すように、画像処理システム１００は、主として、画像処理装置１０と、カメラユニット２０と表示部３０とを備える。
　（画像処理装置）
　画像処理装置１０は、画像処理システム１００の各部を制御する。画像処理装置１０は、カメラユニット２０による自動車１の後方の撮影画像を、自動車１の車内に設置された表示部３０表示するように構成される。表示部３０は、例えば、カーナビゲーションシステムの画面である。なお、画像処理装置１０の詳細については後述する。
　（カメラユニット）
　図２に示すようにカメラユニット２０は、撮像部としてのカメラ２１と反射体であるミラー２２とを含む。図３（Ａ）、（Ｂ）に示すように、本実施形態においてカメラユニット２０は自動車１の周囲の少なくとも一部を撮影する車載カメラであって、自動車１の後方に設置されており自動車１の後方を撮影可能なリアカメラである。
　カメラ２１は、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。その他、例えば赤外線ＬＥＤ等の赤外線照明を搭載した赤外線カメラが用いられてもよい。なおカメラ２１には広視野角を有する魚眼カメラが用いられてもよい。またカメラ２１の画角は特に限定されないが、カメラ２１（自動車１）の後方おおよそ数ｍから数十ｍ先の周囲を過不足なく撮影できることが好ましい。
　本実施形態において図２、図３に示されるようにカメラ２１は、自動車１の後方のナンバープレートＮよりも上方に設置されている。しかしながらこれに限らず、ナンバープレートＮの下方であってもよい。またカメラ２１は、例えば自動車１の前方に配置され、自動車１の前方を撮影可能なフロントカメラであってもよいし、ドアミラーに配置され、自動車の側方を撮影可能なサイドカメラであってもよい。
　ミラー２２は、カメラ２１の下方に設けられ、本実施形態ではナンバープレートＮの下方に位置する。ミラー２２の形状は、カメラ２１のレンズ位置を中心としたおおよそ左右対称の矩形状である。本実施形態では、またミラー２２は、自動車１の後方にある対象物の対象物光を正反射し、カメラ２１の受光部であるレンズに入射させる。ミラー２２の設置角度は、上述したカメラ２１の画角と同様にカメラ２１（自動車１）からおおよそ数ｍから数十ｍ先の後続車等の対象物を正反射した光がカメラ２１のレンズに入射する角度であることが好ましい。また、ミラー２２の角度は、ミラー２２によって反射された太陽光などが後続車のユーザに当たらない角度であればよい。
　図３（Ｂ）に示すように、破線で示される領域Ｒは、カメラ２１の撮影範囲である。領域Ｒのうち領域Ｒ２は、カメラ２１の撮影範囲のうち自動車１の車体が映り込む領域であり、領域Ｒ１は、カメラ２１の撮影範囲のうち自動車１の車体が映り込まない領域である。また、本実施形態において図３（Ｂ）に示されるように、ミラー２２は、領域Ｒ２に相当する位置に配置される。
　本実施形態においてミラー２２は自動車１に取り付けられ、カメラ２１とは分離して配置されているが、これに限られず、カメラ２１の周囲に直接取り付けられた一体物であってもよい。カメラ２１とミラー２２の位置関係は適宜設定可能である。
　図５は、カメラ２１に汚れの付着がない、自動車後方の撮影画像であり、（Ａ）は、自動車後方の全体図、（Ｂ）は、ミラーを介さず自動車後方の検出対象が撮影された図、（Ｃ）は、自動車後方が映り込んだミラーを含む図である。
　図５に示されるようにカメラ２１によって撮影された撮影画像Ｇは、第１の画像領域Ｇ１と、第２の画像領域Ｇ２とを含む。
　図４、図５（Ｃ）に示されるように、第２の画像領域Ｇ２は、検出対象Ｃが映り込んだミラー２２を含む領域である。また第２の画像領域Ｇ２内の検出対象Ｃは、検出対象Ｃの対象物光をミラー２２で反射し（対象物光の光路Ｌ２）、その反射した光がカメラ２１のレンズに入射することで撮影される。
　第１の画像領域Ｇ１は、検出対象Ｃを含む領域である。また第１の画像領域Ｇ１内の検出対象Ｃは、検出対象Ｃの対象物光がミラーを介さずにカメラ２１のレンズに入射することで撮影される（対象物光の光路Ｌ１）。そのため、第２の画像領域Ｇ２に表示される検出対象Ｃ２は上述した第１の画像領域Ｇ１の検出対象Ｃ１に対して上下反転し、ミラー２２の設置角度によってゆがんだ像となる。
　図５（Ａ）～（Ｃ）に示されるように、第１の画像領域Ｇ１は第２の画像領域Ｇ２の画角より広い画角を有する。また、撮影画像Ｇ内の第２の画像Ｇ２の位置は、上述したミラー２２の配置位置に相当する。
　またミラー２２の大きさ適宜設定可能であるが、図５に示されるように、例えば、撮影画像Ｇ内の画角に収まるサイズである。
（画像処理装置）
　画像処理装置１０は、ＣＰＵの機能ブロックとして、取得部１１と、制御部１１０と、記憶部１８と、を有し、制御部１１０は、前処理部１２と、検出部１３と、汚れ検出部１４と、測距部１５と、抽出部１６と、補完部１７と、記憶部１８とを有する（図１参照）。
　取得部１１は、上述したカメラ２１によって撮影された、検出対象Ｃと検出対象Ｃが映り込んだミラー２２とを含む撮影画像Ｇを所定のフレームレートで取得し、記憶部１８へ格納する。
　前処理部１２は、取得部１１で取得した撮影画像Ｇを後述する検出部１３で処理できるように画像を抽出する。本実施形態において図５（Ａ）～（Ｃ）に示されるように前処理部１２は、取得した撮影画像Ｇの中から検出対象Ｃ１を含む第１の画像領域Ｇ１と、検出対象Ｃ２が映り込んだミラー２２を含む第２の画像領域Ｇ２とを抽出する。前処理部１２によって、抽出される第１の画像領域Ｇ１や第２の画像領域Ｇ２の画像領域の大きさは、特に限られず、カメラ２１の画角やミラー２２の大きさに応じて適宜設定可能である。
　検出部１３は、前処理部１２で抽出された第１の画像領域Ｇ１の画像情報である第１の画像情報及び第２の画像領域Ｇ２の画像情報である第２の画像情報を検出する。検出部１３は、例えば深層学習器を含み、後述する記憶部１８に格納された学習モデルを使用しながら、入力された画像における検出対象の存在の有無を判定し、検出対象が存在する場合はその種類や位置を個々の検出対象ごとに検出する。本実施形態において検出対象物として設定された物体は、自動車であるが、もちろんこれに限られず、歩行者であってもよいし、電柱や壁などであってもよい。
　また、検出対象が自動車などの車両の場合、検出部１３は、自車の走行している車線を認識し（例えば、２つの白線を認識するなど）、その車線内の車両を検出対象と認識してもよい。
　さらに検出部１３は、第１の画像領域Ｇ１のうち予め設定された第１の特定領域Ｓ１と、第２の画像領域Ｇ２のうち第１の特定領域Ｓ１の反射像に対応する第２の特定領域Ｓ２を抽出する（図５（Ａ）参照）。
　第１の特定領域Ｓ１及び第２の特定領域Ｓ２とは、検出対象Ｃの特徴となる領域であり、本実施形態ではナンバープレートＮを含む領域である。本実施形態では、特定領域がナンバープレートであるが、もちろんこれに限られず、フロントガラスであってもよい。
　図６は、カメラ２１に汚れの付着がある自動車後方の撮影画像であり、（Ａ）は、自動車後方の全体図、（Ｂ）はミラーを介さず自動車後方の検出対象が撮影された図、（Ｃ）は、自動車後方の検出対象が映り込んだミラーを含む図である。
　汚れ検出部１４は、検出部１３によって抽出された第１の画像領域Ｇ１の画像情報である第１の画像情報及び第２の画像領域Ｇ２の画像情報である第２の画像情報から、記憶部１８に予め設定された特定パターンに対応する第１の画素領域Ｃ１２の有無を判定し、その判定結果に基づきカメラ２１のレンズの汚れを検出する。
　ここで、第１の画像情報とは、第１の画像領域Ｇ１内の検出対象Ｃ１や第１の画像領域Ｇ１のうち予め設定された第１の特定領域Ｓ１を含む。第２の画像情報とは、第２の画像領域Ｇ２内の検出対象Ｃ２や第２の画像領域Ｇ２のうち予め設定された第２の特定領域Ｓ２を含む。
　また特定パターンに対応する第１の画素領域Ｃ１２とは、例えば泥汚れである。その泥汚れがあると一部の画素領域が泥汚れ特有の茶色の画素値を示すこととなり、その特有の画素値を有する画素領域である。
　汚れ検出部１４は例えば図６（Ａ）、（Ｂ）に示されるように、検出対象Ｃ１の画像領域に重なる汚れＤをカメラ２１のレンズの汚れと判定する。本実施形態では、汚れ検出部１４は、深層学習器を含み、記憶部１８に格納された学習モデルを使用しながら、撮影画像における汚れの存在の有無を判定し、汚れが存在する場合はその位置を検出する。また汚れとは、泥汚れに限られず、水滴などがあげられる。汚れを検知する方法は、深層学習に限られない。例えば時系列順に複数枚撮影された撮影画像から差分画像を取得し、その差分画像のうち画素値の変化が所定以下であれば、その所定以下の領域を汚れと判定する方法であってもよい。
　図１３は、カメラユニット２０と検出対象Ｃを側方からみた図である。
　測距部１５は、カメラ２１（自動車１）と検出対象Ｃ（後続車）との位置に関連する情報を算出する。例えば、図５（Ａ）～（Ｃ）に示されるような第１の画像領域Ｇ１の第１の特定領域Ｓ１及び第２の画像領域Ｇ２の第２の特定領域Ｓ２に汚れＤがない場合、測距部１５は、図４、図５（Ａ）～（Ｃ）に示されるように第１の画像領域Ｇ１の第１の画像情報（光路Ｌ１）と、第２の画像領域の第２の画像情報（光路Ｌ２）とに基づいてカメラ２１に対する検出対象Ｃの位置に関連する情報を算出する（第１の測距）。
　また図６（Ａ）～（Ｃ）に示されるように第１の特定領域Ｓ１に汚れＤが検出された場合、測距部１５は、第２の特定領域Ｓ２を用いてカメラ２１に対する検出対象Ｃの位置に関連する情報を算出する。単眼カメラで測距を行う方法は特に限定されず、種々の方式が採用可能である。例えば、図６、１３に示されるように、第１の特定領域Ｓ１の位置（像高）とカメラ２１の像高特性とに基づくカメラ２１に対応する第１の特定領域Ｓ１の光軸Ｘに対する傾斜角度θ１と、第１の画像領域Ｇ１の画素情報に基づいて第１の特定領域Ｓ１に対応するナンバープレートＮの例えば４つ角のうちの一角部に対する道路Ｒからの高さｈとを算出し、カメラ２１と道路Ｒからの距離Ｈ１に基づいてカメラ２１に対する検出対象Ｃの位置に関連する情報を算出する（第２の測距）。
　上述した第１の測距についての算出方法について説明する。
　第１の測距は、上述した第２の測距と、ミラー２２を介して撮影される第２の画像情報に基づく測距情報とに基づいてミラー２２に対する検出対象Ｃの位置に関連する情報を算出する。
　上記測距情報は、ミラー２２に対する検出対象Ｃの位置に関連する情報を算出する。ここで、第２の画像情報に基づいて、ミラー２２から第２の画像領域Ｇ２が撮影されたものとして、測距情報を算出する。つまり図６、１３に示すように第２の特定領域Ｓ２の位置（像高）とカメラ２１の像高特性とに基づくミラー２２に対応する第２の特定領域Ｓ２の光軸Ｘ'（光軸Ｘと平行）に対する傾斜角度θ２を算出し、第２の画像領域Ｇ２の画素情報に基づいて第２の特定領域Ｓ２に対応するナンバープレートＮの例えば４つ角のうちの一角部に対する道路Ｒからの高さｈとを算出し、ミラー２２と道路Ｒからの距離Ｈ２に基づいてミラー２２に対する検出対象Ｃの位置に関連する情報を算出する。
　また第１の特定領域Ｓ１に汚れが検出されず、第２の特定領域Ｓ２に汚れが検出された場合（不図示）、測距部１５は、第１の特定領域Ｓ１を用いて上述のようにカメラ２１に対する検出対象Ｃの位置に関連する情報を算出する（第２の測距）。
　上述した第２の測距で測定されたカメラ２１に対する検出対象Ｃの相対距離Ｌ１は、以下のように算出される。
　Ｌ１＝（Ｈ１－ｈ）・ｔａｎθ１
　また第２の画像情報に基づく測距情報に基づくミラー２２に対する検出対象Ｃの相対距離Ｌ２は、以下のように算出される。
　Ｌ２＝（Ｈ２－ｈ）・ｔａｎθ２
　測距部１５は、上述した相対距離Ｌ１、Ｌ２に基づいて、カメラ２１に対する検出対象Ｃの位置に関連する情報を算出する。例えば、算出した相対距離Ｌ１、Ｌ２のうち、カメラ２１に近い距離の数値をカメラ２１に対する検出対象Ｃの相対距離として算出してもよいし、相対距離Ｌ１、Ｌ２の平均をカメラ２１に対する検出対象Ｃの相対距離と算出してもよい。
　上述した位置に関する情報は、例えば相対距離であるが、これに限られず、例えば時系列順に撮像した撮像画像を用いた相対速度であってもよい。
　図７は、第１の画像領域Ｇ１の補完を説明した図であり、（Ａ）は、汚れＤが検出された第１の画像領域Ｇ１の図、（Ｂ）は、第２の画像領域Ｇ２のうち（Ａ）の汚れ部分である第１の画素領域Ｃ１２に対応する第２の画素領域Ｃ２２の図、（Ｃ）は、第２の画素領域Ｃ２２の画素情報を補完した表示用画像Ｇ３の図である。
　図７（Ａ）、（Ｂ）に示すように、抽出部１６は、カメラ２１のレンズに汚れＤを検出した場合、第１の画素領域Ｃ１２の反射像に対応する第２の画素領域Ｃ２２を抽出する。
　ここで、図５、６に示されるようにカメラ２１で撮影された第１の画像領域Ｇ１と第２の画像領域Ｇ２とは光軸の違いで見え方が異なる。このため、抽出部１６は、第２の画素領域Ｃ２２を抽出するためにカメラ２１の光軸を変換する処理を行う必要がある。カメラ２１の光軸を変換する方法は特に限定されず、種々の方式が採用可能である。例えば、第２の画像情報を光路Ｌ１に垂直な平面に射影することで、視点変換された画像を生成することができる。これにより、抽出部１６は、第１の画素領域Ｃ１２の反射像に対応する第２の画素領域Ｃ２２を抽出することができる。
　図７（Ａ）に示すように第１の画像領域Ｇ１の検出対象Ｃ１上に汚れＤがある場合、このままでは汚れＤを含む撮影画像Ｇが表示部３０に表示されることとなり、ユーザにとって検出対象Ｃとの距離感をつかむことが難しい。そこで、補完部１７は、第１の画像領域Ｇ１の検出対象Ｃ１上に汚れＤが検出された場合、汚れＤの位置に相当する第１の画素領域Ｃ１２の画素情報を抽出部１６によって抽出した第２の画素領域Ｃ２２の画素情報で第１の画素領域Ｃ１２を補完した表示用画像Ｇ３を生成する。
　本実施形態では図７（Ａ）～（Ｃ）に示されるように、抽出部１６は、第２の画像領域Ｇ２内の第２の画素領域Ｃ２２を抽出し、補完部１７は、第１の画素領域Ｃ１２の画素情報を第２の画素領域Ｃ２２の画素情報に置き換える。つまり、本実施形態において、第１の画素領域Ｃ１２は、例えば泥汚れ特有の画素値を有しているとする。その泥汚れ特有の画素値を第２の画素領域Ｃ２２の画素値に置き換える処理を行う。そして第１の画素領域Ｃ１２を補完した補完画像領域Ｃ３を含む表示用画像Ｇ３を生成する。
　本実施形態では、補完部１７によって補完される第１の画素領域Ｃ１２は検出対象Ｃ１と重なる領域に存在しているがこれに限られない。例えば、道路部分にのみ第１の画素領域Ｃ１２が検出されていても補完処理が行われる。これにより、自動車１と検出対象Ｃとの間の道路部分に汚れが存在することで、ユーザにとって両者の距離感がつかみにくくなることを抑制する。
　記憶部１８は、ハードディスク、半導体メモリ等の記憶装置で構成される。記憶部１８は、画像処理装置１０に上述した各種機能を実行させるためのプログラムや演算パラメータ、さらに、検出部１３における物体検出処理や汚れ検出部１４における汚れ検出処理の際に参照される学習モデルが格納される。記憶部１８は、画像処理装置１０に内蔵される場合に限られず、画像処理装置１０とは別体の記憶装置であってもよいし、ネットワークを介して制御装置１０と接続可能なクラウドサーバ等であってもよい。
　本実施形態の学習モデルにおけるモデルは、例えば、ミラー２２を介さずに撮像された第１の画像領域Ｇ１には人や自動車などの物体であり、ミラー２２に映り込んだ検出対象を含む第２の画像領域Ｇ２には第１の画像領域Ｇ１とは上下反転し、ミラー２２の設置角度によってゆがんだ状態の物体である。
　ここで、上述したように本実施形態において用いられる汚れとは、カメラ２１のレンズに付着した汚れである。例えば第１の画像領域Ｇ１の汚れとは、第１の画像領域Ｇ１に対応するカメラ２１のレンズの汚れである。
［処理手順］
（測距フロー）
　続いて、以上のように構成される画像処理装置１０の上述した測距を行う手順について説明する。図８は、画像処理装置１０において実行される測距処理の手順の一例を示すフローチャートである。
　取得部１１はカメラ２１の撮影画像を取得する（ステップ１０１）。
　カメラ２１の撮影画像は例えば図５（Ａ）、図６（Ａ）に示されるような検出対象Ｃ１を含む第１の画像領域Ｇ１とミラー２２に映り込んだ検出対象Ｃ２を含む第２の画像領域Ｇ２とを含む撮影画像Ｇである。
　続いて、前処理部１２は、図５（Ａ）、図６（Ａ）に示されるように撮影画像Ｇから第１の画像領域Ｇ１と第２の画像領域Ｇ２とを抽出する（ステップ１０２）。
　続いて、検出部１３は、第１の画像領域Ｇ１および第２の画像領域Ｇ２のそれぞれから、第１の特定領域Ｓ１および第２の特定領域Ｓ２の検出処理を実行する（ステップ１０３）。
　特定領域の検出処理は、撮影画像（第１の画像領域Ｇ１および第２の画像領域Ｇ２）における検出対象の存在の有無、物体が存在する場合はその種別および位置をそれぞれ検出し、その検出対象の種別ごとに予め設定された特定領域を抽出する。
　続いて、第１の特定領域Ｓ１に第１の画素領域Ｃ１２があるかどうかを検出する（ステップ１０４）。そこで第１の特定領域Ｓ１に第１の画素領域Ｃ１２が検出されない場合、ステップ１０５へ進む。本実施形態では、図６に示されるように、ナンバープレートＮの画像領域に汚れＤがあるかどうかを検出する。
　ステップ１０５では、汚れ検出部１４は、第２の特定領域Ｓ２に第２の画素領域Ｃ２２があるかどうかを検出する。第２の特定領域Ｓ２にも汚れが検出されなかった場合、カメラ２１（自動車１）に対する検出対象Ｃの距離を上述した第１の測距に基づいて測定する（ステップ１０６）。
　第１の特定領域Ｓ１に第１の画素領域Ｃ１２が検出された場合、また第２の特定領域Ｓ２に第２の画素領域Ｃ２２が検出された場合、カメラ２１（自動車１）と検出対象Ｃの距離を上述した第２の測距に基づいて測定する（ステップ１０７）。
　第１の測距または第２の測距に基づいてカメラ２１に対する検出対象の距離の測定が行われた後、その測定結果が表示部３０へ表示される。本フローチャートは例えば、自動車１の後退時に後続車との距離を測定する場合に実施されてもよいし、これに限らず、常時実施されていてもよい。もちろん表示部３０への表示に限られず、スピーカを通してユーザに伝達してもよい。またユーザに出力する目的に限られず、例えば自動運転システムの車間距離を制御するための情報として用いられてもよい。
（補完フロー）
　続いて、画像処理装置１０の上述した補完を行う手順について説明する。図９は、画像処理装置１０において実行される補完処理の手順の一例を示すフローチャートである。
　ステップ１１１～ステップ１１３までは、上述した測距フローのステップ１０１～１０３と同様の処理を行う。
　ステップ１１４では、汚れ検出部１４が第１の画像領域Ｇ１の画像情報である第１の画像情報の少なくとも一部にあらかじめ設定された特定パターンに対応する第１の画素領域Ｃ１２の有無を判定する。第１の画素領域Ｃ１２がある場合、ステップ１１５へ進む。
　ステップ１１５では、図７（Ｂ）に示されるように、抽出部１６は、第１の画素領域Ｃ１２の反射像に対応する第２の画像情報の第２の画素領域Ｃ２２を抽出する。
　続いて、補完部１７が図７（Ｃ）に示すように第２の画素領域Ｃ２２の画素情報に基づいて、第２の画素領域Ｃ２２の画素情報で第１の画素領域Ｃ１２を補完した表示用画像Ｇ３を生成する（ステップ１１６）。
　補完された表示用画像Ｇ３は表示部３０へ送信され、ユーザに提供される。本フローチャートは例えば、自動車１の後退時に後続車との距離を測定する場合に実施されてもよいし、これに限らず、常時実施されていてもよい。
　本実施形態において、単眼カメラであってもミラー２２を介して撮影される画像を用いることで、測距を行うことができるため、測距性能を向上させることができる。また、ミラー２２をカメラ２１の撮影領域の下方に設けることで、カメラ２１の撮像領域を有効活用することができる。とくにカメラ２１の撮像領域内の自動車１の車体が映り込む位置にミラー２２を配置することで、カメラ２１の撮影領域を無駄なく利用することができる。
　これにより、単眼カメラであっても自動車の後退時に後続車との車間距離を精度よく認識可能であるため、ユーザに後続車との車間距離を伝えるだけでなく、例えば、自動運転システムにおける自動ブレーキシステムにも活用することができる。また前進中に後続車との車間距離が非常に近い状態が続く場合であれば、後続車があおり運転している等を判断して警察に通報するようにしてもよい。
　また、カメラ２１のレンズ部分に水滴や泥などの汚れが付着しても単眼カメラであれば、その汚れを補完することが困難であり、汚れが付着したままの画像をユーザに提供することとなる。そのため、ユーザは、後続車やその距離感を認識することが困難であった。そこで、本実施形態では、ミラー２２に映り込んだ検出対象を含む第２の画像領域Ｇ２の第２の画素領域Ｃ２２を用いて第１の画像領域Ｇ１内の汚れが検出された部分を補完することができるため、ユーザは、後続車やその距離感を認識することが可能となる。
　つまり、単眼カメラであってもミラー２２に映り込んだ検出対象の画像情報を用いることで、物体認識機能やそれに伴う車両制御を正確に機能させることができる。
＜第２の実施形態＞
　続いて、本技術の第２の実施形態について説明する。以下、第１の実施形態と異なる構成について、主に説明し、第１の実施形態と同様の構成については同様の符号を付し、その説明を省略又は簡略化する。
　図１０は、本技術の第２の実施形態に係る画像処理システム２００の構成を示すブロック図であり、図１１は、画像処理システム２００の構成を示す図である。また図１２は、シャッタータイミングＸと発光タイミングＹを示す図である。
　本実施形態に係るカメラユニット２０Ａは、ミラー２２がハーフミラー２３に代えて設置され、ハーフミラー２３の車両側に、コンテンツ表示部２４が設置されている点で第１の実施形態と異なる。また制御部１１０Ａが、コンテンツ表示部２４が表示するコンテンツをカメラ２１の非露光期間に周期的に点滅表示させる表示制御部１９を有する点でも第１の実施形態とは異なる。コンテンツ表示部２４は、典型的にはＬＥＤディスプレイであるが、これに限られず、液晶ディスプレイや有機ＥＬディスプレイ等その種類は問わない。
　図１１に示されるように、ハーフミラー２３は、検出対象Ｃからくる検出対象光Ｌ２をカメラ２１のレンズへ反射させる一方の面と、自動車１の後方へコンテンツ表示部２４のコンテンツ光Ｌ３を透過させる他方の面とを有する光学素子である。
　本実施形態において、コンテンツ表示部２４とは、予め設定されたコンテンツを自動車後方へ表示するためのモニターであり、コンテンツとは、例えば、静止画、動画、色彩情報または文字情報である。
　これにより、後続車へメッセージ等を表示可能に構成されるため、例えば、後続車へ「バック中」などの注意を促すことができる。
　また、図１２に示されるように、カメラ２１のシャッタータイミングＸは、露光期間Ｘ１と非露光期間Ｘ２とをふくみ、発光タイミングＹは、発光期間Ｙ１と非発光期間Ｙ２とを含む。カメラ２１の露光期間Ｘ１の間は、コンテンツ表示部２４が非発光期間Ｙ２であり、カメラ２１の非露光期間Ｘ２の間は、コンテンツ表示部２４が発光期間Ｙ１である。カメラ２１が検出対象Ｃを撮像する際のフレームレートは、任意に設定でき、例えば３０ｆｐｓである。
　上述のように表示制御部１９がコンテンツ表示部２４の発光タイミングＹとカメラ２１のシャッタータイミングＸをずらすことでハーフミラー２３に映り込んだ検出対象Ｃの画像情報を容易に取り込むことができる。
　また本実施形態において、ハーフミラー２３とコンテンツ表示部２４とを別体で構成したが、反射面と、コンテンツを表示する機能とを有する一体物の反射体であってもよい。この場合、検出対象Ｃとコンテンツが映り込んだ画像情報が取得部１１に取得されるが、抽出部１６で抽出する際に、コンテンツが映り込んだ領域に関して機械学習により除去後、補完処理を行ってもよい。
　本実施形態において、ハーフミラーを用いたがこれに限らず、例えば、ビームスプリッタであってもよい。
（適用例１）
　以上の実施形態では、移動体として、自動車１への適用例について説明したが、これに限られず、例えば、ドローンなどの飛行体であってもよい。
　ドローンに本技術を適用した場合、検出部１３に基づいて飛行中に、例えばビルなどの建物や鳥などの生物といった検出対象を検出し、測距部１５によって検出対象が一定の距離以下になるとドローンの飛行制御信号を送信可能に構成してもよい。その制御信号によって検出対象を避けて飛行するように制御することや、ドローンによって、荷物を運ぶ際に、その荷物とその荷物置き場（例えば玄関）との距離を測定し、荷物に衝撃を与えないように置くことができる。
　以上の実施形態では、自動車、ドローンへの適用例について説明したが、これに限られず、その他移動体、人、電柱などの物体であっても本技術を採用することは可能である。
　なお、本技術は以下のような構成も採ることができる。
（１）　撮像部によって撮影された、検出対象と前記検出対象が映り込んだ反射体とを含む撮影画像を取得する取得部と、前記撮影画像内の前記検出対象を含む第１の画像領域の画像情報である第１の画像情報と、前記撮影画像内の前記反射体を含む第２の画像領域の画像情報である第２の画像情報との少なくとも一方に基づいて、前記撮像部に対する前記検出対象の位置に関連する情報を算出する制御部と
　を具備する画像処理装置。
（２）上記（１）に記載の画像処理装置であって、
　前記制御部は、前記第１の画像領域のうち予め設定された第１の特定領域と、前記第２の画像領域のうち前記第１の特定領域の反射像に対応する第２の特定領域とを抽出する
　画像処理装置。
（３）上記（２）に記載の制御装置であって、
　前記第１の画像情報は、前記第１の画像領域のうち予め設定された第１の特定領域の画像情報であり、
　前記第２の画像情報は、前記第２の画像領域のうち前記第１の特定領域の反射像に対応する第２の特定領域の画像情報である
　画像処理装置。
（４）上記（１）～（３）のいずれか１つに記載の制御装置であって、
　前記検出対象の位置に関連する情報は、前記撮像部に対する前記検出対象の相対距離である
　画像処理装置。
（５）上記（１）に記載の制御装置であって、
　前記制御部は、前記第１の画像情報の少なくとも一部に、予め設定された特定パターンに対応する第１の画素領域の有無を判定し、その判定結果に基づき前記撮像部の受光部の汚れを検出する
　画像処理装置。
（６）上記（５）に記載の制御装置であって、
　前記制御部は、前記受光部の汚れを検出した場合、前記第１の画素領域の反射像に対応する前記第２の画像情報の第２の画素領域を抽出し、前記第２の画素領域の画素情報に基づいて、前記第２の画素領域の画素情報で前記第１の画素領域を補完した表示用画像を生成する
　画像処理装置。
（７）上記（５）又は（６）に記載の制御装置であって、
　前記制御部は、前記受光部の汚れを検出した場合、前記第２の画像情報に基づいて前記撮像部に対する前記検出対象の位置に関連する情報を算出する
　画像処理装置。
（８）　撮像部によって撮影された、検出対象と前記検出対象が映り込んだ反射体とを含む撮影画像を取得し、
　前記撮影画像内の前記検出対象を含む第１の画像領域の画像情報である第１の画像情報と、前記撮影画像内の前記反射体を含む第２の画像領域の画像情報である第２の画像情報との少なくとも一方に基づいて、前記撮像部に対する前記検出対象の位置に関連する情報を算出する
　画像処理方法。
（９）　撮像部と、
　反射体と、
　前記撮像部によって撮影された、検出対象と前記検出対象が映り込んだ前記反射体とを含む撮影画像を取得する取得部と、前記撮影画像内の前記検出対象を含む第１の画像領域の画像情報である第１の画像情報と、前記撮影画像内の前記反射体を含む第２の画像領域の画像情報である第２の画像情報との少なくとも一方に基づいて、前記撮像部に対する前記検出対象の位置に関連する情報を算出する制御部とを有する画像処理装置と
　を具備する画像処理システム。
（１０）上記（９）に記載の画像表示システムであって、
　前記反射体は、予め設定されたコンテンツを表示するコンテンツ表示部を有する
　画像処理システム。
（１１）上記（１０）に記載の画像表示システムであって、
　前記制御部は、前記コンテンツ表示部が表示する前記コンテンツを前記撮像部の非露光期間に周期的に点滅表示させる
　画像処理システム。
（１２）上記（１０）又は（１１）に記載の画像表示システムであって、
　前記反射体は、前記検出対象の検出対象光を前記撮像部の受光部へ反射させ、前記コンテンツ表示部のコンテンツ光を透過させる光学素子である
　画像処理システム。
（１３）上記（１０）～（１２）のいずれか１つに記載の画像表示システムであって、
　前記コンテンツは、静止画、動画、色彩情報または文字情報を含む
　画像処理システム。
（１４）上記（９）～（１３）のいずれか１つに記載の画像表示システムであって、
　前記撮像部は、車体の周囲の少なくとも一部を撮像する車載カメラであり、
　前記反射体は、前記撮像部の下方に設けられる
　画像処理システム。
　１…自動車
　１０…画像処理装置
　１１…取得部
　１２…前処理部
　１３…検出部
　１４…汚れ検出部
　１５…測距部
　１６…抽出部
　１７…補完部
　１８…記憶部
　２０…カメラユニット
　２１…カメラ
　２２…ミラー
　３０…表示部
　１００…画像処理システム
　Ｇ１…第１の画像領域
　Ｇ２…第２の画像領域
　Ｇ３…表示用画像

Claims (14)

  1. 　撮像部によって撮影された、検出対象と前記検出対象が映り込んだ反射体とを含む撮影画像を取得する取得部と、
    　前記撮影画像内の前記検出対象を含む第１の画像領域の画像情報である第１の画像情報と、前記撮影画像内の前記反射体を含む第２の画像領域の画像情報である第２の画像情報との少なくとも一方に基づいて、前記撮像部に対する前記検出対象の位置に関連する情報を算出する制御部と
    　を具備する画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記制御部は、前記第１の画像領域のうち予め設定された第１の特定領域と、前記第２の画像領域のうち前記第１の特定領域の反射像に対応する第２の特定領域とを抽出する
    　画像処理装置。
  3. 　請求項２に記載の画像処理装置であって、
    　前記第１の画像情報は、前記第１の画像領域のうち予め設定された第１の特定領域の画像情報であり、
    　前記第２の画像情報は、前記第２の画像領域のうち前記第１の特定領域の反射像に対応する第２の特定領域の画像情報である
    　画像処理装置。
  4. 　請求項３に記載の画像処理装置であって、
    　前記検出対象の位置に関連する情報は、前記撮像部に対する前記検出対象の相対距離である
    　画像処理装置。
  5. 　請求項１に記載の画像処理装置であって、
    　前記制御部は、前記第１の画像情報の少なくとも一部に、予め設定された特定パターンに対応する第１の画素領域の有無を判定し、その判定結果に基づき前記撮像部の受光部の汚れを検出する
    　画像処理装置。
  6. 　請求項５に記載の画像処理装置であって、
    　前記制御部は、前記受光部の汚れを検出した場合、前記第１の画素領域の反射像に対応する前記第２の画像情報の第２の画素領域を抽出し、前記第２の画素領域の画素情報に基づいて、前記第２の画素領域の画素情報で前記第１の画素領域を補完した表示用画像を生成する
    　画像処理装置。
  7. 　請求項５に記載の画像処理装置であって、
    　前記制御部は、前記受光部の汚れを検出した場合、前記第２の画像情報に基づいて前記撮像部に対する前記検出対象の位置に関連する情報を算出する
    　画像処理装置。
  8. 　撮像部によって撮影された、検出対象と前記検出対象が映り込んだ反射体とを含む撮影画像を取得し、
    　前記撮影画像内の前記検出対象を含む第１の画像領域の画像情報である第１の画像情報と、前記撮影画像内の前記反射体を含む第２の画像領域の画像情報である第２の画像情報との少なくとも一方に基づいて、前記撮像部に対する前記検出対象の位置に関連する情報を算出する
    　画像処理方法。
  9. 　撮像部と、
    　反射体と、
    　前記撮像部によって撮影された、検出対象と前記検出対象が映り込んだ前記反射体とを含む撮影画像を取得する取得部と、前記撮影画像内の前記検出対象を含む第１の画像領域の画像情報である第１の画像情報と、前記撮影画像内の前記反射体を含む第２の画像領域の画像情報である第２の画像情報との少なくとも一方に基づいて、前記撮像部に対する前記検出対象の位置に関連する情報を算出する制御部とを有する画像処理装置と
    　を具備する画像処理システム。
  10. 　請求項９に記載の画像処理システムであって、
    　前記反射体は、予め設定されたコンテンツを表示するコンテンツ表示部を有する
    　画像処理システム。
  11. 　請求項１０に記載の画像処理システムであって、
    　前記制御部は、前記コンテンツ表示部が表示する前記コンテンツを前記撮像部の非露光期間に周期的に点滅表示させる
    　画像処理システム。
  12. 　請求項１０に記載の画像処理システムであって、
    　前記反射体は、前記検出対象の検出対象光を前記撮像部の受光部へ反射させ、前記コンテンツ表示部のコンテンツ光を透過させる光学素子である
    　画像処理システム。
  13. 　請求項１０に記載の画像処理システムであって、
    　前記コンテンツは、静止画、動画、色彩情報または文字情報を含む
    　画像処理システム。
  14. 　請求項９に記載の画像処理システムであって、
    　前記撮像部は、車体の周囲の少なくとも一部を撮影する車載カメラであり、
    　前記反射体は、前記撮像部の下方に設けられる
    　画像処理システム。
PCT/JP2022/043653 2022-01-12 2022-11-28 画像処理装置、画像処理方法および画像処理システム WO2023135952A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-003001 2022-01-12
JP2022003001A JP2023102489A (ja) 2022-01-12 2022-01-12 画像処理装置、画像処理方法および画像処理システム

Publications (1)

Publication Number Publication Date
WO2023135952A1 true WO2023135952A1 (ja) 2023-07-20

Family

ID=87278842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/043653 WO2023135952A1 (ja) 2022-01-12 2022-11-28 画像処理装置、画像処理方法および画像処理システム

Country Status (2)

Country Link
JP (1) JP2023102489A (ja)
WO (1) WO2023135952A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008193A (ja) * 1999-06-24 2001-01-12 Secom Co Ltd 画像センサ
JP2016032978A (ja) * 2014-07-31 2016-03-10 株式会社小糸製作所 車体周り撮影装置
JP2018098745A (ja) * 2016-12-16 2018-06-21 株式会社富士通ゼネラル 車載カメラシステム
JP2020111249A (ja) * 2019-01-15 2020-07-27 クラリオン株式会社 車載装置、及び車載システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008193A (ja) * 1999-06-24 2001-01-12 Secom Co Ltd 画像センサ
JP2016032978A (ja) * 2014-07-31 2016-03-10 株式会社小糸製作所 車体周り撮影装置
JP2018098745A (ja) * 2016-12-16 2018-06-21 株式会社富士通ゼネラル 車載カメラシステム
JP2020111249A (ja) * 2019-01-15 2020-07-27 クラリオン株式会社 車載装置、及び車載システム

Also Published As

Publication number Publication date
JP2023102489A (ja) 2023-07-25

Similar Documents

Publication Publication Date Title
US11836989B2 (en) Vehicular vision system that determines distance to an object
US11305691B2 (en) Vehicular vision system
JP5421072B2 (ja) 接近物体検知システム
JP4970516B2 (ja) 周囲確認支援装置
US11610410B2 (en) Vehicular vision system with object detection
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
US10268904B2 (en) Vehicle vision system with object and lane fusion
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
US20210358304A1 (en) Vehicle vision system with cross traffic detection
WO2011078199A1 (en) Object identifying apparatus, moving body control apparatus, and information providing apparatus
CN115803656A (zh) 用于测量对象与光学传感器之间的距离的方法、用于执行这种方法的控制装置、具有这种控制装置的测距装置和具有这种测距装置的机动车
JP6032034B2 (ja) 物体検知装置
TWI533694B (zh) 車用障礙物偵測顯示系統
CN116648734A (zh) 下雨、光线入射和脏污时环视摄像系统图像的修正
JP2012198857A (ja) 接近物体検知装置及び接近物体検知方法
TW201420398A (zh) 行車安全監控系統及方法
WO2023135952A1 (ja) 画像処理装置、画像処理方法および画像処理システム
WO2013062401A1 (en) A machine vision based obstacle detection system and a method thereof
CN111231830A (zh) 移动载具全周障碍回避的方法
CN111169380A (zh) 一种车载视觉辅助系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22920472

Country of ref document: EP

Kind code of ref document: A1