WO2014103272A1 - カメラシステム、カメラモジュールおよびカメラ制御方法 - Google Patents

カメラシステム、カメラモジュールおよびカメラ制御方法 Download PDF

Info

Publication number
WO2014103272A1
WO2014103272A1 PCT/JP2013/007510 JP2013007510W WO2014103272A1 WO 2014103272 A1 WO2014103272 A1 WO 2014103272A1 JP 2013007510 W JP2013007510 W JP 2013007510W WO 2014103272 A1 WO2014103272 A1 WO 2014103272A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
vehicle
image
unit
modules
Prior art date
Application number
PCT/JP2013/007510
Other languages
English (en)
French (fr)
Inventor
圭俊 中田
瑞己 鈴村
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP13867217.5A priority Critical patent/EP2939877B1/en
Priority to US14/655,028 priority patent/US10242254B2/en
Publication of WO2014103272A1 publication Critical patent/WO2014103272A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to a camera system, a camera module, and a camera control method, and more specifically, a plurality of camera images captured by a plurality of camera modules are combined into a vehicle peripheral image, and this is used as a display provided on the vehicle. It relates to what is output to the display means.
  • a vehicle peripheral image is generated by combining camera images captured by a plurality of camera modules attached to the front, rear, left, and right of an automobile, and this is displayed on a display means such as a display installed in a vehicle interior to display the entire circumference of the vehicle.
  • a camera system in which the direction can be visually recognized on one screen.
  • a camera system there is also known one that displays a vehicle peripheral image as a bird's-eye view image by subjecting each camera image to viewpoint conversion processing (for example, Patent Document 1).
  • a control device of a vehicle-side display for example, a navigation system
  • the control device combines the camera images, performs an overhead view process, Object recognition processing and marker addition processing to the recognition object are performed. Therefore, in order to construct such a camera system, a high-level processing capability is required for the display control device on the vehicle side, and the system becomes expensive or a system with low versatility.
  • each camera module is provided with a function for performing a bird's eye view of the captured camera image, a function for detecting a recognized object from the camera image by object recognition processing, and a function for attaching a marker to the recognized object of the camera image.
  • a function for performing a bird's eye view of the captured camera image a function for detecting a recognized object from the camera image by object recognition processing, and a function for attaching a marker to the recognized object of the camera image.
  • An object of the present invention made in view of such circumstances is to provide an inexpensive camera system that facilitates display associated with object recognition even when an image is displayed on a display that does not have a high processing capability. There is.
  • a camera system of the present invention includes a plurality of camera modules that capture images of the periphery of a vehicle, outputs each camera image captured by the plurality of camera modules, and displays the images in the vehicle.
  • the camera system displays a vehicle peripheral image obtained by synthesizing each image
  • the plurality of camera modules each include an object recognition unit that performs object recognition processing from a camera image captured by the camera module, and a vehicle provided in the vehicle
  • a communication unit that performs communication via a network, wherein each of the communication units outputs coordinate information of a recognized object recognized by the object recognition unit to the vehicle network.
  • At least one of the plurality of camera modules acquires coordinate information of the recognition object from another camera module via the vehicle network, and uses the acquired coordinate information to It is preferable to attach a marker for the recognized object in the vehicle periphery image.
  • At least one of the plurality of camera modules uses one of the camera images when the recognition object is located in both of a pair of adjacent camera images. It is preferable to generate a continuous marker that straddles both the camera image and the other camera image.
  • At least one of the plurality of camera modules changes at least one of the position, size, and shape of the marker.
  • each of the plurality of camera modules has a control unit, and any one of the control units serves as a main control unit, and the vehicle surrounding image using the coordinate information is displayed. It is preferable to perform a marker addition process.
  • the main control unit controls the other control units provided in each of the plurality of camera modules via the vehicle network.
  • identification information is assigned to each of the plurality of camera modules by the processing unit of the vehicle connected via the vehicle network, and the main control unit determines according to the identification information. Preferably it is done.
  • the identification information is assigned in accordance with a negotiation protocol in the vehicle network standard.
  • the camera image is a bird's-eye view image obtained by performing viewpoint conversion on the image captured by the imaging unit.
  • the camera module of the present invention is a camera used in a camera system that synthesizes camera images captured by a plurality of camera modules and displays them as a vehicle peripheral image on display means in the vehicle.
  • An imaging unit that images the periphery of the vehicle, an object recognition unit that performs object recognition processing from an image captured by the imaging unit, and a communication unit that performs communication via a vehicle network provided in the vehicle.
  • the communication unit outputs coordinate information of a recognized object recognized by the object recognition unit to the vehicle network.
  • the camera control method of the present invention is a camera control method for combining the respective camera images picked up by a plurality of camera modules and displaying them as a vehicle peripheral image on the display means in the vehicle.
  • a recognition step in which the camera module recognizes a recognition object from a camera image captured by the camera module by object recognition processing, and coordinate information of the recognition object recognized in the recognition step by the camera module is provided in the vehicle. Output to the vehicle network.
  • a camera system that facilitates display associated with object recognition even when displaying an image on a display that does not have a high processing capability is inexpensive. Can be provided.
  • FIG. 1 It is a figure which shows schematic structure of the vehicle provided with the camera system which concerns on one Embodiment of this invention. It is a block diagram which shows the structural example of the camera system which concerns on one Embodiment of this invention. It is a block diagram which shows the structural example of the front camera module and side camera module which are shown in FIG. It is a block diagram which shows the structural example of the rear camera module shown in FIG. It is a figure which shows an example of the vehicle periphery image displayed on a display means. It is a figure which shows an example of the state in which the recognition object in the vehicle periphery image displayed on the display means was located in the boundary of the mutually adjacent camera image.
  • a camera system 1 according to an embodiment of the present invention is provided in a vehicle 2 such as an automobile.
  • the camera system 1 includes four camera modules 3 to 6 attached to the front, rear, left and right of the vehicle 2 and display means 7 installed in the passenger compartment.
  • the front camera module 3 attached to the front end of the vehicle 2 includes a lens unit 3a, an imaging unit 3b, a viewpoint conversion image generation unit 3c, an output unit 3d, a power supply unit 3e, a control unit 3f, and a communication unit. 3g and a storage unit 3h are provided.
  • the side camera module 4 attached to the right side of the vehicle 2 and the side camera module 5 attached to the left side of the vehicle 2 are respectively a lens unit 4a, 5a, an imaging unit 4b, 5b, a viewpoint conversion image generation unit 4c, 5c, output units 4d and 5d, power supply units 4e and 5e, control units 4f and 5f, communication units 4g and 5g, and storage units 4h and 5h. Since the front camera module 3 and both side camera modules 4 and 5 have basically the same configuration, in FIG. 3, each part constituting the camera modules 3 to 5 corresponds to each camera module 3 to 5.
  • symbol is attached
  • the rear camera module 6 attached to the rear end of the vehicle 2 includes a lens unit 6a, an imaging unit 6b, a viewpoint conversion image generation unit 6c, an output unit 6d, a power supply unit 6e, a control unit 6f, A communication unit 6g and a storage unit 6h are provided, and an image composition unit 6i is provided.
  • the image composition unit 6i is a software process that operates on the control unit 6f, and should be described in the control unit 6f like the object recognition units 3j to 6j. Will be described.
  • the image composition unit is described only in the rear camera module 6 and is not described in the front camera module 3 and the both side camera modules 4 and 5.
  • the image composition unit 6i may be provided equally in any camera module 3-6. That is, only the camera module recognized as the rear camera module 6 or the camera module recognized as the main control unit by the processing described later activates the software of the image composition unit, and the other camera modules are software of the image composition unit. If the camera module is configured to be inactivated, the configuration of each camera module can be made the same, leading to a reduction in the overall cost.
  • the power supply units 3e to 6e provided in each of the camera modules 3 to 6 are connected to an in-vehicle battery, and supply power to each unit such as the imaging units 3b to 6b and the control units 3f to 6f of the camera module 3 to 6.
  • the storage units 3h to 6h provided in the camera modules 3 to 6 respectively include imaging units 3b to 6b, viewpoint conversion image generation units 3c to 6c, control units 3f to 6f, and communication units 3g to 6g as necessary. Data necessary for such control can be stored.
  • Each of the camera modules 3 to 6 images the periphery of the vehicle using the lens units 3a to 6a and the imaging units 3b to 6b, respectively.
  • the front camera module 3 images the periphery of the front side of the vehicle 2 at a predetermined angle of view using the lens unit 3a and the imaging unit 3b.
  • the right side camera module 4 uses the lens unit 4a and the imaging unit 4b to image the periphery of the right side of the vehicle 2 at a predetermined angle of view
  • the left side camera module 5 includes the lens unit 5a and the imaging unit 5b.
  • the left side of the vehicle 2 is imaged at a predetermined angle of view.
  • the rear camera module 6 images the periphery of the vehicle 2 in the backward direction with a predetermined angle of view using the lens unit 6a and the imaging unit 6b.
  • imaging units 3b to 6b for example, image sensors such as CMOS and CCD are used.
  • lens portions 3a to 6a lenses having a wide angle of view such as fish-eye lenses are used.
  • the imaging units 3b to 6b of the camera modules 3 to 6 are respectively connected to the viewpoint converted image generating units 3c to 6c, and the images captured by the imaging units 3b to 6b are viewpoint converted images.
  • the data is taken into the generation units 3c to 6c.
  • the viewpoint-converted image generating units 3c to 6c adjust the distortion of the images captured from the image capturing units 3b to 6b, and generate overhead images in which the viewpoints of the images are converted.
  • the front camera module 3 is connected to the rear camera module 6.
  • the bird's-eye view image generated by the front camera module 3 is output from the output unit 3d as a camera image captured by the camera module 3, and input to the image composition unit 6i provided in the rear camera module 6.
  • both side camera modules 4 and 5 are connected to the rear camera module 6.
  • the bird's-eye view images generated by the two side camera modules 4 and 5 are output from the output units 4d and 5d as camera images captured by the camera modules 4 and 5, respectively, and are output to the image composition unit 6i provided in the rear camera module 6. Entered.
  • the image composition unit 6i includes an overhead image (camera image) generated by the viewpoint conversion image generation unit 6c of the rear camera module 6 and three overhead images (camera images) input from the other camera modules 3 to 5.
  • the camera modules 3 to 6 are combined in an arrangement corresponding to the mounting position of the camera modules 3 to 6 on the vehicle 2 to generate a vehicle periphery image.
  • the rear camera module 6 is connected to the display means 7.
  • the output unit 6 d of the rear camera module 6 converts the vehicle surrounding image synthesized by the image synthesis unit 6 i into a format (for example, NTSC) adapted to the display unit 7 and outputs the converted image to the display unit 7.
  • the display means 7 displays the vehicle periphery image input from the rear camera module 6 on the screen 7a. That is, the vehicle model 8 is displayed at the center of the screen 7a of the display means 7, and a camera image (overhead image) captured by the front camera module 3 is displayed in the upper divided range 7a1 around the vehicle model 8. . Further, camera images (overhead images) captured by the side camera modules 4 and 5 are displayed in the divided range 7a2 on the right side of the screen and the divided range 7a3 on the left side of the screen of the display unit 7, respectively. Further, a camera image (overhead image) captured by the rear camera module 6 is displayed in the divided range 7a4 on the lower side of the screen of the display means 7.
  • a display device such as a liquid crystal display or an organic EL display can be used.
  • each of the camera modules 3 to 6 is connected to a vehicle network (in-vehicle LAN) 9 provided in the vehicle 2.
  • vehicle network 9 may be a bus line for a mobile machine using a protocol such as CAN (Controller Area Network), FlexRay, or LIN (Local Interconnect Network).
  • the camera modules 3 to 6 can perform communication via the vehicle network 9 by the communication units 3g to 6g, respectively. That is, the camera modules 3 to 6 can communicate with the other camera modules 3 to 6 via the vehicle network 9 by the communication units 3g to 6g, respectively.
  • a processing unit 10 of the vehicle 2 such as an engine control unit (ECU) and a shift position sensor is connected to the vehicle network 9, and each of the camera modules 3 to 6 communicates with each other.
  • the units 3g to 6g can communicate with the processing unit 10 via the vehicle network 9.
  • a CAN transceiver is used.
  • a communication device conforming to the protocol of the vehicle network 9 is used.
  • One of the functions is a function as the object recognition units 3j to 6j.
  • the object recognition units 3j to 6j perform object recognition processing from images captured by the imaging units 3b to 6b of their own camera modules 3 to 6. That is, the object recognition units 3j to 6j can recognize a predetermined object such as a pedestrian or a bicycle existing in the image by performing an object recognition process on the images captured by the imaging units 3b to 6b.
  • an object recognition technique such as pattern recognition can be used.
  • the control units 3f to 6f of the camera modules 3 to 6 recognize a predetermined object such as a pedestrian or a bicycle from images captured by the imaging units 3b to 6b of their own camera modules 3 to 6, respectively. Based on the coordinate information of the recognized object recognized by the object recognition units 3j to 6j, a marker for the recognized object is displayed on the image.
  • the markers can be attached to the images by the control units 3f to 6f by, for example, a technique of overlaying (superimposing and displaying) the marker images on the images captured by the imaging units 3b to 6b.
  • the camera modules 3 to 6 output the camera images with the markers attached to the output units 3d to 6d.
  • the coordinate information is the coordinates of the drawing recognized as a predetermined object, and each camera module 3 is considered in consideration of the distortion component that is taken through the fisheye lens (lens portions 3a to 6a).
  • the object recognizing units 3j to 6j calculate the coordinates in the images photographed in .about.6.
  • the vehicle peripheral image is synthesized with the camera images of the camera modules 3 to 6.
  • the vehicle peripheral image with the marker 13 attached to the object 12 is displayed.
  • the marker 13 is displayed as a rectangular dotted frame, but can be set to various shapes and sizes such as a rectangular shape and a circular shape according to the shape and size of the object 12, and a solid line or the like. It can also be represented by
  • each of the camera modules 3 to 6 transmits the coordinate information of the predetermined object 12 recognized from the images captured by the imaging units 3b to 6b to the vehicle network 9 by the communication units 3g to 6g.
  • the coordinate information can be shared among the camera modules 3 to 6 via the vehicle network 9.
  • the camera modules 3 to 6 that output one of the adjacent camera images acquire the coordinate information of the recognized object from the camera modules 3 to 6 that output the other camera image via the vehicle network 9.
  • a marker 13 that smoothly connects to the marker 13 displayed in the other camera image can be generated.
  • a predetermined boundary A is formed between the camera image of the front camera module 3 displayed in the divided range 7a1 and the camera image of the right side camera module 4 displayed in the divided range 7a2.
  • the marker 13 is displayed in the following procedure.
  • the coordinate information of the recognized object 12, that is, the recognized object 12 in the image is transmitted by the communication unit 3g. It is output to the vehicle network 9.
  • the coordinate information of the recognized object 12 in the image is transmitted by the communication unit 4g. It is output to the vehicle network 9.
  • the coordinate information of the recognition object 12 output by the communication units 3g and 4g for example, the size information is added to the coordinate information of the center position of the recognition object 12, and the recognition object 12 is enclosed. Information that can generate the marker 13 may be included.
  • each camera module 3 to 6 is assigned identification information such as an address by a processing unit 10 such as an ECU connected to the vehicle network 9 in accordance with a negotiation protocol in the standard of the vehicle network 9. . Based on this identification information, the relationship between the master and slave is set between the camera modules 3-6. For example, in the present embodiment, when the predetermined object 12 is located at the boundary A or the boundary B shown in FIG. 6, the front camera module 3 is set as the master as shown in FIG. , 5 are set as slaves. On the other hand, when the predetermined object 12 is located at the boundary C or the boundary D shown in FIG. 6, the rear camera module 6 is set as a master as shown in FIG. Each is set as a slave. Therefore, when the object 12 is located at the boundary A shown in FIG.
  • the front camera module 3 is set as a master, and the right side camera module 4 is set as a slave. Since the camera image of the front camera module 3 and the camera image of the rear camera module 6 do not have a boundary, a master / slave relationship is not set between these camera modules 3 and 6.
  • the side camera module 4 that is a slave transmits the camera image of the front camera module 3 to the front camera module 3 via the vehicle network 9.
  • the coordinate information of the recognition object 12 is acquired.
  • the control unit 4f of the side camera module 4 uses the coordinate information of the recognized object 12 acquired from the front camera module 3, that is, the coordinate information of the recognized object 12 in its own camera image and the camera image of the front camera module 3.
  • the marker 13 is generated by the front camera module 3 by changing at least one of the position, shape and size of the marker 13 generated by itself based on the coordinate information of the recognition object 12 in FIG. To connect smoothly.
  • the control unit 3f of the side camera module 4 can detect the position of the marker 13 generated by itself according to the position, shape and size of the marker 13 generated by the front camera module 3 obtained via the vehicle network 9. Adjust the shape and size.
  • the front camera module 3 serves as a master and the left side camera module 5 Becomes a slave and the same control is performed.
  • the rear camera module 6 is the master and the right side camera module 4 is the slave, and the object 12 is located at the boundary D of the vehicle peripheral image.
  • the rear camera module 6 becomes the master and the left side camera module 5 becomes the slave, and the same control is performed.
  • the control units 3f to 6f of the one camera module 3 to 6 transmit the other camera via the vehicle network 9.
  • the coordinate information of the recognized object 12 recognized from the images captured by the imaging units 3b to 6b of the other camera modules 3 to 6 is acquired from the modules 3 to 6, and the marker 13 is added to the own camera image using this. Is attached. Therefore, even when the predetermined object 12 is located at the boundaries A to D of the adjacent camera images, the continuous marker 13 straddling both of the adjacent camera images is accurately attached to the recognized object 12. Can do.
  • the marker 13 is attached to the object 12 by the control unit 3f of the front camera module 3. .
  • the marker 13 is attached to the object 12 by the control unit 4 f of the side camera module 4.
  • control units 3f to 6f of the camera modules 3 to 6 communicate with the processing unit 10 of the vehicle 2 via the vehicle network 9 to determine whether or not the gear of the vehicle 2 is reverse (step S1). ). If it is determined in step S1 that the gear of the vehicle 2 is reverse, the control units 3f to 6f acquire images captured from the imaging units 3b to 6b of their own camera modules 3 to 6 (step S2). Further, vehicle information such as vehicle speed and steering angle is acquired via the vehicle network 9 (step S3). In this case, the marker 13 is attached to the object 12 recognized in the vehicle peripheral image only when the vehicle 2 moves backward. However, the vehicle 2 is recognized in the vehicle peripheral image even when the vehicle 2 moves forward or stops. A marker 13 may be attached to the object 12.
  • control units 3f to 6f determine whether or not the predetermined object 12 has been recognized by the object recognition process from the acquired image (step S4, recognition step). If it is determined in step S4 that the recognized object 12 is present in the image, each camera module 3-6 outputs the coordinate information of the recognized object 12 to the vehicle network 9 (step S5, output process). Can be shared by the camera modules 3-6.
  • control units 3f to 6f determine whether or not the recognition object 12 is located at the boundaries A to D of a pair of adjacent camera images (step S6). If it is determined in step S6 that the recognition object 12 is positioned at the boundaries A to D of the adjacent camera images, each camera image is controlled by the control units 3f to 6f of the pair of camera modules 3 to 6 that capture these camera images. Is marked with a marker 13. At this time, the control units 3f to 6f of any one of the camera modules 3 to 6 acquire the coordinate information of the recognition object 12 in the camera images of the other camera modules 3 to 6 via the vehicle network 9. Then, the control units 3f to 6f use this coordinate information to attach the marker 13 smoothly connected to the marker 13 displayed in the adjacent camera image to the own camera image (step S7, additional process).
  • the camera module 3 to 6 when the marker 13 is attached to the recognition object 12 in the image, the camera module 3 to 6 then performs viewpoint conversion on the image by the viewpoint conversion image generation units 3c to 6c, thereby obtaining an overhead image, that is, a camera image. (Step S8). Then, the bird's-eye view images of the camera modules 3 to 6 generated in step S8 are combined by the image combining unit 6i of the rear camera module 6 into a vehicle peripheral image (step S9), and from the output unit 6d of the rear camera module 6 The image is output toward the display means 7 (step S10).
  • step S4 if it is determined in step S4 that the recognition object 12 is not present, the process of steps S8 to S10 is performed without adding the marker 13 to the image.
  • step S6 If it is determined in step S6 that the recognition object 12 is not positioned at the boundary between adjacent camera images, the camera modules 3 to 6 that capture the camera image where the object 12 is positioned recognizes the recognition in the camera image.
  • the marker 13 is attached to the object 12 (step S11), and the processes of steps S8 to S10 are performed.
  • the object recognition units 3j to 6j that detect the recognition object 12 by the object recognition process from the images captured by the camera modules 3 to 6, and the marker for the recognition object 12 in the captured image.
  • Control units 3f to 6f to which reference numeral 13 is attached are provided.
  • the camera system 1 that enables display associated with the object recognition process even when an inexpensive device that has only an image display function, for example, is used as the display unit 7.
  • the cost of the entire system can be reduced.
  • an inexpensive one having only an image display function is used as the display means 7. As a result, the cost of the camera system 1 can be reduced.
  • the communication units 3g to 6g that output the coordinate information of the recognition object 12 recognized from the images captured by the imaging units 3b to 6b to the vehicle network 9 are provided to the camera modules 3 to 6, respectively. Since the recognition object 12 is located at the boundaries A to D of the adjacent camera images, the two camera modules 3 to 6 that attach the markers 13 to these camera images are connected via the vehicle network 9. Thus, the coordinate information of the recognized object 12 recognized in the images of the other camera modules 3 to 6 can be used, and the marker 13 is accurately placed on the recognized object 12 to the control units 3f to 6f of the camera modules 3 to 6. It can be attached.
  • the camera modules 3 to 6 as slaves acquire the coordinate information of the recognition object 12 from the master camera modules 3 to 6 via the vehicle network 9, and use the acquired coordinate information in the image.
  • the marker 13 is attached, it is not limited to this. That is, at least one camera module 3 to 6 acquires the coordinate information of the recognition object 12 from the other camera modules 3 to 6 via the vehicle network 9, and uses the acquired coordinate information to place the marker 13 in the image. Any structure may be used. For example, both camera modules 3 to 6 that output adjacent camera images acquire the coordinate information of the recognition object 12 from the other camera modules 3 to 6 via the vehicle network 9 and use the acquired coordinate information. Thus, the marker 13 may be added to the image.
  • control units 3f to 6f of any one of the camera modules 3 to 6 are set as the main control unit, and the control units 3f to 6f, which are the main control units, all other camera modules via the vehicle network 9. It is also possible to obtain the coordinate information of the recognition object 12 from 3 to 6 and attach the marker 13 to all the camera images, that is, the vehicle peripheral images using the obtained coordinate information.
  • identification information such as an address is assigned to each of the camera modules 3 to 6 in accordance with the negotiation protocol in the standard of the vehicle network 9 by the processing unit 10 such as an ECU connected to the vehicle network 9.
  • the control units 3f to 6f of any one of the camera modules 3 to 6 can be configured to be set as the main control unit according to the identification information.
  • the control units 3f to 6f serving as the main control unit acquire coordinate information of the recognition object 12 in other camera images from the control units 3f to 6f of the other camera modules 3 to 6 via the vehicle network 9. Then, marker addition processing is performed on all camera images (vehicle peripheral images) based on the coordinate information of the recognized object 12 in its own camera image and the coordinate information of the recognized object 12 in other camera images.
  • the control units 3f to 6f which are the main control units, can control the other control units 3f to 6f through the vehicle network 9 to attach the marker 13 to the vehicle periphery image.
  • the control unit 6f set in the main control unit that is, the control unit 6f of the rear camera module 6 activates software having a function of attaching the marker 13 in the image, and controls the other camera modules 3 to 5.
  • the units 3f to 5f are configured such that software having a function of attaching the marker 13 to the image is inactivated.
  • the control unit of another camera module is set as the main control unit, only the control unit activates software having a function of attaching the marker 13 in the image, and the function of the control unit of the other camera module is activated.
  • the software is deactivated. Therefore, even when the control unit set as the main control unit is configured to integrally control other control units via the vehicle network 9, the camera modules 3 to 6 having the same configuration are used. As a result, the overall cost of the camera system 1 can be reduced.
  • the four camera modules 3 to 6 are provided in the vehicle 2.
  • the present invention is not limited to this, and if the periphery of the vehicle 2 can be imaged, the number of camera modules 3 to 6 is as follows. It can be set arbitrarily.
  • the marker 13 is attached to the image captured by the imaging units 3b to 6b, and the image with the marker 13 is output to the display means 7.
  • the present invention is not limited to this.
  • a marker image generated separately from the image may be input to the display unit 7 via the vehicle network 9, and the marker image may be superimposed on the camera image on the display unit 7.
  • the viewpoint conversion image generation units 3c to 6c are provided in the camera modules 3 to 6, and the images captured by the imaging units 3b to 6b are processed into overhead images by the viewpoint conversion image generation units 3c to 6c.
  • the present invention is not limited to this, and the image captured by the imaging units 3b to 6b may be output to the display unit 7 as it is.
  • the viewpoint converted image generation units 3c to 6c may be provided only in the rear camera module 6, and the images synthesized by the image synthesis unit 6i may be collectively processed into an overhead image.
  • the viewpoint conversion image generation units 3c to 6c may be provided in the display unit 7 so that the display unit 7 processes each camera image or vehicle surrounding image into an overhead image.
  • the front camera module 3 and the both side camera modules 4 and 5 are connected to the rear camera module 6, and each of the camera modules 3 to 6 is installed in the image composition unit 6 i provided in the rear camera module 6.
  • the captured camera images are synthesized and output to the display means 7, the present invention is not limited to this, and all camera modules 3 to 6 may be directly connected to the display means 7.
  • the rear camera module 6 has the same configuration as the other camera modules 3 to 5 shown in FIG. 3, and the versatility of the camera modules 3 to 6 can be enhanced.
  • each of the camera modules 3 to 6 outputs the coordinate information of the recognized object 12 recognized from the images captured by the imaging units 3b to 6b to the vehicle network 9 by the communication units 3g to 6g.
  • the coordinate information of the recognition object 12 at least one of the movement vector information of the recognition object 12 and the coordinate information of the marker 13 generated by the control units 3f to 6f of the camera modules 3 to 6 is further stored in the vehicle. You may make it output to the network 9.
  • the slave camera modules 3 to 6 include the movement vector information of the recognition object 12 and each camera module.
  • the own marker 13 can be generated by using the coordinate information of the marker 13 generated by the control units 3f to 6f of 3 to 6. Thereby, the markers 13 can be displayed more accurately by the control units 3f to 6f.
  • the coordinate information of the marker 13 for example, when the marker 13 is rectangular, the coordinate information of the reference position of the marker 13 in the camera image and information such as the length and direction of each side, and when the marker 13 is circular
  • the coordinate information that can generate the marker 13 can be included, such as coordinate information of the center position and information of the radial dimension thereof.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

　車両（２）の周辺を撮像する複数のカメラモジュール（３～６）を備え、複数のカメラモジュール（３～６）が撮像した各カメラ画像を出力し、車両内の表示手段（７）にて各画像を合成した車両周辺画像が表示されるカメラシステム（１）において、複数のカメラモジュール（３～６）に、それぞれ自己の撮像した画像から物体認識処理を行う物体認識部（３ｊ～６ｊ）と、車両（２）に設けられた車両ネットワーク（９）を介した通信を行う通信部（３ｇ～６ｇ）とを設ける。通信部（３ｇ～６ｇ）を、それぞれ物体認識部（３ｊ～６ｊ）で認識した認識物体（１２）の座標情報を車両ネットワーク（９）に出力する構成とする。

Description

カメラシステム、カメラモジュールおよびカメラ制御方法 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０１２－２８１７４５号（２０１２年１２月２５日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本発明は、カメラシステム、カメラモジュールおよびカメラ制御方法に関し、より詳細には、複数のカメラモジュールが撮像した複数の各カメラ画像を合成して車両周辺画像とし、これを車両に設けたディスプレイ等の表示手段に出力するものに関する。
　従来、自動車の前後左右に取り付けた複数のカメラモジュールが撮像したカメラ画像を合成して車両周辺画像を生成し、これを車室内に設置したディスプレイ等の表示手段に表示して、車両の全周方向を１つの画面で視認できるようにしたカメラシステムが知られている。このようなカメラシステムとしては、各カメラ画像を視点変換加工することにより、車両周辺画像を俯瞰画像として表示するものも知られている（例えば特許文献１）。
　また、表示手段に表示される車両周辺画像から物体認識処理により歩行者や自転車等の物体を認識し、この認識物体にマーカーを付すようにした技術が知られている（例えば特許文献２）。
特許第４７４２７３３号公報 特開２０１２－１１３６０５号公報
　従来のカメラシステムでは、各カメラモジュールが撮像した複数のカメラ画像を車両側のディスプレイ（例えばナビゲーションシステム等）の制御装置に入力する構成とし、その制御装置により、各カメラ画像の合成、俯瞰処理、物体認識処理および認識物体へのマーカー付与処理を行うようにしている。そのため、このようなカメラシステムの構築には、車両側のディスプレイの制御装置に高度な処理能力が必要となり、システムが高価となる、あるいは汎用性の低いシステムとなる。
　そこで、各カメラモジュールに、撮像したカメラ画像を俯瞰処理する機能、そのカメラ画像から物体認識処理により認識物体を検出する機能および当該カメラ画像の認識物体にマーカーを付する機能を設けることにより、表示手段として画像の表示機能のみを有する安価なものを用いることを可能とする安価なカメラシステムが考えられる。
　かかる事情に鑑みてなされた本発明の目的は、高度な処理能力を有さないようなディスプレイにおいて画像表示する場合であっても、物体認識に伴う表示を行い易くするカメラシステムを安価に提供することにある。
　上記課題を解決するため、本発明のカメラシステムは、車両の周辺を撮像する複数のカメラモジュールを備え、複数の前記カメラモジュールが撮像した各カメラ画像を出力し、前記車両内の表示手段にて各画像を合成した車両周辺画像が表示されるカメラシステムであって、複数の前記カメラモジュールは、それぞれ自己の撮像したカメラ画像から物体認識処理を行う物体認識部と、前記車両に設けられた車両ネットワークを介した通信を行う通信部と、を有し、前記通信部は、それぞれ前記物体認識部で認識した認識物体の座標情報を前記車両ネットワークに出力することを特徴とする。
　本発明に係るカメラシステムにおいては、前記複数のカメラモジュールの少なくとも一つは、前記車両ネットワークを介して他のカメラモジュールから前記認識物体の座標情報を取得し、当該取得した座標情報を用いて前記車両周辺画像中の前記認識物体に対するマーカーを付すのが好ましい。
　本発明に係るカメラシステムにおいては、複数の前記カメラモジュールの少なくとも一つは、互いに隣り合う一対のカメラ画像の双方に前記認識物体が位置する場合に、前記座標情報を用いて、一方のカメラ画像と他方のカメラ画像との双方に跨る連続したマーカーを生成するのが好ましい。
　本発明に係るカメラシステムにおいては、複数の前記カメラモジュールの少なくとも一つは、前記マーカーの位置、大きさおよび形状の少なくとも一つを変更するのが好ましい。
　本発明に係るカメラシステムにおいては、複数の前記カメラモジュールは、それぞれ制御部を有し、該制御部のいずれか一つが主制御部となって、前記座標情報を用いた前記車両周辺画像へのマーカー付加処理を行うのが好ましい。
　本発明に係るカメラシステムにおいては、前記主制御部は、複数の前記カメラモジュールのそれぞれに設けられた他の制御部を、前記車両ネットワークを介して統括制御するのが好ましい。
　本発明に係るカメラシステムにおいては、複数の前記カメラモジュールは、それぞれ前記車両ネットワークを介して接続される前記車両の処理ユニットにより識別情報が割り当てられ、該識別情報に応じて前記主制御部が決定されるのが好ましい。
　本発明に係るカメラシステムにおいては、前記識別情報の割り当ては、前記車両ネットワークの規格におけるネゴシエーションのプロトコルに準拠して行われるのが好ましい。
　本発明に係るカメラシステムにおいては、前記カメラ画像は、撮像部が撮像した画像を視点変換した俯瞰画像であるのが好ましい。
　また、上記課題を解決するため、本発明のカメラモジュールは、複数のカメラモジュールが撮像した各カメラ画像を合成して、車両内の表示手段に車両周辺画像として表示を行うカメラシステムに用いられるカメラモジュールであって、前記車両の周辺を撮像する撮像部と、前記撮像部が撮像した画像から物体認識処理を行う物体認識部と、前記車両に設けられた車両ネットワークを介した通信を行う通信部と、を有し、前記通信部は、前記物体認識部で認識した認識物体の座標情報を前記車両ネットワークに出力する、ことを特徴とする。
　さらに、上記課題を解決するため、本発明のカメラ制御方法は、複数のカメラモジュールが撮像した各カメラ画像を合成して、車両内の表示手段に車両周辺画像として表示を行う際のカメラ制御方法であって、前記カメラモジュールが、自己が撮像したカメラ画像から物体認識処理により認識物体を認識する認識工程と、前記カメラモジュールが、前記認識工程において認識した認識物体の座標情報を車両に設けられた車両ネットワークに出力する出力工程と、を有することを特徴とする。
　本発明のカメラシステム、カメラモジュールおよびカメラ制御方法によれば、高度な処理能力を有さないようなディスプレイにおいて画像表示する場合であっても、物体認識に伴う表示を行い易くするカメラシステムを安価に提供することができる。
本発明の一実施形態に係るカメラシステムを備えた車両の概略構成を示す図である。 本発明の一実施形態に係るカメラシステムの構成例を示すブロック図である。 図２に示すフロントカメラモジュールおよびサイドカメラモジュールの構成例を示すブロック図である。 図２に示すリアカメラモジュールの構成例を示すブロック図である。 表示手段に表示される車両周辺画像の一例を示す図である。 表示手段に表示された車両周辺画像中の認識物体が互いに隣り合うカメラ画像の境界に位置した状態の一例を示す図である。 主制御部と制御部との関係の一例を示す図である。 互いに隣り合うカメラ画像における各カメラモジュールのマーカー付与の割り当て領域を示す図である。 本発明の一実施形態に係るカメラシステムにおけるマーカー表示制御のフローチャート図である。
　以下、本発明の一実施形態について、図面を参照して例示説明する。
　図１、図２に示すように、本発明の一実施形態に係るカメラシステム１は自動車等の車両２に設けられる。このカメラシステム１は、車両２の前後左右に取り付けられる４つのカメラモジュール３～６と、車室内に設置される表示手段７とを備えている。
　車両２の前方端に取り付けられるフロントカメラモジュール３は、図３に示すように、レンズ部３ａ、撮像部３ｂ、視点変換画像生成部３ｃ、出力部３ｄ、電源部３ｅ、制御部３ｆ、通信部３ｇおよび記憶部３ｈを備えている。同様に、車両２の右側方に取り付けられるサイドカメラモジュール４および車両２の左側方に取り付けられるサイドカメラモジュール５は、それぞれレンズ部４ａ，５ａ、撮像部４ｂ，５ｂ、視点変換画像生成部４ｃ，５ｃ、出力部４ｄ，５ｄ、電源部４ｅ，５ｅ、制御部４ｆ，５ｆ、通信部４ｇ，５ｇおよび記憶部４ｈ，５ｈを備えている。フロントカメラモジュール３と両サイドカメラモジュール４、５は基本的に同一の構成となっているので、図３においては、カメラモジュール３～５を構成する各部にそれぞれのカメラモジュール３～５に対応した符号を付してある。
　一方、車両２の後方端に取り付けられるリアカメラモジュール６は、図４に示すように、レンズ部６ａ、撮像部６ｂ、視点変換画像生成部６ｃ、出力部６ｄ、電源部６ｅ、制御部６ｆ、通信部６ｇ、記憶部６ｈを備えるとともに画像合成部６ｉを備えている。ここで、画像合成部６ｉは制御部６ｆ上で動作するソフトウェア処理であり、物体認識部３ｊ～６ｊのように制御部６ｆ内に記載すべきところであるが、説明の簡素化のために別ブロックとして説明する。
　ところで、図面では、画像合成部を、リアカメラモジュール６にのみ記載し、フロントカメラモジュール３と両サイドカメラモジュール４、５には記載していない。しかしながら、画像合成部６ｉは、いずれのカメラモジュール３～６に等しく設けられていてもよい。すなわち、後述する処理によってリアカメラモジュール６として認識したカメラモジュール、あるいは主制御部となるべきと認識されたカメラモジュールのみが画像合成部のソフトウェアをアクティブ化し、その他のカメラモジュールは画像合成部のソフトウェアをインアクティブ化するように構成されていると、各カメラモジュールの構成を同じにすることができ、全体的なコストを下げることにもつながる。
　各カメラモジュール３～６に設けられた電源部３ｅ～６ｅは、それぞれ車載のバッテリに接続されて当該カメラモジュール３～６の撮像部３ｂ～６ｂや制御部３ｆ～６ｆ等の各部に電力を供給する。また、各カメラモジュール３～６に設けられた記憶部３ｈ～６ｈは、それぞれ必要に応じて撮像部３ｂ～６ｂ、視点変換画像生成部３ｃ～６ｃ、制御部３ｆ～６ｆ、通信部３ｇ～６ｇなどの制御に必要なデータ等を格納することができる。
　各カメラモジュール３～６は、それぞれレンズ部３ａ～６ａと撮像部３ｂ～６ｂとを用いて車両周辺を撮像する。例えば、フロントカメラモジュール３はレンズ部３ａと撮像部３ｂとを用いて車両２の前方側の周辺を所定の画角で撮像する。また、右側のサイドカメラモジュール４はレンズ部４ａと撮像部４ｂとを用いて車両２の右側方の周辺を所定の画角で撮像し、左側のサイドカメラモジュール５はレンズ部５ａと撮像部５ｂとを用いて車両２の左側方の周辺を所定の画角で撮像する。さらに、リアカメラモジュール６はレンズ部６ａと撮像部６ｂとを用いて車両２の後退方向の周辺を所定の画角で撮像する。
　これらの撮像部３ｂ～６ｂとしては、例えばＣＭＯＳやＣＣＤ等のイメージセンサが用いられる。また、レンズ部３ａ～６ａとしては例えば魚眼レンズなどの画角の広いレンズが用いられる。
　図３、図４に示すように、各カメラモジュール３～６の撮像部３ｂ～６ｂは、それぞれ視点変換画像生成部３ｃ～６ｃに接続され、撮像部３ｂ～６ｂが撮像した画像は視点変換画像生成部３ｃ～６ｃに取り込まれる。視点変換画像生成部３ｃ～６ｃは撮像部３ｂ～６ｂから取り込んだ画像の歪みを調整し、当該画像の視点を変換した俯瞰画像を生成する。
　図２に示すように、フロントカメラモジュール３はリアカメラモジュール６に接続されている。フロントカメラモジュール３で生成された俯瞰画像は、当該カメラモジュール３が撮像したカメラ画像としてその出力部３ｄから出力され、リアカメラモジュール６に設けられた画像合成部６ｉに入力される。同様に、両サイドカメラモジュール４，５はリアカメラモジュール６に接続されている。両サイドカメラモジュール４，５で生成された俯瞰画像は、それぞれ当該カメラモジュール４，５が撮像したカメラ画像として出力部４ｄ，５ｄから出力され、リアカメラモジュール６に設けられた画像合成部６ｉに入力される。
　画像合成部６ｉは、リアカメラモジュール６の視点変換画像生成部６ｃが生成した俯瞰画像（カメラ画像）と、他のカメラモジュール３～５から入力される３つの俯瞰画像（カメラ画像）とを、各カメラモジュール３～６の車両２への取付け位置に応じた配置で合成し、車両周辺画像を生成する。
　図２に示すように、リアカメラモジュール６は表示手段７に接続されている。リアカメラモジュール６の出力部６ｄは、画像合成部６ｉが合成した車両周辺画像を表示手段７に適応したフォーマット（例えばＮＴＳＣ）に変換し、表示手段７に向けて出力する。
　図５に示すように、表示手段７はリアカメラモジュール６から入力された車両周辺画像をその画面７ａに表示する。つまり、表示手段７の画面７ａの中心には車両モデル８が表示され、この車両モデル８の周囲の画面上側の分割範囲７ａ１にフロントカメラモジュール３が撮像したカメラ画像（俯瞰画像）が表示される。また、表示手段７の画面右側の分割範囲７ａ２と画面左側の分割範囲７ａ３には、それぞれサイドカメラモジュール４，５が撮像したカメラ画像（俯瞰画像）が表示される。さらに、表示手段７の画面下側の分割範囲７ａ４にリアカメラモジュール６が撮像したカメラ画像（俯瞰画像）が表示される。
　表示手段７としては、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイ装置を用いることができる。
　図２に示すように、各カメラモジュール３～６は車両２に設けられた車両ネットワーク（車載ＬＡＮ）９に接続されている。この車両ネットワーク９は、例えばＣＡＮ（Controller Area Network）、ＦｌｅｘＲａｙ、ＬＩＮ（Local Interconnect Network）等のプロトコルを用いた移動機械用バスラインとすることができる。
　各カメラモジュール３～６は、それぞれ通信部３ｇ～６ｇにより車両ネットワーク９を介した通信を行うことができる。つまり、各カメラモジュール３～６は、それぞれ通信部３ｇ～６ｇにより、車両ネットワーク９を介して他のカメラモジュール３～６と互いに通信することができる。また、図１に示すように、車両ネットワーク９には、例えばエンジンコントロールユニット（ＥＣＵ）やシフトポジションセンサ等の車両２の処理ユニット１０が接続されており、各カメラモジュール３～６は、それぞれ通信部３ｇ～６ｇにより、車両ネットワーク９を介して処理ユニット１０と通信することができる。
　これらの通信部３ｇ～６ｇとしては、例えば車両ネットワーク９がＣＡＮである場合にはＣＡＮトランシーバが用いられるなど、その車両ネットワーク９のプロトコルに準拠した通信デバイスが用いられる。
　各カメラモジュール３～６に設けられる制御部３ｆ～６ｆは、それぞれＣＰＵを備えたマイクロコンピュータ上で動作するソフトウェアの機構ブロックを抽象化したものであって、図３、図４に示すように、その機能の一つとして物体認識部３ｊ～６ｊとしての機能を備えている。物体認識部３ｊ～６ｊは、自己のカメラモジュール３～６の撮像部３ｂ～６ｂが撮像した画像から物体認識処理を行う。つまり、物体認識部３ｊ～６ｊは、撮像部３ｂ～６ｂが撮像した画像を物体認識処理することにより、当該画像中に存在する歩行者や自転車等の所定の物体を認識することができる。物体認識部３ｊ～６ｊによる物体認識処理としては、例えばパターン認識等の物体認識技術を用いることができる。
　各カメラモジュール３～６の制御部３ｆ～６ｆは、それぞれ自己のカメラモジュール３～６の撮像部３ｂ～６ｂが撮像した画像中から歩行者や自転車等の所定の物体が認識された場合には、物体認識部３ｊ～６ｊにより認識された認識物体の座標情報に基づいて、当該画像に認識物体に対するマーカーを表示する。制御部３ｆ～６ｆによる画像へのマーカーの付与は、例えば撮像部３ｂ～６ｂが撮像した画像にマーカー画像をオーバーレイ（重畳表示）する手法により行うことができる。このように、各カメラモジュール３～６は、自己の撮像部３ｂ～６ｂが撮像した画像中に所定の物体が存在する場合には、当該物体にマーカーを付したカメラ画像を出力部３ｄ～６ｄから出力する。ところで、座標情報とは、所定の物体として認識された描画物の座標であって、魚眼レンズ（レンズ部３ａ～６ａ）を介して撮影されるが故のディストーション成分を考慮して、各カメラモジュール３～６において撮影した画像内における座標を各物体認識部３ｊ～６ｊが算出する。
　したがって、図５に示すように、表示手段７の画面７ａに表示される車両周辺画像中に所定の物体１２が存在する場合には、車両周辺画像は各カメラモジュール３～６のカメラ画像を合成して形成されるので、当該物体１２に対するマーカー１３が付された車両周辺画像が表示されることになる。車両周辺画像に当該物体１２に対するマーカー１３を付すことにより、車両周辺画像中に表示された所定の物体１２を運転者等に認識し易くすることができる。図示する場合では、マーカー１３は矩形の点線枠で表示されるが、物体１２の形状や大きさに合わせて、矩形形状や円形形状など種々の形状とサイズに設定することができ、また実線等により表すこともできる。
　図６に示すように、分割範囲７ａ１と分割範囲７ａ２とに表示される、互いに隣り合う一対のカメラ画像の双方つまり一対のカメラ画像の境界Ａに所定の物体１２が位置する場合には、当該物体１２に対するマーカー１３はこれらのカメラ画像の双方に跨って表示されることになる。この場合、マーカー１３は、その一部が分割範囲７ａ１に表示される一方のカメラ画像に表示され、残りの一部が分割範囲７ａ２に表示される他方のカメラ画像に表示されることになる。そのため、各カメラ画像にマーカー１３を表示させる際に、各カメラ画像に表示されるマーカー１３を滑らかに繋いで１つのマーカー１３として正しく表示する必要がある。
　そのため、本発明のカメラシステム１では、各カメラモジュール３～６は、その撮像部３ｂ～６ｂが撮像した画像から認識した所定の物体１２の座標情報を、通信部３ｇ～６ｇにより車両ネットワーク９に出力し、車両ネットワーク９を介して当該座標情報を各カメラモジュール３～６の間で共有可能とする。そして、互いに隣り合うカメラ画像のうちの一方のカメラ画像を出力するカメラモジュール３～６が他方のカメラ画像を出力するカメラモジュール３～６から車両ネットワーク９を介して認識物体の座標情報を取得し、この座標情報を利用して、他方のカメラ画像に表示されるマーカー１３に滑らかに繋がるようなマーカー１３を生成することができるようにしている。
　より具体的には、図６に示すように、分割範囲７ａ１に表示されるフロントカメラモジュール３のカメラ画像と分割範囲７ａ２に表示される右側のサイドカメラモジュール４のカメラ画像との境界Ａに所定の物体１２が位置する場合には、以下の手順でマーカー１３の表示が行われる。
　フロントカメラモジュール３が、その撮像部３ｂが撮像した画像中から物体認識部３ｊにより所定の物体１２を認識すると、その認識した物体１２つまり認識物体１２の当該画像中における座標情報が通信部３ｇにより車両ネットワーク９に出力される。同様に、右側のサイドカメラモジュール４が、その撮像部４ｂが撮像した画像中から物体認識部４ｊにより所定の物体１２を認識すると、その認識物体１２の当該画像中における座標情報が通信部４ｇにより車両ネットワーク９に出力される。これらの通信部３ｇ，４ｇが出力する認識物体１２の座標情報としては、例えば、認識物体１２の中心位置の座標情報にその大きさの情報を付加したものとするなど、その認識物体１２を囲うマーカー１３を生成できる情報を含んだものとすることができる。
　ここで、各カメラモジュール３～６は、車両ネットワーク９に接続されたＥＣＵ等の処理ユニット１０により、車両ネットワーク９の規格におけるネゴシエーションのプロトコルに準拠して、アドレス等の識別情報が割り当てられている。そして、この識別情報に基づいて各カメラモジュール３～６の間でマスターとスレーブとの関係が設定されている。例えば、本実施形態では、図６に示す境界Ａまたは境界Ｂに所定の物体１２が位置する場合には、図７に示すように、フロントカメラモジュール３がマスターに設定され、両サイドカメラモジュール４，５がそれぞれスレーブに設定される。一方、図６に示す境界Ｃまたは境界Ｄに所定の物体１２が位置する場合には、同様に図７に示すように、リアカメラモジュール６がマスターに設定され、両サイドカメラモジュール４，５がそれぞれスレーブに設定される。したがって、図６に示す境界Ａに物体１２が位置する場合には、フロントカメラモジュール３がマスターに設定され、右側のサイドカメラモジュール４がスレーブに設定される。フロントカメラモジュール３のカメラ画像とリアカメラモジュール６のカメラ画像とは境界を有していないので、これらのカメラモジュール３，６の間ではマスター、スレーブの関係は設定されない。
　所定の物体１２がフロントカメラモジュール３のカメラ画像と右側のサイドカメラモジュール４のカメラ画像との境界Ａに位置する場合、つまり図８に模式的に示すフロントカメラモジュール３のカメラ画像のｘ１領域とサイドカメラモジュール４のカメラ画像のｙ１領域とに跨って物体１２が位置する場合には、スレーブであるサイドカメラモジュール４は、車両ネットワーク９を介してフロントカメラモジュール３からフロントカメラモジュール３のカメラ画像における認識物体１２の座標情報を取得する。そして、サイドカメラモジュール４の制御部４ｆは、フロントカメラモジュール３から取得した認識物体１２の座標情報を利用して、つまり自己のカメラ画像における認識物体１２の座標情報とフロントカメラモジュール３のカメラ画像における認識物体１２の座標情報とに基づいて、自己が生成するマーカー１３の位置、形状および大きさの少なくともいずれか一つを変更して、当該マーカー１３がフロントカメラモジュール３により生成されるマーカー１３に滑らかに繋がるようにする。このように、サイドカメラモジュール４の制御部３ｆは、車両ネットワーク９を介して得られるフロントカメラモジュール３が生成するマーカー１３の位置、形状および大きさに合わせて自己が生成するマーカー１３の位置、形状および大きさを調整する。
　上記では、車両周辺画像の境界Ａに物体１２が位置する場合について説明したが、車両周辺画像の境界Ｂに物体１２が位置する場合においては、フロントカメラモジュール３がマスターとなり左側のサイドカメラモジュール５がスレーブとなって同様の制御が行われる。また、車両周辺画像の境界Ｃに物体１２が位置する場合においては、リアカメラモジュール６がマスターとなり右側のサイドカメラモジュール４がスレーブとなり、また、車両周辺画像の境界Ｄに物体１２が位置する場合においては、リアカメラモジュール６がマスターとなり左側のサイドカメラモジュール５がスレーブとなって同様の制御が行われることになる。
　このように、所定の物体１２が互いに隣り合うカメラ画像の境界Ａ～Ｄに位置する場合には、一方のカメラモジュール３～６の制御部３ｆ～６ｆが、車両ネットワーク９を介して他方のカメラモジュール３～６から当該他のカメラモジュール３～６の撮像部３ｂ～６ｂが撮像した画像中から認識された認識物体１２の座標情報を取得し、これを利用して自己のカメラ画像にマーカー１３を付する。したがって、所定の物体１２が互いに隣り合うカメラ画像の境界Ａ～Ｄに位置する場合であっても、この認識物体１２に対して隣り合うカメラ画像の双方に跨る連続したマーカー１３を正確に付すことができる。
　一方、図８に模式的に示すフロントカメラモジュール３のカメラ画像のｘ領域内に所定の物体１２が位置する場合には、フロントカメラモジュール３の制御部３ｆにより物体１２にマーカー１３が付される。同様に、所定の物体１２がサイドカメラモジュール４のカメラ画像のｙ領域内にある場合には、サイドカメラモジュール４の制御部４ｆにより物体１２にマーカー１３が付される。
　次に、上記カメラシステム１におけるマーカー表示制御（カメラ制御方法）の一例の手順を図９に基づいて説明する。
　まず、各カメラモジュール３～６の制御部３ｆ～６ｆは、車両ネットワーク９を介して車両２の処理ユニット１０と通信し、車両２のギアがリバースになっているか否かを判断する（ステップＳ１）。ステップＳ１において車両２のギアがリバースであると判断された場合には、制御部３ｆ～６ｆは自己のカメラモジュール３～６の撮像部３ｂ～６ｂから撮像した画像を取得し（ステップＳ２）、また車両ネットワーク９を介して車両速度やハンドル操舵角等の車両情報を取得する（ステップＳ３）。この場合では、車両２が後退する際にのみ、車両周辺画像内に認識された物体１２にマーカー１３を付すようにしているが、車両２が前進または停止中にも車両周辺画像内に認識された物体１２にマーカー１３を付すようにしてもよい。
　次いで、制御部３ｆ～６ｆは、取得した画像から物体認識処理により所定の物体１２が認識されたか否かを判断する（ステップＳ４、認識工程）。ステップＳ４において画像中に認識物体１２があると判断された場合には、各カメラモジュール３～６が認識物体１２の座標情報を車両ネットワーク９に出力し（ステップＳ５、出力工程）、これらの情報を各カメラモジュール３～６で共有可能とする。
　次いで、制御部３ｆ～６ｆは、認識物体１２が隣り合う一対のカメラ画像の境界Ａ～Ｄに位置したか否かを判断する（ステップＳ６）。ステップＳ６において、認識物体１２が隣り合うカメラ画像の境界Ａ～Ｄに位置したと判断されると、これらのカメラ画像を撮像する一対のカメラモジュール３～６の制御部３ｆ～６ｆにより各カメラ画像にマーカー１３が付される。このとき、いずれか一方のカメラモジュール３～６の制御部３ｆ～６ｆが、車両ネットワーク９を介して他のカメラモジュール３～６のカメラ画像における認識物体１２の座標情報を取得する。そして、当該制御部３ｆ～６ｆが、この座標情報を利用して、隣り合うカメラ画像に表示されるマーカー１３と滑らかに接続するマーカー１３を自己のカメラ画像に付す（ステップＳ７、付加工程）。
　このように、画像中の認識物体１２にマーカー１３が付されると、次いで、各カメラモジュール３～６において当該画像が視点変換画像生成部３ｃ～６ｃにより視点変換され、俯瞰画像つまりカメラ画像とされる（ステップＳ８）。そして、ステップＳ８で生成された各カメラモジュール３～６の俯瞰画像がリアカメラモジュール６の画像合成部６ｉで合成されて車両周辺画像とされ（ステップＳ９）、リアカメラモジュール６の出力部６ｄから表示手段７に向けて当該画像が出力される（ステップＳ１０）。
　一方、ステップＳ４において、認識物体１２が無いと判断された場合には、画像にマーカー１３が付加されることなく、ステップＳ８～ステップＳ１０の処理が行われる。
　また、ステップＳ６において、認識物体１２が隣り合うカメラ画像の境界に位置しないと判断された場合には、物体１２が位置するカメラ画像を撮像するカメラモジュール３～６により、当該カメラ画像中の認識物体１２にマーカー１３が付され（ステップＳ１１）、以下ステップＳ８～ステップＳ１０の処理が行われる。
　以上説明したように、上記カメラシステム１では、各カメラモジュール３～６に撮像した画像から物体認識処理により認識物体１２を検出する物体認識部３ｊ～６ｊと、撮像した画像に認識物体１２に対するマーカー１３を付す制御部３ｆ～６ｆとを設けるようにしている。これにより、表示手段７として例えば画像の表示機能のみしか有さないような安価なものを用いた場合であっても、物体認識処理に伴う表示を可能とするカメラシステム１を実現することができ、システム全体としてのコストを低減することができる。また、各カメラモジュール３～６に、そのカメラ画像を俯瞰画像に変換する視点変換画像生成部３ｃ～６ｃを設けたことによっても、表示手段７として画像の表示機能のみを有する安価なものを用いることを可能として、このカメラシステム１のコストを低減することができる。
　さらに、上記カメラシステム１では、それぞれのカメラモジュール３～６に、その撮像部３ｂ～６ｂが撮像した画像から認識された認識物体１２の座標情報を車両ネットワーク９に出力する通信部３ｇ～６ｇを設けるようにしたので、互いに隣り合うカメラ画像の境界Ａ～Ｄに認識物体１２が位置した場合に、これらのカメラ画像にマーカー１３を付する２つのカメラモジュール３～６が、車両ネットワーク９を介して他のカメラモジュール３～６の画像において認識された認識物体１２の座標情報を利用することを可能として、当該カメラモジュール３～６の制御部３ｆ～６ｆに認識物体１２に正確にマーカー１３を付させることができる。
　本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
　前記実施形態では、スレーブとなるカメラモジュール３～６が車両ネットワーク９を介してマスターのカメラモジュール３～６から認識物体１２の座標情報を取得し、その取得した座標情報を利用して画像中にマーカー１３を付すようにしているが、これに限らない。すなわち、少なくとも１つのカメラモジュール３～６が車両ネットワーク９を介して他のカメラモジュール３～６から認識物体１２の座標情報を取得し、その取得した座標情報を利用して画像中にマーカー１３を付す構成であればよい。例えば、隣り合うカメラ画像を出力する両方のカメラモジュール３～６が、それぞれ車両ネットワーク９を介して他のカメラモジュール３～６から認識物体１２の座標情報を取得し、その取得した座標情報を利用して画像中にマーカー１３を付す構成とすることもできる。
　また、いずれか一つのカメラモジュール３～６の制御部３ｆ～６ｆを主制御部に設定し、この主制御部とされた制御部３ｆ～６ｆが車両ネットワーク９を介して他の全てのカメラモジュール３～６から認識物体１２の座標情報を取得し、その取得した座標情報を利用して全てのカメラ画像つまり車両周辺画像にマーカー１３を付す構成とすることもできる。この場合、車両ネットワーク９に接続されたＥＣＵ等の処理ユニット１０により、車両ネットワーク９の規格におけるネゴシエーションのプロトコルに準拠して、各カメラモジュール３～６にアドレス等の識別情報が割り当てられ、この割り当てられた識別情報に応じて、いずれか１つのカメラモジュール３～６の制御部３ｆ～６ｆを主制御部に設定するように構成することができる。主制御部とされた制御部３ｆ～６ｆは、車両ネットワーク９を介して他のカメラモジュール３～６の制御部３ｆ～６ｆから他のカメラ画像における認識物体１２の座標情報を取得する。そして、自己のカメラ画像における認識物体１２の座標情報と、他のカメラ画像における認識物体１２の座標情報とに基づいて全てのカメラ画像（車両周辺画像）へのマーカー付加処理を行う。このように主制御部とされた制御部３ｆ～６ｆは車両ネットワーク９を介して他の制御部３ｆ～６ｆを統合制御して、車両周辺画像にマーカー１３を付すことができる。
　この場合においては、主制御部に設定される制御部６ｆつまりリアカメラモジュール６の制御部６ｆのみが画像中にマーカー１３を付す機能のソフトウェアがアクティブ化され、他のカメラモジュール３～５の制御部３ｆ～５ｆは、画像中にマーカー１３を付す機能のソフトウェアがインアクティブ化するように構成される。また、他のカメラモジュールの制御部が主制御部に設定されたときには、その制御部のみが、画像中にマーカー１３を付す機能のソフトウェアがアクティブ化され、他のカメラモジュールの制御部の当該機能のソフトウェアはインアクティブ化される。したがって、主制御部に設定した制御部により、車両ネットワーク９を介して他の制御部を統合制御する構成とした場合であっても、各カメラモジュール３～６として同じ構成のものを用いることを可能として、このカメラシステム１の全体的なコストを低減することができる。
　さらに、前記実施形態においては、車両２に４つのカメラモジュール３～６を設けるようにしているが、これに限らず、車両２の周辺を撮像することができれば、カメラモジュール３～６の数は任意に設定することができる。
　さらに、前記実施形態においては、撮像部３ｂ～６ｂが撮像した画像にマーカー１３を付し、マーカー１３が付された画像を表示手段７に出力するようにしているが、これに限らず、カメラ画像とは別に生成したマーカー画像を、車両ネットワーク９を介して表示手段７に入力し、表示手段７においてカメラ画像にマーカー画像を重畳表示させるようにしてもよい。
　さらに、前記実施形態では、各カメラモジュール３～６に視点変換画像生成部３ｃ～６ｃを設け、撮像部３ｂ～６ｂが撮像した画像を視点変換画像生成部３ｃ～６ｃにより俯瞰画像に加工してから表示手段７に出力するようにしているが、これに限らず、撮像部３ｂ～６ｂが撮像した画像をそのまま表示手段７に出力するようにしてもよい。また、視点変換画像生成部３ｃ～６ｃをリアカメラモジュール６にのみ設けて画像合成部６ｉが合成した画像を一括して俯瞰画像に加工するようにしてもよい。また、視点変換画像生成部３ｃ～６ｃを表示手段７に設けて表示手段７において各カメラ画像または車両周辺画像を俯瞰画像に加工するようにしてもよい。
　さらに、前記実施形態においては、フロントカメラモジュール３と両サイドカメラモジュール４，５とをリアカメラモジュール６に接続し、リアカメラモジュール６に設けた画像合成部６ｉおいて各カメラモジュール３～６が撮像したカメラ画像を合成し、表示手段７に出力するようにしているが、これに限らず、全てのカメラモジュール３～６を表示手段７に直接接続する構成としてもよい。この場合、リアカメラモジュール６を、図３に示す他のカメラモジュール３～５と同様の構成として、このカメラモジュール３～６の汎用性を高めることができる。
　さらに、前記実施の形態においては、各カメラモジュール３～６は、通信部３ｇ～６ｇにより、自己の撮像部３ｂ～６ｂが撮像した画像から認識した認識物体１２の座標情報を車両ネットワーク９に出力するが、認識物体１２の座標情報に加えて、認識物体１２の移動ベクトル情報や各カメラモジュール３～６の制御部３ｆ～６ｆが生成したマーカー１３の座標情報の少なくともいずれか一つをさらに車両ネットワーク９に出力するようにしてもよい。この場合、スレーブのカメラモジュール３～６は、車両ネットワーク９を介して取得したマスターのカメラモジュール３～６からの認識物体１２の座標情報に加えて、認識物体１２の移動ベクトル情報や各カメラモジュール３～６の制御部３ｆ～６ｆが生成したマーカー１３の座標情報を利用して、自己のマーカー１３を生成することができる。これにより、制御部３ｆ～６ｆにより、より正確にマーカー１３を表示することができる。マーカー１３の座標情報としては、例えばマーカー１３が矩形の場合には、カメラ画像中におけるマーカー１３の基準位置の座標情報および各辺の長さおよび方向等の情報、マーカー１３が円形の場合には、その中心位置の座標情報およびその半径寸法の情報とするなど、マーカー１３を生成することができる座標情報を含むようにすることができる。
　さらに、前記実施形態では、車両周辺画像において隣り合う一対のカメラ画像が境界Ａ～Ｄを境に接している場合を示しているが、隣り合うカメラ画像の双方に物体１２が位置するように表示することができれば、隣り合うカメラ画像の間に隙間があってもよい。
　１　カメラシステム
　２　車両
　３　フロントカメラモジュール
　４，５　サイドカメラモジュール
　６　リアカメラモジュール
　３ａ～６ａ　レンズ部
　３ｂ～６ｂ　撮像部
　３ｃ～６ｃ　視点変換画像生成部
　３ｄ～６ｄ　出力部
　３ｅ～６ｅ　電源部
　３ｆ～６ｆ　制御部
　３ｇ～６ｇ　通信部
　３ｈ～６ｈ　記憶部
　６ｉ　画像合成部
　３ｊ～６ｊ　物体認識部
　７　表示手段
　７ａ　画面
　７ａ１～７ａ４　分割範囲
　８　車両モデル
　９　車両ネットワーク
　１０　処理ユニット
　１１　物体認識部
　１２　物体
　１３　マーカー
　Ａ～Ｄ　境界
　ｘ，ｘ１　領域
　ｙ，ｙ１　領域

Claims (11)

  1. 　車両の周辺を撮像する複数のカメラモジュールを備え、複数の前記カメラモジュールが撮像した各カメラ画像を出力し、前記車両内の表示手段にて各画像を合成した車両周辺画像が表示されるカメラシステムであって、
    　複数の前記カメラモジュールは、それぞれ自己の撮像したカメラ画像から物体認識処理を行う物体認識部と、前記車両に設けられた車両ネットワークを介した通信を行う通信部と、を有し、
    　前記通信部は、それぞれ前記物体認識部で認識した認識物体の座標情報を前記車両ネットワークに出力することを特徴とするカメラシステム。
  2. 　前記複数のカメラモジュールの少なくとも一つは、前記車両ネットワークを介して他のカメラモジュールから前記認識物体の座標情報を取得し、当該取得した座標情報を用いて前記車両周辺画像中の前記認識物体に対するマーカーを付す、請求項１に記載のカメラシステム。
  3. 　複数の前記カメラモジュールの少なくとも一つは、互いに隣り合う一対のカメラ画像の双方に前記認識物体が位置する場合に、前記座標情報を用いて、一方のカメラ画像と他方のカメラ画像との双方に跨る連続したマーカーを生成する、請求項２に記載のカメラシステム。
  4. 　複数の前記カメラモジュールの少なくとも一つは、前記マーカーの位置、大きさおよび形状の少なくとも一つを変更する、請求項３に記載のカメラシステム。
  5. 　複数の前記カメラモジュールは、それぞれ制御部を有し、該制御部のいずれか一つが主制御部となって、前記座標情報を用いた前記車両周辺画像へのマーカー付加処理を行う請求項２に記載のカメラシステム。
  6. 　前記主制御部は、複数の前記カメラモジュールのそれぞれに設けられた他の制御部を、前記車両ネットワークを介して統括制御する請求項５に記載のカメラシステム。
  7. 　複数の前記カメラモジュールは、それぞれ前記車両ネットワークを介して接続される前記車両の処理ユニットにより識別情報が割り当てられ、該識別情報に応じて前記主制御部が決定される請求項６に記載のカメラシステム。
  8. 　前記識別情報の割り当ては、前記車両ネットワークの規格におけるネゴシエーションのプロトコルに準拠して行われる請求項７に記載のカメラシステム。
  9. 　前記カメラ画像は、撮像部が撮像した画像を視点変換した俯瞰画像である、請求項１に記載のカメラシステム。
  10. 　複数のカメラモジュールが撮像した各カメラ画像を合成して、車両内の表示手段に車両周辺画像として表示を行うカメラシステムに用いられるカメラモジュールであって、
    　前記車両の周辺を撮像する撮像部と、
    　前記撮像部が撮像した画像から物体認識処理を行う物体認識部と、
    　前記車両に設けられた車両ネットワークを介した通信を行う通信部と、を有し、
    　前記通信部は、前記物体認識部で認識した認識物体の座標情報を前記車両ネットワークに出力する、ことを特徴とするカメラモジュール。
  11. 　複数のカメラモジュールが撮像した各カメラ画像を合成して、車両内の表示手段に車両周辺画像として表示を行う際のカメラ制御方法であって、
    　前記カメラモジュールが、自己が撮像したカメラ画像から物体認識処理により認識物体を認識する認識工程と、
    　前記カメラモジュールが、前記認識工程において認識した認識物体の座標情報を車両に設けられた車両ネットワークに出力する出力工程と、を有することを特徴とするカメラ制御方法。
PCT/JP2013/007510 2012-12-25 2013-12-20 カメラシステム、カメラモジュールおよびカメラ制御方法 WO2014103272A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13867217.5A EP2939877B1 (en) 2012-12-25 2013-12-20 Camera system, camera module, and camera control method
US14/655,028 US10242254B2 (en) 2012-12-25 2013-12-20 Camera system for a vehicle, camera module, and method of controlling camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012281745A JP6022930B2 (ja) 2012-12-25 2012-12-25 カメラシステム、カメラモジュールおよびカメラ制御方法
JP2012-281745 2012-12-25

Publications (1)

Publication Number Publication Date
WO2014103272A1 true WO2014103272A1 (ja) 2014-07-03

Family

ID=51020390

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/007510 WO2014103272A1 (ja) 2012-12-25 2013-12-20 カメラシステム、カメラモジュールおよびカメラ制御方法

Country Status (4)

Country Link
US (1) US10242254B2 (ja)
EP (1) EP2939877B1 (ja)
JP (1) JP6022930B2 (ja)
WO (1) WO2014103272A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11608102B2 (en) 2016-02-23 2023-03-21 Kyocera Corporation Vehicle and in-vehicle control method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6326144B2 (ja) 2014-09-26 2018-05-16 京セラ株式会社 撮像装置、車両および変動検出方法
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
DE102017209427B3 (de) * 2017-06-02 2018-06-28 Volkswagen Aktiengesellschaft Vorrichtung zur Fahrschlauchabsicherung
JP7263731B2 (ja) * 2018-10-26 2023-04-25 株式会社デンソー 画像処理装置
US20230045772A9 (en) 2018-12-07 2023-02-09 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, and program
US12115916B2 (en) 2021-02-01 2024-10-15 Rosco, Inc. Downlighting signal and illumination mirror head for vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233864A (ja) * 2006-03-02 2007-09-13 Denso Corp 死角支援情報報知装置及びプログラム
JP2009101984A (ja) * 2007-10-01 2009-05-14 Nissan Motor Co Ltd 駐車支援装置及び方法
JP4742733B2 (ja) 2005-08-05 2011-08-10 日産自動車株式会社 画像つなぎ目処理装置および画像つなぎ目処理方法
JP2011205514A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP2012113605A (ja) 2010-11-26 2012-06-14 Toshiba Alpine Automotive Technology Corp 運転支援装置及び運転支援方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006018951A1 (ja) 2004-08-18 2006-02-23 Olympus Corporation 画像生成方法および画像生成装置
JP2006143009A (ja) * 2004-11-19 2006-06-08 Fuji Heavy Ind Ltd 車両の運転支援装置
EP1696669B1 (en) 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
ES2538827T3 (es) * 2009-09-01 2015-06-24 Magna Mirrors Of America, Inc. Sistema de formación de imágenes y de exhibición para un vehículo
EP2431226B1 (de) * 2010-09-17 2016-07-27 SMR Patents S.à.r.l. Rückblickeinrichtung für ein Kraftfahrzeug
DE102011077398B4 (de) 2011-06-10 2021-11-04 Robert Bosch Gmbh Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4742733B2 (ja) 2005-08-05 2011-08-10 日産自動車株式会社 画像つなぎ目処理装置および画像つなぎ目処理方法
JP2007233864A (ja) * 2006-03-02 2007-09-13 Denso Corp 死角支援情報報知装置及びプログラム
JP2009101984A (ja) * 2007-10-01 2009-05-14 Nissan Motor Co Ltd 駐車支援装置及び方法
JP2011205514A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP2012113605A (ja) 2010-11-26 2012-06-14 Toshiba Alpine Automotive Technology Corp 運転支援装置及び運転支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2939877A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11608102B2 (en) 2016-02-23 2023-03-21 Kyocera Corporation Vehicle and in-vehicle control method

Also Published As

Publication number Publication date
EP2939877A4 (en) 2016-08-24
EP2939877A1 (en) 2015-11-04
EP2939877B1 (en) 2018-05-16
JP6022930B2 (ja) 2016-11-09
JP2014125029A (ja) 2014-07-07
US10242254B2 (en) 2019-03-26
US20150347830A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
WO2014103272A1 (ja) カメラシステム、カメラモジュールおよびカメラ制御方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
JP2008299676A (ja) 死角情報要求／提供装置及びこれらを利用した車車間通信システム
KR101198206B1 (ko) 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법
JP2002367080A (ja) 車両用視覚支援方法及び装置
JP2012040883A (ja) 車両周囲画像生成装置
CN111246160A (zh) 信息提供系统和方法、服务器、车载装置以及存储介质
JP2016168877A (ja) 車両用視認装置
JP2008207627A (ja) 車載撮像システム、撮像装置及び表示制御装置
CN106169258A (zh) 用于辅助车辆操纵过程的方法和装置
WO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN206287929U (zh) 一种3d全景泊车装置及系统
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
JP5195776B2 (ja) 車両周辺監視装置
JP6185135B2 (ja) 統合画像処理システム
JP2007329611A (ja) 車両周辺監視装置、車両周辺監視システム、および車両周辺監視方法
JP5991688B2 (ja) ステレオカメラユニット及び自動車用モニタシステム
JP6054738B2 (ja) カメラモジュール、カメラシステムおよび画像表示方法
CN115883778A (zh) 移动体、图像处理方法和存储介质
US12088927B2 (en) Imaging device and imaging method
JP4730819B2 (ja) 周辺状況表示装置及び周辺状況表示方法
JP6209921B2 (ja) 予測進路提示システム
EP4380178A1 (en) Image processing system, image processing method, and storage medium
WO2015045567A1 (ja) 予測進路提示装置及び予測進路提示方法
JP2018121223A (ja) 画像処理装置および車載撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13867217

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14655028

Country of ref document: US

Ref document number: 2013867217

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE