WO2005006756A1 - 画像処理カメラシステム及び画像処理カメラ制御方法 - Google Patents

画像処理カメラシステム及び画像処理カメラ制御方法 Download PDF

Info

Publication number
WO2005006756A1
WO2005006756A1 PCT/JP2003/008896 JP0308896W WO2005006756A1 WO 2005006756 A1 WO2005006756 A1 WO 2005006756A1 JP 0308896 W JP0308896 W JP 0308896W WO 2005006756 A1 WO2005006756 A1 WO 2005006756A1
Authority
WO
WIPO (PCT)
Prior art keywords
application
applications
image data
image
imaging device
Prior art date
Application number
PCT/JP2003/008896
Other languages
English (en)
French (fr)
Inventor
Shoji Muramatsu
Yuuji Otsuka
Hiroshi Takenaga
Tatsuhiko Monji
Jiro Takezaki
Isao Furusawa
Original Assignee
Hitachi, Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to DE60329335T priority Critical patent/DE60329335D1/de
Priority to US10/563,486 priority patent/US7702133B2/en
Priority to EP09167463.0A priority patent/EP2136562B1/en
Priority to PCT/JP2003/008896 priority patent/WO2005006756A1/ja
Priority to JP2005503866A priority patent/JP4153522B2/ja
Priority to CNB038267756A priority patent/CN100473152C/zh
Application filed by Hitachi, Ltd. filed Critical Hitachi, Ltd.
Priority to EP03817431A priority patent/EP1646240B1/en
Publication of WO2005006756A1 publication Critical patent/WO2005006756A1/ja
Priority to US12/717,707 priority patent/US7995797B2/en
Priority to US13/185,662 priority patent/US8199976B2/en
Priority to US13/358,596 priority patent/US8452056B2/en
Priority to US13/871,003 priority patent/US9042604B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/0875—Registering performance data using magnetic data carriers
    • G07C5/0891—Video recorder in combination with video camera

Definitions

  • the present invention relates to an image processing camera system that shares one imaging device for a plurality of uses and a control method thereof.
  • Image processing technology has begun to be applied to monitoring systems that detect intrusions and abnormalities of suspicious persons, and in-vehicle systems that support safe driving of cars.
  • an outdoor image processing system such as an in-vehicle system
  • the camera system must perform stable lane recognition with one camera installed in the forward direction.
  • Exposure control techniques for stably acquiring an image required by an application are disclosed in, for example, Japanese Patent Application Laid-Open Nos. H8-24083 and H9-1918692. There is a technology that has been done.
  • one imaging device can be used for multiple applications.
  • a plurality of applications can efficiently use one camera. Specifically, first, when multiple cameras have the same desired camera control (exposure, viewing angle, camera direction) and can obtain a sharable image, multiple applications share one camera. .
  • time-division control is possible by switching the setting within a short time in which images in a plurality of applications are not interrupted, Sharing a camera. If the difference between the parameters deviates from a predetermined range, the application is informed that shooting is not possible, and an appropriate process is executed on the application. Disclosure of the invention
  • a monitoring system or in-vehicle system application that is required to perform image processing at a certain period.
  • an in-vehicle system there is a lane keeping system that recognizes the traveling lane by image processing and controls the steering so that the vehicle does not go off the traveling lane.
  • the processing cycle of the image processing must be absolutely observed. If this period cannot be observed, control by image processing will not be possible, the system will not function, and malfunction will occur, so operation is not permitted.
  • An object of the present invention is to provide an image processing camera system that can share one imaging device with high reliability by a plurality of applications.
  • Another object of the present invention is to provide a user-friendly image processing camera system in which a plurality of executable applications can be clearly indicated to the user, and the application to be executed by the user can be selected without hesitation. You.
  • an imaging unit for acquiring an image an imaging device control unit for receiving an image acquisition request from a plurality of ablations and controlling an imaging device, and an abbreviated scheduling unit for selecting an application to be executed
  • the application scheduling unit can be executed in parallel based on the number of image data read from the means for storing the required number of images, the number of data, and the frequency of capturing image data in multiple applications, and the frequency of capturing image data.
  • the means for selecting multiple application applications and the multiple executable applications repeatedly acquire image data from a single imaging device without overlapping in time.
  • Image capture It is characterized by having a cage ring part.
  • FIG. 1 is a block diagram of an image processing camera system and a hardware configuration diagram of an image processing power camera according to an embodiment in which the present invention is applied to an automobile
  • FIG. FIG. 3 is a functional block diagram of an image processing camera system according to an embodiment of the present invention
  • FIG. 4 is a functional block diagram of an imaging device control unit
  • FIG. FIG. 6 is a hardware configuration diagram of the imaging device.
  • FIG. 6 is a time chart of an example of operation scheduling of a plurality of applications.
  • FIG. 7 is a processing flow diagram for scheduling an application according to an embodiment of the present invention.
  • Fig. 8 is a time chart of another example of the operation scheduling of a plurality of applications. Scheduling time chart when the pre-cancel is operated, Fig.
  • FIG. 10 is a scheduling time chart of the procedure for starting additional applications
  • Fig. 11 is an example of grouping of applications that can operate in parallel.
  • Fig. 12 shows the application.
  • Figure 13 shows an example of a navigation screen for selecting and switching applications.
  • Figure 13 shows an example of a screen after selecting high image quality for a video album.
  • Figure 14 shows changes in the navigation screen before and after adding an application.
  • FIG. 15 is a processing flow diagram for additionally starting an application according to an embodiment of the present invention
  • FIG. 16 is a screen for executing addition of a new application and deletion of an existing application.
  • FIG. 17 is a flowchart of a download process of a new application according to an embodiment of the present invention
  • FIG. 18 is a flowchart of an operation scheduling of a plurality of applications including a new application.
  • FIG. 1 is a schematic configuration block diagram of an image processing camera system mounted on a vehicle according to an embodiment of the present invention and a hardware configuration diagram of an image processing power camera.
  • This image processing camera system realizes a number of applications as described later using cameras 2 and 3 installed in the front and rear directions of the automobile 1.
  • the image processing cameras 2 and 3 are connected to interface means 5 via a network 4.
  • the network 4 can use a standardized network such as CAN (Control Area Neighbor) or a connection method that simply expresses ONZOFF with a power line.
  • the interface means 5 is a device for exchanging information with the driver, such as a navigation system, a steering wheel, a brake, and the like, and an engine control unit ..
  • the image acquired by the imaging device 6 is stored in the RAM 8 via the imaging device interface 7.
  • Programs for a number of applications to be described later, control programs for the imaging device 6, and the like are stored in the ROM 9 in advance, and are executed by the CPU 10 as necessary.
  • an external interface means 11 mediates with an external device via a network 4. That is, these elements 7 to 11 constitute the microcomputer 12, and the ROM 9 stores a program for activating the image processing cameras 2 and 3 and information about an executable application. .
  • the RAM 8 stores information necessary for executing the application. Information necessary for executing the application includes environmental information described later, information obtained from the interface unit 5 in FIG. 1 (a), and image data.
  • the imaging device 6 is controlled by a program processed by the microcomputer 12, that is, the CPU 10, and the control information is transmitted via the imaging device interface 7.
  • Fig. 2 is an illustration of many applications in a car and the required image quality, rate, camera control and image processing functions. As shown in Fig. 2, the following are examples of applications. (1) Monitoring of the surroundings of the vehicle, (2) Drive recorder for recording the driving conditions, (3) Video album for recording the surrounding images during driving as a memorial, (4) Recognition of the driving lane by camera (5) Obstacle warning to warn of obstacles while driving, (6) Interruption-overtaking vehicle warning, (7) Automatic control of turning off lights and lighting Automatic light control function to control the brightness intensity and direction of the vehicle, (8) parking and changing lanes (9) Collision mitigation and avoidance functions to reduce collision damage as much as possible before a collision.
  • the rate is the frequency of processing, and the higher the rate, the smaller the number of processing cycles and the processing is repeated at short time intervals.
  • the rate increases.
  • some applications satisfy the function if processing can be performed once per second, while others require processing at 16 millisecond intervals. One must consider.
  • “3 Camera control” is mainly divided into applications where humans view images and applications where computers process images.
  • the monitor ring, drive recorder, and video album functions in The application below the automatic light control performs recognition processing.
  • the control for monitoring only needs to be able to acquire a natural image with human appearance, and the control for image processing is controlled so that the image that can be processed by the image processing part can be acquired. I do.
  • images for image processing include images acquired with a low-speed shutter for processing dark parts of an image, and images acquired with a high-speed shutter for processing bright parts. These shutter-controlled images are often too dark or too bright to look different from camera control for monitoring.
  • color control differs from monitoring camera control for monitoring, which reproduces natural colors, because it acquires images with red and yellow enhancements to detect signals.
  • Fig. 2 shows the necessary image processing functions for each application.
  • the basic image processing functions include image compression, color correction, lane recognition, and vehicle detection. Some functions require the same function in multiple applications. If the same function is required by multiple applications, the camera control required by that function can be shared between applications. For example, a lane departure warning requires a lane recognition function. Similarly, if the lane recognition function is shared with an interrupted vehicle warning that requires the lane recognition function, the use of imaging devices is also shared. can do.
  • an embodiment of the present invention will be described in which one camera (imaging device) is shared to realize many applications.
  • FIG. 3 is a functional block diagram showing an outline of an embodiment of the image processing system according to the present invention. Most of the functions shown here are performed by the microphone computer 12 described in FIG. First, the imaging device control unit 13 that controls the imaging device 6 that acquires images and the application An application scheduling unit 14 for controlling the execution and stop of the application is provided.
  • the system is equipped with N applications 15 1 to 15 N. Each application uses the necessary image processing functions (A to M) 16 A to 16 M Operate. Further, each application has environment information 17 used for processing and the application scheduling unit 1 used for controlling the application.
  • an imaging device control unit 13 for controlling the imaging device 6 and a part for executing each of the applications A to M are shown in FIG.
  • the image processing cameras 2 and 3 shown in the figure are collected. Therefore, a camera with advanced processing functions to realize the above-mentioned application (for example, cameras 2 and 3) is called an image processing power camera to distinguish it from a camera that acquires only a single image.
  • an image processing power camera to distinguish it from a camera that acquires only a single image.
  • the application 155 refers to environment information 17 such as ambient brightness, an image processing range, and a state of a currently acquired image. Based on this, the camera parameters (camera orientation, aperture value, shutter speed, etc.) are determined, and the imaging device control unit 13 is requested to control the imaging device 6.
  • the imaging device control unit 13 sets the camera parameters desired by the application 151 in consideration of the exposure time of the imaging device 6, and the like.
  • the environmental information 17 includes map information, date and time (season), illuminance outside the vehicle, weather, gazing range, and the like.
  • the application scheduling section 14 fulfills its function. That is, the application scheduling unit 14 has a function of adjusting and executing control of the imaging device 6 when requested by a plurality of applications 1 to N.
  • the imaging device 6 cannot be shared. For example, an application that wants to capture a high-quality image of a video to acquire a beautiful image every frame, and an application that wants to acquire an image necessary for image processing every time at a time interval as short as possible, such as collision avoidance. . It is difficult to execute these two applications in parallel using one imaging device unless the camera control of the two applications is exactly the same. For this reason, the applications to be executed in parallel are limited, but the control is also performed by the application scheduling unit 14.
  • the application scheduling unit 14 determines an executable application based on the image control information and processing amount required by each application, and the running state of the car 1. If so, adjust the timing of image acquisition and processing.
  • the in-plane interface means 5 interacts with the driver and the drive control system of the automobile 1 such as a navigation system, a handle, and a brake. Playing a role.
  • FIG. 4 is a functional block diagram of the imaging device control unit 13. As shown in the figure, there are the following five control function units for controlling an image obtained from the imaging device 6. First, an exposure control unit 131, which controls the amount of light incident on the imaging element for converting the amount of light into an electric signal, and a gain control unit 1,32, which converts the amount of light into an electric signal and then controls brightness using the electric signal. And a color control unit 133 for controlling color information. Further, a scan range control unit 134 and a video input control unit 135 for limiting the range of data transfer and scanning the screen at high speed are provided. Each control is executed by the program processing of the microcomputer 12 as described with reference to FIG. 1 (b). Depending on the control target, there are static parameters that can be changed in real time, and there are dynamic parameters that can be changed by mechanically controlling the device.In the latter case, it takes time to acquire the desired image. Sometimes it takes.
  • FIG. 5 is a hardware configuration diagram of the imaging device 6.
  • the signal processing unit 61 executes static control such as gain control and color control for changing camera parameters.
  • an optical system such as a lens 62, an aperture 63 and an image sensor 64
  • an optical system controller 65 for dynamically controlling a focus and a shutter speed.
  • the scheduling for these changes is also executed.
  • the parameters of the signal processing can be changed instantaneously, but the optical system often cannot change them instantaneously. .
  • each application needs to process at a predetermined rate. For example, in a lane departure report, a replacement report must be issued within 300 ms after leaving the lane. If required, the lane departure warning processing cycle must be at most 300 [ms] or less. If the specified rate cannot be achieved in relation to the running application, this lane departure warning process should not be activated. Therefore, each application must be scheduled so that a predetermined rate can be realized, and each application must be started. The scheduling will be described in detail below.
  • Fig. 6 is an example time chart of operation scheduling for multiple applications, where two applications, an interrupting vehicle alarm and a drive recorder, share one imaging device and are executed in parallel. This shows the scheduling rule.
  • Video frame 300 specifies the evening at which an image can be acquired, and each evening is represented by a frame number of frames F0 to F5. For example, in a normal imaging device, one frame is 33 [ms] or 16 [ms].
  • the interrupted vehicle alarm 301 as shown in the camera control column in Fig. 2, the recognition of the interrupted vehicle (vehicle detection) is performed by using two images that have been subjected to high-speed and low-speed shutter control. I have. Therefore, it is necessary to acquire and process two images, images 1 and 2.
  • the processing cycle (one cycle) of the interrupting vehicle alarm 301 is six frames, two images are acquired and each image is processed within the period of six frames.
  • the drive recorder 302 is a process for recording images, but the processing cycle here is also 6 frames, and only one image is acquired.
  • the application scheduling unit 14 in FIG. 3 obtains the images 1 and 2 for the interrupted vehicle alarm 301 and calculates the processing times of the processes 1 and 2. Then, since the interrupting vehicle warning 310 requires 6 frames, image 1 is taken in frame F0, processing 1 is assigned to frames F1 to F2, and image 2 is taken in frame F3. Processing 2 is assigned to frames F4 to F5.
  • the processing of the coder 302 is only for image acquisition, and the acquisition of the image 3 is assigned to the frame F1 in which the imaging device 6 is not used in the interruption vehicle alarm 301.
  • the image acquisition timing is different between the two applications, the camera parameters of the images 1 to 3 can be set completely different, and a single imaging device 6 must be shared between these applications. Can be.
  • FIG. 7 is a processing flowchart of scheduling an application according to an embodiment of the present invention. Using this, the cycle of the scheduling process will be described.
  • the processing cycle (cycle) is six frames including frames F0 to F5, and this processing cycle is repeated.
  • the processing cycle is checked whether the processing schedule being executed has been updated. If the schedule has not been changed, the processing shifts to the processing in the period of frame F0 in step 72.
  • Step 72 first, in Step 721, an acquisition command of image data to be captured during the period of the frame F0 is issued.
  • step 72 the camera parameters to be captured during the next frame F1 are set, for example, exposure control such as shutter speed.
  • the setting of the camera parameters is performed by the microcomputer 12 shown in FIG. 1 (b) as a function of the imaging device control section 13 in FIG. That is, the setting is made at a timing suitable for the imaging device 6 via the imaging device interface 7.
  • step 72 software processing to be executed in the period of frame F0 is performed. After performing all the processing performed during the frame F0 period, in step 73, the next time Set to perform processing and end this processing. Then, when the time of frame F1 comes and this process is started again by the timer interrupt, the process in frame F1 is executed in the same manner. In this way, the processing of frames F0 to F5 is sequentially repeated by the timer interrupt.
  • step 71 when the schedule is updated, the subsequent processing is the same as the processing described above, but each processing timing is initialized as necessary according to the new schedule.
  • the application of the new schedule is performed in step 71.
  • FIG. 8 is a time chart of another example of the operation scheduling of a plurality of applications, and is an explanatory diagram of the parallel operation of the lane departure warning 310, the light automatic control 311, and the drive recorder 302. is there.
  • the lane departure warning 310 has a processing cycle of 6 frames.
  • the required images are two high-speed and low-speed shutters, and the processing amount is one frame for each image, for a total of two frames. Has become.
  • the automatic light control 311 also has a processing cycle of six cycles, two images with high / low shutter speeds, and a processing amount of one frame for each image.
  • the drive recorder 302 may record one image at regular intervals (here, 6 frames).
  • the application execution scheduling in this case is shown in Fig. 8 (a) and (b).
  • Fig. 8 (b) The case where the lane departure warning 310 and the automatic light control 311 cannot share their respective images will be described with reference to Fig. 8 (b). At this time, it is assumed that the camera parameter control used in each application is different and the control is not always the same. Since the lane departure warning 310 and the automatic light control 311 cannot be shared, the automatic light control 311 must acquire two images, images 4 and 5, independently. The lane departure warning 310 and the drive recorder 302 perform scheduling to acquire images 4 and 5 at frames F 2 and F 5 that are not used. Further, the processes 3 and 4 for the automatic light control 3 1 1 are scheduled in the frames F 0 and F 3 in accordance with the image acquisition timing. Thus, these three applications can operate in parallel while sharing one imaging device 6.
  • FIG. 9 is a scheduling time chart when the video album application is operated.
  • the processing cycle (cycle) is one frame, as shown in FIG. 9 (a).
  • the processing cycle (cycle) at this time is 6 frames, the scheduling is as shown in FIG.
  • the imaging device 6 can be newly controlled with another camera parameter to acquire an image, so that various applications can be selected and executed.
  • Fig. 10 is a scheduling time chart of the procedure for starting additional applications.
  • the figure shows the case where the automatic light control 3 11 1 is additionally started while the low-quality video album function 3 13 is operating.
  • FIG. 7A since only the low-quality image album function 3 13 is operating, there are many periods in which the imaging device 6 is not used.
  • the processing cycle (cycle) is a minimum of 4 frames (2 image captures and 2 processings). It fits within 6 frames. If the number of cycles is 4 frames or more, the video album (low quality) 3 13 and the light automatic control 3 11 can be executed in parallel. In this embodiment, the number of cycles of the automatic light control 311 is set to 6 frames.
  • the two applications of the video album function 3 13 and the automatic light control 3 11 1 are executed in parallel. Can be activated. At this time, the start of the processing of the added light automatic control 311 is controlled so as to start in accordance with the processing cycle of the video album. In addition, since the image acquisition is performed in synchronization with the video synchronization signal during image capture, the processing cycle and start timing are all set to the video synchronization signal.
  • the imaging device 6 can be shared between applications that dynamically change camera parameters.
  • FIG. 11 is an example of grouping applications that can operate in parallel. Operable applications can be grouped in advance, and control can be performed to perform optimal scheduling for each group. By grouping the applications that operate in advance, the user does not need to select each application, and the imaging device 6 can be used efficiently because optimal scheduling can always be performed. Considering the degree of matching of the basic image processing functions (Fig. 2) between each application, etc., the grouping is determined based on the availability of image capture and execution of the processing schedule described in Figs. This example shows a case where groups 1 to 4 are grouped to include three, two, five, and two applications, respectively.
  • a user interface according to an embodiment of the present invention will be described.
  • the present invention By sharing one imaging device 6, it is possible to switch a plurality of applications or to process in parallel. Therefore, a user interface is provided in which the driver can switch the functions of the image processing cameras 2 and 3 or start a new one while driving.
  • FIG. 12 is an example of a navigation screen for selecting and switching applications.
  • the procedure in which the driver selects or switches the application on the napige screen 19 will be described.
  • a large number of selectable applications are displayed on the screen 19, and the driver can execute the application by touching the application display section of the navigation screen 19. Can be selected.
  • a case in which high image quality of a video album is selected will be described.
  • screens 19 after Fig. 12 some of the many applications shown in Fig. 2 are omitted due to space limitations. However, in fact, all applications are displayed.
  • FIG. 13 shows the screen after selecting the high image quality of the video album.
  • “video album (high quality)” is brightly displayed on the screen 19 as shown by the thick line.
  • the applications that can be operated in parallel are greatly limited as described in Fig. 9 (a).
  • the monitoring function 303 is operable in parallel as shown in the parallel operable group 4 in FIG. Therefore, the display of “monitoring” is displayed in a color or brightness indicating that selection is possible as shown by the solid line.
  • the display of the other applications is switched to the non-selectable state as shown by the broken line.
  • the application is terminated when the “Reset” button is set or the “Video album (high quality)” display is set again. I do. Starting and stopping the application is immediately reflected in the control of the imaging device, and the image obtained from the imaging device changes. At this time, there are two types of changes: a case where the obtained image itself changes due to exposure control or the like, and a case where the processing cycle changes and the timing of the output image changes. Since one imaging device 6 is shared by a plurality of applications, it is necessary to change the output data of the imaging device when the operating application changes.
  • FIG. 14 is an example of a navigation screen for adding an application. Many other applications can be run while the video album (low quality) is running than when the video album (high quality) is running.
  • the parallel operation group 4 in Fig. 11 In addition to Bam (low image quality) 3 13, processing of automatic light control 3 11, warning of interrupted vehicles 310, lane departure warning 310 and parking assistance 304 is possible.
  • the navigation screen 19 in Fig. 14 (a) clearly indicates that the video album (low quality) is in operation, and also indicates that the above four ablation can be started. ing.
  • the driver 1 additionally starts the automatic light control 311 will be described. In this case, it is assumed that the display of "automatic light control" is set to the display in FIG. 14 (a).
  • FIG. 14 (b) shows a screen where the automatic light control 311 is additionally activated. As shown in the figure, the display of “automatic light control” is switched to a display indicating that it is in operation, and this application is started.
  • FIG. 14 (b) illustrates a state in which the display section of “parking assistance” is switched to an unselectable state because the vehicle is traveling at high speed. Also, even if the driver has previously selected parking assistance, if the scheduled high speed is reached, the display of “parking assistance” is also turned off and the selection is disabled.
  • applications such as the interrupting vehicle alarm 301 and the lane departure alarm 310 can operate, and only those applications that can be displayed are displayed for selection.
  • safety features such as collision mitigation are prioritized while driving in urban areas, and lane departure alerts and video albums It can be operated prior to the function. Conversely, in sightseeing spots and scenic places, it is possible to prioritize the video album function and stop other functions.
  • information from various sensors such as brakes, GPS, and vehicle speed can be used to limit the selection of applications that operate in response to changes in the surrounding environment. Can be switched.
  • the application scheduling unit 14 shown in FIG. 3 executes the application, additionally starts and stops, etc., the operating application can be switched from the navigation screen according to the driver's intention.
  • buttons may be attached to the steering wheel to select the lane keeping traveling function.
  • FIG. 15 is a processing flow chart for additionally starting an application according to an embodiment of the present invention.
  • the driver additionally activates the automatic light control 3 1 1 on the navigation screen 19.
  • the program obtains information on the application being executed and the application to be added.
  • Fig. 11 there is grouping information as described in Fig. 11 that investigates which applications can be executed in parallel.
  • the scheduling process of step 203 it is checked whether the selected automatic light control is in the same group as the active video album (low image quality) function. Even if there is no grouping information, it is possible to confirm whether or not the selected application is an executable application by referring to the application information. Whether it can be executed or not is determined based on the number of processing cycles, the number of acquired images, and information on necessary image processing functions, as described in Figs. 6 to 10 within the processing cycle. Judgment is made based on whether or not allocation is possible. After distinguishing between executable and non-executable applications, the information is reflected in the application information.
  • environmental information 1 7 Update the schedule using the application information and scheduling information in the.
  • the schedule is updated so that the application requested to be additionally activated and the application in operation are repeatedly loaded with image data from one imaging device without time overlap.
  • step 204 the application that can be added is analyzed again with the updated new schedule, the driver is notified, and preparation is made for the next application addition event, and then the processing is ended in step 205.
  • the schedule is updated in step 71 of FIG. 7 in order to ensure consistency of information during processing.
  • a step (202) for selecting a plurality of applications that can be executed in parallel is provided.
  • a plurality of executable applications include a scheduling step (203) for determining an image data acquisition timing and an interpal in which image data is repeatedly acquired from one imaging device without overlapping in time.
  • the scheduling step (203) includes a step of determining timing including processing using the captured image data in each application.
  • the method includes a step of reading out the number of image data necessary for a plurality of applications and the necessary fetching frequency from the storage means (17) storing these. Then, based on the number of read image data and the frequency of capture, a plurality of executable applications can be used to determine the image data capture timing at which image data is repeatedly captured from one imaging device. And steps to determine the interval.
  • Fig. 16 shows an example of a screen for adding a new application and deleting an existing application.
  • the application can specify the information required for the operation, such as the processing cycle (cycle), the image processing function, the image to be used, and the processing amount, and add it to the menu. This can be selected or deleted from the screen as in the case of the conventional application.
  • FIG. 16 shows a touch panel section 191 to be downloaded to add a new application and a touch panel section 192 to delete an existing application.
  • FIG. 17 is a processing flowchart for down-loading a new application.
  • New applications will be obtained from recording media such as the Internet and Compact Flash. If the user chooses to select a new application from the down word, this process is invoked from step 17 1.
  • step 172 an application that can be downloaded is presented to the user as a menu.
  • step 173 the user selects a required new application from the menu.
  • step 175 analysis of applications that can operate in parallel is performed.
  • the combination of executable applications concurrent determines from as described above, the number of cycles s acquired number of images and the necessary image processing functions of the processing, and the like.
  • FIG. 18 is a diagram showing a processing flow of operation scheduling including a new application.
  • This scheduling process is performed as shown in step 2 in FIG. This is the process performed in the scheduling of 03.
  • the scheduling process is started in step 181, and information on the application being executed and the application to be added is obtained in step 182.
  • step 183 the application having the shortest processing cycle is mapped on the schedule. At this time, make sure to allow as much room as possible so that other applications can operate.
  • step 184 the application having the next shortest processing cycle is matched.
  • the mapping fails, that is, if the imaging device 6 cannot be used or the time for the soft processing is not sufficient, the processing in the previous step 18 3 application scheduling processing is performed. Return. Then, the timing of the software processing using the imaging device 6 is changed, and the application having the second shortest processing cycle number in step 184 is again mapped. If the mapping is successful, the process proceeds to step 185, and the application is sequentially scheduled. In step 186, it is confirmed that the application having the longest processing cycle number can be mapped on the schedule. When an application that cannot be mapped on the schedule appears on the way, it is determined that the addition of the requested application is not an application that can be executed in parallel, and the user is notified accordingly. Abandon additional startup.
  • means (17) for storing the required number of image data and the frequency of taking image data in a plurality of applications is provided.
  • a means (14) for selecting a plurality of applications that can be executed in parallel based on the number of image data and the frequency of capturing image data is provided.
  • an image acquisition scheduling unit (1) that determines the timing and interval of image data acquisition in which a plurality of executable applications repeatedly acquire image data from one imaging device without overlapping in time. 4) is provided.
  • the scheduling unit (14) is configured to determine a timing including a process using the captured image data in each application.
  • an application group storage unit (17) for storing a combination of a plurality of applications that are executed in parallel using image data from one imaging device is provided.
  • the selection means reads out the data on the application groups that can be executed in parallel from the application group storage means.
  • the imaging device has multiple basic image processing function units (16A to 16M) that control the imaging device to execute multiple applications. Further, there is provided a means for determining a plurality of applications to be executed in parallel using image data from one imaging device, based on the degree of coincidence of the required basic image processing functions.
  • the means (14) for selecting a plurality of applications that can be executed in parallel based on the number of image data and the frequency of capturing image data is a certain application. During the execution of the application, another executable application is selected based on belonging to the same application group as the application being executed. It also helps to select other executable applications based on the degree of matching of the required basic image processing function with the application being executed. Further, at the timing between the image data acquisition periods of the running application and the image data from the imaging device, the other application can acquire the image data from the imaging device. ——A is selected as an executable application.
  • the man-machine interface is provided with a means for displaying an executable application (19) and an operation means for a user to instruct activation of the displayed executable application. .
  • an executable application selecting means for switching an additionally executable application in accordance with a change in the surrounding environment, and a means for displaying the executable application selected by the selecting means.
  • the present invention can be applied to various types of image processing camera systems.
  • the present invention can be applied to an intruder surveillance camera system.
  • the present invention is applied when there is an image processing function that can be shared, rather than installing a plurality of cameras that realize a specific function. The number can be reduced.
  • an image processing camera system that can share one imaging device with a plurality of applications with high reliability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

明 細 書 画像処理カメラシステム及び画像処理カメラ制御方法 技術分野
本発明は、 1つの撮像デバイスを複数の用途で共有する画像処理カメ ラシステム及びその制御方法に関する。 背景技術
画像処理技術は、 不審者の侵入や異常を検知する監視システムや、 車 の安全走行を支援する車載システムに適用され始めている。 車載システ ムのような、 屋外の画像処理システムでは、 1つの撮像デバイスから複 数のアプリケーションに必要な映像を取得するために、 外界の状況に合 わせたカメラ制御が必要となる。 1つのアプリケ——ンョンでも見たい場 所や使用する時間帯によって、 カメラの向きや露光を制御する必要が出 てくる。 例えば、 車線認識のために自動車に搭載された力メラシステム では、 トンネルの出入り口、 西日による太陽光、 対向車のヘッ ドライ ト などによって得られる映像の明るさが急激に変化する。 このような場合 にも、 カメラシステムは-, 前方向に設置された 1台のカメラで安定に車 線の認識を行わなければならない。 アプリケーションが必要としている 画像を安定して取得する露光制御の技術としては、 例えば- 特開平 8— 2 4 0 8 3 3号公報や、 特開平 9 一 1 8 1 9 6 2号公報などに開示され た技術がある。
これらのシステムへの画像処理技術を普及するためには、 画像処理装 置の小スペース化、 低価格化が求められている。 この小スペース、 低価 格を実現するために、 1つの撮像デバイスを複数のアプリケーションに 共有する技術がある。 例えば、 特開平 7— 4 6 5 6 8号公報に開示され ているように、 複数のアプリケ一シヨンが 1つのカメラを効率良く利用 できるようにするものである。 具体的には、 まず、 複数のアプリケーシ ヨンが望むカメラ制御 （露光、 視野角、 カメラ方向） が同一で、 共有で きる映像が取得できる場合に、 複数のアプリケーションで 1つのカメラ を共有している。 また、 カメラ制御の前記各パラメ一夕の差が所定の範 囲内にあり、 複数のアプリケ一ションでの画像が途切れない微小時間内 に設定を切替えて時分割制御が可能な場合に、 1つのカメラを共有して いる。そして、前記各パラメータの差が所定の範囲を逸脱した場合には、 該当アプリケーションに対して、 撮影不可能であることを知らせ、 該当 アプリケーション側で、 適切な処理を実行する。 発明の開示
ここで、 ある決められた周期で画像処理をすることが求められている 監視システムや車載システムのアプリケーションを想定する。 例えば、 車載システムの例として、 走行車線を画像処理により認識して車両が走 行車線をはみ出したりしないようにステアリングを制御する車線維持シ ステムがある。 このシステムでは、 画像処理による車線の認識結果を一 定時間内 （例えば 2 0 0 m s以内） に取得してステアリングの制御をす る必要がある。 画像処理結果をその後の制御に使用するこのようなシス テムでは、 画像処理の処理周期は絶対に守らなければならない。 この周 期が守れない場合は、 画像処理による制御ができなくなり、 システムが 機能しなくなり、 誤動作などの原因となるので運用は認められない。 こ のように高い信頼性が要求されるシステムとしては、 侵入者検知、 人流 /交通流計測装置、 異常検知装置などの監視システムがあり、 車載シス テムにおいては、 安全支援システム、 各種警報システムなど多数存在す る。 これら監視システムや車載システムで使用されるカメラでは、 外界 を認識する必要があるため、 画像処理のために、 1つのアプリケーショ ンでもカメラパラメータは時々刻々と変化している。 したがって、 一時 期のカメラパラメータの近似によってカメラを共有することはできない, 例えば、 前記車線維持システムにおいて、 ある一時期、 別のアプリケー シヨンと偶然カメラパラメータが近似すると、 システムが稼動する。 し かし、 次の瞬間、 カメラパラメータが変化してカメラが共有できなくな り、 車線維持システムが停止してしまう。 制御に使用するシステムにこ のような状況があってはならず、 信頼性のあるシステムは得られない。 本発明の目的は、 1つの撮像デバイスを、複数のアプリケ一シヨンで、 信頼性高く共有することのできる画像処理カメラシステムを提供するこ とである。
本発明の他の目的は、 実行できる複数のアプリケーションをユーザに 明示し、 ユーザが実行するアプリケ——ンョンを迷うことなく選ぶことが できる、 使い勝手に優れた画像処理カメラシステムを提供することであ る。
本発明はその一面において、 画像を取得する撮像手段と、 複数のアブ リケ一ションからの画像取得要求を受付け撮像デバイスを制御する撮像 デバイスコントロール部と、 実行するアプリケーションを選択するアブ リケーシヨンスケジューリング部とを具備し、 アプリケーションスケジ ュ一リング部は 複数のアプリケーションにおける必要な画像、データ数 と画像データ取込み頻度を記憶する手段から読み出した画像データ数と 画像データ取込み頻度に基き、 並行して実行可能な複数のアプリケ一シ 3ンを選択する手段と、 実行可能な複数のアプリケーションが、 1つの 撮像デバイスから時間的に重なることなく画像データの取込みを繰返す 画像データ取込みのタイミングとィン夕一バルを決定する画像取込みス ケジユーリング部を備えたことを特徴とする。
これにより、 力メラパラメータを動的に変化させる複数のアプリケー ションで 1つの撮像デバイスを信頼性高く共有することが可能となる。 本発明は他の一面において、 並行して実行可能な複数のアプリケーシ 3ンを表示する手段と、 この表示された実行可能なアプリケーシヨンの 起動をユーザが指示するための操作手段を備えたことを特徴とする。
これにより、 実行できる複数のアプリケーションをユーザに明示し、 ユーザが実行するアプリケーションを迷うことなく選べる使い勝手に優 れた画像処理カメラシステムを提供することができる。
本発明のその他の目的と特徴は以下の実施形態の説明で明らかにする < 図面の簡単な説明
第 1図は本発明を自動車に適用した一実施形態における画像処理カメ ラシステムのブロック図及び画像処理力メラのハードウエア構成図、 第 2図は自動車における多数のアプリケーションが必要とする画質、 レー 卜、 カメラ制御及び画像処理機能の種別を示す図、 第 3図は本発明の一 実施形態における画像処理カメラシステムの機能ブロック図、 第 4図は 撮像デパイスコントロール部の機能プロック図、 第 5図は撮像デバイス のハ一ドウエア構成図 第 6図は複数アプリケ一ションの動作スケジュ 一リングの一例タイムチャート、 第 7図は本発明の一実施形態における アプリケーショ ンをスケジユーリングする処理フロー図、 第 8図は複数 アプリケ一ションの動作スケジユーリングの他の一例タイムチヤ一ト、 第 9図は映像アルバムのアプリケ——ンョンを動作させた場合のスケジュ 一リングタイムチャート、 第 1 0図はアプリケーションを追加起動する 手順のスケジューリングタイムチャート、 第 1 1図は並行して動作可能 なアプリケーショ ンのグルーピングの一例図、. 第 1 2図はアプリケーシ ョンの選択や切替えを行うナビゲーション画面の一例図、 第 1 3図は映 像アルバムの高画質を選択した後の画面例、 第 1 4図はアプリケーショ ンの追加を行う前後のナビゲーション画面の変化の一例を示す図、 第 1 5図は本発明の一実施形態によるアプリケーションの追加起動を行う処 理フロー図、 第 1 6図は新規アプリケ一ションの追加と既存アプリケー ションの削除を実行する画面の一例図、 第 1 7図は本発明の一実施形態 による新規アプリケーションのダウンロード処理フロー図、 第 1 8図は 新規アプリケ一ションを含めた複数アプリケーションの動作スケジュ一 リングの処理フロー図である。 発明を実施するための最良の形態
第 1図は、 本発明の一実施形態による自動車に搭載した画像処理カメ ラシステムの概略構成ブロック図と画像処理力メラのハードウエア構成 図である。 この画像処理カメラシステムは、 自動車 1の前方向や後方向 に設置したカメラ 2 , 3を使用して、 後述するような多数のアプリケー ションを実現するものである。 画像処理カメラ 2， 3は、 ネッ トワーク 4を介してィンタフェース手段 5と接続されている。 自動車 1の場合、 ネッ トワーク 4は、 C A N ( Con t ro l Area Ne twork ) など規格化され たネッ トワークや、 単なる電力線で O N Z O F Fを表現するだけの接続 方法などが利用できる。 インタフェース手段 5は ナピゲーシヨンシス テム、 ハンドル、 ブレーキなどドライバ一との情報のやり取りをするデ バイスであったり、 エンジンコント口一ルュニッ ト.. G P S、 各種セン ザなど制御装置との情報をやり取りするデバイスである。 インタフエ一 ス手段 5がナビゲ一ションシステムである場合は、 C A Nなどのネッ 卜 ワーク 4を通して多量の情報を伝達する。 また、 インタフェース手段 5 がサイ ドブレーキなどである場合は、 必要最小限の O N Z O F F情報の みを伝達する。
第 1図 （b) を用いて画像処理カメラ 2， 3のハードウェア構成の一 実施形態を説明する。 撮像デバイス 6によって取得された画像は、 撮像 デバイスィンタフエース 7を介して RAM 8に格納される。 後述する多 数のアプリケーションのプログラムや、 撮像デバイス 6の制御プロダラ ムなどは、 予め ROM 9に格納されており、 必要に応じて C PU 1 0に よって実行される。 画像処理カメラ 2， 3の内部では、 外部インタフエ ース手段 1 1が、 ネッ トワーク 4を介して外部のデバイスとの仲介を行 つている。 すなわち、 これらの要素 7〜 1 1は、 マイクロコンピュータ 1 2を構成しており、 ROM9には、 画像処理カメラ 2 , 3を起動する ためのプログラムや実行可能なアプリケーションに関する情報が記憶さ れている。 また、 RAM 8にはアプリケーションの実行に必要な情報を 格納している。 アプリケーションの実行に必要な情報としては、 後述す る環境情報や、第 1図（a)のインタフェース手段 5から得られた情報、 及び画像データなどがある。 撮像デバイス 6は、 マイクロコンピュータ 1 2すなわち C P U 1 0が処理するプログラムによって制御され、 その 制御情報は、 撮像デバイスインタフェース 7を介して送信される。
第 2図は、 自動車における多数のアプリケーションと、 必要画質、 レ ート、 カメラ制御及び画像処理機能の説明図である。 第 2図中に示すよ うに、 アプリケーション例として、 次のようなものが挙げられる。 （ 1 ) 車両周囲のモニタリング、 （ 2)走行時の状況を記録するドライブレコー ダ、 （ 3 ) 走行時の周囲映像を記念として記録する映像アルバム、 （4) 走行レーンをカメラによって認識することにより実現される車線逸脱警 報、 （ 5.) 走行中の障害に対して警報を出す障害物警報、 （6) 割込み - 追越し車両警報、 （ 7)自動的にライ トの消灯を制御したりライ トの明る さ強度や方向を制御するライ 卜自動制御機能、 （ 8 )駐車や車線変更する ときの駐車支援 ·車線変更支援機能、 （ 9 ) 衝突前に衝突被害をできるだ け軽減する衝突軽減 · 回避機能などである。
これらの多数のアプリケーションが必要とする①画質、 ②レート、 ③ カメラ制御及び④画像処理機能について説明する。
まず、 「①画質」 については、 高ければ高いほど望ましいが、 解像度が 上がればデータ量が増加し、 処理に負担がかかってしまい、 結果として 所定のレートで処理できなくなってしまう場合がある。 そのため、 アブ リケーションに適した画質が存在する。 第 2図では映像アルバムのみ使 用する画質を指定しているが、 他のアプリケーションでも映像アルバム と同様に適した画質がある。 例えば、 レーン認識に必要な画質は白線な どのレーンマークが判別できれば良く、 必要以上に高画質の画像を時間 とメモリを消費して取得する必要はない。
次に、 「②レート」 についても画質同様、 それぞれのアプリケ一シヨン に適したレー卜が存在する。ここでレートとは処理の頻度のことであり、 レートが高いほど処理サイクル数が小さく、 短い時間間隔で処理が繰返 される。 一般的に高画質な映像を取得しょうとしたり、 安全性に関係す る制御をしょうとすると短い間隔で画像の取得が必要となりレートは高 くなる。 例えば、 衝突軽減や衝突回避など高い信頼性と高速な応答性を 求められるアプリケーションでは、 画像処理の回数を増やして信頼性の 向上と応答性を改善する必要がある。 このように、 アプリケーションの 中には、 1秒間に 1回処理できれば機能を満たすものもあれば、 1 6ミ リ秒間隔で処理が必要なものもあるため、 撮像デバイスを共有するため にはレ一トを考慮しなければならない。
また、 「③カメラ制御」 は、 主に人間が映像を見るアプリケ一ションと 計算機が画像を処理するアプリケーシヨンに分かれる。 第 2図中のモニ 夕リング、 ドライブレコーダ、 映像アルバム機能は見るアプリケーショ ンであり、 ライ ト自動制御以下のアプリケーションは認識処理を行うも のである。 力メラ制御の内容としては、 モニタリング用の制御では、 人 間の見た目で自然な画像が取得できれば良く、 画像処理用の制御では、 画像処理する部分が処理できるような画像が取得できるように制御を行 う。 画像処理用の画像では、 画像の暗い部分の処理用に低速シャッター で取得した画像や、 明るい部分の処理用に高速シャッターで取得した画 像などがある。 これらシャッター制御を行った画像は、 見た目には暗す ぎたり、 明るすぎたりしてモニタリング用のカメラ制御とは異なる場合 が多い。 また、 カラ一制御も信号を検知するために赤色や黄色を強調し た画像を取得したりするため、 自然な色を再現するモニタリング用の力 メラ制御と異なる。
最後に、 第 2図では、 各アプリケーション別に、 必要となる 「④画像 処理機能」 を示している。基本となる画像処理機能としては、画像圧縮、 色補正、 レーン認識、 車両検知などがあるが、 いくつかの機能は複数の アプリケーションで同一の機能が必要とされている。 複数のアプリケー ションで同一機能が必要とされているのであれば、 その機能が必要とす るカメラ制御はアプリケーション間で共有できると考えられる。例えば、 車線逸脱警報であればレーン認識機能が必要となり、 同様にレーン認識 機能が必要となる割込み車両警報とレーン認識機能の共有化を実施すれ ば、 それに伴なつて撮像デバイスの使用も共有化することができる。 以下に、 1つのカメラ （撮像デパイス） を共有して 多数のアプリケ ーションを実現する本発明の一実施形態を説明する。
第 3図は、 本発明による画像処理システムの一実施形態の概要を示す 機能ブロック図である。 ここに示す殆どの機能は、 第 1図で説明したマ イク口コンピュータ 1 2によって実行される。 まず、 画像を取得する撮 像デバイス 6を制御する撮像デバイスコントロール部 1 3と アプリケ y ーションの実行や停止を制御するアプリケーションスケジユーリング部 1 4を備える。 N個のアプリケーション 1 5 1〜 1 5 Nを備えたシステ ムであり、 各アプリケーションは、 基本となる画像処理機能 （A〜M ) 1 6 A〜 1 6 Mのうち必要なものを利用して動作する。 また、 各アプリ ケーションが処理に使用したり、 アプリケーションスケジューリング部 1 が、アプリケ一ションの制御に使用する環境情報 1 7を備えている。 本実施形態では、 通常カメラと呼ばれる撮像デバイス 6に加えて、 撮像 デバイス 6を制御する撮像デバイスコン卜ロール部 1 3、 各アプリケ一 ション A〜Mを実行する部分を、第 1図（ a )に示す画像処理カメラ 2 ， 3部に集約している。 そこで、 前述したアプリケ一ションを実現する高 度な処理機能まで持ったカメラ （例えば、 カメラ 2 , 3 ) のことを単な る画像を取得するカメラと区別するために画像処理力メラと呼ぶことに する。
まず、 第 3図に示した各アプリケ一シヨン 1 〜 Nのうちのひとつ 1 5 1が、 単独で実行する場合について説明する。 この単独実行の説明は、 従来技術の特開平 8 - 2 4 0 8 3 3号公報、 特開平 9 一 1 8 1 9 6 2号 公報などの動作と同様である。 アプリケーション 1 5 1は、 処理に必要 な画像を撮像デバイス 6から取得するために、 周囲の明るさ、 画像処理 範囲、 現在取得している画像の状態などの環境情報 1 7を参照する。 こ れに基き、 カメラパラメ一夕 （カメラ向き、 絞り値、 シャッタースピ一 ドなど） を決定し、 撮像デバイスコントロール部 1 3に撮像デバイス 6 の制御を依頼する。 撮像デバイスコントロール部 1 3では、 撮像デパイ ス 6の露光夕イミングなどを考慮して、 アプリケーション 1 5 1が欲す るカメラパラメ一夕を設定する。 ここで、 環境情報 1 7は、 地図情報、 日時 （季節）、 車外の照度、 天候、 注視範囲などがある。
このように、 単独のアプリケーションのみ存在した場合は アプリケ ——ンョンが欲するカメラパラメ一タを準像デバイスコントロール部 1 3 が撮像デバイス 6に設定するだけの機能で十分である。 しかし、 第 3図 ではアプリケ——ンョンが複数であるため、 各アプリケ一ションから要求 されるカメラパラメータを受付け、 撮像デバイス 6がそれぞれの画像を 限られた時間間隔で取得できるように制御する機能が必要となる。 本実 施例では、 アプリケーションスケジュ一リング部 1 4がその機能を果た している。 つまり、 アプリケ一ションスケジュ一リング部 1 4は、 複数 のアプリケーション 1〜Nから要求され、 撮像デバイス 6に対する制御 を調整して実行する機能を持つ。
アプリケーションの種類によっては、 撮像デバイス 6を共有できない 場合が発生する。 例えば、 映像を高画質で録画したいため綺麗な画像を 毎フレーム取得したいアプリケ一ションと、 衝突回避のように画像処理 に必要な画像をできるだけ短い時間間隔で毎回取得したいというアブリ ケ一ションである。 この 2つのアプリケ一ションを 1つの撮像デバイス を使用して並行して実行することは、 2つのアプリケーションのカメラ 制御が全く同一でない限り困難である。 このため、 並行して実行するァ プリケーションが限定されることになるが、 その制御もアプリケーショ ンスケジユーリング部 1 4で行う。 アプリケ一ションスケジュ一リング 部 1 4は， 各アプリケーショ ンが必要とする画像制御情報と処理量 及 び自動車 1の走行状況から実行可能なアプリケーションを判断する。 そ して 実行できる場合には、 画像の取得タイミングと処理タイミングと を調整する。 このアプリケーションスケジューリング部 1 4によって、 カメラパラメ一夕を動的に変化させる複数のアプリケーションでも、 1 つの撮像デバイスを効率的に共有することができる。 なお、 イン夕フエ ース手段 5は、 第 1図で説明したように、 ナビゲ一ションシステム、 ハ ンドル、 ブレーキなどドライバーや自動車 1の走行制御システムとの仲 介役を果している。
次に、 第 4図、 第 5図を用いて撮像デバイス 1のカメラパラメータの 制御について説明する。
第 4図は、撮像デバイスコントロール部 1 3の機能ブロック図である。 図に示すように、 撮像デバイス 6から得られる画像を制御するには、 次 の 5つの制御機能部がある。 まず、 光量を電気信号に変換するための撮 像素子に入射する光量を制御する露光制御部 1 3 1、 光量を電気信号に 変換した後に電気信号で明るさを制御するゲイン制御部 1 3 2及び色情 報を制御するカラー制御部 1 3 3がある。 また、 データ転送する範囲を 限定し高速に画面をスキャンするスキャン範囲制御部 1 3 4及び映像入 力制御部 1 3 5である。 それぞれの制御は、 第 1図 （b ) で説明したよ うに、マイクロコンピュータ 1 2のプログラム処理によつて実行される。 制御の対象によって、 リアルタイムに変更できる静的パラメータもあれ ば、 装置を機械的に制御して変更する動的パラメ一夕もあり、 後者の場 合には希望する画像を取得するのに時間を要することもある。
第 5図は、 撮像デバイス 6のハードウェア構成図である。 撮像デバイ ス 6の内部では、 信号処理部 6 1によって、 カメラパラメータを変更で きるゲイン制御及びカラ一制御などの静的制御を実行する。 一方、 レン ズ 6 2 絞り 6 3及ぴ撮像素子 6 4などの光学系において.， フォ一カス やシャッタースピードを動的に制御する光学系制御部 6 5がある。 本実 施例では、 これらの変更に関するスケジュ一リングに関しても実行し、 前述したように 信号処理のパラメ一夕変更は瞬時に可能であるが、 光 学系は、 瞬時に変更ができない場合が多い。
次に、 スケジューリングの方法について説明する。 前述したように、 各アプリケーションは所定のレートで処理する必要がある。 例えば、 車 線逸脱 報において、 車線を逸脱してから 3 0 0 [ m s ] 以内に替報を 出す必要があれば車線逸脱警報処理の処理サイクルは最長でも 3 0 0 [m s ] 以下でなければならない。 もし、 実行中のアプリケーションと の関係で所定のレートを実現できない場合は、 この車線逸脱警報処理を 起動すべきでない。 このため、 所定のレー卜が実現できるようにスケジ ュ一リングされて、 各アプリケ一ションを起動しなければならない。 以 下にスケジュ一リングについて詳述する。
第 6図は、 複数アプリケ一ションの動作スケジユーリングの一例タイ ムチャートであり、 割込み車両警報とドライブレコーダの 2つのアプリ ケ一シヨンが 1つの撮像デバイスを共有し、 並行して実行される場合の スケジユーリングを示す。 映像フレーム 3 0 0は、 画像が取得できる夕 ィミングを規定しており、 それぞれの夕イミングをフレーム F 0 - F 5 のフレーム番号で表現している。 例えば、 通常の撮像デバイスでは、 1 つのフレームは 3 3 [ m s ] もしくは 1 6 [ m s ] である。 割込み車両 警報 3 0 1では、 第 2図のカメラ制御の欄に示したように、 高速と低速 のシャッター制御を行った 2枚の画像を用いて割込み車両の認識 (車両 検知） 処理を行っている。 このため、 画像 1 , 2の 2枚の画像を取得し て処理する必要がある。 この図では、 割込み車両警報 3 0 1の処理サイ クル ( 1周期) を 6フレームとしているので、 6フレームの期間内で 2 枚の画像の取得と、 それぞれの画像処理を行う。 一方 ドライブレコ一 ダ 3 0 2は、 画像を記録する処理であるが、 こちらの処理サイクルも 6 フレームであり 取得する画像は 1枚である。 第 3図のアプリケーショ ンスケジユーリング部 1 4は、 割込み車両警報 3 0 1のための画像 1 , 2の取得と、 処理 1 , 2の処理時間を計算する。 そして、 割込み車両警 報 3 0 1には 6フレーム必要であることから、 フレーム F 0に画像 1の 取込み、 フレーム F 1 〜 F 2に処理 1を割当て、 フレーム F 3に画像 2 の取込み.. フレーム F 4 〜 F 5に処理 2を割当てる。 他方、 ドライブレ コーダ 3 0 2の処理は画像取得のみであり、 割込み車両警報 3 0 1で撮 像デバイス 6を使用していないフレーム F 1に画像 3の取込みを割当て ている。 ここで、 両アプリケーションにおいて、 画像の取込みタイミン グは異なっているため、 画像 1〜 3のカメラパラメ一夕は全く異なる設 定が可能であり、 これらのアプリケーションに 1つの撮像デバイス 6を 共有することができる。
第 7図は、 本発明の一実施形態におけるアプリケ一シヨンのスケジュ 一リングの処理フロー図である。 これを用いてスケジユーリング処理の 周期 (サイクル) について説明する。 前述した第 6図では、 処理周期 （サ ィクル） は、 フレーム F 0〜F 5からなる 6フレームであり、 この処理 周期を繰返している。 まず、 周期的に繰返される処理周期の最初のステ ップ 7 1で、実行中の処理スケジュールが更新されているかを確認する。 スケジュールが変更になっていない場合は、 ステップ 7 2のフレーム F 0の期間の処理に移る。 ステップ 7 2の内部では、 まずステップ 7 2 1 で、 フレーム F 0の期間内に取込む画像データの取得コマンドの発行を 行う。 画像データの取込みは、 通常 D M A転送と呼ばれる C P Uに負荷 をかけない転送方法で実現されるため、 C P Uの処理は次のステップ 7 2 2に移る。 ステップ 7 2 2では、 次に来るフレーム F 1の期間内に取 込むカメラパラメ一夕例えば、 シャッタースピ一ドなどの露光制御の設 定を行う。 カメラパラメ一夕の設定は、 第 3図の撮像デバイスコント口 ール部 1 3の機能として、 第 1図 （b ) に示したマイクロコンピュータ 1 2によって実行する。 すなわち、 撮像デバイスインターフェース 7を 介し、 撮像デバイス 6に適したタイミングで設定する。 この処理を終了 すると、 ステップ 7 2 3に移行する。 ステップ 7 2 3では、 フレーム F 0の期間で実行するソフト処理を行う。 フレーム F 0期間に実行する処 理を全て実行したのち、 ステップ 7 3では、 次回にはフレーム F 1での 処理を行うように設定し、 今回の処理を終了する。 その後、 フレーム F 1の時期が来てタイマー割込みにより、 再びこの処理が起動されると、 今度は同様にしてフレーム F 1での処理を実行することになる。 このよ うにして、 タイマー割込みにより、 順次フレーム F 0〜F 5の処理を繰 返す。
ステップ 7 1において、 スケジユールが更新されている場合も、 以降 の処理は上記で説明した処理内容と同様になるが、各処理タイミングは、 新しいスケジュールに従って必要に応じて初期化される。 新しいスケジ ユールの適用は、 ステップ 7 1で実行される。
第 8図は、 複数アプリケーションの動作スケジュ一リングの他の一例 タイムチャートであり、 車線逸脱警報 3 1 0， ライ ト自動制御 3 1 1及 びドライブレコーダ 3 0 2の並行動作についての説明図である。 車線逸 脱警報 3 1 0は、 処理サイクルが 6フレームとなっており、 必要な画像 は高速 Z低速シャッ夕一の 2枚、 処理量はそれぞれの画像に対し 1フレ —ムで合計 2フレームとなっている。 ライ ト自動制御 3 1 1 も、 処理サ イクルは 6サイクルで、 高速/低速シャッターで 2枚の画像、 処理量は それぞれの画像に対し 1 フレームとなっている。 ドライブレコーダ 3 0 2は、 一定間隔 （ここでは 6フレーム） 毎に 1枚の画像を記録すればよ い。この場合のアプリケーション実行のスケジューリングを 第 8図（ a ) と （b ) に示す。 同図 （ a ) では、 車線逸脱警報 3 1 0で使用する高速 /低速シャッターを適用した画像 1 , 2を、 ライ ト自動制御 3 1 1で使 用する画像と共有できる場合を示している。 このとき、 車両検知とレー ン認識の画像処理機能のカメラ制御が同一であるとする。 車線逸脱警報 3 1 0とライ 卜自動制御 3 1 1とで同じ画像が使用できるため、 画像 1 に対して、 車線逸脱警報 3 1 0の処理 1とライ ト自動制御 3 1 1の処理 3とを実行し、 画像 2に対してそれぞれ処理 2と処理 4を実行する。 結 果として、 同図 （ a ) のようなスケジューリングを第 3図のアプリケー ションスケジユーリング部 1 の機能によって実行し、 3つのアプリケ ーシヨンで 1つの撮像デバイス 6を共有することができる。
車線逸脱警報 3 1 0とライ ト自動制御 3 1 1がそれぞれの画像を共有 できない場合について、 第 8図 （b ) を用いて説明する。 このとき、 そ れぞれのァプリケーションで使用するカメラパラメ一夕制御が異なり、 必ずしも同一の制御にならない場合を想定している。 車線逸脱警報 3 1 0とライ ト自動制御 3 1 1の画像が共有できないため、 ライ ト自動制御 3 1 1は独自に画像 4， 5の 2枚の画像を取得する必要がある。 車線逸 脱警報 3 1 0とドライブレコーダ 3 0 2が使用していないフレーム F 2 ， F 5で画像 4 , 5をそれぞれ取得するようにスケジユーリングを行って いる。 また、 画像を取得するタイミングに合せてライ ト自動制御 3 1 1 のための処理 3 , 4をフレーム F 0 ， F 3にスケジューリングする。 こ れにより、 これら 3つのアプリケーションで 1つの撮像デバイス 6を共 有しながら、 並行して動作させることができる。
第 9図は、 映像アルバムのアプリケーションを動作させた場合のスケ ジュ一リングタイムチャートである。 映像アルバムの高画質モード 3 1 2では、 画像を毎フレーム取得して、 リアルタイムに圧縮する処理が求 められる。 画像の取得が毎フレーム行われるため 処理周期 （サイクル） は 1フレームとなり、 第 9図 （a ) に示すようになる。 一方、 映像アル バムの低画質モード 3 1 3の場合、 画像を毎フレーム記録する必要はな く、 コマ落ちした映像となる。 この時の処理周期 （サイクル） を仮に 6 フレームとすると、 同図 ( b ) に示すようなスケジューリングとなる。 図から分るように、 高画質の映像アルバム機能を実行させた場合、 新た に撮像デバイス 6を使用するアプリケーションが動作する余地が無く、 ドライブレコーダ 3 0 2など、 映像アルバム （高画質） 3 1 2と完全に 画像を共有できるアプリケーションのみ並行して実行可能となる。
一方で、 低画質の映像アルバム機能では、 新たに別のカメラパラメ一 夕で撮像デバイス 6を制御し画像を取得することができるので、 様々な アプリケーションを選択して実行することができる。
第 1 0図は、 アプリケーションを追加起動する手順のスケジユーリン グタイムチャートであり、 低画質の映像アルバム機能 3 1 3を動作させ ている状態で、 ライ ト自動制御 3 1 1を追加起動した場合を説明する図 である。 同図 （ a ) では、 低画質の映像アルバム機能 3 1 3のみ動作し ているため、 撮像デバイス 6も使用していない期間が多い。 ここで、 ラ イ ト自動制御 3 1 1を追加する場合、 その処理周期 （サイクル） は最短 4フレーム （画像の取込み 2回、 処理 2回） であるため、 映像アルバム 機能 3 1 3の処理サイクルである 6フレーム内に収まる。 また、 サイク ル数が 4フレーム以上であれば、 映像アルバム (低画質) 3 1 3とライ 卜自動制御 3 1 1は並行して実行することができる。 本実施例では、 ラ イ ト自動制御 3 1 1のサイクル数を 6フレームとしている。
第 1 0図 ( b ) のようなスケジューリングを、 第 3図のアプリケーシ ヨンスケジユーリング部 1 4において実行した結果、 映像アルバム機能 3 1 3とライ 卜自動制御 3 1 1の 2つのアプリケーションを並行して動 作させることができる。 このとき、 追加されたライ ト自動制御 3 1 1の 処理の開始は、 映像アルバムの処理サイクルに合せて始めるようにコン トロールされる。 また 画像取込みにおいて映像の同期信号に同期して 画像取得を行うため、 処理のサイクルや開始タイミングは全て映像の同 期信号に合せている。
以上の本発明の実施形態によれば、 カメラパラメータを動的に変化さ せるアプリケーショ ンの間においても、 撮像デバイス 6を共有すること ができる。 第 1 1図は、 並行して動作可能なアプリケーションのグループ化の一 例図である。動作可能なアプリケーションを予めグルーピングしておき、 グループ毎に最適なスケジユーリングを行うように制御することができ る。 予め動作するアプリケーションをグループ化することにより、 ュ一 ザが一つひとつのアプリケーションを選択する手間を省け、 また、 常に 最適なスケジユーリングができるため撮像デバイス 6を効率的に使用す ることができる。各アプリケーション間における基本の画像処理機能（第 2図） の一致度合いなどを考慮して、 第 6， 8〜 1 0図で説明した画像 取込みと処理スケジュールの実行の可否から、グルーピングを決定する。 この例では、 グループ 1 ~ 4に、 それぞれ 3つ， 2つ， 5つ及び 2つの アプリケーションを含むようにグループ化した場合を示している。
次に、 本発明の一実施形態におけるユーザィンタフェースについて説 明する。 本発明によれば、 · 1つの撮像デバイス 6を共有することで、 複 数のアプリケーションを切替えたり、 並行して処理したりすることがで きる。 そこで、 ドライパーが、 走行中に画像処理カメラ 2 , 3の機能を 切替えたり、 もしくは新しく始めたりすることができるユーザインタフ エースを提供する。
第 1 2図は、 アプリケーションの選択や切替えを行うナピゲーション 画面の一例図である。 ドライバーが、 ナピゲ一シヨン画面 1 9上でァプ リケ一ションを選択し、あるいは切替える場合の手順について説明する。 第 1 2図には、 選択できる多数のアプリケ一ションが画面 1 9上に表示 されており、 ドライパーは、 ナビゲーション画面 1 9のアプリケ一ショ ン表示部に夕ツチすることで、 実行アプリケ——ンョンを選択することが できる。 例えば、 映像アルバムの高画質を選択した場合について説明す る。 なお、 第 1 2図以降の画面 1 9においては、 第 2図に示した多数の アプリケーションのうちの一部を紙面のスペースの都合で割愛している が、 実際には、 全てのアプリケ一ションが表示される。
第 1 3図は、映像アルバムの高画質を選択した後の画面を示す。まず、 高画質の映像アルバム機能 3 1 2が選ばれ、 動作中であるため、 画面 1 9上には、 太線で図示するように、 「映像アルバム （高画質）」 が明るく 表示されている。 映像アルバム （高画質） 3 1 2が動作中である場合に は、 第 9図 （a ) で説明したように、 並行して動作できるアプリケーシ ヨンは大幅に限定される。 ここでは、 第 1 1図の並行動作可能グループ 4に示したように、 モニタリング機能 3 0 3が並行して動作可能である ものとする。 したがって、 「モニタリング」 の表示は、 実線で図示したよ うに選択可能であることを示す色や明るさで表示されている。 これ以外 のアプリケ一ションの表示は、 破線で示したように、 全て選択不可の状 態表示に切替わっている。
ドライバーが、 映像アルバム (高画質） 3 1 2を止めたい場合は、 「リ セッ ト」 ポタン部に夕ツチするか、 「映像アルバム （高画質）」 表示部に 再度夕ツチするとこのアプリケーションを終了する。 アプリケーション の起動や停止は、 直ちに撮像デバイスの制御に反映され、 撮像デバイス から得られる画像は変化する。 このとき、 得られる画像自体が露光制御 などによって変化する場合と、 処理サイクルが変化して出力する画像の タイミングが変化する場合の 2種類の変化が発生する。 1つの撮像デバ イス 6を複数のアプリケーションで共有しているため、 動作しているァ プリケーションが変化すると、 撮像デバイスの出力データを変化させる 必要がある。
第 1 4図は、 アプリケーションの追加を行うナビゲーション画面の一 例図である。 映像アルバム （低画質） が動作中には、 映像アルバム （高 画質) が動作中の場合よりも、 他の多数のアプリケ一ションが実行可能 である。 第 1 1図の並行動作可能グループ 4に示したように、 映像アル バム （低画質） 3 1 3のほかに、 ライ ト自動制御 3 1 1、 割込み車両警 報 3 0 1、車線逸脱警報 3 1 0及び駐車支援 3 0 4の処理が可能である。 第 1 4図 （ a ) のナビゲーション画面 1 9では、 映像アルバム （低画質） が動作中であることを明示するとともに、 そのほかに上記の 4つのアブ リケ一ションが起動可能であることを表示している。 ここで、 ドライバ 一が、 ライ ト自動制御 3 1 1を追加起動した場合について説明する。 こ の場合、 第 1 4図 （ a ) の画面で、 「ライ ト自動制御」 の表示部に夕ツチ したとする。
第 1 4図 （b ) は、 ライ ト自動制御 3 1 1が追加起動された画面であ る。 図示するように、 「ライ ト自動制御」 の表示部は動作中であることを 示す表示に切換るとともに、 このアプリケ一ションが起動される。
さて、 ナビゲーシヨン画面 1 9では、 アプリケーションの選択や切替 えは、 ドライバの指示によることを想定しているが、 ドライバ以外の情 報でアプリケーションの選択や切替えを行うこともできる。 例えば、 高 速で走行中には、 駐車することはあり得ないため、 駐車支援機能 3 0 4 は選択されることはない。 この場合、 アプリケ一ションの選択範囲を車 速で限定して駐車支援機能を選択できないようにすることが望ましい。 第 1 4図 （b ) では、 高速走行中であるため、 「駐車支援」 の表示部が、 選択不可に切換った状態を例示している。 また、 ドライバーが駐車支援 を予め選択していたとしても、 予定の高速となった場合、 同様に 「駐車 支援」 の表示を消し、 選択も不可能とする。 高速移動中は、 割込み車両 警報 3 0 1や車線逸脱警報 3 1 0などのアプリケーションが動作可能で あり、 これら可能なアプリケーションのみを表示し、 選択を可能として いる。
また、 アプリケーションの切替えの例として、 市街地を走行中は、 衝 突軽減などの安全機能が優先的に動作し、 車線逸脱 報や映像アルバム 機能よりも優先して動作させることもできる。 その反対に、 観光地や風 光明媚な場所では、 映像アルバム機能を優先して動作させ、 他の機能を 停止させることも可能である。 さらに、 このように、 ドライバーの操作 以外に、 ブレーキ、 G P S、 車速など各種センサからの情報を下に、 周 囲環境の変化に応じて動作するアプリケーシヨンの選択を制限したり、 アプリケーションの動作自体を切替えたりすることができる。
以上のように、 第 3図のアプリケーションスケジューリング部 1 4に よって、 アプリケーションの実行、 追加起動及び停止などを行えば、 ナ ピゲ一ション画面からドライバの意志によって動作アプリケーションを 切替えることができる。
第 1 2図〜第 1 4図では、 ナビゲーション画面 1 9上でのアプリケ一 ションの切替え手順を説明したが、 ナピゲーション画面以外で実行する アプリケ一ションの選択を行っても良い。 例えば、 ハンドルにポタンを 付けて、 レーン維持走行機能を選択しても良い。 この場合、 ドライバー がポタンを押した時点でどのアプリケーションが動作しているか分らな い。 そのため、 スケジューリングの方法としては、 レーン維持走行機能 を最優先に設定して、 レーン維持走行機能と並行して動作しないアプリ ケ一ションについて、強制的に終了するよう制御することが考えられる。 このような仕組みは.,ボタンだけではなく 自動車に搭載されている様々 なセンサがその役割を果たしても良い。 例えば、 障害物を検知する距離 センサと接続して、 障害物がありそうだとの信号が入力された場合 最 優先で障害物回避のアプリケーションが起動するということも可能であ る。 この場合、 それまで動作しているアプリケーションを動作させたま ま障害物回避アプリケーションが動作するのであれば、 動作中のアプリ ケ一ションはそのままでよい。また、並行して動作できないのであれば、 動作中のアプリケーションを中断し、 障害物回避のアプリケーションを 即座に起動して安全支援のための機能が作動しはじめるように制御する こともできる。 これらの機能は第 3図のアプリケーションスケジュ一リ ング部 1 4によって実現される。
第 1 5図は、 本発明の一実施形態によるアプリケーションの追加起動 を行う処理フロー図である。 例えば、 第 1 0図及び第 1 4図で述べたよ うに、 映像アルバム （低画質） 3 1 3の動作中に、 ドライバーが、 ナビ ゲーション画面 1 9において、 ライ ト自動制御 3 1 1を追加起動する場 合を想定する。 ドライバ一によって、 「ライ ト自動制御」 が夕ツチパネル により選択されると、 ステップ 2 0 1において、 ナビゲ一ションからァ プリケーション追加のィベントを受け付け、 割込み処理でこの処理を起 動する。 イベントを受け付けた後、 プログラムは、 ステップ 2 0 2にお いて、 実行中及び追加するアプリケーショ ンの情報を取得する。 これら の情報は、 第 3図の環境情報データベース 1 7に格納されており、 実行 中のスケジュール、 現在のフレーム、 各アプリケーションの処理サイク ル、 カメラパラメ一夕を含む画像取得情報である。 また、 第 1 1図で説 明したような、 どのアプリケ——ンョンが並行して実行できるかを調査し たグルーピング情報などがある。 ステップ 2 0 3のスケジュ一リング処 理では、 選択されたライ ト自動制御が、 動作している映像アルバム （低 画質） 機能と同じグループにあるかを確認する。 グルーピング情報がな くても、 選択された 7プリケーションが実行可能なァプリケ一ションで あるか否かを、 アプリケ一ション情報を参照して確認できる。 実行可能 か否かは 処理のサイクル数、 取得画像枚数、 必要な画像処理機能の情 報を基に、 第 6図〜第 1 0図で説明したような、 処理周期内への必要処 理の割振りの可否により判定される。 実行可能なアプリケーションと実 行不可能なアプリケーションとの区分けを行った後、 それらの情報をァ プリケーシヨン情報に反映する。 実行可能であった場合、 環境情報 1 7 内のアプリケーション情報やスケジュ一リング情報を用いてスケジュ一 ルを更新する。 すなわち、 追加起動を要求されたアプリケーションが動 作中のアプリケーションとの間で、 時間的に重なることなく 1つの撮像 デバイスから画像データの取込みを繰返すようにスケジュールを更新す るのである。ステップ 2 0 4では、更新した新たなスケジュールで再度、 追加可能なアプリケーションを解析し、 ドライバに通知したり、 次のァ プリケーション追加イベントに備えた後、 ステップ 2 0 5で処理を終了 する。
このアプリケーションの追加起動の処理は、ィベン卜発生を検知して割 込み処理にて実行されるため、第 7図で説明したフローのどのステップで 割込み処理が行われるか分からない。処理中の情報の整合性を確保するた めに、 本実施の形態では、 スケジュールの更新は第 7図のステップ 7 1で 行っている。
この実施形態による画像処理力メラシステムを要約すると次の通りで ある。 まず、 並行して実行可能な複数のアプリケーションを選択するス テツプ （ 2 0 2 ) を備えている。 次に、 実行可能な複数のアプリケーシ ョンが、 時間的に重なることなく 1つの撮像デバイスから画像データの 取込みを繰返す画像データ取込みタイミングとィンターパルを決定する スケジューリングステップ （ 2 0 3 ) を備えている。 また、 このスケジ ュ一リングステツプ ( 2 0 3 ) は、 各ァプリケ一シヨンにおける取込ん' だ画像データを用いる処理を含めたタイミングを決定するステツプを含 んでいる。 さらに、 複数のアプリケーションにおいて必要な画像デ一タ の枚数と、 必要な取込み頻度とを、 これらを記憶した記憶手段 （ 1 7 ) から読出すステップを含む。 そして、 読出した画像データの枚数と取込 み頻度とに基いて、 実行可能な複数のアプリケ一ションが、 1つの撮像 デバイスから画像データの取込みを繰返す画像デ一夕取込みタイミング とィンターバルを決定するステツプを含んでいる。
第 1 6図は、 新規アプリケ一ションの追加と既存アプリケ一ションの 削除を実行する画面の一例である。 アプリケーションは、 処理周期 （サ ィクル）、 画像処理機能、 使用する画像、 処理量など動作に必要な情報を 規定して、 メニューに追加することができる。 これを、 従来のアプリケ ーシヨンと同様に、画面から選択したり、削除したりすることができる。 第 1 6図では、 新たなアプリケーションを追加するために、 ダウンロー ドするタツチパネル部 1 9 1 と、 既存のアプリケーションを削除するた めのタツチパネル部 1 9 2を表示している。
第 1 7図は、新規アプリケーシヨンをダウン口一ドする処理フロー図で ある。第 1 6図の画面を用いてダウンロードする際の説明を行う。新しい アプリケ一ションは、ィンターネットゃコンパクトフラッシュなどの記録 メディァから取得する。ユーザがダウン口一ドからの新規アプリケーショ ンの選択を選んだ場合、 ステップ 1 7 1から、 この処理が起動される。 ス テツプ 1 7 2では、ダウン口一ド可能なアプリケ——ンョンがユーザにメニ ュ一として提示される。 ステップ 1 7 3において、 ユーザは、 メニューの 中から必要な新規アプリケ一ションを選択する。 この結果の下に、 ステツ プ 1 7 4で追加する新規アプリケ一ションの選択が終了すると、ステップ 1 7 5では., 並行して動作可能なアプリケ一ションの解析を実行する。並 行して実行可能なアプリケーションの組合せは、 前述した通り、 処理のサ イクル数 s 取得画像枚数及び必要な画像処理機能等から判断する。 この結 果により、 第 1 1図に示した既存のグルーピングを更新する。ステップ 1 7 6では、 全てのグループでの組合せを確認した後、 情報をアプリケーシ ョン情報として格納し、 ステップ 1 7 7でダウンロード処理を終了する。 第 1 8図は、新規アプリケ一ションを含めた動作スケジュ一リングの処 理フ口一図である。 このスケジユーリング処理は、 第 1 5図のステップ 2 0 3のスケジユーリングで行っている処理である。 まず、 ステップ 1 8 1 でスケジユーリング処理が起動され、ステップ 1 8 2で実行中のアプリケ ーション及び追加されるアプリケ一ションの情報を取得する。そして、 ス テツプ 1 8 3で、 最短の処理サイクルを持つアプリケーションについて、 スケジュール上にマツビングする。 このとさ、 他のアプリケーションが動 作可能なように、 できるだけ余裕を持たせてマツビングする。 例えば、 6 フレーム以内に処理が完了すればよいアプリケーシヨンを 3フレームで 処理をするようなマツピングはしない。最短の処理サイクル数を持ったァ プリケ一ションをマツビングした後、 ステツプ 1 8 4では、 次に短い処理 サイクル数を持ったアプリケ一ションをマツビングする。 ここで、 マツピ ングに失敗した場合、 つまり、 撮像デバイス 6が使用できなかったり、 ソ フト処理の時間が取れなかった場合、 1つ前のステップ 1 8 3のアプリケ —シヨンのスケジュ一リング処理に戻る。そして、撮像デバイス 6の使用 夕イミングゃソフト処理のタイミングを変更し、再度、 ステップ 1 8 4の 2番目に短い処理サイクル数を持つアプリケ一シヨンのマツビングを行 う。 マッピングができた場合、 ステップ 1 8 5に移行し、 逐次、 スケジュ ールにアプリケ一ションをマツビングする。 ステップ 1 8 6では、 最長の 処理サイクル数をもつアプリケ一ションについてスケジュール上にマツ ビングできることを確認する。途中でスケジュール上にマツピングできな いアプリケ一ションが出現した時点で、要求されたアプリケ一シヨンの追 加は、 並行して実行できるアプリケ一ションではないと判断して、その旨 をユーザに知らせ、 追加起動を断念する。
以上の実施形態においては、 画像データを取得する撮像デバイス （ 6 ) と、 この撮像デバイスから得られた画像データを用いてそれぞれが異な る機能を持つように設定された複数のアプリケーシヨン （ 1 5 1 ~ 1 5 N ) を備えている。 また、 複数のアプリケーションに対応した画像デー 夕取得要求に応じて撮像デバイスを制御する撮像デバイスコントロール 部 （ 1 3 ) を備えている。 さらに、 複数のアプリケーションが 1つの撮 像デバイスからの画像データを取込んで複数のアプリケーションを並行 して実行させる制御部 （ 1 4) を備えた画像処理カメラシステムを前提 としている。 ここで、 複数のアプリケーションにおける必要な画像デー 夕数と画像データ取込み頻度を記憶する手段 （ 1 7 ) を備える。 また、 これら画像データ数と画像データ取込み頻度に基き、 並行して実行可能 な複数のアプリケーションを選択する手段 （ 1 4) を備える。 次に、 実 行可能な複数のアプリケーションが、 1つの撮像デバイスから時間的に 重なることなく画像データの取込みを繰返す画像データ取込みのタイミ ングとィンタ一バルを決定する画像取込みスケジュ一リング部 ( 1 4) を備える。 このスケジュ一リング部 ( 1 4) は、 各アプリケ一ションに おける取込んだ画像データを用いた処理を含めたタイミングを決定する ように構成している。
また、 1つの撮像デバイスからの画像データを用いて並行して実行す る複数のアプリケ——ンョンの組合せを記憶するアプリケ——ンョングルー プ記憶手段 （ 1 7) を備える。 ここで、 前記の選択手段は、 アプリケー ショングループ記憶手段から、 並行して実行可能なアプリケ一ショング ループについてのデ一夕を読出している。
さらに、 複数のアプリケーションを実行させるために撮像デバイスを 制御する複数の基本画像処理機能部 （ 1 6 A〜 1 6 M) を備える。 そし て、 必要とするこれら基本画像処理機能の一致の度合いに基き、 1つの 撮像デバイスからの画像データを用いて並行して実行する複数のアプリ ケ一ションを決定する手段を備えている。
前記の、 画像データ数と画像データ取込み頻度に基き、 並行して実行 可能な複数のアプリケーションを選択する手段 （ 1 4) は、 あるアプリ ケ一ションを実行中に、 実行中のアプリケ——ンョンと同一のアプリケ一 ショングループに属することに基いて、 実行可能な他のアプリケーショ ンを選択するようにしている。 また、 必要とする基本画像処理機能につ いて、 実行中のアプリケ一ションとの一致の度合いに基いて、 実行可能 な他のアプリケ一ションを選択する一助としている。 さらに、 実行中の アプリケーションによる撮像デバイスからの画像データの取込み期間の 合間のタイミングで、 他のアプリケ一ションが必要とする撮像デバイス からの画像データ取込みが可能であることに応じて、 他のアプリケ——ン aンを実行可能なアプリケ——ンョンとして選択するようにしている。 次に、 マンマシンインターフェースについては、 実行可能なアプリケ ーションを表示する手段 （ 1 9 ) と、 この表示された実行可能なアプリ ケ一ションの起動をユーザが指示するための操作手段を備えている。 ま た、 実行中のアプリケ一ション及び追加実行可能なアプリケ一ションを 表示する手段と、 追加実行可能なアプリケーションの起動及び実行中の アプリケ一ションの停止をユーザが指示するための操作手段を備えてい る。 そして、 この操作手段による指示入力に基きアプリケーションの起 動及び停止を行う制御手段を備えている。
また、 周囲環境の変化に応じて追加実行可能なアプリケ一シヨンを切 替える実行可能アプリケ一ション選択手段と この選択手段によって選 択された実行可能なアプリケーションを表示する手段を備えている。
さらに .. 新たなアプリケ——ンョンのダウン口一ドによる追加を要求す る操作手段を備えている。
これらの特徴により、 複数のアプリケーシヨンで 1つの撮像デバイス を信頼性高く、 かつ効率的に共有することができる。 また、 実行可能な アプリケ一ションをユーザが選択でき、 ユーザに選択されたアプリケー シヨンを即座に実行することができる。 さらに、 優先的に実行すべきァ プリケーションをシステムの状況によって選択し、 実行することができ る。
これまで、 本発明を、 自動車に搭載する画像処理カメラシステムに適 用した実施形態について詳細に説明したが、 本発明は多種の画像処理力 メラシステムに応用することができる。 例えば、 侵入者監視カメラシス テムにも本発明を適用できる。 ある特定の機能を実現するカメラを複数 台設置するよりも、 共有できる画像処理機能がある場合に本発明を適用 し、 アプリケーションが必要とする機能毎にカメラを信頼性高く共有し て、 力メラ台数を削減することができる。 産業上の利用可能性
本発明によれば、 1つの撮像デバイスを、複数のアプリケーシヨンで、 信頼性高く共有することのできる画像処理カメラシステムを提供するこ とができる。
また、 本発明の実施形態によれば、 実行できる複数のアプリケ一ショ ンをユーザに明示し、 ユーザが実行するアプリケ一シヨンを迷うことな く選べる使い勝手に優れた画像処理カメラシステムを提供することがで きる。

Claims

請 求 の 範 囲
1 . 画像データを取得する撮像デバイスと、 画像デ一夕を用いてそれぞ れが異なる機能を持つように設定された複数のアプリケーションと、 複 数の前記アプリケーションに対応した画像デ一タ取得要求に応じて前記 撮像デバイスを制御する撮像デバイスコントロール部と、 複数のァプリ ケーションが 1つの撮像デバイスからの画像データを取込んで複数のァ プリケ一ションを並行して実行させる制御部を備えた画像処理カメラシ ステムにおいて、 複数のアプリケーションにおける必要な画像データ数 と画像デ一タ取込み頻度を記憶する手段と、 これら画像データ数と画像 データ取込み頻度に基き、 並行して実行可能な複数のアプリケーシヨン を選択する手段と、 実行可能な複数のアプリケ一シヨンが、 1つの撮像 デバイスから時間的に重なることなく画像デ一夕の取込みを繰返す画像 データ取込みのタイミングとィン夕一バルを決定する画像取込みスケジ ユーリング部を備えたことを特徵とする画像処理力メラシステム。
2 . 各アプリケーションにおける取込んだ画像データを用いた処理を含 めた夕イミングを決定するスケジユーリング部を備えたことを特徵とす る請求の範囲第 1項記載の画像処理カメラシステム。
3 . 1つの撮像デバイスからの画像データを用いて並行して実行する複 数のアプリケーションの組合せを記憶するアプリケーショングループ記 憶手段を備え. 前記選択手段は， 前記アプリケーショングループ記憶手 段から、 並行して実行可能なァプリケーショングループについてのデー タを読出すことを特徴とする請求の範囲第 1項記載の画像処理力メラシ ステム。
4 . 複数のアプリケーションを実行させるために前記撮像デバイスを制 御する複数の基本画像処理機能部と、 必要とする前記基本画像処理機能 の一致の度合いに基き、 1つの撮像デバイスからの画像データを用いて 並行して実行する複数のアプリケ——ンョンを決定する手段を備えたこと を特徴とする請求の範囲第 1項記載の画像処理カメラシステム。
5 . あるアプリケーションを実行中に、 実行中のアプリケーションと同 一のアプリケーショングループに属することに基いて、 実行可能な他の アプリケーションを選択する手段を備えたことを特徴とする請求の範囲 第 1項記載の画像処理カメラシステム。
6 . あるアプリケーションを実行中に、 必要とする基本画像処理機能に ついて、 実行中のアプリケーションとの一致の度合いに基いて、 実行可 能な他のアプリケ一ションを選択する手段を備えたことを特徴とする請 求の範囲第 1項記載の画像処理カメラシステム。
7 , あるアプリケーションを実行中に、 実行中のアプリケーションによ る撮像デバイスからの画像データの取込み期間の合間の夕イミングで、 他のアプリケーションが必要とする撮像デバイスからの画像データ取込 みが可能であることに応じて、 前記他のアプリケーションを実行可能な アプリケーションとして選択する手段を備えたことを特徴とする請求の 範囲第 1項記載の画像処理力メラシステム。
8 . 画像データを用いてそれぞれが異なる機能を持つように設定された 複数のアプリケーションと、 画像データを取得する撮像デバイスと、 複 数の前記アプリケ一ションに対応した画像データ取得要求に応じて前記 撮像デバイスを制御する撮像デバイスコントロール部を備えた画像処理 カメラシステムにおいて、 実行可能なアプリケーションを表示する手段 と、 この表示された実行可能なアプリケーションの起動をユーザが指示 するための操作手段を備えたことを特徴とする画像処理力メラシステム £ 9 . あるアプリケーションの実行中に、 実行中のアプリケーションを表 示する手段と、 実行中のアプリケ一ションの停止をユーザが指示するた めの操作手段と、 この操作手段による指示入力に基きアプリケーション の停止を行う制御手段を備えたことを特徴とする請求の範囲第 8項記載 の画像処理カメラシステム。
1 0 . あるアプリケーションの実行中に、 実行中のアプリケーション及 ぴ追加実行可能なアプリケーションを表示する手段と、 追加実行可能な アプリケーシ 3ンの起動及び実行中のアプリケーションの停止をユーザ が指示するための操作手段と、 この操作手段による指示入力に基きアブ リケーションの起動及び停止を行う制御手段を備えたことを特徴とする 請求の範囲第 8項記載の画像処理カメラシステム。
1 1 . 周囲環境の変化に応じて追加実行可能なアプリケーションを切替 える実行可能アプリケ一ション選択手段と、 この選択手段によって選択 された実行可能なアプリケーションを表示する手段を備えたことを特徴 とする請求の範囲第 8項記載の画像処理力メラシステム。
1 2 . 新たなアプリケ一ションの追加を要求する操作手段を備えたこと を特徴とする請求の範囲第 8項記載の画像処理カメラシステム。
1 3 . 新たなアプリケーションのダウンロードによる追加を要求する操 作手段を備えたことを特徴とする請求の範囲第 8項記載の画像処理力メ
1 4 . 画像デ一夕を取得する撮像デバイスと この撮像デバイスからの 画像デ一夕を用いてそれぞれ異なる機能を持つ複数のアプリケーシヨン と これら複数のアプリケーションに対応した画像データ取得要求に応 じて前記撮像デバイスを制御する撮像デバイスコントロール部と、 複数 のアプリケーションが 1つの撮像デバイスから画像データを取込んで複 数のアプリケーションを並行して実行させる制御部を備えた画像処理力 メラシステムにおいて、 並行して実行可能な複数のアプリケーションを 選択するステップと、 実行可能な複数のアプリケーションが、 時間的に 重なることなく 1つの撮像デバイスから画像データの取込みを繰返す画 像データ取込みタイミングとィン夕一バルを決定するスケジユーリング ステップを備えたことを特徴とする画像処理カメラ制御方法。
1 5 . 各アプリケーションにおける取込んだ画像デ一夕を用いた処理を 含めたタイミングを決定するステツプを備えたことを特徴とする請求の 範囲第 1 4項記載の画像処理力メラ制御方法。
1 6 . 複数のアプリケーションにおいて必要な画像データの枚数と、 必 要な取込み頻度とを記憶した記憶手段から読出すステツプと、 読出した 画像データの枚数と取込み頻度とに基いて、 実行可能な複数のアプリケ ーションが、 1つの撮像デバイスから画像データの取込みを繰返す画像 データ取込みタイミングとィンタ一バルを決定するステツプを備えたこ とを特徴とする請求の範囲第 1 4項記載の画像処理カメラ制御方法。
PCT/JP2003/008896 2003-07-11 2003-07-11 画像処理カメラシステム及び画像処理カメラ制御方法 WO2005006756A1 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
US10/563,486 US7702133B2 (en) 2003-07-11 2003-07-11 Image-processing camera system and image-processing camera control method
EP09167463.0A EP2136562B1 (en) 2003-07-11 2003-07-11 Image-processing camera system and image-processing camera control method
PCT/JP2003/008896 WO2005006756A1 (ja) 2003-07-11 2003-07-11 画像処理カメラシステム及び画像処理カメラ制御方法
JP2005503866A JP4153522B2 (ja) 2003-07-11 2003-07-11 画像処理カメラシステム及び画像処理カメラ制御方法
CNB038267756A CN100473152C (zh) 2003-07-11 2003-07-11 图像处理相机系统及图像处理相机控制方法
DE60329335T DE60329335D1 (de) 2003-07-11 2003-07-11 Bildverarbeitungs-kamerasystem und bildverarbeitungs-kamerasteuerverfahren
EP03817431A EP1646240B1 (en) 2003-07-11 2003-07-11 Image processing camera system and image processing camera control method
US12/717,707 US7995797B2 (en) 2003-07-11 2010-03-04 Vehicle image-processing camera system for acquiring images for multiple vehicle applications
US13/185,662 US8199976B2 (en) 2003-07-11 2011-07-19 Image-processing camera system and image-processing camera control method
US13/358,596 US8452056B2 (en) 2003-07-11 2012-01-26 Image-processing camera with application processing using acquired image data
US13/871,003 US9042604B2 (en) 2003-07-11 2013-04-26 Acquisition scheduler

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2003/008896 WO2005006756A1 (ja) 2003-07-11 2003-07-11 画像処理カメラシステム及び画像処理カメラ制御方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10/563,486 A-371-Of-International US7702133B2 (en) 2003-07-11 2003-07-11 Image-processing camera system and image-processing camera control method
US12/717,707 Continuation US7995797B2 (en) 2003-07-11 2010-03-04 Vehicle image-processing camera system for acquiring images for multiple vehicle applications

Publications (1)

Publication Number Publication Date
WO2005006756A1 true WO2005006756A1 (ja) 2005-01-20

Family

ID=34044623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/008896 WO2005006756A1 (ja) 2003-07-11 2003-07-11 画像処理カメラシステム及び画像処理カメラ制御方法

Country Status (6)

Country Link
US (5) US7702133B2 (ja)
EP (2) EP1646240B1 (ja)
JP (1) JP4153522B2 (ja)
CN (1) CN100473152C (ja)
DE (1) DE60329335D1 (ja)
WO (1) WO2005006756A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006325094A (ja) * 2005-05-20 2006-11-30 Toyota Motor Corp 車両用画像処理装置
JP2007013777A (ja) * 2005-07-01 2007-01-18 Toyota Central Res & Dev Lab Inc 撮像装置
JP2007306272A (ja) * 2006-05-11 2007-11-22 Toyota Motor Corp 車両用画像処理装置
EP1883242A1 (en) * 2005-05-20 2008-01-30 Toyota Jidosha Kabushiki Kaisha Image processor for vehicles
JP2008158682A (ja) * 2006-12-21 2008-07-10 Mitsubishi Electric Corp 画像処理装置
JP2009018804A (ja) * 2008-08-25 2009-01-29 Hitachi Ltd 自動車用補助機器制御装置
US8077921B2 (en) 2007-01-11 2011-12-13 Denso Corporation Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
CN104811756A (zh) * 2014-01-29 2015-07-29 三星电子株式会社 显示装置和及其控制方法
JP2016021226A (ja) * 2014-06-16 2016-02-04 パナソニックＩｐマネジメント株式会社 管理装置、撮像装置、撮像システムおよび判定方法
KR101822892B1 (ko) 2014-12-10 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량 운전 보조 장치의 동작 방법
US10210400B2 (en) 2014-04-24 2019-02-19 Hitachi Automotive Systems, Ltd. External-environment-recognizing apparatus
JP2020014144A (ja) * 2018-07-19 2020-01-23 株式会社デンソー カメラシステムおよびイベント記録システム
US20200244929A1 (en) * 2004-09-30 2020-07-30 Donnelly Corporation Vehicular driving assistance system
JP2022097540A (ja) * 2018-07-19 2022-06-30 株式会社デンソー カメラシステムおよびイベント記録システム

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
AU2003225228A1 (en) 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
JP3925488B2 (ja) * 2003-11-11 2007-06-06 日産自動車株式会社 車両用画像処理装置
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4466571B2 (ja) * 2005-05-12 2010-05-26 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
US8089516B2 (en) * 2006-06-20 2012-01-03 Hewlett-Packard Development Company, L.P. Event management for camera systems
JP4979289B2 (ja) * 2006-07-21 2012-07-18 日立オートモティブシステムズ株式会社 画像処理装置
WO2008024639A2 (en) 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
CN101334285B (zh) * 2007-06-29 2012-12-19 鸿富锦精密工业（深圳）有限公司 车辆导航装置及导航方法
JP2009154647A (ja) * 2007-12-26 2009-07-16 Aisin Aw Co Ltd マルチ画面表示装置及びそのプログラム
DE102008022064A1 (de) * 2008-05-03 2009-11-05 Adc Automotive Distance Control Systems Gmbh Verfahren zur Belichtungssteuerung für eine Kamera in einem Kraftfahrzeug
RU2011102588A (ru) * 2008-06-25 2012-07-27 Томтом Интернэшнл Б.В. (Nl) Устройство навигации и способ обнаружения того, что осуществляется поиск места для стоянки
DE102008062154B4 (de) * 2008-12-16 2021-08-26 Volkswagen Ag Steuerung eines Kamera-Systems eines Kraftfahrzeugs und Fahrerassistenzsystem
DE102010018158B4 (de) * 2009-05-19 2020-10-08 Volkswagen Ag Verfahren und Vorrichtung zum unterstützten Einparken eines Kraftfahrzeugs
JP2011119785A (ja) * 2009-11-30 2011-06-16 Fujitsu Ltd カメラ制御装置及びカメラ制御方法
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP5592138B2 (ja) 2010-03-31 2014-09-17 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP5522492B2 (ja) * 2010-06-15 2014-06-18 アイシン精機株式会社 運転支援装置
US8836784B2 (en) 2010-10-27 2014-09-16 Intellectual Ventures Fund 83 Llc Automotive imaging system for recording exception events
EP2666070A4 (en) * 2011-01-19 2016-10-12 Hewlett Packard Development Co METHOD AND SYSTEM FOR MULTIMODAL CONTROL AND GESTURE CONTROL
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
WO2012154919A1 (en) * 2011-05-12 2012-11-15 Magna Electronics Inc. System and method for annotating video
US9723315B2 (en) * 2011-07-01 2017-08-01 Apple Inc. Frame encoding selection based on frame similarities and visual quality and interests
KR101316433B1 (ko) * 2011-09-14 2013-10-08 현대자동차주식회사 차량 주변정보 제공 시스템 및 그 방법
JP6035842B2 (ja) * 2012-04-25 2016-11-30 ソニー株式会社 撮像装置、撮像処理方法、画像処理装置および撮像処理システム
KR101695251B1 (ko) * 2012-05-22 2017-01-12 한화테크윈 주식회사 원격으로 카메라 ｆｐｇａ 배열을 변경하기 위한 시스템 및 카메라 제어 방법
JP6000693B2 (ja) * 2012-07-03 2016-10-05 日立オートモティブシステムズ株式会社 駐車支援装置
US8706417B2 (en) * 2012-07-30 2014-04-22 GM Global Technology Operations LLC Anchor lane selection method using navigation input in road change scenarios
US9340227B2 (en) * 2012-08-14 2016-05-17 Magna Electronics Inc. Vehicle lane keep assist system
US9365162B2 (en) 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
US8957988B2 (en) 2013-01-23 2015-02-17 Orcam Technologies Ltd. Apparatus for processing images to prolong battery life
JP5967303B2 (ja) * 2013-05-29 2016-08-10 トヨタ自動車株式会社 駐車支援装置
EP3094075B1 (en) * 2014-01-10 2022-05-11 Hitachi Astemo, Ltd. In-vehicle-camera image processing device
ES2972160T3 (es) * 2014-01-16 2024-06-11 Polestar Performance Ab Un vehículo adaptado para la conducción autónoma y un método para detectar objetos obstructores
US9485420B2 (en) * 2014-02-03 2016-11-01 Point Grey Research Inc. Video imaging using plural virtual image capture devices
US9487235B2 (en) 2014-04-10 2016-11-08 Magna Electronics Inc. Vehicle control system with adaptive wheel angle correction
US9967410B2 (en) * 2014-05-29 2018-05-08 Asustek Computer Inc. Mobile device, computer device and image control method thereof for editing image via undefined image processing function
JP5949840B2 (ja) * 2014-06-19 2016-07-13 トヨタ自動車株式会社 駐車支援装置
US9946940B2 (en) 2014-12-18 2018-04-17 Magna Electronics Inc. Vehicle vision system with adaptive lane marker detection
US10713506B2 (en) 2014-12-18 2020-07-14 Magna Electronics Inc. Vehicle vision system with 3D registration for distance estimation
US10449899B2 (en) 2015-05-08 2019-10-22 Magna Electronics Inc. Vehicle vision system with road line sensing algorithm and lane departure warning
DE102015012809A1 (de) 2015-10-02 2017-04-06 Audi Ag Bildaufnahmeeinrichtung für ein Kraftfahrzeug und Verfahren zum Betreiben einer derartigen Bildaufnahmeeinrichtung
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10564282B2 (en) * 2016-03-18 2020-02-18 Valeo Schalter Und Sensoren Gmbh Method for improving a detection of at least one object in surroundings of a motor vehicle by way of an indirect measurement by sensors, controller, driver assistance system, and motor vehicle
US9987984B2 (en) * 2016-03-23 2018-06-05 Nissan North America, Inc. Blind spot collision avoidance
DE112016006740B4 (de) * 2016-04-15 2019-09-12 Mitsubishi Electric Corporation Parkassistenzvorrichtung
US20180146139A1 (en) * 2016-11-18 2018-05-24 Microsoft Technology Licensing, Llc Dynamically switching control sharing of camera resources
CN106598715A (zh) * 2016-12-01 2017-04-26 北京光年无限科技有限公司 一种用于机器人的图像数据处理方法及机器人
CN109462726B (zh) * 2017-09-06 2021-01-19 比亚迪股份有限公司 摄像头的控制方法和装置
JPWO2019159764A1 (ja) * 2018-02-14 2021-04-01 株式会社小糸製作所 車載カメラシステム、車両用灯具
US10686988B2 (en) * 2018-04-11 2020-06-16 GM Global Technology Operations LLC Dynamic batch size selection for vehicle camera image processing
CN110611772B (zh) * 2018-06-15 2021-06-15 神讯电脑(昆山)有限公司 车用取像装置及其曝光参数设定方法
US10817729B2 (en) * 2018-09-26 2020-10-27 Allstate Insurance Company Dynamic driving metric output generation using computer vision methods
KR20210005439A (ko) * 2019-07-05 2021-01-14 현대자동차주식회사 운전자 보조 장치, 그를 가지는 차량 및 그 제어 방법
JP2021094932A (ja) * 2019-12-13 2021-06-24 本田技研工業株式会社 駐車支援システム
CN113556479B (zh) * 2020-09-02 2022-07-29 华为技术有限公司 一种多应用共享摄像头的方法与电子设备
CN112550151A (zh) * 2020-11-24 2021-03-26 新石器慧义知行智驰(北京)科技有限公司 自动驾驶车辆的摄像头共用系统
CN113660460A (zh) * 2021-08-03 2021-11-16 湖北亿咖通科技有限公司 摄像头数据分发方法、系统、计算机存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056381A (ja) * 2000-08-11 2002-02-20 Fujitsu Ltd 道路状況画像処理装置
JP2003049703A (ja) * 2001-08-07 2003-02-21 Mazda Motor Corp 車両開発データ取得用サーバ、車両開発データ取得方法、及び、車両開発データ取得用プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3275266B2 (ja) 1992-01-27 2002-04-15 ソニー株式会社 映像機器におけるモード選択装置
DE4221280C2 (de) * 1992-06-29 1995-03-23 Ant Nachrichtentech Verfahren und Einrichtung für Aufnahme, Abspeichern und Wiedergabe von Videobildern zur Dokumentation von Verkehrssituationen
JP3082507B2 (ja) 1993-04-07 2000-08-28 日産自動車株式会社 移動体の画像処理装置
JP3302115B2 (ja) 1993-07-29 2002-07-15 キヤノン株式会社 情報処理装置
JPH08167100A (ja) * 1994-12-12 1996-06-25 Hisaji Nakamura 操縦装置
JPH08240833A (ja) 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JPH09107498A (ja) 1995-10-11 1997-04-22 Canon Inc 画像入力装置
JP3303643B2 (ja) 1995-12-27 2002-07-22 トヨタ自動車株式会社 移動体用撮像装置の露光量制御装置
FR2753422B1 (fr) * 1996-09-19 1998-10-09 Renault Vehicules Ind Dispositif de retrovision directe par camera pour vehicule
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2003099547A (ja) 2001-09-25 2003-04-04 Canon Inc プログラム提供装置
US20030080878A1 (en) * 2001-10-30 2003-05-01 Kirmuss Charles Bruno Event-based vehicle image capture
US8531520B2 (en) * 2002-04-05 2013-09-10 Siemens Industry, Inc. System and method for traffic monitoring

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056381A (ja) * 2000-08-11 2002-02-20 Fujitsu Ltd 道路状況画像処理装置
JP2003049703A (ja) * 2001-08-07 2003-02-21 Mazda Motor Corp 車両開発データ取得用サーバ、車両開発データ取得方法、及び、車両開発データ取得用プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1646240A4 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200244929A1 (en) * 2004-09-30 2020-07-30 Donnelly Corporation Vehicular driving assistance system
EP1883242A1 (en) * 2005-05-20 2008-01-30 Toyota Jidosha Kabushiki Kaisha Image processor for vehicles
EP1883242B1 (en) * 2005-05-20 2014-09-17 Toyota Jidosha Kabushiki Kaisha Image processor for vehicles
JP2006325094A (ja) * 2005-05-20 2006-11-30 Toyota Motor Corp 車両用画像処理装置
JP2007013777A (ja) * 2005-07-01 2007-01-18 Toyota Central Res & Dev Lab Inc 撮像装置
JP2007306272A (ja) * 2006-05-11 2007-11-22 Toyota Motor Corp 車両用画像処理装置
JP2008158682A (ja) * 2006-12-21 2008-07-10 Mitsubishi Electric Corp 画像処理装置
US8077921B2 (en) 2007-01-11 2011-12-13 Denso Corporation Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
JP2009018804A (ja) * 2008-08-25 2009-01-29 Hitachi Ltd 自動車用補助機器制御装置
CN104811756A (zh) * 2014-01-29 2015-07-29 三星电子株式会社 显示装置和及其控制方法
CN104811756B (zh) * 2014-01-29 2019-11-19 三星电子株式会社 显示装置和及其控制方法
US10210400B2 (en) 2014-04-24 2019-02-19 Hitachi Automotive Systems, Ltd. External-environment-recognizing apparatus
JP2016021226A (ja) * 2014-06-16 2016-02-04 パナソニックＩｐマネジメント株式会社 管理装置、撮像装置、撮像システムおよび判定方法
KR101822892B1 (ko) 2014-12-10 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량 운전 보조 장치의 동작 방법
JP2020014144A (ja) * 2018-07-19 2020-01-23 株式会社デンソー カメラシステムおよびイベント記録システム
JP2022097540A (ja) * 2018-07-19 2022-06-30 株式会社デンソー カメラシステムおよびイベント記録システム
JP7151234B2 (ja) 2018-07-19 2022-10-12 株式会社デンソー カメラシステムおよびイベント記録システム
JP7231092B2 (ja) 2018-07-19 2023-03-01 株式会社デンソー イベント記録システム

Also Published As

Publication number Publication date
EP2136562A3 (en) 2016-09-28
US9042604B2 (en) 2015-05-26
CN100473152C (zh) 2009-03-25
US20060164514A1 (en) 2006-07-27
CN1802856A (zh) 2006-07-12
EP1646240A1 (en) 2006-04-12
JPWO2005006756A1 (ja) 2006-08-31
US7995797B2 (en) 2011-08-09
US20100157060A1 (en) 2010-06-24
EP1646240A4 (en) 2006-07-12
US8199976B2 (en) 2012-06-12
DE60329335D1 (de) 2009-10-29
US20120133767A1 (en) 2012-05-31
US7702133B2 (en) 2010-04-20
US20140078305A1 (en) 2014-03-20
EP1646240B1 (en) 2009-09-16
US8452056B2 (en) 2013-05-28
US20110273565A1 (en) 2011-11-10
EP1646240A8 (en) 2006-07-05
JP4153522B2 (ja) 2008-09-24
EP2136562A2 (en) 2009-12-23
EP2136562B1 (en) 2020-01-08

Similar Documents

Publication Publication Date Title
WO2005006756A1 (ja) 画像処理カメラシステム及び画像処理カメラ制御方法
JP4542174B2 (ja) 画像処理カメラシステム及び画像処理カメラ制御方法
WO2014020727A1 (ja) 運転支援装置
JP2001076298A (ja) 車両の表示装置
WO2020250525A1 (ja) 車両用情報表示装置
JP5820210B2 (ja) 撮像装置、撮像装置の制御方法
US11671700B2 (en) Operation control device, imaging device, and operation control method
WO2023221998A1 (zh) 车载流媒体显示系统和方法
WO2022161080A1 (zh) 一种摄像方法及装置
US11023750B2 (en) Video output system
JP2000228741A (ja) 雲台制御システム
JP2009147906A (ja) 車両周辺監視装置
RU2694877C2 (ru) Устройство формирования изображений и отображения для транспортного средства и носитель записи
CN111216631B (zh) 行驶控制装置、控制方法以及存储程序的存储介质
US20230029982A1 (en) Image generation device, image generation method, and vehicle control system
JP4579374B2 (ja) 撮像装置および監視カメラシステム
JP2005324745A (ja) 車両用表示装置
JP2023035172A (ja) 制御装置、制御方法、及びプログラム
JP2003091799A (ja) 車載用周辺画像取得方法及び車載用周辺画像取得装置及びそれに用いる撮像用カメラ及びそれに用いる画像提示装置
JPH0441941A (ja) 車両用追従走行制御装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 03826775.6

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

WWE Wipo information: entry into national phase

Ref document number: 2005503866

Country of ref document: JP

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2006164514

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10563486

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003817431

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2003817431

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10563486

Country of ref document: US