WO2014148175A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2014148175A1
WO2014148175A1 PCT/JP2014/053776 JP2014053776W WO2014148175A1 WO 2014148175 A1 WO2014148175 A1 WO 2014148175A1 JP 2014053776 W JP2014053776 W JP 2014053776W WO 2014148175 A1 WO2014148175 A1 WO 2014148175A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
image
range
frame rate
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/053776
Other languages
English (en)
French (fr)
Inventor
貴之 木村
俊和 村尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to US14/778,823 priority Critical patent/US9967438B2/en
Priority to DE112014001571.7T priority patent/DE112014001571B4/de
Publication of WO2014148175A1 publication Critical patent/WO2014148175A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected two-dimensional [2D] regions of the array, e.g. for windowing or digital zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the present invention relates to an image processing apparatus that performs image processing using image data acquired by an imaging unit.
  • an image processing apparatus that performs image processing according to various uses (applications) using image data captured by an imaging unit.
  • These image processing apparatuses perform image processing using the entire image data captured by the imaging unit (hereinafter referred to as full screen data) or image data obtained by cutting out a necessary part from the full screen data according to the application.
  • Image processing using (cut-out image data) is performed.
  • an image processing apparatus that adjusts the optical axis of an imaging unit is known as an image processing apparatus that performs image processing using cut-out image data (see, for example, Patent Document 1).
  • the frequency with which an application is executed depends on its purpose and application. For example, when an application that requires image processing at a higher frequency is to be executed, the above-described conventional apparatus must acquire full-screen data at a higher frame rate, so that the operation clock for operating the imaging means There was a problem that it was necessary to increase the frequency.
  • the present invention has been made in view of such problems, and an object of the present invention is to provide an image processing apparatus corresponding to various applications without using a high-speed operation clock.
  • the image processing apparatus which is made to achieve the above object, is an image processing apparatus that processes an image captured by an imaging unit for a preset imaging range at each preset frame rate.
  • An image processing unit that performs image processing on image data of an image captured by the imaging unit, and a first range preset in the imaging range for the imaging unit is set to a preset first frame rate.
  • a first setting unit configured to perform image capturing, and a second range that is a part of an imaging range captured by the imaging unit and is narrower than the first range.
  • a second setting unit that performs setting for imaging at two frame rates, and a selection between the first setting unit and the second setting unit according to the processing content executed by the image processing.
  • Determining means for determining Luke characterized in that it comprises a.
  • the image processing apparatus of the present invention can realize image processing required for an application with a required execution frequency without using a high-speed operation clock.
  • the image processing apparatus when realizing an application that requires image processing at a higher frequency, the image processing apparatus causes the imaging unit to acquire data using the second range as an image range that is at least necessary for realizing the application. Then, image processing using this image data is performed. According to this, the processing load of the image processing apparatus can be reduced because the process of cutting out the required image range is not performed.
  • the first setting means may set the first range to the entire imaging range.
  • the second setting means may set a set of the second range and the second frame rate, or set a plurality of sets of the second range and the second frame rate. May be.
  • the imaging unit may perform imaging in accordance with an operation clock having the same frequency regardless of the determination by the determination unit.
  • the image processing apparatus of the present invention changes the frame rate without changing the frequency of the operation clock, the deterioration of EMC characteristics and the increase in heat generation, which are a concern when the frequency of the operation clock is increased, are increased. Can be suppressed.
  • FIG. 1 It is a block diagram showing the structure of the image processing apparatus of 1st Embodiment.
  • A is explanatory drawing explaining the imaging range of full screen mode
  • (b) is explanatory drawing explaining the imaging range of cut-out screen mode.
  • A) is explanatory drawing explaining the timing signal of full screen mode
  • (b) is explanatory drawing explaining the timing signal of cut-out screen mode.
  • (a) is explanatory drawing which shows the relationship between the optical axis of a camera, and FOE
  • (b) is based on the shift
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus 10 according to the first embodiment.
  • the image processing apparatus 10 is used in a state of being mounted on a vehicle, and together with an in-vehicle camera (hereinafter simply referred to as “camera”) 20, an integrated determination ECU 60, an alarm unit 70, and a steering ECU 80 mounted on the vehicle.
  • the alarm processing and the steering control based on the recognition of the vehicle ahead are realized.
  • a configuration including the image processing apparatus 10 and the camera 20 is referred to as a camera system 1.
  • the camera 20 is installed at a predetermined position in the vehicle interior, for example, behind the room mirror, and images a road ahead in the traveling direction of the vehicle.
  • the orientation of the camera 20 is adjusted so that the imaging range is a predetermined imaging range with respect to the traveling direction of the vehicle.
  • the camera 20 includes a sensor unit 30 including a CMOS image sensor including a known PD array in which PDs (Photo Diodes) are arranged in a vertical direction and a horizontal direction, an oscillator 40, and a control unit 50.
  • the exposure time (shutter speed), the gain of the signal (pixel value) output to the image processing apparatus 10, the frame rate, the imaging range, and the like can be adjusted in accordance with an instruction from the control unit 50 based on the camera control value.
  • the camera 20 uses a digital signal indicating the brightness (brightness) of each pixel of the captured image as a pixel value, and outputs the pixel value to the image processing apparatus 10 together with the vertical / horizontal synchronization signal of the image.
  • the sensor unit 30 outputs pixel values at timings according to vertical / horizontal synchronization signals and a pixel clock (hereinafter referred to as timing signals), and the oscillator 40 receives these timing signals from the control unit 50. Generate according to the instructions.
  • the vertical synchronization signal is a signal for setting a delimiter for one frame (the total number of pixels in the imaging range)
  • the horizontal synchronization signal is a signal for setting a delimiter for each horizontal direction in the frame
  • the pixel clock is a sensor unit.
  • 30 is a signal (operation clock) for setting a timing for acquiring a pixel value for each pixel of an image picked up by 30.
  • the pixel clock is fixed at a predetermined frequency.
  • the time required for dividing one frame is variable, and the minimum time is sufficiently larger than the imaging time (exposure time).
  • the control unit 50 instructs adjustment of the frame rate and the imaging range based on the camera control value output from the image processing apparatus 10. Specifically, as a camera control value for adjusting the frame rate, a period during which the vertical synchronization signal is set to a high level (referred to as a vertical synchronization signal high period Hv) and a period during which the vertical synchronization signal is set to a low (LOW) level (vertical synchronization signal low). Period Lv), a period during which the horizontal synchronization signal is at a high level (horizontal synchronization signal high period Hh), and a period during which the horizontal synchronization signal is at a low level (horizontal synchronization signal low period Lh).
  • a camera control value for adjusting the frame rate a period during which the vertical synchronization signal is set to a high level (referred to as a vertical synchronization signal high period Hv) and a period during which the vertical synchronization signal is set to a low (LOW) level (vertical synchronization signal low).
  • the lengths of the vertical synchronization signal low period Lv and the horizontal synchronization signal low period Lh are each set to a fixed time.
  • the lengths of the respective periods Hv, Lv, Hh, and Lh are represented by these symbols as necessary.
  • start coordinates S coordinates on the imaging screen of the first pixel acquired in the imaging range
  • end coordinate E coordinates on the imaging screen of the pixel acquired last
  • timing signals for obtaining pixel values of the entire rectangular imaging screen (hereinafter referred to as the entire screen) having m pixels in the x direction and n pixels in the y direction. explain.
  • the control unit 50 controls the pixel value to be output from the sensor unit 30 in accordance with the pixel clock during the period when both the vertical and horizontal synchronization signals are set to high.
  • the start coordinate S1 of the imaging range is set to the upper left corner of the screen, and the end coordinate E1 is set to the lower right corner of the screen.
  • the length of the vertical synchronization signal high period Hv1 is set as a time necessary for acquiring pixel values of the entire screen (total number of pixels (m ⁇ n pixels)).
  • the length of the vertical synchronization signal low period Lv1 is set to a predetermined time a.
  • the sum of the lengths of the period Hv1 and the period Lv1 is determined as the period of the vertical synchronization signal, that is, the frame period T1.
  • the length of the horizontal synchronization signal high period Hh ⁇ b> 1 is a time required to acquire pixel values for m pixels in the x direction, and is a period of the pixel clock and the number of pixels in the x direction (m).
  • the length of the horizontal synchronization signal low period Lh1 is set to a predetermined time b.
  • the total length of the period Hh1 and the period Lh1 is determined as the period of the horizontal synchronization signal.
  • a mode for acquiring pixel values of the full screen in this way is referred to as a full screen mode.
  • the cut-out screen is a rectangular screen composed of m ⁇ p (m ⁇ p ⁇ m ⁇ n) of m pixels in the x direction and p (p ⁇ n) pixels in the y direction.
  • the start coordinate S2 and the end coordinate E2 are set to the upper left corner and the lower right corner of the cutout screen, respectively.
  • the length of the vertical synchronization signal high period Hv2 is set to a time necessary for acquiring pixel values for p lines.
  • the length of the horizontal synchronization signal high period Hh2 is set to the same value as the length of the horizontal synchronization signal high period Hh1 in the full screen mode because the number of pixels in the x direction is the same.
  • the frame period T2 in the cut-out screen mode is determined to be shorter than the frame period T1 in the full screen mode because the number of lines to be acquired is small (the number of pixels to be acquired is small).
  • the frame rate is set low as a result.
  • the frame rate is set higher as a result. Such a frame rate change is performed without changing the operation clock.
  • the camera 20 is configured such that the number of pixels transmitted in one frame is set by setting the imaging range, and the frame rate is set by setting the number of pixels.
  • the image processing apparatus 10 includes at least a CPU 11, a memory 12, an image interface 13 for inputting a captured image of the camera 20, and a communication interface 14 for communicating with the integrated determination ECU 60.
  • the image interface 13 receives a pixel value output from the camera 20 and a horizontal / vertical synchronization signal.
  • the CPU 11 recognizes which pixel position the pixel value sequentially output from the camera 20 corresponds to based on the horizontal / vertical synchronization signal input to the image interface 13. Then, the pixel value output from the camera 20 is stored in the memory 12 so as to correspond to the recognized pixel position. In this way, the image signal output from the camera 20 is stored in the memory 12.
  • the CPU 11 processes the image signal output from the camera 20 to perform image processing according to various control uses (applications) performed by the integrated determination ECU 60, and outputs the processing result to the integrated determination ECU 60. Specifically, in order to realize the alarm process and the steering process as applications executed by the integrated determination ECU 60, the CPU 11 performs a process of recognizing the position of the recognition target (here, the preceding vehicle) as an image process.
  • the CPU 11 performs control for adjusting the exposure of the camera 20, the imaging range, and the frame rate so that the recognition target object is appropriately recognized. Specifically, the CPU 11 outputs camera control values including these adjustment instruction values to the camera 20 in order to adjust the exposure time, gain, frame rate, and captured image range of the camera 20.
  • the communication interface 14 performs communication between the CPU 11 and the integrated determination ECU 60.
  • the integrated determination ECU 60 determines whether or not there is a risk that the host vehicle is in contact with the preceding vehicle. Is instructed to issue an alarm (alarm processing). Further, when the risk is high, not only an alarm is issued, but also steering control is performed on the steering ECU 80 (the assist amount of the steering device is adjusted or the steering device is automatically driven to avoid the danger). Control to perform) (steering process).
  • a process executed by the CPU 11 (referred to as a startup optical axis correction process) will be described.
  • the CPU 11 executes an alarm process and an image process (front vehicle recognition) corresponding to the steering process as an application executed by the integrated determination ECU 60.
  • the optical axis P faces the front in the traveling direction of the vehicle, and an infinite point (FOE) in the captured image (G0).
  • FOE infinite point
  • the focus of expansion is adjusted so as to be positioned at the center of the horizontal screen width and the center of the vertical screen width (that is, the screen center) as shown in FIG.
  • the process for correcting the deviation of the direction of the optical axis P is an optical axis correction process described below.
  • the imaging range be a full screen in consideration of the deviation of the optical axis.
  • This process is executed at a predetermined timing (for example, a timing at which an ignition switch is turned on) by the CPU 11 or at a predetermined cycle according to a program stored in advance.
  • a predetermined timing for example, a timing at which an ignition switch is turned on
  • the CPU 11 When starting the optical axis correction process at startup, the CPU 11 first executes the optical axis correction process in S110, and then sets the exposure (S140: YES) until the timing of ending the alarm process and the steering process as an application comes (S140: YES). Then, the process of performing image processing according to these applications (S130) is repeatedly executed.
  • the camera control value is set so that the imaging range of the camera 20 is a full screen.
  • an image (pixel value) of the full screen is acquired in the full screen mode set in S230, an infinite point (FOE) is calculated from the acquired image, and the calculated infinite point should be originally located.
  • a deviation from the center of the screen, which is an infinite point (hereinafter referred to as an optical axis deviation amount) is calculated. Since various methods for calculating the infinity point are well known, description thereof will be omitted.
  • the calculated optical axis deviation amount and the history of optical axis correction (for example, a flag value indicating the history, etc.) are stored in the memory 12, and the process proceeds to S260.
  • a camera control value is set so that an imaging range is a screen range required at least for alarm processing and steering processing as an application, that is, a cut-out screen obtained by cutting out a range required from the entire screen. This process is terminated.
  • a deviation amount correction process for correcting the deviation is executed, and a camera control value is set.
  • the correction of the shift by the shift amount correction process may be realized by adjusting the optical axis of the camera 20 by the driving mechanism, or may be realized by adjusting the shift amount when calculating the screen coordinates.
  • the optical axis correction process is realized at a relatively low frame rate on the entire screen.
  • the image processing according to the warning processing and the steering processing based on front vehicle recognition as an application is realized at a relatively high frame rate by using the front of the vehicle lane as a cut-out screen (imaging screen).
  • the frame rate at which the camera 20 acquires an image is changed without using a high-speed operation clock according to the contents of the image processing for realizing the application. can do.
  • the frame rate is set high, the camera 20 performs the process of cutting out the required image range, so the processing load on the image processing apparatus 10 can be reduced.
  • the frame rate is changed without changing the frequency of the operation clock. Therefore, the degradation of EMC characteristics that are a concern when the frequency of the operation clock is increased, and Increase in heat generation can be suppressed.
  • the camera 20 corresponds to an imaging unit.
  • the process of S130 corresponds to the process as the image processing means
  • S220 corresponds to the process as the determination means
  • the process of S230 corresponds to the process as the first setting means
  • the process of S260 is the second setting means. It corresponds to the processing as.
  • the camera system 1 including the image processing apparatus 10 and the camera 20 in the present embodiment corresponds to an image processing system.
  • the full screen corresponds to the first range
  • the cutout screen corresponds to the second range
  • the frame rate T1 in the full screen mode corresponds to the first frame rate
  • the frame rate T2 in the cutout screen mode corresponds to the second range. Corresponds to the frame rate.
  • FIG. 5 the image processing apparatus 10 (CPU 11) executes image processing (S130) for an application such as steering processing after executing the optical axis correction processing (S110).
  • the present invention can also be applied to a case where image processing corresponding to various applications is executed without first executing processing for correcting the optical axis.
  • the image process executed in S330 that is, the image process corresponding to the application realized by the integration process is relatively performed on the entire screen. It is determined whether or not to execute an image captured at a low frame rate.
  • S410 If it is determined in S410 that image processing is to be executed for an image captured on the full screen and at a relatively low frame rate (S410: YES), the process proceeds to S420, and the control of the full screen mode is performed as the camera control value. The value is set and the process ends. On the other hand, if a negative determination is made in S410 (S410: NO), the process proceeds to S430, the control value of the cut-out screen mode is set as the camera control value, and this process is terminated.
  • image processing can be executed using captured images captured with an image range and a frame rate corresponding to various applications according to the determination in S410. The effect of can be obtained.
  • the apparatus configuration is the same as that in the above embodiment, but the parameters of the camera control values are partially different from those in the above embodiment. That is, the camera control value parameter of the present embodiment is obtained by adding a clock frequency parameter for setting the pixel clock frequency of the camera 20 to the camera control value parameter set in the above embodiment.
  • the camera 20 is configured to change the pixel clock frequency of the camera 20 according to the control value of the clock frequency parameter.
  • the frame rate is changed without changing the clock frequency (f1) of the pixel clock.
  • the clock frequency (f2) is changed (f2> f1). Therefore, if necessary, a higher frame rate can be realized as shown in FIG.
  • an image for realizing alarm processing and steering control as an application (hereinafter referred to as a cut-out screen application) using image processing (recognition processing of a preceding vehicle) for a captured image acquired in the cut-out screen mode.
  • a cut-out screen application an application for realizing alarm processing and steering control as an application
  • image processing recognition processing of a preceding vehicle
  • the cut-out screen application in addition to the alarm process and the steering control process based on the preceding vehicle recognition, the alarm process and the steering based on the white line recognition process in which at least the range where the white line in front of the host vehicle exists is the cut-out range.
  • Various applications that realize sensing in front of the host vehicle such as a control process and an alarm process and an avoidance process based on a pedestrian recognition process that uses at least a detection range of a pedestrian in front of the host vehicle as a cutout range, may be used.
  • a raindrop sensor that detects raindrops on the windshield
  • a cloudiness sensor that detects the cloudy condition of the windshield
  • a fog sensor that detects the occurrence of fog in front of the host vehicle
  • the brightness of the sky It may be an application that realizes functions such as an illuminance sensor, a distance sensor that detects a distance from an object using a stereo camera, and a road surface detection sensor that detects an edge of a road surface.
  • the cut-out screen mode is applied to an application that requires a presumed recognition range as a cut-out screen and needs to update the cut-out screen frequently.
  • the cutout screen (recognition range) K may be set in a range excluding the mounting error range E set as the mounting error of the camera 20 in the entire screen.
  • a full screen application an application that performs image processing using a captured image acquired in the full screen mode
  • a process for generating a bird's eye view and a car navigation system screen Applications
  • processing to generate images with predetermined information added drive recorders that record the driving details of the vehicle and surrounding conditions during driving, and processing for night view systems that secure night vision .
  • the full-screen mode is applied to an application that has a small influence on the execution accuracy of the application and has a low execution frequency even if the optical axis is shifted, in addition to the optical axis correction process.
  • the full screen mode may be applied to the cut-out screen applications listed above as necessary.
  • the camera captures the front of the vehicle.
  • the present invention is not limited to this.
  • the camera captures the periphery of the vehicle, such as an image capturing the rear of the vehicle or an image capturing the side of the vehicle.
  • the present invention can be applied to various applications that can be executed using captured images.
  • the captured image is acquired by the camera 20 by switching to one of the two modes of the full screen mode and the cutout mode according to the application.
  • a configuration may be adopted in which a plurality of cutout screen modes having different image ranges and frame rates to be cut out are set without switching the full screen mode, and these modes are switched.
  • the sensor unit 30 is configured with a CMOS image sensor, but the sensor unit 30 may be configured with a CCD image sensor.
  • the data transmission between the camera 20 and the image processing apparatus 10 by the communication interface 14 may be a parallel transmission method or a serial transmission method.
  • the image processing device 20 may be configured to perform the processing executed by the integrated determination ECU 60 in the above embodiment.
  • the components of the image processing apparatus 10 exemplified in the above embodiment may be realized by hardware, software, or a combination of hardware and software.
  • at least a part of the image processing apparatus 10 may be configured by a computer apparatus (for example, a microcomputer) that executes the above-described processing (program).
  • a computer apparatus for example, a microcomputer
  • These components are functionally conceptual, and some or all of them may be functionally or physically distributed or integrated.
  • the above embodiment is merely an example of an embodiment to which the present invention is applied.
  • the present invention can be realized in various forms such as an image processing apparatus, an image processing method, a program for causing a computer to function as the image processing apparatus, and a recording medium on which the program is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)

Abstract

撮像手段は、予め設定されたフレームレート毎に予め設定された撮像範囲の撮像画像を取得する。画像処理手段は、撮像手段が撮像した画像の画像データについて画像処理を実行する。第１設定手段（Ｓ４２０）は、撮像手段に、撮像範囲のうち予め設定された第１範囲を、予め設定された第１フレームレートで撮像させる設定を行う。第２設定手段（Ｓ４３０）は、撮像手段に、撮像手段が撮像する撮像範囲の一部であり、第１範囲より狭い第２範囲を、第１フレームレートより高い第２フレームレートで撮像させる設定を行う。判断手段（Ｓ４２０）は、画像処理が実行する処理内容に応じて、第１設定手段及び第２設定手段のうちいずれを選択するかを判断する。

Description

画像処理装置
　本発明は、撮像手段に取得させる画像データを用いて画像処理を行う画像処理装置に関する。
　従来、撮像手段によって撮像された画像データを用いて、種々の用途（アプリケーション）に応じた画像処理を実行する画像処理装置が知られている。これらの画像処理装置は、アプリケーションに応じて、撮像手段により撮像した画像データの全体（以下、全画面データという）を用いた画像処理や、全画面データから必要となる一部を切り出した画像データ（切り出し画像データ）を用いた画像処理を行う。例えば、切り出し画像データを用いた画像処理を行う画像処理装置として、撮像手段の光軸を調整するものが知られている（例えば、特許文献１参照）。
特開２０１０－２５１９３８
　ところで、アプリケーションが実行される頻度はその目的や用途により異なる。例えば、より高い頻度で画像処理を必要とするアプリケーションを実行しようとする場合、上記従来装置では、全画面データをより高いフレームレートで取得しなくてはならないため、撮像手段を動作させる動作クロックの周波数を高くする必要が生じるという問題があった。
　本発明は、このような問題に鑑みてなされたものであり、高速な動作クロックを用いることなく、種々のアプリケーションに対応する画像処理装置を提供することを目的とする。
　上記目的を達成するためになされた請求項１に記載の画像処理装置は、予め設定されたフレームレート毎に、予め設定された撮像範囲について撮像手段が撮像した画像を処理する画像処理装置であって、前記撮像手段が撮像した画像の画像データについて画像処理を実行する画像処理手段と、前記撮像手段に、前記撮像範囲のうち予め設定された第１範囲を、予め設定された第１フレームレートで撮像させる設定を行う第１設定手段と、前記撮像手段に、前記撮像手段が撮像する撮像範囲の一部であり、前記第１範囲より狭い第２範囲を、前記第１フレームレートより高い第２フレームレートで撮像させる設定を行う第２設定手段と、前記画像処理が実行する処理内容に応じて、前記第１設定手段及び前記第２設定手段のうちいずれを選択するかを判断する判断手段と、を備えることを特徴とする。
　従って、本発明の画像処理装置は、アプリケーションに必要とされる画像処理を、高速な動作クロックを用いることなく、必要とされる実行頻度で実現することができる。ここで、より高い頻度で画像処理を必要とするアプリケーションを実現する場合、画像処理装置は、第２範囲を、このアプリケーションの実現に少なくとも必要とされる画像範囲として、撮像手段にデータを取得させ、この画像データを用いた画像処理を行う。これによると、必要とされる画像範囲を切り出す処理を行うことが無いため、画像処理装置の処理負荷を軽減することができる。
　ここで、請求項２に記載のように、第１設定手段は、第１範囲を撮像範囲の全域に設定してもよい。また、請求項３に記載のように、第２設定手段は、一組の第２範囲及び第２フレームレートを設定してもよいし、複数組の第２範囲及び第２フレームレートを設定してもよい。
　なお、請求項４に記載のように、撮像手段は、判断手段での判断にかかわらず、同じ周波数の動作クロックに従って撮像を行うものであってもよい。つまり、本発明の画像処理装置は、フレームレートの変更を、動作クロックの周波数を変化させること無く行うため、動作クロックの周波数を高くした場合に懸念されるＥＭＣ特性の劣化、及び発熱の増加を抑制することができる。
第１実施形態の画像処理装置の構成を表すブロック図である。 （ａ）は全画面モードの撮像範囲を説明する説明図であり、（ｂ）は切り出し画面モードの撮像範囲を説明する説明図である。 （ａ）は全画面モードのタイミング信号を説明する説明図であり、（ｂ）は切り出し画面モードのタイミング信号を説明する説明図である。 光軸補正処理で検出する無限遠点（ＦＯＥ）について説明する説明図であり、（ａ）はカメラの光軸とＦＯＥとの関係を示す説明図であり、（ｂ）は光軸のずれによるＦＯＥのずれを説明する説明図である。 起動時光軸補正処理の内容を示すフローチャートである。 光軸補正処理の内容を示すフローチャートである。 第２実施形態の通常処理の内容を示すフローチャートである。 画像設定処理の内容を示すフローチャートである。 第３実施形態において、クロック周波数を第１実施形態の切り出し画面モードより高い周波数に設定したときのタイミング信号を説明する説明図である。 他の実施形態での切り出し画面を説明する説明図である。
　以下に本発明の実施形態を図面と共に説明する。
　［第１実施形態］
　［１．全体構成］
　図１は、第１実施形態の画像処理装置１０の構成を示すブロック図である。
　画像処理装置１０は、車両に搭載された状態で用いられるものであり、その車両に搭載されている車載カメラ（以下、単に「カメラ」という）２０、統合判断ＥＣＵ６０、警報部７０及び操舵ＥＣＵ８０とともに、前方車両の認識に基づく警報処理及び操舵制御を実現する。なお、画像処理装置１０及びカメラ２０からなる構成をカメラシステム１という。
　カメラ２０は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方の道路を撮像する。なお、カメラ２０は、車室内の所定位置に設置されるときに、その撮像範囲が車両の進行方向に対して所定の撮像範囲となるように、その向き等が調整されている。
　カメラ２０は、垂直方向及び水平方向にＰＤ（Photo Diode）を配列した公知のＰＤアレイからなるＣＭＯＳイメージセンサを備えるセンサ部３０と、発振器４０と、制御部５０とを備え、画像処理装置１０からのカメラ制御値に基づく制御部５０からの指示に従って、露出時間（シャッタースピード）、画像処理装置１０へ出力する信号（画素値）のゲイン、フレームレート及び撮像範囲等を調整することが可能に構成されている。カメラ２０は、撮像した画像の画素毎の輝度（明るさ）を示すデジタル信号を画素値として、該画素値を、画像の垂直・水平同期信号とともに画像処理装置１０へ出力する。
　このカメラ２０では、センサ部３０が、垂直・水平同期信号、及びピクセルクロック（以下、これらをタイミング信号という）に従うタイミングで画素値を出力し、発振器４０が、これらのタイミング信号を制御部５０からの指示に従って生成する。
　垂直同期信号は、１フレームの区切り（撮像範囲の総画素数）を設定する信号であり、水平同期信号は、フレーム内の水平方向毎の区切りを設定する信号であり、ピクセルクロックは、センサ部３０によって撮像する画像の画素毎の画素値を取得するタイミングを設定する信号（動作クロック）である。カメラ２０では、ピクセルクロックは予め定められた周波数に固定されている。また、１フレームの区切りに要する時間は可変であり、その最小時間は撮像時間（露出時間）に比べて十分に大きい値となっている。
　制御部５０は、画像処理装置１０から出力されたカメラ制御値に基づいて、フレームレート及び撮像範囲の調整を指示する。
　具体的には、フレームレートを調整するカメラ制御値として、垂直同期信号をハイ（Ｈｉｇｈ）レベルとする期間（垂直同期信号ハイ期間Ｈｖという）及びロー（ＬＯＷ）レベルとする期間（垂直同期信号ロー期間Ｌｖという）と、水平同期信号をハイレベルとする期間（水平同期信号ハイ期間Ｈｈ）及びローレベルとする期間（水平同期信号ロー期間Ｌｈ）とが設定される。ただし、垂直同期信号ロー期間Ｌｖ、及び水平同期信号ロー期間Ｌｈの長さは、それぞれ、一定時間に設定されている。以下では、必要に応じ、各期間Ｈｖ、Ｌｖ、Ｈｈ、Ｌｈの長さを、これらの記号で表すものとする。
　また、撮像範囲を調整するパラメータとして、撮像範囲のうち最初に取得される画素の撮像画面上の座標（開始座標Ｓという）、及び最後に取得される画素の撮像画面上の座標（終了座標Ｅという）が設定される。
　ここで、図２（ａ）に示すように、ｘ方向にｍ画素及びｙ方向にｎ画素からなる矩形の撮像画面全体（以下、全画面という）の画素値を取得する場合の各タイミング信号について説明する。制御部５０は、垂直・水平同期信号がともにハイに設定されている期間、ピクセルクロックに従ってセンサ部３０から画素値を出力させるように制御する。
　まず、撮像範囲の開始座標Ｓ１は全画面の画面左上角に設定され、終了座標Ｅ１は画面右下角に設定される。
　そして、図３（ａ）に示すように、垂直同期信号ハイ期間Ｈｖ１の長さは全画面（全画素数（ｍ×ｎ画素））の画素値を取得するために必要な時間として設定される。垂直同期信号ロー期間Ｌｖ１の長さは、所定時間ａに設定される。この期間Ｈｖ１及び期間Ｌｖ１の長さの合計が、垂直同期信号の周期、つまりフレーム周期Ｔ１として決定される。
　また、水平同期信号ハイ期間Ｈｈ１の長さは、ここでは、ｘ方向についてｍピクセル分の画素値を取得するために必要な時間として、ピクセルクロックの周期とｘ方向の画素数（ｍ）との積として設定される。水平同期信号ロー期間Ｌｈ１の長さは、所定時間ｂに設定されている。この期間Ｈｈ１及び期間Ｌｈ１の長さの合計が、水平同期信号の周期として決定される。以下では、このように全画面の画素値を取得するモードを全画面モードという。
　次に、図２（ｂ）に示すように、全画面のうち一部を切り出した切り出し画面の画素値を取得する場合（切り出しモードという）のタイミング信号について説明する。簡単のため、切り出し画面は、ｘ方向にｍ画素及びｙ方向にｐ（ｐ＜ｎ）画素の画素数ｍ×ｐ（ｍ×ｐ＜ｍ×ｎ）からなる矩形の画面とする。
　この場合、開始座標Ｓ２及び終了座標Ｅ２は、それぞれ切り出し画面の左上角及び右下角に設定される。また、図３（ｂ）に示すように、垂直同期信号ハイ期間Ｈｖ２の長さは、ｐライン分の画素値を取得するために必要な時間に設定される。水平同期信号ハイ期間Ｈｈ２の長さは、ｘ方向の画素数が同じであることから、全画面モードの水平同期信号ハイ期間Ｈｈ１の長さと同じ値に設定される。切り出し画面モードのフレーム周期Ｔ２は、取得するライン数が少ない（取得する画素数が少ない）ことから、全画面モードのフレーム周期Ｔ１より短い周期に決定される。
　このように、カメラ２０は、より広い撮像範囲（画素数大）の画素値を取得するように設定された場合、結果としてフレームレートが低く設定される。一方より狭い撮像範囲（画素数小）の画素値を取得するように設定された場合、結果としてフレームレートはより高く設定される。このようなフレームレートの変更は、動作クロックを変更せずに行われる。
　つまり、カメラ２０は、撮像範囲が設定されることにより１フレームで伝送する画素数が設定され、画素数が設定されることによりフレームレートが設定される、という構成になっている。
　画像処理装置１０は、少なくとも、ＣＰＵ１１、メモリ１２、カメラ２０の撮像画像を入力するための画像インタフェース１３、及び統合判断ＥＣＵ６０との通信を行うための通信インタフェース１４を備える。
　画像インタフェース１３は、カメラ２０から出力される画素値及び水平・垂直同期信号が入力される。ＣＰＵ１１は、画像インタフェース１３に入力された水平・垂直同期信号に基づいて、カメラ２０から順次出力される画素値が、いずれの画素位置に対応するものかを認識する。そして、認識した画素位置に対応するように、カメラ２０から出力される画素値をメモリ１２に記憶する。このようにして、カメラ２０から出力される画像信号がメモリ１２に保存される。
　ＣＰＵ１１は、カメラ２０から出力された画像信号を処理することにより、統合判断ＥＣＵ６０が行う各種制御の用途（アプリケーション）に応じた画像処理を行うとともに、その処理結果を統合判断ＥＣＵ６０に出力する。具体的には、統合判断ＥＣＵ６０が実行するアプリケーションとしての警報処理及び操舵処理の実現のために、ＣＰＵ１１は、画像処理として認識対象物（ここでは前方車両）の位置の認識処理を行う。
　またＣＰＵ１１は、認識対象物が適切に認識されるように、カメラ２０の露出制御、撮像範囲及びフレームレートを調整する制御を行う。具体的には、ＣＰＵ１１は、カメラ２０の露出時間、ゲイン、フレームレート、及び撮像画像範囲を調整するため、これらの調整指示値を含むカメラ制御値をカメラ２０へ出力する。通信インタフェース１４は、ＣＰＵ１１と、統合判断ＥＣＵ６０との間の通信を実行するものである。
　統合判断ＥＣＵ６０は、ＣＰＵ１１から送信された前方車両の位置に基づいて、自車両が前方車両と接触する危険性があるか否かを判定し、危険があると判定した場合には、警報部７０に対して警報を発するように指示する（警報処理）。また、危険性が高い場合には、単に警報を発するだけでなく、操舵ＥＣＵ８０に対して操舵制御（操舵装置のアシスト量を調節したり、操舵装置を自動的に駆動したりして危険を回避する制御）を行うように指示する（操舵処理）。
　［２．ＣＰＵでの処理］
　次に、ＣＰＵ１１が実行する処理（起動時光軸補正処理という）について説明する。ＣＰＵ１１は、カメラ２０の光軸のずれを補正する光軸補正処理を実行した後に、統合判断ＥＣＵ６０が実行するアプリケーションとしての警報処理及び操舵処理に応じた画像処理（前方車両認識）を実行する。
　はじめに、カメラ２０の光軸補正処理の概要について説明する。カメラ２０は、車室内の所定位置に設置されるときに、図４（ａ）に示すように光軸Ｐが車両の進行方向正面を向き、撮像した画像（Ｇ０）における無限遠点（ＦＯＥ：Focus　of　Expansion）が、図４（ｂ）に示すように、水平方向の画面幅中央、且つ垂直方向の画面幅中央（つまり画面中央）に位置するように調整されているものとする。
　しかし、実際にはカメラ２０の取り付け状態が変換することによって、カメラ２０の光軸Ｐの向きには誤差が生じ、撮像画像（例えばＧ１、Ｇ２）から精度の高い位置検出ができない虞がある。この光軸Ｐの向きのずれを補正する処理が、次に説明する光軸補正処理である。光軸補正処理を行う場合、光軸のずれ分を考慮し、撮像範囲を全画面とすることが望ましい。
　次に、図５示すフローチャートを用いて、ＣＰＵ１１が実行する処理について説明する。本処理は、予め記憶されているプログラムに従い、ＣＰＵ１１が予め定めたタイミング（例えば、イグニションスイッチがオンされるタイミング）毎に、あるいは所定の周期毎に実行される。
　ＣＰＵ１１は、起動時光軸補正処理を開始すると、まずＳ１１０で光軸補正処理を実行した後、アプリケーションとしての警報処理及び操舵処理を終了するタイミングとなるまで（Ｓ１４０：ＹＥＳ）、露出設定（Ｓ１２０）を行った後に、これらのアプリケーションに応じた画像処理を行う（Ｓ１３０）、という処理を繰り返し実行する。
　Ｓ１１０で実行する光軸補正処理では、図６のフローチャートに示すように、まずＳ２１０では、予め定められた露出条件でカメラ２０から撮像画像を取得する。続いて、Ｓ２２０では、光軸を補正した履歴がメモリ１２に記憶されているか否かを確認し、履歴が記憶されている場合はＳ２６０に移行し、履歴が記憶されていない場合はＳ２３０に移行する。
　光軸を補正した履歴が記憶されていない場合に移行するＳ２３０では、カメラ２０の撮像範囲を全画面とするように、カメラ制御値を設定する。次にＳ２４０では、Ｓ２３０で設定された全画面モードで全画面の画像（画素値）を取得し、取得した画像から無限遠点（ＦＯＥ）を算出し、算出した無限遠点と本来位置すべき無限遠点である画面中央とのずれ（以下、光軸ずれ量という）を算出する。無限遠点の算出方法は種々の方法が周知であるため、説明を省略する。続くＳ２５０では、算出した光軸ずれ量と、光軸補正を行ったという履歴（例えば、履歴を示すフラグ値等）をメモリ１２に記憶した後、Ｓ２６０に移行する。
　続いてＳ２６０では、アプリケーションとしての警報処理及び操舵処理に少なくとも必要とされる画面範囲、すなわち全画面から必要とされる範囲を切り出した切り出し画面を撮像範囲とするように、カメラ制御値を設定し、本処理を終了する。なお、Ｓ２６０では、Ｓ２５０から移行する場合は、Ｓ２５０で算出した光軸ずれ量に基づいて、このずれ分を補正するずれ量補正処理を実行し、カメラ制御値を設定する。ずれ量補正処理によるずれの補正は、駆動機構によりカメラ２０の光軸を調整することにより実現されてもよいし、画面座標の算出時にずれ量分を調整することにより実現されてもよい。
　これにより、光軸補正処理は、全画面で、相対的に低いフレームレートで実現される。一方、アプリケーションとしての、前方車両認識に基づく警報処理及び操舵処理に応じた画像処理は、自車両走行レーンの前方を切り出し画面（撮像画面）として、相対的に高いフレームレートで実現される。
　［３．効果］
　以上説明したように、本実施形態の画像処理装置１０では、アプリケーションを実現するための画像処理の内容に応じて、高速な動作クロックを用いることなく、カメラ２０が画像を取得するフレームレートを変更することができる。ここで、フレームレートが高く設定される場合、必要とされる画像範囲を切り出す処理はカメラ２０が行うため、画像処理装置１０の処理負荷を軽減することができる。
　また、本実施形態の画像処理装置１０では、フレームレートの変更を、動作クロックの周波数を変更することなく行っているため、動作クロックの周波数を高くした場合に懸念されるＥＭＣ特性の劣化、及び発熱の増加を抑制することができる。
　［４．特許請求の範囲との対応］
　本実施形態では、カメラ２０が撮像手段に相当する。また、Ｓ１３０の処理が画像処理手段としての処理に相当し、Ｓ２２０が判断手段としての処理に相当し、Ｓ２３０の処理が第１設定手段としての処理に相当し、Ｓ２６０の処理が第２設定手段としての処理に相当する。さらにまた、本実施形態における画像処理装置１０及びカメラ２０からなるカメラシステム１が、画像処理システムに相当する。また、全画面が第１範囲に相当し、切り出し画面が第２範囲に相当し、全画面モードでのフレームレートＴ１が第１フレームレートに相当し、切り出し画面モードでのフレームレートＴ２が第２フレームレートに相当する。
　［第２実施形態］
　第２実施形態について説明する。本実施形態の画像処理装置は、構成は上記実施形態と同様であるが、ＣＰＵ１１が実行する処理内容が異なる。つまり、上記実施形態では、画像処理装置１０（ＣＰＵ１１）は、図５に示すように、光軸補正処理（Ｓ１１０）を実行した後に操舵処理等のアプリケーションのための画像処理（Ｓ１３０）を実行したが、本発明は、はじめに光軸を補正する処理を実行することなく、各種アプリケーションに応じた画像処理を実行する場合にも適用できる。
　本実施形態のＣＰＵ１１が実行する通常処理を、図７のフローチャートを用いて説明する。本処理では、まずＳ３１０で画像設定処理を実行する。続いてＳ３２０～Ｓ３４０では、アプリケーションを終了させるまで（Ｓ３４０：ＹＥＳ）、図５に示すＳ１２０～Ｓ１４０と同様の処理を繰り返す。
　Ｓ３１０で実行する画像設定処理では、図８のフローチャートに示すように、まずＳ４１０では、Ｓ３３０で実行する画像処理、すなわち統合処理で実現するアプリケーションに応じた画像処理を、全画面で且つ相対的に低いフレームレートで撮像した画像について実行するのか否かを判断する。
　ここで、Ｓ４１０にて全画面で且つ相対的に低いフレームレートで撮像した画像について画像処理を実行すると判断された場合（Ｓ４１０：ＹＥＳ）、Ｓ４２０に移行し、カメラ制御値として全画面モードの制御値を設定して本処理を終了する。一方、Ｓ４１０にて否定判断された場合（Ｓ４１０：ＮＯ）、Ｓ４３０に移行し、カメラ制御値として切り出し画面モードの制御値を設定して本処理を終了する。
　具体的には、例えばアプリケーションとしての光軸補正処理に対応する画像処理を実行する場合は、Ｓ４１０にて肯定判断され、カメラ制御値が全画面モードの制御値に設定される。また、アプリケーションとしての前方車両認識に基づく警報処理及び操舵制御処理を実行する場合は、Ｓ４１０にて否定判断され、カメラ制御値が、自車両走行レーン前方を撮像範囲とする切り出し画面モードの制御値に設定される。
　以上説明したように、本実施形態では、Ｓ４１０での判断に従って、各種アプリケーションに応じた画像範囲及びフレームレートで撮像された撮像画像を用いて画像処理を実行することができ、上記実施形態と同様の効果を得ることができる。
　［第３実施形態］
　第３実施形態について説明する。本実施形態は、装置構成は上記実施形態と同様であるが、カメラ制御値のパラメータが上記実施形態とは一部異なる。つまり、本実施形態のカメラ制御値のパラメータは、上記実施形態で設定したカメラ制御値パラメータに、カメラ２０のピクセルクロックの周波数を設定するクロック周波数パラメータが追加されている。そして、カメラ２０は、該クロック周波数パラメータの制御値によって、カメラ２０のピクセルクロックの周波数を変更可能な構成となっている。
　つまり、上記実施形態ではフレームレートの変更を、ピクセルクロックのクロック周波数（ｆ１）を変更することなく実現していたが、本実施形態では、クロック周波数（ｆ２）を変更（ｆ２＞ｆ１）することにより、必要がある場合には、図９に示すように更に高いフレームレートを実現することができる。
　［他の実施形態］
　（１）上記実施形態では、切り出し画面モードで取得した撮像画像についての画像処理（前方車両の認識処理）を用いるアプリケーション（以下、切り出し画面アプリケーションという）として警報処理及び操舵制御を実現するための画像処理装置１０について説明したが、画像処理装置の用途（アプリケーション）はこれに限定されるものではない。
　具体的には、切り出し画面アプリケーションとしては、上記前方車両認識に基づく警報処理及び操舵制御処理のほか、少なくとも自車両前方の白線の存在する範囲を切り出し範囲とする白線認識処理に基づく警報処理や操舵制御処理、及び、少なくとも自車両前方の歩行者の検出範囲を切り出し範囲とする歩行者認識処理に基づく警報処理及び回避処理等、自車両前方のセンシングを実現する各種アプリケーションであってもよい。
　または、切り出し画面アプリケーションとしては、フロントガラスにおける雨滴を検出する雨滴センサ、フロントガラスのくもり状況を検出するくもりセンサ、自車両前方の霧の発生状況を検出する霧センサ、天空の明るさを検出する照度センサ、ステレオカメラを用いて対象物との距離を検出する距離センサ、路面のエッジを検出する路面検出センサ等の機能を実現するアプリケーションであってもよい。
　つまり、切り出し画面モードは、予め想定される認識範囲を切り出し画面として、且つ切り出し画面を高頻度に更新する必要のあるアプリケーションに適用される。なお、この切り出し画面（認識範囲）Ｋは、図１０に示すように、全画面のうちカメラ２０の搭載誤差として設定される搭載誤差範囲Ｅを除いた範囲に設定されてもよい。
　一方、全画面モードで取得した撮像画像を用いた画像処理を行うアプリケーション（以下、全画面アプリケーションという）としては、上記光軸補正処理のほか、鳥瞰図を生成する処理、カーナビゲーションシステムの画面上に所定の情報を付加した画像を生成する処理、自車両の運転内容や運転時の周囲の状況を記録するドライブレコーダや、夜間の視界を確保するナイトビューシステムのための処理等のアプリケーションが挙げられる。
　つまり、全画面モードは、光軸補正処理のほか、光軸がずれていてもアプリケーションの実行精度への影響が少なく且つ実行頻度の低いアプリケーションに適用される。なお、必要に応じて、全画面モードを上記に挙げた切り出し画面アプリケーションに適用してもよい。
　（２）上記実施形態では、カメラは車両前方を撮像するものであったが、これに限らず、例えば車両後方を撮像するものや車両側方を撮像するものなど、車両周辺を撮像するカメラによる撮像画像を用いて実行できる種々アプリケーションについて、本発明を適用することが可能である。
　（３）上記実施形態では、アプリケーションに応じて全画面モード及び切り出しモードの２つのモードのうちいずれか一方のモードに切り替えて、カメラ２０により撮像画像を取得していた。これに対し、アプリケーションに応じて切り出す画像範囲及びフレームレートが異なる複数の切り出し画面モードを設定し、これらのモードを切り替える構成としてもよい。または、全画面モードを設定せず、切り出す画像範囲及びフレームレートが異なる複数の切り出し画面モードを設定し、これらのモードを切り替える構成としてもよい。
　（４）上記実施形態では、センサ部３０はＣＭＯＳイメージセンサで構成されていたが、センサ部３０はＣＣＤイメージセンサで構成されていてもよい。
　（５）上記実施形態において、通信インタフェース１４によるカメラ２０と画像処理装置１０との間でのデータ伝送は、パラレル伝送方式であっても、シリアル伝送方式であってもよい。
　（６）上記実施形態において、カメラ２０で用いられる動作クロックの周波数が画像処理装置１０のＣＰＵ１１等で用いられる動作クロック周波数より高い場合、カメラ２０から画像処理装置１０へのデータ伝送経路に分周回路を設けてもよい。
　（７）画像処理装置２０は、上記実施形態において統合判断ＥＣＵ６０が実行する処理を行うように構成されてもよい。
　（８）上記実施形態で例示した画像処理装置１０の構成要素は、ハードウェアで実現してもよく、ソフトウェアで実現してもよく、ハードウェアとソフトウェアとの組み合わせで実現してもよい。例えば、上述した処理（プログラム）を実行するコンピュータ装置（例えばマイコン）により画像処理装置１０の少なくとも一部を構成してもよい。また、これらの構成要素は機能概念的なものであり、その一部又は全部を、機能的又は物理的に分散又は統合してもよい。
　（９）上記実施形態は、本発明が適用された実施形態の一例に過ぎない。本発明は、画像処理装置、画像処理方法、画像処理装置としてコンピュータを機能させるためのプログラム、そのプログラムを記録した記録媒体、などの種々の形態で実現することができる。
　１・・・カメラシステム
　１０・・・画像処理装置
　１１・・・ＣＰＵ
　２０・・・カメラ
　３０・・・センサ部
　４０・・・発振器
　５０・・・制御部

Claims (5)

  1. 　予め設定されたフレームレート毎に、予め設定された撮像範囲について撮像手段（２０）が撮像した画像を処理する画像処理装置であって、
    　前記撮像手段が撮像した画像の画像データについて画像処理を実行する画像処理手段（Ｓ１３０、Ｓ３３０）と、
    　前記撮像手段に、前記撮像範囲のうち予め設定された第１範囲を、予め設定された第１フレームレートで撮像させる設定を行う第１設定手段（Ｓ２３０、Ｓ４２０）と、
    　前記撮像手段に、前記撮像手段が撮像する撮像範囲の一部であり、前記第１範囲より狭い第２範囲を、前記第１フレームレートより高い第２フレームレートで撮像させる設定を行う第２設定手段（Ｓ２６０、Ｓ４３０）と、
    　前記画像処理が実行する処理内容に応じて、前記第１設定手段及び前記第２設定手段のうちいずれを選択するかを判断する判断手段（Ｓ２１０、Ｓ３１０）と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記第１設定手段は、前記第１範囲を、前記撮像範囲の全域とすることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記第２設定手段は、少なくとも一組の前記第２範囲及び前記第２フレームレートを設定することを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記撮像手段は、前記判断手段での判断にかかわらず、同じ周波数のクロックに従って動作することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
  5. 　請求項１から４のいずれか一項に記載の画像処理装置と、前記撮像手段とを備える画像処理システム。
PCT/JP2014/053776 2013-03-22 2014-02-18 画像処理装置 Ceased WO2014148175A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/778,823 US9967438B2 (en) 2013-03-22 2014-02-18 Image processing apparatus
DE112014001571.7T DE112014001571B4 (de) 2013-03-22 2014-02-18 Bildverarbeitungsvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-060195 2013-03-22
JP2013060195A JP6003745B2 (ja) 2013-03-22 2013-03-22 画像処理装置

Publications (1)

Publication Number Publication Date
WO2014148175A1 true WO2014148175A1 (ja) 2014-09-25

Family

ID=51579868

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/053776 Ceased WO2014148175A1 (ja) 2013-03-22 2014-02-18 画像処理装置

Country Status (4)

Country Link
US (1) US9967438B2 (ja)
JP (1) JP6003745B2 (ja)
DE (1) DE112014001571B4 (ja)
WO (1) WO2014148175A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9967438B2 (en) 2013-03-22 2018-05-08 Denso Corporation Image processing apparatus
JP2021034783A (ja) * 2019-08-20 2021-03-01 三菱電機株式会社 車載カメラ装置
JP2022063623A (ja) * 2020-10-12 2022-04-22 アズビル株式会社 測定装置および測定方法
WO2026062882A1 (ja) * 2024-09-20 2026-03-26 Ｎｔｔ株式会社 イメージセンサ接続装置及び方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
JP6658402B2 (ja) * 2016-08-26 2020-03-04 富士通株式会社 フレームレート判定装置、フレームレート判定方法及びフレームレート判定用コンピュータプログラム
US10999539B2 (en) * 2017-12-26 2021-05-04 Waymo Llc Adjustable vertical field of view
US12115916B2 (en) 2021-02-01 2024-10-15 Rosco, Inc. Downlighting signal and illumination mirror head for vehicle
JP7505437B2 (ja) * 2021-04-02 2024-06-25 株式会社デンソー 車載カメラシステムの制御装置
JP2025056590A (ja) * 2023-09-27 2025-04-08 トヨタ自動車株式会社 窓曇り検出装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333409A (ja) * 2002-05-10 2003-11-21 Sanyo Electric Co Ltd ビデオカメラ
JP2012060371A (ja) * 2010-09-08 2012-03-22 Pentax Ricoh Imaging Co Ltd 撮像システムおよび画素信号読出し方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004015806A1 (de) 2004-03-29 2005-10-27 Smiths Heimann Biometrics Gmbh Verfahren und Anordnung zur Aufnahme interessierender Bereiche von beweglichen Objekten
US7599521B2 (en) * 2004-11-30 2009-10-06 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
JP4556777B2 (ja) 2005-06-15 2010-10-06 株式会社デンソー 夜間運転視界支援装置
JP4737317B2 (ja) 2009-04-14 2011-07-27 株式会社デンソー 車両周辺撮影表示システム
WO2012004928A1 (ja) * 2010-07-08 2012-01-12 パナソニック株式会社 撮像装置
JP5740647B2 (ja) * 2011-01-20 2015-06-24 株式会社ミツトヨ 画像測定装置
JP2013042402A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム
JP6003745B2 (ja) 2013-03-22 2016-10-05 株式会社デンソー 画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333409A (ja) * 2002-05-10 2003-11-21 Sanyo Electric Co Ltd ビデオカメラ
JP2012060371A (ja) * 2010-09-08 2012-03-22 Pentax Ricoh Imaging Co Ltd 撮像システムおよび画素信号読出し方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9967438B2 (en) 2013-03-22 2018-05-08 Denso Corporation Image processing apparatus
JP2021034783A (ja) * 2019-08-20 2021-03-01 三菱電機株式会社 車載カメラ装置
JP2022063623A (ja) * 2020-10-12 2022-04-22 アズビル株式会社 測定装置および測定方法
WO2026062882A1 (ja) * 2024-09-20 2026-03-26 Ｎｔｔ株式会社 イメージセンサ接続装置及び方法

Also Published As

Publication number Publication date
JP6003745B2 (ja) 2016-10-05
US9967438B2 (en) 2018-05-08
JP2014187495A (ja) 2014-10-02
DE112014001571T5 (de) 2015-12-10
US20160050342A1 (en) 2016-02-18
DE112014001571B4 (de) 2023-07-27

Similar Documents

Publication Publication Date Title
JP6003745B2 (ja) 画像処理装置
US7171027B2 (en) Vehicular image processing apparatus and related method
JP6060282B2 (ja) 車載カメラ画像処理装置
US9986164B2 (en) Camera shaking correction device and imaging apparatus with offset correction
JP6660751B2 (ja) 撮像装置
CN109835266B (zh) 摄像装置模块
CN109792492B (zh) 摄像控制装置及方法、记录有程序的记录介质
JP6305430B2 (ja) 撮像設定変更装置、撮像システム、および撮像設定変更方法
JP4258539B2 (ja) 複数画角カメラ
JPWO2015129280A1 (ja) 画像処理装置および画像処理方法
WO2016121406A1 (ja) 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
JP2013168738A (ja) 露光制御装置
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
JP2012178639A (ja) 画像処理装置、駐車制御システム、及び、画像処理方法
US20180069998A1 (en) Imaging apparatus, imaging system, and vehicle
JP6161582B2 (ja) 画像処理装置
JP7070326B2 (ja) 物体検出装置
JP2020127164A (ja) 情報処理装置
JP2015099556A (ja) 位置特定装置、および前照灯制御システム
JP2008143447A (ja) 車両用安全制御装置
JP5759709B2 (ja) 画像認識装置
JP6314667B2 (ja) 撮像装置、画像補正プログラムおよび画像処理装置
US20230289986A1 (en) Range finding device, control method for range finding device, and storage medium
JP4255398B2 (ja) 障害物検出方法及び障害物検出装置
JP2017011351A (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14768085

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14778823

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112014001571

Country of ref document: DE

Ref document number: 1120140015717

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14768085

Country of ref document: EP

Kind code of ref document: A1