WO2018012925A1 - 이미지 생성 방법 및 생성 장치 - Google Patents

이미지 생성 방법 및 생성 장치 Download PDF

Info

Publication number
WO2018012925A1
WO2018012925A1 PCT/KR2017/007571 KR2017007571W WO2018012925A1 WO 2018012925 A1 WO2018012925 A1 WO 2018012925A1 KR 2017007571 W KR2017007571 W KR 2017007571W WO 2018012925 A1 WO2018012925 A1 WO 2018012925A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
bayer
data
camera
images
Prior art date
Application number
PCT/KR2017/007571
Other languages
English (en)
French (fr)
Inventor
임성현
신제용
Original Assignee
엘지이노텍(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160164418A external-priority patent/KR102718457B1/ko
Application filed by 엘지이노텍(주) filed Critical 엘지이노텍(주)
Priority to US16/317,413 priority Critical patent/US11115636B2/en
Priority to EP17827995.6A priority patent/EP3486874A4/en
Priority to CN201780055715.9A priority patent/CN109690628B/zh
Publication of WO2018012925A1 publication Critical patent/WO2018012925A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present invention relates to a method and apparatus for generating an image, and more particularly, to a method and apparatus for generating an image for around view monitoring (AVM).
  • AVM image for around view monitoring
  • the driver assistance system is a system that assists the driver while driving or parking for the driver's safe driving.
  • AFM Around view monitoring
  • the around view monitoring system may generate an image displaying an object, for example, a 360 degree viewing angle around an object, for example, a vehicle, using an image obtained from a limited number of cameras through an apparatus for producing image.
  • the lens mounted on the camera may be a fisheye lens or a similar type of wide-angle lens to obtain a wide viewing angle.
  • the images acquired by the lens are different from those based on human vision, and the images to be finally output compared with the direction of the camera lens installed in the vehicle are top view images. Images acquired from the cameras must go through various image signal processing.
  • FIG. 1 is a diagram illustrating an apparatus for generating an image according to a conventional technique.
  • the camera unit 10 includes an image acquisition unit 11, a demoosaic + ISP unit 12, and a transmission unit 13.
  • the image generating device 20 includes a receiving unit 21, a matching unit 22 and an output unit 23.
  • demosaicing + ISP unit 12 is included in camera unit 10.
  • the video signal processing process by the demosaicing + ISP unit 12 in order to receive an image by the receiving unit 21 is performed. After the step, ie before the step of registering the image by the matching unit 22.
  • each camera unit performs an auto exposure (AE) or auto white balance (AWB) process at the ISP stage before the image registration step.
  • AE auto exposure
  • AVB auto white balance
  • the present invention can provide a wide-angle image generating method and apparatus for generating a matched image of uniform quality.
  • the present invention can reduce the amount of data transmitted through the communication network by transmitting the Bayer pattern from the plurality of camera devices mounted on the vehicle to the image processing device, thereby providing a high quality camera device without significantly affecting the speed or capability of the in-vehicle communication network. It is possible to provide an electronic device for operable image generation and acquisition.
  • the present invention by matching the images transmitted from the plurality of camera apparatuses and then performing an auto exposure (AE) or AWB (auto white balance (AWB)) of the plurality of cameras, the image transmitted from the plurality of cameras
  • AE auto exposure
  • AWB auto white balance
  • a vehicle electrical apparatus for outputting an image includes a plurality of camera apparatuses for outputting a Bayer pattern; In-Vehicle Networking (IVN) for delivering the Bayer pattern; And an image processor for processing the Bayer pattern transmitted through the vehicle communication network.
  • IVN In-Vehicle Networking
  • the Bayer pattern is an uncompressed version and may be converted into a format required by the in-vehicle network.
  • the in-vehicle network is operated by Low-Voltage Differential Signaling (LVDS), and the Bayer pattern may be included in an Ethernet frame format.
  • LVDS Low-Voltage Differential Signaling
  • the in-vehicle network is operated by Low-Voltage Differential Signaling (LVDS), and the plurality of camera devices may be connected to the image processor through an independent dedicated line.
  • LVDS Low-Voltage Differential Signaling
  • the camera device comprises a lens assembly for collecting the incoming optical signal; An image sensor converting the optical signal collected through the lens assembly into an electrical signal and outputting the Bayer pattern; And a transmitter for transmitting the Bayer pattern.
  • the transmitter may further include a serializer for converting the Bayer pattern into serial data to transmit the low voltage differential signaling scheme.
  • the transmitter may further include an encoder for converting the serial data into the Ethernet frame format.
  • the image processor may further include a color interpolator configured to perform color interpolation and demosaicing by receiving the Bayer pattern; A correction unit which performs first image processing on the image transmitted from the color interpolation unit; A matching unit matching the image output from the correction unit; And an adjusting unit for adjusting auto exposure based on the output of the matching unit.
  • a color interpolator configured to perform color interpolation and demosaicing by receiving the Bayer pattern
  • a correction unit which performs first image processing on the image transmitted from the color interpolation unit
  • a matching unit matching the image output from the correction unit
  • an adjusting unit for adjusting auto exposure based on the output of the matching unit.
  • the first image processing includes calibration, lens distortion correction, color correction, gamma correction, color space conversion, and edge enhancement. Edge Enhancement) may be performed.
  • the first image processing may include performing an inverse perspective mapping transform that generates a transformed image from which perspective is removed from the image transmitted from the color interpolator.
  • the image processor may further include a deserializer which receives the Bayer pattern and converts the Bayer pattern into parallel data to provide the color interpolator.
  • the image processor may further include a decoder that extracts the Bayer pattern from the Ethernet frame format when the Bayer pattern is transmitted in an Ethernet frame format.
  • a vehicle camera apparatus includes a lens assembly including a plurality of lenses for collecting the incoming optical signal; An image sensor converting the optical signal collected through the lens assembly into an electrical signal and outputting the Bayer pattern; And a transmitter for transmitting the Bayer pattern.
  • the transmitter may include a serializer for converting the Bayer pattern into serial data to transmit the low voltage differential signaling scheme.
  • the transmitter may further include an encoder for converting the serial data into the Ethernet frame format.
  • an image processing apparatus including a color interpolation unit configured to perform color interpolation and demosaicing by receiving a plurality of Bayer patterns; A correction unit configured to perform first image processing on the plurality of interpolation images transmitted from the color interpolation unit; A matching unit for matching a plurality of correction images output from the correction unit; And an adjusting unit for adjusting an auto exposure of a camera that acquires the plurality of Bayer patterns based on the output of the matching unit.
  • the first image processing includes calibration, lens distortion correction, color correction, gamma correction, color space conversion, and edge enhancement. Edge Enhancement) may be performed.
  • the first image processing may include performing an inverse perspective mapping transform that generates a transformed image from which perspective is removed from the image transmitted from the color interpolator.
  • the image processing apparatus may further include a deserializer which receives the plurality of Bayer patterns and converts the data into parallel data to provide the color interpolation unit.
  • the image processing apparatus may further include a decoder which extracts the Bayer pattern from the Ethernet frame format when the Bayer pattern is transmitted in an Ethernet frame format.
  • the image processing apparatus includes a processing system including at least one processor and at least one memory device in which a computer program is stored, wherein the image processing apparatus includes a plurality of Bayer patterns. Outputting a plurality of interpolated images by performing color interpolation and demosaicing; Outputting a plurality of correction images by performing first image processing on the plurality of interpolation images; And matching the plurality of corrected images to output a matched image.
  • the plurality of Bayer patterns may be transmitted through an in-vehicle network linked with a plurality of camera devices mounted on the vehicle.
  • processing system may further enable the image processing apparatus to perform the step of converting the plurality of Bayer patterns in the serial data form into a parallel data form when the plurality of Bayer patterns are transmitted in the form of serial data. have.
  • processing system may further enable the image processing apparatus to adjust the auto exposure of the plurality of camera apparatuses obtaining the plurality of Bayer patterns based on the matched image.
  • the first image processing includes calibration, lens distortion correction, color correction, gamma correction, color space conversion, and edge enhancement. Edge Enhancement) may be performed.
  • the first image processing may include performing an inverse perspective mapping transform that generates a transformed image from which the perspective is removed from the plurality of interpolated images.
  • An image processing method includes receiving a plurality of Bayer patterns and performing color interpolation (demsaicing) to output a plurality of interpolated images; Outputting a plurality of correction images by performing first image processing on the plurality of interpolation images; And matching the plurality of correction images to output a matched image.
  • the image processing method may further include adjusting an auto exposure of the plurality of camera apparatuses obtaining the plurality of Bayer patterns based on the matched image.
  • the first image processing includes calibration, lens distortion correction, color correction, gamma correction, color space conversion, and edge enhancement. Edge Enhancement) may be performed.
  • the first image processing may include performing an inverse perspective mapping transform that generates a transformed image from which the perspective is removed from the plurality of interpolated images.
  • a computer readable recording medium may be recorded by an application program, which is implemented by a processor to realize the above-described image processing method.
  • An image generating apparatus is an image generating apparatus (apparatus for producing wide angle image), a processor for processing an operation for matching to a single image using a plurality of images; And a memory storing at least one program command executed by the processor, wherein the at least one program command comprises: receiving a plurality of bayer images captured in real time by a plurality of camera units; Using the plurality of Bayer images to match one image in a demosaicing form; And image signal processing (ISP) including automatic exposure and auto white balance correction, which are performed after registration with the one image.
  • ISP image signal processing
  • An image generating apparatus is an image generating apparatus (apparatus for producing wide angle image), a processor for processing an operation for matching to a single image using a plurality of images; And a memory storing at least one program command executed by the processor, wherein the at least one program command comprises: receiving a plurality of bayer images captured in real time by a plurality of camera units; Matching the Bayer images to the Bayer images using the plurality of Bayer images; And image signal processing (ISP) including automatic exposure and auto white balance correction after being matched with the one Bayer image.
  • ISP image signal processing
  • An image generating apparatus is an image generating apparatus (apparatus for producing wide angle image), a processor for processing an operation for matching to a single image using a plurality of images; And a memory storing at least one program command executed by the processor, wherein the at least one program command comprises: receiving a plurality of bayer images captured in real time by a plurality of camera units; Demosaicing the plurality of Bayer images; Matching the images into a single image using the plurality of demosaiced images; And image signal processing (ISP) including automatic exposure and auto white balance correction after registration with the one image.
  • ISP image signal processing
  • a single matched image can be generated using a plurality of images in less time and at a lower cost. It is also possible to match an image consisting of pixels of overall uniform quality.
  • the present invention can reduce the amount of data transferred from the plurality of cameras to the image processing apparatus, it is possible to provide an electronic device for image acquisition that can be designed more free from the constraints and limitations of the vehicle network.
  • the present invention can reduce the inconsistency between the images in the process of synthesizing the images obtained from the plurality of cameras can reduce the distortion in the synthesized image.
  • FIG. 1 is a diagram illustrating an apparatus for generating a wide-angle image according to a conventional technique.
  • FIGS. 2 to 4 are views showing a wide-angle image generating apparatus according to different embodiments of the present invention.
  • FIG. 5 illustrates a first example of a vehicle electrical apparatus for outputting an image.
  • FIG. 6 illustrates a connection between the vehicle camera module and the image processing apparatus described with reference to FIG. 5.
  • FIG. 7 illustrates an example of the vehicle camera module described in FIG. 5.
  • FIG. 8 illustrates an example of the image processing apparatus described with reference to FIG. 5.
  • FIG. 9 is a flowchart of a wide-angle image generating method according to the first embodiment of the present invention associated with FIG. 2.
  • FIG. 10 is a flowchart illustrating a matching process in step S520 of FIG. 9.
  • 11 to 16 are exemplary diagrams for describing the entire process of FIG. 9.
  • FIG. 17 is a flowchart of a wide-angle image generating method according to a second embodiment of the present invention associated with FIG. 3.
  • FIG. 18 is a flowchart of a wide-angle image generating method according to a third embodiment of the present invention associated with FIG. 3.
  • FIG. 19 is a block diagram of a wide-angle image generating apparatus according to another embodiment of the present invention.
  • 21 illustrates a second example of the vehicle electrical apparatus for outputting an image.
  • FIG. 22 illustrates a connection between the vehicle camera module and the image processing apparatus described with reference to FIG. 21.
  • FIG. 23 illustrates an example of the vehicle camera module described with reference to FIG. 21.
  • FIG. 24 illustrates an example of the image processing apparatus described with reference to FIG. 21.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 2 is a view showing an image generating apparatus according to an embodiment of the present invention.
  • the camera unit includes an image acquisition unit 110 and a transmission unit 120.
  • the image acquisition unit 110 may correspond to an image sensor such as a CMOS or a CCD that converts light received through a camera lens into an electrical signal.
  • an image sensor such as a CMOS or a CCD that converts light received through a camera lens into an electrical signal.
  • the transmitting unit 120 is a unit for transmitting the image acquired by the image obtaining unit 110 to the receiving unit 210 of the image generating apparatus 200.
  • an image generating apparatus 200 may include a receiving unit 210, a demosaicing + matching unit 220B, an ISP unit 230, and an output unit ( 240).
  • demosaicing + matching unit 220B and the ISP unit 230 are executed by the processor for performing each step of a processor for image signal processing and an image generating method according to another embodiment of the present invention.
  • At least one program command may be implemented through a stored memory.
  • the receiving unit 210 receives the Bayer image transmitted by the transmitting unit 120.
  • the demosaicing + matching unit 220B demosaises and matches the Bayer image received by the receiving unit 210 to generate one image.
  • the Bayer image received by the receiving unit 210 may be a plurality of Bayer images. That is, it is preferable that the plurality of Bayer images are acquired by the plurality of image acquisition units 110 provided in the plurality of cameras.
  • the demosaicing + matching unit 220B simultaneously performs a demosaicing process and a matching process, which will be described in detail in an image generating method according to another exemplary embodiment of the present invention.
  • one image is preferably an image of a rough view or a top view used for around view monitoring.
  • the ISP unit 230 performs an image signal processing (ISP) step on one image matched in a demosaiced form.
  • ISP image signal processing
  • the output unit 240 outputs the image corrected through the demosaicing step and the image signal processing step to a display device or the like.
  • FIG. 3 is a diagram illustrating an image generating apparatus 200 according to another exemplary embodiment of the present invention. Only differences from FIG. 2 will be described.
  • an image generating apparatus 200 includes a receiving unit 210, a matching unit 220, a demosaicing + ISP unit 230A, and an output unit 240.
  • a demosaicing unit is included in the ISP unit. Therefore, the demosaicing + ISP unit 230A performs a demosaicing process and an ISP process on the matched Bayer image.
  • FIG. 4 is a diagram illustrating an image generating apparatus according to another exemplary embodiment of the present invention. Only differences from FIG. 2 will be described.
  • an image generating apparatus 200 includes a receiving unit 210, a demosaicing unit 215, a matching unit 220, an ISP unit 230, and an output unit 240. It includes. Compared to FIGS. 2 and 3, the demosaicing unit 215 is independent. Therefore, the demosaicing unit 215 performs demosaicing on the plurality of Bayer images before matching the plurality of Bayer images into one image.
  • FIG. 5 illustrates a first example of a vehicle electrical apparatus for outputting an image.
  • a vehicle electrical apparatus that outputs an image includes a plurality of camera devices 62, 64, 66, and 68 that output a Bayer pattern, and an in-vehicle network that transmits the Bayer pattern. , IVN), and an image processor 60 for processing the Bayer pattern transmitted through the vehicle communication network.
  • a vehicle electronic device that outputs an image that is, a vehicle image generating device includes a plurality of camera devices, for example, a front camera device 62, a rear camera device 64, a left camera device 66, a right camera device ( 68 and an image processor 60.
  • the front camera device 62, the rear camera device 64, the left camera device 66, and the right camera device 68 may be connected to the image processor 60 through a dedicated communication line.
  • the number of cameras included in the vehicle image generating apparatus may vary depending on the size of the vehicle, the angle of view of the camera, or the purpose of the vehicle image generating apparatus.
  • the plurality of camera devices 62, 64, 66, and 68 may be connected to the image processor 60 through an in-vehicle network (IVN).
  • the vehicle network IVN may support serial communication, such as Low Voltage Differential Signaling (LVDS).
  • LVDS Low Voltage Differential Signaling
  • INN may include a communication network according to a number of methods such as CAN, LIN, MOST, FlexRay. CAN continues to be used today as an automotive network architecture in all automotive applications, from powertrain to body, and LIN buses exchange signal data in a convenient area rather than a driving area where safety must be considered in a simple and economical way.
  • FlexRay and MOST buses can be used as an alternative to CAN when there is a need for real-time requirements and wider bandwidth.
  • Low voltage differential signaling (LVDS) has recently been proposed for the use of Ethernet as a network for connecting multiple components in a vehicle. In this case, there is an advantage of having a physical layer having a full-duplex transmission rate of 100 Mbit / s.
  • the plurality of camera devices 62, 64, 66, and 68 included in the vehicle image generating apparatus may transmit a Bayer pattern to the image processor 60 through an in-vehicle network (IVN).
  • the Bayer pattern includes raw data output by an image sensor that converts an optical signal included in a camera device or a camera module into an electrical signal.
  • an optical signal transmitted through a lens included in a camera device or a module is converted into an electrical signal through each pixel capable of detecting R, G, and B colors disposed in an image sensor.
  • the specification of the camera device or module is 5 million pixels, it can be considered that an image sensor including 5 million pixels capable of detecting R, G, and B colors is included.
  • each of the monochrome pixels which sense only the brightness of black and white, not the color, can be seen as a combination of any one of the R, G, and B filters. That is, in the image sensor, R, G, and B color filters have a specific pattern on monochrome pixel cells arranged by the number of pixels.
  • the R, G, and B color patterns intersect and are arranged according to the visual characteristics of the user (ie, human), which is called a Bayer pattern.
  • a typical camera device or module receives a Bayer pattern from an image sensor and outputs data in the form of an image through a process of applying color (color interpolation, color interpolation, or demosaicing), whereas the plurality of camera devices described in FIG. 62, 64, 66, and 68 output Bayer patterns.
  • the Bayer pattern has a much smaller amount of data than the image data. Therefore, even if the low voltage differential signaling (LVDS) having a full-duplex transmission rate of 100 Mbit / s may not be a safety hazard for the driver or user using the vehicle.
  • LVDS low voltage differential signaling
  • peripheral information obtained from a plurality of camera apparatuses disposed in the vehicle is analyzed. Can be removed.
  • FIG. 6 illustrates a connection between the vehicle camera module and the image processing apparatus described with reference to FIG. 5.
  • the camera device 62 is individually connected to the image processor 60.
  • the camera device 62 may be connected to the slave mode Sx, and the image processor 60 may be connected to the master mode Mx through serial communication such as a low voltage differential signaling method LVDS.
  • the camera device 62 converts the Bayer pattern output from the image sensor into serial data, and then transfers the converted Bayer pattern to the image processor 60.
  • the two devices are synchronized with each other to transfer data at the required amount and speed without being bound to the preset communication speed. There is an advantage that can be received.
  • the camera device 62 does not need to compress for the transmission of the Bayer pattern.
  • communication speed is limited in communication between two different devices, it is necessary to transfer more data within a limited time through data compression, but the camera device 62 and the image processor 60 are independent through a serial communication method.
  • the Bayer pattern in the uncompressed state can be converted into serial data and transferred.
  • FIG. 7 illustrates an example of the vehicle camera module described in FIG. 5.
  • the vehicle camera module 62 converts an optical signal collected through the lens assembly 70 and a lens assembly 70 including a plurality of lenses to collect incoming optical signals into electrical signals. It may include an image sensor 72 for outputting a pattern, and a transmitter for transmitting a Bayer pattern.
  • the transmission unit may have a different configuration depending on which in-vehicle communication network is connected to the image processor 60 (see FIG. 6).
  • the transmitter may include a serializer 74 that converts the Bayer pattern into serial data to transmit the Bayer pattern in a serial communication scheme such as a low voltage differential signaling scheme (LVDS).
  • the serializer 74 may typically include or be implemented with a buffer 76 that temporarily stores data and a phase locked loop PLL that forms a period of data to be transmitted.
  • FIG. 8 illustrates an example of the image processing apparatus described with reference to FIG. 5.
  • the image processing apparatus 60 may include an image generator 40 generating an image based on a Bayer pattern individually transmitted from different camera apparatuses, a matching unit 42 matching each image, And an adjusting unit 44 for controlling automatic exposure of the plurality of camera apparatuses based on the matched image.
  • the image generator 40 in the image processing apparatus 60 receives the plurality of Bayer patterns BP1 and transmits the color interpolators 38 and the color interpolators to perform color interpolation and demosaicing. It may include a correction unit 46 for performing a first image processing on the plurality of interpolated image.
  • the image processing apparatus 60 may further include an adjusting unit 44 that adjusts an auto exposure (AE) of a camera that acquires a plurality of bait patterns based on the output of the matching unit 42.
  • an adjusting unit 44 that adjusts an auto exposure (AE) of a camera that acquires a plurality of bait patterns based on the output of the matching unit 42.
  • the image processing apparatus 60 may receive the plurality of Bayer patterns BP1 from the plurality of camera devices through the vehicle network IVN (see FIG. 5). After receiving the plurality of Bayer patterns BP1, the image processing apparatus 60 converts the plurality of Bayer patterns BP1 into image data. After being converted to the plurality of images, the plurality of images can be matched. Thereafter, the matched image may be transmitted to the display device 50 for displaying to the user or the driver, and a control signal ET for adjusting the auto exposure AE of the camera may be output based on the matched image. .
  • the image processing apparatus 60 is used when adjusting the auto exposure (AE) of the camera based on the matched image because the user does not show the image acquired by each camera apparatus individually, but shows at least two images. May provide an image obtained from each camera to a user while reducing image quality deterioration.
  • AE auto exposure
  • the image processing apparatus 60 may further include a deserializer 34 that receives the Bayer pattern BP1 and converts the data into parallel data to provide the color interpolation unit 38.
  • a deserializer 34 that receives the Bayer pattern BP1 and converts the data into parallel data to provide the color interpolation unit 38.
  • the camera device or camera module described in FIGS. 5 and 6 outputs a Bayer pattern BP1. Since the Bayer pattern BP1 is converted into serial data to be transmitted through an in-vehicle network supporting serial communication, the Bayer pattern BP1 is used to perform color interpolation and demosaicing based on the Bayer pattern BP1. It is necessary to convert the Bayer pattern BP1 received in the data form back into the parallel data form.
  • the image processing apparatus 60 includes a plurality of deserializers 34, and independently outputs a Bayer pattern BP1 transmitted from different camera apparatuses by an image sensor included in each camera apparatus. Can be restored to the Bayer pattern.
  • the operation speed of the integrated circuit in which the image generator 40 is implemented may be several times to several tens of times faster than the speed at which the Bayer pattern is transmitted through the vehicle network.
  • the image processing apparatus 60 may include one deserializer 34 and a multiplexer (not shown) rather than having a plurality of deserializers 34.
  • the multiplexer may receive the plurality of Bayer patterns BP1 transmitted through the vehicle network and sequentially transmit the plurality of Bayer patterns BP1 to the deserializer 34. Thereafter, the deserializer 34 may restore the plurality of Bayer patterns BP1 sequentially transmitted to enable color interpolation.
  • the Bayer patterns restored by the plurality of deserializers 34 may be transmitted to the color interpolator 38.
  • the restored Bayer pattern may be transferred to the color interpolator 38 using a demultiplexer.
  • the deserializer 34 and the color interpolator 38 may be connected to a plurality of lines for transmitting a plurality of Bayer patterns or to one line for transferring a plurality of Bayer patterns.
  • the color interpolator 38 applies color interpolation by applying non-adaptive algorithms or adaptive algorithms to the transmitted Bayer pattern BP1.
  • the data converted into the image form by the color interpolator 38 is transmitted to the correction unit 46 which performs the first image processing.
  • the first image processing may include performing at least one of color correction, gamma correction, color space conversion, and edge enhancement. It may include.
  • the color interpolator 38 and the compensator 46 may be implemented as a single unit or a module, or may be implemented simultaneously by combining different complex algorithms. In this manner, when color interpolation and correction are performed on the Bayer pattern, an image may be obtained, and the image may be stored in a storage medium (not shown).
  • the matching unit 42 may perform at least one of calibration, lens distortion correction, and inverse perspective mapping transform to generate a transformed image with perspective removed.
  • the corrector 46 may selectively include a software algorithm or a hardware circuit capable of performing various functions according to a specification required for the image processing apparatus.
  • the matching unit 42 may perform calibration on the image data output from the color interpolation unit 38, and apply the result to lens distortion correction for the lens.
  • the calibration may include necessary correction work since the three-dimensional world we see with the real eye turns into a two-dimensional image when the camera device is photographed.
  • the actual image is the lens used, the distance between the lens and the image sensor, the lens and image Since the sensor is heavily influenced by the mechanical parts inside the camera, such internal factors must be removed when the 3D points are projected onto the image or vice versa when restoring the 3D spatial coordinates from the image coordinates. Accurate calculations are possible.
  • the process of obtaining the parameter value of this internal factor is a calibration operation in the camera apparatus.
  • the matching unit 42 may perform lens distortion correction based on the calibration result. For example, an image acquired by a camera apparatus using a wide-angle lens or an ultra-wide-angle lens having a wide field of view (FOV) can see a wide range, but the image distortion may become more severe from the center of the image to the edge. Such lens distortion may include radial distortion, tangential distortion, and the like.
  • the correction unit 46 may include a normalized image in which the influence of an internal camera parameter is removed. plane) can be used to project.
  • the matching unit 42 may perform a task for generating a transformed image from which perspective is removed from the image. For example, in order to convert an image obtained from a camera module mounted on a vehicle into a top view image, it is necessary to remove perspective effects on objects and objects in the image. If the vehicle has height and angle with the camera installed, and horizontal and vertical angle of view information of the camera, the relationship between the image plane acquired through the camera and the actual plane (top view target image plane) to be shown to the driver or user can be known. Using this relationship, the image plane obtained from the camera can be converted into a plane to be shown to the user.
  • the matching unit 42 may determine whether to match which of the plurality of images to match in response to a user input, and determine whether to convert each image into a specific form or format. . If the user does not want to match a plurality of images, the matching unit 42 does not need to perform an unnecessary matching process. In addition, when the user wants the image obtained by the camera device as it is, the matching unit 42 may not need to perform a transformation such as removing perspective.
  • the plurality of images received through the plurality of Bayer patterns and converted through the plurality of image generators 40 may be combined by the matching unit 42.
  • the matched image is transmitted not only to the display device 50 but also to the adjustment unit 44 that outputs a control signal ET for adjusting the auto exposure AE of the plurality of camera devices.
  • the adjusting unit 44 may be part of a controller (not shown) for controlling the plurality of camera devices.
  • the controller may be included in the image processing apparatus 60 and may be a module for controlling the plurality of camera apparatuses for various purposes based on the matched image.
  • the adjuster 44 may perform auto white balance (AWB) as well as auto exposure (AE) of the plurality of camera apparatuses.
  • the white balance is a process of matching the color temperature of the scene to be shot by the camera device with the color temperature set by the camera device.
  • the adjustment unit 44 can apply a color temperature in the range of about 2000 to 10000K, and an optimum white balance can be set automatically.
  • FIG. 9 is a flowchart illustrating a wide-angle image generating method according to another exemplary embodiment of the present invention.
  • ISP image signal processing
  • the reception unit 210 receives a plurality of Bayer images captured in real time from the plurality of camera units 100 transmitted by the transmission unit 120 (S510).
  • the plurality of images here are Bayer images.
  • Each pixel constituting the Bayer image includes only one information of R, G, and B.
  • the demosaicing + matching unit 220B generates one image in a demosaiced form by using the plurality of Bayer images (S520).
  • the demosaicing + matching unit 220B generates one image of the demosaiced form by simultaneously performing a demosaicing process and a matching process using a plurality of Bayer images.
  • one image of the demosaiced form may be an image of a rough view or a top view used for around view monitoring (AVM).
  • AVM around view monitoring
  • the demosaicing process and the matching process will be described first among the complex process by the demosaicing + matching unit 220B, and a method of simultaneously performing the two processes will be described.
  • a demosaicing process is a process in which an image sensor such as a complementary metal-oxide semiconductor (CMOS) or a charge coupled device (CCD) converts a shape of an image generated while converting light into an electrical signal.
  • CMOS complementary metal-oxide semiconductor
  • CCD charge coupled device
  • each pixel is corrected by interpolation to include the entire RGB information by using one of R, G, and B information and one of R, G, and B of neighboring pixels. For this reason, the demosaicing process of converting each pixel of an image that looks like a mosaic into color pixels containing the entire RGB information is sometimes called an interpolation process.
  • the matching of the plurality of Bayer images into one image is a process of generating one image by combining some pixels extracted from all pixels of each of the Bayer images. That is, the matching of one image is a step of generating one image to be connected through pixels corresponding to the same subject region among some pixels.
  • a first camera attached forward to a radiator grille of an automobile
  • a second camera attached to the right side of a rear right mirror of a car in a right direction
  • a third attached rearward to a car trunk hood.
  • the fourth camera attached to the camera and the rear left mirror of the camera toward the left side is installed in the target vehicle, there may be a common area where the same subject area is photographed in the images photographed by each camera.
  • the right region of the first camera and the left region of the second camera may be a common region
  • the right region of the second camera and the left region of the third camera may be a common region
  • the third The right area of the camera and the left area of the fourth camera may be a common area
  • the right area of the fourth camera and the left area of the first camera may be a common area.
  • the matching of the images may include a plurality of sub-processes therein.
  • FIG. 10 is a flowchart illustrating a matching process in step S520 of FIG. 9.
  • the process of matching a plurality of images into a single image includes a fisheye lens distortion correction (S621), a homogenous transform (S622), and an image stitching (S623). can do.
  • the distortion correction is a process of correcting the distortion of the image captured by the wide-angle lens.
  • the distortion correction process is a process for correcting the image reflected in the eye of the fish to the image reflected in the human eye.
  • planarization operation S622 is performed to connect the overlapped areas of the plurality of images to each other in a process of displaying a plurality of images corresponding to different views on one plane in the form of a top view. It is a process of becoming. This process is also called homogenization.
  • unification is a process of generating a single image after each other overlapped regions of the plurality of images obtained in the planarization process.
  • the process of matching the plurality of images described above into one image may be applied to a plurality of image pairs acquired over time, but may be simply performed using a look-up table.
  • the lookup table shows the address of the original image corresponding to each pixel of the matched image.
  • Image output through distortion correction, flattening, and unification processes that constitute the matching process is repeated if the installed camera does not change its position. That is, the camera and the pixel address referred to by each pixel constituting one image are common despite time. Therefore, one sampling process can create a lookup table that displays the addresses of the pixels that make up the matched image. The lookup table can then be used to create a single matched image without going through the image registration process.
  • the complex step in which the demosaicing process and the matching process by the demosaicing + matching unit 220B are performed at the same time can be completed by using the lookup table.
  • a plurality of Bayer images will be described in detail with respect to the complex step.
  • 11 illustrates Bayer images of the plurality of images.
  • Bayer images are mosaic-shaped images, and pixels constituting each image include only one piece of information among RGB information. Although four images are shown here, four or more cameras may be provided in the virtual vehicle to obtain four or more images.
  • FIG. 12 is an exemplary diagram illustrating a method of interpolating with reference to four surrounding pixels in a demosaicing process.
  • pixels of an area indicated by four arrows may be interpolated with reference to RGB values of pixels of an area displayed in red.
  • FIG. 13 is a diagram illustrating a method of interpolating with reference to six surrounding pixels in a demosaicing process.
  • a sample image of demosaicing and registration complete may be generated in advance.
  • a look-up table may be created in which pixel coordinates of an image and a reference image referred to by pixels constituting the sample image are displayed.
  • pixels of the image to be matched and generated may refer to the referenced image and the pixel coordinates in reverse, thereby forming one matched image.
  • the lookup table stores the information needed to synthesize the output image (what point in the input image should be referenced, how to match multiple input images, etc.).
  • the lookup table is composed of a matrix having the same number of pixels as the output image, and several matrices may be required according to a matching method.
  • Each element of the matrix can be data type such as integer or floating point as needed.
  • a matrix having a total of two floating point data types is required to store the X and Y coordinates of the reference image.
  • a total of four floating point numbers are stored to store the X and Y coordinates of the first reference image and the X and Y coordinates of the second reference image.
  • the size allocated to the storage device may be determined according to the precision in which the output image is expressed in integer or floating point.
  • FIG. 14 is an exemplary diagram illustrating coordinates referred to inversely during demosaicing and matching a plurality of Bayer images using a look-up table.
  • 15 is an exemplary screen illustrating a demosaicing process using four pixels around the coordinates.
  • 16 is an exemplary screen of a bilinear interpolation method using RGB of the four pixels.
  • information of one pixel of an image to be matched and generated may be generated as an interpolated value using RGB values of the four pixels.
  • the ISP unit 230 performs image signal processing (ISP) on one image matched in a demosaiced form (S530).
  • ISP image signal processing
  • the image signal processing (ISP) step may include a plurality of sub-processes therein.
  • the image signal processing step may include one or more of gamma correction, color correction, auto exposure correction, and auto white balance. These processes correspond to well-known techniques and will not be described in detail.
  • FIG. 17 is a flowchart of a wide-angle image generating method according to a second embodiment of the present invention associated with FIG. 3.
  • S610 a plurality of camera units
  • S620 demosaicing the matched Bayer image
  • ISP image signal processing
  • the reception unit 210 receives a plurality of Bayer images captured in real time from the plurality of camera units 100 transmitted by the transmission unit 120 (S610).
  • the matching unit 220 matches the single image by using the plurality of Bayer images received by the receiving unit 210 (S620).
  • the demosaicing + ISP unit 230A performs a demosaicing step on the matched Bayer image (S630).
  • the demosaicing + ISP unit 230 performs an image signal processing step on the matched and demosaiced one image (S640).
  • an image in which the demosaicing step and the image signal processing step are performed is generated for one matched image, and the output unit 240 outputs the corrected image to a display device or the like.
  • FIG. 18 is a flowchart of a wide-angle image generating method according to a third embodiment of the present invention associated with FIG. 4.
  • the demosaicing of the plurality of Bayer images input (S815) matches a single image with a step (S810) of receiving a plurality of images captured in real time from the plurality of camera units. It is placed between the step (S820).
  • FIG. 19 is a block diagram of a wide-angle image generating apparatus according to another embodiment of the present invention.
  • a wide-angle image generating apparatus 200 may include a processor 225 and a processor 225 for processing operations for matching one wide-angle image using a plurality of images.
  • the at least one program command may include receiving a plurality of images captured by the plurality of camera units in real time, matching one image using the plurality of images, and applying the matched one image.
  • ISP image signal processing
  • the processor 225 may execute a program command stored in the memory 235 and / or the storage device 250.
  • the processor 225 may refer to a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which the methods according to the present invention are performed.
  • the memory 235 and the storage device 250 may be configured of a volatile storage medium and / or a nonvolatile storage medium.
  • the memory 235 may be configured as read only memory (ROM) and / or random access memory (RAM).
  • each configuration is illustrated in different blocks for example, but each configuration may be composed of one block.
  • each block may be configured in a controller or a processor to perform the above-described series of operations.
  • a single matched image can be generated using a plurality of images in less time and at a lower cost. It is also possible to match an image consisting of pixels of overall uniform quality.
  • the left image shows an output image when the image is matched after the demosaicing process and the ISP process according to the existing technology
  • the right image shows the ISP process performed according to the first embodiment of the present invention. Shows the output image of the case.
  • the right image shows the overall improved image quality and uniform brightness and uniform color in the front, right, rear and left areas.
  • 21 illustrates a second example of the vehicle electrical apparatus for outputting an image.
  • the vehicle electrical apparatus for outputting an image is similar to that described with reference to FIG. 5.
  • the plurality of camera apparatuses 162, 164, 166, and 168 and the image processor 160 are not connected to each other by a separate dedicated line, but are connected through a common network. That is, a common network to which a plurality of components may be connected to the vehicle network IVN may be used, or at least a common network between the plurality of camera apparatuses 162, 164, 166, and 168 and the image processor 160 may be used.
  • the plurality of camera devices 162, 164, 166, and 168 When using a common network, the plurality of camera devices 162, 164, 166, and 168 must indicate who sent and who can receive the data they send, and the image processor 160 receives the data from whom It should be possible to identify the delivery.
  • the number of input and output terminals can be reduced in the image processor 160 and the image processor can be designed more flexibly.
  • FIG. 22 illustrates a form of data transmitted through the vehicular network described with reference to FIG. 21.
  • a low voltage differential signaling (LVDS) in a vehicle network may support Ethernet type communication.
  • the data format delivered by each camera device 162, 164, 166, 168 may include a destination address 272, a source address 274, and data 276.
  • the data format may include a frame check sequence (FCS) field or SFD (Super Fine Detail) information for checking the image quality.
  • FCS frame check sequence
  • SFD Super Fine Detail
  • the data frame shown in FIG. 22 is just one example, and according to a vehicle network used to connect one image processor 160 and a plurality of camera devices 162, 164, 166, and 168 in a 1: n manner. Can vary.
  • FIG. 23 illustrates an example of the vehicle camera module described with reference to FIG. 21.
  • the vehicular camera module 162 has a structure similar to the vehicular camera module 62 described in FIG. 7, but data that can be used in the common network when a Bayer pattern in the form of serial data is connected to the common network. It may further include an encoder 180 for converting in the form of a frame.
  • FIG. 24 illustrates an example of the image processing apparatus described with reference to FIG. 21.
  • the image processing apparatus 160 has a structure similar to that of the image processing apparatus 60 described with reference to FIG. 8, but receives a decoder 148 that receives and decodes a data frame including a transmitted Bayer pattern BP. It is further provided.
  • a plurality of deserializers 134 may not be required.
  • the parallelized data corresponding to the corresponding information may be distributed to the plurality of image generators 140. Can be.
  • the image generator 140 including the color interpolator 138 and the corrector 146 may generate an image by color interpolating and correcting the parallelized data.
  • the generated plurality of images may be combined at the matching unit 142, and the combined images may be provided to the user through the display device 150, and may be transmitted to the correcting unit 144 to adjust the auto exposure (AE) of the camera. Or to adjust the camera's color temperature (AWB).
  • AE auto exposure
  • AVB camera's color temperature

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

이미지 생성 방법 및 생성 장치가 개시된다. 이미지 생성 방법은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 베이어 이미지들(bayer images)을 입력 받는 단계, 상기 복수의 베이어 이미지들을 이용하여 디모자이크된 형태로서 하나의 이미지로 정합하는 단계; 및 상기 하나의 이미지로 정합하는 단계 이후에 진행되는, 자동 노출 및 오토 화이트 밸런스 보정이 포함된 영상 신호 처리(ISP, image signal processing) 단계를 포함한다. 따라서, 본 발명에 의하면 복수의 이미지들을 이용하여 적은 시간 및 적은 비용으로 하나의 정합된 이미지를 생성할 수 있다. 또한 전체적으로 균일한 품질의 픽셀들로 구성되는 이미지를 정합할 수 있다.

Description

이미지 생성 방법 및 생성 장치
본 발명은 이미지 생성 방법 및 생성 장치에 관한 것으로, 더욱 상세하게는 어라운드뷰 모니터링(around view monitoring, AVM)을 위해 이미지를 생성하는 방법 및 장치에 관한 것이다.
최근 자동차 산업의 활성화로 인해 교통사고 급증이 사회 문제화 되면서 사고를 미연에 방지할 수 있는 운전자 보조 시스템에 대한 연구가 활발하게 이루어지고 있다. 운전자 보조 시스템은 운전자의 안전한 운전을 위해 주행 또는 주차 중에 운전자에게 도움을 주는 시스템이다.
운전자 보조 시스템의 하나인 어라운드뷰 모니터링(around view monitoring, AVM) 시스템은 여러 대의 카메라를 장착하여 차량 주변 상황을 운전자에게 영상으로 제공하기 위해 최근 활발히 연구되고 있는 시스템이다. 독일과 일본의 여러 자동차 회사는 이미 제품으로 개발하여 출시하고 있다. 최근에는 여러 대의 카메라를 장착하여 운전자에게 하늘 위에서 보는 것 같은 조감도(Bird's Eye View)를 제공하는 시스템들이 주류를 이루고 있다.
어라운드뷰 모니터링 시스템은 이미지 생성 장치(apparatus for producing image)를 통해 제한된 수의 카메라에서 획득되는 이미지를 이용하여 물체, 예를 들면 자동차 주위를 360도의 시야 각으로 표시하는 이미지를 생성할 수 있다. 이때 카메라에 장착되는 렌즈는 넓은 시야각을 얻기 위해 어안렌즈 또는 비슷한 유형의 광각 렌즈가 사용될 수 있다. 그런데, 상기 렌즈에 의해 획득된 이미지들은 사람의 시각에 기초하는 이미지들과 다르고, 자동차에 설치되는 카메라 렌즈의 방향과 비교하여 최종 출력될 이미지가 탑 뷰(top view) 형태의 이미지이기 때문에 복수의 카메라들에서 획득된 이미지들은 각종 영상 신호 처리를 거쳐야 한다.
이러한 일련의 과정이 필요한 이유는 자동차의 지붕이 정면으로 촬영되도록 자동차에 카메라가 설치될 수 없기 때문이다.
도 1은 기존의 기술에 의한 이미지를 생성하는 장치를 나타내는 도면이다.
도 1을 참조하면, 카메라 유닛(10)은 이미지 획득 유닛(11), 디모자이크(demosaic)+ISP 유닛(12) 및 전송 유닛(13)을 포함한다. 그리고 이미지 생성 장치(20)는 수신 유닛(21), 정합 유닛(22) 및 출력 유닛(23)을 포함한다. 기존의 기술에 따르면, 디모자이크+ISP 유닛(12)이 카메라 유닛(10)에 포함되어 있다. 또는, 디모자이크+ISP 유닛(12)이 이미지 생성 장치에 포함되는 경우에도, 순서적으로 디모자이크+ISP 유닛(12)에 의한 영상 신호 처리 과정은, 수신 유닛(21)에 의해 이미지를 수신하는 단계 이후에 즉, 정합 유닛(22)에 의한 이미지를 정합하는 단계 이전에 위치한다.
즉 기존의 기술에 따르면 복수의 카메라를 통해 획득된 이미지 각각에 대해 영상 신호 처리(image signal processing, ISP)를 위한 유닛들이 필요하거나 영상 신호 처리 과정을 거쳐야 하기 때문에 많은 시간과 비용이 드는 문제점이 존재한다. 또한 기존의 기술에 따르면 이미지를 정합하는 단계 이전에 각각의 카메라 유닛이 ISP 단계에서 자동 노출(auto exposure, AE) 또는 오토 화이트 밸런스(auto white balance, AWB) 등의 과정을 수행하므로, 각각의 카메라가 설치된 환경의 차이로 인해 정합된 하나의 이미지에서 서로 다른 밝기 또는 화질의 영역이 나타나는 문제점이 존재한다.
본 발명은 균일한 품질의 정합된 이미지를 생성하는 광각 이미지 생성 방법 및 생성 장치를 제공할 수 있다.
또한, 본 발명은 차량에 탑재된 복수의 카메라 장치에서 이미지 처리 장치로 베이어 패턴을 전달함으로써 통신망을 통해 전달되는 데이터 양을 줄일 수 있어 차량 내 통신망의 속도나 역량에 큰 영향 없이 고화질의 카메라 장치를 운용할 수 있는 이미지 생성, 획득을 위한 전장 장치를 제공할 수 있다.
또한, 본 발명은 복수의 카메라 장치로부터 전달된 이미지를 정합한 후 복수의 카메라의 자동 노출(auto exposure, AE) 또는 AWB(auto white balance, AWB)을 수행함으로써, 복수의 카메라로부터 전달되는 영상이 아닌 정합된 이미지와 영상을 사용자 또는 운전자에게 보여주는 경우 정합을 위한 영상의 보정이 줄어들어 영상 왜곡을 줄일 수 있는 차량용 이미지 처리 장치를 제공할 수 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 이미지를 출력하는 차량 전장 장치는 베이어 패턴(Bayer Pattern)을 출력하는 복수의 카메라 장치; 상기 베이어 패턴을 전달하는 차량내 네트워크(In-Vehicle Networking, IVN); 및 상기 차량용 통신망을 통해 전달된 상기 베이어 패턴을 가공하는 이미지 프로세서를 포함할 수 있다.
또한, 상기 베이어 패턴은 무압축(uncompressed) 버전이며, 상기 차량내 네트워크에서 요구하는 포맷의 형태로 변환될 수 있다.
또한, 상기 차량내 네트워크는 저전압 차등 시그널링(Low-Voltage Differential Signaling, LVDS) 방식으로 운영되며, 상기 베이어 패턴은 이더넷 프레임 포맷(Ethernet Frame Format)에 포함될 수 있다.
또한, 상기 차량내 네트워크는 저전압 차등 시그널링(Low-Voltage Differential Signaling, LVDS) 방식으로 운영되며, 상기 복수의 카메라 장치는 독립된 전용라인을 통해 상기 이미지 프로세서에 연결될 수 있다.
또한, 상기 카메라 장치는 유입되는 광신호를 수집하는 렌즈어셈블리; 상기 렌즈어셈블리를 통해 수집된 상기 광신호를 전기신호로 변환하여 상기 베이어 패턴을 출력하는 이미지 센서; 및 상기 배이어 패턴을 송신하는 송신부를 포함할 수 있다.
또한, 상기 송신부는 상기 저전압 차등 시그널링 방식으로 송신하기 위해 상기 베이어 패턴을 직렬 데이터로 변환하는 시리얼라이져(serializer)를 더 포함할 수 있다.
또한, 상기 송신부는 상기 직렬 데이터를 상기 이더넷 프레임 포맷으로 변환하는 인코더(encoder)를 더 포함할 수 있다.
또한, 상기 이미지 프로세서는 상기 베이어 패턴을 전달받아 색 보간(color interpolation, demosaicing)을 수행하는 색 보간부; 상기 색 보간부에서 전달된 이미지에 대해 제1이미지처리를 수행하는 보정부; 상기 보정부에서 출력된 이미지를 정합하는 정합부; 및 상기 정합부의 출력을 바탕으로 자동노출(auto exposure)을 조정하는 조정부를 더 포함할 수 있다.
또한, 상기 제1이미지처리는 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 중 적어도 하나를 수행하는 것을 포함할 수 있다.
또한, 상기 제1이미지처리는 상기 색 보간부에서 전달된 이미지에서 원근감을 제거한 변환 이미지를 생성하는 역투영 이미지 변환(inverse perspective mapping transform)을 수행하는 것을 포함할 수 있다.
또한, 상기 이미지 프로세서는 상기 베이어 패턴을 전달받아 병렬 데이터로 전환하여 상기 색 보간부에 제공하는 디시리얼라이저(deserializer)를 더 포함할 수 있다.
또한, 상기 이미지 프로세서는 상기 베이어 패턴이 이더넷 프레임 포맷으로 전달된 경우, 상기 이더넷 프레임 포맷에서 상기 베이어 패턴을 추출하는 디코더(decoder)를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 차량용 카메라 장치는 유입되는 광신호를 수집하는 복수의 렌즈를 포함하는 렌즈어셈블리; 상기 렌즈어셈블리를 통해 수집된 상기 광신호를 전기신호로 변환하여 상기 베이어 패턴을 출력하는 이미지 센서; 및 상기 베이어 패턴을 전달하는 송신부를 포함할 수 있다.
또한, 상기 송신부는 상기 저전압 차등 시그널링 방식으로 송신하기 위해 상기 베이어 패턴을 직렬 데이터로 변환하는 시리얼라이져(serializer)를 포함할 수 있다.
또한, 상기 송신부는상기 직렬 데이터를 상기 이더넷 프레임 포맷으로 변환하는 인코더(encoder)를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 이미지 처리 장치는 복수의 베이어 패턴을 전달받아 색 보간(color interpolation, demosaicing)을 수행하는 색 보간부; 상기 색 보간부에서 전달된 복수의 보간 이미지에 대해 제1이미지처리를 수행하는 보정부; 상기 보정부에서 출력된 복수의 보정 이미지를 정합하는 정합부; 및 상기 정합부의 출력을 바탕으로 상기 복수의 베이어 패턴을 획득한 카메라의 자동노출(auto exposure)을 조정하는 조정부를 포함할 수 있다.
또한, 상기 제1이미지처리는 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 중 적어도 하나를 수행하는 것을 포함할 수 있다.
또한, 상기 제1이미지처리는 상기 색 보간부에서 전달된 이미지에서 원근감을 제거한 변환 이미지를 생성하는 역투영 이미지 변환(inverse perspective mapping transform)을 수행하는 것을 포함할 수 있다.
또한, 이미지 처리 장치는 상기 복수의 베이어 패턴을 전달받아 병렬 데이터로 전환하여 상기 색 보간부에 제공하는 디시리얼라이저(deserializer)를 더 포함할 수 있다.
또한, 이미지 처리 장치는 상기 베이어 패턴이 이더넷 프레임 포맷으로 전달된 경우, 상기 이더넷 프레임 포맷에서 상기 베이어 패턴을 추출하는 디코더(decoder)를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 이미지 처리 장치는 적어도 하나의 프로세서와 컴퓨터 프로그램이 저장된 적어도 하나의 메모리 장치를 포함하는 프로세싱 시스템을 포함하고, 상기 프로세싱 시스템은 상기 이미지 처리 장치가 복수의 베이어 패턴을 전달받아 색 보간(color interpolation, demosaicing)을 수행하여 복수의 보간 이미지를 출력하는 단계; 상기 복수의 보간 이미지에 대해 제1이미지처리을 수행하여 복수의 보정 이미지를 출력하는 단계; 및 상기 복수의 보정 이미지를 정합하여 정합 이미지를 출력하는 단계를 수행하도록 할 수 있다.
또한, 상기 복수의 베이어 패턴은 상기 차량에 탑재된 복수의 카메라 장치와 연동하는 차량내 네트워크를 통해 전달될 수 있다.
또한, 상기 프로세싱 시스템은 상기 이미지 처리 장치가 상기 복수의 베이어 패턴이 직렬 데이터로 형태로 전달되는 경우, 상기 직렬 데이터 형태의 상기 복수의 베이어 패턴을 병렬 데이터 형태로 변환하는 단계를 더 수행하도록 할 수 있다.
또한, 상기 프로세싱 시스템은 상기 이미지 처리 장치가 상기 정합 이미지를 바탕으로 상기 복수의 베이어 패턴을 획득한 상기 복수의 카메라 장치의 자동노출(auto exposure)을 조정하는 단계를 더 수행하도록 할 수 있다.
또한, 상기 제1이미지처리는 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 중 적어도 하나를 수행하는 것을 포함할 수 있다.
또한, 상기 제1이미지처리는 상기 복수의 보간 이미지에서 원근감을 제거한 변환 이미지를 생성하는 역투영 이미지 변환(inverse perspective mapping transform)을 수행하는 것을 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 이미지 처리 방법은 복수의 베이어 패턴을 전달받아 색 보간(color interpolation, demosaicing)을 수행하여 복수의 보간 이미지를 출력하는 단계; 상기 복수의 보간 이미지에 대해 제1이미지처리를 수행하여 복수의 보정 이미지를 출력하는 단계; 및 상기 복수의 보정 이미지를 정합하여 정합 이미지를 출력하는 단계를 포함할 수 있다.
또한, 이미지 처리 방법은 상기 정합 이미지를 바탕으로 상기 복수의 베이어 패턴을 획득한 상기 복수의 카메라 장치의 자동노출(auto exposure)을 조정하는 단계를 더 포함할 수 있다.
또한, 상기 제1이미지처리는 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 중 적어도 하나를 수행하는 것을 포함할 수 있다.
또한, 상기 제1이미지처리는 상기 복수의 보간 이미지에서 원근감을 제거한 변환 이미지를 생성하는 역투영 이미지 변환(inverse perspective mapping transform)을 수행하는 것을 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 컴퓨터 판독 가능한 기록매체는 프로세서에 의해 실행되는 것을 통하여, 전술한 이미지 처리 방법을 실현하는 것을 특징으로 하는 응용 프로그램이 기록될 수 있다.
본 발명의 또 다른 실시예에 따른 이미지 생성 장치는 이미지 생성 장치(apparatus for producing wide angle image)로서, 복수의 이미지들을 이용하여 하나의 이미지로 정합하기 위한 연산을 처리하는 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 프로그램 명령이 저장된 메모리를 포함하고, 상기 적어도 하나의 프로그램 명령은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 베이어 이미지들(bayer images)을 입력 받음; 상기 복수의 베이어 이미지들을 이용하여 디모자이크 형태인 하나의 이미지로 정합; 및 상기 하나의 이미지로 정합 이후에 진행되는, 자동 노출 및 오토 화이트 밸런스 보정을 포함하는 이미지신호처리(ISP,image signal processing)를 수행하도록 실행 가능할 수 있다.
본 발명의 또 다른 실시예에 따른 이미지 생성 장치는 이미지 생성 장치(apparatus for producing wide angle image)로서, 복수의 이미지들을 이용하여 하나의 이미지로 정합하기 위한 연산을 처리하는 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 프로그램 명령이 저장된 메모리를 포함하고, 상기 적어도 하나의 프로그램 명령은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 베이어 이미지들(bayer images)을 입력 받음; 상기 복수의 베이어 이미지들을 이용하여 하나의 베이어 이미지로 정합; 및 상기 하나의 베이어 이미지로 정합된 이후에 자동 노출 및 오토 화이트 밸런스 보정을 포함하는 이미지신호처리(ISP,image signal processing)를 수행하도록 실행 가능할 수 있다.
본 발명의 또 다른 실시예에 따른 이미지 생성 장치는 이미지 생성 장치(apparatus for producing wide angle image)로서, 복수의 이미지들을 이용하여 하나의 이미지로 정합하기 위한 연산을 처리하는 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 프로그램 명령이 저장된 메모리를 포함하고, 상기 적어도 하나의 프로그램 명령은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 베이어 이미지들(bayer images)을 입력 받음; 상기 복수의 베이어 이미지들을 디모자이크(demosaic); 상기 디모자이크된 복수의 이미지들을 이용하여 하나의 이미지로 정합; 및 상기 하나의 이미지로 정합 이후에 자동 노출 및 오토 화이트 밸런스 보정을 포함하는 이미지신호처리 (ISP,image signal processing)를 수행하도록 실행 가능할 수 있다.
상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명에 따른 장치에 대한 효과에 대해 설명하면 다음과 같다.
본 발명에 의하면, 복수의 이미지들을 이용하여 적은 시간 및 적은 비용으로 하나의 정합된 이미지를 생성할 수 있다. 또한 전체적으로 균일한 품질의 픽셀들로 구성되는 이미지를 정합할 수 있다.
또한, 본 발명은 복수의 카메라로부터 이미지 처리 장치에 전달되는 데이터의 양을 줄일 수 있어, 차량용 네트워크의 제약, 제한으로부터 더욱 자유로운 설계가 가능한 이미지 획득을 위한 전장 장치를 제공할 수 있다.
또한, 본 발명은 복수의 카메라로부터 획득된 영상을 합성하는 과정에서 화상이 서로 불일치하는 것을 줄일 수 있어 합성 영상에서의 왜곡을 줄일 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도 1은 기존의 기술에 의한 광각 이미지를 생성하는 장치를 나타내는 도면이다.
도 2 내지 도 4는 본 출원발명의 서로 다른 실시예에 따른 광각 이미지 생성 장치를 나타내는 도면이다.
도 5는 이미지를 출력하는 차량 전장 장치의 제1예를 설명한다.
도 6은 도 5에서 설명한 차량용 카메라 모듈과 이미지 처리 장치의 연결을 설명한다.
도 7은 도 5에서 설명한 차량용 카메라 모듈의 예를 설명한다.
도 8은 도 5에서 설명한 이미지 처리 장치의 예를 설명한다.
도 9는 도 2와 관련된 본 출원발명의 제1 실시예에 따른 광각 이미지 생성 방법의 흐름도이다.
도 10은 도 9의 S520 단계 중에서 정합 과정에 관한 흐름도이다.
도 11 내지 도 16는 도 9의 전체 과정을 설명하기 위한 예시 도면이다.
도 17은 도 3과 관련된 본 출원발명의 제2 실시예에 따른 광각 이미지 생성 방법의 흐름도이다.
도 18은 도3와 관련된 본 출원발명의 제3 실시예에 따른 광각 이미지 생성 방법의 흐름도이다.
도 19는 본 발명의 또 다른 실시예에 따른 광각 이미지 생성 장치의 블록도이다.
도 20은 본 발명의 각 실시예에 따른 효과를 비교하기 위한 예시 도면이다.
도 21은 이미지를 출력하는 차량 전장 장치의 제2예를 설명한다.
도 22는 도 21에서 설명한 차량용 카메라 모듈과 이미지 처리 장치의 연결을 설명한다.
도 23은 도 21에서 설명한 차량용 카메라 모듈의 예를 설명한다.
도 24는 도 21에서 설명한 이미지 처리 장치의 예를 설명한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 2는 본 출원발명의 하나의 실시예에 따른 이미지 생성 장치를 나타내는 도면이다.
도 2를 참조하면, 카메라 유닛은 이미지 획득 유닛(110) 및 전송 유닛(120)을 포함한다.
카메라 렌즈를 통해 들어오는 빛을 전기 신호로 변화하는 CMOS 또는 CCD와 같은 이미지 센서가 상기 이미지 획득 유닛(110)에 해당될 수 있다.
전송 유닛(120)은 이미지 획득 유닛(110)이 획득한 이미지를 이미지 생성 장치(200)의 수신 유닛(210)에 전송하기 위한 유닛이다.
다시 도 2를 참조하면, 본 출원발명의 실시예에 따른 이미지 생성 장치는(200)는 수신 유닛(210), 디모자이크(demosaic)+정합 유닛(220B), ISP 유닛(230) 및 출력 유닛(240)을 포함한다.
여기서 디모자이크+정합 유닛(220B) 및 ISP 유닛(230)은 영상 신호 처리를 위한 프로세서(processor) 및 본 발명의 다른 실시예에 따른 이미지 생성 방법의 각 단계를 수행하는, 상기 프로세서를 통해 실행되는 적어도 하나의 프로그램 명령이 저장된 메모리(memory)를 통해 구현될 수 있다. 상기 내용은 이하 다른 실시예에도 동일하게 적용될 수 있다.
수신 유닛(210)은 상기 전송 유닛(120)이 전송한 베이어 이미지를 수신한다.
디모자이크+정합 유닛(220B)은 수신 유닛(210)이 수신한 베이어 이미지를 디모자이크 및 정합하여 하나의 이미지를 생성한다. 여기서 상기 수신 유닛(210)이 수신한 베이어 이미지는 복수의 베이어 이미지들인 것이 바람직하다. 즉 복수의 카메라에 구비된 복수의 이미지 획득 유닛들(110)에 의해 획득된 복수의 베이어 이미지들인 것이 바람직하다.
디모자이크+정합 유닛(220B)는 디모자이크 과정 및 정합 과정을 동시에 수행하는데, 자세한 설명은 본 발명의 다른 실시예에 따른 이미지 생성 방법에서 하기로 한다.
여기서 하나의 이미지는 어라운드뷰 모니터링을 위해 사용되는 조면도 또는 탑뷰(top view) 형태의 이미지인 것이 바람직하다.
ISP 유닛(230)은 디모자이크된 형태로 정합된 하나의 이미지에 대해 영상 신호 처리(image signal processing, ISP) 단계를 수행한다. 영상 신호 처리 단계에 대해서는 본 발명의 다른 실시예에 따른 이미지 생성 방법에서 자세히 설명하기로 한다.
출력 유닛(240)은 상기 디모자이크 단계 및 영상 신호 처리 단계를 통해 보정된 이미지를 디스플레이 장치 등에 출력한다.
도 3은 본 발명의 다른 실시예에 따른 이미지 생성 장치(200)를 나타내는 도면이다. 도 2와의 차이점에 대해서만 설명하기로 한다.
도 3을 참조하면, 본 발명의 실시예에 따른 이미지 생성 장치(200)는 수신 유닛(210), 정합 유닛(220), 디모자이크+ISP 유닛(230A) 및 출력 유닛(240)을 포함한다. 도 2와 비교하면 디모자이크 유닛이 ISP 유닛에 포함되어 있다. 따라서 디모자이크+ISP 유닛(230A)은 정합된 하나의 베이어 이미지에 디모자이크 과정 및 ISP 과정을 수행한다.
도 4는 본 발명의 다른 실시예에 따른 이미지 생성 장치를 나타내는 도면이다. 도 2와의 차이점에 대해서만 설명하기로 한다.
도 4를 참조하면, 본 발명의 실시예에 따른 이미지 생성 장치(200)는 수신 유닛(210), 디모자이크 유닛(215), 정합 유닛(220), ISP 유닛(230) 및 출력 유닛(240)을 포함한다. 도 2 및 도 3과 비교하면 디모자이크 유닛(215)이 독립되어 있다. 따라서 디모자이크 유닛(215)은 복수의 베이어 이미지들을 하나의 이미지로 정합하기 이전에 복수의 베이어 이미지들에 대해 디모자이크 단계를 수행한다.
도 5는 이미지를 출력하는 차량 전장 장치의 제1예를 설명한다.
도 5를 참조하면, 이미지를 출력하는 차량 전장 장치는 베이어 패턴(Bayer Pattern)을 출력하는 복수의 카메라 장치(62, 64, 66, 68), 베이어 패턴을 전달하는 차량내 네트워크(In-Vehicle Networking, IVN), 및 차량용 통신망을 통해 전달된 상기 베이어 패턴을 가공하는 이미지 프로세서(60)를 포함할 수 있다.
구체적으로, 이미지를 출력하는 차량 전장 장치, 즉 차량용 이미지 생성 장치는 복수의 카메라 장치, 예를 들어 전방 카메라 장치(62), 후방 카메라 장치(64), 좌측 카메라 장치(66), 우측 카메라 장치(68)와 이미지 프로세서(60)를 포함할 수 있다. 여기서, 전방 카메라 장치(62), 후방 카메라 장치(64), 좌측 카메라 장치(66) 및 우측 카메라 장치(68)는 전용 통신 라인을 통해 이미지 프로세서(60)와 연결될 수 있다.
차량용 이미지 생성 장치에 포함되는 복수의 카메라는 차량의 크기, 카메라의 화각, 또는 차량용 이미지 생성 장치의 목적 등에 따라 개수가 달라질 수 있다.
한편, 복수의 카메라 장치(62, 64, 66, 68)는 차량용 네트워크(in-vehicle network, IVN)를 통해 이미지 프로세서(60)와 연결될 수 있다. 이때, 차량용 네트워크(IVN)는 저전압 차등 신호 방식(Low Voltage Differential Signaling, LVDS)과 같은 시리얼 통신(serial communication)을 지원할 수 있다. 차량용 네트워크(IVN)에는 CAN, LIN, MOST, FlexRay 등의 다수의 방식에 따른 통신망이 포함될 수 있다. 이중, CAN 은 오늘날에도 파워트레인에서부터 바디에 이르기까지 모든 자동차 분야에서 자동차 네트워크 아키텍처로써 꾸준히 사용되고 있으며, LIN 버스는 간단하면서도 경제적인 방식으로 인해 안전성을 고려해야 하는 운전 영역이 아닌 편의 영역 내 신호 데이터를 교환하는데 적합할 수 있다. 또한, FlexRay 와 MOST 버스는 실시간 요구사항이 많고 더 넓은 대역폭이 필요한 경우에 CAN 을 대체해 사용될 수 있다. 차량 내 복수의 구성 요소를 연결하는 통신망으로서 최근 이더넷 사용을 위한 저전압 차등 신호 방식(LVDS)이 제안되었는 데, CAN 과 유사한 방식으로 2 개의 와이어 케이블을 비차폐 꼬임쌍선(unshielded twisted pair)으로 사용했을 경우 100Mbit/s 의 전이중(Full-duplex) 전송 속도를 지닌 물리층을 가질 수 있는 장점이 있다.
차량용 이미지 생성 장치에 포함된 복수의 카메라 장치(62, 64, 66, 68)는 베이어 패턴(Bayer Pattern)을 차량용 네트워크(in-vehicle network, IVN)를 통해 이미지 프로세서(60)로 전달할 수 있다. 여기서, 베이어 패턴은 카메라 장치 또는 카메라 모듈에 포함된 광 신호를 전기 신호로 변환하는 이미지 센서가 출력하는 가공되지 않은 데이터(raw data)를 포함한다.
예를 들면, 카메라 장치 또는 모듈에 포함된 렌즈를 통해 전달되는 광 신호는 이미지 센서에 배치된 R, G, B 색상을 검출할 수 있는 각 화소를 통해 전기 신호로 변환된다. 만약 카메라 장치 또는 모듈의 사양이 500만 화소라고 한다면, R, G, B 색상을 감지할 수 있는 화소가 500만개 포함된 이미지 센서가 포함되어 있다고 생각할 수 있다. 화소 수가 500만개이지만, 실제로 각각은 색(color)을 감지하는 것이 아니라 흑백의 밝기만을 감지하는 단색(monochrome) 화소가 R, G, B 필터 중 어느 하나와 결합된 형태로 볼 수 있다. 즉, 이미지 센서는 화소수 만큼 배열된 단색 화소 셀들 위에 R, G, B 색상 필터들이 특정한 패턴을 가지고 배치되어 있다. R, G, B 색상 패턴은 사용자(즉, 인간)의 시각 특성에 따라 교차하며 배치되는 데 이를 베이어 패턴(Bayer pattern)이라고 한다.
통상적인 카메라 장치 혹은 모듈은 이미지 센서로부터 베이어 패턴을 전달받아 색을 입히는 과정(색 보간, color interpolation 혹은 demosaicing)을 거쳐 이미지 형태의 데이터를 출력하는 데 반하여, 도 5에서 설명하는 복수의 카메라 장치(62, 64, 66, 68)는 베이어 패턴(Bayer Pattern)을 출력한다. 이미지 형태의 데이터보다 베이어 패턴은 데이터 양이 크게 작다. 따라서, 100Mbit/s 의 전이중(Full-duplex) 전송 속도를 가지는 저전압 차등 신호 방식(LVDS)을 이용하더라도 차량을 이용하는 운전자 또는 사용자의 안전에 위해가 되지 않을 수 있다. 또한, 차량 내 통신망에 의해 전달되는 데이터의 크기를 줄일 수 있어 자율 주행 차량에 적용하더라도 차량에 배치된 복수의 카메라 장치로부터 획득된 주변 정보가 분석되는 데 통신 방식, 통신 속도 등에 의해 발생하는 문제를 제거할 수 있다.
도 6은 도 5에서 설명한 차량용 카메라 모듈과 이미지 처리 장치의 연결을 설명한다.
도시된 바와 같이, 카메라 장치(62)는 이미지 프로세서(60)와 개별적으로 연결되어 있다. 이때, 저전압 차등 신호 방식(LVDS)과 같은 시리얼 통신을 통해 카메라 장치(62)는 슬레이브 모드(Sx)로, 이미지 프로세서(60)는 마스터 모드(Mx)로 연결될 수 있다.
카메라 장치(62)는 이미지 센서에서 출력되는 베이어 패턴을 직렬 데이터로 변환한 후 변환된 베이어 패턴(serialized Bayer pattern)을 이미지 프로세서(60)로 전달한다. 시리얼 통신 방식을 통해 카메라 장치(62)와 이미지 프로세서(60)가 독립적으로 연결된 경우, 기 설정된 통신 속도에 구속되지 않고, 두 개의 장치가 서로 동기를 맞추어 필요한 데이터의 양과 필요한 속도로 데이터를 전달하고 수신할 수 있는 장점이 있다.
한편, 카메라 장치(62)는 베이어 패턴의 전송을 위해 압축을 할 필요가 없다. 통상적으로 서로 다른 두 기기간 통신에서 통신 속도가 제한되는 경우 데이터 압축을 통해 제한된 시간 내에 보다 많은 데이터를 전달하고자 할 필요가 있으나, 시리얼 통신 방식을 통해 카메라 장치(62)와 이미지 프로세서(60)가 독립적으로 연결된 경우에는 무압축(uncompressed) 상태의 베이어 패턴을 직렬 데이터로 형태로 변환만 하여 전달할 수 있다.
도 7은 도 5에서 설명한 차량용 카메라 모듈의 예를 설명한다.
도 7을 참조하면, 차량용 카메라 모듈(62)은 유입되는 광신호를 수집하는 복수의 렌즈를 포함하는 렌즈어셈블리(70), 렌즈어셈블리(70)를 통해 수집된 광신호를 전기신호로 변환하여 베이어 패턴을 출력하는 이미지 센서(72), 및 베이어 패턴을 전달하는 송신부를 포함할 수 있다. 여기서 송신부는 차량용 카메라 모듈(62)이 어떠한 차량 내 통신망을 통해 이미지 프로세서(60, 도 6참조)와 연결되는 가에 따라 구성이 달라질 수 있다.
일례로, 송신부는 송신부는 저전압 차등 시그널링 방식(LVDS)와 같은 시리얼 통신 방식으로 베이어 패턴을 송신하기 위해 베이어 패턴을 직렬 데이터로 변환하는 시리얼라이져(serializer, 74)를 포함할 수 있다. 시리얼라이저(74)는 통상적으로 데이터를 일시적으로 저장하는 버퍼(76) 및 송신되는 데이터의 주기를 형성하는 위상동기루프(PLL)를 포함하거나 함께 구현될 수 있다.
도 8은 도 5에서 설명한 이미지 처리 장치의 예를 설명한다.
도 8을 참조하면, 이미지 처리 장치(60)는 서로 다른 카메라 장치에서 개별적으로 전달되는 베이어 패턴을 바탕으로 이미지를 생성하는 이미지생성부(40), 각각의 이미지를 정합하는 정합부(42), 및 정합된 이미지를 바탕으로 복수의 카메라 장치의 자동 노출을 제어하기 위한 조정부(44)를 포함할 수 있다.
구체적으로, 이미지 처리 장치(60) 내 이미지생성부(40)는 복수의 베이어 패턴(BP1)을 전달받아 색 보간(color interpolation, demosaicing)을 수행하는 색 보간부(38) 및 색 보간부에서 전달된 복수의 보간 이미지에 대해 제1이미지처리를 수행하는 보정부(46)를 포함할 수 있다.
또한, 이미지 처리 장치(60)는 정합부(42)의 출력을 바탕으로 복수의 베이터 패턴을 획득한 카메라의 자동노출(auto exposure, AE)을 조정하는 조정부(44)를 더 포함할 수 있다.
이미지 처리 장치(60)는 차량용 네트워크(IVN, 도5참조)를 통해 복수의 카메라 장치로부터 복수의 베이어 패턴(BP1)을 수신할 수 있다. 이미지 처리 장치(60)는 복수의 베이어 패턴(BP1)을 수신한 후, 복수의 베이어 패턴(BP1)을 각각 이미지 형태의 데이터로 변환한다. 복수의 이미지로 변환된 후, 복수의 이미지는 정합될 수 있다. 이후, 정합된 이미지를 사용자 또는 운전자에게 표시하기 위한 디스플레이 장치(50)로 전송할 수 있고, 정합된 이미지를 바탕으로 카메라의 자동노출(AE)을 조정하기 위한 제어신호(ET)를 출력할 수 있다.
특히, 사용자에게 각각의 카메라 장치에서 획득한 이미지를 개별적으로 보여주는 것이 아니라 적어도 두 개의 이미지를 정합하여 보여주기 때문에 정합된 이미지를 바탕으로 카메라의 자동노출(AE)을 조정할 때 이미지 처리 장치(60)는 각각의 카메라로부터 얻는 영상을 화질 저하를 줄이면서 사용자에게 제공할 수 있다.
한편, 이미지 처리 장치(60)는 베이어 패턴(BP1)을 전달받아 병렬 데이터로 전환하여 색 보간부(38)에 제공하는 디시리얼라이저(deserializer, 34)를 더 포함할 수 있다. 이미지 형태의 데이터를 출력하는 통상적인 카메라 장치와 달리, 도 5 및 도 6에서 설명하는 카메라 장치 또는 카메라 모듈은 베이어 패턴(BP1)을 출력한다. 베이어 패턴(BP1)은 시리얼 통신을 지원하는 차량 내 네트워크를 통해 전달되기 위해 직렬데이터 형태로 변환되어 송신되므로, 베이어 패턴(BP1)을 바탕으로 색 보간(color interpolation, demosaicing) 작업을 수행하기 위해서는 직렬데이터 형태로 수신된 베이어 패턴(BP1)을 병렬 데이터 형태로 다시 변환할 필요가 있다.
예를 들어, 이미지 처리 장치(60)는 복수의 디시리얼라이져(34)를 구비하여, 서로 다른 카메라 장치로부터 전달된 베이어 패턴(BP1)을 독립적으로 각각의 카메라 장치 내 포함된 이미지 센서가 출력한 베이어 패턴으로 복원할 수 있다. 하지만, 실시예에 따라, 베이어 패턴이 차량용 네트워크를 통해 전달되는 속도에 비하여 이미지 생성부(40)가 구현된 집적회로 등의 동작 속도는 수배에서 수십배까지 빠를 수 있다. 따라서, 이미지 처리 장치(60)가 복수의 디시리얼라이져(34)를 구비하기 보다는 하나의 디시리얼라이저(34)와 멀티플렉서(미도시)를 포함하는 것이 경우에 따라 효율적일 수 있다. 여기서, 멀티플렉서는 차량용 네트워크를 통해 전달되는 복수의 베이어 패턴(BP1)을 수신하고, 순차적으로 디시리얼라이져(34)로 전달할 수 있다. 이후, 디시리얼라이져(34)는 순차적으로 전달되는 복수의 베이어 패턴(BP1)을 색 보간이 가능하도록 복원할 수 있다.
실시예에 따라, 이미지 처리 장치(60)가 복수의 디시리얼라이져(34)를 포함하는 경우, 복수의 디시리얼라이져(34)에서 복원된 베이어 패턴을 색 보간부(38)로 전달할 수 있지만, 하나의 디시리얼라이져(34)가 포함된 경우에는 복원된 베이어 패턴을 디멀티플렉서를 사용하여 색 보간부(38)로 전달할 수 있다.
또한, 실시예에 따라, 디시리얼라이져(34)와 색 보간부(38)는 복수의 베이어 패턴을 전달하기 위한 복수의 라인 또는 복수의 베이어 패턴을 전달할 수 있는 하나의 라인으로 연결될 수 있다.
색 보간부(38)는 전달되는 베이어 패턴(BP1)에 비적응적 알고리즘(non-adaptive algorithms) 또는 적응적 알고리즘(adaptive algorithms)을 적용하여 색 보간(color interpolation)을 수행한다.
색 보간부(38)에 이미지 형태로 변환된 데이터는 제1이미지처리를 수행하는 보정부(46)에 전달된다. 여기서, 실시예에 따라, 제1이미지처리는 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 중 적어도 하나를 수행하는 것을 포함할 수 있다.
실시예에 따라, 색 보간부(38)와 보정부(46)는 하나의 유닛, 모듈으로도 구현될 수 있으며, 서로 다른 복합적인 알고리즘을 합쳐 동시에 구현할 수도 있다. 이러한 방식으로 베이어 패턴에 색 보간과 보정이 수행되면 이미지를 얻을 수 있고, 이러한 이미지는 저장 매체(미도시)에 저장될 수 있다.
또한, 정합부(42)는 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 원근감을 제거한 변환 이미지를 생성하는 역투영 이미지 변환(inverse perspective mapping transform) 중 적어도 하나를 수행할 수 있다. 보정부(46)는 영상 처리 장치에 요구되는 사양에 따라 다양한 기능을 수행할 수 있는 소프트웨어 알고리즘 또는 하드웨어 회로 등을 선택적으로 포함할 수 있다.
예를 들면, 정합부(42)는 색 보간부(38)로부터 출력된 이미지 데이터에 캘리브레이션(calibration)을 수행하고, 그 결과를 렌즈에 대한 왜곡 보정(lens distortion correction)에 적용할 수 있다. 여기서, 캘리브레이션(calibration)은 우리가 실제 눈으로 보는 3차원 세상을 카메라 장치로 찍으면 2차원의 이미지로 변하기 때문에 필요한 보정작업을 포함할 수 있다. 예를 들어, 3차원의 점들이 2차원 이미지 상에서 어디에 맺히는지는 영상을 찍을 당시의 카메라의 위치 및 방향에 의해 결정되는 데, 실제 이미지는 사용된 렌즈, 렌즈와 이미지 센서와의 거리, 렌즈와 이미지 센서가 이루는 각 등 카메라 내부의 기구적인 부분에 의해서 크게 영향을 받기 때문에, 3차원 점들이 영상에 투영된 위치를 구하거나 역으로 영상좌표로부터 3차원 공간좌표를 복원할 때에는 이러한 내부 요인을 제거해야만 정확한 계산이 가능해진다. 이때, 이러한 내부 요인의 파라미터 값을 구하는 과정이 카메라 장치에서의 캘리브레이션 동작이다.
또한, 정합부(42)는 갤리브레이션 결과를 바탕으로, 렌즈왜곡보정을 수행할 수 있다. 예를 들어, 시야각(FOV)이 넓은 광각렌즈나 초광각 렌즈를 사용하는 카메라 장치에서 획득된 이미지는 넓은 범위를 볼 수 있지만 이미지의 중심에서 끝(edge)으로 갈수록 영상왜곡이 심해질 수 있다. 이러한 렌즈 왜곡은 방사왜곡(radial distortion), 접선왜곡(tangential distortion) 등을 포함할 수 있고, 이러한 왜곡을 해결하기 위해 보정부(46)는 카메라 내부 파리미터의 영향이 제거된 정규 이지미평면(normalized image plane) 투영하는 모델링을 사용할 수 있다.
또한, 정합부(42)는 이미지에서 원근감을 제거한 변환 이미지를 생성하기 위한 작업을 수행할 수 있다. 예를 들어, 차량에 탑재된 카메라 모듈에서 획득된 이미지를 탑뷰 영상의 형태로 변환하기 위해서는 이미지 내에 객체와 사물에 대한 원근 효과를 제거할 필요가 있다. 차량에 카메라가 설치된 높이와 각도, 카메라의 수평, 수직 화각 정보가 있으면, 카메라를 통해 획득되는 영상 평면과 운전자 또는 사용자에게 보여줄 실제 평면(탑뷰 형태의 타겟이미지 평면)과의 관계를 알 수 있다. 이러한 관계를 이용하여, 카메라에서 획득된 영상 평면을 사용자에게 보여줄 평면으로 변환할 수 있다.
한편, 정합부(42)는 사용자의 입력에 대응하여 복수의 이미지 중 어떠한 것을 정합할 것인지에 대한 정합 여부를 결정할 수 있고, 각각의 이미지를 특정한 형태, 형식으로 변환할지에 대한 변환 여부를 결정할 수 있다. 만약 사용자가 복수의 이미지의 정합을 원하지 않을 경우 정합부(42)는 불필요한 정합과정을 수행할 필요가 없다. 또한, 사용자가 카메라 장치에서 획득된 영상 그대로를 원하는 경우, 정합부(42)는 원근감을 제거하는 등의 변환을 수행할 필요가 없을 수 있다.
복수의 베이어 패턴을 입력받아 복수의 이미지 생성부(40)를 통해 변환된 복수의 이미지는 정합부(42)에 의해 합쳐질 수 있다. 정합된 이미지는 디스플레이 장치(50)뿐만 아니라, 복수의 카메라 장치의 자동노출(AE)을 조정하기 위한 제어신호(ET)를 출력하는 조정부(44)로 전달된다. 실시예에 따라, 조정부(44)는 복수의 카메라 장치를 제어하기 위한 제어부(미도시)의 일부 일 수 있다. 여기서, 제어부는 이미지 처리 장치(60)에 포함되어, 정합된 이미지를 바탕으로 복수의 카메라 장치를 여러 목적으로 제어하기 위한 모듈일 수 있다.
예를 들어, 실시예에 따라, 조정부(44)는 복수의 카메라 장치의 자동노출(AE)뿐만 아니라 오토 화이트 밸런스(Auto White Balance, AWB) 등을 수행할 수도 있다. 여기서, 화이트 밸런스는 카메라 장치를 통해 촬영될 장면의 색온도와 카메라 장치가 설정하는 색온도를 일치시켜주는 과정이다. 조정부(44)에 의해 약 2000~10000K 범위의 색온도를 적용할 수 있고, 자동으로 최적의 화이트 밸런스가 설정될 수 있다.
도 9는 본 발명의 다른 실시예에 따른 광각 이미지 생성 방법을 나타내는 흐름도이다.
도 9를 참조하면, 본 발명의 다른 실시예에 따른 광각 이미지 생성 방법은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 베이어 이미지들(images)을 입력 받는 단계(S510), 복수의 베이어 이미지들을 이용하여 디모자이크된 형태로서 하나의 이미지로 정합하는 단계(S520), 디모자이크된 형태로서 정합된 하나의 이미지에 대한 ISP(image signal processing) 단계(S530)를 포함한다.
먼저 수신 유닛(210)은 전송 유닛(120)이 전송한 복수의 카메라 유닛(100)들에서 실시간으로 촬영되는 복수의 베이어 이미지들을 수신한다(S510). 여기서 복수의 이미지들은, 베이어 이미지들(bayer images)이다. 베이어 이미지를 구성하는 각 픽셀은 R, G, B 중에서 하나의 정보만을 포함한다.
다음으로 디모자이크+정합 유닛(220B)는 복수의 베이어 이미지들을 이용하여 디모자이크된 형태로서 하나의 이미지를 생성한다(S520). 다시 말해서, 디모자이크+정합 유닛(220B)는 복수의 베이어 이미지들을 이용하여 디모자이크 과정 및 정합 과정을 동시에 수행함으로써 디모자이크된 형태의 하나의 이미지를 생성한다.
여기서 디모자이크된 형태의 하나의 이미지는 어라운드뷰 모니터링(around view monitoring, AVM)을 위해 사용되는 조면도 또는 탑뷰(top view) 형태의 이미지인 것이 바람직하다.
디모자이크+정합 유닛(220B)에 의한 복합적인 과정 중에서 디모자이크 과정과 정합 과정에 대해 각각 먼저 설명하고, 이 두 과정을 동시에 수행하는 방법에 대해 설명하기로 한다.
먼저, 디모자이크(demosaic) 과정은 CMOS(complementary metal-oxide semiconductor) 또는 CCD(charge coupled device) 등의 이미지 센서가 빛을 전기신호로 변환하면서 생성한 이미지의 형태를 변환하는 과정이다. 이미지 센서 탄생 초기에, 이미지 센서는 하나의 반도체 층에 R, G, B 정보를 모두 포함시킬 수 없어서, 하나의 픽셀에 대해 R, G, B 정보 중에서 하나의 정보만을 포함하게 발명되었다. 따라서, 디모자이크 과정에서 각 픽셀은 R, G, B 중에서 하나의 정보와 주변 픽셀들의 R, G, B 중의 하나의 정보를 이용하여 전체 RGB 정보를 포함하도록 보간에 의해 보정된다. 이러한 이유로 인해 모자이크처럼 보이는 이미지의 각 픽셀들을 전체 RGB 정보를 포함하는 컬러 픽셀들로 변환하는 디모자이크 과정은 보간(interpolation) 과정이라 불리기도 한다.
다음으로 복수의 베이어 이미지들을 하나의 이미지로 정합하는 과정은, 복수의 베이어 이미지들 각각의 전체 픽셀에서 추출된 일부 픽셀들을 조합하여 하나의 이미지를 생성하는 과정이다. 즉, 하나의 이미지로 정합하는 과정은, 일부 픽셀들 중에서, 동일한 피사체 영역에 해당하는 픽셀들을 통해 연결되도록 하나의 이미지를 생성하는 단계이다.
예를 들어 어떤 물체, 즉 자동차의 라디에이터 그릴(radiator grille)에 전방을 향해 부착된 제1 카메라, 자동차 우측 백밀러에 우측 방향을 향해 부착된 제2 카메라, 자동차 트렁크 후드에 후방을 향해 부착된 제3 카메라 및 자동차 좌측 백밀러에 좌측 방향을 향해 부착된 제4 카메라가 타겟 자동차에 설비된 경우에, 각각의 카메라에서 촬영된 이미지들에서 동일한 피사체 영역이 촬영된 공통 영역이 존재할 수 있다. 예를 들면 시계방향으로 살펴보면, 제1 카메라의 우측 영역과 제2 카메라의 좌측 영역은 공통 영역일 수 있고, 제2 카메라의 우측 영역과 제3 카메라의 좌측 영역은 공통 영역일 수 있고, 제3 카메라의 우측 영역과 제4 카메라의 좌측 영역은 공통 영역일 수 있고, 그리고 제4 카메라의 우측 영역과 제1 카메라의 좌측 영역은 공통 영역일 수 있다. 시점을 달리하는 이미지에서 추출된 공통 영역에 존재하는 픽셀들을 기점으로 4개의 독립된 이미지가 보정 과정을 거쳐 하나의 이미지로 정합된다.
여기서, 이미지를 정합하는 과정은 그 내부에 복수의 서브 과정들을 포함할 수 있다.
도 10은 도 9의 S520 단계 중에서 정합 과정에 관한 흐름도이다.
도 10을 참조하면, 복수의 이미지를 하나의 이미지로 정합하는 과정은, 왜곡보정(fisheye lens distortion correction)(S621), 평면화(homographic transform)(S622) 및 단일화(image stitching)(S623)를 포함할 수 있다.
상기 각 과정은 공지된 기술에 해당되므로 간략히 설명하기로 한다.
먼저 왜곡보정(S621)은 광각 렌즈에 의해 포착된 이미지의 왜곡을 보정하는 과정이다. 복수의 이미지들을 이용하여 하나의 이미지를 생성함에 있어서, 하나의 이미지는 보통 360도를 표시하도록 정합될 수 있다. 따라서, 제한된 개수의 카메라를 이용하는 경우 각 카메라의 렌즈는 시야 각을 넓히기 위해 광각 렌즈를 사용한다. 이 광각 렌즈는 물고기의 시야와 비슷하게 시야 각이 넓은 대신에 이미지를 왜곡시킬 수 있다. 따라서 물고기의 눈에 비춰진 이미지를 사람의 눈에 비춰진 이미지로 보정하기 위한 과정이 상기 왜곡보정 과정이다.
다음으로 평면화(S622)는, 서로 다른 뷰들(views)에 해당하는 복수의 이미지를 탑 뷰(top view) 형태의 하나의 평면에 표시하기 위한 과정으로 복수의 이미지들의 중첩된 영역을 서로 잇기 위해 수행되는 과정이다. 이러한 과정은 균일화라고 불리기도 한다.
다음으로 단일화(S623)는, 상기 평면화 과정에서 얻어진 복수의 이미지들의 중첩된 영역끼리 서로 이어서 단일의 이미지를 생성하는 과정이다.
상기 설명된 복수의 이미지들을 하나의 이미지로 정합하는 과정은, 시간 경과에 따라 획득되는 다수의 이미지 쌍들에 일일이 적용될 수 있지만, 룩업 테이블(look-up table)을 이용하여 간단히 수행될 수 있다.
룩업 테이블을 이용하는 방법은 공지의 기술로서 간단히 설명하기로 한다. 룩업 테이블에는 정합된 하나의 이미지의 각 픽셀에 대응되는 원본 이미지의 주소가 표시되어 있다.
정합 과정을 구성하는 왜곡보정, 평면화 및 단일화 과정을 통한 이미지 출력은 설치된 카메라의 위치가 변하지 않는 환경이라면 반복된 과정이 존재한다. 즉, 하나의 이미지를 구성하는 각각의 픽셀이 참조하는 카메라 및 픽셀 주소는 시간이 흐름에도 불구하고 공통적이다. 따라서 하나의 샘플링 과정을 통해 정합된 이미지를 구성하는 픽셀의 주소를 표시하는 룩업 테이블을 작성할 수 있다. 그 다음으로는 이 룩업 테이블을 이용하여 이미지 정합 과정을 일일이 거치지 않고 하나의 정합된 이미지를 생성할 수 있다.
디모자이크+정합 유닛(220B)에 의하는 디모자이크 과정과 정합 과정이 동시에 수행되는 복합적인 단계는 상기 룩업 테이블을 이용함으로써 완성될 수 있다. 이하 상기 복합적인 단계에 대해 복수의 베이어 이미지들을 입력 단계부터 자세히 설명하기로 한다.
도 11은 상기 복수의 이미지들의 베이어 이미지들을 나타낸다.
도 11을 참조하면 베이어 이미지들은 모자이크된 형태의 이미지로서 각 이미지를 구성하는 픽셀들은 RGB 정보 중에서 하나의 정보만을 포함하고 있다. 여기서 4개의 이미지가 도시되어 있지만, 4대 이상의 카메라가 상기 가상의 자동차에 구비되어 4개 이상의 이미지들이 획득될 수 있다.
도 12는 디모자이크 과정에서 주변 4개의 픽셀들을 참조하여 보간하는 방법을 나타내는 예시 도면이다.
도 12를 참조하면, 4개의 화살표가 가리키는 영역의 픽셀은 주변의 빨강색으로 표시된 영역의 픽셀들이 갖는 RGB 값을 참조하여 보간될 수 있다.
도 13은 디모자이크 과정에서 주변 6개의 픽셀들을 참조하여 보간하는 방법을 나타내는 예시 도면이다.
도 13을 참조하면, 만약에 4개의 픽셀들 중에서 RGB 값이 비어있는 픽셀이 있는 경우, 주변의 6개의 픽셀들을 참조하여 보간할 수 있다.
디모자이크 및 정합의 복합적인 단계에서, 디모자이크 및 정합이 완료된 샘플 이미지가 미리 생성될 수 있다. 그리고 상기 샘플 이미지를 구성하는 픽셀들이 참조하는 이미지 및 참조되는 이미지의 픽셀 좌표가 표시된 룩업 테이블(look-up table)이 작성될 수 있다. 그리고 상기 룩업 테이블을 이용하여, 정합되어 생성될 이미지의 픽셀들이 상기 참조하는 이미지 및 상기 픽셀 좌표를 역으로 참조함으로써, 하나의 정합된 이미지를 구성할 수 있다.
룩업 테이블은 출력 이미지를 합성하기 위해 필요한 정보(입력 이미지의 어떤 지점을 참조해야 하는지, 여러 개의 입력 이미지를 어떻게 정합해야 하는지 등)를 기억한다.
룩업 테이블은 출력 이미지와 동일한 픽셀 수를 가지는 매트릭스로 구성되며, 정합 방법에 따라 여러 개의 매트릭스가 요구될 수 있다. 매트릭스의 각 요소는 필요에 따라 정수형 또는 부동소수점 등의 자료형이 선택될 수 있다.
예를 들어 하나의 이미지의 부동소수점 위치를 참조하여 출력 이미지를 생성하는 경우, 참조이미지의 X 좌표와 Y 좌표를 기억하기 위해 총 2개의 부동소수점 자료형을 가진 매트릭스가 필요하다.
또 다른 예로 두 개의 이미지의 부동소수점 위치를 참조하여 출력 이미지를 생성하는 경우, 첫 번째 참조이미지의 X 좌표와 Y 좌표, 두 번째 참조이미지의 X 좌표와 Y 좌표를 기억하기 위해 총 4개의 부동소수점 자료형을 가진 매트릭스와, 두 이미지를 정합하는 방법을 표현하는 부호를 기억하기 위해 하나의 정수형 매트릭스가 필요하다
그리고 정수형 또는 부동소수점에서 출력 이미지가 표현되는 정밀도에 따라 기억장치에 할당되는 크기가 결정될 수 있다.
도 14는 룩업 테이블(look-up table)을 이용하여 복수의 베이어 이미지를 디모자이크 및 정합하는 과정에서 역으로 참조된 좌표를 나타내는 예시 도면이다.
도 14를 참조하면, 룩업 테이블에 의해 정합되어 생성될 이미지의 픽셀이 참조하는 이미지의 참조되는 좌표가 표시되어 있다.
도 15는 상기 좌표 주변의 4개의 픽셀들을 이용하여 디모자이크 하는 과정에 관한 예시 화면이다.
상기 룩업 테이블에 기초하여 상기 표시된 좌표 주변의 4개의 픽셀들을 이용하는 바이리니어 보간(bilinear interpolation) 방법에 의해 합성과 동시에 디모자이크가 가능하다.
도 16은 상기 4개의 픽셀들의 RGB를 이용하는 바이리니어 보간(bilinear interpolation) 방법에 관한 예시 화면이다.
도 16을 참조하면, 정합되어 생성될 이미지의 어느 하나의 픽셀의 정보는 상기 4개의 픽셀들의 RGB 값을 이용하여 보간된 값으로 생성될 수 있다.
다시 도 16을 참조하면, 마지막으로 ISP 유닛(230)은 디모자이크된 형태로서 정합된 하나의 이미지에 대한 영상 신호 처리(ISP)를 수행한다(S530).
영상 신호 처리(image signal processing, ISP) 단계는 그 내부에 복수의 서브 과정을 포함할 수 있다. 예를 들어 영상 신호 처리 단계는, 감마값 보정(gamma correction), 색채 보정(color correction), 자동 노출(auto exposure correction), 자동 화이트값 보정(auto white balance) 과정 중에서 하나 이상을 포함할 수 있다. 이러한 과정들은 공지의 기술에 해당하는 것으로서 자세한 설명은 생략하기로 한다.
도 17은 도 3과 관련된 본 출원발명의 제2 실시예에 따른 광각 이미지 생성 방법의 흐름도이다.
도 17을 참조하면, 본 발명의 다른 실시예에 따른 광각 이미지 생성 방법은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 베이어 이미지들(images)을 입력 받는 단계(S610), 복수의 베이어 이미지들을 이용하여 하나의 베이어 이미지를 정합하는 단계(S620), 정합된 베이어 이미지를 디모자이크(demosaic) 하는 단계(S630) 및 정합 및 모자이크된 이미지에 대한 ISP(image signal processing) 단계(S640)를 포함한다.
먼저 수신 유닛(210)은 전송 유닛(120)이 전송한 복수의 카메라 유닛(100)들에서 실시간으로 촬영되는 복수의 베이어 이미지들을 수신한다(S610).
다음으로 정합 유닛(220)은 수신 유닛(210)이 수신한 복수의 베이어 이미지들을 이용하여 하나의 이미지로 정합한다(S620).
다음으로 디모자이크+ISP 유닛(230A)은 정합된 베이어 이미지에 대해 디모자이크 단계를 수행한다(S630).
다음으로 디모자이크+ISP 유닛(230)은 정합 및 디모자이크된 하나의 이미지에 대해 영상 신호 처리 단계를 수행한다(S640).
최종적으로 하나의 정합된 이미지에 대해 디모자이크 단계 및 영상 신호 처리 단계가 수행된 이미지가 생성되고, 출력 유닛(240)은 보정된 이미지를 디스플레이 장치 등에 출력한다.
도 18은 도4와 관련된 본 출원발명의 제3 실시예에 따른 광각 이미지 생성 방법의 흐름도이다.
도 9와 비교하여, 도 18에서는 입력된 복수의 베이어 이미지들을 디모자이크하는 단계(S815)가 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 이미지들을 입력 받는 단계(S810)와 하나의 이미지를 정합하는 단계(S820) 사이에 놓이게 된다.
도 19는 본 발명의 또 다른 실시예에 따른 광각 이미지 생성 장치의 블록도이다.
도 19를 참조하면, 본 발명의 또 다른 실시예에 따른 광각 이미지 생성 장치(200)는, 복수의 이미지들을 이용하여 하나의 광각 이미지를 정합하기 위한 연산을 처리하는 프로세서(225) 및 프로세서(225)를 통해 실행되는 적어도 하나의 프로그램 명령이 저장된 메모리(235)를 포함하고, 추가적으로 복수의 이미지들을 입력 받는 입력 인터페이스 장치(210), 보정이 완료된 이미지를 출력하는 출력 인터페이스 장치(240) 및 비휘발성의 저장장치(250)을 포함할 수 있다.
여기서 적어도 하나의 프로그램 명령은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 이미지들(images)을 입력 받는 단계, 복수의 이미지들을 이용하여 하나의 이미지를 정합하는 단계 및 정합된 하나의 이미지에 대한 ISP(image signal processing) 단계를 수행하도록 실행 가능하다.
프로세서(225)는 메모리(235) 및/또는 저장 장치(250)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(225)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(235)와 저장 장치(250)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(235)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.
본 발명의 도 1 내지 도 4(구성에 관한 블록도)에서는 설명의 편의를 위하여, 각 구성을 각각 다른 블록에 도시화하여 예를 들어 설명하였으나, 각각의 구성은 하나의 블록으로 구성될 수 있다. 예를 들면, 각각의 블록은 제어부(controller) 또는 프로세서(processor) 등에 구성되어 전술한 일련의 동작들을 수행할 수 있다.
본 발명에 따르면, 복수의 이미지들을 이용하여 적은 시간 및 적은 비용으로 하나의 정합된 이미지를 생성할 수 있다. 또한 전체적으로 균일한 품질의 픽셀들로 구성되는 이미지를 정합할 수 있다.
도 20은 본 발명의 각 실시예에 따른 효과를 비교하기 위한 예시 도면이다.
도 20을 참조하면, 좌측 이미지는 기존 기술에 따라 디모자이크 과정 및 ISP 과정을 거친 후에 정합된 경우의 출력 이미지를 나타내고, 우측 이미지는 본 발명의 제1 실시예에 따라 ISP 과정이 최종적으로 수행된 경우의 출력 이미지를 나타낸다. 좌측 이미지와 비교하여 우측 이미지에서 전체적으로 향상된 화질과, 전방, 우측, 후방 및 좌측 영역에서 균일한 밝기 및 균일한 색채를 나타내고 있음을 확인할 수 있다.
도 21은 이미지를 출력하는 차량 전장 장치의 제2예를 설명한다.
도 21을 참조하면, 이미지를 출력하는 차량 전장 장치는 도 5에서 설명한 것과 유사하다. 다만, 복수의 카메라 장치(162, 164, 166, 168)와 이미지 프로세서(160)가 개별적으로 독립된 전용 라인으로 연결되어 있지 않고, 공통망을 통해 연결되는 것에 차이가 있다. 즉, 차량용 네트워크(IVN)에 다수의 구성 요소들이 연결될 수 있는 공통망을 이용하거나, 적어도 복수의 카메라 장치(162, 164, 166, 168)와 이미지 프로세서(160) 간의 공통망을 이용할 수 있다.
공통망을 이용하는 경우, 복수의 카메라 장치(162, 164, 166, 168)는 각자가 보내는 데이터에 누가 보냈는지, 누가 받을 수 있는지를 표시해야 하며, 이미지 프로세서(160)는 데이터를 수신하여 누구로부터 전달되었는지를 식별할 수 있어야 한다. 하지만, 이미지 프로세서(160)에 입출력 단자의 수를 줄일 수 있고, 이미지 프로세서를 보다 융통성(flexible)있게 설계할 수 있는 장점이 있다.
도 22는 도 21에서 설명한 차량용 네트워크를 통해 전달되는 데이터의 형태를 설명한다.
도 22를 참조하면, 차량용 네트워크 중 저전압 차등 신호 방식(LVDS)은 이더넷 형식의 통신을 지원할 수 있다. 이 경우, 하나의 이미지 프로세서(160)와 복수의 카메라 장치(162, 164, 166, 168)를 1:n으로 연결하는 것이 가능하다. 이를 위해서는, 각각의 카메라 장치(162, 164, 166, 168)가 전달하는 데이터 양식은 도착지 주소(272), 발신지 주소(274), 및 데이터(276)가 포함될 수 있다. 또한, 데이터 양식은 오류검사(frame check sequence, FCS) 필드 또는 화질 확인을 위한 SFD(Super Fine Detail) 정보 등이 포함될 수 있다.
도 22에 도시된 데이터 프레임은 하나의 예에 불과하며, 하나의 이미지 프로세서(160)와 복수의 카메라 장치(162, 164, 166, 168)를 1:n으로 연결하기 위해 사용되는 차량용 네트워크에 따라 달라질 수 있다.
도 23은 도 21에서 설명한 차량용 카메라 모듈의 예를 설명한다.
도 23을 참조하면, 차량용 카메라 모듈(162)은 도 7에서 설명한 차량용 카메라 모듈(62)와 유사한 구조를 가지나, 직렬 데이터 형태의 베이어 패턴을 공통망에 연결되는 경우에 공통망에서 사용될 수 있는 데이터 프레임의 형태로 변환하기 위한 인코더(180)를 더 포함할 수 있다.
도 24는 도 21에서 설명한 이미지 처리 장치의 예를 설명한다.
도 24를 참조하면, 이미지 처리 장치(160)는 도 8에서 설명한 이미지 처리 장치(60)와 유사한 구조를 가지나, 전달되는 베이어 패턴(BP)이 포함된 데이터 프레임을 전달받아 디코딩하는 디코더(148)를 추가로 구비한다.
한편, 이 경우, 복수의 디시리얼라이저(deserializer, 134)가 필요하지 않을 수 있다. 복수의 카메라에서 전달된 데이터가 공통망을 통해 순차적으로 전달되어 디코더(148)를 통해 어떤 카메라 장치에서 전달되었는지 확인되면 해당 정보에 대응하여 병렬화된 데이터가 복수의 이미지 생성부(140)로 분배될 수 있다.
색 보간부(138)와 보정부(146)를 포함하는 이미지 생성부(140)는 병렬화된 데이터를 색 보간하고, 보정하여 이미지를 생성할 수 있다.
생성된 복수의 이미지는 정합부(142)에서 합쳐질 수 있으며, 합쳐진 이미지는 디스플레이 장치(150)를 통해 사용자에게 제공될 수 있고, 보정부(144)에 전달되어 카메라의 자동노출(AE)을 조정하거나 카메라의 색온도(AWB)를 조정하기 위한 용도로 사용될 수 있다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 복수의 카메라로부터 획득된 각각의 베이어 이미지 정보(Bayer image information)를 입력받는 디시리얼라이져(deserializer); 및
    상기 디시리얼라이져에서 처리되어 출력되는 베이어 데이터를 가공하여 상기 복수의 카메라로부터 획득된 복수의 베이어 이미지를 하나의 정합 이미지로 생성하는 영상 처리부를 포함하고,
    상기 하나의 정합 이미지가 출력되는, 차량용 영상처리장치.
  2. 제1항에 있어서,
    상기 베이어 이미지 정보는 모노크롬(Monochrome) 데이터이고, 상기 하나의 정합 이미지는 RGB 방식 또는 YUV 방식의 색(color)를 포함하는 데이터인, 차량용 영상처리 장치.
  3. 제1항에 있어서,
    상기 각각의 베이어 이미지 정보(Bayer image information)는 독립된 네트워크 라인을 통해 전달된, 차량용 영상처리 장치.
  4. 복수의 독립된 네트워크 라인을 통해 베이어 이미지 정보(Bayer image information)가 직렬화된 서로 다른 복수의 데이터를 수신하는 수신부; 및
    상기 복수의 베이어 데이터를 가공하여 하나의 정합 이미지를 출력하는 영상 처리부를 포함하고
    상기 하나의 정합 이미지는 RGB이미지 또는 YUV이미지인, 영상 처리 장치.
  5. 제4항에 있어서,
    상기 수신부는
    상기 복수의 독립된 네트워크 라인을 통해 전달되는 상기 복수의 데이터를 복원하여 출력하는 디시리얼라이져(deserializer)
    를 포함하는, 영상 처리 장치.
  6. 제4항에 있어서,
    상기 수신부는
    상기 복수의 독립된 네트워크 라인을 통해 전달되는 상기 복수의 데이터를 복원하여 출력하는 복수의 디시리얼라이져(deserializer)
    를 포함하는, 영상 처리 장치.
  7. 제4항에 있어서,
    상기 수신부는
    상기 복수의 독립된 네트워크 라인으로부터 상기 복수의 데이터를 수신하는 멀티플렉서; 및
    상기 멀티플렉서를 통해 순차적으로 전달되는 상기 복수의 데이터를 복원하여 상기 복수의 베이어 데이터를 출력하는 디시리얼라이져(deserializer)
    를 포함하는, 영상 처리 장치.
  8. 제4항에 있어서,
    상기 네트워크 라인은 저전압 차등 시그널링(Low-Voltage Differential Signaling, LVDS) 방식으로 운영되는, 영상 처리 장치.
  9. 제4항에 있어서,
    상기 영상 처리부는
    상기 복수의 베이어 데이터를 색 보간 및 보정 저리를 수행하여 복수의 이미지 데이터를 출력하는 적어도 하나의 보간보정부; 및
    상기 복수의 이미지 데이터를 상기 정합 이미지에 대응하도록 변환한 후 변환된 이미지를 서로 정합하는 변환정합부
    를 포함하는, 영상 처리 장치.
  10. 제9항에 있어서,
    상기 적어도 하나의 보간보정부에서 출력된 상기 복수의 이미지 데이터를 저장하여 상기 변환정합부의 요청에 따라 상기 복수의 이미지 데이터를 전달하는 저장부
    를 더 포함하는, 영상 처리 장치.
PCT/KR2017/007571 2016-07-14 2017-07-14 이미지 생성 방법 및 생성 장치 WO2018012925A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/317,413 US11115636B2 (en) 2016-07-14 2017-07-14 Image processing apparatus for around view monitoring
EP17827995.6A EP3486874A4 (en) 2016-07-14 2017-07-14 METHOD AND DEVICE FOR IMAGE PRODUCTION
CN201780055715.9A CN109690628B (zh) 2016-07-14 2017-07-14 图像处理设备

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0089490 2016-07-14
KR20160089490 2016-07-14
KR1020160164418A KR102718457B1 (ko) 2016-07-14 2016-12-05 영상 처리 장치
KR10-2016-0164418 2016-12-05

Publications (1)

Publication Number Publication Date
WO2018012925A1 true WO2018012925A1 (ko) 2018-01-18

Family

ID=60952131

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/007571 WO2018012925A1 (ko) 2016-07-14 2017-07-14 이미지 생성 방법 및 생성 장치

Country Status (1)

Country Link
WO (1) WO2018012925A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019183826A1 (zh) * 2018-03-28 2019-10-03 深圳市大疆创新科技有限公司 图像处理方法、装置和无人机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014084730A1 (en) * 2012-11-27 2014-06-05 Multimagnetic Solutions Ltd System and method for generating image using multiple lenses and multiple imagers
KR20150047900A (ko) * 2013-10-25 2015-05-06 대우전자부품(주) 사고 예방과 상해치 경감을 위한 영상 기반 능동 제어 시스템
KR20150141804A (ko) * 2014-06-10 2015-12-21 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR20160051129A (ko) * 2014-10-31 2016-05-11 현대모비스 주식회사 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법
KR20160071187A (ko) * 2014-12-11 2016-06-21 현대모비스 주식회사 카메라 위치 판별 장치 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014084730A1 (en) * 2012-11-27 2014-06-05 Multimagnetic Solutions Ltd System and method for generating image using multiple lenses and multiple imagers
KR20150047900A (ko) * 2013-10-25 2015-05-06 대우전자부품(주) 사고 예방과 상해치 경감을 위한 영상 기반 능동 제어 시스템
KR20150141804A (ko) * 2014-06-10 2015-12-21 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR20160051129A (ko) * 2014-10-31 2016-05-11 현대모비스 주식회사 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법
KR20160071187A (ko) * 2014-12-11 2016-06-21 현대모비스 주식회사 카메라 위치 판별 장치 및 그 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019183826A1 (zh) * 2018-03-28 2019-10-03 深圳市大疆创新科技有限公司 图像处理方法、装置和无人机
CN110622505A (zh) * 2018-03-28 2019-12-27 深圳市大疆创新科技有限公司 图像处理方法、装置和无人机

Similar Documents

Publication Publication Date Title
US11115636B2 (en) Image processing apparatus for around view monitoring
WO2018190649A1 (en) Method and apparatus for generating hdr images
JP4869795B2 (ja) 撮像制御装置、撮像システム、および撮像制御方法
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2019164185A1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
WO2021133025A1 (en) Electronic device comprising image sensor and method of operation thereof
JP5195841B2 (ja) 車載カメラ装置および車両
WO2019160237A1 (en) Electronic device and method for controlling display of images
WO2022108235A1 (ko) 슬로우 셔터를 제공하기 위한 방법, 장치 및 저장 매체
WO2019059635A1 (ko) 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치
WO2018012925A1 (ko) 이미지 생성 방법 및 생성 장치
WO2022103121A1 (en) Electronic device for estimating camera illuminant and method of the same
WO2021137555A1 (en) Electronic device comprising image sensor and method of operation thereof
WO2020190030A1 (en) Electronic device for generating composite image and method thereof
WO2020145744A1 (ko) 카메라 장치 및 이를 구비하는 전자 장치
WO2017179912A1 (ko) 삼차원 정보증강 비디오 씨쓰루 디스플레이 장치 및 방법, 렉티피케이션 장치
JP2007159141A (ja) 色補正計算方法
KR101809727B1 (ko) Svm 시스템 및 그의 영상입력 및 처리방법
WO2016098947A1 (ko) 프로토콜 교환 방법 및 장치
WO2018070799A1 (ko) 이미지 정합 방법 및 장치
KR102718457B1 (ko) 영상 처리 장치
JP2005229317A (ja) 画像表示システム及び撮像装置
WO2019112169A1 (ko) 3d 이미지를 생성하기 위한 전자 장치 및 방법
JP3397397B2 (ja) 撮像装置
JP2020102755A (ja) 半導体装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17827995

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017827995

Country of ref document: EP

Effective date: 20190214