WO2015115771A1 - 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법 - Google Patents

카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법 Download PDF

Info

Publication number
WO2015115771A1
WO2015115771A1 PCT/KR2015/000836 KR2015000836W WO2015115771A1 WO 2015115771 A1 WO2015115771 A1 WO 2015115771A1 KR 2015000836 W KR2015000836 W KR 2015000836W WO 2015115771 A1 WO2015115771 A1 WO 2015115771A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
light
cameras
mirror
module
Prior art date
Application number
PCT/KR2015/000836
Other languages
English (en)
French (fr)
Inventor
정지혁
박승룡
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Publication of WO2015115771A1 publication Critical patent/WO2015115771A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Definitions

  • the present invention relates to a camera calibration module, a camera system and a control method of the camera system.
  • a stereo camera system As part of a system that detects an object from an image taken in front of or behind a vehicle and helps the driver to drive safely, a stereo camera system has been proposed to extract distance information between a vehicle and an object in front of the vehicle using two cameras. .
  • the greater the distance between the cameras the greater the accuracy of the distance information.
  • the distance variation between the cameras and the relative posture change can greatly affect the accuracy of the distance information. Therefore, the importance of the correction process increases.
  • An object of the present invention is to provide a camera correction module, a camera system and a control method of a camera system for effectively correcting an error caused by movement of a camera in a stereo camera system.
  • the camera correction module the light source unit for emitting a first light having a first wavelength band, and reflects the first light incident from the light source unit to enter the camera constituting the stereo camera system
  • At least one mirror module for performing a wherein the mirror module includes a translucent mirror for selectively reflecting the first light.
  • the mirror module may be detachable from the body of the camera.
  • the semi-transparent mirror may include a coating layer that transmits light of a wavelength band that the camera is sensitive to and reflects light of a wavelength band including the parallel light.
  • the translucent mirror may include a coating layer that determines a transmittance of the translucent mirror, and the coating layer may be formed on a portion of the surface of the translucent mirror.
  • the camera system is coupled to the plurality of cameras for photographing the object from different locations, the light source unit for emitting parallel light and the plurality of cameras and reflecting the parallel light incident to the plurality of cameras
  • a camera correction module including a plurality of mirror modules, and the plurality of cameras calculate distance information on the object by using image data photographing the object, and the parallel light is imaged by the plurality of cameras. It may include a control device for correcting a parameter used to calculate the distance information based on the image position.
  • the plurality of mirror modules may include a translucent mirror having a coating layer that transmits light in a wavelength band that the camera is sensitive to and reflects light in a wavelength band including the parallel light.
  • the plurality of mirror modules may include a coating layer for determining transmittance, and the coating layer may be formed on some surfaces of the plurality of mirror modules.
  • the camera system may further include an attitude sensor unit integrally coupled to the bodies of each of the plurality of cameras to obtain attitude information of each camera, and the control device may correct the parameter based on the attitude information.
  • the camera system further includes a temperature sensor coupled to a housing for fixing the plurality of cameras to an object to obtain temperature information, and the control device is configured to adjust the parameter based on the temperature information and the thermal expansion coefficient of the housing. You can correct it.
  • the controller may correct the parameter based on an angle relationship between the plurality of mirror modules.
  • the parameter may include attitude information of each of the plurality of cameras or distance information between the plurality of cameras.
  • the control method of the camera system the step of irradiating parallel light through a light source unit, the parallel light is incident on the plurality of cameras by the mirror module attached to each of the plurality of cameras, Acquiring image data obtained by photographing the parallel light through a plurality of cameras; acquiring a first imaging position of the parallel light from the image data; and comparing the first and second imaging positions previously stored to form an image.
  • FIG. 1 is a block diagram schematically illustrating a camera calibration module according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a camera calibration module according to another exemplary embodiment of the present invention.
  • FIG 3 illustrates an example of a transmission characteristic of a mirror included in a camera correction module according to an embodiment of the present invention.
  • FIG. 4 illustrates an example of forming a coating layer on a mirror surface in a camera calibration module according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of a camera module according to an exemplary embodiment.
  • FIGS. 6 and 7 are perspective views illustrating examples of a housing coupled to an object in a camera module according to an exemplary embodiment.
  • FIG. 8 and 9 schematically illustrate examples of combining a camera correction module and a camera module according to an embodiment of the present invention.
  • FIG. 10 is a block diagram illustrating a camera system according to an exemplary embodiment.
  • FIG. 11 is a diagram for describing a method of obtaining distance information with an object in a camera system according to an exemplary embodiment.
  • FIG. 12 illustrates a method of calculating a distance from an object in a camera system in a camera system according to an exemplary embodiment.
  • FIG. 13 illustrates a method of correcting a parameter used for calculating object information by using a camera correction module in a camera system according to an exemplary embodiment.
  • ordinal numbers such as second and first
  • first and second components may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.
  • FIG. 1 is a block diagram schematically showing a camera correction module according to an embodiment of the present invention
  • Figure 2 is a block diagram schematically showing a camera correction module according to another embodiment of the present invention
  • 3 illustrates an example of transmission characteristics of a mirror included in a camera correction module according to an embodiment of the present invention
  • Figure 4 shows an example of forming a coating layer of the mirror surface in the camera calibration module according to an embodiment of the present invention.
  • the camera calibration module 100 may include a light source unit 110, first and second mirror modules 121 and 122.
  • the light source unit 110 includes a light source that emits collimated light and is a light emitting device that emits parallel light.
  • Parallel light means light traveling in one direction.
  • Light sources emitting parallel light may include light emitting devices such as lasers, laser diodes, and light emitting diodes.
  • a parallel light lens may be disposed in front of the light emitting device. Such a parallel light lens may convert divergent light emitted from a light emitting device into parallel light.
  • Parallel light emitted from the light source unit 110 may be incident to the first and second mirror modules 121 and 122.
  • the light source unit 110 may be controlled in posture and position at the time of installation such that the emission surface of the light source unit 110 faces the first and second mirror modules 121 and 122.
  • the first and second mirror modules 121 and 122 may reflect at least part of the parallel light incident from the light source unit 110.
  • Parallel light reflected from the first and second mirror modules 121 and 122 may be incident to the optical system of each camera.
  • parallel light incident to each camera may be imaged at a specific position of the image sensor.
  • the camera system may acquire an imaging position of parallel light and correct parameters used for calculating distance information with an object according to the movement of the imaging position.
  • the first and second mirror modules 121 and 122 may include reflective mirrors that reflect most of the parallel light incident from the light source unit 110.
  • the first and second mirror modules 121 and 122 may include translucent mirrors that reflect some of the parallel light incident from the light source unit 110 and transmit some of them.
  • at least a part of the surface of the translucent mirror may be formed with a translucent coating layer for adjusting the transmissive characteristics of the translucent mirror.
  • the coating layer may be formed to have a high reflectance for light of a specific wavelength band.
  • the coating layer on the surface of the translucent mirror has a high transmittance and a low reflectance for light in a wavelength band that the first and second cameras 210 and 220 respond to, and a low transmittance and a low reflectance for other bands. It can be formed to be high.
  • the light source unit 110 may emit parallel light of a wavelength band having a transmittance of 50% or less so that parallel light is reflected by the coating layer.
  • the light source unit 110 may emit parallel light of an infrared band (first wavelength band) having a high reflectance in the coating layer.
  • the first wavelength band is designed to be larger than the visible light band of at least 450 nm to 650 nm. Therefore, the camera correction system can be configured without affecting the performance of the camera.
  • the coating layer for reflection may be formed only on a portion of the surface where the parallel light of the light source unit 110 is incident on the surface of the translucent mirror.
  • the coating layer 132 may be formed at the center of the reflective mirror 131.
  • the remaining region except for the region where the coating layer is formed in the translucent mirror may transmit most of incident light. Therefore, the camera correction system can be configured without affecting the performance of the camera.
  • FIG. 1 illustrates an example in which the camera correction module 100 includes a plurality of mirror modules, embodiments of the present invention are not limited thereto.
  • the camera correction module 100 may include only one mirror module 120.
  • the camera correction module 100 may be used in combination with each camera in sequence or the plurality of camera correction modules 100 may be used in combination with each camera at the same time.
  • the camera correction module 100 having the above-described structure may be coupled to a camera module (see reference numeral 200 of FIG. 5 to be described later) and used for error correction of the camera system 10.
  • FIG. 5 is a schematic structural diagram of a camera module according to an exemplary embodiment.
  • 6 and 7 are perspective views illustrating examples of a housing coupled to an object in a camera module according to an exemplary embodiment.
  • the camera module 200 may include first and second cameras 210 and 220, first and second image sensor units 230 and 240, and first and second cameras.
  • the two posture sensor units 250 and 260, the temperature sensor unit 270, and the communication unit 280 may be included.
  • the first and second cameras 210 and 220 are disposed on the object spaced apart from each other by a predetermined interval, and photograph an object located outside the object at different positions.
  • the object on which the first and second cameras 210 and 220 are installed is a vehicle
  • the first and second cameras 210 and 220 may be disposed in front of or behind the vehicle, so as to be located in front of or behind the vehicle. You can take pictures of the objects in different locations.
  • the first and second image sensors 230 and 240 may acquire image data from image signals photographed through the first and second cameras 210 and 220, respectively.
  • the first and second posture sensor units 250 and 260 may acquire attitude information of each of the first and second cameras 210 and 220.
  • the first and second posture sensor units 250 and 260 may include a gyro sensor measuring angular velocity of each of the first and second cameras 210 and 220, an acceleration sensor measuring an acceleration of a moving target, and a target. And a tilt sensor for detecting a tilt.
  • the first and second posture sensor units 250 and 260 detect a rotation of each of the first and second cameras 210 and 220 about three axes that are orthogonal to each other, thereby detecting a posture change. It may include.
  • the temperature sensor unit 270 may acquire temperature information of a housing or a housing surrounding the body of the camera module 200.
  • the communication unit 280 may include image data acquired through the first and second image sensor units 230 and 240, posture information obtained through the first and second posture sensor units 250 and 260, and a temperature sensor unit 270.
  • the temperature information obtained through may be transmitted to an external device of the camera module 200 through a wired or wireless communication method.
  • image data, attitude information, temperature information, and the like may be transmitted to a control device of a camera system (see reference numeral 10 in FIG. 10 to be described later) to assist the driver in driving. have.
  • the camera module 200 When the camera module 200 is installed in a vehicle, the camera module 200 may be installed separately from the control device of the camera system (see reference numeral 10 in FIG. 10 to be described later). Therefore, in an embodiment of the present invention, the camera module 200 may include a communication unit 280 to support the camera module 200 to transmit and receive data to and from the control device 300 of the camera system 10. .
  • the camera module 200 may include a housing 201 for fixing and supporting the camera module 200 to an object such as a vehicle.
  • the first and second cameras 210 and 220 may be spaced apart from each other on a surface facing the outside of the object in the housing 201 to acquire an external image of the object at different locations.
  • the body of the first and second cameras 210 and 220 is integrally provided with first and second posture sensor units 250 and 260 for acquiring attitude information of the first and second cameras 210 and 220, respectively. Can be.
  • first and second image sensor units 230 and 240 may be disposed in the housing 201 in correspondence with the first and second cameras 210 and 220, respectively.
  • a temperature sensor unit 270 for acquiring temperature information around the housing 201 or the housing 201, a communication unit 280 for communicating with the camera module 200 and an external device, and the like are provided inside the housing 201. It can also be built in.
  • FIG. 6 illustrates an example of a housing for fixing the camera module 200 to a vehicle that is an object, and embodiments of the present disclosure are not limited thereto. According to an embodiment of the present disclosure, the housing for fixing the camera module 200 to a vehicle may be variously modified.
  • the first and second cameras 210 and 220 included in the camera module 200 may be fixed to the object by housings 201a and 201b separated from each other, rather than one housing.
  • FIG. 8 and 9 schematically illustrate examples of combining a camera correction module and a camera module according to an embodiment of the present invention.
  • FIG 8 illustrates a case in which the camera correction module 100 is implemented separately from the camera module 200 and detached from the camera module 200.
  • the first and second mirror modules 121 and 122 of the camera calibration module 100 may be implemented separately from the first and second cameras 210 and 220, and the first and second cameras 210. 220 may be detachable to the outside of each body.
  • the camera correction module 100 is normally kept separated from the camera module 200, and the first and second cameras 210 during error correction of the camera system (see reference numeral 10 in FIG. 10 to be described later). 220 may be used in combination with each other.
  • the first and second mirror modules 121 and 122 reflect most of the incident light. It may include a reflective mirror.
  • FIG 9 illustrates a case in which the camera correction module 100 and the camera module 200 are integrally implemented.
  • the first and second mirror modules 121 and 122 of the camera calibration module 100 may be integrally coupled to the housings of the first and second cameras 210 and 220, respectively. That is, the first and second mirror modules 121 and 230 may be inserted into and coupled to the inner side of the barrel surrounding the optical system of each of the first and second cameras 210 and 220, respectively.
  • the camera calibration module 100 remains coupled to the first and second cameras 210 and 220 irrespective of the calibration of the camera system 10 and thus, the first and second cameras 210 and 220. Can affect performance.
  • the first and second mirror modules 121 and 122 may have a coating layer formed to reflect only light of a specific wavelength band or to minimize the influence on the first and second cameras 210 and 220. It is possible to form a coating layer that reflects only a partial region where parallel light is incident.
  • FIG. 10 is a block diagram illustrating a camera system according to an exemplary embodiment.
  • FIG. 11 is a diagram for describing a method of obtaining distance information with an object in a camera system according to an exemplary embodiment.
  • the camera system 10 may include a camera module 200 and a control device 300 as a stereo camera system.
  • the camera system 10 may further include a camera correction module 100.
  • the camera correction module 100 includes a light source unit 110 and at least one mirror 121 and 122, and the first and second parallel light beams for determining a position change of the first and second cameras 210 and 220.
  • the two cameras 210 and 220 may perform a function of making incident to each optical system.
  • the camera module 200 includes first and second cameras 210 and 220 spaced apart from each other by a predetermined interval, and acquires image data corresponding to an external image through the first and second cameras 210 and 220. can do.
  • the camera module 200 includes first and second posture sensor units 250 and 260 and a temperature sensor unit 270, and posture information of each of the first and second cameras 210 and 220, and a camera module. Temperature information of the housing or the surroundings of the 200 may be obtained.
  • the control device 300 continuously receives image data acquired through the first and second cameras 210 and 220 from the camera module 200 through wired or wireless communication. Also, an object satisfying a predetermined condition is detected from each image data received from the camera module 200 through image recognition. For example, an object having a predetermined size or more or an outline having a predetermined shape may be detected.
  • control device 300 may obtain distance information with the object based on the object position in each image data and the distance information between the first and second cameras 210 and 220.
  • a focal length of each of the first and second cameras 210 and 220 is f
  • a distance between the first and second cameras 210 and 220 is b, first and second cameras 210 and 220.
  • the focal length f of the first and second cameras 210 and 220 may be a preset value according to the specifications of the first and second cameras 210 and 220.
  • the distance d between the first and second cameras 210 and 220 is a distance between the center points of the first and second cameras 210 and 220, and a value set when the camera system 10 is installed is an initial value. Can be used.
  • the position, posture, etc. of the first and second cameras 210 and 220 may be changed due to vehicle vibration and temperature change.
  • the distance information calculation is performed on the assumption that the first and second cameras 210 and 220 photograph the object at a predetermined angle, and the first camera 210 or the second camera 220 is used. If the posture is changed, the distance information may be calculated. In addition, referring to Equation 1 above, if the distance between the first and second cameras 210 and 220 changes, it may affect the calculation of the distance information.
  • the controller 300 is a parameter used to calculate distance information with the object in order to prevent an error from occurring in calculating distance information with the object as the position and posture of the first and second cameras 210 are changed.
  • the calibration process can be performed.
  • the control device 300 acquires an image forming position of parallel light incident on the first and second cameras 210 and 220 by the camera correction module 100, and based on the parameter, used to calculate distance information with the object.
  • the calibration process can be performed.
  • the control device 300 may obtain the change in the posture change direction and the posture change degree of each of the first and second cameras 210 and 220 based on the moving direction and the moving amount of the image forming position of the parallel light.
  • control device 300 stores the image position information of the parallel light obtained in the initial use of the camera correction module 100 or the previous use of the camera correction module 100 in a memory (not shown), and the movement direction and the movement amount thereof. Can be used as the data for calculation.
  • the control device 300 continuously receives attitude information of each of the first and second cameras 210 and 220 from the camera module 200, and based on this, the controller 300 corrects a parameter used to calculate distance information with respect to an object. It can also be done.
  • the control device 300 calculates the rotation direction and the rotation angle of each of the first and second cameras 210 and 220 based on the attitude information of the first and second cameras 210 and 220, respectively. Based on this, the positional information of the object in each image data can be corrected. Also, for example, the control device 300 calculates a change in distance between the first and second cameras 210 and 220 based on attitude information of each of the first and second cameras 210 and 220, and based on this, The distance between the first and second cameras 210 and 220 may be corrected.
  • the control device 300 may continuously receive temperature information from the camera module 200 and perform a correction process on a parameter used to calculate distance information with respect to an object based on the temperature information.
  • the controller 300 calculates a temperature change of the camera module 200 based on the temperature information received from the camera module 200, and when the temperature change is equal to or greater than a preset level, the temperature change degree and the first and second cameras (
  • the distance d between the first and second cameras 210 and 220 may be corrected based on the coefficient of thermal expansion of the housing 201 in which the 210 and 220 are installed. That is, the degree of expansion / contraction of the housing 201 according to the temperature change is predicted, and based on this, the change of the distance d between the first and second cameras 210 and 220 is calculated and the first and second distances are changed by the changed distance.
  • the distance d between the cameras 210 and 220 may be corrected.
  • the controller 300 may assist the safe driving of the vehicle based on the distance information with the object in front of or behind the vehicle, based on the parameter corrected by the above-described method.
  • the collision risk with the object may be predicted based on the distance information with the object, and if a collision risk is detected, a warning sound may be output.
  • FIG. 12 is a flowchart illustrating a method of controlling a camera system according to an embodiment of the present disclosure, and illustrates a method of calculating a distance from an object in a camera system.
  • the control device 300 may space the first and second cameras 210 and 220 spaced apart from each other from the camera module 200. Acquire image data photographed through S102.
  • the controller 300 determines whether an object satisfying a predetermined condition is detected from image data photographed by the first and second cameras 210 and 220 through image recognition (S103).
  • control device 300 calculates distance information between the detected object and the first and second cameras 210 and 2102 (S104).
  • steps S102 to S104 may be repeatedly performed until the camera system 10 is off (S105).
  • step S104 the control device 300 reflects this, if the attitude of the first camera 210 or the second camera 220 is changed or the distance between the first and second cameras 210, 220 is changed.
  • the distance information with respect to the object may be calculated based on the corrected parameters.
  • FIG. 13 is a flowchart illustrating a method of controlling a camera system according to an exemplary embodiment, and illustrates a method of correcting a parameter used to calculate object information using a camera correction module.
  • control device 300 turns on the light source unit 110 so that the light source unit 110 of the camera calibration module 100 irradiates parallel light (S201).
  • control device 300 obtains image data obtained by photographing parallel light through the first and second cameras 210 and 220, and acquires an image forming position of the parallel light from the image data (S202).
  • the movement information of the imaging position that is, the moving direction and the movement amount of the imaging position is obtained (S203).
  • the previously stored image formation position information of the parallel light may be obtained and stored when the camera correction module 100 is initially installed or when the camera correction module 100 is previously used.
  • the control device 300 corrects the parameter used to calculate the distance information with the object by using this as the correction data (S204).
  • the plurality of mirror modules 121 and 122 included in the camera correction module 100 need to have parallel mirror surfaces.
  • the control device 300 may use the angle relationship between the plurality of mirror modules 121 and 122, as well as the direction of movement and the amount of movement of the image forming position of the parallel light as the correction data.
  • An angle relationship between the plurality of mirror modules 121 and 122 may be obtained at a mass production stage of the camera correction module 100.
  • the control device 300 stores the corrected parameter and calculates distance information with the object using the same. can do.
  • a distance of a camera system is corrected by injecting parallel light into each camera by using a camera correction module and correcting parameters used for calculating distance information in a camera system by reflecting an image position shift of each parallel light.
  • the accuracy of information calculation can be improved.
  • the camera correction module even if the posture of the camera is changed due to vibration generated during driving of the vehicle, by using the camera correction module to correct the error according to the posture change, thereby improving the accuracy of calculating distance information of the stereo camera system. You can.
  • ' ⁇ part' used in the present embodiment refers to software or a hardware component such as a field-programmable gate array (FPGA) or an ASIC, and ' ⁇ part' performs certain roles.
  • ' ⁇ ' is not meant to be limited to software or hardware. May be configured to reside in an addressable recording medium or may be configured to reproduce one or more processors.
  • ' ⁇ ' means components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, and the like. Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
  • the functionality provided within the components and the 'parts' may be combined into a smaller number of components and the 'parts' or further separated into additional components and the 'parts'.
  • the components and ' ⁇ ' may be implemented to play one or more CPUs in the device or secure multimedia card.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명의 일 실시 예에 따르면 카메라 보정모듈은, 제1파장대역을 갖는 제1광을 출사하는 광원부, 그리고 상기 광원부로부터 입사하는 제1광을 반사하여 스테레오 카메라 시스템을 구성하는 카메라에 입사시키는 역할을 수행하는 적어도 하나 이상의 거울모듈을 포함하며, 상기 거울모듈은 상기 제1광을 선택적으로 반사하는 반투명 거울을 포함한다.

Description

카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법
본 발명은 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법에 관한 것이다.
차량 전방 또는 후방을 촬영한 영상으로부터 물체를 감지하여 운전자의 안전 운전을 돕는 시스템의 일환으로, 두 대의 카메라를 이용하여 차량과 차량 전방의 물체와의 거리정보를 추출하는 스테레오 카메라 시스템이 제안되고 있다.
스테레오 카메라 시스템에서, 정확한 거리정보를 획득하기 위해서는 카메라 간의 거리와 상대적인 자세에 따른 보정 과정이 수행될 필요가 있다.
특히, 카메라 간의 거리가 클수록 거리정보의 정밀도가 증가하는데 반해, 카메라 간의 거리 변동이나 상대적인 자세 변화는 거리정보의 정확도에 많은 영향을 줄 수 있으므로, 보정 과정의 중요성이 증대하게 된다.
종래에는 카메라 간의 위치 관계를 보정하기 위해 차량이 정지된 상태에서 표준 물체를 이용하여 보정 과정을 수행하였다. 그러나, 이러한 보정 방법은 차량 운행 중 발생하는 진동, 온도 변화에 따른 하우징의 뒤틀림 등으로 인해 카메라 간의 거리나 각 카메라의 자세가 변경되는 것을 감지하여 보정하는 것이 어려운 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는, 스테레오 카메라 시스템에서 카메라의 이동으로 발생하는 오차를 효과적으로 보정하기 위한 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법을 제공하는 것이다.
본 발명의 일 실시 예에 따르면 카메라 보정모듈은, 제1파장대역을 갖는 제1광을 출사하는 광원부, 그리고 상기 광원부로부터 입사하는 제1광을 반사하여 스테레오 카메라 시스템을 구성하는 카메라에 입사시키는 역할을 수행하는 적어도 하나 이상의 거울모듈을 포함하며, 상기 거울모듈은 상기 제1광을 선택적으로 반사하는 반투명 거울을 포함한다.
상기 카메라 보정모듈에서, 거울모듈은 상기 카메라의 몸체에 탈부착될 수 있다.
상기 카메라 보정모듈에서, 상기 반투명 거울은 상기 카메라가 감응하는 파장 대역의 광은 투과시키고, 상기 평행광이 포함되는 파장 대역의 광은 반사하는 코팅층을 포함할 수 있다.
상기 카메라 보정모듈에서, 상기 반투명 거울은 상기 반투명 거울의 투과율을 결정하는 코팅층을 포함하며, 상기 코팅층은 상기 반투명 거울의 일부 표면에 형성될 수 있다.
본 발명의 일 실시 예에 따르면 카메라 시스템은, 서로 다른 위치에서 객체를 촬영하는 복수의 카메라, 평행광을 출사하는 광원부 및 상기 복수의 카메라에 결합하며 상기 평행광을 반사하여 상기 복수의 카메라로 입사시키는 복수의 거울모듈을 포함하는 카메라 보정모듈, 그리고 상기 복수의 카메라가 상기 객체를 촬영한 이미지 데이터를 이용하여 상기 객체에 대한 거리정보를 산출하며, 상기 복수의 카메라에 의해 상기 평행광이 결상되는 결상위치를 토대로 상기 거리정보의 산출에 사용되는 파라미터를 보정하는 제어장치를 포함할 수 있다.
상기 카메라 시스템에서, 상기 복수의 거울모듈은, 상기 카메라가 감응하는 파장 대역의 광은 투과시키고, 상기 평행광이 포함되는 파장 대역의 광은 반사하는 코팅층이 형성된 반투명 거울을 포함할 수 있다.
상기 카메라 시스템에서, 상기 복수의 거울모듈은 투과율을 결정하는 코팅층을 포함하며, 상기 코팅층은 상기 복수의 거울모듈의 일부 표면에 형성될 수 있다.
상기 카메라 시스템은, 상기 복수의 카메라 각각의 몸체에 일체형으로 결합되어 상기 각 카메라의 자세정보를 획득하는 자세센서부를 더 포함하며, 상기 제어장치는 상기 자세정보를 토대로 상기 파라미터를 보정할 수 있다.
상기 카메라 시스템은, 상기 복수의 카메라를 대상체에 고정하기 위한 하우징에 결합되어 온도정보를 획득하는 온도 센서를 더 포함하고, 상기 제어장치는 상기 온도정보와 상기 하우징의 열팽창계수를 토대로, 상기 파라미터를 보정할 수 있다.
상기 카메라 시스템에서, 상기 제어장치는 상기 복수의 거울모듈 간의 각도관계를 토대로 상기 파라미터를 보정할 수 있다.
상기 파라미터는 상기 복수의 카메라 각각의 자세정보 또는 상기 복수의 카메라 간의 거리정보를 포함할 수 있다.
본 발명의 일 실시 예에 따르면 카메라 시스템의 제어방법은, 광원부를 통해 평행광을 조사하는 단계, 복수의 카메라 각각에 부착된 거울모듈에 의해 상기 평행광이 상기 복수의 카메라로 입사함에 따라, 상기 복수의 카메라를 통해 상기 평행광을 촬영한 이미지 데이터를 획득하는 단계, 상기 이미지 데이터로부터 상기 평행광의 제1결상위치를 획득하는 단계, 기 저장된 제2결상위치와 상기 제1결상위치를 비교하여 결상위치의 이동정보를 획득하는 단계, 상기 결상위치의 이동정보를 토대로 거리정보 산출에 사용되는 파라미터를 보정하는 단계, 상기 복수의 카메라를 통해 객체가 촬영되면, 상기 파라미터를 이용하여 상기 객체와의 거리정보를 산출하는 단계를 포함할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 카메라 보정모듈을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 카메라 보정모듈을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 카메라 보정모듈에 포함된 거울의 투과 특성의 일 예를 도시한 것이다.
도 4는 본 발명의 일 실시 예에 따른 카메라 보정모듈에서 거울 표면의 코팅층을 형성하는 일 예를 도시한 것이다.
도 5는 본 발명의 일 실시 예에 따른 카메라 모듈을 개략적으로 도시한 구조도이다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 카메라 모듈에서 대상체에 결합하는 하우징의 예들을 도시한 사시도들이다.
도 8 및 도 9는 본 발명의 일 실시 예에 따른 카메라 보정모듈과 카메라 모듈이 결합하는 예들을 개략적으로 도시한 것이다.
도 10은 본 발명의 일 실시 예에 따른 카메라 시스템을 도시한 블록 구성도이다.
도 11은 본 발명의 일 실시 예에 따른 카메라 시스템에서 객체와의 거리정보를 획득하는 방법을 설명하기 위한 것이다.
도 12는 본 발명의 일 실시 예에 따른 카메라 시스템에서 카메라 시스템에서 객체와의 거리를 산출하는 방법을 도시한 것이다.
도 13은 본 발명의 일 실시 예에 따른 카메라 시스템에서 카메라 보정모듈을 이용하여 객체정보 산출에 사용되는 파라미터를 보정하는 방법을 도시한 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 카메라 보정모듈을 개략적으로 도시한 블록도이고, 도 2는 본 발명의 다른 실시 예에 따른 카메라 보정모듈을 개략적으로 도시한 블록도이다. 또한, 도 3은 본 발명의 일 실시 예에 따른 카메라 보정모듈에 포함된 거울의 투과 특성의 일 예를 도시한 것이다. 또한, 도 4는 본 발명의 일 실시 예에 따른 카메라 보정모듈에서 거울 표면의 코팅층을 형성하는 일 예를 도시한 것이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 카메라 보정모듈(100)은 광원부(110), 제1 및 제2거울모듈(121, 122)을 포함할 수 있다.
광원부(110)는 평행광(collimated light)을 출사하는 광원을 포함하며, 평행광을 출사하는 발광장치이다. 평행광은 한 방향으로 진행하는 광을 의미한다. 평행광을 출사하는 광원으로는 레이저, 레이저 다이오드, 발광 다이오드 등의 발광소자가 포함될 수 있다. 필요에 따라, 발광소자의 전단에는 평행광 렌즈가 배치될 수 있다. 이러한 평행광 렌즈는 발광소자에서 방출되는 발산광을 평행광으로 변환할 수 있다.
광원부(110)에서 출사되는 평행광은 제1 및 제2거울모듈(121, 122)로 입사할 수 있다. 이를 위해, 광원부(110)는 광원부(110)의 출사면이 제1 및 제2거울모듈(121, 122)을 향하도록 설치 시의 자세 및 위치가 제어될 수 있다.
제1 및 제2거울모듈(121, 122)은 광원부(110)로부터 입사하는 평행광의 적어도 일부를 반사할 수 있다. 제1 및 제2거울모듈(121, 122)에서 반사된 평행광은 각 카메라의 광학계로 입사할 수 있다. 또한, 각 카메라로 입사한 평행광은 이미지센서의 특정 위치에 결상될 수 있다.
카메라 시스템(후술하는 도 10의 도면부호 10 참조)은 평행광의 결상위치를 획득하고, 결상위치의 이동에 따라서 객체와의 거리정보 산출에 사용되는 파라미터들을 보정할 수 있다.
제1 및 제2거울모듈(121, 122)은 광원부(110)로부터 입사하는 평행광의 대부분을 반사하는 반사거울을 포함할 수 있다.
제1 및 제2거울모듈(121, 122)은 광원부(110)로부터 입사하는 평행광 중 일부는 반사하고 일부는 투과하는 반투명 거울을 포함할 수도 있다. 이 경우, 반투명 거울의 적어도 일부 표면에는 반투명 거울의 투과반사특성을 조절하는 반투명 코팅층이 형성될 수 있다.
제1 및 제2거울모듈(121, 122)이 반투명 거울을 포함하는 경우, 코팅층은 특정 파장 대역의 광에 대해 높은 반사율을 가지도록 형성될 수 있다.
도 3을 참조하면, 반투명 거울 표면의 코팅층은 제1 및 제2카메라(210, 220)가 감응하는 파장 대역의 광에 대해서는 투과율이 높고 반사율이 낮으며, 그 외 대역에 대해서는 투과율이 낮고 반사율이 높도록 형성될 수 있다. 이 경우, 광원부(110)는 코팅층에 의해 평행광이 반사되도록 코팅층의 투과율이 50% 이하인 파장 대역의 평행광을 출사할 수 있다.
예를 들어, 카메라에서 감응하는 대역이 450nm 내지 650nm의 가시광선 대역 및 근적외선 대역인 경우, 광원부(110)는 코팅층에서의 반사율이 높은 적외선 대역(제1파장대역)의 평행광을 출사할 수 있다. 제1파장대역은 적어도 450nm 내지 650nm의 가시광선 대역보다는 크도록 설계된다. 따라서, 카메라의 성능에 영향을 미치지 않고 카메라 보정 시스템을 구성할 수 있다.
제1 및 제2거울모듈(121, 122)이 반투명 거울을 포함하는 경우, 반사를 위한 코팅층은 반투명 거울의 표면에서 광원부(110)의 평행광이 입사하는 일부 영역에 대해서만 형성될 수 있다. 도 4를 예로 들면, 코팅층(132)은 반사 거울(131)의 중심부에 형성될 수 있다. 이와 같이, 코팅층이 반투명 거울의 일부 영역에만 형성되는 경우, 반투명 거울에서 코팅층이 형성되는 영역을 제외한 나머지 영역은 입사하는 광의 대부분을 투과시킬 수 있다. 따라서, 카메라의 성능에 영향을 미치지 않고 카메라 보정 시스템을 구성할 수 있다.
한편, 도 1에서는 카메라 보정모듈(100)이 복수의 거울 모듈을 포함하는 경우를 예로 들어 도시하였으나, 본 발명의 실시 예는 이로 한정되지 않는다.
도 2는 본 발명의 다른 실시 예에 따른 카메라 보정모듈을 도시한 것으로서, 도 2를 참조하면 카메라 보정모듈(100)은 하나의 거울모듈(120)만을 포함할 수 있다. 이 경우, 카메라 보정모듈(100)은 각 카메라에 순차적으로 결합되어 사용되거나 복수의 카메라 보정모듈(100)이 동시에 각 카메라에 결합되어 사용될 수도 있다.
전술한 구조의 카메라 보정모듈(100)은 카메라 모듈(후술하는 도 5의 도면부호 200 참조)에 결합되어 카메라 시스템(10)의 오차 보정에 사용될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 카메라 모듈을 개략적으로 도시한 구조도이다. 또한, 도 6 및 도 7은 본 발명의 일 실시 예에 따른 카메라 모듈에서 대상체에 결합하는 하우징의 예들을 도시한 사시도들이다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 카메라 모듈(200)은 제1 및 제2카메라(210, 220), 제1 및 제2이미지센서부(230, 240), 제1 및 제2자세센서부(250, 260), 온도센서부(270), 통신부(280) 등을 포함할 수 있다.
제1 및 제2카메라(210, 220)는 서로 소정 간격 이격되어 대상체에 배치되며, 서로 다른 위치에서 대상체의 외부에 위치하는 객체를 촬영한다. 제1 및 제2카메라(210, 220)가 설치되는 대상체가 차량인 경우를 예로 들면, 제1 및 제2카메라(210, 220)는 차량의 전방 또는 후방에 배치되어, 차량의 전방 또는 후방에 위치하는 객체를 서로 다른 위치에서 촬영할 수 있다.
제1 및 제2이미지센서부(230, 240)는 제1 및 제2카메라(210, 220) 각각을 통해 촬영한 영상 신호로부터 이미지 데이터를 획득할 수 있다.
제1 및 제2자세센서부(250, 260)는 제1 및 제2카메라(210, 220) 각각의 자세정보를 획득할 수 있다. 이를 위해, 제1 및 제2자세센서부(250, 260)는 제1 및 제2카메라(210, 220) 각각의 각속도를 측정하는 자이로 센서, 이동하는 타겟의 가속도를 측정하는 가속도 센서, 타겟의 기울기를 검출하는 기울기 센서 등을 포함할 수 있다.
예를 들어, 제1 및 제2자세센서부(250, 260)는 서로 직교하는 3축에 대해 제1 및 제2카메라(210, 220) 각각의 회전을 감지하여 자세 변동을 검출하는 자이로 센서를 포함할 수 있다.
한편, 제1 및 제2자세센서부(250, 260)는 제1 및 제2카메라(210, 220) 각각의 자세정보를 획득하기 위해, 제1 및 제2카메라(210, 220) 각각의 몸체(body)에 일체로 결합될 수 있다.
온도센서부(270)는 카메라 모듈(200)의 몸체를 구성하는 하우징 또는 하우징 주변의 온도정보 획득할 수 있다.
통신부(280)는 제1 및 제2이미지센서부(230, 240)를 통해 획득되는 이미지 데이터, 제1 및 제2자세센서부(250, 260)을 통해 획득되는 자세정보, 온도센서부(270)을 통해 획득되는 온도정보 등을 유무선 통신 방식으로 카메라 모듈(200)의 외부 기기로 전달하는 기능을 수행할 수 있다.
예를 들어, 운전자의 운전을 보조하는 카메라 시스템(후술하는 도 10의 도면부호 10 참조)의 제어장치(후술하는 도 10의 도면부호 300 참조)로 이미지 데이터, 자세정보, 온도정보 등을 전달할 수 있다.
카메라 모듈(200)이 차량에 설치되는 경우, 설치 특성 상 카메라 시스템(후술하는 도 10의 도면부호 10 참조)의 제어장치(후술하는 도 10의 도면부호 300 참조)와는 분리되어 설치될 수 있다. 따라서, 본 발명의 일 실시 예에서는 카메라 모듈(200)에 통신부(280)를 구비하여, 카메라 모듈(200)이 카메라 시스템(10)의 제어장치(300)와 데이터를 송수신할 수 있도록 지원할 수 있다.
도 6을 참조하면, 카메라 모듈(200)은 차량 등의 대상체에 카메라 모듈(200)을 고정시켜 지지하기 위한 하우징(201)을 포함할 수 있다.
하우징(201)에서 대상체의 외부를 향하는 일면에는 제1 및 제2카메라(210, 220)가 소정 간격 이격되어 배치되어, 서로 다른 위치에서 대상체의 외부 영상을 획득할 수 있다.
제1 및 제2카메라(210, 220)의 몸체에는 제1 및 제2카메라(210, 220) 각각의 자세정보를 획득하기 위한 제1 및 제2자세센서부(250, 260)이 일체형으로 구비될 수 있다.
또한, 하우징(201)에는 제1 및 제2카메라(210, 220) 각각에 대응하여 제1 및 제2이미지센서부(230, 240)이 배치될 수 있다.
하우징(201)의 내부에는 하우징(201) 또는 하우징(201) 주변의 온도정보를 획득하기 위한 온도센서부(270), 카메라 모듈(200)과 외부 기기와의 통신을 위한 통신부(280) 등이 내장될 수도 있다.
한편, 도 6은 카메라 모듈(200)을 대상체인 차량에 고정시키기 위한 하우징의 일 예를 도시한 것으로서, 본 발명의 실시 예는 이에 한정되지 않는다. 본 발명의 실시 예에 따르면, 카메라 모듈(200)을 차량에 고정시키기 위한 하우징은 다양한 변형이 가능하다.
도 7을 예로 들면, 카메라 모듈(200)에 포함된 제1 및 제2카메라(210, 220)는 하나의 하우징이 아닌 서로 분리된 하우징(201a, 201b)에 의해 대상체에 각각 고정될 수도 있다.
도 8 및 도 9는 본 발명의 일 실시 예에 따른 카메라 보정모듈과 카메라 모듈이 결합하는 예들을 개략적으로 도시한 것이다.
도 8은 카메라 보정모듈(100)이 카메라 모듈(200)과 별도로 구현되어, 탈부착되는 경우를 도시한 것이다.
도 8을 참조하면, 카메라 보정모듈(100)의 제1 및 제2거울모듈(121, 122)은 제1 및 제2카메라(210, 220)와는 별도로 구현되며, 제1 및 제2카메라(210, 220) 각각의 몸체 외측에 탈부착될 수 있다.
즉, 카메라 보정모듈(100)은 평상시에는 카메라 모듈(200)과 분리된 상태를 유지하고, 카메라 시스템(후술하는 도 10의 도면부호 10 참조)의 오차 보정 시에는 제1 및 제2카메라(210, 220) 각각에 결합되어 사용될 수 있다.
이 경우, 카메라 보정모듈(100)은 탈부착이 가능하여 평상시에는 카메라(210, 220)의 기본 성능에 영향을 미치지 않으므로, 제1 및 제2거울모듈(121, 122)은 입사하는 광의 대부분을 반사하는 반사 거울을 포함할 수 있다.
도 9는 카메라 보정모듈(100)과 카메라 모듈(200)이 일체형으로 구현되는 경우를 도시한 것이다.
도 9를 참조하면, 카메라 보정모듈(100)의 제1 및 제2거울모듈(121, 122)은 제1 및 제2카메라(210, 220) 각각의 하우징에 일체형으로 결합될 수 있다. 즉, 제1 및 제2카메라(210, 220) 각각의 광학계를 감싸는 경통 내측에 제1 및 제2거울모듈(121, 230)이 각각 삽입 결합될 수 있다.
이 경우, 카메라 보정모듈(100)은 카메라 시스템(10)의 보정과 상관 없이 제1 및 제2카메라(210, 220)에 결합된 상태를 유지하므로, 제1 및 제2카메라(210, 220)의 성능에 영향을 미칠 수 있다.
따라서, 제1 및 제2거울모듈(121, 122)은 제1 및 제2카메라(210, 220)에 미치는 영향을 최소화하도록, 특정 파장 대역의 광만 반사하도록 코팅층이 형성되거나, 광원부(110)의 평행광이 입사하는 일부 영역에 대해서만 반사 기능을 하는 코팅층을 형성할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 카메라 시스템을 도시한 블록 구성도이다. 또한, 도 11은 본 발명의 일 실시 예에 따른 카메라 시스템에서 객체와의 거리정보를 획득하는 방법을 설명하기 위한 것이다.
도 10을 참조하면, 본 발명의 일 실시 예에 따른 카메라 시스템(10)은 스테레오 카메라 시스템으로서, 카메라 모듈(200) 및 제어장치(300)를 포함할 수 있다. 또한, 카메라 시스템(10)은 카메라 보정모듈(100)을 더 포함할 수 있다.
카메라 보정모듈(100)은 광원부(110)과 적어도 하나의 거울(121, 122)을 포함하며, 제1 및 제2카메라(210, 220)의 위치 변화를 판별하기 위한 평행광을 제1 및 제2카메라(210, 220) 각각의 광학계로 입사시키는 기능을 수행할 수 있다.
카메라 모듈(200)은 서로 소정 간격 이격되어 배치되는 제1 및 제2카메라(210, 220)를 포함하며, 제1 및 제2카메라(210, 220)를 통해 외부 영상에 해당하는 이미지 데이터를 획득할 수 있다.
또한, 카메라 모듈(200)은 제1 및 제2자세센서부(250, 260) 및 온도센서부(270)를 포함하며, 제1 및 제2카메라(210, 220) 각각의 자세정보, 카메라 모듈(200)의 하우징 또는 주변에 대한 온도정보를 획득할 수 있다.
제어장치(300)는 유무선 통신을 통해 카메라 모듈(200)로부터 제1 및 제2카메라(210, 220)를 통해 획득한 이미지 데이터를 지속적으로 수신한다. 또한, 영상 인식을 통해 카메라 모듈(200)로부터 수신한 각 이미지 데이터로부터 소정의 조건을 만족하는 객체를 검출한다. 예를 들어, 기 설정된 크기 이상이거나, 외곽선이 소정의 형태를 이루는 객체를 검출할 수 있다.
제어장치(300)는 이미지 데이터로부터 객체가 검출되면, 각 이미지 데이터에서의 객체 위치와, 제1 및 제2카메라(210, 220)간의 거리정보를 토대로 객체와의 거리정보를 획득할 수 있다.
도 11을 참조하면, 제1 및 제2카메라(210, 220) 각각의 초점 거리를 f, 제1 및 제2카메라(210, 220) 간의 거리를 b, 제1 및 제2카메라(210, 220)를 통해 입력되는 이미지 데이터 상에서 제1 및 제2카메라(210, 220) 각각의 중심에 대응하는 지점과 객체(OB)간의 거리를 각각 DL 및 DR이라고 정의하는 경우, 제1 및 제2카메라(210, 220)와 객체(OB) 간의 거리정보(Z)는 아래의 수학식 1과 같이 획득할 수 있다.
Figure PCTKR2015000836-appb-M000001
위 수학식 1에서, 제1 및 제2카메라(210, 220)의 초점 거리(f)는 제1 및 제2카메라(210, 220)의 사양에 따라 미리 설정된 값이 사용될 수 있다.
또한, 제1 및 제2카메라(210, 220)간 거리(d)는 제1 및 제2카메라(210, 220)의 중심점 간의 거리로서, 카메라 시스템(10)의 설치 시 설정된 값이 초기 값으로 사용될 수 있다.
한편, 카메라 시스템(10)이 대상체인 차량에 설치된 이후 차량 진동, 온도 변화 등으로 인해 제1 및 제2카메라(210, 220)의 위치, 자세 등이 변경될 수 있다.
도 11을 참조하면, 거리정보 산출은 제1 및 제2카메라(210, 220)가 소정의 각도로 객체를 촬영하는 경우를 가정하고 이루어지며, 제1카메라(210) 또는 제2카메라(220)의 자세가 변경되면, 거리정보 산출에 영향을 줄 수 있다. 또한, 위 수학식 1을 참조하면, 제1 및 제2카메라(210, 220)간의 거리가 변동되면, 거리정보 산출에 영향을 줄 수 있다.
따라서, 변경된 파라미터를 반영하는 보정 과정 없이, 카메라 모듈(200)의 초기 설치 시 설정된 파라미터를 그대로 사용하여 물체와의 거리정보를 산출하는 경우, 거리정보의 정확도가 떨어지게 된다.
제어장치(300)는 제1 및 제2카메라(210)의 위치, 자세 등이 변경됨에 따라 객체와의 거리정보 산출에 오차가 발생하는 것을 방지하기 위해, 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수 있다.
제어장치(300)는 카메라 보정모듈(100)에 의해 제1 및 제2카메라(210, 220)로 입사하는 평행광의 결상위치를 획득하고, 이를 토대로 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수 있다.
제1 및 제2카메라(210, 220)의 자세가 변경되는 경우, 제1 및 제2카메라(210, 220)의 자세변경방향 및 자세변경 정도에 따라서 제1 및 제2카메라(210, 220)에 의해 평행광이 결상되는 위치가 달라질 수 있다. 따라서, 제어장치(300)는 평행광의 결상위치의 이동방향 및 이동량을 토대로 제1 및 제2카메라(210, 220) 각각의 자세변경방향 및 자세변경 정도를 획득할 수 있다.
한편, 평행광이 결상되는 위치의 이동방향 및 이동량을 획득하기 위해서는, 이전에 획득한 평행광의 결상위치정보가 필요하다. 따라서, 제어장치(300)는 카메라 보정모듈(100)의 초기 사용 시 또는 카메라 보정모듈(100)의 이전 사용시 획득한 평행광의 결상위치정보를 메모리(미도시)에 저장하고, 이를 이동방향 및 이동량 산출의 기준이 되는 데이터로 사용할 수 있다.
제어장치(300)는 카메라 모듈(200)로부터 제1 및 제2카메라(210, 220) 각각의 자세정보를 지속적으로 수신하고, 이를 토대로 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수도 있다.
예를 들어, 제어장치(300)는 제1 및 제2카메라(210, 220) 각각의 자세정보를 토대로 제1 및 제2카메라(210, 220) 각각의 회전방향 및 회전각도를 산출하고, 이를 토대로 각 이미지 데이터에서의 객체의 위치정보를 보정할 수 있다. 또한, 예를 들어, 제어장치(300)는 제1 및 제2카메라(210, 220) 각각의 자세정보를 토대로 제1 및 제2카메라(210, 220) 간의 거리 변화를 산출하고, 이를 토대로 제1 및 제2카메라(210, 220)간 거리를 보정할 수 있다.
제어장치(300)는 카메라 모듈(200)로부터 온도정보를 지속적으로 수신하고, 이를 토대로 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수 있다.
제어장치(300)는 카메라 모듈(200)로부터 수신되는 온도정보를 토대로 카메라 모듈(200)에 대한 온도 변화를 산출하고, 온도 변화가 기 설정된 수준 이상인 경우 온도 변화 정도와 제1 및 제2카메라(210, 220)가 설치된 하우징(201)의 열팽창 계수를 토대로 제1 및 제2카메라(210, 220) 간 거리(d)를 보정할 수 있다. 즉, 온도 변화에 따른 하우징(201)의 팽창/수축 정도를 예측하고, 이를 토대로 제1 및 제2카메라(210, 220) 간 거리(d)의 변화를 산출하여 변경된 거리만큼 제1 및 제2카메라(210, 220)간 거리(d)를 보정할 수 있다.
제어장치(300)는 전술한 방법으로 보정된 파라미터를 토대로 차량 전방 또는 후방의 객체와의 거리정보가 획득되면, 이를 토대로 차량의 안전 운전을 보조할 수 있다.
예를 들어, 객체와의 거리정보를 토대로 객체와의 충돌 위험을 예측하고, 충돌 위험이 감지되면, 이를 경고하는 경고음 등을 출력할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 카메라 시스템의 제어방법을 도시한 흐름도로서, 카메라 시스템에서 객체와의 거리를 산출하는 방법을 도시한 것이다.
도 12를 참조하면, 제어장치(300)는 카메라 시스템(10)이 온(ON)됨에 따라(S101), 카메라 모듈(200)로부터 서로 이격되어 배치되는 제1 및 제2카메라(210, 220)를 통해 촬영되는 이미지 데이터를 획득한다(S102).
제어장치(300)는 영상 인식을 통해 제1 및 제2카메라(210, 220)를 통해 촬영되는 이미지 데이터로부터 소정의 조건을 만족하는 객체의 검출 여부를 판단한다(S103).
객체가 검출되면, 제어장치(300)는 검출된 객체와 제1 및 제2카메라(210, 2102)와의 거리정보를 산출한다(S104).
전술한 S102 단계 내지 S104 단계는 카메라 시스템(10)이 오프(off)될 때까지 반복적으로 수행될 수 있다(S105).
한편, 상기 S104 단계에서, 제어장치(300)는 제1카메라(210) 또는 제2카메라(220)의 자세가 변경되거나 제1 및 제2카메라(210, 220) 간의 거리가 변경되면, 이를 반영하여 거리정보 산출에 사용되는 파라미터들을 보정하고, 보정된 파라미터들을 토대로 객체와의 거리정보를 산출할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 카메라 시스템의 제어방법을 도시한 흐름도로서, 카메라 보정모듈을 이용하여 객체정보 산출에 사용되는 파라미터를 보정하는 방법을 도시한 것이다.
도 13을 참조하면, 제어장치(300)는 카메라 보정모듈(100)의 광원부(110)가 평행광을 조사하도록 광원부(110)를 온(ON)시킨다(S201).
다음으로, 제어장치(300)는 제1 및 제2카메라(210, 220)를 통해 평행광을 촬영한 이미지 데이터를 획득하고, 이미지 데이터로부터 평행광의 결상위치를 획득한다(S202).
또한, 상기 S202 단계를 통해 획득한 평행광의 결상위치와 기 저장된 평행광의 결상위치를 비교하여 결상위치의 이동정보 즉, 결상위치의 이동방향 및 이동량을 획득한다(S203). 여기서, 기 저장된 평행광의 결상위치정보는 카메라 보정모듈(100)의 초기 설치 시 또는 카메라 보정모듈(100)의 이전 사용 시에 획득되어 저장될 수 있다.
상기 S202 단계에서, 결상위치의 이동방향 및 이동량이 획득되면, 제어장치(300)는 이를 보정 데이터로 사용하여 객체와의 거리정보 산출에 사용되는 파라미터를 보정한다(S204).
한편, 보정 정확도를 향상시키기 위해, 카메라 보정모듈(100)에 포함되는 복수의 거울모듈(121, 122)은 거울면이 평행할 필요가 있다. 그러나, 실질적으로는 제조공차 등에 의해 복수의 거울모듈(121, 122)의 거울면이 완전한 평행을 이루기 어렵다. 따라서, 카메라 보정모듈(100)을 이용한 오차 보정의 정확도를 향상시키기 위해서는, 복수의 거울모듈(121, 122) 간의 각도관계를 거리정보 산출에 사용되는 파라미터 보정에 반영할 필요가 있다.
상기 S204 단계에서, 제어장치(300)는 평행광의 결상위치의 이동방향 및 이동량뿐만 아니라, 복수의 거울모듈(121, 122) 간의 각도관계를 보정 데이터로 사용할 수 있다. 복수의 거울모듈(121, 122) 간의 각도관계는 카메라 보정모듈(100)의 양산 단계에서 획득될 수 있다.
전술한 바와 같이, 카메라 보정모듈(100)을 이용하여 객체와의 거리정보 산출에 사용되는 파라미터가 보정되면, 제어장치(300)는 보정된 파라미터를 저장하고 이를 이용하여 객체와의 거리정보를 산출할 수 있다.
본 발명의 실시 예에 따르면, 카메라 보정모듈을 이용하여 각 카메라로 평행광을 입사시키고, 각 평행광의 결상위치 이동을 반영하여 카메라 시스템에서 거리정보 산출에 사용되는 파라미터들을 보정함으로써, 카메라 시스템의 거리정보 산출의 정확도를 향상시킬 수 있다.
본 발명의 일 실시 예에 따르면, 차량의 운행 중에 발생하는 진동 등으로 인해 카메라의 자세가 변경되더라도 카메라 보정모듈을 이용하여 자세 변경에 따른 오차를 보정함으로써, 스테레오 카메라 시스템의 거리정보 산출 정확도를 향상시킬 수 있다.
본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 기록 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (17)

  1. 제1파장대역을 갖는 제1광을 출사하는 광원부, 그리고
    상기 광원부로부터 입사하는 제1광을 반사하여 스테레오 카메라 시스템을 구성하는 카메라에 입사시키는 역할을 수행하는 적어도 하나 이상의 거울모듈을 포함하며,
    상기 거울모듈은 상기 제1광을 선택적으로 반사하는 반투명 거울
    을 포함하는 카메라 보정모듈.
  2. 제1항에 있어서,
    상기 거울모듈은 상기 카메라의 몸체에 탈부착 가능한 카메라 보정모듈.
  3. 제1항에 있어서,
    상기 반투명 거울은 상기 카메라가 감응하는 제2파장대역을 갖는 제2광을 투과시키고, 상기 제1광은 반사하는 코팅층을 포함하는 카메라 보정모듈.
  4. 제3항에 있어서,
    상기 제2파장대역은 450nm 내지 650nm의 가시광 파장대를 포함하고, 상기 제1파장대역은 상기 가시광 파장대보다 큰 카메라 보정모듈.
  5. 제3항에 있어서,
    상기 코팅층은 상기 반투명 거울의 일부 영역에 형성되는 카메라 보정모듈.
  6. 제5항에 있어서,
    상기 코팅층은 상기 반투명 거울의 중심부에 형성되는 카메라 보정모듈.
  7. 제1항에 있어서,
    상기 제1광은 평행광인 카메라 보정모듈.
  8. 제7항에 있어서,
    상기 광원부는 상기 거울모듈을 향해 광을 출사하는 발광소자, 및 출사된 광을 평행광으로 변환하는 평행광 렌즈를 포함하는 카메라 보정모듈.
  9. 서로 다른 위치에서 객체를 촬영하는 복수의 카메라,
    제1광을 출사하는 광원부 및 상기 복수의 카메라에 결합하며 상기 제1광을 반사하여 상기 복수의 카메라로 입사시키는 복수의 거울모듈을 포함하는 카메라 보정모듈, 그리고
    상기 복수의 카메라가 상기 객체를 촬영한 이미지 데이터를 이용하여 상기 객체에 대한 거리정보를 산출하며, 상기 복수의 카메라에 의해 상기 제1광이 결상되는 결상위치를 토대로 상기 거리정보의 산출에 사용되는 파라미터를 보정하는 제어장치
    를 포함하는 카메라 시스템.
  10. 제9항에 있어서,
    상기 제1광은 평행광인 카메라 시스템.
  11. 제9항에 있어서,
    상기 복수의 거울모듈은, 상기 카메라가 감응하는 파장 대역을 갖는 제2광은 투과시키고, 상기 제1광은 반사하는 코팅층이 형성된 반투명 거울을 포함하는 카메라 시스템.
  12. 제9항에 있어서,
    상기 복수의 거울모듈은 투과율을 결정하는 코팅층을 포함하며,
    상기 코팅층은 상기 복수의 거울모듈의 일부 영역에 형성되는 카메라 시스템.
  13. 제9항에 있어서,
    상기 복수의 카메라 각각의 몸체에 일체형으로 결합되어 상기 각 카메라의 자세정보를 획득하는 자세센서부를 더 포함하며,
    상기 제어장치는 상기 자세정보를 토대로 상기 파라미터를 보정하는 카메라 시스템.
  14. 제9항에 있어서,
    상기 복수의 카메라를 대상체에 고정하기 위한 하우징에 결합되어 온도정보를 획득하는 온도 센서를 더 포함하고,
    상기 제어장치는 상기 온도정보와 상기 하우징의 열팽창계수를 토대로, 상기 파라미터를 보정하는 카메라 시스템.
  15. 제9항에 있어서,
    상기 제어장치는 상기 복수의 거울모듈 간의 각도관계를 토대로 상기 파라미터를 보정하는 카메라 시스템.
  16. 제9항에 있어서,
    상기 파라미터는 상기 복수의 카메라 각각의 자세정보 또는 상기 복수의 카메라 간의 거리정보를 포함하는 카메라 시스템.
  17. 카메라 시스템의 제어 방법에 있어서,
    복수의 카메라가 평행광을 촬영한 이미지 데이터를 획득하는 단계,
    상기 이미지 데이터로부터 상기 평행광의 제1결상위치를 획득하는 단계,
    기 저장된 제2결상위치와 상기 제1결상위치를 비교하여 결상위치의 이동정보를 획득하는 단계,
    상기 결상위치의 이동정보를 토대로 거리정보 산출에 사용되는 파라미터를 보정하는 단계, 그리고
    상기 복수의 카메라를 통해 객체가 촬영되면, 상기 파라미터를 이용하여 상기 객체와의 거리정보를 산출하는 단계
    를 포함하는 제어 방법.
PCT/KR2015/000836 2014-01-28 2015-01-27 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법 WO2015115771A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140010587A KR102158025B1 (ko) 2014-01-28 2014-01-28 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법
KR10-2014-0010587 2014-01-28

Publications (1)

Publication Number Publication Date
WO2015115771A1 true WO2015115771A1 (ko) 2015-08-06

Family

ID=53757306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/000836 WO2015115771A1 (ko) 2014-01-28 2015-01-27 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법

Country Status (2)

Country Link
KR (1) KR102158025B1 (ko)
WO (1) WO2015115771A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142342A1 (en) * 2016-02-19 2017-08-24 Samsung Electronics Co., Ltd. Electronic device and operating method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11681139B2 (en) 2020-03-19 2023-06-20 Samsung Electro-Mechanics Co., Ltd. Camera module
KR102505438B1 (ko) 2020-11-11 2023-03-03 삼성전기주식회사 광로변경모듈 및 이를 구비하는 카메라 모듈

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980015490A (ko) * 1996-08-22 1998-05-25 미노루 이나바 스테레오 카메라
KR20070114461A (ko) * 2006-05-29 2007-12-04 (주)세븐데이타 프로젝트를 이용한 스테레오 영상결합장치
KR20100095302A (ko) * 2009-02-20 2010-08-30 (주)펨트론 Ｏｆｆ-ａｘｉｓ 방식의 이중 파장 디지털 홀로그래피를 이용한 3Ｄ 측정장치
US20100295926A1 (en) * 2006-11-28 2010-11-25 Prefixa International Inc. Fast Three Dimensional Recovery Method and Apparatus
JP2012132739A (ja) * 2010-12-21 2012-07-12 Ricoh Co Ltd ステレオカメラの校正装置および校正方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08129216A (ja) * 1994-11-01 1996-05-21 Konica Corp 撮影情報を記録可能なカメラ
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2000241131A (ja) * 1998-12-22 2000-09-08 Matsushita Electric Ind Co Ltd レンジファインダ装置および撮像装置
JP2001321341A (ja) * 2000-05-15 2001-11-20 Matsushita Electric Works Ltd 映像表示機能付き眼球撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980015490A (ko) * 1996-08-22 1998-05-25 미노루 이나바 스테레오 카메라
KR20070114461A (ko) * 2006-05-29 2007-12-04 (주)세븐데이타 프로젝트를 이용한 스테레오 영상결합장치
US20100295926A1 (en) * 2006-11-28 2010-11-25 Prefixa International Inc. Fast Three Dimensional Recovery Method and Apparatus
KR20100095302A (ko) * 2009-02-20 2010-08-30 (주)펨트론 Ｏｆｆ-ａｘｉｓ 방식의 이중 파장 디지털 홀로그래피를 이용한 3Ｄ 측정장치
JP2012132739A (ja) * 2010-12-21 2012-07-12 Ricoh Co Ltd ステレオカメラの校正装置および校正方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142342A1 (en) * 2016-02-19 2017-08-24 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
US10255689B2 (en) 2016-02-19 2019-04-09 Samsung Electronics, Co., Ltd. Electronic device for selecting image processing technique based on shape and operating method thereof

Also Published As

Publication number Publication date
KR20150089675A (ko) 2015-08-05
KR102158025B1 (ko) 2020-09-21

Similar Documents

Publication Publication Date Title
JP5549230B2 (ja) 測距装置、測距用モジュール及びこれを用いた撮像装置
CN107957237B (zh) 具有闪光对准的激光投影仪
WO2015115771A1 (ko) 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법
CN1110399A (zh) 测量仪
WO2017007274A1 (ko) 차량용 레이더의 자가 보정 장치 및 자가 보정 방법
WO2018212395A1 (en) Lidar device and lidar system including the same
WO2015115770A1 (ko) 캘리브레이션 장치 및 카메라 시스템
WO2021096328A2 (ko) 타겟의 초기 위치 감지 기능을 구비한 레이저 추적 장치 및 추적 방법
WO2020241954A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2019035550A1 (ko) 카메라 모듈에 포함된 렌즈부의 흔들림을 제어하는 전자 장치 및 전자 장치의 동작 방법
KR20160095911A (ko) 카메라 모듈 손떨림 보정 장치 및 이의 게인 조정 방법
CN111522015A (zh) 距离图像测量装置
JP2013050352A (ja) ステレオカメラの取り付け調整方法及びステレオカメラ
CN102834692B (zh) 光学位移传感器的调整方法及光学位移传感器的制造方法
WO2017204459A1 (ko) 개선된 구조를 갖는 라이다 광학장치
US20060109552A1 (en) Image blur compensation device
KR102121287B1 (ko) 카메라 시스템 및 카메라 시스템의 제어 방법
JP2021148746A (ja) 測距装置及び測距方法
EP4014066A1 (en) Electronic apparatus and method for controlling thereof
WO2020045932A1 (ko) 영상 처리 장치 및 영상 처리 방법
JP2005136743A (ja) 撮像素子の位置調整装置及び位置調整方法
US20200096606A1 (en) Vehicle inspection system and vehicle inspection method
US8885051B2 (en) Camera calibration method and camera calibration apparatus
JPH09145320A (ja) ３次元入力カメラ
WO2022035154A1 (ko) 온도 측정 시스템에서 온도 측정을 보조하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15742766

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15742766

Country of ref document: EP

Kind code of ref document: A1