KR20150009763A - Camera system and controlling method of Camera system - Google Patents

Camera system and controlling method of Camera system Download PDF

Info

Publication number
KR20150009763A
KR20150009763A KR1020130084092A KR20130084092A KR20150009763A KR 20150009763 A KR20150009763 A KR 20150009763A KR 1020130084092 A KR1020130084092 A KR 1020130084092A KR 20130084092 A KR20130084092 A KR 20130084092A KR 20150009763 A KR20150009763 A KR 20150009763A
Authority
KR
South Korea
Prior art keywords
cameras
information
distance
camera
attitude
Prior art date
Application number
KR1020130084092A
Other languages
Korean (ko)
Other versions
KR102121287B1 (en
Inventor
정지혁
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020130084092A priority Critical patent/KR102121287B1/en
Publication of KR20150009763A publication Critical patent/KR20150009763A/en
Application granted granted Critical
Publication of KR102121287B1 publication Critical patent/KR102121287B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings

Abstract

The present invention relates to a camera system and a control method thereof. The camera system includes a plurality of cameras taking images of an object from different locations, a posture sensor unit coupled integrally to the body of each camera to obtain posture information on each camera, and a control using image data obtained through each camera to calculate distance information on the object and correct a parameter used for calculation the distance information based on the posture information.

Description

카메라 시스템 및 카메라 시스템의 제어 방법{Camera system and controlling method of Camera system}[0001] CAMERA SYSTEM AND CONTROL METHOD FOR CAMERA SYSTEM [0002]

본 발명은 카메라 시스템 및 카메라 시스템의 제어 방법에 관한 것으로서, 더욱 상세하게는 차량용 스테레오 카메라 시스템 및 차량용 스테레오 카메라 시스템의 제어 방법에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a camera system and a control method of the camera system, and more particularly, to a stereo camera system for a car and a control method for a stereo camera system for a car.

차량 전방 또는 후방을 촬영한 영상으로부터 물체를 감지하여 운전자의 안전 운전을 돕는 시스템의 일환으로, 두 대의 카메라를 이용하여 차량과 차량 전방의 물체와의 거리정보를 추출하는 스테레오 카메라 시스템이 제안되고 있다. There has been proposed a stereo camera system for extracting distance information between an object in front of a vehicle and an object using two cameras as a system for detecting an object from a front or rear image of the vehicle to help the driver to drive safely .

스테레오 카메라 시스템에서, 정확한 거리정보를 획득하기 위해서는 카메라 간의 거리와 상대적인 자세에 따른 보정 과정이 수행될 필요가 있다. In a stereo camera system, in order to obtain accurate distance information, it is necessary to perform a correction process according to the distance between the cameras and the relative attitude.

특히, 카메라 간의 거리가 클수록 거리정보의 정밀도가 증가하는데 반해, 카메라 간의 거리 변동이나 상대적인 자세 변화는 거리정보의 정확도에 많은 영향을 줄 수 있으므로, 보정 과정의 중요성이 증대하게 된다. In particular, as the distance between the cameras increases, the accuracy of the distance information increases. However, since the distance between the cameras and the relative attitude change can greatly affect the accuracy of the distance information, the importance of the correction process increases.

종래에는 카메라 간의 위치 관계를 보정하기 위해 차량이 정지된 상태에서 표준 물체를 이용하여 보정 과정을 수행하였다. 그러나, 이러한 보정 방법은 차량 운행 중 발생하는 진동, 온도 변화에 따른 하우징의 뒤틀림 등으로 인해 카메라 간의 거리나 각 카메라의 자세가 변경되는 것을 실시간으로 감지하여 보정하는 것이 어려운 문제점이 있다. Conventionally, in order to correct the positional relationship between cameras, a correction process is performed using a standard object while the vehicle is stopped. However, such a correction method has a problem in that it is difficult to detect and correct, in real time, the change of the distance between the cameras and the posture of each camera due to vibrations occurring during vehicle operation, distortion of the housing due to temperature changes, and the like.

본 발명이 이루고자 하는 기술적 과제는, 물체와의 거리정보를 획득하는데 있어, 카메라의 위치변화 및 자세변화를 실시간으로 반영하는 것이 가능한 카메라 시스템 및 카메라 시스템의 제어 방법을 제공하는 것이다. An object of the present invention is to provide a camera system and a control method of a camera system capable of real-time reflecting a position change and an attitude change of a camera in acquiring distance information with respect to an object.

본 발명의 일 실시 예에 따르면 카메라 시스템은, 서로 다른 위치에서 객체를 촬영하는 복수의 카메라, 각 카메라의 몸체에 일체형으로 결합되어 상기 각 카메라의 자세정보를 획득하는 자세 센서부, 그리고 상기 각 카메라를 통해 획득한 이미지 데이터를 이용하여 상기 객체에 대한 거리정보를 산출하며, 상기 자세정보를 토대로 상기 거리정보의 산출에 사용되는 파라미터를 보정하는 제어장치를 포함한다.According to an embodiment of the present invention, a camera system includes a plurality of cameras that photograph objects at different positions, a posture sensor unit that is integrally coupled to the body of each camera and acquires posture information of each camera, And a controller for calculating a distance parameter for the object based on the attitude information and correcting a parameter used for calculating the distance information based on the attitude information.

본 발명의 일 실시 예에 따르면 카메라 시스템의 제어 방법은, 복수의 카메라를 이용하여 객체를 서로 다른 위치에서 촬영한 이미지 데이터를 획득하는 단계, 상기 복수의 카메라 각각의 몸체에 일체형으로 결합된 자세 센서를 이용하여 상기 각 카메라의 자세정보를 획득하는 단계, 상기 각 카메라의 자세정보를 토대로, 상기 복수의 카메라 간의 거리 또는 상기 이미지 데이터에서의 상기 객체의 위치정보를 보정하는 단계, 그리고 상기 복수의 카메라 간의 거리 또는 상기 이미지 데이터에서의 상기 객체의 위치정보를 이용하여 상기 객체에 대한 거리정보를 산출하는 단계를 포함한다. According to an embodiment of the present invention, a method of controlling a camera system includes the steps of acquiring image data obtained by photographing an object at different positions using a plurality of cameras, Acquiring attitude information of each camera using the attitude information of the plurality of cameras, correcting a distance between the plurality of cameras or position information of the object in the image data based on the attitude information of each camera, And calculating distance information about the object using the distance information or the position information of the object in the image data.

본 문서에 개시된 카메라 시스템 및 카메라 시스템의 제어 방법은, 차량의 운행 중에 발생하는 진동, 온도 변화 등으로 거리정보 산출에 사용되는 각 카메라의 위치, 자세 등이 변동되는 것을 실시간으로 감지하는 것이 가능하다. 또한, 더 나아가서 변동된 각 카메라의 위치, 자세 등을 토대로 거리정보 산출에 사용되는 각 파라미터를 보정하고, 보정된 각 파라미터를 이용하여 객체와의 거리정보를 산출함으로써, 산출한 거리정보의 정확도를 향상시킬 수 있다.The camera system and the camera system control method disclosed in this document can detect in real time that the position, posture, etc. of each camera used for distance information calculation varies due to vibration, temperature change, etc., . Furthermore, each parameter used for calculating the distance information is corrected based on the changed position and attitude of each camera, and the distance information to the object is calculated using each of the corrected parameters, thereby obtaining the accuracy of the calculated distance information Can be improved.

도 1은 본 발명의 일 실시 예에 따른 카메라 모듈을 도시한 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 카메라 모듈의 일 예를 도시한 사시도이다.
도 3은 본 발명의 일 실시 예에 따른 카메라 모듈의 다른 예를 도시한 사시도이다.
도 4는 본 발명의 일 실시 예에 따른 카메라 시스템을 도시한 블록 구성도이다.
도 5는 본 발명의 일 실시 예에 따른 카메라 시스템에서 객체와의 거리정보를 획득하는 방법을 설명하기 위한 것이다.
도 6은 본 발명의 일 실시 예에 따른 카메라 시스템의 제어 방법을 도시한 흐름도이다. 1 is a block diagram illustrating a camera module according to an exemplary embodiment of the present invention.
2 is a perspective view illustrating an example of a camera module according to an embodiment of the present invention.
3 is a perspective view showing another example of a camera module according to an embodiment of the present invention.
4 is a block diagram illustrating a camera system according to an embodiment of the present invention.
FIG. 5 illustrates a method of acquiring distance information from an object in a camera system according to an exemplary embodiment of the present invention. Referring to FIG.
6 is a flowchart illustrating a method of controlling a camera system according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated and described in the drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms including ordinal, such as second, first, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the second component may be referred to as a first component, and similarly, the first component may also be referred to as a second component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.In addition, the suffix "module" and " part "for constituent elements used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, embodiments will be described in detail with reference to the accompanying drawings, wherein like or corresponding elements are denoted by the same reference numerals, and redundant description thereof will be omitted.

아래에서, 도면을 참조하여 설명하는 카메라 시스템 및 카메라 시스템의 구성요소는 필수적인 것은 아니어서, 카메라 시스템 및 카메라 시스템은 그보다 더 많거나 더 적은 구성요소를 포함하도록 구현될 수도 있다. In the following, components of the camera system and the camera system described with reference to the drawings are not essential, so that the camera system and the camera system may be implemented to include more or fewer components.

도 1은 본 발명의 일 실시 예에 따른 카메라 모듈(100)을 도시한 블록도이다. 1 is a block diagram illustrating a camera module 100 according to an embodiment of the present invention.

도 1을 참조하면, 카메라 모듈(100)은 복수의 카메라(111, 112), 복수의 이미지 센서부(121, 122), 복수의 자세 센서부(131, 132), 온도 센서부(140), 통신부(150) 등을 포함할 수 있다. 1, the camera module 100 includes a plurality of cameras 111 and 112, a plurality of image sensor units 121 and 122, a plurality of orientation sensor units 131 and 132, a temperature sensor unit 140, A communication unit 150, and the like.

복수의 카메라(111, 112)는 서로 소정 간격 이격되어 대상체에 배치되며, 서로 다른 위치에서 대상체의 외부에 위치하는 객체를 촬영한 영상 신호를 출력한다. The plurality of cameras 111 and 112 are disposed at a predetermined distance from each other, and output image signals obtained by photographing an object located outside the object at different positions.

카메라(111, 112)가 설치되는 대상체가 차량인 경우를 예로 들면, 복수의 카메라(111, 112)는 차량의 전방 또는 후방에 배치되어, 차량의 전방 또는 후방에 위치하는 객체를 서로 촬영할 수 있다. Taking the case in which the cameras 111 and 112 are installed as a vehicle, for example, the plurality of cameras 111 and 112 may be disposed in front of or behind the vehicle so as to photograph objects located in front of or behind the vehicle .

각 이미지 센서부(121, 122)는 각 카메라(111, 112)를 통해 입력되는 영상 신호로부터 이미지 데이터를 획득할 수 있다. Each of the image sensor units 121 and 122 can acquire image data from a video signal input through each of the cameras 111 and 112.

각 자세 센서부(131, 132)는 각 카메라(111, 112)의 자세 정보를 획득할 수 있다. 자세 센서부(131, 132)는 각 카메라(111, 112)의 각속도를 측정하는 자이로 센서, 이동하는 타겟의 가속도를 측정하는 가속도 센서, 타겟의 기울기를 검출하는 기울기 센서 등을 포함할 수 있다. Each of the posture sensor units 131 and 132 can acquire posture information of each of the cameras 111 and 112. The posture sensor units 131 and 132 may include a gyro sensor for measuring the angular speed of each of the cameras 111 and 112, an acceleration sensor for measuring the acceleration of the moving target, and a tilt sensor for detecting the tilt of the target.

예를 들어, 자세 센서부(131, 132)는 서로 직교하는 3축에 대해 각 카메라(111, 112)의 회전을 감지하여 자세 변동을 검출하는 자이로 센서를 포함할 수 있다. For example, the posture sensor units 131 and 132 may include a gyro sensor that senses the rotation of each of the cameras 111 and 112 with respect to three mutually orthogonal axes to detect a posture variation.

한편, 각 자세 센서부(131, 132)는 각 카메라(111, 112)의 자세 정보를 획득하기 위해, 각 카메라(111, 112)의 몸체(body)에 일체형으로 결합될 수 있다. Each of the posture sensor units 131 and 132 may be integrally coupled to a body of each of the cameras 111 and 112 to obtain attitude information of the cameras 111 and 112.

온도 센서부(140)는 카메라 모듈(100)의 몸체를 구성하는 하우징(후술하는 도 2의 도면부호 101 또는 도 3의 도면부호 101a, 101b 참조)의 온도 정보 또는 하우징(후술하는 도 2의 도면부호 101 또는 도 3의 도면부호 101a, 101b 참조) 주변의 온도 정보를 획득할 수 있다. The temperature sensor unit 140 detects temperature information of the housing (reference numeral 101 in FIG. 2 or reference numerals 101a and 101b in FIG. 3) constituting the body of the camera module 100 or temperature information of the housing Reference numeral 101 or 101a and 101b in Fig. 3) can be obtained.

통신부(150)는 각 이미지 센서부(121, 122)을 통해 획득되는 이미지 데이터, 각 자세 센서부(131, 132)을 통해 획득되는 자세 정보, 온도 센서부(140)을 통해 획득되는 온도 정보 등을 유무선 통신 방식으로 제어장치(후술하는 도 4의 도면부호 200 참조)로 전달하는 기능을 수행할 수 있다. The communication unit 150 receives image data obtained through the image sensor units 121 and 122, attitude information obtained through the posture sensor units 131 and 132, temperature information obtained through the temperature sensor unit 140, To a control device (refer to reference numeral 200 in FIG. 4) in a wired / wireless communication manner.

카메라 모듈(100)이 차량에 설치되는 경우, 설치 위치의 특성 상 제어장치(후술하는 도 4의 도면부호 10 참조)와는 분리되어 설치될 필요가 있다. 따라서, 본 발명의 일 실시 예에서는 카메라 모듈(100)에 통신부(150)를 구비하여, 카메라 모듈(100)이 제어장치(후술하는 도 4의 도면부호 10 참조)와 데이터를 송수신할 수 있도록 지원한다. When the camera module 100 is installed in the vehicle, it needs to be installed separately from the control device (refer to reference numeral 10 in Fig. 4) due to the nature of the installation position. Accordingly, in one embodiment of the present invention, the camera module 100 is provided with the communication unit 150 so that the camera module 100 can transmit and receive data with the control device (refer to reference numeral 10 in FIG. 4 described later) do.

도 2는 본 발명의 일 실시 예에 따른 카메라 모듈(100)의 일 예를 도시한 사시도이다. 또한, 도 3은 본 발명의 일 실시 예에 따른 카메라 모듈(100)의 다른 예를 도시한 사시도이다.  2 is a perspective view illustrating an example of a camera module 100 according to an embodiment of the present invention. 3 is a perspective view showing another example of the camera module 100 according to an embodiment of the present invention.

도 2를 참조하면, 카메라 모듈(100)은 차량 등의 대상체에 카메라 모듈(100)을 고정시켜 지지하기 위한 하우징(101)을 포함한다. Referring to FIG. 2, the camera module 100 includes a housing 101 for fixing and supporting the camera module 100 to a target object such as a vehicle.

하우징(101)에서 대상체의 외부를 향하는 일면에는 복수의 카메라(111, 112)가 소정 간격 이격되어 배치되어, 서로 다른 위치에서 대상체의 외부 영상을 획득할 수 있다. A plurality of cameras 111 and 112 may be disposed at a predetermined distance from one side of the housing 101 facing the outside of the target object to acquire an external image of the target object at different positions.

각 카메라(111, 112)의 몸체에는 각 카메라(111, 112)의 자세 정보를 획득하기 위한 자세 센서부(131, 132)가 각각 일체형으로 구비될 수 있다. The body of each of the cameras 111 and 112 may be integrally provided with posture sensor units 131 and 132 for acquiring posture information of the cameras 111 and 112, respectively.

또한, 하우징(101)에는 각 카메라(111, 112)에 대응하여 이미지 센서부(121, 122)가 배치될 수 있다. In addition, the housing 101 may be provided with the image sensor units 121 and 122 corresponding to the cameras 111 and 112, respectively.

하우징(101)의 내부에는 하우징(101) 또는 하우징(101) 주변의 온도 정보를 획득하기 위한 온도 센서부(130), 카메라 모듈(100)과 외부 기기와의 통신을 위한 통신부(120) 등이 내장될 수도 있다. A temperature sensor unit 130 for obtaining temperature information around the housing 101 or the housing 101 and a communication unit 120 for communication between the camera module 100 and an external device are provided inside the housing 101 May be embedded.

한편, 도 2는 카메라 모듈(100)을 대상체인 차량에 고정시키기 위한 하우징의 일 예를 도시한 것으로서, 본 발명의 실시 예는 이에 한정되지 않는다. 본 발명의 실시 예에 따르면, 카메라 모듈(100)을 차량에 고정시키기 위한 하우징은 다양한 변형이 가능하다. 2 shows an example of a housing for fixing the camera module 100 to a vehicle as a target, and the embodiment of the present invention is not limited thereto. According to the embodiment of the present invention, the housing for fixing the camera module 100 to the vehicle can be variously modified.

도 3을 예로 들면, 카메라 모듈(100)에 포함된 각 카메라(111, 112)는 하나의 하우징이 아닌 서로 분리된 하우징(101a, 101b)에 의해 대상체에 각각 고정될 수도 있다. 3, each of the cameras 111 and 112 included in the camera module 100 may be fixed to the object by the housings 101a and 101b isolated from each other.

도 4는 본 발명의 일 실시 예에 따른 카메라 시스템을 도시한 블록 구성도이다. 또한, 도 5는 본 발명의 일 실시 예에 따른 카메라 시스템에서 객체와의 거리정보를 획득하는 방법을 설명하기 위한 것이다. 4 is a block diagram illustrating a camera system according to an embodiment of the present invention. 5 is a view for explaining a method of acquiring distance information from an object in a camera system according to an embodiment of the present invention.

도 4를 참조하면, 카메라 시스템(10)은 카메라 모듈(100), 제어장치(200) 등을 포함할 수 있다. Referring to FIG. 4, the camera system 10 may include a camera module 100, a control device 200, and the like.

카메라 모듈(100)은 전술한 바와 같이 서로 이격되어 배치된 복수의 카메라(111, 112)를 통해 차량의 외부 영상에 해당하는 이미지 데이터를 획득할 수 있다. 또한, 각 카메라(111, 112)의 자세 정보, 카메라 모듈(100)의 하우징(101, 101a, 101b) 또는 주변에 대한 온도 정보 등을 획득할 수 있다. The camera module 100 can acquire image data corresponding to an external image of the vehicle through the plurality of cameras 111 and 112 spaced from each other as described above. In addition, attitude information of each of the cameras 111 and 112, temperature information of the housing 101, 101a, and 101b of the camera module 100, and surrounding information can be acquired.

제어장치(200)는 유무선 통신을 통해 카메라 모듈(100)로부터 복수의 카메라(111, 112)를 통해 획득한 이미지 데이터를 지속적으로 수신한다. 또한, 영상 인식을 통해 카메라 모듈(100)로부터 수신한 각 이미지 데이터로부터 소정의 조건을 만족하는 객체를 검출한다. 예를 들어, 기 설정된 크기 이상이거나, 외곽선이 소정의 형태를 이루는 객체를 검출할 수 있다. The control device 200 continuously receives image data obtained through the plurality of cameras 111 and 112 from the camera module 100 via wired / wireless communication. Also, an object satisfying a predetermined condition is detected from each image data received from the camera module 100 through image recognition. For example, it is possible to detect an object having a predetermined size or more, or an outline having a predetermined shape.

제어장치(200)는 이미지 데이터로부터 객체가 검출되면, 각 이미지 데이터에서의 객체 위치와, 카메라(111, 112)간의 거리정보를 토대로 객체와의 거리정보를 획득할 수 있다. When the object is detected from the image data, the control device 200 can obtain the distance information with respect to the object based on the object position in each image data and the distance information between the cameras 111 and 112.

도 5를 참조하면, 각 카메라(111, 112)의 초점 거리를 f, 각 카메라(111, 112) 간의 거리를 b, 각 카메라(111, 112)를 통해 입력되는 이미지 데이터 상에서 각 카메라(111, 112)의 중심에 대응하는 지점과 객체(OB)간의 거리를 각각 DL 및 DR이라고 정의하는 경우, 카메라(111, 112)와 객체(OB) 간의 거리정보(Z)는 아래의 수학식 1과 같이 획득할 수 있다. 5, the focal distance of each of the cameras 111 and 112 is f, the distance between the cameras 111 and 112 is b, and the distances between the cameras 111 and 112 on the image data input through the cameras 111 and 112, The distance information Z between the cameras 111 and 112 and the object OB is expressed by the following Equation 1 when the distances between the points corresponding to the centers of the cameras 111 and 112 and the object OB are defined as DL and DR, Can be obtained.

Figure pat00001
Figure pat00001

위 수학식 1에서, 각 카메라(111, 112)의 초점 거리(f)는 각 카메라(111, 112)의 사양에 따라 미리 설정된 값이 사용될 수 있다. In the above Equation 1, the focal length f of each of the cameras 111 and 112 may be a preset value according to the specification of each of the cameras 111 and 112.

또한, 각 카메라(111, 112)간 거리(d)는 각 카메라(111, 112)의 중심점 간의 거리로서, 카메라 시스템(10)의 설치 시 설정된 값이 초기 값으로 사용될 수 있다. The distance d between each of the cameras 111 and 112 is a distance between the center points of the cameras 111 and 112 so that a value set at the time of installation of the camera system 10 can be used as an initial value.

한편, 카메라 시스템(10)이 대상체인 차량에 설치된 이후 차량 진동, 온도 변화 등으로 인해 각 카메라(111, 112)의 위치, 자세 등이 변경될 수 있다. On the other hand, since the camera system 10 is installed in a target vehicle, the positions, postures, etc. of the cameras 111 and 112 can be changed due to vehicle vibration, temperature change, and the like.

도 5를 참조하면, 거리정보 산출은 각 카메라(111, 112)가 소정의 각도로 객체를 촬영하는 경우를 가정하고 이루어지며, 각 카메라(111, 112)의 자세가 변경되면, 거리정보 산출에 영향을 줄 수 있다. 5, the distance information calculation is performed assuming that each of the cameras 111 and 112 photographs an object at a predetermined angle. When the posture of each of the cameras 111 and 112 is changed, It can affect.

또한, 위 수학식 1을 참조하면, 카메라(111, 112)간의 거리가 변동되면, 거리정보 산출에 영향을 줄 수 있다. Referring to Equation (1), if the distances between the cameras 111 and 112 are changed, the distance information calculation can be influenced.

따라서, 변경된 파라미터를 반영하는 보정 과정 없이, 카메라 모듈(100)의 초기 설치 시 설정된 파라미터를 그대로 사용하여 물체와의 거리정보를 산출하는 경우, 거리정보의 정확도가 떨어지게 된다. Therefore, in the case of calculating the distance information with respect to an object using the parameter set at the time of initial installation of the camera module 100 without performing a correction process that reflects the changed parameter, the accuracy of the distance information is lowered.

제어장치(200)는 각 카메라(111, 112)의 위치, 자세 등이 변경됨에 따라 객체와의 거리정보 산출의 정확도가 떨어지는 것을 방지하기 위해, 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수 있다. In order to prevent the accuracy of calculation of the distance information with the object from being lowered due to the change of the positions and attitudes of the cameras 111 and 112, the control device 200 performs correction for the parameters used for distance information calculation with respect to the object Process can be performed.

우선, 제어장치(200)는 카메라 모듈(100)로부터 각 카메라(111, 112)의 자세 정보를 지속적으로 수신하고, 이를 토대로 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수 있다. First, the controller 200 continuously receives the attitude information of each of the cameras 111 and 112 from the camera module 100, and performs a correction process on the parameters used for calculating the distance information with respect to the object have.

예를 들어, 제어장치(200)는 각 카메라(111, 112)의 자세정보를 토대로 각 카메라(111, 112)의 회전각도를 산출하고, 이를 토대로 각 이미지 데이터에서의 객체의 위치정보를 보정할 수 있다. For example, the control device 200 calculates the rotation angles of the cameras 111 and 112 based on the attitude information of the cameras 111 and 112, and corrects the position information of the object in each image data based on the rotation angle .

또한, 예를 들어, 제어장치(200)는 각 카메라(111, 112)의 자세정보를 토대로 각 카메라(111, 112) 간의 거리 변화를 산출하고, 이를 토대로 카메라(111, 112)간 거리를 보정할 수 있다. For example, the control device 200 calculates the distance change between the cameras 111 and 112 based on the attitude information of the cameras 111 and 112, and corrects the distance between the cameras 111 and 112 can do.

또한, 제어장치(200)는 카메라 모듈(100)로부터 온도 정보를 지속적으로 수신하고, 이를 토대로 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수 있다. In addition, the controller 200 may continuously receive the temperature information from the camera module 100, and may perform a correction process on the parameter used in calculating the distance information with respect to the object.

전술한 도 3과 같이, 하나의 하우징(101)에 복수의 카메라(111, 112)가 배치되는 경우, 카메라(111, 112) 간의 거리는 하우징(101)에 의해 결정될 수 있다. 한편, 하우징(101)은 재질에 따라 온도 변화에 따른 팽창/수축 정도가 크게 나타날 수 있으며, 온도 변화에 따른 하우징(101)의 팽창/수축 정도는 카메라(111, 112) 간 거리에 영향을 줄 수 있다. The distance between the cameras 111 and 112 may be determined by the housing 101 when a plurality of cameras 111 and 112 are disposed in one housing 101 as shown in FIG. The degree of expansion / shrinkage of the housing 101 depending on the material may be large and the degree of expansion / contraction of the housing 101 due to the temperature change may affect the distance between the cameras 111 and 112 .

따라서, 제어장치(200)는 카메라 모듈(100)로부터 수신되는 온도 정보를 토대로 카메라 모듈(100)에 대한 온도 변화를 산출하고, 온도 변화가 기 설정된 수준 이상인 경우 온도 변화 정도와 카메라(111, 112)가 설치된 하우징(101)의 열팽창 계수를 토대로 카메라(111, 112) 간 거리(d)를 보정할 수 있다. The controller 200 calculates the temperature change of the camera module 100 based on the temperature information received from the camera module 100. When the temperature change is equal to or higher than the predetermined level, The distance d between the cameras 111 and 112 can be corrected on the basis of the coefficient of thermal expansion of the housing 101 provided with the lens.

즉, 온도 변화에 따른 하우징(101)의 팽창/수축 정도를 예측하고, 이를 토대로 카메라(111, 112) 간 거리(d)의 변화를 산출하여 변경된 거리만큼 카메라(111, 112)간 거리(d)를 보정할 수 있다. That is, the degree of expansion / contraction of the housing 101 according to the temperature change is predicted and the change of the distance d between the cameras 111 and 112 is calculated on the basis of the degree of expansion / contraction. Can be corrected.

제어장치(200)는 전술한 방법으로 보정된 파라미터를 토대로 차량 전방 또는 후방의 객체와의 거리정보가 획득되면, 이를 토대로 차량의 안전 운전을 보조할 수 있다. The control device 200 can assist the safe driving of the vehicle based on the obtained distance information with respect to the object in front of or behind the vehicle based on the parameter corrected by the above-described method.

예를 들어, 객체와의 거리정보를 토대로 객체와의 충돌 위험을 예측하고, 충돌 위험이 감지되면, 이를 경고하는 경고음 등을 출력할 수 있다. For example, the risk of collision with an object can be predicted based on the distance information with the object, and a warning sound warning the collision risk can be output.

도 6은 본 발명의 일 실시 예에 따른 카메라 시스템의 제어 방법을 도시한 흐름도이다. 6 is a flowchart illustrating a method of controlling a camera system according to an embodiment of the present invention.

도 6을 참조하면, 제어장치(200)는 카메라 시스템(10)이 온(ON)됨에 따라(S101), 카메라 모듈(100)로부터 서로 이격되어 배치되는 복수의 카메라(111, 112)를 통해 촬영되는 이미지 데이터를 획득한다(S102).6, when the camera system 10 is turned on (S101), the controller 200 controls the camera module 100 to photograph the camera module 100 through a plurality of cameras 111 and 112 spaced from each other (S102).

제어장치(200)는 영상 인식을 통해 복수의 카메라(111, 112)를 통해 촬영되는 이미지 데이터로부터 소정의 조건을 만족하는 객체의 검출 여부를 판단한다(S103). The controller 200 determines whether or not an object satisfying a predetermined condition is detected from the image data photographed through the plurality of cameras 111 and 112 through image recognition (S103).

객체가 검출되면, 제어장치(200)는 카메라 모듈(100)로부터 수신되는 각 카메라(111, 1112)의 자세 정보와 온도 정보를 토대로 객체와의 거리정보 산출에 사용되는 파라미터의 변동 여부를 확인한다(S104). 예를 들어, 카메라 모듈(100)에 대한 온도 변화가 기 설정된 크기 이상이거나, 각 카메라(111, 1112)의 자세 변경 정도가 기 설정된 크기 이상인 경우, 제어장치(200)는 객체와의 거리정보 산출에 사용되는 파라미터가 변동된 것으로 판단할 수 있다. When the object is detected, the control device 200 checks whether the parameter used for calculating the distance information with respect to the object is changed based on the attitude information and the temperature information of each of the cameras 111 and 1112 received from the camera module 100 (S104). For example, when the temperature change for the camera module 100 is equal to or larger than a predetermined size, or when the posture change degree of each of the cameras 111 and 1112 is equal to or larger than a predetermined size, the control device 200 calculates the distance information It can be judged that the parameter used for the parameter change has changed.

상기 S104 단계에서, 파라미터가 변동된 것으로 판단되면, 제어장치(200)는 카메라 모듈(100)로부터 수신되는 각 카메라(111, 1112)의 자세 정보 또는 온도 정보를 토대로 거리정보 산출에 사용되는 파라미터를 보정한다(S105). If it is determined in step S104 that the parameters have been changed, the control device 200 sets the parameters used for calculating the distance information based on the attitude information or temperature information of each of the cameras 111 and 1112 received from the camera module 100 (S105).

예를 들어, 제어장치(200)는 각 카메라(111, 1112)의 자세 변화에 따른 초점 방향, 카메라(111, 112)간 거리 변화를 반영하여 카메라(111, 1112) 간의 거리정보를 보정할 수 있다. For example, the control device 200 can correct the distance information between the cameras 111 and 1112 by reflecting the focus direction and the distance change between the cameras 111 and 112 according to the posture change of the cameras 111 and 1112 have.

또한, 예를 들어, 카메라 모듈(100)을 구성하는 하우징(101)의 열팽창계수와 온도 변화에 따른 카메라(111, 1112)간 거리 변동을 반영하여 카메라(111, 1112) 간의 거리정보를 보정할 수도 있다. The distance information between the cameras 111 and 1112 is corrected by reflecting the thermal expansion coefficient of the housing 101 constituting the camera module 100 and the distance variation between the cameras 111 and 1112 according to the temperature change It is possible.

전술한 바와 같이 객체와의 거리정보 산출에 사용되는 파라미터가 보정되면, 제어장치(200)는 이를 토대로 검출된 객체와 카메라(111, 1112)와의 거리정보를 산출한다(S106). When the parameters used to calculate the distance information with respect to the object are corrected as described above, the control device 200 calculates the distance information between the detected object and the cameras 111 and 1112 based on the calculated distance information (S106).

반면에, 상기 S104 단계에서, 파라미터 변동이 없는 것으로 확인되면, 제어장치(200)는 보정 없이 객체와 카메라(111, 1112)와의 거리정보를 산출한다(S106). On the other hand, if it is determined in step S104 that there is no parameter variation, the control device 200 calculates distance information between the object and the cameras 111 and 1112 without correction (S106).

한편, 전술한 S102 단계 내지 S106 단계는 카메라 시스템(10)이 오프(off)될 때까지 반복적으로 수행될 수 있다(S107). Meanwhile, the above-described steps S102 to S106 may be repeatedly performed until the camera system 10 is turned off (S107).

전술한 본 발명의 일 실시 예에 따른 카메라 시스템 및 카메라 시스템에 따르면, 차량의 운행 중에 발생하는 진동, 온도 변화 등으로 거리정보 산출에 사용되는 각 카메라의 위치, 자세 등이 변동되는 것을 실시간으로 감지하는 것이 가능하다. 또한, 더 나아가서 변동된 각 카메라의 위치, 자세 등을 토대로 거리정보 산출에 사용되는 각 파라미터를 보정하고, 보정된 각 파라미터를 이용하여 객체와의 거리정보를 산출함으로써, 산출한 거리정보의 정확도를 향상시킬 수 있다. According to the camera system and the camera system according to the embodiment of the present invention, it is possible to detect in real time whether the position and attitude of each camera used for distance information calculation due to vibration, temperature change, etc., It is possible to do. Furthermore, each parameter used for calculating the distance information is corrected based on the changed position and attitude of each camera, and the distance information to the object is calculated using each of the corrected parameters, thereby obtaining the accuracy of the calculated distance information Can be improved.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 기록 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.As used in this embodiment, the term " portion " refers to a hardware component such as software or an FPGA (field-programmable gate array) or ASIC, and 'part' performs certain roles. However, 'part' is not meant to be limited to software or hardware. &Quot; to " may be configured to reside on an addressable recording medium and may be configured to play back one or more processors. Thus, by way of example, 'parts' may refer to components such as software components, object-oriented software components, class components and task components, and processes, functions, , Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functions provided in the components and components may be further combined with a smaller number of components and components or further components and components. In addition, the components and components may be implemented to play back one or more CPUs in a device or a secure multimedia card.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

Claims (6)

서로 다른 위치에서 객체를 촬영하는 복수의 카메라,
각 카메라의 몸체에 일체형으로 결합되어 상기 각 카메라의 자세정보를 획득하는 자세 센서부, 그리고
상기 각 카메라를 통해 획득한 이미지 데이터를 이용하여 상기 객체에 대한 거리정보를 산출하며, 상기 자세정보를 토대로 상기 거리정보의 산출에 사용되는 파라미터를 보정하는 제어장치
를 포함하는 카메라 시스템.
A plurality of cameras for photographing objects at different positions,
An attitude sensor unit integrally coupled to the body of each camera to acquire attitude information of each camera,
A controller for calculating distance information on the object using the image data acquired through the cameras and correcting parameters used for calculating the distance information based on the attitude information,
.
제1항에 있어서,
상기 파라미터는 상기 복수의 카메라 간의 거리를 포함하며,
상기 제어장치는 상기 자세정보를 토대로 상기 복수의 카메라 간의 거리를 보정하는 카메라 시스템.
The method according to claim 1,
Wherein the parameter comprises a distance between the plurality of cameras,
And the control device corrects the distance between the plurality of cameras based on the attitude information.
제1항에 있어서,
상기 파라미터는 상기 이미지 데이터에서의 상기 객체의 위치정보를 포함하며,
상기 제어장치는 상기 자세정보를 토대로 상기 각 카메라의 회전각도를 산출하고, 상기 회전각도를 토대로 상기 객체의 위치정보를 보정하는 카메라 시스템.
The method according to claim 1,
Wherein the parameter comprises position information of the object in the image data,
Wherein the controller calculates a rotation angle of each camera based on the attitude information and corrects the position information of the object based on the rotation angle.
제1항에 있어서,
상기 복수의 카메라를 대상체에 고정하기 위한 하우징에 대한 온도 정보를 획득하는 온도 센서를 더 포함하고,
상기 제어장치는 상기 온도 정보와 상기 하우징의 열팽창계수를 토대로, 상기 거리정보를 산출하기 위한 파라미터인 상기 복수의 카메라 간의 거리를 보정하는 카메라 시스템.
The method according to claim 1,
Further comprising a temperature sensor for obtaining temperature information about a housing for fixing the plurality of cameras to a target object,
Wherein the controller corrects the distance between the plurality of cameras, which is a parameter for calculating the distance information, based on the temperature information and the thermal expansion coefficient of the housing.
카메라 시스템의 제어 방법에 있어서,
복수의 카메라를 이용하여 객체를 서로 다른 위치에서 촬영한 이미지 데이터를 획득하는 단계,
자세 센서를 이용하여 상기 각 카메라의 자세정보를 획득하는 단계,
상기 각 카메라의 자세정보를 토대로, 상기 복수의 카메라 간의 거리 또는 상기 이미지 데이터에서의 상기 객체의 위치정보를 보정하는 단계, 그리고
상기 복수의 카메라 간의 거리 또는 상기 이미지 데이터에서의 상기 객체의 위치정보를 이용하여 상기 객체에 대한 거리정보를 산출하는 단계
를 포함하는 제어 방법.
A method of controlling a camera system,
Acquiring image data obtained by photographing an object at different positions using a plurality of cameras,
Acquiring attitude information of each camera using an attitude sensor,
Correcting the distance between the plurality of cameras or the positional information of the object in the image data based on the attitude information of each camera, and
Calculating distance information on the object using the distance between the plurality of cameras or the position information of the object in the image data
≪ / RTI >
제5항에 있어서,
상기 복수의 카메라를 고정하는 하우징의 온도 정보를 획득하는 단계, 그리고
상기 하우징의 열팽창계수 및 상기 온도 정보를 토대로, 상기 복수의 카메라 간의 거리를 보정하는 단계
를 더 포함하는 제어 방법. 6. The method of claim 5,
Obtaining temperature information of the housing fixing the plurality of cameras, and
Correcting the distance between the plurality of cameras based on the thermal expansion coefficient of the housing and the temperature information
≪ / RTI >
KR1020130084092A 2013-07-17 2013-07-17 Camera system and controlling method of Camera system KR102121287B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130084092A KR102121287B1 (en) 2013-07-17 2013-07-17 Camera system and controlling method of Camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130084092A KR102121287B1 (en) 2013-07-17 2013-07-17 Camera system and controlling method of Camera system

Publications (2)

Publication Number Publication Date
KR20150009763A true KR20150009763A (en) 2015-01-27
KR102121287B1 KR102121287B1 (en) 2020-06-10

Family

ID=52481809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130084092A KR102121287B1 (en) 2013-07-17 2013-07-17 Camera system and controlling method of Camera system

Country Status (1)

Country Link
KR (1) KR102121287B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016153224A1 (en) * 2015-03-20 2016-09-29 엘지전자 주식회사 Autonomous calibration device for vehicles and vehicle having same
KR20200076628A (en) * 2018-12-18 2020-06-29 베이징 호라이즌 로보틱스 테크놀로지 리서치 앤드 디벨롭먼트 컴퍼니 리미티드 Location measuring method of mobile device, location measuring device and electronic device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102453561B1 (en) 2022-07-08 2022-10-14 이엑스 주식회사 Method for operating multi-tracking camera system based on multi-sensor in virtual studio

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122160A (en) * 2005-10-25 2007-05-17 Nikki Plantec Kk Modeling device and calculation method for camera parameter
KR20110001333A (en) * 2009-06-30 2011-01-06 에이알비전 (주) The sending method of broadcast images composed virtual images using camera sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122160A (en) * 2005-10-25 2007-05-17 Nikki Plantec Kk Modeling device and calculation method for camera parameter
KR20110001333A (en) * 2009-06-30 2011-01-06 에이알비전 (주) The sending method of broadcast images composed virtual images using camera sensors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016153224A1 (en) * 2015-03-20 2016-09-29 엘지전자 주식회사 Autonomous calibration device for vehicles and vehicle having same
KR20200076628A (en) * 2018-12-18 2020-06-29 베이징 호라이즌 로보틱스 테크놀로지 리서치 앤드 디벨롭먼트 컴퍼니 리미티드 Location measuring method of mobile device, location measuring device and electronic device

Also Published As

Publication number Publication date
KR102121287B1 (en) 2020-06-10

Similar Documents

Publication Publication Date Title
KR101787304B1 (en) Calibration method, calibration device, and computer program product
JP6458439B2 (en) On-vehicle camera calibration device, image generation device, on-vehicle camera calibration method, and image generation method
JP3820342B2 (en) In-vehicle imaging device
JP4737317B2 (en) Vehicle periphery shooting display system
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
CN107122770B (en) Multi-camera system, intelligent driving system, automobile, method and storage medium
JP5175230B2 (en) Automatic camera calibration apparatus and automatic calibration method
JP6669182B2 (en) Occupant monitoring device
US20160121806A1 (en) Method for adjusting output video of rear camera for vehicles
KR20150009763A (en) Camera system and controlling method of Camera system
JP2007181129A (en) Vehicle-mounted movable body detection instrument
KR20170057684A (en) Method for assistance parking vehicle using front camera
JP4501708B2 (en) Driver's face orientation determination device
KR102158025B1 (en) Camera correction module, camera system and controlling method of camera system
KR20130084720A (en) Apparatus and method for processing image
JPWO2019058504A1 (en) Rear side image control device and rear side image control method
JP2007017246A (en) Distance measuring system
WO2017042995A1 (en) In-vehicle stereo camera device and method for correcting same
KR20220097656A (en) Driver asistance apparatus, vehicle and control method thereof
JP4040620B2 (en) Vehicle periphery monitoring device
KR102479253B1 (en) Method for compensating camera tolerance based on a camera image of a vehicle
KR20160123411A (en) Camera apparatus for vehicle, calibration system and method thereof
JP6674127B2 (en) Image processing device, photographing device, program, device control system and device
WO2023152785A1 (en) Occupant monitoring device, occupant monitoring system, and occupant monitoring method
WO2017169752A1 (en) Device for detecting orientation of vehicle, image processing system, vehicle, and method for detecting orientation of vehicle

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant