KR102121287B1 - 카메라 시스템 및 카메라 시스템의 제어 방법 - Google Patents

카메라 시스템 및 카메라 시스템의 제어 방법 Download PDF

Info

Publication number
KR102121287B1
KR102121287B1 KR1020130084092A KR20130084092A KR102121287B1 KR 102121287 B1 KR102121287 B1 KR 102121287B1 KR 1020130084092 A KR1020130084092 A KR 1020130084092A KR 20130084092 A KR20130084092 A KR 20130084092A KR 102121287 B1 KR102121287 B1 KR 102121287B1
Authority
KR
South Korea
Prior art keywords
camera
information
cameras
distance
posture
Prior art date
Application number
KR1020130084092A
Other languages
English (en)
Other versions
KR20150009763A (ko
Inventor
정지혁
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020130084092A priority Critical patent/KR102121287B1/ko
Publication of KR20150009763A publication Critical patent/KR20150009763A/ko
Application granted granted Critical
Publication of KR102121287B1 publication Critical patent/KR102121287B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

카메라 시스템 및 카메라 시스템의 제어 방법에 관한 것이다.
카메라 시스템은 서로 다른 위치에서 객체를 촬영하는 복수의 카메라, 각 카메라의 몸체에 일체형으로 결합되어 상기 각 카메라의 자세정보를 획득하는 자세 센서부, 그리고 상기 각 카메라를 통해 획득한 이미지 데이터를 이용하여 상기 객체에 대한 거리정보를 산출하며, 상기 자세정보를 토대로 상기 거리정보의 산출에 사용되는 파라미터를 보정하는 제어장치를 포함한다.

Description

카메라 시스템 및 카메라 시스템의 제어 방법{Camera system and controlling method of Camera system}
본 발명은 카메라 시스템 및 카메라 시스템의 제어 방법에 관한 것으로서, 더욱 상세하게는 차량용 스테레오 카메라 시스템 및 차량용 스테레오 카메라 시스템의 제어 방법에 관한 것이다.
차량 전방 또는 후방을 촬영한 영상으로부터 물체를 감지하여 운전자의 안전 운전을 돕는 시스템의 일환으로, 두 대의 카메라를 이용하여 차량과 차량 전방의 물체와의 거리정보를 추출하는 스테레오 카메라 시스템이 제안되고 있다.
스테레오 카메라 시스템에서, 정확한 거리정보를 획득하기 위해서는 카메라 간의 거리와 상대적인 자세에 따른 보정 과정이 수행될 필요가 있다.
특히, 카메라 간의 거리가 클수록 거리정보의 정밀도가 증가하는데 반해, 카메라 간의 거리 변동이나 상대적인 자세 변화는 거리정보의 정확도에 많은 영향을 줄 수 있으므로, 보정 과정의 중요성이 증대하게 된다.
종래에는 카메라 간의 위치 관계를 보정하기 위해 차량이 정지된 상태에서 표준 물체를 이용하여 보정 과정을 수행하였다. 그러나, 이러한 보정 방법은 차량 운행 중 발생하는 진동, 온도 변화에 따른 하우징의 뒤틀림 등으로 인해 카메라 간의 거리나 각 카메라의 자세가 변경되는 것을 실시간으로 감지하여 보정하는 것이 어려운 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는, 물체와의 거리정보를 획득하는데 있어, 카메라의 위치변화 및 자세변화를 실시간으로 반영하는 것이 가능한 카메라 시스템 및 카메라 시스템의 제어 방법을 제공하는 것이다.
본 발명의 일 실시 예에 따르면 카메라 시스템은, 서로 다른 위치에서 객체를 촬영하는 복수의 카메라, 각 카메라의 몸체에 일체형으로 결합되어 상기 각 카메라의 자세정보를 획득하는 자세 센서부, 그리고 상기 각 카메라를 통해 획득한 이미지 데이터를 이용하여 상기 객체에 대한 거리정보를 산출하며, 상기 자세정보를 토대로 상기 거리정보의 산출에 사용되는 파라미터를 보정하는 제어장치를 포함한다.
본 발명의 일 실시 예에 따르면 카메라 시스템의 제어 방법은, 복수의 카메라를 이용하여 객체를 서로 다른 위치에서 촬영한 이미지 데이터를 획득하는 단계, 상기 복수의 카메라 각각의 몸체에 일체형으로 결합된 자세 센서를 이용하여 상기 각 카메라의 자세정보를 획득하는 단계, 상기 각 카메라의 자세정보를 토대로, 상기 복수의 카메라 간의 거리 또는 상기 이미지 데이터에서의 상기 객체의 위치정보를 보정하는 단계, 그리고 상기 복수의 카메라 간의 거리 또는 상기 이미지 데이터에서의 상기 객체의 위치정보를 이용하여 상기 객체에 대한 거리정보를 산출하는 단계를 포함한다.
본 문서에 개시된 카메라 시스템 및 카메라 시스템의 제어 방법은, 차량의 운행 중에 발생하는 진동, 온도 변화 등으로 거리정보 산출에 사용되는 각 카메라의 위치, 자세 등이 변동되는 것을 실시간으로 감지하는 것이 가능하다. 또한, 더 나아가서 변동된 각 카메라의 위치, 자세 등을 토대로 거리정보 산출에 사용되는 각 파라미터를 보정하고, 보정된 각 파라미터를 이용하여 객체와의 거리정보를 산출함으로써, 산출한 거리정보의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 카메라 모듈을 도시한 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 카메라 모듈의 일 예를 도시한 사시도이다.
도 3은 본 발명의 일 실시 예에 따른 카메라 모듈의 다른 예를 도시한 사시도이다.
도 4는 본 발명의 일 실시 예에 따른 카메라 시스템을 도시한 블록 구성도이다.
도 5는 본 발명의 일 실시 예에 따른 카메라 시스템에서 객체와의 거리정보를 획득하는 방법을 설명하기 위한 것이다.
도 6은 본 발명의 일 실시 예에 따른 카메라 시스템의 제어 방법을 도시한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
아래에서, 도면을 참조하여 설명하는 카메라 시스템 및 카메라 시스템의 구성요소는 필수적인 것은 아니어서, 카메라 시스템 및 카메라 시스템은 그보다 더 많거나 더 적은 구성요소를 포함하도록 구현될 수도 있다.
도 1은 본 발명의 일 실시 예에 따른 카메라 모듈(100)을 도시한 블록도이다.
도 1을 참조하면, 카메라 모듈(100)은 복수의 카메라(111, 112), 복수의 이미지 센서부(121, 122), 복수의 자세 센서부(131, 132), 온도 센서부(140), 통신부(150) 등을 포함할 수 있다.
복수의 카메라(111, 112)는 서로 소정 간격 이격되어 대상체에 배치되며, 서로 다른 위치에서 대상체의 외부에 위치하는 객체를 촬영한 영상 신호를 출력한다.
카메라(111, 112)가 설치되는 대상체가 차량인 경우를 예로 들면, 복수의 카메라(111, 112)는 차량의 전방 또는 후방에 배치되어, 차량의 전방 또는 후방에 위치하는 객체를 서로 촬영할 수 있다.
각 이미지 센서부(121, 122)는 각 카메라(111, 112)를 통해 입력되는 영상 신호로부터 이미지 데이터를 획득할 수 있다.
각 자세 센서부(131, 132)는 각 카메라(111, 112)의 자세 정보를 획득할 수 있다. 자세 센서부(131, 132)는 각 카메라(111, 112)의 각속도를 측정하는 자이로 센서, 이동하는 타겟의 가속도를 측정하는 가속도 센서, 타겟의 기울기를 검출하는 기울기 센서 등을 포함할 수 있다.
예를 들어, 자세 센서부(131, 132)는 서로 직교하는 3축에 대해 각 카메라(111, 112)의 회전을 감지하여 자세 변동을 검출하는 자이로 센서를 포함할 수 있다.
한편, 각 자세 센서부(131, 132)는 각 카메라(111, 112)의 자세 정보를 획득하기 위해, 각 카메라(111, 112)의 몸체(body)에 일체형으로 결합될 수 있다.
온도 센서부(140)는 카메라 모듈(100)의 몸체를 구성하는 하우징(후술하는 도 2의 도면부호 101 또는 도 3의 도면부호 101a, 101b 참조)의 온도 정보 또는 하우징(후술하는 도 2의 도면부호 101 또는 도 3의 도면부호 101a, 101b 참조) 주변의 온도 정보를 획득할 수 있다.
통신부(150)는 각 이미지 센서부(121, 122)을 통해 획득되는 이미지 데이터, 각 자세 센서부(131, 132)을 통해 획득되는 자세 정보, 온도 센서부(140)을 통해 획득되는 온도 정보 등을 유무선 통신 방식으로 제어장치(후술하는 도 4의 도면부호 200 참조)로 전달하는 기능을 수행할 수 있다.
카메라 모듈(100)이 차량에 설치되는 경우, 설치 위치의 특성 상 제어장치(후술하는 도 4의 도면부호 10 참조)와는 분리되어 설치될 필요가 있다. 따라서, 본 발명의 일 실시 예에서는 카메라 모듈(100)에 통신부(150)를 구비하여, 카메라 모듈(100)이 제어장치(후술하는 도 4의 도면부호 10 참조)와 데이터를 송수신할 수 있도록 지원한다.
도 2는 본 발명의 일 실시 예에 따른 카메라 모듈(100)의 일 예를 도시한 사시도이다. 또한, 도 3은 본 발명의 일 실시 예에 따른 카메라 모듈(100)의 다른 예를 도시한 사시도이다.
도 2를 참조하면, 카메라 모듈(100)은 차량 등의 대상체에 카메라 모듈(100)을 고정시켜 지지하기 위한 하우징(101)을 포함한다.
하우징(101)에서 대상체의 외부를 향하는 일면에는 복수의 카메라(111, 112)가 소정 간격 이격되어 배치되어, 서로 다른 위치에서 대상체의 외부 영상을 획득할 수 있다.
각 카메라(111, 112)의 몸체에는 각 카메라(111, 112)의 자세 정보를 획득하기 위한 자세 센서부(131, 132)가 각각 일체형으로 구비될 수 있다.
또한, 하우징(101)에는 각 카메라(111, 112)에 대응하여 이미지 센서부(121, 122)가 배치될 수 있다.
하우징(101)의 내부에는 하우징(101) 또는 하우징(101) 주변의 온도 정보를 획득하기 위한 온도 센서부(130), 카메라 모듈(100)과 외부 기기와의 통신을 위한 통신부(120) 등이 내장될 수도 있다.
한편, 도 2는 카메라 모듈(100)을 대상체인 차량에 고정시키기 위한 하우징의 일 예를 도시한 것으로서, 본 발명의 실시 예는 이에 한정되지 않는다. 본 발명의 실시 예에 따르면, 카메라 모듈(100)을 차량에 고정시키기 위한 하우징은 다양한 변형이 가능하다.
도 3을 예로 들면, 카메라 모듈(100)에 포함된 각 카메라(111, 112)는 하나의 하우징이 아닌 서로 분리된 하우징(101a, 101b)에 의해 대상체에 각각 고정될 수도 있다.
도 4는 본 발명의 일 실시 예에 따른 카메라 시스템을 도시한 블록 구성도이다. 또한, 도 5는 본 발명의 일 실시 예에 따른 카메라 시스템에서 객체와의 거리정보를 획득하는 방법을 설명하기 위한 것이다.
도 4를 참조하면, 카메라 시스템(10)은 카메라 모듈(100), 제어장치(200) 등을 포함할 수 있다.
카메라 모듈(100)은 전술한 바와 같이 서로 이격되어 배치된 복수의 카메라(111, 112)를 통해 차량의 외부 영상에 해당하는 이미지 데이터를 획득할 수 있다. 또한, 각 카메라(111, 112)의 자세 정보, 카메라 모듈(100)의 하우징(101, 101a, 101b) 또는 주변에 대한 온도 정보 등을 획득할 수 있다.
제어장치(200)는 유무선 통신을 통해 카메라 모듈(100)로부터 복수의 카메라(111, 112)를 통해 획득한 이미지 데이터를 지속적으로 수신한다. 또한, 영상 인식을 통해 카메라 모듈(100)로부터 수신한 각 이미지 데이터로부터 소정의 조건을 만족하는 객체를 검출한다. 예를 들어, 기 설정된 크기 이상이거나, 외곽선이 소정의 형태를 이루는 객체를 검출할 수 있다.
제어장치(200)는 이미지 데이터로부터 객체가 검출되면, 각 이미지 데이터에서의 객체 위치와, 카메라(111, 112)간의 거리정보를 토대로 객체와의 거리정보를 획득할 수 있다.
도 5를 참조하면, 각 카메라(111, 112)의 초점 거리를 f, 각 카메라(111, 112) 간의 거리를 b, 각 카메라(111, 112)를 통해 입력되는 이미지 데이터 상에서 각 카메라(111, 112)의 중심에 대응하는 지점과 객체(OB)간의 거리를 각각 DL 및 DR이라고 정의하는 경우, 카메라(111, 112)와 객체(OB) 간의 거리정보(Z)는 아래의 수학식 1과 같이 획득할 수 있다.
Figure 112013064388423-pat00001
위 수학식 1에서, 각 카메라(111, 112)의 초점 거리(f)는 각 카메라(111, 112)의 사양에 따라 미리 설정된 값이 사용될 수 있다.
또한, 각 카메라(111, 112)간 거리(d)는 각 카메라(111, 112)의 중심점 간의 거리로서, 카메라 시스템(10)의 설치 시 설정된 값이 초기 값으로 사용될 수 있다.
한편, 카메라 시스템(10)이 대상체인 차량에 설치된 이후 차량 진동, 온도 변화 등으로 인해 각 카메라(111, 112)의 위치, 자세 등이 변경될 수 있다.
도 5를 참조하면, 거리정보 산출은 각 카메라(111, 112)가 소정의 각도로 객체를 촬영하는 경우를 가정하고 이루어지며, 각 카메라(111, 112)의 자세가 변경되면, 거리정보 산출에 영향을 줄 수 있다.
또한, 위 수학식 1을 참조하면, 카메라(111, 112)간의 거리가 변동되면, 거리정보 산출에 영향을 줄 수 있다.
따라서, 변경된 파라미터를 반영하는 보정 과정 없이, 카메라 모듈(100)의 초기 설치 시 설정된 파라미터를 그대로 사용하여 물체와의 거리정보를 산출하는 경우, 거리정보의 정확도가 떨어지게 된다.
제어장치(200)는 각 카메라(111, 112)의 위치, 자세 등이 변경됨에 따라 객체와의 거리정보 산출의 정확도가 떨어지는 것을 방지하기 위해, 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수 있다.
우선, 제어장치(200)는 카메라 모듈(100)로부터 각 카메라(111, 112)의 자세 정보를 지속적으로 수신하고, 이를 토대로 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수 있다.
예를 들어, 제어장치(200)는 각 카메라(111, 112)의 자세정보를 토대로 각 카메라(111, 112)의 회전각도를 산출하고, 이를 토대로 각 이미지 데이터에서의 객체의 위치정보를 보정할 수 있다.
또한, 예를 들어, 제어장치(200)는 각 카메라(111, 112)의 자세정보를 토대로 각 카메라(111, 112) 간의 거리 변화를 산출하고, 이를 토대로 카메라(111, 112)간 거리를 보정할 수 있다.
또한, 제어장치(200)는 카메라 모듈(100)로부터 온도 정보를 지속적으로 수신하고, 이를 토대로 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수 있다.
전술한 도 3과 같이, 하나의 하우징(101)에 복수의 카메라(111, 112)가 배치되는 경우, 카메라(111, 112) 간의 거리는 하우징(101)에 의해 결정될 수 있다. 한편, 하우징(101)은 재질에 따라 온도 변화에 따른 팽창/수축 정도가 크게 나타날 수 있으며, 온도 변화에 따른 하우징(101)의 팽창/수축 정도는 카메라(111, 112) 간 거리에 영향을 줄 수 있다.
따라서, 제어장치(200)는 카메라 모듈(100)로부터 수신되는 온도 정보를 토대로 카메라 모듈(100)에 대한 온도 변화를 산출하고, 온도 변화가 기 설정된 수준 이상인 경우 온도 변화 정도와 카메라(111, 112)가 설치된 하우징(101)의 열팽창 계수를 토대로 카메라(111, 112) 간 거리(d)를 보정할 수 있다.
즉, 온도 변화에 따른 하우징(101)의 팽창/수축 정도를 예측하고, 이를 토대로 카메라(111, 112) 간 거리(d)의 변화를 산출하여 변경된 거리만큼 카메라(111, 112)간 거리(d)를 보정할 수 있다.
제어장치(200)는 전술한 방법으로 보정된 파라미터를 토대로 차량 전방 또는 후방의 객체와의 거리정보가 획득되면, 이를 토대로 차량의 안전 운전을 보조할 수 있다.
예를 들어, 객체와의 거리정보를 토대로 객체와의 충돌 위험을 예측하고, 충돌 위험이 감지되면, 이를 경고하는 경고음 등을 출력할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 카메라 시스템의 제어 방법을 도시한 흐름도이다.
도 6을 참조하면, 제어장치(200)는 카메라 시스템(10)이 온(ON)됨에 따라(S101), 카메라 모듈(100)로부터 서로 이격되어 배치되는 복수의 카메라(111, 112)를 통해 촬영되는 이미지 데이터를 획득한다(S102).
제어장치(200)는 영상 인식을 통해 복수의 카메라(111, 112)를 통해 촬영되는 이미지 데이터로부터 소정의 조건을 만족하는 객체의 검출 여부를 판단한다(S103).
객체가 검출되면, 제어장치(200)는 카메라 모듈(100)로부터 수신되는 각 카메라(111, 1112)의 자세 정보와 온도 정보를 토대로 객체와의 거리정보 산출에 사용되는 파라미터의 변동 여부를 확인한다(S104). 예를 들어, 카메라 모듈(100)에 대한 온도 변화가 기 설정된 크기 이상이거나, 각 카메라(111, 1112)의 자세 변경 정도가 기 설정된 크기 이상인 경우, 제어장치(200)는 객체와의 거리정보 산출에 사용되는 파라미터가 변동된 것으로 판단할 수 있다.
상기 S104 단계에서, 파라미터가 변동된 것으로 판단되면, 제어장치(200)는 카메라 모듈(100)로부터 수신되는 각 카메라(111, 1112)의 자세 정보 또는 온도 정보를 토대로 거리정보 산출에 사용되는 파라미터를 보정한다(S105).
예를 들어, 제어장치(200)는 각 카메라(111, 1112)의 자세 변화에 따른 초점 방향, 카메라(111, 112)간 거리 변화를 반영하여 카메라(111, 1112) 간의 거리정보를 보정할 수 있다.
또한, 예를 들어, 카메라 모듈(100)을 구성하는 하우징(101)의 열팽창계수와 온도 변화에 따른 카메라(111, 1112)간 거리 변동을 반영하여 카메라(111, 1112) 간의 거리정보를 보정할 수도 있다.
전술한 바와 같이 객체와의 거리정보 산출에 사용되는 파라미터가 보정되면, 제어장치(200)는 이를 토대로 검출된 객체와 카메라(111, 1112)와의 거리정보를 산출한다(S106).
반면에, 상기 S104 단계에서, 파라미터 변동이 없는 것으로 확인되면, 제어장치(200)는 보정 없이 객체와 카메라(111, 1112)와의 거리정보를 산출한다(S106).
한편, 전술한 S102 단계 내지 S106 단계는 카메라 시스템(10)이 오프(off)될 때까지 반복적으로 수행될 수 있다(S107).
전술한 본 발명의 일 실시 예에 따른 카메라 시스템 및 카메라 시스템에 따르면, 차량의 운행 중에 발생하는 진동, 온도 변화 등으로 거리정보 산출에 사용되는 각 카메라의 위치, 자세 등이 변동되는 것을 실시간으로 감지하는 것이 가능하다. 또한, 더 나아가서 변동된 각 카메라의 위치, 자세 등을 토대로 거리정보 산출에 사용되는 각 파라미터를 보정하고, 보정된 각 파라미터를 이용하여 객체와의 거리정보를 산출함으로써, 산출한 거리정보의 정확도를 향상시킬 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 기록 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (6)

  1. 서로 다른 위치에서 객체를 촬영하는 복수의 카메라,
    각 카메라와 결합되어 상기 각 카메라의 자세정보를 획득하는 자세 센서부, 그리고
    상기 각 카메라를 통해 획득한 이미지 데이터를 이용하여 상기 객체에 대한 거리정보를 산출하며, 상기 자세정보를 토대로 상기 거리정보의 산출에 사용되는 파라미터를 보정하는 제어장치
    를 포함하고,
    상기 파라미터는 상기 이미지 데이터에서의 상기 객체의 위치정보를 포함하며,
    상기 제어장치는 상기 자세정보를 토대로 상기 각 카메라의 회전각도를 산출하고, 상기 회전각도를 토대로 상기 객체의 위치정보를 보정하는 카메라 시스템.

  2. 제1항에 있어서,
    상기 파라미터는 상기 복수의 카메라 간의 거리를 포함하며,
    상기 제어장치는 상기 자세정보를 토대로 상기 복수의 카메라 간의 거리를 보정하는 카메라 시스템.
  3. 삭제
  4. 서로 다른 위치에서 객체를 촬영하는 복수의 카메라,
    각 카메라와 결합되어 상기 각 카메라의 자세정보를 획득하는 자세 센서부, 그리고
    상기 각 카메라를 통해 획득한 이미지 데이터를 이용하여 상기 객체에 대한 거리정보를 산출하며, 상기 자세정보를 토대로 상기 거리정보의 산출에 사용되는 파라미터를 보정하는 제어장치를 포함하고,
    상기 복수의 카메라를 대상체에 고정하기 위한 하우징에 대한 온도 정보를 획득하는 온도 센서를 더 포함하고,
    상기 제어장치는 상기 온도 정보와 상기 하우징의 열팽창계수를 토대로, 상기 거리정보를 산출하기 위한 파라미터인 상기 복수의 카메라 간의 거리를 보정하는 카메라 시스템.
  5. 카메라 시스템의 제어 방법에 있어서,
    복수의 카메라를 이용하여 객체를 서로 다른 위치에서 촬영한 이미지 데이터를 획득하는 단계,
    자세 센서를 이용하여 상기 각 카메라의 자세정보를 획득하는 단계,
    상기 각 카메라의 자세정보를 토대로, 상기 복수의 카메라 간의 거리 또는 상기 이미지 데이터에서의 상기 객체의 위치정보를 포함하는 파라미터를 보정하는 단계, 그리고
    상기 파라미터를 이용하여 상기 객체에 대한 거리정보를 산출하는 단계를 포함하고,
    상기 거리정보를 산출하는 단계에서는 상기 각 카메라의 자세정보를 토대로 각 카메라의 회전각도를 산출하고, 상기 회전각도를 토대로 상기 객체의 위치정보를 보정하는 제어 방법.

  6. 제5항에 있어서,
    상기 복수의 카메라를 고정하는 하우징의 온도 정보를 획득하는 단계, 그리고
    상기 하우징의 열팽창계수 및 상기 온도 정보를 토대로, 상기 복수의 카메라 간의 거리를 보정하는 단계
    를 더 포함하는 제어 방법.
KR1020130084092A 2013-07-17 2013-07-17 카메라 시스템 및 카메라 시스템의 제어 방법 KR102121287B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130084092A KR102121287B1 (ko) 2013-07-17 2013-07-17 카메라 시스템 및 카메라 시스템의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130084092A KR102121287B1 (ko) 2013-07-17 2013-07-17 카메라 시스템 및 카메라 시스템의 제어 방법

Publications (2)

Publication Number Publication Date
KR20150009763A KR20150009763A (ko) 2015-01-27
KR102121287B1 true KR102121287B1 (ko) 2020-06-10

Family

ID=52481809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130084092A KR102121287B1 (ko) 2013-07-17 2013-07-17 카메라 시스템 및 카메라 시스템의 제어 방법

Country Status (1)

Country Link
KR (1) KR102121287B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102453561B1 (ko) 2022-07-08 2022-10-14 이엑스 주식회사 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법
KR102666600B1 (ko) 2023-06-19 2024-05-16 이엑스 주식회사 6 dof와 slam 기반의 복수의 스테레오 카메라 장치의 포지셔닝 정보 추정 방법, 장치 및 프로그램

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016153224A1 (ko) * 2015-03-20 2016-09-29 엘지전자 주식회사 차량용 자율 캘리브레이션 장치 및 이를 구비한 차량
CN111337010B (zh) * 2018-12-18 2022-05-03 北京地平线机器人技术研发有限公司 可移动设备的定位方法、定位装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122160A (ja) * 2005-10-25 2007-05-17 Nikki Plantec Kk モデリング装置およびカメラパラメータの計算方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101025899B1 (ko) * 2009-06-30 2011-03-30 에이알비전 (주) 다수의 카메라센서를 이용한 가상 이미지가 합성된 방송영상의 송출 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122160A (ja) * 2005-10-25 2007-05-17 Nikki Plantec Kk モデリング装置およびカメラパラメータの計算方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102453561B1 (ko) 2022-07-08 2022-10-14 이엑스 주식회사 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법
KR102549811B1 (ko) 2022-07-08 2023-06-30 이엑스 주식회사 복수의 스테레오 카메라 장치를 활용한 포지셔닝 정보에 대한 보정 방법, 컴퓨터 프로그램
KR20240007591A (ko) 2022-07-08 2024-01-16 이엑스 주식회사 6 dof와 slam 기반의 복수의 스테레오 카메라 장치의 포지셔닝 정보 추정 방법, 장치 및 프로그램
KR102666600B1 (ko) 2023-06-19 2024-05-16 이엑스 주식회사 6 dof와 slam 기반의 복수의 스테레오 카메라 장치의 포지셔닝 정보 추정 방법, 장치 및 프로그램

Also Published As

Publication number Publication date
KR20150009763A (ko) 2015-01-27

Similar Documents

Publication Publication Date Title
KR101787304B1 (ko) 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품
JP7161410B2 (ja) シーンにおけるカメラの姿勢を特定するシステム及び方法
JP6458439B2 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP5503730B2 (ja) 車両の周辺監視装置
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
JP2010251938A (ja) 車両周辺撮影表示システム
KR20200084552A (ko) 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법
CA2901655A1 (en) Image processing device, image processing method, and program therefor
CN109644237B (zh) 热图像处理装置和方法、红外线拍摄装置以及存储介质
KR20160090677A (ko) 주차 가이드 시스템 및 그 제어방법
US20120236287A1 (en) External environment visualization apparatus and method
CN110194173B (zh) 乘员监视装置
JP2019003613A (ja) 車両の車両カメラを較正するための方法および装置
KR102121287B1 (ko) 카메라 시스템 및 카메라 시스템의 제어 방법
JP2010181209A (ja) カメラの自動キャリブレーション装置及び自動キャリブレーション方法
KR102158025B1 (ko) 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법
JP4026641B2 (ja) 物体検出装置、および物体検出方法
JP2007017246A (ja) 距離測位装置
JP6680335B2 (ja) ステレオカメラ、車両、算出方法及びプログラム
WO2022202926A1 (ja) 精度補正装置及び拡張現実画像表示装置
JPWO2017042995A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
JP6674127B2 (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
JP2007003462A (ja) 視線認識装置、及び視線認識方法
WO2023152785A1 (ja) 乗員監視装置、乗員監視システム、および乗員監視方法
KR102611759B1 (ko) 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant