KR102158025B1 - 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법 - Google Patents

Abstract

본 발명의 일 실시 예에 따르면 카메라 보정모듈은, 평행광을 출사하는 광원부, 그리고 스테레오 카메라 시스템을 구성하는 카메라에 결합하며, 상기 광원부로부터 입사하는 상기 평행광을 반사하여 상기 카메라로 입사시키는 거울모듈을 포함할 수 있다.

Description

카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법{Camera correction module, camera system and controlling method of camera system}

본 발명은 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법에 관한 것이다.

차량 전방 또는 후방을 촬영한 영상으로부터 물체를 감지하여 운전자의 안전 운전을 돕는 시스템의 일환으로, 두 대의 카메라를 이용하여 차량과 차량 전방의 물체와의 거리정보를 추출하는 스테레오 카메라 시스템이 제안되고 있다.

스테레오 카메라 시스템에서, 정확한 거리정보를 획득하기 위해서는 카메라 간의 거리와 상대적인 자세에 따른 보정 과정이 수행될 필요가 있다.

특히, 카메라 간의 거리가 클수록 거리정보의 정밀도가 증가하는데 반해, 카메라 간의 거리 변동이나 상대적인 자세 변화는 거리정보의 정확도에 많은 영향을 줄 수 있으므로, 보정 과정의 중요성이 증대하게 된다.

종래에는 카메라 간의 위치 관계를 보정하기 위해 차량이 정지된 상태에서 표준 물체를 이용하여 보정 과정을 수행하였다. 그러나, 이러한 보정 방법은 차량 운행 중 발생하는 진동, 온도 변화에 따른 하우징의 뒤틀림 등으로 인해 카메라 간의 거리나 각 카메라의 자세가 변경되는 것을 감지하여 보정하는 것이 어려운 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는, 스테레오 카메라 시스템에서 카메라의 이동으로 발생하는 오차를 효과적으로 보정하기 위한 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법을 제공하는 것이다.

본 발명의 일 실시 예에 따르면 카메라 보정모듈은, 평행광을 출사하는 광원부, 그리고 스테레오 카메라 시스템을 구성하는 카메라에 결합하며, 상기 광원부로부터 입사하는 상기 평행광을 반사하여 상기 카메라로 입사시키는 거울모듈을 포함하며, 상기 거울모듈은 입사하는 광을 선택적으로 반사하는 반투명 거울을 포함할 수 있다.

상기 카메라 보정모듈에서, 거울모듈은 상기 카메라의 몸체에 탈부착될 수 있다.

상기 카메라 보정모듈에서, 상기 반투명 거울은 상기 카메라가 감응하는 파장 대역의 광은 투과시키고, 상기 평행광이 포함되는 파장 대역의 광은 반사하는 코팅층을 포함할 수 있다.

상기 카메라 보정모듈에서, 상기 반투명 거울은 상기 반투명 거울의 투과율을 결정하는 코팅층을 포함하며, 상기 코팅층은 상기 반투명 거울의 일부 표면에 형성될 수 있다.

본 발명의 일 실시 예에 따르면 카메라 시스템은, 서로 다른 위치에서 객체를 촬영하는 복수의 카메라, 평행광을 출사하는 광원부 및 상기 복수의 카메라에 결합하며 상기 평행광을 반사하여 상기 복수의 카메라로 입사시키는 복수의 거울모듈을 포함하는 카메라 보정모듈, 그리고 상기 복수의 카메라가 상기 객체를 촬영한 이미지 데이터를 이용하여 상기 객체에 대한 거리정보를 산출하며, 상기 복수의 카메라에 의해 상기 평행광이 결상되는 결상위치를 토대로 상기 거리정보의 산출에 사용되는 파라미터를 보정하는 제어장치를 포함할 수 있다.

상기 카메라 시스템에서, 상기 복수의 거울모듈은, 상기 카메라가 감응하는 파장 대역의 광은 투과시키고, 상기 평행광이 포함되는 파장 대역의 광은 반사하는 코팅층이 형성된 반투명 거울을 포함할 수 있다.

상기 카메라 시스템에서, 상기 복수의 거울모듈은 투과율을 결정하는 코팅층을 포함하며, 상기 코팅층은 상기 복수의 거울모듈의 일부 표면에 형성될 수 있다.

상기 카메라 시스템은, 상기 복수의 카메라 각각의 몸체에 일체형으로 결합되어 상기 각 카메라의 자세정보를 획득하는 자세센서부를 더 포함하며, 상기 제어장치는 상기 자세정보를 토대로 상기 파라미터를 보정할 수 있다.

상기 카메라 시스템은, 상기 복수의 카메라를 대상체에 고정하기 위한 하우징에 결합되어 온도정보를 획득하는 온도 센서를 더 포함하고, 상기 제어장치는 상기 온도정보와 상기 하우징의 열팽창계수를 토대로, 상기 파라미터를 보정할 수 있다.

상기 카메라 시스템에서, 상기 제어장치는 상기 복수의 거울모듈 간의 각도관계를 토대로 상기 파라미터를 보정할 수 있다.

상기 파라미터는 상기 복수의 카메라 각각의 자세정보 또는 상기 복수의 카메라 간의 거리정보를 포함할 수 있다.

본 발명의 일 실시 예에 따르면 카메라 시스템의 제어방법은, 광원부를 통해 평행광을 조사하는 단계, 복수의 카메라 각각에 부착된 거울모듈에 의해 상기 평행광이 상기 복수의 카메라로 입사함에 따라, 상기 복수의 카메라를 통해 상기 평행광을 촬영한 이미지 데이터를 획득하는 단계, 상기 이미지 데이터로부터 상기 평행광의 제1결상위치를 획득하는 단계, 기 저장된 제2결상위치와 상기 제1결상위치를 비교하여 결상위치의 이동정보를 획득하는 단계, 상기 결상위치의 이동정보를 토대로 거리정보 산출에 사용되는 파라미터를 보정하는 단계, 상기 복수의 카메라를 통해 객체가 촬영되면, 상기 파라미터를 이용하여 상기 객체와의 거리정보를 산출하는 단계를 포함할 수 있다.

본 발명의 실시 예에 따르면, 카메라 보정모듈을 이용하여 각 카메라로 평행광을 입사시키고, 각 평행광의 결상위치 이동을 반영하여 카메라 시스템에서 거리정보 산출에 사용되는 파라미터들을 보정함으로써, 카메라 시스템의 거리정보 산출의 정확도를 향상시킬 수 있다.

도 1은 본 발명의 일 실시 예에 따른 카메라 보정모듈을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 카메라 보정모듈을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 카메라 보정모듈에 포함된 거울의 투과 특성의 일 예를 도시한 것이다.
도 4는 본 발명의 일 실시 예에 따른 카메라 보정모듈에서 거울 표면의 코팅층을 형성하는 일 예를 도시한 것이다.
도 5는 본 발명의 일 실시 예에 따른 카메라 모듈을 개략적으로 도시한 구조도이다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 카메라 모듈에서 대상체에 결합하는 하우징의 예들을 도시한 사시도들이다.
도 8 및 도 9는 본 발명의 일 실시 예에 따른 카메라 보정모듈과 카메라 모듈이 결합하는 예들을 개략적으로 도시한 것이다.
도 10은 본 발명의 일 실시 예에 따른 카메라 시스템을 도시한 블록 구성도이다.
도 11은 본 발명의 일 실시 예에 따른 카메라 시스템에서 객체와의 거리정보를 획득하는 방법을 설명하기 위한 것이다.
도 12는 본 발명의 일 실시 예에 따른 카메라 시스템에서 카메라 시스템에서 객체와의 거리를 산출하는 방법을 도시한 것이다.
도 13은 본 발명의 일 실시 예에 따른 카메라 시스템에서 카메라 보정모듈을 이용하여 객체정보 산출에 사용되는 파라미터를 보정하는 방법을 도시한 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 카메라 보정모듈을 개략적으로 도시한 블록도이고, 도 2는 본 발명의 다른 실시 예에 따른 카메라 보정모듈을 개략적으로 도시한 블록도이다. 또한, 도 3은 본 발명의 일 실시 예에 따른 카메라 보정모듈에 포함된 거울의 투과 특성의 일 예를 도시한 것이다. 또한, 도 4는 본 발명의 일 실시 예에 따른 카메라 보정모듈에서 거울 표면의 코팅층을 형성하는 일 예를 도시한 것이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 카메라 보정모듈(100)은 광원부(110), 제1 및 제2거울모듈(121, 122)을 포함할 수 있다.

광원부(110)는 평행광(collimated light)을 출사하는 광원을 포함하며, 평행광을 출사하는 발광장치이다. 평행광은 한 방향으로 진행하는 광을 의미한다. 평행광을 출사하는 광원으로는 레이저, 레이저 다이오드, 발광 다이오드 등이 포함될 수 있다.

광원부(110)에서 출사되는 평행광은 제1 및 제2거울모듈(121, 122)로 입사할 수 있다. 이를 위해, 광원부(110)는 광원부(110)의 출사면이 제1 및 제2거울모듈(121, 122)을 향하도록 설치 시의 자세 및 위치가 제어될 수 있다.

제1 및 제2거울모듈(121, 122)은 광원부(110)로부터 입사하는 평행광의 적어도 일부를 반사할 수 있다. 제1 및 제2거울모듈(121, 122)에서 반사된 평행광은 각 카메라의 광학계로 입사할 수 있다. 또한, 각 카메라로 입사한 평행광은 이미지센서의 특정 위치에 결상될 수 있다.

카메라 시스템(후술하는 도 10의 도면부호 10 참조)은 평행광의 결상위치를 획득하고, 결상위치의 이동에 따라서 객체와의 거리정보 산출에 사용되는 파라미터들을 보정할 수 있다.

제1 및 제2거울모듈(121, 122)은 광원부(110)로부터 입사하는 평행광의 대부분을 반사하는 반사거울을 포함할 수 있다.

제1 및 제2거울모듈(121, 122)은 광원부(110)로부터 입사하는 평행광 중 일부는 반사하고 일부는 투과하는 반투명 거울을 포함할 수도 있다. 이 경우, 반투명 거울의 적어도 일부 표면에는 반투명 거울의 투과반사특성을 조절하는 반투명 코팅층이 형성될 수 있다.

제1 및 제2거울모듈(121, 122)이 반투명 거울을 포함하는 경우, 코팅층은 특정 파장 대역의 광에 대해 높은 반사율을 가지도록 형성될 수 있다.

도 3을 참조하면, 반투명 거울 표면의 코팅층은 제1 및 제2카메라(210, 220)가 감응하는 파장 대역의 광에 대해서는 투과율이 높고 반사율이 낮으며, 그 외 대역에 대해서는 투과율이 낮고 반사율이 높도록 형성될 수 있다. 이 경우, 광원부(110)는 코팅층에 의해 평행광이 반사되도록 코팅층의 투과율이 50% 이하인 파장 대역의 평행광을 출사할 수 있다. 예를 들어, 카메라에서 감응하는 대역이 가시광선 대역 및 근적외선 대역인 경우, 광원부(110)는 코팅층에서의 반사율이 높은 적외선 대역의 평행광을 출사할 수 있다.

제1 및 제2거울모듈(121, 122)이 반투명 거울을 포함하는 경우, 반사를 위한 코팅층은 반투명 거울의 표면에서 광원부(110)의 평행광이 입사하는 일부 영역에 대해서만 형성될 수 있다. 도 4를 예로 들면, 코팅층(132)은 반사 거울(131)의 중심부에 형성될 수 있다. 이와 같이, 코팅층이 반투명 거울의 일부 표면에만 형성되는 경우, 반투명 거울에서 코팅층이 형성되는 영역을 제외한 나머지 영역은 입사하는 광의 대부분을 투과시킬 수 있다.

한편, 도 1에서는 카메라 보정모듈(100)이 복수의 거울 모듈을 포함하는 경우를 예로 들어 도시하였으나, 본 발명의 실시 예는 이로 한정되지 않는다.

도 2는 본 발명의 다른 실시 예에 따른 카메라 보정모듈을 도시한 것으로서, 도 2를 참조하면 카메라 보정모듈(100)은 하나의 거울모듈(120)만을 포함할 수 있다. 이 경우, 카메라 보정모듈(100)은 각 카메라에 순차적으로 결합되어 사용되거나 복수의 카메라 보정모듈(100)이 동시에 각 카메라에 결합되어 사용될 수도 있다.

전술한 구조의 카메라 보정모듈(100)은 카메라 모듈(후술하는 도 5의 도면부호 200 참조)에 결합되어 카메라 시스템(10)의 오차 보정에 사용될 수 있다.

도 5는 본 발명의 일 실시 예에 따른 카메라 모듈을 개략적으로 도시한 구조도이다. 또한, 도 6 및 도 7은 본 발명의 일 실시 예에 따른 카메라 모듈에서 대상체에 결합하는 하우징의 예들을 도시한 사시도들이다.

도 5를 참조하면, 본 발명의 일 실시 예에 따른 카메라 모듈(200)은 제1 및 제2카메라(210, 220), 제1 및 제2이미지센서부(230, 240), 제1 및 제2자세센서부(250, 260), 온도센서부(270), 통신부(280) 등을 포함할 수 있다.

제1 및 제2카메라(210, 220)는 서로 소정 간격 이격되어 대상체에 배치되며, 서로 다른 위치에서 대상체의 외부에 위치하는 객체를 촬영한다. 제1 및 제2카메라(210, 220)가 설치되는 대상체가 차량인 경우를 예로 들면, 제1 및 제2카메라(210, 220)는 차량의 전방 또는 후방에 배치되어, 차량의 전방 또는 후방에 위치하는 객체를 서로 다른 위치에서 촬영할 수 있다.

제1 및 제2이미지센서부(230, 240)는 제1 및 제2카메라(210, 220) 각각을 통해 촬영한 영상 신호로부터 이미지 데이터를 획득할 수 있다.

제1 및 제2자세센서부(250, 260)는 제1 및 제2카메라(210, 220) 각각의 자세정보를 획득할 수 있다. 이를 위해, 제1 및 제2자세센서부(250, 260)는 제1 및 제2카메라(210, 220) 각각의 각속도를 측정하는 자이로 센서, 이동하는 타겟의 가속도를 측정하는 가속도 센서, 타겟의 기울기를 검출하는 기울기 센서 등을 포함할 수 있다.

예를 들어, 제1 및 제2자세센서부(250, 260)는 서로 직교하는 3축에 대해 제1 및 제2카메라(210, 220) 각각의 회전을 감지하여 자세 변동을 검출하는 자이로 센서를 포함할 수 있다.

한편, 제1 및 제2자세센서부(250, 260)는 제1 및 제2카메라(210, 220) 각각의 자세정보를 획득하기 위해, 제1 및 제2카메라(210, 220) 각각의 몸체(body)에 일체형으로 결합될 수 있다.

온도센서부(270)는 카메라 모듈(200)의 몸체를 구성하는 하우징 또는 하우징 주변의 온도정보 획득할 수 있다.

통신부(280)는 제1 및 제2이미지센서부(230, 240)를 통해 획득되는 이미지 데이터, 제1 및 제2자세센서부(250, 260)을 통해 획득되는 자세정보, 온도센서부(270)을 통해 획득되는 온도정보 등을 유무선 통신 방식으로 카메라 모듈(200)의 외부 기기로 전달하는 기능을 수행할 수 있다.

예를 들어, 운전자의 운전을 보조하는 카메라 시스템(후술하는 도 10의 도면부호 10 참조)의 제어장치(후술하는 도 10의 도면부호 300 참조)로 이미지 데이터, 자세정보, 온도정보 등을 전달할 수 있다.

카메라 모듈(200)이 차량에 설치되는 경우, 설치 특성 상 카메라 시스템(후술하는 도 10의 도면부호 10 참조)의 제어장치(후술하는 도 10의 도면부호 300 참조)와는 분리되어 설치될 수 있다. 따라서, 본 발명의 일 실시 예에서는 카메라 모듈(200)에 통신부(280)를 구비하여, 카메라 모듈(200)이 카메라 시스템(10)의 제어장치(300)와 데이터를 송수신할 수 있도록 지원할 수 있다.

도 6을 참조하면, 카메라 모듈(200)은 차량 등의 대상체에 카메라 모듈(200)을 고정시켜 지지하기 위한 하우징(201)을 포함할 수 있다.

하우징(201)에서 대상체의 외부를 향하는 일면에는 제1 및 제2카메라(210, 220)가 소정 간격 이격되어 배치되어, 서로 다른 위치에서 대상체의 외부 영상을 획득할 수 있다.

제1 및 제2카메라(210, 220)의 몸체에는 제1 및 제2카메라(210, 220) 각각의 자세정보를 획득하기 위한 제1 및 제2자세센서부(250, 260)이 일체형으로 구비될 수 있다.

또한, 하우징(201)에는 제1 및 제2카메라(210, 220) 각각에 대응하여 제1 및 제2이미지센서부(230, 240)이 배치될 수 있다.

하우징(201)의 내부에는 하우징(201) 또는 하우징(201) 주변의 온도정보를 획득하기 위한 온도센서부(270), 카메라 모듈(200)과 외부 기기와의 통신을 위한 통신부(280) 등이 내장될 수도 있다.

한편, 도 6은 카메라 모듈(200)을 대상체인 차량에 고정시키기 위한 하우징의 일 예를 도시한 것으로서, 본 발명의 실시 예는 이에 한정되지 않는다. 본 발명의 실시 예에 따르면, 카메라 모듈(200)을 차량에 고정시키기 위한 하우징은 다양한 변형이 가능하다.

도 7을 예로 들면, 카메라 모듈(200)에 포함된 제1 및 제2카메라(210, 220)는 하나의 하우징이 아닌 서로 분리된 하우징(201a, 201b)에 의해 대상체에 각각 고정될 수도 있다.

도 8 및 도 9는 본 발명의 일 실시 예에 따른 카메라 보정모듈과 카메라 모듈이 결합하는 예들을 개략적으로 도시한 것이다.

도 8은 카메라 보정모듈(100)이 카메라 모듈(200)과 별도로 구현되어, 탈부착되는 경우를 도시한 것이다.

도 8을 참조하면, 카메라 보정모듈(100)의 제1 및 제2거울모듈(121, 122)은 제1 및 제2카메라(210, 220)와는 별도로 구현되며, 제1 및 제2카메라(210, 220) 각각의 몸체 외측에 탈부착될 수 있다.

즉, 카메라 보정모듈(100)은 평상시에는 카메라 모듈(200)과 분리된 상태를 유지하고, 카메라 시스템(후술하는 도 10의 도면부호 10 참조)의 오차 보정 시에는 제1 및 제2카메라(210, 220) 각각에 결합되어 사용될 수 있다.

이 경우, 카메라 보정모듈(100)은 탈부착이 가능하여 평상시에는 카메라(210, 220)의 기본 성능에 영향을 미치지 않으므로, 제1 및 제2거울모듈(121, 122)은 입사하는 광의 대부분을 반사하는 반사 거울을 포함할 수 있다.

도 9는 카메라 보정모듈(100)과 카메라 모듈(200)이 일체형으로 구현되는 경우를 도시한 것이다.

도 9를 참조하면, 카메라 보정모듈(100)의 제1 및 제2거울모듈(121, 122)은 제1 및 제2카메라(210, 220) 각각의 하우징에 일체형으로 결합될 수 있다. 즉, 제1 및 제2카메라(210, 220) 각각의 광학계를 감싸는 경통 내측에 제1 및 제2거울모듈(121, 230)이 각각 삽입 결합될 수 있다.

이 경우, 카메라 보정모듈(100)은 카메라 시스템(10)의 보정과 상관 없이 제1 및 제2카메라(210, 220)에 결합된 상태를 유지하므로, 제1 및 제2카메라(210, 220)의 성능에 영향을 미칠 수 있다.

따라서, 제1 및 제2거울모듈(121, 122)은 제1 및 제2카메라(210, 220)에 미치는 영향을 최소화하도록, 특정 파장 대역의 광만 반사하도록 코팅층이 형성되거나, 광원부(110)의 평행광이 입사하는 일부 영역에 대해서만 반사 기능을 하는 코팅층을 형성할 수 있다.

도 10은 본 발명의 일 실시 예에 따른 카메라 시스템을 도시한 블록 구성도이다. 또한, 도 11은 본 발명의 일 실시 예에 따른 카메라 시스템에서 객체와의 거리정보를 획득하는 방법을 설명하기 위한 것이다.

도 10을 참조하면, 본 발명의 일 실시 예에 따른 카메라 시스템(10)은 스테레오 카메라 시스템으로서, 카메라 모듈(200) 및 제어장치(300)를 포함할 수 있다. 또한, 카메라 시스템(10)은 카메라 보정모듈(100)을 더 포함할 수 있다.

카메라 보정모듈(100)은 광원부(110)과 적어도 하나의 거울(121, 122)을 포함하며, 제1 및 제2카메라(210, 220)의 위치 변화를 판별하기 위한 평행광을 제1 및 제2카메라(210, 220) 각각의 광학계로 입사시키는 기능을 수행할 수 있다.

카메라 모듈(200)은 서로 소정 간격 이격되어 배치되는 제1 및 제2카메라(210, 220)를 포함하며, 제1 및 제2카메라(210, 220)를 통해 외부 영상에 해당하는 이미지 데이터를 획득할 수 있다.

또한, 카메라 모듈(200)은 제1 및 제2자세센서부(250, 260) 및 온도센서부(270)를 포함하며, 제1 및 제2카메라(210, 220) 각각의 자세정보, 카메라 모듈(200)의 하우징 또는 주변에 대한 온도정보를 획득할 수 있다.

제어장치(300)는 유무선 통신을 통해 카메라 모듈(200)로부터 제1 및 제2카메라(210, 220)를 통해 획득한 이미지 데이터를 지속적으로 수신한다. 또한, 영상 인식을 통해 카메라 모듈(200)로부터 수신한 각 이미지 데이터로부터 소정의 조건을 만족하는 객체를 검출한다. 예를 들어, 기 설정된 크기 이상이거나, 외곽선이 소정의 형태를 이루는 객체를 검출할 수 있다.

제어장치(300)는 이미지 데이터로부터 객체가 검출되면, 각 이미지 데이터에서의 객체 위치와, 제1 및 제2카메라(210, 220)간의 거리정보를 토대로 객체와의 거리정보를 획득할 수 있다.

도 11을 참조하면, 제1 및 제2카메라(210, 220) 각각의 초점 거리를 f, 제1 및 제2카메라(210, 220) 간의 거리를 b, 제1 및 제2카메라(210, 220)를 통해 입력되는 이미지 데이터 상에서 제1 및 제2카메라(210, 220) 각각의 중심에 대응하는 지점과 객체(OB)간의 거리를 각각 DL 및 DR이라고 정의하는 경우, 제1 및 제2카메라(210, 220)와 객체(OB) 간의 거리정보(Z)는 아래의 수학식 1과 같이 획득할 수 있다.

위 수학식 1에서, 제1 및 제2카메라(210, 220)의 초점 거리(f)는 제1 및 제2카메라(210, 220)의 사양에 따라 미리 설정된 값이 사용될 수 있다.

또한, 제1 및 제2카메라(210, 220)간 거리(d)는 제1 및 제2카메라(210, 220)의 중심점 간의 거리로서, 카메라 시스템(10)의 설치 시 설정된 값이 초기 값으로 사용될 수 있다.

한편, 카메라 시스템(10)이 대상체인 차량에 설치된 이후 차량 진동, 온도 변화 등으로 인해 제1 및 제2카메라(210, 220)의 위치, 자세 등이 변경될 수 있다.

도 11을 참조하면, 거리정보 산출은 제1 및 제2카메라(210, 220)가 소정의 각도로 객체를 촬영하는 경우를 가정하고 이루어지며, 제1카메라(210) 또는 제2카메라(220)의 자세가 변경되면, 거리정보 산출에 영향을 줄 수 있다. 또한, 위 수학식 1을 참조하면, 제1 및 제2카메라(210, 220)간의 거리가 변동되면, 거리정보 산출에 영향을 줄 수 있다.

따라서, 변경된 파라미터를 반영하는 보정 과정 없이, 카메라 모듈(200)의 초기 설치 시 설정된 파라미터를 그대로 사용하여 물체와의 거리정보를 산출하는 경우, 거리정보의 정확도가 떨어지게 된다.

제어장치(300)는 제1 및 제2카메라(210)의 위치, 자세 등이 변경됨에 따라 객체와의 거리정보 산출에 오차가 발생하는 것을 방지하기 위해, 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수 있다.

제어장치(300)는 카메라 보정모듈(100)에 의해 제1 및 제2카메라(210, 220)로 입사하는 평행광의 결상위치를 획득하고, 이를 토대로 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수 있다.

제1 및 제2카메라(210, 220)의 자세가 변경되는 경우, 제1 및 제2카메라(210, 220)의 자세변경방향 및 자세변경 정도에 따라서 제1 및 제2카메라(210, 220)에 의해 평행광이 결상되는 위치가 달라질 수 있다. 따라서, 제어장치(300)는 평행광의 결상위치의 이동방향 및 이동량을 토대로 제1 및 제2카메라(210, 220) 각각의 자세변경방향 및 자세변경 정도를 획득할 수 있다.

한편, 평행광이 결상되는 위치의 이동방향 및 이동량을 획득하기 위해서는, 이전에 획득한 평행광의 결상위치정보가 필요하다. 따라서, 제어장치(300)는 카메라 보정모듈(100)의 초기 사용 시 또는 카메라 보정모듈(100)의 이전 사용시 획득한 평행광의 결상위치정보를 메모리(미도시)에 저장하고, 이를 이동방향 및 이동량 산출의 기준이 되는 데이터로 사용할 수 있다.

제어장치(300)는 카메라 모듈(200)로부터 제1 및 제2카메라(210, 220) 각각의 자세정보를 지속적으로 수신하고, 이를 토대로 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수도 있다.

예를 들어, 제어장치(300)는 제1 및 제2카메라(210, 220) 각각의 자세정보를 토대로 제1 및 제2카메라(210, 220) 각각의 회전방향 및 회전각도를 산출하고, 이를 토대로 각 이미지 데이터에서의 객체의 위치정보를 보정할 수 있다. 또한, 예를 들어, 제어장치(300)는 제1 및 제2카메라(210, 220) 각각의 자세정보를 토대로 제1 및 제2카메라(210, 220) 간의 거리 변화를 산출하고, 이를 토대로 제1 및 제2카메라(210, 220)간 거리를 보정할 수 있다.

제어장치(300)는 카메라 모듈(200)로부터 온도정보를 지속적으로 수신하고, 이를 토대로 객체와의 거리정보 산출에 사용되는 파라미터에 대한 보정 과정을 수행할 수 있다.

제어장치(300)는 카메라 모듈(200)로부터 수신되는 온도정보를 토대로 카메라 모듈(200)에 대한 온도 변화를 산출하고, 온도 변화가 기 설정된 수준 이상인 경우 온도 변화 정도와 제1 및 제2카메라(210, 220)가 설치된 하우징(201)의 열팽창 계수를 토대로 제1 및 제2카메라(210, 220) 간 거리(d)를 보정할 수 있다. 즉, 온도 변화에 따른 하우징(201)의 팽창/수축 정도를 예측하고, 이를 토대로 제1 및 제2카메라(210, 220) 간 거리(d)의 변화를 산출하여 변경된 거리만큼 제1 및 제2카메라(210, 220)간 거리(d)를 보정할 수 있다.

제어장치(300)는 전술한 방법으로 보정된 파라미터를 토대로 차량 전방 또는 후방의 객체와의 거리정보가 획득되면, 이를 토대로 차량의 안전 운전을 보조할 수 있다.

예를 들어, 객체와의 거리정보를 토대로 객체와의 충돌 위험을 예측하고, 충돌 위험이 감지되면, 이를 경고하는 경고음 등을 출력할 수 있다.

도 12는 본 발명의 일 실시 예에 따른 카메라 시스템의 제어방법을 도시한 흐름도로서, 카메라 시스템에서 객체와의 거리를 산출하는 방법을 도시한 것이다.

도 12를 참조하면, 제어장치(300)는 카메라 시스템(10)이 온(ON)됨에 따라(S101), 카메라 모듈(200)로부터 서로 이격되어 배치되는 제1 및 제2카메라(210, 220)를 통해 촬영되는 이미지 데이터를 획득한다(S102).

제어장치(300)는 영상 인식을 통해 제1 및 제2카메라(210, 220)를 통해 촬영되는 이미지 데이터로부터 소정의 조건을 만족하는 객체의 검출 여부를 판단한다(S103).

객체가 검출되면, 제어장치(300)는 검출된 객체와 제1 및 제2카메라(210, 2102)와의 거리정보를 산출한다(S104).

전술한 S102 단계 내지 S104 단계는 카메라 시스템(10)이 오프(off)될 때까지 반복적으로 수행될 수 있다(S105).

한편, 상기 S104 단계에서, 제어장치(300)는 제1카메라(210) 또는 제2카메라(220)의 자세가 변경되거나 제1 및 제2카메라(210, 220) 간의 거리가 변경되면, 이를 반영하여 거리정보 산출에 사용되는 파라미터들을 보정하고, 보정된 파라미터들을 토대로 객체와의 거리정보를 산출할 수 있다.

도 13은 본 발명의 일 실시 예에 따른 카메라 시스템의 제어방법을 도시한 흐름도로서, 카메라 보정모듈을 이용하여 객체정보 산출에 사용되는 파라미터를 보정하는 방법을 도시한 것이다.

도 13을 참조하면, 제어장치(300)는 카메라 보정모듈(100)의 광원부(110)가 평행광을 조사하도록 광원부(110)를 온(ON)시킨다(S201).

다음으로, 제어장치(300)는 제1 및 제2카메라(210, 220)를 통해 평행광을 촬영한 이미지 데이터를 획득하고, 이미지 데이터로부터 평행광의 결상위치를 획득한다(S202).

또한, 상기 S202 단계를 통해 획득한 평행광의 결상위치와 기 저장된 평행광의 결상위치를 비교하여 결상위치의 이동정보 즉, 결상위치의 이동방향 및 이동량을 획득한다(S203). 여기서, 기 저장된 평행광의 결상위치정보는 카메라 보정모듈(100)의 초기 설치 시 또는 카메라 보정모듈(100)의 이전 사용 시에 획득되어 저장될 수 있다.

상기 S202 단계에서, 결상위치의 이동방향 및 이동량이 획득되면, 제어장치(300)는 이를 보정 데이터로 사용하여 객체와의 거리정보 산출에 사용되는 파라미터를 보정한다(S204).

한편, 보정 정확도를 향상시키기 위해, 카메라 보정모듈(100)에 포함되는 복수의 거울모듈(121, 122)은 거울면이 평행할 필요가 있다. 그러나, 실질적으로는 제조공차 등에 의해 복수의 거울모듈(121, 122)의 거울면이 완전한 평행을 이루기 어렵다. 따라서, 카메라 보정모듈(100)을 이용한 오차 보정의 정확도를 향상시키기 위해서는, 복수의 거울모듈(121, 122) 간의 각도관계를 거리정보 산출에 사용되는 파라미터 보정에 반영할 필요가 있다.

상기 S204 단계에서, 제어장치(300)는 평행광의 결상위치의 이동방향 및 이동량뿐만 아니라, 복수의 거울모듈(121, 122) 간의 각도관계를 보정 데이터로 사용할 수 있다. 복수의 거울모듈(121, 122) 간의 각도관계는 카메라 보정모듈(100)의 양산 단계에서 획득될 수 있다.

전술한 바와 같이, 카메라 보정모듈(100)을 이용하여 객체와의 거리정보 산출에 사용되는 파라미터가 보정되면, 제어장치(300)는 보정된 파라미터를 저장하고 이를 이용하여 객체와의 거리정보를 산출할 수 있다.

본 발명의 일 실시 예에 따르면, 차량의 운행 중에 발생하는 진동 등으로 인해 카메라의 자세가 변경되더라도 카메라 보정모듈을 이용하여 자세 변경에 따른 오차를 보정함으로써, 스테레오 카메라 시스템의 거리정보 산출 정확도를 향상시킬 수 있다.

본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 기록 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (12)

1. 직진성을 가지는 평행광을 출사하는 광원부, 그리고
   스테레오 카메라 시스템을 구성하는 카메라에 결합하며, 상기 광원부에서 출사되어 직진하여 입사하는 상기 평행광을 반사하여 상기 카메라로 입사시키는 거울모듈을 포함하며,
   상기 거울모듈은 상기 광원부에서 출사되어 직진하여 입사하는 상기 평행광을 선택적으로 반사하는 반투명 거울을 포함하며,
   상기 반투명 거울은 상기 카메라가 감응하는 파장 대역의 광은 투과시키고, 상기 평행광이 포함되는 파장 대역의 광은 반사하는 코팅층을 포함하는 카메라 보정모듈.
   
2. 제1항에 있어서,
   상기 거울모듈은 상기 카메라의 몸체에 탈부착되는 카메라 보정모듈.
   
3. 삭제
4. 제1항에 있어서,
   상기 코팅층은 상기 반투명 거울의 일부 표면에 형성되며, 상기 반투명 거울의 투과율을 결정하는 카메라 보정모듈.
   
5. 서로 다른 위치에서 객체를 촬영하는 복수의 카메라,
   직진성을 가지는 평행광을 출사하는 광원부 및 상기 복수의 카메라에 결합하며 상기 광원부에서 출사되어 직진하여 입사하는 상기 평행광을 반사하여 상기 복수의 카메라로 입사시키는 복수의 거울모듈을 포함하는 카메라 보정모듈, 그리고
   상기 복수의 카메라가 상기 객체를 촬영한 이미지 데이터를 이용하여 상기 객체에 대한 거리정보를 산출하며, 상기 복수의 카메라에 의해 상기 평행광이 결상되는 결상위치를 토대로 상기 거리정보의 산출에 사용되는 파라미터를 보정하는 제어장치를 포함하며,
   상기 거울모듈은 상기 광원부에서 출사되어 직진하여 입사하는 상기 평행광을 선택적으로 반사하는 반투명 거울을 포함하며,
   상기 반투명 거울은 상기 카메라가 감응하는 파장 대역의 광은 투과시키고, 상기 평행광이 포함되는 파장 대역의 광은 반사하는 코팅층을 포함하는 카메라 시스템.
   
6. 삭제
7. 제5항에 있어서,
   상기 코팅층은 상기 반투명 거울의 일부 표면에 형성되며, 상기 반투명 거울의 투과율을 결정하는 카메라 시스템.
   
8. 제5항에 있어서,
   상기 복수의 카메라 각각의 몸체에 일체형으로 결합되어 상기 각 카메라의 자세정보를 획득하는 자세센서부를 더 포함하며,
   상기 제어장치는 상기 자세정보를 토대로 상기 파라미터를 보정하는 카메라 시스템.
   
9. 제5항에 있어서,
   상기 복수의 카메라를 대상체에 고정하기 위한 하우징에 결합되어 온도정보를 획득하는 온도 센서를 더 포함하고,
   상기 제어장치는 상기 온도정보와 상기 하우징의 열팽창계수를 토대로, 상기 파라미터를 보정하는 카메라 시스템.
   
10. 제5항에 있어서,
    상기 제어장치는 상기 복수의 거울모듈 간의 각도관계를 토대로 상기 파라미터를 보정하는 카메라 시스템.
    
11. 제5항에 있어서,
    상기 파라미터는 상기 복수의 카메라 각각의 자세정보 또는 상기 복수의 카메라 간의 거리정보를 포함하는 카메라 시스템.
    
12. 카메라 시스템의 제어 방법에 있어서,
    광원부를 통해 직진성을 가지는 평행광을 조사하는 단계,
    복수의 카메라 각각에 부착된 거울모듈에 의해 상기 광원부에서 출사되어 직진하는 상기 평행광이 상기 복수의 카메라로 입사함에 따라, 상기 복수의 카메라를 통해 상기 평행광을 촬영한 이미지 데이터를 획득하는 단계,
    상기 이미지 데이터로부터 상기 평행광의 제1결상위치를 획득하는 단계,
    기 저장된 제2결상위치와 상기 제1결상위치를 비교하여 결상위치의 이동정보를 획득하는 단계,
    상기 결상위치의 이동정보를 토대로 거리정보 산출에 사용되는 파라미터를 보정하는 단계, 그리고
    상기 복수의 카메라를 통해 객체가 촬영되면, 상기 파라미터를 이용하여 상기 객체와의 거리정보를 산출하는 단계
    를 포함하며,
    상기 거울모듈은 상기 광원부에서 출사되어 직진하여 입사하는 상기 평행광을 선택적으로 반사하는 반투명 거울을 포함하며,
    상기 반투명 거울은 상기 카메라가 감응하는 파장 대역의 광은 투과시키고, 상기 평행광이 포함되는 파장 대역의 광은 반사하는 코팅층을 포함하는 제어 방법.

Images