KR101669197B1 - 광각 이미지 생성 장치 - Google Patents

Abstract

본 발명은 광각 이미지 생성 장치에 관한 것으로, 본 발명은 복수의 렌즈, 상기 복수의 렌즈의 후단에 각각 설치되어, 상기 복수의 렌즈를 통해 입사되는 빛 중 어느 하나의 채널의 빛을 통과시키는 복수의 컬러 필터, 상기 복수의 컬러 필터의 후단에 설치되어, 상기 복수의 컬러 필터로부터 입사되는 빛을 동시에 복수의 영상으로 변환하는 이미지 센서, 상기 이미지 센서의 후단에 설치되어, 상기 이미지 센서로부터 출력되는 복수의 영상 중 겹치는 영역을 추출하고, 상기 겹치는 영역 중 에지 값이 높은 영역을 선택하여 상기 복수의 영상을 하나의 광각 이미지로 생성하는 이미지 처리부를 포함한다.

컬러 필터, 이미지 센서, 포베온, 이미지 처리부, 에지

Description

광각 이미지 생성 장치{Apparatus for generating wide angle image}

본 발명은 광각 이미지 생성 시스템에 관한 것으로, 보다 상세하게는 차량에 후방에 설치되는 복수의 카메라와 하나의 이미지 센서를 이용하여 광각 이미지를 생성하는 광각 이미지 생성 시스템에 관한 것이다.

주행 중 운전자가 볼 수 없는 사각지대는 운전자의 안전을 위협하는 큰 위험요소이다. 차량을 운전하는 운전자는 대체로 전방만을 주시하고 있기 때문에 차량의 후방에는 주의를 기울이기가 어렵다. 이러한 위험요소를 제거하기 위해 차량에는 다양한 사각지대 제거자치가 개발되어 왔다. 사이드 미러에서 볼 수 없는 사각지대를 제거하기 위해서 보조거울을 일체화시키거나, 적외선 센서로 후방의 물체를 감지하고 경보를 통해 운전자에게 위험을 알려주는 장치들이 개발되고 실제 차량에 사용되고 있다. 최근에는 차량의 후방의 영상을 운전자의 디스플레이에 출력하여 사각지대를 줄여주는 방법들이 있다.

이때, 디스플레이에는 되도록 넓은 시야의 후방 영상이 표시되어야 하므로, 종래에는 차량 후방의 시야각을 확보하기 위해서 고가의 광각 렌즈를 사용하였으나, 광각 렌즈는 영상의 왜곡이 심하여 운전자에게 정확한 후방 상황을 전달하지 못하는 문제점이 있었다.

또한, 종래에는 광각 렌즈 대신에 복수의 렌즈를 장착하여 복수의 렌즈로부터 입사되는 영상을 조합하여 후방 상황을 전달하였으나, 복수의 렌즈를 사용할 경우에는 복수의 렌즈 각각으로부터 입사되는 빛을 전기적인 신호로 변환하는 복수의 이미지 센서가 장착되어야 한다. 이로 인해, 차량의 후방을 운전자에게 알려주는 모니터링 시스템의 구조가 복잡하고 단가가 상승하는 문제점이 있었다.

본 발명은 하나의 이미지 센서를 이용하여 차량 후방의 광각 범위를 넓힐 수 있는 광각 이미지 생성 장치를 제공한다.

본 발명의 한 특징에 따르면, 복수의 렌즈, 상기 복수의 렌즈의 후단에 각각 설치되어, 상기 복수의 렌즈를 통해 입사되는 빛 중 어느 하나의 채널의 빛을 통과시키는 복수의 컬러 필터, 상기 복수의 컬러 필터의 후단에 설치되어, 상기 복수의 컬러 필터로부터 입사되는 빛을 동시에 복수의 영상으로 변환하는 이미지 센서, 상기 이미지 센서의 후단에 설치되어, 상기 이미지 센서로부터 출력되는 복수의 영상 중 겹치는 영역을 추출하고, 상기 겹치는 영역 중 에지 값이 높은 영역을 선택하여 상기 복수의 영상을 하나의 광각 이미지로 생성하는 이미지 처리부를 포함하는 광각 이미지 생성 장치가 제공된다.

본 발명의 실시 예에서는 복수의 렌즈부로부터 입사되는 빛을 동시에 하나의 이미지 센서에서 복수의 영상으로 변환함으로써, 하나의 이미지 센서를 이용하여 광각 이미지를 생성할 수 있는 효과가 있다.

또한, 복수의 렌즈에 복수의 이미지 센서가 아닌 하나의 이미지 센서를 사용 함으로써, 광각 이미지 생성 시스템의 단가를 낮출 수 있다.

더하여, 본 발명에서는 복수의 영상 중 겹치는 영역에 대해서는 에지 값이 큰 영상을 선택함으로써, 선명도가 높은 광각 이미지를 생성할 수 있다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이 다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해 되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이제 본 발명의 실시 예에 따른 광각 이미지 생성 장치에 대하여 도면을 참고하여 상세하게 설명하고, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기도 한다.

도 1은 본 발명의 실시 예에 따른 광각 이미지 생성 장치의 개략적인 구성도이고, 도 2는 본 발명의 실시 예에 따른 광각 이미지 생성 과정을 나타내는 도면이다.

도 1에 도시된 바와 같이, 본 발명에서는 차량의 후방 이미지를 촬영하기 위해 차량의 후방에 설치되는 복수의 렌즈부(10: 11, 12, 13)와, 복수의 렌즈부(10)에 각각 연결되어 복수의 렌즈부(10)를 통해 입사되는 빛 중 하나의 채널(R(red), G(green), B(blue) 채널)의 빛만은 선택적으로 통과시키는 복수의 컬러 필터부(20: 21, 22, 23)와, 복수의 컬러 필터부(20)와 연결되어 복수의 컬러 필터부(20)를 통해 입사되는 빛을 전기적인 신호를 갖는 복수의 영상으로 변환하는 이미지 센서(30)와, 이미지 센서(30)에서 출력되는 전기적인 신호 중 겹치는 영상 영역에 대해서는 에지 값(edge value)이 높은 영상 영역을 선택하여 하나의 광각 이미지를 출력하는 이미지 처리부(ISP, Image signal Processor)(40)와, 이미지 처리부(40)와 연결되어 이미지 처리부(40)에서 출력되는 광각 이미지를 표시하는 디스플레이부(50)를 포함한다.

도 1에 도시된 바와 같이, A부터 P까지 기재되어 있는 피사체를 촬영한다고 가정할 때, 제1 렌즈(11)는 A부터 G까지의 제1 영상(S1)을 촬영하고, 제2 렌즈(12)는 E부터 L까지의 제2 영상(S2)을 촬영하고, 제3 렌즈(13)는 J부터 P까지의 제3 영상(S3)을 촬영한다.

제1 렌즈(11)에서 촬영된 제1 영상(S1)은 제1 컬러 필터(21)에 초점이 맺히게 되고, 제2 렌즈(12)에서 촬영된 제2 영상(S2)은 제2 컬러 필터(22)에 초점이 맺히게 되고, 제3 렌즈(13)에서 촬영된 제3 영상(S3)은 제3 컬러 필터(23)에 초점이 맺히게 된다.

복수의 컬러 필터부(20)는 영상의 색을 분리하고 필터링하는 수단으로서, 제1컬러 필터(21)는 R 채널의 색을 분리하여 이미지 센서(30)로 출력하고, 제2 컬러 필터(22)는 G 채널의 색을 분리하여 이미지 센서(30)로 출력하고, 제3 컬러 필터(23)는 B 채널의 색을 분리하여 이미지 센서(30)로 출력한다.

본 발명에서는 제1 컬러 필터(21)가 R 채널의 색을 분리하고, 제2 컬러 필 터(22)가 G 채널의 색을 분리하고, 제3 컬러 필터(23)가 B 채널의 색을 분리한다고 하였으나, 이는 상호 변경 가능하다.

이미지 센서(30)는 복수의 컬러 필터부(20)로부터 빛이 동시에 입사되고, 입사된 빛을 전기적인 신호로서 제1 영상(S1) 내지 제3 영상(S3)으로 변환하여 이미지 처리부(40)로 출력한다.

본 발명에서 이미지 센서(30)는 세로로 각 색 성분에 해당하는 빛의 세기를 측정할 수 있는 3층 구조로 이루어진 포베온 센서(foveon sensor)로서, 제1 층은 제3 컬러 필터(23)로부터 입사되는 파장이 제일 짧은 B 채널의 빛의 세기를 측정하고, 제2 층은 제2 컬러 필터(22)로부터 입사되는 G 채널의 빛의 세기를 측정하고, 제3 층은 제1 컬러 필터(21)로부터 입사되는 R 채널의 빛의 세기를 측정한다.

이와 같이, 본 발명의 이미지 센서(30)는 복수의 컬러 필터부(20)로부터 R, G, B 채널의 빛을 동시에 받아들이고, 각 층별로 B, G, R 채널의 빛의 세기를 측정하여 그에 대응되는 영상으로 출력한다.

이미지 처리부(40)는 제1 영상(S1)과 제2 영상(S2)이 서로 겹치는 영역을 추출하고, 제1 영상(S1)과 제2 영상(S2)이 겹치는 영역에서 에지 값(edge value)이 더 큰 영상을 선택하여 광각 이미지를 생성한다.

또한, 이미지 처리부(40)는 제2 영상(S2)과 제3 영상(S3)이 서로 겹치는 영역을 추출하고, 제2 영상(S2)과 제3 영상(S3)이 겹치는 영역에서 에지 값이 더 큰 영상을 선택하여 광각 이미지를 생성한다.

보다 구체적으로, 도 2에 도시된 바와 같이, 제1 영상(S1)의 EFG와 제2 영 상(S2)의 EFG가 겹치는 영역(A)일 경우, 이미지 처리부(40)는 겹치는 영역(A)에서 제1 영상(S1)의 에지 값과 제2 영상(S2)의 에지 값을 비교하여 에지 값이 더 큰 제2 영상(S2)의 겹치는 영역(A)을 광각 이미지의 일부 영상으로 선택한다.

그리고, 제2 영상(S2)의 JKL과 제3 영상(S3)의 JKL이 겹치는 영역(B)일 경우, 이미지 처리부(40)는 겹치는 영역(B)에서 제2 영상(S2)의 에지 값과 제3 영상(S3)의 에지 값을 비교하여 에지 값이 더 큰 제3 영상(S3)의 겹치는 영역(B)을 광각 이미지의 일부 영상으로 선택한다.

즉, 이미지 처리부(40)는 제1 영상(S1) 내지 제3 영상(S3) 중 서로 겹치는 영역이 존재할 경우에는 겹치는 영역에서 에지 값이 더 큰 영상을 광각 이미지의 영상으로 선택하여 도 2에 도시된 바와 같이 A부터 P까지의 광각 이미지(C)를 생성한다.

이미지 처리부(40)는 광각 이미지(C)를 디스플레이부(50)로 출력하고, 디스플레이부(50)는 운전자에게 광각 이미지를 표시한다.

이와 같이, 본 발명에서는 복수의 렌즈부(10)로부터 입사되는 빛을 동시에 하나의 이미지 센서(30)에서 복수의 영상으로 변환함으로써, 하나의 이미지 센서(30)를 이용하여 광각 이미지를 생성할 수 있는 효과가 있다.

또한, 복수의 렌즈부(10)에 하나의 이미지 센서(30)를 사용함으로써, 광각 이미지 생성 시스템의 단가를 낮출 수 있다.

더하여, 본 발명에서는 복수의 영상 중 겹치는 영역에 대해서는 에지 값이 큰 영상을 선택함으로써, 선명도가 높은 광각 이미지를 운전자에게 제공할 수 있 다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 1은 본 발명의 실시 예에 따른 광각 이미지 생성 장치의 개략적인 구성도이다.

도 2는 본 발명의 실시 예에 따른 광각 이미지 생성 과정을 나타내는 도면이다.

Claims (8)

1. 복수의 렌즈부,

   상기 복수의 렌즈부의 후단에 각각 설치되어, 상기 복수의 렌즈부를 통해 입사되는 빛 중 어느 하나의 채널의 빛을 통과시키는 복수의 컬러 필터부,

   상기 복수의 컬러 필터부의 후단에 설치되어, 상기 복수의 컬러 필터부로부터 입사되는 빛을 동시에 복수의 영상으로 변환하고, 복수의 층으로 이루어져 있으며 상기 복수의 컬러 필터부에서 제일 가까운 층은 파장이 제일 짧은 채널의 빛의 세기를 측정하는 이미지 센서, 및

   상기 이미지 센서의 후단에 설치되어, 상기 이미지 센서로부터 출력되는 복수의 영상 중 겹치는 영역을 추출하고, 상기 겹치는 영역 중 에지 값이 높은 영역을 선택하여 상기 복수의 영상을 하나의 광각 이미지로 생성하는 이미지 처리부를 포함하고,

   상기 이미지 센서는,

   B 채널의 빛의 세기를 측정하는 제1층,

   G 채널의 빛의 세기를 측정하는 제2층, 및

   R 채널의 빛의 세기를 측정하는 제3층을 포함하며,

   상기 이미지 처리부는,

   상기 제1층 내지 제3층에서 각각 측정된 빛의 세기에 따른 복수의 영상 중 겹치는 영역을 추출하고, 상기 겹치는 영역을 포함하는 복수의 영상 중 에지 값이 큰 영역을 상기 광각 이미지의 일부 영역으로 선택하는

   광각 이미지 생성 장치.
2. 제1항에 있어서,

   상기 복수의 컬러 필터부 각각은 R 채널, G 채널 및 B 채널의 빛을 선택적으로 통과시키는 광각 이미지 생성 장치.
3. 삭제
4. 삭제
5. 제1항에 있어서,

   상기 이미지 처리부는 상기 제1층에서 측정된 빛의 세기에 따른 제1 영상과, 상기 제2층에서 측정된 빛의 세기에 따른 제2 영상 중 겹치는 제1 영역을 추출하고, 상기 제1 영상의 제1 영역의 에지 값과 상기 제2 영상의 제1 영역의 에지 값 중 에지 값이 큰 영역을 상기 광각 이미지의 일부 영역으로 선택하는 광각 이미지 생성 장치.
6. 제5항에 있어서,

   상기 광각 이미지는 상기 제1 영상 및 상기 제2 영상을 포함하는 광각 이미지 생성 장치.
7. 제1항에 있어서,

   상기 이미지 처리부는 상기 제2층에서 측정된 빛의 세기에 따른 제2 영상과, 상기 제3층에서 측정된 빛의 세기에 따른 제3 영상 중 겹치는 제2 영역을 추출하고, 상기 제2 영상의 제2 영역의 에지 값과 상기 제3 영상의 제2 영역의 에지 값 중 에지 값이 큰 영역을 상기 광각 이미지의 일부 영역으로 선택하는 광각 이미지 생성 장치.
8. 제7항에 있어서,

   상기 광각 이미지는 상기 제2 영상과 상기 제3 영상을 포함하는 광각 이미지생성 장치.

Images