KR102019089B1 - 이미지 센서 및 그를 갖는 카메라 장치 - Google Patents

Abstract

본 발명은 이미지 센서 및 그를 갖는 카메라 장치에 관한 것으로, 적외선 픽셀 패턴과, 적외선 픽셀 패턴과 함께 격자 형태로 배치되는 다수개의 컬러 픽셀 패턴들을 포함하는 이미지 센서 및 그를 갖는 카메라 장치를 제공한다. 본 발명에 따르면, 적외선 픽셀 패턴에서 광 신호로부터 적외선 정보를 검출함에 따라, 카메라 장치에서 저조도 촬영이 가능하다.

Description

이미지 센서 및 그를 갖는 카메라 장치{IMAGE SENSOR AND CAMERA APPARATUS HAVING THE SAME}

본 발명은 이미지 센서 및 그를 갖는 카메라 장치에 관한 것으로, 특히 다수개의 컬러 픽셀 패턴들을 포함하는 이미지 센서 및 그를 갖는 카메라 장치에 관한 것이다.

일반적으로 이미지 센서는 다수개의 컬러 픽셀 패턴들을 포함한다. 이 때 이미지 센서에서, 컬러 픽셀 패턴들은 격자 형태로 배열된다. 그리고 이미지 센서는 컬러 픽셀 패턴들을 통해, 광 신호로부터 컬러 정보를 검출한다. 이로 인하여, 이미지 센서가 장착되는 카메라 장치에서, 광 신호에 대응되는 영상 데이터의 처리가 가능하다.

그런데, 상기와 같은 이미지 센서를 이용하여, 카메라 장치에서 입체적인 영상 데이터를 재현하는 데 어려움이 있다. 그리고 상기와 같은 이미지 센서를 이용하여, 카메라 장치에서 고해상도(super resolution)를 구현하는 데 어려움이 있다.

본 발명의 목적은 입체적인 영상 데이터를 재현할 뿐만 아니라, 고해상도의 구현이 가능한 이미지 센서 및 카메라 장치를 제공하는 데 있다.

상기 과제를 해결하기 위한 본 발명에 따른 이미지 센서는, 적외선 픽셀 패턴과, 상기 적외선 픽셀 패턴과 함께 격자 형태로 배치되는 다수개의 컬러 픽셀 패턴들을 포함하는 것을 특징으로 한다.

여기서, 본 발명에 따른 이미지 센서에 있어서, 상기 적외선 픽셀 패턴과 컬러 픽셀 패턴들은, 두 개의 행과 두 개의 열로 배치될 수 있다.

한편, 상기 과제를 해결하기 위한 본 발명에 따른 카메라 장치는, 수신되는 광 신호에서 컬러 정보를 검출하는 카메라부와, 상기 컬러 정보를 이용하여 영상 데이터를 처리하는 영상 처리부를 포함한다.

이 때 본 발명에 따른 카메라 장치에 있어서, 상기 카메라부는, 적외선 픽셀 패턴과, 상기 적외선 픽셀 패턴과 함께 격자 형태로 배치되는 다수개의 컬러 픽셀 패턴들을 포함하는 이미지 센서를 포함하는 것을 특징으로 한다.

그리고 본 발명에 따른 카메라 장치에 있어서, 상기 카메라부는, 좌안용 카메라부와 우안용 카메라부를 포함한다.

여기서, 본 발명에 따른 카메라 장치에 있어서, 상기 좌안용 카메라부 및 우안용 카메라부는, 상기 이미지 센서를 각각 갖을 수 있다.

또는 본 발명에 따른 카메라 장치에 있어서, 상기 좌안용 카메라부 또는 우안용 카메라부 중 어느 하나가, 상기 이미지 센서를 갖고, 상기 좌안용 카메라부 또는 우안용 카메라부 중 다른 하나는, 격자 형태로 배치되는 다수개의 다른 컬러 픽셀 패턴들을 포함할 수 있다.

본 발명에 따른 카메라 장치는, 좌안용 카메라부와 우안용 카메라부를 포함하는 스테레오 카메라로 구현됨에 따라, 광 신호로부터 깊이 맵을 추출할 수 있다. 이로 인하여, 카메라 장치가 입체적인 영상 데이터를 재현할 수 있다. 그리고 좌안용 카메라부 또는 우안용 카메라부 중 적어도 어느 하나에서 광 신호로부터 적외선 정보를 검출함에 따라, 카메라 장치에서 저조도 촬영이 가능하다. 더욱이, 좌안용 카메라부와 우안용 카메라부가 모두 적외선 정보를 검출함에 따라, 카메라 장치는 저조도에서 피사체의 모션을 감지할 수도 있다. 또한 이미지 센서에서 각각의 컬러 픽셀 패턴이 하나의 컬러 픽셀로 이루어짐에 따라, 카메라 장치에서 고해상도의 구현이 가능하다. 이 때 카메라 장치에서 저조도 촬영 및 고해상도의 구현이 가능함에 따라, 카메라 장치에서 추출되는 깊이 맵의 정확성이 보다 향상될 수 있다.

도 1은 본 발명의 실시예에 따른 카메라 장치의 개략적인 구성을 도시하는 블록도,
도 2는 본 발명의 실시예에 따른 카메라 장치에서 카메라부의 세부 구성을 도시하는 블록도,
도 3은 도 2에서 이미지 센서들의 제 1 예를 도시하는 예시도,
도 4는 도 2에서 이미지 센서들의 제 2 예를 도시하는 예시도,
도 5는 본 발명의 실시예에 따라 깊이 맵을 추출하는 원리를 설명하기 위한 예시도, 그리고
도 6은 본 발명의 실시예에 따른 카메라 장치의 동작 절차를 도시하는 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 이 때 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 그리고 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.

도 1은 본 발명의 실시예에 따른 카메라 장치의 개략적인 구성을 도시하는 블록도이다. 그리고 도 2는 본 발명의 실시예에 따른 카메라 장치에서 카메라부의 세부 구성을 도시하는 블록도이다.

도 1 및 도 2를 참조하면, 본 실시예의 카메라 장치(100)는 카메라부(110), 영상 처리부(120), 제어부(130), 표시부(140), 메모리(150) 및 키 입력부(160)를 포함한다.

카메라부(110)는 영상 데이터를 촬영하는 기능을 수행한다. 이 때 카메라부(110)는 스테레오 카메라(stereo camera)일 수 있다. 즉 카메라부(110)는 제 1 카메라부(210)와 제 2 카메라부(220)를 포함한다. 여기서, 제 1 카메라부(210) 또는 제 2 카메라부(220) 중 어느 하나는 좌안용이고, 다른 하나는 우안용일 수 있다. 예를 들면, 제 1 카메라부(210)가 좌안용이고, 제 2 카메라부(220)가 우안용일 수 있다. 또는 제 1 카메라부(210)가 우안용이고, 제 2 카메라부(220)가 좌안용일 수 있다.

제 1 카메라부(210)는 제 1 광학부(211), 제 1 이미지 센서(213) 및 제 1 버퍼(215)를 포함한다. 그리고 제 2 카메라부(220)는 제 2 광학부(221), 제 2 이미지 센서(223) 및 제 2 버퍼(225)를 포함한다.

제 1 광학부(211)와 제 2 광학부(221)는 광 신호를 수신하는 기능을 수행한다. 그리고 제 1 광학부(211)와 제 2 광학부(221)광학부(210)는 각각의 렌즈 및 렌즈 조절부를 포함한다.

제 1 이미지 센서(213)와 제 2 이미지 센서(223)는 광 신호를 영상 신호로 변환한다. 이 때 제 1 이미지 센서(213)와 제 2 이미지 센서(223)에서, 광 신호에 의해 피사체(Subject; S)에 대응하는 상이 맺힌다. 그리고 제 1 이미지 센서(213)와 제 2 이미지 센서(223)는 피사체의 상에 따른 영상 신호를 발생시킨다. 즉 제 1 이미지 센서(213)와 제 2 이미지 센서(223)는 광 신호를 전기적 신호로 변환하고, 아날로그 영상 신호로부터 디지털 데이터로 변환하는 기능을 수행한다.

그리고 제 1 이미지 센서(213)와 제 2 이미지 센서(223)는 광 신호로부터 컬러 정보를 검출한다. 이 때 제 1 이미지 센서(213)는 제 1 광학부(211)에 대응하여 컬러 정보를 검출한다. 또한 제 2 이미지 센서(223)는 제 2 광학부(221)에 대응하여 컬러 정보를 검출한다. 여기서, 컬러 정보는 레드 정보, 그린 정보, 블루 정보 및 적외선 정보를 포함한다. 게다가, 제 1 이미지 센서(213)와 제 2 이미지 센서(223)는 CCD 센서 또는 CMOS 센서라 가정한다.

도 3은 도 2에서 이미지 센서들의 제 1 예를 도시하는 예시도이다. 이 때 도 3의 (a)는 제 1 이미지 센서를 나타내는 도면이고, 도 3의 (b)는 제 2 이미지 센서를 나타내는 도면이다.

도 3을 참조하면, 본 예에서 제 1 이미지 센서(213)와 제 2 이미지 센서(223)는 상이하게 구성된다. 다만, 제 1 이미지 센서(213)와 제 2 이미지 센서(223)는 동일한 사이즈로 이루어질 수 있다. 그리고 제 1 이미지 센서(213)와 제 2 이미지 센서(223)는 동일한 구조로 이루어질 수 있다.

제 1 이미지 센서(213)는 다수개의 제 1 컬러 픽셀 패턴(311, 313, 315)들과 적외선 픽셀 패턴(317)을 포함한다. 이 때 제 1 컬러 픽셀 패턴(311, 313, 315)들과 적외선 픽셀 패턴(317)은 동일한 사이즈로 이루어진다. 그리고 제 1 이미지 센서(213)에서, 제 1 컬러 픽셀 패턴(311, 313, 315)들과 적외선 픽셀 패턴(317)은 격자 형태로 배열된다. 여기서, 제 1 컬러 픽셀 패턴(311, 313, 315)들과 적외선 픽셀 패턴(317)은, 예컨대 2×2 형태로 배열될 수 있다. 즉 제 1 컬러 픽셀 패턴(311, 313, 315)들과 적외선 픽셀 패턴(317)은 두 개의 행과 두 개의 열로 배치될 수 있다. 또한 제 1 컬러 픽셀 패턴(311, 313, 315)들과 적외선 픽셀 패턴(317)은 제 1 이미지 센서(213)의 중심점(C1)을 둘러쌀 수 있다.

제 1 컬러 픽셀 패턴(311, 313, 315)들은 컬러 픽셀(R, G, B)을 포함한다. 그리고 제 1 컬러 픽셀 패턴(311, 313, 315)들은 레드 정보, 그린 정보 및 블루 정보를 검출한다. 이 때 각각의 제 1 컬러 픽셀 패턴(311, 313, 315)은 하나의 컬러 픽셀(R, G, B)로 이루어질 수 있다. 즉 컬러 픽셀(R, G, B)이 제 1 컬러 픽셀 패턴(311, 313, 315)과 동일한 사이즈로 구현될 수 있다. 또는 각각의 제 1 컬러 픽셀 패턴(311, 313, 315)은, 다수개의 컬러 픽셀(R, G, B)들이 격자 형태로 배열되어, 이루어질 수도 있다.

여기서, 제 1 컬러 픽셀 패턴(311, 313, 315)들은 각기 다른 컬러 픽셀(R, G, B)을 포함할 수 있다. 즉 제 1 컬러 픽셀 패턴(311, 313, 315)들에서, 어느 하나는 레드 픽셀(R)을 포함하고, 다른 하나는 그린 픽셀(G)을 포함하며, 또 다른 하나는 블루 픽셀(B)을 포함할 수 있다. 또는 각각의 제 1 컬러 픽셀 패턴(311, 313, 315)이 다양한 컬러 픽셀(R, G, B)들을 포함할 수 있다. 즉 각각의 제 1 컬러 픽셀 패턴(311, 313, 315)이 레드 픽셀(R), 그린 픽셀(G) 및 블루 픽셀(B)을 포함할 수 있다.

적외선 픽셀 패턴(317)은 적외선 픽셀(IR)을 포함한다. 그리고 적외선 픽셀 패턴(317)은 적외선 정보를 검출한다. 이 때 적외선 픽셀 패턴(317)은 하나의 적외선 픽셀(IR)로 이루어질 수 있다. 즉 적외선 픽셀(IR)이 적외선 픽셀 패턴(317)과 동일한 사이즈로 구현될 수 있다. 또는 적외선 픽셀 패턴(317)은, 다수개의 적외선 픽셀(IR)들이 격자 형태로 배열되어, 이루어질 수도 있다.

예를 들면, 레드 픽셀(R)과 그린 픽셀(G)이 동일한 행에서 상이한 열에 배치될 수 있다. 그리고 블루 픽셀(B)과 적외선 픽셀(IR)이 동일한 행에서 상이한 열에 배치될 수 있다. 즉 레드 픽셀(R)과 블루 픽셀(B)이 상이한 행에서 동일한 열에 배치될 수 있다. 그리고 그린 픽셀(G)과 적외선 픽셀(IR)이 상이한 행에서 동일한 열에 배치될 수 있다. 이 때 레드 픽셀(R)과 적외선 픽셀(IR)이 대각선으로 대응하여 배치될 수 있다. 또한 그린 픽셀(G)과 블루 픽셀(B)이 대각선으로 대응하여 배치될 수 있다.

제 2 이미지 센서(223)는 다수개의 제 2 컬러 픽셀 패턴(321, 323, 325, 327)들을 포함한다. 이 때 제 2 컬러 픽셀 패턴(321, 323, 325, 327)들은 동일한 사이즈로 이루어진다. 그리고 제 2 컬러 픽셀 패턴(321, 323, 325, 327)들은 제 1 컬러 픽셀 패턴(311, 313, 315)들 및 적외선 픽셀 패턴(317)과 동일한 사이즈로 이루어진다. 또한 제 2 컬러 픽셀 패턴(321, 323, 325, 327)들은 격자 형태로 배열된다. 여기서, 제 2 컬러 픽셀 패턴(321, 323, 325, 327)들은, 예컨대 2×2 형태로 배열될 수 있다. 즉 제 2 컬러 픽셀 패턴(321, 323, 325, 327)들은 두 개의 행과 두 개의 열로 배치될 수 있다. 게다가, 제 2 컬러 픽셀 패턴(321, 323, 325, 327)들은 제 2 이미지 센서(223)의 중심점(C2)을 둘러쌀 수 있다.

제 2 컬러 픽셀 패턴(321, 323, 325, 327)들은 컬러 픽셀(R, G, B)을 포함한다. 그리고 제 2 컬러 픽셀 패턴(321, 323, 325, 327)들은 레드 정보, 그린 정보 및 블루 정보를 검출한다. 이 때 각각의 제 2 컬러 픽셀 패턴(321, 323, 325, 327)은 하나의 컬러 픽셀(R, G, B)로 이루어질 수 있다. 즉 컬러 픽셀(R, G, B)이 제 2 컬러 픽셀 패턴(321, 323, 325, 327)과 동일한 사이즈로 구현될 수 있다. 또는 각각의 제 2 컬러 픽셀 패턴(321, 323, 325, 327)은, 다수개의 컬러 픽셀(R, G, B)들이 격자 형태로 배열되어, 이루어질 수도 있다.

여기서, 제 2 컬러 픽셀 패턴(321, 323, 325, 327)들은 각기 다른 컬러 픽셀(R, G, B)을 포함할 수 있다. 즉 제 2 컬러 픽셀 패턴(321, 323, 325, 327)들에서, 어느 하나는 레드 픽셀(R)을 포함하고, 다른 하나는 그린 픽셀(G)을 포함하며, 또 다른 하나는 블루 픽셀(B)을 포함할 수 있다. 또는 각각의 제 2 컬러 픽셀 패턴(321, 323, 325, 327)이 다양한 컬러 픽셀(R, G, B)들을 포함할 수 있다. 즉 각각의 제 2 컬러 픽셀 패턴(321, 323, 325, 327)이 레드 픽셀(R), 그린 픽셀(G) 및 블루 픽셀(B)을 포함할 수 있다.

예를 들면, 레드 픽셀(R)과 그린 픽셀(G)이 동일한 행에서 상이한 열에 배치될 수 있다. 그리고 블루 픽셀(B)과 다양한 컬러 픽셀(R, G, B)들이 배열된 혼합 픽셀(RGB)이 동일한 행에서 상이한 열에 배치될 수 있다. 즉 레드 픽셀(R)과 블루 픽셀(B)이 상이한 행에서 동일한 열에 배치될 수 있다. 그리고 그린 픽셀(G)과 혼합 픽셀(RGB)이 상이한 행에서 동일한 열에 배치될 수 있다. 이 때 레드 픽셀(R)과 혼합 픽셀(RGB)이 대각선으로 대응하여 배치될 수 있다. 또한 그린 픽셀(G)과 블루 픽셀(B)이 대각선으로 대응하여 배치될 수 있다.

도 4는 도 2에서 이미지 센서들의 제 2 예를 도시하는 예시도이다. 이 때 도 4의 (a)는 제 1 이미지 센서를 나타내는 도면이고, 도 4의 (b)는 제 2 이미지 센서를 나타내는 도면이다.

도 4를 참조하면, 본 예에서 제 1 이미지 센서(213)와 제 2 이미지 센서(223)는 동일하게 구성된다. 이 때 제 1 이미지 센서(213)와 제 2 이미지 센서(223)는 동일한 사이즈로 이루어질 수 있다. 그리고 제 1 이미지 센서(213)와 제 2 이미지 센서(223)는 동일한 구조로 이루어질 수 있다.

제 1 이미지 센서(213)는 다수개의 제 1 컬러 픽셀 패턴(411, 413, 415)들과 제 1 적외선 픽셀 패턴(417)을 포함한다. 이 때 제 1 컬러 픽셀 패턴(411, 413, 415)들은 컬러 픽셀(R, G, B)을 포함한다. 그리고 제 1 적외선 픽셀 패턴(417)은 적외선 픽셀(IR)을 포함한다. 또한 제 1 이미지 센서(213)는 레드 정보, 그린 정보, 블루 정보 및 적외선 정보를 검출한다. 여기서, 본 예에서, 제 1 이미지 센서(213)는 전술된 예와 유사하므로, 상세한 설명을 생략한다.

제 2 이미지 센서(223)는 전술된 예와 상이하게 구성된다. 즉 제 2 이미지 센서(223)는 다수개의 제 2 컬러 픽셀 패턴(421, 423, 425)들과 제 2 적외선 픽셀 패턴(427)을 포함한다. 이 때 제 2 컬러 픽셀 패턴(421, 423, 425)들은 컬러 픽셀(R, G, B)을 포함한다. 그리고 제 2 적외선 픽셀 패턴(427)은 적외선 픽셀(IR)을 포함한다. 또한 제 2 이미지 센서(223)는 레드 정보, 그린 정보, 블루 정보 및 적외선 정보를 검출한다. 여기서, 본 예에서, 제 2 이미지 센서(223)는 제 1 이미지 센서(213)와 동일하게 구성되므로, 상세한 설명을 생략한다.

제 1 버퍼(215)와 제 2 버퍼(225)는 컬러 정보를 저장한다. 제 1 버퍼(215)는 제 1 이미지 센서(213)에 대응하여 컬러 정보를 저장한다. 그리고 제 2 버퍼(225)는 제 2 이미지 센서(215)에 대응하여 컬러 정보를 저장한다.

영상 처리부(120)는 컬러 정보를 이용하여 영상 데이터를 처리한다. 즉 영상 처리부(120)는 제 1 카메라부(210)의 컬러 정보와 제 2 카메라부(220)의 컬러 정보를 조합하여, 영상 데이터를 처리한다. 이 때 영상 처리부(120)는 레드 정보, 그린 정보, 블루 정보 및 적외선 정보로부터 평면적인 영상 데이터를 추출한다. 그리고 영상 처리부(120)는 제 1 카메라부(210)의 컬러 정보와 제 2 카메라부(220)의 컬러 정보를 비교하여, 깊이 맵(depth map)을 추출한다. 여기서, 깊이 맵은 영상 데이터의 입체감을 나타낸다. 이 때 영상 처리부(120)는 제 1 카메라부(210)의 컬러 정보로부터 광 세기를 측정하고, 제 2 카메라부(220)의 컬러 정보로부터 광 세기를 측정할 수 있다. 또한 영상 처리부(120)는 광 세기들을 비교하여, 깊이 맵을 추출할 수 있다.

도 5는 본 발명의 실시예에 따라 깊이 맵을 추출하는 원리를 설명하기 위한 예시도이다. 이 때 도 5에서, 제 1 카메라부가 좌안용이고, 제 2 카메라부가 우안용인 경우를 가정하여 설명한다.

도 5를 참조하면, 영상 처리부(120)는 하기 <수학식 1>에 따라 깊이 맵을 추출할 수 있다. 즉 영상 처리부(120)는 제 1 이미지 센서(213)와 제 2 이미지 센서(223) 사이의 거리, 제 1 이미지 센서(213)와 피사체 사이의 거리 및 제 2 이미지 센서(223)와 피사체 사이의 거리를 결정하여, 카메라 장치(100)와 피사체 사이의 거리를 산출한다. 여기서, 영상 처리부(120)는 제 1 이미지 센서(213)의 광 세기로부터, 제 1 이미지 센서(213)와 피사체 사이의 거리를 산출할 수 있다. 그리고 영상 처리부(120)는 제 2 이미지 센서(223)의 광 세기로부터, 제 2 이미지 센서(223)와 피사체 사이의 거리를 산출할 수 있다. 이 때 상기 <수학식 1>은 하기 <수학식 2>와 같이 표현될 수 있다. 또한 영상 처리부(120)는 카메라 장치(100)와 피사체 사이의 거리에 따라 깊이 맵을 추출한다.

여기서, Z은 카메라 장치(100)와 피사체 사이의 거리를 나타낸다. 초점거리(FocalLength; f)는 제 1 광학부(211)의 중심점(O1)과 제 1 이미지 센서(213)의 중심점(C1) 사이의 거리 또는 제 2 광학부(213)의 중심점(O2)와 제 2 이미지 센서(223)의 중심점(C2) 사이의 거리를 나타낸다. 베이스라인(Baseline; b)은 제 1 이미지 센서(213)의 중심점(C1)과 제 2 이미지 센서(223)의 중심점(C2) 사이의 거리를 나타낸다. 디스패러티(disparity)는 dl과 dr의 합을 나타낸다. dl은 제 1 이미지 센서(213)의 중심점(C1)과 제 1 이미지 센서(213)에서 피사체에 대응하여 맺히는 상의 중심점(I1) 사이의 거리를 나타낸다. dr은 제 2 이미지 센서(223)의 중심점(C2)과 제 2 이미지 센서(223)에서 피사체에 대응하여 맺히는 상의 중심점(I2) 사이의 거리를 나타낸다.

여기서, tanα는 f/dl을 나타내고, tanβ는 f/dr을 나타낸다.

그리고 영상 처리부(120)는 영상 데이터를 표시하기 위한 화면 데이터를 발생한다. 여기서, 영상 처리부(120)는 영상 데이터를 프레임 단위로 처리하며, 표시부(140)의 특성 및 크기에 맞춰 출력한다. 이 때 영상 처리부(120)는 평면적인 영상 데이터에 깊이 맵을 적용하여, 입체적인 영상 데이터를 재현한다. 또한 영상 처리부(120)는 영상 코덱을 구비하며, 영상 데이터를 설정된 방식으로 압축하거나, 압축된 영상 데이터를 원래의 영상 데이터로 복원한다. 여기서, 영상 코덱은 JPEG 코덱, MPEG4 코덱, Wavelet 코덱 등이 될 수 있다.

제어부(130)는 카메라 장치(100)의 전반적인 동작을 제어한다. 이러한 제어부(130)는 촬영 모드를 실행한다. 이 때 제어부(130)는 카메라부(110), 영상 처리부(120) 및 표시부(140)를 활성화시킨다. 그리고 제어부(130)는 카메라부(110)를 제어하여, 광 신호에 대응하는 컬러 정보를 검출한다. 또한 제어부(130)는 영상 처리부(120)를 제어하여, 컬러 정보를 이용하여 영상 데이터를 처리한다. 이 때 제어부(130)는 영상 처리부(120)를 제어하여, 평면적인 영상 데이터와 깊이 맵을 추출한다. 게다가, 제어부(130)는 영상 처리부(120)를 제어하여, 평면적인 영상 데이터에 깊이 맵을 적용하여, 입체적인 영상 데이터를 재현한다. 아울러, 제어부(130)는 표시부(140)를 제어하여, 입체적으로 영상 데이터를 표시한다.

표시부(140)는 영상 처리부(120)에서 출력되는 화면 데이터를 표시하며, 제어부(130)에서 출력되는 사용자 데이터를 표시한다. 이 때 표시부(140)는 LCD(Liquid Crystal Display)를 사용할 수 있으며, 이러한 경우, 표시부(140)는 LCD 제어부, 영상 데이터를 저장할 수 있는 LCD 메모리 및 LCD 표시소자 등을 구비할 수 있다. 여기서, LCD를 터치 스크린(touch screen) 방식으로 구현하는 경우, 입력부로 동작할 수도 있다.

메모리(150)는 프로그램 메모리 및 데이터 메모리들로 구성된다. 프로그램 메모리는 카메라 장치(100)의 동작 프로그램을 저장한다. 이 때 프로그램 메모리는 입체적인 영상 데이터를 처리하기 위한 프로그램을 저장한다. 그리고 데이터 메모리는 프로그램 수행 중에 발생되는 데이터를 저장한다. 또한 메모리(150)는, 제어부(130)의 제어 하에, 입체적인 영상 데이터를 저장할 수 있다.

키 입력부(160)는 각종 기능들을 설정 및 실행하기 위한 키들로 이루어진다.

도 6은 본 발명의 실시예에 따른 카메라 장치의 동작 절차를 도시하는 순서도이다.

도 6을 참조하면, 본 실시예에서 카메라 장치(100)의 동작 절차는, 제어부(130)가 611단계에서 촬영 모드임을 감지하는 것으로부터 출발한다. 여기서, 키 입력부(160)를 통해 촬영 모드를 실행시키기 위한 요구가 발생되면, 제어부(130)가 이를 감지하고, 촬영 모드를 실행시킬 수 있다. 이 때 촬영 모드에서, 카메라부(110), 영상 처리부(120) 및 표시부(140)가 활성화된다.

다음으로, 제 1 광학부(211)와 제 2 광학부(221)로부터 광 신호가 수신되면, 제 1 이미지 센서(213)와 제 2 이미지 센서(223)가 613단계에서 이를 감지한다. 그리고 제 1 이미지 센서(213)와 제 2 이미지 센서(223)는 615단계에서 광 신호로부터 컬러 정보를 검출한다. 이 때 제 1 이미지 센서(213)는 제 1 광학부(211)에 대응하여 컬러 정보를 검출한다. 또한 제 2 이미지 센서(223)는 제 2 광학부(221)에 대응하여 컬러 정보를 검출한다. 여기서, 컬러 정보는 레드 정보, 그린 정보, 블루 정보 및 적외선 정보를 포함한다.

이어서, 영상 처리부(120)는 617단계에서 컬러 정보를 이용하여 영상 데이터를 처리한다. 이 때 영상 처리부(120)는 제 1 이미지 센서(213)의 컬러 정보와 제 2 이미지 센서(223)의 컬러 정보를 조합하여, 영상 데이터를 처리한다. 여기서, 영상 처리부(120)는 컬러 정보로부터 평면적인 영상 데이터를 추출한다. 그리고 영상 처리부(120)는 제 1 이미지 센서(213)의 컬러 정보와 제 2 이미지 센서(223)의 컬러 정보를 비교하여, 깊이 맵을 추출한다. 이 후 영상 처리부(120)는 평면적인 영상 데이터에 깊이 맵을 적용하여, 입체적인 영상 데이터를 재현한다.

다음으로, 제어부(130)는 619단계에서 영상 데이터를 표시한다. 이 때 제어부(130)는 표시부(140)를 제어하여, 입체적으로 영상 데이터를 표시한다.

이어서, 제어부(130)는 621단계에서 영상 데이터를 저장할 지의 여부를 판단한다. 이 때 키 입력부(160) 또는 터치 스크린을 통해 영상 데이터를 저장하기 위한 요구가 발생되면, 제어부(130)는 이를 감지하고, 영상 데이터를 저장해야 하는 것으로 판단할 수 있다. 또는 제어부(130)는 미리 설정된 바에 따라, 영상 데이터를 저장해야 하는 것으로 판단할 수 있다. 또는 저장 요구가 감지되지 않거나, 미리 설정된 바가 없으면, 제어부(130)는 영상 데이터를 저장하지 않아도 되는 것으로 판단할 수 있다.

계속해서, 621단계에서 영상 데이터를 저장해야 하는 것으로 판단되면, 제어부(130)는 623단계에서 메모리(150)에 영상 데이터를 저장한다. 이 때 제어부(130)는 평면적인 영상 데이터와 깊이 맵을 대응시켜 저장할 수 있다. 또는 제어부(130)는 입체적인 영상 데이터를 저장할 수도 있다.

마지막으로, 키 입력부(160) 또는 터치 스크린을 통해 촬영 모드를 종료하기 위한 요구가 발생되면, 제어부(130)가 625단계에서 이를 감지한다. 이 때 영상 데이터를 표시 중, 제어부(130)는 종료 요구를 감지할 수 있다. 여기서, 제어부(130)는 저장 요구를 감지하지 않고, 종료 요구를 감지할 수 있다. 또는 영상 데이터를 저장한 다음, 제어부(130)는 종료 요구를 감지할 수 있다. 그리고 제어부(130)는 촬영 모드를 종료하여, 카메라 장치(100)의 동작 절차를 종료한다.

한편, 625단계에서 종료 요구가 감지되지 않으면, 제어부(130)는 613단계 내지 625단계를 반복하여 수행할 수 있다. 이 때 종료 요구가 감지될 때까지, 제어부(130)는 613단계 내지 625단계를 반복하여 수행할 수 있다.

본 발명에 따르면, 카메라 장치가 제 1 카메라부와 제 2 카메라부를 포함하는 스테레오 카메라로 구현됨에 따라, 광 신호로부터 깊이 맵을 추출할 수 있다. 이로 인하여, 카메라 장치가 입체적인 영상 데이터를 재현할 수 있다. 그리고 제 1 카메라부 또는 제 2 카메라부 중 적어도 어느 하나에서 광 신호로부터 적외선 정보를 검출함에 따라, 카메라 장치에서 저조도 촬영이 가능하다. 더욱이, 제 1 카메라부와 제 2 카메라부가 모두 적외선 정보를 검출함에 따라, 카메라 장치는 저조도에서 피사체의 모션을 감지할 수도 있다. 또한 제 1 이미지 센서에서 각각의 제 1 컬러 픽셀 패턴이 하나의 컬러 픽셀로 이루어지고, 제 2 이미지 센서에서 각각의 제 2 컬러 픽셀 패턴이 하나의 컬러 픽셀로 이루어짐에 따라, 카메라 장치에서 고해상도의 구현이 가능하다. 이 때 카메라 장치에서 저조도 촬영 및 고해상도의 구현이 가능함에 따라, 카메라 장치에서 추출되는 깊이 맵의 정확성이 보다 향상될 수 있다.

한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (15)

1. 피사체의 컬러 정보 및 적외선 정보를 검출하는 제1 카메라부;
   상기 피사체의 상기 컬러 정보를 검출하는 제2 카메라부;
   상기 제1 카메라에 배치되는 제1 이미지 센서;
   상기 제2 카메라에 배치되는 제2 이미지 센서; 및
   상기 컬러 정보를 이용하여 영상 데이터를 처리하는 영상 처리부를 포함하고,
   상기 제1 이미지 센서는 레드 픽셀, 그린 픽셀, 블루 픽셀 및 적외선 픽셀을 포함하고,
   상기 제2 이미지 센서는 동일한 크기의 상기 레드 픽셀, 상기 그린 픽셀, 상기 블루 픽셀 및 상기 레드 픽셀, 상기 그린 픽셀, 상기 블루 픽셀이 혼합된 혼합 픽셀을 포함하는 카메라 장치.
2. 제1항에 있어서,
   상기 제1 이미지 센서는 상기 레드 픽셀, 상기 그린 픽셀, 상기 블루 픽셀 및 상기 적외선 픽셀이 상기 제1 이미지 센서의 중심점을 둘러싸도록 배치되는 2X2 행렬을 포함하고,
   상기 제2 이미지 센서는 상기 레드 픽셀, 상기 그린 픽셀, 상기 블루 픽셀 및 상기 혼합 픽셀이 상기 제2 이미지 센서의 중심점을 둘러싸도록 배치되는 2X2 행렬을 포함하는 카메라 장치.
3. 제1항에 있어서,
   상기 영상 처리부는 상기 제1 카메라부와 상기 제2 카메라부로부터 추출된 상기 컬러 정보 및 상기 적외선 정보로부터 평면적인 영상 데이터를 추출하는 카메라 장치.
4. 제1항에 있어서,
   상기 영상 처리부는 상기 제1 카메라부의 상기 컬러 정보와 상기 제2 카메라부의 상기 컬러 정보를 비교하여 깊이 맵을 추출하는 카메라 장치.
5. 제4항에 있어서,
   상기 영상 처리부는 상기 제1 카메라부의 상기 컬러 정보로부터 제1 광 세기를 측정하고, 상기 제2 카메라부의 상기 컬러 정보로부터 제2 광 세기를 측정하고, 측정된 제1 및 제2 광 세기를 비교하여 상기 깊이 맵을 추출하는 카메라 장치.
6. 제1항에 있어서,
   상기 영상 처리부는 상기 제1 이미지 센서와 상기 제2 이미지 센서 사이의 거리, 상기 제1 이미지 센서와 상기 피사체 사이의 거리 및 상기 제2 이미지 센서와 상기 피사체 사이의 거리를 결정하여 상기 피사체와의 거리를 산출하는 카메라 장치.
7. 복수의 컬러 픽셀 패턴을 포함하고,
   상기 복수의 컬러 픽셀 패턴은,
   레드 픽셀;
   그린 픽셀;
   블루 픽셀; 및
   레드, 그린, 및 블루가 혼합된 혼합 픽셀을 포함하고,
   상기 레드 픽셀, 상기 그린 픽셀, 상기 블루 픽셀 및 상기 혼합 픽셀은 격자 형태로 배치되고,
   상기 레드 픽셀, 상기 그린 픽셀, 상기 블루 픽셀 및 상기 혼합 픽셀은 중심점을 둘러싸도록 배치되고,
   상기 레드 픽셀, 상기 그린 픽셀, 상기 블루 픽셀 및 상기 혼합 픽셀 각각은 동일한 사이즈로 형성되는 이미지 센서.
8. 제7항에 있어서,
   상기 레드 픽셀, 상기 그린 픽셀, 상기 블루 픽셀 및 상기 혼합 픽셀은
   2개의 행과 2개의 열에 각각 배치되는 이미지 센서
9. 삭제
10. 제7항에 있어서,
    상기 복수의 컬러 픽셀 패턴의
    상기 레드 픽셀과 상기 그린 픽셀은 동일한 행에서 상이한 열에 배치되고,
    상기 레드 픽셀과 상기 블루 픽셀은 상이한 행에서 동일한 열에 배치되고,
    상기 그린 픽셀과 상기 혼합 픽셀은 상이한 행에서 동일한 열에 배치되고,
    상기 그린 픽셀과 상기 블루 픽셀은 대각선으로 대응되어 배치되는 이미지 센서.
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제

Images