KR20080029051A - 이미지 센서를 구비한 장치 및 영상 획득 방법 - Google Patents

이미지 센서를 구비한 장치 및 영상 획득 방법 Download PDF

Info

Publication number
KR20080029051A
KR20080029051A KR1020060094529A KR20060094529A KR20080029051A KR 20080029051 A KR20080029051 A KR 20080029051A KR 1020060094529 A KR1020060094529 A KR 1020060094529A KR 20060094529 A KR20060094529 A KR 20060094529A KR 20080029051 A KR20080029051 A KR 20080029051A
Authority
KR
South Korea
Prior art keywords
image
infrared
raw
filter
mode selection
Prior art date
Application number
KR1020060094529A
Other languages
English (en)
Inventor
조성엽
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020060094529A priority Critical patent/KR20080029051A/ko
Publication of KR20080029051A publication Critical patent/KR20080029051A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 이미지 센서를 구비한 장치 및 영상 획득 방법에 관한 것이다. 본 발명의 바람직한 일 실시예에 따르면, 입력된 촬영 모드 선택 명령에 상응하여 제어 명령을 출력하는 제어부; 미리 정해진 CFA(color filter array)를 포함하며, 상기 제어 명령에 상응하여 적외선 영역 및 가시광선 영역 중 어느 하나에 상응하는 원시 영상 신호를 출력하는 이미지 센서; 및 상기 제어 명령에 상응하여 상기 원시 영상 신호를 미리 정해진 형식에 상응하여 영상 데이터로 변환하는 영상 처리부를 포함하되, 상기 CFA는 R 필터, G 필터, B 필터 및 IR 필터를 포함하여 이루어진 컬러 필터 어레이인 것을 특징으로 하는 디지털 처리 장치가 제공될 수 있다. 따라서, 본 발명에 의해, 가시광선 영역의 촬영 소자에 적외선 영역의 감도를 높인 화소를 일정 비율로 결합하여 일반적인 영상 데이터와 적외선 영상을 촬영할 수 있다.
이미지 센서, 적외선, 가시광선, CFA

Description

이미지 센서를 구비한 장치 및 영상 획득 방법{Device having image sensor and method for getting image}
도 1은 본 발명의 바람직한 일 실시예에 따른 디지털 처리 장치의 블록도.
도 2는 본 발명의 바람직한 일 실시예에 따른 이미지 센서내의 CFA를 예시한 도면.
도 3은 본 발명의 바람직한 일 실시예에 따른 동영상 촬영 모드인 경우 이미지 센서가 출력하는 원시 동영상 신호를 예시한 도면.
도 4는 본 발명의 바람직한 일 실시예에 따른 적외선 촬영 모드인 경우 이미지 센서가 출력하는 원시 적외선 신호를 예시한 도면.
도 5는 본 발명의 바람직한 일 실시예에 따른 영상 처리부가 도 4의 원시 적외선 신호를 이용하여 생성한 적외선 데이터를 예시한 도면.
도 6은 본 발명의 바람직한 일 실시예에 따른 적외선 촬영 모드인 경우 이미지 센서의 동작되는 CFA를 예시한 도면.
도 7은 본 발명의 바람직한 일 실시예에 따른 임의의 촬영 모드에 상응하는 영상 데이터를 획득하는 방법을 나타낸 순서도.
<도면의 주요 부분에 대한 부호의 설명>
110 : 이미지 센서
120 : 영상 처리부
130 : 입력부
140 : 저장부
150 : 디스플레이부
160 : 제어부
본 발명은 디지털 처리 장치에 관한 것으로, 특히 이미지 센서를 구비한 장치 및 영상 획득 방법에 관한 것이다.
최근 이미지 센서를 구비한 휴대용 장치(예를 들어, 디지털 카메라, 이동 통신 단말기 등)가 개발되어 판매되고 있다. 이미지 센서는 픽셀(pixel)들 또는 포토사이트(Photosite)들로 불리는 작은 감광 다이오드들의 어레이로서 구성된다. 픽셀들 자체는 보통 광으로부터 컬러를 추출하지 않으며, 넓은 스펙트럼 밴드로부터의 광자들을 전자들로 변환한다. 따라서, 단일 센서를 가지고 컬러 이미지들을 기록하기 위해서 센서는 상이한 픽셀들이 상이한 컬러 조명을 수신하도록 필터링된다. 이러한 타입의 센서는 컬러 필터 어레이 또는 CFA(Color Filter Array)로 알려져 있 으며, 각각의 상이한 칼라 필터들이 센서를 가로질러 미리 정의된 패턴으로 배열된다.
이미지 센서를 구성하는 포토사이트는 파장이 380~780nm 정도의 가시광선 영역 전반 외에 장파장의 근적외 영역까지 감도를 갖는다. 따라서, 적외선 성분(IR)이 수광 화소에 입사하면, 적외선 성분은 칼라 필터를 투과하여, 포트사이트에서 신호전하를 발생한다. 각 수광 화소가 적외선 성분에도 감도를 갖기 때문에 적외선 성분을 포함하는 입사광에 대하여 정확한 색을 표현할 수 없는 문제가 발생한다. 따라서, 일반적으로 이미지 센서는 렌즈와 칼라 필터 사이에 적외선 광을 차단할 수 있는 별도의 필터(이하, 편의상 "적외선 차단 필터"라 칭하기로 함)를 배치하였다. 그러나, 적외선 차단 필터는 적외선 광을 차단함과 동시에 가시광선 광도를 10~20%정도 감쇠시켜 결과적으로 화질 열화를 초래하는 문제가 발생하였다.
따라서, 상술한 문제점을 해결하기 위한 본 발명의 목적은 가시광선 영역의 촬영 소자에 적외선 영역의 감도를 높인 화소를 일정 비율로 결합하여 일반적인 영상 데이터와 적외선 영상을 촬영할 수 있는 이미지 센서를 구비한 디지털 처리 장치 및 영상 획득 방법을 제공하는 것이다.
본 발명의 다른 목적은 하나의 촬영 소자를 이용하여 가시광선 영역에 대한 영상 및 적외선 영역에 대한 영상을 각각 획득함으로써 공간 중복을 줄일 수 있으며, 비용을 절감할 수 있는 이미지 센서를 구비한 디지털 처리 장치 및 영상 획득 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 적외선 영역을 촬영할 수 있는 별도의 적외선 촬영 모드를 구비함으로써 고속으로 적외선 영상 데이터를 생성할 수 있는 이미지 센서를 구비한 디지털 처리 장치 및 영상 획득 방법을 제공하는 것이다.
이외의 본 발명의 목적들은 하기의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 가시광선 영역 및 적외선 영역에 대한 영상을 각각 획득할 수 있는 디지털 처리 장치가 제공된다.
본 발명의 바람직한 일 실시예에 따르면, 입력된 촬영 모드 선택 명령에 상응하여 제어 명령을 출력하는 제어부; 미리 정해진 CFA(color filter array)를 포함하며, 상기 제어 명령에 상응하여 적외선 영역 및 가시광선 영역 중 어느 하나에 상응하는 원시 영상 신호를 출력하는 이미지 센서; 및 상기 제어 명령에 상응하여 상기 원시 영상 신호를 미리 정해진 형식에 상응하여 영상 데이터로 변환하는 영상 처리부를 포함하되, 상기 CFA는 R 필터, G 필터, B 필터 및 IR 필터를 포함하여 이루어진 컬러 필터 어레이인 것을 특징으로 하는 디지털 처리 장치가 제공될 수 있다.
상기 CFA는 N×N(여기서, N은 2이상의 자연수임) 배열마다 하나의 IR 필터를 포함할 수 있다.
상기 촬영 모드 선택 명령이 적외선 촬영 모드 선택 명령이면, 상기 이미지 센서는 상기 제어부의 제어 명령에 의해 상기 CFA의 IR 필터가 배치된 행에 상응하는 원시 영상 신호만을 원시 적외선 신호로서 선택적으로 출력할 수 있다.
상기 영상 처리부는 상기 제어부의 제어 명령에 의해 상기 원시 적외선 신호에서 IR 픽셀값만을 추출하여 적외선 영상 데이터를 생성할 수 있다.
상기 영상 처리부는 (4n-2)열의 픽셀값들만을 추출하여 상기 적외선 영상 데이터를 생성할 수 있다.
상기 촬영 모드 선택 명령이 동영상 촬영 모드 선택 명령이면, 상기 이미지 센서는 상기 제어부의 제어 명령에 의해 상기 CFA의 모든 필터들에 상응하는 원시 영상 신호를 원시 동영상 신호로서 출력할 수 있다.
상기 영상 처리부는 상기 제어부의 제어 명령에 의해 상기 원시 동영상 데이터의 IR 픽셀값을 G 픽셀값으로 변환하여 동영상 데이터를 생성할 수 있다.
상기 영상 처리부는 상기 IR 픽셀값을 하기 수학식을 이용하여 G 픽셀값으로 변환할 수 있다.
Figure 112006070690237-PAT00001
여기서, i, j는 임의의 자연수일 수 있다.
상기 촬영 모드 선택 명령을 입력받기 위한 입력부; 상기 원시 영상 신호 및 상기 영상 데이터 중 하나 이상을 저장하기 위한 저장부; 및 상기 영상 데이터를 출력하기 위한 디스플레이부를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 이미지 센서를 구비한 디지털 처리 장치에서 영상을 획득하는 방법이 제공된다.
본 발명의 바람직한 일 실시예에 따르면, 이미지 센서를 구비한 디지털 처리 장치에서 영상을 획득하는 방법에 있어서, 임의의 촬영 모드 선택 명령을 입력받는 단계; 상기 촬영 모드 선택 명령이 적외선 촬영 모드 선택 명령인지 여부를 판단하는 단계; 만일 적외선 촬영 모드 선택 명령이면, 구비된 CFA내의 IR 필터가 배치된 행에 상응하는 원시 영상 신호만을 원시 적외선 신호로서 선택적으로 출력하는 단계; 및 상기 원시 적외선 신호에서 IR 픽셀값만을 추출하여 적외선 영상 데이터를 생성하는 단계를 포함하는 영상 획득 방법이 제공될 수 있다.
만일 적외선 촬영 모드 선택 명령이 아니면, 상기 CFA의 모든 필터들에 상응하는 원시 영상 신호를 원시 동영상 신호로서 출력하는 단계; 및 상기 원시 동영상 신호에서 IR 픽셀값을 G 픽셀값으로 변환하여 동영상 데이터를 생성하는 단계를 더 포함할 수 있다.
상기 IR 픽셀값은 하기 수학식을 이용하여 G 픽셀값으로 변환될 수 있다.
Figure 112006070690237-PAT00002
, 여기서, i, j는 임의의 자연수일 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 디지털 처리 장치의 블록도이며, 도 2는 본 발명의 바람직한 일 실시예에 따른 이미지 센서내의 CFA를 예시한 도면이고, 도 3은 본 발명의 바람직한 일 실시예에 따른 동영상 촬영 모드인 경우 이미지 센서가 출력하는 원시 동영상 신호를 예시한 도면이며, 도 4는 본 발명의 바람직한 일 실시예에 따른 적외선 촬영 모드인 경우 이미지 센서가 출력하는 원시 적외선 신호를 예시한 도면이고, 도 5는 본 발명의 바람직한 일 실시예에 따른 영상 처리부가 도 4의 원시 적외선 신호를 이용하여 생성한 적외선 데이터를 예시한 도면이며, 도 6은 본 발명의 바람직한 일 실시예에 따른 적외선 촬영 모드인 경우 이미지 센서의 동작되는 CFA를 예시한 도면이다.
도 1을 참조하면, 본 발명의 바람직한 일 실시예에 따른 디지털 처리 장치(100)는 이미지 센서(110), 영상 처리부(120), 입력부(130), 저장부(140), 디스플레이부(150) 및 제어부(160)를 포함하여 구성된다.
본 발명에 따른 디지털 처리 장치(100)는 가시광선 영역에 상응하는 영상 데이터를 획득하기 위한 모드(이하, 편의상 "동영상 촬영 모드"라 칭하기로 함)와 적외선 영상 데이터를 획득하기 위한 모드(이하, 편의상 "적외선 촬영 모드"라 칭하기로 함)를 구비하며, 사용자의 요청(예를 들어, 입력부(130)를 이용한 모드 선택 등)에 따라 어느 하나의 모드에 상응하는 영상 데이터를 촬영할 수 있다.
이미지 센서(110)는 렌즈를 통해 입사되는 광학적 피사체의 신호를 전기적인 신호로 변환하여 영상 처리부(120)로 출력하는 기능을 수행한다. 즉, 이미지 센서(110)는 제어부(160)의 제어에 의해 가시광선 영역에 상응하는 영상(이하, "동영상"이라 칭하기로 함) 또는 적외선 영역에 상응하는 영상(이하, "적외선 영상"이라 칭하기로 함) 중 어느 하나의 원시 영상 신호를 생성하여 영상 처리부(120)로 출력할 수 있다. 이와 같이, 동영상 또는 적외선 영상 중 어느 하나의 원시 영상 신호를 생성하여 출력하기 위해, 이미지 센서(110)는 미리 정해진 가시광선 영역과 적외선 영역의 광을 투과할 수 있는 광학 필터(미도시)가 적층(또는 위치)될 수 있다.
여기서, 광학 필터의 일면은 입사된 광을 소정의 각도로 굴절시키는 렌즈에 대향하여 위치되며, 타면은 광학 필터를 통해 투과된 광에서 특정 영역의 광만을 선택적으로 투과시켜 이에 상응하는 원시 영상 신호를 출력하는 이미지 센서(110)에 대향하여 위치된다. 이미지 센서(110)는 광학 필터를 통해 투과된 광의 특정 영역의 광만을 선택적으로 투과하는 칼라 필터(CFA: color filter array, 이하, "CFA"라 칭하기로 함)와 각각의 칼라 필터를 통해 입사된 광에 상응하는 전하신호를 출력하는 수광소자를 포함하여 구성된다. 또한, 이미지 센서(110)는 아날로그 데이터를 디지털 데이터로 변환하여 출력하는 A/D 변환부(미도시)를 포함할 수도 있다.
예를 들어, 이미지 센서(110)는 디지털 처리 장치(100)가 동영상 촬영 모드로 동작되는 경우, 제어부(160)의 제어에 의해 도 3에 예시된 바와 같이, CFA내의 모든 필터들로부터 투과된 광을 수광하여 전기 신호로 변환하여 영상 처리부(120)로 출력할 수 있다. 여기서, 동영상 촬영 모드의 경우, 동영상 뿐만 아니라 스냅 사진 촬영도 포함할 수 있다. 그러나, 디지털 처리 장치(100)가 적외선 촬영 모드로 동작되는 경우, 이미지 센서(110)는 제어부(160)의 제어에 의해 CFA내의 IR 필터가 배치된 행에 위치한 필터들로부터 투과된 광만을 수광하여 전기 신호로 변환하여 영상 처리부(120)로 출력할 수 있다. 즉, 디지털 처리 장치(100)가 적외선 촬영 모드로 동작되는 경우, 상술한 바와 같이, IR 필터가 위치한 행의 필터들에 의해 수광된 신호만 선택적으로 출력되므로, 영상 처리부(120)는 고속으로 적외선 영상 데이터를 생성할 수 있는 이점이 있다. 예를 들어, 일반적으로 동영상 촬영시 30 프레임의 속도로 이미지 센서(110)가 원시 영상 신호를 출력하지만 적외선 촬영 모드인 경우 IR 픽셀 배열에 따라 100 프레임 이상의 속도로 원시 적외선 신호를 출력할 수 있다. 따라서, 디지털 처리 장치(100)가 입력 동작을 수행하는 경우 적외선 촬영 모드로 동작되어 빠르게 영상 처리를 수행할 수 있는 이점이 있다.
이하, 본 명세서에서는 디지털 처리 장치(100)가 동영상 촬영 모드인 경우, 이미지 센서(110)가 제어부(160)의 제어에 의해 CFA내의 모든 필터로부터 광을 수광하여 전기 신호로 변환하여 영상 처리부(120)로 출력하는 신호를 "원시 동영상 신호"라 칭하기로 한다. 그리고, 적외선 촬영 모드인 경우, 이미지 센서(110)가 제어부(160)의 제어에 의해 CFA내의 IR 필터가 배치된 행에 위치한 필터로부터 광을 수광하여 전기 신호로 변환하여 영상 처리부(120)로 출력한 신호를 "원시 적외선 신호"라 칭하기로 한다.
이미지 센서(110)는 도 2에서 보여지는 바와 같은 CFA를 포함할 수 있다. 도 2에서 보여지는 바와 같이, 이미지 센서(110)에 포함되는 CFA는 n(여기서, n은 자연수임)번째 행 방향으로 푸른색 컬러 필터(이하, "B 필터"라 칭함)와 녹색 컬러 필터(이하, "G 필터"라 칭함)가 교호(交互)적으로 배치되며, n+1번째 행 방향으로 적색 칼라 필터(이하, "R 필터"라 칭함), 적외선 칼라 필터(이하, "IR 필터"라 칭함), G 필터가 교호적으로 배치된다. 본 명세서에서는 4×4 필터 배열을 기준으로 하나의 IR 필터가 배치된 것을 중점으로 설명하나 IR 필터가 배치되는 비율은 구현 방법에 따라 각각 상이할 수 있음은 당연하다. 여기서, B 필터는 렌즈를 통해 입사되는 광 중에서 푸른색에 상응하는 광만을 투과하게 하는 칼라 필터이며, G 필터는 녹색에 상응하는 광만을 투과하게 하는 칼라 필터이고, R 필터는 적색에 상응하는 광만을 투과하게 하는 칼라 필터이다. 그리고, IR 필터는 미리 정해진 적외선 광만을 투과하는 필터이다.
영상 처리부(120)는 제어부(160)의 제어에 의해 이미지 센서(110)를 통해 입력된 원시 동영상 신호 또는 원시 적외선 신호를 미리 정해진 형식으로 변환하여 영상 데이터(즉, 동영상 데이터 또는 적외선 영상 데이터)를 생성하여 저장부(140)에 저장한다. 물론 사용자가 동영상을 촬영하는 경우라면, 동영상 데이터의 프리뷰(preview)를 위해 영상 처리부(120)는 생성된 영상 데이터를 디스플레이부(150)로 전달할 수도 있음은 당연하다. 또한, 사용자가 정지 영상을 촬영하는 경우라면, 사용자가 원하는 시점에서 정지 영상의 촬영이 가능하도록 프리뷰(preview) 영상이 디스플레이부(150)로 전달되도록 할 수 있으며, 이 경우의 프리뷰 영상은 저장부(140)에 저장되지 않도록 할 수도 있다. 또한, 디스플레이부(150)를 통해 표시되는 프리뷰 영상은 영상 처리부(120)로부터 디스플레이부(150)로 직접 전달될 수도 있다. 또한, 영상 처리부(120)는 제어부(160)의 제어에 의해 원시 동영상 신호 또는 원시 적외선 신호를 입력받아 휘도 성분 및 색차 성분을 포함하는 YUV 데이터로 변환할 수도 있다.
예를 들어, 입력부(130)를 통해 사용자로부터 동영상 촬영 모드에 상응하는 촬영 모드 선택 명령이 입력되었다면, 영상 처리부(120)는 이미지 센서(110)로부터 원시 동영상 신호를 입력받을 수 있다. 영상 처리부(120)는 제어부(160)의 제어에 의해 원시 동영상 신호를 미리 정해진 방법으로 변환하여 동영상 데이터를 생성할 수 있다. 예를 들어, 동영상 촬영 모드인 경우, 이미지 센서(110)로부터 출력된 원 시 동영상 신호가 도 3과 같다고 가정하자. 영상 처리부(120)는 도 3에서 예시된 원시 동영상 신호에서 IR 픽셀값을 인접한 4개의 G 픽셀값을 이용하여 G 픽셀값으로 변환하여 동영상 데이터를 생성할 수 있다. 도 3을 참조하면,
Figure 112006070690237-PAT00003
픽셀값은 인접한
Figure 112006070690237-PAT00004
,
Figure 112006070690237-PAT00005
,
Figure 112006070690237-PAT00006
,
Figure 112006070690237-PAT00007
픽셀값을 이용하여
Figure 112006070690237-PAT00008
픽셀값을 산출할 수 있다. 즉, 영상 처리부(120)는 하기 수학식 1을 이용하여 IR 픽셀값을 G 픽셀값으로 변환할 수 있다.
Figure 112006070690237-PAT00009
여기서, i, j는 임의의 자연수일 수 있다.
그리고, 만일 사용자로부터 입력부(130)를 통해 적외선 촬영 모드에 상응하는 촬영 모드 선택 명령이 입력되었다면, 영상 처리부(120)는 이미지 센서(110)로부터 도 4에 예시된 바와 같은 원시 적외선 신호를 입력받을 수 있다.
이와 달리, 디지털 처리 장치(100)가 적외선 촬영 모드로 동작되는 경우라면, 제어부(160)는 도 6에서 보여지는 바와 같이 IR 필터가 배치된 행의 필터들만 광을 투과할 수 있도록 이미지 센서(120)를 제어할 수 있다. 즉, 제어부(160)의 제어 명령에 의해 이미지 센서(120)는 해당하는 행의 전기 신호만을 선택적으로 출력할 수 있다. 이로 인해, 이미지 센서(110)는 도 4에 예시된 바와 같은 적외선 영상 신호를 영상 처리부(120)로 출력할 수 있다. 영상 처리부(120)는 도 4와 같이 예시 된 적외선 영상 신호에서 IR 픽셀값들만을 추출하여 적외선 영상 데이터를 생성할 수 있다(도 5 참조).
예를 들어, 이미지 센서(110)가 도 2에 예시된 바와 같은 CFA를 포함하고 있다고 가정하자. 그러면, 적외선 촬영 모드인 경우, 이미지 센서(110)를 통해 출력된 원시 적외선 신호는 도 4에 예시된 바와 같이, (4n-2)열에만 IR 픽셀값들을 포함하게 된다. 따라서, 영상 처리부(120)는 (4n-2)열에 상응하는 픽셀값들만을 추출하여 적외선 영상 데이터를 생성할 수 있다. 여기서, CFA내의 IR 필터의 배치가 달라지는 경우, 적외선 영상 데이터를 생성하기 위한 방법은 달라질 수 있음은 당연하다.
입력부(130)는 사용자로부터 디지털 처리 장치(100)의 동작을 제어하기 위한 제어 명령, 촬영 모드 선택 명령(예를 들어, 동영상 촬영 모드, 적외선 촬영 모드 등) 등을 입력받기 위한 수단이다. 예를 들어, 입력부(130)는 복수의 버튼(예를 들어, 메뉴 버튼, 기능 버튼 등)으로 구현되거나 터치 스크린 등의 형태로 구현될 수도 있다.
저장부(140)는 본 발명에 따른 디지털 처리 장치(100)의 운용 프로그램, 미리 설정된 알고리즘, 영상 처리부(120)를 통해 생성된 동영상 데이터, 적외선 영상 데이터 등이 저장된다. 여기서, 운용 프로그램은 디지털 처리 장치(100)의 전반적인 동작을 제어하기 위한 프로그램 및 영상 처리를 위한 프로그램뿐만이 아니라 프로그램들을 수행하는 도중에 발생되는 데이터를 일시적으로 저장하는 기능도 수행할 수 있다.
디스플레이부(150)는 제어부(160)의 제어에 의해 문자, 숫자, 이미지, 영상 데이터 등을 표시하는 수단이다. 물론, 디스플레이부(150)는 영상 처리부(120)에 의해 생성된 영상 데이터를 표시할 수도 있음은 당연하다. 예를 들어, 디스플레이부(150)는 액정화면(LCD : Liquid Crystal Display) 등을 포함할 수 있다.
제어부(160)는 본 발명에 따른 디지털 처리 장치(100)의 내부 구성 요소들(예를 들어, 이미지 센서(110), 영상 처리부(120), 입력부(130), 저장부(140), 디스플레이부(150) 등)을 제어하는 기능을 수행한다. 또한, 제어부(160)는 입력부(130)를 통해 사용자로부터 임의의 촬영 모드 선택 명령이 입력되면, 해당 촬영 모드에 상응하는 제어 명령을 이미지 센서(110) 및 영상 처리부(120)로 전달할 수 있다.
예를 들어, 사용자가 동영상 촬영을 위한 선택 명령을 입력부(130)를 통해 입력하면, 제어부(160)는 해당 입력된 명령에 상응하여 디지털 처리 장치(100)가 동영상 촬영 모드로 동작하여 이에 상응하는 동영상 데이터를 생성하여 디스플레이부(150)를 통해 출력하거나 저장부(130)에 저장하도록 제어할 수 있다.
또한, 사용자가 적외선 촬영을 위한 선택 명령을 입력부(130)를 통해 입력하면, 제어부(160)는 해당 입력된 명령에 상응하여 디지털 처리 장치(100)가 적외선 촬영 모드로 동작하여 이에 상응하는 적외선 영상 데이터를 생성하여 저장부(130)에 저장하도록 제어할 수 있다.
도 7은 본 발명의 바람직한 일 실시예에 따른 임의의 촬영 모드에 상응하는 영상 데이터를 획득하는 방법을 나타낸 순서도이다. 이하에서는 디지털 처리 장치(100)가 가시광선 영역을 촬영하는 동영상 촬영 모드와 적외선 영역을 촬영하기 위한 적외선 촬영 모드를 구비한 것을 가정하여 설명하기로 한다. 또한, 이미지 센서(110)는 도 2에서 예시된 바와 같이 CFA내의 정해진 위치에 IR 필터가 배치되어 있는 것을 가정하여 설명하기로 한다.
단계 710에서 입력부(130)는 사용자로부터 동영상 또는 적외선 영상 촬영을 위한 모든 선택 명령(즉, 동영상 촬영을 위한 모드 선택 명령 또는 적외선 영상 촬영을 위한 모드 선택 명령 중 어느 하나)을 입력받아 제어부(160)로 전달한다.
단계 715에서 제어부(160)는 입력부(130)를 통해 입력된 촬영 모드 선택 명령이 적외선 영상 촬영을 위한 모드 선택 명령인지 동영상 촬영을 위한 모드 선택 명령인지 여부를 판단한다.
만일 입력된 촬영 모드 선택 명령이 적외선 영상 촬영을 위한 모드 선택 명령이라고 판단되면, 단계 720에서 제어부(160)는 이미지 센서(110)가 IR 필터가 배치된 행들에 위치한 필터들에 의해 수광된 전기 신호(즉, IR 필터가 배치된 행들로부터 수광된 전기 신호)만을 선택적으로 출력되도록 할 수 있다. 즉, 제어부(160)는 다른 행들에 의해 수광된 전기 신호는 출력되지 않도록 할 수 있다. 이에 따라, 이미지 센서(110)는 도 4에 예시된 바와 같은 원시 적외선 신호를 영상 처리부(120)로 출력할 수 있다.
단계 725에서 영상 처리부(120)는 제어부(160)의 제어에 의해 이미지 센서(110)로부터 입력된 원시 적외선 신호를 이용하여 적외선 영상 데이터를 생성한 다.
예를 들어, 영상 처리부(120)는 상술한 바와 같이, 도 4와 같이 입력된 원시 적외선 신호에서 (4n-2)열의 IR 픽셀값만을 추출하여 적외선 영상 데이터를 생성할 수 있다.
단계 730에서 영상 처리부(120)는 제어부(160)의 제어에 의해 생성된 적외선 영상 데이터를 저장부(140)에 저장한다.
다시 단계 715를 참조하여 만일, 입력된 촬영 모드 선택 명령이 동영상 촬영을 위한 모드 선택 명령이라면, 단계 735에서 제어부(160)는 이미지 센서(110)가 CFA내의 모든 필터들에 의해 수광된 모든 전기 신호를 출력하도록 할 수 있다. 즉, 이미지 센서(110)는 제어부(160)의 제어에 의해 도 3에 예시된 바와 같은 원시 동영상 신호를 영상 처리부(120)로 출력할 수 있다.
단계 740에서 영상 처리부(120)는 제어부(160)의 제어에 의해 이미지 센서(110)로부터 입력된 원시 동영상 신호를 이용하여 동영상 데이터를 생성한다.
예를 들어, 상술한 바와 같이 이미지 센서(110)의 CFA가 4×4 배열을 기준으로 2행 2열에 IR 필터를 배치하고 있다고 가정하자. 이미지 센서(110)를 통해 출력된 원시 동영상 신호는 도 3에서 예시된 바와 같이, 4×4 배열을 기준으로 2행 2열에만 IR 픽셀값들이 포함된다. 따라서, 영상 처리부(120)는 해당 위치의 IR 픽셀값을 인접한 4개의 G 픽셀값들을 이용하여 G 픽셀값으로 변환할 수 있다. 예를 들어,
Figure 112006070690237-PAT00010
(여기서, i, j는 임의의 자연수임) 픽셀값에 상응하는
Figure 112006070690237-PAT00011
픽셀값은
Figure 112006070690237-PAT00012
,
Figure 112006070690237-PAT00013
,
Figure 112006070690237-PAT00014
,
Figure 112006070690237-PAT00015
픽셀값을 이용하여 산출할 수 있다.
영상 처리부(120)는 이와 같은 방법으로 IR 픽셀값을 G 픽셀값으로 변환하여 동영상 데이터를 생성할 수 있다. 그리고, 영상 처리부(120)는 생성된 동영상 데이터를 제어부(160)의 제어에 의해 저장부(130)에 저장할 수도 있으며, 생성된 동영상 데이터를 사용자에게 프리뷰하기 위해 디스플레이부(150)를 통해 출력되도록 할 수도 있다.
상술한 바와 같이, 본 발명에 따른 이미지 센서를 구비한 디지털 처리 장치 및 영상 획득 방법을 제공함으로써, 가시광선 영역의 촬영 소자에 적외선 영역의 감도를 높인 화소를 일정 비율로 결합하여 일반적인 영상 데이터와 적외선 영상 데이터를 각각 획득할 수 있는 효과가 있다.
또한, 본 발명은 하나의 촬영 소자를 이용하여 가시광선 영역에 대한 영상 및 적외선 영역에 대한 영상을 각각 획득함으로써 공간 중복을 줄일 수 있으며, 비용을 절감할 수 있는 효과도 있다.
또한, 본 발명은 적외선 영역을 촬영할 수 있는 별도의 적외선 촬영 모드를 구비함으로써 고속으로 적외선 영상 데이터를 생성할 수 있는 효과가 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (12)

  1. 입력된 촬영 모드 선택 명령에 상응하여 제어 명령을 출력하는 제어부;
    미리 정해진 CFA(color filter array)를 포함하며, 상기 제어 명령에 상응하여 적외선 영역 및 가시광선 영역 중 어느 하나에 상응하는 원시 영상 신호를 출력하는 이미지 센서; 및
    상기 제어 명령에 상응하여 상기 원시 영상 신호를 미리 정해진 형식에 상응하여 영상 데이터로 변환하는 영상 처리부를 포함하되,
    상기 CFA는 R 필터, G 필터, B 필터 및 IR 필터를 포함하여 이루어진 컬러 필터 어레이인 것을 특징으로 하는 디지털 처리 장치.
  2. 제 1항에 있어서,
    상기 CFA는 N×N(여기서, N은 2이상의 자연수임) 배열마다 하나의 IR 필터를 포함하는 것을 특징으로 하는 디지털 처리 장치.
  3. 제 1항에 있어서,
    상기 촬영 모드 선택 명령이 적외선 촬영 모드 선택 명령이면, 상기 이미지 센서는 상기 제어부의 제어 명령에 의해 상기 CFA의 IR 필터가 배치된 행에 상응하 는 원시 영상 신호만을 원시 적외선 신호로서 선택적으로 출력하는 것을 특징으로 하는 디지털 처리 장치.
  4. 제 3항에 있어서,
    상기 영상 처리부는 상기 제어부의 제어 명령에 의해 상기 원시 적외선 신호에서 IR 픽셀값만을 추출하여 적외선 영상 데이터를 생성하는 것을 특징으로 하는 디지털 처리 장치.
  5. 제 4항에 있어서,
    상기 영상 처리부는 (4n-2)열의 픽셀값들만을 추출하여 상기 적외선 영상 데이터를 생성하는 것을 특징으로 하는 디지털 처리 장치.
  6. 제 1항에 있어서,
    상기 촬영 모드 선택 명령이 동영상 촬영 모드 선택 명령이면, 상기 이미지 센서는 상기 제어부의 제어 명령에 의해 상기 CFA의 모든 필터들에 상응하는 원시 영상 신호를 원시 동영상 신호로서 출력하는 것을 특징으로 하는 디지털 처리 장치.
  7. 제 6항에 있어서,
    상기 영상 처리부는 상기 제어부의 제어 명령에 의해 상기 원시 동영상 데이터의 IR 픽셀값을 G 픽셀값으로 변환하여 동영상 데이터를 생성하는 것을 특징으로 하는 디지털 처리 장치.
  8. 제 7항에 있어서,
    상기 영상 처리부는 상기 IR 픽셀값을 하기 수학식을 이용하여 G 픽셀값으로 변환하는 것을 특징으로 하는 디지털 처리 장치.
    Figure 112006070690237-PAT00016
    여기서, i, j는 임의의 자연수임.
  9. 제 1항에 있어서,
    상기 촬영 모드 선택 명령을 입력받기 위한 입력부;
    상기 원시 영상 신호 및 상기 영상 데이터 중 하나 이상을 저장하기 위한 저장부; 및
    상기 영상 데이터를 출력하기 위한 디스플레이부를 더 포함하는 것을 특징으로 하는 디지털 처리 장치.
  10. 이미지 센서를 구비한 디지털 처리 장치에서 영상을 획득하는 방법에 있어서,
    임의의 촬영 모드 선택 명령을 입력받는 단계;
    상기 촬영 모드 선택 명령이 적외선 촬영 모드 선택 명령인지 여부를 판단하는 단계;
    만일 적외선 촬영 모드 선택 명령이면, 구비된 CFA내의 IR 필터가 배치된 행에 상응하는 원시 영상 신호만을 원시 적외선 신호로서 선택적으로 출력하는 단계; 및
    상기 원시 적외선 신호에서 IR 픽셀값만을 추출하여 적외선 영상 데이터를 생성하는 단계를 포함하는 영상 획득 방법.
  11. 제 10항에 있어서,
    만일 적외선 촬영 모드 선택 명령이 아니면, 상기 CFA의 모든 필터들에 상응하는 원시 영상 신호를 원시 동영상 신호로서 출력하는 단계; 및
    상기 원시 동영상 신호에서 IR 픽셀값을 G 픽셀값으로 변환하여 동영상 데이 터를 생성하는 단계를 더 포함하는 영상 획득 방법.
  12. 제 11항에 있어서,
    상기 IR 픽셀값은 하기 수학식을 이용하여 G 픽셀값으로 변환되는 것을 특징으로 하는 영상 획득 방법.
    Figure 112006070690237-PAT00017
    여기서, i, j는 임의의 자연수임.
KR1020060094529A 2006-09-28 2006-09-28 이미지 센서를 구비한 장치 및 영상 획득 방법 KR20080029051A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060094529A KR20080029051A (ko) 2006-09-28 2006-09-28 이미지 센서를 구비한 장치 및 영상 획득 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060094529A KR20080029051A (ko) 2006-09-28 2006-09-28 이미지 센서를 구비한 장치 및 영상 획득 방법

Publications (1)

Publication Number Publication Date
KR20080029051A true KR20080029051A (ko) 2008-04-03

Family

ID=39531680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060094529A KR20080029051A (ko) 2006-09-28 2006-09-28 이미지 센서를 구비한 장치 및 영상 획득 방법

Country Status (1)

Country Link
KR (1) KR20080029051A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8344306B2 (en) 2008-07-25 2013-01-01 Samsung Electronics Co., Ltd. Imaging method and apparatus
US8767074B2 (en) 2011-02-28 2014-07-01 Samsung Electro-Mechanics Co., Ltd. System and method of assisting visibility of driver
KR20160073743A (ko) * 2014-12-17 2016-06-27 엘지이노텍 주식회사 카메라용 필터 및 이를 이용한 카메라
US9538159B2 (en) 2012-08-27 2017-01-03 Samsung Electronics Co., Ltd. Apparatus and method for capturing color images and depth images
WO2019059635A1 (ko) * 2017-09-19 2019-03-28 삼성전자 주식회사 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8344306B2 (en) 2008-07-25 2013-01-01 Samsung Electronics Co., Ltd. Imaging method and apparatus
US8633431B2 (en) 2008-07-25 2014-01-21 Samsung Electronics Co., Ltd. Image method and apparatus
US8767074B2 (en) 2011-02-28 2014-07-01 Samsung Electro-Mechanics Co., Ltd. System and method of assisting visibility of driver
US9538159B2 (en) 2012-08-27 2017-01-03 Samsung Electronics Co., Ltd. Apparatus and method for capturing color images and depth images
KR20160073743A (ko) * 2014-12-17 2016-06-27 엘지이노텍 주식회사 카메라용 필터 및 이를 이용한 카메라
WO2019059635A1 (ko) * 2017-09-19 2019-03-28 삼성전자 주식회사 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치
US11146720B2 (en) 2017-09-19 2021-10-12 Samsung Electronics Co., Ltd. Electronic device for providing function by using RGB image and IR image acquired through one image sensor

Similar Documents

Publication Publication Date Title
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
US7435962B2 (en) Imaging device and method for producing an infrared filtered digital image
EP1986442A1 (en) Frame sequential-method color camera system
US20050128509A1 (en) Image creating method and imaging device
US20070076269A1 (en) Imaging unit and image sensor
JP2010093472A (ja) 撮像装置および撮像装置用信号処理回路
US20130278730A1 (en) Single-eye stereoscopic imaging device, correction method thereof, and recording medium thereof
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
JP4253634B2 (ja) デジタルカメラ
KR101889932B1 (ko) 촬영 장치 및 이에 적용되는 촬영 방법
US20140092220A1 (en) Image capturing element capturing stereoscopic moving image and planar moving image and image capturing apparatus equipped with the same
KR20130046174A (ko) 비전 인식 장치 및 방법
KR20080029051A (ko) 이미지 센서를 구비한 장치 및 영상 획득 방법
US6650795B1 (en) Color image capturing system with antialiazing
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP5108013B2 (ja) カラー撮像素子及びこれを用いた撮像装置及びフィルタ
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
WO2021157237A1 (ja) 電子機器
JP2005286536A (ja) 撮像装置
JP2006340100A (ja) 撮影装置
US8842203B2 (en) Solid-state imaging device and imaging apparatus
JP4687619B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4875399B2 (ja) 撮像装置及びその制御方法並びに撮像システム
JP2009118430A (ja) 撮像装置、該撮像装置の駆動方法、画像生成装置及び画像生成方法
JP2005286535A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee