KR20130102402A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20130102402A
KR20130102402A KR1020120023602A KR20120023602A KR20130102402A KR 20130102402 A KR20130102402 A KR 20130102402A KR 1020120023602 A KR1020120023602 A KR 1020120023602A KR 20120023602 A KR20120023602 A KR 20120023602A KR 20130102402 A KR20130102402 A KR 20130102402A
Authority
KR
South Korea
Prior art keywords
pixel
pixel values
storage unit
pixels
pixel value
Prior art date
Application number
KR1020120023602A
Other languages
English (en)
Inventor
이동재
조용성
김태찬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120023602A priority Critical patent/KR20130102402A/ko
Priority to US13/788,910 priority patent/US20130236104A1/en
Publication of KR20130102402A publication Critical patent/KR20130102402A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 기술적 사상에 따른 영상 처리 장치는 M×N 영역에 포함된 복수의 주변 화소들을 이용하여 중심 화소를 처리하는 영상 처리 장치로서, 상기 중심 화소가 배치된 중앙 행을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들, 및 상기 복수의 주변 화소들 중 상기 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들을 저장하는 화소 값 저장부, 및 상기 제1 및 제2 화소 값들을 기초로 하여 상기 중심 화소를 처리하는 화소 처리부를 포함하고, M과 N은 2 이상의 자연수이다.

Description

영상 처리 장치 및 방법{Apparatus and method of processing image}
본 발명의 기술적 사상은 영상 처리에 관한 것으로서, 더욱 상세하게는, 영상 처리 장치 및 방법에 관한 것이다.
영상 처리는 점 처리, 영역 처리, 기하학적 처리 및 프레임 처리로 구분될 수 있다. 점 처리는 화소의 값이나 화소의 위치에 따른 변환 및 처리하는 것이고, 영역 처리는 화소의 값과 이웃하는 화소 값을 이용하여 영상을 변환 및 처리하는 것이다. 기하학적 처리는 화소의 위치나 화소 간의 배열을 변환 및 처리하는 것이고, 프레임 처리는 두 개 이상의 영상에 대한 처리를 통해 화소 값을 생성하는 것이다.
본 발명의 기술적 사상이 해결하려는 과제는 주변 화소들을 이용하여 중심 화소를 처리하는 경우 주변 화소들을 저장하는데 필요한 메모리의 사용량을 감소시킬 수 있는 영상 처리 장치를 제공하는 데에 있다.
본 발명의 기술적 사상이 해결하려는 다른 과제는 주변 화소들을 이용하여 중심 화소를 처리하는 경우 주변 화소들을 저장하는데 필요한 메모리의 사용량을 감소시킬 수 있는 영상 처리 방법을 제공하는 데에 있다.
본 발명의 기술적 사상에 따른 영상 처리 장치는 M×N 영역에 포함된 복수의 주변 화소들을 이용하여 중심 화소를 처리하는 영상 처리 장치로서, 상기 중심 화소가 배치된 중앙 행을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들, 및 상기 복수의 주변 화소들 중 상기 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들을 저장하는 화소 값 저장부; 및 상기 제1 및 제2 화소 값들을 기초로 하여 상기 중심 화소를 처리하는 화소 처리부를 포함하고, M과 N은 2 이상의 자연수이다.
실시예들에 있어서, 상기 화소 값 저장부에 저장된 상기 제1 및 제2 화소 값들의 개수는, (M-1)개의 행들에 포함된 화소들에 대응하는 화소 값들의 개수보다 적을 수 있다.
실시예들에 있어서, 상기 화소 값 저장부는, 상기 제1 화소 값들을 저장하는 라인 메모리; 및 상기 제2 화소 값들을 저장하는 메모리를 포함할 수 있다. 상기 라인 메모리에 저장되는 상기 제1 화소 값들의 개수는, (M-1)개의 행들에 포함된 화소들에 대응하는 화소 값들의 개수보다 적을 수 있다.
실시예들에 있어서, 상기 화소 값 저장부는, 상기 제1 및 제2 화소 값들을 저장하는 라인 메모리를 포함할 수 있다.
실시예들에 있어서, 영상 처리 장치는 연속적으로 입력되는 복수의 화소 값들 중 상기 중심 화소에 대응하는 중심 화소 값을 식별할 수 있는 식별 정보를 저장하는 식별 정보 저장부를 더 포함할 수 있다. 상기 식별 정보는 상기 중심 화소의 좌표에 대한 정보 또는 상기 중심 화소의 입력 순서에 대한 정보를 포함할 수 있다.
실시예들에 있어서, 영상 처리 장치는 연속적으로 입력되는 화소 값들을 저장하는 입력 버퍼를 더 포함할 수 있다. 상기 입력 버퍼는 상기 복수의 주변 화소들 중 M번째 행에 포함된 제3 화소들에 대응하는 제3 화소 값들을 저장할 수 있다.
실시예들에 있어서, 영상 처리 장치는 상기 제1 내지 제3 화소 값들을 기초로 하여 상기 복수의 주변 화소들을 포함하는 주변 영역을 생성하는 주변 영역 생성부를 더 포함할 수 있다. 상기 화소 처리부는 생성된 상기 주변 영역을 이용하여 상기 중심 화소에 대응하는 중심 화소 값을 변경 또는 유지할 수 있다.
실시예들에 있어서, 영상 처리 장치는 상기 M과 N의 값을 선택적으로 결정하여, M×N 영역인 커널(kernel)의 사이즈를 결정하는 커널 사이즈 결정부를 더 포함할 수 있다.
실시예들에 있어서, 상기 중심 화소는 결함 화소이고, 상기 화소 처리부는 상기 제1 및 제2 화소 값들을 기초로 하여 상기 결함 화소의 화소 값을 보정할 수 있다.
또한, 본 발명의 기술적 사상에 따른 영상 처리 방법은 M×N 영역에 포함된 복수의 주변 화소들을 이용하여 중심 화소를 처리하는 영상 처리 방법으로서, 상기 중심 화소가 배치된 중앙 행을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들, 및 상기 복수의 주변 화소들 중 상기 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들을 저장하는 단계; 및 상기 제1 및 제2 화소 값들을 기초로 하여 상기 중심 화소를 처리하는 단계를 포함하고, M과 N은 2 이상의 자연수이다.
실시예들에 있어서, 영상 처리 방법은 상기 복수의 주변 화소들 중 M번째 행에 포함된 제3 화소들에 대응하는 제3 화소 값들을 저장하는 단계; 및 상기 제1 내지 제3 화소 값들을 기초로 하여 상기 복수의 주변 화소들을 포함할 수 있다.
본 발명의 기술적 사상에 따른 영상 처리 장치는 M×N 영역에 포함된 복수의 주변 화소들을 이용하여 중심 화소를 처리하는 영상 처리 장치로서, 중심 화소가 배치된 중앙 행을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들, 및 복수의 주변 화소들 중 상기 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들을 저장함으로써, 종래에 비해 주변 화소들을 저장하는데 요구되는 메모리의 공간이 감소한다.
구체적으로, 종래는 (M-1)개의 행들에 포함된 화소들에 대응되는 화소 값들을 저장할 수 있는 메모리의 공간이 요구되었으나, 본 발명의 기술적 사상에 따르면, 메모리에 저장되는 제1 및 제2 화소 값들의 개수는 (M-1)개의 행들에 포함된 화소들에 대응되는 화소 값들의 개수보다 적다. 이로써, 주변 화소들을 이용하여 중심 화소를 처리할 때, 메모리의 사용량을 감소시킬 수 있고, 이에 따라, 동일한 로직 회로를 구현하는데 필요한 메모리의 용량을 감소시킴으로써 전체 하드웨어의 크기를 감소시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 2는 도 1의 영상 처리 장치에서 이용되는 M×N 영역의 일 예를 나타낸다.
도 3은 도 1 의 식별 정보 저장부에 저장되는 식별 정보의 일 예를 나타낸다.
도 4는 도 1의 식별 정보 저장부에 저장되는 식별 정보의 다른 예를 나타낸다.
도 5는 영상 처리 장치에서 저장되는 화소 값들의 비교 예를 나타낸다.
도 6은 도 1의 화소 값 저장부 및 입력 버퍼에서 저장되는 제1 내지 제3 화소 값들의 일 예를 나타낸다.
도 7은 도 1의 화소 값 저장부 및 입력 버퍼에서 저장되는 제1 내지 제3 화소 값들의 다른 예를 나타낸다.
도 8는 도 1의 영상 처리 장치에서 이용되는 M×N 영역의 제1 변형 실시예를 나타낸다.
도 9는 도 8의 실시예에 따른 M×N 영역이 이용되는 경우, 도 1의 화소 값 저장부 및 입력 버퍼에서 저장되는 제1 내지 제3 화소 값들의 일 예를 나타낸다.
도 10은 도 8의 실시예에 따른 M×N 영역이 이용되는 경우, 도 1의 화소 값 저장부 및 입력 버퍼에서 저장되는 제1 내지 제3 화소 값들의 다른 예를 나타낸다.
도 11은 도 1의 영상 처리 장치에서 이용되는 M×N 영역의 제2 변형 실시예를 나타낸다.
도 12는 도 11의 실시예에 따른 M×N 영역이 이용되는 경우, 도 1의 화소 값 저장부 및 입력 버퍼에서 저장되는 제1 내지 제3 화소 값들의 일 예를 나타낸다.
도 13은 도 11의 실시예에 따른 M×N 영역이 이용되는 경우, 도 1의 화소 값 저장부 및 입력 버퍼에서 저장되는 제1 내지 제3 화소 값들의 다른 예를 나타낸다.
도 14는 도 1의 영상 처리 장치에서 이용되는 M×N 영역의 제3 변형 실시예를 나타낸다.
도 15는 도 14의 실시예에 따른 M×N 영역이 이용되는 경우, 도 1의 화소 값 저장부 및 입력 버퍼에서 저장되는 제1 내지 제3 화소 값들의 일 예를 나타낸다.
도 16은 도 14의 실시예에 따른 M×N 영역이 이용되는 경우, 도 1의 화소 값 저장부 및 입력 버퍼에서 저장되는 제1 내지 제3 화소 값들의 다른 예를 나타낸다.
도 17은 본 발명의 다른 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 18은 본 발명의 또 다른 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 19a 내지 도 19c는 도 18의 커널 사이즈 결정부에 결정된 사이즈를 가지는 커널의 예들을 나타낸다.
도 20은 본 발명의 또 다른 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 21은 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 흐름도이다.
도 22는 본 발명의 실시예들에 따른 영상 처리 장치를 포함하는 촬영 장치를 나타내는 블록도이다.
도 23은 도 22에 포함된 이미지 센서의 일 예를 나타내는 블록도이다.
도 24는 도 22의 촬영 장치를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
도 25는 도 24의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다. 본 발명의 실시예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나 축소하여 도시한 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 벗어나지 않으면서, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 1을 참조하면, 영상 처리 장치(1A)는 식별 정보 저장부(10), 화소 값 저장부(20a), 입력 버퍼(30), 주변 영역 생성부(40) 및 화소 처리부(50)를 포함할 수 있다. 화소 값 저장부(20a)는 제1 화소 값 저장부(21) 및 제2 화소 값 저장부(22)를 포함할 수 있다.
본 실시예에서, 영상 처리 장치(1A)는 주변 화소들을 이용하여 중심 화소 또는 결함 화소를 처리하는 중심 화소 처리 장치 또는 결함 화소 처리 장치일 수 있다. 결함 화소 또는 불량 화소(defective pixel)는 일정한 환경 안에서 주변 화소들에 비해 매우 크거나 매우 작은 신호를 나타내는 화소를 말한다. 결함 화소는 항상 켜지는 핫(hot) 화소, 항상 꺼지는 데드(dead) 화소, 그리고 항상 켜지기도 하고 항상 꺼지기도 하는 하나 이상의 하위 화소인 스턱(stuck) 화소가 있다.
이미지 센서(미도시)는 렌즈를 통해 들어온 광 신호를 전기 신호로 변환하는 장치이다. 이미지 센서의 대표적인 응용분야로 휴대용 전화기 카메라 및 디지털 카메라가 있으며, 이러한 제품들의 소형화 추세에 따라 이미지 센서도 크기에 있어서 제한을 받게 된다. 또한, 이미지 센서는 다수의 장치들을 포함하고 있는바, 이로 인해 이미지 센서의 제조 공정 상의 오류가 발생할 가능성이 있다. 나아가, 이미지 센서에 포함되는 화소 수가 늘어남에 따라, 제조 공정상의 문제로 인해 발생하는 불량 화소 역시 증가하게 된다. 이때, 불량 화소의 증가는 이미지 센서의 성능을 떨어뜨리므로 이를 방지하기 위해 불량 화소의 검출과 보정이 필요하다.
도 2는 도 1의 영상 처리 장치에서 이용되는 M×N 영역의 일 예를 나타낸다.
도 2를 참조하면, M×N 영역은 M개의 행들과 N개의 열들로 구성되는데, M과 N은 2 이상의 자연수이다. 본 실시예에서, M과 N은 각각 5일 수 있고, 5×5 영역은 제1 내지 제5 행들(R1 내지 R5)을 포함할 수 있다. 처리해야 할 중심 화소(C)는 제3 행(R3)에 배치되는데, 이때, 제3 행(R3)은 중앙 행이라고 할 수 있다. M×N 영역에서 중앙 행은 (M+1)/2번째 행일 수 있다. 제1 및 제2 행들(R1, R2)은 제3 행(R3), 즉, 중앙 행의 상부에 배치되고, 제4 및 제5 행들(R4, R5)은 제3 행(R3), 즉, 중앙 행의 하부에 배치된다.
M×N 영역은 커널(kernel)이라고 할 수 있는데, 커널은 연속적으로 입력되는 복수의 화소 값들(IN)을 M×N 개씩 그룹핑(grouping)함으로써 생성된다. 본 실시예에서, 커널(K1)은 처리해야 할 중심 화소(C)에 대응하는 중심 화소 값(X33) 및 중심 화소(C)에 대한 복수의 주변 화소들에 대응하는 주변 화소 값들(X11 내지 X15, X21 내지 X25, X31, X32, X34, X35, X41 내지 X45 및 X51 내지 X55)을 포함한다.
중심 화소(C)가 결함 화소이고, 복수의 주변 화소들이 정상 화소들인 경우, 복수의 주변 화소 값들(X11 내지 X15, X21 내지 X25, X31, X32, X34, X35, X41 내지 X45 및 X51 내지 X55)의 평균을 이용하여 중심 화소 값(X33)을 보정할 수 있다. 또는, 복수의 주변 화소 값들(X11 내지 X15, X21 내지 X25, X31, X32, X34, X35, X41 내지 X45 및 X51 내지 X55) 중 일부 화소 값들에 대해 가중치를 적용하고 가중치가 적용된 주변 화소 값들과 나머지 주변 화소 값들의 가중치 평균(weighted average)을 이용하여 중심 화소 값(X33)을 보정할 수도 있다. 또는, 복수의 주변 화소들(X11 내지 X15, X21 내지 X25, X31, X32, X34, X35, X41 내지 X45 및 X51 내지 X55) 중 가장 가까운 주변 화소(nearest neighbor)의 화소 값을 이용하여 중심 화소 값(X33)을 보정할 수도 있다.
도 1 및 도 2를 참조하면, 식별 정보 저장부(10)는 연속적으로 입력되는 복수의 화소 값들(IN) 중에서 중심 화소(C)에 대응하는 중심 화소 값(X33)을 식별할 수 있는 식별 정보(ID)를 저장할 수 있다. 또한, 식별 정보 저장부(10)는 저장된 식별 정보(ID)는 화소 값 저장부(20a)에 제공할 수 있다. 예를 들어, 식별 정보 저장부(10)는 비휘발성 메모리 장치, OTP(One Time Programmable EPROM), 또는 이퓨즈(e-fuse) 등으로 구현될 수 있다.
여기서, 식별 정보(ID)는 중심 화소(C)의 좌표에 대한 정보 또는 중심 화소(C)의 입력 순서에 대한 정보 등을 포함할 수 있다. 다시 말해, 식별 정보(ID)는 연속적으로 입력되는 복수의 화소 값들(IN) 중 중심 화소(C)에 대응하는 중심 화소 값(X33)을 구별하기 위하여, 중심 화소 값(X33)을 인덱싱(indexing)할 수 있다. 식별 정보(ID)의 예에 대해서는 이하에서 도 3 및 도 4를 참조하여 상술하기로 한다.
도 3은 도 1 의 식별 정보 저장부에 저장되는 식별 정보의 일 예를 나타낸다.
도 3을 참조하면, 식별 정보 저장부(10)는 중심 화소(C)의 좌표에 대한 정보, 즉, 중심 화소(C)의 좌표 값을 식별 정보(ID)로써 저장할 수 있다. 이때, 식별 정보 저장부(10)는 중심 화소(C)의 좌표 값들은 가로축 좌표 값(X coordinate) 및 세로축 좌표 값(Y coordinate)으로 저장할 수 있다. 복수의 화소들은 화소 어레이(array)의 형태로 이미지 센서(미도시)에 포함되므로, 처리하고자 하는 중심 화소(C)의 좌표 값을 알면, 복수의 화소 값들(IN) 중 중심 화소(C)에 대응하는 중심 화소 값(X33)을 식별할 수 있다. 예를 들어, 식별 정보 저장부(10)는 (X1, Y1), (X2, Y2), ..., (Xk, Yk)와 같이 k개의 중심 화소의 좌표 값들을 저장할 수 있다.
도 4는 도 1의 식별 정보 저장부에 저장되는 식별 정보의 다른 예를 나타낸다.
도 4를 참조하면, 식별 정보 저장부(10)는 중심 화소(C)에 대응되는 화소 값(X33)의 입력 순서에 대한 정보를 식별 정보(ID)로써 저장할 수 있다. 영상 처리 장치(10)에는 복수의 화소 값들(IN)이 연속적으로 들어오므로, 처리하고자 하는 중심 화소(C)에 대응하는 중심 화소 값(X33)이 입력되는 순서를 알면, 복수의 화소 값들(IN) 중 중심 화소(C)에 대응하는 중심 화소 값(X33)을 식별할 수 있다. 예를 들어, 식별 정보 저장부(10)는 중심 화소(C)의 입력 순서로 1, 10 등을 저장할 수 있고, 이때, 연속적으로 입력되는 복수의 화소 값들(IN) 중 첫 번째로 입력되는 화소 및 열 번째로 입력되는 화소에 대응되는 화소 값들이 중심 화소 값일 수 있다.
다시 도 1 및 도 2를 참조하면, 화소 값 저장부(20a)는 식별 정보(ID)를 기초로 하여, 연속적으로 입력되는 화소 값들(IN) 중 일부 화소 값들을 저장할 수 있다. 본 실시예에서, 화소 값 저장부(20a)에 저장되는 화소 값들의 개수는, (M-1)개의 행들에 포함된 화소들에 대응하는 화소 값들의 개수보다 적을 수 있다. 구체적으로, 화소 값 저장부(20a)는 제1 화소 값 저장부(21) 및 제2 화소 값 저장부(22)를 포함할 수 있다.
제1 화소 값 저장부(21)는 식별 정보(ID)를 기초로 하여, 연속적으로 입력되는 화소 값들(IN) 중 중심 화소(C)가 배치된 중앙 행(즉, (M+1)/2번째 행)을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 본 실시예에서, 제1 화소 값 저장부(21)는 중심 화소(C)가 배치된 제3 행(R3)을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 본 실시예에서, 제1 화소 값 저장부(21)는 라인 메모리(line memory)로 구현될 수 있다.
일 실시예에서, 제1 화소 값 저장부(21)는 중앙 행 내지 (M-1) 행에 포함된 제1 화소에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 다른 실시예에서, 제1 화소 값 저장부(21)는 제2 행(R2) 내지 (M-1) 행에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수도 있다. 이에 대해서는, 이하에서 도 5 내지 도 7을 참조하여 상술하기로 한다.
제2 화소 값 저장부(22)는 M×N 영역에 포함된 복수의 주변 화소들 중 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들(P2)을 저장할 수 있다. 구체적으로, 제2 화소 값 저장부(22)는 M×N 영역에 포함된 복수의 주변 화소들 중, 제1 화소 값 저장부(21)에 저장된 제1 화소 값들(P1)과 제M 행에 포함된 제3 화소 값들(P3)을 제외한 나머지 화소 값들, 즉, 제2 화소 값들(P2)을 저장할 수 있다. 본 실시예에서, 제2 화소 값 저장부(22)는 메모리로 구현될 수 있다.
입력 버퍼(30)는 연속적으로 입력되는 화소 값들(IN)을 저장할 수 있는데, 입력 버퍼(30)의 사이즈는 N의 값에 따라 변경될 수 있다. 구체적으로, 입력 버퍼(30)는 M×N 영역에 포함되는 복수의 주변 화소들 중 M번째 행에 포함되는 N개의 제3 화소들에 대응하는 제3 화소 값들(P3)을 저장할 수 있다. 일 실시예에서, 입력 버퍼(30)는 플립플롭(flip flop)으로 구현될 수 있다.
주변 영역 생성부(40)는 화소 값 저장부(20a) 및 입력 버퍼(30)에서 제공된 제1 내지 제3 화소 값들(P1, P2, P3)을 기초로 하여 중심 화소(C)를 처리하는데 필요한 복수의 주변 화소들을 포함하는 주변 영역을 생성할 수 있다. 본 실시예에서, 주변 영역 생성부(40)는 제1 내지 제3 화소 값들(P1, P2, P3)을 기초로 하여 5×5 영역에 포함되는 복수의 주변 화소들을 포함하는 주변 영역을 생성할 수 있다.
화소 처리부(50)는 주변 영역 생성부(40)에서 생성된 주변 영역을 이용하여 중심 화소(C)를 처리하여 보정된 중심 화소 값(OUT)을 출력할 수 있다. 구체적으로, 화소 처리부(50)는 생성된 주변 영역을 이용하여 중심 화소(C)에 대응하는 중심 화소 값을 변경 또는 유지하여 보정된 중심 화소 값(OUT)을 출력할 수 있다. 중심 화소(C)가 결함 화소인 경우, 화소 처리부(50)는 생성된 주변 영역을 이용하여 결함 화소의 화소 값을 보정할 수 있다.
도 5는 영상 처리 장치에서 저장되는 화소 값들의 비교 예를 나타낸다.
도 5를 참조하면, 중심 화소(C)를 처리하기 위하여 5×5 영역에 포함되는 주변 화소들을 필요한 경우, 종래 기술에 따른 영상 처리 장치에 포함된 메모리는 제1 내지 제4 행들(R1 내지 R4)에 포함된 화소들에 대응하는 화소 값들을 저장했다. 따라서, 제1 내지 제4 행들(R1 내지 R4)에 포함된 화소들에 대응하는 화소 값들을 저장하도록 4개의 라인 메모리들이 필요했다.
이때, 4개의 라인 메모리들은 중심 화소(C)를 처리하기 위해 필요한 주변 화소들 외에 다른 화소들에 대응하는 화소 값들도 저장하고 있으므로, 하드웨어 사이즈가 필요 이상으로 요구되었다. 예를 들어, 하나의 라인 메모리에는 32개의 화소 값들이 저장될 수 있고, 4개의 라인 메모리들에는 총 128(=32×4)개의 화소 값들이 저장될 수 있다.
도 6은 도 1의 화소 값 저장부(20a) 및 입력 버퍼(30)에서 저장되는 제1 내지 제3 화소 값들의 일 예를 나타낸다.
도 6을 참조하면, 제1 화소 값 저장부(21)는 중심 화소(C)가 배치된 중앙 행을 포함하는 3개의 행들에 포함된 제1 화소들에 대응되는 제1 화소 값들(P1)을 저장할 수 있다. 구체적으로, 제1 화소 값 저장부(21)는 중심 화소(C)가 배치된 제3 행(R3), 제3 행(R3) 위의 제2 행(R2), 및 제3 행(R3) 아래의 제4 행(R4)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 이 경우, 제1 화소 값 저장부(21)는 3개의 라인 메모리들로 구현될 수 있다.
제2 화소 값 저장부(22)는 5×5 영역에 포함되는 주변 화소들 중 제1 행(R1)에 포함된 제2 화소들에 대응되는 제2 화소 값들(P2)을 저장할 수 있다. 본 실시예에서, 제2 화소 값 저장부(22)는 5개의 제2 화소 값들(P2)을 저장할 수 있다.
입력 버퍼(30)는 5×5 영역에 포함되는 주변 화소들 중 제5 행(R5)에 배치되는 제3 화소들에 대응되는 제3 화소 값들(P3)을 저장할 수 있다. 이때, 입력 버퍼(30)는 5개의 제3 화소 값들(P3)을 저장할 수 있다.
본 실시예에 따르면, 제1 화소 값 저장부(21)는 96(=32×3)개의 화소 값들을 저장할 수 있고, 제2 화소 값 저장부(22)는 5개의 화소 값들을 저장할 수 있다. 따라서, 화소 값 저장부(20a)는 101(=96+5)개의 화소 값들을 저장할 수 있는바, 도 5의 비교 예와 비교하면 27개만큼 적은 화소 값들을 저장한다. 그러므로, 본 실시예에 따르면, 제1 및 제2 화소 값들(P1, P2)을 저장하는데 요구되는 메모리의 용량이 전체적으로 줄어든다.
도 7은 도 1의 화소 값 저장부(20a) 및 입력 버퍼(30)에서 저장되는 제1 내지 제3 화소 값들의 다른 예를 나타낸다.
도 7을 참조하면, 제1 화소 값 저장부(21)는 중심 화소(C)가 배치된 중앙 행을 포함하는 2개의 행들에 포함된 제1 화소들에 대응되는 제1 화소 값들(P1)을 저장할 수 있다. 구체적으로, 제1 화소 값 저장부(21)는 중심 화소(C)가 배치된 제3 행(R3), 및 제3 행(R3) 아래의 제4 행(R4)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 이 경우, 제1 화소 값 저장부(21)는 2개의 라인 메모리들로 구현될 수 있다.
제2 화소 값 저장부(22)는 5×5 영역에 포함되는 주변 화소들 중 제1 및 제2 행들(R1, R2)에 배치되는 제2 화소들에 대응되는 제2 화소 값들(P2)을 저장할 수 있다. 본 실시예에서, 제2 화소 값 저장부(22)는 10(=5×2)개의 제2 화소 값들(P2)을 저장할 수 있다.
입력 버퍼(30)는 5×5 영역에 포함되는 주변 화소들 중 제5 행(R5)에 포함된 제3 화소들에 대응하는 제3 화소 값들(P3)을 저장할 수 있다. 이때, 입력 버퍼(30)는 5개의 제3 화소 값들(P3)을 저장할 수 있다.
본 실시예에 따르면, 제1 화소 값 저장부(21)는 64(=32×2)개의 화소 값들을 저장할 수 있고, 제2 화소 값 저장부(22)는 10(=5×2)개의 화소 값들을 저장할 수 있다. 따라서, 화소 값 저장부(20a)는 74(=64+10)개의 화소 값들을 저장할 수 있는바, 도 5의 비교 예와 비교하면 54개만큼 적은 화소 값들을 저장한다. 그러므로, 본 실시예에 따르면, 제1 및 제2 화소 값들(P1, P2)을 저장하는데 요구되는 메모리의 용량이 전체적으로 줄어든다.
도 8은 도 1의 영상 처리 장치에서 이용되는 M×N 영역의 제1 변형 실시예를 나타낸다.
도 8을 참조하면, M, N은 각각 5일 수 있고, 5×5 영역은 제1 내지 제5 행들(R1 내지 R5)을 포함할 수 있다. 따라서, 커널(K1')은 처리해야 할 중심 화소(C)에 대응하는 중심 화소 값(X33) 및 중심 화소(C)에 대한 복수의 주변 화소들에 대응하는 주변 화소 값들(X11 내지 X15, X21 내지 X25, X31, X32, X34, X35, X41 내지 X45 및 X51 내지 X55)을 포함한다.
본 실시예에서, 중심 화소(C)는 복수의 주변 화소들 중 굵은 선으로 표현된 주변 화소들에 대응되는 주변 화소 값들(N1), 즉, X13, X23, X43 및 X53을 이용하여 처리할 수 있다. 이 경우, 종래 기술에 따르면, 제1 내지 제4 행들(R1 내지 R4)에 포함되는 화소들에 대응하는 화소 값들이 모두 저장되었다.
도 9는 도 8의 실시예에 따른 M×N 영역이 이용되는 경우, 도 1의 화소 값 저장부(20a) 및 입력 버퍼(30)에서 저장되는 제1 내지 제3 화소 값들의 일 예를 나타낸다.
도 9를 참조하면, 제1 화소 값 저장부(21)는 제2 내지 제4 행들(R2 내지 R4)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 또한, 제2 화소 값 저장부(22)는 5×5 영역에 포함되는 주변 화소들 중 제1 행(R1)에 포함된 X13만을 저장할 수 있으며, 이때, X13은 제2 화소 값(P2)에 대응된다. 또한, 입력 버퍼(30)는 5×5 영역에 포함되는 주변 화소들 중 제5 행(R5)에 포함된 제3 화소들에 대응하는 제3 화소 값들(P3)을 저장할 수 있다.
본 실시예에 따르면, 제1 화소 값 저장부(21)는 96(=32×3)개의 화소 값들을 저장할 수 있고, 제2 화소 값 저장부(22)는 1개의 화소 값들을 저장할 수 있다. 따라서, 화소 값 저장부(20a)는 97(=96+1)개의 화소 값들을 저장할 수 있는바, 도 5의 비교 예와 비교하면 31개만큼 적은 화소 값들을 저장한다. 그러므로, 본 실시예에 따르면, 제1 및 제2 화소 값들(P1, P2)을 저장하는데 요구되는 메모리의 용량이 전체적으로 줄어든다.
도 10은 도 8의 실시예에 따른 M×N 영역이 이용되는 경우, 도 1의 화소 값 저장부(20a) 및 입력 버퍼(30)에서 저장되는 제1 내지 제3 화소 값들의 다른 예를 나타낸다.
도 10을 참조하면, 제1 화소 값 저장부(21)는 제3 및 제4 행들(R3 및 R4)에 포함된 제1 화소들에 대응되는 제1 화소 값들(P1)을 저장할 수 있다. 또한, 제2 화소 값 저장부(22)는 5×5 영역에 포함되는 주변 화소들 중 제1 및 제2 행들(R1, R2)에 포함된 X13 및 X23만을 저장할 수 있으며, 이때, X13 및 X23은 제2 화소 값(P2)에 대응된다. 또한, 입력 버퍼(30)는 5×5 영역에 포함되는 주변 화소들 중 제5 행(R5)에 포함된 제3 화소들에 대응하는 제3 화소 값들(P3)을 저장할 수 있다.
본 실시예에 따르면, 제1 화소 값 저장부(21)는 64(=32×2)개의 화소 값들을 저장할 수 있고, 제2 화소 값 저장부(22)는 2개의 화소 값들을 저장할 수 있다. 따라서, 화소 값 저장부(20a)는 66(=64+2)개의 화소 값들을 저장할 수 있는바, 도 5의 비교 예와 비교하면 62개만큼 적은 화소 값들을 저장한다. 그러므로, 본 실시예에 따르면, 제1 및 제2 화소 값들(P1, P2)을 저장하는데 요구되는 메모리의 용량이 전체적으로 줄어든다.
도 11은 도 1의 영상 처리 장치에서 이용되는 M×N 영역의 제2 변형 실시예를 나타낸다.
도 11을 참조하면, M, N은 각각 5일 수 있고, 5×5 영역은 제1 내지 제5 행들(R1 내지 R5)을 포함할 수 있다. 따라서, 커널(K1")은 처리해야 할 중심 화소(C)에 대응하는 중심 화소 값(X33) 및 중심 화소(C)에 대한 복수의 주변 화소들에 대응하는 주변 화소 값들(X11 내지 X15, X21 내지 X25, X31, X32, X34, X35, X41 내지 X45 및 X51 내지 X55)을 포함한다.
본 실시예에서, 중심 화소(C)는 복수의 주변 화소들 중 굵은 선으로 표현된 주변 화소에 대응되는 화소 값들(N2), 즉, X13, X23, X31, X32, X34, X35, X43 및 X53을 이용하여 처리할 수 있다. 이 경우, 종래 기술에 따르면, 제1 내지 제4 행들(R1 내지 R4)에 포함되는 화소들에 대응하는 화소 값들이 모두 저장되었다.
도 12는 도 11의 실시예에 따른 M×N 영역이 이용되는 경우, 도 1의 화소 값 저장부(20a) 및 입력 버퍼(30)에서 저장되는 제1 내지 제3 화소 값들의 일 예를 나타낸다.
도 12를 참조하면, 제1 화소 값 저장부(21)는 제2 내지 제4 행들(R2 내지 R4)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 또한, 제2 화소 값 저장부(22)는 5×5 영역에 포함되는 주변 화소들 중 제1 행(R1)에 포함된 X13만을 저장할 수 있으며, 이때, X13은 제2 화소 값(P2)에 대응된다. 또한, 입력 버퍼(30)는 5×5 영역에 포함되는 주변 화소들 중 제5 행(R5)에 포함된 제3 화소들에 대응하는 제3 화소 값들(P3)을 저장할 수 있다.
본 실시예에 따르면, 제1 화소 값 저장부(21)는 96(=32×3)개의 화소 값들을 저장할 수 있고, 제2 화소 값 저장부(22)는 1개의 화소 값들을 저장할 수 있다. 따라서, 화소 값 저장부(20a)는 97(=96+1)개의 화소 값들을 저장할 수 있는바, 도 5의 비교 예와 비교하면 31개만큼 적은 화소 값들을 저장한다. 그러므로, 본 실시예에 따르면, 제1 및 제2 화소 값들(P1, P2)을 저장하는데 요구되는 메모리의 용량이 전체적으로 줄어든다.
도 13은 도 11의 실시예에 따른 M×N 영역이 이용되는 경우, 도 1의 화소 값 저장부(20a) 및 입력 버퍼(30)에서 저장되는 제1 내지 제3 화소 값들의 다른 예를 나타낸다.
도 13을 참조하면, 제1 화소 값 저장부(21)는 제3 및 제4 행들(R3 및 R4)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 또한, 제2 화소 값 저장부(22)는 5×5 영역에 포함되는 주변 화소들 중 제1 및 제2 행들(R1, R2)에 포함된 X13 및 X23만을 저장할 수 있으며, 이때, X13 및 X23은 제2 화소 값(P2)에 대응된다. 또한, 입력 버퍼(30)는 5×5 영역에 포함되는 주변 화소들 중 제5 행(R5)에 포함된 제3 화소들에 대응하는 제3 화소 값들(P3)을 저장할 수 있다.
본 실시예에 따르면, 제1 화소 값 저장부(21)는 64(=32×2)개의 화소 값들을 저장할 수 있고, 제2 화소 값 저장부(22)는 2개의 화소 값들을 저장할 수 있다. 따라서, 화소 값 저장부(20a)는 66(=64+2)개의 화소 값들을 저장할 수 있는바, 도 5의 비교 예와 비교하면 62개만큼 적은 화소 값들을 저장한다. 그러므로, 본 실시예에 따르면, 제1 및 제2 화소 값들(P1, P2)을 저장하는데 요구되는 메모리의 용량이 전체적으로 줄어든다.
도 14는 도 1의 영상 처리 장치에서 이용되는 M×N 영역의 제3 변형 실시예를 나타낸다.
도 14를 참조하면, M, N은 각각 5일 수 있고, 5×5 영역은 제1 내지 제5 행들(R1 내지 R5)을 포함할 수 있다. 따라서, 커널(K1''')은 처리해야 할 중심 화소(C)에 대응하는 중심 화소 값(X33) 및 중심 화소(C)에 대한 복수의 주변 화소들에 대응하는 주변 화소 값들(X11 내지 X15, X21 내지 X25, X31, X32, X34, X35, X41 내지 X45 및 X51 내지 X55)을 포함한다.
본 실시예에서, 중심 화소(C)는 복수의 주변 화소들 중 굵은 선으로 표현된 주변 화소에 대응되는 화소 값들(N3), 즉, X13, X22, X23, X24, X31, X32, X34, X35, X42, X43, X44 및 X53을 이용하여 처리할 수 있다. 이 경우, 종래 기술에 따르면, 제1 내지 제4 행들(R1 내지 R4)에 포함되는 화소들에 대응하는 화소 값들이 모두 저장되었다.
도 15는 도 14의 실시예에 따른 M×N 영역이 이용되는 경우, 도 1의 화소 값 저장부(20a) 및 입력 버퍼(30)에서 저장되는 제1 내지 제3 화소 값들의 일 예를 나타낸다.
도 15를 참조하면, 제1 화소 값 저장부(21)는 제2 내지 제4 행들(R2 내지 R4)에 포함된 제1 화소들에 대응되는 제1 화소 값들(P1)을 저장할 수 있다. 또한, 제2 화소 값 저장부(22)는 5×5 영역에 포함되는 주변 화소들 중 제1 행(R1)에 포함된 X13만을 저장할 수 있으며, 이때, X13은 제2 화소 값(P2)에 대응된다. 또한, 입력 버퍼(30)는 5×5 영역에 포함되는 주변 화소들 중 제5 행(R5)에 포함된 제3 화소들에 대응하는 제3 화소 값들(P3)을 저장할 수 있다.
본 실시예에 따르면, 제1 화소 값 저장부(21)는 96(=32×3)개의 화소 값들을 저장할 수 있고, 제2 화소 값 저장부(22)는 1개의 화소 값들을 저장할 수 있다. 따라서, 화소 값 저장부(20a)는 97(=96+1)개의 화소 값들을 저장할 수 있는바, 도 5의 비교 예와 비교하면 31개만큼 적은 화소 값들을 저장한다. 그러므로, 본 실시예에 따르면, 제1 및 제2 화소 값들(P1, P2)을 저장하는데 요구되는 메모리의 용량이 전체적으로 줄어든다.
도 16은 도 14의 실시예에 따른 M×N 영역이 이용되는 경우, 도 1의 화소 값 저장부(20a) 및 입력 버퍼(30)에서 저장되는 제1 내지 제3 화소 값들의 다른 예를 나타낸다.
도 16을 참조하면, 제1 화소 값 저장부(21)는 제3 및 제4 행(R3 및 R4)들에 포함된 제1 화소들에 대응되는 제1 화소 값들(P1)을 저장할 수 있다. 또한, 제2 화소 값 저장부(22)는 5×5 영역에 포함되는 주변 화소들 중 제1 및 제2 행들(R1, R2)에 포함된 X13, X22, X23 및 X24만을 저장할 수 있으며, 이때, X13, X22, X23 및 X24은 제2 화소 값(P2)에 대응된다. 또한, 입력 버퍼(30)는 5×5 영역에 포함되는 주변 화소들 중 제5 행(R5)에 포함된 제3 화소들에 대응하는 제3 화소 값들(P3)을 저장할 수 있다.
본 실시예에 따르면, 제1 화소 값 저장부(21)는 64(=32×2)개의 화소 값들을 저장할 수 있고, 제2 화소 값 저장부(22)는 4개의 화소 값들을 저장할 수 있다. 따라서, 화소 값 저장부(20a)는 68(=64+4)개의 화소 값들을 저장할 수 있는바, 도 5의 비교 예와 비교하면 60개만큼 적은 화소 값들을 저장한다. 그러므로, 본 실시예에 따르면, 제1 및 제2 화소 값들(P1, P2)을 저장하는데 요구되는 메모리의 용량이 전체적으로 줄어든다.
도 17은 본 발명의 다른 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 17을 참조하면, 영상 처리 장치(1B)는 식별 정보 저장부(10), 화소 값 저장부(20b), 입력 버퍼(30), 주변 영역 생성부(40) 및 화소 처리부(50)를 포함할 수 있다. 본 실시예에 따른 영상 처리 장치(1B)에 포함된 구성 요소들 중 일부는, 도 1의 영상 처리 장치(1A)에 포함된 구성 요소들과 실질적으로 동일하다. 동일한 구성 요소는 동일한 참조 번호로 표시되며, 도 1의 영상 처리 장치(1A)와 동일한 구성 요소들에 대해서는 반복하여 설명하지 않는다. 이하에서는, 도 1의 영상 처리 장치(1A)와 본 실시예에 따른 영상 처리 장치(1B)의 차이점을 중심으로 상술하기로 한다.
화소 값 저장부(20b)는 식별 정보(ID)를 기초로 하여, 연속적으로 입력되는 화소 값들(ID) 중 일부 화소 값들을 저장할 수 있다. 본 실시예에서, 화소 값 저장부(20b)에 저장되는 화소 값들의 개수는, (M-1)개의 행들에 포함된 화소들에 대응하는 화소 값들의 개수보다 적을 수 있다.
화소 값 저장부(20b)는 식별 정보(ID)를 기초로 하여, 연속적으로 입력되는 화소 값들(IN) 중 중심 화소(C)가 배치된 중앙 행(즉, (M+1)/2번째 행)을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 본 실시예에서, 화소 값 저장부(20b)는 중심 화소(C)가 배치된 제3 행(R3)을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다.
또한, 화소 값 저장부(20b)는 M×N 영역에 포함된 복수의 주변 화소들 중 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들(P2)을 저장할 수 있다. 구체적으로, 화소 값 저장부(20b)는 M×N 영역에 포함된 복수의 주변 화소들 중 제1 화소 값들(P1)과 제M 행에 포함된 제3 화소 값들(P3)을 제외한 나머지 화소 값들, 즉, 제2 화소 값들(P2)을 저장할 수 있다.
본 실시예에 따른 화소 값 저장부(20b)는 도 1의 화소 값 저장부(20a)와 달리, 단일 메모리로 구현될 수 있다. 구체적으로, 화소 값 저장부(20b)는 복수의 라인 메모리들로 구현될 수 있고, 복수의 라인 메모리들 중 일부 영역에 제1 화소 값들(P1)을 저장하고, 나머지 영역에 제2 화소 값들(P2)을 저장할 수 있다.
도 18은 본 발명의 또 다른 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 18을 참조하면, 영상 처리 장치(1C)는 식별 정보 저장부(10), 화소 값 저장부(20c), 입력 버퍼(30'), 주변 영역 생성부(40'), 화소 처리부(50) 및 커널 사이즈 결정부(60)를 포함할 수 있다. 화소 값 저장부(20c)는 제1 화소 값 저장부(21') 및 제2 화소 값 저장부(22')를 포함할 수 있다. 본 실시예에 따른 영상 처리 장치(1C)에 포함된 구성 요소들 중 일부는, 도 1의 영상 처리 장치(1A)에 포함된 구성 요소들과 실질적으로 동일하다. 동일한 구성 요소는 동일한 참조 번호로 표시되며, 도 1의 영상 처리 장치(1A)와 동일한 구성 요소들에 대해서는 반복하여 설명하지 않는다. 이하에서는, 도 1의 영상 처리 장치(1A)와 본 실시예에 따른 영상 처리 장치(1C)의 차이점을 중심으로 상술하기로 한다.
커널 사이즈 결정부(60)는 M과 N의 값을 선택적으로 결정하고, M×N 영역인 커널의 사이즈를 결정할 수 있고, 결정된 커널 사이즈(KS)를 제1 및 제2 화소 값 저장부들(21', 22'), 입력 버퍼(30') 및 주변 영역 생성부(40')에 제공할 수 있다. 커널 사이즈 결정부(60)에서 결정된 커널 사이즈(KS)에 대해서는 도 19a 내지 도 19c를 참조하여 후술하기로 한다.
도 19a 내지 도 19c는 도 18의 커널 사이즈 결정부에 결정된 사이즈를 가지는 커널의 예들을 나타낸다.
도 19a를 참조하면, 커널 사이즈 결정부(60)는 M과 N은 각각 5로 결정할 수 있고, 이로써, 커널(K1)은 5×5 영역을 가질 수 있으며, 5×5 영역은 제1 내지 제5 행들(R1 내지 R5)을 포함할 수 있다. 처리해야 할 중심 화소(C)는 제3 행(R3)에 배치되는데, 이때, 제3 행(R3)은 중앙 행이라고 할 수 있다.
도 19b를 참조하면, 커널 사이즈 결정부(60)는 M과 N은 각각 9로 결정할 수 있고, 이로써, 커널(K2)은 9×9 영역을 가질 수 있으며, 9×9 영역은 제1 내지 제9 행들(R1 내지 R9)을 포함할 수 있다. 처리해야 할 중심 화소(C)는 제5 행(R5)에 배치되는데, 이때, 제5 행(R5)은 중앙 행이라고 할 수 있다.
도 19c를 참조하면, 커널 사이즈 결정부(60)는 M과 N은 각각 13으로 결정할 수 있고, 이로써, 커널(K3)은 13×13 영역을 가질 수 있으며, 13×13 영역은 제1 내지 제13 행들(R1 내지 R13)을 포함할 수 있다. 처리해야 할 중심 화소(C)는 제7 행(R7)에 배치되는데, 이때, 제7 행(R7)은 중앙 행이라고 할 수 있다.
다시 도 18을 참조하면, 커널 사이즈 결정부(60)는 영상을 촬영하는 환경 등에 따라 커널 사이즈(KS)를 적응적으로 결정할 수 있다. 구체적으로, 야외에서 영상을 촬영하는 경우에는 촬영된 영상에 노이즈(noise)가 상대적으로 적을 수 있으므로, 커널 사이즈 결정부(60)는 커널 사이즈(KS)를 상대적으로 작게, 예를 들어, 5×5 영역으로 결정할 수 있다. 한편, 야간에 영상을 촬영하는 경우에는 촬영된 영상에 노이즈가 상대적으로 많을 수 있으므로, 커널 사이즈 결정부(60)는 커널 사이즈(KS)를 상대적으로 크게, 예를 들어, 13×13 영역으로 결정할 수 있다.
제1 화소 값 저장부(21')는 식별 정보(ID)를 기초로 하여, 연속적으로 입력되는 화소 값들(IN) 중 중심 화소(C)가 배치된 중앙 행(즉, (M+1)/2번째 행)을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 본 실시예에서, 제1 화소 값 저장부(21')는 커널 사이즈(KS)를 기초로 하여 저장되는 화소 값들의 개수를 적응적으로 결정할 수 있다.
예를 들어, 커널 사이즈(KS)가 5×5인 경우, 제1 화소 값 저장부(21')는 중심 화소(C)가 배치된 중앙 행, 즉, 제3 행(R3)을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 일 실시예에서, 제1 화소 값 저장부(21')는 제3 및 제4 행(R3, R4)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 다른 실시예에서, 제1 화소 값 저장부(21')는 제2 내지 제4 행들(R2 내지 R4)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다.
한편, 커널 사이즈(KS)가 9×9인 경우, 제1 화소 값 저장부(21')는 중심 화소(C)가 배치된 중앙 행, 즉, 제5 행(R5)을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 일 실시예에서, 제1 화소 값 저장부(21')는 제5 내지 제8 행들(R5 내지 R8)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 다른 실시예에서, 제1 화소 값 저장부(21')는 제4 내지 제8 행들(R4 내지 R8)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 다른 실시예에서, 제1 화소 값 저장부(21')는 제3 내지 제8 행들(R3 내지 R8)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 다른 실시예에서, 제1 화소 값 저장부(21')는 제2 내지 제8 행들(R2 내지 R8)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다.
나아가, 커널 사이즈(KS)가 13×13인 경우, 제1 화소 값 저장부(21')는 중심 화소(C)가 배치된 중앙 행, 즉, 제7 행(R7)을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 일 실시예에서, 제1 화소 값 저장부(21')는 제7 내지 제12 행들(R7 내지 R12)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 다른 실시예에서, 제1 화소 값 저장부(21')는 제6 내지 제12 행들(R6 내지 R12)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 다른 실시예에서, 제1 화소 값 저장부(21')는 제5 내지 제12 행들(R5 내지 R12)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 다른 실시예에서, 제1 화소 값 저장부(21')는 제4 내지 제12 행들(R4 내지 R12)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 다른 실시예에서, 제1 화소 값 저장부(21')는 제3 내지 제12 행들(R3 내지 R12)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다. 다른 실시예에서, 제1 화소 값 저장부(21')는 제2 내지 제12 행들(R2 내지 R12)에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다.
제2 화소 값 저장부(22')는 M×N 영역에 포함된 복수의 주변 화소들 중 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들(P2)을 저장할 수 있다. 본 실시예에서, 제2 화소 값 저장부(22')는 커널 사이즈(KS)를 기초로 하여 저장되는 화소 값들의 개수를 적응적으로 결정할 수 있다.
예를 들어, 커널 사이즈(KS)가 5×5인 경우, 제2 화소 값 저장부(22')는 5×5 영역에 포함된 복수의 주변 화소들 중 제1 행(R1) 또는 제1 및 제2 행들(R1, R2)에 포함된 제2 화소 값들(P2)을 저장할 수 있다. 한편, 커널 사이즈(KS)가 9×9인 경우, 제2 화소 값 저장부(22')는 9×9 영역에 포함된 복수의 주변 화소들 중 제1 행(R1), 제1 및 제2 행들(R1, R2), 제1 내지 제3 행들(R1 내지 R3), 또는 제1 내지 제4 행들(R1 내지 R4)에 포함된 제2 화소 값들(P2)을 저장할 수 있다. 나아가, 커널 사이즈(KS)가 13×13인 경우, 제2 화소 값 저장부(22')는 13×13 영역에 포함된 복수의 주변 화소들 중 제1 행(R1), 제1 및 제2 행들(R1, R2), 제1 내지 제3 행들(R1 내지 R3), 제1 내지 제4 행들(R1 내지 R4), 제1 내지 제5행들(R1 내지 R5), 또는 제1 내지 제6 행들(R1 내지 R6)에 포함된 제2 화소 값들(P2)을 저장할 수 있다.
입력 버퍼(30')는 연속적으로 입력되는 화소 값들(IN)을 저장할 수 있는데, 입력 버퍼(30')의 사이즈는 N값에 따라 변경될 수 있다. 구체적으로, 입력 버퍼(30')는 M×N 영역에 포함되는 복수의 주변 화소들 중 M번째 행에 포함되는 제3 화소들에 대응하는 제3 화소 값들(P3)을 저장할 수 있다. 본 실시예에서, 입력 버퍼(30')는 커널 사이즈(KS)를 기초로 하여 저장되는 화소 값들의 개수를 적응적으로 결정할 수 있다.
예를 들어, 커널 사이즈(KS)가 5×5인 경우, 입력 버퍼(30')는 제5 행(R5)에 포함된 5개의 제3 화소 값들(P3)을 저장할 수 있다. 한편, 커널 사이즈(KS)가 9×9인 경우, 입력 버퍼(30')는 제9 행(R9)에 포함된 9개의 제3 화소 값들(P3)을 저장할 수 있다. 나아가, 커널 사이즈(KS)가 13×13인 경우, 입력 버퍼(30')는 제13 행(R13)에 포함된 13개의 제3 화소 값들(P3)을 저장할 수 있다.
주변 영역 생성부(40')는 화소 값 저장부(20c) 및 입력 버퍼(30')에서 제공된 제1 내지 제3 화소 값들(P1, P2, P3)을 기초로 하여 중심 화소(C)를 처리하는데 필요한 복수의 주변 화소들을 포함하는 주변 영역을 생성할 수 있다. 본 실시예에서, 주변 영역 생성부(40')는 커널 사이즈(KS)를 기초로 하여 주변 영역의 사이즈를 다르게 생성할 수 있다.
예를 들어, 커널 사이즈(KS)가 5×5인 경우, 주변 영역 생성부(40')는 5×5 영역에 포함되는 주변 화소들을 포함하는 주변 영역을 생성할 수 있다. 한편, 커널 사이즈(KS)가 9×9인 경우, 주변 영역 생성부(40')는 9×9 영역에 포함되는 주변 화소들을 포함하는 주변 영역을 생성할 수 있다. 나아가, 커널 사이즈(KS)가 13×13인 경우, 주변 영역 생성부(40')는 13×13 영역에 포함되는 주변 화소들을 포함하는 주변 영역을 생성할 수 있다.
이와 같이, 본 실시예에 따르면, 영상을 촬영하는 환경 등에 따라 커널 사이즈(KS)를 적응적으로 결정함으로써, 제1 및 제2 화소 값 저장부들(21', 22') 및 입력 버퍼(30')를 구현하는데 필요한 메모리의 공간을 적응적으로 결정할 수 있다.
도 20은 본 발명의 또 다른 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 20을 참조하면, 영상 처리 장치(1D)는 식별 정보 저장부(10), 화소 값 저장부(20d), 입력 버퍼(30'), 주변 영역 생성부(40'), 화소 처리부(50) 및 커널 사이즈 결정부(60)를 포함할 수 있다. 본 실시예에 따른 영상 처리 장치(1D)에 포함된 구성 요소들 중 일부는, 도 19의 영상 처리 장치(1C)에 포함된 구성 요소들과 실질적으로 동일하다. 동일한 구성 요소는 동일한 참조 번호로 표시되며, 도 19의 영상 처리 장치(1C)와 동일한 구성 요소들에 대해서는 반복하여 설명하지 않는다. 이하에서는, 도 19의 영상 처리 장치(1C)와 본 실시예에 따른 영상 처리 장치(1D)의 차이점을 중심으로 상술하기로 한다.
화소 값 저장부(20d)는 식별 정보(ID)를 기초로 하여, 연속적으로 입력되는 화소 값들(ID) 중 일부 화소 값들을 저장할 수 있다. 본 실시예에서, 화소 값 저장부(20d)에 저장되는 화소 값들의 개수는, (M-1)개의 행들에 포함된 화소들에 대응하는 화소 값들의 개수보다 적을 수 있다. 본 실시예에서, 화소 값 저장부(20d)는 커널 사이즈(KS)를 기초로 하여 저장되는 화소 값들의 개수를 적응적으로 결정할 수 있다.
구체적으로, 화소 값 저장부(20d)는 식별 정보(ID)를 기초로 하여, 연속적으로 입력되는 화소 값들(IN) 중 중심 화소(C)가 배치된 중앙 행(즉, (M+1)/2번째 행)을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들(P1)을 저장할 수 있다.
또한, 화소 값 저장부(20d)는 M×N 영역에 포함된 복수의 주변 화소들 중 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들(P2)을 저장할 수 있다. 구체적으로, 화소 값 저장부(20b)는 M×N 영역에 포함된 복수의 주변 화소들 중 제1 화소 값들(P1)과 제M 행에 포함된 제3 화소 값들(P3)을 제외한 나머지 화소 값들, 즉, 제2 화소 값들(P2)을 저장할 수 있다.
본 실시예에 따른 화소 값 저장부(20d)는 도 19의 화소 값 저장부(20c)와 달리, 단일 메모리로 구현될 수 있다. 구체적으로, 화소 값 저장부(20d)는 복수의 라인 메모리들로 구현될 수 있고, 복수의 라인 메모리들 중 일부 영역에 제1 화소 값들(P1)을 저장하고, 나머지 영역에 제2 화소 값들(P2)을 저장할 수 있다.
도 21은 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 흐름도이다.
도 21을 참조하면, 영상 처리 방법은 M×N 영역에 포함된 복수의 주변 화소들을 이용하여 중심 화소를 처리하는 방법으로서, 도 1, 도 17, 도 18 및 도 20에 도시된 영상 처리 장치들에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1, 도 17, 도 18 및 도 20에 도시된 영상 처리 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 처리 방법에도 적용된다.
S100 단계에서, 중심 화소가 배치된 중앙 행을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들 및 복수의 주변 화소들 중 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들을 저장한다. 이때, 저장되는 제1 및 제2 화소 값들의 개수는, (M-1)개의 행들을 포함하는 화소들에 대응하는 화소 값들의 개수보다 적을 수 있다.
S200 단계에서, 복수의 주변 화소들 중 M번째 행에 포함된 제3 화소들에 대응하는 제3 화소 값들을 저장한다. 이때, 저장되는 제3 화소 값들의 개수는, N의 값에 따라 결정될 수 있다.
S300 단계에서, 제1 내지 제3 화소 값들을 기초로 하여 복수의 주변 화소들을 포함하는 주변 영역을 생성한다.
S400 단계에서, 생성된 주변 영역을 이용하여 중심 화소를 처리한다. 구체적으로, 생성된 주변 영역을 이용하여 중심 화소에 대응하는 중심 화소 값을 변경 또는 유지할 수 있다. 예를 들어, 중심 화소가 결함 화소인 경우, 생성된 주변 영역을 이용하여 결함 화소의 화소 값을 보정할 수 있다.
다른 실시예에서, 영상 처리 방법은 연속적으로 입력되는 복수의 화소 값들 중 중심 화소에 대응하는 중심 화소 값을 식별할 수 있는 식별 정보를 저장하는 단계를 더 포함할 수 있다. 이때, 식별 정보는 중심 화소의 좌표에 대한 정보 또는 중심 화소의 입력 순서에 대한 정보를 포함할 수 있다.
다른 실시예에서, 영상 처리 방법은 M과 N의 값을 선택적으로 결정하여, M×N 영역인 커널의 사이즈를 결정하는 단계를 더 포함할 수 있다. 결정된 커널의 사이즈에 따라 저장되는 제1 내지 제3 화소 값들의 개수는 적응적으로 변경될 수 있다.
도 22는 본 발명의 실시예들에 따른 영상 처리 장치를 포함하는 촬영 장치를 나타내는 블록도이다.
도 22를 참조하면, 촬영 장치(1000)는 예를 들어, 카메라일 수 있는데, 이미지 센서(100), 프로세서(200) 및 메모리(300)를 포함할 수 있고, 프로세서(200)는 마이크로 프로세서, 이미지 프로세서 또는 임의의 다른 유형의 제어 회로(application-specific integrated circuit, ASIC) 등일 수 있다. 본 실시예에서, 촬영 장치(1000)는 디스플레이(1500)와 연결될 수 있다. 다른 실시예에서, 촬영 장치(1000)와 디스플레이(1500)는 일체로 구현될 수도 있다.
도 23은 도 22에 포함된 이미지 센서를 상세하게 나타내는 블록도이다.
도 23을 참조하면, 이미지 센서(100)는 화소 어레이(pixel array)(110), 로우 주사 회로(row scanning circuit)(120), 아날로그-디지털 변환부(Analog-to-Digital Converter, ADC)(130), 칼럼(column) 주사 회로(140) 및 제어부(150)를 포함할 수 있다. 수광 렌즈(160)는 피사체 그룹(130)으로부터 수신되는 광을 화소 어레이(110)에 집광할 수 있다.
화소 어레이(110)는 수광 렌즈(160)에서 집광된 광을 전기적인 신호로 변환하는 복수의 화소들(미도시)을 포함할 수 있다. 화소 어레이(110)는 컬러 화소들 및/또는 깊이 화소들 중 적어도 하나를 포함할 수 있다. 예를 들어, 화소 어레이(110)가 컬러 화소들을 포함하는 경우, 화소 어레이(110)는 피사체 그룹(130)에 대한 RGB와 같은 이차원 컬러 영상 정보를 제공할 수 있다. 또 다른 예를 들어, 화소 어레이(110)가 깊이 화소들을 포함하는 경우, 화소 어레이(110)는 이미지 센서(100)로부터 피사체 그룹(130)까지의 거리 정보 및 피사체 그룹(130)에 대한 오프셋, 진폭 등과 같은 이차원 흑백 영상 정보를 제공할 수 있다.
로우 주사 회로(120)는 제어부(150)로부터 제어 신호들을 수신하여 화소 어레이(110)의 로우 어드레스 및 로우 주사를 제어할 수 있다. 로우 주사 회로(120)는 로우 라인들 중에서 해당 로우 라인을 선택하기 위하여 해당 로우 라인을 활성화시키는 신호를 화소 어레이(110)에 인가할 수 있다. 일 실시예에서, 로우 주사 회로(120)는 화소 어레이(110) 내의 로우 라인을 선택하는 로우 디코더 및 선택된 로우 라인을 활성화시키는 신호를 공급하는 로우 드라이버를 포함할 수 있다.
ADC부(130)는 화소 어레이(110)로부터 출력되는 아날로그 신호를 디지털 신호로 변환하여 화소 값, 즉, 화소 데이터를 제공할 수 있다. 도 1 내지 도 20에 도시된 영상 처리 장치들(1A, 1B, 1C, 1D)에 적용되는 화소 값(IN)은 ADC부(130)에서 출력되는 화소 값, 즉, 화소 데이터일 수 있다. 일 실시예에서, ADC부(130)는 각 컬럼 라인마다 연결된 아날로그-디지털 변환기를 이용하여 아날로그 신호들을 병렬로 변환하는 컬럼 ADC를 수행할 수 있다. 다른 실시예에서, ADC부(130)는 단일한 아날로그-디지털 변환기를 이용하여 아날로그 신호들을 순차적으로 변환하는 단일 ADC를 수행할 수도 있다.
컬럼 주사 회로(140)는 제어부(150)로부터 제어 신호들을 수신하여 화소 어레이(110)의 컬럼 어드레스 및 컬럼 주사를 제어할 수 있다. 컬럼 주사 회로(140)는 ADC부(130)에서 출력되는 디지털 출력 신호를 디지털 신호 프로세싱 회로(Digital Signal Processing Circuit, 미도시) 또는 외부의 호스트(미도시)로 출력할 수 있다. 예를 들어, 컬럼 주사 회로(140)는 수평 주사 제어 신호를 ADC부(130)에 출력함으로써, ADC부(130) 내의 복수의 아날로그-디지털 변환기들을 순차적으로 선택할 수 있다. 일 실시예에서, 컬럼 주사 회로(140)는 복수의 아날로그-디지털 변환기들 중 하나를 선택하는 컬럼 디코더 및 선택된 아날로그-디지털 변환기의 출력을 수평 전송선으로 유도하는 컬럼 드라이버를 포함할 수 있다.
제어부(150)는 로우 주사 회로(120), ADC부(130) 및 컬럼 주사 회로(140)을 제어할 수 있다. 구체적으로, 제어부(150)는 로우 주사 회로(120), ADC부(130) 및 컬럼 주사 회로(140)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 공급할 수 있다. 일 실시예에서, 제어부(150)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다. 다른 실시예에서 제어부(150)의 기능은 별도의 엔진부 등과 같은 프로세서에서 수행될 수도 있다.
다시 도 22를 참조하면, 프로세서(200)는 영상 신호 처리부(210), 제어부(220) 및 인터페이스부(I/F)(230)를 포함할 수 있다. 영상 신호 처리부(210)는 중심 화소 처리부(1A, 1B, 1C, 1D)를 포함할 수 있는데, 중심 화소 처리부(1A, 1B, 1C, 1D)는 도 1 내지 도 20을 참조하여 상술된 영상 처리 장치(1A, 1B, 1C, 1D)를 포함할 수 있다.
영상 신호 처리부(210)는 이미지 센서(100)에서 출력되는 영상 데이터를 수신하여 신호 처리를 수행할 수 있다. 제어부(220)는 영상 신호 처리부(210)로 제어 신호를 출력할 수 있으며, 예를 들어, CPU로 구현될 수 있다. 인터페이스부(230)는 신호 처리된 데이터를 디스플레이(1500)에 전달하여 재생하도록 할 수 있다. 메모리(300)는 영상 신호 처리부(210)에서 신호 처리된 영상 데이터를 저장할 수 있다.
영상 신호 처리부(210)에 포함되는 중심 화소 처리부(1A, 1B, 1C, 1D)는 이미지 센서(100)에서 출력되는 복수의 화소 값들을 수신하고, 주변 화소들을 이용하여 중심 화소를 처리할 수 있다. 구체적으로, 중심 화소 처리부(1A, 1B, 1C, 1D)는 중심 화소가 배치된 중앙 행을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들, 및 복수의 주변 화소들 중 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들을 저장하는 화소 값 저장부(미도시)를 포함할 수 있다. 이때, 화소 값 저장부에 저장된 제1 및 제2 화소 값들의 개수는, (M-1)개의 라인들에 포함된 화소들에 대응되는 화소 값들의 개수보다 적을 수 있다.
도 24는 도 22의 촬영 장치를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
도 24를 참조하면, 컴퓨팅 시스템(2000)은 프로세서(2010), 메모리 장치(2020), 스토리지 장치(2030), 입출력 장치(2040), 전원 장치(2050) 및 촬영 장치(1000)를 포함할 수 있다. 한편, 도 24에는 도시되지 않았지만, 컴퓨팅 시스템(2000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
프로세서(2010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(2010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(2010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus) 등과 같은 버스(2060)를 통하여 메모리 장치(2020), 스토리지 장치(2030) 및 입출력 장치(2040)와 통신을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
메모리 장치(2020)는 컴퓨팅 시스템(2000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(2020)는 디램(DRAM), 모바일 디램, 에스램(SRAM), 피램(PRAM), 에프램(FRAM), 알램(RRAM) 및/또는 엠램(MRAM)으로 구현될 수 있다. 스토리지 장치(2030)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다.
입출력 장치(2040)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 전원 장치(2050)는 컴퓨팅 시스템(2000)의 동작에 필요한 동작 전압을 공급할 수 있다.
촬영 장치(1000)는 버스(2060) 또는 다른 통신 링크를 통해서 프로세서(2010)와 연결되어 통신을 수행할 수 있다. 상술한 바와 같이, 촬영 장치(1000)는 M×N 영역에 포함된 복수의 주변 화소들을 이용하여 중심 화소를 처리할 수 있다. 구체적으로, 촬영 장치(1000)는 중심 화소가 배치된 중앙 행을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들, 및 복수의 주변 화소들 중 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들을 저장하는 화소 값 저장부를 포함할 수 있다. 이때, 화소 값 저장부에 저장된 제1 및 제2 화소 값들의 개수는, (M-1)개의 라인들에 포함된 화소들에 대응되는 화소 값들의 개수보다 적을 수 있다.
촬영 장치(1000)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 촬영 장치(1000)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.
한편, 컴퓨팅 시스템(2000)은 촬상 장치를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(2000)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.
도 25는 도 24의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
도 25를 참조하면, 컴퓨팅 시스템(3000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(3110), 촬영 장치(3140) 및 디스플레이(3150) 등을 포함할 수 있다. 어플리케이션 프로세서(3110)의 CSI 호스트(3112)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 촬영 장치(3140)의 CSI 장치(3141)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, CSI 호스트(3112)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(3141)는 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(3110)의 DSI 호스트(3111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(3150)의 DSI 장치(3151)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, DSI 호스트(3111)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(3151)는 디시리얼라이저(DES)를 포함할 수 있다. 나아가, 컴퓨팅 시스템(3000)은 어플리케이션 프로세서(3110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(3160)을 더 포함할 수 있다. 컴퓨팅 시스템(3000)의 PHY(3113)와 RF 칩(3160)의 PHY(3161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(3110)는 PHY(3161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(3114)를 더 포함할 수 있다.
한편, 컴퓨팅 시스템(3000)은 지피에스(Global Positioning System; GPS)(3120), 스토리지(3170), 마이크(3180), 디램(Dynamic Random Access Memory; DRAM)(3185) 및 스피커(3190)를 포함할 수 있다. 또한, 컴퓨팅 시스템(3100)은 초광대역(Ultra WideBand; UWB)(3210), 무선 랜(Wireless Local Area Network; WLAN)(3220) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(3230) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(3000)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
1A, 1B, 1C, 1D: 영상 처리 장치
10: 식별 정보 저장부
20a, 20b, 20c, 20d: 화소 값 저장부
30, 30': 입력 버퍼
40, 40': 주변 영역 생성부
50: 화소 처리부
60: 커널 사이즈 결정부

Claims (10)

  1. M×N 영역에 포함된 복수의 주변 화소들을 이용하여 중심 화소를 처리하는 영상 처리 장치로서,
    상기 중심 화소가 배치된 중앙 행을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들, 및 상기 복수의 주변 화소들 중 상기 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들을 저장하는 화소 값 저장부; 및
    상기 제1 및 제2 화소 값들을 기초로 하여 상기 중심 화소를 처리하는 화소 처리부를 포함하고,
    M과 N은 2 이상의 자연수인 것을 특징으로 하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 화소 값 저장부에 저장된 상기 제1 및 제2 화소 값들의 개수는, (M-1)개의 행들에 포함된 화소들에 대응되는 화소 값들의 개수보다 적은 것을 특징으로 하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 화소 값 저장부는,
    상기 제1 화소 값들을 저장하는 라인 메모리; 및
    상기 제2 화소 값들을 저장하는 메모리를 포함하는 것을 특징으로 하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 화소 값 저장부는,
    상기 제1 및 제2 화소 값들을 저장하는 라인 메모리를 포함하는 것을 특징으로 하는 영상 처리 장치.
  5. 제1항에 있어서,
    연속적으로 입력되는 복수의 화소 값들 중 상기 중심 화소에 대응하는 중심 화소 값을 식별할 수 있는 식별 정보를 저장하는 식별 정보 저장부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  6. 제6항에 있어서,
    상기 식별 정보는 상기 중심 화소의 좌표에 대한 정보 또는 상기 중심 화소의 입력 순서에 대한 정보를 포함하는 것을 특징으로 하는 영상 처리 장치.
  7. 제1항에 있어서,
    상기 복수의 주변 화소들 중 M번째 행에 포함된 제3 화소들에 대응하는 제3 화소 값들을 저장하는 입력 버퍼를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 제1 내지 제3 화소 값들을 기초로 하여 상기 복수의 주변 화소들을 포함하는 주변 영역을 생성하는 주변 영역 생성부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  9. 제1항에 있어서,
    상기 M과 N의 값을 선택적으로 결정하여, M×N 영역인 커널(kernel)의 사이즈를 결정하는 커널 사이즈 결정부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  10. M×N 영역에 포함된 복수의 주변 화소들을 이용하여 중심 화소를 처리하는 영상 처리 방법으로서,
    상기 중심 화소가 배치된 중앙 행을 포함하는 적어도 하나의 행에 포함된 제1 화소들에 대응하는 제1 화소 값들, 및 상기 복수의 주변 화소들 중 상기 제1 화소들의 상부에 배치된 제2 화소들에 대응하는 제2 화소 값들을 저장하는 단계; 및
    상기 제1 및 제2 화소 값들을 기초로 하여 상기 중심 화소를 처리하는 단계를 포함하고,
    M과 N은 2 이상의 자연수인 것을 특징으로 하는 영상 처리 방법.
KR1020120023602A 2012-03-07 2012-03-07 영상 처리 장치 및 방법 KR20130102402A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120023602A KR20130102402A (ko) 2012-03-07 2012-03-07 영상 처리 장치 및 방법
US13/788,910 US20130236104A1 (en) 2012-03-07 2013-03-07 Apparatus and Method of Processing an Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120023602A KR20130102402A (ko) 2012-03-07 2012-03-07 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130102402A true KR20130102402A (ko) 2013-09-17

Family

ID=49114179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120023602A KR20130102402A (ko) 2012-03-07 2012-03-07 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US20130236104A1 (ko)
KR (1) KR20130102402A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018070585A1 (ko) * 2016-10-14 2018-04-19 한화테크윈 주식회사 결함화소 정보 기록장치, 결함화소 보정장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354577B1 (en) * 2015-06-02 2019-07-16 X Development Llc Masking non-functioning pixels in a display

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4786484B2 (ja) * 2006-09-15 2011-10-05 ルネサスエレクトロニクス株式会社 演算処理用データ供給方法および画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018070585A1 (ko) * 2016-10-14 2018-04-19 한화테크윈 주식회사 결함화소 정보 기록장치, 결함화소 보정장치 및 방법
US10621706B2 (en) 2016-10-14 2020-04-14 Hanwha Techwin Co., Ltd. Device for recording information about defective pixels, and defective pixel value correction device and method

Also Published As

Publication number Publication date
US20130236104A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
US9584742B2 (en) Method of binning pixels in an image sensor and an image sensor for performing the same
US9762821B2 (en) Unit pixel of image sensor, image sensor, and computing system having the same
US9380246B2 (en) Digital correlated double sampling circuit and image sensor including the same
US20150028190A1 (en) Counter circuit, analog-to-digital converter, and image sensor including the same and method of correlated double sampling
US20120236121A1 (en) Methods of Operating a Three-Dimensional Image Sensor Including a Plurality of Depth Pixels
US11323640B2 (en) Tetracell image sensor preforming binning
US9986188B2 (en) Unit pixel of image sensor and image sensor having the same
KR102204596B1 (ko) 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
KR20140047494A (ko) 서브픽셀, 이를 포함하는 이미지 센서, 및 이미지 센싱 시스템
KR20140024707A (ko) 이미지 센서 및 이를 포함하는 전자 기기
US20140375858A1 (en) Ramp signal generator and image sensor including the same
US9485483B2 (en) Image sensor and image sensor system including the same
US8952973B2 (en) Image signal processor and method of operating the same
KR20210014021A (ko) 이미지 센서, 이미지 처리 시스템 및 이의 동작 방법
KR101965631B1 (ko) Ｃｄｓ 회로, 이를 포함하는 이미지 센서, 및 상기 이미지 센서를 포함하는 이미지 처리 장치
US9413379B2 (en) Successive approximation analog-to-digital converters and methods using shift voltage to support oversampling
KR20130102402A (ko) 영상 처리 장치 및 방법
US9467147B2 (en) Counter circuit and image sensor including the same
US11843868B2 (en) Electronic apparatus based on multiple exposure image and operating method thereof
US9554013B2 (en) Arithmetic memories, image sensors including the same, and methods of operating the arithmetic memories
US9300868B2 (en) Image processing device and system operable in a high-quality imaging mode and a power saving mode
US9554073B2 (en) Integrated circuit and image sensor comprising same
US20230262328A1 (en) Image processing system and operating method thereof
US20220398777A1 (en) Image sensing device and method of operating the same
US20240029195A1 (en) Image processing device and image processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application