KR101706554B1 - 클리어 에지 재현을 위한 영상 처리 장치 및 방법 - Google Patents

클리어 에지 재현을 위한 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101706554B1
KR101706554B1 KR1020150126385A KR20150126385A KR101706554B1 KR 101706554 B1 KR101706554 B1 KR 101706554B1 KR 1020150126385 A KR1020150126385 A KR 1020150126385A KR 20150126385 A KR20150126385 A KR 20150126385A KR 101706554 B1 KR101706554 B1 KR 101706554B1
Authority
KR
South Korea
Prior art keywords
channel
edge
unit
pixel
restoring
Prior art date
Application number
KR1020150126385A
Other languages
English (en)
Inventor
김정욱
Original Assignee
(주)넥스트칩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넥스트칩 filed Critical (주)넥스트칩
Priority to KR1020150126385A priority Critical patent/KR101706554B1/ko
Application granted granted Critical
Publication of KR101706554B1 publication Critical patent/KR101706554B1/ko

Links

Images

Classifications

    • H04N5/341—
    • H04N5/357—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

클리어 에지 재현을 위한 영상 처리 장치 및 방법이 개시된다.
영상 처리 방법은 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원하는 단계; 상기 픽셀이 포함된 에지의 방향을 판단하는 단계; 상기 에지의 방향에 따라 복원된 G 채널을 보정하는 단계; 및 G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 R 채널 및 B 채널을 복원하는 단계를 포함할 수 있다.

Description

클리어 에지 재현을 위한 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE FOR CLEAR EDGE REPRODUCTION}
본 발명은 클리어 에지 재현을 위한 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 픽셀이 포함된 에지의 방향에 따라 복원된 G 채널을 보정함으로써, 얇은 대각선에서 도트가 튀는 것을 방지하는 영상 처리 장치 및 방법에 관한 것이다.
CMOS(complementary metal-oxide semiconductor) 이미지 센서는 원래 빛의 밝기만을 감지할 수 있도록 설계되었다. 따라서, CMOS 이미지 센서는 빛의 삼원색인 R(Red), G(Green), B(Blue)의 컬러 필터를 이용하여 영상의 색상을 표시하고 있다.
동일한 위치에 복수의 컬러 필터를 사용할 경우, 이미지 센서의 복잡도와 비용이 증가하므로, CMOS 이미지 센서는 하나의 위치에 3종류의 컬러 필터 중 하나 만을 사용하고 있었다. 따라서, CMOS 이미지 센서는 각각 다른 컬러 필터들이 연속으로 배열된 CFA(Color Filter Array) 패턴을 이용하여 원본 데이터를 획득하고 있다.
이때, CMOS 이미지 센서가 획득한 원본 데이터는 각각의 컬러 필터에 의하여 R 채널, G 채널, B 채널 중 하나씩만 표시되는 위치들의 집합인 모자이크와 비슷한 형상을 가질 수 있다. 따라서, 원본 데이터를 이용하여 R 채널, G 채널, 및 B 채널이 모두 표시되는 RGB 영상을 복원하는 영상 처리 장치가 필요하다.
종래의 영상 처리 장치는 복원하고자 하는 위치에서 수평 방향, 또는 수직 방향에 인접한 R 채널, G 채널, 및 B 채널을 이용하여 R 채널, G 채널, 및 B 채널을 복원하였다. 그러나, 픽셀이 포함된 에지가 얇은 대각선인 경우, 수평 방향, 또는 수직 방향에 인접한 R 채널, G 채널, 및 B 채널을 이용하여 R 채널, G 채널, 및 B 채널을 복원하면, 대각선의 경사를 따라 도트가 튀는 현상이 발생할 수 있었다.
따라서, CMOS 이미지 센서가 획득한 원본 데이터에서 RGB 영상을 복원하는 과정에서 대각선의 경사를 따라 도트가 튀는 현상을 방지하는 영상 처리 장치 및 방법이 요청되고 있다.
본 발명은 픽셀이 포함된 에지의 방향에 따라 복원된 G 채널을 보정함으로써, 얇은 대각선에서 도트가 튀는 것을 방지하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법은 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원하는 단계; 상기 픽셀이 포함된 에지의 방향을 판단하는 단계; 상기 에지의 방향에 따라 복원된 G 채널을 보정하는 단계; 및 G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 R 채널 및 B 채널을 복원하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법의 에지의 방향을 판단하는 단계는 상기 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법의 에지의 방향을 판단하는 단계는 상기 위치에 수평 방향, 수직 방향, 및 대각선 방향으로 인접한 적어도 하나의 G 채널을 각각 그룹화할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법의 에지의 방향을 판단하는 단계는 상기 위치에 대각선 방향으로 인접한 적어도 하나의 G 채널을 대각선의 각도에 기초하여 각각 그룹화할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법의 G 채널을 보정하는 단계는 상기 에지의 방향이 대각선인 경우, 대각선에 대응하는 블러(Blur)를 이용하여 복원된 G 채널을 보정할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법의 G 채널을 보정하는 단계는 상기 에지의 방향이 수평, 또는 수직인 경우, 복원된 G 채널의 보정을 패스(Pass)할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법의 G 채널을 보정하는 단계는 상기 픽셀의 G 채널을 복원하고자 하는 위치에서 상기 에지의 방향에 대응하는 방향으로 인접한 적어도 하나의 G 채널을 이용하여 상기 픽셀의 G 채널을 복원할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치는 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원하는 G 채널 복원부; 상기 픽셀이 포함된 에지의 방향을 판단하는 방향 판단부; 상기 에지의 방향에 따라 복원된 G 채널을 보정하는 G 채널 보정부; G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 R 채널을 복원하는 R 채널 복원부; 및 G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 B 채널을 복원하는 B 채널 복원부를 포함할 수 있다.
본 발명의 일실시예에 의하면, 픽셀이 포함된 에지의 방향에 따라 복원된 G 채널을 보정함으로써, 얇은 대각선에서 도트가 튀는 것을 방지할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 복원 결과를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 CFA 패턴의 일례이다.
도 4는 본 발명의 일실시예에 따른 G 채널 복원 결과의 일례이다.
도 5는 본 발명의 일실시예에 따른 에지의 방향 판단의 일례이다.
도 6은 본 발명의 일실시예에 따라 생성한 대각선 그룹의 일례이다.
도 7은 본 발명의 일실시예에 따라 생성한 역대각선 그룹의 일례이다.
도 8은 본 발명의 일실시예에 따라 생성한 수평 그룹의 일례이다.
도 9는 본 발명의 일실시예에 따라 생성한 수직 그룹의 일례이다.
도 10은 본 발명의 일실시예에 따른 G 채널 보정 결과의 일례이다.
도 11은 본 발명의 일실시예에 따른 영상 처리 장치의 동작을 나타내는 도면이다.
도 12는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 영상 처리 방법은 영상 처리 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 나타내는 도면이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 영상 처리 장치(100)는 G 채널 복원부(110), 방향 판단부(120), G 채널 보정부(130), R 채널 복원부(140) 및 B 채널 복원부(150)를 포함할 수 있다.
G 채널 복원부(110)는 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원할 수 있다. 구체적으로, G 채널 복원부(410)는 픽셀에서 R 채널, 및 B 채널이 표시되는 위치의 G 채널을 복원할 수 있다. 이때, G 채널 복원부(410)는 R 채널, 및 B 채널이 표시되는 위치에 인접한 G 채널을 참조하여 R 채널, 및 B 채널이 표시되는 위치의 G 채널을 복원할 수 있다.
또한, G 채널 복원부(110)는 픽셀의 G 채널을 복원하고자 하는 위치에서 에지의 방향에 대응하는 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다.
구체적으로, G 채널 복원부(110)는 픽셀이 포함된 에지의 방향이 수평 방향인지, 또는 수직 방향인지 여부를 판단할 수 있다. 그리고, 에지의 방향이 수평 방향인 경우, G 채널 복원부(110)는 픽셀의 G 채널을 복원하고자 하는 위치에서 수평 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다. 또한, 에지의 방향이 수직 방향인 경우, G 채널 복원부(110)는 픽셀의 G 채널을 복원하고자 하는 위치에서 수직 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다.
방향 판단부(120)는 픽셀이 포함된 에지의 방향을 판단할 수 있다. 이때, 방향 판단부(120)는 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단할 수 있다.
이때, 방향 판단부(120)는 픽셀의 G 채널을 복원하고자 하는 위치에서 수평 방향, 수직 방향, 및 대각선 방향으로 인접한 적어도 하나의 G 채널을 각각 그룹화할 수 있다. 그리고, 방향 판단부(120)는 픽셀의 G 채널을 복원하고자 하는 위치에서 대각선 방향으로 인접한 적어도 하나의 G 채널을 대각선의 각도에 기초하여 각각 그룹화할 수 있다. 예를 들어, 방향 판단부(120)는 픽셀의 G 채널을 복원하고자 하는 위치에서 0도보다 크고 90도보다 작은 각도의 대각선 방향으로 인접한 G 채널들과, 픽셀의 G 채널을 복원하고자 하는 위치에서 90도보다 크고 180도보다 작은 각도의 대각선 방향으로 인접한 G 채널들을 각각 다른 그룹으로 그룹화할 수 있다.
G 채널 보정부(130)는 방향 판단부(120)가 판단한 에지의 방향에 따라 G 채널 복원부(110)가 복원한 G 채널을 보정할 수 있다. 이때, 방향 판단부(120)가 판단한 에지의 방향이 대각선인 경우, G 채널 보정부(130)는 대각선에 대응하는 블러(Blur)를 이용하여 복원된 G 채널을 보정할 수 있다. 또한, 방향 판단부(120)가 판단한 에지의 방향이 수평, 또는 수직인 경우, 상기 G 채널 보정부(130)는 복원된 G 채널을 추가 보정하지 않고, 보정을 패스(Pass)할 수 있다.
R 채널 복원부(140)는 G 채널 보정부(130)가 G 채널을 보정한 원본 데이터에 칼라 보간을 적용하여 R 채널을 복원할 수 있다. 이때, R 채널 복원부(420)는 G 채널 보정부(130)가 보정한 G 채널, 및 원본 데이터에서 B 채널이 표시되는 위치에 인접한 R 채널을 참조하여 G 채널 보정부(130)가 보정한 G 채널, 및 원본 데이터에서 B 채널이 표시되는 위치의 R 채널을 복원할 수 있다.
B 채널 복원부(150)는 G 채널 보정부(130)가 G 채널을 보정한 원본 데이터에 칼라 보간을 적용하여 B 채널을 복원할 수 있다. 이때, B 채널 복원부(150)는 G 채널 보정부(130)가 보정한 G 채널, 및 원본 데이터에서 R 채널이 표시되는 위치에 인접한 B 채널을 참조하여 G 채널 보정부(130)가 보정한 G 채널, 및 원본 데이터에서 R 채널이 표시되는 위치의 B 채널을 복원할 수 있다.
이때, R 채널 복원부(140)와 B 채널 복원부(150)는 독립적으로 동작할 수도 있다. R 채널 복원부(140)와 B 채널 복원부(150)가 독립적으로 동작하는 경우, R 채널 복원부(140)는 G 채널과 R 채널이 복원된 영상을 출력하고, B 채널 복원부(150)는 G 채널과 B 채널이 결정된 영상을 출력할 수 있다. 따라서, 영상 처리 장치(100)는 R 채널 복원부(140)가 출력한 영상과 B 채널 복원부(150)가 출력한 영상을 결합하여 G 채널과 R 채널 및 B 채널이 결정된 RGB 영상을 출력하는 구성을 더 포함할 수 있다.
또한, 영상 처리 장치(100)는 R 채널 복원부(140)와 B 채널 복원부(150) 중 하나의 복원 결과를 이용하여 다른 채널을 복원할 수도 있다.
예를 들어, B 채널 복원부(150)는 R 채널 복원부(140)에서 G 채널과 R 채널이 복원된 영상을 수신할 수 있다. 이때, B 채널 복원부(150)는 G 채널과 R 채널이 복원된 RGB 영상에 칼라 보간을 적용하여 B 채널을 복원함으로써, G 채널과 R 채널 및 B 채널이 모두 복원된 RGB 영상을 출력할 수 있다.
또한, R 채널 복원부(140)가 B 채널 복원부(150)에서 G 채널과 B 채널이 복원된 영상을 수신할 수도 있다. 이때, R 채널 복원부(140)는 G 채널과 B 채널이 복원된 RGB 영상에 칼라 보간을 적용하여 R 채널을 복원함으로써, G 채널과 R 채널 및 B 채널이 모두 복원된 RGB 영상을 출력할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치(100)는 픽셀이 포함된 에지의 방향이 대각선인 경우, 에지의 방향에 따라 복원된 G 채널을 보정함으로써, 얇은 대각선에서 도트가 튀는 것을 방지할 수 있다.
도 2는 본 발명의 일실시예에 따른 영상 복원 결과를 나타내는 도면이다.
본 발명의 일실시예에 따른 G 채널 복원부(110), R 채널 복원부(140) 및 B 채널 복원부(150)는 원본 데이터에 포함된 CFA(Color Filter Array) 패턴(200)을 이용하여 픽셀의 R 채널 이미지(210)과 G 채널 이미지(220), 및 B 채널 이미지(230)를 복원할 수 있다.
이때, G 채널 복원부(110)는 CFA 패턴(200)에 포함된 G 채널로 G 채널에 인접한 R 채널, 및 B 채널이 표시되는 위치의 G 채널을 복원하여 픽셀의 G 채널 이미지(220)를 복원할 수 있다. CFA 패턴에서 R 채널, 및 B 채널이 표시되는 위치에는 G 채널 정보가 포함되지 않을 수 있다. 따라서, G 채널 복원부(110)는 R 채널, 및 B 채널이 표시되는 위치에 인접하여 표시되는 G 채널을 참조할 수 있다.
G 채널 복원부(110)가 R 채널이 표시되는 위치의 G 채널을 복원하는 구체적인 과정은 이하 도 3을 참조하여 상세히 설명한다.
또한, R 채널 복원부(140)는 CFA 패턴(200)에 포함된 R 채널로 R 채널에 인접한 G 채널, 및 B 채널이 표시되는 위치의 R 채널을 복원하여 픽셀의 R 채널 이미지(210)를 복원할 수 있다. 이때, R 채널 복원부(140)는 G 채널이 표시되는 위치, 및 B 채널이 표시되는 위치에 인접하여 표시되는 R 채널을 참조할 수 있다.
그리고, B 채널 복원부(150)는 CFA 패턴(200)에 포함된 B 채널로 B 채널에 인접한 R 채널, 및 G 채널이 표시되는 위치의 B 채널을 복원하여 픽셀의 B 채널 이미지(230)를 복원할 수 있다. 이때, B 채널 복원부(150)는 R 채널이 표시되는 위치, 및 G 채널이 표시되는 위치에 인접하여 표시되는 B 채널을 참조할 수 있다.
즉, G 채널 복원부(110), R 채널 복원부(140) 및 B 채널 복원부(150)는 LPF(Low-Pass Filtering)을 수행하여 픽셀의 R 채널 이미지(210)과 G 채널 이미지(220), 및 B 채널 이미지(230)를 복원할 수 있다.
도 3은 본 발명의 일실시예에 따른 CFA 패턴의 일례이다.
도 3에서 G 채널 복원부(110)가 R 채널이 표시되는 위치(i, j)(300)의 G 채널을 복원하는 경우, G 채널 복원부(110)는 픽셀이 포함된 에지의 방향이 수평 방향인지, 또는 수직 방향인지 여부를 판단할 수 있다.
에지의 방향이 수평 방향인 경우, G 채널 복원부(110)는 픽셀의 G 채널을 복원하고자 하는 위치에서 수평 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다. 예를 들어, G 채널 복원부(110)는 수학식 1로 계산한 Gxi , j를 픽셀의 G 채널로 복원할 수 있다.
Figure 112015086823029-pat00001
에지의 방향이 수직 방향인 경우, G 채널 복원부(110)는 픽셀의 G 채널을 복원하고자 하는 위치에서 수직 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다. 예를 들어, G 채널 복원부(110)는 수학식 2로 계산한 Gyi , j를 픽셀의 G 채널로 복원할 수 있다.
Figure 112015086823029-pat00002
또한, G 채널 복원부(110)는 수학식 1과 수학식 2를 이용하여 Gxi , j와 Gyi , j를 계산하고, 에지의 방향에 따라 Gxi , j와 Gyi , j중 하나를 선택하여 픽셀의 G 채널을 복원할 수 있다. 예를 들어, 에지의 방향이 수평 방향인 경우, G 채널 복원부(110)는 Gxi , j를 선택할 수 있다. 또한, 에지의 방향이 수직 방향인 경우, G 채널 복원부(110)는 Gyi , j를 선택할 수 있다.
도 4는 본 발명의 일실시예에 따른 G 채널 복원 결과의 일례이다.
G 채널 복원부(110)가 도 4에 도시된 바와 같은 수직 방향의 에지(410)를 수평 방향으로 잘못 판단한 경우, G 채널 복원부(110)는 수평 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다.
그러나, 에지(410)가 수직 방향이므로, R 채널, 및 B 채널이 표시되는 위치에서 수직 방향으로 인접한 G 채널들은 값이 유사하지만, R 채널, 및 B 채널이 표시되는 위치에서 수평 방향으로 인접한 G 채널들은 값이 상이할 수 있다. 따라서, G 채널 복원부(110)가 복원한 G 채널(420)은 도 4의 케이스 1(Case 1)에 도시된 바와 같이 수평 방향으로 도트가 튀는 현상이 발생할 수 있다.
반면, G 채널 복원부(110)가 수직 방향의 에지(410)를 수직 방향으로 정확히 판단한 경우, G 채널 복원부(110)는 수직 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다.
이때, R 채널, 및 B 채널이 표시되는 위치에서 수직 방향으로 인접한 G 채널들은 값이 유사하므로, G 채널 복원부(110)가 복원한 G 채널(430)은 도 4의 케이스 2(Case 2)에 도시된 바와 같이 수평 방향으로 도트가 튀는 현상이 발생하지 않을 수 있다.
도 5는 본 발명의 일실시예에 따른 에지의 방향 판단의 일례이다.
방향 판단부(120)는 상기 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단할 수 있다.
구체적으로, 방향 판단부(120)는 G 채널을 복원하고자 하는 위치에서 45도 각도의 대각선 방향으로 인접한 적어도 하나의 G 채널을 대각선 그룹으로 그룹화할 수 있다. 또한, 방향 판단부(120)는 G 채널을 복원하고자 하는 위치에서 135도 각도의 대각선 방향으로 인접한 적어도 하나의 G 채널을 역 대각선 그룹으로 그룹화할 수 있다.
또한, 방향 판단부(120)는 G 채널을 복원하고자 하는 위치에 수직 방향으로 인접한 적어도 하나의 G 채널을 수직 그룹으로 그룹화할 수 있다. 또한, 방향 판단부(120)는 G 채널을 복원하고자 하는 위치에 수평 방향으로 인접한 적어도 하나의 G 채널을 수평 그룹으로 그룹화할 수 있다.
다음으로, 방향 판단부(120)는 대각선 그룹, 역대각선 그룹, 수직 그룹, 수평 그룹에 각각 포함된 G 채널들의 분산(Variance)을 계산할 수 있다. 구체적으로, 방향 판단부(120)는 대각선 그룹, 역대각선 그룹, 수직 그룹, 수평 그룹에 각각 포함된 G 채널들의 평균을 계산할 수 있다. 그리고, 방향 판단부(120)는 계산한 평균과 대각선 그룹, 역대각선 그룹, 수직 그룹, 수평 그룹에 각각 포함된 G 채널들 간의 차이를 계산할 수 있다. 그리고, 방향 판단부(120)는 계산한 차이의 절대값의 합을 계산할 수 있다. 그리고, 방향 판단부(120)는 절대값의 합을 대각선 그룹, 역대각선 그룹, 수직 그룹, 수평 그룹에 각각 포함된 G 채널들의 개수로 나누어서 대각선 그룹, 역대각선 그룹, 수직 그룹, 수평 그룹에 각각 포함된 G 채널들의 분산을 계산할 수 있다.
마지막으로, 방향 판단부(120)는 계산된 분산이 가장 작은 그룹에 따라 에지의 방향을 판단할 수 있다.
예를 들어, 대각선 그룹의 분산이 역대각선 그룹, 수직 그룹, 및 수평 그룹보다 작은 경우, 방향 판단부(120)는 에지의 방향을 대각선(Diagonal)(510) 방향으로 판단할 수 있다. 또한, 역대각선 그룹의 분산이 대각선 그룹, 수직 그룹, 및 수평 그룹보다 작은 경우, 방향 판단부(120)는 에지의 방향을 역대각선(Inverse Diagonal)(520) 방향으로 판단할 수 있다.
그리고, 수직 그룹의 분산이 대각선 그룹, 역대각선 그룹, 및 수평 그룹보다 작은 경우, 방향 판단부(120)는 에지의 방향을 수직(Vertical)(530) 방향으로 판단할 수 있다. 또한, 수직 그룹의 분산이 대각선 그룹, 역대각선 그룹, 및 수평 그룹보다 작은 경우, 방향 판단부(120)는 에지의 방향을 수평(Horizontal)(540) 방향으로 판단할 수 있다.
도 6은 본 발명의 일실시예에 따라 생성한 대각선 그룹의 일례이다.
방향 판단부(120)는 도 6에 도시된 바와 같이 G 채널을 복원하고자 하는 위치에서 45도 각도의 대각선 방향으로 인접한 복수의 G 채널을 대각선 그룹(600)으로 그룹화할 수 있다. 그리고, 방향 판단부(120)는 대각선 그룹(600)에 포함된 G(i-2, j+1), G(i-1, j), G(i, j-1), G(i+1, j-2), G(i-1, j+2), G(i, j+1), G(i+1, j), G(i+2, j-1)의 분산인 대각선 분산(Var_diag)을 계산할 수 있다.
구체적으로, 방향 판단부(120)는 G(i-2, j+1), G(i-1, j), G(i, j-1), G(i+1, j-2), G(i-1, j+2), G(i, j+1), G(i+1, j), G(i+2, j-1)의 평균과 G(i-2, j+1), G(i-1, j), G(i, j-1), G(i+1, j-2), G(i-1, j+2), G(i, j+1), G(i+1, j), G(i+2, j-1) 각각 간의 차이를 계산할 수 있다. 그리고, 방향 판단부(120)는 계산한 차이의 절대값들을 모두 더할 수 있다. 마지막으로, 방향 판단부(120)는 절대값의 합을 대각선 그룹(600)에 포함된 G 채널들의 개수인 8로 나누어서 대각선 분산을 계산할 수 있다.
도 7은 본 발명의 일실시예에 따라 생성한 역대각선 그룹의 일례이다.
방향 판단부(120)는 도 6에 도시된 바와 같이 G 채널을 복원하고자 하는 위치에서 135도 각도의 대각선 방향으로 인접한 복수의 G 채널을 역 대각선 그룹(700)으로 그룹화할 수 있다. 그리고, 방향 판단부(120)는 대각선 그룹(700)에 포함된 G(i-2, j-1), G(i-1, j), G(i, j+1), G(i+1, j+2), G(i-1, j-2), G(i, j-1), G(i+1, j), G(i+2, j+1)의 분산인 역대각선 분산(Var_invd)을 계산할 수 있다.
구체적으로, 방향 판단부(120)는 G(i-2, j-1), G(i-1, j), G(i, j+1), G(i+1, j+2), G(i-1, j-2), G(i, j-1), G(i+1, j), G(i+2, j+1)의 평균과 G(i-2, j-1), G(i-1, j), G(i, j+1), G(i+1, j+2), G(i-1, j-2), G(i, j-1), G(i+1, j), G(i+2, j+1) 각각 간의 차이를 계산할 수 있다. 그리고, 방향 판단부(120)는 계산한 차이의 절대값들을 모두 더할 수 있다. 마지막으로, 방향 판단부(120)는 절대값의 합을 역대각선 그룹(700)에 포함된 G 채널들의 개수인 8로 나누어서 역대각선 분산을 계산할 수 있다.
도 8은 본 발명의 일실시예에 따라 생성한 수평 그룹의 일례이다.
방향 판단부(120)는 도 8에 도시된 바와 같이 G 채널을 복원하고자 하는 위치에서 수평 방향으로 인접한 복수의 G 채널을 수평 그룹(800)으로 그룹화할 수 있다. 그리고, 방향 판단부(120)는 수평 그룹(800)에 포함된 G(i, j-3), G(i, j-1), G(i, j+1), G(i, j+3)의 분산인 수평 분산(Var_hori)을 계산할 수 있다.
구체적으로, 방향 판단부(120)는 G(i, j-3), G(i, j-1), G(i, j+1), G(i, j+3)의 평균과 G(i, j-3), G(i, j-1), G(i, j+1), G(i, j+3) 각각 간의 차이를 계산할 수 있다. 그리고, 방향 판단부(120)는 계산한 차이의 절대값들을 모두 더할 수 있다. 마지막으로, 방향 판단부(120)는 절대값의 합을 수평 그룹(800)에 포함된 G 채널들의 개수인 4로 나누어서 수평 분산을 계산할 수 있다.
도 9는 본 발명의 일실시예에 따라 생성한 수직 그룹의 일례이다.
방향 판단부(120)는 도 9에 도시된 바와 같이 G 채널을 복원하고자 하는 위치에서 수직 방향으로 인접한 복수의 G 채널을 수직 그룹(900)으로 그룹화할 수 있다. 그리고, 방향 판단부(120)는 수직 그룹(900)에 포함된 G(i-3, j), G(i-1, j), G(i+1, j), G(i+3, j)의 분산인 수직 분산(Var_vert)을 계산할 수 있다.
구체적으로, 방향 판단부(120)는 G(i-3, j), G(i-1, j), G(i+1, j), G(i+3, j)의 평균과 G(i-3, j), G(i-1, j), G(i+1, j), G(i+3, j) 각각 간의 차이를 계산할 수 있다. 그리고, 방향 판단부(120)는 계산한 차이의 절대값들을 모두 더할 수 있다. 마지막으로, 방향 판단부(120)는 절대값의 합을 수직 그룹(900)에 포함된 G 채널들의 개수인 4로 나누어서 수직 분산을 계산할 수 있다.
그리고, 방향 판단부(120)는 대각선 분산, 역대각선 분산, 수평 분산, 및 수직 분산 중에서 가작 작은 분산에 따라 에지의 방향을 판단할 수 있다.
도 10은 본 발명의 일실시예에 따른 G 채널 보정 결과의 일례이다.
G 채널 복원부(110)는 R 채널, 및 B 채널이 표시되는 위치의 수평 방향, 또는 수직 방향에 인접한 G 채널을 이용하여 R 채널, 및 B 채널이 표시되는 위치의 G 채널을 복원할 수 있다. 따라서, 픽셀이 포함된 에지의 방향이 대각선인 경우, G 채널 복원부(110)가 복원한 G 채널(1010)은 도 10에 도시된 바와 같이 도트가 튀는 현상이 발생할 수 있다.
G 채널 보정부(130)는 방향 판단부(120)가 판단한 에지의 방향에 따라 G 채널 복원부(110)가 복원한 G 채널(1010)을 보정할 수 있다. 예를 들어, 도 10에서 에지의 각도는 135도와 유사하므로, 방향 판단부(120)는 에지의 방향을 역대각선 방향으로 판단할 수 있다. 이때, G 채널 보정부(130)는 복원한 G 채널(1010)에 역대각선 방향으로 블러(Blur) 처리를 수행하여 보정된 G 채널(1020)을 출력할 수 있다.
도 11은 본 발명의 일실시예에 따른 영상 처리 장치의 동작을 나타내는 도면이다.
먼저, G 채널 복원부(110) 및 방향 판단부(120)는 이미지 센서가 획득한 원본 데이터(1110)을 수신할 수 있다.
다음으로, G 채널 복원부(110)는 이미지 센서가 획득한 원본 데이터(1110)의 픽셀에 칼라 보간을 적용하여 G 채널을 복원할 수 있다.
이때, 방향 판단부(120)는 이미지 센서가 획득한 원본 데이터(1110)의 픽셀이 포함된 에지의 방향을 판단할 수 있다. 이때, 방향 판단부(120)는 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단할 수 있다.
그 다음으로, G 채널 보정부(130)는 방향 판단부(120)가 판단한 에지의 방향에 따라 G 채널 복원부(110)가 복원한 G 채널을 보정할 수 있다. 이때, 방향 판단부(120)가 판단한 에지의 방향이 대각선인 경우, G 채널 보정부(130)는 대각선에 대응하는 블러(Blur)를 이용하여 복원된 G 채널을 보정할 수 있다. 또한, 방향 판단부(120)가 판단한 에지의 방향이 수평, 또는 수직인 경우, 상기 G 채널 보정부(130)는 복원된 G 채널을 추가 보정하지 않고, 보정을 패스(Pass)할 수 있다.
다음으로, R 채널 복원부(140)는 G 채널 보정부(130)가 G 채널을 보정한 원본 데이터에 칼라 보간을 적용하여 R 채널을 복원할 수 있다. 이때, B 채널 복원부(150)는 G 채널 보정부(130)가 G 채널을 보정한 원본 데이터에 칼라 보간을 적용하여 B 채널을 복원할 수 있다.
마지막으로, 영상 처리 장치(100)는 R 채널 복원부(140)가 R 채널을 복원한 영상과 B 채널 복원부(150)가 B 채널을 복원한 영상을 결합하여 G 채널과 R 채널 및 B 채널이 모두 복원된 RGB 영상(1020)을 출력할 수 있다.
도 12는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 플로우차트이다.
단계(1210)에서 G 채널 복원부(110)는 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원할 수 있다. 이때, G 채널 복원부(110)는 픽셀의 G 채널을 복원하고자 하는 위치에서 에지의 방향에 대응하는 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다.
단계(1220)에서 방향 판단부(120)는 픽셀이 포함된 에지의 방향을 판단할 수 있다. 이때, 방향 판단부(120)는 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단할 수 있다.
단계(1230)에서 G 채널 보정부(130)는 단계(1220)에서 판단한 에지의 방향이 대각선인지 여부를 판단할 수 있다. 단계(1220)에서 판단한 에지의 방향이 대각선인 경우, G 채널 보정부(130)는 단계(1240)를 수행할 수 있다. 또한, 단계(1220)에서 판단한 에지의 방향이 대각선이 아닌 경우, 상기 G 채널 보정부(130)는 단계(1250)를 수행할 수 있다
단계(1240)에서 G 채널 보정부(130)는 단계(1220)에서 판단한 에지의 방향에 대응하는 블러(Blur)를 이용하여 단계(1210)에서 복원된 G 채널을 보정할 수 있다.
단계(1250)에서 R 채널 복원부(140)는 단계(1240)에서 G 채널을 보정한 원본 데이터, 또는 단계(1210)에서 G 채널을 복원한 원본 데이터에 칼라 보간을 적용하여 R 채널을 복원할 수 있다.
단계(1260)에서 B 채널 복원부(150)는 단계(1250)에서 R 채널이 복원된 원본 데이터에 칼라 보간을 적용하여 B 채널을 복원할 수 있다. 이때, 단계(1250)에서 R 채널이 복원된 원본 데이터는 단계(1240)에서 보정한 G 채널, 또는 단계(1210)에서 복원한 G 채널을 포함할 수 있다. 즉, B 채널 복원부(150)는 G 채널과 R 채널이 복원된 RGB 영상에 칼라 보간을 적용하여 B 채널을 복원함으로써, G 채널과 R 채널 및 B 채널이 모두 복원된 RGB 영상을 출력할 수 있다.
본 발명은 픽셀이 포함된 에지의 방향에 따라 복원된 G 채널을 보정함으로써, 얇은 대각선에서 도트가 튀는 것을 방지할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
110: G 채널 복원부
120: 방향 판단부
130: G 채널 보정부
140: R 채널 복원부
150: B 채널 복원부

Claims (14)

  1. 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원하는 단계;
    상기 픽셀이 포함된 에지의 방향을 판단하는 단계;
    상기 에지의 방향에 따라 복원된 G 채널을 보정하는 단계; 및
    G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 R 채널 및 B 채널을 복원하는 단계
    를 포함하고,
    상기 G 채널을 보정하는 단계는,
    상기 에지의 방향이 대각선인 경우, 복원된 G 채널에 대각선 방향으로 블러(Blur) 처리를 수행하여 G 채널이 보정된 원본 데이터를 출력하고,
    상기 에지의 방향이 수평, 또는 수직인 경우, 복원된 G 채널을 보정하지 않는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 에지의 방향을 판단하는 단계는,
    상기 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단하는 영상 처리 방법.
  3. 제2항에 있어서,
    상기 에지의 방향을 판단하는 단계는,
    상기 위치에 수평 방향, 수직 방향, 및 대각선 방향으로 인접한 적어도 하나의 G 채널을 각각 그룹화하는 영상 처리 방법.
  4. 제2항에 있어서,
    상기 에지의 방향을 판단하는 단계는,
    상기 위치에 대각선 방향으로 인접한 적어도 하나의 G 채널을 대각선의 각도에 기초하여 각각 그룹화하는 영상 처리 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 G 채널을 복원하는 단계는,
    상기 픽셀의 G 채널을 복원하고자 하는 위치에서 상기 에지의 방향에 대응하는 방향으로 인접한 적어도 하나의 G 채널을 이용하여 상기 픽셀의 G 채널을 복원하는 영상 처리 방법.
  8. 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원하는 G 채널 복원부;
    상기 픽셀이 포함된 에지의 방향을 판단하는 방향 판단부;
    상기 에지의 방향에 따라 복원된 G 채널을 보정하는 G 채널 보정부;
    G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 R 채널을 복원하는 R 채널 복원부; 및
    G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 B 채널을 복원하는 B 채널 복원부
    를 포함하고,
    상기 G 채널 보정부는,
    상기 에지의 방향이 대각선인 경우, 복원된 G 채널에 대각선 방향으로 블러(Blur) 처리를 수행하여 G 채널이 보정된 원본 데이터를 출력하고,
    상기 에지의 방향이 수평, 또는 수직인 경우, 복원된 G 채널을 보정하지 않는 영상 처리 장치.
  9. 제8항에 있어서,
    상기 방향 판단부는,
    상기 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단하는 영상 처리 장치.
  10. 제9항에 있어서,
    상기 방향 판단부는,
    상기 위치에 수평 방향, 수직 방향, 및 대각선 방향으로 인접한 적어도 하나의 G 채널을 각각 그룹화하는 영상 처리 장치.
  11. 제9항에 있어서,
    상기 방향 판단부는,
    상기 위치에 대각선 방향으로 인접한 적어도 하나의 G 채널을 대각선의 각도에 기초하여 각각 그룹화하는 영상 처리 장치.
  12. 삭제
  13. 삭제
  14. 제8항에 있어서,
    상기 G 채널 복원부는,
    상기 픽셀의 G 채널을 복원하고자 하는 위치에서 상기 에지의 방향에 대응하는 방향으로 인접한 적어도 하나의 G 채널을 이용하여 상기 픽셀의 G 채널을 복원하는 영상 처리 장치.
KR1020150126385A 2015-09-07 2015-09-07 클리어 에지 재현을 위한 영상 처리 장치 및 방법 KR101706554B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150126385A KR101706554B1 (ko) 2015-09-07 2015-09-07 클리어 에지 재현을 위한 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150126385A KR101706554B1 (ko) 2015-09-07 2015-09-07 클리어 에지 재현을 위한 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101706554B1 true KR101706554B1 (ko) 2017-02-16

Family

ID=58264891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150126385A KR101706554B1 (ko) 2015-09-07 2015-09-07 클리어 에지 재현을 위한 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101706554B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188747A (zh) * 2019-04-28 2019-08-30 广州华多网络科技有限公司 一种文本图像的倾斜校正方法、装置以及图像处理设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090020918A (ko) * 2007-08-24 2009-02-27 삼성전자주식회사 영상 보간 방법 및 장치
KR20100067440A (ko) * 2008-12-11 2010-06-21 삼성전기주식회사 컬러 보간 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090020918A (ko) * 2007-08-24 2009-02-27 삼성전자주식회사 영상 보간 방법 및 장치
KR20100067440A (ko) * 2008-12-11 2010-06-21 삼성전기주식회사 컬러 보간 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188747A (zh) * 2019-04-28 2019-08-30 广州华多网络科技有限公司 一种文本图像的倾斜校正方法、装置以及图像处理设备

Similar Documents

Publication Publication Date Title
JP4253655B2 (ja) デジタル撮影装置の色補間法
US10321022B2 (en) Signal processing device to generate low noise image signal in low light intensity environment
US8588521B2 (en) Image processing apparatus and control method therefor
US9767742B2 (en) Image display device
JP6046927B2 (ja) 画像処理装置及びその制御方法
WO2015141050A1 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
TWI588757B (zh) 邊緣偵測系統及方法
US20140098120A1 (en) Image Color Correction for an Image by a Graphical Processing Unit Looking Up Color Corrections in a Lookup Table
TWI449027B (zh) 適應性畫素補償方法
US7609300B2 (en) Method and system of eliminating color noises caused by an interpolation
KR101600312B1 (ko) 영상처리장치 및 영상처리방법
CN113068011B (zh) 图像传感器、图像处理方法及系统
KR101706554B1 (ko) 클리어 에지 재현을 위한 영상 처리 장치 및 방법
US7474337B1 (en) Method and apparatus to provide edge enhancements as part of a demosaicing process
TWI479878B (zh) Correction of pseudo - color pixels in digital image
JP5673186B2 (ja) 撮像装置及び撮像装置の補間処理方法
US8068145B1 (en) Method, systems, and computer program product for demosaicing images
KR101724308B1 (ko) 고 해상도 재현을 위한 영상 처리 장치 및 방법
US7656441B2 (en) Hue correction for electronic imagers
CN113793249A (zh) 一种Pentile图像转换为RGB图像的方法、装置及存储介质
JP2010028374A (ja) 画像処理装置および画像信号の補間処理方法、画像処理プログラム
US9357193B2 (en) Method and apparatus for compensating for color imbalance in image data
JPH10187949A (ja) 色調修正方法
CN114511469B (zh) 一种图像智能降噪先验检测方法
TWI528812B (zh) 降低雜訊的系統及方法

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200310

Year of fee payment: 4