KR101706554B1 - 클리어 에지 재현을 위한 영상 처리 장치 및 방법 - Google Patents
클리어 에지 재현을 위한 영상 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR101706554B1 KR101706554B1 KR1020150126385A KR20150126385A KR101706554B1 KR 101706554 B1 KR101706554 B1 KR 101706554B1 KR 1020150126385 A KR1020150126385 A KR 1020150126385A KR 20150126385 A KR20150126385 A KR 20150126385A KR 101706554 B1 KR101706554 B1 KR 101706554B1
- Authority
- KR
- South Korea
- Prior art keywords
- channel
- edge
- unit
- pixel
- restoring
- Prior art date
Links
Images
Classifications
-
- H04N5/341—
-
- H04N5/357—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
클리어 에지 재현을 위한 영상 처리 장치 및 방법이 개시된다.
영상 처리 방법은 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원하는 단계; 상기 픽셀이 포함된 에지의 방향을 판단하는 단계; 상기 에지의 방향에 따라 복원된 G 채널을 보정하는 단계; 및 G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 R 채널 및 B 채널을 복원하는 단계를 포함할 수 있다.
영상 처리 방법은 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원하는 단계; 상기 픽셀이 포함된 에지의 방향을 판단하는 단계; 상기 에지의 방향에 따라 복원된 G 채널을 보정하는 단계; 및 G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 R 채널 및 B 채널을 복원하는 단계를 포함할 수 있다.
Description
본 발명은 클리어 에지 재현을 위한 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 픽셀이 포함된 에지의 방향에 따라 복원된 G 채널을 보정함으로써, 얇은 대각선에서 도트가 튀는 것을 방지하는 영상 처리 장치 및 방법에 관한 것이다.
CMOS(complementary metal-oxide semiconductor) 이미지 센서는 원래 빛의 밝기만을 감지할 수 있도록 설계되었다. 따라서, CMOS 이미지 센서는 빛의 삼원색인 R(Red), G(Green), B(Blue)의 컬러 필터를 이용하여 영상의 색상을 표시하고 있다.
동일한 위치에 복수의 컬러 필터를 사용할 경우, 이미지 센서의 복잡도와 비용이 증가하므로, CMOS 이미지 센서는 하나의 위치에 3종류의 컬러 필터 중 하나 만을 사용하고 있었다. 따라서, CMOS 이미지 센서는 각각 다른 컬러 필터들이 연속으로 배열된 CFA(Color Filter Array) 패턴을 이용하여 원본 데이터를 획득하고 있다.
이때, CMOS 이미지 센서가 획득한 원본 데이터는 각각의 컬러 필터에 의하여 R 채널, G 채널, B 채널 중 하나씩만 표시되는 위치들의 집합인 모자이크와 비슷한 형상을 가질 수 있다. 따라서, 원본 데이터를 이용하여 R 채널, G 채널, 및 B 채널이 모두 표시되는 RGB 영상을 복원하는 영상 처리 장치가 필요하다.
종래의 영상 처리 장치는 복원하고자 하는 위치에서 수평 방향, 또는 수직 방향에 인접한 R 채널, G 채널, 및 B 채널을 이용하여 R 채널, G 채널, 및 B 채널을 복원하였다. 그러나, 픽셀이 포함된 에지가 얇은 대각선인 경우, 수평 방향, 또는 수직 방향에 인접한 R 채널, G 채널, 및 B 채널을 이용하여 R 채널, G 채널, 및 B 채널을 복원하면, 대각선의 경사를 따라 도트가 튀는 현상이 발생할 수 있었다.
따라서, CMOS 이미지 센서가 획득한 원본 데이터에서 RGB 영상을 복원하는 과정에서 대각선의 경사를 따라 도트가 튀는 현상을 방지하는 영상 처리 장치 및 방법이 요청되고 있다.
본 발명은 픽셀이 포함된 에지의 방향에 따라 복원된 G 채널을 보정함으로써, 얇은 대각선에서 도트가 튀는 것을 방지하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법은 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원하는 단계; 상기 픽셀이 포함된 에지의 방향을 판단하는 단계; 상기 에지의 방향에 따라 복원된 G 채널을 보정하는 단계; 및 G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 R 채널 및 B 채널을 복원하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법의 에지의 방향을 판단하는 단계는 상기 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법의 에지의 방향을 판단하는 단계는 상기 위치에 수평 방향, 수직 방향, 및 대각선 방향으로 인접한 적어도 하나의 G 채널을 각각 그룹화할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법의 에지의 방향을 판단하는 단계는 상기 위치에 대각선 방향으로 인접한 적어도 하나의 G 채널을 대각선의 각도에 기초하여 각각 그룹화할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법의 G 채널을 보정하는 단계는 상기 에지의 방향이 대각선인 경우, 대각선에 대응하는 블러(Blur)를 이용하여 복원된 G 채널을 보정할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법의 G 채널을 보정하는 단계는 상기 에지의 방향이 수평, 또는 수직인 경우, 복원된 G 채널의 보정을 패스(Pass)할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법의 G 채널을 보정하는 단계는 상기 픽셀의 G 채널을 복원하고자 하는 위치에서 상기 에지의 방향에 대응하는 방향으로 인접한 적어도 하나의 G 채널을 이용하여 상기 픽셀의 G 채널을 복원할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치는 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원하는 G 채널 복원부; 상기 픽셀이 포함된 에지의 방향을 판단하는 방향 판단부; 상기 에지의 방향에 따라 복원된 G 채널을 보정하는 G 채널 보정부; G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 R 채널을 복원하는 R 채널 복원부; 및 G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 B 채널을 복원하는 B 채널 복원부를 포함할 수 있다.
본 발명의 일실시예에 의하면, 픽셀이 포함된 에지의 방향에 따라 복원된 G 채널을 보정함으로써, 얇은 대각선에서 도트가 튀는 것을 방지할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 복원 결과를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 CFA 패턴의 일례이다.
도 4는 본 발명의 일실시예에 따른 G 채널 복원 결과의 일례이다.
도 5는 본 발명의 일실시예에 따른 에지의 방향 판단의 일례이다.
도 6은 본 발명의 일실시예에 따라 생성한 대각선 그룹의 일례이다.
도 7은 본 발명의 일실시예에 따라 생성한 역대각선 그룹의 일례이다.
도 8은 본 발명의 일실시예에 따라 생성한 수평 그룹의 일례이다.
도 9는 본 발명의 일실시예에 따라 생성한 수직 그룹의 일례이다.
도 10은 본 발명의 일실시예에 따른 G 채널 보정 결과의 일례이다.
도 11은 본 발명의 일실시예에 따른 영상 처리 장치의 동작을 나타내는 도면이다.
도 12는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 플로우차트이다.
도 2는 본 발명의 일실시예에 따른 영상 복원 결과를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 CFA 패턴의 일례이다.
도 4는 본 발명의 일실시예에 따른 G 채널 복원 결과의 일례이다.
도 5는 본 발명의 일실시예에 따른 에지의 방향 판단의 일례이다.
도 6은 본 발명의 일실시예에 따라 생성한 대각선 그룹의 일례이다.
도 7은 본 발명의 일실시예에 따라 생성한 역대각선 그룹의 일례이다.
도 8은 본 발명의 일실시예에 따라 생성한 수평 그룹의 일례이다.
도 9는 본 발명의 일실시예에 따라 생성한 수직 그룹의 일례이다.
도 10은 본 발명의 일실시예에 따른 G 채널 보정 결과의 일례이다.
도 11은 본 발명의 일실시예에 따른 영상 처리 장치의 동작을 나타내는 도면이다.
도 12는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 영상 처리 방법은 영상 처리 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 나타내는 도면이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 영상 처리 장치(100)는 G 채널 복원부(110), 방향 판단부(120), G 채널 보정부(130), R 채널 복원부(140) 및 B 채널 복원부(150)를 포함할 수 있다.
G 채널 복원부(110)는 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원할 수 있다. 구체적으로, G 채널 복원부(410)는 픽셀에서 R 채널, 및 B 채널이 표시되는 위치의 G 채널을 복원할 수 있다. 이때, G 채널 복원부(410)는 R 채널, 및 B 채널이 표시되는 위치에 인접한 G 채널을 참조하여 R 채널, 및 B 채널이 표시되는 위치의 G 채널을 복원할 수 있다.
또한, G 채널 복원부(110)는 픽셀의 G 채널을 복원하고자 하는 위치에서 에지의 방향에 대응하는 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다.
구체적으로, G 채널 복원부(110)는 픽셀이 포함된 에지의 방향이 수평 방향인지, 또는 수직 방향인지 여부를 판단할 수 있다. 그리고, 에지의 방향이 수평 방향인 경우, G 채널 복원부(110)는 픽셀의 G 채널을 복원하고자 하는 위치에서 수평 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다. 또한, 에지의 방향이 수직 방향인 경우, G 채널 복원부(110)는 픽셀의 G 채널을 복원하고자 하는 위치에서 수직 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다.
방향 판단부(120)는 픽셀이 포함된 에지의 방향을 판단할 수 있다. 이때, 방향 판단부(120)는 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단할 수 있다.
이때, 방향 판단부(120)는 픽셀의 G 채널을 복원하고자 하는 위치에서 수평 방향, 수직 방향, 및 대각선 방향으로 인접한 적어도 하나의 G 채널을 각각 그룹화할 수 있다. 그리고, 방향 판단부(120)는 픽셀의 G 채널을 복원하고자 하는 위치에서 대각선 방향으로 인접한 적어도 하나의 G 채널을 대각선의 각도에 기초하여 각각 그룹화할 수 있다. 예를 들어, 방향 판단부(120)는 픽셀의 G 채널을 복원하고자 하는 위치에서 0도보다 크고 90도보다 작은 각도의 대각선 방향으로 인접한 G 채널들과, 픽셀의 G 채널을 복원하고자 하는 위치에서 90도보다 크고 180도보다 작은 각도의 대각선 방향으로 인접한 G 채널들을 각각 다른 그룹으로 그룹화할 수 있다.
G 채널 보정부(130)는 방향 판단부(120)가 판단한 에지의 방향에 따라 G 채널 복원부(110)가 복원한 G 채널을 보정할 수 있다. 이때, 방향 판단부(120)가 판단한 에지의 방향이 대각선인 경우, G 채널 보정부(130)는 대각선에 대응하는 블러(Blur)를 이용하여 복원된 G 채널을 보정할 수 있다. 또한, 방향 판단부(120)가 판단한 에지의 방향이 수평, 또는 수직인 경우, 상기 G 채널 보정부(130)는 복원된 G 채널을 추가 보정하지 않고, 보정을 패스(Pass)할 수 있다.
R 채널 복원부(140)는 G 채널 보정부(130)가 G 채널을 보정한 원본 데이터에 칼라 보간을 적용하여 R 채널을 복원할 수 있다. 이때, R 채널 복원부(420)는 G 채널 보정부(130)가 보정한 G 채널, 및 원본 데이터에서 B 채널이 표시되는 위치에 인접한 R 채널을 참조하여 G 채널 보정부(130)가 보정한 G 채널, 및 원본 데이터에서 B 채널이 표시되는 위치의 R 채널을 복원할 수 있다.
B 채널 복원부(150)는 G 채널 보정부(130)가 G 채널을 보정한 원본 데이터에 칼라 보간을 적용하여 B 채널을 복원할 수 있다. 이때, B 채널 복원부(150)는 G 채널 보정부(130)가 보정한 G 채널, 및 원본 데이터에서 R 채널이 표시되는 위치에 인접한 B 채널을 참조하여 G 채널 보정부(130)가 보정한 G 채널, 및 원본 데이터에서 R 채널이 표시되는 위치의 B 채널을 복원할 수 있다.
이때, R 채널 복원부(140)와 B 채널 복원부(150)는 독립적으로 동작할 수도 있다. R 채널 복원부(140)와 B 채널 복원부(150)가 독립적으로 동작하는 경우, R 채널 복원부(140)는 G 채널과 R 채널이 복원된 영상을 출력하고, B 채널 복원부(150)는 G 채널과 B 채널이 결정된 영상을 출력할 수 있다. 따라서, 영상 처리 장치(100)는 R 채널 복원부(140)가 출력한 영상과 B 채널 복원부(150)가 출력한 영상을 결합하여 G 채널과 R 채널 및 B 채널이 결정된 RGB 영상을 출력하는 구성을 더 포함할 수 있다.
또한, 영상 처리 장치(100)는 R 채널 복원부(140)와 B 채널 복원부(150) 중 하나의 복원 결과를 이용하여 다른 채널을 복원할 수도 있다.
예를 들어, B 채널 복원부(150)는 R 채널 복원부(140)에서 G 채널과 R 채널이 복원된 영상을 수신할 수 있다. 이때, B 채널 복원부(150)는 G 채널과 R 채널이 복원된 RGB 영상에 칼라 보간을 적용하여 B 채널을 복원함으로써, G 채널과 R 채널 및 B 채널이 모두 복원된 RGB 영상을 출력할 수 있다.
또한, R 채널 복원부(140)가 B 채널 복원부(150)에서 G 채널과 B 채널이 복원된 영상을 수신할 수도 있다. 이때, R 채널 복원부(140)는 G 채널과 B 채널이 복원된 RGB 영상에 칼라 보간을 적용하여 R 채널을 복원함으로써, G 채널과 R 채널 및 B 채널이 모두 복원된 RGB 영상을 출력할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치(100)는 픽셀이 포함된 에지의 방향이 대각선인 경우, 에지의 방향에 따라 복원된 G 채널을 보정함으로써, 얇은 대각선에서 도트가 튀는 것을 방지할 수 있다.
도 2는 본 발명의 일실시예에 따른 영상 복원 결과를 나타내는 도면이다.
본 발명의 일실시예에 따른 G 채널 복원부(110), R 채널 복원부(140) 및 B 채널 복원부(150)는 원본 데이터에 포함된 CFA(Color Filter Array) 패턴(200)을 이용하여 픽셀의 R 채널 이미지(210)과 G 채널 이미지(220), 및 B 채널 이미지(230)를 복원할 수 있다.
이때, G 채널 복원부(110)는 CFA 패턴(200)에 포함된 G 채널로 G 채널에 인접한 R 채널, 및 B 채널이 표시되는 위치의 G 채널을 복원하여 픽셀의 G 채널 이미지(220)를 복원할 수 있다. CFA 패턴에서 R 채널, 및 B 채널이 표시되는 위치에는 G 채널 정보가 포함되지 않을 수 있다. 따라서, G 채널 복원부(110)는 R 채널, 및 B 채널이 표시되는 위치에 인접하여 표시되는 G 채널을 참조할 수 있다.
G 채널 복원부(110)가 R 채널이 표시되는 위치의 G 채널을 복원하는 구체적인 과정은 이하 도 3을 참조하여 상세히 설명한다.
또한, R 채널 복원부(140)는 CFA 패턴(200)에 포함된 R 채널로 R 채널에 인접한 G 채널, 및 B 채널이 표시되는 위치의 R 채널을 복원하여 픽셀의 R 채널 이미지(210)를 복원할 수 있다. 이때, R 채널 복원부(140)는 G 채널이 표시되는 위치, 및 B 채널이 표시되는 위치에 인접하여 표시되는 R 채널을 참조할 수 있다.
그리고, B 채널 복원부(150)는 CFA 패턴(200)에 포함된 B 채널로 B 채널에 인접한 R 채널, 및 G 채널이 표시되는 위치의 B 채널을 복원하여 픽셀의 B 채널 이미지(230)를 복원할 수 있다. 이때, B 채널 복원부(150)는 R 채널이 표시되는 위치, 및 G 채널이 표시되는 위치에 인접하여 표시되는 B 채널을 참조할 수 있다.
즉, G 채널 복원부(110), R 채널 복원부(140) 및 B 채널 복원부(150)는 LPF(Low-Pass Filtering)을 수행하여 픽셀의 R 채널 이미지(210)과 G 채널 이미지(220), 및 B 채널 이미지(230)를 복원할 수 있다.
도 3은 본 발명의 일실시예에 따른 CFA 패턴의 일례이다.
도 3에서 G 채널 복원부(110)가 R 채널이 표시되는 위치(i, j)(300)의 G 채널을 복원하는 경우, G 채널 복원부(110)는 픽셀이 포함된 에지의 방향이 수평 방향인지, 또는 수직 방향인지 여부를 판단할 수 있다.
에지의 방향이 수평 방향인 경우, G 채널 복원부(110)는 픽셀의 G 채널을 복원하고자 하는 위치에서 수평 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다. 예를 들어, G 채널 복원부(110)는 수학식 1로 계산한 Gxi , j를 픽셀의 G 채널로 복원할 수 있다.
에지의 방향이 수직 방향인 경우, G 채널 복원부(110)는 픽셀의 G 채널을 복원하고자 하는 위치에서 수직 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다. 예를 들어, G 채널 복원부(110)는 수학식 2로 계산한 Gyi , j를 픽셀의 G 채널로 복원할 수 있다.
또한, G 채널 복원부(110)는 수학식 1과 수학식 2를 이용하여 Gxi , j와 Gyi , j를 계산하고, 에지의 방향에 따라 Gxi , j와 Gyi , j중 하나를 선택하여 픽셀의 G 채널을 복원할 수 있다. 예를 들어, 에지의 방향이 수평 방향인 경우, G 채널 복원부(110)는 Gxi , j를 선택할 수 있다. 또한, 에지의 방향이 수직 방향인 경우, G 채널 복원부(110)는 Gyi , j를 선택할 수 있다.
도 4는 본 발명의 일실시예에 따른 G 채널 복원 결과의 일례이다.
G 채널 복원부(110)가 도 4에 도시된 바와 같은 수직 방향의 에지(410)를 수평 방향으로 잘못 판단한 경우, G 채널 복원부(110)는 수평 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다.
그러나, 에지(410)가 수직 방향이므로, R 채널, 및 B 채널이 표시되는 위치에서 수직 방향으로 인접한 G 채널들은 값이 유사하지만, R 채널, 및 B 채널이 표시되는 위치에서 수평 방향으로 인접한 G 채널들은 값이 상이할 수 있다. 따라서, G 채널 복원부(110)가 복원한 G 채널(420)은 도 4의 케이스 1(Case 1)에 도시된 바와 같이 수평 방향으로 도트가 튀는 현상이 발생할 수 있다.
반면, G 채널 복원부(110)가 수직 방향의 에지(410)를 수직 방향으로 정확히 판단한 경우, G 채널 복원부(110)는 수직 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다.
이때, R 채널, 및 B 채널이 표시되는 위치에서 수직 방향으로 인접한 G 채널들은 값이 유사하므로, G 채널 복원부(110)가 복원한 G 채널(430)은 도 4의 케이스 2(Case 2)에 도시된 바와 같이 수평 방향으로 도트가 튀는 현상이 발생하지 않을 수 있다.
도 5는 본 발명의 일실시예에 따른 에지의 방향 판단의 일례이다.
방향 판단부(120)는 상기 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단할 수 있다.
구체적으로, 방향 판단부(120)는 G 채널을 복원하고자 하는 위치에서 45도 각도의 대각선 방향으로 인접한 적어도 하나의 G 채널을 대각선 그룹으로 그룹화할 수 있다. 또한, 방향 판단부(120)는 G 채널을 복원하고자 하는 위치에서 135도 각도의 대각선 방향으로 인접한 적어도 하나의 G 채널을 역 대각선 그룹으로 그룹화할 수 있다.
또한, 방향 판단부(120)는 G 채널을 복원하고자 하는 위치에 수직 방향으로 인접한 적어도 하나의 G 채널을 수직 그룹으로 그룹화할 수 있다. 또한, 방향 판단부(120)는 G 채널을 복원하고자 하는 위치에 수평 방향으로 인접한 적어도 하나의 G 채널을 수평 그룹으로 그룹화할 수 있다.
다음으로, 방향 판단부(120)는 대각선 그룹, 역대각선 그룹, 수직 그룹, 수평 그룹에 각각 포함된 G 채널들의 분산(Variance)을 계산할 수 있다. 구체적으로, 방향 판단부(120)는 대각선 그룹, 역대각선 그룹, 수직 그룹, 수평 그룹에 각각 포함된 G 채널들의 평균을 계산할 수 있다. 그리고, 방향 판단부(120)는 계산한 평균과 대각선 그룹, 역대각선 그룹, 수직 그룹, 수평 그룹에 각각 포함된 G 채널들 간의 차이를 계산할 수 있다. 그리고, 방향 판단부(120)는 계산한 차이의 절대값의 합을 계산할 수 있다. 그리고, 방향 판단부(120)는 절대값의 합을 대각선 그룹, 역대각선 그룹, 수직 그룹, 수평 그룹에 각각 포함된 G 채널들의 개수로 나누어서 대각선 그룹, 역대각선 그룹, 수직 그룹, 수평 그룹에 각각 포함된 G 채널들의 분산을 계산할 수 있다.
마지막으로, 방향 판단부(120)는 계산된 분산이 가장 작은 그룹에 따라 에지의 방향을 판단할 수 있다.
예를 들어, 대각선 그룹의 분산이 역대각선 그룹, 수직 그룹, 및 수평 그룹보다 작은 경우, 방향 판단부(120)는 에지의 방향을 대각선(Diagonal)(510) 방향으로 판단할 수 있다. 또한, 역대각선 그룹의 분산이 대각선 그룹, 수직 그룹, 및 수평 그룹보다 작은 경우, 방향 판단부(120)는 에지의 방향을 역대각선(Inverse Diagonal)(520) 방향으로 판단할 수 있다.
그리고, 수직 그룹의 분산이 대각선 그룹, 역대각선 그룹, 및 수평 그룹보다 작은 경우, 방향 판단부(120)는 에지의 방향을 수직(Vertical)(530) 방향으로 판단할 수 있다. 또한, 수직 그룹의 분산이 대각선 그룹, 역대각선 그룹, 및 수평 그룹보다 작은 경우, 방향 판단부(120)는 에지의 방향을 수평(Horizontal)(540) 방향으로 판단할 수 있다.
도 6은 본 발명의 일실시예에 따라 생성한 대각선 그룹의 일례이다.
방향 판단부(120)는 도 6에 도시된 바와 같이 G 채널을 복원하고자 하는 위치에서 45도 각도의 대각선 방향으로 인접한 복수의 G 채널을 대각선 그룹(600)으로 그룹화할 수 있다. 그리고, 방향 판단부(120)는 대각선 그룹(600)에 포함된 G(i-2, j+1), G(i-1, j), G(i, j-1), G(i+1, j-2), G(i-1, j+2), G(i, j+1), G(i+1, j), G(i+2, j-1)의 분산인 대각선 분산(Var_diag)을 계산할 수 있다.
구체적으로, 방향 판단부(120)는 G(i-2, j+1), G(i-1, j), G(i, j-1), G(i+1, j-2), G(i-1, j+2), G(i, j+1), G(i+1, j), G(i+2, j-1)의 평균과 G(i-2, j+1), G(i-1, j), G(i, j-1), G(i+1, j-2), G(i-1, j+2), G(i, j+1), G(i+1, j), G(i+2, j-1) 각각 간의 차이를 계산할 수 있다. 그리고, 방향 판단부(120)는 계산한 차이의 절대값들을 모두 더할 수 있다. 마지막으로, 방향 판단부(120)는 절대값의 합을 대각선 그룹(600)에 포함된 G 채널들의 개수인 8로 나누어서 대각선 분산을 계산할 수 있다.
도 7은 본 발명의 일실시예에 따라 생성한 역대각선 그룹의 일례이다.
방향 판단부(120)는 도 6에 도시된 바와 같이 G 채널을 복원하고자 하는 위치에서 135도 각도의 대각선 방향으로 인접한 복수의 G 채널을 역 대각선 그룹(700)으로 그룹화할 수 있다. 그리고, 방향 판단부(120)는 대각선 그룹(700)에 포함된 G(i-2, j-1), G(i-1, j), G(i, j+1), G(i+1, j+2), G(i-1, j-2), G(i, j-1), G(i+1, j), G(i+2, j+1)의 분산인 역대각선 분산(Var_invd)을 계산할 수 있다.
구체적으로, 방향 판단부(120)는 G(i-2, j-1), G(i-1, j), G(i, j+1), G(i+1, j+2), G(i-1, j-2), G(i, j-1), G(i+1, j), G(i+2, j+1)의 평균과 G(i-2, j-1), G(i-1, j), G(i, j+1), G(i+1, j+2), G(i-1, j-2), G(i, j-1), G(i+1, j), G(i+2, j+1) 각각 간의 차이를 계산할 수 있다. 그리고, 방향 판단부(120)는 계산한 차이의 절대값들을 모두 더할 수 있다. 마지막으로, 방향 판단부(120)는 절대값의 합을 역대각선 그룹(700)에 포함된 G 채널들의 개수인 8로 나누어서 역대각선 분산을 계산할 수 있다.
도 8은 본 발명의 일실시예에 따라 생성한 수평 그룹의 일례이다.
방향 판단부(120)는 도 8에 도시된 바와 같이 G 채널을 복원하고자 하는 위치에서 수평 방향으로 인접한 복수의 G 채널을 수평 그룹(800)으로 그룹화할 수 있다. 그리고, 방향 판단부(120)는 수평 그룹(800)에 포함된 G(i, j-3), G(i, j-1), G(i, j+1), G(i, j+3)의 분산인 수평 분산(Var_hori)을 계산할 수 있다.
구체적으로, 방향 판단부(120)는 G(i, j-3), G(i, j-1), G(i, j+1), G(i, j+3)의 평균과 G(i, j-3), G(i, j-1), G(i, j+1), G(i, j+3) 각각 간의 차이를 계산할 수 있다. 그리고, 방향 판단부(120)는 계산한 차이의 절대값들을 모두 더할 수 있다. 마지막으로, 방향 판단부(120)는 절대값의 합을 수평 그룹(800)에 포함된 G 채널들의 개수인 4로 나누어서 수평 분산을 계산할 수 있다.
도 9는 본 발명의 일실시예에 따라 생성한 수직 그룹의 일례이다.
방향 판단부(120)는 도 9에 도시된 바와 같이 G 채널을 복원하고자 하는 위치에서 수직 방향으로 인접한 복수의 G 채널을 수직 그룹(900)으로 그룹화할 수 있다. 그리고, 방향 판단부(120)는 수직 그룹(900)에 포함된 G(i-3, j), G(i-1, j), G(i+1, j), G(i+3, j)의 분산인 수직 분산(Var_vert)을 계산할 수 있다.
구체적으로, 방향 판단부(120)는 G(i-3, j), G(i-1, j), G(i+1, j), G(i+3, j)의 평균과 G(i-3, j), G(i-1, j), G(i+1, j), G(i+3, j) 각각 간의 차이를 계산할 수 있다. 그리고, 방향 판단부(120)는 계산한 차이의 절대값들을 모두 더할 수 있다. 마지막으로, 방향 판단부(120)는 절대값의 합을 수직 그룹(900)에 포함된 G 채널들의 개수인 4로 나누어서 수직 분산을 계산할 수 있다.
그리고, 방향 판단부(120)는 대각선 분산, 역대각선 분산, 수평 분산, 및 수직 분산 중에서 가작 작은 분산에 따라 에지의 방향을 판단할 수 있다.
도 10은 본 발명의 일실시예에 따른 G 채널 보정 결과의 일례이다.
G 채널 복원부(110)는 R 채널, 및 B 채널이 표시되는 위치의 수평 방향, 또는 수직 방향에 인접한 G 채널을 이용하여 R 채널, 및 B 채널이 표시되는 위치의 G 채널을 복원할 수 있다. 따라서, 픽셀이 포함된 에지의 방향이 대각선인 경우, G 채널 복원부(110)가 복원한 G 채널(1010)은 도 10에 도시된 바와 같이 도트가 튀는 현상이 발생할 수 있다.
G 채널 보정부(130)는 방향 판단부(120)가 판단한 에지의 방향에 따라 G 채널 복원부(110)가 복원한 G 채널(1010)을 보정할 수 있다. 예를 들어, 도 10에서 에지의 각도는 135도와 유사하므로, 방향 판단부(120)는 에지의 방향을 역대각선 방향으로 판단할 수 있다. 이때, G 채널 보정부(130)는 복원한 G 채널(1010)에 역대각선 방향으로 블러(Blur) 처리를 수행하여 보정된 G 채널(1020)을 출력할 수 있다.
도 11은 본 발명의 일실시예에 따른 영상 처리 장치의 동작을 나타내는 도면이다.
먼저, G 채널 복원부(110) 및 방향 판단부(120)는 이미지 센서가 획득한 원본 데이터(1110)을 수신할 수 있다.
다음으로, G 채널 복원부(110)는 이미지 센서가 획득한 원본 데이터(1110)의 픽셀에 칼라 보간을 적용하여 G 채널을 복원할 수 있다.
이때, 방향 판단부(120)는 이미지 센서가 획득한 원본 데이터(1110)의 픽셀이 포함된 에지의 방향을 판단할 수 있다. 이때, 방향 판단부(120)는 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단할 수 있다.
그 다음으로, G 채널 보정부(130)는 방향 판단부(120)가 판단한 에지의 방향에 따라 G 채널 복원부(110)가 복원한 G 채널을 보정할 수 있다. 이때, 방향 판단부(120)가 판단한 에지의 방향이 대각선인 경우, G 채널 보정부(130)는 대각선에 대응하는 블러(Blur)를 이용하여 복원된 G 채널을 보정할 수 있다. 또한, 방향 판단부(120)가 판단한 에지의 방향이 수평, 또는 수직인 경우, 상기 G 채널 보정부(130)는 복원된 G 채널을 추가 보정하지 않고, 보정을 패스(Pass)할 수 있다.
다음으로, R 채널 복원부(140)는 G 채널 보정부(130)가 G 채널을 보정한 원본 데이터에 칼라 보간을 적용하여 R 채널을 복원할 수 있다. 이때, B 채널 복원부(150)는 G 채널 보정부(130)가 G 채널을 보정한 원본 데이터에 칼라 보간을 적용하여 B 채널을 복원할 수 있다.
마지막으로, 영상 처리 장치(100)는 R 채널 복원부(140)가 R 채널을 복원한 영상과 B 채널 복원부(150)가 B 채널을 복원한 영상을 결합하여 G 채널과 R 채널 및 B 채널이 모두 복원된 RGB 영상(1020)을 출력할 수 있다.
도 12는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 플로우차트이다.
단계(1210)에서 G 채널 복원부(110)는 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원할 수 있다. 이때, G 채널 복원부(110)는 픽셀의 G 채널을 복원하고자 하는 위치에서 에지의 방향에 대응하는 방향으로 인접한 적어도 하나의 G 채널을 이용하여 픽셀의 G 채널을 복원할 수 있다.
단계(1220)에서 방향 판단부(120)는 픽셀이 포함된 에지의 방향을 판단할 수 있다. 이때, 방향 판단부(120)는 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단할 수 있다.
단계(1230)에서 G 채널 보정부(130)는 단계(1220)에서 판단한 에지의 방향이 대각선인지 여부를 판단할 수 있다. 단계(1220)에서 판단한 에지의 방향이 대각선인 경우, G 채널 보정부(130)는 단계(1240)를 수행할 수 있다. 또한, 단계(1220)에서 판단한 에지의 방향이 대각선이 아닌 경우, 상기 G 채널 보정부(130)는 단계(1250)를 수행할 수 있다
단계(1240)에서 G 채널 보정부(130)는 단계(1220)에서 판단한 에지의 방향에 대응하는 블러(Blur)를 이용하여 단계(1210)에서 복원된 G 채널을 보정할 수 있다.
단계(1250)에서 R 채널 복원부(140)는 단계(1240)에서 G 채널을 보정한 원본 데이터, 또는 단계(1210)에서 G 채널을 복원한 원본 데이터에 칼라 보간을 적용하여 R 채널을 복원할 수 있다.
단계(1260)에서 B 채널 복원부(150)는 단계(1250)에서 R 채널이 복원된 원본 데이터에 칼라 보간을 적용하여 B 채널을 복원할 수 있다. 이때, 단계(1250)에서 R 채널이 복원된 원본 데이터는 단계(1240)에서 보정한 G 채널, 또는 단계(1210)에서 복원한 G 채널을 포함할 수 있다. 즉, B 채널 복원부(150)는 G 채널과 R 채널이 복원된 RGB 영상에 칼라 보간을 적용하여 B 채널을 복원함으로써, G 채널과 R 채널 및 B 채널이 모두 복원된 RGB 영상을 출력할 수 있다.
본 발명은 픽셀이 포함된 에지의 방향에 따라 복원된 G 채널을 보정함으로써, 얇은 대각선에서 도트가 튀는 것을 방지할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
110: G 채널 복원부
120: 방향 판단부
130: G 채널 보정부
140: R 채널 복원부
150: B 채널 복원부
110: G 채널 복원부
120: 방향 판단부
130: G 채널 보정부
140: R 채널 복원부
150: B 채널 복원부
Claims (14)
- 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원하는 단계;
상기 픽셀이 포함된 에지의 방향을 판단하는 단계;
상기 에지의 방향에 따라 복원된 G 채널을 보정하는 단계; 및
G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 R 채널 및 B 채널을 복원하는 단계
를 포함하고,
상기 G 채널을 보정하는 단계는,
상기 에지의 방향이 대각선인 경우, 복원된 G 채널에 대각선 방향으로 블러(Blur) 처리를 수행하여 G 채널이 보정된 원본 데이터를 출력하고,
상기 에지의 방향이 수평, 또는 수직인 경우, 복원된 G 채널을 보정하지 않는 영상 처리 방법. - 제1항에 있어서,
상기 에지의 방향을 판단하는 단계는,
상기 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단하는 영상 처리 방법. - 제2항에 있어서,
상기 에지의 방향을 판단하는 단계는,
상기 위치에 수평 방향, 수직 방향, 및 대각선 방향으로 인접한 적어도 하나의 G 채널을 각각 그룹화하는 영상 처리 방법. - 제2항에 있어서,
상기 에지의 방향을 판단하는 단계는,
상기 위치에 대각선 방향으로 인접한 적어도 하나의 G 채널을 대각선의 각도에 기초하여 각각 그룹화하는 영상 처리 방법. - 삭제
- 삭제
- 제1항에 있어서,
상기 G 채널을 복원하는 단계는,
상기 픽셀의 G 채널을 복원하고자 하는 위치에서 상기 에지의 방향에 대응하는 방향으로 인접한 적어도 하나의 G 채널을 이용하여 상기 픽셀의 G 채널을 복원하는 영상 처리 방법. - 이미지 센서가 획득한 원본 데이터의 픽셀에 칼라 보간을 적용하여 G 채널을 복원하는 G 채널 복원부;
상기 픽셀이 포함된 에지의 방향을 판단하는 방향 판단부;
상기 에지의 방향에 따라 복원된 G 채널을 보정하는 G 채널 보정부;
G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 R 채널을 복원하는 R 채널 복원부; 및
G 채널이 보정된 원본 데이터에 칼라 보간을 적용하여 B 채널을 복원하는 B 채널 복원부
를 포함하고,
상기 G 채널 보정부는,
상기 에지의 방향이 대각선인 경우, 복원된 G 채널에 대각선 방향으로 블러(Blur) 처리를 수행하여 G 채널이 보정된 원본 데이터를 출력하고,
상기 에지의 방향이 수평, 또는 수직인 경우, 복원된 G 채널을 보정하지 않는 영상 처리 장치. - 제8항에 있어서,
상기 방향 판단부는,
상기 픽셀의 G 채널을 복원하고자 하는 위치에서 인접한 복수의 G 채널들을 방향 별로 그룹화하고, 방향 별 G 채널 그룹을 비교하여 상기 에지의 방향을 판단하는 영상 처리 장치. - 제9항에 있어서,
상기 방향 판단부는,
상기 위치에 수평 방향, 수직 방향, 및 대각선 방향으로 인접한 적어도 하나의 G 채널을 각각 그룹화하는 영상 처리 장치. - 제9항에 있어서,
상기 방향 판단부는,
상기 위치에 대각선 방향으로 인접한 적어도 하나의 G 채널을 대각선의 각도에 기초하여 각각 그룹화하는 영상 처리 장치. - 삭제
- 삭제
- 제8항에 있어서,
상기 G 채널 복원부는,
상기 픽셀의 G 채널을 복원하고자 하는 위치에서 상기 에지의 방향에 대응하는 방향으로 인접한 적어도 하나의 G 채널을 이용하여 상기 픽셀의 G 채널을 복원하는 영상 처리 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150126385A KR101706554B1 (ko) | 2015-09-07 | 2015-09-07 | 클리어 에지 재현을 위한 영상 처리 장치 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150126385A KR101706554B1 (ko) | 2015-09-07 | 2015-09-07 | 클리어 에지 재현을 위한 영상 처리 장치 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101706554B1 true KR101706554B1 (ko) | 2017-02-16 |
Family
ID=58264891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150126385A KR101706554B1 (ko) | 2015-09-07 | 2015-09-07 | 클리어 에지 재현을 위한 영상 처리 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101706554B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188747A (zh) * | 2019-04-28 | 2019-08-30 | 广州华多网络科技有限公司 | 一种文本图像的倾斜校正方法、装置以及图像处理设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090020918A (ko) * | 2007-08-24 | 2009-02-27 | 삼성전자주식회사 | 영상 보간 방법 및 장치 |
KR20100067440A (ko) * | 2008-12-11 | 2010-06-21 | 삼성전기주식회사 | 컬러 보간 장치 |
-
2015
- 2015-09-07 KR KR1020150126385A patent/KR101706554B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090020918A (ko) * | 2007-08-24 | 2009-02-27 | 삼성전자주식회사 | 영상 보간 방법 및 장치 |
KR20100067440A (ko) * | 2008-12-11 | 2010-06-21 | 삼성전기주식회사 | 컬러 보간 장치 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188747A (zh) * | 2019-04-28 | 2019-08-30 | 广州华多网络科技有限公司 | 一种文本图像的倾斜校正方法、装置以及图像处理设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4253655B2 (ja) | デジタル撮影装置の色補間法 | |
US10321022B2 (en) | Signal processing device to generate low noise image signal in low light intensity environment | |
US8588521B2 (en) | Image processing apparatus and control method therefor | |
US9767742B2 (en) | Image display device | |
JP6046927B2 (ja) | 画像処理装置及びその制御方法 | |
WO2015141050A1 (ja) | マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 | |
TWI588757B (zh) | 邊緣偵測系統及方法 | |
TWI449027B (zh) | 適應性畫素補償方法 | |
US7609300B2 (en) | Method and system of eliminating color noises caused by an interpolation | |
KR101600312B1 (ko) | 영상처리장치 및 영상처리방법 | |
CN113068011B (zh) | 图像传感器、图像处理方法及系统 | |
KR101706554B1 (ko) | 클리어 에지 재현을 위한 영상 처리 장치 및 방법 | |
US7474337B1 (en) | Method and apparatus to provide edge enhancements as part of a demosaicing process | |
TWI479878B (zh) | Correction of pseudo - color pixels in digital image | |
JP5673186B2 (ja) | 撮像装置及び撮像装置の補間処理方法 | |
US8068145B1 (en) | Method, systems, and computer program product for demosaicing images | |
KR101724308B1 (ko) | 고 해상도 재현을 위한 영상 처리 장치 및 방법 | |
US7656441B2 (en) | Hue correction for electronic imagers | |
CN113793249A (zh) | 一种Pentile图像转换为RGB图像的方法、装置及存储介质 | |
JP2010028374A (ja) | 画像処理装置および画像信号の補間処理方法、画像処理プログラム | |
US9357193B2 (en) | Method and apparatus for compensating for color imbalance in image data | |
JPH10187949A (ja) | 色調修正方法 | |
CN114511469B (zh) | 一种图像智能降噪先验检测方法 | |
TWI528812B (zh) | 降低雜訊的系統及方法 | |
KR102628938B1 (ko) | 이미지 처리 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20200310 Year of fee payment: 4 |