KR101932587B1 - 컬러-깊이 디모자이킹 영상 처리 장치 및 방법 - Google Patents

컬러-깊이 디모자이킹 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101932587B1
KR101932587B1 KR1020120131760A KR20120131760A KR101932587B1 KR 101932587 B1 KR101932587 B1 KR 101932587B1 KR 1020120131760 A KR1020120131760 A KR 1020120131760A KR 20120131760 A KR20120131760 A KR 20120131760A KR 101932587 B1 KR101932587 B1 KR 101932587B1
Authority
KR
South Korea
Prior art keywords
depth
pixel
color
surrounding
pixels
Prior art date
Application number
KR1020120131760A
Other languages
English (en)
Other versions
KR20140064432A (ko
Inventor
정승원
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120131760A priority Critical patent/KR101932587B1/ko
Priority to US13/952,939 priority patent/US9904981B2/en
Publication of KR20140064432A publication Critical patent/KR20140064432A/ko
Application granted granted Critical
Publication of KR101932587B1 publication Critical patent/KR101932587B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

컬러 화소와 깊이 화소를 포함하는 영상에서 컬러 화소에 깊이 정보를 추가하고, 깊이 화소에 컬러 정보를 추가하는 영상 처리 장치 및 방법이 개시된다. 영상 처리 장치는 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 컬러 화소의 깊이 정보를 결정하는 깊이 정보 결정부를 포함할 수 있다.

Description

컬러-깊이 디모자이킹 영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR COLOR-DEPTH DEMOSAICING}
이하의 일실시예들은 영상 처리 장치 및 방법에 관한 것으로 컬러 화소와 깊이 화소를 포함하는 영상에서 컬러 화소에 깊이 정보를 추가하고, 깊이 화소에 컬러 정보를 추가하는 컬러-깊이 디모자이킹을 수행하는 영상 처리 장치 및 방법에 관한 것이다.
컬러 카메라는 하드웨어의 코스트(Cost)를 줄이기 위하여 화소들 각각에서 RGB 값을 모두 센싱(Sensing)하지 않고, 화소마다 하나의 컬러 성분만을 센싱하고 있다. 따라서, 컬러 카메라가 센싱한 영상에서 화소들 각각이 센싱하지 않은 컬러 성분을 추가하는 컬러 디모자이킹(Color Demosaicing) 방법에 따른 영상 처리 과정을 필요로 한다.
또한, 3D 영상 기술이 발전함에 따라 하나의 센서(Sensor)로 컬러 정보와 깊이 정보를 동시에 취득하는 기술에 대한 관심이 증가하고 있다.
이때, 컬러 정보와 깊이 정보를 동시에 취득하는 방법으로는 컬러 카메라와 같이 화소 별로 하나의 컬러 성분 또는 깊이 정보만을 센싱하는 방법이 있을 수 있다.
그러나, 깊이 정보는 컬러 성분과 상이한 값이므로 종래의 컬러 디모자이킹 방법으로 컬러 성분을 나타내는 화소에 깊이 정보를 추가할 수 없다.
따라서, 컬러 정보와 깊이 정보를 포함하는 영상을 처리하는 방법이 요구된다.
일실시예에 따른 영상 처리 장치는 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 컬러 화소의 깊이 정보를 결정하는 깊이 정보 결정부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치의 깊이 정보 결정부는 적어도 하나의 주변 컬러 화소를 이용하여 주변 깊이 화소들의 가중치를 결정하는 주변 깊이 화소 가중치 결정부; 및 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정하는 컬러 화소 깊이 정보 결정부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치의 주변 깊이 화소 가중치 결정부는 현재 컬러 화소와 주변 컬러 화소들 간의 비교 결과에 따라 결정된 주변 컬러 화소들 각각의 가중치들을 이용하여 현재 컬러 화소와 주변 컬러 화소들 사이에 위치한 주변 깊이 화소들의 가중치를 결정할 수 있다.
일실시예에 따른 영상 처리 장치의 주변 깊이 화소 가중치 결정부는 대칭 깊이 화소들의 깊이 정보와 주변 깊이 화소들의 깊이 정보 간의 차이를 이용하여 주변 깊이 화소의 가중치를 결정하고, 상기 대칭 깊이 화소는 주변 컬러 화소를 중심으로 주변 깊이 화소와 대칭 관계에 있는 깊이 화소일 수 있다.
일실시예에 따른 영상 처리 장치는 현재 깊이 화소의 주변 컬러 화소들 및 현재 깊이 화소의 주변 깊이 화소들을 이용하여 현재 깊이 화소의 컬러 정보를 결정하는 컬러 정보 결정부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치의 컬러 정보 결정부는 적어도 하나의 주변 깊이 화소를 이용하여 주변 컬러 화소들의 가중치를 결정하는 주변 컬러 화소 가중치 결정부; 및 주변 컬러 화소들의 컬러 정보에 주변 컬러 화소들의 가중치를 적용하여 현재 깊이 화소의 컬러 정보를 결정하는 깊이 화소 컬러 정보 결정부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치의 주변 컬러 화소 가중치 결정부는 현재 깊이 화소와 주변 깊이 화소들 간의 비교 결과에 따라 결정된 주변 깊이 화소들 각각의 가중치들을 이용하여 현재 깊이 화소와 주변 깊이 화소들 사이에 위치한 주변 컬러 화소들의 가중치를 결정할 수 있다.
일실시예에 따른 영상 처리 장치의 주변 컬러 화소 가중치 결정부는 대칭 컬러 화소들의 컬러 정보와 주변 컬러 화소들의 컬러 정보 간의 차이를 이용하여 주변 컬러 화소의 가중치를 결정하고, 상기 대칭 컬러 화소는 주변 깊이 화소를 중심으로 주변 컬러 화소와 대칭 관계에 있는 컬러 화소일 수 있다.
일실시예에 따른 영상 처리 방법은 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 컬러 화소의 깊이 정보를 결정하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 깊이 화소의 컬러 정보를 결정하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 2는 일실시예에 따른 영상 처리 장치의 입력 영상의 일례이다.
도 3은 일실시예에 따른 깊이 정보 결정부의 구조를 도시한 도면이다.
도 4는 일실시예에 따른 깊이 정보 결정부가 G채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.
도 5는 일실시예에 따른 깊이 정보 결정부가 R 채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.
도 6은 일실시예에 따른 깊이 정보 결정부가 B 채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.
도 7은 일실시예에 따른 깊이 정보 결정부가 RGB 채널 컬러 화소를 모두 이용하여 깊이 화소의 가중치를 결정하는 과정의 일례이다.
도 8은 일실시예에 따른 컬러 정보 결정부의 구조를 도시한 도면이다.
도 9는 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 G채널 컬러 정보를 결정하는 과정의 일례이다.
도 10은 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 R 채널 컬러 정보를 결정하는 과정의 일례이다.
도 11은 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 B 채널 컬러 정보를 결정하는 과정의 일례이다.
도 12는 일실시예에 따른 깊이 정보 결정부가 G채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.
도 13은 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 G채널 컬러 정보를 결정하는 과정의 일례이다.
도 14는 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
도 15는 일실시예에 따른 컬러 화소의 깊이 정보 결정 과정을 도시한 도면이다.
도 16은 일실시예에 따른 깊이 화소의 컬러 정보 결정 과정을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
일실시예에 따른 영상 처리 장치(100)는 입력 영상의 컬러 화소에 깊이 정보를 추가하고, 입력 영상의 깊이 화소에 컬러 정보를 추가하는 컬러-깊이 디모자이킹을 수행함으로써, 입력 영상의 모든 화소가 컬러 정보와 깊이 정보를 포함하도록 처리할 수 있다.
이때, 입력 영상은 R(red), G(green), B(blue) 채널 각각을 표시하는 컬러 화소들 및 깊이 정보를 표시하는 깊이 화소를 포함할 수 있다. 영상 처리 장치(100)가 처리하는 입력 영상은 이하 도 2를 참조하여 상세히 설명한다.
도 1을 참고하면, 영상 처리 장치(100)는 깊이 정보 결정부(110), 컬러 정보 결정부(120), 및 컬러 디모자이킹부(130)를 포함할 수 있다.
깊이 정보 결정부(110)는 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.
구체적으로, 깊이 정보 결정부(110)는 현재 컬러 화소의 주변 컬러 화소들을 이용하여 주변 깊이 화소들과 현재 컬러 화소 간의 관련성을 추정할 수 있다. 다음으로, 깊이 정보 결정부(110)는 추정한 관련성과 주변 깊이 화소의 깊이 정보에 기초하여 현재 컬러 화소에 대응하는 깊이 정보를 결정하고, 결정한 깊이 정보를 현재 컬러 화소의 깊이 정보로 추가할 수 있다.
깊이 정보 결정부(110)의 구체적인 구성 및 동작은 이하 도 3을 참조하여 상세히 설명한다.
컬러 정보 결정부(120)는 현재 깊이 화소의 주변 컬러 화소들 및 현재 깊이 화소의 주변 깊이 화소들을 이용하여 현재 깊이 화소의 컬러 정보를 결정할 수 있다.
구체적으로, 구체적으로, 컬러 정보 결정부(120)는 현재 깊이 화소의 주변 깊이 화소들을 이용하여 주변 컬러 화소들과 현재 깊이 화소 간의 관련성을 추정할 수 있다. 다음으로, 컬러 정보 결정부(120)는 추정한 관련성과 주변 컬러 화소의 컬러 정보에 기초하여 현재 깊이 화소에 대응하는 컬러 정보를 결정하고, 결정한 컬러 정보를 현재 깊이 화소의 컬러 정보로 추가할 수 있다.
컬러 정보 결정부(120)의 구체적인 구성 및 동작은 이하 도 8을 참조하여 상세히 설명한다.
컬러 디모자이킹부(130)는 입력 영상의 컬러 화소들에 대하여 컬러 디모자이킹(Color Demosaicing) 프로세스를 수행할 수 있다. 구체적으로, 컬러 디모자이킹부(130)는 컬러 화소들 중 R 채널을 표시하는 제1 컬러 화소에 G채널의 컬러 정보와 B 채널의 컬러 정보를 추가함으로써, 제1 컬러 화소가 R 채널의 컬러 정보, G채널의 컬러 정보 및, B 채널의 컬러 정보를 모두 포함하도록 할 수 있다.
또한, 컬러 디모자이킹부(130)는 컬러 화소들 중 G채널을 표시하는 제2 컬러 화소에 R 채널의 컬러 정보와 B 채널의 컬러 정보를 추가함으로써, 제2 컬러 화소가 R 채널의 컬러 정보, G채널의 컬러 정보 및, B 채널의 컬러 정보를 모두 포함하도록 할 수 있다.
그리고, 컬러 디모자이킹부(130)는 컬러 화소들 중 B 채널을 표시하는 제3 컬러 화소에 R 채널의 컬러 정보와 G채널의 컬러 정보를 추가함으로써, 제3 컬러 화소가 R 채널의 컬러 정보, G채널의 컬러 정보 및, B 채널의 컬러 정보를 모두 포함하도록 할 수 있다.
이때, 컬러 디모자이킹부(130)는 일반적인 컬러 디모자이킹(Color Demosaicing) 프로세스를 수행할 수 있다.
그리고, 일실시예에 다른 영상 처리 장치(100)는 깊이 정보 결정부(110)만을 포함하여 입력 영상의 컬러 화소에 깊이 정보를 추가하는 작업만 수행할 수 있다. 또한, 일실시예에 다른 영상 처리 장치(100)는 컬러 정보 결정부(120)만을 포함하여 입력 영상의 깊이 화소에 컬러 정보를 추가하는 작업만 수행할 수도 있다. 이때, 사용자는 별도의 디모자이킹 장치를 이용하여 깊이 정보가 추가된 컬러 화소와 컬러 정보가 추가된 깊이 화소를 디모자이킹 할 수 있다.
도 2는 일실시예에 따른 영상 처리 장치의 입력 영상의 일례이다.
일실시예에 따른 영상 처리 장치(100)의 입력 영상은 도 2에 도시된 바와 같이 R 채널을 표시하는 제1 컬러 화소(210), G채널을 표시하는 제2 컬러 화소(220), B 채널을 표시하는 제3 컬러 화소(230) 및 깊이 정보를 표시하는 깊이 화소(240)를 포함할 수 있다.
이때, 입력 영상은 케이스 1(Case 1)과 같이 제1 컬러 화소(210), 제2 컬러 화소(220), 제3 컬러 화소(230) 및 깊이 화소(240)가 입력 영상을 체커판 형태로 분할한 베이어 패턴(Bayer pattern) 형태일 수 있다.
그러나, 깊이 정보를 획득하는 깊이 카메라의 성능에 따라, 깊이 정보가 컬러 정보보다 정밀도가 낮을 수 있다. 이때, 입력 영상은 정밀도가 낮은 깊이 정보를 표시하기 위하여 케이스 2 (Case 2)와 같이 제1 컬러 화소(210), 제2 컬러 화소(220), 및 제3 컬러 화소(230) 보다 크기가 큰 깊이 화소(240)를 포함할 수 있다.
이때, 깊이 화소(240)의 크기는 깊이 정보를 획득하는 깊이 카메라의 성능에 따라 결정될 수 있다. 예를 들어, 깊이 카메라의 성능이 낮은 경우, 입력 영상은 케이스 3(Case 3)과 같이 제1 컬러 화소(210), 제2 컬러 화소(220), 및 제3 컬러 화소(230)보다 8배 큰 깊이 화소(240)를 포함할 수도 있다.
즉, 입력 영상은 도 2에 도시된 바와 같이 다양한 크기의 깊이 화소(240)를 포함할 수 있다.
도 3은 일실시예에 따른 깊이 정보 결정부의 구조를 도시한 도면이다.
도 3을 참고하면, 깊이 정보 결정부(110)는 주변 컬러 화소 가중치 결정부(310), 주변 깊이 화소 가중치 결정부(320), 및 컬러 화소 깊이 정보 결정부(330)를 포함할 수 있다.
주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소와 동일한 채널을 표시하는 주변 컬러 화소의 가중치를 결정할 수 있다. 구체적으로 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 화소값과 주변 컬러 화소의 화소값을 비교하고, 비교 결과에 따라 주변 컬러 화소의 가중치를 결정할 수 있다. 예를 들어 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 화소값과 주변 컬러 화소의 화소값의 차이가 적을수록 주변 컬러 화소의 가중치를 높게 결정할 수 있다.
이때, 주변 컬러 화소 가중치 결정부(310)는 바이라테랄 필터(Bilateral Filter), 또는 시그마 필터(Sigma Filter)와 같은 필터를 이용하여 주변 컬러 화소의 가중치를 결정할 수 있다.
그리고, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소가 RGB 채널 중 하나인 경우, 현재 컬러 화소로부터 일정 영역 안에 위치한 주변 컬러 화소 중에서 현재 컬러 화소와 동일한 채널을 가지는 주변 컬러 화소들의 가중치를 결정할 수 있다.
예를 들어, 현재 컬러 화소가 G채널이고 깊이 화소들이 도 2의 케이스 1과 같이 현재 컬러 화소의 대각선 방향에 인접한 경우, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 대각선 방향에 인접한 4개의 깊이 화소에 대하여 각각 인접하는 컬러 화소들의 가중치를 결정할 수 있다.
또한, 현재 컬러 화소가 R 채널이고 깊이 화소들이 도 2의 케이스 1과 같이 현재 컬러 화소의 좌우에 인접한 경우, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 좌우에 인접한 2개의 깊이 화소에 대하여 각각 인접하는 컬러 화소들의 가중치를 결정할 수 있다.
그리고, 현재 컬러 화소가 B 채널이고 깊이 화소들이 도 2의 케이스 1과 같이 현재 컬러 화소의 상하에 인접한 경우, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 상하에 인접한 2개의 깊이 화소에 대하여 각각 인접하는 컬러 화소들의 가중치를 결정할 수 있다.
상기 실시예는 컬러 화소들과 깊이 화소의 배치가 도 2의 케이스 1과 동일한 경우이며, 컬러 화소들과 깊이 화소의 배치가 도 2의 케이스 1과 다른 경우, 깊이 화소의 배치 방향에 따라 주변 컬러 화소 가중치 결정부(310)가 가중치를 결정하는 주변 컬러 화소가 결정될 수 있다.
주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. 구체적으로 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치들을 모두 결합하여 주변 깊이 화소의 가중치를 결정할 수 있다.
이때, 주변 깊이 화소 가중치 결정부(320)는 대칭 깊이 화소들의 깊이 정보와 주변 깊이 화소들의 깊이 정보 간의 차이를 이용하여 주변 깊이 화소의 가중치를 결정할 수 있다. 이때, 대칭 깊이 화소는 주변 컬러 화소를 중심으로 주변 깊이 화소와 대칭 관계에 있는 깊이 화소일 수 있다.
구체적으로, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소에 대응하는 방향의 가중치를 대칭 깊이 화소들의 깊이 정보와 주변 깊이 화소들의 깊이 정보 간의 차이에 반비례하도록 보정하고, 보정한 가중치들을 결합하여 주변 깊이 화소의 가중치를 결정할 수 있다.
즉, 주변 깊이 화소 가중치 결정부(320)는 깊이 화소들 간의 차이에 따라 해당 깊이 화소들 사이에 위치한 주변 컬러 화소의 가중치를 보정함으로써, 깊이 화소가 표시하는 깊이 정보의 에지(Edge)가 주변 깊이 화소의 가중치에 반영되도록 할 수 있다. 예를 들어, 주변 깊이 화소 가중치 결정부(320)는 대칭 깊이 화소와 주변 깊이 화소 간의 차이가 적을 수록, 해당 대칭 깊이 화소 방향에 위치한 주변 컬러 화소의 가중치를 증가 시킬 수 있다.
컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다. 예를 들어, 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용한 값들의 합을 주변 깊이 화소들의 개수로 나누어 현재 컬러 화소의 깊이 정보를 결정할 수 있다.
이때, 컬러 화소 깊이 정보 결정부(330)는 결정한 깊이 정보를 현재 컬러 화소의 깊이 정보로 추가할 수 있다.
도 4는 일실시예에 따른 깊이 정보 결정부가 G채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.
좌표 (i, j)에 위치한 현재 컬러 화소(400)는 G채널만을 표시하는 컬러 화소이므로, 깊이 정보 결정부(110)는 현재 컬러 화소(400)의 깊이 정보를 결정하기 위해서는 현재 컬러 화소(400)에 인접한 제1 주변 깊이 화소(410), 제2 주변 깊이 화소(420), 제3 주변 깊이 화소(430), 및 제4 주변 깊이 화소(440)를 이용할 수 있다. 그러나, 제1 주변 깊이 화소(410), 제2 주변 깊이 화소(420), 제3 주변 깊이 화소(430), 및 제4 주변 깊이 화소(440)에는 G채널의 컬러 정보가 존재하지 않으므로, 현재 컬러 화소(400)와 비교하기 어려울 수 있다.
따라서, 깊이 정보 결정부(110)는 주변 깊이 화소들에 인접한 컬러 화소들을 이용하여 주변 깊이 화소들의 가중치를 생성할 수 있다.
구체적으로, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(410)에 인접한 제1 주변 컬러 화소(411)의 G채널 컬러 정보, 제2 주변 컬러 화소(413)의 G채널 컬러 정보, 및 제3 주변 컬러 화소(415)의 G채널 컬러 정보를 각각 현재 컬러 화소(400)의 G채널 컬러 정보와 비교할 수 있다.
다음으로, 주변 컬러 화소 가중치 결정부(310)는 비교 결과에 따라 제1 주변 컬러 화소(411)의 가중치 WG i , j-2, 제2 주변 컬러 화소(413)의 가중치 WG i +2, j-2, 및 제3 주변 컬러 화소(415)의 가중치 WG i +2, j를 결정할 수 있다. 이때, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소(400)의 가중치 WG i , j 도 결정할 수 있다.
그 다음으로, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 깊이 화소 가중치 결정부(320)는 수학식 1을 이용하여 제1 주변 깊이 화소(410)의 가중치 WD i +1, j-1을 결정할 수 있다
Figure 112012095613045-pat00001
이때, N은 전체 가중치(Weight)의 합이 1이 되게 하기 위한 노멀라이제이션(Normalization) 상수이고, D(i+1, j-1)은 제1 주변 깊이 화소(410)의 깊이 정보일 수 있다.
또한, D(i-1, j-3)은 제1 주변 컬러 화소(411)를 중심으로 제1 주변 깊이 화소(410)와 대칭 관계에 있는 제1 대칭 깊이 화소(412)의 깊이 정보일 수 있다.
그리고, D(i+3, j-3)은 제2 주변 컬러 화소(413)를 중심으로 제1 주변 깊이 화소(410)와 대칭 관계에 있는 제2 대칭 깊이 화소(415)의 깊이 정보일 수 있다.
또한, D(i-1, j+1)은 현재 컬러 화소(400)를 중심으로 제1 주변 깊이 화소(410)와 대칭 관계에 있는 깊이 화소의 깊이 정보일 수 있다. 이때, 현재 컬러 화소(400)를 중심으로 제1 주변 깊이 화소(410)와 대칭 관계에 있는 깊이 화소는 제3 주변 깊이 화소(430)일 수 있다.
그리고, D(i+3, j+1)은 제3 주변 컬러 화소(415)를 중심으로 제1 주변 깊이 화소(410)와 대칭 관계에 있는 제3 대칭 깊이 화소(416)의 깊이 정보일 수 있다.
수학식 1에 따르면, 제1 주변 깊이 화소(410)과 대칭 관계에 있는 깊이 화소 간의 차이가 적을수록 관련 주변 컬러 화소의 가중치가 제1 주변 깊이 화소(410)의 가중치에 영향을 크게 줄 수 있다.
다음으로 주변 컬러 화소 가중치 결정부(310)와 주변 깊이 화소 가중치 결정부(320)는 제2 주변 깊이 화소(420), 제3 주변 깊이 화소(430), 및 제4 주변 깊이 화소(440)에 대하여 상기 과정을 반복하여 제2 주변 깊이 화소(420)의 가중치 WD i -1, j-1, 제3 주변 깊이 화소(430)의 가중치 WD i -1, j+1, 및 제4 주변 깊이 화소(440)의 가중치 WD i +1, j+ 1를 결정할 수 있다.
마지막으로 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다. 예를 들어, 컬러 화소 깊이 정보 결정부(330)는 수학식 2를 이용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.
Figure 112012095613045-pat00002
이때, Ω은 현재 컬러 화소(400)의 깊이 정보를 결정하기 위하여 이용하는 주변 깊이 화소의 좌표들을 포함할 수 있다. 즉, Ω은 제1 주변 깊이 화소(410), 제2 주변 깊이 화소(420), 제3 주변 깊이 화소(430), 및 제4 주변 깊이 화소(440)의 좌표를 포함할 수 있다.
도 5는 일실시예에 따른 깊이 정보 결정부가 R 채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.
좌표 (i, j)에 위치한 현재 컬러 화소(600)는 R 채널만을 표시하는 컬러 화소이므로, 깊이 정보 결정부(110)는 현재 컬러 화소(500)의 깊이 정보를 결정하기 위해서는 현재 컬러 화소(500)의 오른쪽에 인접한 제1 주변 깊이 화소(510)과 현재 컬러 화소(500)의 왼쪽에 인접한 제2 주변 깊이 화소(520)를 이용할 수 있다.
구체적으로, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(510)에 인접한 제1 주변 컬러 화소(511)의 R채널 컬러 정보와 현재 컬러 화소(500)의 R채널 컬러 정보를 비교하여 제1 주변 컬러 화소(511)의 가중치 WR i +2, j를 결정할 수 있다. 이때, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소(500)의 가중치 WR i , j 도 결정할 수 있다.
그 다음으로, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 깊이 화소 가중치 결정부(320)는 수학식 3을 이용하여 제1 주변 깊이 화소(510)의 가중치 WD i +1, j을 결정할 수 있다
Figure 112012095613045-pat00003
이때, D(i+1, j)은 제1 주변 깊이 화소(510)의 깊이 정보이고, D(i+3, j)은 제1 주변 컬러 화소(511)를 중심으로 제1 주변 깊이 화소(510)와 대칭 관계에 있는 제1 대칭 깊이 화소(512)의 깊이 정보일 수 있다.
또한, D(i-1, j)은 현재 컬러 화소(500)를 중심으로 제1 주변 깊이 화소(510)와 대칭 관계에 있는 깊이 화소의 깊이 정보일 수 있다. 이때, 현재 컬러 화소(500)를 중심으로 제1 주변 깊이 화소(510)와 대칭 관계에 있는 깊이 화소는 제2 주변 깊이 화소(520)일 수 있다.
다음으로 주변 컬러 화소 가중치 결정부(310)와 주변 깊이 화소 가중치 결정부(320)는 제2 주변 깊이 화소(520)에 대하여 상기 과정을 반복하여 제2 주변 깊이 화소(520)의 가중치 WD i -1, j를 결정할 수 있다.
마지막으로 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다. 예를 들어, 컬러 화소 깊이 정보 결정부(330)는 수학식 2를 이용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.
도 6은 일실시예에 따른 깊이 정보 결정부가 B 채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.
좌표 (i, j)에 위치한 현재 컬러 화소(600)는 B 채널만을 표시하는 컬러 화소이므로, 깊이 정보 결정부(110)는 현재 컬러 화소(600)의 깊이 정보를 결정하기 위해서는 현재 컬러 화소(600)에 위쪽에 인접한 제1 주변 깊이 화소(610)과 현재 컬러 화소(600)에 아래쪽에 인접한 제2 주변 깊이 화소(620)를 이용할 수 있다.
구체적으로, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(610)에 인접한 제1 주변 컬러 화소(611)의 B채널 컬러 정보와 현재 컬러 화소(600)의 B채널 컬러 정보를 비교하여 제1 주변 컬러 화소(611)의 가중치 WB i , j-2를 결정할 수 있다. 이때, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소(600)의 가중치 WB i , j 도 결정할 수 있다.
그 다음으로, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 깊이 화소 가중치 결정부(320)는 수학식 4를 이용하여 제1 주변 깊이 화소(610)의 가중치 WD i , j-1을 결정할 수 있다
Figure 112012095613045-pat00004
이때, D(i, j-1)은 제1 주변 깊이 화소(610)의 깊이 정보이고, D(i, j-3)은 제1 주변 컬러 화소(611)를 중심으로 제1 주변 깊이 화소(610)와 대칭 관계에 있는 제1 대칭 깊이 화소(612)의 깊이 정보일 수 있다.
또한, D(i, j+1)은 현재 컬러 화소(600)를 중심으로 제1 주변 깊이 화소(610)와 대칭 관계에 있는 깊이 화소의 깊이 정보일 수 있다. 이때, 현재 컬러 화소(600)를 중심으로 제1 주변 깊이 화소(610)와 대칭 관계에 있는 깊이 화소는 제2 주변 깊이 화소(620)일 수 있다.
다음으로 주변 컬러 화소 가중치 결정부(310)와 주변 깊이 화소 가중치 결정부(320)는 제2 주변 깊이 화소(620)에 대하여 상기 과정을 반복하여 제2 주변 깊이 화소(620)의 가중치 WD i , j+ 1를 결정할 수 있다.
마지막으로 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다. 예를 들어, 컬러 화소 깊이 정보 결정부(330)는 수학식 2를 이용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.
도 7은 일실시예에 따른 깊이 정보 결정부가 RGB 채널 컬러 화소를 모두 이용하여 깊이 화소의 가중치를 결정하는 과정의 일례이다.
주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(710)에 인접한 제1 주변 컬러 화소(720)의 G채널 컬러 정보, 제2 주변 컬러 화소(730)의 G채널 컬러 정보, 및 제3 주변 컬러 화소(740)의 G채널 컬러 정보를 각각 현재 컬러 화소(700)의 G채널 컬러 정보와 비교할 수 있다.
다음으로, 주변 컬러 화소 가중치 결정부(310)는 비교 결과에 따라 제1 주변 컬러 화소(720)의 가중치 WG i , j-2, 제2 주변 컬러 화소(730)의 가중치 WG i +2, j-2, 및 제3 주변 컬러 화소(740)의 가중치 WG i +2, j를 결정할 수 있다. 이때, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소(700)의 가중치 WG i , j 도 결정할 수 있다.
또한, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(710)에 인접한 제4 주변 컬러 화소(750)의 B채널 컬러 정보와 제5 주변 컬러 화소(760)의 B채널 컬러 정보를 비교하여 제4 주변 컬러 화소(750)의 가중치 WB i +1, j-2 및 제5 주변 컬러 화소(760)의 가중치 WB i+1, j를 결정할 수 있다. 이때, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(710)에 인접한 현재 컬러 화소(700), 제3 주변 컬러 화소(740)의 G채널 컬러 정보를 이용하여 제5 주변 컬러 화소(760)의 가중치 WB i +1, j를 결정할 수도 있다.
그리고, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(710)에 인접한 제6 주변 컬러 화소(770)의 R채널 컬러 정보와 제7 주변 컬러 화소(780)의 R채널 컬러 정보를 비교하여 제6 주변 컬러 화소(770)의 가중치 WR i , j-1 및 제7 주변 컬러 화소(780)의 가중치 WR i +2, j- 1를 결정할 수 있다.
그 다음으로, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 깊이 화소 가중치 결정부(320)는 수학식 5를 이용하여 제1 주변 깊이 화소(710)의 가중치 WD i +1, j-1을 결정할 수 있다
Figure 112012095613045-pat00005
이때, D(i+1, j-1)은 제1 주변 깊이 화소(710)의 깊이 정보이고, D(i-1, j-3)은 제1 주변 컬러 화소(720)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 제1 대칭 깊이 화소(721)의 깊이 정보일 수 있다. 또한, D(i+3, j-3)은 제2 주변 컬러 화소(730)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 제2 대칭 깊이 화소(731)의 깊이 정보일 수 있다.
그리고, D(i-1, j+1)은 현재 컬러 화소(700)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 깊이 화소의 깊이 정보일 수 있다. 이때, 현재 컬러 화소(700)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 깊이 화소는 제3 주변 깊이 화소(701)일 수 있다. 또한, D(i+3, j+1)은 제3 주변 컬러 화소(740)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 제3 대칭 깊이 화소(741)의 깊이 정보일 수 있다.
또한, D(i+3, j)은 제7 주변 컬러 화소(780)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 제7 대칭 깊이 화소(781)의 깊이 정보이고, D(i-1, j)은 제6 주변 컬러 화소(770)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 깊이 화소의 깊이 정보일 수 있다. 이때, 제6 주변 컬러 화소(770)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 깊이 화소는 제2 주변 깊이 화소(771)일 수 있다.
마지막으로 D(i, j-3)은 제4 주변 컬러 화소(750)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 제4 대칭 깊이 화소(751)의 깊이 정보이고, D(i, j+1)은 제5 주변 컬러 화소(760)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 깊이 화소의 깊이 정보일 수 있다. 이때, 제5 주변 컬러 화소(760)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 깊이 화소는 제3 주변 깊이 화소(761)일 수 있다.
다음으로 주변 컬러 화소 가중치 결정부(310)와 주변 깊이 화소 가중치 결정부(320)는 제2 주변 깊이 화소(771), 제3 주변 깊이 화소(701), 및 제4 주변 깊이 화소(761)에 대하여 상기 과정을 반복하여 제2 주변 깊이 화소(7710)의 가중치 WD i -1, j-1, 제3 주변 깊이 화소(701)의 가중치 WD i -1, j+1, 및 제4 주변 깊이 화소(761)의 가중치 WD i +1, j+ 1를 결정할 수 있다.
마지막으로 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.
도 8은 일실시예에 따른 컬러 정보 결정부의 구조를 도시한 도면이다.
도 8을 참고하면, 컬러 정보 결정부(120)는 주변 깊이 화소 가중치 결정부(810), 주변 컬러 화소 가중치 결정부(820), 및 깊이 화소 컬러 정보 결정부(830)를 포함할 수 있다.
주변 깊이 화소 가중치 결정부(810)는 주변 깊이 화소의 가중치를 결정할 수 있다. 구체적으로 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소의 화소값과 주변 깊이 화소의 화소값을 비교하고, 비교 결과에 따라 주변 깊이 화소의 가중치를 결정할 수 있다. 예를 들어 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소의 화소값과 주변 깊이 화소의 화소값의 차이가 적을수록 주변 깊이 화소의 가중치를 높게 결정할 수 있다.
이때, 주변 깊이 화소 가중치 결정부(810)는 바이라테랄 필터(Bilateral Filter), 또는 시그마 필터(Sigma Filter)와 같은 필터를 이용하여 주변 깊이 화소의 가중치를 결정할 수 있다.
주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치를 이용하여 주변 컬러 화소들의 가중치를 결정할 수 있다.
이때, 컬러 정보 결정부(120)는 R 채널, G채널, B 채널 각각에 대하여 주변 컬러 화소들의 가중치를 결정할 수 있다.
구체적으로, 컬러 정보 결정부(120)는 주변 컬러 화소들 중에서 G채널을 표시하는 주변 컬러 화소들과 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치들을 이용하여 G채널 주변 컬러 화소의 가중치를 결정할 수 있다. 또한, 컬러 정보 결정부(120)는 주변 컬러 화소들 중에서 R 채널을 표시하는 주변 컬러 화소들과 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치들을 이용하여 R 채널 주변 컬러 화소의 가중치를 결정할 수 있다. 그리고, 컬러 정보 결정부(120)는 주변 컬러 화소들 중에서 B 채널을 표시하는 주변 컬러 화소들과 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치들을 이용하여 B 채널 주변 컬러 화소의 가중치를 결정할 수 있다.
또한, 주변 컬러 화소 가중치 결정부(820)는 대칭 컬러 화소들의 컬러 정보와 주변 컬러 화소들의 컬러 정보 간의 차이를 이용하여 주변 컬러 화소의 가중치를 결정할 수 있다. 이때, 대칭 컬러 화소는 주변 깊이 화소를 중심으로 주변 컬러 화소와 대칭 관계에 있으며 주변 컬러와 동일한 채널의 컬러 화소일 수 있다.
구체적으로, 주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소에 대응하는 방향의 가중치를 대칭 컬러 화소들의 컬러 정보와 주변 컬러 화소들의 컬러 정보 간의 차이에 반비례하도록 보정하고, 보정한 가중치들을 결합하여 주변 컬러 화소의 가중치를 결정할 수 있다.
즉, 주변 컬러 화소 가중치 결정부(820)는 컬러 화소들 간의 차이에 따라 해당 컬러 화소들 사이에 위치한 주변 깊이 화소의 가중치를 보정함으로써, 컬러 화소가 표시하는 컬러 정보의 에지(Edge)가 주변 컬러 화소의 가중치에 반영되도록 할 수 있다. 예를 들어, 주변 컬러 화소 가중치 결정부(820)는 대칭 컬러 화소와 주변 컬러 화소 간의 차이가 적을 수록, 해당 대칭 컬러 화소 방향에 위치한 주변 깊이 화소의 가중치를 증가 시킬 수 있다.
깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들의 컬러 정보에 주변 컬러 화소들의 가중치를 적용하여 현재 깊이 화소의 채널별 컬러 정보를 결정할 수 있다. 예를 들어, 깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들 중 R채널 주변 컬러 화소의 R채널 컬러 정보에 R 채널 주변 컬러 화소들의 가중치를 적용한 값들의 합을 R 채널 주변 컬러 화소들의 개수로 나누어 현재 깊이 화소의 R 채널 컬러 정보를 결정할 수 있다. 또한, 깊이 화소 컬러 정보 결정부(830)는 G채널 주변 컬러 화소 및 B채널 주변 컬러 화소를 이용하여 현재 깊이 화소의 G채널 컬러 정보 및 B채널 컬러 정보를 결정할 수 있다.
이때, 깊이 화소 컬러 정보 결정부(830)는 결정한 컬러 정보를 현재 깊이 화소의 컬러 정보로 추가할 수 있다.
도 9는 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 G채널 컬러 정보를 결정하는 과정의 일례이다.
좌표 (i, j)에 위치한 현재 깊이 화소(900)는 깊이 정보만을 표시하는 깊이 화소이므로, 컬러 정보 결정부(120)는 현재 깊이 화소(900)의 G채널 컬러 정보를 결정하기 위해서는 현재 깊이 화소(900)에 인접한 G채널 컬러 화소인 제1 주변 컬러 화소(910), 제2 주변 컬러 화소(920), 제3 주변 컬러 화소(930), 및 제4 주변 컬러 화소(940)를 이용할 수 있다. 그러나, 제1 주변 컬러 화소(910), 제2 주변 컬러 화소(920), 제3 주변 컬러 화소(930), 및 제4 주변 컬러 화소(940)에는 깊이 정보가 존재하지 않으므로, 현재 깊이 화소(900)와 비교하기 어려울 수 있다.
따라서, 컬러 정보 결정부(120)는 G채널 주변 컬러 화소들에 인접한 깊이 화소들을 이용하여 G채널 주변 컬러 화소들의 가중치를 생성할 수 있다.
구체적으로, 주변 깊이 화소 가중치 결정부(810)는 제1 주변 컬러 화소(910)에 인접한 제1 주변 깊이 화소(911)의 깊이 정보, 제2 주변 깊이 화소(913)의 깊이 정보, 및 제3 주변 깊이 화소(915)의 깊이 정보를 각각 현재 깊이 화소(900)의 깊이 정보와 비교할 수 있다.
다음으로, 주변 깊이 화소 가중치 결정부(810)는 비교 결과에 따라 제1 주변 깊이 화소(911)의 가중치 WD i , j-2, 제2 주변 깊이 화소(913)의 가중치 WD i +2, j-2, 및 제3 주변 깊이 화소(915)의 가중치 WD i +2, j를 결정할 수 있다. 이때, 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소(900)의 가중치 WD i , j 도 결정할 수 있다.
그 다음으로, 주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치를 이용하여 주변 컬러 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 컬러 화소 가중치 결정부(820)는 수학식 6을 이용하여 제1 주변 컬러 화소(910)의 가중치 WG i +1, j-1을 결정할 수 있다
Figure 112012095613045-pat00006
이때, G(i+1, j-1)은 제1 주변 컬러 화소(910)의 G채널 컬러 정보일 수 있다. 또한, D(i-1, j-3)은 제1 주변 깊이 화소(911)를 중심으로 제1 주변 컬러 화소(910)와 대칭 관계에 있는 제1 대칭 컬러 화소(912)의 G채널 컬러 정보일 수 있다. 그리고, D(i+3, j-3)은 제2 주변 깊이 화소(913)를 중심으로 제1 주변 컬러 화소(910)와 대칭 관계에 있는 제2 대칭 컬러 화소(915)의 G채널 컬러 정보일 수 있다.
또한, D(i-1, j+1)은 현재 깊이 화소(900)를 중심으로 제1 주변 컬러 화소(910)와 대칭 관계에 있는 컬러 화소의 G채널 컬러 정보일 수 있다. 이때, 현재 깊이 화소(900)를 중심으로 제1 주변 컬러 화소(910)와 대칭 관계에 있는 컬러 화소는 제3 주변 컬러 화소(930)일 수 있다.
그리고, D(i+3, j+1)은 제3 주변 깊이 화소(915)를 중심으로 제1 주변 컬러 화소(910)와 대칭 관계에 있는 제3 대칭 컬러 화소(916)의 G채널 컬러 정보일 수 있다.
다음으로 주변 깊이 화소 가중치 결정부(810)와 주변 컬러 화소 가중치 결정부(820)는 제2 주변 컬러 화소(920), 제3 주변 컬러 화소(930), 및 제4 주변 컬러 화소(940)에 대하여 상기 과정을 반복하여 제2 주변 컬러 화소(920)의 가중치 WG i -1, j-1, 제3 주변 컬러 화소(930)의 가중치 WG i -1, j+1, 및 제4 주변 컬러 화소(940)의 가중치 WG i +1, j+ 1를 결정할 수 있다.
마지막으로 깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들의 G채널 컬러 정보에 주변 컬러 화소들의 가중치를 적용하여 현재 깊이 화소의 G채널 컬러 정보를 결정할 수 있다. 예를 들어, 깊이 화소 컬러 정보 결정부(830)는 수학식 7을 이용하여 현재 깊이 화소의 G채널 컬러 정보를 결정할 수 있다.
Figure 112012095613045-pat00007
도 10은 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 R 채널 컬러 정보를 결정하는 과정의 일례이다.
좌표 (i, j)에 위치한 현재 깊이 화소(1000)는 깊이 정보만을 표시하는 깊이 화소이므로, 컬러 정보 결정부(120)는 현재 깊이 화소(1000)의 R 채널 컬러 정보를 결정하기 위해서는 현재 깊이 화소(1000)의 오른쪽에 인접한 R 채널 컬러 화소인 제1 주변 컬러 화소(1010)과 현재 컬러 화소(1000)의 왼쪽에 인접한 R 채널 컬러 화소인 제2 주변 컬러 화소(1020)를 이용할 수 있다.
구체적으로, 주변 깊이 화소 가중치 결정부(810)는 제1 주변 컬러 화소(1010)에 인접한 제1 주변 깊이 화소(1011)의 깊이 정보와 현재 깊이 화소(1000)의 깊이 정보를 비교하여 제1 주변 깊이 화소(1011)의 가중치 WD i +2, j를 결정할 수 있다. 이때, 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소(1000)의 가중치 WD i , j 도 결정할 수 있다.
그 다음으로, 주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치를 이용하여 주변 컬러 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 컬러 화소 가중치 결정부(820)는 수학식 8을 이용하여 제1 주변 컬러 화소(1010)의 가중치 WR i +1, j을 결정할 수 있다
Figure 112012095613045-pat00008
이때, R(i+1, j)은 제1 주변 컬러 화소(1010)의 R채널 컬러 정보일 수 있다. 또한, R(i+3, j)은 제1 주변 깊이 화소(1011)를 중심으로 제1 주변 컬러 화소(1010)와 대칭 관계에 있는 제1 대칭 컬러 화소(1012)의 R채널 컬러 정보일 수 있다.
또한, R(i-1, j)은 현재 깊이 화소(1000)를 중심으로 제1 주변 컬러 화소(1010)와 대칭 관계에 있는 컬러 화소의 R채널 컬러 정보일 수 있다. 이때, 현재 깊이 화소(1000)를 중심으로 제1 주변 컬러 화소(1010)와 대칭 관계에 있는 컬러 화소는 제2 주변 컬러 화소(1020)일 수 있다.
다음으로 주변 깊이 화소 가중치 결정부(810)와 주변 컬러 화소 가중치 결정부(820)는 제2 주변 컬러 화소(1020)에 대하여 상기 과정을 반복하여 제2 주변 컬러 화소(1020)의 가중치 WR i -1, j를 결정할 수 있다.
마지막으로 깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들의 R채널 컬러 정보에 주변 컬러 화소들의 가중치를 적용하여 현재 깊이 화소의 R채널 컬러 정보를 결정할 수 있다. 예를 들어, 깊이 화소 컬러 정보 결정부(830)는 수학식 9를 이용하여 현재 깊이 화소의 R채널 컬러 정보를 결정할 수 있다.
Figure 112012095613045-pat00009
도 11은 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 B 채널 컬러 정보를 결정하는 과정의 일례이다.
좌표 (i, j)에 위치한 현재 깊이 화소(1100)는 깊이 정보만을 표시하는 깊이 화소이므로, 컬러 정보 결정부(120)는 현재 깊이 화소(1100)의 B 채널 컬러 정보를 결정하기 위해서는 현재 깊이 화소(1100)의 위쪽에 인접한 B 채널 컬러 화소인 제1 주변 컬러 화소(1110)과 현재 컬러 화소(1100)의 아래쪽에 인접한 B 채널 컬러 화소인 제2 주변 컬러 화소(1120)를 이용할 수 있다.
구체적으로, 주변 깊이 화소 가중치 결정부(810)는 제1 주변 컬러 화소(1110)에 인접한 제1 주변 깊이 화소(1111)의 깊이 정보와 현재 깊이 화소(1100)의 깊이 정보를 비교하여 제1 주변 깊이 화소(1111)의 가중치 WD i , j- 1를 결정할 수 있다. 이때, 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소(1100)의 가중치 WD i , j 도 결정할 수 있다.
그 다음으로, 주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치를 이용하여 주변 컬러 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 컬러 화소 가중치 결정부(820)는 수학식 10을 이용하여 제1 주변 컬러 화소(1110)의 가중치 WB i , j-1을 결정할 수 있다
Figure 112012095613045-pat00010
이때, B(i, j-1)은 제1 주변 컬러 화소(1110)의 B채널 컬러 정보일 수 있다. 또한, B(i, j-3)은 제1 주변 깊이 화소(1111)를 중심으로 제1 주변 컬러 화소(1110)와 대칭 관계에 있는 제1 대칭 컬러 화소(1112)의 B채널 컬러 정보일 수 있다.
또한, B(i, j+1)은 현재 깊이 화소(1100)를 중심으로 제1 주변 컬러 화소(1110)와 대칭 관계에 있는 컬러 화소의 B채널 컬러 정보일 수 있다. 이때, 현재 깊이 화소(1100)를 중심으로 제1 주변 컬러 화소(1110)와 대칭 관계에 있는 컬러 화소는 제2 주변 컬러 화소(1120)일 수 있다.
다음으로 주변 깊이 화소 가중치 결정부(810)와 주변 컬러 화소 가중치 결정부(820)는 제2 주변 컬러 화소(1120)에 대하여 상기 과정을 반복하여 제2 주변 컬러 화소(1120)의 가중치 WB i , j+ 1를 결정할 수 있다.
마지막으로 깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들의 B채널 컬러 정보에 주변 컬러 화소들의 가중치를 적용하여 현재 깊이 화소의 B채널 컬러 정보를 결정할 수 있다. 예를 들어, 깊이 화소 컬러 정보 결정부(830)는 수학식 11을 이용하여 현재 깊이 화소의 B채널 컬러 정보를 결정할 수 있다.
Figure 112012095613045-pat00011
도 12는 일실시예에 따른 깊이 정보 결정부가 G채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.
도 12는 도 2의 케이스 2와 같이 입력 영상에서 깊이 화소의 크기가 컬러 화소의 크기와 다른 경우 깊이 정보 결정부(110)가 G채널 컬러 화소의 깊이 정보를 결정하는 실시예이다.
깊이 정보 결정부(110)는 좌표 (i, j)에 위치한 현재 컬러 화소(1200)의 깊이 정보를 결정하기 위해서는 현재 컬러 화소(1200)에 인접한 제1 주변 깊이 화소(1210) 및 제2 주변 깊이 화소(1220)를 이용할 수 있다.
이때, 깊이 정보 결정부(110)는 주변 깊이 화소들에 인접한 컬러 화소들을 이용하여 주변 깊이 화소들의 가중치를 생성할 수 있다.
구체적으로, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(1210)에 근접한 제1 주변 컬러 화소(1221)의 G채널 컬러 정보, 제2 주변 컬러 화소(1231)의 G채널 컬러 정보, 제3 주변 컬러 화소(1232)의 G채널 컬러 정보, 제4 주변 컬러 화소(1241)의 G채널 컬러 정보, 제5 주변 컬러 화소(1242)의 G채널 컬러 정보, 제6 주변 컬러 화소(1251)의 G채널 컬러 정보, 및 제7 주변 컬러 화소(1252)의 G채널 컬러 정보를 각각 현재 컬러 화소(1200)의 G채널 컬러 정보와 비교할 수 있다.
다음으로, 주변 컬러 화소 가중치 결정부(310)는 비교 결과에 따라 제1 주변 컬러 화소(1221)의 가중치 WG i +1, j-1, 제2 주변 컬러 화소(1231)의 가중치 WG i +1, j+2, 제3 주변 컬러 화소(1232)의 가중치 WG i +1, j+1, 제4 주변 컬러 화소(1241)의 가중치 WG i , j+4, 제5 주변 컬러 화소(1242)의 가중치 WG i +1, j+3, 제6 주변 컬러 화소(1251)의 가중치 WG i +2, j+-2, 및 제7 주변 컬러 화소(1252)의 WG i +3, j+ 1를 결정할 수 있다. 이때, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소(400)의 가중치 WG i , j 도 결정할 수 있다.
그 다음으로, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다.
이때, 주변 깊이 화소 가중치 결정부(320)는 제1 주변 깊이 화소(1210)의 깊이 정보와 현재 컬러 화소(400) 및 제1 주변 컬러 화소(1221)를 기준으로 제1 주변 깊이 화소(1210)와 대칭 관계에 있는 제2 주변 깊이 화소(1220)의 깊이 정보 간의 차이에 따라 현재 컬러 화소(400)의 가중치 WG i , j와 제1 주변 컬러 화소(1221)의 가중치 WG i +1, j- 1를 증가 또는 감소시킬 수 있다. 예를 들어, 제1 주변 깊이 화소(1210)의 깊이 정보와 제2 주변 깊이 화소(1220)의 깊이 정보 간의 차이가 큰 경우, 주변 깊이 화소 가중치 결정부(320)는 현재 컬러 화소(400)의 가중치 WG i , j와 제1 주변 컬러 화소(1221)의 가중치 WG i +1, j- 1를 감소시킬 수 있다. 반면, 제1 주변 깊이 화소(1210)의 깊이 정보와 제2 주변 컬러 화소(1220)의 깊이 정보 간의 차이가 작은 경우, 주변 깊이 화소 가중치 결정부(320)는 현재 컬러 화소(400)의 가중치 WG i, j와 제1 주변 컬러 화소(1221)의 가중치 WG i +1, j- 1를 증가시킬 수 있다.
그리고, 주변 깊이 화소 가중치 결정부(320)는 제1 주변 깊이 화소(1210)의 깊이 정보와 제2 주변 컬러 화소(1231) 및 제3 주변 컬러 화소(1232)를 기준으로 제1 주변 깊이 화소(1210)와 대칭 관계에 있는 제1 대칭 깊이 화소(1230)의 깊이 정보 간의 차이에 따라 제2 주변 컬러 화소(1231)의 가중치 WG i +1, j+2, 및 제3 주변 컬러 화소(1232)의 가중치 WG i +1, j+ 1를 증가 또는 감소시킬 수 있다
또한, 주변 깊이 화소 가중치 결정부(320)는 제1 주변 깊이 화소(1210)의 깊이 정보와 제4 주변 컬러 화소(1241) 및 제5 주변 컬러 화소(1242)를 기준으로 제1 주변 깊이 화소(1210)와 대칭 관계에 있는 제2 대칭 깊이 화소(1240)의 깊이 정보 간의 차이에 따라 제4 주변 컬러 화소(1241)의 가중치 WG i , j+4, 및 제5 주변 컬러 화소(1242)의 가중치 WG i +1, j+ 3를 증가 또는 감소시킬 수 있다
그리고, 주변 깊이 화소 가중치 결정부(320)는 제1 주변 깊이 화소(1210)의 깊이 정보와 제6 주변 컬러 화소(1251) 및 제7 주변 컬러 화소(1252)를 기준으로 제1 주변 깊이 화소(1210)와 대칭 관계에 있는 제3 대칭 깊이 화소(1250)의 깊이 정보 간의 차이에 따라 제6 주변 컬러 화소(1251)의 가중치 WG i +2, j+-2, 및 제7 주변 컬러 화소(1252)의 WG i +3, j+ 1를 증가 또는 감소시킬 수 있다
마지막으로 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.
도 13은 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 G채널 컬러 정보를 결정하는 과정의 일례이다.
도 13은 도 2의 케이스 2와 같이 입력 영상에서 깊이 화소의 크기가 컬러 화소의 크기와 다른 경우 컬러 정보 결정부가 깊이 화소의 G채널 컬러 정보를 결정하는 실시예이다.
컬러 정보 결정부(120)는 좌표 (i, j)에 위치한 현재 깊이 화소(1300)의 G채널 컬러 정보를 결정하기 위해서는 현재 깊이 화소(1300)에 인접한 G채널의 컬러 화소인 제1 주변 깊이 화소(1310), 제2 주변 깊이 화소(1320), 제3 주변 깊이 화소(1330) 및 제4 주변 깊이 화소(1340)를 이용할 수 있다. 이때, 깊이 정보 결정부(110)는 주변 깊이 화소들에 인접한 컬러 화소들을 이용하여 주변 깊이 화소들의 가중치를 생성할 수 있다.
구체적으로, 주변 컬러 화소 가중치 결정부(810)는 제1 주변 컬러 화소(1310)에 근접한 제1 주변 깊이 화소(1312)의 깊이 정보를 현재 깊이 화소(1300)의 깊이 정보와 비교하여 제1 주변 깊이 화소(1312)의 가중치 WD i , j-4를 결정할 수 있다. 이때, 주변 깊이 화소 가중치 결정부(810)는 현재 컬러 화소(1300)의 가중치 WD i , j 도 결정할 수 있다.
그 다음으로, 주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치를 이용하여 주변 컬러 화소들의 가중치를 결정할 수 있다.
이때, 주변 컬러 화소 가중치 결정부(820)는 제1 주변 컬러 화소(1310)의 G채널 컬러 정보와 제1 주변 깊이 화소(1312)를 기준으로 제1 주변 컬러 화소(1310)와 대칭 관계에 있는 제1 대칭 컬러 화소(1311)의 G채널 컬러 정보 간의 차이에 따라 제1 주변 컬러 화소(1312)의 가중치 WD i , j-4를 증가 또는 감소시킬 수 있다.
예를 들어, 제1 주변 컬러 화소(1310)의 G채널 컬러 정보와 제1 대칭 컬러 화소(1311)의 G채널 컬러 정보 간의 차이가 큰 경우, 주변 컬러 화소 가중치 결정부(820)는 제1 주변 컬러 화소(1312)의 가중치 WD i , j-4를 감소시킬 수 있다. 반면, 제1 주변 컬러 화소(1310)의 G채널 컬러 정보와 제1 대칭 컬러 화소(1311)의 G채널 컬러 정보 간의 차이가 큰 경우, 주변 컬러 화소 가중치 결정부(820)는 제1 주변 컬러 화소(1312)의 가중치 WD i , j-4를 증가시킬 수 있다.
또한, 주변 컬러 화소 가중치 결정부(820)는 제1 주변 컬러 화소(1310)의 G채널 컬러 정보와 현재 깊이 화소(1300)를 기준으로 제1 주변 컬러 화소(1310)와 대칭 관계에 있는 제2 대칭 컬러 화소(1313)의 G채널 컬러 정보 간의 차이에 따라 현재 깊이 화소(1300)의 가중치 WD i , j를 증가 또는 감소시킬 수 있다.
마지막으로 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.
도 14는 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
단계(1410)에서 깊이 정보 결정부(110)는 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.
구체적으로, 깊이 정보 결정부(110)는 현재 컬러 화소의 주변 컬러 화소들을 이용하여 주변 깊이 화소들과 현재 컬러 화소 간의 관련성을 추정할 수 있다. 다음으로, 깊이 정보 결정부(110)는 추정한 관련성과 주변 깊이 화소의 깊이 정보에 기초하여 현재 컬러 화소에 대응하는 깊이 정보를 결정하고, 결정한 깊이 정보를 현재 컬러 화소의 깊이 정보로 추가할 수 있다.
단계(1420)에서 컬러 정보 결정부(120)는 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 깊이 화소의 컬러 정보를 결정할 수 있다.
구체적으로, 구체적으로, 컬러 정보 결정부(120)는 현재 깊이 화소의 주변 깊이 화소들을 이용하여 주변 컬러 화소들과 현재 깊이 화소 간의 관련성을 추정할 수 있다. 다음으로, 컬러 정보 결정부(120)는 추정한 관련성과 주변 컬러 화소의 컬러 정보에 기초하여 현재 깊이 화소에 대응하는 컬러 정보를 결정하고, 결정한 컬러 정보를 현재 깊이 화소의 컬러 정보로 추가할 수 있다.
이때, 단계(1410)와 단계(1420)는 동시에 수행될 수도 있고 병렬적으로 수행될 수도 있으며, 단계(1410)보다 단계(1420)가 먼저 수행될 수도 있다.
단계(1430)에서 컬러 디모자이킹부(130)는 입력 영상의 컬러 화소들에 대하여 컬러 디모자이킹(Color Demosaicing) 프로세스를 수행할 수 있다. 구체적으로, 컬러 디모자이킹부(130)는 컬러 화소들 중 R 채널을 표시하는 제1 컬러 화소에 G채널의 컬러 정보와 B 채널의 컬러 정보를 추가함으로써, 제1 컬러 화소가 R 채널의 컬러 정보, G채널의 컬러 정보 및, B 채널의 컬러 정보를 모두 포함하도록 할 수 있다.
도 15는 일실시예에 따른 컬러 화소의 깊이 정보 결정 과정을 도시한 도면이다. 이때, 단계(1510)내지 단계(1530)는 도 14에 도시된 단계(1410)에 포함될 수 있다.
단계(1510)에서 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소와 동일한 채널을 표시하는 주변 컬러 화소의 가중치를 결정할 수 있다.
구체적으로 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 화소값과 주변 컬러 화소의 화소값을 비교하고, 비교 결과에 따라 주변 컬러 화소의 가중치를 결정할 수 있다. 예를 들어 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 화소값과 주변 컬러 화소의 화소값의 차이가 적을수록 주변 컬러 화소의 가중치를 높게 결정할 수 있다.
단계(1520)에서 주변 깊이 화소 가중치 결정부(320)는 단계(1510)에서 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. 구체적으로 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치들을 모두 결합하여 주변 깊이 화소의 가중치를 결정할 수 있다.
이때, 주변 깊이 화소 가중치 결정부(320)는 대칭 깊이 화소들의 깊이 정보와 주변 깊이 화소들의 깊이 정보 간의 차이를 이용하여 주변 깊이 화소의 가중치를 결정할 수 있다. 이때, 대칭 깊이 화소는 주변 컬러 화소를 중심으로 주변 깊이 화소와 대칭 관계에 있는 깊이 화소일 수 있다.
예를 들어, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소에 대응하는 방향의 가중치를 대칭 깊이 화소들의 깊이 정보와 주변 깊이 화소들의 깊이 정보 간의 차이에 반비례하도록 보정하고, 보정한 가중치들을 결합하여 주변 깊이 화소의 가중치를 결정할 수 있다.
단계(1530)에서 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 단계(1520)에서 결정한 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다. 예를 들어, 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용한 값들의 합을 주변 깊이 화소들의 개수로 나누어 현재 컬러 화소의 깊이 정보를 결정할 수 있다.
이때, 컬러 화소 깊이 정보 결정부(330)는 결정한 깊이 정보를 현재 컬러 화소의 깊이 정보로 추가할 수 있다.
도 16은 일실시예에 따른 깊이 화소의 컬러 정보 결정 과정을 도시한 도면이다. 이때, 단계(1610)내지 단계(1630)는 도 14에 도시된 단계(1420)에 포함될 수 있다.
단계(1610)에서 주변 깊이 화소 가중치 결정부(810)는 주변 깊이 화소의 가중치를 결정할 수 있다.
구체적으로 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소의 화소값과 주변 깊이 화소의 화소값을 비교하고, 비교 결과에 따라 주변 깊이 화소의 가중치를 결정할 수 있다. 예를 들어 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소의 화소값과 주변 깊이 화소의 화소값의 차이가 적을수록 주변 깊이 화소의 가중치를 높게 결정할 수 있다.
단계(1620)에서 주변 컬러 화소 가중치 결정부(820)는 단계(1620)에서 결정한 주변 깊이 화소들의 가중치를 이용하여 주변 컬러 화소들의 가중치를 결정할 수 있다. 이때, 컬러 정보 결정부(120)는 R 채널, G채널, B 채널 각각에 대하여 주변 컬러 화소들의 가중치를 결정할 수 있다.
또한, 주변 컬러 화소 가중치 결정부(820)는 대칭 컬러 화소들의 컬러 정보와 주변 컬러 화소들의 컬러 정보 간의 차이를 이용하여 주변 컬러 화소의 가중치를 결정할 수 있다. 이때, 대칭 컬러 화소는 주변 깊이 화소를 중심으로 주변 컬러 화소와 대칭 관계에 있으며 주변 컬러와 동일한 채널의 컬러 화소일 수 있다.
예를 들어, 주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소에 대응하는 방향의 가중치를 대칭 컬러 화소들의 컬러 정보와 주변 컬러 화소들의 컬러 정보 간의 차이에 반비례하도록 보정하고, 보정한 가중치들을 결합하여 주변 컬러 화소의 가중치를 결정할 수 있다.
단계(1630)에서 깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들의 컬러 정보에 단계(1620)에서 결정한 주변 컬러 화소들의 가중치를 적용하여 현재 깊이 화소의 채널별 컬러 정보를 결정할 수 있다.
예를 들어, 깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들 중 R채널 주변 컬러 화소의 R채널 컬러 정보에 R 채널 주변 컬러 화소들의 가중치를 적용한 값들의 합을 R 채널 주변 컬러 화소들의 개수로 나누어 현재 깊이 화소의 R 채널 컬러 정보를 결정할 수 있다. 또한, 깊이 화소 컬러 정보 결정부(830)는 G채널 주변 컬러 화소 및 B채널 주변 컬러 화소를 이용하여 현재 깊이 화소의 G채널 컬러 정보 및 B채널 컬러 정보를 결정할 수 있다.
이때, 깊이 화소 컬러 정보 결정부(830)는 결정한 컬러 정보를 현재 깊이 화소의 컬러 정보로 추가할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 영상 처리 장치
110: 깊이 정보 결정부
120: 컬러 정보 결정부

Claims (19)

  1. 현재 컬러 화소의 주변 컬러 화소들 및 상기 현재 컬러 화소의 주변 깊이 화소들을 이용하여 상기 현재 컬러 화소의 깊이 정보를 결정하는 깊이 정보 결정부
    를 포함하고,
    상기 깊이 정보 결정부는,
    적어도 하나의 상기 주변 컬러 화소를 이용하여 상기 주변 깊이 화소들의 가중치를 결정하는 주변 깊이 화소 가중치 결정부; 및
    상기 주변 깊이 화소들의 깊이 정보에 상기 주변 깊이 화소들의 가중치를 적용하여 상기 현재 컬러 화소의 깊이 정보를 결정하는 컬러 화소 깊이 정보 결정부
    를 포함하는 영상 처리 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 주변 깊이 화소 가중치 결정부는,
    상기 현재 컬러 화소와 상기 주변 컬러 화소들 간의 비교 결과에 따라 결정된 상기 주변 컬러 화소들 각각의 가중치들을 이용하여 상기 현재 컬러 화소와 상기 주변 컬러 화소들 사이에 위치한 주변 깊이 화소들의 가중치를 결정하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 주변 깊이 화소 가중치 결정부는,
    대칭 깊이 화소들의 깊이 정보와 상기 주변 깊이 화소들의 깊이 정보 간의 차이를 이용하여 상기 주변 깊이 화소의 가중치를 결정하고,
    상기 대칭 깊이 화소는,
    상기 주변 컬러 화소를 중심으로 상기 주변 깊이 화소와 대칭 관계에 있는 깊이 화소인 영상 처리 장치.
  5. 제1항에 있어서,
    상기 주변 깊이 화소 가중치 결정부는,
    상기 현재 컬러 화소가 RGB 채널 중 하나인 경우, 상기 현재 컬러 화소로부터 일정 영역 안에 위치한 주변 컬러 화소 중에서 상기 현재 컬러 화소와 동일한 채널을 가지는 주변 컬러 화소를 이용하는 영상 처리 장치.
  6. 현재 깊이 화소의 주변 컬러 화소들 및 상기 현재 깊이 화소의 주변 깊이 화소들을 이용하여 상기 현재 깊이 화소의 컬러 정보를 결정하는 컬러 정보 결정부
    를 포함하고,
    상기 컬러 정보 결정부는,
    적어도 하나의 상기 주변 깊이 화소를 이용하여 상기 주변 컬러 화소들의 가중치를 결정하는 주변 컬러 화소 가중치 결정부; 및
    상기 주변 컬러 화소들의 컬러 정보에 상기 주변 컬러 화소들의 가중치를 적용하여 상기 현재 깊이 화소의 컬러 정보를 결정하는 깊이 화소 컬러 정보 결정부
    를 포함하는 영상 처리 장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 주변 컬러 화소 가중치 결정부는,
    상기 현재 깊이 화소와 상기 주변 깊이 화소들 간의 비교 결과에 따라 결정된 상기 주변 깊이 화소들 각각의 가중치들을 이용하여 상기 현재 깊이 화소와 상기 주변 깊이 화소들 사이에 위치한 주변 컬러 화소들의 가중치를 결정하는 영상 처리 장치.
  9. 제8항에 있어서,
    상기 주변 컬러 화소 가중치 결정부는,
    대칭 컬러 화소들의 컬러 정보와 상기 주변 컬러 화소들의 컬러 정보 간의 차이를 이용하여 상기 주변 컬러 화소의 가중치를 결정하고,
    상기 대칭 컬러 화소는,
    상기 주변 깊이 화소를 중심으로 상기 주변 컬러 화소와 대칭 관계에 있는 컬러 화소인 영상 처리 장치.
  10. 현재 컬러 화소의 주변 컬러 화소들 및 상기 현재 컬러 화소의 주변 깊이 화소들을 이용하여 상기 현재 컬러 화소의 깊이 정보를 결정하는 단계
    를 포함하고,
    상기 깊이 정보를 결정하는 단계는,
    적어도 하나의 상기 주변 컬러 화소를 이용하여 상기 주변 깊이 화소들의 가중치를 결정하는 단계; 및
    상기 주변 깊이 화소들의 깊이 정보에 상기 주변 깊이 화소들의 가중치를 적용하여 상기 현재 컬러 화소의 깊이 정보를 결정하는 단계
    를 포함하는 영상 처리 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 주변 깊이 화소들의 가중치를 결정하는 단계는,
    상기 현재 컬러 화소와 상기 주변 컬러 화소들 간의 비교 결과에 따라 결정된 상기 주변 컬러 화소들 각각의 가중치들을 이용하여 상기 현재 컬러 화소와 상기 주변 컬러 화소들 사이에 위치한 주변 깊이 화소들의 가중치를 결정하는 영상 처리 방법.
  13. 제12항에 있어서,
    상기 주변 깊이 화소들의 가중치를 결정하는 단계는,
    대칭 깊이 화소들의 깊이 정보와 상기 주변 깊이 화소들의 깊이 정보 간의 차이를 이용하여 상기 주변 깊이 화소의 가중치를 결정하고,
    상기 대칭 깊이 화소는,
    상기 주변 컬러 화소를 중심으로 상기 주변 깊이 화소와 대칭 관계에 있는 깊이 화소인 영상 처리 방법.
  14. 제10항에 있어서,
    상기 주변 깊이 화소들의 가중치를 결정하는 단계는,
    상기 현재 컬러 화소가 RGB 채널 중 하나인 경우, 상기 현재 컬러 화소로부터 일정 영역 안에 위치한 주변 컬러 화소 중에서 상기 현재 컬러 화소와 동일한 채널을 가지는 주변 컬러 화소를 이용하는 영상 처리 방법.
  15. 현재 깊이 화소의 주변 컬러 화소들 및 상기 현재 깊이 화소의 주변 깊이 화소들을 이용하여 상기 현재 깊이 화소의 컬러 정보를 결정하는 단계
    를 포함하고,
    상기 컬러 정보를 결정하는 단계는,
    적어도 하나의 상기 주변 깊이 화소를 이용하여 상기 주변 컬러 화소들의 가중치를 결정하는 단계; 및
    상기 주변 컬러 화소들의 컬러 정보에 상기 주변 컬러 화소들의 가중치를 적용하여 상기 현재 깊이 화소의 컬러 정보를 결정하는 단계
    를 포함하는 영상 처리 방법.
  16. 삭제
  17. 제15항에 있어서,
    상기 주변 컬러 화소들의 가중치를 결정하는 단계는,
    상기 현재 깊이 화소와 상기 주변 깊이 화소들 간의 비교 결과에 따라 결정된 상기 주변 깊이 화소들 각각의 가중치들을 이용하여 상기 현재 깊이 화소와 상기 주변 깊이 화소들 사이에 위치한 주변 컬러 화소들의 가중치를 결정하는 영상 처리 방법.
  18. 제17항에 있어서,
    상기 주변 컬러 화소들의 가중치를 결정하는 단계는,
    대칭 컬러 화소들의 컬러 정보와 상기 주변 컬러 화소들의 컬러 정보 간의 차이를 이용하여 상기 주변 컬러 화소의 가중치를 결정하고,
    상기 대칭 컬러 화소는,
    상기 주변 깊이 화소를 중심으로 상기 주변 컬러 화소와 대칭 관계에 있는 컬러 화소인 영상 처리 방법.
  19. 제10항, 제12항 내지 제15항, 제17항 내지 제18항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 할 수 있는 기록 매체.
KR1020120131760A 2012-11-20 2012-11-20 컬러-깊이 디모자이킹 영상 처리 장치 및 방법 KR101932587B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120131760A KR101932587B1 (ko) 2012-11-20 2012-11-20 컬러-깊이 디모자이킹 영상 처리 장치 및 방법
US13/952,939 US9904981B2 (en) 2012-11-20 2013-07-29 Image processing apparatus and method for color-depth demosaicing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120131760A KR101932587B1 (ko) 2012-11-20 2012-11-20 컬러-깊이 디모자이킹 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140064432A KR20140064432A (ko) 2014-05-28
KR101932587B1 true KR101932587B1 (ko) 2018-12-26

Family

ID=50728007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120131760A KR101932587B1 (ko) 2012-11-20 2012-11-20 컬러-깊이 디모자이킹 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9904981B2 (ko)
KR (1) KR101932587B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162130B (zh) * 2015-04-15 2018-06-05 深圳市中兴微电子技术有限公司 一种图像处理方法及装置、终端
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10554901B2 (en) 2016-08-09 2020-02-04 Contrast Inc. Real-time HDR video for vehicle control
US11265530B2 (en) * 2017-07-10 2022-03-01 Contrast, Inc. Stereoscopic camera
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296748A (ja) * 2002-03-29 2003-10-17 Sony Corp 画像処理装置およびその方法
KR100866187B1 (ko) 2007-02-22 2008-10-30 삼성전자주식회사 영역 적응적 방향성 색 보간 방법
US20110115886A1 (en) 2009-11-18 2011-05-19 The Board Of Trustees Of The University Of Illinois System for executing 3d propagation for depth image-based rendering

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171045B1 (en) * 2001-12-28 2007-01-30 Packeteer, Inc. System and method for determining a natural color depth of a digital image
US20040169748A1 (en) 2003-02-28 2004-09-02 Tinku Acharya Sub-sampled infrared sensor for use in a digital image capture device
US7274393B2 (en) 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
US7376288B2 (en) 2004-05-20 2008-05-20 Micronas Usa, Inc. Edge adaptive demosaic system and method
KR100858086B1 (ko) * 2007-01-30 2008-09-10 삼성전자주식회사 렌더링 장치 및 방법
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
KR20100018449A (ko) 2008-08-06 2010-02-17 삼성전자주식회사 입체 이미지 센서의 픽셀 어레이
US8422771B2 (en) 2008-10-24 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for demosaicing
KR101590767B1 (ko) 2009-06-09 2016-02-03 삼성전자주식회사 영상 처리 장치 및 방법
KR20110040402A (ko) 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
KR101629459B1 (ko) * 2009-11-05 2016-06-10 삼성전자주식회사 영상 처리 장치 및 방법
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8823776B2 (en) * 2010-05-20 2014-09-02 Cisco Technology, Inc. Implementing selective image enhancement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296748A (ja) * 2002-03-29 2003-10-17 Sony Corp 画像処理装置およびその方法
KR100866187B1 (ko) 2007-02-22 2008-10-30 삼성전자주식회사 영역 적응적 방향성 색 보간 방법
US20110115886A1 (en) 2009-11-18 2011-05-19 The Board Of Trustees Of The University Of Illinois System for executing 3d propagation for depth image-based rendering

Also Published As

Publication number Publication date
KR20140064432A (ko) 2014-05-28
US20140140608A1 (en) 2014-05-22
US9904981B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
KR101932587B1 (ko) 컬러-깊이 디모자이킹 영상 처리 장치 및 방법
TWI575503B (zh) 影像處理裝置及影像處理方法
JP3944738B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
EP2317470A1 (en) Image inpainting apparatus and method using restricted search region
US10127643B2 (en) Inpainting device and method using segmentation of reference region
KR102224851B1 (ko) 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
JP6046927B2 (ja) 画像処理装置及びその制御方法
EP3167429B1 (en) System and method for supporting image denoising based on neighborhood block dimensionality reduction
US20170206690A1 (en) Image processing apparatus, image processing method, and storage medium
KR20190060774A (ko) 블록의 모션 벡터에 기초한 이미지의 블록의 분산 결정
KR101885088B1 (ko) 깊이 영상을 이용한 컬러 영상 처리 장치 및 방법
CN102025959A (zh) 从低清晰度视频产生高清晰度视频的系统与方法
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
TWI552111B (zh) 硬體與軟體分劃的影像處理管線
CN107451976A (zh) 一种图像处理方法及装置
US9779486B2 (en) Image processing apparatus and image processing method
US8744179B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium that utilizes representative colors
CN105163098B (zh) 图像处理方法及装置
US20120014616A1 (en) Method and apparatus for enhancing image quality using spatial modulation per band
US20110255780A1 (en) Method for performing color interpolation on a down-sampled bayer image, and associated device
US11580620B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
KR101327790B1 (ko) 영상 보간 방법 및 장치
KR101918035B1 (ko) 영상의 홀 영역을 제거하기 위한 장치 및 방법
JP2014192586A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant