KR101324246B1 - 디지털 영상 처리 장치에서의 화이트 밸런싱 방법 - Google Patents

디지털 영상 처리 장치에서의 화이트 밸런싱 방법 Download PDF

Info

Publication number
KR101324246B1
KR101324246B1 KR1020080122390A KR20080122390A KR101324246B1 KR 101324246 B1 KR101324246 B1 KR 101324246B1 KR 1020080122390 A KR1020080122390 A KR 1020080122390A KR 20080122390 A KR20080122390 A KR 20080122390A KR 101324246 B1 KR101324246 B1 KR 101324246B1
Authority
KR
South Korea
Prior art keywords
blue
red
color difference
sum
correction gain
Prior art date
Application number
KR1020080122390A
Other languages
English (en)
Other versions
KR20100063995A (ko
Inventor
정영제
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020080122390A priority Critical patent/KR101324246B1/ko
Publication of KR20100063995A publication Critical patent/KR20100063995A/ko
Application granted granted Critical
Publication of KR101324246B1 publication Critical patent/KR101324246B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명에 따른 디지털 영상 처리 장치에서의 화이트 밸런싱 방법은 단계들 (a) 내지 (c)를 포함한다. 단계 (a)에서는, 입력 영상 데이터에 대하여 역전파 알고리듬에 의하여 학습된 결과의 함수가 사용되어 백색 화소들이 검출된다. 단계 (b)에서는, 검출된 백색 화소들의 적색 함량과 청색 함량에 대한 적색 보정 게인과 청색 보정 게인이 구해진다. 단계 (c)에서는, 모든 적색 셀들의 계조들 각각에 상기 적색 보정 게인이 곱해져서 보정되고, 모든 청색 셀들의 계조들 각각에 상기 청색 보정 게인이 곱해져서 보정된다.
AWB, 화이트 밸런싱

Description

디지털 영상 처리 장치에서의 화이트 밸런싱 방법{Method of white balancing within digital image processing apparatus}
본 발명은, 디지털 영상 처리 장치에서의 화이트 밸런싱 방법에 관한 것으로서, 보다 상세하게는, 감시 카메라, 디지털 카메라, 및 폰 카메라와 같은 디지털 영상 처리 장치에서의 화이트 밸런싱 방법에 관한 것이다.
디지털 영상 처리 장치에서의 종래의 화이트 밸런싱(white balancing) 방법에 의하면, 입력 영상 데이터에 대하여 단순히 백색 계조 성분들을 가진 화소들만이 백색 화소들로서 검출된다. 즉, 디지털 영상 처리 장치 자체의 미세한 특성이 반영되지 않은 상태에서 단순히 백색 계조 성분들을 가진 화소들만이 백색 화소들로서 검출된다.
따라서, 백색 화소들의 검출의 정확도가 낮아지므로, 화이트 밸런싱의 정확도도 낮아진다.
본 발명의 목적은, 디지털 영상 처리 장치에서 화이트 밸런싱의 정확도가 높아질 수 있는 화이트 밸런싱 방법을 제공하는 것이다.
본 발명의 디지털 영상 처리 장치에서의 화이트 밸런싱 방법은 단계들 (a) 내지 (c)를 포함한다.
단계 (a)에서는, 입력 영상 데이터에 대하여 역전파 알고리듬에 의하여 학습된 결과의 함수가 사용되어 백색 화소들이 검출된다.
단계 (b)에서는, 검출된 백색 화소들의 적색 함량과 청색 함량에 대한 적색 보정 게인과 청색 보정 게인이 구해진다.
단계 (c)에서는, 모든 적색 셀들의 계조들 각각에 상기 적색 보정 게인이 곱해져서 보정되고, 모든 청색 셀들의 계조들 각각에 상기 청색 보정 게인이 곱해져서 보정된다.
본 발명의 상기 디지털 영상 처리 장치에서의 화이트 밸런싱 방법에 의하면, 입력 영상 데이터에 대하여 역전파 알고리듬에 의하여 학습된 결과의 함수가 사용되어 백색 화소들이 검출된다.
따라서, 디지털 영상 처리 장치 자체의 미세한 특성이 반영된 함수에 의하여 백색 화소들이 검출될 수 있다. 따라서, 백색 화소들의 검출의 정확도가 높아지므 로, 화이트 밸런싱의 정확도도 높아질 수 있다.
이하, 본 발명에 따른 바람직한 실시예가 상세히 설명된다.
도 1을 참조하여, 본 발명에 따른 디지털 영상 처리 장치로서의 디지털 카메라(1)의 전체적 구성 및 동작을 설명하면 다음과 같다.
이물질이 광학계(OPS)에 부착됨을 방지하기 위한 투명 배리어(13)는 배리어 모터(MB)에 의하여 구동되어 열리거나 닫힌다.
렌즈부와 필터부를 포함한 광학계(OPS)는 피사체로부터의 빛을 광학적으로 처리한다.
광학계(OPS)의 렌즈부는 줌 렌즈, 포커스 렌즈, 및 보상 렌즈를 포함한다.
사용자 입력부(INP)로부터의 명령 신호에 의하여 마이크로제어기(112)가 구동부(110)를 제어함에 따라, 줌 모터(MZ)가 구동되어 줌 렌즈가 이동된다.
자동 초점 모드에 있어서, 디지털 신호 처리기(107) 안에 내장된 주 제어기가 마이크로제어기(112)를 통하여 구동부(110)를 제어함에 의하여 포커스 모터(MF)가 구동된다.
광학계(OPS)의 렌즈부의 보상 렌즈는 전체적인 굴절율을 보상하는 역할을 하므로 별도로 구동되지 않는다. 참조 부호 MA는 조리개(aperture, 도시되지 않음)를 구동하기 위한 모터를 가리킨다.
광학계(OPS)의 필터부에 있어서, 광학적 저역통과필터(Optical Low Pass Filter)는 고주파 성분의 광학적 노이즈를 제거한다. 적외선 차단 필터(Infra-Red cut Filter)는 입사되는 빛의 적외선 성분을 차단한다.
CCD(Charge Coupled Device) 또는 CMOS (Complementary Metal-Oxide- Semiconductor)의 광전 변환부(OEC)는 광학계(OPS)로부터의 빛을 전기적 아날로그 신호로 변환시킨다. 여기서, 디지털 신호 처리기(107)는 타이밍 회로(102)를 제어하여 광전 변환부(OEC)와 아날로그-디지털 변환부(101)의 동작을 제어한다. 아날로그-디지털 변환부로서의 CDS-ADC(Correlation Double Sampler and Analog-to-Digital Converter) 소자(101)는, 광전 변환부(OEC)로부터의 아날로그 신호를 처리하여, 그 고주파 노이즈를 제거하고 진폭을 조정한 후, 디지털 신호로 변환시킨다.
실시간 클럭(RTC, 103)은 디지털 신호 처리기(107)에 시간 정보를 제공한다.
디지털 신호 처리기(107)는 CDS-ADC 소자(101)로부터의 디지털 신호를 처리하여 휘도 및 색도 신호로 분류된 디지털 영상 신호를 발생시킨다.
주 제어기를 내장하는 디지털 신호 처리기(107)로부터의 제어 신호들에 따라 마이크로제어기(112)에 의하여 구동되는 발광부(LAMP)에는, 셀프-타이머 램프, 자동-초점 램프, 모드 지시 램프 및 플래시 대기 램프가 포함된다. 사용자 입력부(INP)에는, 셔터 릴리즈 버튼, 모드 다이얼, 기능 버튼들, 모니터 버튼, 수동-포커싱/삭제 버튼, 수동-조정/재생 버튼, 광각-줌 버튼, 및 망원-줌 버튼 등을 포함한다.
DRAM(Dynamic Random Access Memory, 104)에는 디지털 신호 처리기(107)로부터의 디지털 영상 신호가 일시 저장된다. EEPROM(Electrically Erasable and Programmable Read Only Memory, 105)에는 디지털 신호 처리기(107)의 동작에 필요한 알고리듬 및 설정 데이터가 저장된다. 메모리 카드 인터페이스(106)에서는 사용자의 메모리 카드가 착탈된다.
디지털 신호 처리기(107)로부터의 디지털 영상 신호는 LCD 구동부(114)에 입력되고, 이로 인하여 칼라 LCD 패널(35)에 화상이 디스플레이된다.
한편, 디지털 신호 처리기(107)로부터의 디지털 영상 신호는, USB(Universal Serial Bus) 접속부(21a) 또는 RS232C 인터페이스(508)와 그 접속부(21b)를 통하여 직렬 통신으로써 전송될 수 있고, 비데오 필터(509) 및 비데오 출력부(21c)를 통하여 비데오 신호로서 전송될 수 있다.
오디오 처리기(113)는, 마이크로폰(MIC)으로부터의 음성 신호를 디지털 신호 처리기(107) 또는 스피커(SP)로 출력하고, 디지털 신호 처리기(107)로부터의 오디오 신호를 스피커(SP)로 출력한다.
한편, 마이크로제어기(112)는 플래시-광량 센서(19)로부터의 신호에 따라 플래시 제어기(111)의 동작을 제어하여 플래시(12)를 구동한다.
도 2는 도 1의 디지털 신호 처리기(DSP, 107)의 주 알고리듬을 보여준다. 도 1 및 2를 참조하여 주 제어기로서의 디지털 신호 처리기(DSP, 107)의 주 알고리듬을 설명하면 다음과 같다.
디지털 카메라(1)에 동작 전원이 인가되면, 디지털 신호 처리기(DSP, 107)는 초기화를 실행한다(단계 S1). 이 초기화 단계(S1)가 실행되면, 디지털 신호 처리기(DSP, 107)는 라이브-뷰(Live-view) 모드를 수행한다(단계 S2). 이 라이브-뷰 모드에서 입력 라이브-뷰 영상이 디스플레이 패널(35)에 디스플레이된다. 이 라이브-뷰 모드와 관련된 동작은 도 3을 참조하여 보다 상세히 설명될 것이다.
한편, 사용자 입력부(INP)에 포함된 셔터 릴리즈 버튼(도시되지 않음)은 2단의 구조로 이루어진다. 즉, 사용자가 광각-줌 버튼(도시되지 않음) 및 망원-줌 버튼(도시되지 않음)을 조작한 후, 셔터 릴리즈 버튼을 1단만 누르면 셔터 릴리즈 버튼으로부터의 S1 신호가 온(On)되고, 2단까지 누르면 셔터 릴리즈 버튼으로부터의 S2 신호가 온(On)된다.
따라서, 셔터 릴리즈 버튼으로부터의 S1 신호가 온(On) 상태이면(단계 S3), 디지털 신호 처리기(107)는 촬영 동작을 수행한다(단계 S4). 이 촬영 동작(단계 S4)의 상세 알고리듬은 도 4를 참조하여 설명될 것이다.
다음에, 사용자 입력부(INP)로부터의 입력 신호들중에서 설정 모드에 해당하는 신호들이 입력되면(단계 S5), 사용자 입력부(INP)로부터의 입력 신호들에 따라 동작 조건들을 설정하기 위한 설정 모드가 수행된다(단계 S6).
한편, 종료 신호가 발생되지 않으면 디지털 신호 처리기(107)는 아래의 단계들을 계속 수행한다(단계 S7).
먼저, 사용자 입력부(INP) 안의 재생 모드 버튼(42)으로부터 신호가 발생되면(단계 S8), 재생 모드(S4)를 수행한다(단계 S9). 이 재생 모드에서는, 사용자 입력부(INP)로부터의 입력 신호들에 따라 동작 조건들이 설정되고, 재생 동작이 수행된다. 다음에, 재생 모드 버튼(42)으로부터 신호가 재차 발생되면(단계 S10), 상기 단계들이 반복 수행된다.
도 3은 도 2의 라이브-뷰(Live-view) 모드 수행(S2)의 알고리듬을 보여준다. 도 1 및 3을 참조하여 도 2의 라이브-뷰(Live-view) 모드 수행(S2)의 알고리듬을 설명하면 다음과 같다.
먼저, 디지털 신호 처리기(107)는, 자동 화이트 밸런싱(AWB, Automatic White Balance) 동작을 수행하여 화이트 밸런싱과 관련된 파라메터들을 설정한다(단계 S201). 이 화이트 밸런싱 방법에 대해서는 도 5 내지 7을 참조하여 상세히 설명될 것이다.
다음에, 자동 노출(AE, Automatic Exposure) 모드이면(단계 S202), 디지털 신호 처리기(107)는, 입사 휘도에 대한 노광량을 계산하고, 계산된 노광량에 따라 조리개 구동 모터(MA)를 구동하며 셔터 속도(Shutter speed)를 설정한다(단계 S203).
다음에, 디지털 신호 처리기(107)는, 입력 영상 데이터에 대하여 감마(gamma) 보정을 수행하고(단계 S204), 감마 보정이 수행된 입력 영상 데이터에 대하여 디스플레이 규격에 맞도록 스케일링(Scaling)을 수행한다(단계 S205).
다음에, 디지털 신호 처리기(107)는, 스케일링이 수행된 입력 영상 데이터의 형식을 적색(R)-녹색(G)-청색(B)의 형식에서 휘도-색도의 형식으로 변환한다(단계 S206). 다음에, 디지털 신호 처리기(107)는, 해상도 및 디스플레이 위치 등과 관련하여 입력 영상 데이터를 처리하고, 필터링을 수행한다(단계 S207).
다음에, 디지털 신호 처리기(107)는, 처리된 입력 영상 데이터를 다이나믹 램(도 1의 104)에 일시적으로 저장한다(단계 S208).
다음에, 디지털 신호 처리기(107)는, 다이나믹 램(104)에 일시적으로 저장된 데이터와 오에스디(On-Screen Display) 데이터를 합성한다(단계 S209). 다음에, 디지털 신호 처리기(107)는, 합성된 영상 데이터의 형식을 휘도-색도의 형식에서 적색(R)-녹색(G)-청색(B)의 형식으로 변환하고(단계 S210), 변환된 형식의 영상 데이터를 LCD 구동부(도 1의 114)로 출력한다(단계 S211).
도 4는 도 2의 촬영 동작(S4)의 알고리듬을 보여주는 흐름도이다.
도 1 및 4를 참조하여 도 2의 촬영 동작(S4)의 상세 알고리듬을 설명하면 다음과 같다. 여기에서, 줌 렌즈의 현재 위치는 이미 설정된 상태이다.
먼저, 디지털 신호 처리기(107)는, 메모리 카드의 잔량을 검사하여(단계 S401), 디지털 영상 신호를 기록할 수 있는 용량인지를 확인한다(단계 S402). 기록 가능한 용량이 아닌 경우, 디지털 신호 처리기(107)는 메모리 카드의 용량이 부족함을 표시한다(단계 S403). 기록 가능한 용량인 경우, 아래의 단계들이 수행된다.
먼저, 디지털 신호 처리기(107)는, 현재 설정되어 있는 촬영 조건들에 따라 화이트 밸런싱(White Balance) 설정을 수행하여 화이트 밸런싱과 관련된 파라메터들을 설정한다(단계 S404).
다음에, 자동 노출(AE, Automatic Exposure) 모드이면(단계 S405), 디지털 신호 처리기(107)는, 입사 휘도에 대한 노광량을 계산하고, 계산된 노광량에 따라 조리개 구동 모터(MA)를 구동하고 셔터 속도(Shutter speed)를 설정한다(단계 S406).
다음에, 자동 포커싱(Automatic Focusing) 모드이면(단계 S407), 디지털 신호 처리기(107)는 자동 포커싱을 수행하여 포커스 렌즈를 구동한다(단계 S408).
다음에, 디지털 신호 처리기(107)는 셔터 릴리즈 버튼(도시되지 않음)으로부터의 1단 신호인 S1 신호가 온(On) 상태이면(단계 S409) 아래의 단계들을 계속 수행한다.
먼저, 디지털 신호 처리기(107)는 S2 신호가 온(On) 상태인지를 확인한다(단계 S410). S2 신호가 온(On) 상태가 아니면, 사용자가 촬영을 위하여 셔터 릴리즈 버튼의 2단을 누르지 않은 상태이므로, 디지털 신호 처리기(107)는 상기 단계들 S405 내지 S410을 반복 수행한다.
S2 신호가 온(On) 상태이면, 사용자가 촬영을 위하여 셔터 릴리즈 버튼의 2단을 누른 상태이므로, 디지털 신호 처리기(107)는 영상 포착을 수행한다(단계 S411). 즉, 디지털 신호 처리기(107)가 타이밍 회로(102)의 동작을 제어함에 의하여 광전 변환부(OEC) 및 CDS-ADC 소자(101)가 동작한다. 다음에, 디지털 신호 처리기(107)는 영상 데이터를 압축하여(단계 S412) 압축된 영상 파일을 생성한다(단계 S413). 그리고, 디지털 신호 처리기(107)는 생성된 영상 파일을 메모리 카드 인터페이스(106)를 통하여 사용자의 메모리 카드에 저장한다(단계 S414).
도 5는 도 3의 라이브-뷰(Live-view) 동작 단계(S2) 또는 도 4의 촬영 동작(S4)에서 자동 화이트 밸런싱(AWB: Automatic white balancing) 단계(S201, S403)의 주 알고리듬을 보여준다. 도 1 및 5를 참조하여, 자동 화이트 밸런싱(AWB: Automatic white balancing) 단계(S201 또는 S403)의 주 알고리듬을 설명하면 다음과 같다.
먼저, 영상 데이터가 입력되면(단계 S51), 디지털 신호 처리기(107)는 입력 영상 데이터를 휘도-색차 형식(Y-Cr-Cb)의 영상 데이터로 변환한다(단계 S53).
다음에, 디지털 신호 처리기(107)는 백색 화소들의 적색 함량과 청색 함량에 대한 적색 보정 게인과 청색 보정 게인을 구한다(단계 S55).
여기에서, 입력 영상 데이터에 대하여 역전파 알고리듬에 의하여 학습된 결과의 함수가 사용되어 백색 화소들이 검출된다.
따라서, 디지털 영상 처리 장치(1) 자체의 미세한 특성이 반영된 함수에 의하여 백색 화소들이 검출될 수 있다. 따라서, 백색 화소들의 검출의 정확도가 높아지므로, 화이트 밸런싱의 정확도도 높아질 수 있다.
단계 S55의 상세 알고리듬은 도 6 및 7을 참조하여 상세히 설명될 것이다.
다음에, 디지털 신호 처리기(107)는 휘도-색차 형식(Y-Cr-Cb)의 영상 데이터를 적색-녹색-청색(R-G-B) 형식의 데이터로 변환한다(단계 S57).
끝으로, 디지털 신호 처리기(107)는 모든 적색 셀들의 계조들 각각에 상기 적색 보정 게인(gain)을 곱하여 보정하고, 모든 청색 셀들의 계조들 각각에 상기 청색 보정 게인(gain)을 곱하여 보정한다(단계 S59).
도 6은 도 5의 자동 화이트 밸런싱(AWB)에서 적색 보정 게인(gain)과 청색 보정 게인(gain)을 구하는 단계(S55)의 상세 알고리듬을 보여준다. 도 1, 5 및 6 을 참조하여, 적색 보정 게인(gain)과 청색 보정 게인(gain)을 구하는 상세 알고리듬을 설명하면 다음과 같다.
먼저, 디지털 신호 처리기(107)는 휘도-색차 형식(Y-Cr-Cb)의 영상 데이터에서 색차 데이터(Cr, Cb)의 정규화 값들 각각(Dr, Db)을 구한다(단계 S61).
여기에서, 색차 데이터(Cr, Cb)의 정규화 값들 각각(Dr, Db)은, 적색-색차 값(Cr)을 휘도 값(Y)으로 나눈 결과(Cr/Y)인 적색 정규화 값(Dr), 및 청색-색차 값(Cb)을 휘도 값(Y)으로 나눈 결과(Cb/Y)인 청색 정규화 값(Db)을 포함한다.
다음에, 디지털 신호 처리기(107)는 피드포워드(feedforward) 신경망에서 역전파(Back-propagation) 알고리듬에 의하여 학습된 결과의 함수를 사용하여 백색 화소들을 검출한다(단계 S62). 이와 관련된 내용은 도 7을 참조하여 설명될 것이다.
다음에, 디지털 신호 처리기(107)는, 검출된 백색 화소들에 대하여, 정규화된 적색-색차 값(Dr)들의 총합(Sum Dr)과, 정규화된 청색-색차 값(Db)들의 총합(Sum Db)을 구한다(단계 S63).
다음에, 디지털 신호 처리기(107)는, 검출된 백색 화소들에 대하여, 원래의 적색-색차 값(Cr)들의 총합(Cr')과, 원래의 청색-색차 값(Cb)들의 총합(Cb')을 구한다(단계 S64).
다음에, 디지털 신호 처리기(107)는, 검출된 백색 화소들에 대하여, 휘도 값(Y)들의 총합(Y')을 구한다(단계 S65).
다음에, 디지털 신호 처리기(107)는, 적색-색차 값(Cr)들의 총합(Cr'), 청색 -색차 값(Cb)들의 총합(Cb'), 및 휘도 값(Y)들의 총합(Y')을 적색-녹색-청색(R-G-B) 형식의 데이터(R'-G'-B')로 변환한다(단계 S66). 이 변환 알고리듬은 잘 알려져 있으므로 그 설명이 생략된다.
끝으로, 디지털 신호 처리기(107)는, 변환된 적색-녹색-청색 형식의 데이터(R'-G'-B')를 사용하여, 상기 적색 보정 게인과 청색 보정 게인을 구한다(단계 S67).
여기에서, 변환된 적색-녹색-청색 형식의 데이터(R'-G'-B')의 녹색 값(G')을 적색 값(R')으로 나눈 결과(G'/R')가 상기 적색 보정 게인이다.
또한, 변환된 적색-녹색-청색 형식의 데이터(R'-G'-B')의 녹색 값(G')을 청색 값(B')으로 나눈 결과(G'/B')가 상기 청색 보정 게인이다.
도 7은 도 6의 단계 S62에서 사용되는 함수를 구하기 위한 피드포워드(feedforward) 신경망을 보여준다. 도 7에서 참조 부호 Dr은 적색 정규화 값을, Db는 청색 정규화 값을, Wji는 은닉층의 가중값들을, 그리고 Wkj는 출력층의 가중값들을 각각 가리킨다.
여기에서, 휘도-색차 형식(Y-Cr-Cb)의 영상 데이터의 각 화소에 대하여, 정규화된 색차 값들 각각(Dr, Db)이 피드포워드(feedforward) 신경망에서의 입력층에 대입되어 학습된다. 물론, 학습에서는 어떤 화소들이 백색 화소인지가 정해져 있다. 예를 들어, 어떤 화소가 백색 화소이므로 "1"(허용 오차도 반영될 수 있음)의 출력이 나와야하는데, 그렇지 않을 경우, 은닉층의 가중값(Wji)과 출력층의 가중값(Wkj)이 신경망 학습에 의하여 구해진다. 즉, 구해진 은닉층의 가중값(Wji)과 출력층의 가중값(Wkj)에 의한 함수가 도 6의 단계 S62에서 사용되어 백색 화소들이 검출된다.
이와 같은 피드포워드(feedforward) 신경망에서 적용되는 역전파(Back-propagation) 알고리듬은 이미 잘 알려져 있으므로 그 자세한 설명이 생략된다.
이상 설명된 바와 같이, 본 발명에 따른 디지털 영상 처리 장치에서의 화이트 밸런싱 방법에 의하면, 입력 영상 데이터에 대하여 역전파 알고리듬에 의하여 학습된 결과의 함수가 사용되어 백색 화소들이 검출된다.
따라서, 디지털 영상 처리 장치 자체의 미세한 특성이 반영된 함수에 의하여 백색 화소들이 검출될 수 있다. 따라서, 백색 화소들의 검출의 정확도가 높아지므로, 화이트 밸런싱의 정확도도 높아질 수 있다.
프린터에서도 이용될 수 있다.
도 1은 본 발명에 따른 디지털 영상 처리 장치로서의 디지털 카메라의 전체적 구성을 보여주는 도면이다.
도 2는 도 1의 디지털 신호 처리기의 주 알고리듬을 보여주는 흐름도이다.
도 3은 도 2의 라이브-뷰(Live-view) 모드 수행의 알고리듬을 보여주는 흐름도이다.
도 4는 도 2의 촬영 동작의 알고리듬을 보여주는 흐름도이다.
도 5는 도 3의 라이브-뷰(Live-view) 동작 단계(S2) 또는 도 4의 촬영 동작(S4)에서 자동 화이트 밸런싱(AWB: Automatic white balancing) 단계(S201, S403)의 주 알고리듬을 보여주는 흐름도이다.
도 6은 도 5의 자동 화이트 밸런싱(AWB)에서 적색 보정 게인(gain)과 청색 보정 게인(gain)을 구하는 단계(S55)의 상세 알고리듬을 보여주는 흐름도이다.
도 7은 도 6의 단계 S62에서 사용되는 함수를 구하기 위한 피드포워드(feedforward) 신경망을 보여주는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
1...디지털 카메라, 12...플래시,
21...외부 인터페이스부, MIC...마이크로폰,
SP...스피커, 35...칼라 LCD 패널,
OPS...광학계, OEC...광전 변환부, MB...배리어 모터, MZ...줌 모터,
MF...포커스 모터, MA...조리개(aperture) 모터,
101...아날로그-디지털 변환부, 102...타이밍 회로,
103...실시간 클럭, 104...DRAM, 105...EEPROM, 106...메모리 카드 인터페이스, 107...디지털 신호 처리기, 508...RS232C 인터페이스, 509...비데오 필터, 21a...USB 접속부, 21b...RS232C 접속부, 21c...비데오 출력부, 110...구동부, 111...플래시 제어기, 112...마이크로제어기, INP...사용자 입력부, LAMP...발광부, 113...오디오 처리기, 114...LCD 구동부, Dr...적색 정규화 값,
Db...청색 정규화 값(Db), Wji...은닉층의 가중값들,
Wkj...출력층의 가중값들.

Claims (8)

  1. (a) 입력 영상 데이터에 대하여 역전파 알고리듬에 의하여 학습된 결과의 함수를 사용하여 백색 화소들을 검출하는 단계;
    (b) 검출된 백색 화소들의 적색 함량과 청색 함량에 대한 적색 보정 게인과 청색 보정 게인을 구하는 단계; 및
    (c) 모든 적색 셀들의 계조들 각각에 상기 적색 보정 게인을 곱하여 보정하고, 모든 청색 셀들의 계조들 각각에 상기 청색 보정 게인을 곱하여 보정하는 단계를 포함하고,
    상기 단계 (a)에서,
    입력 영상 데이터가 휘도-색차 형식(Y-Cr-Cb)의 영상 데이터로 변환되며,
    상기 학습된 결과의 함수는,
    휘도-색차 형식(Y-Cr-Cb)의 영상 데이터의 각 화소에 대하여, 정규화된 색차 값들 각각(Dr, Db)이 피드포워드(feedforward) 신경망에서의 입력층에 대입되어 학습된 결과의 함수인, 디지털 영상 처리 장치에서의 화이트 밸런싱 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 단계 (a)에서,
    상기 입력 영상 데이터의 정규화된 색차 값들 각각(Dr, Db)이 상기 함수에 대입되어 계산되고, 각각의 계산 결과에 따라 화소들 각각이 백색 화소인지 아닌지가 판별되는, 디지털 영상 처리 장치에서의 화이트 밸런싱 방법.
  5. 제4항에 있어서, 상기 단계 (a)에서 색차 데이터(Cr, Cb)의 정규화 값들 각각(Dr, Db)은,
    적색-색차 값(Cr)을 휘도 값(Y)으로 나눈 결과(Cr/Y)인 적색 정규화 값(Dr), 및
    청색-색차 값(Cb)을 휘도 값(Y)으로 나눈 결과(Cb/Y)인 청색 정규화 값(Db)을 포함한, 디지털 영상 처리 장치에서의 화이트 밸런싱 방법.
  6. 제5항에 있어서, 상기 단계 (b)가,
    (b1) 검출된 백색 화소들에 대하여, 정규화된 적색-색차 값(Dr)들의 총합(Sum Dr)과, 정규화된 청색-색차 값(Db)들의 총합(Sum Db)을 구하는 단계;
    (b2) 검출된 백색 화소들에 대하여, 원래의 적색-색차 값(Cr)들의 총합(Cr')과, 원래의 청색-색차 값(Cb)들의 총합(Cb')을 구하는 단계;
    (b3) 검출된 백색 화소들에 대하여, 휘도 값(Y)들의 총합(Y')을 구하는 단계;
    (b4) 검출된 백색 화소들에 대하여, 적색-색차 값(Cr)들의 총합(Cr'), 청색-색차 값(Cb)들의 총합(Cb'), 및 휘도 값(Y)들의 총합(Y')을 적색-녹색-청색(R-G-B) 형식의 데이터(R'-G'-B')로 변환하는 단계; 및
    (b5) 변환된 적색-녹색-청색 형식의 데이터(R'-G'-B')를 사용하여, 상기 적색 보정 게인과 청색 보정 게인을 구하는 단계를 포함한, 디지털 영상 처리 장치에서의 화이트 밸런싱 방법.
  7. 제6항에 있어서, 상기 단계 (b5)에서,
    변환된 적색-녹색-청색 형식의 데이터(R'-G'-B')의 녹색 값(G')을 적색 값(R')으로 나눈 결과(G'/R')가 상기 적색 보정 게인인, 디지털 영상 처리 장치에서의 화이트 밸런싱 방법.
  8. 제7항에 있어서, 상기 단계 (b5)에서,
    변환된 적색-녹색-청색 형식의 데이터(R'-G'-B')의 녹색 값(G')을 청색 값(B')으로 나눈 결과(G'/B')가 상기 청색 보정 게인인, 디지털 영상 처리 장치에서의 화이트 밸런싱 방법.
KR1020080122390A 2008-12-04 2008-12-04 디지털 영상 처리 장치에서의 화이트 밸런싱 방법 KR101324246B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080122390A KR101324246B1 (ko) 2008-12-04 2008-12-04 디지털 영상 처리 장치에서의 화이트 밸런싱 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080122390A KR101324246B1 (ko) 2008-12-04 2008-12-04 디지털 영상 처리 장치에서의 화이트 밸런싱 방법

Publications (2)

Publication Number Publication Date
KR20100063995A KR20100063995A (ko) 2010-06-14
KR101324246B1 true KR101324246B1 (ko) 2013-11-01

Family

ID=42363745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080122390A KR101324246B1 (ko) 2008-12-04 2008-12-04 디지털 영상 처리 장치에서의 화이트 밸런싱 방법

Country Status (1)

Country Link
KR (1) KR101324246B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05276529A (ja) * 1991-11-21 1993-10-22 Shirou Usui 色温度またはホワイトバランスの調整方法及び装置
JP2004274482A (ja) 2003-03-10 2004-09-30 Matsushita Electric Ind Co Ltd 画像処理装置および撮像システム
JP2008219838A (ja) 2007-03-08 2008-09-18 Matsushita Electric Ind Co Ltd 撮像装置、ホワイトバランス調整装置およびホワイトバランス調整方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05276529A (ja) * 1991-11-21 1993-10-22 Shirou Usui 色温度またはホワイトバランスの調整方法及び装置
JP2004274482A (ja) 2003-03-10 2004-09-30 Matsushita Electric Ind Co Ltd 画像処理装置および撮像システム
JP2008219838A (ja) 2007-03-08 2008-09-18 Matsushita Electric Ind Co Ltd 撮像装置、ホワイトバランス調整装置およびホワイトバランス調整方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Vlad C. Cardei et al., ‘Estimating the scene illumination chromaticity by using a neural network’, J. Opt. Soc. Am. A/Vol. 19, No. 12(2002.12)
Vlad C. Cardei et al., 'Estimating the scene illumination chromaticity by using a neural network', J. Opt. Soc. Am. A/Vol. 19, No. 12(2002.12) *

Also Published As

Publication number Publication date
KR20100063995A (ko) 2010-06-14

Similar Documents

Publication Publication Date Title
KR100503039B1 (ko) 사용자가 쉽게 증명 사진을 촬영할 수 있도록 디지털카메라의동작을 제어하는 방법
US7538802B2 (en) Method of controlling digital photographing apparatus to increase brightness detectable range and digital photographing apparatus adopting the method
KR100562404B1 (ko) 추가 스캐닝이 수행되는 카메라의 자동 포커싱 방법
KR100547998B1 (ko) 촬영 상태가 부적절하였음을 알려주는 디지털 카메라의제어방법
KR100468871B1 (ko) 이차 함수를 이용한 카메라의 자동 포커싱 방법
KR101571334B1 (ko) 디지털 영상 처리장치 및 그 제어방법
EP2515543B1 (en) Image capturing apparatus and image capturing method
KR101324246B1 (ko) 디지털 영상 처리 장치에서의 화이트 밸런싱 방법
KR101167243B1 (ko) 효과적으로 히스토그램을 디스플레이하기 위한 디지털 영상처리 장치의 제어 방법, 및 이 방법을 사용한 디지털 영상처리 장치
KR100702950B1 (ko) 촬영 장치의 제어 방법 및 이 방법을 사용한 촬영 장치
KR100987772B1 (ko) 디지털 카메라의 제어방법
KR20060135134A (ko) 디지털 이미지 처리장치 및 그 디스플레이 방법
KR101661214B1 (ko) 디지털 영상 처리장치 및 그 제어방법
JP5799550B2 (ja) 撮像装置、撮像方法および撮像プログラム
KR101323731B1 (ko) 노출 영역 표시 방법
KR101086413B1 (ko) 영상 흔들림이 보정되는 디지털 영상 처리 장치의 제어방법
KR101156676B1 (ko) 디지털 영상 처리 방법
KR101156113B1 (ko) 편리한 통신을 위한 디지털 영상 처리 장치의 제어 방법,및 이 방법을 채용한 디지털 영상 처리 장치
KR101109594B1 (ko) 디지털 이미지의 임프린트 방법 및 이를 수행하는 디지털이미지 처리장치
KR101144875B1 (ko) 디지털 이미지 처리장치 및 그 디스플레이 방법
KR100585597B1 (ko) 촬영 장치에서 투명 배리어를 효율적으로 제어하는 방법
KR101345289B1 (ko) 영상 데이터가 외부의 디스플레이 장치에 전송되는 디지털영상 처리 장치의 제어 방법, 및 이 방법을 채용한 디지털영상 처리 장치
KR100781159B1 (ko) 사용자 스크립트에 의한 디지털 이미지 처리장치 제어방법및 장치
KR20100050263A (ko) 자동 포커싱이 수행되는 디지털 영상 처리 장치
JP2006340293A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 7