KR100801085B1 - Method and apparatus for auto white controlling - Google Patents
Method and apparatus for auto white controlling Download PDFInfo
- Publication number
- KR100801085B1 KR100801085B1 KR1020060041702A KR20060041702A KR100801085B1 KR 100801085 B1 KR100801085 B1 KR 100801085B1 KR 1020060041702 A KR1020060041702 A KR 1020060041702A KR 20060041702 A KR20060041702 A KR 20060041702A KR 100801085 B1 KR100801085 B1 KR 100801085B1
- Authority
- KR
- South Korea
- Prior art keywords
- chromaticity
- point
- data
- light source
- difference
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 자동 백색 조절 방법 및 장치에 관한 것이다.The present invention relates to an automatic white adjustment method and apparatus.
본 발명의 실시예에 따른 자동 백색 조절 방법은 입력된 이미지가 도미넌트 색도를 갖는 오브젝트를 포함하는 경우, 상기 이미지의 색채적 특징을 갖는 복수의 특징 포인트를 제공하는 단계, 상기 복수의 특징 포인트를 사용하여 제1 광원 정보를 검출하는 단계, 상기 이미지를 구성하는 데이터 중에서 상기 제1 광원 정보의 색도와 임계치 이내의 색도차를 나타내는 데이터들의 평균 색도를 계산하는 단계, 및 상기 평균 색도를 소정의 광원 궤도에 매핑하여 제2 광원 정보를 제공하는 단계를 포함한다.According to an exemplary embodiment of the present invention, when the input image includes an object having a dominant chromaticity, the method may further include providing a plurality of feature points having chromatic characteristics of the image, using the plurality of feature points. Detecting first light source information, calculating an average chromaticity of data representing chromaticity differences within a threshold and chromaticity of the first light source information, and converting the average chromaticity into a predetermined light source trajectory. And providing second light source information by mapping to the second light source information.
자동 백색 조절, 오브젝트 유입, 광원 Automatic white adjustment, object inflow, light source
Description
도 1은 본 발명의 일 실시예에 따른 자동 백색 조절 장치를 나타낸 블록도이다.1 is a block diagram showing an automatic white adjustment apparatus according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 이미지를 기준 영역과 서브 영역으로 구분한 상태를 나타낸 도면이다. 2 is a diagram illustrating a state in which an image is divided into a reference area and a sub area according to an embodiment of the present invention.
도 3은 입력된 이미지에서 도미넌트 오브젝트를 검색하는 과정을 나타낸 흐름도이다.3 is a flowchart illustrating a process of searching for a dominant object in an input image.
도 4는 본 발명의 일 실시예에 따른 도미넌트 오브젝트의 유입 여부의 판단 과정을 설명하기 위한 도면이다. 4 is a diagram for describing a process of determining whether a dominant object is introduced according to an embodiment of the present invention.
도 5는 입력된 이미지의 특징 포인트를 제공하는 과정을 나타낸 흐름도이다.5 is a flowchart illustrating a process of providing feature points of an input image.
도 6a 내지 도 6c는 휘도-색도 좌표 상의 이미지 데이터 분포의 일 예를 나타낸 도면이다. 6A to 6C are diagrams illustrating an example of image data distribution on luminance-chromatic coordinates.
도 7은 본 발명의 일 실시예에 따른 광원 검출 과정을 나타낸 흐름도이다.7 is a flowchart illustrating a light source detection process according to an embodiment of the present invention.
도 8a 내지 도 8g는 광원 검출 과정을 설명하기 위한 도면이다. 8A to 8G are views for explaining a light source detection process.
<도면의 주요 부분에 관한 부호의 설명><Explanation of symbols on main parts of the drawings>
110 : 휘도-색도 매핑 모듈 120 : 검색 모듈110: luminance-chromatic mapping module 120: search module
130 : 특징 분석 모듈 140 : 광원 검출 모듈130: feature analysis module 140: light source detection module
150 : 백색 조절 모듈150: white control module
본 발명은 자동 백색 조절 방법 및 장치에 관한 것으로서, 더욱 상세하게는 이미지 내에 도미넌트 색도(dominant chroma)를 갖는 오브젝트가 유입되는 경우에도 일관된 색 재현 성능을 제공하는 자동 백색 조절 방법 및 장치에 관한 것이다.The present invention relates to an automatic white adjustment method and apparatus, and more particularly, to an automatic white adjustment method and apparatus that provides consistent color reproduction performance even when an object having a dominant chroma is introduced into an image.
빛에는 색온도라 불리는 특유의 색이 있는데, 그 단위로 켈빈(K)이 사용된다. 일반적으로, 인간의 시각 능력은 자동으로 색에 대한 감수성을 조절하기 때문에 어떤 색온도의 빛이 비추어지더라도 색채에 대한 인간의 인식 차이는 매우 미미하다. 그러나, 카메라나 캠코더와 같은 이미지 픽업(pick up) 장치는 색온도가 반영된 색채를 그대로 감지하기 때문에 광원이 변하게 되면 이미지 픽업 장치가 촬영한 이미지들이 서로 다른 색채를 띠게 된다. Light has a unique color called color temperature, and Kelvin (K) is used as a unit. In general, the human visual ability automatically adjusts the sensitivity to color, so the difference in human perception of color is insignificant no matter what color temperature light shines on. However, since an image pick-up device such as a camera or a camcorder detects the color reflecting the color temperature as it is, when the light source is changed, the images picked up by the image pickup device have different colors.
예를 들면, 맑은 날 태양광은 색온도가 높기 때문에 이미지 픽업 장치가 촬영한 이미지는 전체적으로 청색을 띠는 반면, 일출이나 일몰 시간대의 태양광은 색온도가 낮기 때문에 이미지 픽업 장치가 촬영한 이미지는 전체적으로 붉은색을 띠게 된다. 이러한 문제점을 개선하기 위하여 제안된 자동 백색 조절 기술은 촬영된 이미지가 색온도에 따라서 적색(R), 녹색(G), 청색(B) 성분 중 적어도 한 방향으로 편향되는 경우, 이미지의 색조가 왜곡되는 현상을 보정해주는 역할을 한다. 여기 서 자동 백색 조절 기술은 자동 화이트 밸런스 기술로 불리기도 한다. For example, the image taken by the image pickup device is generally blue due to the high color temperature on sunny days, while the image taken by the image pickup device is entirely red because the sunlight during sunrise or sunset is low. It is colored. In order to solve this problem, the proposed automatic white adjustment technique is used to distort the color tone of an image when the photographed image is deflected in at least one of red (R), green (G) and blue (B) components according to the color temperature. It corrects the phenomenon. The automatic white adjustment technique here is also called automatic white balance technique.
그러나 종래의 자동 백색 조절 기술은 이미지 내에 도미넌트 색도를 갖는 오브젝트가 유입되는 경우 동일한 광원 하에서도 색 재현 결과가 일관적이지 않은 문제점이 있었다. However, the conventional automatic white adjustment technique has a problem in that color reproduction results are inconsistent even under the same light source when an object having a dominant chromaticity is introduced into an image.
본 발명은 이미지 내에 도미넌트 색도를 갖는 오브젝트가 유입되는 경우에도 일관된 색 재현 성능을 제공하는데 그 목적이 있다.An object of the present invention is to provide consistent color reproduction performance even when an object having a dominant chromaticity is introduced into an image.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 자동 백색 조절 방법은 입력된 이미지가 도미넌트 색도를 갖는 오브젝트를 포함하는 경우, 상기 이미지의 색채적 특징을 갖는 복수의 특징 포인트를 제공하는 단계, 상기 복수의 특징 포인트를 사용하여 제1 광원 정보를 검출하는 단계, 상기 이미지를 구성하는 데이터 중에서 상기 제1 광원 정보의 색도와 임계치 이내의 색도차를 나타내는 데이터들의 평균 색도를 계산하는 단계, 및 상기 평균 색도를 소정의 광원 궤도에 매핑하여 제2 광원 정보를 제공하는 단계를 포함한다. In order to achieve the above object, the automatic white adjustment method according to an embodiment of the present invention, when the input image includes an object having a dominant chromaticity, providing a plurality of feature points having the chromatic characteristics of the image, Detecting first light source information using the plurality of feature points, calculating an average chromaticity of data representing chromaticity differences within a threshold and chromaticity of the first light source information among data constituting the image, and Mapping the average chromaticity to a predetermined light source trajectory to provide second light source information.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 자동 백색 조절 장치는 입력된 이미지가 도미넌트 색도를 갖는 오브젝트를 포함하는 경우, 상기 이미 지의 색채적 특징을 갖는 복수의 특징 포인트를 제공하는 특징 분석 모듈, 및 상기 복수의 특징 포인트를 사용하여 제1 광원 정보를 검출하고, 상기 이미지를 구성하는 데이터 중에서 상기 제1 광원 정보의 색도와 임계치 이내의 색도차를 나타내는 데이터들의 평균 색도를 계산하고, 상기 평균 색도를 소정의 광원 궤도에 매핑하여 제2 광원 정보를 제공하는 광원 검출 모듈을 포함한다. In order to achieve the above object, the automatic white adjustment device according to an embodiment of the present invention, when the input image includes an object having a dominant chromaticity, feature analysis that provides a plurality of feature points having the color characteristics of the image A module, and the plurality of feature points are used to detect first light source information, calculate an average chromaticity of data representing chromaticity differences within a threshold and chromaticity of the first light source information among the data constituting the image; And a light source detection module for mapping the average chromaticity to a predetermined light source trajectory to provide second light source information.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. Specific details of other embodiments are included in the detailed description and the drawings.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various different forms, and only the embodiments make the disclosure of the present invention complete, and the general knowledge in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, which is defined only by the scope of the claims. Like reference numerals refer to like elements throughout.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 자동 백색 조절 장치를 나타낸 블록도이다.1 is a block diagram showing an automatic white adjustment apparatus according to an embodiment of the present invention.
도시된 자동 백색 조절 장치는 휘도-색도 매핑 모듈(110), 검색 모듈(120), 특징 분석 모듈(130), 광원 검출 모듈(140), 및 백색 조절 모듈(150)을 포함한다. The illustrated automatic white adjustment device includes a luminance-
휘도-색도 매핑 모듈(110)은 입력되는 이미지에 포함된 데이터들을 YCrCb 데이터로 변환한다. The luminance-
검색 모듈(120)은 입력되는 이미지를 분석하여 이미지 내에서 도미넌트 색도를 갖는 오브젝트(이하 도미넌트 오브젝트라 한다)를 검색한다. 이를 위하여 검색 모듈(120)은 도 2에 도시한 바와 같이 입력된 이미지를 복수의 기준 영역으로 구분하고, 각 기준 영역을 다시 복수의 서브 영역으로 구분할 수 있다. 여기서 기준 영역은 이미지에서 일반적으로 도미넌트 오브젝트가 유입될 가능성이 높은 영역들로 사전에 설정되어 있을 수 있다. 검색 모듈(120)은 각 기준 영역 별로 기준 영역을 구성하는 데이터들(또는 픽셀들)의 평균 색도(이하 기준 영역의 평균 색도라 한다)와 기준 영역에 포함되는 서브 영역별로 서브 영역을 구성하는 데이터들(또는 픽셀들)의 평균 색도(이하 서브 영역의 평균 색도라 한다)를 계산한다. 그 후 검색 모듈(120)은 기준 영역의 평균 색도와 기준 영역에 포함되는 서브 영역들의 평균 색도들 간의 차이 값을 계산한다. The
어느 한 기준 영역의 평균 색도와 상기 기준 영역에 포함되는 서브 영역으로서 상기 기준 영역의 평균 색도와의 차이 값이 소정의 임계치 미만인 평균 색도를 갖는 서브 영역이 상기 기준 영역에 포함된 복수의 서브 영역 중에서 임계 비율 이상을 차지한다면, 검색 모듈(120)은 상기 기준 영역에 도미넌트 오브젝트가 유입된 것으로 판단할 수 있다. 여기서 임계치는 다양한 실험을 통하여 도미넌트 오브젝트의 유입 여부를 판별하는데 적절한 수치로 사전에 설정되어 있을 수 있다. Among a plurality of sub-areas included in the reference area, a sub-area having an average chromaticity of one reference area and an average chromaticity of which a difference value between the average chromaticity of the reference area is less than a predetermined threshold is included in the reference area. If it occupies more than a threshold ratio, the
특징 분석 모듈(130)은 입력된 이미지의 색채적 특징을 갖는 복수의 특징 포 인트를 제공한다. 여기서 복수의 특징 포인트는 입력된 이미지를 구성하는 데이터 중에서 최대 휘도 값을 갖는 데이터(이하 최대 휘도 포인트이라 한다)와 최소 휘도 값을 갖는 데이터(이하 최소 휘도 포인트이라 한다), 입력된 이미지에서 도미넌트 오브젝트를 구성하는 데이터들의 평균 휘도와 평균 색도를 갖는 기준 포인트, 및 입력된 이미지를 구성하는 데이터 중에서 도미넌트 오브젝트의 데이터 이외의 잔여 데이터들로 구성되는 두 개의 그룹에 포함되는 데이터들의 평균 휘도와 평균 색도를 갖는 제1 클러스터링 포인트와 제2 클러스터링 포인트를 포함한다. The
이러한 특징 포인트들은 검색 모듈(120)이 입력된 이미지에서 도미넌트 오브젝트를 검출한 경우에 제공될 수 있으며, 특징 분석 모듈(130)이 특징 포인트를 제공하는 과정은 도 3을 참조하여 후술하도록 한다. These feature points may be provided when the
광원 검출 모듈(140)은 특징 분석 모듈(130)이 제공하는 특징 포인트를 사용하여 1차 광원 정보를 검출한다. 1차 광원 정보는 입력된 이미지에서 최종적인 광원 정보를 검출하기 위하여 사용되는 임시적인 광원 정보이다. 광원 검출 모듈(140)은 입력된 이미지를 구성하는 데이터 중에서 1차 광원 정보의 색도와 임계치 이내의 색도차를 갖는 데이터들을 검색하고 검색된 데이터들의 평균 색도를 계산한다. 여기서 임계치는 환경 변화에 따라서 광원 정보를 잘 표현할 수 있는 데이터들의 바운더리를 나타내며, 실험을 통하여 적절한 값으로 사전에 설정될 수 있다. 그 후, 광원 검출 모듈(140)은 계산된 평균 색도를 갖는 그레이시 포인트(grayish point)를 소정의 광도 궤적(illuminant locus)에 매핑하여 최종 광원 정보를 검출한다. 광원 검출 모듈(140)이 최종 광원 정보를 검출하는 과정은 도 4 를 참조하여 후술하도록 한다. The light
백색 조절 모듈(150)은 최종 광원 정보를 사용하여 입력되는 이미지에 대한 화이트 밸런싱 작업을 수행한다. The
도 1의 설명에서 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.In the description of FIG. 1, a module refers to a hardware component such as software or a field programmable gate array (FPGA) or an application specific integrated circuit (ASIC), and the module plays certain roles. However, modules are not meant to be limited to software or hardware. The module may be configured to be in an addressable storage medium and may be configured to execute one or more processors. Thus, as an example, a module may include components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, subroutines. , Segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. The functionality provided by the components and modules may be combined into a smaller number of components and modules or further separated into additional components and modules.
이하 도 3 내지 도 8g를 참조하여 자동 백색 조절 방법에 대하여 설명하도록 한다. Hereinafter, an automatic white adjustment method will be described with reference to FIGS. 3 to 8G.
도 3은 입력된 이미지에서 도미넌트 오브젝트를 검색하는 과정을 나타낸 흐름도이다. 도 3의 과정은 도 1을 참조하여 설명한 자동 백색 조절 장치의 검색 모듈(120)에 의하여 수행된다. 3 is a flowchart illustrating a process of searching for a dominant object in an input image. The process of FIG. 3 is performed by the
휘도-색도 매핑 모듈(110)에 의하여 YCrCb 데이터로 변환된 이미지가 입력되면(S310), 검색 모듈(120)은 입력된 이미지를 도 2에서 예시한 바와 같이 복수의 기준 영역으로 구분하고(S320), 각 기준 영역을 복수의 서브 영역으로 구분한다(S330). 도 2에서는 하나의 이미지를 5개의 기준 영역으로 구분하고, 각 기준 영역을 16개의 서브 영역으로 구분하였으나 본 발명은 이에 한정되지 않는다. When the image converted into YCrCb data is input by the luminance-chromatic mapping module 110 (S310), the
그 후, 검색 모듈(120)은 각 기준 영역 별로, 각 기준 영역의 평균 색도와 해당 기준 영역을 구성하는 서브 영역의 평균 색도를 계산한다(S340). 그 후, 검색 모듈(120)은 각 기준 영역 별로 기준 영역의 평균 색도와 해당 기준 영역을 구성하는 서브 영역들의 평균 색도들 간의 차이를 구한다(S350). Thereafter, the
구해진 차이가 소정의 임계치 보다 작은 서브 영역이 존재하고 그 개수가 해당 기준 영역을 구성하고 있는 전체 서브 영역의 개수에 대해서 일정 비율 이상을 차지할 경우(S360), 검색 모듈(120)은 해당 기준 영역으로 도미넌트 오브젝트가 유입된 것으로 판단할 수 있다(S370). 이에 대한 구체적인 예를 도 4를 참조하여 설명하도록 한다. If there is a sub-area whose difference is smaller than a predetermined threshold and the number occupies a predetermined ratio or more with respect to the total number of sub-areas constituting the reference area (S360), the
도 4는 이미지 상의 어느 한 기준 영역(410)을 도시한 것인데, 도시된 기준 영역(410)은 16개의 서브 영역으로 구성되어 있다. 기준 영역(410)에 포함되는 데이터들의 평균 색도를 R1이라 하고, 16개의 서브 영역들 각각에 포함되는 데이터들의 평균 색도를 r1 내지 r16이라 한다. 평균 색도의 계산은 도 3의 과정 S340에서 수행된다. 4 illustrates one
그 후에 도 3에서 수행되는 과정 S350을 통해서 r1 내지 r16 각각을 R1과 비 교하고 이들간의 차이값을 계산하는 작업이 수행된다. 계산 결과, R1과의 차이값이 임계치 미만인 평균 색도를 갖는 서브 영역의 개수가 8개였다면, 이들이 기준 영역(410)에서 차지하는 비율은 50%가 된다. 만약, 도 3의 과정 S360에서 언급된 임계 비율이 40%라면, 기준 영역(410)의 서브 영역들 중에서 기준 영역(410)의 평균 색도 R1과의 차이값이 임계치 미만인 평균 색도를 갖는 서브 영역의 비율이 임계 비율보다 높으므로, 도 3의 과정 S360 및 S370에 의해서 기준 영역(410)에 도미넌트 오브젝트가 유입된 것으로 판단할 수 있게 된다. Thereafter, a process of comparing each of r1 to r16 with R1 and calculating a difference therebetween is performed through the process S350 performed in FIG. 3. As a result of the calculation, if the number of sub-regions having an average chromaticity whose difference with R1 is less than the threshold is eight, the proportion of the sub-regions in the
한편, 과정 S360의 판단 결과 이미지 내에서 도미넌트 오브젝트가 존재하는 기준 영역이 없다면, 종래의 기술에서와 같이 이미지 내의 모든 데이터들을 기반으로 하여 광원을 검출하는 작업이 수행될 수 있다.On the other hand, if there is no reference region in which the dominant object exists in the image as a result of the determination in step S360, the operation of detecting the light source based on all data in the image may be performed as in the related art.
도 5는 입력된 이미지의 특징 포인트를 제공하는 과정을 나타낸 흐름도이다. 도 5의 과정은 도 3의 과정을 통해서 이미지에 도미넌트 오브젝트가 존재하는 것으로 판단된 경우 도 1을 참조하여 설명한 자동 백색 조절 장치의 특징 분석 모듈(130)에 의하여 수행될 수 있다. 5 is a flowchart illustrating a process of providing feature points of an input image. 5 may be performed by the
먼저 특징 분석 모듈(130)은 이미지에 포함된 데이터 중에서 최대 휘도 포인트와 최소 휘도 포인트를 추출한다(S510). 이미지에 포함되는 데이터를 휘도-색도 공간 상에 분포시킬 경우, 최대 휘도 포인트와 최소 휘도 포인트는 도 6a에 도시한 예로 이해될 수 있을 것이다. First, the
그 후, 특징 분석 모듈(130)은 이미지에 포함된 데이터 중에서 도미넌트 오브젝트에 해당하는 데이터를 추출하고(S520), 추출된 데이터의 평균 휘도 및 평균 색도를 갖는 기준 포인트를 설정한다(S530). Thereafter, the
여기서, 도미넌트 오브젝트에 해당하는 데이터는 기준 영역과 서브 영역 간의 색도 차를 통하여 검출될 수 있다. 예를 들어, 특징 분석 모듈(130)은 검색 모듈(120)에 의하여 도미넌트 오브젝트가 유입되었다고 판단되는 기준 영역에 대하여, 상기 기준 영역의 평균 색도와 상기 기준 영역을 구성하는 각 서브 영역들의 평균 색도들을 계산한다. 그 후, 특징 분석 모듈(130)은 기준 영역의 평균 색도와 각 서브 영역의 평균 색도를 비교하여 그 차이가 임계치보다 작은 서브 영역에 포함되는 데이터를 도미넌트 오브젝트의 데이터로 판단할 수 있다. 물론 특징 분석 모듈(130)은 기준 영역의 평균 색도와 서브 영역들의 평균 색도들을 직접 계산하지 않고, 검색 모듈(120)이 도미넌트 오브젝트의 유입 여부를 판단하기 위하여 계산한 결과를 사용할 수도 있다. Here, data corresponding to the dominant object may be detected through a chromaticity difference between the reference area and the sub area. For example, the
이미지를 구성하는 데이터들의 색도 좌표상의 분포가 도 6b와 같은 상태에서 도미넌트 오브젝트의 데이터가 추출되고 남은 잔여 데이터들은 도 6c에 도시된 바와 같이 특징 분석 모듈(130)에 의하여 두개의 그룹으로 클러스터링 된다(S540). 그 후 특징 분석 모듈(130)은 클러스터링된 각 그룹 별로 각 그룹의 데이터들의 평균 휘도와 평균 색도를 갖는 클러스터링 포인트를 설정한다(S550). 과정 S540에서 잔여 데이터들을 클러스터링하기 위하여 다양한 유형의 클러스터링 기법이 사용될 수 있다. 일 예로써 특징 분석 모듈(130)은 simplified K mean 클러스터링 기법을 사용하여 잔여 데이터들을 클러스터링할 수 있다. In the state where the distribution in the chromaticity coordinates of the data constituting the image is as shown in FIG. 6B, the data of the dominant object is extracted and the remaining data are clustered into two groups by the
이에 따라서 특징 분석 모듈(130)은 입력된 이미지의 색채적 특성을 갖는 5 개의 특징 포인트인 최대 휘도 포인트, 최소 휘도 포인트, 기준 포인트, 및 두개의 클러스터링 포인트를 제공하게 된다.Accordingly, the
특징 포인트가 제공되면, 도 1에서 설명한 광원 검출 모듈(140)에 의한 광원 검출 작업이 수행되며 이를 도 7을 참조하여 설명하도록 한다. When the feature point is provided, the light source detection operation by the light
도 7은 본 발명의 일 실시예에 따른 광원 검출 과정을 나타낸 흐름도이다. 본 흐름도에서 광원 검출 모듈(140)은 도미넌트 오브젝트의 데이터가 무채색(achromatic)인지 유채색(chromatic)인지를 구분함으로써, 광원 정보 검출의 기초 자료로서 도미넌트 오브젝트의 데이터를 포함시킬 것인지의 여부를 판단하게 된다. 7 is a flowchart illustrating a light source detection process according to an embodiment of the present invention. In this flowchart, the light
우선 광원 검출 모듈(140)은 최대 휘도 포인트와 최소 휘도 포인트 간의 색도차(이하 D1이라 한다)를 계산한다(S710). 예를 들어 광원 검출 모듈(140)은 도 8a에 도시한 바와 같이 최대 휘도 포인트와 최소 휘도 포인트를 색도 좌표(Cr-Cb 좌표)에 투영시키고, 색도 좌표에서 두 데이터 간의 거리를 구할 수 있는데, 이 때의 거리가 D1이 된다. First, the light
이와 유사하게, 광원 검출 모듈(140)은 두 클러스터링 포인트 간의 색도차(이하 D2라 한다)를 계산한다(S715). Similarly, the light
D1이 작을수록 최대 휘도 포인트의 색도와 최소 휘도 포인트의 색도 사이에 많은 광원 정보가 포함되며, D2가 클수록 이미지의 산포도가 크다. 따라서 광원 검출 모듈(140)은 D1과 D2를 비교함으로써 도미넌트 오브젝트에 의한 영향으로 입력된 이미지의 색채가 변화될 가능성을 체크할 수 있다. The smaller D1 is, the more light source information is included between the chromaticity of the maximum luminance point and the chromaticity of the minimum luminance point. The larger the D2, the larger the scatter of the image. Accordingly, the light
이를 보다 구체적으로 설명하면 우선, 광원 검출 모듈(140)은 D1가 D2보다 작은지 비교한다(S720). 만약 D1이 D2보다 작다면 광원 검출 모듈(140)은 도미넌트 오브젝트의 평균 색도값을 나타내는 기준 포인트가 색도 좌표 상에서 D2의 범위 내에 존재하는지 판단한다(S725). 여기서, 기준 포인트가 D2의 범위 내에 존재한다는 의미는 기준 포인트가 제1 클러스터링 포인트의 색도값(Cr 및 Cb)과 제2 클러스터링 포인트의 색도값(Cr 및 Cb)의 사이에 존재한다는 의미이다. 예를 들어 제1 클러스터링 포인트와 제2 클러스터링 포인트가 도 8b에 도시된 바와 같이 색도 좌표 상에 존재할 경우, 제1 클러스터링 포인트와 제2 클러스터링 포인트의 Cr 및 Cb 값을 경계로 하여 구획되는 영역(명암처리된 영역) 내에 기준 포인트가 존재하면, 기준 포인트가 색도 좌표 상에서 D2의 범위 내에 존재한다고 말할 수 있는 것이다. In more detail, first, the light
만약 D1이 D2보다 작고, D2의 범위 내에 기준 포인트가 존재한다면, 입력된 이미지는 도미넌트 오브젝트에 의한 영향을 받지 않은 정상 이미지(usual image)로 구분될 수 있다. 참고로, 입력 이미지가 정상 이미지(usual image)인 경우, 특징 분석 모듈(130)이 제공하는 특징 포인트들의 휘도-색도 좌표 상 배치 예는 도 8c에 도시한 바와 같다. If D1 is smaller than D2 and a reference point exists within the range of D2, the input image may be divided into a normal image which is not affected by the dominant object. For reference, when the input image is a normal image, an example of arrangement on the luminance-chromatic coordinates of the feature points provided by the
D1이 D2보다 작고 D2의 범위 내에 도미넌트 오브젝트의 색도 평균값이 존재하는 경우에는 도미넌트 오브젝트의 데이터가 무채색(achromatic) 데이터인 것으로 판단할 수 있으며, 광원 검출 모듈(140)은 이미지에 포함된 모든 데이터들을 바탕으로 하여 광원 정보를 검출한다(S730). 여기서, 광원 정보를 검출하기 위하여 종래의 광원 검출 기법이 사용될 수 있다. When D1 is smaller than D2 and the chromatic average value of the dominant object exists within the range of D2, the data of the dominant object may be determined as achromatic data, and the light
한편, 과정 S720의 판단 결과 D1이 D2 보다 작지 않거나, 과정 S725의 판단 결과 D2 범위 내에 도미넌트 오브젝트의 평균 색도값을 나타내는 기준 포인트가 존재하지 않는다면, 입력된 이미지는 도미넌트 오브젝트에 의한 영향으로 색채가 변질되었을 가능성이 있는 비정상 이미지(unusual image)로 구분될 수 있다. 참고로, 입력 이미지가 비정상 이미지(unusual image)인 경우, 특징 분석 모듈(130)이 제공하는 특징 포인트들의 휘도-색도 좌표 상 배치 예는 도 8d에 도시한 바와 같다. 즉, D1이 D2 이상이거나, D1이 D2 보다 작더라도 D2 범위 내에 도미넌트 오브젝트의 평균 색도값을 나타내는 기준 포인트가 존재하지 않는 경우에는 도미넌트 오브젝트의 데이터가 유채색(chromatic) 데이터일 가능성이 있다. On the other hand, if the determination result D1 of step S720 is not smaller than D2 or if the reference point indicating the average chromaticity value of the dominant object does not exist within the range D2 of the determination result of step S725, the input image is changed in color due to the influence of the dominant object. It can be classified as an unusual image that may have been. For reference, when the input image is an unusual image, an example of arrangement on the luminance-chromatic coordinates of the feature points provided by the
도미넌트 오브젝트의 데이터가 유채색 데이터인지 무채색 데이터인지 식별하기 위하여 광원 검출 모듈(140)은 우선, 최대 휘도 포인트와 최소 휘도 포인트 중에서 광원과 가깝다고 판단되는 포인트(이하 비교 포인트라 한다)를 선택한다(S735). 이를 위하여, 광원 검출 모듈(140)은 최대 휘도 포인트 및 최소 휘도 포인트를 도미넌트 오브젝트의 데이터 중에서 최대 휘도를 갖는 데이터 및 최소 휘도를 갖는 데이터와 비교할 수 있다. In order to identify whether the data of the dominant object is colored or achromatic data, the light
보다 구체적으로 설명하면, 광원 검출 모듈(140)은 도미넌트 오브젝트의 데이터 중에서 최대 휘도를 갖는 데이터 및 최소 휘도를 갖는 데이터의 색도차(이하 D3라 한다)와 D1 사이의 오버랩(overlap) 여부를 사용하여 비교 포인트를 선택할 수 있다. 여기서 D1과 D3가 오버랩 된다는 것는, 이미지 내의 최대 휘도 포인트의 색도값과 최소 휘도 포인트의 색도값을 경계로 하는 색도 영역이 도미넌트 오브젝 트에서 최대 휘도를 갖는 데이터와 최소 휘도를 갖는 데이터의 색도값들을 경계로 하는 색도 영역과 중첩된다는 의미이다. 예를 들어, 최대 휘도 포인트, 최소 휘도 포인트, 및 도미넌트 오브젝트에서 최대 휘도를 갖는 데이터와 최소 휘도를 갖는 데이터가 도 8e에 도시된 바와 같이 색도 좌표 상에 존재하는 상태에서, 최대 휘도 포인트와 최소 휘도 포인트의 Cr 및 Cb 값을 경계로 하여 구획되는 영역(810)이 도미넌트 오브젝트에서 최대 휘도를 갖는 데이터(830)와 최소 휘도를 갖는 데이터(840)의 Cr 및 Cb 값을 경계로 하여 구획되는 영역(820)과 중첩되는 경우 D1과 D3가 오버랩 된다고 말할 수 있는 것이다. In more detail, the light
일반적으로 휘도 변화에 따른 색도 데이터의 천이 경향을 보면, 전체 이미지 내에 존재하는 높은 휘도의 색도 값이 상대적으로 더 높은 휘도의 색도 값으로 천이될 경우 또는 전체 이미지 내에 존재하는 낮은 휘도의 색도 값이 상대적으로 더 낮은 휘도의 색도 값으로 천이될 경우, 이 색도 값들은 무채색화되는 경향을 나타내게 된다. 따라서 D1과 D3가 색도 좌표 상에서 오버랩되면서 최대 휘도 포인트와 최소 휘도 포인트 중 어느 하나가 D3의 범위(도 8e의 색도 영역 820)에 포함된다면, 해당 포인트가 광원과 가까운 비교 포인트로 판단 된다. 도 8e의 경우에는 최대 휘도 포인트가 영역 820에 포함되어 있으므로 광원과 가장 가까운 비교 포인트로 판단될 수 있다. 또한, D1과 D3가 오버랩되면서 최대 휘도 포인트와 최소 휘도 포인트 중 어느 것도 D3의 범위에 포함되지 않는다면 최소 휘도 데이터가 광원과 가장 가까운 비교 포인트로 판단되고, D1과 D3가 오버랩하지 않는다면 최대 휘도 포인트와 최소 휘도 포인트 중에서 D3의 범위로부터 색도 거리가 더 먼 포인트가 광원과 가장 가까운 비교 포인트로 판단된다. In general, when the chromaticity data transitions due to the luminance change, the chromaticity value of the high luminance existing in the entire image is shifted to the chromaticity value of the higher luminance, or the chromaticity value of the low luminance existing in the entire image is relative. In the case of transition to a chromaticity value of lower luminance, these chromaticity values tend to become achromatic. Therefore, when D1 and D3 overlap on chromaticity coordinates and one of the maximum luminance point and the minimum luminance point is included in the range of D3 (
비교 최대 휘도 포인트와 최소 휘도 포인트 중에서 광원과 가깝다고 판단되는 비교 포인트가 선택되면, 광원 검출 모듈(140)은 선택된 비교 포인트의 색도와 클러스터링 포인트들의 색도의 평균값 간의 색도차(이하 D4라 한다)를 계산한다(S740). 또한 광원 검출 모듈(140)은 과정 S735에서 선택된 비교 포인트의 색도와 도미넌트 오브젝트를 구성하는 데이터들의 평균 색도(기준 포인트의 색도) 간의 색도차(이하 D5라 한다)를 계산한다(S745). When the comparison point determined to be close to the light source is selected among the comparison maximum luminance point and the minimum luminance point, the light
만약 D4가 D5 보다 크다면(S750), 광원 검출 모듈(140)은 도미넌트 오브젝트의 데이터를 무채색 데이터로 판단하고 이미지 내의 전 데이터를 바탕으로 하여 광원 정보를 검출한다(S730).If D4 is greater than D5 (S750), the light
그러나 D4가 D5 보다 크지 않다면, 광원 검출 모듈(140)은 도미넌트 오브젝트의 데이터를 유채색 데이터로 판단하고 이미지에서 도미넌트 오브젝트의 데이터들을 제외한 잔여 데이터들을 바탕으로 하여 1차 광원 정보를 검출한다(S755). 과정 S755에서 1차 광원을 검출하기 위하여 사용하는 광원 검출 기법 역시 과정 S730에서와 마찬가지로 종래의 기술을 사용할 수 있다. 다만, 과정 S755에서는 1차 광원을 검출하기 위하여 이미지에서 도미넌트 오브젝트의 데이터들을 제외한 잔여 데이터들을 사용한다는 점이 과정 S730와 다르다. However, if D4 is not larger than D5, the light
1차 광원 정보가 검출되면, 광원 검출 모듈(140)은 도 8f에 도시한 바와 같이 이미지를 구성하는 데이터들 중에서 1차 광원 정보로부터 임계치 이내의 색도차를 갖는 데이터들을 검색하고(S760), 검색된 데이터들의 평균 색도를 계산한 다(S765). When the primary light source information is detected, the light
그 후, 광원 검출 모듈(140)은 소정의 광원 궤적(illuminant locus) 상에 과정 S765에서 계산된 평균 색도를 매핑하여 최종 광원 정보를 검출한다(S770). 여기서 광원 궤적은 복수의 다양한 유형의 광원(예를 들면, D65, D50, CWF(Cool White Fluorescent), A 등)의 채도를 바탕으로 한 추세선일 수 있으며 이를 도 8g에 도시하였다. 도 8g에는 색도 평면(Cr-Cb)상에 광원 궤적과 과정 S765에서 계산된 평균 색도가 도시되어 있다. 최종 광원 정보는 평균 색도를 광원 궤적 상에 수직하게 투사한 지점의 색도를 갖는다.Thereafter, the light
이러한 과정에 따라서 광원 검출 모듈(140)은 도미넌트 오브젝트의 영향으로 인하여 광원 정보가 변질되는 현상을 방지할 수 있다. According to this process, the light
도 3 내지 도 8g를 참조하여 설명한 일련의 과정을 통해서 최종 광원 정보가 검출되면, 백색 조절 모듈(150)은 검출된 최종 광원 정보를 사용하여 입력되는 이미지에 대한 화이트 밸런싱 작업을 수행하게 된다. When the final light source information is detected through a series of processes described with reference to FIGS. 3 to 8G, the
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described above with reference to the accompanying drawings, those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features thereof. You will understand that. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive.
상기한 바와 같은 본 발명의 자동 백색 조절 방법 및 장치에 따르면 이미지 내에 도미넌트 색도(dominant chroma)를 갖는 오브젝트가 유입되는 경우에도 일관된 색 재현 성능을 제공하는 효과가 있다.According to the automatic white adjustment method and apparatus of the present invention as described above, even when an object having a dominant chroma is introduced into an image, there is an effect of providing a consistent color reproduction performance.
Claims (24)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/594,217 US7808531B2 (en) | 2005-12-14 | 2006-11-08 | Method and apparatus for auto white controlling |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050123514 | 2005-12-14 | ||
KR20050123514 | 2005-12-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070063399A KR20070063399A (en) | 2007-06-19 |
KR100801085B1 true KR100801085B1 (en) | 2008-02-11 |
Family
ID=38363451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060041702A KR100801085B1 (en) | 2005-12-14 | 2006-05-09 | Method and apparatus for auto white controlling |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100801085B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100839093B1 (en) * | 2007-01-31 | 2008-06-19 | 한국과학기술원 | Method and apparatus for measuring luminance and hue |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06351037A (en) * | 1993-06-07 | 1994-12-22 | Matsushita Electric Ind Co Ltd | Auto-white balance device |
JPH08102960A (en) * | 1994-09-30 | 1996-04-16 | Sanyo Electric Co Ltd | Video camera |
JPH10136390A (en) | 1997-12-01 | 1998-05-22 | Canon Inc | Image pickup device |
JP2000092509A (en) | 1998-09-11 | 2000-03-31 | Eastman Kodak Japan Ltd | Auto-white balance device |
JP2000165896A (en) | 1998-11-25 | 2000-06-16 | Ricoh Co Ltd | White balance control method and its system |
-
2006
- 2006-05-09 KR KR1020060041702A patent/KR100801085B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06351037A (en) * | 1993-06-07 | 1994-12-22 | Matsushita Electric Ind Co Ltd | Auto-white balance device |
JPH08102960A (en) * | 1994-09-30 | 1996-04-16 | Sanyo Electric Co Ltd | Video camera |
JPH10136390A (en) | 1997-12-01 | 1998-05-22 | Canon Inc | Image pickup device |
JP2000092509A (en) | 1998-09-11 | 2000-03-31 | Eastman Kodak Japan Ltd | Auto-white balance device |
JP2000165896A (en) | 1998-11-25 | 2000-06-16 | Ricoh Co Ltd | White balance control method and its system |
Also Published As
Publication number | Publication date |
---|---|
KR20070063399A (en) | 2007-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100809344B1 (en) | Method and apparatus for auto white balancing | |
US7808531B2 (en) | Method and apparatus for auto white controlling | |
US6788813B2 (en) | System and method for effectively performing a white balance operation | |
CN104796683B (en) | A kind of method and system of calibration image color | |
JP3550440B2 (en) | Auto white balance adjustment device | |
KR100855470B1 (en) | Method and apparatus for estimating illuminant of an image | |
JP4956581B2 (en) | Imaging apparatus, white balance processing method of imaging apparatus, program, and recording medium | |
KR20100011772A (en) | Method for controlling auto white balance | |
JP2001141569A (en) | Illumination chromaticity estimating/converting device with recognized light source and highlight used, its method, and computer-readable recording medium with program recorded for it | |
TWI763920B (en) | Auto white balance method performed by an image signal processor | |
KR20200029036A (en) | White balance processing method, electronic device and computer readable storage medium | |
WO2019085698A1 (en) | White balance processing method and device, electronic device and computer readable storage medium | |
CN104917935A (en) | Image processing apparatus and image processing method | |
JP4310317B2 (en) | Visible component ratio calculation method and optical instrument using the same | |
US20070041064A1 (en) | Image sampling method for automatic white balance | |
CN111079637A (en) | Method, device and equipment for segmenting rape flowers in field image and storage medium | |
KR100801085B1 (en) | Method and apparatus for auto white controlling | |
US8614750B2 (en) | Apparatus and method for auto white balance control considering the effect of single tone image | |
Busin et al. | Color space selection for unsupervised color image segmentation by histogram multi-thresholding | |
US10602112B2 (en) | Image processing apparatus | |
KR20000059451A (en) | Method of raw color adjustment and atmosphere color auto extract in a image reference system | |
KR101131109B1 (en) | Auto white balance setting method by white detection considering sensor characteristic | |
JP4332413B2 (en) | Imaging device, white balance processing method of imaging device, white balance processing method of imaging system, program, and storage medium | |
KR20080077742A (en) | Camera module for processing awb using deviation value | |
KR0183717B1 (en) | White extracting method and apparatus for awb |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
G170 | Publication of correction | ||
FPAY | Annual fee payment |
Payment date: 20121210 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20131217 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20141224 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20151217 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20161219 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20171219 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20181220 Year of fee payment: 12 |
|
FPAY | Annual fee payment |
Payment date: 20191217 Year of fee payment: 13 |