KR20010036671A - Block-based Image Histogram Generation Method - Google Patents

Block-based Image Histogram Generation Method Download PDF

Info

Publication number
KR20010036671A
KR20010036671A KR1019990043779A KR19990043779A KR20010036671A KR 20010036671 A KR20010036671 A KR 20010036671A KR 1019990043779 A KR1019990043779 A KR 1019990043779A KR 19990043779 A KR19990043779 A KR 19990043779A KR 20010036671 A KR20010036671 A KR 20010036671A
Authority
KR
South Korea
Prior art keywords
block
histogram
edge
image
color
Prior art date
Application number
KR1019990043779A
Other languages
Korean (ko)
Other versions
KR100369370B1 (en
Inventor
박수준
원치선
박동권
최동시
유성준
김현진
Original Assignee
정선종
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정선종, 한국전자통신연구원 filed Critical 정선종
Priority to KR10-1999-0043779A priority Critical patent/KR100369370B1/en
Priority to US09/493,841 priority patent/US6807298B1/en
Publication of KR20010036671A publication Critical patent/KR20010036671A/en
Application granted granted Critical
Publication of KR100369370B1 publication Critical patent/KR100369370B1/en
Priority to US10/881,807 priority patent/US7106900B2/en
Priority to US11/350,626 priority patent/US7697754B2/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A method of generating block-based image histogram is provided to be capable of extracting specific information from a pixel group of a block unit by use of a block of plural pixels by a basic unit of generating histogram. CONSTITUTION: A coefficient 'k' is set to '0', and pixels of an image are grouped to set a block size of a level '0'(S101). Specific information of the image is extracted by a block unit with regard to all blocks of the level '0' to update a corresponding histogram(S102-S105). After extracting the specific information with regard to all blocks of the level '0', the coefficient 'k' indicating the level is increased by '1'(S106). Specific information of a level '1' is generated by merging specific information of the level '0'(S107), updating a corresponding histogram(S108). Operations of extracting the specific information with regard to all blocks of the level '1' and updating a corresponding histogram are repeated(S109,S110). If the operation of generating specific information with regard to all levels is not completed(S111), the procedure goes to the step(S106) of increasing the coefficient. If the operation of generating specific information with regard to all levels is completed(S111), the procedure is ended.

Description

블록기반 영상 히스토그램 생성방법 { Block-based Image Histogram Generation Method }Block-based Image Histogram Generation Method

본 발명은 JPEG, MPEG-1, 2의 표준을 따르는 압축된 데이터 비트열 또는 비압축 영상 데이터로부터 정규화된 히스토그램을 생성하는 방법에 관한 것으로서, 특히 블록 단위 선형 양자화를 이용하여 색상, 밝기, 그리고 에지 성분을 갖는 히스토그램을 생성하는 방법에 관한 것이다.The present invention relates to a method for generating normalized histograms from compressed data bitstreams or uncompressed image data conforming to the standards of JPEG, MPEG-1, 2, and in particular, using color-by-block linear quantization, color, brightness, and edges. A method of generating a histogram with components is provided.

JPEG은 정지 영상에서, MPEG-1, 2는 동영상에서 저장 및 전송에 관한 국제 표준안으로 그 활용도가 매우 높다. 이러한 압축된 영상 정보에 대하여 대표 영상(Key Frame) 추출이나 영상 검색, 브라우징과 같은 응용을 위하여 각각의 영상마다 특징 정보를 추출할 필요가 있다.JPEG is an international standard for storage and transmission in still images, and MPEG-1 and 2 are very useful. It is necessary to extract feature information for each image for applications such as key frame extraction, image retrieval, and browsing for the compressed image information.

이와 같이 영상에서 특징 정보를 추출하기 위해서, 영상 내 밝기 혹은 색상(빨강, 녹색, 파랑)의 상대적 발생 빈도를 나타내는 밝기 혹은 색상 히스토그램(Histogram)이 많이 사용된다. 특히 최근에 디지털화되어 저장된 정지영상 혹은 디지털 비디오의 검색을 위해 히스토그램을 비교하는 방법이 제안되고 있다. 이와 같이 히스토그램이 영상의 검색 및 장면전환 검출에 많이 활용되면서 히스토그램에 대한 개선이 요구되고 있다. 즉, 기존의 이산 양자화와 색상만의 단일 성분 히스토그램을 발전시켜 선형 갱신(linear update) 혹은 연성판정(soft decision)을 채택한 색상, 에지, 밝기의 복합 히스토그램(composite histogram)을 채택하여 영상의 내용을 보다 효율적이고 충실하게 나타낼 필요성이 대두되고 있다.As described above, in order to extract feature information from an image, a brightness or color histogram representing a relative occurrence frequency of brightness or color (red, green, and blue) in the image is frequently used. In particular, a method of comparing histograms for retrieval of still images or digital video that has been digitized and stored has been recently proposed. As such, histograms are widely used for image retrieval and scene change detection. Therefore, improvements on histograms are required. In other words, by developing a discrete histogram of discrete quantization and color only, a composite histogram of color, edge, and brightness using linear update or soft decision is adopted. There is a need for more efficient and faithful representation.

종래의 히스토그램 생성방법에 관한 기술을 살펴보면 다음과 같다.A description of a conventional histogram generation method is as follows.

'Katherine 외 2인'이 권리자인 미국 특허(No. 5,805,733) 'Method and system for detecting scenes and summarizing video sequences' 에는, 색상 히스토그램과 에지 맵을 사용하여 장면 전환을 검출하는 내용이 기술되어 있다. 이는 인간 시각을 고려한 색상 정보를 추출한다는 효과가 있으나, 밝기를 이용하지 않는다는 문제점이 있다. 'M.J.Swain 외 1인'이 'Int. J. of Computer Vision'에 게재한 논문 'Color Indexing' 에서는 색상 정보를 입력받아 히스토그램 인터섹션(Histogram Intersection) 기법을 이용하여 영상의 유사도를 측정하여 인덱싱을 수행하는 내용이 기술되어 있다. 그러나, 이 역시 밝기 및 에지 정보를 사용하지 않아 정확성이 떨어진다는 문제점이 있다. 또한, 이들 기존의 기법들에서는 이산 양자화기법을 이용하여 히스토그램을 생성하므로 같은 성능을 내기 위해 상대적으로 많은 히스토그램 빈(bin)이 필요하며, 따라서 저장과 유사도 측정이 비효율적이라는 문제점이 있었다.U.S. Patent No. 5,805,733, entitled 'Katherine et al.', Entitled 'Method and system for detecting scenes and summarizing video sequences' describes the detection of scene transitions using color histograms and edge maps. This has the effect of extracting color information in consideration of human vision, but does not use brightness. 'M.J.Swain and one other person' said Int. 'Color Indexing', a paper published in J. of Computer Vision, describes the indexing by measuring the similarity of images using histogram intersection. However, this also has a problem that accuracy is lowered because it does not use the brightness and edge information. In addition, since these histograms generate histograms using discrete quantization techniques, a relatively large number of histogram bins are required to achieve the same performance. Therefore, storage and similarity measurement are inefficient.

그리고, 종래에는 히스토그램 생성시, 픽셀 단위로 특징 추출을 수행하기 때문에 제한적인 특징 정보만을 생성할 수밖에 없는 문제점이 있었다.In addition, conventionally, since feature extraction is performed on a pixel basis when generating a histogram, there is a problem that only limited feature information can be generated.

따라서, 본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 여러 개의 픽셀로 구성된 블록을 히스토그램 생성의 기본 단위로 사용하여, 이 블록 단위의 픽셀 집합에서 다양한 분해능의 밝기, 색상, 에지 등의 특징 정보를 추출하는 블록 기반 영상 히스토그램 생성방법을 제공하기 위한 것이다.Accordingly, the present invention has been made to solve the above problems of the prior art, by using a block consisting of a plurality of pixels as a basic unit of histogram generation, the brightness, color, A block-based image histogram generation method for extracting feature information such as edges is provided.

또한, 본 발명은, 영상 히스토그램에서 히스토그램의 각 빈이 가지는 의미를 구분하여, 영상의 내용을 좀 더 효과적으로 반영하는 히스토그램을 생성하기 위한 것이기도 하다.In addition, the present invention is to separate the meaning of each bin of the histogram in the image histogram, and to generate a histogram that more effectively reflects the contents of the image.

도 1은 본 발명의 한 실시예에 따른 블록기반 영상 히스토그램 생성방법을 도시한 전체 흐름도,1 is a flowchart illustrating a method of generating a block-based image histogram according to an embodiment of the present invention;

도 2는 본 발명의 한 실시예에 따른 블록기반 영상 히스토그램 빈 갱신방법을 도시한 흐름도,2 is a flowchart illustrating a block-based image histogram bin updating method according to an embodiment of the present invention;

도 3은 블록내 서브블록들의 밝기 대표값과 에지의 종류를 도시한 도면,3 is a diagram illustrating brightness representative values and types of edges of subblocks in a block;

도 4는 에지 검출을 위한 블록 필터를 도시한 도면,4 illustrates a block filter for edge detection;

도 5는 에지 검출방법을 도시한 흐름도,5 is a flowchart illustrating an edge detection method;

도 6은 하위레벨의 다수개의 블록들을 병합하여 상위레벨의 블록을 생성하는 과정을 도시한 도면,6 is a diagram illustrating a process of generating a block of a higher level by merging a plurality of blocks of a lower level;

도 7은 히스토그램 시멘틱의 일 예를 도시한 도면,7 is a diagram illustrating an example of a histogram semantic;

도 8은 선형 가중치를 고려하지 않은 종래의 히스토그램 갱신방법을 도시한 도면,8 is a diagram illustrating a conventional histogram updating method without considering linear weights;

도 9는 선형 가중치를 고려한 본 발명의 한 실시예에 따른 히스토그램 갱신방법을 도시한 도면,9 is a diagram illustrating a histogram updating method according to an embodiment of the present invention considering linear weights;

도 10은 유채색 빈과 빈 사이의 선형 가중치와 유채색과 무채색 사이의 선형 가중치를 설명하기 위하여 도시한 도면,FIG. 10 is a diagram illustrating linear weights between chromatic bins and bins and linear weights between chromatic and achromatic colors; FIG.

도 11은 밝기 특징정보와 에지 특징정보를 사용하여 구성한 복합 히스토그램의 일 예를 도시한 도면,11 is a diagram illustrating an example of a composite histogram constructed by using brightness characteristic information and edge characteristic information;

도 12는 전체 영역(global)에서의 특징정보와, 부분적 전체영역(semi-global)에서의 특징정보, 국부영역(local)에서의 특징정보를 사용하여 구성한 복합 히스토그램,12 is a composite histogram constructed by using feature information in a global area, feature information in a semi-global area, and feature information in a local area;

도 13은 도 12의 복합 히스토그램의 일 예를 설명하기 위하여 도시한 도면이다.FIG. 13 is a diagram illustrating an example of the complex histogram of FIG. 12.

상기한 목적을 달성하기 위한 본 발명에 따르면, 영상 데이터의 색정보와 밝기정보를 이용하여 영상 히스토그램을 생성하는 방법에 있어서, 상기 영상의 픽셀들을 하나의 그룹으로 묶은 블록 단위로 영상의 특징정보를 추출하여 히스토그램을 생성하고, 상기 블록의 크기를 변화시키고 상기 크기 변화된 블록 단위로 영상의 특징정보를 추출하여 히스토그램을 생성하는 것을 특징으로 한다.According to the present invention for achieving the above object, in the method for generating an image histogram using the color information and the brightness information of the image data, the feature information of the image in units of blocks that group the pixels of the image into a group A histogram is generated by extracting the image, changing the size of the block, and extracting feature information of the image in units of the changed size of the block to generate a histogram.

양호하게는, 변수 k를 초기화하고 상기 영상의 픽셀들을 하나의 그룹으로 묶어서 레벨 k의 블록 크기를 설정하는 제 1 단계와, 상기 레벨 k의 모든 블록에 대해 블록 단위로 영상의 특징정보를 추출하여 해당 히스토그램을 갱신하는 제 2 단계와, 상기 레벨 k의 블록들을 묶어서 레벨 k+1의 블록을 만들고, 상기 레벨 k의 영상 특징정보들을 병합하면서 상기 레벨 k+1의 모든 블록에 대해 블록 단위로 영상의 특징정보를 생성하여 해당 히스토그램을 갱신하는 제 3 단계, 상기 k를 1씩 증가시키면서 모든 레벨에 대해 상기 제 3 단계를 반복 수행하는 제 4 단계를 포함한다.Preferably, the first step of initializing the variable k and grouping the pixels of the image into a group to set the block size of the level k, extracting the feature information of the image in units of blocks for all the blocks of the level k A second step of updating the histogram, and combining the blocks of the level k to create a level k + 1 block, merging the image characteristic information of the level k, and performing image-wise block-by-block for all blocks of the level k + 1; And generating a feature information of the third step and updating the corresponding histogram, and repeating the third step for every level while increasing k by one.

여기서, 상기 영상의 특징정보는 밝기, 에지, 및 색상 정보를 포함한다.Here, the feature information of the image includes brightness, edge, and color information.

보다 상세하게는, 상기 제 2 단계에서 영상의 에지 특징정보를 추출하는 단계는, 상기 블록을 가로 및 세로로 2등분하여 4개의 서브블록을 나누는 제 1 서브단계와, 상기 각각의 서브블록들의 밝기 대표값들을 구하는 제 2 서브단계, 및 상기 인접한 서브블록 사이의 밝기차가 임계값(Te)을 넘으면 해당 서브블록들 사이에 에지가 존재하는 것으로 판단하고, 에지의 종류(수평에지, 수직에지, 혼합에지)를 검출하는 제 3 서브단계를 포함한다. 모든 서브블록들 사이의 밝기차가 임계값(Te)을 넘지 않으면, 상기 블록은 에지가 존재하지 않는 모노톤 블록으로 판정하는 제 4 서브단계를 더 포함하는 것이 더욱 양호하다.More specifically, the step of extracting the edge feature information of the image in the second step, the first sub-step dividing the block into two horizontally and vertically divided into four sub-blocks, the brightness of each of the sub-blocks A second sub-step of obtaining representative values, and if the brightness difference between the adjacent sub-blocks exceeds the threshold Te, it is determined that an edge exists between the sub-blocks, and the type of edge (horizontal edge, vertical edge, mixed) A third substep of detecting an edge). If the brightness difference between all the subblocks does not exceed the threshold Te, the block further includes a fourth substep of determining that the monotone block has no edge.

보다 양호하게는, 상기 제 2 단계에서 영상의 에지 특징정보를 추출하는 단계는, 상기 블록을 가로 및 세로로 2등분하여 4개의 서브블록을 나누는 제 1 서브단계와, 상기 각각의 서브블록들의 밝기 대표값들을 구하는 제 2 서브단계, 및 상기 서브블록들의 밝기 대표값들과 필터 계수값들을 컨볼루션(convolution)하여 0도 에지값(edge0)과, 45도 에지값(edge45)과, 90도 에지값(edge90)과, 135도 에지값(edge135)과, 혼합 에지값(complex_edge)을 각각 구하는 제 3 서브단계, 상기 0도 에지값(edge0)과, 45도 에지값(edge45)과, 90도 에지값(edge90)과, 135도 에지값(edge135)과, 혼합 에지값(complex_edge) 중 최대 에지값과 임계값(Th_sub_differece)을 비교하는 제 4 서브단계, 및 상기 제 4 서브단계에서 최대 에지값이 임계값보다 크면 상기 최대값의 에지를 상기 블록의 대표 에지로 판정하는 제 5 서브단계를 포함한다. 상기 제 4 서브단계에서 최대 에지값이 임계값보다 작으면 상기 블록을 단일톤 블록으로 판정하는 제 6 서브단계를 더 포함하는 것이 더욱 양호하다.More preferably, the step of extracting the edge feature information of the image in the second step, the first sub-step of dividing the block into two horizontally and vertically divided into four sub-blocks, the brightness of each of the sub-blocks A second substep of obtaining representative values, and convoluting the brightness representative values and the filter coefficient values of the subblocks with a zero degree edge value (edge0), a 45 degree edge value (edge45), and a 90 degree edge. A third substep of obtaining the value edge90, the 135 degree edge value edge135, and the mixed edge value complex_edge, respectively, the 0 degree edge value edge0, the 45 degree edge value edge45, and the 90 degree value A fourth sub-step of comparing the edge value edge90, the 135-degree edge value edge135, and the maximum edge value among the mixed edge value complex_edge and the threshold value Th_sub_differece, and the maximum edge value in the fourth sub-step. If it is larger than this threshold value, the fifth book determines the edge of the maximum value as the representative edge of the block. And a step. Further preferably, the fourth sub-step further includes a sixth sub-step of determining the block as a single tone block if the maximum edge value is smaller than a threshold.

보다 더 양호하게는, 상기 제 3 서브단계는, 상기 서브블록의 밝기 대표값들과 필터 계수값들을 수학식 1에 적용하여 0도 에지값(edge0)과, 45도 에지값(edge45)과, 90도 에지값(edge90)과, 135도 에지값(edge135)과, 혼합 에지값(complex_edge)을 구하는 단계이다.Even more preferably, the third sub-step may include applying the brightness representative values and the filter coefficient values of the sub-block to Equation 1, and the 0 degree edge value, the 45 degree edge value, and the 45 degree edge value, The 90-degree edge value edge 90, the 135-degree edge value edge 135, and the mixed edge value complex_edge are calculated.

여기서, 상기 서브블록의 밝기 대표값은 픽셀들의 평균값 또는 픽셀들의 중앙값을 사용한다.In this case, the brightness representative value of the subblock uses an average value of pixels or a median value of pixels.

더욱 양호하게는, 상기 제 2 단계에서 영상의 색상, 밝기 특징정보를 추출하는 단계는, 블록의 색차 정보를 이용하여 의사 색조(ph)와 의사 색농도(ps)를 구하는 제 1 서브단계와, 상기 의사 색조와 의사 색농도를 이용하여 유채색의 빈과 빈 사이의 선형 가중치(α)와, 유채색과 무채색 사이의 선형 가중치(β)를 구하는 제 2 서브단계, 상기 의사 색농도값을 이용하여 상기 블록의 색상이 순수 색상인지 혹은 무채색을 포함한 어두운 유채색인 지를 판별하는 제 3 서브단계, 상기 블록의 색상이 순수 색상이면, 상기 선형 가중치(α)를 이용하여 해당 색상 히스토그램 빈의 증가분을 계산하여 해당 색상 히스토그램을 갱신하는 제 4 서브단계, 및 상기 블록의 색상이 어두운 유채색이면, 상기 선형 가중치(α)와 선형 가중치(β)를 이용하여, 해당 색상 히스토그램 빈의 증가분과 밝기 히스토그램 빈의 증가분을 계산하여 해당 색상 히스토그램과 밝기 히스토그램을 갱신하는 제 5 서브단계를 포함한다.More preferably, the extracting the color and brightness characteristic information of the image in the second step may include a first sub-step of obtaining a pseudo color tone (ph) and a pseudo color density (ps) using color difference information of a block; A second substep of calculating a linear weight (α) between the colored and empty bins and a linear weight (β) between the colored and achromatic colors using the pseudo color tone and the pseudo color concentration, using the pseudo color concentration value; A third sub-step of determining whether the color of the block is pure color or a dark chromatic color including achromatic color; if the color of the block is pure color, the increase of the corresponding color histogram bin is calculated by using the linear weight α A fourth sub-step of updating a color histogram, and if the color of the block is a dark chromatic color, using the linear weight α and the linear weight β, a corresponding color histogram bin And a fifth substep of calculating the increment of the brightness histogram bin and the increment of the brightness histogram bin to update the corresponding color histogram and the brightness histogram.

양호하게는, 영상의 적어도 2개 이상의 특징정보를 하나의 복합 히스토그램에 표현한다.Preferably, at least two or more features of the image are represented in one composite histogram.

또한, 본 발명에 따르면 상술하였던 블록기반 영상 히스토그램 생성방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.According to the present invention, there is provided a computer-readable recording medium having recorded thereon a program for realizing the above-described method for generating a block-based image histogram.

이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 ″블록기반 영상 히스토그램 생성방법″을 보다 상세하게 설명하면 다음과 같다.Hereinafter, a method of generating a block-based image histogram according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 특징은 크게 5가지로 볼 수 있다. 첫째, 다수개의 픽셀들을 하나의 블록으로 묶어서 이를 기본 단위로 이용하여 특징 정보를 추출하는 것이다. 둘째, 블록 단위로 추출되는 특징 정보에 에지 및 질감 정보가 포함되도록 하는 것이다. 셋째, 블록의 크기는 영상의 크기에 따라 변형 가능하여 영상 전체의 크기에 상관없이 정량적인 특징 정보의 추출이 가능하도록 한다. 넷째, 히스토그램의 증가치를 계산할 때 선형 가중치를 적용하여 양자화오차를 줄인다. 다섯째, 하나의 영상에 대해 전체 영역, 부분적 전체 영역, 국부 영역에 대해 각각의 히스토그램을 생성한다.The characteristics of the present invention can be seen in five large. First, feature information is extracted by grouping a plurality of pixels into one block and using this as a basic unit. Second, the edge and texture information are included in the feature information extracted in block units. Third, the size of the block can be modified according to the size of the image so that quantitative feature information can be extracted regardless of the size of the entire image. Fourth, in calculating the increase of the histogram, the linear weight is applied to reduce the quantization error. Fifth, each histogram is generated for an entire region, a partial entire region, and a local region for one image.

도 1은 본 발명의 한 실시예에 따른 블록기반 영상 히스토그램 생성방법을 도시한 전체 흐름도이다.1 is a flowchart illustrating a method of generating a block-based image histogram according to an embodiment of the present invention.

도 1을 참조하면, 먼저, 변수 k를 0으로 초기화하고 상기 영상의 픽셀들을 하나의 그룹으로 묶어서 레벨 0의 블록 크기를 설정한다(S101). 상기 레벨 0의 모든 블록에 대해 블록 단위로 영상의 특징정보를 추출하여 해당 히스토그램을 갱신한다(S102, S103, S104, S105). 즉, 첫 번째 블록부터 블록 내 특징정보를 추출하고(S102), 해당 히스토그램을 갱신하는(S103) 동작을 모든 블록에 대해 수행한다(S104, S105). 블록 내 특징정보로는 밝기, 색상, 에지 정보가 포함되며, 정보를 추출하는 자세한 설명은 후술하기로 한다.Referring to FIG. 1, first, a variable k is initialized to 0 and a block size of level 0 is set by grouping pixels of the image into a group (S101). The feature histogram is updated for each block of the level 0 in units of blocks (S102, S103, S104, and S105). That is, extracting feature information in a block from the first block (S102) and updating the corresponding histogram (S103) is performed for all blocks (S104 and S105). The feature information in the block includes brightness, color, and edge information, and a detailed description of extracting information will be described later.

다음, 레벨 0의 모든 블록들에 대해 특징정보를 추출한 후, 레벨을 나타내는 변수 k를 1 증가시킨(S106) 다음, 레벨 0의 특징정보를 병합하여 레벨 1의 특징정보를 생성하고(S107), 해당 히스토그램을 갱신한다(S108). 이때, 레벨 1의 블록은 레벨 0의 블록들을 묶어서 만들 수 있으며, 레벨 1의 특징정보들도 레벨 0의 특징정보를 병합하여 생성할 수 있다. 레벨 1의 모든 블록들에 대해 특징정보를 추출하고 해당 히스토그램을 갱신하는 동작을 반복 수행한다(S109, S110).Next, after feature information is extracted for all blocks of level 0, the variable k representing the level is increased by 1 (S106), and then the feature information of level 0 is merged to generate feature information of level 1 (S107). The histogram is updated (S108). In this case, the block of level 1 may be formed by grouping the blocks of level 0, and the feature information of level 1 may be generated by merging the feature information of level 0. The operation of extracting feature information and updating a corresponding histogram for all blocks of level 1 is repeatedly performed (S109 and S110).

다음, 모든 레벨에 대한 특징정보 생성이 끝나지 않았으면(S111), 레벨을 나타내는 변수를 1 증가시키는 단계 S106으로 진행하고, 모든 레벨에 대한 특징정보 생성이 끝나면 종료한다.Next, if feature information generation for all levels is not finished (S111), the process proceeds to step S106 in which the variable representing the level is increased by one, and ends when feature information generation for all levels is finished.

1, 먼저, 첫 번째 특징인 히스토그램의 기본 단위에 대해 설명한다.First, the basic unit of the histogram, which is the first characteristic, is described.

기존의 히스토그램 생성방법에서는 영상 내 각 픽셀별로 추출된 밝기 혹은 색상 특징 정보를 해당 히스토그램 빈에 대해서만 갱신하였다. 그러나, 본 발명에서는 도 2에 도시된 바와 같이 여러 픽셀들 즉, N×M 픽셀 그룹을 하나의 블록으로 묶어서 마치 하나의 큰 픽셀(블록) 단위로 히스토그램 빈을 갱신한다. 즉, 히스토그램 빈의 갱신을 블록 단위로 정의함으로써 영상의 밝기, 색상 특징 뿐만 아니라 다양한 분해능을 갖는 에지 특징 정보도 추출한다. 또한, 영상의 크기에 비례하여 블록의 크기를 변형하여, 영상 전체의 크기에 상관없이(scale invariant) 정량적인 특징 정보의 추출이 가능하도록 한다.In the conventional histogram generation method, the brightness or color feature information extracted for each pixel in the image is updated only for the corresponding histogram bin. However, in the present invention, as shown in FIG. 2, the histogram bin is updated in units of one large pixel (block) by grouping several pixels, that is, N × M pixel groups, into one block. That is, by updating the histogram bin in block units, the edge feature information having various resolutions as well as the brightness and color characteristics of the image are extracted. In addition, by changing the size of the block in proportion to the size of the image, it is possible to extract quantitative feature information regardless of the size of the entire image (scale invariant).

도 2는 영상의 각 블록 단위별 히스토그램 갱신의 예를 도시한 도면이다. 각 블록마다 추출된 특징정보들은 블록 단위로 히스토그램 빈 갱신에 사용된다.2 is a diagram illustrating an example of a histogram update for each block unit of an image. Feature information extracted for each block is used to update the histogram bin on a block basis.

2, 두 번째 특징인 블록에서 추출된 특징 정보에 대해 설명한다.2, the feature information extracted from the second feature block will be described.

상기와 같이 N×M 픽셀들을 블록 단위로 묶어서 하나의 블록으로 구성하고 블록 단위로 특징 정보를 추출하기 때문에 밝기 및 색상 정보 뿐만 아니라 블록 내 발생되는 에지, 질감(texture) 등 다양한 특징 정보를 획득할 수 있다.As above, N × M pixels are grouped into blocks to form a block, and feature information is extracted in units of blocks. Therefore, various feature information such as edges and textures generated in the blocks can be obtained as well as brightness and color information. Can be.

그리고 이 블록 단위로 추출된 특징 정보는 복합(composite) 히스토그램 갱신에 반영할 수 있다. 하나의 블록은 도 3에 도시된 바와 같이 4개의 서브 블록(sub-block)들로 이루어진다. 각 서브 블록들은 내부 픽셀들의 밝기 대표값으로 표현된다. 서브 블록의 대표값으로는 서브 블록 내 픽셀들의 평균값(average value) 또는 중앙값(median value)을 사용한다. 이러한 서브 블록으로 이루어진 블록의 에지는 다음과 같은 방법으로 검출할 수 있다.The feature information extracted in units of blocks can be reflected in the composite histogram update. One block consists of four sub-blocks as shown in FIG. Each subblock is represented by the brightness representative value of the inner pixels. As a representative value of the sub block, an average value or a median value of pixels in the sub block is used. The edge of a block composed of such sub blocks can be detected in the following manner.

블록의 에지 존재 여부를 검출하는 방법의 제1실시예는 다음과 같다.A first embodiment of the method for detecting the presence or absence of an edge of a block is as follows.

도 3의 (a)에 도시된 바와 같이 블록은 4개의 서브 블록들로 이루어지며, 각 서브 블록들의 밝기 대표값은 각각 DC1, DC2, DC3, DC4라 한다. 블록간 에지 구별을 위한 밝기차의 임계값을 Te라 하면, 각 블록간 밝기값의 차이가 Te를 넘는 경우 해당 블록간에 에지가 존재하는 것이며 이를 굵은 실선으로 표현한다. 블록 내에 에지가 존재하는 경우 도 3의 (b), (c), (d)의 3가지 종류 중의 한가지 에지에 해당된다. 즉, (b)와 같은 수직 에지이거나, (c)와 같은 수평 에지이거나, (d)와 같은 혼합에지 중 한가지 에지이다. 이와 같이 에지가 판정되면 해당 히스토그램 빈을 1 증가시킨다.As shown in (a) of FIG. 3, a block is composed of four sub blocks, and the brightness representative values of each sub block are DC1, DC2, DC3, and DC4, respectively. When the threshold value of the brightness difference for distinguishing the edges between blocks is Te, when the difference in the brightness values between the blocks exceeds Te, the edges exist between the corresponding blocks, which are represented by a thick solid line. When the edge exists in the block, it corresponds to one of three types of (b), (c) and (d) of FIG. 3. That is, it is a vertical edge like (b), a horizontal edge like (c) or a mixed edge like (d). When the edge is determined in this manner, the corresponding histogram bin is incremented by one.

블록의 에지 존재 여부를 검출하는 방법의 제2실시예는 다음과 같다.A second embodiment of the method for detecting the presence or absence of an edge of a block is as follows.

도 4는 본 실시예에 따른 블록의 에지 존재 여부를 검출할 때 사용하는 5가지 필터들을 도시한 도면이다. 도 4의 (a)는 edgd 90의 필터 계수값, (b)는 edge 0의 필터 계수값, (c)는 edge 45의 필터 계수값, (d)는 edge 135의 필터 계수값, 및 (e)는 complex_edge의 필터 계수값이다. 도 5는 본 발명의 제2실시예에 따른 블록의 에지 존재 여부 검출방법을 도시한 흐름도이다.4 is a diagram illustrating five filters used when detecting the presence or absence of an edge of a block according to the present embodiment. (A) is a filter coefficient value of edgd 90, (b) is a filter coefficient value of edge 0, (c) is a filter coefficient value of edge 45, (d) is a filter coefficient value of edge 135, and (e ) Is the filter coefficient value of the complex_edge. 5 is a flowchart illustrating a method for detecting the presence of an edge of a block according to the second embodiment of the present invention.

도 5를 참조하면, 0도 에지값(edge0), 45도 에지값(edge45), 90도 에지값(edge90), 135도 에지값(edge135), 혼합 에지값(complex_edge)을 각각 구한다(S501). 이때, 상기한 에지값들은 상기한 도 4에 도시된 5가지의 필터와 각 서브 블록들의 대표값들을 컨볼루션(convolution)하여 구할 수 있는 바, 이는 수학식 1과 같다.Referring to FIG. 5, the 0 degree edge value edge0, the 45 degree edge value edge45, the 90 degree edge value edge90, the 135 degree edge value edge135, and the mixed edge value complex_edge are obtained, respectively (S501). . In this case, the edge values may be obtained by convolution of the five filters and the representative values of the respective sub-blocks shown in FIG.

여기서, mean_sub_block(0)는 도 3 (a)의 DC1, mean_sub_block(1)는 DC2, mean_sub_block(2)는 DC3, mean_sub_block(3)는 DC4를 각각 의미한다. 또한, edge90_filter(i) 내지 complex_edge_filter(i)는 도 4에 도시된 필터 계수값들을 의미한다. 예를 들어, edge45_filter(0)은, edge45_filter(1)과 edge45_filter(2)는 0, edge45_filter(3)은이다.Here, mean_sub_block (0) means DC1 of FIG. 3 (a), mean_sub_block (1) means DC2, mean_sub_block (2) means DC3, and mean_sub_block (3) means DC4, respectively. In addition, edge90_filter (i) to complex_edge_filter (i) mean filter coefficient values shown in FIG. 4. For example, edge45_filter (0) is , edge45_filter (1) and edge45_filter (2) are 0, edge45_filter (3) is to be.

상기와 같이 0도 에지값(edge0)과, 45도 에지값(edge45), 90도 에지값(edge90), 135도 에지값(edge135), 및 혼합 에지값(complex_edge)들을 계산한 다음, 이들 중 가장 큰 값이 임계값(Th_sub_differece)을 넘는지 판별하여(S502) 단일톤 블록과 에지블록을 구분한다. 즉, 최대 에지값이 임계값보다 크면 상기 최대값 에지를 그 블록의 대표 에지로 판별한다(S503). 그러나, 최대 에지값이 임계값보다 작으면 그 블록을 단일톤 블록으로 판별한다(S504). 상기와 같이 해당 블록의 에지 종류가 판별되면 해당 히스토그램 빈을 1 증가시킨다.As described above, the 0 degree edge value (edge0), the 45 degree edge value (edge45), the 90 degree edge value (edge90), the 135 degree edge value (edge135), and the mixed edge values (complex_edge) are calculated, and among these, It is determined whether the largest value exceeds the threshold Th_sub_differece (S502) to distinguish a single tone block from an edge block. That is, when the maximum edge value is larger than the threshold value, the maximum edge value is determined as the representative edge of the block (S503). However, if the maximum edge value is less than the threshold value, the block is determined as a single tone block (S504). As described above, when the edge type of the corresponding block is determined, the corresponding histogram bin is increased by one.

3. 블록에서 추출된 특징정보의 가변크기 블록(variable size block)화3. Variable size block of feature information extracted from blocks

이제까지는 영상 전체의 밝기, 색상, 에지 등의 분포 등을 일정한 해상도로 추출하였으나, 영상을 보다 효과적으로 표현하려면 다양한 해상도를 갖는 특징 정보의 추출이 필요하다. 본 발명에서는 도 6에 도시된 바와 같이 여러 개의 기본 블록(level 0)들로 이루어진 상위 블록(level 1)을 정의한다. 즉, 하위레벨 k의 블록들을 모아서 상위레벨 k+1의 블록으로 정의한다. 도면에서, 레벨 k의 블록들은 (0,0) 에서 (5,5) 까지이다. 하위레벨 k의 블록들을 9개씩 묶으면, (0,0)에서 (2,2) 까지의 블록들은 상위레벨 k+1의 B00 블록이 되고, (0,3) 에서 (2,5) 까지의 블록들은 상위레벨 k+1의 B01 블록이 되며, (3,0) 에서 (5,2) 까지의 블록들은 상위레벨 k+1의 B10 블록이 되고, (3,3) 에서 (5,5) 까지의 블록들은 상위레벨 k+1의 B11 블록이 된다.Up to now, the distribution of brightness, color, edge, etc. of the entire image is extracted at a constant resolution, but in order to express the image more effectively, it is necessary to extract feature information having various resolutions. In the present invention, as shown in FIG. 6, an upper block (level 1) consisting of several basic blocks (level 0) is defined. That is, the blocks of the lower level k are collected and defined as the blocks of the upper level k + 1. In the figure, blocks of level k range from (0,0) to (5,5). When nine blocks of lower level k are grouped, blocks from (0,0) to (2,2) become B00 blocks of upper level k + 1, and blocks from (0,3) to (2,5) Blocks become B01 blocks of higher level k + 1, blocks from (3,0) to (5,2) become B10 blocks of higher level k + 1, and (3,3) to (5,5) The blocks up to become B11 blocks of higher level k + 1.

영상을 보다 효과적으로 표현하려면, 각 레벨별로 에지 성분을 추출하여 해당 히스토그램의 빈을 발생한다. 상위레벨 블록의 특징정보는 하위레벨 블록들의 특징정보를 사용하여 간단한 연산으로 구할 수 있다. 그리고 영상 내 위치정보를 추가한 상위블록 특징정보는 영상내 위치별, 해상도별 특징 정보를 반영한 시멘틱(semantic)의 히스토그램을 도 7과 같이 구성할 수 있다. 즉, 각 레벨별로 수직 에지 히스토그램 빈과 수평 에지 히스토그램 빈, 및 혼합 에지 히스토그램 빈을 별도 발생할 수 있다.To represent the image more effectively, edge components are extracted for each level to generate bins of the histogram. The feature information of the upper level block can be obtained by a simple operation using the feature information of the lower level blocks. The upper block feature information in which the location information in the image is added may configure a histogram of a semantic reflecting the feature information for each location and resolution in the image as shown in FIG. 7. That is, the vertical edge histogram bin, the horizontal edge histogram bin, and the mixed edge histogram bin may be separately generated for each level.

4. 선형 갱신(linear update)4. linear update

색상에 있어서, 기존의 히스토그램 빈 갱신방법은 도 8에 도시된 바와 같이 주어진 구역내의 데이터 존재 유무를 가지고 해당 히스토그램의 빈을 1씩 증가시키는 바이너리(binary) 결정방법을 사용한다. 이 경우 빈과 빈 사이의 경계 부근에 존재하는 데이터의 경우 유사한 색상 특징을 반영하지만 2개의 빈에 각각 다르게 할당됨으로써 서로 다른 특징 정보로 표현되는 심각한 오차를 발생시킨다. 이러한 오차를 해소하기 위하여 종래에는 결과 히스토그램을 평탄화시키는 작업 즉, 저역통과 필터링을 행하였다. 그러나, 이러한 평탄화 작업으로 인하여 특징 정보의 손실이 많으므로 영상의 정확한 특징 정보를 반영할 수 없는 문제점이 있었다.In color, the conventional histogram bin updating method uses a binary determination method of incrementing the bins of the histogram by 1 with or without data in a given region as shown in FIG. In this case, data existing near the boundary between the bins reflects similar color features, but since they are differently assigned to the two bins, serious errors represented by different feature information are generated. In order to eliminate this error, conventionally, the result histogram is flattened, that is, low pass filtering. However, due to such flattening, there is a problem in that the feature information is lost so that the accurate feature information of the image cannot be reflected.

이러한 종래기술의 문제점을 보다 명확하게 살펴보기 위하여 도 8을 참조하면서 설명하면 다음과 같다.In order to look at the problems of the prior art more clearly with reference to Figure 8 as follows.

도 8의 (a)와 (c)의 ″A″부분은 모두 오렌지색이지만, (a)는 빨강에 가까운 오렌지색이고 (c)는 노랑에 가까운 오렌지색이다. 이 두 색은 비슷한 오렌지색이지만, (a)의 오렌지색은 (c)에 도시된 바와 같이 빨강 히스토그램 빈에 카운트되고, (c)의 오렌지색은 (d)에 도시된 바와 같이 노랑 히스토그램 빈에 카운트된다. 이와 같이 종래에는 빈과 빈 사이의 경계 부근에 존재하는 정보는 유사한 특징을 가지지만 각각 다른 빈에 할당되기 때문에 다른 특징 정보로 표현되는 심각한 오차를 발생시키는 문제점이 있었다.The portions ″ A ″ in FIGS. 8A and 8C are all orange, but (a) is orange near red and (c) is orange near yellow. These two colors are similar orange, but the orange of (a) is counted in the red histogram bin as shown in (c), and the orange of (c) is counted in the yellow histogram bin as shown in (d). As described above, information existing near the boundary between bins has similar characteristics, but since they are assigned to different bins, there is a problem of generating a serious error represented by different feature information.

이러한 문제를 해결하기 위하여, 본 발명에서는 각 빈과 빈 사이의 거리에 따른 선형적인 가중치를 적용함으로써 빈과 빈 사이에서 발생되는 양자화 오차를 줄인다.In order to solve this problem, the present invention reduces the quantization error generated between bins by applying linear weights according to the distance between each bin.

즉, 도 9를 참조하면, (a)에 도시된 ″A″부분과 (c)에 도시된 ″A″부분은 모두 오렌지색이며, 빨강(R)과 노랑(Y)의 경계부근에 위치한다. 이때, 빨강(R)에 가까운 오렌지색은 (b)에 도시된 바와 같이 빨강(R)에 더 많은 가중치가 부여되어 히스토그램 카운팅되고, 노랑(Y)에 가까운 오렌지색은 (d)에 도시된 바와 같이 노랑(Y)에 더 많은 가중치가 부여되어 히스토그램 카운팅된다. 각 빈과 빈 사이의 거리에 따른 선형적인 가중치의 적용에 따라 빈과 빈 사이에서 발생하는 양자화 오차를 줄인다. 따라서, 적은 수의 빈을 갖는 히스토그램이라도 특징 정보를 정확하게 반영할 수 있는 잇점이 있다.That is, referring to Fig. 9, both the portion ″ A ″ shown in (a) and the portion ″ A ″ shown in (c) are orange and are located near the boundary between red (R) and yellow (Y). At this time, orange close to red (R) is given more weight to red (R) as shown in (b) and histogram counts, and orange close to yellow (Y) is yellow as shown in (d). (Y) is weighted more and is histogram counted. By applying linear weights according to the distance between each bin, the quantization error occurring between the bins is reduced. Therefore, there is an advantage that the histogram having a small number of bins can accurately reflect the characteristic information.

이와 같은 선형 갱신의 적용예를 설명하면 다음과 같다.An example of the application of such a linear update is as follows.

도 10은 유채색영역을 마젠타(M), 청색(B), 사이안(C), 녹색(G), 노랑(Y)의 6가지로 구분하고, 무채색을 밝기에 따라 5가지로 구분하여 히스토그램의 빈을 카운트하는 예를 설명하기 위하여 도시한 도면이다. 이 경우, 히스토그램 빈 h(0)부터 h(5)는 색상 히스토그램이고, h(6)부터 h(10)은 밝기 히스토그램이다.10 is divided into six types of magenta (M), blue (B), cyan (C), green (G), and yellow (Y), and achromatic color is divided into five types according to brightness. The figure shows in order to demonstrate the example which counts a bin. In this case, the histogram bins h (0) to h (5) are color histograms, and h (6) to h (10) are brightness histograms.

본 발명에서는 YCbCr 색공간으로부터 의사 색조(pseudo hue)와 의사 색농도(pseudo saturation)를 계산하여 사용한다. 그러나, 색조(Hue)와 색농도(Saturation)로 표현되는 색공간을 사용하는 경우에는 의사 색조(pseudo hue)와 의사 색농도(pseudo saturation) 대신에 색조와 색농도를 그대로 사용할 수도 있다.In the present invention, pseudo hue and pseudo saturation are calculated and used from the YCbCr color space. However, when using the color space represented by Hue and Saturation, the color tone and color concentration may be used as it is instead of pseudo hue and pseudo saturation.

YCbCr 색공간에서, Cb, Cr값에 의하여 의사 색조(Psuedo Hue)와 의사 색농도(Psuedo Saturation)은 수학식 2와 같이 정의된다.In the YCbCr color space, Psuedo Hue and Psuedo Saturation are defined by Equation 2 according to Cb and Cr values.

색상 빈과 빈 사이의 선형 가중치(α)와 무채색과 유채색 빈 사이의 선형 가중치(β)는 수학식 3과 같이 구할 수 있다.The linear weight (α) between the color bins and the bins and the linear weight (β) between the achromatic and chromatic bins can be obtained as shown in Equation (3).

이때, 색차 성분을 이용한 색정보는 영상의 밝기에 무관한 색 특징 정보로서만 사용된다. 색공간에서 중심인 원점부근에서는 Cr과 Cb가 '0'근처의 값을 가지므로 무채색에 가까운 색이다. 일반적으로 이 색차값과 원점과의 거리를 임계치로 하여 무채색과 유채색을 구분하게 되는데, 자연 영상의 경우 이 경계에 존재하는 경우가 많이 발생하고, 이 경계에서 발생하는 오차가 매우 심각하게 발생한다. 즉, 밝기가 좀 더 밝은 색상은 유채색의 히스토그램 빈에 갱신되고, 밝기가 좀 더 어두운 색상은 무채색 히스토그램 빈에 갱신되는 등과 같이, 비슷한 어두운 밝기의 색상이더라도 서로 다른 히스토그램 빈에 갱신되는 등의 문제가 발생한다.In this case, the color information using the color difference component is used only as color feature information irrespective of the brightness of the image. In the vicinity of the origin, which is the center of the color space, Cr and Cb have values near '0', so they are almost achromatic. In general, achromatic and chromatic colors are distinguished by using the distance between the color difference value and the origin as a threshold. In the case of a natural image, a lot of cases exist at this boundary, and an error occurring at this boundary occurs very seriously. In other words, the lighter colors are updated in the chromatic histogram bins, and the lighter colors are updated in the achromatic histogram bins. Occurs.

본 발명에서는 이와 같은 무채색과 유채색의 경계부근에서도 선형 가중치를 고려한 갱신방법을 사용한다.In the present invention, the update method considering the linear weight is used even near the boundary between the achromatic and chromatic colors.

무채색 빈의 시작 임계치를 Ts라 한다면, 의사 색농도(ps)가 Ts를 넘으면 순수 색상이기 때문에 도 10의 (a)에 도시된 바와 같이 색상 히스토그램의 카운트는 빈과 빈 사이의 선형 가중치(α)만으로 각 빈(h(i))을 실수 값의 증가분으로 증가시킨다. 이는 수학식 4와 같이 표현된다.If the starting threshold of the achromatic bin is Ts, since the pseudo color density (ps) exceeds Ts, since the color is pure color, the count of the color histogram is linear weight (α) between the bins as shown in FIG. Alone increases each bin (h (i)) in increments of the real value. This is expressed as in Equation 4.

여기서, i=0,1,2,3,4,5 Where i = 0,1,2,3,4,5

한편, 의사 색농도(ps)가 Ts를 넘지 않으면 즉, 색공간에서 원점 부근에 위치한 무채색에 가까운 색상인 경우에는, 도 10의 (b)에 도시된 바와 같이 색상 히스토그램은 빈과 빈 사이의 선형 가중치(α)와 무채색 빈의 선형 가중치(β)를 포함하여 증가시킨다. 이는 수학식 5와 같이 표현된다.On the other hand, if the pseudo color density ps does not exceed Ts, that is, the color is close to achromatic color located near the origin in the color space, the color histogram is linear between the bins as shown in FIG. It increases by including the weight α and the linear weight β of the achromatic bin. This is expressed as in Equation 5.

여기서, i=0,1,2,3,4,5 Where i = 0,1,2,3,4,5

또한, 상기와 같이 밝기가 어두운 색상인 경우, 밝기 히스토그램을 5개의 빈들로 구분하고, 밝기 히스토그램 빈들을 선형 가중치(β)를 이용하여 수학식 6과 같은 조건에 따라 증가시킨다.In addition, when the brightness is dark as described above, the brightness histogram is divided into five bins, and the brightness histogram bins are increased according to the condition shown in Equation 6 using the linear weight β.

다음은, 에지와 밝기로 구성된 복합 히스토그램의 갱신 예를 설명하기로 한다. 도 11은 0 레벨의 블록들이 가지는 밝기 정보와, 0, 1, 2 레벨들의 블록들이 가지는 에지 정보들을 히스토그램 빈 갱신에 적용한 예를 설명하기 위하여 도시한 도면이다.Next, an example of updating a composite histogram composed of edges and brightness will be described. FIG. 11 is a diagram illustrating an example of applying brightness information of blocks of 0 levels and edge information of blocks of 0, 1, and 2 levels to histogram bin updating.

우선, 0 레벨에서, 블록의 대표 밝기값 L 에 대하여 밝기 히스토그램 빈은 Q개로 구분하는 바, 그 구분 조건은 수학식 7과 같다.First, at the 0 level, the brightness histogram bins are divided into Q for the representative brightness value L of the block, and the division condition is expressed by Equation (7).

그리고, 각 레벨에서의 블록에서 구하여진 방향성 에지의 강도를 각각 수직에지의 강도(αv(k)), 수평 에지의 강도(αh(k)), 혼합 에지의 강도(αmisc(k))라고 하면, 해당 히스토그램 빈의 갱신은 수학식 8과 같다.Then, the strengths of the directional edges obtained from the blocks at each level are respectively determined by the strength of the vertical edge (α v (k)), the strength of the horizontal edge (α h (k)), and the strength of the mixed edge (α misc (k). ), The update of the histogram bin is as shown in Equation (8).

상기와 같은 복합 히스토그램의 경우, 0 레벨의 밝기 히스토그램 빈은 h(0) 내지 h(Q-1)을 마련하고, 0 레벨 내지 2 레벨의 에지 히스토그램 빈은 h(Q) 내지 h(Q+8)을 마련한다.In the case of the complex histogram as described above, the zero-level brightness histogram bins provide h (0) to h (Q-1), and the zero-level to two-level edge histogram bins are h (Q) to h (Q + 8). ).

여기에 1 레벨, 2 레벨, .. , k 레벨의 밝기 히스토그램을 추가하여, 밝기에 대한 다해상도(multi-resolution) 표현을 추가할 수도 있다.You can add a multi-resolution representation of brightness by adding a 1-level, 2-level, .., k-level brightness histogram.

5. 영역별 히스토그램 생성5. Create histogram by region

도 12와 같이 블록 단위로 생성된 히스토그램을 이용하여, 영상의 전체 영역(global region), 부분적 전체영역(semi-global region), 국부 영역(local region)에 대하여 각각의 히스토그램을 생성한다. 이렇게 생성된 각 영역별 히스토그램은 영상의 전체적인 특징와 국부적인 위치정보를 잘 반영할 수 있는 특징정보로 이용할 수 있다.As shown in FIG. 12, histograms are generated for the global region, the semi-global region, and the local region of the image by using the histogram generated in units of blocks. The histogram for each region generated as described above may be used as feature information capable of reflecting the overall feature of the image and local location information.

전체 영역(global region)에 대하여 6개의 밝기 빈과 5개의 에지 빈을 사용하면 도 13에 도시된 바와 같이 11개의 히스토그램 빈을 생성할 수 있다. 이 11개의 히스토그램 빈을 이용하여 영상의 전체적인 특징정보를 표현한다.By using six brightness bins and five edge bins for the global region, eleven histogram bins can be generated as shown in FIG. 13. The 11 histogram bins are used to express the overall characteristic information of the image.

이 전체 영역을 가로 및 세로를 4등분하여 16개의 국부영역들을 만들고, 각각 국부영역별로 5개의 에지 빈을 생성하면 도 13에 도시된 바와 같이 80개의 히스토그램 빈이 생성된다.16 local regions are formed by dividing the entire region into four parts horizontally and vertically, and five edge bins are generated for each local region. As shown in FIG. 13, 80 histogram bins are generated.

마지막으로, 각 국부영역에 대하여 가로, 세로별로 각각 에지의 종류별로 누적을 하여 가로에 대하여 4개의 부분적 전체영역을 만들고, 세로에 대해 4개의 부분적 전체영역을 만든다. 각 부분적 전체영역에 대해 5가지 에지 빈이 존재하면, 도 13에 도시된 바와 같이 40개의 에지 빈이 생성된다.Lastly, each partial area is accumulated for each type of edges horizontally and vertically to create four partial total areas for the horizontal and four partial full areas for the vertical. If five edge bins exist for each partial full region, 40 edge bins are generated as shown in FIG.

즉, 도 13에 도시된 바와 같은 복합 히스토그램에는 전체 영역에 대한 밝기 정보가 h(0)부터 h(5)까지 갱신되고, 전체 영역에 대한 에지 정보가 h(6)부터 h(10)까지 갱신되며, 국부 영역에 대한 에지 정보가 그 위치별로 5개씩 h(11)부터 h(90)까지 갱신되고, 부분적 전체영역에 대한 에지 정보가 그 위치별로 5개씩 h(91)부터 h(130)까지 갱신된다.That is, in the composite histogram as shown in FIG. 13, brightness information of the entire area is updated from h (0) to h (5), and edge information of the entire area is updated from h (6) to h (10). The edge information for the local area is updated from h (11) to h (90) by 5 for each position, and the edge information for the partial entire area is 5 for each position from h (91) to h (130). Is updated.

이와 같이 히스토그램 빈의 순서가 정해지면, 부분적 전체영역이나 국부영역의 히스토그램에는 위치정보와 에지 특징정보가 동시에 표현된다.When the histogram bins are determined in this manner, the positional information and the edge feature information are simultaneously expressed in the histogram of the partial entire region or the local region.

이때, 이 복합 히스토그램은 각 영역별 정규화되는데, 그 방법은 아래와 같다.In this case, the composite histogram is normalized for each region, and the method is as follows.

첫 번째, 전체 영역 히스토그램 빈(global_histogram_value[i])은 영상내 존재하는 전체영역의 블록의 개수(global_number_block)로 나누어 수학식 9와 같이 정규화한다.First, the global region histogram bin (global_histogram_value [i]) is normalized as shown in Equation 9 by dividing by the number of blocks of the entire region existing in the image (global_number_block).

두 번째, 국부 영역의 80개의 히스토그램 빈은 각 국부영역의 영상에 대하여 각각 국부영역 내 블록의 갯수(local_global_number_block)로 나누어 수학식 10과 같이 정규화한다.Second, the 80 histogram bins of the local area are normalized as shown in Equation 10 by dividing the number of blocks in the local area (local_global_number_block) with respect to the image of each local area.

마지막으로, 부분적 전체 영역의 40개의 빈은 각 부분적 전체 영역의 영상에 대해, 가로 또는 세로로 연속된 부분 영상 내 블록 수(semi_global_number_block)로 나누어 수학식 11과 같이 정규화한다.Finally, 40 bins of the partial full region are normalized as shown in Equation 11 by dividing the number of blocks in the partial image horizontally or vertically by semi_global_number_block for each partial full region image.

이렇게 정규화된 nomalize_histogram[i]는 도 13과 같이 표현된다.The normalized nomalize_histogram [i] is expressed as shown in FIG. 13.

위에서 양호한 실시예에 근거하여 이 발명을 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것이다. 이 발명이 속하는 분야의 숙련자에게는 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.While the invention has been described above based on the preferred embodiments thereof, these embodiments are intended to illustrate rather than limit the invention. It will be apparent to those skilled in the art that various changes, modifications, or adjustments to the above embodiments can be made without departing from the spirit of the invention. Therefore, the protection scope of the present invention will be limited only by the appended claims, and should be construed as including all such changes, modifications or adjustments.

이상과 같이 본 발명에 따른 히스토그램 생성방법은, 여러 개의 픽셀로 이루어진 블록 단위로 특징정보를 추출하기 때문에 종래에는 추출하지 못했던 에지 정보를 추출할 수 있다. 또한, 다양한 해상도의 밝기, 색상, 에지 등의 특징정보를 추출하기 때문에 영상의 내용을 반영하는 특징정보를 보다 자세하게 추출할 수 있고, 유사도 측정이나 거리 측정에서 정확한 비교가 가능해지는 효과가 있다.As described above, in the histogram generation method according to the present invention, since feature information is extracted in units of blocks composed of a plurality of pixels, edge information, which has not been conventionally extracted, may be extracted. In addition, since feature information such as brightness, color, and edge of various resolutions is extracted, feature information reflecting the content of an image can be extracted in more detail, and accurate comparison can be performed in similarity measurement or distance measurement.

또한, 선형 갱신방법을 이용함으로써, 빈과 빈 사이의 경계에서 발생하는 양자화 오차를 상당히 감소시킬 수 있는 효과가 있다. 또한, 히스토그램 빈을 정규화하여 사용하기 때문에 영상의 크기에 관계없이 유사한 영상을 검색해 낼 수 있는 효과가 있다.In addition, by using the linear update method, there is an effect that the quantization error occurring at the boundary between bins can be significantly reduced. In addition, since the histogram bin is normalized and used, similar images can be searched regardless of the size of the image.

Claims (13)

영상 데이터의 색정보와 밝기정보를 이용하여 영상 히스토그램을 생성하는 방법에 있어서,In the method for generating an image histogram using color information and brightness information of image data, 상기 영상의 픽셀들을 하나의 그룹으로 묶은 블록 단위로 영상의 특징정보를 추출하여 각 특징별로 전체 히스토그램 빈들을 갱신하고, 상기 블록의 크기를 변화시키고 상기 크기 변화된 블록 단위로 영상의 특징정보를 추출하여 각 블록별 부분 히스토그램 빈들을 갱신하여, 상기 전체 히스토그램 빈들과 부분 히스토그램 빈들을 결합하여 영상 히스토그램을 생성한 것을 특징으로 하는 블록기반 영상 히스토그램 생성방법.Extract the feature information of the image in units of blocks that group the pixels of the image into one group, update all histogram bins for each feature, change the size of the block, and extract the feature information of the image in units of the changed size block. And updating the partial histogram bins for each block, and combining the all histogram bins and the partial histogram bins to generate an image histogram. 제 1 항에 있어서, 변수 k를 초기화하고 상기 영상의 픽셀들을 하나의 그룹으로 묶어서 레벨 k의 블록 크기를 설정하는 제 1 단계와,The method of claim 1, further comprising: initializing a variable k and grouping pixels of the image into a group to set a block size of level k; 상기 레벨 k의 모든 블록에 대해 블록 단위로 영상의 특징정보를 추출하여 해당 히스토그램을 갱신하는 제 2 단계와,A second step of extracting feature information of an image in block units for all blocks of the level k and updating a corresponding histogram; 상기 레벨 k의 블록들을 묶어서 레벨 k+1의 블록을 만들고, 상기 레벨 k의 영상 특징정보들을 병합하면서 상기 레벨 k+1의 모든 블록에 대해 블록 단위로 영상의 특징정보를 생성하여 해당 히스토그램을 갱신하는 제 3 단계,Create a block of level k + 1 by combining the blocks of level k, merge the image feature information of level k, generate feature information of the image block by block for all blocks of level k + 1, and update the corresponding histogram. The third step, 상기 k를 1씩 증가시키면서 모든 레벨에 대해 상기 제 3 단계를 반복 수행하는 제 4 단계를 포함한 것을 특징으로 하는 블록기반 영상 히스토그램 생성방법.And a fourth step of repeating the third step for every level while increasing the k by one. 제 2 항에 있어서, 상기 영상의 특징정보는 밝기, 에지, 및 색상 정보를 포함한 것을 특징으로 하는 블록기반 영상 히스토그램 생성방법.The method of claim 2, wherein the feature information of the image includes brightness, edge, and color information. 제 3 항에 있어서, 상기 제 2 단계에서 영상의 에지 특징정보를 추출하는 단계는,The method of claim 3, wherein the extracting edge feature information of the image in the second step comprises: 상기 블록을 가로 및 세로로 2등분하여 4개의 서브블록을 나누는 제 1 서브단계와,A first substep of dividing the block into two horizontally and vertically to divide four subblocks; 상기 각각의 서브블록들의 밝기 대표값들을 구하는 제 2 서브단계, 및A second substep of obtaining brightness representative values of the respective subblocks, and 상기 인접한 서브블록 사이의 밝기차가 임계값(Te)을 넘으면 해당 서브블록들 사이에 에지가 존재하는 것으로 판단하고, 에지의 종류(수평에지, 수직에지, 혼합에지)를 검출하는 제 3 서브단계를 포함한 것을 특징으로 하는 블록기반 영상 히스토그램 생성방법.When the brightness difference between the adjacent subblocks exceeds the threshold Te, it is determined that an edge exists between the corresponding subblocks, and a third substep of detecting a type of edge (horizontal edge, vertical edge, and mixed edge) is performed. Block-based image histogram generation method comprising the. 제 4 항에 있어서, 모든 서브블록들 사이의 밝기차가 임계값(Te)을 넘지 않으면, 상기 블록은 에지가 존재하지 않는 모노톤 블록으로 판정하는 제 4 서브단계를 더 포함한 것을 특징으로 하는 블록기반 영상 히스토그램 생성방법.The block-based image of claim 4, further comprising: a fourth sub-step of determining that the block is a monotone block having no edge if the brightness difference between all subblocks does not exceed a threshold Te. How to create a histogram. 제 3 항에 있어서, 상기 제 2 단계에서 영상의 에지 특징정보를 추출하는 단계는,The method of claim 3, wherein the extracting edge feature information of the image in the second step comprises: 상기 블록을 가로 및 세로로 2등분하여 4개의 서브블록을 나누는 제 1 서브단계와,A first substep of dividing the block into two horizontally and vertically to divide four subblocks; 상기 각각의 서브블록들의 밝기 대표값들을 구하는 제 2 서브단계, 및A second substep of obtaining brightness representative values of the respective subblocks, and 상기 서브블록들의 밝기 대표값들과 필터 계수값들을 컨볼루션(convolution)하여 0도 에지값(edge0)과, 45도 에지값(edge45)과, 90도 에지값(edge90)과, 135도 에지값(edge135)과, 혼합 에지값(complex_edge)을 각각 구하는 제 3 서브단계,The brightness representative values and filter coefficient values of the subblocks are convolutioned so that a zero degree edge value, a 45 degree edge value 45, an 90 degree edge value 90, and a 135 degree edge value are convolved. a third substep of obtaining edge135 and a mixed edge value complex_edge, respectively; 상기 0도 에지값(edge0)과, 45도 에지값(edge45)과, 90도 에지값(edge90)과, 135도 에지값(edge135)과, 혼합 에지값(complex_edge) 중 최대 에지값과 임계값(Th_sub_differece)을 비교하는 제 4 서브단계, 및The maximum edge value and the threshold value among the zero degree edge value edge0, the 45 degree edge value edge45, the 90 degree edge value edge90, the 135 degree edge value edge135, and the mixed edge value complex_edge A fourth sub-step of comparing (Th_sub_differece), and 상기 제 4 서브단계에서 최대 에지값이 임계값보다 크면 상기 최대값의 에지를 상기 블록의 대표 에지로 판정하는 제 5 서브단계를 포함한 것을 특징으로 하는 블록기반 영상 히스토그램 생성방법.And a fifth substep of determining, as the representative edge of the block, the edge of the maximum value when the maximum edge value is larger than a threshold value in the fourth substep. 제 6 항에 있어서,The method of claim 6, 상기 제 4 서브단계에서 최대 에지값이 임계값보다 작으면 상기 블록을 단일톤 블록으로 판정하는 제 6 서브단계를 포함한 것을 특징으로 하는 블록기반 영상 히스토그램 생성방법.And a sixth sub-step of determining the block as a single-tone block when the maximum edge value is less than a threshold value in the fourth sub-step. 제 6 항에 있어서, 상기 제 3 서브단계는,The method of claim 6, wherein the third sub-step, 상기 서브블록의 밝기 대표값들과 필터 계수값들을 아래의 식에 적용하여 0도 에지값(edge0)과, 45도 에지값(edge45)과, 90도 에지값(edge90)과, 135도 에지값(edge135)과, 혼합 에지값(complex_edge)을 구하는 단계인 것을 특징으로 하는 블록기반 영상 히스토그램 생성방법.The brightness representative values and the filter coefficient values of the subblock are applied to the following equations for the 0 degree edge value, the 45 degree edge value, the 45 degree edge value, the 90 degree edge value, and the 135 degree edge value. and a step of obtaining the mixed edge value complex_edge (edge135). [식][expression] 여기서, edge90_filter(i) 내지 complex_egde_filter(i)는 해당 필터의 계수값이다.Here, edge90_filter (i) to complex_egde_filter (i) are coefficient values of the corresponding filter. 제 4 항 내지 제 8 항 중 어느 한 항에 있어서, 상기 서브블록의 밝기 대표값은 픽셀들의 평균값인 것을 특징으로 하는 블록기반 영상 히스토그램 생성방법.The method of claim 4, wherein the brightness representative value of the subblocks is an average value of pixels. 제 4 항 내지 제 8 항 중 어느 한 항에 있어서, 상기 서브블록의 밝기 대표값은 픽셀들의 중앙값인 것을 특징으로 하는 블록기반 영상 히스토그램 생성방법.The method of claim 4, wherein the brightness representative value of the subblock is a median value of pixels. 제 3 항에 있어서, 상기 제 2 단계에서 영상의 색상, 밝기 특징정보를 추출하는 단계는,The method of claim 3, wherein the extracting color and brightness characteristic information of the image in the second step comprises: 블록의 색차 정보를 이용하여 의사 색조(ph)와 의사 색농도(ps)를 구하는 제 1 서브단계와,A first sub-step of obtaining a pseudo color tone (ph) and a pseudo color density (ps) using color difference information of a block, 상기 의사 색조와 의사 색농도를 이용하여 유채색의 빈과 빈 사이의 선형 가중치(α)와, 유채색과 무채색 사이의 선형 가중치(β)를 구하는 제 2 서브단계,A second substep of calculating a linear weight? Between the colored and empty bins and a linear weight? Between the colored and achromatic colors using the pseudo color tone and the pseudo color concentration; 상기 의사 색농도값을 이용하여 상기 블록의 색상이 순수 색상인지 혹은 무채색을 포함한 어두운 유채색인 지를 판별하는 제 3 서브단계,A third sub-step of determining whether the color of the block is a pure color or a dark chromatic color including an achromatic color using the pseudo color concentration value; 상기 블록의 색상이 순수 색상이면, 상기 선형 가중치(α)를 이용하여 해당 색상 히스토그램 빈의 증가분을 계산하여 해당 색상 히스토그램을 갱신하는 제 4 서브단계, 및A fourth sub-step of updating the color histogram by calculating an increment of the corresponding color histogram bin by using the linear weight α when the color of the block is pure color; and 상기 블록의 색상이 어두운 유채색이면, 상기 선형 가중치(α)와 선형 가중치(β)를 이용하여, 해당 색상 히스토그램 빈의 증가분과 밝기 히스토그램 빈의 증가분을 계산하여 해당 색상 히스토그램과 밝기 히스토그램을 갱신하는 제 5 서브단계를 포함한 것을 특징으로 하는 블록기반 영상 히스토그램 생성방법.If the color of the block is a dark chromatic color, the linear weight (α) and the linear weight (β) are used to calculate the increment of the corresponding color histogram bin and the brightness histogram bin to update the corresponding color histogram and the brightness histogram. Block-based image histogram generation method comprising the five sub-steps. 제 1 항 또는 제 2 항에 있어서, 영상의 적어도 2개 이상의 특징정보를 하나의 복합 히스토그램에 표현하는 것을 특징으로 하는 블록기반 영상 히스토그램 생성방법.The method of claim 1, wherein at least two or more pieces of characteristic information of the image are represented in one complex histogram. 컴퓨터에,On your computer, 변수 k를 초기화하고 상기 영상의 픽셀들을 하나의 그룹으로 묶어서 레벨 k의 블록 크기를 설정하는 제 1 단계와,A first step of initializing a variable k and grouping pixels of the image into a group to set a block size of level k, 상기 레벨 k의 모든 블록에 대해 블록 단위로 영상의 밝기, 색상, 에지 특징정보를 추출하여 해당 히스토그램을 갱신하는 제 2 단계와,A second step of extracting brightness, color, and edge characteristic information of an image in units of blocks for all blocks of the level k and updating a corresponding histogram; 상기 레벨 k의 블록들을 묶어서 레벨 k+1의 블록을 만들고, 상기 레벨 k의 영상 특징정보들을 병합하면서 상기 레벨 k+1의 모든 블록에 대해 블록 단위로 영상의 특징정보를 생성하여 해당 히스토그램을 갱신하는 제 3 단계,Create a block of level k + 1 by combining the blocks of level k, merge the image feature information of level k, generate feature information of the image block by block for all blocks of level k + 1, and update the corresponding histogram. The third step, 상기 k를 1씩 증가시키면서 모든 레벨에 대해 상기 제 3 단계를 반복 수행하는 제 4 단계를 포함하여, 영상 데이터의 색정보와 밝기 정보를 이용하여 영상 히스토그램을 생성하는 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.Recording a program for realizing a method of generating an image histogram using color information and brightness information of image data, including a fourth step of repeating the third step for all levels while increasing k by one. Computer-readable recording media.
KR10-1999-0043779A 1999-03-12 1999-10-11 Block-based Image Histogram Generation Method KR100369370B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR10-1999-0043779A KR100369370B1 (en) 1999-10-11 1999-10-11 Block-based Image Histogram Generation Method
US09/493,841 US6807298B1 (en) 1999-03-12 2000-01-28 Method for generating a block-based image histogram
US10/881,807 US7106900B2 (en) 1999-03-12 2004-06-30 Method for generating a block-based image histogram
US11/350,626 US7697754B2 (en) 1999-03-12 2006-02-08 Method for generating a block-based image histogram

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-1999-0043779A KR100369370B1 (en) 1999-10-11 1999-10-11 Block-based Image Histogram Generation Method

Publications (2)

Publication Number Publication Date
KR20010036671A true KR20010036671A (en) 2001-05-07
KR100369370B1 KR100369370B1 (en) 2003-01-24

Family

ID=19614763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-0043779A KR100369370B1 (en) 1999-03-12 1999-10-11 Block-based Image Histogram Generation Method

Country Status (1)

Country Link
KR (1) KR100369370B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100735236B1 (en) * 2006-02-08 2007-07-03 삼성전자주식회사 Apparatus and method for analysing histogram of image and luminance adjustment apparatus using the same
KR100827229B1 (en) * 2006-05-17 2008-05-07 삼성전자주식회사 Apparatus and method for video retrieval
KR100850935B1 (en) * 2001-12-27 2008-08-08 주식회사 엘지이아이 Apparatus for detecting scene conversion
KR100959053B1 (en) * 2003-01-13 2010-05-20 한국전자통신연구원 Non-linear quantization and similarity matching method for retrieving video sequence having a set of image frames
CN116758528A (en) * 2023-08-18 2023-09-15 山东罗斯夫新材料科技有限公司 Acrylic emulsion color change identification method based on artificial intelligence

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101579107B1 (en) * 2008-12-26 2015-12-21 삼성전자주식회사 Apparatus and method for recognizing flower in digital image processing device
KR101979492B1 (en) * 2017-02-10 2019-05-16 한양대학교 산학협력단 Method for adaptive scene change detection based on resolution and apparatus for the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10301948A (en) * 1997-04-25 1998-11-13 Nippon Telegr & Teleph Corp <Ntt> Method for retrieving image and video
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
KR100319154B1 (en) * 1999-02-01 2001-12-29 구자홍 Method of image composition and method of image search system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850935B1 (en) * 2001-12-27 2008-08-08 주식회사 엘지이아이 Apparatus for detecting scene conversion
KR100959053B1 (en) * 2003-01-13 2010-05-20 한국전자통신연구원 Non-linear quantization and similarity matching method for retrieving video sequence having a set of image frames
KR100735236B1 (en) * 2006-02-08 2007-07-03 삼성전자주식회사 Apparatus and method for analysing histogram of image and luminance adjustment apparatus using the same
US8023731B2 (en) 2006-02-08 2011-09-20 Samsung Electronics Co., Ltd Apparatus and method for histogram analysis of image and luminance compensation apparatus using the same
KR100827229B1 (en) * 2006-05-17 2008-05-07 삼성전자주식회사 Apparatus and method for video retrieval
CN116758528A (en) * 2023-08-18 2023-09-15 山东罗斯夫新材料科技有限公司 Acrylic emulsion color change identification method based on artificial intelligence
CN116758528B (en) * 2023-08-18 2023-11-03 山东罗斯夫新材料科技有限公司 Acrylic emulsion color change identification method based on artificial intelligence

Also Published As

Publication number Publication date
KR100369370B1 (en) 2003-01-24

Similar Documents

Publication Publication Date Title
US6807298B1 (en) Method for generating a block-based image histogram
US7343046B2 (en) Systems and methods for organizing image data into regions
US7991224B2 (en) Segmenting digital image and producing compact representation
US5848185A (en) Image processing apparatus and method
JP4242532B2 (en) Digital image data classification method
JP4295882B2 (en) Method for classifying digital image data and method for classifying and classifying data blocks
JP4568460B2 (en) Image processing apparatus and recording medium
US5778092A (en) Method and apparatus for compressing color or gray scale documents
EP1392047B1 (en) Digital document processing for image enhancement
JPH06319133A (en) Picture coder
CA2326631A1 (en) Representative color designating method using reliability
KR20010036671A (en) Block-based Image Histogram Generation Method
JP4035456B2 (en) Image compression method and image compression apparatus
KR100314654B1 (en) Composite histogram generation method using super pixel and liner quantization
JPH0654180A (en) Method and device for image area separation
JP3062224B2 (en) Image coding method
JP3647071B2 (en) Image processing apparatus and method
KR100484170B1 (en) Method and apparatus for improvement of digital image quality
JP2004242075A (en) Image processing apparatus and method therefor
KR100514734B1 (en) Method and apparatus for improvement of digital image quality
JPH08251405A (en) Device for discriminating attribute of image area
AU2005211628A1 (en) Processing digital image
AU2004242418A1 (en) Generating compressed output representation
JPH08294002A (en) Image division method and image division device

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121206

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20131209

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20141229

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20151228

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee