KR101688435B1 - 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법 - Google Patents

블록 구조를 이용한 적분 영상 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR101688435B1
KR101688435B1 KR1020150091485A KR20150091485A KR101688435B1 KR 101688435 B1 KR101688435 B1 KR 101688435B1 KR 1020150091485 A KR1020150091485 A KR 1020150091485A KR 20150091485 A KR20150091485 A KR 20150091485A KR 101688435 B1 KR101688435 B1 KR 101688435B1
Authority
KR
South Korea
Prior art keywords
integral image
pixel
block
pixels
block structure
Prior art date
Application number
KR1020150091485A
Other languages
English (en)
Inventor
정용진
이수현
나원섭
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020150091485A priority Critical patent/KR101688435B1/ko
Priority to PCT/KR2015/008253 priority patent/WO2016208806A1/ko
Application granted granted Critical
Publication of KR101688435B1 publication Critical patent/KR101688435B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 적분 영상을 생성하고 저장하는 장치와 그 방법에 관한 것이다.
본 발명에 따른 적분 영상 데이터 생성 장치는 입력 영상에 포함된 화소의 신호값을 입력받아, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는 블록 구조 적분 영상 블록을 생성하는 블록 구조 적분 영상 생성부; 상기 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 각 신호값을 저장하는 메모리부; 및 상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출하는 적분 영상 데이터 산출부를 포함할 수 있다.
본 발명에 따른 적분 영상 데이터 생성 장치 및 그 방법은 이와 같이 블록 구조를 이용하여 기존의 적분 영상 방식 보다 적은 메모리를 이용하여 적분 영상 데이터를 생성하는 효과가 있다.

Description

블록 구조를 이용한 적분 영상 생성 장치 및 그 방법{Apparatus and Method of Generating Integral Image using Block Structure}
본 발명은 적분 영상을 생성하고 저장하는 장치와 그 방법에 관한 것이다.
근래에 들어 디지털화된 영상 신호 처리 기술이 발전하고, 디스플레이 장치들이 지원하는 해상도가 점차적으로 증가하며 또한 유무선 데이터 전송 대역폭이 확대되고 있는 상황 가운데, 고해상도의 영상 컨텐츠에 대한 수요와 공급이 증가하고 있다. 그리고 그에 따라 고해상도 영상을 보다 효율적으로 신호 처리할 수 있는 기술이 요구되고 있다.
적분 영상(Integral Image)은 입력 영상의 화소 값을 기준 좌표로부터 일정한 순서로 누적하여 생성하는 영상으로, 영상 신호 처리에 있어서 연산량을 감소시키는 수단으로 이용되고 있다. 적분 영상은 "Crow, F., Summed-area tables for texture mapping, in SIGGRAPH'84 : Proceedings of the 11th annual conference on Computer graphics and interactive techniques, New York, NY, USA, 1984, pp. 207-212, ACM"에 의하여 처음 제안된 개념으로, 영상 신호 처리 분야에서 임의의 영상 구역 내의 화소 신호값의 합을 입력 영상을 이용할 때 보다 빠르게 연산하기 위한 용도로 이용된다. 예를 들면 Haar-like Feature, SURF와 같은 특징점 연산과 적응이진화 등의 연산에서 적분 영상이 적용되어 사용되고 있다.
그런데 적분 영상은 상술한 바와 같이 연산의 효율성을 증가시키는 반면, 이를 저장하기 위하여는 본래 입력 영상을 저장하는데 필요한 공간보다 여러 배 많은 공간을 필요로 한다는 점에 있어서, 메모리 효율성이 떨어진다는 단점이 있다. 따라서 메모리 자원이 한정적인 임베디드 시스템에서 적분 영상을 이용하는데 어려움이 있다는 한계점이 있다.
해외논문 001 : Crow, F., "Summed-area tables for texture mapping", in SIGGRAPH'84 : Proceedings of the 11th annual conference on Computer graphics and interactive techniques, New York, NY, USA, 1984, pp. 207-212, ACM
본 발명이 해결하고자 하는 과제는, 블록 구조를 이용하여 기존의 적분 영상 방식 보다 적은 메모리를 이용하여 적분 영상 데이터를 생성하는 적분 영상 생성 장치 및 그에 관한 방법을 제공하는 것이다. 또한 보다 적은 메모리를 이용하면서도 동시에 연산량의 증가량이 최소화되도록 하는 적분 영상 생성 장치 및 그에 관한 방법을 제공하는 것이다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 적분 영상 데이터 생성 장치는, 입력 영상에 포함된 화소의 신호값을 입력받는 영상 신호 입력부; 및 상기 입력 영상을 이용하여, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는, 블록 구조 적분 영상 블록을 생성하는 블록 구조 적분 영상 생성부를 포함할 수 있다.
여기서, 상기 블록 구조 적분 영상 생성부는, 상기 블록 구조 적분 영상 블록 내의 화소 중 어느 한 화소를 상기 적분 영상 화소로, 상기 적분 영상 화소를 기준으로 열 방향으로 위치하는 화소들을 상기 행 방향 적분 영상 화소로, 상기 적분 영상 화소를 기준으로 행 방향으로 위치하는 화소들을 상기 열 방향 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성하는 것을 특징으로 할 수 있다.
여기서, 상기 블록 구조 적분 영상 생성부는, 상기 블록 구조 적분 영상 블록 내의 화소 중에서 상기 블록 구조 적분 영상 블록의 모서리에 위치하는 화소를 상기 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성하는 것을 특징으로 할 수 있다.
여기서, 상기 블록 구조 적분 영상 생성부는, 상기 블록 구조 적분 영상 블록 내의 화소 중에서 상기 블록 구조 적분 영상 블록의 좌측 상단 모서리에 위치하는 화소를 상기 적분 영상 화소로, 상기 적분 영상 화소를 기준으로 아래의 열 방향으로 위치하는 화소들을 상기 행 방향 적분 영상 화소로, 상기 적분 영상 화소를 기준으로 우측의 행 방향으로 위치하는 화소들을 상기 열 방향 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성하는 것을 특징으로 할 수 있다.
여기서 적분 영상 화소의 신호값은 상기 입력 영상의 기준 좌표와 상기 적분 영상 화소 좌표를 두 꼭지점으로 하는 영상 블록에 포함된 화소들의 신호값들을 합한 값이고, 상기 열 방향 적분 영상 화소의 신호값은 상기 열 방향 적분 영상 화소 좌표에서 상기 기준 좌표의 열 방향 좌표에 이르기까지 열 방향으로 존재하는 화소들의 신호값들을 합한 값이고, 상기 행 방향 적분 영상 화소의 신호값은 상기 행 방향 적분 영상 화소 좌표에서 상기 기준 좌표의 행 방향 좌표에 이르기까지 행 방향으로 존재하는 화소들의 신호값들을 합한 값인 것을 특징으로 할 수 있다.
여기서 상기 블록 구조 적분 영상 블록은 상기 적분 영상 화소와 상기 행 방향 적분 영상 화소와 상기 열 방향 적분 영상 화소 이외의 나머지 화소의 신호값은, 상기 나머지 화소의 위치에 대응하는 상기 입력 영상 화소의 신호값과 동일한 값을 가지는 것을 특징으로 할 수 있다.
여기서, 상기 블록 구조 적분 영상 생성부는, 상기 블록 구조 적분 영상 블록 내의 화소 중에서 상기 블록 구조 적분 영상 블록의 중앙 부분에 위치하는 화소를 상기 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성하는 것을 특징으로 할 수 있다.
여기서, 상기 블록 구조 적분 영상 생성부는, 상기 적분 영상 화소를 기준으로 위와 아래의 열 방향으로 위치하는 화소들을 상기 행 방향 적분 영상 화소로, 상기 적분 영상 화소를 기준으로 좌측과 우측의 행 방향으로 위치하는 화소들을 상기 열 방향 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성하는 것을 특징으로 할 수 있다.
여기서 상기 적분 영상 화소의 신호값은 상기 입력 영상의 기준 좌표와 상기 적분 영상 화소 좌표를 두 꼭지점으로 하는 영상 블록에 포함된 화소들의 신호값들을 합한 값이고, 상기 열 방향 적분 영상 화소의 신호값은 상기 열 방향 적분 영상 화소 좌표로부터 상기 열 방향 적분 영상 화소의 위치에 따라 미리 정해진 변위 만큼 이동한 좌표에서 상기 기준 좌표의 열 방향 좌표에 이르기까지 열 방향으로 존재하는 화소들의 신호값들을 합한 값이고, 상기 행 방향 적분 영상 화소의 신호값은 상기 행 방향 적분 영상 화소 좌표로부터 상기 행 방향 적분 영상 화소의 위치에 따라 미리 정해진 변위 만큼 이동한 좌표에서 상기 기준 좌표의 행 방향 좌표에 이르기까지 행 방향으로 존재하는 화소들의 신호값들을 합한 값인 것을 특징으로 할 수 있다.
여기서 상기 블록 구조 적분 영상 블록은 상기 적분 영상 화소와 상기 행 방향 적분 영상 화소와 상기 열 방향 적분 영상 화소 이외의 나머지 화소의 신호값은, 상기 나머지 화소의 좌표로부터 상기 나머지 화소의 위치에 따라 미리 정해진 변위 만큼 이동한 좌표에 대응하는 상기 입력 영상 화소의 신호값과 동일한 값을 가지는 것을 특징으로 할 수 있다.
여기서 상기 적분 영상 데이터 생성 장치는 상기 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 각 신호값을 저장하는 메모리부를 더 포함할 수 있다.
여기서 상기 적분 영상 데이터 생성 장치는 상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출하는 적분 영상 데이터 산출부를 더 포함할 수 있다.
여기서 상기 적분 영상 데이터 산출부는 상기 블록 구조 적분 영상 생성부가 산출하여 상기 메모리부에 저장된, 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 신호값을 입력받고, 상기 블록 구조 적분 영상 블록에서 상기 적분 영상 화소와 상기 행 방향 적분 영상 화소와 상기 열 방향 적분 영상 화소 이외의 나머지 화소의 신호값은 상기 입력 영상의 화소의 신호값을 입력받아, 상기 입력받은 신호값을 이용하여 상기 적분 영상의 신호값을 산출하는 것을 특징으로 할 수 있다.
여기서 상기 적분 영상 데이터 산출부는, 상기 블록 구조 적분 영상 블록의 상기 적분 영상 화소가 상기 블록 구조 적분 영상 블록의 좌측 상단 모서리에 위치하는 화소인 경우, 상기 적분 영상 화소의 좌표와 상기 대상 좌표를 두 꼭지점으로 하는 상기 블록 구조 적분 영상 블록 내 화소들의 신호값들의 합을 연산하여, 상기 연산한 값을 상기 대상 좌표에서의 상기 적분 영상의 신호값으로 산출하는 것을 특징으로 할 수 있다.
여기서 상기 적분 영상 데이터 산출부는, 상기 블록 구조 적분 영상 블록의 상기 적분 영상 화소가 상기 블록 구조 적분 영상 블록의 중앙 부분에 위치하는 화소인 경우, 상기 대상 좌표가 속한 영역에 따라 미리 정해진 식을 이용하여 상기 블록 구조 적분 영상 블록 내 화소들의 신호값들을 연산하여, 상기 연산한 값을 상기 대상 좌표에서의 상기 적분 영상의 신호값으로 산출하는 것을 특징으로 할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 적분 영상 데이터 생성 장치는, 입력 영상에 대하여 생성된, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는, 블록 구조 적분 영상 블록의 화소의 신호값을 입력받는 블록 구조 적분 영상 입력부; 및 상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출하는 적분 영상 데이터 산출부를 포함할 수 있다.
여기서, 상기 블록 구조 적분 영상 블록에서, 상기 적분 영상 화소는 상기 블록 구조 적분 영상 블록 내의 화소 중 어느 한 화소이고, 상기 행 방향 적분 영상 화소는 상기 적분 영상 화소를 기준으로 열 방향으로 위치하는 화소들이고, 상기 열 방향 적분 영상 화소는 상기 적분 영상 화소를 기준으로 행 방향으로 위치하는 화소들인 것을 특징으로 할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 적분 영상 데이터 생성 장치는, 입력 영상에 포함된 화소의 신호값을 입력받아, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는 블록 구조 적분 영상 블록을 생성하는 블록 구조 적분 영상 생성부; 상기 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 각 신호값을 저장하는 메모리부; 및 상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출하는 적분 영상 데이터 산출부를 포함할 수 있다.
여기서 상기 블록 구조 적분 영상 생성부는 상기 입력 영상의 신호값을 순차적으로 입력받고, 상기 행 방향 적분 영상 화소의 신호값은 행 방향 적분 영상 레지스터를 버퍼로 이용하여 행 방향으로 상기 입력 영상의 신호값을 누적 연산하여, 상기 메모리부에 저장하고, 상기 적분 영상 화소의 신호값은 상기 적분 영상 화소의 위치에서 1 화소 위에 위치하는 상기 적분 영상 화소의 신호값과 상기 행 방향 적분 영상 레지스터에 저장된 값을 더하여, 상기 메모리부에 저장하고, 상기 열 방향 적분 영상 화소의 신호값은 상기 적분 영상 화소의 신호값에서 1 화소 좌측에 위치하는 상기 적분 영상 화소의 신호값을 빼, 상기 메모리부에 저장하는 것을 특징으로 할 수 있다.
여기서 상기 적분 영상 데이터 산출부는 상기 메모리부에 저장된 행 방향 적분 영상 화소 및 열 방향 적분 영상 화소를 선택기(Selector)를 이용하여 해당 화소의 상기 블록 구조 적분 영상 블록 내 위치에 따라 선택하고, 상기 선택한 행 방향 적분 영상 화소 및 열 방향 적분 영상 화소와 상기 메모리부에 저장된 적분 영상 화소와 입력 영상의 화소의 신호값을 연산하여, 상기 적분 영상의 신호값을 산출하는 것을 특징으로 할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 적분 영상 데이터 생성 방법은, 입력 영상에 포함된 화소의 신호값을 입력받아, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는 블록 구조 적분 영상 블록을 생성하는 블록 구조 적분 영상 생성 단계; 상기 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 각 신호값을 메모리에 저장하는 메모리 저장 단계; 및 상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출하는 적분 영상 데이터 산출 단계를 포함할 수 있다.
본 발명에 따른 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법에 의하면, 입력 영상을 보다 적은 메모리를 이용하면서도 동시에 연산량을 최소화하여 처리해 적분 영상 데이터를 생성하는 효과가 있다.
도 1은 적분 영상을 나타내는 참고도이다.
도 2는 적분 영상을 이용하여 특정 영역 내 존재하는 화소들의 신호값의 합을 산출하는 동작을 설명하기 위한 참고도이다.
도 3은 본 발명의 일 실시예에 따른 적분 영상 데이터 생성 장치를 나타내는 블록도이다.
도 4는 본 발명의 또 다른 실시예에 따른 적분 영상 데이터 생성 장치를 나타내는 블록도이다.
도 5는 본 발명의 또 다른 실시예에 따른 적분 영상 데이터 생성 장치를 나타내는 블록도이다.
도 6a는 블록 구조 적분 영상 생성부블록 구조 적분 영상 블록을 생성하는 동작을 설명하기 위한 참고도이다.
도 6b는 블록 구조 적분 영상 생성부가 적분 영상 화소와 열 방향 및 행 방향 적분 영상 화소의 각 신호값을 산출하는 동작을 설명하기 위한 참고도이다.
도 7은 적분 영상 데이터 산출부가 입력 영상의 데이터를 이용하여 적분 영상의 신호값을 산출하는 구성을 나타내는 블록도이다.
도 8은 본 발명에 따른 적분 영상 데이터 생성 장치가 메모리를 절약하는 동작을 설명하기 위한 참고도이다.
도 9는 블록 구조 적분 영상 블록의 크기에 따라 변화하는 화소 당 평균 단어 길이(Word Length)와 화소 당 평균 메모리 접근 회수를 그래프로 나타낸 참고도이다.
도 10은 수정된 블록 구조 적분 영상 방식에서 생성되는 블록 구조 적분 영상 블록을 나타내는 참고도이다.
도 11 내지 도 15는 수정된 블록 구조 적분 영상 방식에 따른 본 발명의 적분 영상 데이터 생성 장치의 동작을 설명하기 위한 참고도이다.
도 16은 블록 구조 적분 영상 블록의 크기에 따라 변화하는 화소 당 평균 단어 길이(Word Length)와 첫 번째 블록 구조 적분 영상 방식에서의 화소 당 평균 메모리 접근 회수, 및 두 번째의 수정된 블록 구조 적분 영상 방식에서의 화소 당 평균 메모리 접근 회수를 그래프로 나타낸 참고도이다.
도 17은 본 발명의 또 다른 실시예에 따른 적분 영상 데이터 생성 장치의 블록도이다.
도 18은 본 발명의 또 다른 실시예에 따른 적분 영상 데이터 생성 장치의 블록도이다.
도 19는 적분 영상 데이터 생성 장치의 병렬연산 하드웨어 구조를 나타내는 참고도이다.
도 20은 본 발명의 또 다른 실시예에 따른 적분 영상 데이터 생성 방법의 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
본 발명에 따른 적분 영상 생성 장치는 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있고 또는 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한 본 발명에 따른 적분 영상 생성 장치는 소프트웨어 프로그램으로 구현되어 프로세서 또는 신호 처리 모듈 위에서 동작할 수 있고, 또는 하드웨어의 형태로 구현되어 칩(Chip), 소자 등이 될 수 있음은 물론이다. 또한 이와 같은 본 발명에 따른 적분 영상 생성 장치는 영상을 획득 또는 입력받고 이를 처리하는 디바이스, 하드웨어, 소프트웨어 모듈에 포함되어 동작할 수 있다. 예를 들면 본 발명에 따른 적분 영상 생성 장치는 카메라, 카메라 모듈, 휴대폰, 테블릿, 노트북 등 각종 휴대용 디바이스, 컴퓨터, 디스플레이 장치, 각종 영상 인식, 검출, 처리 장치에 하드웨어 또는 소프트웨어의 형태로 포함되어 동작하거나, 이들 장치와 연동하여 동작하는 하드웨어 또는 소프트웨어 상에서 동작할 수 있다.
적분 영상(Integral Image)은 입력 영상의 화소 값을 기준 좌표로부터 일정한 순서로 누적하여 생성하는 영상이다. 적분영상에서 각 화소의 신호값은 해당 화소와 기준 좌표를 두 꼭지점으로 하는 사각형 영역 내에 존재하는 화소들의 신호값의 합이 된다.
참고로 이하에서 영상에 포함된 화소의 신호값이라 함은 영상 내 각 화소가 가지는 다양한 색공간에서의 신호값을 모두 포함하는 것으로, 예를 들면 RGB, YCbCr 등 다양한 색공간으로 표현될 수 있는 각 화소에서의 신호값을 모두 포함하는 의미로 사용한다.
도 1은 적분 영상을 나타내는 참고도이다.
도 1을 참조하면서 설명하면,
Figure 112015062310989-pat00001
좌표에서의 적분 영상의 신호값
Figure 112015062310989-pat00002
는 기준 좌표인
Figure 112015062310989-pat00003
와
Figure 112015062310989-pat00004
좌표를 두 꼭지점으로 하는 사각형 영역 내에 존재하는 화소들의 신호값의 합이 된다. 이와 같은 적분 영상의 화소의 신호값은 하기 수학식 1과 같이 표현될 수 있다.
Figure 112015062310989-pat00005
여기서
Figure 112015062310989-pat00006
는 좌표
Figure 112015062310989-pat00007
상의 입력 영상의 화소의 신호값이며,
Figure 112015062310989-pat00008
는 좌표
Figure 112015062310989-pat00009
상의 적분 영상 화소의 신호값이다.
이상과 같은 적분 영상을 이용하면 임의의 영상 구역 내의 화소 신호값의 합을 입력 영상을 이용할 때 보다 빠르게 연산할 수 있다는 장점이 있다.
도 2는 적분 영상을 이용하여 특정 영역 내 존재하는 화소들의 신호값의 합을 산출하는 동작을 설명하기 위한 참고도이다.
예를 들어서 도 2에서 점 1, 2, 3, 4, 1로 연결되는 사각형 D 영역에 속하는 입력 영상의 화소들의 신호값의 합은 하기 수학식 2와 같이 적분 영상의 4개 화소의 신호값을 덧셈 및 뺄셈하여 빠르고 간단하게 연산할 수 있다.
Figure 112015062310989-pat00010
그런데 적분 영상은 상술한 바와 같이 연산의 효율성을 증가시키는 반면, 이를 저장하기 위하여는 본래 입력 영상을 저장하는데 필요한 공간보다 여러 배 많은 공간을 필요로 한다. 즉 적분 영상은 각 화소가 입력 영상에서 해당 화소에 이르기까지의 사각형 영역 내 존재하는 모든 화소들의 신호값을 합한 값을 신호값으로 가지기 때문에, 각 화소의 신호값이 입력 영상보다 더 크게 되고, 따라서 각 화소의 신호값을 저장하기 위하여는 더 큰 단어 길이(Word Length)가 요구된다. 결론적으로 적분 영상은 입력 영상보다 저장 영역으로 더 많은 메모리를 필요로 하여, 메모리 효율성이 떨어진다는 단점이 있다. 따라서 메모리 자원이 한정적인 임베디드 시스템에서 적분 영상을 이용하는데 어려움이 있다는 한계점이 있다.
본 발명은 상술한 기존의 적분 영상이 가지는 메모리 효율성의 문제를 해결하여 보다 적은 메모리를 이용하여 저장하고 적분 영상 데이터를 산출해낼 수 있는 블록 구조의 적분 영상을 제안한다.
먼저 본 발명에 따른 적분 영상 데이터 생성 장치의 기본 동작 구성에 대하여 간략히 설명한다.
도 3은 본 발명의 일 실시예에 따른 적분 영상 데이터 생성 장치를 나타내는 블록도이다.
상기 본 발명에 따른 적분 영상 데이터 생성 장치는 영상 신호 입력부(100)와 블록 구조 적분 영상 생성부(200)를 포함할 수 있다.
영상 신호 입력부(100)는 입력 영상에 포함된 화소의 신호값을 입력받는다.
블록 구조 적분 영상 생성부(200)는 상기 입력 영상을 이용하여, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는 블록 구조 적분 영상 블록을 생성한다.
이하에서 상세히 설명할 바와 같이 위와 같이 블록 구조 적분 영상 생성부(200)가 생성한 블록 구조 적분 영상 블록은 기존의 적분 영상 보다 적은 메모리를 이용하여 저장할 수 있고, 이를 이용하여 적분 영상 데이터를 산출할 수 있다.
도 4는 본 발명의 또 다른 실시예에 따른 적분 영상 데이터 생성 장치를 나타내는 블록도이다.
상기 실시예에 따른 적분 영상 데이터 생성 장치는 상술한 영상 신호 입력부(100)와 블록 구조 적분 영상 생성부(200)에 더하여 메모리부(300)를 더 포함할 수 있다.
메모리부(300)는 상기 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 각 신호값을 저장한다.
여기서 이하에서 상세히 설명할 바와 같이 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소 이외의 화소인 입력 영상 화소는 별도로 새롭게 메모리부(300)에 저장하지 아니하고 이미 저장되어 있는 입력 영상의 데이터를 이용함으로써, 기존의 적분 영상 보다 적은 메모리를 사용하여 블록 구조 적분 영상 블록으로 이루어지는 블록 구조 적분 영상을 저장할 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 적분 영상 데이터 생성 장치를 나타내는 블록도이다.
상기 실시예에 따른 적분 영상 데이터 생성 장치는 상술한 영상 신호 입력부(100), 블록 구조 적분 영상 생성부(200), 메모리부(300)에 더하여 적분 영상 데이터 산출부(400)를 더 포함할 수 있다.
적분 영상 데이터 산출부(400)는 상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출한다. 즉 적분 영상 데이터 산출부(400)는 블록 구조 적분 영상 생성부(200)가 생성하여 메모리부(300)에 저장된 블록 구조 적분 영상 블록을 이용하여 입력 영상 내 적분 영상의 신호값을 산출하고자 하는 임의의 위치인 대상 좌표에서, 적분 영상의 신호값을 산출할 수 있다.
이하에서는 영상 신호 입력부(100), 블록 구조 적분 영상 생성부(200), 메모리부(300), 적분 영상 데이터 산출부(400)의 동작에 대하여 보다 상세히 설명한다.
먼저 영상 신호 입력부(100)는 입력 영상에 포함된 화소의 신호값을 입력받는다. 여기서 입력 영상은 일정한 크기를 가지고 각 화소의 신호값으로 적어도 하나 이상의 색 공간 채널을 가질 수 있다. 여기서 각 화소는 색 공간 채널 별로 신호값을 가질 수 있고, 이하 설명할 블록 구조 적분 영상 블록과 이를 이용하여 산출하는 적분 영상의 신호값도 각 채널 별로 생성 및 산출될 수 있다.
블록 구조 적분 영상 생성부(200)는 상기 입력 영상을 이용하여, 미리 정해진 크기를 가지고, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는 블록 구조 적분 영상 블록을 생성한다. 여기서 블록 구조 적분 영상 블록은 미리 정해진 임의의 크기의 사각 블록이 될 수 있고, 바람직하게는
Figure 112015062310989-pat00011
크기를 가지는 블록으로 설정될 수 있다.
본 발명에서 '블록 구조 적분 영상 블록'은 기존의 적분 영상을 블록으로 분할한 것을 지칭하는 것이 아니라, 본 발명에서 제안하는 아래와 같이 블록 구조 적분 영상 생성부(200)가 생성하는 구조의 영상 블록을 지칭한다.
여기서 블록 구조 적분 영상 생성부(200)는, 상기 블록 구조 적분 영상 블록 내의 화소 중 어느 한 화소를 상기 적분 영상 화소로, 상기 적분 영상 화소를 기준으로 열 방향으로 위치하는 화소들을 상기 행 방향 적분 영상 화소로, 상기 적분 영상 화소를 기준으로 행 방향으로 위치하는 화소들을 상기 열 방향 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성할 수 있다.
그리고 블록 구조 적분 영상 블록에서 적분 영상 화소, 열 방향 및 행 방향 적분 영상 화소를 제외한 나머지 화소들은 입력 영상의 화소의 신호값을 가질 수 있다. 따라서 블록 구조 적분 영상 생성부(200)는 적분 영상 화소, 열 방향 및 행 방향 적분 영상 화소를 입력 영상의 화소의 신호값들만 산출하면 되고, 나머지 화소들은 별도의 연산을 하여 산출할 필요가 없이, 입력 영상의 화소의 신호값을 이용하도록 하면 된다.
본 발명에서는 크게 두 가지의 블록 구조 적분 영상을 제안하며, 블록 구조 적분 영상 생성부(200)는 이와 같은 두 가지 방식으로 각각 블록 구조 적분 영상 블록을 생성할 수 있고, 그에 따라 적분 영상 데이터 산출부(400)는 다른 방식으로 상기 생성된 블록 구조 적분 영상 블록을 이용하여 임의의 위치에서 적분 영상의 신호값을 산출할 수 있다.
먼저 첫 번째의 블록 구조 적분 영상 방식으로, 블록 구조 적분 영상 생성부(200)는 상기 블록 구조 적분 영상 블록 내의 화소 중에서 상기 블록 구조 적분 영상 블록의 모서리에 위치하는 화소를 상기 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성할 수 있다.
보다 구체적으로 블록 구조 적분 영상 생성부(200)는, 상기 블록 구조 적분 영상 블록 내의 화소 중에서 상기 블록 구조 적분 영상 블록의 좌측 상단 모서리에 위치하는 화소를 상기 적분 영상 화소로, 상기 적분 영상 화소를 기준으로 아래로 열 방향으로 위치하는 화소들을 상기 행 방향 적분 영상 화소로, 상기 적분 영상 화소를 기준으로 우측으로 행 방향으로 위치하는 화소들을 상기 열 방향 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성할 수 있다.
이하에서는 설명의 편의를 위하여 도 1과 같이 영상 또는 영상 블록의 좌측 상단 모서리를 기준이 되는 (x = 0, y = 0) 좌표로 하고, 아래의 열 방향을 y 축 방향, 우측의 행 방향을 x 축 방향이라 지칭한다. 이와 같은 기준 좌표 설정과 축 방향의 설정은 설명의 편의에 따라 변경될 수 있음은 물론이며, 이하에서는 설명의 편의를 위하여 위와 같이 방향과 기준을 설정할 뿐, 본 발명의 내용이 이와 같은 설정에 한정되지 않음은 물론이다.
도 6a는 블록 구조 적분 영상 생성부(200)가 상술한 방식으로 블록 구조 적분 영상 블록을 생성하는 동작을 설명하기 위한 참고도이다.
도 6a를 참조하면, 블록 구조 적분 영상 블록에서 좌측 상단 모서리에 위치하는 화소가 적분 영상 화소가 되고, 위 적분 영상 화소의 아래로 열 방향으로 위치하는 일련의 화소들이 행 방향 적분 영상 화소가 되고, 위 적분 영상 화소의 우측으로 행 방향으로 위치하는 일련의 화소들이 열 방향 적분 영상 화소가 된다. 그리고 상술한 바와 같이 적분 영상 화소, 열 방향 및 행 방향 적분 영상 화소를 제외한 나머지 화소들은 입력 영상의 화소가 된다.
여기서 상기 적분 영상 화소의 신호값은 상기 입력 영상의 기준 좌표와 상기 적분 영상 화소 좌표를 두 꼭지점으로 하는 영상 블록에 포함된 화소들의 신호값들을 합한 값이다. 여기서 입력 영상의 기준 좌표는 적분 영상을 생성하는 기준이 되는 좌표로, 통상적으로는 영상의 좌측 상단 좌표, 즉 (x, y) = (0, 0)인 좌표가 될 수 있다. 또한 상기 열 방향 적분 영상 화소의 신호값은 상기 열 방향 적분 영상 화소 좌표에서 상기 기준 좌표의 열 방향 좌표 즉 Y 좌표에 이르기까지 열 방향으로 존재하는 화소들의 신호값들을 합한 값이다. 또한 행 방향 적분 영상 화소의 신호값은 상기 행 방향 적분 영상 화소 좌표에서 상기 기준 좌표의 행 방향 좌표 즉 X 좌표에 이르기까지 행 방향으로 존재하는 화소들의 신호값들을 합한 값이다. 블록 구조 적분 영상 생성부(200)는 적분 영상 화소와 열 방향 및 행 방향 적분 영상 화소의 각 신호값을 위와 같은 방식으로 산출할 수 있다. 여기서 그리고 본 발명의 상세한 설명 중에서 X 좌표와 Y 좌표는 각각 열 방향 좌표와 행 방향 좌표를 지칭하는 것으로, 2차원 좌표 값의 각 성분을 의미하는 것이다. 따라서 필요에 따라 이를 지칭하는 인덱스는 (a, b)와 같이 되어 a 좌표 및 b 좌표가 되거나, (i, j)와 같이 되어 i 좌표 및 j 좌표가 되는 등 다양한 인덱스를 이용할 수 있음은 물론이다. 또한 여기서 열 방향과 행 방향이라 함은 2차원 영상에 대하여 설정된 직교하는 수직 및 수평 방향을 의미하는 것으로 사용자의 설정에 따라 영상에서 일정한 방향으로 설정될 수 있음은 당업자의 입장에서 자명하다고 할 것이다.
그리고 블록 구조 적분 영상 블록에서, 상기 적분 영상 화소와 상기 행 방향 적분 영상 화소와 상기 열 방향 적분 영상 화소 이외의 나머지 화소의 신호값은, 상기 나머지 화소의 위치에 대응하는 상기 입력 영상 화소의 신호값과 동일한 값을 가진다. 따라서 블록 구조 적분 영상 생성부(200)가 별도로 상기 나머지 화소의 신호값을 산출할 필요는 없다.
도 6b는 블록 구조 적분 영상 생성부(200)가 적분 영상 화소와 열 방향 및 행 방향 적분 영상 화소의 각 신호값을 산출하는 동작을 설명하기 위한 참고도이다. 도 6b와 같이 적분 영상 화소(a)의 신호값은 입력 영상의 기준 좌표 (0, 0) 와 적분 영상 화소 (x0, y0)를 두 꼭지점으로 하는 사각 블록 내의 입력 영상의 화소들(A)의 신호값의 합으로 산출된다. 또한 적분 영상 화소의 우측으로 위치하는 열 방향 적분 영상 화소들(b)의 신호값은 각각 화소의 위 방향으로 위치하는 입력 영상의 화소들(B)의 신호값의 합으로 산출된다. 마찬가지로 적분 영상 화소의 아래에 위치하는 행 방향 적분 영상 화소들(c)의 신호값은 각각 좌측 방향으로 위치하는 입력 영상의 화소들(C)의 신호값의 합으로 산출된다. 그리고 나머지 화소들(D)의 신호값은 입력 영상의 해당 위치의 화소의 신호값과 동일한 값을 가지고, 따라서 별도의 연산을 수행할 필요가 없다.
Figure 112015062310989-pat00012
을 블록 구조 적분 영상 블록의 좌측 상단 모서리에 위치하는 화소의 입력 영상 내 좌표로,
Figure 112015062310989-pat00013
과
Figure 112015062310989-pat00014
을 각각 열 방향 적분 영상 화소와 행 방향 적분 영상 화소로,
Figure 112015062310989-pat00015
를 입력 영상 화소,
Figure 112015062310989-pat00016
를 적분 영상 화소로 각 정의하면, n x n 크기를 가지는 블록 구조 적분 영상 블록
Figure 112015062310989-pat00017
의 (x, y) 좌표의 화소의 신호값은 하기 수학식 3과 같이 표현될 수 있다.
Figure 112015062310989-pat00018
그리고 이때
Figure 112015062310989-pat00019
과
Figure 112015062310989-pat00020
는 각각 하기 수학식 4 및 5와 같이 산출될 수 있다.
Figure 112015062310989-pat00021
Figure 112015062310989-pat00022
이상과 같이 생성된 블록 구조 적분 영상 블록을 이용하여, 본 발명의 적분 영상 데이터 산출부(400)는 임의의 원하는 좌표에서의 적분 영상의 신호값을 산출할 수 있다. 이에 대하여는 아래에서 보다 상세히 설명하고, 먼저 상기 생성된 블록 구조 적분 영상 블록을 메모리부(300)에 저장하는 동작에 대하여 설명한다.
메모리부(300)는 상기 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 각 신호값을 저장한다. 여기서 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소 이외의 화소는 입력 영상 화소와 동일한 신호값을 가지기 때문에 별도로 새롭게 메모리부(300)에 저장하지 아니하여도 된다. 즉 메모리부(300)는 적분 영상 화소와 열 방향 적분 영상 화소와 행 방향 적분 영상 화소에 대하여 블록 구조 적분 영상 생성부(200)에서 산출된 신호값을 저장하면 되고, 나머지 화소들에 대하여는 이미 저장되어 있는 입력 영상의 데이터를 이용하면 되는 것이다.
예를 들어 메모리부(300)가 입력 영상 화소의 신호값들을 저장하고 있고, 블록 구조 적분 영상 생성부(200)가 위와 같이 저장된 입력 영상 화소의 신호값을 이용하여 적분 영상 화소와 열 방향 적분 영상 화소와 행 방향 적분 영상 화소의 신호값을 산출하는 경우이면, 적분 영상 데이터 산출부(400)는 메모리부(300)에 기 저장되어 있는 입력 영상 화소의 신호값을 그대로 이용하고 또한 위와 같이 새롭게 산출되어 메모리부(300)에 저장된 적분 영상 화소와 열 방향 적분 영상 화소와 행 방향 적분 영상 화소의 신호값을 이용하여, 적분 영상의 신호값을 산출할 수 있는 것이다.
도 7은 위와 같이 메모리부(300)가 상기 나머지 화소들을 별도로 새롭게 저장하지 아니하고, 적분 영상 데이터 산출부(400)가 입력 영상의 데이터를 이용하여 적분 영상의 신호값을 산출하는 구성을 나타내는 블록도이다.
이와 같이 본 발명에 따른 적분 영상 데이터 생성 장치는 입력 영상이 저장되어 있는 메모리 공간을 재사용하기 때문에, 기존의 적분 영상보다 적은 메모리를 이용하여 적분 영상의 신호값을 생성하기 위하여 생성된 블록 구조 적분 영상을 저장할 수 있다.
도 8은 위와 같이 본 발명에 따른 적분 영상 데이터 생성 장치가 메모리를 절약하는 동작을 설명하기 위한 참고도이다.
블록 구조 적분 영상 블록의 크기가 n x n이라고 할 때, 각 블록은 1개의 적분 영상 화소와 (n-1)개의 열 방향 적분 영상 화소와, (n-1)개의 열 방향 적분 영상 화소를 가지게 된다. 이때
Figure 112015062310989-pat00023
,
Figure 112015062310989-pat00024
,
Figure 112015062310989-pat00025
그리고
Figure 112015062310989-pat00026
를 각각 입력 영상, 적분 영상, 열 방향 적분 영상 그리고 행 방향 적분 영상의 단어 길이(Word Length)라고 정의하고, 입력 영상의 열 방향 길이를 H, 행 방향 길이를 W 라고 정의하면, 기존의 적분 영상을 저장하기 위한 메모리 공간은 도 8 (a)와 같이 W x H x
Figure 112015062310989-pat00027
bits 인 반면, 본 발명에 따른 블록 구조 적분 영상 블록으로 이루어지는 블록 구조 적분 영상을 저장하기 위한 메모리 공간은 적분 영상 화소의 저장 공간으로
Figure 112015062310989-pat00028
bits, 열 방향 적분 영상 화소의 저장 공간으로
Figure 112015062310989-pat00029
bits, 행 방향 적분 영상 화소의 저장 공간으로
Figure 112015062310989-pat00030
bits 가 되어, 도 8 (b) 및 하기 수학식 6과 된다.
Figure 112015062310989-pat00031
따라서 블록 구조 적분 영상 블록의 크기가 증가할수록 본 발명에 따른 블록 구조 적분 영상의 저장 공간은 기존의 적분 영상의 저장 공간에 비하여 감소함을 확인할 수 있다. 참고로 n = 1인 경우가 기존의 적분 영상과 동일한 경우이다. 따라서 블록 구조 적분 영상을 이용함으로써 메모리의 효율성을 증가시킬 수 있다.
본 발명의 적분 영상 데이터 산출부(400)는 이상과 같이 생성된 블록 구조 적분 영상 블록을 이용하여 하기 수학식 7과 같이 임의의 좌표에서의 적분 영상의 신호값을 산출할 수 있다.
Figure 112015062310989-pat00032
이는 도 6b와 같이 블록 구조 적분 영상 블록의 적분 영상 화소(a)가 입력 영상의 기준 좌표와 적분 영상 화소를 두 꼭지점으로 하는 사각 블록 내의 입력 영상의 화소들(A)의 신호값의 합을 신호값으로 가지고, 상기 적분 영상 화소의 우측으로 위치하는 열 방향 적분 영상 화소들(b)이 위 방향으로 위치하는 입력 영상의 화소들(B)의 신호값의 합을 신호값으로 가지고, 상기 적분 영상 화소의 아래에 위치하는 행 방향 적분 영상 화소들(c)가 좌측 방향으로 위치하는 입력 영상의 화소들(C)의 신호값의 합을 신호값으로 가지기 때문이다. 따라서 적분 영상 데이터 산출부(400)는 블록 구조 적분 영상 블록 외에 존재하는 화소들에 대한 별도의 연산없이, 이들 적분 영상 화소, 열 방향 적분 영상 화소, 행 방향 적분 영상 화소의 합을 산출하고, 이에 블록 구조 적분 영상 블록 내에 존재하는 나머지 화소들(D)의 입력 영상 화소 신호값을 합하여 더함으로써 임의의 위치에서의 적분 영상 신호값을 산출할 수 있는 것이다.
즉 적분 영상 데이터 산출부(400)는, 상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출하되, 상기 블록 구조 적분 영상 블록의 상기 적분 영상 화소가 상기 블록 구조 적분 영상 블록의 좌측 상단 모서리에 위치하는 화소인 경우, 상기 적분 영상 화소의 좌표와 상기 대상 좌표를 두 꼭지점으로 하는 상기 블록 구조 적분 영상 블록 내 화소들의 신호값들의 합을 연산하여, 상기 연산한 값을 상기 대상 좌표에서의 상기 적분 영상의 신호값으로 산출할 수 있다.
그런데 위와 같은 첫 번째의 블록 구조 적분 영상 방식에서는 상기 수학식 6과 같이 저장에 필요한 메모리를 감소시킬 수 있는 반면, 상기 수학식 7과 같이 적분 영상의 신호값을 산출하기 위한 추가적인 연산을 수행하여야 한다. 이때 이와 같은 추가적인 연산을 위하여는 추가적인 메모리 접근이 이루어져야 한다. 즉 추가 메모리 접근의 횟수는 추가 연산의 횟수에 따른다.
메모리 저장 공간의 효율성과 메모리 접근 횟수에 대한 성능을 나타내기 위하여, 메모리에 블록 구조 적분 영상의 정보를 저장하기 위한 화소 당 평균 단어 길이(Word Length)는 하기 수학식 8과 같이, 블록 구조 적분 영상을 이용하여 적분 영상 신호값을 산출하기 위한 화소 당 평균 메모리 접근 회수는 수학식 9와 같이 표현될 수 있다.
Figure 112015062310989-pat00033
Figure 112015062310989-pat00034
도 9는 블록 구조 적분 영상 블록의 크기에 따라 변화하는 화소 당 평균 단어 길이(Word Length)(G1)와 화소 당 평균 메모리 접근 회수(G2)를 그래프로 나타낸 참고도이다. 도 9를 참조하면 블록의 크기 n이 증가할수록 화소 당 평균 단어 길이는 감소하여 메모리 효율성이 개선됨을 확인할 수 있다. 따라서 메모리 효율성을 증진시키기 위하여는 보다 큰 블록 구조 적분 영상 블록을 사용할 수 있다. 다만 블록의 크기가 증가하면 블록 구조 적분 영상을 이용하여 적분 영상 신호값을 산출하기 위하여 연산을 수행하면서 메모리에 접근하여야 하는 횟수가 G2와 같이 증가함을 확인할 수 있다.
따라서 본 발명에서는 블록의 크기 n이 증가할수록 화소 당 평균 단어 길이가 감소하여 메모리 효율성이 개선되는 정도는 동일하게 유지하면서, 블록 구조 적분 영상을 이용하여 적분 영상 신호값을 산출하기 위하여 연산을 수행하면서 메모리에 접근하여야 하는 횟수가 증가하는 폭을 감소시키기 위하여, 상술한 첫 번째의 블록 구조 적분 영상 방식에 이어 두 번째의 수정된 블록 구조 적분 영상 방식을 제안한다.
수정된 블록 구조 적분 영상 방식에서, 블록 구조 적분 영상 생성부(200)는 상기 블록 구조 적분 영상 블록 내의 화소 중에서 상기 블록 구조 적분 영상 블록의 중앙 부분에 위치하는 화소를 상기 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성할 수 있다.
여기서 중앙 부분에 위치하는 화소라 함은 블록 내에서 미리 정해진 규칙에 따라 정해진 중앙 부분에 포함되는 화소들 중 어느 하나의 화소가 될 수 있다. 또한 바람직하게는 상기 중앙 부분에 위치하는 화소는 블록에서 가장 중앙에 위치하는 화소가 될 수 있다. 이때 블록의 크기가 홀수인 (2k - 1) x (2k - 1)인 경우는 상기 중앙 부분에 위치하는 화소는 (k, k)인 중심 좌표에 위치하는 화소 즉 정 중앙에 위치하는 화소가 될 수 있다. 그리고 블록의 크기가 짝수인 2k x 2k 인 경우는 가장 중앙에 위치하는 화소가 4개가 되기 때문에, 상기 중앙 부분에 위치하는 화소는 (k, k), (k+1, k), (k, k+1), (k+1, k+1) 중 어느 하나를 중심 좌표로 하여 해당 중심 좌표의 화소로 할 수 있다. 이하에서는 블록 크기가 n이고 짝수인 경우 중심 좌표는
Figure 112015062310989-pat00035
로 하기로 한다.
그리고 블록 구조 적분 영상 생성부(200)는, 상기 적분 영상 화소를 기준으로 위와 아래로 열 방향으로 위치하는 화소들을 상기 행 방향 적분 영상 화소로, 상기 적분 영상 화소를 기준으로 좌측과 우측으로 행 방향으로 위치하는 화소들을 상기 열 방향 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성할 수 있다.
이때 상기 적분 영상 화소, 열 방향 및 행 방향 적분 영상 화소를 제외한 나머지 화소들은 상술한 두 번째의 수정된 블록 구조 적분 영상 방식과 마찬가지로 입력 영상의 화소와 동일한 신호값을 가진다. 다만 상기 나머지 화소들의 신호값과 동일한 신호값을 가지는 입력 영상 화소는 아래에서 설명할 바와 같이 나머지 화소의 위치에 따라 미리 정해진 변위 만큼 이동한 위치의 화소이다.
도 10은 위와 같이 수정된 블록 구조 적분 영상 방식에서 생성되는 블록 구조 적분 영상 블록을 나타내는 참고도이다.
도 10과 같이 수정된 블록 구조 적분 영상 방식에서 블록 구조 적분 영상 블록은 도 6과 같이 모서리가 아닌 중앙 부분의 화소를 적분 영상 화소로 설정하고, 이를 기준으로 상술한 바와 같이 열 방향으로는 행 방향 적분 영상 화소를, 행 방향으로는 열 방향 적분 영상 화소를 각각 설정한다.
블록 구조 적분 영상 생성부(200)는 이상과 같이 각 화소의 위치를 설정한 다음 아래와 같이 적분 영상 화소, 행 방향 및 열 방향 적분 방향 화소의 신호값을 각각 산출할 수 있다.
먼저 상기 적분 영상 화소의 신호값은 상기 입력 영상의 기준 좌표와 상기 적분 영상 화소 좌표를 두 꼭지점으로 하는 영상 블록에 포함된 화소들의 신호값들을 합한 값으로 산출된다.
다음으로 열 방향 적분 영상 화소의 신호값은 상기 열 방향 적분 영상 화소 좌표로부터 열 방향 적분 영상 화소의 위치에 따라 미리 정해진 변위 만큼 이동한 좌표에서 상기 기준 좌표의 열 방향 좌표 즉 Y 좌표에 이르기까지 열 방향으로 존재하는 화소들의 신호값들을 합한 값으로 산출되고, 행 방향 적분 영상 화소의 신호값은 상기 행 방향 적분 영상 화소 좌표로부터 행 방향 적분 영상 화소의 위치에 따라 미리 정해진 변위 만큼 이동한 좌표에서 상기 기준 좌표의 행 방향 좌표 즉 X 좌표에 이르기까지 행 방향으로 존재하는 화소들의 신호값들을 합한 값으로 산출된다.
그리고 상기 적분 영상 화소와 상기 행 방향 적분 영상 화소와 상기 열 방향 적분 영상 화소 이외의 나머지 화소의 신호값은, 상기 나머지 화소의 좌표로부터 상기 나머지 화소의 위치에 따라 미리 정해진 변위 만큼 이동한 좌표에 대응하는 상기 입력 영상 화소의 신호값과 동일한 값을 가진다.
여기서 상기 열 방향 적분 영상 화소의 위치, 또는 행 방향 적분 영상 화소의 위치, 또는 상기 나머지 화소의 위치에 따라 미리 정해진 변위 만큼 이동함에 있어서, 미리 정해진 변위는 x 축 방향 즉 행 방향으로 0 또는 1, y 축 방향 즉 열 방향으로 0 또는 1 만큼 이동하는 변위이다.
보다 상세하게 블록 구조 적분 영상 생성부(200)는
Figure 112015062310989-pat00036
가 블록 구조 적분 영상의 중심 좌표라고 할 때, 하기 수학식 10과 같이
Figure 112015062310989-pat00037
을 기준으로 화소의 좌표의 위치에 따라 9가지 조건으로 나뉘어 블록 구조 적분 영상
Figure 112015062310989-pat00038
의 화소의 신호값을 산출할 수 있다. 그리고 상술한 미리 정해진 변위는 하기 수학식 10과 같이 설정될 수 있다.
Figure 112015062310989-pat00039
이 경우 메모리부(300)는 마찬가지로 상기 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 각 신호값을 저장한다. 즉 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소 이외의 화소는 입력 영상 화소와 동일한 신호값을 가지기 때문에 별도로 새롭게 메모리부(300)에 저장하지 아니하여도 된다.
따라서 적분 영상 데이터 산출부(400)는 블록 구조 적분 영상 생성부(200)가 산출하여 메모리부(300)에 저장된, 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 신호값을 입력받고, 그 이외의 나머지 화소의 신호값으로는 상기 입력 영상의 화소의 신호값을 입력받아, 상기 입력받은 신호값을 이용하여 상기 적분 영상의 신호값을 산출할 수 있다.
이때 적분 영상 데이터 산출부(400)는 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 적분 영상 신호값을 산출하고자 하는 대상 좌표에서의 적분 영상의 신호값을 산출하되, 상기 대상 좌표가 속한 영역에 따라 미리 정해진 식을 이용하여 상기 블록 구조 적분 영상 블록 내 화소들의 신호값들을 연산하여 적분 영상의 신호값을 산출할 수 있다.
즉 수정된 블록 구조 적분 영상에서는 상기 수학식 10 및 도 10에서 블록의 크기가 3보다 큰 경우와 같이 중심 좌표를 기준으로 총 9개의 영역으로 블록 구조 적분 영상 블록이 나뉘어진다. 이에 적분 영상 데이터 산출부(400)는 위와 같이 나뉘어진 9개의 영역 중 적분 영상 신호값을 산출하고자 하는 대상 좌표가 어느 영역에 속하는지에 따라 영역 별로 미리 정해진 식을 이용하여, 적분 영상의 신호값을 산출한다.
하기 수학식 11은 상술한 9개의 영역 별로 적분 영상 신호값을 산출하는 식이다.
Figure 112015062310989-pat00040
Figure 112015062310989-pat00041
도 11 내지 도 15는 수정된 블록 구조 적분 영상 방식에 따른 본 발명의 적분 영상 데이터 생성 장치의 동작을 설명하기 위한 일 예를 나타내는 참고도들이다.
만일 도 11과 같은 7 x 5의 입력 영상이 주어진다면, 기존 방식을 이용하여 도 12와 같은 적분 영상이 생성될 수 있을 것이다. 본 발명에 따른 블록 구조 적분 영상 생성부(200)는 5 x 5의 블록 구조 적분 영상 블록을 생성하기 위하여 먼저 도 13과 같이 0을 패딩하여 입력 영상을 확장할 수 있다. 여기서 입력 영상을 패딩하는 방식으로는 0을 패딩하는 것 이외에, 필요에 따라 가장자리 신호값을 복사하거나 필터링된 값을 패딩하는 등 다양한 종류의 패딩 방식을 이용할 수도 있다. 그리고 블록 구조 적분 영상 생성부(200)는 도 13과 같은 입력 영상을 이용하여 상술한 방법에 따라 도 14와 같은 블록 구조 적분 영상 블록을 생성할 수 있다. 그리고 메모리부(300)는 도 14와 같은 블록 구조 적분 영상 블록으로 구성되는 블록 구조 적분 영상에서 입력 영상과 동일한 신호값을 가지는 상기 나머지 화소들을 제외한, 적분 영상 화소, 열 방향 및 행 방향 적분 영상 화소에 해당하는 데이터들 만을 도 15와 같이 선택하여 저장할 수 있다.
위와 같이 수정된 블록 구조 적분 영상 방식은 첫 번째 블록 구조 적분 영상 방식과 동일한 크기의 메모리를 이용하여 블록 구조 적분 영상을 저장하면서도, 동시에 하기 수학식 12와 같이 산출되는 화소 별 메모리 접근 횟수를 가짐으로써, 상기 수학식 9의 경우 보다 화소 별 메모리 접근 횟수를 감소시킬 수 있다는 장점이 있다.
Figure 112015062310989-pat00042
Figure 112015062310989-pat00043
도 16은 블록 구조 적분 영상 블록의 크기에 따라 변화하는 화소 당 평균 단어 길이(Word Length)(G1)와 첫 번째 블록 구조 적분 영상 방식에서의 화소 당 평균 메모리 접근 회수(G2), 및 두 번째의 수정된 블록 구조 적분 영상 방식에서의 화소 당 평균 메모리 접근 회수(G3)를 그래프로 나타낸 참고도이다. 도 16를 참조하면 두 가지 제안하는 방식에서 모두 블록의 크기 n이 증가할수록 화소 당 평균 단어 길이는 동일하게 감소하여 메모리 효율성이 개선되며, 특히 두 번째의 수정된 블록 구조 적분 영상 방식에서는 블록의 크기가 증가함에 따라 블록 구조 적분 영상을 이용하여 적분 영상 신호값을 산출하기 위하여 메모리에 접근하여야 하는 횟수가 증가 정도를 억제하고 있음을 확인할 수 있다.
도 17은 본 발명의 또 다른 실시예에 따른 적분 영상 데이터 생성 장치의 블록도이다.
상기 또 다른 실시예의 적분 영상 데이터 생성 장치는 블록 구조 적분 영상 입력부(500)와 적분 영상 데이터 산출부(400)를 포함할 수 있다. 여기서 블록 구조 적분 영상 입력부(500)는 도 3 내지 도 16을 참조하면서 상술한 실시예에서의 적분 영상 데이터 생성 장치에서의 블록 구조 적분 영상 생성부(200)가 생성하는 블록 구조 적분 영상 블록의 신호값을 입력받는 것이고, 적분 영상 데이터 산출부(400)의 동작은 상기 실시예와 동일하게 동작할 수 있다. 따라서 중복되는 부분은 생략하고 간략히 설명한다.
블록 구조 적분 영상 입력부(500)는 입력 영상에 대하여 생성된, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는 블록 구조 적분 영상 블록의 화소의 신호값을 입력받는다.
적분 영상 데이터 산출부(400)는 상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출한다.
이때 상기 블록 구조 적분 영상 블록에서, 상기 적분 영상 화소는 상기 블록 구조 적분 영상 블록 내의 화소 중 어느 한 화소이고, 상기 행 방향 적분 영상 화소는 상기 적분 영상 화소를 기준으로 열 방향으로 위치하는 화소들이고, 상기 열 방향 적분 영상 화소는 상기 적분 영상 화소를 기준으로 행 방향으로 위치하는 화소들인 것을 특징으로 할 수 있다.
도 18은 본 발명의 또 다른 실시예에 따른 적분 영상 데이터 생성 장치의 블록도이다.
상기 실시예의 적분 영상 데이터 생성 장치는 블록 구조 적분 영상 생성부(200), 메모리부(300), 적분 영상 데이터 산출부(400)를 포함할 수 있다. 여기서 블록 구조 적분 영상 생성부(200), 메모리부(300), 적분 영상 데이터 산출부(400)의 각 동작은 도 3 내지 도 16을 참조하면서 설명한 실시예에 따른 적분 영상 데이터 생성 장치에서와 동일한 방식으로 동작할 수 있다. 따라서 중복되는 부분은 생략하고 간략히 서술한다.
블록 구조 적분 영상 생성부(200)는 입력 영상에 포함된 화소의 신호값을 입력받아, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는 블록 구조 적분 영상 블록을 생성한다.
메모리부(300)는 상기 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 각 신호값을 저장한다.
적분 영상 데이터 산출부(400)는 상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출한다.
여기서 본 발명에 따른 적분 영상 데이터 생성 장치는 아래에서 설명하는 바와 같이 병렬연산 하드웨어 구조를 이용하여 블록 구조 적분 영상 블록으로부터 적분 영상의 신호값을 보다 효율적으로 산출할 수 있다.
도 19는 상기 적분 영상 데이터 생성 장치의 병렬연산 하드웨어 구조를 나타내는 참고도이다. 여기서 도 19의 하드웨어 구조는 도 3 내지 도 16을 참조하면서 설명한 적분 영상 데이터 생성 장치에도 동일하게 적용될 수 있음은 물론이다.
먼저 메모리부(300)는 입력 영상을 저장하는 입력 영상 메모리(Input Image Memory), 그리고 블록 구조 적분 영상 생성부(200)에 의하여 생성된 화소들을 저장하기 위한 적분 영상 메모리(Integral Image Memory), 행 방향 적분 영상 메모리(Row Integral Image Memory), 열 방향 적분 영상 메모리(Column Integral Image Memory)를 포함한다.
블록 구조 적분 영상 생성부(200)는 상기 입력 영상의 신호값을 순차적으로 입력받고, 상기 행 방향 적분 영상 화소의 신호값은 행 방향 적분 영상 레지스터를 버퍼로 이용하여 행 방향으로 상기 입력 영상의 신호값을 누적 연산하여 메모리부(300)에 저장하고, 상기 적분 영상 화소의 신호값은 상기 적분 영상 화소의 위치에서 1 화소 위에 위치하는 상기 적분 영상 화소의 신호값과 상기 행 방향 적분 영상 레지스터에 저장된 값을 더하여 메모리부(300)에 저장하고, 상기 열 방향 적분 영상 화소의 신호값은 상기 적분 영상 화소의 신호값에서 1 화소 좌측에 위치하는 상기 적분 영상 화소의 신호값을 빼 메모리부(300)에 저장할 수 있다. 여기서 1 화소는 필요에 따라 소정의 숫자의 화소가 될 수 있고 그에 따라 연산은 변경될 수도 있다.
위와 같은 블록 구조 적분 영상 생성부(200)의 동작을 보다 상세히 설명하면, 먼저 블록 구조 적분 영상 생성부(200)는 입력 영상 메모리에 저장된 입력 영상의 신호값을 입력받되, 입력 영상의 기준 좌표인 원점 (0, 0)을 기준으로 순차적으로 1 화소 씩 데이터를 받아 연산 결과를 3 개의 상술한 각 메모리에 나누어 저장한다. 이때 행 방향으로 화소의 신호값을 누적하기 위해 행 방향 적분 영상 레지스터(Row Integral Image Register)를 버퍼로 사용하고, 행 방향 적분 영상 화소의 신호값은 행 방향 적분 영상 레지스터(Row Integral Image Register)의 값을 그대로 저장한다. 그리고 적분 영상 화소의 신호값은 위쪽 라인의 적분 영상 값을 읽고 행 방향 적분 영상 레지스터(Row Integral Image Register)의 값과 더하여 산출하여 저장한다. 따라서 도 19와 같이 적분 영상의 신호값을 출력하는 적분 영상 데이터 산출부(400)의 출력부로부터 데이터를 피드백 받는 구조를 가진다. 그리고 마지막으로 열 방향 적분 영상 화소의 신호값은 현재 위치의 적분 영상 화소의 신호값에 1 화소 이전의 적분 영상의 신호값을 빼서 산출하여 저장한다. 따라서 도 19와 같이 1 화소 이전의 적분 영상 신호값을 저장하기 위한 레지스터((Register)를 사용한다.
다음으로 적분 영상 데이터 산출부(400)는 위와 같이 블록 구조 적분 영상 생성부(200)가 산출하여 메모리부(300)에 저장한 데이터를 다시 합산하여 임의의 좌표에서의 적분 영상의 신호값을 산출 및 출력한다. 여기서 적분 영상 데이터 산출부(400)는 메모리부(300)에 저장된 행 방향 적분 영상 화소 및 열 방향 적분 영상 화소를 선택기(Selector)를 이용하여 해당 화소의 상기 블록 구조 적분 영상 블록 내 위치에 따라 선택하고, 상기 선택한 행 방향 적분 영상 화소 및 열 방향 적분 영상 화소와 메모리부(400)에 저장된 적분 영상 화소와 입력 영상의 화소의 신호값을 연산하여, 상기 적분 영상의 신호값을 산출할 수 있다. 이때 한 클럭에 데이터를 합산하는 모든 연산을 수행할 수 있도록 하기 위하여, 적분 영상 데이터 산출부(400)의 덧셈기는 도 19와 같이 적분 영상 신호값을 산출하는데 필요한 모든 데이터를 입력받을 수 있도록 병렬구조로 설계한다.
여기서 메모리부(300)의 각 메모리인 입력 영상 메모리(Input Image Memory), 적분 영상 메모리(Integral Image Memory), 행 방향 적분 영상 메모리(Row Integral Image Memory), 열 방향 적분 영상 메모리(Column Integral Image Memory)도 한 번에 여러 개의 화소의 신호값을 출력해야 하므로, 블록 단위로 읽기가 가능한 구조로 설계한다. 이때 도 19의 선택기(Selector)는 좌표의 위치에 따라 화소를 선택하기 위한 것으로 MUX의 형태로 설계된다.
상술한 병렬연산 하드웨어 구조에서는 블록 구조 적분 영상 블록을 생성하거나 또는 적분 영상의 신호값을 산출하는 과정에서 각 메모리에 저장되어 있는 화소들을 선택기(Selector)로 선택하여 출력할 필요가 있다. 이때 선택기(Selector)의 동작을 컨트롤하기 위한 신호는 선택하고자 하는 화소의 블록 내의 좌표에 따라 생성할 수 있다.
이때 블록 내의 좌표를 연산함에 있어서, 영상 좌표를 블록 크기 n으로 modulo 연산하여 블록 내 좌표를 획득할 수 있다. 그런데 일반적인 modulo 연산은 디바이더 또는 여러 차례의 뺄셈을 요구하고, 디바이더는 입력되는 단어 길이(word length)에 따라서 여러 클럭을 소모하기 때문에 비효율적일 수 있다. 따라서 본 발명에 따른 병렬연산 하드웨어 구조에서는 블록 구조 적분 영상 블록의 크기를 2n(2, 4, 8, …)로 하여 디바이더를 이용하지 않고 블록 내 좌표를 연산하도록 한다. 즉 2n의 modulo 연산은 단순히 상위 비트를 제거하는 것으로 연산이 가능하기 때문에 디바이더를 필요로 하지 않는다.
도 20은 본 발명의 또 다른 실시예에 따른 적분 영상 데이터 생성 방법의 흐름도이다.
상기 실시예의 적분 영상 데이터 생성 방법은 블록 구조 적분 영상 생성 단계(S100), 메모리 저장 단계(S200), 적분 영상 데이터 산출 단계(S300)를 포함할 수 있다. 여기서 블록 구조 적분 영상 생성 단계(S100), 메모리 저장 단계(S200), 적분 영상 데이터 산출 단계(S300)의 각 동작은 도 3 내지 도 16을 참조하면서 설명한 실시예에 따른 적분 영상 데이터 생성 장치 또는 도 18 내지 도 19를 참조하면서 설명한 실시예에 따른 적분 영상 데이터 생성 장치에서와 동일한 방식으로 동작할 수 있다. 따라서 중복되는 부분은 생략하고 간략히 서술한다.
블록 구조 적분 영상 생성 단계(S100)는 입력 영상에 포함된 화소의 신호값을 입력받아, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는 블록 구조 적분 영상 블록을 생성한다.
메모리 저장 단계(S200)는 상기 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 각 신호값을 메모리에 저장한다.
적분 영상 데이터 산출 단계(S300)는 상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출한다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 영상 신호 입력부
200 : 블록 구조 적분 영상 생성부
300 : 메모리부
400 : 적분 영상 데이터 산출부
500 : 블록 구조 적분 영상 입력부
S100 : 블록 구조 적분 영상 생성 단계
S200 : 메모리 저장 단계
S300 : 적분 영상 데이터 산출 단계

Claims (21)

  1. 적분 영상 데이터 생성 장치에 있어서,
    입력 영상에 포함된 화소의 신호값을 입력받는 영상 신호 입력부; 및
    상기 입력 영상을 이용하여, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는, 블록 구조 적분 영상 블록을 생성하는 블록 구조 적분 영상 생성부; 및
    상기 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 각 신호값을 저장하는 메모리부를 포함하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  2. 제1항에 있어서, 상기 블록 구조 적분 영상 생성부는,
    상기 블록 구조 적분 영상 블록 내의 화소 중 어느 한 화소를 상기 적분 영상 화소로,
    상기 적분 영상 화소를 기준으로 열 방향으로 위치하는 화소들을 상기 행 방향 적분 영상 화소로,
    상기 적분 영상 화소를 기준으로 행 방향으로 위치하는 화소들을 상기 열 방향 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  3. 제2항에 있어서, 상기 블록 구조 적분 영상 생성부는,
    상기 블록 구조 적분 영상 블록 내의 화소 중에서 상기 블록 구조 적분 영상 블록의 모서리에 위치하는 화소를 상기 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  4. 제3항에 있어서, 상기 블록 구조 적분 영상 생성부는,
    상기 블록 구조 적분 영상 블록 내의 화소 중에서 상기 블록 구조 적분 영상 블록의 좌측 상단 모서리에 위치하는 화소를 상기 적분 영상 화소로,
    상기 적분 영상 화소를 기준으로 아래의 열 방향으로 위치하는 화소들을 상기 행 방향 적분 영상 화소로,
    상기 적분 영상 화소를 기준으로 우측의 행 방향으로 위치하는 화소들을 상기 열 방향 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  5. 제3항에 있어서,
    상기 적분 영상 화소의 신호값은 상기 입력 영상의 기준 좌표와 상기 적분 영상 화소 좌표를 두 꼭지점으로 하는 영상 블록에 포함된 화소들의 신호값들을 합한 값이고,
    상기 열 방향 적분 영상 화소의 신호값은 상기 열 방향 적분 영상 화소 좌표에서 상기 기준 좌표의 열 방향 좌표에 이르기까지 열 방향으로 존재하는 화소들의 신호값들을 합한 값이고,
    상기 행 방향 적분 영상 화소의 신호값은 상기 행 방향 적분 영상 화소 좌표에서 상기 기준 좌표의 행 방향 좌표에 이르기까지 행 방향으로 존재하는 화소들의 신호값들을 합한 값인 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  6. 제3항에 있어서, 상기 블록 구조 적분 영상 블록은
    상기 적분 영상 화소와 상기 행 방향 적분 영상 화소와 상기 열 방향 적분 영상 화소 이외의 나머지 화소의 신호값은, 상기 나머지 화소의 위치에 대응하는 상기 입력 영상 화소의 신호값과 동일한 값을 가지는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  7. 제2항에 있어서, 상기 블록 구조 적분 영상 생성부는,
    상기 블록 구조 적분 영상 블록 내의 화소 중에서 상기 블록 구조 적분 영상 블록의 중앙 부분에 위치하는 화소를 상기 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  8. 제7항에 있어서, 상기 블록 구조 적분 영상 생성부는,
    상기 적분 영상 화소를 기준으로 위와 아래의 열 방향으로 위치하는 화소들을 상기 행 방향 적분 영상 화소로,
    상기 적분 영상 화소를 기준으로 좌측과 우측의 행 방향으로 위치하는 화소들을 상기 열 방향 적분 영상 화소로 하여, 상기 블록 구조 적분 영상 블록을 생성하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  9. 제7항에 있어서,
    상기 적분 영상 화소의 신호값은 상기 입력 영상의 기준 좌표와 상기 적분 영상 화소 좌표를 두 꼭지점으로 하는 영상 블록에 포함된 화소들의 신호값들을 합한 값이고,
    상기 열 방향 적분 영상 화소의 신호값은 상기 열 방향 적분 영상 화소 좌표로부터 상기 열 방향 적분 영상 화소의 위치에 따라 미리 정해진 변위 만큼 이동한 좌표에서 상기 기준 좌표의 열 방향 좌표에 이르기까지 열 방향으로 존재하는 화소들의 신호값들을 합한 값이고,
    상기 행 방향 적분 영상 화소의 신호값은 상기 행 방향 적분 영상 화소 좌표로부터 상기 행 방향 적분 영상 화소의 위치에 따라 미리 정해진 변위 만큼 이동한 좌표에서 상기 기준 좌표의 행 방향 좌표에 이르기까지 행 방향으로 존재하는 화소들의 신호값들을 합한 값인 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  10. 제7항에 있어서, 상기 블록 구조 적분 영상 블록은
    상기 적분 영상 화소와 상기 행 방향 적분 영상 화소와 상기 열 방향 적분 영상 화소 이외의 나머지 화소의 신호값은, 상기 나머지 화소의 좌표로부터 상기 나머지 화소의 위치에 따라 미리 정해진 변위 만큼 이동한 좌표에 대응하는 상기 입력 영상 화소의 신호값과 동일한 값을 가지는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  11. 삭제
  12. 제1항에 있어서,
    상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출하는 적분 영상 데이터 산출부를 더 포함하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  13. 제12항에 있어서, 상기 적분 영상 데이터 산출부는
    상기 블록 구조 적분 영상 생성부가 산출하여 상기 메모리부에 저장된, 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 신호값을 입력받고,
    상기 블록 구조 적분 영상 블록에서 상기 적분 영상 화소와 상기 행 방향 적분 영상 화소와 상기 열 방향 적분 영상 화소 이외의 나머지 화소의 신호값은 상기 입력 영상의 화소의 신호값을 입력받아,
    상기 입력받은 신호값을 이용하여 상기 적분 영상의 신호값을 산출하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  14. 제12항에 있어서,
    상기 적분 영상 데이터 산출부는, 상기 블록 구조 적분 영상 블록의 상기 적분 영상 화소가 상기 블록 구조 적분 영상 블록의 좌측 상단 모서리에 위치하는 화소인 경우, 상기 적분 영상 화소의 좌표와 상기 대상 좌표를 두 꼭지점으로 하는 상기 블록 구조 적분 영상 블록 내 화소들의 신호값들의 합을 연산하여, 상기 연산한 값을 상기 대상 좌표에서의 상기 적분 영상의 신호값으로 산출하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  15. 제12항에 있어서,
    상기 적분 영상 데이터 산출부는, 상기 블록 구조 적분 영상 블록의 상기 적분 영상 화소가 상기 블록 구조 적분 영상 블록의 중앙 부분에 위치하는 화소인 경우, 상기 대상 좌표가 속한 영역에 따라 미리 정해진 식을 이용하여 상기 블록 구조 적분 영상 블록 내 화소들의 신호값들을 연산하여, 상기 연산한 값을 상기 대상 좌표에서의 상기 적분 영상의 신호값으로 산출하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  16. 적분 영상 데이터 생성 장치에 있어서,
    입력 영상에 대하여 생성된, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는, 블록 구조 적분 영상 블록의 화소의 신호값을 입력받는 블록 구조 적분 영상 입력부; 및
    상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출하는 적분 영상 데이터 산출부를 포함하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  17. 제16항에 있어서, 상기 블록 구조 적분 영상 블록에서
    상기 적분 영상 화소는 상기 블록 구조 적분 영상 블록 내의 화소 중 어느 한 화소이고,
    상기 행 방향 적분 영상 화소는 상기 적분 영상 화소를 기준으로 열 방향으로 위치하는 화소들이고,
    상기 열 방향 적분 영상 화소는 상기 적분 영상 화소를 기준으로 행 방향으로 위치하는 화소들인 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  18. 적분 영상 데이터 생성 장치에 있어서,
    입력 영상에 포함된 화소의 신호값을 입력받아, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는 블록 구조 적분 영상 블록을 생성하는 블록 구조 적분 영상 생성부;
    상기 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 각 신호값을 저장하는 메모리부; 및
    상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출하는 적분 영상 데이터 산출부를 포함하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  19. 제18항에 있어서,
    상기 블록 구조 적분 영상 생성부는 상기 입력 영상의 신호값을 순차적으로 입력받고,
    상기 행 방향 적분 영상 화소의 신호값은 행 방향 적분 영상 레지스터를 버퍼로 이용하여 행 방향으로 상기 입력 영상의 신호값을 누적 연산하여, 상기 메모리부에 저장하고,
    상기 적분 영상 화소의 신호값은 상기 적분 영상 화소의 위치에서 1 화소 위에 위치하는 상기 적분 영상 화소의 신호값과 상기 행 방향 적분 영상 레지스터에 저장된 값을 더하여, 상기 메모리부에 저장하고,
    상기 열 방향 적분 영상 화소의 신호값은 상기 적분 영상 화소의 신호값에서 1 화소 좌측에 위치하는 상기 적분 영상 화소의 신호값을 빼, 상기 메모리부에 저장하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  20. 제18항에 있어서,
    상기 적분 영상 데이터 산출부는 상기 메모리부에 저장된 행 방향 적분 영상 화소 및 열 방향 적분 영상 화소를 선택기(Selector)를 이용하여 해당 화소의 상기 블록 구조 적분 영상 블록 내 위치에 따라 선택하고, 상기 선택한 행 방향 적분 영상 화소 및 열 방향 적분 영상 화소와 상기 메모리부에 저장된 적분 영상 화소와 입력 영상의 화소의 신호값을 연산하여, 상기 적분 영상의 신호값을 산출하는 것을 특징으로 하는 적분 영상 데이터 생성 장치.
  21. 적분 영상 데이터 생성 방법에 있어서,
    입력 영상에 포함된 화소의 신호값을 입력받아, 적분 영상 화소와 적어도 하나 이상의 열 방향 적분 영상 화소 및 행 방향 적분 영상 화소를 포함하는 블록 구조 적분 영상 블록을 생성하는 블록 구조 적분 영상 생성 단계;
    상기 블록 구조 적분 영상 블록에 포함된 상기 적분 영상 화소와 상기 열 방향 적분 영상 화소와 상기 행 방향 적분 영상 화소의 각 신호값을 메모리에 저장하는 메모리 저장 단계; 및
    상기 블록 구조 적분 영상 블록에 포함된 화소들의 신호값을 이용하여 상기 입력 영상 내 대상 좌표에서의 적분 영상의 신호값을 산출하는 적분 영상 데이터 산출 단계를 포함하는 것을 특징으로 하는 적분 영상 데이터 생성 방법.
KR1020150091485A 2015-06-26 2015-06-26 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법 KR101688435B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150091485A KR101688435B1 (ko) 2015-06-26 2015-06-26 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법
PCT/KR2015/008253 WO2016208806A1 (ko) 2015-06-26 2015-08-06 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150091485A KR101688435B1 (ko) 2015-06-26 2015-06-26 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101688435B1 true KR101688435B1 (ko) 2016-12-21

Family

ID=57585115

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150091485A KR101688435B1 (ko) 2015-06-26 2015-06-26 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR101688435B1 (ko)
WO (1) WO2016208806A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210075453A (ko) 2019-12-13 2021-06-23 ㈜ 에이치엠지 적분영상 기반 영상분할을 위한 초고속 병렬 연산 방법 및 초고속 병렬 연산프로그램을 기록한 매체
US11132569B2 (en) * 2019-05-22 2021-09-28 Texas Instruments Incorporated Hardware accelerator for integral image computation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128480A (ja) * 2005-10-05 2007-05-24 Mitsubishi Electric Corp 画像認識装置
JP2010198361A (ja) * 2009-02-25 2010-09-09 Denso Corp 検出対象判定装置，インテグラルイメージ生成装置。

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522985B1 (ko) * 2008-10-31 2015-05-27 삼성전자주식회사 영상처리 장치 및 방법
KR101204866B1 (ko) * 2010-10-26 2012-11-26 재단법인대구경북과학기술원 윈도우 기반 영상 처리에서 고속으로 윈도우 영역 내 화소 연산을 수행하기 위한 방법 및 장치
KR101418524B1 (ko) * 2013-04-24 2014-08-06 전자부품연구원 하드웨어 장치 및 적분 이미지 생성 방법
US9398297B2 (en) * 2013-11-04 2016-07-19 Intel Corporation Integral image coding
KR101531038B1 (ko) * 2013-12-05 2015-06-23 전자부품연구원 Ｓｕｒｆ 하드웨어 장치 및 적분 이미지 메모리 관리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128480A (ja) * 2005-10-05 2007-05-24 Mitsubishi Electric Corp 画像認識装置
JP2010198361A (ja) * 2009-02-25 2010-09-09 Denso Corp 検出対象判定装置，インテグラルイメージ生成装置。

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
P.S.Heckbert, "Survey of Texture Mapping", IEEE Computer Graphics and Applications Vol.6, Issue.11, Nov.1986, pp.56-67.* *
Su-hyun Lee, Yong-jin Jeong., "A New Integral Image Structure for Memory Size Reduction,"IEICE Transactions on Information and Systems, Volume E97-D No.4, pp. 998-1000, 2014. *
해외논문 001 : Crow, F., "Summed-area tables for texture mapping", in SIGGRAPH'84 : Proceedings of the 11th annual conference on Computer graphics and interactive techniques, New York, NY, USA, 1984, pp. 207-212, ACM

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132569B2 (en) * 2019-05-22 2021-09-28 Texas Instruments Incorporated Hardware accelerator for integral image computation
US11682099B2 (en) 2019-05-22 2023-06-20 Texas Instruments Incorporated Hardware accelerator for integral image computation
KR20210075453A (ko) 2019-12-13 2021-06-23 ㈜ 에이치엠지 적분영상 기반 영상분할을 위한 초고속 병렬 연산 방법 및 초고속 병렬 연산프로그램을 기록한 매체
KR102405470B1 (ko) 2019-12-13 2022-06-07 최일 적분영상 기반 영상분할을 위한 초고속 병렬 연산 방법 및 초고속 병렬 연산프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Also Published As

Publication number Publication date
WO2016208806A1 (ko) 2016-12-29

Similar Documents

Publication Publication Date Title
KR101687081B1 (ko) 단채널 컨볼루션 레이어를 위한 처리 방법 및 장치, 및 다채널 컨볼루션 레이어를 위한 처리 방법 및 장치
JP5340088B2 (ja) 情報処理方法及び装置
US10642622B2 (en) Arithmetic processing device and control method of the arithmetic processing device
US11328395B2 (en) Image processing method, image processing device, electronic equipment and computer readable storage medium
US20170206089A1 (en) Information processing apparatus and computational method
JP2008299627A (ja) 情報処理方法及び装置、プログラム、記憶媒体
US8879835B2 (en) Fast adaptive edge-aware matting
EP3093757B1 (en) Multi-dimensional sliding window operation for a vector processor
US11710213B2 (en) Application processor including reconfigurable scaler and devices including the processor
JP2020191057A (ja) レイアウト解析方法、読書補助装置、回路及び媒体
CN111200716B (zh) 特征映射缩放的精度补偿方法、系统及存储介质
US20160253129A1 (en) Image forming apparatus and control method therefor
KR101688435B1 (ko) 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법
US10572969B2 (en) Method and device for processing data
US7486843B2 (en) Image processing overlaying one image on another
WO2014140674A1 (en) Lossless color image compression adaptively using spatial prediction or inter-component prediction
US10387997B2 (en) Information processing device, information processing method, and storage medium
US20130328903A1 (en) Efficient cache preloading
US11393068B2 (en) Methods and apparatus for efficient interpolation
JP2014099848A (ja) イメージ分割システム及びその方法
JP5719271B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
US9218647B2 (en) Image processing apparatus, image processing method, and storage medium
TWI493476B (zh) 影像處理電路與方法
US10284861B2 (en) Concurrent image compression and thumbnail generation
KR20210150304A (ko) 적분 영상 생성 장치 및 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 4