KR101418524B1 - 하드웨어 장치 및 적분 이미지 생성 방법 - Google Patents

하드웨어 장치 및 적분 이미지 생성 방법 Download PDF

Info

Publication number
KR101418524B1
KR101418524B1 KR1020130045330A KR20130045330A KR101418524B1 KR 101418524 B1 KR101418524 B1 KR 101418524B1 KR 1020130045330 A KR1020130045330 A KR 1020130045330A KR 20130045330 A KR20130045330 A KR 20130045330A KR 101418524 B1 KR101418524 B1 KR 101418524B1
Authority
KR
South Korea
Prior art keywords
integral
image
value
offset
integral image
Prior art date
Application number
KR1020130045330A
Other languages
English (en)
Inventor
최병호
김제우
이상설
황영배
장성준
김정호
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020130045330A priority Critical patent/KR101418524B1/ko
Application granted granted Critical
Publication of KR101418524B1 publication Critical patent/KR101418524B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

하드웨어 장치 및 적분 이미지 생성 방법이 개시된다. 여기서, 영상의 특징점 및 서술자를 연산하는 하드웨어 장치는 입력받은 흑백 영상 전체를 페이딩시켜 최대 비트 수를 기 정의된 비트로 감소시키는 영상 페이딩부, 상기 영상 페이딩부로부터 출력되는 흑백 영상의 화소값을 순차적으로 계산하여 이전 라인까지 누적된 화소값을 오프셋으로 버퍼링하며, 다음 라인의 처음 화소부터 누적된 화소값을 차분값으로 저장하는 적분 이미지 생성부, 그리고 상기 오프셋 및 상기 차분값을 이용하여 상기 특징점을 추출하는데 필요한 제1 적분 이미지의 화소값을 산출하는 제1 적분값 획득부를 포함한다.

Description

하드웨어 장치 및 적분 이미지 생성 방법{HARDWARE APPARATUS AND METHOD FOR GENERATING INTEGRAL IMAGE THEREOF}
본 발명은 하드웨어 장치 및 적분 이미지 생성 방법에 관한 것으로, 특히, 객체ㅇ장면 인식 및 하드웨어ㅇ시스템-온-칩 기술 분야에 관한 것이다.
SURF(Speeded Up Robust Feature) 알고리즘은 사물의 특징점을 추출하는 대표적인 알고리즘 중의 하나이다.
SURF 알고리즘은 입력 흑백 영상을 토대로 내부적으로 적분 이미지를 재생성하여 객체ㅇ장면 인식을 수행한다. 그런데 입력 해상도가 커짐에 따라 최대 누적값 또한 커진다. 결국 이를 표현하기 위해 필요로 하는 비트 수가 커져 전체 메모리 사용량이 늘어나는 문제가 있다.
640×480 해상도의 경우, 적분 이미지의 필요한 최대 비트 수는 27 비트가 된다. 27비트의 307200(640×480)개 값을 저장하는 것은 하드웨어 및 시스템-온-칩 구현에 있어 현실적으로 불가능하다. 알고리즘의 구현을 위해서 이러한 적분 이미지 메모리 사용량 감소 방법이 절실히 요구되고 있다.
따라서, 본 발명이 이루고자 하는 기술적 과제는 적분 이미지 메모리의 크기를 감소시키는 하드웨어 장치 및 적분 이미지 생성 방법을 제공하는 것이다.
본 발명의 하나의 특징에 따르면, 하드웨어 장치는 영상의 특징점 및 서술자를 연산하는 하드웨어 장치로서, 입력받은 흑백 영상 전체를 페이딩시켜 최대 비트 수를 기 정의된 비트로 감소시키는 영상 페이딩부, 상기 영상 페이딩부로부터 출력되는 흑백 영상의 화소값을 순차적으로 계산하여 이전 라인까지 누적된 화소값을 오프셋으로 버퍼링하며, 다음 라인의 처음 화소부터 누적된 화소값을 차분값으로 저장하는 적분 이미지 생성부, 그리고 상기 오프셋 및 상기 차분값을 이용하여 상기 특징점을 추출하는데 필요한 제1 적분 이미지의 화소값을 산출하는 제1 적분값 획득부를 포함한다.
상기 하드웨어 장치는,
상기 영상 페이딩부로부터 출력되는 흑백 영상의 이전 라인의 마지막 행 또는 마지막 열의 누적된 화소값인 오프셋이 저장되는 오프셋 버퍼, 그리고 상기 이전 라인의 다음 라인의 처음 화소부터 계산되어 상기 다음 라인의 마지막 행 또는 마지막 열의 누적된 화소값인 차분값이 저장되는 제1 적분 이미지 메모리를 더 포함하고,
상기 제1 적분값 획득부는,
상기 오프셋 버퍼로 접근하여 상기 제1 적분 이미지에 해당하는 이전 라인의 오프셋을 획득하고, 상기 제1 적분 이미지 메모리로 접근하여 상기 이전 라인의 다음 라인의 차분값을 획득하며, 획득한 오프셋 및 획득한 차분값을 합산하여 상기 제1 적분 이미지의 화소값을 계산할 수 있다.
상기 오프셋 버퍼는,
하나 이상의 라인을 포함하는 그룹 단위로 상기 그룹 내 마지막 행 또는 마지막 열의 누적된 화소의 적분값인 오프셋이 상기 그룹 별로 인덱싱되어 저장될 수 있다.
상기 제1 적분값 획득부는 스케일 단위로 복수개이고,
상기 오프셋 버퍼 및 상기 제1 적분 이미지 메모리를 복수개의 상기 제1 적분값 획득부가 서로 공유할 수 있다.
상기 하드웨어 장치는,
상기 이전 라인의 다음 라인의 처음 화소부터 계산되어 상기 다음 라인의 마지막 행 또는 마지막 열의 누적된 화소값인 차분값이 저장되는 제2 적분 이미지 메모리 그리고 상기 오프셋 버퍼로 접근하여 상기 서술자를 생성하는데 필요한 제2 적분 이미지에 해당하는 오프셋을 획득하고, 상기 제2 적분 이미지 메모리로 접근하여 상기 오프셋 다음 라인의 차분값을 획득하며, 획득한 오프셋 및 획득한 차분값을 합산하여 상기 제2 적분 이미지의 화소값을 계산할 수 있다.
본 발명의 다른 특징에 따르면, 적분 이미지 생성 방법은 하드웨어 장치가 입력받은 영상의 특징점 및 서술자를 연산하기 위한 적분 이미지를 생성하는 방법으로서, 입력받은 흑백 영상 전체에 대해 최대 비트 수를 기 정의된 비트로 감소시키는 페이딩을 수행하는 단계, 상기 페이딩된 흑백 영상의 이전 라인의 마지막 행 또는 마지막 열의 누적된 화소값인 오프셋을 계산하는 단계, 상기 이전 라인의 다음 라인의 처음 화소부터 계산되어 누적된 상기 다음 라인의 마지막 행 또는 마지막 열의 화소값인 차분값을 계산하는 단계, 그리고 상기 오프셋 및 상기 차분값을 이용하여 상기 적분 이미지의 화소값을 산출하는 단계를 포함한다.
상기 차분값을 계산하는 단계는,
상기 특징점을 추출하는데 필요한 제1 적분 이미지의 제1 차분값을 계산하여 저장하는 단계, 그리고 상기 서술자를 추출하는데 필요한 제2 적분 이미지의 제2 차분값을 계산하여 저장하는 단계를 포함할 수 있다.
상기 산출하는 단계는,
상기 오프셋 및 상기 제1 차분값을 합산하여 상기 제1 적분 이미지의 화소값을 산출하는 단계, 그리고 상기 오프셋 및 상기 제2 차분값을 합산하여 상기 제2 적분 이미지의 화소값을 산출하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 페이딩 기법을 통해 입력 영상의 비트 수를 감소시킨다. 또한, 입력 영상의 화소 적분값을 한 라인의 마지막 열에서의 누적된 값을 별도로 저장하여 오프셋으로 사용하고, 새로운 라인의 적분 이미지를 생성 시에는 바로 이 오프셋을 가지고 있기 때문에 처음 화소부터 다시 누적하여 차분값을 형성하며, 오프셋 및 차분값을 합산하여 적분 이미지를 생성함으로써, 전체 화소의 적분값으로 모두 저장하지 않아도 되어 적분 이미지 메모리의 크기를 감소시킬 수 있다.
도 1은 본 발명의 실시예에 따른 SURF 하드웨어 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 오프셋 버퍼의 구성도이다.
도 3은 본 발명의 실시예에 따른 적분 이미지 메모리의 구성도이다.
도 4는 본 발명의 실시예에 따른 스케일 처리부 및 특징점 추출부의 구현 예시도이다.
도 5는 본 발명의 실시예에 따른 적분 이미지 생성 및 획득 방법을 나타낸 순서도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부", "…모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 하드웨어 장치 및 적분 이미지 생성 방법에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 SURF(Speeded Up Robust Feature) 하드웨어 장치의 구성도이고, 도 2는 본 발명의 실시예에 따른 오프셋 버퍼의 구성도이고, 도 3은 본 발명의 실시예에 따른 적분 이미지 메모리의 구성도이며, 도 4는 본 발명의 실시예에 따른 스케일 처리부 및 특징점 추출부의 구현 예시도이다.
먼저, 도 1을 참조하면, SURF 하드웨어 장치(100)는 특징점(Feature point) 및 서술자(Descriptor)를 생성한다. 이때, 특징점을 추출하는 스케일 공간(Scale space)을 표현하기 위해 이미지 피라미드(Image pyramids)를 생성하고 생성된 이미지 피라미드에서 특징점을 추출한다. 이때, 사용되는 적분 이미지(Integral image)는 SURF 알고리즘의 핵심이다.
SURF 하드웨어 장치(100)는 영상 저장부(101), 영상 페이딩부(103), 적분 이미지 생성부(105), 오프셋 버퍼(107), 제1 적분 이미지 메모리(109), 제2 적분 이미지 메모리(111), 스케일 처리부(113), 제1 적분값 획득부(115), 헤이시안 계산부(117), 특징점 추출부(119), 특징점 저장부(121), 제2 적분값 획득부(123), 회전 계산부(125), 서술자 계산부(127) 및 서술자 저장부(129)를 포함한다.
이때, 특징점 저장부(121)를 경계로 좌우 측 2개의 큰 블록으로 생성되는데,좌측은 특징점 추출부, 우측은 서술자 생성부로 구분된다.
영상 저장부(101)는 입력받은 흑백 영상을 저장한다.
영상 페이딩부(103)는 영상 저장부(101)에 저장된 입력받은 흑백 영상 전체를 페이딩(Fading)시켜 최대 비트 수를 기 정의된 비트로 감소시킨다.
흑백 영상의 경우 아날로그 입력을 0부터 255까지로 양자화하여 디지털 값을 사용한다. 여기서, 페이딩 기법은 256개의 양자화 레벨 수를 감소시키는 것이다. 양자화 레벨 수를 줄였을 때, 영상의 명암이나 색은 변할 수 있지만 영상 자체는 크게 변하지 않는다. 객체 인식의 경우는 영상의 명암이나 색에 기반하는 것이 아니기 때문에 인식률에 있어 양자화 레벨 수에 의한 영향은 거의 없다.
양자화 레벨 수를 256개에서 192개로 감소시켰을 경우 표현 비트는 8비트에서 6비트로 감소하고, 640×480 해상도의 영상에서 적분 이미지 메모리의 사용량은 약 8% 감소된다.
적분 이미지 생성부(105)는 영상 페이딩부(103)로부터 전달받은 페이딩된 흑백 영상을 구성하는 화소들 각각의 화소값을 라인 방향으로 순차적으로 계산하여 누적한다.
여기서, 라인은 영상의 행(Row) 단위로 배치된 복수개의 화소로 이루어지거나 또는 영상의 열(Column) 단위로 배치된 복수개의 화소로 이루어질 수 있다.
적분 이미지 생성부(105)는 하나 이상의 라인을 포함하는 그룹 단위로 화소값을 순차적으로 계산하여 누적한다. 이때, 그룹의 마지막 행 또는 마지막 열의 누적된 화소값을 해당 그룹의 오프셋(off-set)으로 산출하여 오프셋 버퍼(107)에 저장한다.
또한, 적분 이미지 생성부(105)는 오프셋에 기반하여 차분값(Defferential value)을 산출하여 제1 적분 이미지 메모리(109) 및 제2 적분 이미지 메모리(121)에 각각 저장한다.
이때, 적분 이미지 생성부(105)는 차분값을 계산시 이전 라인의 누적된 화소값과 관계없이 이전 라인의 다음 라인의 처음 행 또는 처음 열의 화소값부터 새롭게 계산하여 누적한다.
오프셋 버퍼(107)는 적분 이미지 생성부(105)가 산출한 오프셋을 그룹 별로 인덱싱하여 저장한다. 그리고 오프셋 버퍼(107)는 레지스터(register)로 구현되어 특징점 추출부와 서술자 생성부의 동시 접근에도 충돌이 발생하지 않는다.
이때, 오프셋 버퍼(107)는 도 3과 같이 구현될 수 있다.
도 3의 (a)를 참조하면, 적분 이미지 생성부(105)는 N개의 라인(Row or Column #0 ~ Row or Column #N)을 포함하는 그룹 단위로 버퍼링된 오프셋(P1)은 도 3의 (b)와 같이 그룹 별로 오프셋 버퍼(107)에 저장된다.
즉, 제1 그룹(RG #0)은 N개의 라인(Row or Column #0 ~ Row or Column #N)을 포함하고, 제1 그룹(RG #0)의 오프셋은 N번째 라인(Row or Column #N)의 마지막 행 또는 마지막 열의 누적된 화소값이 저장된다. 마찬가지로 제2 그룹(RG #1)의 오프셋은 2N번째 라인(Row or Column #2N)의 마지막 행 또는 마지막 열의 누적된 화소값이 저장된다.
이때, 640×480, 8비트 흑백 영상의 경우, 2-라인의 그룹 단위로 오프셋을 산출하면, 적분 이미지의 화소값의 표현 비트는 종래 27비트에서 19비트로 감소하게 된다. 이로 인해 적분 이미지 메모리의 사용량을 약 30% 감소시킬 수 있다.
다시, 도 1을 참조하면, 제1 적분 이미지 메모리(109)는 특징점 추출에 필요한 적분 이미지의 차분값을 저장한다.
제2 적분 이미지 메모리(111)는 서술자 추출에 필요한 적분 이미지의 차분값을 저장한다.
적분 이미지 메모리를 이처럼 제1 적분 이미지 메모리(109) 및 제2 적분 이미지 메모리(111)로 구분하여 독립적으로 구성하는 이유는 제1 적분값 획득부(115) 및 제2 적분값 획득부(123)가 순차적으로 동작하지 않고 동시에 동작할 수 있기 때문이다. 만약 적분 이미지 메모리를 하나로 구현하면, 동시 동작시 적분 이미지 메모리 접근 충돌이 발생할 수 있다.
또한, 제1 적분값 획득부(115) 및 제2 적분값 획득부(123)의 중간에 FIFO로 인터페이싱하기 때문에 제1 적분값 획득부(115) 및 제2 적분값 획득부(123)는 서로 독립적으로 동작할 수 있다.
제1 적분 이미지 메모리(109)는 특징점 추출을 위한 전용 메모리이다. 그리고 복수의 스케일 처리부(113)가 서로 공유하는 메모리이다.
제1 적분 이미지 메모리(109)는 페이딩된 입력 흑백 영상 내에서 특정 사각형 영역에서 적분 이미지의 화소값에 대해 필터링을 하게 되는데 특정 사각형 영역의 크기는 크지 않다. 여기서, 특정 사각형 영역은 최대 51×51 크기 혹은 그 이상의 사각형 박스 일 수 있다.
제2 적분 이미지 메모리(111)는 서술자 추출을 위한 전용 메모리이다. 제2 적분 이미지 메모리(111)는 페이딩된 입력 흑백 영상 프레임의 적분 이미지의 화소값을 모두 저장한다. 이때, 특징점을 중심으로 상당히 큰 영역의 적분 이미지를 저장한다.
여기서, 제1 적분 이미지 메모리(109) 및 제2 적분 이미지 메모리(111)는 도 4와 같이 구현될 수 있다.
도 4를 참조하면, 제1 적분 이미지 메모리(109) 및 제2 적분 이미지 메모리(111)는 영상의 전체 라인(Row or Column #0 ~ Row or Column #N) 별로 차분값이 인덱싱되어 저장된다. 즉, 차분값은 라인 별로 해당하는 라인의 처음 행 또는 처음 열(0,0)의 화소값부터 순차적으로 계산되어 마지막 행 또는 마지막 열의 누적된 화소값이다.
다시, 도 1을 참조하면, 스케일 처리부(113)는 특징점 추출시에 복수개의 스케일에 대해 병렬 연산을 한다. 이때, 스케일은 전술한 제1 적분 이미지 메모리(109)의 특정 사각형 영역에 대한 필터링 작업이이고, 예컨대 6개의 스케일을 포함할 수 있다. 따라서, 스케일 처리부(113)는 스케일의 개수만큼 복수개로 구현될 수 있다. 그리고 파이프라인으로 구현되어 병렬로 6개 혹은 그 이상으로 구성되어 연산을 수행할 수 있다.
이때, 각각의 스케일 처리부(113)는 특정 사각형의 크기를 달리하여 필터링을 한다. 예를 들어, 각각의 스케일 처리부(113)는 9×9, 15×15, 21×21, 27×27, 39×39, 51×51 크기의 필터 크기로 각각 구현될 수 있다.
이러한 스케일 처리부(113) 각각은 제1 적분값 획득부(115) 및 헤이시안(Hessian) 계산부(117)를 포함한다.
여기서, 제1 적분값 획득부(115)는 오프셋 버퍼(107)에 접근하여 획득한 오프셋 및 제1 적분 이미지 메모리(109)에 접근하여 획득한 차분값을 합산하여 헤이시안 계산부(117)에서 필요로 하는 적분 이미지의 화소값을 계산한다.
즉, 제1 적분값 획득부(115)는 헤이시안 계산부(117)에서 필요로 하는 적분 이미지를 구성하는 복수의 라인 중에서 해당하는 그룹에 인덱싱된 오프셋을 오프셋 버퍼(107)로부터 획득한다. 그리고 그룹의 다음 라인의 차분값을 제1 적분 이미지 메모리(109)로부터 획득한다. 이처럼 획득한 오프셋 및 차분값을 합산하여 적분 이미지 화소값을 계산하여 헤이시안 계산부(117)로 출력한다.
도 3 및 도 4를 다시 참조하면, 제1 적분값 획득부(115)는 제1 그룹(RG #0)의 오프셋 및 제1 그룹(RG #0)의 다음 라인(Row or Column N+1)의 차분값을 계산하여 적분 이미지 화소값을 연산할 수 있다.
헤이시안 계산부(117)는 제1 적분값 획득부(115)로부터 전달받은 적분 이미지 화소값을 이용하여 박스 필터(Box filter) 연산을 수행하여 헤이시안 행렬식을 계산한다.
특징점 추출부(119)는 헤이시안 계산부(117)가 계산한 헤이시안 행렬식을 이용하여 이미지 피라미드를 생성하여 특징점을 추출한다.
이때, 특징점 추출부(119)는 스케일 처리부(113)의 개수에 대응하여 복수개 형성되며, 도 5와 같이 구현될 수 있다.
도 5를 참조하면, 스케일 처리부(113)가 총 6개라고 하면, 특징점 추출부(119)는 총 4개로 구현된다. 즉, 6개의 스케일 처리부(113)의 인덱스는 각각 S0, S1, S2, S3, S4, S5이고, 4개의 특징점 추출부(119)의 인덱스는 각각 F0, F1, F2, F3이다.
여기서, 스케일 처리부(113)가 6개면, 제1 적분값 획득부(115) 및 헤이시안 계산부(117) 역시 각각 6개로 구현됨은 자명하다.
이때, F0은 S0, S1, S2와 연결되고, F1은 S0, S1, S3과 연결도며, F2는 S1, S3, S4와 연결되고, F3은 S2, S4, S5와 연결된다. 이처럼, 하나의 특징점 추출부(119)는 3개의 스케일 처리부(113)가 출력하는 특징점을 토대로 최종 특징점을 추출한다.
특징점 저장부(121)는 특징점 추출부(119)가 추출하는 특징점을 저장하며, FIFO(First In First Out)로 구현된다.
제2 적분값 획득부(123)는 서술자 생성에 필요한 적분 이미지를 구성하는 복수의 라인 중에서 해당하는 그룹에 인덱싱된 오프셋을 오프셋 버퍼(107)로부터 획득한다. 그리고 그룹의 다음 라인의 차분값을 제2 적분 이미지 메모리(111)로부터 획득한다. 이처럼 획득한 오프셋 및 차분값을 합산하여 적분 이미지 화소값을 계산하여 회전 계산부(125) 및 서술자 계산부(127)에게 각각 출력한다.
회전 계산부(125)는 제2 적분값 획득부(123)가 획득한 적분 이미지 화소값을 토대로 회전값을 계산한다. 특징점 저장부(121)에서 추출된 특징점의 좌표 및 스케일에 기반하여 특징점을 중심으로 특정 영역의 적분값을 가지고 특징점의 주 방향을 계산한다. 이를 통해 현재 특징점이 어느 정도 회전되어 있는지 알 수 있게 되고 이는 서술자를 계산할 때 이용하는 적분값의 영역을 결정하는 기준으로 사용된다.
서술자 계산부(127)는 제2 적분값 획득부(123)가 획득한 적분 이미지 화소값을 토대로 서술자를 계산한다. 그리고 특징점 저장부(121)에 저장된 특징점에 서술자를 부여한다. 서술자는 특징점을 중심으로 스케일에 따른 특정 영역의 적분값을 사용하며 Harr-wavelet 필터링 후, dx, dy, |dx|, |dy|, 총 4개로 계산 및 표현된다. 또한, 서술자를 계산하기 위해 사용하는 적분값의 영역은 앞서 계산된 회전(각)에 의해 조정된다.
서술자 저장부(129)는 서술자 계산부(127)가 계산한 서술자들이 저장된다.
도 5는 본 발명의 실시예에 따른 적분 이미지 생성 및 획득 방법을 나타낸 순서도이다. 즉, 전술한 SURF 하드웨어 장치(100)의 적분 이미지 생성 및 획득 동작을 나타낸 순서도이다.
도 5를 참조하면, 영상 페이딩부(103)가 입력받은 흑백 영상 전체에 대해 페이딩 기법을 적용하여 최대 비트 수를 기 정의된 비트로 감소시킨다(S101).
적분 이미지 생성부(105)는 페이딩된 흑백 영상의 하나 이상의 라인을 포함하는 그룹 단위로 화소값을 순차적으로 계산하여 그룹의 마지막 행 또는 마지막 열의 누적된 화소값을 해당 그룹의 오프셋(off-set)으로 산출(S103)하여 오프셋 버퍼(107)에 저장한다(S105).
또한, 적분 이미지 생성부(105)는 라인 별로 라인의 마지막 행 또는 마지막 열의 누적된 화소값을 해당 라인의 차분값(Defferential value)으로 산출(S107)하여 제1 적분 이미지 메모리(109) 및 제2 적분 이미지 메모리(121)에 각각 저장한다(S109).
다음, 제1 적분값 획득부(115)는 헤이시안 계산부(117)에서 필요로 하는 적분 이미지를 구성하는 복수의 라인 중에서 해당하는 그룹에 인덱싱된 오프셋을 오프셋 버퍼(107)로부터 획득한다(S111). 그리고 그룹의 다음 라인의 차분값을 제1 적분 이미지 메모리(109)로부터 획득한다(S113).
다음, 제1 적분값 획득부(115)는 S111 단계에서 획득한 오프셋 및 S113 단계에서 획득한 차분값을 합산하여 적분 이미지 화소값을 계산(S115)하여 헤이시안 계산부(117)로 출력한다.
또한, 제2 적분값 획득부(123)는 서술자 생성에 필요한 적분 이미지를 구성하는 복수의 라인 중에서 해당하는 그룹에 인덱싱된 오프셋을 오프셋 버퍼(107)로부터 획득한다(S117). 그리고 그룹의 다음 라인의 차분값을 제2 적분 이미지 메모리(111)로부터 획득한다(S119).
다음, 제2 적분값 획득부(123)는 S119 단계에서 획득한 오프셋 및 S121 단계에서 획득한 차분값을 합산하여 적분 이미지 화소값을 계산(S121)하여 회전 계산부(125) 및 서술자 계산부(127)에게 각각 출력한다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (8)

  1. 영상의 특징점 및 서술자를 연산하는 하드웨어 장치로서,
    입력받은 흑백 영상 전체를 페이딩시켜 최대 비트 수를 기 정의된 비트로 감소시키는 영상 페이딩부,
    상기 영상 페이딩부로부터 출력되는 흑백 영상의 화소값을 순차적으로 계산하여 이전 라인까지 누적된 화소값을 오프셋으로 버퍼링하며, 다음 라인의 처음 화소부터 누적된 화소값을 차분값으로 저장하는 적분 이미지 생성부, 그리고
    상기 오프셋 및 상기 차분값을 이용하여 상기 특징점을 추출하는데 필요한 제1 적분 이미지의 화소값을 산출하는 제1 적분값 획득부
    를 포함하는 하드웨어 장치.
  2. 제1항에 있어서,
    상기 영상 페이딩부로부터 출력되는 흑백 영상의 이전 라인의 마지막 행 또는 마지막 열의 누적된 화소값인 오프셋이 저장되는 오프셋 버퍼, 그리고
    상기 이전 라인의 다음 라인의 처음 화소부터 계산되어 상기 다음 라인의 마지막 행 또는 마지막 열의 누적된 화소값인 차분값이 저장되는 제1 적분 이미지 메모리를 더 포함하고,
    상기 제1 적분값 획득부는,
    상기 오프셋 버퍼로 접근하여 상기 제1 적분 이미지에 해당하는 이전 라인의 오프셋을 획득하고, 상기 제1 적분 이미지 메모리로 접근하여 상기 이전 라인의 다음 라인의 차분값을 획득하며, 획득한 오프셋 및 획득한 차분값을 합산하여 상기 제1 적분 이미지의 화소값을 계산하는 하드웨어 장치.
  3. 제2항에 있어서,
    상기 오프셋 버퍼는,
    하나 이상의 라인을 포함하는 그룹 단위로 상기 그룹 내 마지막 행 또는 마지막 열의 누적된 화소의 적분값인 오프셋이 상기 그룹 별로 인덱싱되어 저장되는 하드웨어 장치.
  4. 제2항에 있어서,
    상기 제1 적분값 획득부는 스케일 단위로 복수개이고,
    상기 오프셋 버퍼 및 상기 제1 적분 이미지 메모리를 복수개의 상기 제1 적분값 획득부가 서로 공유하는 하드웨어 장치.
  5. 제3항에 있어서,
    상기 이전 라인의 다음 라인의 처음 화소부터 계산되어 상기 다음 라인의 마지막 행 또는 마지막 열의 누적된 화소값인 차분값이 저장되는 제2 적분 이미지 메모리 그리고
    상기 오프셋 버퍼로 접근하여 상기 서술자를 생성하는데 필요한 제2 적분 이미지에 해당하는 오프셋을 획득하고, 상기 제2 적분 이미지 메모리로 접근하여 상기 오프셋 다음 라인의 차분값을 획득하며, 획득한 오프셋 및 획득한 차분값을 합산하여 상기 제2 적분 이미지의 화소값을 계산하는 하드웨어 장치.
  6. 하드웨어 장치가 입력받은 영상의 특징점 및 서술자를 연산하기 위한 적분 이미지를 생성하는 방법으로서,
    입력받은 흑백 영상 전체에 대해 최대 비트 수를 기 정의된 비트로 감소시키는 페이딩을 수행하는 단계,
    상기 페이딩된 흑백 영상의 이전 라인의 마지막 행 또는 마지막 열의 누적된 화소값인 오프셋을 계산하는 단계,
    상기 이전 라인의 다음 라인의 처음 화소부터 계산되어 누적된 상기 다음 라인의 마지막 행 또는 마지막 열의 화소값인 차분값을 계산하는 단계, 그리고
    상기 오프셋 및 상기 차분값을 이용하여 상기 적분 이미지의 화소값을 산출하는 단계
    를 포함하는 적분 이미지 생성 방법.
  7. 제6항에 있어서,
    상기 차분값을 계산하는 단계는,
    상기 특징점을 추출하는데 필요한 제1 적분 이미지의 제1 차분값을 계산하여 저장하는 단계, 그리고
    상기 서술자를 추출하는데 필요한 제2 적분 이미지의 제2 차분값을 계산하여 저장하는 단계
    를 포함하는 적분 이미지 생성 방법.
  8. 제7항에 있어서,
    상기 산출하는 단계는,
    상기 오프셋 및 상기 제1 차분값을 합산하여 상기 제1 적분 이미지의 화소값을 산출하는 단계, 그리고
    상기 오프셋 및 상기 제2 차분값을 합산하여 상기 제2 적분 이미지의 화소값을 산출하는 단계
    를 포함하는 적분 이미지 생성 방법.
KR1020130045330A 2013-04-24 2013-04-24 하드웨어 장치 및 적분 이미지 생성 방법 KR101418524B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130045330A KR101418524B1 (ko) 2013-04-24 2013-04-24 하드웨어 장치 및 적분 이미지 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130045330A KR101418524B1 (ko) 2013-04-24 2013-04-24 하드웨어 장치 및 적분 이미지 생성 방법

Publications (1)

Publication Number Publication Date
KR101418524B1 true KR101418524B1 (ko) 2014-08-06

Family

ID=51748720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130045330A KR101418524B1 (ko) 2013-04-24 2013-04-24 하드웨어 장치 및 적분 이미지 생성 방법

Country Status (1)

Country Link
KR (1) KR101418524B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016208806A1 (ko) * 2015-06-26 2016-12-29 광운대학교 산학협력단 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법
CN113743418A (zh) * 2020-05-28 2021-12-03 中科寒武纪科技股份有限公司 图像中特征点的描述子的生成方法、装置和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110002043A (ko) * 2008-04-23 2011-01-06 미쓰비시덴키 가부시키가이샤 이미지 식별을 위한 스케일 안정적 특징-기반 식별자

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110002043A (ko) * 2008-04-23 2011-01-06 미쓰비시덴키 가부시키가이샤 이미지 식별을 위한 스케일 안정적 특징-기반 식별자

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
류재경 외 2, "SURF 알고리즘 기반 특징점 추출기의 FPGA 설계", 멀티미디어학회논문지 제14권 제3호 (2011.03) *
류재경 외 2, "객체인식 시스템을 위한 적분이미지의 메모리 축소 방법", 한국통신학회 종합학술 발표회 (2010.02.) *
박종일, "병렬 구조를 이용한 SURF 알고리즘 특징점 추출기의 SoC설계", 서경대학교 대학원, 석사 학위논문 (2013.02.) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016208806A1 (ko) * 2015-06-26 2016-12-29 광운대학교 산학협력단 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법
CN113743418A (zh) * 2020-05-28 2021-12-03 中科寒武纪科技股份有限公司 图像中特征点的描述子的生成方法、装置和存储介质
CN113743418B (zh) * 2020-05-28 2024-04-26 中科寒武纪科技股份有限公司 图像中特征点的描述子的生成方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN110533609B (zh) 适用于内窥镜的图像增强方法、装置和存储介质
US9159121B2 (en) Method for image denoising
US9436981B2 (en) Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
CN112837303A (zh) 一种用于模具监视的缺陷检测方法、装置、设备及介质
WO2015112652A1 (en) Image demosaicing
JP2011070326A5 (ko)
CN111383232B (zh) 抠图方法、装置、终端设备及计算机可读存储介质
JP5388835B2 (ja) 情報処理装置及び情報処理方法
CN112929695B (zh) 视频去重方法、装置、电子设备和存储介质
WO2017052976A1 (en) A method and system of low-complexity histogram of gradients generation for image processing
JP6326847B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20180018785A (ko) 조밀 탐색 방법 및 화상 처리 장치
US20170069072A1 (en) Image processing apparatus, image processing system, and image processing method
KR101418524B1 (ko) 하드웨어 장치 및 적분 이미지 생성 방법
CN106780415B (zh) 一种直方图统计电路及多媒体处理系统
CN111141208B (zh) 一种平行线检测方法及装置
US20200401871A1 (en) Object detection system and object detection method
CN104902260B (zh) 一种图像视差的获取方法及系统
CN105513011A (zh) 图像缩放方法
JP2019020839A (ja) 画像処理装置、画像処理方法、及びプログラム
US11132569B2 (en) Hardware accelerator for integral image computation
WO2019082283A1 (ja) 画像解析装置
US9338353B2 (en) Method of and system for detecting motion in real time
CN110223388B (zh) 基于空间结构光的三维重建方法、装置、终端设备及存储介质
CN116205858A (zh) 高光谱图像异常检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190702

Year of fee payment: 6