KR20150047950A - 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템 - Google Patents

특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템 Download PDF

Info

Publication number
KR20150047950A
KR20150047950A KR1020130128056A KR20130128056A KR20150047950A KR 20150047950 A KR20150047950 A KR 20150047950A KR 1020130128056 A KR1020130128056 A KR 1020130128056A KR 20130128056 A KR20130128056 A KR 20130128056A KR 20150047950 A KR20150047950 A KR 20150047950A
Authority
KR
South Korea
Prior art keywords
feature
feature point
point
points
calculating
Prior art date
Application number
KR1020130128056A
Other languages
English (en)
Other versions
KR101713690B1 (ko
Inventor
이근동
이승재
나상일
제성관
정다운
오원근
서영호
손욱호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130128056A priority Critical patent/KR101713690B1/ko
Priority to US14/223,836 priority patent/US9208399B2/en
Publication of KR20150047950A publication Critical patent/KR20150047950A/ko
Application granted granted Critical
Publication of KR101713690B1 publication Critical patent/KR101713690B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템에 관한 것으로, 본 발명에 따른 일 실시예는 영상을 입력받는 영상 입력부, 상기 영상의 스케일 스페이스에서 코너와 같이 화소 통계값의 변화량이 큰 점을 특징점 후보군으로 추출하는 특징점 후보군 검출부, 상기 특징점 후보군에 포함되는 특징 후보점에서 검출된 특징의 특성에 따른 중요도를 계산하고, 상기 중요도가 미리 정의된 임계값을 초과하는 경우 상기 특징 후보점을 특징점으로 선택하고, 상기 중요도가 미리 정의된 임계값 이하인 상기 특징 후보점을 삭제하는 특징점 선택부, 상기 특징점 선택부에서 선택된 특징점의 주방향성을 계산하는 특징점 주방향성 계산부 및 상기 특징점 선택부에서 선택된 특징점의 위치, 스케일 및 주방향성을 기초로 패치를 추출하고, 상기 패치로부터 비주얼 기술자를 추출하는 비주얼 기술자 추출부를 포함하는 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템을 제공할 수 있다.

Description

특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템{Effective visual descriptor extraction method and system using feature selection}
본 발명은 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템에 관한 것이다.
영상으로부터 추출된 특징점을 기반으로 비주얼 기술자 (visual descriptor)를 생성하고, 이를 이용하여 다른 비주얼 기술자와 정합하는 기술은 객체 인식 및 검출, 내용 기반 영상 검색 (Content Based Image Retrieval), 비디오 트랙킹 (Video Tracking) 등 다양한 컴퓨터 비젼 분야에 적용되며, 이에 대한 많은 연구가 진행되고 있다.
최근 스마트폰의 등장으로, 유통되는 멀티미디어 콘텐츠의 양이 폭발적으로 증가하였으며, 이를 효과적으로 검색하고 소비하기 위해 상기 언급한 컴퓨터 비젼 관련 기술의 수요가 늘어나고 있다. 특히 문자 입력이 불편한 스마트폰의 특성으로 인해 이미지를 입력으로 하여 검색을 하는 내용 기반 영상 검색 기술의 필요성이 증대되고 있으며, 특징 기반 영상처리 기술을 이용한 검색 어플리케이션이 활발히 제작되고 있다.
특징 기반 영상처리 기술에는 전역특징을 이용한 기술과 특징점을 이용한 지역 특징 기반 영상처리 기술이 있다. 이 중 특징점을 이용한 지역 특징 기반 영상처리 기술이 다양한 환경에서의 높은 성능으로 인해 각광받고 있다.
특징점을 이용한 지역 특징 기반 영상처리 기술에는 대표적으로 SIFT, SURF 등이 있다. 이 기술들은 공통적으로 scale-space에서 코너(corner)와 같이 화소 통계값의 변화량이 큰 점을 특징점으로 추출하고, 이 점과 주변 영역의 관계를 이용하여 특징 서술자를 추출한다. 이러한 기술은 비주얼 기술자 추출과정과 정합과정에서 많은 연산량과 메모리를 요구하고 비주얼 기술자의 용량이 해상도 640*480로 정규화된 JPG 영상의 용량보다 크기 때문에, 모바일 스마트폰 환경 및 수백만 장 이상의 영상을 대상으로 하는 대규모 검색환경에 적합하지 않다.
대한민국 공개특허 : 제10-2009-0113617호
본 발명은 모바일 스마트폰 환경에 적합한 비주얼 기술자를 추출하기 위해 중요도에 따른 특징점 선택 방법을 이용하여 선택된 특징점에 대해서만 주방향성을 특징점 수에 따라 적응적으로 계산하고 비주얼 기술자 추출을 수행하여 연산량을 줄이고, 경량 비주얼 기술자를 추출하는 것이다. 이와 같은 방법으로 비주얼 기술자를 추출하면, 메모리와 실행시간 측면에서 효율성을 증가시킬 수 있다.
본 발명에 따른 일 실시예는 영상을 입력받는 영상 입력부, 상기 영상의 스케일 스페이스에서 코너와 같이 화소 통계값의 변화량이 큰 점을 특징점 후보군으로 추출하는 특징점 후보군 검출부, 상기 특징점 후보군에 포함되는 특징 후보점에서 검출된 특징의 특성에 따른 중요도를 계산하고, 상기 중요도가 미리 정의된 임계값을 초과하는 경우 상기 특징 후보점을 특징점으로 선택하고, 상기 중요도가 미리 정의된 임계값 이하인 상기 특징 후보점을 삭제하는 특징점 선택부, 상기 특징점 선택부에서 선택된 특징점의 주방향성을 계산하는 특징점 주방향성 계산부 및 상기 특징점 선택부에서 선택된 특징점의 위치, 스케일 및 주방향성을 기초로 패치를 추출하고, 상기 패치로부터 비주얼 기술자를 추출하는 비주얼 기술자 추출부를 포함하는 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템을 제공할 수 있다.
일 실시예에 있어서, 상기 특징점 후보군 검출부는 DoG(Difference of Gaussian) detector, Fast-Hessian detector, LoG(Laplacian of Gaussian) detector 및 Harris/Hessian-affine detector 중 선택되는 어느 하나의 방법을 사용하여 특징점을 후보군으로 추출할 수 있다.
다른 실시예에 있어서, 상기 특징점 주방향성 계산부는 SIFT의 주방향성 계산방법 및 SURF의 주방향성 계산방법 중 선택되는 어느 하나의 방법으로 상기 특징점 선택부에서 선택된 특징점의 주방향성을 계산할 수 있다.
또 다른 실시예에 있어서, 상기 비주얼 기술자 추출부는 SIFT, SURF 및 ORB 중 선택되는 어느 하나로 상기 비주얼 기술자를 추출할 수 있다.
또 다른 실시예에 있어서, 상기 특징점 선택부는 상기 특징점 후보군에 포함되는 특징 후보점에서 검출된 특징의 특성에 따른 중요도 테이블을 이용하여 상기 특징점을 선택하되, 상기 중요도 테이블은 상기 특징점의 피크(peak), 스케일(scale), 엣지 스코어(edge score) 및 위치 정보에 따른 중요도 중 어느 하나 이상을 포함할 수 있다.
또 다른 실시예에 있어서, 상기 특징점 주방향성 계산부는 상기 특징점 선택부로부터 현재 처리되고 있는 상기 특징점의 스케일 스페이스 레이어와 상기 스케일 스페이스 레이어에서 검출된 특징점을 입력받고, 상기 스케일 스페이스 레이어에서 검출된 상기 특징점의 수가 임계값 이상이라면, 상기 스케일 스페이스 레이어의 기울기 맵을 계산한 이후, 상기 특징점의 주방향성을 계산하고, 상기 특징점의 수가 임계값 미만이면, 상기 스케일 스페이스 레이어의 기울기맵 계산을 생략하고, 상기 특징점의 주방향성을 계산할 수 있다.
또 다른 실시예에 있어서, 상기 특징점의 기울기 맵을 계산하는 것은 SIFT에서 사용하는 그라디언트 매그니튜드(gradient magnitude) 와 그라디언트 앵글(gradient angle) 및 SURF에서 사용하는 하 웨이브렛 리스폰스(Haar wavelet response) 중 선택되는 어느 하나를 이용하여 상기 특징점의 기울기 맵을 계산할 수 있다.
본 발명에 따른 일 실시예는 영상을 입력받는 영상 입력 단계, 상기 영상의 스케일 스페이스에서 코너와 같이 화소 통계값의 변화량이 큰 점을 특징점 후보군으로 추출하는 특징점 후보군 검출 단계, 상기 특징점 후보군에 포함되는 특징 후보점에서 검출된 특징의 특성에 따른 중요도를 계산하고, 상기 중요도가 미리 정의된 임계값을 초과하는 경우 상기 특징 후보점을 특징점으로 선택하고, 상기 중요도가 미리 정의된 임계값 이하인 상기 특징 후보점을 삭제하는 특징점 선택 단계, 상기 특징점 선택부에서 선택된 특징점의 주방향성을 계산하는 특징점 주방향성 계산 단계 및 상기 특징점 선택부에서 선택된 특징점의 위치, 스케일 및 주방향성을 기초로 패치를 추출하고, 상기 패치로부터 비주얼 기술자를 추출하는 비주얼 기술자 추출 단계를 포함하는 특징 선택 방법을 이용한 비주얼 기술자 추출 방법을 제공할 수 있다.
일 실시예에 있어서, 상기 특징점 후보군 검출 단계는 DoG(Difference of Gaussian) detector, Fast-Hessian detector, LoG (Laplacian of Gaussian) detector 및 Harris/Hessian-affine detector 중 선택되는 어느 하나의 방법을 사용하여 특징점을 후보군으로 추출할 수 있다.
다른 실시예에 있어서, 상기 주방향성 계산 단계는 SIFT의 주방향성 계산방법 및 SURF의 주방향성 계산방법 중 선택되는 어느 하나의 방법으로 상기 특징점 선택부에서 선택된 특징점의 주방향성을 계산할 수 있다.
또 다른 실시예에 있어서, 상기 비주얼 기술자 추출 단계는 SIFT, SURF 및 ORB 중 선택되는 어느 하나로 상기 비주얼 기술자를 추출할 수 있다.
또 다른 실시예에 있어서, 상기 특징점 선택 단계는 상기 특징점 후보군에 포함되는 특징 후보점에서 검출된 특징의 특성에 따른 중요도 테이블을 이용하여 상기 특징점을 선택하되, 상기 중요도 테이블은 상기 특징점의 피크(peak), 스케일(scale), 엣지 스코어(edge score) 및 위치 정보에 따른 중요도 중 어느 하나 이상을 포함할 수 있다.
또 다른 실시예에 있어서, 상기 특징점 주방향성 계산 단계는 상기 특징점 선택 단계에서 현재 처리되고 있는 상기 특징점의 스케일 스페이스 레이어와 상기 스케일 스페이스 레이어에서 검출된 특징점을 입력받는 단계, 상기 스케일 스페이스 레이어에서 검출된 상기 특징점의 수가 임계값 이상이라면, 상기 스케일 스페이스 레이어의 기울기 맵을 계산한 이후, 상기 특징점의 주방향성을 계산하는 단계 및 상기 특징점의 수가 임계값 미만이면, 상기 스케일 스페이스 레이어의 기울기맵 계산을 생략하고, 상기 특징점의 주방향성을 계산하는 단계일 수 있다.
또 다른 실시예에 있어서, 상기 스케일 스페이스 레이어의 기울기 맵을 계산하는 것은 SIFT에서 사용하는 그라디언트 매그니튜드(gradient magnitude) 와 그라디언트 앵글(gradient angle) 및 SURF에서 사용하는 하 웨이브렛 리스폰스(Haar wavelet response) 중 선택되는 어느 하나를 이용하여 상기 특징점의 기울기 맵을 계산할 수 있다.
본 발명에 따르면, 모든 점에 대해 기술자를 추출하는 대신, 특징점의 중요도를 판단하여 분류하고, 높은 중요도를 갖는 특징점을 선택하여 이에 대한 주방향성을 특징점 수에 따라 적응적으로 계산하고 비주얼 기술자를 추출할 수 있다.
또한, 추출된 비주얼 기술자는 메모리와 실행시간 측면에서 추출과 정합의 효율성을 증가시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템을 나타낸 블럭도이다.
도 2a는 특징점 선택 전의 추출된 모든 특징점을 도시하고, 도 2b는 본 발명의 실시예에 따른 특징점 선택 결과를 도시하고 있다
도 3은 본 발명의 일 실시예에 따른 특징점의 주방향성을 계산하는 예를 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템의 특징점 선택부의 순서도이다.
도 5는 본 발명의 일 실시예에 따른 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템의 특징점 주방향성 계산부의 계산 순서를 나타낸 것이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 기울기 맵을 계산하는 방법을 나타낸 것이다.
도 7은 본 발명의 일 실시예로 특징점 선택부에서 출력한 특징점들 중 스케일 스페이스의 4번째 옥타브(octave)의 첫 번째 레이어에서 검출된 특징점을 도시한 것으로 스케일 스페이스 레이어 전체에 대해 기울기 맵을 계산하는 것보다, 해당 점에 대해서만 직접 기울기 값을 계산하는 것이 연산량 및 메모리 사용 측면에서 효율적인 것을 나타내는 예시이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
이하, 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템을 나타낸 블럭도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템(100)은 영상 입력부(110), 특징점 후보군 검출부(120), 특징점 선택부(130), 특징점 주방향성 계산부(140) 및 비주얼 기술자 추출부(150)를 포함할 수 있다.
영상 입력부(110)는 영상을 입력받을 수 있다.
특징점 후보군 검출부(120)는 영상의 스케일 스페이스에서 코너와 같이 화소 통계값의 변화량이 큰 점을 특징점 후보군으로 추출할 수 있다. 일 실시예에 있어서, 특징점 후보군 검출부(120)는 DoG(Difference of Gaussian)detector(D. Lowe, "Distinctive image features from scale-invariant keypoints,"Int. J. Comput. Vis., vol. 60, no. 2, pp. 91.110, 2004.), Fast-Hessian detector (Herbert Bay, "Speeded-Up Robust Features(SURF), "Computer Vision and Image Understanding 110 pp. 346-359, 2008), LoG(Laplacian of Gaussian)detector 및 Harris/Hessian-affine detector 중 선택되는 어느 하나 이상의 방법을 사용하여 특징점을 후보군으로 추출할 수 있다.
특징점 선택부(130)는 검출된 특징의 특성에 따른 중요도를 계산하고, 중요도가 미리 정의된 임계값을 초과하는 경우 특징 후보점을 특징점으로 선택할 수 있다. 또한, 중요도가 미리 정의된 임계값 이하인 경우 상기 중요도가 미리 정의된 임계값 이하인 특징 후보점을 삭제할 수 있다.
도 2는 본 발명의 실시예에 따른 특징점 선택 결과를 도시하고 있다. 예제 영상에서는 LoG (Laplacian of Gaussian) detector가 사용되었다. 도 2a는 특징점 선택 전의 추출된 모든 특징점을 도시하고, 도 2b는 본 발명의 실시예에 따른 특징점 선택 결과를 도시하고 있다.
도 2a를 참조하면, 원의 크기는 특징점의 스케일을 의미한다. 영상에서는 배경인 하늘과 땅에서 객체와 관계없는 불필요한 점들이 많이 존재하는 것을 확인할 수 있다. 이와 같은 경우 정합 과정에서 잘못된 정합이 일어날 가능성이 많고, 특징점이 많기 때문에 모든 특징점에 대해 주방향성을 계산하고, 비주얼 기술자를 추출할 경우 연산량이 많아진다.
도 2b를 참조하면, 객체에 필요한 특징점이 선별되어, 불필요한 특징점들의 주방향성 및 비주얼 기술자 계산을 하지 않으므로 효율적인 연산을 할 수 있다.
특징점 주방향성 계산부(140)는 향후 비주얼 기술자 추출부(150)에서 추출될 비주얼 기술자가 회전(orientation) 변형에 강인하도록 특징점 선택부(130)에서 선택된 특징점의 주방향성을 계산할 수 있다. 일 실시예에 있어서, 특징점 주방향성 계산부(140)는 SIFT(D. Lowe, "Distinctive image features from scale-invariant keypoints," Int. J. Comput. Vis., vol. 60, no. 2, pp. 91.110, 2004.) 및 SURF(Herbert Bay, "Speeded-Up Robust Features(SURF),"Computer Vision and Image Understanding 110 pp. 346-359, 2008) 중 선택되는 어느 하나의 orientation assignment 방법 등을 사용하여 특징점 선택부(130)에서 선택된 특징점의 주방향성을 계산할 수 있다.
도 3은 본 발명의 일 실시예에 따른 특징점의 주방향성을 계산하는 예를 나타낸 것이다. 도 3을 참조하면, 원의 중심과 원을 잇는 직선으로 도시된 바와 같이 같이 추출된 특징점의 스케일에 따라 특징점을 중심으로 한 영역의 주방향성 (dominant orientation)을 계산한다.
선택된 특징점에 대해서만 주방향성을 계산하므로, 추출된 특징점 후보군의 수가 M개이고, 특징점 선택부(130)에서 선택한 특징점의 수가 N개이고, 주방향성을 계산하는 연산량이 특징점에 따라 변하지 않는다고 가정하면, 모든 특징점 후보군에 대해 주방향성을 계산하는 기존 방법에 비해 N/M만큼 연산량을 줄일 수 있다. 도 2a 및 도 2b를 비교하면, 이러한 가정하에서 주방향성 계산에서 연산량이 이론적으로 71.75% 감소할 수 있다.
비주얼 기술자 추출부(150)는 도 3에 도시된 바와 같이 특징점 선택부(130)에서 선택된 특징점의 위치, 스케일 및 주방향성을 이용하여 패치(Patch)를 추출하고, 상기 패치에서 비주얼 기술자를 추출할 수 있다. 일 실시예에 있어서, 비주얼 기술자 추출부(150)는 SIFT, SURF 및 ORB 중 선택되는 어느 하나 이상으로 비주얼 기술자를 추출할 수 있다. 주방향성 계산과 마찬가지로, 선택된 특징점에 대해서만 비주얼 기술자를 추출하므로, 기존 방법에 비해 연산량을 줄일 수 있다.
특징점 후보군 검출부(120), 특징점 선택부(130), 특징점 주방향성 계산부(140) 및 비주얼 기술자 추출부(150)는 종래 기술을 이용하여 특징점 후보군 검출부(120)에서 생성한 스케일 스페이스의 각 레이어 단위로 수행된다.
본 발명의 일 실시예에 따른 특징 선택 방법을 이용한 비주얼 기술자 추출 방법은 영상을 입력받는 영상 입력 단계, 상기 영상의 스케일 스페이스에서 코너와 같이 화소 통계값의 변화량이 큰 점을 특징점 후보군으로 추출하는 특징점 후보군 검출 단계, 상기 특징점 후보군에 포함되는 특징 후보점에서 검출된 특징의 특성에 따른 중요도를 계산하고, 상기 중요도가 미리 정의된 임계값을 초과하는 경우 상기 특징 후보점을 특징점으로 선택하고, 상기 중요도가 미리 정의된 임계값 이하인 상기 특징 후보점을 삭제하는 특징점 선택 단계, 상기 특징점 선택부에서 선택된 특징점의 주방향성을 계산하는 특징점 주방향성 계산 단계 및 상기 특징점 선택부에서 선택된 특징점의 위치, 스케일 및 주방향성을 기초로 패치를 추출하고, 상기 패치로부터 비주얼 기술자를 추출하는 비주얼 기술자 추출 단계를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템의 특징점 선택부의 순서도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 특징점 선택부(130)에서 특징점을 선택하는 단계는 특징 후보군을 입력받는 단계(S501), 특징 후보군에 포함되는 특징의 특성에 따른 중요도를 중요도 테이블(510)을 이용하여 계산하는 단계(S502), 중요도가 미리 정의된 임계값을 초과하는 경우(S503) 특징 후보점을 특징점으로 선택하는 단계(S504), 선택된 특징점을 출력하는 단계(S505)를 포함할 수 있다. 만약, 중요도가 미리 정의된 임계값 이하인 경우 중요도가 미리 정의된 임계값 이하인 특징 후보점을 삭제하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 특징점의 피크(peak), 스케일(scale), 엣지 스코어(edge score) 및 위치 정보에 따른 중요도를 포함하는 중요도 테이블은 선행논문(Gianluca Francini, Skjalg Lepsey, and Massimo Balestri, "Selection of local features for visual search," Signal Processing -Image Communication, 2012.)과 같은 방법을 사용할 수 있다. 계산된 특징의 중요도가 미리 정의된 임계값을 초과한다면 특징 후보점을 특징점으로 선택하고, 모든 특징점에 대해 이 과정을 반복한 후 최종적으로 선택된 특징점 집합을 출력할 수 있다.
도 5는 본 발명의 일 실시예에 따른 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템의 특징점 주방향성 계산부의 계산 순서를 나타낸 것이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 특징점 주방향성 계산부의 계산 방법은 스케일 스페이스 레이어를 입력받는 단계(S601), 스케일 스페이스 레이어에서 검출된 특징점을 입력받는 단계(S602), 스케일 스페이스 레이어에서 검출된 특징점의 수가 임계값보다 작은지 판단하는 단계(S603) 및 스케일 스페이스 레이어에서 검출된 특징점의 수가 임계값보다 작은 경우 특징점의 주방향성을 계산하는 단계(S605)를 포함할 수 있다. 다른 실시예에 있어서, 스케일 스페이스 레이어에서 검출된 특징점의 수가 임계값보다 크거나 같은 경우 특징점의 기울기 맵을 계산하는 단계(S604) 및 특징점의 주방향성을 계산하는 단계(S605)를 더 포함할 수 있다.
기울기 맵(Gradient map)은 특징점의 주방향성 및 비주얼 기술자를 계산할 때 필요한 기울기 값들의 중복된 계산을 피하기 위해 현재 스케일 스페이스 레이어의 모든 픽셀에 대해 기울기 값들을 미리 계산하여 저장해 놓는 것으로 연산 과정을 효율화할 수 있다.
본 발명의 일 실시예에 따르면 계산하는 기울기 값은 종래 기술인 SIFT에서 사용하는 그라디언트 매그니튜드(gradient magnitude)와 그라디언트 앵글(gradient angle)을 이용할 수 있다. 다른 실시예에서, SURF에서 사용하는 하 웨이브렛 리스폰스(Haar wavelet response)를 이용할 수도 있다.
모든 픽셀에 대해 그라디언트 매그니튜드(gradient magnitude)와 그라디언트 앵글(gradient angle)을 계산하는 예를 도 6a 및 도 6b에 도시 하였다. 기울기 맵을 생성할 경우, 현재 스케일 스페이스 레이어가 사용하는 메모리의 두 배 크기의 메모리가 필요하다. 기울기 맵 계산이 끝나면, 주방향성 계산 과정을 수행한다. 본 발명의 일 실시예에 따르면 주방향성 계산은 오리엔테이션 히스토그램(orientation histogram)을 이용할 수 있다. 입력된 특징점의 수가 미리 정의된 임계값보다 작을 경우, 기울기 맵 (gradient map) 계산과정을 생략하고, 주방향성 계산과정을 수행한다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 기울기 맵을 계산하는 방법을 나타낸 것이다. 도 6a를 참조하면, 스케일 스페이스 레이어의 해상도가 M × N라고 하면, I는 Intensity를 의미하며, I의 아래 첨자 L, C, Up, R, Lo 은 각각 기준이 되는 픽셀의 Left, Center, Upper, Right, Lower의 위치를 나타낸다. IR 과 IL의 차이를 이용해서 Dx를 구할 수 있다. 또한, IUP 과 ILO의 차이를 이용해서 Dy를 구할 수 있다. 여기서, D는 Intensity Difference를 의미하며, D에 붙은 x,y 는 x방향, y방향을 나타낸다.
도 6b를 참조하면, Dx 와 Dy를 이용하여 Mc=√(Dx 2 + Dy 2) 및 θc=tan- 1(Dy/Dx)를 구할 수 있다. 여기서, Mc은 그라디언트 매그니튜드(gradient magnitude), θc는 그라디언트 앵글(gradient angle)을 나타낸다. 이때, 기준이 되는 픽셀은 고정된 것이 아니라, 이미지 모든 픽셀을 따라 움직일 수 있다.
도 7은 본 발명의 한 실시예로 특징점 선택부에서 출력한 특징점들 중 스케일 스페이스의 4번째 옥타브(octave)의 첫 번째 레이어에서 검출된 특징점을 도시한 것이다.
도 7을 참조하면, 해당 스케일 스페이스의 해상도는 80x60이다. 도 7에 도시된 바와 같이 특징점의 수가 적을 경우, 스케일 스페이스 레이어 전체에 대해 기울기 값을 계산하는 것보다 해당 점에 대해서만 직접 기울기 값인 그라디언트 매그니튜드와 그라디언트 앵글을 계산하는 것이 연산량 측면에서 효율적이다. 또한 기울기 맵을 계산하지 않으므로, 메모리 사용 측면에서도 효율적이다.
본 발명의 다양한 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템
110 : 영상 입력부
120 : 특징점 후보군 검출부
130 : 특징점 선택부
140 : 특징점 주방향성 계산부
150 : 비주얼 기술자 추출부
510 : 중요도 테이블

Claims (14)

  1. 영상을 입력받는 영상 입력부;
    상기 영상의 스케일 스페이스에서 코너와 같이 화소 통계값의 변화량이 큰 점을 특징점 후보군으로 추출하는 특징점 후보군 검출부;
    상기 특징점 후보군에 포함되는 특징 후보점에서 검출된 특징의 특성에 따른 중요도를 계산하고,
    상기 중요도가 미리 정의된 임계값을 초과하는 경우 상기 특징 후보점을 특징점으로 선택하고,
    상기 중요도가 미리 정의된 임계값 이하인 상기 특징 후보점을 삭제하는 특징점 선택부;
    상기 특징점 선택부에서 선택된 특징점의 주방향성을 계산하는 특징점 주방향성 계산부; 및
    상기 특징점 선택부에서 선택된 특징점의 위치, 스케일 및 주방향성을 기초로 패치를 추출하고, 상기 패치로부터 비주얼 기술자를 추출하는 비주얼 기술자 추출부;
    를 포함하는 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템.
  2. 제 1 항에 있어서,
    상기 특징점 후보군 검출부는
    DoG(Difference of Gaussian) detector,
    Fast-Hessian detector,
    LoG(Laplacian of Gaussian) detector 및
    Harris/Hessian-affine detector 중 선택되는 어느 하나의 방법을 사용하여 특징점을 후보군으로 추출하는 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템.
  3. 제 1 항에 있어서,
    상기 특징점 주방향성 계산부는
    SIFT의 주방향성 계산방법 및 SURF의 주방향성 계산방법 중 선택되는 어느 하나의 방법으로 상기 특징점 선택부에서 선택된 특징점의 주방향성을 계산하는 것을 특징으로 하는 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템.
  4. 제 1 항에 있어서,
    상기 비주얼 기술자 추출부는 SIFT, SURF 및 ORB 중 선택되는 어느 하나로 상기 비주얼 기술자를 추출하는 것을 특징으로 하는 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템.
  5. 제 1 항에 있어서,
    상기 특징점 선택부는
    상기 특징점 후보군에 포함되는 특징 후보점에서 검출된 특징의 특성에 따른 중요도 테이블을 이용하여 상기 특징점을 선택하되,
    상기 중요도 테이블은 상기 특징점의 피크(peak), 스케일(scale), 엣지 스코어(edge score) 및 위치 정보에 따른 중요도 중 어느 하나 이상을 포함하는 것을 특징으로 하는 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템.
  6. 제 1 항에 있어서,
    상기 특징점 주방향성 계산부는
    상기 특징점 선택부로부터 현재 처리되고 있는 상기 특징점의 스케일 스페이스 레이어와 상기 스케일 스페이스 레이어에서 검출된 특징점을 입력받고,
    상기 스케일 스페이스 레이어에서 검출된 상기 특징점의 수가 임계값 이상이라면, 상기 스케일 스페이스 레이어의 기울기 맵을 계산한 이후, 상기 특징점의 주방향성을 계산하고,
    상기 특징점의 수가 임계값 미만이면, 상기 스케일 스페이스 레이어의 기울기맵 계산을 생략하고, 상기 특징점의 주방향성을 계산하는 것을 특징으로 하는 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템.
  7. 제 6 항에 있어서,
    상기 특징점의 기울기 맵을 계산하는 것은
    SIFT에서 사용하는 그라디언트 매그니튜드(gradient magnitude) 와 그라디언트 앵글(gradient angle) 및
    SURF에서 사용하는 하 웨이브렛 리스폰스(Haar wavelet response) 중
    선택되는 어느 하나를 이용하여 상기 특징점의 기울기 맵을 계산하는 것을 특징으로 하는 특징 선택 방법을 이용한 비주얼 기술자 추출 시스템.
  8. 영상을 입력받는 영상 입력 단계;
    상기 영상의 스케일 스페이스에서 코너와 같이 화소 통계값의 변화량이 큰 점을 특징점 후보군으로 추출하는 특징점 후보군 검출 단계;
    상기 특징점 후보군에 포함되는 특징 후보점에서 검출된 특징의 특성에 따른 중요도를 계산하고,
    상기 중요도가 미리 정의된 임계값을 초과하는 경우 상기 특징 후보점을 특징점으로 선택하고,
    상기 중요도가 미리 정의된 임계값 이하인 상기 특징 후보점을 삭제하는 특징점 선택 단계;
    상기 특징점 선택부에서 선택된 특징점의 주방향성을 계산하는 특징점 주방향성 계산 단계; 및
    상기 특징점 선택부에서 선택된 특징점의 위치, 스케일 및 주방향성을 기초로 패치를 추출하고, 상기 패치로부터 비주얼 기술자를 추출하는 비주얼 기술자 추출 단계;
    를 포함하는 특징 선택 방법을 이용한 비주얼 기술자 추출 방법.
  9. 제 8 항에 있어서,
    상기 특징점 후보군 검출 단계는
    DoG(Difference of Gaussian) detector,
    Fast-Hessian detector,
    LoG (Laplacian of Gaussian) detector 및
    Harris/Hessian-affine detector 중 선택되는 어느 하나의 방법을 사용하여 특징점을 후보군으로 추출하는 특징 선택 방법을 이용한 비주얼 기술자 추출 방법.
  10. 제 8 항에 있어서,
    상기 주방향성 계산 단계는
    SIFT의 주방향성 계산방법 및 SURF의 주방향성 계산방법 중 선택되는 어느 하나의 방법으로 상기 특징점 선택부에서 선택된 특징점의 주방향성을 계산하는 것을 특징으로 하는 특징 선택 방법을 이용한 비주얼 기술자 추출 방법.
  11. 제 8 항에 있어서,
    상기 비주얼 기술자 추출 단계는 SIFT, SURF 및 ORB 중 선택되는 어느 하나로 상기 비주얼 기술자를 추출하는 것을 특징으로 하는 특징 선택 방법을 이용한 비주얼 기술자 추출 방법.
  12. 제 8 항에 있어서,
    상기 특징점 선택 단계는
    상기 특징점 후보군에 포함되는 특징 후보점에서 검출된 특징의 특성에 따른 중요도 테이블을 이용하여 상기 특징점을 선택하되,
    상기 중요도 테이블은 상기 특징점의 피크(peak), 스케일(scale), 엣지 스코어(edge score) 및 위치 정보에 따른 중요도 중 어느 하나 이상을 포함하는 것을 특징으로 하는 특징 선택 방법을 이용한 비주얼 기술자 추출 방법.
  13. 제 8 항에 있어서,
    상기 특징점 주방향성 계산 단계는
    상기 특징점 선택 단계에서 현재 처리되고 있는 상기 특징점의 스케일 스페이스 레이어와 상기 스케일 스페이스 레이어에서 검출된 특징점을 입력받는 단계;
    상기 스케일 스페이스 레이어에서 검출된 상기 특징점의 수가 임계값 이상이라면, 상기 스케일 스페이스 레이어의 기울기 맵을 계산한 이후, 상기 특징점의 주방향성을 계산하는 단계; 및
    상기 특징점의 수가 임계값 미만이면, 상기 스케일 스페이스 레이어의 기울기맵 계산을 생략하고, 상기 특징점의 주방향성을 계산하는 단계;인 것을 특징으로 하는 특징 선택 방법을 이용한 비주얼 기술자 추출 방법.
  14. 제 13 항에 있어서,
    상기 스케일 스페이스 레이어의 기울기 맵을 계산하는 것은
    SIFT에서 사용하는 그라디언트 매그니튜드(gradient magnitude) 와 그라디언트 앵글(gradient angle) 및
    SURF에서 사용하는 하 웨이브렛 리스폰스(Haar wavelet response) 중 선택되는 어느 하나를 이용하여 상기 특징점의 기울기 맵을 계산하는 것을 특징으로 하는 특징 선택 방법을 이용한 비주얼 기술자 추출 방법.
KR1020130128056A 2013-10-25 2013-10-25 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템 KR101713690B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130128056A KR101713690B1 (ko) 2013-10-25 2013-10-25 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템
US14/223,836 US9208399B2 (en) 2013-10-25 2014-03-24 Method of extracting visual descriptor using feature selection and system for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130128056A KR101713690B1 (ko) 2013-10-25 2013-10-25 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20150047950A true KR20150047950A (ko) 2015-05-06
KR101713690B1 KR101713690B1 (ko) 2017-03-08

Family

ID=52995561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130128056A KR101713690B1 (ko) 2013-10-25 2013-10-25 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템

Country Status (2)

Country Link
US (1) US9208399B2 (ko)
KR (1) KR101713690B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241847A1 (ko) * 2020-05-28 2021-12-02 네이버랩스 주식회사 시각 특징 맵 생성 방법 및 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD821439S1 (en) 2016-04-26 2018-06-26 Google Llc Display screen or portion thereof with transitional graphical user interface for an image grid
US10222960B2 (en) 2016-04-26 2019-03-05 Google Llc Animation of user interface elements
US10140675B2 (en) 2016-11-28 2018-11-27 Google Llc Image grid with selectively prominent images
CN107451610B (zh) * 2016-12-29 2021-02-02 北京理工大学 一种提高特征匹配精度的图像检测方法
US11443187B2 (en) 2019-10-07 2022-09-13 Wipro Limited Method and system for improving classifications performed by an artificial neural network (ANN) model
CN111680723A (zh) * 2020-05-26 2020-09-18 中国人民解放军96901部队21分队 基于快速自适应鲁棒性尺度不变的特征检测子技术的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010113667A (ko) * 1999-02-05 2001-12-28 윤종용 영상 텍스쳐 추출 방법 및 그 장치
JP2006338313A (ja) * 2005-06-01 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
JP2008003749A (ja) * 2006-06-21 2008-01-10 Fujifilm Corp 特徴点検出装置および方法並びにプログラム
KR20090113617A (ko) 2008-04-28 2009-11-02 성균관대학교산학협력단 영상 선택 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060195858A1 (en) 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
US8184155B2 (en) * 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
EP2284791B1 (en) 2008-04-30 2014-01-01 Osaka Prefecture University Public Corporation Method of creating three-dimensional object identifying image database, processing apparatus and processing program
KR20110085728A (ko) 2010-01-21 2011-07-27 삼성전자주식회사 휴대용 단말기에서 건물 영역을 인식하기 위한 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010113667A (ko) * 1999-02-05 2001-12-28 윤종용 영상 텍스쳐 추출 방법 및 그 장치
KR20040023679A (ko) * 1999-02-05 2004-03-18 삼성전자주식회사 영상 텍스쳐 추출 방법 및 그 방법을 실현시키기 위한프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP2006338313A (ja) * 2005-06-01 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
JP2008003749A (ja) * 2006-06-21 2008-01-10 Fujifilm Corp 特徴点検出装置および方法並びにプログラム
KR20090113617A (ko) 2008-04-28 2009-11-02 성균관대학교산학협력단 영상 선택 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241847A1 (ko) * 2020-05-28 2021-12-02 네이버랩스 주식회사 시각 특징 맵 생성 방법 및 시스템
KR20210147855A (ko) * 2020-05-28 2021-12-07 네이버랩스 주식회사 시각 특징 맵 생성 방법 및 시스템

Also Published As

Publication number Publication date
US20150117785A1 (en) 2015-04-30
US9208399B2 (en) 2015-12-08
KR101713690B1 (ko) 2017-03-08

Similar Documents

Publication Publication Date Title
KR101713690B1 (ko) 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템
US9183458B2 (en) Parameter selection and coarse localization of interest regions for MSER processing
US10803554B2 (en) Image processing method and device
KR102225093B1 (ko) 카메라 포즈 추정 장치 및 방법
US10134165B2 (en) Image distractor detection and processing
US9008366B1 (en) Bio-inspired method of ground object cueing in airborne motion imagery
Tombari et al. Interest points via maximal self-dissimilarities
CN109284613B (zh) 标识检测及仿冒站点检测方法、装置、设备及存储介质
KR102468309B1 (ko) 영상 기반 건물 검색 방법 및 장치
US11568631B2 (en) Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
US20130223749A1 (en) Image recognition apparatus and method using scalable compact local descriptor
Kim et al. Adaptive weighted fusion with new spatial and temporal fingerprints for improved video copy detection
US11176455B2 (en) Learning data generation apparatus and learning data generation method
Memon et al. IMRBS: image matching for location determination through a region-based similarity technique for CBIR
Paul et al. Multiclass object recognition using smart phone and cloud computing for augmented reality and video surveillance applications
US10002291B2 (en) Method and system of identifying fillable fields of an electronic form
Costa et al. New dissimilarity measures for image phylogeny reconstruction
KR101265694B1 (ko) Ｄｂ 효율화를 통한 영상 인식 시스템 및 그 제공방법
KR102452511B1 (ko) 도면의 요소 이미지 검출 방법 및 장치
Rahul et al. Multilingual text detection and identification from Indian signage boards
KR101741761B1 (ko) 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법
Kuramoto et al. Accuracy improvement of viewpoint-free scene character recognition by rotation angle estimation
Shivakumara et al. Color and gradient features for text segmentation from video frames
Ahn et al. A low complexity image stitching using advanced feature matching in mobile environments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200224

Year of fee payment: 4