KR101963514B1 - 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법 - Google Patents

영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법 Download PDF

Info

Publication number
KR101963514B1
KR101963514B1 KR1020170143246A KR20170143246A KR101963514B1 KR 101963514 B1 KR101963514 B1 KR 101963514B1 KR 1020170143246 A KR1020170143246 A KR 1020170143246A KR 20170143246 A KR20170143246 A KR 20170143246A KR 101963514 B1 KR101963514 B1 KR 101963514B1
Authority
KR
South Korea
Prior art keywords
feature
value
classification
hierarchical structure
node
Prior art date
Application number
KR1020170143246A
Other languages
English (en)
Inventor
강도영
하성욱
Original Assignee
동아대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단 filed Critical 동아대학교 산학협력단
Priority to KR1020170143246A priority Critical patent/KR101963514B1/ko
Application granted granted Critical
Publication of KR101963514B1 publication Critical patent/KR101963514B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06K9/00718
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/00744
    • G06K9/627
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법에 관한 것이다.
이러한 본 발명은 복수 개의 영상프레임으로부터 분류객체의 특징이 되는 특징값을 추출하여 기설정된 특징 분류별로 분류하고 우선순위를 부여하는 특징 분류 모듈; 상기 특징 분류 모듈에서 분류된 상기 특징 분류에 대응되도록 적어도 하나의 노드를 포함하는 복수 개의 계층으로 구조화된 계층 구조를 생성하고 상기 노드별로 경계값을 가지는 복수 개의 할당 영역을 설정하는 계층 구조 생성 모듈; 상기 특징 분류와 일치하는 분류객체를 촬영한 영상프레임에서 추출되는 특징값에 기초하여 상기 경계값을 변경하고 상기 노드의 연결 구조와 상기 할당 영역을 재설정하도록 훈련하는 훈련 모듈; 및 판별하고자 하는 영상데이터로부터 특징값을 추출하고 상기 훈련 모듈에 의해 훈련된 상기 계층 구조에 따른 상기 노드별 경계값 범위 내에 상기 특징값이 포함되는지 여부를 탐색하여 분류객체 판별값을 출력하는 판별 모듈;을 포함하는 것을 특징으로 하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치를 기술적 요지로 한다.
그리고 본 발명은 복수 개의 영상프레임을 분석하여 분류객체의 특징으로 추출 가능한 특징값을 추출하여 기설정된 특징 분류별로 분류하고 우선순위를 부여하는 단계; 분류된 상기 특징 분류와 대응되도록 적어도 하나의 노드를 포함하는 복수 개의 계층으로 구조화된 계층 구조를 생성하고 상기 노드별로 경계값을 가지는 할당 영역을 설정하는 단계; 상기 특징 분류와 일치하는 복수 개의 분류객체를 촬영한 영상프레임으로부터 추출되는 특징값에 기초하여 상기 경계값을 재설정하고 상기 노드의 연결 구조와 상기 할당 영역을 재설정하도록 훈련하는 단계; 및 판별하고자 하는 영상데이터로부터 특징값을 추출하여 훈련된 상기 계층 구조에 따른 노드별 경계값에 포함되는지 여부를 탐색하여 분류객체 판별값을 출력하는 단계;를 포함하는 것을 특징으로 하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 방법도 기술적 요지로 한다.

Description

영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법{Apparatus and method for classifying object based on hierarchical structure of image data features}
본 발명은 질환의 유무, 상태 및 위험요인 등을 영상학적으로 판별하기 위해 신체의 특정부위를 촬영하여 획득한 의료영상을 분석하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법에 관한 것이다.
일반적으로 의료영상은 질환의 유무, 상태 및 위험요인 등을 정확도 있게 진단할 수 있도록 신체의 특정부위를 포함하는 영역을 촬상수단으로 촬영하여 획득한 영상을 말한다.
이러한 의료영상은 촬상수단의 종류에 따라 PET 영상, X-Ray 영상, CT 영상, MRI 영상, 초음파 영상, PET/CT 영상, PET/MRI 영상 등으로 구분할 수 있다.
상기와 같이 다양한 촬상수단에 의해 획득된 의료영상은 진단에 불필요한 노이즈 성분들이 포함될 수 있으므로 정확한 진단을 위해 적절한 영상처리기법을 통해 전처리작업을 수행한 후 전문의에 의한 의학적 전문식견을 통해 의료영상을 분석하여 질환의 유무, 상태 및 위험요인 등을 진단하는 것이 전통적인 의료영상 분석 방식이다.
그러나 상기한 전통적인 의료영상 분석 방식은 전문의의 식견과 경험 및 순간적 판단 등에 따라 진단 결과가 상이하게 도출되고 이로 인해 진단 결과에 많은 의구심을 갖게 되면서 여러 병원을 거치며 시간을 불필요하게 지체하여 질환을 악화시키는 경우가 빈번하게 발생하고 있다.
따라서 전문의의 진단 결과 신뢰도를 높이기 위해 특정 영상처리기법을 통해 의료영상에서 추출 내지 인식되는 특징요소들을 분석하여 질환의 유무, 상태 및 위험요인 등을 판별하는 의료영상 분석장치들을 개발하여 보조 진단 역할을 하도록 하고 있다.
그러나 이러한 종래의 의료영상 진단장치의 경우 해당 의료영상만을 영상처리기법을 통해 분석하여 단편적으로 판별하는 방식이므로 보조 진단 역할을 충실히 수행할 수 없는 한계가 있고 분석에 따른 판별 결과의 신뢰도도 떨어지는 문제점이 있다.
대한민국 공개특허공보 제10-2014-0049137호, 2014.04.25.자 공개. 대한민국 등록특허공보 제10-1754291호, 2017.07.06.자 공고.
본 발명은 상기한 문제점을 해소하기 위해 발명된 것으로서, 영상프레임에 특징으로 나타나는 분류객체의 특징값을 추출 및 분류하고, 계층 구조를 생성한 후 다양한 분류객체에 대한 영상프레임에 나타나는 분류객체의 특징값을 이용하여 계층 구조를 훈련하며, 훈련된 계층 구조를 이용하여 영상데이터에 나타나는 분류객체의 특징값을 통해 분류객체를 판별하는 판별값을 출력함으로써, 진단 결과의 신뢰성을 향상시켜 보조 진단 수단으로의 역할을 충실하게 할 수 있는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치는 복수 개의 영상프레임으로부터 분류객체의 특징이 되는 특징값을 추출하여 기설정된 특징 분류별로 분류하고 우선순위를 부여하는 특징 분류 모듈; 상기 특징 분류 모듈에서 분류된 상기 특징 분류에 대응되도록 적어도 하나의 노드를 포함하는 복수 개의 계층으로 구조화된 계층 구조를 생성하고 상기 노드별로 경계값을 가지는 복수 개의 할당 영역을 설정하는 계층 구조 생성 모듈; 상기 특징 분류와 일치하는 분류객체를 촬영한 영상프레임에서 추출되는 특징값에 기초하여 상기 경계값을 변경하고 상기 노드의 연결 구조와 상기 할당 영역을 재설정하도록 훈련하는 훈련 모듈; 및 판별하고자 하는 영상데이터로부터 특징값을 추출하고 상기 훈련 모듈에 의해 훈련된 상기 계층 구조에 따른 상기 노드별 경계값 범위 내에 상기 특징값이 포함되는지 여부를 탐색하여 분류객체 판별값을 출력하는 판별 모듈;을 포함하는 것을 특징으로 한다.
상기 특징 분류 모듈은 영상인식을 통해 상기 분류객체의 특징이 추출 가능한 상기 분류객체를 촬영하여 복수 개의 영상프레임을 수집하는 영상 수집부; 상기 영상 수집부에서 수집된 상기 복수 개의 영상프레임 중 적어도 하나의 영상프레임으로부터 상기 분류객체의 특징으로 추출 가능한 복수 개의 특징값을 추출하는 특징 추출부; 상기 분류객체 특징 추출부에서 추출된 상기 복수 개의 특징값을 기설정된 복수 개의 특징 분류 중 적어도 하나의 특징 분류와 매칭시켜 분류하는 특징 분류부; 상기 특징 분류부에서 상기 복수 개의 특징 분류별로 매칭되어 분류된 상기 복수 개의 특징값 개수를 상기 복수 개의 특징 분류별로 카운팅하는 특징 개수 카운팅부; 및 상기 특징 개수 카운팅부에서 카운팅된 상기 복수 개의 특징 분류의 대한 상기 복수 개의 특징값 개수를 비교한 결과에 기초하여 상기 복수 개의 특징 분류에 대한 우선 순위를 각각 부여하는 우선 순위 부여부;로 구성되는 것을 특징으로 한다.
상기 계층 구조 생성 모듈은 상기 복수 개의 특징 분류에 각각 대응되도록 복수 개의 계층으로 구성되는 복수 개의 노드를 생성하고 상기 계층 중 최하위 계층을 제외한 어느 하나의 계층인 제1계층에 속하는 노드와 상기 제1계층의 하위 계층인 제2계층에 속하는 적어도 하나의 노드를 상기 복수 개의 특징 분류에 기초하여 연결하여 계층 구조를 생성하는 계층 구조 생성부; 및 상기 계층 구조를 구성하는 상기 노드별로 기설정된 용량의 메모리를 분할 할당하여 최소경계값과, 최대경계값과, 최소경계값과 최소경계값 사이의 범위에 속하는 사이값을 가지는 복수 개의 할당 영역을 설정하는 영역 할당부;로 구성되는 것을 특징으로 한다.
상기 훈련 모듈은 상기 복수 개의 특징 분류가 일치되는 특징을 가진 복수 개의 분류객체를 촬영하여 수집한 복수 개의 영상프레임으로부터 추출되는 복수 개의 특징값에 기초하여 상기 경계값 범위를 재설정하도록 훈련하는 계층 구조 훈련부;를 포함하여 구성되는 것을 특징으로 한다.
상기 판별 모듈은 영상데이터로부터 특징값을 추출하여 상기 계층 구조의 노드별 경계값 범위 내에 상기 특징값이 포함되는지 여부를 탐색하는 특징값 탐색부; 및 상기 특징값 탐색부의 탐색 결과와 상기 우선 순위에 기초하여 상기 특징값에 대응되는 분류객체 판별값을 출력하는 판별값 출력부;로 구성되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 방법은 복수 개의 영상프레임을 분석하여 분류객체의 특징으로 추출 가능한 특징값을 추출하여 기설정된 특징 분류별로 분류하고 우선순위를 부여하는 단계; 분류된 상기 특징 분류와 대응되도록 적어도 하나의 노드를 포함하는 복수 개의 계층으로 구조화된 계층 구조를 생성하고 상기 노드별로 경계값을 가지는 할당 영역을 설정하는 단계; 상기 특징 분류와 일치하는 복수 개의 분류객체를 촬영한 영상프레임으로부터 추출되는 특징값에 기초하여 상기 경계값을 재설정하고 상기 노드의 연결 구조와 상기 할당 영역을 재설정하도록 훈련하는 단계; 및 판별하고자 하는 영상데이터로부터 특징값을 추출하여 훈련된 상기 계층 구조에 따른 노드별 경계값에 포함되는지 여부를 탐색하여 분류객체 판별값을 출력하는 단계;를 포함하는 것을 특징으로 한다.
상기 부여하는 단계는 영상인식을 통해 상기 분류객체의 특징이 추출 가능한 분류객체를 촬영하여 복수 개의 영상프레임을 수집하는 단계; 상기 복수 개의 영상프레임을 분석하여 복수 개의 특징값을 추출하여 기설정된 복수 개의 특징 분류별로 분류하는 단계; 및 분류된 상기 복수 개의 특징 분류별로 상기 복수 개의 특징값 개수를 카운팅하고 상기 카운팅 결과에 기초하여 상기 복수 개의 특징 분류에 대한 우선순위를 부여하는 단계;로 구성되는 것을 특징으로 한다.
상기 설정하는 단계는 분류된 상기 특징 분류별로 복수 개의 계층으로 이루어지고 상기 계층마다 적어도 하나의 노드를 포함하는 계층 구조를 생성하는 단계; 및 생성된 상기 계층 구조에 포함되는 상기 노드별로 최소경계값과, 최대경계값과, 상기 최소경계값과 상기 최대경계값 사이의 범위에 속하는 사이값을 가지는 복수 개의 할당 영역을 설정하는 단계;로 구성되는 것을 특징으로 한다.
상기 훈련하는 단계는 상기 특징 분류와 일치하는 복수 개의 분류객체를 촬영한 복수 개의 영상프레임으로부터 추출되는 특징값에 기초하여 상기 경계값을 재설정하는 단계; 훈련 결과에 따라 상기 계층 구조를 이루는 상기 노드의 연결 구조를 재설정하는 단계; 및 훈련 결과에 따라 재설정된 상기 경계값에 기초하여 상기 노드의 할당 영역을 재설정하는 단계;로 구성되는 것을 특징으로 한다.
상기 출력하는 단계는 상기 영상데이터로부터 특징값을 추출하고 훈련된 상기 계층 구조에 따른 노드별 경계값 범위 내에 상기 특징값이 포함되는지 여부를 탐색하는 단계; 및 상기 탐색 결과와 상기 우선순위에 기초하여 상기 특징값에 대응되는 분류객체 판별값을 출력하는 단계;로 구성되는 것을 특징으로 한다.
상기한 구성에 의한 본 발명은 영상프레임에 추출 가능한 분류객체의 특징을 이용하는 훈련을 통해 특징의 관계 및 특징에 대한 특징값 경계를 재설정하여 계층 구조를 체계화함으로써 분류객체에 대한 판별 정확도를 높여 보조 진단 수단으로의 역할을 충실하게 할 수 있는 효과가 있다.
도 1은 본 발명에 따른 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치를 도시한 블록도이다.
도 2는 본 발명에 따른 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 방법을 도시한 순서도이다.
도 3은 본 발명에 따른 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법에 의한 초기설정된 계층구조와 훈련된 계층구조 및 분류객체 판별 과정을 도시한 예시도이다.
본 발명은 다양한 촬상수단을 통해 수집되는 PET 영상, X-Ray 영상, CT 영상, MRI 영상, 초음파 영상, PET/CT 영상, PET/MRI 영상 등의 의료영상에서 영상인식을 통해 추출되는 특징을 이용하여 질환의 유무, 상태 및 위험요인 등을 진단하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법에 관한 것이다.
특히, 본 발명에 따른 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법은 의료영상을 단편적인 판별 방식으로 접근하여 의료영상에 나타나는 질환인 분류객체를 판별하는 종래와 달리 분류객체의 특징 분류에 따라 훈련된 계층 구조를 이용하여 분류객체를 판별함으로써 판별 결과의 신뢰성을 높여 보조 진단 수단으로의 역할을 충실하게 해낼 수 있는 것이 특징이다.
이러한 특징은 영상프레임에 특징으로 나타나는 분류객체의 특징값을 추출하고 분류하여 계층 구조를 생성한 후 다양한 분류객체에 대한 영상프레임에 나타나는 분류객체의 특징값을 이용하여 상기 계층 구조를 훈련한 다음 이를 이용하여 영상데이터에 나타나는 분류객체의 특징값을 통해 분류객체를 판별하는 판별값을 출력하는 것에 의해 달성될 수 있다.
이하 본 발명의 바람직한 실시예에 따른 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법을 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.
본 발명의 바람직한 실시예에 따른 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치는 도 1에 도시된 바와 같이 특징 분류 모듈(100), 계층 구조 생성 모듈(200), 훈련 모듈(300) 및 판별 모듈(400)를 포함하도록 구성될 수 있다.
먼저, 특징 분류 모듈(100)은 복수 개의 영상프레임으로부터 분류객체의 특징이 되는 특징값들을 추출하여 특징 분류별로 분류하고 개수를 카운팅하여 우선순위를 부여하는 구성이다.
즉, 특징 분류 모듈(100)은 영상프레임들에 나타나는 분류객체의 특징값들을 분류하고 우선순위를 부여하여 후술할 계층 구조 생성 모듈(200)을 통해 계층 구조를 생성할 때 특징값들의 상호 연결 관계와 할당 영역을 정해지도록 하는 것이다.
이를 위해 특징 분류 모듈(100)은 도 1에 도시된 바와 같이 영상 수집부(110), 분류객체 특징 추출부(120), 특징 분류부(130), 특징 개수 카운팅부(140) 및 우선순위 부여부(150)를 포함하도록 구성될 수 있다.
상기 영상 수집부(110)는 영상인식을 통해 특징 추출이 가능한 분류객체를 촬영하여 복수 개의 영상프레임을 수집하는 구성이다.
즉, 영상 수집부(110)는 다양한 촬영수단을 통해 촬영되는 PET 영상, X-Ray 영상, CT 영상, MRI 영상, 초음파 영상, PET/CT 영상, PET/MRI 영상 등을 포함하는 영상프레임을 입력받아 수집할 수 있다. 이때 분류객체라 함은 의료영상인 영상프레임에 나타나는 다양한 질환들일 수 있다.
상기 특징 추출부(120)는 영상 수집부(110)에서 수집된 복수 개의 영상프레임 중 적어도 하나로부터 분류객체에 대한 복수 개의 특징값을 추출하는 구성이다.
이때 특징 추출부(120)는 복수 개의 특징값을 추출하기 위해 영상인식기법은 사용하는데, 상기 영상인식기법은 픽셀의 컬러값, 이진화 처리, 모폴로지 처리, 기하학적 변환, 윤곽선 검출, 마스크 연산, 세선화 처리, 투영 처리, 히스토그램 분포 등을 이용하는 다양한 영상인식기법을 포함할 수 있다.
상기 특징 분류부(130)는 특징 추출부(120)에서 추출된 복수 개의 특징값을 기설정된 복수 개의 특징 분류 중 적어도 하나의 특징 분류와 매칭시켜 분류하는 구성이다.
상기 특징 개수 카운팅부(140)는 특징 분류부에서 복수 개의 특징값이 복수 개의 특징 분류 중 하나로 분류된 상태에서 복수 개의 특징 분류별로 복수 개의 특징값 개수를 카운팅하는 구성이다.
상기 우선순위 부여부(150)는 특징 개수 카운팅부(140)에서 복수 개의 특징 분류별로 카운팅된 특징값의 개수에 따라 복수 개의 특징 분류별로 우선순위를 부여하는 구성이다. 이때 특징값의 개수가 많을수록 특징 분류에 대한 우선순위가 높게 부여된다.
다음으로, 상기 계층 구조 생성 모듈(200)은 특징 분류 모듈(100)에서 분류된 특징 분류에 대응되는 복수 개의 계층으로 이루어지고 계층마다 적어도 하나의 노드를 포함하는 계층 구조를 생성하고 각 노드별로 경계값을 가지는 복수 개의 할당 영역을 설정하는 구성이다.
즉, 계층 구조 생성 모듈(200)은 특징값들에 대한 특징 분류에 대응되는 계층 구조를 생성하고 계층 구조에 따른 특징값들에 대한 메모리 할당 영역을 설정하는 것이다.
이를 위해 계층 구조 생성 모듈(200)은 도 1에 도시된 바와 같이 계층 구조 생성부(210) 및 영역 할당부(220)로 구성될 수 있다.
상기 계층 구조 생성부(210)는 특징 분류에 각각 대응되는 복수 개의 계층으로 구성되는 복수 개의 노드를 생성하고 계층 중 최하위 계층을 제외한 어느 하나의 계층인 제1계층에 속하는 노드와 제1계층의 하위 계층인 제2계층에 속하는 적어도 하나의 노드를 특징 분류에 기초하여 연결하여 계층 구조를 생성하는 구성이다.
상기 영역 할당부(220)는 계층 구조 생성부(210)에서 생성된 계층 구조를 이루는 노드별로 기설정된 용량의 메모리를 분할 할당하여 최소경계값과, 최대경계값과 최소경경계값과 최대경계값 사이의 범위에 속하는 사이값을 가지는 복수 개의 할당 영역을 설정하는 구성이다.
다음으로, 상기 훈련 모듈(300)은 계층 구조 생성 모듈(200)에서 생성된 계층 구조를 특징 분류가 일치하는 분류객체를 촬영한 복수 개의 영상프레임을 통해 훈련하여 각 분류객체별로 특성화되도록 계층 구조를 변경하는 구성이다.
이때 계층 구조의 변경은 계층 구조를 이루는 노드 간의 연결 구조에 대한 변경과 함께 노드에 할당된 할당 영역의 경계값 변경이 포함된다.
이를 위해 훈련 모듈(300)은 도 1에 도시된 바와 같이 계층 구조 훈련부(310), 노드 연결 재설정부(320) 및 할당 영역 재설정부(330)로 구성될 수 있다.
상기 계층 구조 훈련부(310)는 특징 분류가 일치되는 특징을 가지는 복수 개의 분류객체를 촬영하여 수집한 복수 개의 영상프레임으로부터 추출되는 복수 개의 특징값에 기초하여 최소경계값과 최대경계값 및 사이값 중 어느 하나의 경계값을 변경하도록 훈련하는 구성이다.
상기 노드 연결 재설정부(320)는 계층 구조 훈련부(310)에서의 훈련 결과에 따라 계층 구조를 이루는 노드의 연결 구조가 변경되어 제2계층에 속하는 노드의 개수가 기설정된 기준개수 이하이면 제2계층을 삭제하고 제2계층의 하위 노드를 제1계층이 아닌 다른 계층의 상위 노드와 연결하거나 제2계층의 하위 노드를 삭제하는 구성이다.
즉, 노드 연결 재설정부(320)는 분류객체의 특징으로 추출된 특징값 중에서 특징으로서 판별하기에 적합하지 않은 특징값을 삭제하기 위한 것으로서, 노드를 병합하거나 삭제하여 노드의 연결 구조를 변경하여 분류객체별 특징값을 한정하여 분류객체 판별을 위한 시간을 단축할 수 있도록 한다.
상기 할당 영역 재설정부(330)는 계층 구조 훈련부(310)에서의 훈련 결과에 따라 계층 구조를 이루는 노드의 할당 영역에 대한 할당 영역에 대한 최소경계값과 최대경계값 및 사이값 중 어느 하나의 경계값이 변경되어 계층 구조 생성 모듈(200)에 의해 할당된 할당 영역과는 다른 할당 영역의 경계값에 포함되면 다른 할당 영역을 삭제하는 구성이다.
즉, 할당 영역 재설정부(330)는 노드의 병합과 삭제에 대응되도록 노드의 할당 영역도 재설정하여 분류객체별 특징값에 대한 메모리영역을 한정하여 분류객체 판별을 위한 시간을 단축할 수 있도록 한다.
마지막으로, 상기 판별 모듈(400)은 훈련 모듈(300)의 훈련 결과에 따라 노드의 연결 구조와 노드의 할당 영역이 복수 개의 분류객체별로 변경되어 훈련된 복수 개의 계층 구조를 이용하여 판별을 위한 분류객체를 촬영한 영상데이터에서 분석하여 분류객체를 판별하는 구성이다.
이를 위해 판별 모듈(400)은 도 1에 도시된 바와 같이 특징값 탐색부(410) 및 판별값 출력부(420)로 구성될 수 있다.
상기 특징값 탐색부(410)는 판별하고자 하는 분류객체를 촬영한 영상데이터로부터 분류객체의 특징이 되는 특징값을 추출하고, 추출된 특징값이 훈련 모듈(300)에 의해 훈련된 계층 구조의 계층을 이루는 상위 노드에서 하위 노드까지 각각의 노드가 가지는 경계값 범위 내에 포함되는지 여부를 탐색하는 구성이다.
상기 판별값 출력부(420)는 특징값 탐색부(410)의 탐색 결과와 우선순위 부여부(150)에 의해 부여된 특징 분류별 우선순위에 기초하여 특징값에 대응되는 분류객체 판별값을 출력하는 구성이다.
본 발명의 바람직한 실시예에 따른 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 방법은 도 2에 도시된 바와 같이 영상프레임 수집 단계(S100), 특징 분류 단계(S200), 우선순위 부여 단계(S300), 계층 구조 생성 단계(S400), 할당 영역 설정 단계(S500), 계층 구조 훈련 단계(S600), 객체 판별값 출력 단계(S700)를 포함하여 구성될 수 있다.
먼저, 상기 영상프레임 수집 단계(S100)는 다양한 촬영수단을 이용하여 영상인식을 통해 특징 추출이 가능한 분류객체를 촬영하여 복수 개의 영상프레임을 수집하는 단계이다.
다음으로, 상기 특징 분류 단계(S200)는 영상프레임 수집 단계(S100)에서 수집된 복수 개의 영상프레임에 영상처리기법을 적용하여 분류객체의 특징이 되는 복수 개의 특징값을 추출한 후 기설정된 복수 개의 특징 분류별로 분류하는 단계이다.
다음으로, 상기 우선순위 부여 단계(S300)는 특징 분류 단계(S200)에서 된 복수 개의 특징값 개수를 특징 분류별로 구분하여 카운팅한 후 특징값 개수에 따라 복수 개의 특징 분류별로 우선순위를 부여하는 단계이다.
다음으로, 상기 계층 구조 생성 단계(S400)는 특징 분류 단계(S200)와 우선순위 부여 단계(S300)에서 분류된 복수 개의 특징 분류에 대응되도록 복수 개의 계층으로 이루어지고 계층마다 적어도 하나의 노드를 포함하는 계층 구조를 생성하는 단계이다.
다음으로, 상기 할당 영역 설정 단계(S500)는 계층 구조 생성 단계(S400)에서 생성된 계층 구조를 이루는 각 노드별로 특징값들에 대한 메모리 할당 영역을 설정하는 단계이다.
즉, 계층 구조를 이루는 노드별로 기설정된 용량의 메모리를 분할 할당하여 최소경계값과, 최대경계값과 최소경경계값과 최대경계값 사이의 범위에 속하는 사이값을 가지는 복수 개의 할당 영역을 설정하는 것이다. 그러면 도 3에 도시된 바와 같이 노드별로 할당 영역이 설정된 계층 구조(10)를 생성하게 된다.
다음으로, 상기 계층 구조 훈련 단계(S600)는 계층 구조 생성 단계(S400)와 할당영역 설정 단계(S500)에서 생성되고 할당 영역이 설정된 계층 구조를 특징 분류가 일치하는 복수 개의 분류객체를 촬영한 복수 개의 영상프레임을 통해 훈련하여 각 분류객체에 대응되도록 계층 구조를 변경하도록 훈련하는 단계이다.
즉, 특징 분류가 일치되는 특징을 가지는 복수 개의 분류객체를 촬영하여 수집한 복수 개의 영상프레임으로부터 추출되는 복수 개의 특징값에 기초하여 최소경계값과 최대경계값 및 사이값 중 어느 하나의 경계값을 변경하도록 훈련하는 구성이다.
이때 훈련 결과에 따라 계층 구조를 이루는 노드의 연결 구조가 변경되어 제2계층에 속하는 노드의 개수가 기설정된 기준개수 이하이면 제2계층을 삭제하고 제2계층의 하위 노드를 제1계층이 아닌 다른 계층의 상위 노드와 연결하거나 제2계층의 하위 노드를 삭제하게 된다.
그리고 훈련 결과에 따라 계층 구조를 이루는 노드의 할당 영역에 대한 할당 영역에 대한 최소경계값과 최대경계값 및 사이값 중 어느 하나의 경계값이 변경되어 이전의 할당 영역과는 다른 할당 영역의 경계값에 포함되면 다른 할당 영역을 삭제하게 된다.
그러면 도 3에 도시된 바와 같이 각각의 분류객체마다 특징값의 우선순위와 할당영역이 재설정되도록 훈련된 계층 구조(20)들을 생성하게 된다.
마지막으로, 상기 객체 판별값 출력 단계(S700)는 판별하고자 하는 분류객체를 촬영한 영상데이터를 입력받아 영상처리기법을 통해 복수 개의 특징값을 추출한 후 그 특징값이 계층 구조 훈련 단계(S600)에서 훈련된 계층 구조에 따른 노드별 경계값에 포함되는지 여부를 탐색하여 분류객체 판별값을 출력하는 단계이다.
즉, 영상데이터에 추출된 복수 개의 특징값에 따른 계층 구조와 각 노드별 할당 영역이 일치하거나 가장 유사도 높은 분류객체로 판별되면 해당 분류객체인 것으로 판별한 분류객체 판별값을 출력하게 된다.
따라서 도 3에 도시된 바와 같이 영상데이터에 추출된 복수 개의 특징값에 기초하여 생성된 계층 구조(30)가 분류객체 2로 판별될 경우 분류객체 판별값으로 제2분류객체임을 나타나내는 판별값을 출력하게 된다.
이상과 같이 본 발명에 따른 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법은 분류객체를 판별하기 위해 초기 계층 구조를 생성하고 이를 각각의 분류객체 특징값에 대응되도록 계층 구조를 훈련하며, 훈련된 계층 구조를 통해 분류객체를 판별하여 판별값을 출력함으로써 진달 결과의 신뢰성을 향상시켜 보조 진단 수단으로의 역할을 충실하게 할 수 있다.
상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술분야에 대한 통상의 지식을 가진 자라면 이로부터 다양하게 변형된 다른 실시예가 가능하다.
따라서 본 발명의 진정한 기술적 보호범위에는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 상기의 실시예뿐만 아니라 다양하게 변형된 다른 실시예가 포함되어야 한다.
100: 분류 모듈
110: 영상 수집부
120: 분류객체 특징 추출부
130: 특징 분류부
140: 특징 개수 카운팅부
150: 우선순위 부여부
200: 계층 구조 생성 모듈
210: 계층 구조 생성부
220: 영역 할당부
300: 훈련 모듈
310: 계층 구조 훈련부
320: 노드 연결 재설정부
330: 할당 영역 재설정부
400: 판별 모듈
410: 특징값 탐색부
420: 판별값 출력부
S100: 영상프레임 수집 단계
S200: 특징 분류 단계
S300: 우선순위 부여 단계
S400: 계층 구조 생성 단계
S500: 할당 영역 설정 단계
S600: 계층 구조 훈련 단계
S700: 객체 판별값 출력 단계

Claims (10)

  1. 복수 개의 영상프레임으로부터 분류객체의 특징이 되는 특징값을 추출하여 기설정된 특징 분류별로 분류하고 우선순위를 부여하는 특징 분류 모듈;
    상기 특징 분류 모듈에서 분류된 상기 특징 분류에 대응되도록 적어도 하나의 노드를 포함하는 복수 개의 계층으로 구조화된 계층 구조를 생성하고 상기 노드별로 경계값을 가지는 복수 개의 할당 영역을 설정하는 계층 구조 생성 모듈;
    상기 특징 분류와 일치하는 분류객체를 촬영한 영상프레임에서 추출되는 특징값에 기초하여 상기 경계값을 변경하고 상기 노드의 연결 구조와 상기 할당 영역을 재설정하도록 훈련하는 훈련 모듈; 및
    판별하고자 하는 영상데이터로부터 특징값을 추출하고 상기 훈련 모듈에 의해 훈련된 상기 계층 구조에 따른 상기 노드별 경계값 범위 내에 상기 특징값이 포함되는지 여부를 탐색하여 분류객체 판별값을 출력하는 판별 모듈;을 포함하는 것을 특징으로 하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치.
  2. 제1항에 있어서,
    상기 특징 분류 모듈은
    영상인식을 통해 상기 분류객체의 특징이 추출 가능한 상기 분류객체를 촬영하여 복수 개의 영상프레임을 수집하는 영상 수집부;
    상기 영상 수집부에서 수집된 상기 복수 개의 영상프레임 중 적어도 하나의 영상프레임으로부터 상기 분류객체의 특징으로 추출 가능한 복수 개의 특징값을 추출하는 특징 추출부;
    상기 분류객체 특징 추출부에서 추출된 상기 복수 개의 특징값을 기설정된 복수 개의 특징 분류 중 적어도 하나의 특징 분류와 매칭시켜 분류하는 특징 분류부;
    상기 특징 분류부에서 상기 복수 개의 특징 분류별로 매칭되어 분류된 상기 복수 개의 특징값 개수를 상기 복수 개의 특징 분류별로 카운팅하는 특징 개수 카운팅부; 및
    상기 특징 개수 카운팅부에서 카운팅된 상기 복수 개의 특징 분류의 대한 상기 복수 개의 특징값 개수를 비교한 결과에 기초하여 상기 복수 개의 특징 분류에 대한 우선 순위를 각각 부여하는 우선 순위 부여부;로 구성되는 것을 특징으로 하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치.
  3. 제1항에 있어서,
    상기 계층 구조 생성 모듈은
    상기 복수 개의 특징 분류에 각각 대응되도록 복수 개의 계층으로 구성되는 복수 개의 노드를 생성하고 상기 계층 중 최하위 계층을 제외한 어느 하나의 계층인 제1계층에 속하는 노드와 상기 제1계층의 하위 계층인 제2계층에 속하는 적어도 하나의 노드를 상기 복수 개의 특징 분류에 기초하여 연결하여 계층 구조를 생성하는 계층 구조 생성부; 및
    상기 계층 구조를 구성하는 상기 노드별로 기설정된 용량의 메모리를 분할 할당하여 최소경계값과, 최대경계값과, 최소경계값과 최소경계값 사이의 범위에 속하는 사이값을 가지는 복수 개의 할당 영역을 설정하는 영역 할당부;로 구성되는 것을 특징으로 하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치.
  4. 제1항에 있어서,
    상기 훈련 모듈은
    상기 복수 개의 특징 분류가 일치되는 특징을 가진 복수 개의 분류객체를 촬영하여 수집한 복수 개의 영상프레임으로부터 추출되는 복수 개의 특징값에 기초하여 상기 경계값 범위를 재설정하도록 훈련하는 계층 구조 훈련부;를 포함하여 구성되는 것을 특징으로 하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치.
  5. 제1항에 있어서,
    상기 판별 모듈은
    영상데이터로부터 특징값을 추출하여 상기 계층 구조의 노드별 경계값 범위 내에 상기 특징값이 포함되는지 여부를 탐색하는 특징값 탐색부; 및
    상기 특징값 탐색부의 탐색 결과와 상기 우선 순위에 기초하여 상기 특징값에 대응되는 분류객체 판별값을 출력하는 판별값 출력부;로 구성되는 것을 특징으로 하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치.
  6. 복수 개의 영상프레임을 분석하여 분류객체의 특징으로 추출 가능한 특징값을 추출하여 기설정된 특징 분류별로 분류하고 우선순위를 부여하는 단계;
    분류된 상기 특징 분류와 대응되도록 적어도 하나의 노드를 포함하는 복수 개의 계층으로 구조화된 계층 구조를 생성하고 상기 노드별로 경계값을 가지는 할당 영역을 설정하는 단계;
    상기 특징 분류와 일치하는 복수 개의 분류객체를 촬영한 영상프레임으로부터 추출되는 특징값에 기초하여 상기 경계값을 재설정하고 상기 노드의 연결 구조와 상기 할당 영역을 재설정하도록 훈련하는 단계; 및
    판별하고자 하는 영상데이터로부터 특징값을 추출하여 훈련된 상기 계층 구조에 따른 노드별 경계값에 포함되는지 여부를 탐색하여 분류객체 판별값을 출력하는 단계;를 포함하는 것을 특징으로 하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 방법.
  7. 제6항에 있어서,
    상기 부여하는 단계는
    영상인식을 통해 상기 분류객체의 특징이 추출 가능한 분류객체를 촬영하여 복수 개의 영상프레임을 수집하는 단계;
    상기 복수 개의 영상프레임을 분석하여 복수 개의 특징값을 추출하여 기설정된 복수 개의 특징 분류별로 분류하는 단계; 및
    분류된 상기 복수 개의 특징 분류별로 상기 복수 개의 특징값 개수를 카운팅하고 상기 카운팅 결과에 기초하여 상기 복수 개의 특징 분류에 대한 우선순위를 부여하는 단계;로 구성되는 것을 특징으로 하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 방법.
  8. 제6항에 있어서,
    상기 설정하는 단계는
    분류된 상기 특징 분류별로 복수 개의 계층으로 이루어지고 상기 계층마다 적어도 하나의 노드를 포함하는 계층 구조를 생성하는 단계; 및
    생성된 상기 계층 구조에 포함되는 상기 노드별로 최소경계값과, 최대경계값과, 상기 최소경계값과 상기 최대경계값 사이의 범위에 속하는 사이값을 가지는 복수 개의 할당 영역을 설정하는 단계;로 구성되는 것을 특징으로 하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 방법.
  9. 제6항에 있어서,
    상기 훈련하는 단계는
    상기 특징 분류와 일치하는 복수 개의 분류객체를 촬영한 복수 개의 영상프레임으로부터 추출되는 특징값에 기초하여 상기 경계값을 재설정하는 단계;
    훈련 결과에 따라 상기 계층 구조를 이루는 상기 노드의 연결 구조를 재설정하는 단계; 및
    훈련 결과에 따라 재설정된 상기 경계값에 기초하여 상기 노드의 할당 영역을 재설정하는 단계;로 구성되는 것을 특징으로 하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 방법.
  10. 제6항에 있어서,
    상기 출력하는 단계는
    상기 영상데이터로부터 특징값을 추출하고 훈련된 상기 계층 구조에 따른 노드별 경계값 범위 내에 상기 특징값이 포함되는지 여부를 탐색하는 단계; 및
    상기 탐색 결과와 상기 우선순위에 기초하여 상기 특징값에 대응되는 분류객체 판별값을 출력하는 단계;로 구성되는 것을 특징으로 하는 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 방법.
KR1020170143246A 2017-10-31 2017-10-31 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법 KR101963514B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170143246A KR101963514B1 (ko) 2017-10-31 2017-10-31 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143246A KR101963514B1 (ko) 2017-10-31 2017-10-31 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101963514B1 true KR101963514B1 (ko) 2019-03-28

Family

ID=65908124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143246A KR101963514B1 (ko) 2017-10-31 2017-10-31 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101963514B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528091A (zh) * 2020-12-18 2021-03-19 深圳市元征科技股份有限公司 一种诊断数据获取方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070075644A (ko) * 2006-01-13 2007-07-24 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
KR20140049137A (ko) 2012-10-12 2014-04-25 삼성전자주식회사 의료영상 분석장치 및 방법
KR101433472B1 (ko) * 2012-11-27 2014-08-22 경기대학교 산학협력단 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR101754291B1 (ko) 2017-04-04 2017-07-06 이현섭 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법
KR20170109304A (ko) * 2016-03-21 2017-09-29 한국전자통신연구원 객체 인식을 위한 캐스케이드 분류기의 병렬 학습 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070075644A (ko) * 2006-01-13 2007-07-24 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
KR20140049137A (ko) 2012-10-12 2014-04-25 삼성전자주식회사 의료영상 분석장치 및 방법
KR101433472B1 (ko) * 2012-11-27 2014-08-22 경기대학교 산학협력단 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20170109304A (ko) * 2016-03-21 2017-09-29 한국전자통신연구원 객체 인식을 위한 캐스케이드 분류기의 병렬 학습 방법
KR101754291B1 (ko) 2017-04-04 2017-07-06 이현섭 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528091A (zh) * 2020-12-18 2021-03-19 深圳市元征科技股份有限公司 一种诊断数据获取方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
KR101977174B1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
CN109241967B (zh) 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质
KR102097740B1 (ko) 인공지능을 활용한 의료영상 자동 분류 및 표준화 시스템 및 그 구동방법
CN111985536A (zh) 一种基于弱监督学习的胃镜病理图像分类方法
JP5549345B2 (ja) 画像収集装置に用いる天空検出装置及び方法
CN106372564A (zh) 手势识别方法和装置
CN110632069B (zh) 循环肿瘤细胞检测方法、装置、设备及介质
WO2020066257A1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
Ke et al. Active contour and hill climbing for tree crown detection and delineation
CN108596174A (zh) 一种皮肤病影像的病灶定位方法
WO2021102844A1 (zh) 处理图像的方法、装置及系统
Rachna et al. Detection of Tuberculosis bacilli using image processing techniques
KR20230155416A (ko) 분류 및 분할을 이용한 종양 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램
Samhitha et al. Prediction of lung cancer using convolutional neural network (CNN)
Manikandan et al. Segmentation and Detection of Pneumothorax using Deep Learning
Ramkumar et al. Multi res U-Net based image segmentation of pulmonary tuberculosis using CT images
KR101963514B1 (ko) 영상데이터 특징의 계층 구조화에 기초한 분류객체 판별 장치 및 방법
Chen et al. Automated mammographic risk classification based on breast density estimation
Athira et al. Automatic detection of diabetic retinopathy using R-CNN
US20210074429A1 (en) Methods and systems for automated assessment of respiratory cytology specimens
CN112927215A (zh) 一种消化道活检病理切片自动分析方法
KR20200120365A (ko) 파킨슨 환자 영상의 구분 동작으로부터 중증 정도를 자동으로 채점하는 학습 방법 및 장치
CN113627255B (zh) 一种小鼠行为量化分析方法、装置、设备及可读存储介质
JP7337541B2 (ja) 情報処理装置、情報処理方法及びプログラム
Sri et al. Efficient tumor detection in MRI brain images

Legal Events

Date Code Title Description
GRNT Written decision to grant