KR101932008B1 - 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법 - Google Patents
영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법 Download PDFInfo
- Publication number
- KR101932008B1 KR101932008B1 KR1020170183857A KR20170183857A KR101932008B1 KR 101932008 B1 KR101932008 B1 KR 101932008B1 KR 1020170183857 A KR1020170183857 A KR 1020170183857A KR 20170183857 A KR20170183857 A KR 20170183857A KR 101932008 B1 KR101932008 B1 KR 101932008B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- context information
- feature
- analysis
- target image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000010191 image analysis Methods 0.000 title claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000011176 pooling Methods 0.000 claims description 30
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 239000002131 composite material Substances 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
영상의 특징 및/또는 맥락을 분석하여 영상을 분석하는 영상 분석 방법 및 장치가 제공된다. 본 개시의 영상 분석 방법은, 분석 대상 영상의 특징을 추출하는 특징 추출 단계, 추출된 특징에 기초하여 맥락 정보를 생성하는 맥락 정보 생성 단계 및 추출된 특징 및 생성된 맥락 정보에 기초하여 분석 대상 영상을 분석하는 영상 분석 단계를 포함한다.
Description
본 개시는 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 영상의 국소적인 특징 및 전역적인 맥락을 이용하여 분석 대상 영상을 분석하는 장치, 방법 및 본 개시의 영상 분석 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체에 관한 것이다.
딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것으로서, 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.
한편, 영상 인식과 관련하여 딥러닝을 이용한 종래의 영상 분석 기술은 합성곱 신경망(Convolutional Neural Network, CNN)과 최대 풀링(max pooling)기법을 이용하여 영상의 각 영역마다 국소적인 특징을 추출하고 이를 바탕으로 영상을 인식한다. 그러나, 이러한 방법은 실제 영상의 내용은 상이하지만 국소적인 정보 형태가 유사한 영상에 대해서는 정확한 인식 결과를 제공하지 못하는 문제가 있다.
본 개시의 기술적 과제는, 영상을 인식하기 위한 영상 분석 장치 및 방법을 제공하는 것이다.
본 개시의 다른 기술적 과제는, 분석 대상 영상의 특징 및 맥락을 기초로 영상을 분석하는 장치 및 방법을 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 분석 대상 영상의 특징을 추출하는 특징 추출부; 상기 추출된 특징에 기초하여 맥락 정보를 생성하는 맥락 정보 생성부; 및 상기 추출된 특징 및 상기 생성된 맥락 정보에 기초하여 상기 분석 대상 영상을 분석하는 영상 분석부를 포함하는 영상 분석 장치가 제공될 수 있다.
본 개시의 다른 양상에 따르면, 분석 대상 영상의 특징을 추출하는 특징 추출 단계; 상기 추출된 특징에 기초하여 맥락 정보를 생성하는 맥락 정보 생성 단계; 및 상기 추출된 특징 및 상기 생성된 맥락 정보에 기초하여 상기 분석 대상 영상을 분석하는 영상 분석 단계를 포함하는 영상 분석 방법이 제공될 수 있다.
본 개시의 또 다른 양상에 따르면, 본 개시의 영상 분석 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체가 제공될 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 분석 대상 영상을 보다 정확히 인식할 수 있는 영상 분석 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 분석 대상 영상의 특징 및 맥락을 기초로 영상을 분석하는 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 분석 대상 영상의 국소적인 특징 추출뿐만 아니라 전역적인 특징을 생성 및 분석함으로써 보다 정확하고 효과적으로 영상을 인식할 수 있는 영상 분석 장치 및 방법이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 영상 분석 장치의 구성을 나타내는 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.
도 3은 본 개시의 일 실시 예에 따른 영상 분석 장치가 영상을 분석하여 객체를 식별하는 과정을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 영상 분석 장치의 동작을 설명하기 위한 도면이다.
도 5는 다채널 특징맵을 생성하는 합성곱 신경망의 일 실시 예를 설명하기 위한 도면이다.
도 6은 풀링 기법의 일 실시 예를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.
도 3은 본 개시의 일 실시 예에 따른 영상 분석 장치가 영상을 분석하여 객체를 식별하는 과정을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 영상 분석 장치의 동작을 설명하기 위한 도면이다.
도 5는 다채널 특징맵을 생성하는 합성곱 신경망의 일 실시 예를 설명하기 위한 도면이다.
도 6은 풀링 기법의 일 실시 예를 설명하기 위한 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 1은 본 개시의 일 실시 예에 따른 영상 분석 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 영상 분석 장치(100)는 특징 추출부(110), 맥락 생성부(120) 및/또는 특징 및 맥락 분석부(130)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 영상 분석 장치(100)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.
영상 분석 장치(100)는 분석 대상 영상의 특징을 추출하고, 추출된 특징에 기초하여 맥락 정보를 생성하고, 추출된 특징 및 생성된 맥락 정보에 기초하여 분석 대상 영상을 분석할 수 있다. 예컨대, 영상 분석 장치(100)는 추출된 특징 및 생성된 맥락 정보를 이용하여 영상을 분류하거나 관심 객체의 위치를 찾아낼 수 있다.
영상 분석 장치(100)의 입력 영상은 X-Ray 영상일 수 있다. 상기 영상은 X-Ray 영상 기기가 촬영한 로(raw) 이미지이거나 상기 로 이미지를 저장 또는 전송하기 위한 임의의 형태(포맷)의 이미지일 수 있다. 상기 영상은 X-Ray 판독 기기가 촬영하여 모니터와 같은 출력 장치로 전송하는 영상 정보를 캡쳐하여 데이터화함으로써 획득될 수도 있다.
특징 추출부(110)는 입력 영상을 분석하여 영상의 특징을 추출할 수 있다. 예컨대, 상기 특징은 영상의 각 영역마다의 국소적인 특징일 수 있다. 일 실시 예에 따른 특징 추출부(110)는 일반적인 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법을 이용하여 입력 영상의 특징을 추출할 수 있다. 상기 풀링 기법은 맥스(max) 풀링 기법 및 평균(average) 풀링 기법 중 적어도 하나를 포함할 수 있다. 그러나, 본 개시에서 언급되는 풀링 기법은 맥스 풀링 기법 또는 평균 풀링 기법에 한정되지 않으며, 소정 크기의 영상 영역의 대표값을 획득하는 임의의 기법을 포함한다. 예컨대, 풀링 기법에 사용되는 대표값은 최대값 및 평균값 외에, 분산값, 표준 편차값, 중간값(mean value), 최빈값(most frequent value), 최소값, 가중 평균값 등 중 적어도 하나일 수 있다.
본 개시의 합성곱 신경망은 입력 데이터(영상)로부터 테두리, 선 색 등과 같은 “특징들(features)”을 추출하기 위해 이용될 수 있으며, 복수의 계층들(layers)을 포함할 수 있다. 각각의 계층은 입력 데이터를 수신하고, 해당 계층의 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다. 합성곱 신경망은 입력된 영상 또는 입력된 특징맵(feature map)을 필터 커널들(filter kernels)과 컨볼루션하여 생성한 특징맵을 출력 데이터로서 출력할 수 있다. 합성곱 신경망의 초기 계층들은 입력으로부터 에지들 또는 그레디언트들과 같은 낮은 레벨의 특징들을 추출하도록 동작될 수 있다. 신경망의 다음 계층들은 눈, 코 등과 같은 점진적으로 더 복잡한 특징들을 추출할 수 있다. 합성곱 신경망의 구체적인 동작에 대해서는 도 5를 참고하여 후술한다.
합성곱 신경망은 컨볼루션 연산이 수행되는 합성곱 계층 외에도 풀링 연산이 수행되는 풀링 계층도 포함할 수 있다. 풀링 기법은 풀링 계층에서 데이터의 공간적 크기를 축소하는데 사용되는 기법이다. 구체적으로, 풀링 기법에는 해당 영역에서 최대값을 선택하는 맥스 풀링(max pooling) 기법과 해당 영역의 평균값을 선택하는 평균 풀링(average pooling) 기법이 있으며, 이미지 인식 분야에서는 일반적으로 맥스 풀링 기법이 사용된다. 풀링 기법에서는 일반적으로 풀링의 윈도우 크기와 간격(스트라이드, stride)을 같은 값으로 설정한다. 여기서, 스트라이드란 입력 데이터에 필터를 적용할 때 이동할 간격을 조절하는 것, 즉 필터가 이동할 간격을 의미하며, 스트라이드 또한 출력 데이터의 크기를 조절하기 위해 사용될 수 있다. 풀링 기법의 구체적인 동작에 대해서는 도 6을 참고하여 후술한다.
본 개시의 일 실시 예에 따른 특징 추출부(110)는 분석 대상 영상의 특징을 추출하기 위한 전처리(pre-processing)로서, 분석 대상 영상에 필터링을 적용할 수 있다. 상기 필터링은 고속 푸리에 변환(Fast Fourier Transform, FFT), 히스토그램 평활화(histogram equalization), 모션 아티팩트(motion artifact) 제거 또는 노이즈(noise) 제거 등일 수 있다. 그러나, 본 개시의 필터링은 상기 열거한 방법으로 제한되지 않으며, 영상의 품질을 개선할 수 있는 모든 형태의 필터링을 포함할 수 있다.
맥락 생성부(120)는 특징 추출부(110)로부터 추출된 입력 영상의 특징을 이용하여 입력 영상(분석 대상 영상)의 맥락 정보를 생성할 수 있다. 예컨대, 상기 맥락 정보는 분석 대상 영상의 전체 또는 일부 영역을 나타내는 대표값일 수 있다. 또한 상기 맥락 정보는 입력 영상의 전역적인 맥락 정보일 수 있다. 일 실시 예에 따른 맥락 생성부(120)는 합성곱 신경망 기법 또는 풀링 기법을 특징 추출부(110)로부터 추출된 특징에 적용하여 맥락 정보를 생성할 수 있다. 상기 풀링 기법은 예컨대, 평균 풀링(average pooling) 기법일 수 있다.
특징 및 맥락 분석부(130)는 특징 추출부(110)에서 추출된 특징 및 맥락 생성부(120)에서 생성된 맥락 정보에 기초하여 영상을 분석할 수 있다. 일 실시예에 따른 특징 및 맥락 분석부(130)는 특징 추출부(110)에서 추출된 영상의 각 영역마다의 국소적인 특징 및 맥락 생성부(120)에서 재구성된 전역적인 맥락을 결합(concatenate)하는 등의 방식으로 함께 사용하여, 입력 영상을 분류하거나 입력 영상에 포함된 관심 객체의 위치 등을 찾는데 이용할 수 있다. 입력 영상 내 특정 2차원 위치에서의 정보는 국소적인 특징 정보뿐만 아니라 전역적인 맥락 정보까지 포함하게 되므로, 특징 및 맥락 분석부(130)는 이들 정보를 이용함으로써, 실제 내용은 상이하지만 국소적인 특징 정보가 유사한 입력 영상들에 대해 보다 정확한 인식 또는 분류 등이 가능하게 된다.
전술한 바와 같이, 본 개시의 일 실시 예에 따른 발명은, 일반적인 합성곱 신경망 기법이 사용하는 국소적인 특징뿐만 아니라 전역적인 맥락 정보를 함께 사용함으로써, 보다 더 정확하고 효율적인 학습 및 영상 분석이 가능하게 된다. 이러한 관점에서 본 개시에 따른 발명을 ‘맥락 분석을 통한 심층 신경망’이라 할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.
도 2의 특징 추출부(210), 맥락 생성부(220), 및 특징 및 맥락 분석부(230)는 각각 도 1의 특징 추출부(110), 맥락 생성부(120), 및 특징 및 맥락 분석부(130)의 일 실시 예일 수 있다.
도 2를 참조하면, 특징 추출부(210)는 입력 영상(212)을 이용하여 입력 영상(212)으로부터 특징을 추출하고, 추출된 특징 정보를 포함하는 특징 영상(214)을 생성할 수 있다. 상기 추출된 특징은 입력 영상의 국소 영역에 대한 특징일 수 있다. 상기 입력 영상(212)은 영상 분석 장치의 입력 영상 또는 합성곱 신경망 모델 내의 각 계층에서의 특징맵을 포함할 수 있다. 또한 상기 특징 영상(214)은 입력 영상(212)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 획득된 특징맵 및/또는 특징 벡터를 포함할 수 있다.
맥락 생성부(220)는 특징 추출부(210)에서 추출된 특징 영상(214)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 맥락 정보를 생성할 수 있다. 예컨대, 맥락 생성부(220)는 풀링의 간격(stride)을 다양하게 조절함으로써 영상 전체, 4등분 영역, 9등분 영역 등의 다양한 크기(scale)의 맥락 정보를 생성할 수 있다. 도 2를 참조하면, 영상 전체 크기의 영상에 대한 맥락 정보를 포함하는 전체 맥락 정보 영상(222), 영상 전체를 4등분한 크기의 4등분 영상에 대한 맥락 정보를 포함하는 4등분 맥락 정보 영상(224) 및 영상 전체를 9등분한 크기의 9등분 영상에 대한 맥락 정보를 포함하는 9등분 맥락 정보 영상(226)이 획득될 수 있다.
특징 및 맥락 분석부(230)는 상기 특징 영상(214)과 상기 맥락 정보 영상(222, 224, 226)을 모두 이용하여 분석 대상 영상의 특정 영역에 대한 분석을 보다 정확히 수행할 수 있다.
예컨대, 자동차(car)와 유사한 형태를 갖는 보트(boat)가 포함된 영상이 입력 영상인 경우, 특징 추출부(210)가 추출한 국소적인 특징을 포함하는 특징 영상(214)으로부터는 상기 식별된 객체가 자동차인지 보트인지 정확히 판단할 수 없다. 즉, 특징 추출부(210)는 국소적인 특징에 기초하여 객체의 형상을 인식할 수 있으나, 해당 객체의 형상만 가지고는 정확히 객체를 식별하고 분류할 수 없는 경우가 있다.
본 개시의 일 실시 예에 따른 맥락 생성부(220)는 상기 분석 대상 영상 또는 상기 특징 영상(214)에 기초하여 맥락 정보(222, 224, 226)를 생성함으로써, 보다 정확히 객체를 식별하고 분류할 수 있다. 예컨대, 전체 영상에 대해 추출된 특징이 “자연 경관”으로 인식 또는 분류되고, 4등분 영상에 대해 추출된 특징이 “호수”로 인식 또는 분류되고, 9등분 영상에 대해 추출된 특징이 “물”로 인식 또는 분류되는 경우, 상기 추출된 특징인 “자연 경관”, “호수”, “물”을 맥락 정보로서 생성하고 활용할 수 있다.
본 개시의 일 실시 예에 따른 특징 및 맥락 분석부(230)는 상기 맥락 정보를 활용함으로써, 상기 보트 또는 자동차의 형상을 갖는 객체를 “보트”로 식별할 수 있다.
도 2를 참조하여 설명한 실시 예에서는 전체 영상에 대한 맥락 정보, 4등분 영상에 대한 맥락 정보, 9등분 영상에 대한 맥락 정보를 생성하고 활용하는 것에 대해 설명하였으나, 맥락 정보를 추출하는 영상의 크기는 이에 한정되지 않는다. 예컨대, 전술한 크기의 영상 이외의 크기를 갖는 영상에 대한 맥락 정보를 생성하고 활용할 수도 있다.
본 개시의 일 실시 예에 따른 합성곱 신경망 기법 및 풀링에 대해서는 도 5 및 도 6을 참조하여 후술한다.
도 3은 본 개시의 일 실시 예에 따른 영상 분석 장치가 영상을 분석하여 객체를 식별하는 과정을 설명하기 위한 도면이다.
예컨대, 영상 분석 장치(300)는 영상(310)을 입력 받고, 다양한 크기의 영상 영역에 대한 정보를 생성함으로써, 영상(310)에 포함된 객체를 정확히 식별 및/또는 분류할 수 있다. 입력 영상(310)은 예컨대, 가방을 포함하는 X-ray 영상일 수 있다. 영상 분석 장치(300)는 전술한 바에 따라 입력 영상(310)을 분석하여, 영상 전체에 대한 특징, 영상의 일부 영역에 대한 특징을 추출하고 이를 이용하여 영상(310)에 포함된 객체를 정확히 식별할 수 있다. 상기 영상 전체에 대한 특징(322)은 예컨대, 가방의 형상에 대한 특징일 수 있다. 상기 영상의 일부 영역에 대한 특징은 예컨대, 손잡이에 대한 특징(324), 지퍼에 대한 특징(326, 고리에 대한 특징(328) 등을 포함할 수 있다.
영상 분석 장치(300)는 상기 생성된 특징들(322, 324, 326, 328)을 맥락 정보로서 활용함으로써, 상기 영상(310)에 포함된 객체가 “가방”이라는 것을 정확히 식별할 수 있다.
만약 상기 생성된 특징들 중 일부가 “가방”과 관련이 없는 특징이라면, 영상 분석 장치(300)는 상기 영상(310)에 포함된 객체가 “가방”이라고 식별할 수 없거나 또는 상기 영상(310)에 포함된 객체를 “가방”으로 식별할 수 없다는 분석 결과를 제공할 수 있다.
만약 상기 생성된 특징들 중 일부가 “가방”과 관련이 없는 특징이라면, 영상 분석 장치(300)는 상기 영상(310)에 포함된 객체가 “가방”이라고 식별할 수 없거나 또는 상기 영상(310)에 포함된 객체를 “가방”으로 식별할 수 없다는 분석 결과를 제공할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 영상 분석 장치의 동작을 설명하기 위한 도면이다.
S400 단계에서 영상 분석 장치는 분석 대상 영상의 특징을 추출할 수 있다.
일 실시 예에 따른 영상 분석 장치는 일반적인 합성곱 신경망 기법 또는 풀링 기법을 이용하여 입력 영상의 특징을 추출할 수 있다. 상기 분석 대상 영상의 특징은 영상의 각 영역마다의 국소적인 특징일 수 있으며, 또한 상기 풀링 기법은 맥스 풀링 기법 및 평균 풀링 기법 중 적어도 하나를 포함할 수 있다.
S410 단계에서 영상 분석 장치는 S400 단계에서 추출된 특징에 기초하여 맥락 정보를 생성할 수 있다.
일 실시 예에 따른 영상 분석 장치는 합성곱 신경망 기법 및/또는 풀링 기법을 S400 단계에서 추출된 특징에 적용하여 맥락 정보를 생성할 수 있다. 상기 맥락 정보는 분석 대상 영상의 전체 또는 일부 영역을 나타내는 대표값일 수 있다. 또한 상기 맥락 정보는 입력 영상의 전역적인 맥락 정보일 수 있다. 또한, 상기 풀링 기법은 예컨대, 평균 풀링 기법일 수 있다.
S420 단계에서 영상 분석 장치는 S400 단계에서 추출된 특징 및 S410 단계에서 생성된 맥락 정보에 기초하여 상기 분석 대상 영상을 분석할 수 있다.
예컨대, 영상 분석 장치는 S400 단계에서 추출된 영상의 각 영역마다의 국소적인 특징 및 S410 단계에서 재구성된 전역적인 맥락을 결합하여 입력 영상을 분류하거나 입력 영상에 포함된 관심 객체의 위치 등을 찾을 수 있다. 따라서, 입력 영상에서 특정 2차원 위치에서의 정보가 국소적인 정보부터 전역적인 맥락까지 포함됨으로써, 실제 내용은 상이하지만 국소적인 정보가 유사한 입력 영상들에 대해 보다 정확한 인식 또는 분류 등이 가능하다.
도 5는 다채널 특징맵을 생성하는 합성곱 신경망의 일 실시 예를 설명하기 위한 도면이다.
합성곱 신경망 기반의 영상 처리는 다양한 분야에 활용될 수 있다. 예컨대, 영상의 객체 인식(object recognition)을 위한 영상 처리 장치, 영상 복원(image reconstruction)을 위한 영상 처리 장치, 시맨틱 세그먼테이션(semantic segmentation)을 위한 영상 처리 장치, 장면 인식(scene recognition)을 위한 영상 처리 장치 등에 이용될 수 있다.
입력 영상(510)은 합성곱 신경망(500)을 통해 처리됨으로써 특징맵 영상을 출력할 수 있다. 출력된 특징맵 영상은 전술한 다양한 분야에 활용될 수 있다.
합성곱 신경망(500)은 복수의 계층들(520, 530, 540)을 통해 처리될 수 있으며, 각 계층은 다채널 특징맵 영상들(525, 535)을 출력할 수 있다. 일 실시예에 따른 복수의 계층들(520, 530, 540)은 입력받은 데이터의 좌측 상단으로부터 우측 하단까지 일정한 크기의 필터를 적용하여 영상의 특징을 추출할 수 있다. 예를 들어, 복수의 계층들(520, 530, 540)은 입력 데이터의 좌측 상단 NxM 픽셀에 가중치를 곱해서 특징맵의 좌측 상단의 한 뉴런에 매핑시킨다. 이 경우, 곱해지는 가중치도 NxM가 될 것이다. 상기 NxM은 예컨대, 3x3일 수 있으나, 이에 한정되지 않는다. 이후, 동일한 과정으로, 복수의 계층들(520, 530, 540)은 입력 데이터를 좌측에서 우측으로, 그리고 상단에서 하단으로 k 칸씩 스캔하면서 가중치를 곱하여 특징맵의 뉴런에 매핑한다. 상기 k 칸은 합성곱 수행시 필터를 이동시킬 간격(stride)을 의미하며, 출력 데이터의 크기를 조절하기 위해 적절히 설정될 수 있다. 예컨대, k는 1일 수 있다. 상기 NxM 가중치는 필터 또는 필터 커널이라고 한다. 즉, 복수의 계층들(520, 530, 540)에서 필터를 적용하는 과정은 필터 커널과의 컨볼루션 연산을 수행하는 과정이며, 그 결과 추출된 결과물을 “특징맵(feature map)” 또는 “특징맵 영상”이라고 한다. 또한, 컨볼루션 연산이 수행된 계층을 합성곱 계층이라 할 수 있다.
“다채널 특징맵(multiple-channel feature map)”의 용어는 복수의 채널에 대응하는 특징맵들의 세트를 의미하고, 예를 들어 복수의 영상 데이터일 수 있다. 다채널 특징맵들은 합성곱 신경망의 임의의 계층에서의 입력일 수 있고, 컨볼루션 연산 등의 특징맵 연산 결과에 따른 출력일 수 있다. 일 실시예에 따르면, 다채널 특징맵들(525, 535)은 합성곱 신경망의 “특징 추출 계층들” 또는 “컨볼루션 계층들”이라고도 불리는 복수의 계층들(520, 530, 540)에 의해 생성된다. 각각의 계층은 순차적으로 이전 계층에서 생성된 다채널 특징맵들을 수신하고, 출력으로서 그 다음의 다채널 특징맵들을 생성할 수 있다. 최종적으로 L(L은 정수)번째 계층(540)에서는 L-1번째 계층(미도시)에서 생성한 다채널 특징맵들을 수신하여 미도시의 다채널 특징맵들을 생성할 수 있다.
도 5를 참조하면, 채널 K1개를 가지는 특징맵들(525)은 입력 영상(510)에 대해 계층 1에서의 특징맵 연산(520)에 따른 출력이고, 또한 계층 2에서의 특징맵 연산(530)을 위한 입력이 된다. 또한, 채널 K2개를 가지는 특징맵들(535)은 입력 특징맵들(525)에 대해 계층 2에서의 특징맵 연산(530)에 따른 출력이고, 또한 계층 3에서의 특징맵 연산(미도시)을 위한 입력이 된다.
도 5를 참조하면, 첫 번째 계층(520)에서 생성된 다채널 특징맵들(525)은 K1(K1은 정수)개의 채널에 대응하는 특징맵들을 포함한다. 또한, 두 번째 계층(530)에서 생성된 다채널 특징맵들(535)은 K2(K2은 정수)개의 채널에 대응하는 특징맵들을 포함한다. 여기서, 채널의 개수를 나타내는 K1 및 K2는, 첫 번째 계층(520) 및 두 번째 계층(530)에서 각각 사용된 필터 커널의 개수와 대응될 수 있다. 즉, M(M은 1 이상 L-1 이하의 정수)번째 계층에서 생성된 다채널 특징맵들의 개수는 M번째 계층에서 사용된 필터 커널의 개수와 동일할 수 있다.
도 6은 풀링 기법의 일 실시 예를 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 풀링의 윈도우 사이즈는 2x2, 스트라이드는 2이며, 맥스 풀링을 입력 영상(610)에 적용하여 출력 영상(690)을 생성할 수 있다.
도 6의 (a)에서, 입력 영상(610)의 좌측 상단에 2x2 윈도우(610)를 적용하고, 윈도우(610) 영역 내의 값들 중 대표값(여기서는, 최대값 4)을 계산하여 출력 영상(690)의 대응 위치(620)에 입력한다.
이후, 도 6의 (b)에서, 스트라이드만큼, 즉, 2만큼 윈도우를 이동하고, 윈도우(630) 영역 내의 값들 중 최대값 3을 출력 영상(690)의 대응 위치(640)에 입력한다.
더 이상 우측으로 윈도우를 이동시킬 없는 경우, 다시 입력 영상의 좌측에서 스트라이드만큼 아래의 위치부터 상기 과정을 반복한다. 즉, 도 6의 (c)에 도시된 바와 같이, 윈도우(650) 영역 내의 값들 중 최대값 5를 출력 영상(690)의 대응 위치(660)에 입력한다.
이후, 도 6의 (d)에 도시된 바와 같이, 스트라이드만큼 윈도우를 이동하고, 윈도우(670) 영역 내의 값들 중 최대값 2를 출력 영상(690)의 대응 위치(680)에 입력한다.
상기 과정은 입력 영상(610)의 우측 하단 영역에 윈도우가 위치할 때까지 반복적으로 수행됨으로써, 입력 영상(610)에 풀링을 적용한 출력 영상(690)을 생성할 수 있다.
본 개시의 딥러닝 기반의 모델은 완전 합성곱 신경망(완전 컨볼루션 뉴럴 네트워크, fully convolutional neural network), 합성곱 신경망(컨볼루션 뉴럴 네트워크, convolutional neural network), 순환 신경망(회귀 뉴럴 네트워크, recurrent neural network), 제한 볼츠만 머신(restricted Boltzmann machine, RBM) 및 심층 신뢰 신경망(deep belief neural network, DBN) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 또는, 딥러닝 이외의 머신 러닝 방법도 포함할 수 있다. 또는 딥러닝과 머신 러닝을 결합한 하이브리드 형태의 모델도 포함할 수 있다. 예컨대, 딥러닝 기반의 모델을 적용하여 영상의 특징을 추출하고, 상기 추출된 특징에 기초하여 영상을 분류하거나 인식할 때는 머신 러닝 기반의 모델을 적용할 수도 있다. 머신 러닝 기반의 모델은 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
100 : 영상 분석 장치
110 : 특징 추출부
120 : 맥락 생성부
130 : 맥락 분석부
110 : 특징 추출부
120 : 맥락 생성부
130 : 맥락 분석부
Claims (12)
- 분석 대상 영상의 특징을 추출하는 특징 추출부;
상기 추출된 특징에 기초하여 맥락 정보를 생성하는 맥락 정보 생성부; 및
상기 추출된 특징 및 상기 생성된 맥락 정보에 기초하여 상기 분석 대상 영상을 분석하는 영상 분석부를 포함하고,
상기 맥락 정보 생성부는, 상기 분석 대상 영상의 전체 또는 일부 영역에 대한 상기 맥락 정보를 생성하고,
상기 맥락 정보는 상기 분석 대상 영상의 전체 또는 일부 영역을 나타내는 대표값인 영상 분석 장치. - 제1항에 있어서,
상기 특징 추출부는,
합성곱 신경망(Convolutional Neural Network, CNN) 기법 및 풀링(pooling) 기법 중 적어도 하나를 이용하여, 상기 분석 대상 영상의 국소적인 특징을 추출하는 영상 분석 장치. - 제1항에 있어서,
상기 특징 추출부는,
상기 분석 대상 영상의 특징을 추출하기 위한 전처리(pre-processing)로서, 상기 분석 대상 영상에 필터링을 적용하고,
상기 필터링은 고속 푸리에 변환(Fast Fourier Transform, FFT), 히스토그램 평활화(histogram equalization), 모션 아티팩트(motion artifact) 제거 및 노이즈(noise) 제거 중 적어도 하나를 수행하는 영상 분석 장치. - 제1항에 있어서,
상기 맥락 정보 생성부는 합성곱 신경망 기법 및 풀링 기법 중 적어도 하나를 상기 추출된 특징에 적용하여 상기 맥락 정보를 생성하는 영상 분석 장치. - 제4항에 있어서,
상기 맥락 정보 생성부는 상기 풀링의 간격(stride)을 조절함으로써 상기 분석 대상 영상의 전체 또는 일부 영역에 대한 상기 맥락 정보를 생성하는 영상 분석 장치. - 분석 대상 영상의 특징을 추출하는 특징 추출 단계;
상기 추출된 특징에 기초하여 맥락 정보를 생성하는 맥락 정보 생성 단계; 및
상기 추출된 특징 및 상기 생성된 맥락 정보에 기초하여 상기 분석 대상 영상을 분석하는 영상 분석 단계를 포함하고,
상기 맥락 정보 생성 단계는 상기 분석 대상 영상의 전체 또는 일부 영역에 대한 상기 맥락 정보를 생성하는 단계를 포함하고,
상기 맥락 정보는 상기 분석 대상 영상의 전체 또는 일부 영역을 나타내는 대표값인 영상 분석 방법. - 제6항에 있어서,
상기 특징 추출 단계는,
합성곱 신경망(Convolutional Neural Network, CNN) 기법 및 풀링(Pooling) 기법 중 적어도 하나를 이용하여, 상기 분석 대상 영상의 국소적인 특징을 추출하는 영상 분석 방법. - 제6항에 있어서,
상기 특징 추출 단계는,
상기 분석 대상 영상의 특징을 추출하기 위한 전처리(pre-processing)로서, 상기 분석 대상 영상에 필터링을 적용하고,
상기 필터링은 고속 푸리에 변환(Fast Fourier Transform, FFT), 히스토그램 평활화(histogram equalization), 모션 아티팩트(motion artifact) 제거 및 노이즈(noise) 제거 중 적어도 하나를 수행하는 영상 분석 방법. - 제6항에 있어서,
상기 맥락 정보 생성 단계는 합성곱 신경망 기법 및 풀링 기법 중 적어도 하나를 상기 추출된 특징에 적용하여 상기 맥락 정보를 생성하는 영상 분석 방법. - 제9항에 있어서,
상기 맥락 정보 생성 단계는 상기 풀링의 간격(stride)을 조절함으로써 상기 분석 대상 영상의 전체 또는 일부 영역에 대한 상기 맥락 정보를 생성하는 단계를 포함하는 영상 분석 방법. - 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체로서,
상기 프로그램은,
분석 대상 영상의 특징을 추출하는 특징 추출 단계;
상기 추출된 특징에 기초하여 맥락 정보를 생성하는 맥락 정보 생성 단계; 및
상기 추출된 특징 및 상기 생성된 맥락 정보에 기초하여 상기 분석 대상 영상을 분석하는 영상 분석 단계를 수행하고,
상기 맥락 정보 생성 단계는 상기 분석 대상 영상의 전체 또는 일부 영역에 대한 상기 맥락 정보를 생성하는 단계를 포함하고,
상기 맥락 정보는 상기 분석 대상 영상의 전체 또는 일부 영역을 나타내는 대표값인 컴퓨터로 판독 가능한 기록매체. - 분석 대상 영상에 포함된 객체의 전체 영역을 일차적으로 식별하는 단계;
상기 식별된 객체의 일부 영역의 특징을 추출하는 단계;
상기 객체의 전체 영역에 대한 일차적인 식별 결과 및 상기 객체의 일부 영역의 특징을 나타내는 대표값을 맥락 정보로서 활용하여 상기 객체를 최종적으로 식별하는 단계를 포함하는 영상 분석 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170183857A KR101932008B1 (ko) | 2017-12-29 | 2017-12-29 | 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법 |
| PCT/KR2018/016861 WO2019132588A1 (ko) | 2017-12-29 | 2018-12-28 | 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170183857A KR101932008B1 (ko) | 2017-12-29 | 2017-12-29 | 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101932008B1 true KR101932008B1 (ko) | 2018-12-24 |
Family
ID=65010070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170183857A KR101932008B1 (ko) | 2017-12-29 | 2017-12-29 | 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101932008B1 (ko) |
| WO (1) | WO2019132588A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200086935A (ko) * | 2019-01-10 | 2020-07-20 | 세종대학교산학협력단 | 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법 |
| KR20210122538A (ko) * | 2020-04-01 | 2021-10-12 | 전북대학교산학협력단 | 문맥 정보를 활용하는 분류기 및 이의 분류 방법 |
| US11715198B2 (en) | 2019-07-29 | 2023-08-01 | Coreline Soft Co., Ltd. | Medical use artificial neural network-based medical image analysis apparatus and method for evaluating analysis results of medical use artificial neural network |
| KR102674391B1 (ko) * | 2021-11-24 | 2024-06-12 | 경기대학교 산학협력단 | 중첩 프레임 구조를 이용한 실시간 영상 분석 장치 및 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117245672B (zh) * | 2023-11-20 | 2024-02-02 | 南昌工控机器人有限公司 | 摄像头支架模块化装配的智能运动控制系统及其方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007164560A (ja) * | 2005-12-15 | 2007-06-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180035243A (ko) * | 2012-08-24 | 2018-04-05 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 가상 현실 어플리케이션 |
| KR20160096460A (ko) * | 2015-02-05 | 2016-08-16 | 삼성전자주식회사 | 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법 |
| KR101803471B1 (ko) * | 2016-02-15 | 2017-12-01 | 성균관대학교 산학협력단 | 컨볼루션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법 |
| KR101782914B1 (ko) * | 2016-02-29 | 2017-09-28 | 한국항공대학교산학협력단 | 항공 영상 분류 장치 및 그 방법 |
-
2017
- 2017-12-29 KR KR1020170183857A patent/KR101932008B1/ko active IP Right Grant
-
2018
- 2018-12-28 WO PCT/KR2018/016861 patent/WO2019132588A1/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007164560A (ja) * | 2005-12-15 | 2007-06-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200086935A (ko) * | 2019-01-10 | 2020-07-20 | 세종대학교산학협력단 | 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법 |
| KR102140045B1 (ko) | 2019-01-10 | 2020-07-31 | 세종대학교 산학협력단 | 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법 |
| US11715198B2 (en) | 2019-07-29 | 2023-08-01 | Coreline Soft Co., Ltd. | Medical use artificial neural network-based medical image analysis apparatus and method for evaluating analysis results of medical use artificial neural network |
| KR20210122538A (ko) * | 2020-04-01 | 2021-10-12 | 전북대학교산학협력단 | 문맥 정보를 활용하는 분류기 및 이의 분류 방법 |
| KR102342967B1 (ko) * | 2020-04-01 | 2021-12-24 | 전북대학교산학협력단 | 문맥 정보를 활용하는 분류기 및 이의 분류 방법 |
| KR102674391B1 (ko) * | 2021-11-24 | 2024-06-12 | 경기대학교 산학협력단 | 중첩 프레임 구조를 이용한 실시간 영상 분석 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019132588A1 (ko) | 2019-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101932009B1 (ko) | 다중 객체 검출을 위한 영상 처리 장치 및 방법 | |
| Sevastopolsky | Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network | |
| Hu et al. | Deep level sets for salient object detection | |
| Kruthiventi et al. | Saliency unified: A deep architecture for simultaneous eye fixation prediction and salient object segmentation | |
| KR101932008B1 (ko) | 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법 | |
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| US20190355113A1 (en) | Multi-sample Whole Slide Image Processing in Digital Pathology via Multi-resolution Registration and Machine Learning | |
| US9501715B2 (en) | Method for detecting salient region of stereoscopic image | |
| US20220122729A1 (en) | Apparatus for learning cerebrovascular disease, apparatus for detecting cerebrovascular disease, mehtod of learning cerebrovascular disease and method of detecting cerebrovascular disease | |
| Huang et al. | Context-aware single image rain removal | |
| US10216979B2 (en) | Image processing apparatus, image processing method, and storage medium to detect parts of an object | |
| KR20190135908A (ko) | 인공지능 기반 치매 진단 방법 및 장치 | |
| Croitoru et al. | Unsupervised learning from video to detect foreground objects in single images | |
| Basset et al. | Adaptive spot detection with optimal scale selection in fluorescence microscopy images | |
| KR101969022B1 (ko) | 영상 분석 장치 및 방법 | |
| US8548247B2 (en) | Image processing apparatus and method, and program | |
| Gao et al. | Detection and characterization of the fetal heartbeat in free-hand ultrasound sweeps with weakly-supervised two-streams convolutional networks | |
| KR101890538B1 (ko) | 영상 변환 방법 및 장치 | |
| KR102150853B1 (ko) | 암 영역에 대한 딥러닝 모델 학습 장치 및 방법 | |
| Mirzaalian et al. | Hair enhancement in dermoscopic images using dual-channel quaternion tubularness filters and MRF-based multilabel optimization | |
| CN107766864B (zh) | 提取特征的方法和装置、物体识别的方法和装置 | |
| Rossi et al. | FishAPP: A mobile App to detect fish falsification through image processing and machine learning techniques | |
| Zhang et al. | Detection and segmentation of multi-class artifacts in endoscopy | |
| JP2012252691A (ja) | 画像からテキスト筆画画像を抽出する方法及び装置 | |
| Keraudren et al. | Endocardial 3d ultrasound segmentation using autocontext random forests |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |