KR101891631B1 - 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체 - Google Patents
영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체 Download PDFInfo
- Publication number
- KR101891631B1 KR101891631B1 KR1020180027033A KR20180027033A KR101891631B1 KR 101891631 B1 KR101891631 B1 KR 101891631B1 KR 1020180027033 A KR1020180027033 A KR 1020180027033A KR 20180027033 A KR20180027033 A KR 20180027033A KR 101891631 B1 KR101891631 B1 KR 101891631B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- learning
- neural network
- artificial neural
- class
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 42
- 238000010191 image analysis Methods 0.000 title description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 44
- 238000002372 labelling Methods 0.000 claims abstract description 23
- 230000010287 polarization Effects 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 15
- 230000000295 complement effect Effects 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 238000012549 training Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 238000003703 image analysis method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/416—Exact reconstruction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명에 따른 영상 학습 장치는 인공 신경망을 학습하기 위한 학습대상 객체가 포함된 촬영영상을 수집하여, 미리 정해진 크기의 윈도우를 상기 촬영영상 내에서 이동시켜 상기 촬영영상으로부터 복수의 패치 영상을 생성하고, 상기 패치 영상을 기초로 상기 촬영영상을 구성하는 픽셀들을 서로 다른 특징값을 갖는 복수의 클래스로 레이블링하며, 각각의 클래스가 상기 촬영영상 내에서 차지하는 영역의 비율을 입력값으로 설정하고, 각각의 클래스를 나타내는 특징값을 출력값으로 설정하여 상기 인공 신경망을 학습한다.
Description
본 발명은 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체에 관한 것으로서, 더욱 상세하게는 미리 학습된 객체별 특징들을 이용하여 촬영영상에 포함된 객체를 구분하는 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체에 관한 것이다.
영상 분석 기술은 입력된 화상 데이터를 분석하여 의미있는 정보를 추출하는 기술로, 컴퓨터 비전(computer vision), 증강현실 및 가상현실 등과 같은 다양한 분야에 활용되고 있다.
최근에는 인공 신경망을 영상 분석 기술에 접목하여 전자장치가 사람이 영상 속 객체를 인지하는 것과 비슷한 방법으로 객체를 검출하고자 하는 기술 개발이 시도되고 있다.
하지만, 종래의 영상 분석 기술은 입력되는 영상의 품질에 의존하게 된다. 다시 말해, 입력영상의 색수차(chromatic aberration)가 큰 경우에는 객체 인식률이 필연적으로 낮아질 수 밖에 없다는 문제점이 있다.
또한, 종래의 인공 신경망과 융합된 영상 분석 기술은 다층 신경망을 이용하는 경우가 대부분인데, 다층 신경망은 연산 속도가 느려 객체 검출까지 소요되는 시간이 지연된다는 한계가 있다.
이에, 분석하고자 하는 촬영영상의 색수차를 실시간으로 저감하고, 인공 신경망을 이용하되 빠른 속도로 객체를 신뢰성 있게 검출할 수 있는 기술의 개발이 필요한 실정이다.
본 발명의 일측면은 학습영상을 이용하여 객체별 특징을 추출하여 학습하고, 이를 기초로 입력영상에서 검출된 객체의 종류를 구분하는 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체를 제공한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 영상 학습 장치는, 인공 신경망을 학습하기 위한 학습대상 객체가 포함된 촬영영상을 수집하여, 미리 정해진 크기의 윈도우를 상기 촬영영상 내에서 이동시켜 상기 촬영영상으로부터 복수의 패치 영상을 생성하는 영상 분할부, 상기 패치 영상을 기초로 상기 촬영영상을 구성하는 픽셀들을 서로 다른 특징값을 갖는 복수의 클래스로 레이블링하는 군집화부 및 각각의 클래스가 상기 촬영영상 내에서 차지하는 영역의 비율을 입력값으로 설정하고, 각각의 클래스를 나타내는 특징값을 출력값으로 설정하여 상기 인공 신경망을 학습하는 학습부를 포함한다.
상기 군집화부는, 상기 패치 영상의 RGB 색상을 랩(Lab) 색상으로 변환하여 상기 패치 영상을 밝기축으로 표현된 제1 이미지와, 적색과 녹색의 보색축으로 표현된 제2 이미지와, 황색과 청색의 보색축으로 표현된 제3 이미지를 포함하는 랩(Lab) 이미지로 변환한 후 각각의 이미지를 구성하는 픽셀들을 복수의 클래스로 레이블링할 수 있다.
상기 학습부는, 상기 인공 신경망을 통해 추정되는 상기 입력값에 대한 결과값을 상기 출력값과 비교하여, 레이블링된 복수의 클래스 중 상기 학습대상 객체에 대한 유효특징을 나타내는 클래스를 검출할 수 있다.
상기 학습부는, 검출된 상기 유효특징을 나타내는 클래스의 특징값을 상기 인공 신경망을 통해 재구성한 재구성 데이터를 생성하고, 상기 재구성 데이터를 상기 학습대상 객체와 비교하여 상기 재구성 데이터가 상기 학습대상 객체일 확률분포를 추정하고, 상기 확률분포의 유사도에 따라 상기 학습대상 객체를 검출하기 위한 유효특징의 개수를 설정할 수 있다.
상기 학습부에 의해 검출된 적어도 하나의 유효특징을 이용하여 검출대상 촬영영상에 포함된 검출대상 객체의 종류를 구분하는 판독부를 더 포함하되, 상기 판독부는 학습대상 객체별로 설정된 유효특징의 개수에 따라 상기 검출대상 객체를 미리 학습된 상기 학습대상 객체 중 어느 하나의 객체로 판단할 수 있다.
또한, 본 발명의 일 실시예에 따른 촬영영상 분석 시스템은, 학습대상 객체가 포함된 촬영영상을 생성하는 편광 촬영장치 및 미리 정해진 크기의 윈도우를 상기 촬영영상 내에서 이동시켜 상기 촬영영상으로부터 복수의 패치 영상을 생성하는 영상 분할부와, 상기 패치 영상을 기초로 상기 촬영영상을 구성하는 픽셀들을 서로 다른 특징값을 갖는 복수의 클래스로 레이블링하는 군집화부와, 각각의 클래스가 상기 촬영영상 내에서 차지하는 영역의 비율을 입력값으로 설정하고, 각각의 클래스를 나타내는 특징값을 출력값으로 설정하여 상기 인공 신경망을 학습하는 학습부로 구성된 영상 학습 장치를 포함한다.
상기 편광 촬영장치는, 외부 광원을 차단하는 하우징, 상기 하우징 내부에 광원을 조사하는 조명 장치, 상기 하우징 내부에 위치한 상기 학습대상 객체를 촬영하는 카메라, 상기 조명 장치측에 구비되고, 제1 편광축을 갖는 제1 편광 필터 및 상기 카메라측에 구비되고, 상기 제1 편광축과 소정 각도를 이루는 제2 편광축을 갖는 제2 편광 필터를 포함할 수 있다.
상기 군집화부는 레이블링된 클래스의 개수를 나타내는 레이블링 결과정보를 생성하고, 상기 편광 촬영장치는 상기 영상 학습 장치로부터 수신되는 상기 레이블링 결과정보를 기초로 상기 제2 편광 필터를 회전각도를 설정하여, 레이블링된 클래스의 개수에 따라 상기 소정 각도를 가변시킬 수 있다.
상기 군집화부는, 상기 패치 영상의 RGB 색상을 랩(Lab) 색상으로 변환하여 상기 패치 영상을 밝기축으로 표현된 제1 이미지와, 적색과 녹색의 보색축으로 표현된 제2 이미지와, 황색과 청색의 보색축으로 표현된 제3 이미지를 포함하는 랩(Lab) 이미지로 변환한 후 각각의 이미지를 구성하는 픽셀들을 복수의 클래스로 레이블링할 수 있다.
상기 학습부는, 상기 인공 신경망을 통해 추정되는 상기 입력값에 대한 결과값을 상기 출력값과 비교하여, 레이블링된 복수의 클래스 중 상기 학습대상 객체에 대한 유효특징을 나타내는 클래스를 검출할 수 있다.
상기 학습부는, 검출된 상기 유효특징을 나타내는 클래스의 특징값을 상기 인공 신경망을 통해 재구성한 재구성 데이터를 생성하고, 상기 재구성 데이터를 상기 학습대상 객체와 비교하여 상기 재구성 데이터가 상기 학습대상 객체일 확률분포를 추정하고, 상기 확률분포의 유사도에 따라 상기 학습대상 객체를 검출하기 위한 유효특징의 개수를 설정할 수 있다.
상기 영상 학습 장치는 상기 학습부에 의해 검출된 적어도 하나의 유효특징을 이용하여 검출대상 촬영영상에 포함된 검출대상 객체의 종류를 구분하는 판독부를 더 포함하되, 상기 판독부는 학습대상 객체별로 설정된 유효특징의 개수에 따라 상기 검출대상 객체를 미리 학습된 상기 학습대상 객체 중 어느 하나의 객체로 판단할 수 있다.
또한, 본 발명의 일 실시예에 따른 촬영영상 분석 방법은, 학습대상 객체가 포함된 촬영영상을 적어도 하나 수집하는 단계, 미리 정해진 크기의 윈도우를 상기 촬영영상 내에서 이동시켜 상기 촬영영상으로부터 복수의 패치 영상을 생성하는 단계, 상기 패치 영상을 기초로 상기 촬영영상을 구성하는 픽셀들을 서로 다른 특징값을 갖는 복수의 클래스로 레이블링하는 단계 및 각각의 클래스가 상기 촬영영상 내에서 차지하는 영역의 비율을 입력값으로 설정하고, 각각의 클래스를 나타내는 특징값을 출력값으로 설정하여 상기 인공 신경망을 학습하는 단계를 포함한다.
상기 촬영영상은 편광 촬영장치에 의해 생성되고, 상기 편광 촬영장치는, 외부 광원을 차단하는 하우징, 상기 하우징 내부에 광원을 조사하는 조명 장치, 상기 하우징 내부에 위치한 상기 학습대상 객체를 촬영하는 카메라, 상기 조명 장치측에 구비되고, 제1 편광축을 갖는 제1 편광 필터 및 상기 카메라측에 구비되고, 상기 제1 편광축과 소정 각도를 이루는 제2 편광축을 갖는 제2 편광 필터를 포함할 수 있다.
상기 복수의 클래스로 레이블링하는 것은, 상기 패치 영상의 RGB 색상을 랩(Lab) 색상으로 변환하여 상기 패치 영상을 밝기축으로 표현된 제1 이미지와, 적색과 녹색의 보색축으로 표현된 제2 이미지와, 황색과 청색의 보색축으로 표현된 제3 이미지를 포함하는 랩(Lab) 이미지로 변환한 후 각각의 이미지를 구성하는 픽셀들을 복수의 클래스로 레이블링할 수 있다.
상기 인공 신경망을 학습하는 것은, 상기 인공 신경망을 통해 추정되는 상기 입력값에 대한 결과값을 상기 출력값과 비교하여, 레이블링된 복수의 클래스 중 상기 학습대상 객체에 대한 유효특징을 나타내는 클래스를 검출할 수 있다.
상기 인공 신경망을 학습하는 것은, 검출된 상기 유효특징을 나타내는 클래스의 특징값을 상기 인공 신경망을 통해 재구성한 재구성 데이터를 생성하고, 상기 재구성 데이터를 상기 학습대상 객체와 비교하여 상기 재구성 데이터가 상기 학습대상 객체일 확률분포를 추정하고, 상기 확률분포의 유사도에 따라 상기 학습대상 객체를 검출하기 위한 유효특징의 개수를 설정할 수 있다.
검출된 적어도 하나의 유효특징을 이용하여 검출대상 촬영영상에 포함된 검출대상 객체의 종류를 구분하는 단계를 더 포함하되, 상기 검출대상 객체의 종류를 구분하는 것은, 학습대상 객체별로 설정된 유효특징의 개수에 따라 상기 검출대상 객체를 미리 학습된 상기 학습대상 객체 중 어느 하나의 객체로 판단할 수 있다.
또한, 본 발명에 따른 촬영영상 분석 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체를 포함할 수 있다.
상술한 본 발명의 일측면에 따르면, 편광 촬영장치는 영상 학습 장치로부터 수신된 레이블링 결과정보에 따라 편광 필터의 회전을 자동으로 제어하여 색수차가 저감된 촬영영상을 생성할 수 있다. 또한, 영상 학습 장치는 학습된 객체의 유효특징을 이용하여 분석대상 촬영영상을 분석하여 신뢰성 있는 객체 검출 과정을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 촬영영상 분석 시스템의 개략적인 구성이 도시된 개념도이다.
도 2는 도 1의 편광 촬영 장치의 구체적인 구성이 도시된 개념도이다.
도 3은 도 2의 편광 촬영 장치의 제1 편광 필터 또는 제2 편광 필터가 회전되는 일 예가 도시된 도면이다.
도 4는 도 1의 영상 학습 장치의 구체적인 구성이 도시된 블록도이다.
도 5는 도 4의 학습부에서 인경 신경망을 학습하는 일 예가 도시된 도면이다.
도 6은 본 발명의 일 실시예에 따른 촬영영상 분석 방법의 개략적인 흐름이 도시된 순서도이다.
도 2는 도 1의 편광 촬영 장치의 구체적인 구성이 도시된 개념도이다.
도 3은 도 2의 편광 촬영 장치의 제1 편광 필터 또는 제2 편광 필터가 회전되는 일 예가 도시된 도면이다.
도 4는 도 1의 영상 학습 장치의 구체적인 구성이 도시된 블록도이다.
도 5는 도 4의 학습부에서 인경 신경망을 학습하는 일 예가 도시된 도면이다.
도 6은 본 발명의 일 실시예에 따른 촬영영상 분석 방법의 개략적인 흐름이 도시된 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 촬영영상 분석 시스템의 개략적인 구성이 도시된 블록도이다.
구체적으로, 본 발명의 일 실시예에 따른 촬영영상 분석 시스템(1)은 편광 촬영장치(100)와 영상 학습 장치(200)를 포함한다.
편광 촬영장치(100)는 특정한 객체를 촬영하여 촬영영상을 생성하는 촬영장치일 수 있다. 편광 촬영장치(100)는 외부 광원을 차단함과 동시에, 복수의 편광필터를 이용하여 촬영하고자 하는 객체의 색수차를 저감시켜 객체의 색상분포가 균일한 촬영영상을 생성할 수 있다. 편광 촬영장치(100)는 생성된 촬영영상을 영상 학습 장치(200)로 전송할 수 있다.
영상 학습 장치(200)는 편광 촬영장치(100)로부터 수신된 촬영영상을 분석하여 촬영영상에 포함된 객체를 구분할 수 있다. 구체적으로, 영상 학습 장치(200)는 미리 학습된 인공 신경망을 이용하여 촬영영상을 구성하는 픽셀들을 유사한 특징들을 갖는 픽셀끼리 그룹화하고, 그룹화된 픽셀들이 어떤 객체를 나타내는 특징인지를 분석함으로써 촬영영상으로부터 특정 객체를 구분할 수 있다.
이를 위해, 영상 학습 장치(200)는 복수 개의 학습용 촬영영상을 이용하여 인공 신경망을 학습하며, 학습 과정에서 객체별 유효특징에 대한 정보를 학습하여 저장할 수 있다.
또한, 본 발명의 일 실시예에 따른 영상 분석 시스템(1)에서, 편광 촬영장치(100)는 영상 학습 장치(200)로부터 수신되는 영상 분석 결과에 대한 정보를 이용하여 편광필터의 회전 각도를 제어하거나 조명의 광량을 자동으로 변경할 수 있다.
이상에서는 본 발명에 따른 촬영영상 분석 시스템(1)에 대하여 개략적으로 설명하였으며, 이하에서는 도 2 내지 도 5를 함께 참조하여 도 1에 도시된 각각의 구성요소에 대하여 상세히 설명하기로 한다.
도 2는 도 1의 편광 촬영장치(100)의 구체적인 구성이 도시된 개념도이다.
구체적으로, 본 발명의 일 실시예에 따른 편광 촬영장치(100)는 하우징(110), 조명 장치(120), 카메라(130), 제1 편광 필터(140), 제2 편광 필터(150), 통신 모듈(160) 및 제어부(170)를 포함할 수 있다.
하우징(110)은 편광 촬영장치(100)의 전체적인 형상을 규정하는 부재일 수 있다. 일 예로, 하우징(110)은 내부에 공간이 형성된 직육면체의 형태일 수 있으나, 하우징(110)의 크기와 형상에는 제한을 두지 않는다. 또한, 하우징(110)은 내부 공간이 밀폐되는 경우 외부 광원이 차단될 수 있도록 암막 재질로 구성되는 것이 바람직하다.
조명 장치(120)는 하우징(110) 내부에 설치되어 촬영하고자 하는 특정 객체에 광원을 제공할 수 있다. 조명 장치(120)는 LED, 백열등, 형광등 중 어느 하나일 수 있으며, 조명 장치(120)의 개수에는 제한을 두지 않는다.
카메라(130)는 하우징(110) 내부에 배치된 특정 객체를 촬영하여 촬영영상을 생성할 수 있다. 카메라(130)는 조명 장치(120)로부터 조사되어 객체에 반사된 후 입사되는 광원을 이용하여 객체가 포함된 촬영영상을 생성할 수 있다. 카메라(130)는 기 공지되거나 상용화된 카메라 장치 중 어느 하나일 수 있다.
제1 편광 필터(140)와 제2 편광 필터(150)는 기본적으로 유사한 기능을 수행하는 부재이다. 즉, 제1 편광 필터(140)와 제2 편광 필터(150)는 조명 장치(120)로부터 조사되는 각 방면으로 진동하는 광원을 어느 하나의 면만으로 진동되도록 할 수 있다. 편광 필터의 기본적인 기능은 널리 알려진 기술이므로, 구체적인 설명은 생략하기로 한다.
한편, 본 발명에 따른 편광 촬영장치(100)에서, 제1 편광 필터(140)는 조명 장치(120) 측에 배치되고, 제2 편광 필터(150)는 카메라(130) 측에 배치될 수 있다. 그리고, 제1 편광 필터(140)는 제1 편광축을 갖도록 배치되고, 제2 편광 필터(150)는 제1 편광축과 소정 각도를 이루는 제2 편광축을 갖도록 배치될 수 있다.
이때, 제1 편광 필터(140)와 제2 편광 필터(150)는 중심축을 기준으로 회전이 가능하도록 설치되어, 후술하는 제어부(170)에 의해 제1 편광 필터(140)와 제2 편광 필터(150)간의 각도가 가변될 수 있다.
통신 모듈(160)은 카메라(130)에 의해 생성된 촬영영상을 외부 장치로 전송할 수 있다. 통신 모듈(160)은 무선 통신을 수행할 수 있으며, 영상 학습 장치(200)와 네트워크를 형성할 수 있다. 이에, 통신 모듈(160)은 무선 통신을 통해 영상 학습 장치(200)로 촬영영상을 전송하거나 영상 학습 장치(200)로부터 레이블링 결과정보를 수신할 수 있다. 레이블링 결과정보에 대한 구체적인 설명은 도 4를 참조하여 후술하기로 한다.
제어부(170)는 편광 촬영장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(170)는 사용자의 조작에 따라 조명 장치(120)의 온/오프 동작을 제어할 수 있다. 또한, 제어부(170)는 카메라(130)에 의해 생성된 촬영영상을 통신 모듈(160)을 통해 영상 학습 장치(200)로 전송되도록 제어할 수 있다.
특히, 제어부(170)는 통신 모듈(160)을 통해 영상 학습 장치(200)로부터 수신된 레이블링 결과정보를 기초로 제1 편광 필터(140) 또는 제2 편광 필터(150)를 소정 각도만큼 회전시킬 수 있다. 이와 관련하여, 도 3을 함께 참조하여 설명하기로 한다.
도 3은 제어부(170)가 레이블링 결과정보를 기초로 제1 편광 필터(140) 또는 제2 편광 필터(150)를 회전시키는 일 예가 도시된 도면이다.
후술하겠지만, 레이블링 결과정보는 영상 학습 장치(200)로 전송된 촬영영상의 품질이 적절한지 여부를 판단하기 위한 지표정보로 정의될 수 있다. 예를 들어, 도 3의 (a)에 도시된 바와 같이 제1 편광 필터(140)의 제1 편광축과 제2 편광 필터가(150)의 제2 편광축이 최초에는 90°각도로 설정된 상태로 촬영영상을 생성하였을 때, 광원이 지나치게 차단되어 촬영영상으로부터 객체를 정확하게 검출하지 못하는 경우, 영상 학습 장치(200)는 이에 대한 레이블링 결과정보를 생성하여 편광 촬영장치(100)로 전송할 수 있다. 편광 촬영장치(100)의 제어부(170)는 수신된 레이블링 결과정보를 분석하여 촬영영상이 적절하게 촬영되지 않은 것으로 판단되면 도 3의 (b)에 도시된 바와 같이 제2 편광 필터(150)를 제1 방향(예컨대 반시계 방향)으로 회전시켜 제1 편광축과 제2 편광축이 이루는 각도를 변경시킬 수 있다. 다른 예로, 도 3의 (c)에 도시된 바와 같이 제어부(170)는 제2 편광 필터(150)가 아닌 제1 편광 필터(140)를 제2 방향(예컨대 시계 방향)으로 회전시킴으로써 각도를 가변시킬 수 있다. 이에 대한 보다 구체적인 내용은 도 4를 참조하여 설명하기로 한다.
이와 같은 본 발명의 편광 촬영장치(100)를 이용하는 경우 영상 학습 장치(200)가 촬영영상을 분석할 때 영상분석을 방해하는 빛 노출과다를 억제할 수 있으며, 이에 따라 객체의 색상분포가 균일한 촬영영상을 생성할 수 있다.
도 4는 도 1의 영상 학습 장치(200)의 구체적인 구성이 도시된 블록도이다.
영상 학습 장치(200)는 데이터를 송수신하고, 수신된 데이터를 처리하거나 연산하여 결과 데이터를 출력할 수 있는 스마트폰, PC 등과 같은 컴퓨터 장치일 수 있다. 이러한 영상 학습 장치(200)는 편광 촬영장치(100)와 무선 통신을 수행하는 통신 모듈(210), 사용자로부터 입력되는 입력신호를 감지하는 키보드, 마우스 등과 같은 입력 모듈(220), 영상 학습 장치(200)에 의해 처리된 결과를 화상정보 또는 음성정보로 출력하는 출력 모듈(230) 및 영상 학습 장치(200)의 전반적인 동작을 제어하는 제어 모듈(240)을 포함할 수 있다.
또한, 영상 학습 장치(200)는 본 발명에 따른 촬영영상 분석 방법이 구현된 소프트웨어(애플리케이션)이 미리 설치될 수 있으며, 설치된 소프트웨어(애플리케이션)이 실행되는 경우 본 발명에 따른 촬영영상 분석 방법에 따른 UI/UX를 제공할 수 있다.
특히, 본 발명에 따른 영상 학습 장치(200)의 제어 모듈(240)은 편광 촬영장치(100)로부터 수집된 촬영영상에 대하여 공통된 특징들을 추출하고, 레이블링된 특징들을 학습하여 학습된 특징에 기반하여 촬영영상의 특정 객체를 검출할 수 있다. 이를 위해, 영상 학습 장치(200)의 제어 모듈(240)은 영상 분할부(241), 군집화부(242), 학습부(243) 및 판독부(244)를 포함한다.
이때, 본 발명에 따른 영상 학습 장치(200)는 영상 분할부(241), 군집화부(242), 학습부(243)에 의해 수행되는 영상 학습 모드와, 영상 분할부(241), 군집화부(242), 판독부(244)에 의해 수행되는 영상 분석 모드로 구분될 수 있다. 이하에서는 영상 학습 모드에 대하여 먼저 설명한 후 영상 분석 모드의 구체적인 동작 과정을 설명하기로 한다.
영상 학습 모드에서, 영상 학습 장치(200)는 학습하고자 할 객체에 대한 유효특징을 검출하여 학습하는 과정을 수행할 수 있다. 이하에서는, 영상 분석 모드와의 구분을 위해 영상 학습 모드에서 영상 학습 장치(200)로 수집되는 촬영영상을 학습용 촬영영상으로 정의하고, 학습용 촬영영상에 포함된 객체를 학습대상 객체로 정의하여 설명하기로 한다.
영상 분할부(241)는 학습용 촬영영상으로부터 패치 영상을 생성할 수 있다. 구체적으로, 영상 분할부(241)는 미리 정해진 크기의 윈도우를 학습용 촬영영상 내에서 일정한 간격만큼 이동시켜 윈도우의 위치에 대한 패치영상을 생성할 수 있다. 예를 들어, 윈도우가 5ⅹ5픽셀의 크기로 설정되는 경우, 각각의 패치 영상 또한 5ⅹ5픽셀 크기로 생성되며, 따라서 각각의 패치 영상은 25개의 촬영영상 픽셀이 포함될 수 있다. 이때, 학습용 촬영영상의 전체 크기가 100ⅹ100픽셀이고, 윈도우를 촬영영상의 좌측 최상단 픽셀에서부터 우측으로 1픽셀씩 이동시키는 경우 총 10,000개의 패치 영상이 생성될 수 있다.
군집화부(242)는 생성된 복수의 패치 영상을 기초로 학습용 촬영영상의 픽셀들을 군집화(그룹화)할 수 있다. 이를 위해, 군집화부(242)는 각각의 패치 영상의 특징값을 산출할 수 있다. 패치 영상을 구성하는 각각의 픽셀값은 색상 값이 수치적으로 표현된 데이터이고, 윈도우 또한 영상의 특징을 검출하기 위한 필터값이 픽셀별로 설정될 수 있다.
따라서, 군집화부(242)는 윈도우의 필터값과 패치 영상에 포함된 학습용 촬영영상의 픽셀값을 컨벌루션 연산하여 패치 영상을 구성하는 픽셀값들을 대표하는 특징값을 추출할 수 있다. 컨벌루션 연산의 구체적인 과정은 영상처리 분야에서 사용되는 일반적인 기술이므로 구체적인 연산과정은 생략하기로 한다. 이와 같은 방법으로, 군집화부(242)는 각각의 패치 영상에 대한 특징값을 추출할 수 있다.
이 과정에서, 군집화부(242)는 하나의 패치 영상에 대하여 3개의 특징값을 추출할 수 있다. 구체적으로, 군집화부(242)는 RGB 색상으로 구성된 패치 영상을 랩(Lab) 색상으로 변환하고, 랩(Lab) 색상을 표현하는 채널별 이미지를 생성한 후, 각각의 이미지에 대한 특징값을 추출할 수 있다.
랩(Lab) 색상은 색상모드의 호환성을 높이기 위해 CIE에서 제정한 표준으로, L채널, a채널 및 b채널로 구성된다. L채널은 영상의 밝기 정도를 표현하고, a채널은 녹색과 적색의 색상단계에 대한 정보를 표현하고, b채널은 청색과 황색의 색상단계에 대한 정보를 표현한다.
즉, 군집화부(242)는 RGB 채널로 수집된 어느 하나의 패치 영상을 밝기 축으로 표현된 제1 이미지와, 적색과 녹색의 보색축으로 표현된 제2 이미지와, 황색과 청색의 보색축으로 표현된 제3 이미지로 분할하고, 각각의 채널에 대한 특징값을 추출할 수 있다. 상술한 예시를 다시 참조하면, 군집화부(242)는 100ⅹ100픽셀로 구성된 학습용 촬영영상으로부터 10,000개의 패치 영상을 생성하고, 각각의 패치 영상에서 3개의 특징값을 추출하므로, 결과적으로 30,000개의 특징값을 추출할 수 있다. 다른 예로, 군집화부(220)는 학습용 촬영영상을 랩(Lab) 색상으로 변환하고, 각각의 랩(Lab) 채널에 대한 패치 영상을 생성할 수도 있다.
이후, 군집화부(242)는 각각의 이미지(제1 이미지, 제2 이미지 및 제3 이미지)별 특징값을 기초로 학습용 촬영영상을 서로 다른 특징값 구간을 갖는 복수의 클래스로 레이블링(labeling)할 수 있다. 예를 들어, 특징값들이 1 내지 100 사이의 어느 값을 가진다고 가정하면, 군집화부(242)는 1 내지 20의 특징값을 갖는 패치 영상들을 제1 클래스로 레이블링하고, 21 내지 40 사이의 특징값을 갖는 패치 영상들을 제2 클래스로 레이블링 할 수 있다. 이와 같은 방법으로, 군집화부(242)는 패치 영상의 특징값이 미리 설정된 구간 중 어느 구간에 포함되는지를 확인하여 패치 영상을 어느 하나의 클래스로 분류할 수 있다.
이때, 군집화부(242)는 패치 영상의 모든 픽셀이 아닌 중심 픽셀을 어느 하나의 클래스로 분류할 수 있다. 상술한 바와 같이 윈도우는 픽셀 단위로 이동하기 때문에 학습용 촬영영상을 구성하는 모든 픽셀들은 윈도우가 이동하는 과정에서 모두 한 번의 중심 픽셀로 설정될 수 있다. 따라서, 군집화부(220)는 학습용 촬영영상을 구성하는 모든 픽셀들을 어느 하나의 클래스로 레이블링할 수 있다.
학습부(243)는 군집화부(242)에 의해 레이블링된 각각의 클래스를 기초로 영상 학습 장치(200)의 인공 신경망의 학습 과정을 제어할 수 있다. 이와 관련하여, 도 5를 함께 참조하여 설명하기로 한다.
도 5는 학습부(243)에 의해 인공 신경망의 학습이 수행되는 일 예가 도시된 개념도이다.
먼저, 학습부(243)는 인공 신경망의 입력값을 설정할 수 있다. 구체적으로, 학습부(243)는 어느 하나의 클래스로 레이블링된 픽셀들이 촬영영상 내에서 차지하는 영역의 비율을 입력값을 설정할 수 있다. 여기서, 학습부(243)는 랩(Lab) 색상을 구성하는 각각의 채널에서 어느 하나의 클래스로 레이블링된 픽셀들이 옷수 문턱값(otsu threshold) 방법으로 분리되었을 때 촬영영상 내에서 차지하는 비율을 산출하여 이를 입력값으로 설정할 수 있다.
옷수 문턱값은 임의의 임계값보다 어두운 제1 그룹의 히스토그램 비율 및 평균값, 임계값보다 밝은 제2 그룹의 히스토그램 비율 및 평균값을 이용하여, 급간분산(between class variance)를 최대화하는 임계값을 추정하는 알고리즘이다. 즉, 두 그룹 사이의 분산이 최대가 되는 그레이스케일값을 임계값을 설정하는 알고리즘으로, 이는 공지된 기술이므로 구체적인 연산 과정은 생략하기로 한다.
또한, 학습부(243)는 각각의 클래스를 대표하는 특징값을 출력값으로 설정할 수 있다. 일 예로, 학습부(243)는 41 내지 60 사이의 구간으로 레이블링된 특징값들의 평균값을 각각의 클래스를 대표하는 특징으로 산출하고, 이를 출력값으로 설정할 수 있다.
이후, 학습부(243)는 도시된 바와 같이 인공 신경망의 입력 노드에 입력값을 입력하여 이에 대한 결과값을 출력값과 비교하여, 레이블링된 복수의 클래스 중 학습대상 객체에 대한 유효특징을 나타내는 클래스를 검출할 수 있다. 상술한 결과값은 인공 신경망을 통해 추정되는 일종의 추정된 값이고, 상술한 출력값은 촬영영상으로부터 획득된 실질적인 값이므로, 두 값을 비교함으로써 어떠한 클래스가 학습대상 객체의 특징을 나타내는 클래스인지를 구분할 수 있다. 학습부(243)는 이와 같은 방법으로 어느 하나의 학습대상 객체에 대한 유효특징을 나타내는 클래스를 적어도 하나 검출할 수 있다.
여기서, 영상 학습 장치(200)에 구비된 인공 신경망 알고리즘은 제한된 볼츠만 머신(Restricted Boltzmann Machine, RBM) 기반의 신경망일 수 있으나, 이에 한정되는 것은 아니다.
이러한 방법으로, 영상 학습 장치(200)는 학습하고자 하는 학습대상 객체에 대한 서로 다른 학습용 촬영영상들을 이용하여 학습대상 객체를 특징짓는 유효특징 클래스를 검출할 수 있다. 예를 들어, 영상 학습 장치(100)가 머그컵에 대한 객체를 학습하고자 하는 경우, 서로 다른 머그컵에 대한 100개의 학습용 촬영영상을 수집하여 상술한 영상 학습 과정을 수행하여 머그컵에 대한 유효특징(손잡이, 원통형 등)을 나타내는 클래스를 검출할 수 있다.
이상으로, 본 발명에 따른 영상 학습 장치(200)의 영상 학습 모드에 대하여 설명하였으며, 이하에서는 영상 학습 장치(200)의 영상 분석 모드에 대하여 설명하기로 한다.
영상 분석 모드에서, 영상 학습 장치(200)는 학습되지 않은 촬영영상에 포함된 객체가 미리 학습된 학습대상 객체들 중 어느 객체인지를 판단하는 과정을 수행할 수 있다. 이하에서는, 영상 학습 모드와의 구분을 위해 영상 분석 모드에서 영상 학습 장치(200)로 수집되는 촬영영상을 분석대상 촬영영상으로 정의하고, 분석대상 촬영영상에 포함된 객체를 목표 객체로 정의하여 설명하기로 한다.
상술한 바와 같이, 영상 학습 장치(200)는 영상 분할부(241), 군집화부(242) 및 판독부(244)를 통해 촬영영상으로부터 목표 객체를 검출할 수 있다.
영상 분석 모드에서, 영상 분할부(241) 및 군집화부(242)는 영상 학습 모드에서 수행하는 기능을 동일하게 수행할 수 있다. 즉, 영상 분할부(241)는 분석하고자 하는 분석대상 촬영영상 내에서 미리 정해진 크기의 윈도우를 이동시키면서 패치 영상을 생성할 수 있다. 그리고, 군집화부(242)는 패치 영상의 특징값을 추출하여 분석대상 촬영영상의 픽셀들을 서로 다른 클래스로 레이블링 할 수 있다.
판독부(244)는 학습대상 객체별로 검출된 유효특징들에 대한 클래스를 이용하여 목표 객체가 학습대상 객체 중 어느 객체에 해당되는지를 판단하여 목표 객체의 종류를 구분할 수 있다.
이때, 학습부(243)는 판독부(244)가 몇 개의 유효특징을 이용하여 학습대상 객체인지를 판단할지 여부를 영상 학습 모드에서 결정할 수 있다.
구체적으로, 학습부(243)는 검출된 유효특징을 나타내는 클래스의 특징값을 인공 신경망을 통해 재구성한 재구성 데이터를 생성할 수 있다. 재구성 데이터는 특징값을 인공 신경망의 출력노드를 통해 입력 노드로 출력함으로써, 수치적으로 변환된 특징값을 이용하여 영상을 재구성한 것을 의미한다. 학습부(243)는 재구성 데이터를 학습대상 객체와 비교하여 재구성 데이터가 학습대상 객체일 확률분포를 추정할 수 있다. 학습부(243)는 확률분포의 유사도에 따라 학습대상 객체를 검출하기 위한 유효특징(클래스)의 개수를 설정할 수 있다.
예를 들면, 학습부(243)는 판독부(244)가 목표 객체가 머그컵인지 여부를 판단할 때 사용되는 유효특징(손잡이, 원통)의 개수를 미리 설정할 수 있다. 학습부(243)가 유효특징을 한 개로 설정하면, 판독부(244)는 분석대상 촬영영상의 클래스가 손잡이에 대한 유효특징과 일치하는지를 판단하여 목표 객체가 머그컵인지 여부를 판단한다. 반면, 학습부(243)는 유효특징을 두 개로 설정하면, 판독부(244)는 분석대상 촬영영상의 클래스들이 손잡이와 원통을 나타내는 특징값과 일치하는지를 종합적으로 고려하여 목표 객체가 머그컵인지 여부를 판단할 수 있다. 또한, 학습부(243)는 확률분포의 유사도를 비교하여 검출된 유효특징들 중 어떠한 특징이 머그컵의 특징을 가장 잘 나타내는 특징인지를 결정할 수 있다.
한편, 군집화부(242)는 군집화 과정에서 레이블링된 클래스의 개수에 대한 정보인 레이블링 결과정보를 생성하고, 제어 모듈(240)는 생성된 레이블링 결과정보를 통신 모듈(210)을 통해 편광 촬영장치(100)로 전송되도록 제어할 수 있다. 편광 촬영장치(100)는 수신된 레이블링 결과정보에 포함된 클래스의 개수가 미리 설정된 임계값보다 작은 것으로 확인되면, 제2 편광 필터(150)를 미리 정해진 방향으로 회전시킨 후 촬영영상을 생성할 수 있다. 편광 촬영장치(100)는 재생성된 촬영영상에 대한 레이블링 결과정보를 다시 수신하되, 이전 주기보다 클래스의 개수가 더욱 작은 것으로 확인되면 제2 편광 필터(150)를 이전 주기의 회전 방향과 반대 방향으로 회전되도록 제어할 수 있다. 반면, 편광 촬영장치(100)는 이전 주기보다 클래스의 개수가 증가하였으나, 여전히 임계값에 도달하지 못한 것으로 확인되면, 제2 편광 필터(150)를 이전 주기의 회전 방향과 동일한 방향으로 더 회전되도록 제어할 수 있다. 이와 같이, 편광 촬영장치(100)가 제2 편광 필터(150)와 제1 편광 필터(140)의 각도를 가변시킴으로써, 색수차가 저감된 촬영영상을 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 촬영영상 분석 방법의 개략적인 흐름이 도시된 순서도이다.
영상 학습 장치(200)는 학습대상 객체가 포함된 학습용 촬영영상으로부터 복수의 패치 영상을 생성할 수 있다(610). 영상 학습 장치(200)는 편광 촬영장치(100)로부터 촬영영상을 수집할 수 있다. 영상 학습 장치(200)는 촬영영상 내에서 미리 정해진 크기의 윈도우를 이동시켜 픽셀별 패치 영상을 생성할 수 있다.
영상 학습 장치(200)는 패치 영상을 이용하여 학습용 촬영영상을 구성하는 픽셀들을 유사한 특징값을 갖는 픽셀끼리 레이블링할 수 있다(620). 영상 학습 장치(200)는 패치 영상을 랩(Lab) 색상으로 변환하여 랩 채널별 이미지를 생성하고, 이에 대한 특징값들을 산출할 수 있다. 이 과정에서, 영상 학습 장치(200)는 레이블링된 클래스의 개수를 나타내는 레이블링 결과정보를 편광 촬영장치(100)로 전송하고, 편광 촬영장치(100)는 이를 기초로 편광 필터의 회전여부 및 회전방향을 설정할 수 있다.
영상 학습 장치(200)는 레이블링된 클래스를 기초로 인공 신경망을 학습할 수 있다(630). 구체적으로, 영상 학습 장치(200)는 각각의 클래스가 촬영영상에서 차지하는 비율을 입력값으로, 각각의 클래스를 나타내는 특징값을 출력값을 설정하여 인공 신경망의 입력 노드와 출력 노드를 연결하는 가중치를 학습할 수 있다. 이때, 영상 학습 장치(200)는 입력값에 대한 결과값을 출력값과 비교하여 학습대상 객체에 대한 유효특징을 나타내는 클래스를 적어도 하나 검출하고, 이를 기초로 재구성 데이터를 생성하며, 재구성 데이터가 학습대상 객체일 확률을 추정하여 추후 영상 분석 모드에서 학습 객체별 유효특징의 개수를 설정할 수 있다.
이와 같은, 촬영영상 분석 방법을 제공하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 편광 촬영장치
110: 하우징
120: 조명 장치
130: 카메라
140: 제1 편광 필터
150: 제2 편광 필터
160: 통신부
170: 제어부
200: 영상 학습 장치
210: 통신 모듈
220: 입력 모듈
230: 출력 모듈
240: 제어 모듈
241: 영상 분할부
242: 군집화부
243: 학습부
244: 판독부
110: 하우징
120: 조명 장치
130: 카메라
140: 제1 편광 필터
150: 제2 편광 필터
160: 통신부
170: 제어부
200: 영상 학습 장치
210: 통신 모듈
220: 입력 모듈
230: 출력 모듈
240: 제어 모듈
241: 영상 분할부
242: 군집화부
243: 학습부
244: 판독부
Claims (19)
- 인공 신경망을 학습하기 위한 학습대상 객체가 포함된 촬영영상을 수집하여, 미리 정해진 크기의 윈도우를 상기 촬영영상 내에서 이동시켜 상기 촬영영상으로부터 복수의 패치 영상을 생성하는 영상 분할부;
상기 패치 영상을 기초로 상기 촬영영상을 구성하는 픽셀들을 서로 다른 특징값을 갖는 복수의 클래스로 레이블링하는 군집화부; 및
각각의 클래스가 상기 촬영영상 내에서 차지하는 영역의 비율을 입력값으로 설정하고, 각각의 클래스를 나타내는 특징값을 출력값으로 설정하여 상기 인공 신경망을 학습하는 학습부를 포함하는, 영상 학습 장치.
- 제1항에 있어서,
상기 군집화부는,
상기 패치 영상의 RGB 색상을 랩(Lab) 색상으로 변환하고, 랩(Lab) 색상으로 변환된 상기 패치 영상을 밝기축으로 표현된 제1 이미지와, 적색과 녹색의 보색축으로 표현된 제2 이미지와, 황색과 청색의 보색축으로 표현된 제3 이미지를 포함하는 채널별 이미지로 분할한 후 각각의 채널별 이미지를 구성하는 픽셀들을 복수의 클래스로 레이블링하는, 영상 학습 장치.
- 제2항에 있어서,
상기 학습부는,
상기 인공 신경망을 통해 추정되는 상기 입력값에 대한 결과값을 상기 출력값과 비교하여, 레이블링된 복수의 클래스 중 상기 학습대상 객체에 대한 유효특징을 나타내는 클래스를 검출하는, 영상 학습 장치.
- 제3항에 있어서,
상기 학습부는,
검출된 상기 유효특징을 나타내는 클래스의 특징값을 상기 인공 신경망을 통해 재구성한 재구성 데이터를 생성하고, 상기 재구성 데이터를 상기 학습대상 객체와 비교하여 상기 재구성 데이터가 상기 학습대상 객체일 확률분포를 추정하고, 상기 확률분포의 유사도에 따라 상기 학습대상 객체를 검출하기 위한 유효특징의 개수를 설정하는, 영상 학습 장치.
- 제4항에 있어서,
상기 학습부에 의해 검출된 적어도 하나의 유효특징을 이용하여 검출대상 촬영영상에 포함된 검출대상 객체의 종류를 구분하는 판독부를 더 포함하되,
상기 판독부는 학습대상 객체별로 설정된 유효특징의 개수에 따라 상기 검출대상 객체를 미리 학습된 상기 학습대상 객체 중 어느 하나의 객체로 판단하는, 영상 학습 장치.
- 학습대상 객체가 포함된 촬영영상을 생성하는 편광 촬영장치; 및
미리 정해진 크기의 윈도우를 상기 촬영영상 내에서 이동시켜 상기 촬영영상으로부터 복수의 패치 영상을 생성하는 영상 분할부와, 상기 패치 영상을 기초로 상기 촬영영상을 구성하는 픽셀들을 서로 다른 특징값을 갖는 복수의 클래스로 레이블링하는 군집화부와, 각각의 클래스가 상기 촬영영상 내에서 차지하는 영역의 비율을 입력값으로 설정하고, 각각의 클래스를 나타내는 특징값을 출력값으로 설정하여 인공 신경망을 학습하는 학습부로 구성된 영상 학습 장치를 포함하는, 촬영영상 분석 시스템.
- 제6항에 있어서,
상기 편광 촬영장치는,
외부 광원을 차단하는 하우징;
상기 하우징 내부에 광원을 조사하는 조명 장치;
상기 하우징 내부에 위치한 상기 학습대상 객체를 촬영하는 카메라;
상기 조명 장치측에 구비되고, 제1 편광축을 갖는 제1 편광 필터; 및
상기 카메라측에 구비되고, 상기 제1 편광축과 소정 각도를 이루는 제2 편광축을 갖는 제2 편광 필터를 포함하는, 촬영영상 분석 시스템.
- 제7항에 있어서,
상기 군집화부는 레이블링된 클래스의 개수를 나타내는 레이블링 결과정보를 생성하고,
상기 편광 촬영장치는 상기 영상 학습 장치로부터 수신되는 상기 레이블링 결과정보를 기초로 상기 제2 편광 필터를 회전각도를 설정하여, 레이블링된 클래스의 개수에 따라 상기 소정 각도를 가변시키는, 촬영영상 분석 시스템.
- 제6항에 있어서,
상기 군집화부는,
상기 패치 영상의 RGB 색상을 랩(Lab) 색상으로 변환하고, 랩(Lab) 색상으로 변환된 상기 패치 영상을 밝기축으로 표현된 제1 이미지와, 적색과 녹색의 보색축으로 표현된 제2 이미지와, 황색과 청색의 보색축으로 표현된 제3 이미지를 포함하는 채널별 이미지로 분할한 후 각각의 채널별 이미지를 구성하는 픽셀들을 복수의 클래스로 레이블링하는, 촬영영상 분석 시스템.
- 제9항에 있어서,
상기 학습부는,
상기 인공 신경망을 통해 추정되는 상기 입력값에 대한 결과값을 상기 출력값과 비교하여, 레이블링된 복수의 클래스 중 상기 학습대상 객체에 대한 유효특징을 나타내는 클래스를 검출하는, 촬영영상 분석 시스템.
- 제10항에 있어서,
상기 학습부는,
검출된 상기 유효특징을 나타내는 클래스의 특징값을 상기 인공 신경망을 통해 재구성한 재구성 데이터를 생성하고, 상기 재구성 데이터를 상기 학습대상 객체와 비교하여 상기 재구성 데이터가 상기 학습대상 객체일 확률분포를 추정하고, 상기 확률분포의 유사도에 따라 상기 학습대상 객체를 검출하기 위한 유효특징의 개수를 설정하는, 촬영영상 분석 시스템.
- 제11항에 있어서,
상기 영상 학습 장치는 상기 학습부에 의해 검출된 적어도 하나의 유효특징을 이용하여 검출대상 촬영영상에 포함된 검출대상 객체의 종류를 구분하는 판독부를 더 포함하되,
상기 판독부는 학습대상 객체별로 설정된 유효특징의 개수에 따라 상기 검출대상 객체를 미리 학습된 상기 학습대상 객체 중 어느 하나의 객체로 판단하는, 촬영영상 분석 시스템.
- 학습대상 객체가 포함된 촬영영상을 적어도 하나 수집하는 단계;
미리 정해진 크기의 윈도우를 상기 촬영영상 내에서 이동시켜 상기 촬영영상으로부터 복수의 패치 영상을 생성하는 단계;
상기 패치 영상을 기초로 상기 촬영영상을 구성하는 픽셀들을 서로 다른 특징값을 갖는 복수의 클래스로 레이블링하는 단계; 및
각각의 클래스가 상기 촬영영상 내에서 차지하는 영역의 비율을 입력값으로 설정하고, 각각의 클래스를 나타내는 특징값을 출력값으로 설정하여 인공 신경망을 학습하는 단계를 포함하는, 촬영영상 분석 방법.
- 제13항에 있어서,
상기 촬영영상은 편광 촬영장치에 의해 생성되고,
상기 편광 촬영장치는,
외부 광원을 차단하는 하우징;
상기 하우징 내부에 광원을 조사하는 조명 장치;
상기 하우징 내부에 위치한 상기 학습대상 객체를 촬영하는 카메라;
상기 조명 장치측에 구비되고, 제1 편광축을 갖는 제1 편광 필터; 및
상기 카메라측에 구비되고, 상기 제1 편광축과 소정 각도를 이루는 제2 편광축을 갖는 제2 편광 필터를 포함하는, 촬영영상 분석 방법.
- 제13항에 있어서,
상기 복수의 클래스로 레이블링하는 것은,
상기 패치 영상의 RGB 색상을 랩(Lab) 색상으로 변환하고, 랩(Lab) 색상으로 변환된 상기 패치 영상을 밝기축으로 표현된 제1 이미지와, 적색과 녹색의 보색축으로 표현된 제2 이미지와, 황색과 청색의 보색축으로 표현된 제3 이미지를 포함하는 채널별 이미지로 분할한 후 각각의 채널별 이미지를 구성하는 픽셀들을 복수의 클래스로 레이블링하는 것인, 촬영영상 분석 방법.
- 제13항에 있어서,
상기 인공 신경망을 학습하는 것은,
상기 인공 신경망을 통해 추정되는 상기 입력값에 대한 결과값을 상기 출력값과 비교하여, 레이블링된 복수의 클래스 중 상기 학습대상 객체에 대한 유효특징을 나타내는 클래스를 검출하는 것을 특징으로 하는, 촬영영상 분석 방법.
- 제16항에 있어서,
상기 인공 신경망을 학습하는 것은,
검출된 상기 유효특징을 나타내는 클래스의 특징값을 상기 인공 신경망을 통해 재구성한 재구성 데이터를 생성하고, 상기 재구성 데이터를 상기 학습대상 객체와 비교하여 상기 재구성 데이터가 상기 학습대상 객체일 확률분포를 추정하고, 상기 확률분포의 유사도에 따라 상기 학습대상 객체를 검출하기 위한 유효특징의 개수를 설정하는 것을 특징으로 하는, 촬영영상 분석 방법.
- 제17항에 있어서,
검출된 적어도 하나의 유효특징을 이용하여 검출대상 촬영영상에 포함된 검출대상 객체의 종류를 구분하는 단계를 더 포함하되,
상기 검출대상 객체의 종류를 구분하는 것은,
학습대상 객체별로 설정된 유효특징의 개수에 따라 상기 검출대상 객체를 미리 학습된 상기 학습대상 객체 중 어느 하나의 객체로 판단하는 것인, 촬영영상 분석 방법.
- 제13항 내지 제18항 중 어느 하나의 항에 따른 촬영영상 분석 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180027033A KR101891631B1 (ko) | 2018-03-07 | 2018-03-07 | 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180027033A KR101891631B1 (ko) | 2018-03-07 | 2018-03-07 | 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101891631B1 true KR101891631B1 (ko) | 2018-08-27 |
Family
ID=63455060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180027033A KR101891631B1 (ko) | 2018-03-07 | 2018-03-07 | 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101891631B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200038775A (ko) * | 2018-10-04 | 2020-04-14 | 라온피플 주식회사 | 다 채널 이미지를 이용한 인공신경망 학습 방법 및 장치 |
| WO2020080626A1 (ko) * | 2018-10-16 | 2020-04-23 | 고려대학교 산학협력단 | 동물 종 식별 방법 및 장치 |
| CN112304952A (zh) * | 2019-07-23 | 2021-02-02 | 纬创资通股份有限公司 | 影像辨识装置、影像辨识方法及其计算机程序产品 |
| JPWO2020105679A1 (ja) * | 2018-11-21 | 2021-10-07 | ソニーグループ株式会社 | ワーク判別システム、ワーク判別装置及びワーク判別方法 |
| CN116223817A (zh) * | 2023-05-04 | 2023-06-06 | 北京科卫临床诊断试剂有限公司 | 基于神经网络的肝脏型脂肪酸结合蛋白测量系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101064946B1 (ko) | 2009-08-19 | 2011-09-15 | 한국전자통신연구원 | 다중 영상 분석 기반의 객체추출 장치 및 그 방법 |
| JP2015180864A (ja) * | 2014-03-04 | 2015-10-15 | パナソニックＩｐマネジメント株式会社 | 偏光画像処理装置 |
| KR101657495B1 (ko) | 2015-09-04 | 2016-09-30 | (주)한국플랫폼서비스기술 | 딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법 |
| KR20170034226A (ko) * | 2015-09-18 | 2017-03-28 | 삼성전자주식회사 | 객체 인식 장치 및 방법, 객체 인식 모델 학습 장치 및 방법 |
| KR20170070715A (ko) * | 2015-12-14 | 2017-06-22 | 삼성전자주식회사 | 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치 |
| JP2018029280A (ja) * | 2016-08-18 | 2018-02-22 | ソニー株式会社 | 撮像装置と撮像方法 |
-
2018
- 2018-03-07 KR KR1020180027033A patent/KR101891631B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101064946B1 (ko) | 2009-08-19 | 2011-09-15 | 한국전자통신연구원 | 다중 영상 분석 기반의 객체추출 장치 및 그 방법 |
| JP2015180864A (ja) * | 2014-03-04 | 2015-10-15 | パナソニックＩｐマネジメント株式会社 | 偏光画像処理装置 |
| KR101657495B1 (ko) | 2015-09-04 | 2016-09-30 | (주)한국플랫폼서비스기술 | 딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법 |
| KR20170034226A (ko) * | 2015-09-18 | 2017-03-28 | 삼성전자주식회사 | 객체 인식 장치 및 방법, 객체 인식 모델 학습 장치 및 방법 |
| KR20170070715A (ko) * | 2015-12-14 | 2017-06-22 | 삼성전자주식회사 | 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치 |
| JP2018029280A (ja) * | 2016-08-18 | 2018-02-22 | ソニー株式会社 | 撮像装置と撮像方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200038775A (ko) * | 2018-10-04 | 2020-04-14 | 라온피플 주식회사 | 다 채널 이미지를 이용한 인공신경망 학습 방법 및 장치 |
| KR102273334B1 (ko) | 2018-10-04 | 2021-07-06 | 라온피플 주식회사 | 다 채널 이미지를 이용한 인공신경망 학습 방법 및 장치 |
| WO2020080626A1 (ko) * | 2018-10-16 | 2020-04-23 | 고려대학교 산학협력단 | 동물 종 식별 방법 및 장치 |
| US11830272B2 (en) | 2018-10-16 | 2023-11-28 | Korea University Research And Business Foundation | Method and apparatus for identifying animal species |
| JPWO2020105679A1 (ja) * | 2018-11-21 | 2021-10-07 | ソニーグループ株式会社 | ワーク判別システム、ワーク判別装置及びワーク判別方法 |
| JP7435464B2 (ja) | 2018-11-21 | 2024-02-21 | ソニーグループ株式会社 | ワーク判別システム、ワーク判別装置及びワーク判別方法 |
| CN112304952A (zh) * | 2019-07-23 | 2021-02-02 | 纬创资通股份有限公司 | 影像辨识装置、影像辨识方法及其计算机程序产品 |
| CN112304952B (zh) * | 2019-07-23 | 2024-04-02 | 纬创资通股份有限公司 | 影像辨识装置、影像辨识方法及其计算机程序产品 |
| CN116223817A (zh) * | 2023-05-04 | 2023-06-06 | 北京科卫临床诊断试剂有限公司 | 基于神经网络的肝脏型脂肪酸结合蛋白测量系统及方法 |
| CN116223817B (zh) * | 2023-05-04 | 2023-07-14 | 北京科卫临床诊断试剂有限公司 | 基于神经网络的肝脏型脂肪酸结合蛋白测量系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101891631B1 (ko) | 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체 | |
| CN108038456B (zh) | 一种人脸识别系统中的防欺骗方法 | |
| US7715596B2 (en) | Method for controlling photographs of people | |
| US7218759B1 (en) | Face detection in digital images | |
| CN102314600B (zh) | 用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影 | |
| JP4997252B2 (ja) | 画像内の照明域を識別する方法 | |
| JP4505362B2 (ja) | 赤目検出装置および方法並びにプログラム | |
| CN105404884B (zh) | 图像分析方法 | |
| CN103310187B (zh) | 基于面部质量分析的面部图像优先化 | |
| Qu et al. | Detect digital image splicing with visual cues | |
| JP2008165792A (ja) | 画像処理方法及び装置 | |
| CN112052831A (zh) | 人脸检测的方法、装置和计算机存储介质 | |
| CN113111806B (zh) | 用于目标识别的方法和系统 | |
| CN110298297A (zh) | 火焰识别方法和装置 | |
| WO2018039667A1 (en) | Process to isolate object of interest in image | |
| WO2022222569A1 (zh) | 一种目标判别方法和系统 | |
| CN106503638A (zh) | 用于颜色识别的图像处理、车辆颜色识别方法和系统 | |
| JP3962517B2 (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 | |
| KR20220118339A (ko) | 치아색 결정 방법 | |
| Hadwiger et al. | Towards learned color representations for image splicing detection | |
| JPH10222678A (ja) | 物体検出装置および物体検出方法 | |
| Destruel et al. | Color noise-based feature for splicing detection and localization | |
| KR102174208B1 (ko) | 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체 | |
| US8538142B2 (en) | Face-detection processing methods, image processing devices, and articles of manufacture | |
| KR102194511B1 (ko) | 대표 영상프레임 결정시스템 및 이를 이용한 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20180307 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20180320 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20180307 Patent event code: PA03021R01I Comment text: Patent Application |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20180521 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20180817 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20180820 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20180820 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20210816 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230711 Start annual number: 6 End annual number: 6 |