KR20200026409A - 영상분류 방법 및 장치 - Google Patents

영상분류 방법 및 장치 Download PDF

Info

Publication number
KR20200026409A
KR20200026409A KR1020180103632A KR20180103632A KR20200026409A KR 20200026409 A KR20200026409 A KR 20200026409A KR 1020180103632 A KR1020180103632 A KR 1020180103632A KR 20180103632 A KR20180103632 A KR 20180103632A KR 20200026409 A KR20200026409 A KR 20200026409A
Authority
KR
South Korea
Prior art keywords
image
classification
original
processed
unit
Prior art date
Application number
KR1020180103632A
Other languages
English (en)
Other versions
KR102176787B1 (ko
Inventor
오병태
양윤모
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020180103632A priority Critical patent/KR102176787B1/ko
Publication of KR20200026409A publication Critical patent/KR20200026409A/ko
Application granted granted Critical
Publication of KR102176787B1 publication Critical patent/KR102176787B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06K9/00718—
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상분류 방법 및 장치에 관한 것이다. 개시된 영상분류 방법 및 장치는, 입력된 원본영상에 인위적인 영상가공처리를 하는 영상가공부, 상기 영상가공부에서 가공된 영상의 사전정보를 이용하여 가공된 영상을 원본영상으로 재생 또는 회복을 시도하는 영상복원부 및 상기 입력된 원본영상, 상기 가공된 영상 혹은 상기 복원된 영상을 기반으로 특징을 추출하여 영상을 분류하는 영상분류부를 포함하는 것을 특징으로 하는 영상분류 장치 및 방법을 제공한다. 본 발명에 의하면, 물체의 크기변화, 회전 또는 강체 변화 등 물체의 특성변화가 있는 경우에도 성능이 향상된 영상분류 방법 및 장치를 제공할 수 있다는 이점이 있다.

Description

영상분류 방법 및 장치{METHOD AND APPARATUS FOR CLASSIFYING IMAGE}
본 발명은 영상분류 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상을 인위적으로 가공하고 가공된 정보를 복원하여 복원된 영상을 기반으로 영상을 분류하는 영상분류 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
영상분석 기술은 화상 데이터가 가지고 있는 정보를 바탕으로 여러 가지 화상 처리를 함으로써 필요한 정보를 꺼내서 해석하는 것을 말한다. 최근 영상 기술이 산업 전반에 활용됨에 따라 영상을 분석하는 기술에 대한 수요가 점점 증가하고 있다. 특히 영상을 분류하는 기술이 중요해짐에 따라 영상의 특징을 추출하는 기술이 중요해지고 있다.
영상분류(Image Classification)는 각각의 픽셀의 특성을 분석하여 몇 개의 종류 중 하나로 묶어줌으로써 영상의 내용을 쉽게 이해할 수 있도록 하는 기법이다. 영상에서 실제 물체가 무엇인지 일일이 인간의 시각을 통하지 않고 컴퓨터에 의하여 분류하는 방법으로서, 특별한 특성에 대한 정보의 범주를 포함하는 하나 또는 그 이상의 공간적인, 시각적인 분광대 주파수대의 관계들을 포함한 수치 영상의 수치 분석이다.
종래 기술에 의한 영상분류 기술에서는 일반적으로 영상에서 물체의 크기 변화, 회전, 강체 변화 등 물체의 특징이 지속적으로 변화하기 때문에 정확한 영상분류에 어려움이 있다.
이에, 본 발명에서는, 전술한 기술적 제약을 해소시킬 수 있는 영상분류 방법 및 장치를 제안하고자 한다.
한국공개특허 제10-2008-0067434 호, 2008년 7월 21일 공개(명칭: 영상 텍스쳐 분석 방법과 장치, 및 이를 이용한 영상 분류방법과 장치) 한국등록특허공보 제10-0545742 호, 2005년 6월 23일 공개(명칭: 네트워크를 이용한 다중분광영상 자동 분류 방법) 한국등록특허공보 제10-1174048 호, 2012년 8월 13일 공개(명칭: 객체 인식 장치 및 객체 인식 방법)
(비특허 문헌 1) FUJIEDA, Shin; TAKAYAMA, Kohei; HACHISUKA, Toshiya. Wavelet Convolutional Neural Networks for Texture Classification. arXiv preprint arXiv:1707.07394, 2017
본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 물체의 크기변화, 회전 또는 강체 변화 등 물체의 특성변화가 있는 경우에도 성능이 향상된 영상분류 방법 및 장치를 제공하는데 주된 목적이 있다.
또한, 본 발명의 다른 목적은 일반적인 컬러영상 뿐 아니라 깊이 영상 또는 레이더 영상같이 이기종의 영상에서도 향상된 영상분류 방법 및 장치를 제공하는데 있다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 양상은, 입력된 원본영상에 인위적인 영상가공처리를 하는 영상가공부; 상기 영상가공부에서 가공된 영상의 사전정보를 이용하여 가공된 영상을 원본영상으로 재생 또는 회복을 시도하는 영상복원부; 및 상기 입력된 원본영상, 상기 가공된 영상 혹은 상기 복원된 영상을 기반으로 특징을 추출하여 영상을 분류하는 영상분류부를 포함하는 것을 특징으로 하는 영상분류 장치를 제공한다.
상기 영상가공부는, 상기 원본영상에 노이즈의 추가, 상기 원본영상의 특정 신호를 추출, 상기 원본영상의 기하학적 변환 및 필터링 중 어느 하나 이상의 처리를 포함할 수 있다.
상기 영상가공부는, 상기 원본영상에 여러 강도의 가우시안 필터링을 취한 후 상기 원본영상과 차분하여 여러 필터링 강도에 따라 강한 텍스처부터 약한 텍스처까지 여러가지 텍스처를 선별하여 추출할 수 있다.
상기 입력 원본영상은, 일반적인 컬러 영상, 깊이영상 및 레이더 영상 중 어느 하나 이상인 것일 수 있다.
상기 영상복원부를 통하여 영상이 복원된 정도는 수치화되어 상기 영상분류부에서 특징값으로 사용될 수 있다.
상기 수치화하는 방법은, 평균제곱오차법(Mean squared error, MSE), L-p norm 방식 중 어느 하나 이상인 것일 수 있다.
상기 영상분류부는, 상기 원본영상에 강도가 서로 다른 하나 이상의 가우시안 노이즈를 추가하여 영상을 가공하고, 노이즈가 포함된 영상을 복원한 후 상기 원본 영상과의 차이를 비교하고 차분영상들을 생성함으로써, 복수의 경계강도를 가지고 있는 차분영상들을 활용하여 영상분류를 하는 것일 수 있다.
상기 영상분류부는, 특정 가공방법에 대하여 상기 원본영상이 상기 영상가공부에서 변형된 정도와 상기 영상복원부에서 복원된 정도의 특징들을 순서쌍 값으로 하여 특징벡터들을 생성하고, 이를 바탕으로 영상의 분류를 하는 것일 수 있다.
본 발명의 다른 일 양상은, 입력된 원본영상에 대한 인위적인 영상가공처리를 하는 영상가공단계; 상기 영상가공단계를 거쳐 가공된 영상의 사전 정보를 이용하여 가공된 영상을 원본으로 재생 또는 회복을 시도하는영상복원단계; 및 상기 입력 원본영상 자체의 정보만을 이용하여 직접 분류하거나, 상기 영상가공단계를 거친 가공영상 혹은 상기 영상복원단계를 거친 복원영상으로부터 특징을 추출하여 영상을 분류하는 영상분류단계를 포함하는 것을 특징으로 하는 영상분류 방법을 제공한다.
상기 영상분류단계는, 상기 원본영상에 강도가 서로 다른 하나 이상의 가우시안 노이즈를 추가하여 영상을 가공하고, 노이즈가 포함된 영상을 복원한 후 상기 원본 영상과의 차이를 비교하고 차분영상들을 생성함으로써, 복수의 경계강도를 가지고 있는 차분영상들을 활용하여 영상분류를 하는 것일 수 있다.
상기 영상분류단계는, 특정 가공방법에 대하여 입력영상이 상기 영상가공단계에서 변형된 정도와 상기 영상복원단계에서 복원된 정도의 특징들을 순서쌍 값으로 만든 특징벡터들을 형성하고, 이 값을 바탕으로 영상의 분류를 하는 것일 수 있다.
본 발명의 다른 일 양상은, 상기 영상분류 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.
본 발명의 영상분류 방법 및 장치에 의하면, 물체의 크기변화, 회전 또는 강체 변화 등 물체의 특성변화가 있는 경우에도 성능이 향상된 영상분류 방법 및 장치를 제공할 수 있다는 효과가 있다.
또한, 일반적인 컬러영상 뿐 아니라 깊이 영상 또는 레이더 영상같이 이기종의 영상에서도 향상된 영상분류 방법 및 장치를 제공할 수 있다는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상분류 장치의 개략적인 구성도를 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상분류 방법을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상분류 장치에 따른 실험결과를 비교한 도면이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 대해 살펴보기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상분류 장치의 개략적인 구성도를 예시한 도면이다.
도 1에 나타난 각 구성부들은 영상분류 장치에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
영상가공부(110)는 입력된 원본영상에 인위적인 가공처리를 하는 기능부이다.
원본영상의 가공은 단순히 노이즈를 추가하거나 원본영상에서 특정 신호를 추출하는 것에 국한되지 않고, 원본영상의 기하학적 변환, 필터링 등을 모두 포함한다. 본 발명의 일 실시예에 있어서, 상기 영상가공은 노이즈 추가, 필터링, 퓨리에(Fourier) 변환, 아핀(Affine) 변환 등의 예들에서 어느 하나 이상을 선택하여 실행할 수 있으나, 이에 제한되지 않고 적합한 영상가공은 어느 것이든 이용할 수 있다. 예를 들어 입력 원본영상에 여러 강도의 가우시안 필터링을 취한 후 원본영상과 차분하면 필터링 강도에 따라 강한 텍스처부터 약한 텍스처까지 여러가지 텍스처를 선별하여 추출할 수 있다. 또한, 영상가공부(110)는 하나의 가공방법 뿐 아니라 여러 개의 가공방법을 동시에 적용하여 입력 원본영상을 가공할 수도 있다.
영상가공부(110)는 일반적인 컬러 영상에 국한되지 않고 깊이 영상 또는 레이더 영상과 같은 이기종의 영상을 입력 원본영상으로 하여 가공하는 것도 포함한다.
영상복원부(130)는 영상가공부(110)에서 가공된 영상의 사전 정보를 이용하여 가공된 영상을 원본으로 재생 또는 회복을 시도하는 기능부이다. 영상복원기술은 원본 영상을 회복하기 위해 가공된 영상의 모형화와 열처리에 중점을 두며, 또한 영상 복원은 요구되는 결과를 평가할 수 있는 적절한 기준이 필요하다. 영상복원은 탐측기 내 각 영상소들의 감지 특성이나 성능 저하에 의해 발생된 오차를 제거, 보정하는 것을 말하며, 예를 들어 Destriping과 Drop Line Correction 2가지 과정이 있다. 하지만 영상복원은 이러한 예에 한정되는 것은 아니고, 상기 영상가공 방법과 관련되어 적절하게 선택될 수 있다. 영상복원부(130)는 가공된 영상에 따른 최적의 복원방식을 택하는 방법, 혹은 일반적인 복원방식을 사용하는 방법 등을 사용할 수 있다.
영상복원부(130)에서 복원된 정도는 하나의 변수로 추가되어 수치화될 수 있으며 영상분류부(150)에서 특징값으로 사용할 수 있다. 수치화하는 방법은 평균제곱오차법(Mean squared error, MSE), L-p norm 방식 등을 사용할 수 있다.
영상분류부(150)는 입력된 영상, 가공된 영상 혹은 복원된 영상을 기반으로 특징을 추출하여 분류하는 기능부이다.
영상분류부(150)에서 영상분류는 입력영상 자체의 정보만을 이용할 수도 있지만 영상을 가공하고 이를 복원하는 과정에서 특징을 추출할 수 있다. 예를 들어 영상에 가우시안 노이즈를 추가하여 영상을 가공하고 노이즈가 포함된 영상을 복원한 후 원본 영상과의 차이를 비교해보면 노이즈 강도보다 강한 경계는 보존되고 노이즈 강도보다 약한 경계는 노이즈와 함께 사라지게 된다. 따라서 원본 영상과 노이즈가 추가된 후 복원된 영상의 차분 영상은 특정 강도 이하의 경계만을 포함하는 영상이다. 이와 같은 방법으로 노이즈의 강도를 변화시키면서 차분 영상을 모으면 각 차분 영상은 서로 다른 경계 강도를 가지고 있는 영상이 된다. 이들 다양한 경계강도를 가지고 있는 영상들을 활용하여 보다 성능이 향상된 영상분류 결과를 얻을 수 있는 것이다. 이때 입력영상은 컬러 영상에 국한되지 않고 깊이 영상 또는 레이더 영상 같이 이기종의 영상을 모두 포함한다
한편, 특정 가공방법에 대하여 입력영상이 영상가공부(110)에서 변형된 정도와 영상복원부(130)에서 복원된 정도의 특징들을 순서쌍 값으로 만들게 되면, 영상분류부(150)에서 여러가지 가공방식에 대한 특징벡터들을 형성할 수 있고, 이 값을 바탕으로 영상의 분류를 진행할 수 있다. 이들 특징벡터를 활용하여 보다 성능이 향상된 영상분류 결과를 얻을 수 있다. 본 발명의 일 실시예에 있어서, 영상의 가공 및 복원후 복원도 값을 영상분류부(150)의 예컨대 머신러닝 또는 딥러닝 모듈에 변수로 추가하여 연산시켜줌으로써 영상분류의 성능이 개선될 수 있다. 향상된 영상분류 테스트 결과는 도 3의 설명 부분에서 예시하도록 한다.
영상분류부(150)에서 특징벡터 등을 형성하는 데에 딥러닝과 같은 기계학습(Machine Learning) 기법을 활용한 알고리즘을 적용하여 보다 성능을 향상할 수 있다. 기계학습 알고리즘에는 의사결정나무(Decision Tree), 베이지안 망(Bayesian network), 지지벡터머신(Support Vector Machine, SVM), 합성공 신경망(Convolutional Neural Network), 인공 신경망(Artificial Neural Network), 딥러닝, 강화러닝 등이 있다. 지지벡터머신 모델은 패턴분류에 있어서 각광받고 있는 통계적 학습이론으로, 패턴인식과 자료 분석을 위한 지도(감독/교사) 학습의 모델로 주로 분류와 회귀분석을 위해 사용하고 있다. 다시 말하면 학습데이터와 범주 정보의 학습 진단을 대상으로 학습과정에서 얻어진 확률분포를 이용하여 의사결정함수를 추정한 후 이 함수에 따라 새로운 데이터를 이원 분류하는 것이다. 지도 학습은 컴퓨터에 먼저 정보를 가르치는 방법으로 컴퓨터는 미리 학습된 결과를 바탕으로 정보를 구분하는 것이다. 딥러닝은 컴퓨터가 여러 데이터를 이용해 마치 사람처럼 스스로 학습할 수 있게 하기 위해 인공 신경망(ANN: artificial neural network)을 기반으로 구축한 한 기계 학습 기술로서, 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시킨다. 딥 러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지·추론·판단할 수 있게 된다
도 2는 본 발명의 일 실시예에 따른 영상분류 방법을 예시한 도면이다.
입력된 원본영상에 대한 영상가공단계(S201)는 단순히 노이즈를 추가하거나 영상에서 특정 신호를 추출하는 것에 국한되지 않고 영상의 기하학적 변환, 필터링 등을 모두 포함한다. 예를 들어 입력 영상에 여러 강도에 가우시안 필터링을 취한 후 원본 영상과 차분하면 필터링 강도에 따라 강한 텍스처부터 약한 텍스처까지 여러가지 텍스처를 선별하여 추출할 수 있다. 또한, 영상가공단계(S201)는 하나의 가공방법 뿐 아니라 여러 개의 가공방법을 동시에 적용하여 입력영상을 가공할 수도 있다.
영상복원단계(S203)는 영상가공단계(S201)를 거쳐 가공된 영상의 사전 정보를 이용하여 가공된 영상을 원본으로 재생 또는 회복을 시도한다.
영상분류단계(S205)는 입력 원본영상 자체의 정보만을 이용하여 직접 분류할 수도 있지만, 영상가공단계(S201)를 거친 가공영상 혹은 영상복원단계(S203)를 거친 복원영상으로부터 특징을 추출하여 분류할 수 있다. 예를 들어 원본영상에 가우시안 노이즈를 추가하여 가공영상을 생성하고, 노이즈가 포함된 가공영상을 복원한 후 복원영상과 원본영상과의 차이를 비교해보면, 노이즈 강도보다 강한 경계는 보존되고 노이즈 강도보다 약한 경계는 노이즈와 함께 사라지게 된다. 따라서 원본 영상과 노이즈가 추가된 후 복원된 영상의 차분 영상은 특정강도 이하의 경계만을 포함하는 영상이다. 이와 같은 방법으로 노이즈의 강도를 변화시키면서 차분 영상을 모으면 각 차분 영상은 서로 다른 경계 강도를 가지고 있는 영상들이 된다. 이때 입력 원본영상은 컬러 영상에 국한되지 않고 깊이 영상 또는 레이더 영상 같이 이기종의 영상을 모두 포함한다
한편, 특정 가공방법에 대하여 입력영상이 영상가공단계(S201)에서 변형된 정도와 영상복원단계(S203)에서 복원된 정도의 특징들을 순서쌍 값으로 만들게 되면, 영상분류단계(S205)에서 여러가지 가공방식에 대한 특징벡터들을 형성할 수 있고, 이 값을 바탕으로 영상의 분류를 진행할 수 있다. 예컨대, 영상 가공 및 복원후 추출된 복원도 값을 영상분류단계(S205)에서 예컨대, 머신러닝 또는 딥러닝 모듈에 변수로 추가하여 줌으로써, 영상 분류의 성능을 개선할 수 있다.
영상분류단계(S205)에서 특징벡터 등을 형성하는 데에 기계학습 기법을 활용한 알고리즘을 적용하여 보다 성능을 향상할 수 있다.
도 2에서는 단계 S201 내지 단계 S205을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 단계 S201 내지 단계 S205 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다. 예컨대, S201을 거쳐 S205단계가 수행될 수 있으며, S203을 거친 이후 S205가 수행될 수 있다.
도 3은 종래기술과 본 발명의 일 실시예에 따른 영상분류 장치에 따른 실험결과를 비교한 도면이다.
도 3의 좌측의 방식에 비하여, 도 3의 우측의 도면은 본 발명의 일 실시예에 따라 입력영상을 노이즈 추가, 변형 등 영상가공부(110)를 거쳐서 영상복원부(130)로 복원한 영상을 17가지 채널로 입력하여 분류한 예시이다.
본 발명에 따른 테스트에 따르면, 복원된 영상의 복원된 정도를 영상의 형태로 수치화 하여 머신러닝 혹은 딥러닝 모듈에 입력영상과 함께 넣었을때 영상의 분류 성능이 48.94%에서 49.41%로 향상됨을 보여준다. 가공 및 복원의 샘플을 증가할 경우 영상 분류 성능은 더욱 향상될 것이다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 영상분류 방법 및 장치에 따르면, 물체의 크기변화, 회전 또는 강체 변화 등 물체의 특성변화가 있는 경우에도 성능이 향상된 영상분류 방법 및 장치를 제공할 수 있는 솔루션으로 활용 가능하다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
100: 영상분류 장치 110: 영상가공부 130: 영상복원부 150: 영상분류부

Claims (12)

  1. 입력된 원본영상에 인위적인 영상가공처리를 하는 영상가공부;
    상기 영상가공부에서 가공된 영상의 사전정보를 이용하여 가공된 영상을 원본영상으로 재생 또는 회복을 시도하는 영상복원부; 및
    상기 입력된 원본영상, 상기 가공된 영상 혹은 상기 복원된 영상을 기반으로 특징을 추출하여 영상을 분류하는 영상분류부를 포함하는 것을 특징으로 하는 영상분류 장치.
  2. 제1항에 있어서,
    상기 영상가공부는,
    상기 원본영상에 노이즈의 추가, 상기 원본영상의 특정 신호를 추출, 상기 원본영상의 기하학적 변환 및 필터링 중 어느 하나 이상의 처리를 포함하는 것을 특징으로 하는 영상분류 장치.
  3. 제1항에 있어서,
    상기 영상가공부는,
    상기 원본영상에 여러 강도의 가우시안 필터링을 취한 후 상기 원본영상과 차분하여 여러 필터링 강도에 따라 강한 텍스처부터 약한 텍스처까지 여러가지 텍스처를 선별하여 추출하는 것을 특징으로 하는 영상분류 장치.
  4. 제1항에 있어서,
    상기 입력 원본영상은,
    일반적인 컬러 영상, 깊이영상 및 레이더 영상 중 어느 하나 이상인 것을 특징으로 하는 영상분류 장치.
  5. 제1항에 있어서,
    상기 영상복원부를 통하여 영상이 복원된 정도는 수치화되어 상기 영상분류부에서 특징값으로 사용되는 것을 특징으로 하는 영상분류 장치.
  6. 제5항에 있어서,
    상기 수치화하는 방법은,
    평균제곱오차법(Mean squared error, MSE), L-p norm 방식 중 어느 하나 이상인 것을 특징으로 하는 영상분류 장치.
  7. 제1항에 있어서,
    상기 영상분류부는,
    상기 원본영상에 강도가 서로 다른 하나 이상의 가우시안 노이즈를 추가하여 영상을 가공하고, 노이즈가 포함된 영상을 복원한 후 상기 원본 영상과의 차이를 비교하고 차분영상들을 생성함으로써, 복수의 경계강도를 가지고 있는 차분영상들을 활용하여 영상분류를 하는 것을 특징으로 하는 영상분류 장치.
  8. 제1항에 있어서,
    상기 영상분류부는,
    특정 가공방법에 대하여 상기 원본영상이 상기 영상가공부에서 변형된 정도와 상기 영상복원부에서 복원된 정도의 특징들을 순서쌍 값으로 하여 특징벡터들을 생성하고, 이를 바탕으로 영상의 분류를 하는 것을 특징으로 하는 영상분류 장치.
  9. 입력된 원본영상에 대한 인위적인 영상가공처리를 하는 영상가공단계;
    상기 영상가공단계를 거쳐 가공된 영상의 사전 정보를 이용하여 가공된 영상을 원본으로 재생 또는 회복을 시도하는 영상복원단계; 및
    상기 입력 원본영상 자체의 정보만을 이용하여 직접 분류하거나, 상기 영상가공단계를 거친 가공영상 혹은 상기 영상복원단계를 거친 복원영상으로부터 특징을 추출하여 영상을 분류하는 영상분류단계를 포함하는 것을 특징으로 하는 영상분류 방법.
  10. 제9항에 있어서,
    상기 영상분류단계는,
    상기 원본영상에 강도가 서로 다른 하나 이상의 가우시안 노이즈를 추가하여 영상을 가공하고, 노이즈가 포함된 영상을 복원한 후 상기 원본 영상과의 차이를 비교하고 차분영상들을 생성함으로써, 복수의 경계강도를 가지고 있는 차분영상들을 활용하여 영상분류를 하는 것을 특징으로 하는 영상분류 방법.
  11. 제9항에 있어서,
    상기 영상분류단계는,
    특정 가공방법에 대하여 입력영상이 상기 영상가공단계에서 변형된 정도와 상기 영상복원단계에서 복원된 정도의 특징들을 순서쌍 값으로 만든 특징벡터들을 형성하고, 이 값을 바탕으로 영상의 분류를 하는 것을 특징으로 하는 영상분류 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 기재된 영상분류 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020180103632A 2018-08-31 2018-08-31 영상분류 방법 및 장치 KR102176787B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180103632A KR102176787B1 (ko) 2018-08-31 2018-08-31 영상분류 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180103632A KR102176787B1 (ko) 2018-08-31 2018-08-31 영상분류 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200026409A true KR20200026409A (ko) 2020-03-11
KR102176787B1 KR102176787B1 (ko) 2020-11-10

Family

ID=69809906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180103632A KR102176787B1 (ko) 2018-08-31 2018-08-31 영상분류 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102176787B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102159052B1 (ko) 2020-05-12 2020-09-23 주식회사 폴라리스쓰리디 영상 분류 방법 및 장치
KR102315427B1 (ko) * 2020-05-14 2021-10-20 아주대학교산학협력단 딥러닝 학습을 위한 데이터 처리 방법 및 그 장치
KR102327060B1 (ko) * 2021-07-01 2021-11-16 국방과학연구소 표적 식별을 위한 관심 영역 추출 방법, 장치, 컴퓨터 판독 가능한 기록매체 및 컴퓨터 프로그램

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100545742B1 (ko) 2003-12-19 2006-01-24 한국전자통신연구원 네트워크를 이용한 다중분광영상 자동 분류 방법
KR20080067434A (ko) 2007-01-16 2008-07-21 광주과학기술원 영상 텍스쳐 분석 방법과 장치, 및 이를 이용한 영상 분류방법과 장치
KR20090065099A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 디지털 영상 특징 관리 시스템 및 그 방법
KR101174048B1 (ko) 2010-12-10 2012-08-16 경북대학교 산학협력단 객체 인식 장치 및 객체 인식 방법
KR20150129897A (ko) * 2014-05-12 2015-11-23 주식회사 칩스앤미디어 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법
KR20160082199A (ko) * 2014-12-31 2016-07-08 인천대학교 산학협력단 컬러 필터 어레이 성능 검증 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100545742B1 (ko) 2003-12-19 2006-01-24 한국전자통신연구원 네트워크를 이용한 다중분광영상 자동 분류 방법
KR20080067434A (ko) 2007-01-16 2008-07-21 광주과학기술원 영상 텍스쳐 분석 방법과 장치, 및 이를 이용한 영상 분류방법과 장치
KR20090065099A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 디지털 영상 특징 관리 시스템 및 그 방법
KR101174048B1 (ko) 2010-12-10 2012-08-16 경북대학교 산학협력단 객체 인식 장치 및 객체 인식 방법
KR20150129897A (ko) * 2014-05-12 2015-11-23 주식회사 칩스앤미디어 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법
KR20160082199A (ko) * 2014-12-31 2016-07-08 인천대학교 산학협력단 컬러 필터 어레이 성능 검증 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
(비특허 문헌 1) FUJIEDA, Shin; TAKAYAMA, Kohei; HACHISUKA, Toshiya. Wavelet Convolutional Neural Networks for Texture Classification. arXiv preprint arXiv:1707.07394, 2017

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102159052B1 (ko) 2020-05-12 2020-09-23 주식회사 폴라리스쓰리디 영상 분류 방법 및 장치
US11657594B2 (en) 2020-05-12 2023-05-23 Polaris3D Co., Ltd. Method and apparatus for classifying image
KR102315427B1 (ko) * 2020-05-14 2021-10-20 아주대학교산학협력단 딥러닝 학습을 위한 데이터 처리 방법 및 그 장치
KR102327060B1 (ko) * 2021-07-01 2021-11-16 국방과학연구소 표적 식별을 위한 관심 영역 추출 방법, 장치, 컴퓨터 판독 가능한 기록매체 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR102176787B1 (ko) 2020-11-10

Similar Documents

Publication Publication Date Title
Yeh et al. Multi-scale deep residual learning-based single image haze removal via image decomposition
CN111062880B (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
Rao et al. Brain tumor segmentation with deep learning
Shi et al. Textural features for steganalysis
Kalouche et al. Vision-based classification of skin cancer using deep learning
CN105917353A (zh) 用于生物认证的特征提取及匹配以及模板更新
KR101890538B1 (ko) 영상 변환 방법 및 장치
KR102176787B1 (ko) 영상분류 방법 및 장치
CN113269103B (zh) 基于空间图卷积网络的异常行为检测方法、系统、存储介质和设备
Becker et al. Learning context cues for synapse segmentation in EM volumes
Tarasiewicz et al. Skinny: A lightweight U-Net for skin detection and segmentation
CN109684853A (zh) 用于确定和提供图像内的匿名内容的装置和方法
CN111539320B (zh) 基于互相学习网络策略的多视角步态识别方法及系统
Barni et al. Iris deidentification with high visual realism for privacy protection on websites and social networks
Chen et al. Desmokenet: A two-stage smoke removal pipeline based on self-attentive feature consensus and multi-level contrastive regularization
Liu et al. Physics-guided spoof trace disentanglement for generic face anti-spoofing
Tasdizen et al. Improving the robustness of convolutional networks to appearance variability in biomedical images
Lahasan et al. Recognizing faces prone to occlusions and common variations using optimal face subgraphs
Soares et al. Microaneurysms detection using a novel neighborhood analysis
Wang et al. Multi-level attentive skin lesion learning for melanoma classification
Codella et al. Segmentation of both diseased and healthy skin from clinical photographs in a primary care setting
Prema et al. A review: face recognition techniques for differentiate similar faces and twin faces
Abid et al. A novel neural network approach for image edge detection
Bae et al. Fingerprint image denoising and inpainting using convolutional neural network
Yüce et al. Improved local binary pattern based action unit detection using morphological and bilateral filters

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant