KR102085334B1 - 회전된 사물 인식 방법 및 장치 - Google Patents

회전된 사물 인식 방법 및 장치 Download PDF

Info

Publication number
KR102085334B1
KR102085334B1 KR1020180006964A KR20180006964A KR102085334B1 KR 102085334 B1 KR102085334 B1 KR 102085334B1 KR 1020180006964 A KR1020180006964 A KR 1020180006964A KR 20180006964 A KR20180006964 A KR 20180006964A KR 102085334 B1 KR102085334 B1 KR 102085334B1
Authority
KR
South Korea
Prior art keywords
image
object recognition
converted
learning
thing
Prior art date
Application number
KR1020180006964A
Other languages
English (en)
Other versions
KR20180085697A (ko
Inventor
이재진
정우근
박지영
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Publication of KR20180085697A publication Critical patent/KR20180085697A/ko
Application granted granted Critical
Publication of KR102085334B1 publication Critical patent/KR102085334B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G06K9/4628—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

회전된 사물 인식 방법 및 장치를 제시하며, 회전된 사물 인식 방법 및 장치는 상기 이미지상의 사물이 회전된 각도에 따라 상기 사물이 평행이동 되도록 상기 이미지를 변환하는 이미지변환부 및 변환된 이미지를 기초로 상기 사물에 대한 패턴을 학습하고 상기 변환된 이미지에 포함된 사물을 인식하는 사물인식부를 포함할 수 있다.

Description

회전된 사물 인식 방법 및 장치 {APPARATUS AND METHOD FOR RECOGNIZING TURNED OBJECT}
본 발명은 회전된 사물 인식 방법 및 장치에 관한 것으로, 보다 상세하게는 딥 러닝(Deep Learning)의 한 종류인 CNN(Convolutional Neural Network)에서 회전된 사물의 인식률을 향상시키기 위한 이미지 전처리(preprocessing)하는 방법 및 장치에 관한 것이다.
최근 들어 이미지 인식, 자연어 처리 등 패턴 인식을 위한 모델로 인간의 두뇌를 모사한 뉴럴 네트워크(Neural Network)가 많이 사용되고 있다. 뉴럴 네트워크 모델은 크게 학습 단계와 테스트 단계로 나눌 수 있는데 학습 단계에서는 기존의 데이터를 바탕으로 패턴을 학습하고 테스트 단계에서는 학습할 때 없었던 데이터에 대한 정답 혹은 예측을 얻으면서 네트워크가 잘 학습되었는지 알 수 있다.
학습 이미지를 그대로 사용하여 학습하는 기존의 CNN(Convolutional Neural Network)은 학습 이미지에 있는 사물과 비교하여 회전된 사물은 잘 인식하지 못하는 문제점이 있다. 예를 들어, 숫자를 인식하는 CNN을 학습시킬 때 회전되지 않고 똑바로 서 있는 숫자 이미지들만 사용하면 이 네트워크는 살짝 기울어지거나 가로로 쓰여진(90도 만큼 회전된) 숫자 이미지와 같은 회전된 이미지는 잘 분류하지 못할 수 있다.
이에 대하여 한국공개특허공보 제 10-2016-0135679 호는 이미지인식기술을 이용한 정보제공시스템 및 방법에 관한 것으로, 모바일단말에서 획득한 이미지 또는 획득한 이미지로부터 추출한 이미지 패턴값을 상기 이미지인식서버로 전송하는 단계와 상기 이미지인식서버에서 상기 모바일단말로부터 이미지를 전송받았으면 이미지 패턴값을 추출하고, 이미지 패턴값을 직접 전송받았으면 기등록된 이미지 패턴값과 유사한 이미지 패턴값을 검색하고, 상기 이미지인식서버는 검색 결과값인 이미지코드값을 상기 모바일단말을 거쳐 또는 직접 웹서버로 전송하면 웹서버는 전송받은 이미지코드값에 등록된 홍보용코드값과 쇼핑용코드 값을 찾아내고, 홍보용코드값에 등록된 홍보물 정보 또는　쇼핑몰코드값에 등록된 쇼핑몰 URL정보 등을 모바일단말로 전송한다. 하지만, 이러한 선행기술문헌은 상술된 바와 같은 문제점을 해소하지 못한다.
따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 일실시예는 회전된 사물 인식 방법 및 장치를 제공하는 데에 목적이 있다.
본 발명의 일실시예는 CNN에서 하나의 패턴을 가진 학습이미지로 학습되어도 회전된 사물의 인식률을 높이는 회전된 사물 인식 방법 및 장치를 제시하는 데 목적이 있다.
본 명세서에서 개시되는 실시예들은, 하나의 패턴을 가진 학습 이미지를 학습한 경우에도 회전된 사물을 인식하도록 회전된 사물을 평행이동 형태로 변형하는 회전된 사물 인식 방법 및 장치를 제시하는 데 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 회전된 사물을 인식하는 사물인식장치에 있어서, 상기 이미지상의 사물이 회전된 각도에 따라 상기 사물이 평행이동 되도록 상기 이미지를 변환하는 이미지변환부 및 변환된 이미지를 기초로 상기 사물에 대한 패턴을 학습하고 상기 변환된 이미지에 포함된 사물을 인식하는 사물인식부를 포함할 수 있다.
다른 실시예에 따르면, 사물인식장치가 회전된 사물을 인식하는 방법에 있어서, 상기 이미지상의 사물이 회전된 각도에 따라 상기 사물이 평행이동 되도록 상기 이미지를 변환하는 단계, 변환된 이미지를 기초로 상기 사물에 대한 패턴을 학습하는 단계 및 기 변환된 이미지에 포함된 사물을 인식하는 단계를 포함할 수 있다.
또 다른 실시예에 따르면, 사물인식방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체로서, 상기 이미지상의 사물이 회전된 각도에 따라 상기 사물이 평행이동 되도록 상기 이미지를 변환하는 단계, 변환된 이미지를 기초로 상기 사물에 대한 패턴을 학습하는 단계 및 기 변환된 이미지에 포함된 사물을 인식하는 단계를 포함할 수 있다.
다른 실시예에 따르면, 사물인식장치에 의해 수행되며, 사물인식방법을 수행하기 위해 기록매체에 저장된 컴퓨터프로그램으로서, 상기 이미지상의 사물이 회전된 각도에 따라 상기 사물이 평행이동 되도록 상기 이미지를 변환하는 단계, 변환된 이미지를 기초로 상기 사물에 대한 패턴을 학습하는 단계 및 기 변환된 이미지에 포함된 사물을 인식하는 단계를 포함할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 회전된 사물 인식 방법 및 장치를 제시할 수 있다.
아울러 전술한 과제 해결 수단 중 어느 하나에 의하면, CNN에서 하나의 패턴을 가진 학습이미지를 이용한 학습만으로도 회전된 사물의 인식률을 높이는 회전된 사물 인식 방법 및 장치를 제시할 수 있다.
그리고 전술한 과제 해결 수단 중 어느 하나에 의하면, 간단한 계산을 통해 회전된 사물을 평행이동 형태로 변형되도록 함으로써 낮은 비용으로 회전된 사물의 인식률을 높이는 회전된 사물 인식 방법 및 장치를 제시할 수 있다.
또한, 전술한 과제 해결 수단 중 어느 하나에 의하면, 학습 이미지의 표현 방식만을 변경함으로써 기존의 인공신경망 네트워크를 수정하지 않고도 회전된 사물을 인식할 수 있도록 구현할 수 있는 회전된 사물 인식 방법 및 장치를 제시할 수 있다.
그리고 전술한 과제 해결 수단 중 어느 하나에 의하면, 학습을 완료한 후 테스트를 할 때에도 입력되는 이미지를 같은 방식으로 변환하여 사용할 수 있는 회전된 사물 인식 방법 및 장치를 제시할 수 있다.
개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 사물인식장치의 블록도이다.
도 2 는 본 발명의 일실시예에 따른 사물인식방법을 설명하기 위한 순서도이다.
도 3 내지 도 6 은 본 발명의 일실시예에 따른 사물인식방법을 설명하기 위한 참고도이다.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, ‘그 중간에 다른 구성을 사이에 두고 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.
다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.
이하에서 ‘뉴럴 네트워크’는 생물 신경계의 고도의 정보처리기구를 공학적으로 모방해서 입력과 출력을 상호간에 상세히 관련지어 복잡한 제어를 하는 정보처리기술이다.
이러한 뉴럴네트워크는 여러 개의 레이어로 이루어졌으며 각 레이어는 이전 레이어로부터 인풋을 받아 다음 레이어로 아웃풋을 주는 구조로 되어있다.
이미지를 판별하는데 필요한 특성을 추출하는 필터를 학습시켜 인풋 이미지와 필터의 패턴간 유사도를 출력하는 ‘콘볼루션 레이어(convolution layer)’가 앞 부분에 위치하는 뉴럴 네트워크를 ‘CNN(Convolutional Neural Network)’이라고 한다.
CNN은 앞 부분의 콘볼루션 레이어 뒤에 주로 fully connected 레이어가 있어서 콘볼루션 레이어에서 나온 아웃풋을 바탕으로 이미지에 있는 사물이 어떤 것인지 판별한다.
그리고 ‘극좌표계(Polar coordinate)’는 평면 위의 위치를 r(거리)와 θ(각도)를 통해서 나타낸다. R은 원점으로부터의 거리를 나타내고 θ는 x축의 양의 방향을 기준으로 잰 각의 크기를 나타낸다.
도 1은 본 발명의 일실시예에 따른 사물인식장치(10)를 설명하기 위한 블럭도이다.
사물인식장치(10)는 주어진 이미지를 직교 좌표계(Cartesian coordinate)에서 극좌표계로 변환하여 회전된 이미지를 평행이동시킨 이미지로 변환시키고, 이를 통해 기존에 학습된 이미지를 기초로 회전된 이미지를 인식한다
이러한 사물인식장치(10)는 전자단말기로 구현될 수 있거나 또는 서버-클라이언트 시스템으로 구현될 수 있으며, 상기 시스템은 이미지를 인식할 수 있는 전자단말기를 포함할 수 있다.
이때 전자단말기는, 플레이어와의 인터랙션이 가능한 인터페이스를 포함할 수 있는 컴퓨팅 장치로 구현될 수 있다.
그리고 서버는 전자단말기와 네트워크(N)를 통해 통신이 가능한 컴퓨터로 구현될 수 있으며, 데이터를 저장할 수 있는 저장장치가 포함될 수 있거나 또는 제 3 의 서버(미도시)를 통해 데이터를 저장할 수도 있다.
이러한 사물인식장치(10)는 이미지변환부(110)와 사물인식부(120)을 포함할 수 있으며, 사물인식장치(10)의 내부구성요소, 즉, 이미지변환부(110)와 사물인식부(120) 간의 통신을 가능하게 하며 또한 외부구성요소와의 통신을 하게 하는 통신부(미도시)를 포함할 수 있다.
우선, 사물인식장치(10)는 이미지변환부(110)를 포함할 수 있다. 이미지변환부(110)는 이미지상의 사물이 회전된 각도에 따라 상기 사물이 평행이동 되도록 이미지를 변환할 수 있다.
즉, 이미지변환부(110)는 이미지에서 각 픽셀의 좌표를 나타내는 좌표계를 변환하여 이미지내의 픽셀의 배치를 변환할 수 있다.
예를 들어, 이미지변환부(110)는 입력된 이미지를 직교좌표계(Cartesian coordinate)에서 극좌표계로 변환하여 회전된 이미지를 평행이동시킨 이미지로 변환시킬 수 있다.
도 3 은 본 발명의 일실시예에 따라 이미지변환을 설명하기 위한 참고도이다. 이를 참조하면, 이미지변환부(110)는 객체가 0도 회전된 이미지(301)를 변환하여 객체가 상단에 표시된 변환이미지(302)를 획득할 수 있고, 객체가 90도 회전된 이미지(303)를 변환하여 객체가 하단에 표시된 변환이미지(304)를 획득할 수 있으며, 객체가 180도 회전된 이미지(305)를 변환하여 객체가 이미지의 상단 및 하단 각각에 일부 표시된 변환이미지(306)을 획득할 수 있다.
이와 같이 이미지변환부(110)는 이미지를 변환하기 위해 아래와 같이 이미지 변환을 수행할 수 있다. 이하에서는 도 4 및 도 5 를 참조하여 이미지 변환 과정을 설명한다.
도 4 내지 도 5 는 직교 좌표계에서 원본 이미지를 직교 좌표계로부터 극좌표계로 변환하였을 때 이미지를 표현하는 방식을 설명하기 위한 참고도이다.
도 4 를 참조하면, 직교 좌표계(401)에서 이미지의 해상도가 256x256 이라고 가정하면 기존에는 이미지가 (0, 0) ~ (255, 255)의 픽셀로 표현됐고, 각 (x, y) 픽셀 값은 이미지 왼쪽 아래를 원점으로 했을 때 (x, y) 위치의 픽셀 값이다. 예를 들면 (128, 128) 픽셀의 값은 이미지 중심 부분의 픽셀 값을 나타낸다.
하지만, 극좌표계(402)에서는 좌표축이 각 축이 x, y가 아닌 r과 θ이다. 여기서 r은 원본 이미지의 중심과 각 픽셀들의 거리를 나타내고, θ는 (중심점을 지나는 가로축)과 (중심점과 각 픽셀을 잇는 선) 사이의 각도를 나타낸다.
도 5 를 참조하면, 변환된 이미지(502)에서 일직선(503)은 원본 이미지(501)의 중심으로부터 거리가 a인 픽셀들의 값을 나타낸다. 특히 (a, π/2) 위치의 픽셀(504)은 거리가 a인 픽셀 중에서 가로축과 90도인 픽셀(505)을 나타내고 (a, π) 위치의 픽셀(506)은 거리가 a인 픽셀 중에서 가로축과 180도인 픽셀(507)을 나타낸다.
이런 방식으로 했을 때 극좌표계에서 r 값의 범위는 (0, R] 이고 θ 값의 범위는 (0, 2π]가 된다.
이미지변환부(110)는 이미지 상의 중심점에서 최대 이격된 픽셀까지의 거리를 기초로 상기 이미지에 포함된 픽셀을 샘플링할 수 있다.
예를 들어, 이미지변환부(110)는 이미지의 중심점에서 최대 이격된 픽셀까지의 거리인 R을 구한 다음 중심점으로부터 거리가 1 이면서 가로축과의 각이 1/R, 2/R, 3/R, …, 2π인 픽셀을 샘플링하면서 변환된 이미지를 만들 수 있으며, 이러한 과정을 중심점으로부터 거리가 2, 3, …, R인 경우까지 반복하여 이미지를 변환할 수 있다.
여기서 θ 값을 1/R 단위로 샘플링하는 이유는 변환된 이미지에서 θ 축의 해상도가 2πR이 되도록 하기 위함이다(2π/2πR = 1/R).
이때, 샘플링하려는 픽셀의 위치가 정수로 나누어 떨어지지 않는 경우 이미지변환부(110)는 가장 가까운 정수 값으로 픽셀의 위치를 라운딩할 수 있다.
한편, 사물인식장치(10)는 사물인식부(120)를 포함할 수 있다. 사물인식부(120)는 직교 좌표계에서 극좌표계로 변환된 이미지를 식별할 수 있다.
이를 위해, 사물인식부(120)는 변환된 이미지를 기초로 상기 사물에 대한 패턴을 학습하고 상기 변환된 이미지에 포함된 사물을 인식할 수 있다.
우선, 사물인식부(120)는 이미지변환부(110)에 의해 직교 좌표계에서 극좌표계로 변환된 이미지를 기초로 학습을 수행할 수 있다.
즉, 사물인식부(120)는 학습을 통해 상기 사물에 대한 패턴을 탐색하는 기 설정된 크기의 필터를 구성하는 값을 설정할 수 있다.
예를 들어, 사물인식부(120)는 CNN을 통해 학습하기 위해 입력되는 학습 이미지를 이용하여 이미지 상의 사물에 대한 특성을 추출할 수 있는 필터를 설정할 수 있으며, 이를 위해 필터를 구성하는 필터값을 조절할 수 있다.
그리고 사물인식부(120)는 학습에 기초하여 사물인식장치(10)에 입력된 이미지를 인식할 수 있다.
예를 들어, 사물인식부(120)는 학습을 통해 설정된 필터(즉, 이미지에서 인식하고자 하는 특성을 추출하는 필터)를 이용하여 입력된 이미지에 필터를 곱하는 연산을 이미지의 모든 픽셀에 대해 수행하여 입력된 이미지와 필터간의 유사도를 계산할 수 있다.
이때, 이미지변환부(110)에 의해 변환된 이미지에서 탐색할 영역의 크기가 필터의 크기보다 작으면 사물인식부(120)는 이미지에서 탐색이 시작된 영역을 패딩(padding)하여 탐색을 수행할 수 있다.
예를 들어 도 3 을 참조하면, 회전된 이미지가 변환되어 도 3 의 변환된 이미지(306)과 같이 이미지가 상하로 분리되어 변환된 이미지가 입력되는 경우, 사물인식부(120)는 입력된 이미지의 상위 일부 픽셀을 이미지의 하단으로 확장하여 유사도를 계산할 수 있다.
도 6 은 입력된 이미지의 일부를 변형하는 것을 설명하기 위한 참고도이다. 이를 참조하면, 사물인식부(120)는 입력되는 이미지(601)가 위아래가 연결된 실린더라고 가정하여, 상단 N-1 픽셀(602)을 입력된 이미지(603)의 하단(604)에 연장되는 것으로 가정하여 필터를 적용할 수 있다.
이와 같은 방법을 통해 이미지상에 회전된 객체를 인식할 수 있도록 할 수 있다.
도 2 에 도시된 실시예에 따른 사물인식방법은 도 1 에 도시된 사물인식장치(10)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 에 도시된 사물인식장치(10)에 관하여 이상에서 기술한 내용은 도 2 에 도시된 실시예에 따른 사물인식방법에도 적용될 수 있다.
우선 사물인식장치(10)는 사물을 인식을 학습하기 위해 학습할 이미지를 입력받을 수 있고, 입력된 이미지를 변환할 수 있다(S2001).
즉, 사물인식장치(10)는 이미지상의 사물이 회전된 각도에 따라 사물이 평행이동 되도록 이미지를 변환할 수 있다.
예를 들어, 사물인식장치(10)는 입력된 이미지를 직교 좌표계에서 극좌표계로 변환하여 이미지에 포함된 픽셀의 위치를 재배치할 수 있다.
이를 위해, 사물인식장치(10)는 이미지 상의 중심점에서 최대 이격된 픽셀까지의 거리를 기초로 이미지에 포함된 픽셀을 샘플링할 수 있고, 이미지의 θ 축의 해상도가 2πR 로 변환된 이미지를 생성할 수 있다. 이때, 샘플링하려는 픽셀의 위치가 정수로 나누어 떨어지지 않는 경우 사물인식장치(10)는 가장 가까운 정수 값으로 라운딩할 수 있다.
이후, 사물인식장치(10)는 변환된 이미지를 기초로 사물을 인식하기 위한 학습을 수행할 수 있다(S2002).
이미지 인식, 자연어 처리 등 패턴 인식을 위한 모델로 인간의 두뇌를 모사한 뉴럴 네트워크로 구현될 수 있는 사물인식장치(10)는 변환된 학습 이미지를 기초로 이미지 상에 포함된 사물의 특징을 학습할 수 있으며, 이미지에서 사물의 특징을 추출하는 패턴을 탐색하는 필터를 설정할 수 있다.
그리고 사물인식장치(10)는 학습된 결과를 확인하기 위해 테스트용 이미지를 입력받을 수 있고, 입력된 테스트용 이미지를 변환할 수 있다(S2003).
S2001단계와 같이 사물인식장치(10)는 테스트 이미지를 직교 좌표계에서 극좌표계로 변환할 수 있다.
이후, 사물인식장치(10)는 변환된 테스트용 이미지에 포함된 사물을 인식할 수 있다(S2004).
예를 들어, 사물인식장치(10)는 입력된 테스트 이미지에 S2002단계에서 학습을 통해 설정된 패턴을 곱하는 연산을 수행할 수 있고, 연산에 따른 결과값을 획득할 수 있으며, 획득된 결과값에 기초하여 테스트 이미지내에 학습된 사물이 존재하는지 여부를 인식할 수 있다.
이때, S2003단계에서 테스트 이미지에 포함된 사물의 회전양에 따라 변환된 테스트 이미지에서 사물이 상단 및 하단에 분할되어 표시되는 경우, 사물인식장치(10)는 변환된 테스트 이미지가 상단 및 하단이 연결된 실린더 형태인것으로 가정하여 상단의 픽셀을 하단으로 확장하여 패턴을 곱할 수 있다.
이와 같이 이미지 인식을 위한 사물인식장치(10)를 학습 시키는데 사용되는 이미지 내에 있는 사물의 회전을 평행이동된 이미지로 변환하여 학습시킴으로써 기존의 뉴럴 네트워크를 수정하지 않고도 적용할 수 있다. 또한 학습을 완료한 후 테스트를 할 때에도 인풋 이미지를 같은 방식으로 변환하여 사용함으로써 회전된 사물의 인식을 쉽게 확인할 수 있다.
도 2 를 통해 설명된 실시예에 따른 사물인식방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한 본 발명의 일실시예에 따르는 사물인식방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 본 발명의 일실시예에 따르는 사물인식방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.
10: 사물인식장치
110: 이미지변환부
120: 사물인식부

Claims (16)

  1. 회전된 사물을 인식하는 사물인식장치에 있어서,
    이미지상의 사물이 회전된 각도에 따라 상기 사물이 평행이동 되도록 상기 이미지의 각 픽셀에 대해 직교좌표계로 표현된 좌표를 극좌표계의 좌표로 변환하여 상기 이미지에 포함된 픽셀의 위치를 재배치하여 상기 이미지를 변환하는 이미지변환부; 및
    변환된 이미지를 기초로 상기 사물에 대한 패턴을 학습하고 상기 변환된 이미지에 포함된 사물을 인식하는 사물인식부를 포함하는 사물인식장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 이미지변환부는,
    상기 이미지 상의 중심점에서 최대 이격된 픽셀까지의 거리를 기초로 상기 이미지에 포함된 픽셀을 샘플링하는, 사물인식장치.
  6. 제 1 항에 있어서,
    상기 사물인식부는,
    학습을 통해 상기 사물에 대한 패턴을 탐색하는 기 설정된 크기의 필터를 구성하는 값을 설정하는, 사물인식장치.
  7. 제 6 항에 있어서,
    상기 사물인식부는,
    상기 이미지에서 탐색할 탐색영역의 크기가 상기 필터의 크기보다 작으면 상기 이미지에서 탐색이 시작된 시작영역이 상기 탐색영역에 이어지도록 패딩(padding)하는, 사물인식장치.
  8. 사물인식장치가 회전된 사물을 인식하는 방법에 있어서,
    이미지상의 사물이 회전된 각도에 따라 상기 사물이 평행이동 되도록 상기 이미지의 각 픽셀에 대해 직교좌표계로 표현된 좌표를 극좌표계의 좌표로 변환하여 상기 이미지에 포함된 픽셀의 위치를 재배치하여 상기 이미지를 변환하는 단계;
    변환된 이미지를 기초로 상기 사물에 대한 패턴을 학습하는 단계; 및
    기 변환된 이미지에 포함된 사물을 인식하는 단계를 포함하는, 사물인식방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제 8 항에 있어서,
    상기 이미지를 변환하는 단계는,
    상기 이미지 상의 중심점에서 최대 이격된 픽셀까지의 거리를 기초로 상기 이미지에 포함된 픽셀을 샘플링하는 단계를 포함하는, 사물인식방법.
  13. 제 8 항에 있어서,
    상기 사물에 대한 패턴을 학습하는 단계는,
    학습을 통해 상기 사물에 대한 패턴을 탐색하는 기 설정된 크기의 필터를 구성하는 값을 설정하는 단계를 포함하는, 사물인식방법.
  14. 제 13 항에 있어서,
    상기 사물을 인식하는 단계는,
    상기 이미지에서 탐색할 탐색영역의 크기가 상기 필터의 크기보다 작으면 상기 이미지에서 탐색이 시작된 시작영역이 상기 탐색영역에 이어지도록 패딩(padding)하는 단계를 포함하는, 사물인식방법.
  15. 제 8 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  16. 사물인식장치에 의해 수행되며, 제 8 항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.
KR1020180006964A 2017-01-19 2018-01-19 회전된 사물 인식 방법 및 장치 KR102085334B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170009327 2017-01-19
KR20170009327 2017-01-19

Publications (2)

Publication Number Publication Date
KR20180085697A KR20180085697A (ko) 2018-07-27
KR102085334B1 true KR102085334B1 (ko) 2020-03-05

Family

ID=63078573

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180006964A KR102085334B1 (ko) 2017-01-19 2018-01-19 회전된 사물 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102085334B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11450041B2 (en) 2019-11-04 2022-09-20 Samsung Electronics Co., Ltd. Method and electronic device for correcting handwriting input

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7577297B2 (en) 2002-12-16 2009-08-18 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
US20160035078A1 (en) * 2014-07-30 2016-02-04 Adobe Systems Incorporated Image assessment using deep convolutional neural networks

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1115973A (ja) * 1997-06-23 1999-01-22 Mitsubishi Electric Corp 画像認識装置
KR101118978B1 (ko) * 2010-03-19 2012-02-28 한국산업기술대학교산학협력단 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치 및 그 방법
KR102450971B1 (ko) * 2015-05-08 2022-10-05 삼성전자주식회사 객체 인식 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7577297B2 (en) 2002-12-16 2009-08-18 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
US20160035078A1 (en) * 2014-07-30 2016-02-04 Adobe Systems Incorporated Image assessment using deep convolutional neural networks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11450041B2 (en) 2019-11-04 2022-09-20 Samsung Electronics Co., Ltd. Method and electronic device for correcting handwriting input

Also Published As

Publication number Publication date
KR20180085697A (ko) 2018-07-27

Similar Documents

Publication Publication Date Title
Chen et al. Backbone is all your need: A simplified architecture for visual object tracking
Coors et al. Spherenet: Learning spherical representations for detection and classification in omnidirectional images
US11055535B2 (en) Method and device for video classification
Liao et al. DR-GAN: Automatic radial distortion rectification using conditional GAN in real-time
Kumar et al. Deviant: Depth equivariant network for monocular 3d object detection
JP2023545565A (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
CN110782420A (zh) 一种基于深度学习的小目标特征表示增强方法
CN106326830A (zh) 指纹识别方法和设备
CN111027576B (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
CN107862312A (zh) 一种基于tesseract引擎的文字识别方法、装置、设备及存储介质
US20230153965A1 (en) Image processing method and related device
CN111368733B (zh) 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端
CN114238904A (zh) 身份识别方法、双通道超分模型的训练方法及装置
KR102085334B1 (ko) 회전된 사물 인식 방법 및 장치
US11893710B2 (en) Image reconstruction method, electronic device and computer-readable storage medium
CN116912924B (zh) 一种目标图像识别方法和装置
CN113034556B (zh) 一种频域相关半稠密遥感影像匹配方法
CN112749576B (zh) 图像识别方法和装置、计算设备以及计算机存储介质
CN110827259B (zh) 一种用于目标关键点检测的样本增广的方法与设备
CN115205974A (zh) 手势识别方法及相关设备
KR102082430B1 (ko) 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법
Erhan et al. Patterns of approximated localised moments for visual loop closure detection
CN113569636B (zh) 基于球面特征的鱼眼图像特征处理方法、系统及电子设备
Liu et al. MODE: Monocular omnidirectional depth estimation via consistent depth fusion
WO2023123291A1 (zh) 时间序列信号识别方法、装置与计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right