KR101532652B1 - 영상 인식 계산 장치 및 그 방법 - Google Patents

Abstract

본 발명은 영상을 인식하고 영상 내 포함된 수식에 대한 계산결과를 출력하는 영상 인식 계산 장치에 관한 것으로서, 사전에 학습이미지를 이용한 학습과정을 수행하고 테스트이미지를 이용하여 학습결과에 대한 검증과정을 수행하며, 학습결과와 검증결과에 기초하여 영상을 인식하고 계산결과를 출력함으로써 종래의 장치에 비하여 영상 인식의 정확도가 향상된 영상 인식 계산 장치 및 그 방법을 제공한다.

Description

영상 인식 계산 장치 및 그 방법 {Image Recognition Calculating Apparatus and the Method}

본 발명은 수식을 계산하는 장치 및 그 방법에 관한 것으로서, 구체적으로는, 수식을 계산함에 있어서 사용자로부터 수식을 직접 입력받지 않고 영상 인식 장치를 통해 수식을 인식하고 계산 결과를 출력하는 영상 인식 계산 장치 및 그 방법에 관한 것이다.

기본적인 수학 연산을 도와주는 계산기는 현재 전세계 사회 전반에서 학생, 상인, 은행, 학자 등에 의하여 빈번하게 사용되고 있다.

종래의 계산 장치는 사용자로부터 수식을 입력받고 입력받은 수식에 대한 계산 결과를 제공하는데, 일반적으로 사용자는 물리적 키나 터치패드를 이용하여 숫자와 연산자가 조합된 수식을 입력하며 숫자와 연산자는 각각 한 번에 하나씩 입력된다.

따라서 종래의 계산 장치를 이용하는 경우에는 한 번에 숫자 또는 연산자를 하나씩 입력해야 하기 때문에 시간적 비효율성이 존재하며, 긴 수식을 입력할 경우 사용자의 잘못된 입력에 의한 에러율이 증가하는 문제점이 있다. 또한 미분이나 적분 등과 같은 복잡한 기능을 사용하는 경우 대부분의 계산기는 직관적으로 설계되어 있지 않아 사용자가 원하는 기능을 단시간에 사용하기 어려운 문제점이 존재한다.

이러한 문제점을 해결하고 사용자의 편의 증진을 위하여 사용자 입력이 아닌 영상 인식을 통해 수식에 대한 계산 결과를 출력하는 계산 장치들이 등장하였으나, 종래의 영상 인식 계산 장치들은 수식에 대한 인식률이 신뢰할만한 수준에 미치지 못하여 정확성이 중요한 계산 장치의 본래의 기능을 다하지 못하는 문제점을 가지고 있다.

본 발명은 전술한 문제점을 해결하기 위하여, 영상 인식 대상에 대한 학습과정을 통해 영상 인식의 정확도를 높인 영상 인식 계산 장치를 제공하는 것을 목적으로 하며, 학습결과를 데이터베이스로 관리하고 검증과정을 통해 신뢰도를 측정함으로써 영상 인식의 정확도가 유지 또는 향상될 수 있는 영상 인식 계산 장치를 제공하는 것을 목적으로 한다.

본 발명은 학습이미지를 입력받고, 입력받은 상기 학습이미지를 인식하며, 인식결과를 출력하는 학습부; 상기 인식결과를 저장하는 저장부; 및 연산이미지를 입력받고, 상기 저장부에 저장된 상기 인식결과에 기초하여 상기 연산이미지에 포함된 수식을 계산하며, 상기 수식의 계산결과를 출력하는 연산부를 포함하는 영상 인식 계산 장치를 제공한다.

본 발명의 일면에 따르면, 테스트이미지를 입력받고 상기 저장부에 저장된 인식결과에 기초하여 입력받은 상기 테스트이미지에 대한 테스트결과를 출력하는 검증부를 더 포함하되, 상기 검증부는 상기 테스트결과에 따라 상기 저장부에 저장된 인식결과에 대한 신뢰도를 갱신하는 것인 영상 인식 계산 장치를 제공한다.

본 발명의 다른 일면에 따르면, 상기 연산부는 상기 신뢰도가 기설정된 값 이상인 경우에만 상기 연산이미지에 대한 계산을 수행하고, 상기 신뢰도가 기설정된 값보다 작은 경우에는 상기 학습부에 의한 추가적인 학습을 요구하는 메시지를 출력하는 것인 영상 인식 계산 장치를 제공한다.

본 발명의 다른 일면에 따르면, 상기 학습부는 상기 연산부가 입력받은 상기 연산이미지를 인식하고 인식결과를 상기 저장부에 저장하는 것인 영상 인식 계산 장치를 제공한다.

본 발명은 학습이미지를 입력받고, 입력받은 상기 학습이미지에 대한 인식결과를 출력하는 단계; 상기 인식결과를 저장하는 단계; 테스트이미지를 입력받고, 상기 저장된 인식결과에 기초하여 상기 테스트이미지에 대한 테스트결과를 출력하는 단계; 상기 테스트결과에 기초하여 상기 저장된 인식결과에 대한 신뢰도를 갱신하는 단계; 및 연산이미지를 입력받고 상기 저장된 인식결과에 기초하여 상기 연산이미지에 포함된 수식을 식별하며 상기 수식의 계산결과를 출력하되, 상기 신뢰도가 기설정된 값 이상이면 상기 연산이미지에 대한 계산결과를 출력하고 상기 신뢰도가 기설정된 값보다 작으면 추가적인 학습 요청 메시지를 출력하는 단계를 포함하는 영상 인식 계산 방법으로 이용될 수 있다.

본 발명은 영상 인식을 통한 계산 결과를 제공함에 있어서 사전에 학습과정과 검증과정을 수행함으로써, 영상 인식의 정확도가 향상된 영상 인식 계산 장치를 제공한다.

도 1은 본 발명의 일실시예에 따른 영상 인식 계산 장치의 구조를 나타낸 블록도.
도 2 내지 도 4는 본 발명의 일실시예에 따른 영상 인식 계산 방법의 과정을 나타낸 흐름도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 영상 인식 계산 장치의 구조를 나타낸 블록도이다.

본 발명의 일실시예에 따른 영상 인식 계산 장치는 수식 등이 포함된 영상을 인식하고 계산결과를 출력함에 있어서 사전에 학습과정과 검증과정을 통해 영상 인식의 정확도를 향상시킨 영상 인식 계산 장치로서, 학습부(100), 저장부(110), 연산부(120) 및 검증부(130)를 포함한다.

학습부(100)는 영상 인식 계산 장치가 연산이미지를 인식하기에 앞서 학습결과를 생성하는 것으로서, 학습이미지를 입력받고 입력받은 이미지에 대한 학습과정을 수행하여 그 결과를 출력한다. 학습이미지는 문자/숫자/연산자 등과 같은 단위에 대한 이미지와 그에 상응하는 라벨로 준비된다.

학습부(100)는 입력받은 학습이미지에 대한 전처리 과정을 수행한다. 전처리 과정은 이진화, 크기 정규화, 모폴로지 연산 등의 과정을 포함한다.

학습부(100)는 전처리 과정을 수행한 후, 학습이미지의 특징점을 추출하고 기계학습 알고리즘을 이용하여 학습이미지를 분류하며 그 결과를 저장부(110)에 저장한다.

전술한 과정은 영상 인식 계산 장치로 하여금 각 라벨에 대한 특성을 학습시키는 단계로 한 라벨에 상응하는 다양한 데이터(hand-written and machine-printed)를 입력 값으로 넣어 그 라벨에 대한 신뢰도를 향상시킬 수 있도록 한다.

연산부(120)는 연산이미지를 입력받고, 연산이미지에 포함된 수식을 인식하여 상기 수식에 대한 계산결과를 출력한다.

연산부(120)는 연산이미지를 입력받으면 연산이미지에 대한 전처리 과정을 수행하고 특징점을 추출하며 추출한 특징점에 기초하여 연산이미지를 분류한다. 연산부(120)는 연산이미지를 연산자와 피연산자로 구분하고 수식을 계산하며 계산결과 값을 출력한다.

연산부(120)는 연산이미지를 분류함에 있어서, 학습부(100)에 의하여 학습되어 저장부(110)에 저장된 인식결과 데이터를 이용한다. 연산부(120)는 저장부(110)에 저장된 학습 데이터를 요청하고, 저장부(110)로부터 전달받은 학습 데이터에 기초하여 연산이미지를 분류한다. 따라서 사전에 학습된 결과를 이용하여 연산이미지를 분류함으로써 연산이미지 인식의 정확도가 높아지는 이점을 제공한다.

한편 본 발명의 다른 실시예에 따르면, 학습부(100)는 학습이미지로 입력된 이미지뿐만 아니라 연산이미지로 입력된 이미지에 대한 학습과정을 수행하고, 그 인식결과 값을 저장부(110)에 저장할 수도 있다.

즉, 본 발명은 기저장된 학습 데이터의 양이 많고 데이터에 대한 신뢰도가 높을수록 향상된 효과를 제공하므로, 연산이미지로 제공된 이미지에 대해서도 학습과정을 수행하여 저장부(110)에 저장된 학습 데이터를 추가 또는 보완하도록 할 수도 있다.

검증부(130)는 학습부(100)에 의하여 학습된 결과의 신뢰도를 테스트하기 위한 구성으로서, 테스트이미지를 입력받아 테스트결과를 출력하고 기저장된 학습결과에 대한 신뢰도를 측정 또는 갱신한다.

검증부(130)는 테스트이미지를 입력받아 전처리 과정을 수행하고 특징점을 추출한다. 그리고 추출된 특징점을 저장부(110)에 저장된 학습결과 정보와 비교하여 테스트이미지를 분류한다. 검증부(130)는 테스트이미지의 분류 결과가 실제 입력된 테스트이미지와 일치하는지 여부를 확인하고, 확인결과를 출력한다.

검증부(130)는 확인결과에 기초하여 저장부(110)에 저장된 학습결과에 대한 신뢰도를 갱신한다. 따라서 검증부(130)의 테스트 결과가 입력된 값과 일치하는 경우에는 신뢰도를 증가시키고, 일치하지 않는 경우에는 신뢰도를 감소시킨다.

검증부(130)는 신뢰도 값이 기설정된 값보다 작으면 학습부(100)에 의한 학습량을 증가시킬 수 있다.

또는 연산부(120)가 연산이미지에 대한 연산을 수행할 때 신뢰도가 일정 수준 이상이면 연산이미지에 대한 연산을 수행하고, 신뢰도가 일정 수준보다 낮으면 학습부(100)에 의한 추가적인 학습을 요구하는 메시지를 출력하여 학습부(100)에 의한 학습과정과 검증부(130)에 의한 검증과정이 더 수행되도록 함으로써 신뢰도가 향상되도록 할 수도 있다.

따라서 본 발명은 학습과정과 검증과정을 수행하여 영상 인식의 정확도를 향상시킨 영상 인식 계산 장치를 제공함으로써, 종래의 계산 장치의 인식률 문제를 해소한 계산 장치를 제공한다.

도 2 내지 도 4는 본 발명의 일실시예에 따른 영상 인식 계산 방법의 과정을 나타낸 흐름도로서, 도 2는 영상 인식 계산 장치에 의한 학습과정, 도 3은 검증과정 그리고 도 4는 연산과정을 나타낸 것이다.

도 2가 도시하는 영상 인식 계산 장치에 의한 학습과정은 학습할 단일의 문자, 숫자 또는 수식에 대한 이미지(학습이미지)를 입력받으면(S200), 학습이미지에 대한 전처리 과정을 수행하고(S220) 상기 학습이미지의 특징점을 추출한다(S240).

전처리 과정은 이진화, 크기 정규화 또는 모폴로지 연산 등을 의미하며, 이미지의 특징점을 추출하는 과정은 다양한 특징 추출 알고리즘이 적용될 수 있다.

학습이미지의 특징점이 추출되면 다양한 기계학습 알고리즘을 이용하여 학습이미지를 분류하고(S260), 학습이미지에 대한 인식결과를 저장한다(S280). 그리고 저장된 인식결과는 추후 검증과정이나 연산과정에서 이용된다.

도 3에 도시된 영상 인식 장치에 의한 검증과정은 전술한 학습과정에 의하여 저장된 결과의 신뢰도를 테스트하는 단계이다.

영상 인식 계산 장치는 테스트이미지를 입력받으면(S300), 입력받은 테스트이미지에 대한 전처리 과정을 수행하고(S310) 테스트이미지의 특징점을 추출한다(S320).

그리고 기저장된 인식결과에 기초하여 테스트이미지를 분류하고(S330), 테스트이미지의 분류결과가 입력한 테스트이미지에 포함된 문자, 숫자 또는 수식과 일치하는 여부를 확인하여 테스트 결과를 출력한다(S340).

테스트 결과가 입력값과 인식값이 일치하는 경우에는 기저장된 학습결과에 대한 신뢰도를 증가시키고, 그렇지 않은 경우에는 신뢰도를 감소시켜 검증과정이 수행될 때마다 학습결과에 대한 신뢰도를 갱신한다(S350).

상기 신뢰도는 이후에 연산과정의 수행 여부를 결정하거나 학습과정의 반복 여부의 결정함에 있어서 결정 기준으로 사용되고, 신뢰도를 통해 학습 여부와 연산 여부를 조절할 수 있게 한다.

도 4는 영상 인식 계산 장치에 의하여 연산과정이 수행되는 것을 나타낸 도면이다.

영상 인식 계산 장치가 연산이미지를 입력받으면(S400), 연산이미지에 대한 전처리 과정을 수행하고(S420) 연산이미지의 특징점을 추출한다(S440).

그리고 추출한 특징점을 기저장된 학습결과와 비교하여 상기 연산이미지를 연산자와 피연산자로 분류하고(S460), 수식에 대한 계산을 수행한 후 연산결과를 출력하여 사용자에게 제공한다(S480).

즉, 본 발명은 수식이 포함된 영상을 인식하여 연산을 수행하기에 앞서 학습이미지를 통한 학습과정과 테스트이미지를 통한 검증과정을 수행하고, 학습과정과 검증과정의 결과를 관리, 갱신하여 연산과정에서 활용함으로써, 종래의 영상 인식 계산 장치에 비하여 영상 인식의 정확도가 향상된 영상 인식 제공 장치 및 그 방법을 제공한다.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

1. 학습이미지를 입력받고, 입력받은 상기 학습이미지에 대한 학습과정을 수행하고, 상기 학습이미지에 대한 학습결과를 출력하는 학습부;
   상기 학습이미지에 대한 학습결과를 저장하는 저장부; 및
   연산이미지를 입력받고, 상기 저장부에 저장된 상기 학습결과에 기초하여 상기 연산이미지에 포함된 수식을 계산하며, 상기 수식의 계산결과를 출력하는 연산부를 포함하되,
   상기 학습부는 상기 입력받은 연산이미지에 대한 학습과정을 수행하고 상기 연산이미지에 대한 학습결과를 상기 저장부에 저장하는 것
   인 영상 인식 계산 장치.
   
2. 제1항에 있어서,
   테스트이미지를 입력받고, 상기 저장부에 저장된 학습결과에 기초하여 입력받은 상기 테스트이미지에 대한 테스트결과를 출력하는 검증부
   를 더 포함하는 영상 인식 계산 장치.
   
3. 제2항에 있어서, 상기 검증부는
   상기 테스트결과에 따라 상기 저장부에 저장된 학습결과에 대한 신뢰도를 갱신하는 것
   인 영상 인식 계산 장치.
   
4. 제3항에 있어서, 상기 연산부는
   상기 신뢰도가 기설정된 값 이상인 경우에만 상기 연산이미지에 대한 계산을 수행하는 것
   인 영상 인식 계산 장치.
   
5. 제4항에 있어서, 상기 연산부는
   상기 신뢰도가 기설정된 값보다 작은 경우에는 상기 학습부에 의한 추가적인 학습을 요구하는 메시지를 출력하는 것
   인 영상 인식 계산 장치.
   
6. 제1항에 있어서, 상기 학습부는
   상기 학습이미지에 대한 전처리과정을 수행하고, 특징점을 추출하며, 상기 특징점에 기초하여 상기 학습이미지를 분류하는 것
   인 영상 인식 계산 장치.
   
7. 삭제
8. 제1항에 있어서, 상기 연산부는
   상기 연산이미지에 대한 전처리과정을 수행하고, 특징점을 추출하며, 상기 연산이미지에 포함된 수식을 연산자와 피연산자로 구분하고, 상기 수식을 계산하는 것
   인 영상 인식 계산 장치.
   
9. 학습이미지를 입력받고, 입력받은 상기 학습이미지에 대한 학습결과를 출력하는 단계;
   상기 학습결과를 저장하는 단계;
   연산이미지를 입력받고, 상기 저장된 학습결과에 기초하여 상기 연산이미지에 포함된 수식을 식별하며, 상기 수식의 계산결과를 출력하는 단계; 및
   상기 연산이미지에 대한 학습과정을 수행하고 상기 연산이미지에 대한 학습결과를 저장하는 단계
   를 포함하는 영상 인식 계산 방법.
   
10. 제9항에 있어서,
    테스트이미지를 입력받고, 상기 저장된 학습결과에 기초하여 상기 테스트이미지에 대한 테스트결과를 출력하는 단계; 및
    상기 테스트결과에 기초하여 상기 저장된 학습결과에 대한 신뢰도를 갱신하는 단계
    를 더 포함하는 영상 인식 계산 방법.
    
11. 제10항에 있어서,
    상기 신뢰도가 기설정된 값 이상이면 상기 연산이미지에 대한 계산결과를 출력하고, 상기 신뢰도가 기설정된 값보다 작으면 추가적인 학습 요청 메시지를 출력하는 단계
    를 더 포함하는 영상 인식 계산 방법.
    
12. 삭제

Images