KR102071975B1

KR102071975B1 - Apparatus and method for paying card using optical character recognition

Info

Publication number: KR102071975B1
Application number: KR1020180032200A
Authority: KR
Inventors: 권해원; 이경무
Original assignee: 주식회사 페이콕
Priority date: 2018-03-20
Filing date: 2018-03-20
Publication date: 2020-04-01
Also published as: KR20190110334A

Abstract

본 발명의 일 실시 예에 의한 광학적 문자 인식을 사용하는 카드 결제 방법은, 이동 단말이 초당 프레임 수(Frame Per Second: FPS)에 기초하여 복수개의 영상을 획득하는 단계; 와 상기 이동 단말이 상기 복수개의 영상을 분석하는 단계; 와 상기 복수개의 영상이 결제카드에 대한 것인 경우, 상기 이동 단말이 상기 초당 프레임 수를 높이는 단계; 와 상기 이동 단말이 상기 복수개의 영상을 이미지 변화가 큰 제1영상과 상기 이미지 변화가 작은 제2영상으로 분류하는 단계; 및 상기 이동 단말이 상기 제1영상을 서버에 전송하는 단계를 포함한다.Card payment method using an optical character recognition according to an embodiment of the present invention, the mobile terminal obtaining a plurality of images based on the number of frames per second (Frame Per Second: FPS); And the mobile terminal analyzing the plurality of images; And if the plurality of images are for a payment card, the mobile terminal increasing the number of frames per second; And the mobile terminal classifying the plurality of images into a first image having a large image change and a second image having a small image change; And transmitting, by the mobile terminal, the first image to a server.

Description

Card payment device and method using optical character recognition {APPARATUS AND METHOD FOR PAYING CARD USING OPTICAL CHARACTER RECOGNITION}

본 발명은 광학적 문자 인식을 사용하는 카드 결제 장치 및 방법에 대한 것으로서, 보다 구체적으로 모바일 단말에서 서버로 전송되는 결제정보의 전송 속도를 동적으로 할당하고, 서버에서의 분석에 필요한지 여부를 판단하여 결제정보를 선택적으로 전송함으로써 전송되는 결제정보의 데이터 사용량을 감소시키는 광학적 문자 인식을 사용하는 카드 결제 장치 및 방법에 관한 것이다.The present invention relates to a card payment device and method using optical character recognition, and more specifically, dynamically allocates a transmission rate of payment information transmitted from a mobile terminal to a server, determines whether it is necessary for analysis on the server, and makes payment The present invention relates to a card payment apparatus and method using optical character recognition to reduce data usage of transmitted payment information by selectively transmitting information.

모바일 결제 기술이 발전하고 스마트폰이 널리 보급됨에 따라, 스마트폰을 이용한 결제가 증가하고 있는 추세이다. 이에 따라, 최근 스마트폰을 이용한 결제 시, 결제카드에 형성되어 있는 카드정보를 광학적 수단으로 인식하고, 인식한 카드정보를 이용하여 결제를 수행하는 방식이 사용되고 있다.With the development of mobile payment technology and the widespread use of smart phones, payment using smart phones is increasing. Accordingly, in a recent payment using a smart phone, a method of recognizing card information formed on a payment card by an optical means and performing payment using the recognized card information is used.

카드정보는 광학적 문자 인식(Optical Character Recognition: OCR)을 사용하여 인식될 수 있다. 광학적 문자 인식이란, 인쇄된 문자 또는 수기 문자를 영상으로 획득하고 영상에 빛을 비추어 판독하여, 패턴 인식에 의해 문자 코드로 변환하는 방식이다.Card information can be recognized using Optical Character Recognition (OCR). Optical character recognition is a method of acquiring a printed character or handwritten character as an image, reading the light on the image, and converting it into a character code by pattern recognition.

광학적 문자 인식에 의한 결제 시, 스마트폰은 결제카드의 영상을 획득하여 카드정보를 추출한 후 추출한 카드정보를 서버에 전송하거나, 결제카드의 영상을 획득하여 서버로 전송하게 된다.Upon payment by optical character recognition, the smartphone acquires the image of the payment card, extracts the card information, and then transmits the extracted card information to the server or acquires the image of the payment card and transmits it to the server.

전자의 경우 카드정보는 문자 또는 숫자 형태이므로, 데이터 량이 크지 않을 뿐 아니라 데이터 전송 시 요구되는 네트워크 대역폭도 크지 않다. 그러나, 후자의 경우 결제카드의 영상은 문자 또는 숫자에 비해 데이터 량이 크고, 이에 의해 데이터 전송 시 요구되는 네트워크 대역폭 또한 증가한다는 문제점이 있다.In the former case, since card information is in the form of letters or numbers, the amount of data is not large and the network bandwidth required for data transmission is not large. However, in the latter case, there is a problem that the amount of data in the payment card is larger than that of letters or numbers, thereby increasing the network bandwidth required for data transmission.

또한, 모바일 단말에서 전송되는 결제정보는, 소정 시간내 완료되어야 하는 결제절차의 특성 및 서버에서의 분석을 위해 요구되는 시간을 고려하여, 다른 데이터보다 상대적으로 신속하게 전송될 필요가 있다.In addition, the payment information transmitted from the mobile terminal needs to be transmitted relatively quickly than other data in consideration of the characteristics of the payment procedure to be completed within a predetermined time and the time required for analysis on the server.

본 발명은 모바일 단말에서 서버로 전송되는 결제정보의 전송 속도를 동적으로 할당하는 광학적 문자 인식을 사용하는 카드 결제 장치 및 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a card payment apparatus and method using optical character recognition that dynamically allocates a transmission speed of payment information transmitted from a mobile terminal to a server.

또한, 본 발명은 서버에서의 분석에 필요한지 여부를 판단하여 결제정보를 선택적으로 전송함으로써 전송되는 결제정보의 데이터 사용량을 감소시키는 광학적 문자 인식을 사용하는 카드 결제 장치 및 방법을 제공하는 것을 목적으로 한다.In addition, an object of the present invention is to provide a card payment apparatus and method using optical character recognition to reduce data usage of transmitted payment information by determining whether it is necessary for analysis on a server and selectively transmitting payment information. .

나아가, 본 발명은 서버에서의 분석에 불필요한 데이터와 필요한 데이터에 대한 정보를 송신 측에서 판별하여 수신 측으로 전송하거나, 수신 측에서 판별하여 송신 측에 전달하고 송신 측은 이러한 정보를 취합하여 전송할 데이터를 판별하는 광학적 문자 인식을 사용하는 카드 결제 장치 및 방법을 제공하는 것을 목적으로 한다.Furthermore, in the present invention, information about data unnecessary for analysis in the server and necessary data is determined by the transmitting side and transmitted to the receiving side, or it is determined by the receiving side and transmitted to the transmitting side, and the transmitting side collects such information to determine data to be transmitted. An object of the present invention is to provide a card payment device and method using optical character recognition.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재에 의해 제안되는 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned are obvious to those skilled in the art to which the embodiments proposed by the following description belong. It can be understood.

본 발명의 다른 실시 예에 따른 광학적 문자 인식을 사용하는 이동 단말은, 초당 프레임 수(FPS)에 기초하여 복수개의 영상을 획득하는 영상 처리부; 와 상기 복수개의 영상을 분석하는 제1분석부; 와 상기 복수개의 영상이 결제카드에 대한 것인 경우, 상기 초당 프레임 수를 높이는 프레임 속도 설정부; 와 상기 복수개의 영상을 이미지 변화가 큰 제1영상과 상기 이미지 변화가 작은 제2영상으로 분류하는 제어부; 및 상기 제1영상을 서버에 전송하는 송수신부를 포함한다. A mobile terminal using optical character recognition according to another embodiment of the present invention includes: an image processing unit acquiring a plurality of images based on frames per second (FPS); And a first analysis unit analyzing the plurality of images. And a frame rate setting unit for increasing the number of frames per second when the plurality of images are for a payment card. And a control unit for classifying the plurality of images into a first image having a large image change and a second image having a small image change; And a transmitting / receiving unit transmitting the first image to a server.

본 발명에 따른 실시 예들에 의하면, 영상을 분석하기 위해 서버로 영상 프레임을 전송하는 경우 가변 주기로 영상 프레임을 전송함으로써, 영상을 분석하기에 충분한 데이터 양을 유지할 수 있다.According to embodiments of the present invention, when transmitting an image frame to a server to analyze the image, by transmitting the image frame at a variable period, it is possible to maintain a sufficient amount of data to analyze the image.

또한, 본 발명에 따른 실시 예들에 의하면, 분석에 필요하지 않은 영상 프레임을 전송하지 않음으로써, 서버로 전송하는 결제정보의 데이터 사용량을 줄여 데이터 사용 비용과 서버 부하를 감소시킬 수 있다.In addition, according to embodiments of the present invention, by not transmitting video frames that are not required for analysis, data usage of the payment information transmitted to the server can be reduced to reduce data usage cost and server load.

나아가, 본 발명에 따른 실시 예들에 의하면, 서버에서 분석하는 데이터의 양을 줄여 영상을 분석하는데 필요한 자원을 줄일 수 있다.Further, according to embodiments of the present invention, it is possible to reduce the amount of data required to analyze an image by reducing the amount of data analyzed by the server.

도 1은 본 발명의 일 실시 예에 의한 카드 결제 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 의한 카드 결제 장치에 포함되는 이동 단말의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시 예에 의한 카드 결제 장치에 포함되는 서버의 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시 예에 의한 카드 결제 과정을 도시한 도면이다.
도 5a 내지 도 5c는 본 발명의 일 실시 예에 의한 카드 결제 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 의한 카드 결제 장치가 결제카드 영상의 에지를 추출하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시 예에 의한 카드 결제 과정을 도시한 도면이다.
도 8은 본 발명의 다른 실시 예에 의한 카드 결제 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 또 다른 실시 예에 의한 카드 결제 과정을 도시한 도면이다.1 is a view showing a card payment device according to an embodiment of the present invention.
2 is a block diagram showing the configuration of a mobile terminal included in a card payment apparatus according to an embodiment of the present invention.
3 is a block diagram showing the configuration of a server included in a card payment device according to an embodiment of the present invention.
4 is a view showing a card payment process according to an embodiment of the present invention.
5A to 5C are diagrams for explaining a card payment method according to an embodiment of the present invention.
6 is a view for explaining a method of extracting the edge of the payment card image by the card payment device according to an embodiment of the present invention.
7 is a view showing a card payment process according to another embodiment of the present invention.
8 is a view for explaining a card payment method according to another embodiment of the present invention.
9 is a view showing a card payment process according to another embodiment of the present invention.

이하에서는 본 발명의 구체적인 실시예를 도면을 참조하여 상세히 설명한다. 그러나 본 발명의 기술적 사상이 이하에서 기술되는 실시예들에 의하여 제한되는 것은 아니며, 또 다른 구성요소의 추가, 변경 및 삭제 등에 의해서 퇴보적인 다른 발명이나 본 발명의 기술적 사상의 범위 내에 포함되는 다른 실시예들을 용이하게 제안할 수 있다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. However, the technical spirit of the present invention is not limited by the embodiments described below, and other implementations that fall within the scope of the technical spirit of the present invention or other inventions that are backward due to the addition, modification, and deletion of other components. You can easily suggest examples.

본 발명에서 사용되는 용어는 가능한 한 현재 해당 기술과 관련하여 널리 사용되는 일반적인 용어를 선택하였으나, 특별한 경우에는 출원인이 임의로 선정한 용어도 있으며 이 경우 해당되는 발명의 설명 부분에서 그 의미를 상세히 기재하였다. 그러므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 미리 밝혀둔다. 이하에서 기술하는 설명에 있어서, 단어 '포함하는'은 열거된 것과 다른 구성요소들 또는 단계들의 존재를 배제하지 않는다.The terminology used in the present invention has been selected, as far as possible, the general terminology widely used in connection with the present technology, but in special cases, the term is arbitrarily selected by the applicant, and in this case, its meaning is described in detail in the description of the applicable invention. Therefore, it is revealed in advance that the present invention should be grasped as the meaning of the term rather than the name of the simple term. In the descriptions below, the word 'comprising' does not exclude the presence of elements or steps other than those listed.

도 1은 본 발명의 일 실시 예에 의한 카드 결제 장치를 도시한 도면이다.1 is a view showing a card payment device according to an embodiment of the present invention.

본 발명의 일 실시 예에 의한 카드 결제 장치는 광학적 문자 인식을 사용하여 결제를 수행할 수 있다. 이를 위해, 카드 결제 장치는, 지불인 측에 구현되는 이동 단말(200)과, 수취인 측에 구현되는 서버(300)를 포함할 수 있다. The card payment apparatus according to an embodiment of the present invention may perform payment using optical character recognition. To this end, the card payment device may include a mobile terminal 200 implemented on the payer side and a server 300 implemented on the payee side.

이동 단말(200)과 서버(300)는 결제를 위해 결제정보를 서로 송수신할 수 있다. 여기서, 결제정보는, 결제를 위해 요구되는 정보와, 결제 절차와 관련되는 정보를 포함할 수 있다. 결제를 위해 요구되는 정보는, 결제카드 영상, 결제카드 정보 등을 포함할 수 있다. 결제 절차와 관련되는 정보는, 결제카드 정보를 추출하기 위하여 필요한 영상 프레임의 수나 전송 주기, 영상 프레임의 수신 시간 등을 포함할 수 있다. 또한, 결제카드 정보는, 카드 번호, 카드 유효기간, CVC 번호, 카드 소지자의 성명 등을 포함할 수 있다. 이 경우, 결제카드는 신용카드, 체크카드 등 모든 종류의 카드를 포함할 수 있다.The mobile terminal 200 and the server 300 may transmit and receive payment information to each other for payment. Here, the payment information may include information required for payment and information related to the payment procedure. Information required for payment may include payment card images, payment card information, and the like. The information related to the payment procedure may include the number of video frames required for extracting payment card information, a transmission period, and a reception time of the video frames. In addition, the payment card information may include a card number, a card validity period, a CVC number, and a name of the card holder. In this case, the payment card may include all types of cards such as credit cards and check cards.

이동 단말(200)은 카드결제를 수행하는 지불인(payor)이 소유한 지불인 측 장치일 수 있다.The mobile terminal 200 may be a payer side device owned by a payer performing card payment.

이동 단말(200)은 서버(300)에 결제정보를 전송할 수 있다.The mobile terminal 200 may transmit payment information to the server 300.

일 실시 예에 의하면, 이동 단말(200)은 결제카드 영상을 전송할 수 있다. 이 경우, 이동 단말(200)은 결제카드를 스캔하여 결제카드 영상을 획득하고, 결제카드 영상을 서버(300)에 전송할 수 있다. According to an embodiment, the mobile terminal 200 may transmit a payment card image. In this case, the mobile terminal 200 may scan the payment card to obtain a payment card image, and transmit the payment card image to the server 300.

다른 실시 예에 의하면, 이동 단말(200)은 결제카드 정보를 전송할 수 있다. 이 경우, 이동 단말(200)은 결제카드를 스캔하여 결제카드 영상을 획득하고, 광학적 문자 인식을 사용하여 결제카드 영상에서 결제카드 정보를 추출한 후, 결제카드 정보를 서버(300)에 전송할 수 있다.According to another embodiment, the mobile terminal 200 may transmit payment card information. In this case, the mobile terminal 200 scans the payment card to obtain a payment card image, extracts payment card information from the payment card image using optical character recognition, and then transmits the payment card information to the server 300. .

서버(300)는 카드결제를 승인하는 수취인(payee)이 소유한 수취인 측 장치일 수 있다.The server 300 may be a payee-side device owned by a payee that approves card payment.

서버(300)는 이동 단말(200)로부터 결제정보를 수신할 수 있다.The server 300 may receive payment information from the mobile terminal 200.

일 실시 예에 의하면, 서버(300)는 결제카드 영상을 수신할 수 있다. 이 경우, 서버(300)는 광학적 문자 인식을 사용하여 결제카드 영상에서 결제카드 정보를 추출한 후, 결제카드 정보에 기초하여 카드결제를 승인할 수 있다.According to an embodiment, the server 300 may receive a payment card image. In this case, the server 300 may extract payment card information from the payment card image using optical character recognition, and then approve the card payment based on the payment card information.

다른 실시 예에 의하면, 서버(300)는 결제카드 정보를 수신할 수 있다. 이 경우, 서버(300)는 수신한 결제카드 정보에 기초하여 카드결제를 승인할 수 있다.According to another embodiment, the server 300 may receive payment card information. In this case, the server 300 may approve the card payment based on the received payment card information.

한편, 도 1에서, 이동 단말(200)은 태블릿 PC, 랩탑 컴퓨터, 데스크 탑 PC 등의 형태로 구현될 수도 있다. 또한, 서버(300)는 모바일 단말, 태블릿 PC, 랩탑 컴퓨터, 데스크 탑 PC 등의 형태로 구현될 수도 있다.Meanwhile, in FIG. 1, the mobile terminal 200 may be implemented in the form of a tablet PC, a laptop computer, a desk top PC, and the like. Further, the server 300 may be implemented in the form of a mobile terminal, a tablet PC, a laptop computer, a desk top PC, and the like.

도 2는 본 발명의 일 실시 예에 의한 카드 결제 장치에 포함되는 이동 단말의 구성을 도시한 블록도이다.2 is a block diagram showing the configuration of a mobile terminal included in a card payment apparatus according to an embodiment of the present invention.

이동 단말(200)은 카드결제를 수행하는 지불인(payor)이 소유한 지불인 측 장치로서, 서버(300)에 결제정보를 전송할 수 있다. 이를 위해, 이동 단말(200)은 영상 처리부(210), 제1 분석부(220), 프레임 속도 설정부(230), 송수신부(240) 및 제어부(250)를 포함할 수 있다.The mobile terminal 200 is a payer-side device owned by a payer performing card payment, and may transmit payment information to the server 300. To this end, the mobile terminal 200 may include an image processing unit 210, a first analysis unit 220, a frame rate setting unit 230, a transmission / reception unit 240, and a control unit 250.

영상 처리부(210)는 영상을 처리하여 표시할 수 있다. 이를 위해, 영상 처리부(210)는 카메라, 광학식 스캐너, 광을 조사하는 광 소자 등을 포함할 수 있다.The image processing unit 210 may process and display an image. To this end, the image processing unit 210 may include a camera, an optical scanner, an optical element that irradiates light, and the like.

일 실시 예에 의하면, 영상 처리부(210)는 결제카드 영상을 획득할 수 있다. 이 경우, 영상 처리부(210)는 광학적 문자 인식을 사용한 결제 절차가 개시되어 카메라가 활성화되면, 카메라 화면상에 비춰진 결제카드를 스캔하여 결제카드 영상을 획득할 수 있다. 구체적으로, 영상 처리부(210)는 웹 브라우저에서 사용하는 기본 프로그래밍 언어 중 하나인 HTML을 사용하여 카메라에 접근함으로써 영상을 획득할 수 있다. 이 경우, 영상 처리부(210)는 HTML의 getUserMedia() 함수를 사용하여 이동 단말(200)의 미디어 장치에 접근할 수 있다. 예를 들어, 영상 처리부(210)는 이동 단말(200)의 미디어 장치들(예를 들어, 전면 카메라, 후면 카메라, 마이크 등) 중 후면 카메라를 지정하고, 받아올 영상의 해상도 및 추가 옵션 등을 지정할 수 있다. 이 경우, 디바이스 별, 운영체제 별, 브라우저 버전 별로 가능한 해상도와 카메라에 접근하는 방법이 다르기 때문에, 영상 처리부(210)는 다양한 환경에서 동작하도록 설정될 수 있다.According to an embodiment, the image processing unit 210 may acquire a payment card image. In this case, the image processing unit 210 may acquire a payment card image by scanning a payment card projected on the camera screen when a payment process using optical character recognition is started and the camera is activated. Specifically, the image processing unit 210 may acquire an image by accessing the camera using HTML, which is one of the basic programming languages used in the web browser. In this case, the image processing unit 210 may access the media device of the mobile terminal 200 using the getUserMedia () function of HTML. For example, the image processing unit 210 designates a rear camera among media devices (eg, front camera, rear camera, microphone, etc.) of the mobile terminal 200, and determines the resolution and additional options of the image to be received. Can be specified. In this case, since a possible resolution and a method of accessing the camera are different for each device, for each OS, and for each browser version, the image processing unit 210 may be set to operate in various environments.

다른 실시 예에 의하면, 영상 처리부(210)는 결제카드 정보를 획득할 수 있다. 이 경우, 영상 처리부(210)는 결제카드 영상을 획득하고, 결제카드 영상에 대해 광학적 문자 인식을 수행하여 결제카드 정보를 추출할 수 있다.According to another embodiment, the image processing unit 210 may obtain payment card information. In this case, the image processing unit 210 may acquire a payment card image and extract payment card information by performing optical character recognition on the payment card image.

영상 처리부(210)는 설정된 초당 프레임 수(Frame Per Second: FPS)에 따라 영상을 스캔하거나 촬영할 수 있다. 여기서, 초당 프레임 수는 1초에 스캔하거나 촬영하는 영상 프레임의 개수로 정의된다. 예를 들어, 60FPS는 1초에 60장의 영상 프레임을 스캔 또는 촬영한다.The image processing unit 210 may scan or photograph an image according to a set frame per second (FPS). Here, the number of frames per second is defined as the number of image frames scanned or photographed in one second. For example, 60FPS scans or shoots 60 video frames per second.

영상 처리부(210)는 스캔 또는 촬영된 복수개의 영상 프레임에 대해 영상 처리를 수행할 수 있다. 여기서, 영상 처리는, 영상 개선, 영상 복원, 영상 변환, 영상 분석, 영상 인식, 영상 압축 등을 포함할 수 있다. 이를 위해, 영상 처리부(210)는 화소 점처리, 영역 처리, 기하학적 처리, 프레임 처리 등의 알고리즘을 사용할 수 있다.The image processing unit 210 may perform image processing on a plurality of image frames scanned or photographed. Here, the image processing may include image enhancement, image restoration, image conversion, image analysis, image recognition, image compression, and the like. To this end, the image processing unit 210 may use algorithms such as pixel point processing, area processing, geometric processing, and frame processing.

제1분석부(220)는 스캔 또는 촬영된 복수개의 영상 프레임에 대해 제1분석을 수행할 수 있다. 여기서, 제1분석은, 영상 프레임이 결제카드 영상인지 여부, 영상 프레임이 이전 영상 프레임과 비교하여 이미지의 변화가 적은지 여부 등을 포함할 수 있다.The first analysis unit 220 may perform a first analysis on a plurality of image frames scanned or photographed. Here, the first analysis may include whether the video frame is a payment card video, whether the video frame has little change in image compared to the previous video frame.

구체적으로, 제1분석부(220)는 영상 프레임이 결제카드 영상인지 여부를 분석할 수 있다. 이 경우, 제1분석부(220)는 카드 경계선, 숫자 위치, 숫자 개수, 문자 위치 등에 기초하여 결제카드 영상인지 여부를 판단할 수 있다. 예를 들어, 신용카드 또는 직불카드 등의 결제카드에는 카드번호 16자리, 유효기간 및 소지자 성명 등 다양한 정보가 형성되어 있다. 이 경우, 결제카드의 포맷과 결제카드 정보의 레이 아웃은 전세계적으로 통일되어 있다. 즉, 결제카드에서 문자 폰트, 크기 및 위치 등은 모두 표준 포맷에 의해 통일되어 있다.Specifically, the first analysis unit 220 may analyze whether the video frame is a payment card video. In this case, the first analysis unit 220 may determine whether the video is a payment card based on a card boundary, a number position, a number of numbers, a text position, and the like. For example, a payment card such as a credit or debit card has various information such as a 16-digit card number, expiration date, and name of the holder. In this case, the format of the payment card and the layout of the payment card information are unified worldwide. That is, the text font, size, and location of the payment card are all unified by the standard format.

또한, 제1분석부(220)는 복수개의 결제카드 영상 중에서 이미지의 변화가 적은 결제카드 영상을 판단할 수 있다. 이를 위해, 제1분석부(220)는 복수개의 결제카드 영상 각각에서 결제카드 정보가 위치할 것으로 예상되는 영역들을 추출하고, 추출된 영역들을 서로 비교함으로써, 추출된 영역들에서의 이미지 변화를 판단할 수 있다.Also, the first analysis unit 220 may determine a payment card image having a small change in image among a plurality of payment card images. To this end, the first analysis unit 220 extracts regions where payment card information is expected to be located in each of a plurality of payment card images, and compares the extracted regions with each other, thereby determining an image change in the extracted regions can do.

프레임 속도 설정부(230)는 영상의 종류에 대응하여 촬영 또는 스캔 FPS를 설정할 수 있다. 구체적으로, 프레임 속도 설정부(230)는 결제카드 영상인 경우 촬영 또는 스캔 FPS를 높이고, 결제카드를 제외한 일반 영상인 경우 촬영 또는 스캔 FPS를 낮추거나 기본값으로 설정할 수 있다.The frame rate setting unit 230 may set a shooting or scanning FPS according to the type of image. Specifically, the frame rate setting unit 230 may increase the shooting or scanning FPS in the case of a payment card image, or lower the shooting or scanning FPS in the case of a normal image excluding the payment card or set it as a default value.

또한, 프레임 속도 설정부(230)는 영상 프레임의 전송 속도를 동적으로 할당할 수 있다. 구체적으로, 프레임 속도 설정부(230)는 영상 프레임의 종류에 대응하여 영상 프레임의 전송 속도 및 전송 주기를 가변적으로 설정할 수 있다. 예를 들어, 프레임 속도 설정부(230)는 결제카드 영상은 전송 속도를 높게 설정하고, 결제카드를 제외한 일반 영상은 전송 속도를 낮추거나 기본속도로 설정할 수 있다.In addition, the frame rate setting unit 230 may dynamically allocate a transmission rate of an image frame. Specifically, the frame rate setting unit 230 may variably set a video frame transmission rate and a transmission period in response to the type of the video frame. For example, the frame rate setting unit 230 may set the payment card image to a high transmission speed, and for the general video except the payment card, set the transmission speed to a lower or default speed.

송수신부(240)는 서버(300)와 데이터를 송수신할 수 있다. 여기서, 데이터는 영상 프레임을 포함할 수 있다. 이 경우, 송수신부(240)는 프레임 속도 설정부(230)가 설정한 전송 속도 및 전송 주기 따라 영상 프레임을 전송할 수 있다.The transceiver 240 may transmit and receive data to and from the server 300. Here, the data may include an image frame. In this case, the transmission / reception unit 240 may transmit the image frame according to the transmission rate and transmission period set by the frame rate setting unit 230.

제어부(250)는 제1분석부(220)의 분석 결과에 기초하여, 영상 프레임이 신용카드에 대한 영상인지 여부를 판단할 수 있다.The control unit 250 may determine whether the image frame is an image for a credit card based on the analysis result of the first analysis unit 220.

제어부(250)는 제1분석부(220)의 분석 결과에 기초하여, 복수개의 결제카드 영상의 이미지 변화를 판단할 수 있다. 이 경우, 제어부(250)는 복수개의 결제카드 영상 각각에 대하여, 이미지의 변화가 적은 결제카드 영상은 제2분석에 필요하지 않은 결제카드 영상으로 판단하고, 이미지의 변화가 큰 결제카드 영상은 제2분석에 필요한 영상으로 판단할 수 있다.The controller 250 may determine an image change of a plurality of payment card images based on the analysis result of the first analysis unit 220. In this case, the controller 250 determines, for each of the plurality of payment card images, the payment card image with little change in image as a payment card image that is not required for the second analysis, and the payment card image with a large change in image is excluded. 2 It can be judged as an image necessary for analysis.

도 3은 본 발명의 일 실시 예에 의한 카드 결제 장치에 포함되는 서버의 구성을 도시한 블록도이다.3 is a block diagram showing the configuration of a server included in a card payment device according to an embodiment of the present invention.

서버(300)는 카드결제를 승인하는 수취인(payee)이 소유한 수취인 측 장치로서, 이동 단말(200)이 전송한 결제정보에 기초하여 결제절차를 승인할 수 있다. 이를 위해, 서버(300)는 판독부(310), 제2분석부(320), 통신부(330) 및 메인 제어부(340)를 포함할 수 있다.The server 300 is a payee-side device owned by a payee that approves card payment, and may approve a payment procedure based on payment information transmitted by the mobile terminal 200. To this end, the server 300 may include a reading unit 310, a second analysis unit 320, a communication unit 330, and a main control unit 340.

판독부(310)는 결제정보를 판독할 수 있다.The reading unit 310 may read payment information.

구체적으로, 판독부(310)는 결제카드 영상을 판독할 수 있다. 이 경우, 판독부(310)는 이동 단말(200)로부터 수신한 결제카드 영상에 대해 광학적 문자 인식을 수행하여, 결제카드 정보를 추출할 수 있다. 이를 위해, 판독부(310)는 광학적 문자 인식 알고리즘을 수행할 수 있다.Specifically, the reading unit 310 may read the payment card image. In this case, the reading unit 310 may perform optical character recognition on the payment card image received from the mobile terminal 200 to extract payment card information. To this end, the reading unit 310 may perform an optical character recognition algorithm.

제2분석부(320)는 영상 프레임에 대해 제2분석을 수행할 수 있다. 여기서, 제2분석은, 영상 프레임으로부터 결제카드 정보를 추출할 수 있는지 여부의 판단, 결제카드 정보의 추출 등을 포함할 수 있다.The second analysis unit 320 may perform a second analysis on the image frame. Here, the second analysis may include determining whether payment card information can be extracted from the video frame, extraction of payment card information, and the like.

구체적으로, 제2분석부(320)는 영상 프레임으로부터 결제카드 정보를 추출할 수 있는지 여부를 판단할 수 있다. 이 경우, 제2분석부(320)는 영상 프레임의 해상도, 결제카드 정보가 위치하는 영역의 선명도, 명암 및 밝기 등에 기초하여 결제카드 정보를 추출할 수 있는지 여부를 판단할 수 있다.Specifically, the second analysis unit 320 may determine whether to extract payment card information from the video frame. In this case, the second analysis unit 320 may determine whether the payment card information can be extracted based on the resolution of the image frame, the clarity of the area where the payment card information is located, contrast, and brightness.

또한, 제2분석부(320)는 영상 프레임으로부터 결제카드 정보를 추출할 수 있다. 이를 위해, 제2분석부(320)는 영상 프레임에서 결제카드 정보가 위치할 것으로 예상되는 영역들을 추출하고, 추출된 영역들에 대해 영상 분석을 수행하여 결제카드 정보를 추출할 수 있다.In addition, the second analysis unit 320 may extract payment card information from the video frame. To this end, the second analysis unit 320 may extract regions in which the payment card information is expected to be located in the image frame, and perform image analysis on the extracted regions to extract payment card information.

통신부(330)는 이동 단말(200)과 데이터를 송수신할 수 있다. 여기서, 데이터는, 제2분석에 필요한 영상 프레임의 속도에 대한 데이터를 포함할 수 있다.The communication unit 330 may transmit and receive data to and from the mobile terminal 200. Here, the data may include data on the speed of an image frame required for the second analysis.

메인 제어부(340)는 신용카드 정보에 기초하여 결제를 승인할 수 있다. The main control unit 340 may approve payment based on the credit card information.

도 4는 본 발명의 일 실시 예에 의한 카드 결제 과정을 도시한 도면이다.4 is a view showing a card payment process according to an embodiment of the present invention.

본 발명의 일 실시 예에 의한 카드 결제 과정에 의하면, 이동 단말(200)은 영상 프레임이 결제카드 영상인지 여부에 대응하여 촬영 또는 스캔 FPS를 설정하고, 복수개의 영상 프레임 중에서 이미지의 변화가 적거나 분석을 위해 필요하지 않다고 판단되는 영상 프레임은 서버(300)로 전송하지 않을 수 있다.According to the card payment process according to an embodiment of the present invention, the mobile terminal 200 sets a shooting or scan FPS according to whether the video frame is a payment card video, and changes in an image among a plurality of video frames are small or The image frame determined not to be necessary for analysis may not be transmitted to the server 300.

도 4를 참조하면, 이동 단말(200)은 촬영 FPS를 설정한다(S401).Referring to FIG. 4, the mobile terminal 200 sets a shooting FPS (S401).

구체적으로, 이동 단말(200)의 영상 처리부(210)는 촬영 또는 스캔 FPS를 기본값으로 설정할 수 있다. 여기서, 기본값은 이동 단말(200)의 기기종류, 소프트웨어 버전 등에 대응하여 설정될 수 있다.Specifically, the image processing unit 210 of the mobile terminal 200 may set a shooting or scanning FPS as a default value. Here, the default value may be set corresponding to the device type, software version, etc. of the mobile terminal 200.

이동 단말(200)은 영상을 획득한다(S402).The mobile terminal 200 acquires an image (S402).

이동 단말(200)의 영상 처리부(210)는 기본값에 의해 설정된 초당 프레임 수에 대응하여 영상 프레임을 촬영 또는 스캔할 수 있다. 이로부터, 영상 처리부(210)는 복수개의 영상 프레임을 획득할 수 있다.The image processing unit 210 of the mobile terminal 200 may photograph or scan an image frame in correspondence to the number of frames per second set by default. From this, the image processing unit 210 may acquire a plurality of image frames.

구체적으로, 영상 처리부(210)는 광학적 문자 인식을 사용한 결제 절차가 개시되어 카메라가 활성화되면, 카메라 화면상에 비춰진 영상을 촬영 또는 스캔하여 영상 프레임을 획득할 수 있다.Specifically, the image processing unit 210 may acquire an image frame by photographing or scanning an image projected on the camera screen when a payment process using optical character recognition is initiated and the camera is activated.

이동 단말(200)은 영상에 대해 제1분석을 수행한다(S403).The mobile terminal 200 performs a first analysis on the image (S403).

이동 단말(200)의 제1분석부(220)는 스캔 또는 촬영된 복수개의 영상 프레임에 대해 제1분석을 수행할 수 있다. 여기서, 제1분석은, 영상 프레임이 결제카드 영상인지 여부, 영상 프레임이 이전 영상 프레임과 비교하여 이미지의 변화가 적은지 여부 등을 포함할 수 있다.The first analysis unit 220 of the mobile terminal 200 may perform a first analysis on a plurality of image frames scanned or photographed. Here, the first analysis may include whether the video frame is a payment card video, whether the video frame has little change in image compared to the previous video frame.

이 경우, 이동 단말(200)의 제1분석부(220)는 카드 경계선, 숫자 위치, 숫자 개수, 문자 위치 등에 기초하여, 영상 프레임이 결제카드 영상인지 여부를 분석할 수 있다.In this case, the first analysis unit 220 of the mobile terminal 200 may analyze whether the video frame is a payment card image based on a card boundary, a number position, a number of numbers, a text position, and the like.

또한, 제1분석부(220)는 복수개의 결제카드 영상 각각에서 결제카드 정보가 위치할 것으로 예상되는 영역들을 추출하고, 추출된 영역들을 서로 비교함으로써, 추출된 영역들에서의 이미지 변화를 판단할 수 있다. 이에 의해, 제1분석부(220)는 복수개의 결제카드 영상 중에서 이미지의 변화가 적은 결제카드 영상을 분석할 수 있다.In addition, the first analysis unit 220 extracts regions where payment card information is expected to be located in each of a plurality of payment card images, and compares the extracted regions with each other to determine an image change in the extracted regions. You can. Accordingly, the first analysis unit 220 may analyze a payment card image with a small change in image among a plurality of payment card images.

이동 단말(200)은 신용카드에 대한 영상인지 판단한다(S404).The mobile terminal 200 determines whether the video is a credit card (S404).

구체적으로, 이동 단말(200)의 제어부(250)는 제1분석부(220)의 분석 결과에 기초하여, 영상 프레임이 신용카드에 대한 영상인지 여부를 판단할 수 있다.Specifically, the control unit 250 of the mobile terminal 200 may determine whether the image frame is an image for a credit card based on the analysis result of the first analysis unit 220.

만일, 신용카드에 대한 영상이라고 판단하면(S404-Yes), 이동 단말(200)은 촬영 FPS를 높인다(S406). 이 경우, 이동 단말(200)의 프레임 속도 설정부(230)는 기본값으로 설정된 촬영 또는 스캔 FPS를 높일 수 있다.If it is determined that the video is a credit card (S404-Yes), the mobile terminal 200 increases the shooting FPS (S406). In this case, the frame rate setting unit 230 of the mobile terminal 200 may increase the shooting or scanning FPS set as the default.

반면, 신용카드에 대한 영상이 아니라고 판단하면(S404-No), 이동 단말(200)은 촬영 FPS를 낮춘다(S405). 이 경우, 이동 단말(200)의 프레임 속도 설정부(230)는 기본값으로 설정된 촬영 또는 스캔 FPS를 낮출 수 있다.On the other hand, if it is determined that the video is not the credit card (S404-No), the mobile terminal 200 lowers the shooting FPS (S405). In this case, the frame rate setting unit 230 of the mobile terminal 200 may lower the shooting or scanning FPS set as the default.

이동 단말(200)은 제2분석에 필요한 영상인지 판단한다(S407).The mobile terminal 200 determines whether the video is necessary for the second analysis (S407).

구체적으로, 이동 단말(200)의 제어부(250)는 제1분석부(220)의 분석 결과에 기초하여, 복수개의 결제카드 영상의 이미지 변화를 판단할 수 있다. 이 경우, 제어부(250)는 복수개의 결제카드 영상 각각에 대하여, 이미지의 변화가 적은 결제카드 영상은 제2분석에 필요하지 않은 결제카드 영상으로 판단하고, 이미지의 변화가 큰 결제카드 영상은 제2분석에 필요한 영상으로 판단할 수 있다.Specifically, the controller 250 of the mobile terminal 200 may determine an image change of a plurality of payment card images based on the analysis result of the first analysis unit 220. In this case, the controller 250 determines, for each of the plurality of payment card images, the payment card image with little change in image as a payment card image that is not required for the second analysis, and the payment card image with a large change in image is excluded. 2 It can be judged as an image necessary for analysis.

만일, 제2분석에 필요한 영상이라 판단하면(S407-Yes), 이동 단말(200)은 영상을 전송한다(S409). 이 경우, 이동 단말(200)의 송수신부(240)는 제2분석에 필요한 결제카드 영상을 서버(300)에 전송할 수 있다.If it is determined that the image is necessary for the second analysis (S407-Yes), the mobile terminal 200 transmits the image (S409). In this case, the transmission / reception unit 240 of the mobile terminal 200 may transmit the payment card image required for the second analysis to the server 300.

반면, 제2분석에 필요한 영상이 아니라고 판단하면(S407-No), 이동 단말(200)은 영상을 서버(300)로 미전송한다(S408). 이 경우, 이동 단말(200)의 송수신부(240)는 제2분석에 필요하지 않은 결제카드 영상을 서버(300)에 전송하지 않을 수 있다.On the other hand, if it is determined that the video is not necessary for the second analysis (S407-No), the mobile terminal 200 does not transmit the video to the server 300 (S408). In this case, the transmission / reception unit 240 of the mobile terminal 200 may not transmit the payment card image not required for the second analysis to the server 300.

서버(300)는 제2분석이 가능한지 판단한다(S410).The server 300 determines whether a second analysis is possible (S410).

서버(300)의 제2분석부(320)는 영상 프레임에 대해 제2분석을 수행할 수 있다. 여기서, 제2분석은, 영상 프레임으로부터 결제카드 정보를 추출할 수 있는지 여부의 판단, 결제카드 정보의 추출 등을 포함할 수 있다.The second analysis unit 320 of the server 300 may perform a second analysis on the image frame. Here, the second analysis may include determining whether payment card information can be extracted from the video frame, extraction of payment card information, and the like.

구체적으로, 서버(300)의 제2분석부(320)는 영상 프레임의 해상도, 결제카드 정보가 위치하는 영역의 선명도, 명암 및 밝기 등에 기초하여, 영상 프레임으로부터 결제카드 정보를 추출할 수 있는지 여부를 판단할 수 있다.Specifically, whether the second analysis unit 320 of the server 300 can extract payment card information from the video frame based on the resolution of the video frame, the clarity, contrast, and brightness of the area where the payment card information is located. Can judge.

만일, 제2분석이 가능하다고 판단하면(S410-Yes), 서버(300)의 제2분석부(320)는 제2분석을 수행하여 신용카드 정보를 추출한다(S411). 이 경우, 서버(300)의 메인 제어부(340)는 신용카드 정보에 기초하여 결제를 수행한다(S412).If it is determined that the second analysis is possible (S410-Yes), the second analysis unit 320 of the server 300 performs the second analysis to extract credit card information (S411). In this case, the main control unit 340 of the server 300 performs payment based on the credit card information (S412).

반면, 제2분석이 불가능하다고 판단하면(S410-No), 서버(300)의 제2분석부(320)는 절차를 종료한다.On the other hand, if it is determined that the second analysis is impossible (S410-No), the second analysis unit 320 of the server 300 ends the procedure.

도 5a 내지 도 5c는 본 발명의 일 실시 예에 의한 카드 결제 방법을 설명하기 위한 도면이다.5A to 5C are diagrams for explaining a card payment method according to an embodiment of the present invention.

도 5a는 광학적 문자 인식을 사용하는 카드 결제 방식을 개략적으로 도시한다. 이동 단말(200)에는 광학적 문자 인식을 사용하여 결제를 수행하는 결제 어플리케이션이 저장될 수 있다. 이동 단말(200)은 신용카드 결제를 수행하고자 하는 경우, 결제 어플리케이션을 활성화하여 실행시킬 수 있다. 결제 어플리케이션이 실행되는 경우, 이동 단말(200)의 제어부(250)는 이동 단말(200)의 전면 또는 후면에 구비된 카메라를 활성화시킬 수 있다.5A schematically illustrates a card payment method using optical character recognition. A payment application that performs payment using optical character recognition may be stored in the mobile terminal 200. When the mobile terminal 200 wants to perform a credit card payment, the mobile terminal 200 may be activated and executed. When the payment application is executed, the control unit 250 of the mobile terminal 200 may activate the camera provided on the front or rear of the mobile terminal 200.

사용자(510)는 활성화된 카메라를 통해, 결제하고자 하는 신용카드(530)를 스캔 또는 촬영할 수 있다. 구체적으로, 이동 단말(200)의 화면에 신용카드(530)의 촬영을 위해 신용카드(530)가 위치해야 하는 촬영 가이드라인(520)이 표시되면, 사용자(510)는 촬영 가이드라인(520)에 맞추어 신용카드(530)를 위치시킬 수 있다.The user 510 may scan or photograph the credit card 530 to be paid through the activated camera. Specifically, when the shooting guideline 520 on which the credit card 530 should be located is displayed on the screen of the mobile terminal 200 to photograph the credit card 530, the user 510 takes the shooting guideline 520. The credit card 530 can be positioned in accordance with.

이 경우, 이동 단말(200)은 실시 예에 따라, 신용카드(530)의 영상을 획득하여 서버(300)로 전송하거나, 획득한 신용카드(530)의 영상으로부터 결제카드 정보를 추출하고 이를 서버(300)에 전송할 수 있다.In this case, the mobile terminal 200 acquires the image of the credit card 530 and transmits it to the server 300 according to an embodiment, or extracts payment card information from the obtained image of the credit card 530 and performs this. 300.

도 5b는 영상 종류에 대응하여 FPS를 설정하는 경우이다. 이동 단말(200)은 획득한 결제카드 영상을 서버(300)에 전송할 수 있다. 서버(300)는 결제카드 영상을 분석하여 결제카드 정보를 추출할 수 있다. 5B is a case where FPS is set according to an image type. The mobile terminal 200 may transmit the acquired payment card image to the server 300. The server 300 may extract payment card information by analyzing the payment card image.

결제카드 영상의 분석 시, 서버(300)는 결제카드 영상의 다양한 정보를 이용하게 된다. 이 경우, 정적인 한 장의 영상 프레임을 분석하는 것보다, 반사광의 위치나 그림자의 위치 등 정보가 다른 여러 장의 가변적인 영상 프레임을 분석할 때 더 많은 정보를 추출할 수 있고, 이에 의해 분석률이 향상된다.When analyzing the payment card image, the server 300 uses various information of the payment card image. In this case, more information can be extracted when analyzing multiple variable image frames having different information, such as the position of the reflected light or the position of the shadow, rather than analyzing a single static image frame, whereby the analysis rate is improved. Improves.

따라서, 이동 단말(200)은 결제카드 영상에 대한 복수개의 영상 프레임을 서버(300)에 전송할 수 있다. 이를 위해, 이동 단말(200)의 프레임 속도 설정부(230)는 영상의 종류에 대응하여 촬영 또는 스캔 FPS를 설정할 수 있다. 구체적으로, 프레임 속도 설정부(230)는 결제카드 영상인 경우 촬영 또는 스캔 FPS를 높이고, 결제카드를 제외한 일반 영상인 경우 촬영 또는 스캔 FPS를 낮추거나 기본값으로 설정할 수 있다.Accordingly, the mobile terminal 200 may transmit a plurality of image frames for the payment card image to the server 300. To this end, the frame rate setting unit 230 of the mobile terminal 200 may set a shooting or scanning FPS corresponding to the type of the image. Specifically, the frame rate setting unit 230 may increase the shooting or scanning FPS in the case of a payment card image, or lower the shooting or scanning FPS in the case of a normal image excluding the payment card or set it as a default value.

도 5b를 참조하면, 일반 영상(G)보다 결제카드 영상(C)의 촬영 또는 스캔 FPS가 높게 설정되고, 이에 의해 결제카드 영상(C)에 대한 영상 프레임은 일반 영상(G)의 영상 프레임 보다 더 많이 얻어진다.Referring to FIG. 5B, the shooting or scanning FPS of the payment card image C is set higher than that of the normal image G, whereby the image frame for the payment card image C is higher than that of the normal image G. More is obtained.

도 5c는 제2분석에 필요한 영상인지 판단하는 방법을 설명한다. 도 5b에서 설명한 바와 같이, 서버(300)는 분석률을 향상시키기 위하여 포함되는 정보가 서로 다른 가변적인 복수개의 영상 프레임을 분석한다. 그러나, 여러 장의 이미지를 분석하더라도, 만일 이전 이미지와 변동 사항이 매우 적은 선형적(linear)인 이미지라면 분석률 향상에 도움이 되기보다는, 이동 단말(200)이 서버(300)로 보내는 데이터량을 불필요하게 증가시키고 서버(300)에서의 처리 부하를 가중시키게 된다.5C describes a method for determining whether the image is required for the second analysis. As described with reference to FIG. 5B, the server 300 analyzes a plurality of variable image frames having different information included in order to improve the analysis rate. However, even when analyzing multiple images, if the image is a linear image with very few variations from the previous image, rather than helping to improve the analysis rate, the amount of data that the mobile terminal 200 sends to the server 300 This increases unnecessarily and increases the processing load on the server 300.

따라서, 이동 단말(200)은 서버(300)에서의 제2분석에 필요한 영상인지 판단하여, 제2분석에 필요한 영상만을 서버(300)에 전송할 수 있다.Accordingly, the mobile terminal 200 may determine whether the video is required for the second analysis in the server 300 and transmit only the video necessary for the second analysis to the server 300.

이를 위해, 이동 단말(200)의 제1분석부(220)는 복수개의 결제카드 영상의 이미지 변화를 분석할 수 있다. 이 경우, 제어부(250)는 제1분석부(220)의 분석 결과에 기초하여, 복수개의 결제카드 영상 중에서 이미지의 변화가 적은 결제카드 영상은 제2분석에 필요하지 않은 결제카드 영상으로 판단하고, 이미지의 변화가 큰 결제카드 영상은 제2분석에 필요한 영상으로 판단할 수 있다.To this end, the first analysis unit 220 of the mobile terminal 200 may analyze image changes of a plurality of payment card images. In this case, the control unit 250 determines that the payment card image with little change in the image among the plurality of payment card images is a payment card image not required for the second analysis, based on the analysis result of the first analysis unit 220. , The payment card image with a large image change can be judged as an image required for the second analysis.

도 5c를 참조하면, 5개의 결제카드 영상(541, 542, 543, 544, 545)이 존재한다. 5개의 결제카드 영상(541, 542, 543, 544, 545)은 각각 제1결제카드 영상(541), 제2결제카드 영상(542), 제3결제카드 영상(543), 제4결제카드 영상(544) 및 제5결제카드 영상(545)으로서, 순차적으로 스캔 또는 촬영된다고 가정한다.Referring to Figure 5c, there are five payment card images (541, 542, 543, 544, 545). The five payment card images 541, 542, 543, 544, and 545 are the first payment card image 541, the second payment card image 542, the third payment card image 543, and the fourth payment card image, respectively. 544 and the fifth payment card image 545, it is assumed that it is sequentially scanned or photographed.

제1결제카드 영상(541)이 획득된 상태에서 제2결제카드 영상(542)이 획득된다. 이 경우, 제2결제카드 영상(542)은 제1결제카드 영상(541)과 비교할 때 이미지 변화가 거의 없는 선형적 이미지이므로, 제어부(250)는 제2결제카드 영상(542)은 제2분석에 필요하지 않은 것으로 판단한다.The second payment card image 542 is obtained while the first payment card image 541 is acquired. In this case, since the second payment card image 542 is a linear image with little image change compared to the first payment card image 541, the controller 250 analyzes the second payment card image 542 as a second analysis. It is judged that it is not necessary.

제3결제카드 영상(543)은 결제카드 이미지가 약간 기울어진 상태이다. 이 경우, 숫자나 문자의 위치 등에 대한 정보가 제1결제카드 영상(541)과 상이하다. 따라서, 제3결제카드 영상(543)은 제1결제카드 영상(541)과 비교할 때 이미지 변화가 있는 비선형적 이미지이므로, 제어부(250)는 제3결제카드 영상(543)은 제2분석에 필요하다고 판단한다.In the third payment card image 543, the payment card image is slightly inclined. In this case, information on the location of numbers or letters is different from the first payment card image 541. Therefore, since the third payment card image 543 is a nonlinear image with an image change compared to the first payment card image 541, the controller 250 needs the third payment card image 543 for the second analysis. I think that.

제4결제카드 영상(544)은 결제카드 이미지의 일부 영역에 음영이 존재한다. 이 경우, 반사광이나 그림자 등의 위치에 대한 정보가 제1결제카드 영상(541) 및 제3결제카드 영상(543)과 상이하다. 따라서, 제4결제카드 영상(544)은 제1결제카드 영상(541) 및 제3결제카드 영상(543)과 비교할 때 이미지 변화가 존재하는 비선형적 이미지이므로, 제어부(250)는 제4결제카드 영상(544)이 제2분석에 필요하다고 판단한다.The fourth payment card image 544 is shaded in some areas of the payment card image. In this case, information on the location of reflected light or shadow is different from the first payment card image 541 and the third payment card image 543. Therefore, since the fourth payment card image 544 is a non-linear image in which an image change exists compared to the first payment card image 541 and the third payment card image 543, the control unit 250 performs the fourth payment card It is determined that the image 544 is necessary for the second analysis.

제5결제카드 영상(545)은 제4결제카드 영상(544)과 비교할 때, 결제카드 이미지의 상당한 영역에 음영이 존재한다. 카드번호가 위치할 것으로 예상되는 영역이 음영에 의해 가려지므로, 카드번호의 가독성이 현저하게 떨어질 수 있다. 따라서, 제어부(250)는 제5결제카드 영상(545)은 제2분석에 필요하지 않다고 판단한다.Compared to the fourth payment card image 545, the fifth payment card image 545 is shaded in a significant area of the payment card image. Since the area where the card number is expected to be located is obscured by the shadow, the readability of the card number may be significantly reduced. Therefore, the controller 250 determines that the fifth payment card image 545 is not necessary for the second analysis.

이에 의해, 제어부(250)는 5개의 결제카드 영상(541, 542, 543, 544, 545) 중에서 제1결제카드 영상(541), 제3결제카드 영상(543) 및 제4결제카드 영상(544)만을 서버(300)에 전송한다.Accordingly, the controller 250 among the five payment card images 541, 542, 543, 544, and 545, the first payment card image 541, the third payment card image 543, and the fourth payment card image 544 ) Only to the server 300.

도 6은 본 발명의 일 실시 예에 의한 카드 결제 장치가 결제카드 영상의 에지를 추출하는 방법을 설명하기 위한 도면이다.6 is a view for explaining a method of extracting the edge of the payment card image by the card payment device according to an embodiment of the present invention.

본 발명에서 이동 단말(200)은 신용카드에 대한 영상이라고 판단되면, 촬영 또는 스캔 FPS를 높일 수 있다. 이를 위해, 이동 단말(200)은 서버(300)로 영상 프레임을 보내기 전에, 영상 프레임을 분석하여 결제카드 영상인지 여부를 판단한다. 판단 근거는 영상 프레임의 에지(edge) 추출 방법을 사용할 수 있다. 여기서, 에지는 영역의 경계이자 픽셀의 밝기가 급격하게 변하는 불연속적 점이다.In the present invention, if it is determined that the mobile terminal 200 is an image for a credit card, it is possible to increase a shooting or scanning FPS. To this end, the mobile terminal 200 analyzes the video frame and determines whether it is a payment card video before sending the video frame to the server 300. As a basis for the determination, an edge extraction method of an image frame may be used. Here, the edge is a boundary of a region and a discontinuous point in which the brightness of a pixel changes rapidly.

이동 단말(200)은 영상 프레임을 미분함으로써 다양한 정보를 분석해 낼 수 있다. 1차 미분으로는 에지의 존재 여부를 알 수 있고, 2차 미분으로는 밝기의 방향을 알 수 있다. 본 발명에서는 에지의 존재여부 만으로 결제카드 영상인지 판단할 수 있으므로, 1차 미분만을 사용한다. 이 경우, 영상 프레임은 x축과 y축으로 구성된 2차원 이미지이므로, 각 축으로 편미분을 한 후 이를 합쳐준다. 영상 정보를 미분하기 전보다 나은 결과를 얻기 위하여, 영상 정보에 소정 값들을 곱연산하여 에지 추출을 더욱 정확하게 할 수 있다. 이 경우, 소정 값의 선택에는 다음과 같은 조건들이 적용될 수 있다.The mobile terminal 200 may analyze various information by differentiating the image frame. The presence or absence of an edge can be known as the first derivative, and the direction of brightness can be known as the second derivative. In the present invention, since it is possible to determine whether a video is a payment card only by the existence of an edge, only the first derivative is used. In this case, the image frame is a two-dimensional image composed of x-axis and y-axis, so after partial differentials on each axis, it is combined. In order to obtain better results than before differentiating image information, edge extraction may be performed more accurately by multiplying image information with predetermined values. In this case, the following conditions may be applied to the selection of a predetermined value.

첫째, 신용카드는 직사각형 형태이다.First, credit cards are rectangular.

둘째, 사용자가 이동 단말(200)의 카메라로 수평하게 영상을 스캔한다고 가정한다.Second, it is assumed that the user horizontally scans an image with the camera of the mobile terminal 200.

셋째, 둘째와 같은 이유로 수직 및 수평 에지가 필요하며, 대각선 에지는 무시할 수 있다.Third and second, vertical and horizontal edges are required for the same reason, and diagonal edges can be ignored.

넷째, 신용카드 이미지는 다양한 패턴이 존재한다.Fourth, various patterns exist in credit card images.

다섯째, 연산속도가 느리지 않아야 한다.Fifth, the operation speed should not be slow.

이러한 이유에서, 수평 및 수직에 예민하고, 연산속도가 빠르며, 잡음에 강한 Prewitt 값을 곱연산해준다. 또한, 모든 영역에 작업을 수행할 필요는 없으므로, 신용카드의 에지가 존재할 것으로 예상되는 이미지의 영역만을 수행하여 연산속도를 줄인다. 이 경우, 추가적으로 추출한 에지 포인트들의 연속성을 판단하여, 신용카드 이미지인지 여부를 판단한다.For this reason, it is sensitive to horizontal and vertical, has high computational speed, and multiplies noise-resistant Prewitt values. In addition, since it is not necessary to perform operations in all areas, the operation speed is reduced by performing only the area of the image where the edge of the credit card is expected to exist. In this case, the continuity of the additionally extracted edge points is determined to determine whether it is a credit card image.

이동 단말(200)은 결제카드 영상의 에지를 추출하기 위하여, 다음과 같은 수식에 기초하여 영상처리를 수행할 수 있다.The mobile terminal 200 may perform image processing based on the following equation to extract the edge of the payment card image.

구체적으로, 이동 단말(200)의 영상 처리부(210)는 에지 추출을 위해 이미지에 마스크 패턴을 연산자로 하는 미분 연산을 수행할 수 있다. 이 경우, 영상 처리부(210)는 다양한 마스크 패턴들 중에서, 수평 및 수직에 예민하고 연산 속도가 빠르며 잡음에 강한 Prewitt 마스크(610, 620)를 선택할 수 있다. 도 6을 참조하면, Prewitt 마스크(610, 620)가 도시되어 있다.Specifically, the image processing unit 210 of the mobile terminal 200 may perform a differential operation using an mask pattern as an operator on an image for edge extraction. In this case, the image processing unit 210 may select prewitt masks 610 and 620 that are sensitive to horizontal and vertical, fast computational speed, and resistant to noise among various mask patterns. Referring to Figure 6, Prewitt masks 610 and 620 are shown.

영상 처리부(210)는 Prewitt 마스크(610, 620)를 사용하여 편미분 연산을 한다. 먼저, 수평방향과 수직방향 미분을 각각 수행한다. 이 경우, 수평방향 미분과 수직방향 미분은 각각 다음 [식 1] 및 [식 2]에 의해 수행된다.The image processing unit 210 performs partial differential calculation using the Prewitt masks 610 and 620. First, differentiation is performed in the horizontal direction and the vertical direction, respectively. In this case, the differential in the horizontal direction and the differential in the vertical direction are performed by the following Equations 1 and 2, respectively.

수평방향 미분: G(x)=f(x-1, y)-f(x+1, y) [식 1]Differential in horizontal direction: G (x) = f (x-1, y) -f (x + 1, y) [Equation 1]

수직방향 미분: G(y)=f(x, y-1)-f(x, y+1) [식 2]Differential in vertical direction: G (y) = f (x, y-1) -f (x, y + 1) [Equation 2]

이후, 1차 미분에 의한 에지 추출식을 다음 [식 3]과 같이 도출한다.Then, the edge extraction equation by the first derivative is derived as shown in [Equation 3].

[식 3]

[Equation 3]

도 7은 본 발명의 다른 실시 예에 의한 카드 결제 과정을 도시한 도면이다.7 is a view showing a card payment process according to another embodiment of the present invention.

본 발명의 다른 실시 예에 의한 카드 결제 과정에 의하면, 이동 단말(200)은 영상 프레임이 결제카드 영상인지 여부에 대응하여 영상 프레임의 전송 속도를 동적으로 할당하고, 복수개의 영상 프레임 중에서 이미지의 변화가 적거나 분석을 위해 필요하지 않다고 판단되는 영상 프레임은 서버(300)로 전송하지 않을 수 있다.According to a card payment process according to another embodiment of the present invention, the mobile terminal 200 dynamically allocates a video frame transmission rate in response to whether the video frame is a payment card video, and changes the image among a plurality of video frames. The image frame determined to be small or not necessary for analysis may not be transmitted to the server 300.

도 7을 참조하면, 이동 단말(200)은 영상을 획득한다(S701).Referring to FIG. 7, the mobile terminal 200 acquires an image (S701).

이동 단말(200)의 영상 처리부(210)는 설정된 초당 프레임 수(FPS)에 대응하여 영상 프레임을 촬영 또는 스캔할 수 있다. 이로부터, 영상 처리부(210)는 복수개의 영상 프레임을 획득할 수 있다.The image processing unit 210 of the mobile terminal 200 may photograph or scan an image frame corresponding to a set number of frames per second (FPS). From this, the image processing unit 210 may acquire a plurality of image frames.

이동 단말(200)은 영상에 대해 제1분석을 수행한다(S702).The mobile terminal 200 performs a first analysis on the image (S702).

이 경우, 이동 단말(200)의 제1분석부(220)는 카드 경계선, 숫자 위치, 숫자 개수, 문자 위치 등에 기초하여, 영상 프레임이 결제카드 영상인지 여부를 분석할 수 있다.In this case, the first analysis unit 220 of the mobile terminal 200 may analyze whether the video frame is a payment card image based on a card boundary line, a number position, a number of numbers, a character position, and the like.

이동 단말(200)은 신용카드에 대한 영상인지 판단한다(S703).The mobile terminal 200 determines whether the video is a credit card (S703).

만일, 신용카드에 대한 영상이라고 판단하면(S703-Yes), 이동 단말(200)은 영상 프레임의 전송 속도를 높게 설정한다(S704). 이 경우, 이동 단말(200)의 프레임 속도 설정부(230)는 기본값으로 설정된 프레임 전송속도를 높일 수 있다. If it is determined that the video is for the credit card (S703-Yes), the mobile terminal 200 sets the transmission rate of the video frame high (S704). In this case, the frame rate setting unit 230 of the mobile terminal 200 may increase the frame transmission rate set as the default.

반면, 신용카드에 대한 영상이 아니라고 판단하면(S703-No), 이동 단말(200)은 영상 프레임의 전송 속도를 낮추거나 기본속도로 설정한다(S705). 이 경우, 이동 단말(200)의 프레임 속도 설정부(230)는 높게 설정된 프레임의 전송 속도를 낮추거나 기본 속도로 설정할 수 있다.On the other hand, if it is determined that the video is not the credit card (S703-No), the mobile terminal 200 lowers the transmission speed of the video frame or sets it as the default speed (S705). In this case, the frame rate setting unit 230 of the mobile terminal 200 may lower the transmission rate of the set frame or set the default rate.

이동 단말(200)은 제2분석에 필요한 영상인지 판단한다(S706).The mobile terminal 200 determines whether the video is necessary for the second analysis (S706).

구체적으로, 이동 단말(200)의 제어부(250)는 제1분석부(220)의 분석 결과에 기초하여, 복수개의 결제카드 영상 각각이 제2분석에 필요한 영상인지 판단할 수 있다. 이 경우, 제어부(250)는 복수개의 결제카드 영상 중에서, 이미지의 변화가 큰 결제카드 영상은 제2분석에 필요한 영상으로 판단하고, 이미지의 변화가 적은 결제카드 영상은 제2분석에 필요하지 않은 결제카드 영상으로 판단할 수 있다.Specifically, the controller 250 of the mobile terminal 200 may determine whether each of the plurality of payment card images is an image necessary for the second analysis based on the analysis result of the first analysis unit 220. In this case, the controller 250 determines that a payment card image having a large change in image among the plurality of payment card images is an image necessary for the second analysis, and a payment card image having a small change in image is not required for the second analysis. It can be judged by the payment card image.

만일, 제2분석에 필요한 영상이라 판단하면(S706-Yes), 이동 단말(200)은 영상을 전송한다(S707). 이 경우, 이동 단말(200)의 송수신부(240)는 제2분석에 필요한 결제카드 영상을 서버(300)에 전송할 수 있다.If it is determined that the image is necessary for the second analysis (S706-Yes), the mobile terminal 200 transmits the image (S707). In this case, the transmission / reception unit 240 of the mobile terminal 200 may transmit the payment card image required for the second analysis to the server 300.

반면, 제2분석에 필요한 영상이 아니라고 판단하면(S706-No), 이동 단말(200)은 영상을 서버(300)로 미전송한다(S708). 이 경우, 이동 단말(200)의 송수신부(240)는 제2분석에 필요하지 않은 결제카드 영상을 서버(300)에 전송하지 않을 수 있다.On the other hand, if it is determined that the video is not necessary for the second analysis (S706-No), the mobile terminal 200 does not transmit the video to the server 300 (S708). In this case, the transmission / reception unit 240 of the mobile terminal 200 may not transmit the payment card image not required for the second analysis to the server 300.

서버(300)는 이동 단말(200)로부터 수신한 영상에 대해 제2분석이 가능한지 판단한다(S709).The server 300 determines whether a second analysis is possible on the image received from the mobile terminal 200 (S709).

구체적으로, 서버(300)의 제2분석부(320)는 영상 프레임에 대해 제2분석을 수행할 수 있다. 여기서, 제2분석은, 영상 프레임으로부터 결제카드 정보를 추출할 수 있는지 여부의 판단, 결제카드 정보의 추출 등을 포함할 수 있다.Specifically, the second analysis unit 320 of the server 300 may perform a second analysis on the image frame. Here, the second analysis may include determining whether payment card information can be extracted from the video frame, extraction of payment card information, and the like.

이를 위해, 서버(300)의 제2분석부(320)는 영상 프레임의 해상도, 결제카드 정보가 위치하는 영역의 선명도, 명암 및 밝기 등에 기초하여, 영상 프레임으로부터 결제카드 정보를 추출할 수 있는지 여부를 판단할 수 있다.To this end, whether the second analysis unit 320 of the server 300 can extract payment card information from the video frame based on the resolution of the video frame, the clarity of the area where the payment card information is located, contrast, and brightness, and the like. Can judge.

만일, 제2분석이 가능하다고 판단하면(S709-Yes), 서버(300)의 제2분석부(320)는 제2분석을 수행하여 신용카드 정보를 추출한다(S710). 이 경우, 서버(300)의 메인 제어부(340)는 신용카드 정보에 기초하여 결제를 수행한다(S711).If it is determined that the second analysis is possible (S709-Yes), the second analysis unit 320 of the server 300 performs the second analysis to extract credit card information (S710). In this case, the main control unit 340 of the server 300 performs payment based on the credit card information (S711).

반면, 제2분석이 불가능하다고 판단하면(S709-No), 서버(300)의 제2분석부(320)는 절차를 종료한다.On the other hand, if it is determined that the second analysis is impossible (S709-No), the second analysis unit 320 of the server 300 ends the procedure.

도 8은 본 발명의 다른 실시 예에 의한 카드 결제 방법을 설명하기 위한 도면이다.8 is a view for explaining a card payment method according to another embodiment of the present invention.

이동 단말(200)은 영상 프레임이 결제카드 영상인지 여부에 대응하여, 영상 프레임의 전송 속도를 동적으로 할당할 수 있다.The mobile terminal 200 may dynamically allocate the transmission rate of the video frame in response to whether the video frame is a payment card video.

본 발명에서는, 결제카드에 대한 복수개의 영상 프레임 중에서 제2분석에 필요하지 않은 영상은 서버(300)에 전송하지 않고, 대신 서버(300)에 전송할 결제카드에 대한 영상 프레임의 전송 속도를 높인다. 이에 의해, 동일한 네트워크 대역폭을 사용하더라도, 결제카드에 대한 영상 프레임을 신속하게 서버(300)로 전송할 수 있다.In the present invention, an image that is not required for the second analysis among the plurality of image frames for the payment card is not transmitted to the server 300, but instead increases the transmission speed of the image frame for the payment card to be transmitted to the server 300. By this, even if the same network bandwidth is used, the video frame for the payment card can be quickly transmitted to the server 300.

도 8을 참조하면, 영상 프레임의 전송 주기가 도시되어 있다. 도 8에서는, 일반 영상, 결제카드 영상, 일반 영상의 순서로 영상 프레임이 전송되고 있다고 가정한다. 이를 참조하면, 일반 영상이 전송될 때에는 영상 프레임의 전송 주기가 길고, 결제카드 영상이 전송될 때에는 영상 프레임의 전송 주기가 짧아졌다가, 다시 일반 영상이 전송될 때에는 영상 프레임의 전송 주기가 길어진다. 이에 의해, 결제카드에 대한 영상 프레임을 전송하는 경우에는 일반 영상을 전송하는 경우에 비하여 전송 속도가 빨라지게 된다.Referring to FIG. 8, a transmission period of an image frame is illustrated. In FIG. 8, it is assumed that the video frames are transmitted in the order of the normal video, the payment card video, and the normal video. Referring to this, when the normal image is transmitted, the transmission period of the image frame is long, when the payment card image is transmitted, the transmission period of the image frame is shortened, and when the normal image is transmitted again, the transmission period of the image frame is longer. . As a result, when the video frame for the payment card is transmitted, the transmission speed is faster than when the normal video is transmitted.

도 9는 본 발명의 또 다른 실시 예에 의한 카드 결제 과정을 도시한 도면이다.9 is a view showing a card payment process according to another embodiment of the present invention.

본 발명의 또 다른 실시 예에 의한 카드 결제 과정에 의하면, 서버(300)는 제2분석에 필요한 영상 프레임의 예상되는 속도를 설정하고, 이에 대한 정보를 이동 단말(200)에 전송할 수 있다.According to the card payment process according to another embodiment of the present invention, the server 300 may set an expected speed of an image frame required for the second analysis, and transmit information about the video frame to the mobile terminal 200.

도 9를 참조하면, 이동 단말(200)은 영상을 획득한다(S901).Referring to FIG. 9, the mobile terminal 200 acquires an image (S901).

구체적으로, 영상 처리부(210)는 광학적 문자 인식을 사용한 결제 절차가 개시되어 카메라가 활성화되면, 카메라 화면상에 비춰진 영상을 촬영 또는 스캔하여 영상 프레임을 획득할 수 있다. 여기서, 영상 프레임은 결제카드에 대한 것일 수 있다.Specifically, the image processing unit 210 may acquire an image frame by photographing or scanning an image projected on the camera screen when a payment process using optical character recognition is initiated and the camera is activated. Here, the video frame may be for a payment card.

이동 단말(200)은 영상을 전송한다(S902).The mobile terminal 200 transmits an image (S902).

이동 단말(200)의 송수신부(240)는 획득한 영상 프레임을 서버(300)에 전송할 수 있다.The transmission / reception unit 240 of the mobile terminal 200 may transmit the obtained image frame to the server 300.

서버(300)는 제2분석이 가능한지 판단한다(S903).The server 300 determines whether a second analysis is possible (S903).

만일, 제2분석이 가능하다고 판단하면(S903-Yes), 서버(300)의 제2분석부(320)는 필요한 영상 프레임의 예상되는 속도를 설정할 수 있다(S904).If it is determined that the second analysis is possible (S903-Yes), the second analysis unit 320 of the server 300 may set the expected speed of the required image frame (S904).

구체적으로, 서버(300)의 제2분석부(320)는, 결제카드 정보를 추출하기 위하여 필요한 영상 프레임의 수나 영상 프레임의 수신 시간 또는 수신 주기 등을 판단하고, 이에 대응하여 영상 프레임의 예상되는 촬영 FPS 및 전송 속도를 설정할 수 있다.Specifically, the second analysis unit 320 of the server 300 determines the number of video frames necessary for extracting payment card information, the reception time or the reception cycle of the video frames, and in response, predicts the video frames. You can set the shooting FPS and transmission speed.

이 경우, 서버(300)의 통신부(330)는 영상 프레임의 속도에 대한 정보를 이동 단말(200)에 전송할 수 있다(S905).In this case, the communication unit 330 of the server 300 may transmit information on the speed of the image frame to the mobile terminal 200 (S905).

이동 단말(200)의 프레임 속도 설정부(230)는 영상 프레임의 속도를 설정한다(S906). 구체적으로, 프레임 속도 설정부(230)는 서버(300)로부터 수신한 정보에 기초하여, 영상 프레임의 촬영 또는 스캔 FPS, 영상 프레임의 전송 속도 등을 설정할 수 있다.The frame rate setting unit 230 of the mobile terminal 200 sets the video frame rate (S906). Specifically, the frame rate setting unit 230 may set an image frame shooting or scanning FPS, an image frame transmission rate, and the like, based on information received from the server 300.

한편, 서버(300)의 제2분석부(320)는 제2분석을 수행하여 신용카드 정보를 추출하고(S907), 메인 제어부(340)는 신용카드 정보에 기초하여 결제를 수행한다(S908).Meanwhile, the second analysis unit 320 of the server 300 performs the second analysis to extract credit card information (S907), and the main control unit 340 performs payment based on the credit card information (S908). .

반면, S903 단계에서 제2분석이 불가능하다고 판단하면(S903-No), 서버(300)의 메인 제어부(340)는 절차를 종료한다.On the other hand, if it is determined in step S903 that the second analysis is impossible (S903-No), the main control unit 340 of the server 300 ends the procedure.

앞서, 도 4와 도 7 및 도 9에서는 본 발명의 다양한 실시 예에 의한 카드 결제 방법을 설명하였다. 그러나, 이러한 카드 결제 방법들은, 실시 예에 따라 해당 카드 결제 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체로 구현될 수도 있다.Previously, in FIGS. 4, 7, and 9, a card payment method according to various embodiments of the present invention has been described. However, these card payment methods may be implemented as a computer-readable recording medium recording a program for executing the card payment method according to an embodiment.

이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위 내에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments have been mainly described above, these are merely examples and do not limit the present invention, and those skilled in the art to which the present invention pertains are not exemplified above, without departing from the essential characteristics of the embodiments. It will be appreciated that various modifications and applications are possible. For example, each component specifically shown in the embodiment may be modified. And differences related to these modifications and applications should be construed as being included in the scope of the invention defined in the appended claims.

200: 이동 단말 210: 영상 처리부
220: 제1 분석부 230: 프레임 속도 설정부
240: 송수신부 250: 제어부
300: 서버 310: 판독부
320: 제2 분석부 330: 통신부
340: 메인 제어부 510: 사용자
520: 촬영 가이드라인 530: 신용카드
610, 620: Prewitt 마스크200: mobile terminal 210: image processing unit
220: first analysis unit 230: frame rate setting unit
240: Transceiver 250: Control
300: server 310: reading unit
320: second analysis unit 330: communication unit
340: main control unit 510: user
520: Photography guidelines 530: Credit card
610, 620: Prewitt mask

Claims

In the card payment method using the optical character recognition,
The mobile terminal acquiring a plurality of images based on a frame per second (FPS);
Analyzing, by the mobile terminal, the plurality of images;
If the plurality of images are for a payment card, the mobile terminal increasing the number of frames per second;
The mobile terminal classifying the plurality of images into a first image in which an image change is greater than a first threshold value and a second image in which the image change is less than the first threshold value; And
The mobile terminal comprising the step of transmitting the first image to the server, card payment method using optical character recognition.

According to claim 1,
The mobile terminal transmits data at a predetermined transmission rate, and when the first image is transmitted to the server, sets the transmission rate higher than a second threshold, and a card payment method using optical character recognition.

According to claim 1,
It is determined whether each of the plurality of images is for the payment card by using the edge extraction method of the image frame, wherein the edge is a boundary of an area and a discontinuous point in which the brightness of a pixel changes rapidly, card payment using optical character recognition Way.

According to claim 3,
A card payment method using optical character recognition, wherein the edge extraction method is applied by extracting only an image area where the edge is expected to exist in each of the plurality of images.

According to claim 1,
For each of the plurality of images, if the included image information is varied above the first threshold value, it is classified as the first image, and when the image information is varied below the first threshold value, as the second image. A card payment method that uses sorting, optical character recognition.

The method of claim 5,
The video information,
A card payment method using optical character recognition, comprising at least one of resolution, contrast, brightness, sharpness, location of reflected light and location of shadow.

According to claim 1,
The server further comprises the step of analyzing the first image and setting an expected rate of a video frame necessary to extract payment card information, and transmitting the information to the mobile terminal, a card using optical character recognition. Payment Method.

The method of claim 7,
The expected speed of the video frame is,
A card payment method using optical character recognition, which is at least one of a shooting or scanning FPS of the video frame and a transmission speed of the video frame.

In the mobile terminal using the optical character recognition,
An image processor that acquires a plurality of images based on frames per second (FPS);
A first analysis unit analyzing the plurality of images;
A frame rate setting unit for increasing the number of frames per second when the plurality of images are for a payment card;
A control unit for classifying the plurality of images into a first image in which an image change is greater than a first threshold value and a second image in which the image change is less than the first threshold value; And
And a transmission / reception unit transmitting the first image to a server.