KR20180131132A - 이미지 매칭 방법 및 이를 수행하기 위한 장치 - Google Patents

이미지 매칭 방법 및 이를 수행하기 위한 장치 Download PDF

Info

Publication number
KR20180131132A
KR20180131132A KR1020170067758A KR20170067758A KR20180131132A KR 20180131132 A KR20180131132 A KR 20180131132A KR 1020170067758 A KR1020170067758 A KR 1020170067758A KR 20170067758 A KR20170067758 A KR 20170067758A KR 20180131132 A KR20180131132 A KR 20180131132A
Authority
KR
South Korea
Prior art keywords
terminal
image
reference object
scale ratio
image scale
Prior art date
Application number
KR1020170067758A
Other languages
English (en)
Other versions
KR101966423B1 (ko
Inventor
김승준
Original Assignee
주식회사 시메이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 시메이션 filed Critical 주식회사 시메이션
Priority to KR1020170067758A priority Critical patent/KR101966423B1/ko
Publication of KR20180131132A publication Critical patent/KR20180131132A/ko
Application granted granted Critical
Publication of KR101966423B1 publication Critical patent/KR101966423B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

이미지 매칭 방법 및 이를 수행하기 위한 장치가 개시된다. 본 발명의 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 메모리, 및 하나 이상의 프로그램들을 포함하고, 제1 단말 및 적어도 하나 이상의 제2 단말이 각각 연결되는 컴퓨팅 장치로서, 하나 이상의 프로그램들은 메모리에 저장되고, 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 하나 이상의 프로그램들은, 제1 단말의 화면에서 기준 오브젝트를 획득하기 위한 제1 명령, 제2 단말에 대해 기 저장된 이미지 스케일 비율이 존재하는지 여부를 확인하기 위한 제2 명령, 기 저장된 이미지 스케일 비율이 존재하는 경우, 기준 오브젝트의 이미지를 기 저장된 이미지 스케일 비율에 따라 스케일링하고, 제2 단말의 화면에서 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하기 위한 제3 명령, 및 기 저장된 이미지 스케일 비율이 존재하지 않는 경우, 기준 오브젝트의 이미지를 기 설정된 단위의 비율로 확대 또는 축소하면서 스케일링하고, 제2 단말의 화면에서 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트가 검출되는지 여부를 확인하며, 오브젝트가 검출되는 경우 제2 단말에 대해 기준 오브젝트의 이미지 스케일 비율을 저장하여 이미지 스케일 비율을 학습시키기 위한 제4 명령을 포함한다.

Description

이미지 매칭 방법 및 이를 수행하기 위한 장치{METHOD FOR IMAGE MATCHING AND APPARATUS FOR EXECUTING THE METHOD}
본 발명의 실시예는 이미지 매칭 기술과 관련된다.
일반적으로, 해상도가 서로 다른 이미지에서 동일한 오브젝트를 검출하기 위해서는 두 이미지 간의 해상도를 맞추기 위해 이미지 스케일링(Scaling) 작업을 수행하여야 한다. 즉, 제1 이미지에 포함된 소정 오브젝트를 제2 이미지에서 검출하기 위해서는, 제1 이미지의 오브젝트를 일정 비율로 확장 또는 축소하면서 제1 이미지의 오브젝트와 매칭되는 오브젝트를 제2 이미지에서 검출하게 된다. 예를 들어, 제1 이미지의 오브젝트를 1%씩 확장하여 최대 15%까지 확장하고, 제1 이미지의 오브젝트를 1%씩 축소하여 최대 15%까지 축소하는 경우, 원본 대비 85% 크기에서 원본 대비 115% 크기까지 총 31개의 오브젝트 이미지를 생성한 후, 생성한 각 오브젝트 이미지에 대해 제2 이미지에서 그와 매칭되는 오브젝트가 있는지를 검출하는 작업을 수행하여야 한다.
이때, 이미지 간 비교 작업에 소요되는 시간을 줄이기 위해서는, 스케일링된 각 오브젝트 이미지와 제2 이미지를 비교하는 작업을 동시에 처리하여야 한다. 즉, 스케일링된 오브젝트 이미지의 개수만큼 스레드(thread)를 생성한 후, 생성한 스레드들을 병렬적으로 처리하여 이미지 간 비교 작업을 처리하여야 한다.
그러나, 스레드들을 병렬적으로 처리하면, 컴퓨팅 장치의 CPU(Central Processing Unit) 점유율이 높아지게 되는 바, 이미지 매칭 작업을 수행할 수 있는 이미지들의 개수에 제한이 생기게 되며, 이미지 매칭 작업 이외에 다른 작업을 수행하는데 어려움이 있게 된다.
한국공개특허공보 제10-2006-0118138호(2006.11.23)
본 발명의 실시예는 이미지 매칭 작업에 따른 연산량을 줄일 수 있는 이미지 매칭 기법을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 제1 단말 및 적어도 하나 이상의 제2 단말이 각각 연결되는 컴퓨팅 장치로서, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 상기 제1 단말의 화면에서 기준 오브젝트를 획득하기 위한 제1 명령; 상기 제2 단말에 대해 기 저장된 이미지 스케일 비율이 존재하는지 여부를 확인하기 위한 제2 명령; 상기 기 저장된 이미지 스케일 비율이 존재하는 경우, 상기 기준 오브젝트의 이미지를 상기 기 저장된 이미지 스케일 비율에 따라 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하기 위한 제3 명령; 및 상기 기 저장된 이미지 스케일 비율이 존재하지 않는 경우, 상기 기준 오브젝트의 이미지를 기 설정된 단위의 비율로 확대 또는 축소하면서 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트가 검출되는지 여부를 확인하며, 상기 오브젝트가 검출되는 경우 상기 제2 단말에 대해 상기 기준 오브젝트의 이미지 스케일 비율을 저장하여 이미지 스케일 비율을 학습시키기 위한 제4 명령을 포함한다.
상기 이미지 스케일 비율을 저장하기 위한 명령은, 상기 이미지 스케일 비율을 상기 제2 단말 별로 기 설정된 크기의 큐(Queue)에 순차적으로 저장하기 위한 명령을 포함할 수 있다.
상기 제3 명령은, 상기 제2 단말에 대해 기 저장된 이미지 스케일 비율 중 서로 다른 이미지 스케일 비율이 존재하는지 여부를 확인하기 위한 명령; 상기 서로 다른 이미지 스케일 비율이 존재하는 경우, 상기 서로 다른 이미지 스케일 비율 중 이미지 매칭 횟수가 가장 높은 이미지 스케일 비율을 추출하기 위한 명령; 및 상기 기준 오브젝트의 이미지를 상기 추출한 이미지 스케일 비율에 따라 스케일링 하기 위한 명령을 포함할 수 있다.
상기 추출한 이미지 스케일 비율에 따라 스케일링 하기 위한 명령은, 상기 이미지 스케일 비율 중 상기 이미지 매칭 횟수가 높은 순서대로 우선하여 상기 기준 오브젝트의 이미지를 스케일링하기 위한 명령을 포함할 수 있다.
상기 하나 이상의 프로그램들은, 상기 컴퓨팅 장치에 신규한 제2 단말이 연결되는지 여부를 확인하기 위한 명령; 상기 기 연결된 제2 단말 중 상기 신규 연결된 제2 단말의 단말 정보와 가장 유사한 단말 정보를 가지는 제2 단말을 추출하기 위한 명령; 및 상기 신규 연결된 제2 단말에 대해 상기 추출한 제2 단말의 기 저장된 이미지 스케일 비율을 적용하여 상기 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하기 위한 명령을 더 포함할 수 있다.
개시되는 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 제1 단말 및 적어도 하나 이상의 제2 단말이 각각 연결되는 컴퓨팅 장치로서, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 상기 제1 단말의 화면에서 기준 오브젝트를 캡쳐하여 스크립트를 작성하기 위한 명령; 상기 제2 단말의 상기 기준 오브젝트에 대해 기 저장된 이미지 스케일 비율이 존재하는지 여부를 확인하기 위한 명령; 상기 기 저장된 이미지 스케일 비율이 존재하는 경우, 상기 기준 오브젝트의 이미지를 상기 기 저장된 이미지 스케일 비율에 따라 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하기 위한 명령; 및 상기 기 저장된 이미지 스케일 비율이 존재하지 않는 경우, 상기 기준 오브젝트의 이미지를 기 설정된 단위의 비율로 확대 또는 축소하면서 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트가 검출되는지 여부를 확인하며, 상기 오브젝트가 검출되는 경우 상기 제2 단말에 대해 상기 기준 오브젝트의 이미지 스케일 비율을 저장하여 이미지 스케일 비율을 학습시키기 위한 명령을 포함한다.
개시되는 일 실시예에 따른 이미지 매칭 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 제1 단말 및 적어도 하나 이상의 제2 단말이 각각 연결되는 컴퓨팅 장치에서 수행되는 방법으로서, 상기 제1 단말의 화면에서 기준 오브젝트를 획득하기 위한 제1 단계; 상기 제2 단말에 대해 기 저장된 이미지 스케일 비율이 존재하는지 여부를 확인하기 위한 제2 단계; 상기 기 저장된 이미지 스케일 비율이 존재하는 경우, 상기 기준 오브젝트의 이미지를 상기 기 저장된 이미지 스케일 비율에 따라 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하기 위한 제3 단계; 및 상기 기 저장된 이미지 스케일 비율이 존재하지 않는 경우, 상기 기준 오브젝트의 이미지를 기 설정된 단위의 비율로 확대 또는 축소하면서 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트가 검출되는지 여부를 확인하며, 상기 오브젝트가 검출되는 경우 상기 제2 단말에 대해 상기 기준 오브젝트의 이미지 스케일 비율을 저장하여 이미지 스케일 비율을 학습시키기 위한 제4 단계를 포함한다.
상기 이미지 스케일 비율을 저장하기 위한 단계는, 상기 이미지 스케일 비율을 상기 제2 단말 별로 기 설정된 크기의 큐(Queue)에 순차적으로 저장하기 위한 단계를 포함할 수 있다.
상기 제3 단계는, 상기 제2 단말에 대해 기 저장된 이미지 스케일 비율 중 서로 다른 이미지 스케일 비율이 존재하는지 여부를 확인하기 위한 단계; 상기 서로 다른 이미지 스케일 비율이 존재하는 경우, 상기 서로 다른 이미지 스케일 비율 중 이미지 매칭 횟수가 가장 높은 이미지 스케일 비율을 추출하기 위한 단계; 및 상기 기준 오브젝트의 이미지를 상기 추출한 이미지 스케일 비율에 따라 스케일링 하기 위한 단계를 포함할 수 있다.
상기 이미지 매칭 방법은, 상기 컴퓨팅 장치에 신규한 제2 단말이 연결되는지 여부를 확인하기 위한 단계; 상기 기 연결된 제2 단말 중 상기 신규 연결된 제2 단말의 단말 정보와 가장 유사한 단말 정보를 가지는 제2 단말을 추출하기 위한 단계; 및 상기 신규 연결된 제2 단말에 대해 상기 추출한 제2 단말의 기 저장된 이미지 스케일 비율을 적용하여 상기 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하기 위한 단계를 더 포함할 수 있다.
개시되는 다른 실시예에 따른 이미지 매칭 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 제1 단말 및 적어도 하나 이상의 제2 단말이 각각 연결되는 컴퓨팅 장치에서 수행되는 방법으로서, 상기 제1 단말의 화면에서 기준 오브젝트를 캡쳐하여 스크립트를 작성하는 단계; 상기 제2 단말의 상기 기준 오브젝트에 대해 기 저장된 이미지 스케일 비율이 존재하는지 여부를 확인하는 단계; 상기 기 저장된 이미지 스케일 비율이 존재하는 경우, 상기 기준 오브젝트의 이미지를 상기 기 저장된 이미지 스케일 비율에 따라 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하는 단계; 및 상기 기 저장된 이미지 스케일 비율이 존재하지 않는 경우, 상기 기준 오브젝트의 이미지를 기 설정된 단위의 비율로 확대 또는 축소하면서 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트가 검출되는지 여부를 확인하며, 상기 오브젝트가 검출되는 경우 상기 제2 단말에 대해 상기 기준 오브젝트의 이미지 스케일 비율을 저장하여 이미지 스케일 비율을 학습시키기 위한 단계를 포함한다.
개시되는 실시예에 의하면, 이미지 매칭 장치와 연결된 각 단말 별로 이미지 스케일 비율을 학습하여 기 저장한 후, 이미지 매칭 작업 시 이전에 이미지 매칭되었던 이미지 스케일 비율을 우선적으로 적용하여 스케일링을 수행함으로써, 제1 단말의 기준 오브젝트와 제2 단말의 참조 오브젝트 간 이미지 매칭 작업에 소요되는 시간을 줄이면서, 이미지 매칭에 의한 CPU 점유율을 낮출 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 어플리케이션 테스트 시스템의 구성을 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 이미지 매칭 장치의 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 이미지 매칭 방법을 설명하기 위한 흐름도
도 4 내지 도 7은 본 발명의 일 실시예에 따른 어플리케이션 테스트 과정을 설명하기 위한 도면
도 8은 본 발명의 일 실시예에 따른 이미지 매칭 장치에서 오브젝트 별로 스크립트를 작성하는 상태를 나타낸 도면
도 9 내지 도 10은 일 실시예에 따른 이미지 매칭 장치에서 각 오브젝트의 스크립트를 실행한 경우를 나타낸 도면
도 11은 본 발명의 일 실시예에 따른 이미지 매칭 장치에서 오브젝트 별 이미지 스케일 비율이 저장되는 상태를 나타낸 도면
도 12는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 매칭 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 이미지 매칭 시스템(100)은 제1 단말(102), 제2 단말(104), 및 이미지 매칭 장치(106)를 포함할 수 있다. 제1 단말(102) 및 제2 단말(104)은 유선 및/또는 무선을 통해 이미지 매칭 장치(106)와 통신 가능하게 연결된다.
제1 단말(102)은 소정 어플리케이션(또는 프로그램)이 설치된 단말일 수 있다. 또한, 제2 단말(104)은 제1 단말(102)에 설치된 것과 동일한 어플리케이션(또는 프로그램)이 설치된 단말일 수 있다. 제1 단말(102) 및 제2 단말(104)은 사용자 또는 이미지 매칭 장치(106)의 제어에 의해 소정 어플리케이션을 실행시킬 수 있다.
여기서, 제1 단말(102) 및 제2 단말(104)은 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistant), 노트북, 데스크 탑, 디지털 카메라, 스마트 TV 등 어플리케이션(또는 프로그램)이 설치되고 실행될 수 있는 모든 형태의 디지털 기기를 포함할 수 있다. 제1 단말(102) 및 제2 단말(104)은 프로세서 및 그 프로세서에 의해 액세스 가능한 메모리와 같은 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 어플리케이션(또는 프로그램)은 제1 단말(102) 및 제2 단말(104)의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.
제2 단말(104)은 제1 단말(102)과는 다른 종류의 단말일 수 있다. 즉, 제2 단말(104)은 제1 단말(102)과 기기 분류(예를 들어, 스마트 폰, 태블릿 PC 등), 화면 크기, 해상도, 모델, 단말 형태, 운영체제(Operating System), 및 성능 중 적어도 하나가 상이한 단말일 수 있다. 제2 단말(104)은 적어도 하나 이상이 이미지 매칭 장치(106)와 통신 가능하게 연결될 수 있다. 또한, 제2 단말(104)이 복수 개인 경우, 복수 개의 제2 단말(104)은 기기 분류, 화면 크기, 해상도, 모델, 형태, 운영체제(Operating System), 및 성능 중 적어도 하나가 서로 상이한 단말일 수 있다.
예시적인 실시예에서, 제1 단말(102)은 사용자 또는 이미지 매칭 장치(106)에 의해 소정 어플리케이션의 실행이 우선적으로 이루어지는 단말이고, 제2 단말(104)은 이미지 매칭 장치(106)의 제어에 의해 제1 단말(102)의 해당 어플리케이션의 실행과 연동하여 그와 동일 또는 유사한 동작이 이루어지는 단말일 수 있다. 그러나, 이에 한정되는 것은 아니며 제1 단말(102) 및 제2 단말(104)에서 소정 어플리케이션의 실행 동작은 동시에 이루어질 수도 있다.
이미지 매칭 장치(106)는 제1 단말(102)의 디스플레이부에 표시된 화면(이하, 기준 화면이라 지칭할 수 있음)과 제2 단말(104)의 디스플레이부에 표시된 화면(이하, 참조 화면이라 지칭할 수 있음)에 대해 이미지 매칭 작업을 수행할 수 있다.
구체적으로, 이미지 매칭 장치(106)는 기준 화면에서 사용자 또는 이미지 매칭 장치(106)에 의해 지정된 오브젝트(이하, 기준 오브젝트라 지칭할 수 있음)와 제2 단말(104)에 표시된 화면(즉, 참조 화면)에 대해 이미지 매칭 작업을 수행할 수 있다. 즉, 이미지 매칭 장치(106)는 참조 화면에서 기준 오브젝트와 이미지 매칭되는 오브젝트(이하, 참조 오브젝트라 지칭할 수 있음)를 검출할 수 있다. 여기서, 기준 오브젝트는 기준 화면에 포함되는 객체(예를 들어, 아이콘, 메뉴, 사람, 물건, 건물 등과 같이 다른 객체와 구별 가능한 객체)일 수 있으나, 이에 한정되는 것은 아니며 기준 화면의 일부 화면 영역일 수도 있다.
예시적인 실시예에서, 이미지 매칭 장치(106)는 각 제2 단말(104)의 화면에서 기준 오브젝트와 이미지 매칭되는 참조 오브젝트를 검출하는 경우, 참조 오브젝트를 실행시키는 제어 명령을 각 제2 단말(104)로 전송할 수 있다. 예를 들어, 제1 단말(102)의 기준 화면에서 사용자의 클릭에 의해 어플리케이션의 소정 메뉴가 실행되는 경우(이때, 기준 오브젝트는 사용자에 의해 클릭된 어플리케이션의 메뉴가 된다), 이미지 매칭 장치(106)는 각 제2 단말(104)의 화면에서 상기 어플리케이션의 메뉴와 이미지 매칭되는 참조 오브젝트(즉, 상기 어플리케이션의 메뉴와 이미지 매칭되는 메뉴)를 검출한 후, 검출된 참조 오브젝트를 실행시키는 제어 명령을 각 제2 단말(104)로 전송할 수 있다.
이에 의하면, 제1 단말(102)을 제어하는 것을 통해 복수 개의 제2 단말(104)을 일괄적으로 제어할 수 있게 된다. 즉, 동일한 어플리케이션(또는 프로그램)이 설치된 제1 단말(102) 및 제2 단말(104)에서, 제1 단말(102)을 제어하는 것을 통해 복수 개의 제2 단말(104)을 일괄적으로 제어할 수 있게 된다. 이 경우, 제1 단말(102) 및 제2 단말(104)을 통해 소정 어플리케이션의 테스트 등을 수월하게 진행할 수 있게 된다.
한편, 이미지 매칭 장치(106)는 이미지 매칭 학습을 통해 각 제2 단말(104) 별로 매칭되는 이미지 스케일 비율을 저장한 후, 다음 번 매칭 작업 시에는 이전에 매칭되었던 이미지 스케일 비율을 우선적으로 적용함으로써, 기준 오브젝트와 참조 오브젝트 간 매칭 작업에 소요되는 시간을 줄이고, 이미지 매칭 작업 시 CPU의 점유율을 낮출 수 있게 된다. 이에 대한 자세한 설명은 도 2를 참조하여 후술하기로 한다.
도 2는 본 발명의 일 실시예에 따른 이미지 매칭 장치의 구성을 나타낸 블록도이다.
도 2를 참조하면, 이미지 매칭 장치(106)는 화면 획득부(111), 단말 정보 획득부(113), 이미지 스케일 비율 관리부(115), 및 이미지 매칭부(117)를 포함할 수 있다.
화면 획득부(111)는 이미지 매칭 장치(106)에 연결된 제1 단말(102) 및 제2 단말(104)의 화면을 각각 획득할 수 있다. 즉, 화면 획득부(111)는 제1 단말(102)에 표시된 기준 화면을 획득할 수 있다. 또한, 화면 획득부(111)는 제2 단말(104)에 표시된 참조 화면을 획득할 수 있다. 예를 들어, 화면 획득부(111)는 미러링(Mirroring) 기술을 기반으로 제1 단말(102) 및 제2 단말(104)에 표시된 화면을 각각 수신할 수 있다.
단말 정보 획득부(113)는 이미지 매칭 장치(106)에 연결된 제1 단말(102) 및 제2 단말(104)들의 단말 정보를 획득할 수 있다. 여기서, 단말 정보는 해당 단말의 화면 크기 정보, 해상도 정보, 기기 식별 정보, 모델명 정보, 운영 체제 정보, 성능 정보 등이 포함될 수 있다. 단말 정보 획득부(113)는 제1 단말(102) 및 제2 단말(104)이 이미지 매칭 장치(106)에 연결되는 경우, 제1 단말(102) 및 제2 단말(104)로 단말 정보 요청을 전송하고, 그에 대한 응답으로 단말 정보를 수신할 수 있다. 그러나, 이에 한정되는 것은 아니며 사용자의 입력으로부터 각 단말(102, 104)의 단말 정보를 획득할 수도 있다.
이미지 스케일 비율 관리부(115)는 제2 단말(104) 별로 이미지 스케일 비율 관련 정보를 저장할 수 있다. 여기서, 이미지 스케일 비율 관련 정보는 제1 단말(102)의 기준 오브젝트와 이미지 매칭이 이루어진 이미지 스케일 비율들에 대한 정보를 포함할 수 있다. 즉, 이미지 스케일 비율 관련 정보는 제2 단말(104)에 표시된 화면에서 제1 단말(102)의 기준 오브젝트와 이미지 매칭되는 참조 오브젝트를 검출하는 경우, 제1 단말(102)의 기준 오브젝트를 얼마의 비율로 이미지 스케일 하여야 이미지 매칭되는 참조 오브젝트가 검출되는지에 대한 정보를 포함할 수 있다. 이미지 스케일 비율 관련 정보는 제1 단말(102)의 단말 정보(예를 들어, 화면 크기, 해상도 등), 이미지 매칭이 이루어진 이미지 스케일 비율, 및 제2 단말(102)의 단말 정보(예를 들어, 화면 크기, 해상도 등)가 매칭되어 저장된 것일 수 있다.
예를 들어, 제2 단말(104)에서 제1 단말(102)의 기준 오브젝트와 이미지 매칭되는 참조 오브젝트를 검출하는 경우, 이미지 매칭 장치(106)는 기준 오브젝트의 이미지를 1 %씩 최대 15%까지 확장하고, 기준 오브젝트의 이미지를 1 %씩 최대 15%까지 축소하여 총 31개의 서로 다른 크기의 기준 오브젝트 이미지를 각 제2 단말(104)의 화면과 비교하여 기준 오브젝트와 매칭되는 참조 오브젝트를 검출할 수 있다. 이때, 이미지 스케일 비율 관리부(115)는 각 제2 단말(104) 별로 이미지 매칭이 이루어진 이미지 스케일 비율을 저장할 수 있다.
이미지 스케일 비율 관리부(115)는 각 제2 단말(104) 별로 매칭되는 이미지 스케일 비율을 소정 크기를 갖는 큐(Queue)(예를 들어, 이미지 스케일 비율에 대한 데이터를 20개 저장할 수 있는 크기를 갖는 큐)에 저장할 수 있다. 그러면, 이미지 매칭 작업을 할 때마다 매칭되는 이미지 스케일 비율이 큐에 순차적으로 저장되게 된다. 이미지 스케일 비율이 큐에 모두 저장된 경우(즉, 큐에 20개의 이미지 스케일 비율이 저장된 경우), 새로운 이미지 스케일 비율이 입력되면, 먼저 저장된 순서대로 이미지 스케일 비율이 삭제되면서 새로운 이미지 스케일 비율이 순차적으로 큐에 저장되게 된다. 이 경우, 이미지 매칭 장치(106)는 각 제2 단말(104)에 대해 최근에 매칭되는 이미지 스케일 비율을 이용하여 기준 오브젝트와 참조 오브젝트 간 이미지 매칭 작업을 수행할 수 있게 된다.
이미지 매칭부(117)는 제1 단말(102)의 기준 화면에서 기준 오브젝트를 획득하고, 제2 단말(104)의 참조 화면에서 기준 오브젝트와 이미지 매칭되는 참조 오브젝트를 검출할 수 있다. 구체적으로, 이미지 매칭부(117)는 제1 단말(102)의 기준 화면에서 이미지 매칭의 기준이 되는 오브젝트(즉, 기준 오브젝트)의 이미지를 획득할 수 있다. 예를 들어, 이미지 매칭부(117)는 사용자가 제1 단말(102)의 기준 화면에서 이미지 매칭시키고자 하는 대상을 마우스 등에 의해 클릭하거나 기준 화면의 일부 영역을 지정하는 경우, 제1 단말(102) 기준 화면에서 해당 기준 오브젝트의 이미지를 획득할 수 있다.
이미지 매칭부(117)는 제2 단말(104)에 대해 이미지 스케일 비율 관련 정보가 기 저장되어 있는 경우, 이미지 스케일 비율 관련 정보에 포함된 이미지 스케일 비율을 추출하고, 추출한 이미지 스케일 비율을 기준으로 기준 오브젝트를 스케일링 한 후 제2 단말(104)의 참조 화면에서 이미지 매칭 작업을 수행할 수 있다. 즉, 이미지 매칭부(117)는 제2 단말(104)에 대해 이전에 이미지 매칭되었던 이미지 스케일 비율을 우선적으로 적용하여 기준 오브젝트의 를 스케일링함으로써, 이미지 매칭 작업 시 CPU의 점유율을 낮추고 이미지 매칭 작업에 소요되는 시간을 줄일 수 있다.
이때, 이미지 매칭부(117)는 제2 단말(104)의 이미지 스케일 비율 관련 정보에서 빈도 수가 높은 이미지 스케일 비율(즉, 이전에 이미지 매칭된 횟수가 많은 이미지 스케일 비율)의 순서대로 기준 오브젝트의 이미지를 스케일링하여 이미지 매칭 작업을 수행할 수 있다. 예를 들어, 이미지 스케일 비율이 저장된 큐에서 이미지 스케일 비율이 110인 경우가 12회이고, 이미지 스케일 비율이 112인 경우가 6회이며, 이미지 스케일 비율이 113인 경우가 2회인 경우, 이미지 매칭부(117)는 이미지 스케일 비율을 110 → 112 → 113의 순서로 하여 기준 오브젝트의 이미지를 스케일링 한 후 이미지 매칭 작업을 수행할 수 있다.
개시되는 실시예에 의하면, 이미지 매칭 장치(106)와 연결된 각 단말 별로 이미지 스케일 비율을 학습하여 기 저장한 후, 이미지 매칭 작업 시 이전에 이미지 매칭되었던 이미지 스케일 비율을 우선적으로 적용하여 스케일링을 수행함으로써, 제1 단말(102)의 기준 오브젝트와 제2 단말(104)의 참조 오브젝트 간 이미지 매칭 작업에 소요되는 시간을 줄이면서, 이미지 매칭에 의한 CPU 점유율을 낮출 수 있게 된다.
한편, 이미지 매칭 장치(106)에 새로운 제2 단말(104)이 추가로 연결되는 경우, 이미지 매칭 장치(106)는 새로 추가된 제2 단말(104)의 단말 정보(예를 들어, 화면 크기, 해상도, 디바이스 모델명 등)와 가장 유사한 단말 정보를 가지는 제2 단말(104)의 이미지 스케일 비율을 새로 추가된 제2 단말(104)에 대해 적용할 수 있다.
구체적으로, 이미지 매칭 장치(106)는 새로운 제2 단말(104)이 추가로 연결되는 경우, 추가된 제2 단말(104)의 해상도 및 화면 크기 등의 단말 정보를 획득할 수 있다. 이미지 매칭 장치(106)는 기존의 제2 단말(104)들 중 추가된 제2 단말(104)의 단말 정보와 가장 유사한 단말 정보(예를 들어, 해상도, 화면 크기, 디바이스 모델명 등)를 가지는 제2 단말(104)의 이미지 스케일 비율 관련 정보(예를 들어, 이미지 스케일 비율표)를 추출할 수 있다. 이미지 매칭 장치(106)는 추출한 이미지 스케일 비율표를 기반으로 추가된 제2 단말(104)의 이미지 스케일 비율표를 생성할 수 있다.
이미지 매칭 장치(106)는 기존의 제2 단말(104)들 중 추가된 제2 단말(104)과 가장 유사한 단말 정보를 가지는 제2 단말(104)을 확인할 때, 단말 정보의 요소들 예를 들어, 해상도, 화면 크기, 및 디바이스 모델명 별로 각각 가중치를 부여할 수 있다. 이때, 이미지 매칭 장치(106)는 해상도, 화면 크기, 및 디바이스 모델명 순으로 높은 가중치를 부여할 수 있다.
이와 같이, 각 제2 단말(104)에 대해 미리 학습된 이미지 스케일 비율표를 구비해두면, 새로 추가되는 제2 단말(104)에 대해서도 기존 제2 단말(104)의 이미지 스케일 비율표를 이용하여 유효한 이미지 스케일 비율을 용이하게 찾을 수 있게 된다.
또한, 이미지 매칭 장치(106)는 제1 단말(102)(즉, 기준 오브젝트가 표시된 단말)의 해상도 및 제2 단말(104)(즉, 참조 오브젝트를 검출하고자 하는 단말)의 해상도 차이를 기반으로 새로 추가되는 제2 단말(104)의 이미지 스케일 비율을 유추할 수도 있다.
즉, 이미지 매칭 장치(106)는 기존의 제2 단말(104)들 중 제1 단말(102)과 새로 추가되는 제2 단말(104)의 해상도 차이와 가장 유사한 해상도 차이(즉, 제1 단말(102)과의 해상도 차이)를 가지는 제2 단말(104)을 추출하고, 추출한 제2 단말(104)에 기 저장된 이미지 스케일 비율을 새로 추가되는 제2 단말(104)에 대해 적용할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 이미지 매칭 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 3을 참조하면, 이미지 매칭 장치(106)는 제1 단말(102)에 표시된 화면(기준 화면)에서 기준 오브젝트의 이미지를 획득한다(S 101). 구체적으로, 이미지 매칭 장치(106)는 제1 단말(102)로부터 기준 화면을 수신하고, 제2 단말(104)로부터 참조 화면을 각각 수신할 수 있다. 이미지 매칭 장치(106)는 제1 단말(102)의 기준 화면에서 이미지 매칭의 대상이 되는 오브젝트(기준 오브젝트)의 이미지를 획득할 수 있다.
다음으로, 이미지 매칭 장치(106)는 제2 단말(104)에 대해 이미지 스케일 비율 관련 정보가 저장되어 있는지 여부를 확인한다(S 103). 여기서, 이미지 스케일 비율 관련 정보는 제1 단말(102)의 단말 정보, 제2 단말(104)의 단말 정보, 및 이미지 스케일 비율이 포함될 수 있다.
단계 S 103의 확인 결과, 제2 단말(104)에 대해 이미지 스케일 비율 관련 정보가 저장되어 있지 않은 경우, 이미지 매칭 장치(106)는 제1 단말(102)의 기준 오브젝트에 대해 이미지 스케일 비율을 기 설정된 단위로 확대 및 축소하면서 기준 오브젝트와 참조 오브젝트 간 이미지 매칭 작업을 수행한다(S 105).
단계 S 103의 확인 결과, 제2 단말(104)에 대해 이미지 스케일 비율 관련 정보가 저장되어 있는 경우, 이미지 매칭 장치(106)는 이미지 스케일 비율 관련 정보에서 서로 다른 이미지 스케일 비율이 있는지 여부를 확인한다(S 107).
단계 S 107의 확인 결과, 이미지 스케일 비율 관련 정보에서 서로 다른 이미지 스케일 비율이 없는 경우, 이미지 매칭 장치(106)는 이미지 스케일 비율 관련 정보의 이미지 스케일 비율에 따라 기준 오브젝트의 이미지를 스케일링 한 후, 제2 단말(104)의 화면에서 상기 스케일링 한 기준 오브젝트와 이미지 매칭되는 참조 오브젝트가 검출되는지 여부를 확인한다(S 109).
단계 S 109의 확인 결과, 제2 단말(104)의 화면에서 상기 스케일링 한 기준 오브젝트와 이미지 매칭되는 참조 오브젝트가 검출되는 경우, 이미지 매칭 장치(106)는 제2 단말(104)의 이미지 스케일 비율 관련 정보에 이미지 매칭된 이미지 스케일 비율을 저장한다(S 111). 이미지 매칭 장치(106)는 검출된 참조 오브젝트를 실행하도록 제2 단말(104)을 제어할 수 있다.
단계 S 109의 확인 결과, 제2 단말(104)의 화면에서 상기 스케일링 한 기준 오브젝트와 이미지 매칭되는 참조 오브젝트가 검출되지 않는 경우, 이미지 매칭 장치(106)는 이미지 스케일 비율 관련 정보에 포함된 이미지 스케일 비율을 제외한 이미지 스케일 비율을 적용하여 기준 오브젝트를 스케일링 한 후, 제2 단말(104)의 화면에서 기준 오브젝트와 참조 오브젝트 간 이미지 매칭 작업을 수행한다(S 113). 즉, 이미지 매칭 장치(106)는 기준 오브젝트에 대해 이미지 스케일 비율을 기 설정된 단위로 확대 및 축소하면서 스케일링 한 후 이미지 매칭 작업을 수행하되, 이미지 스케일 비율 관련 정보에 포함된 이미지 스케일 비율은 제외시킬 수 있다.
단계 S 107의 확인 결과, 이미지 스케일 비율 관련 정보에서 서로 다른 이미지 스케일 비율이 있는 경우, 이미지 매칭 장치(106)는 이미지 스케일 비율 중 이미지 매칭 횟수가 높은 순서대로 기준 오브젝트에 이미지 스케일 비율을 적용하여 스케일링 한 후, 제2 단말(104)의 화면에서 상기 스케일링 한 기준 오브젝트와 이미지 매칭되는 참조 오브젝트가 검출되는지 여부를 확인한다(S 115).
단계 S 115의 확인 결과, 제2 단말(104)의 화면에서 상기 스케일링 한 기준 오브젝트와 이미지 매칭되는 참조 오브젝트가 검출되는 경우, 이미지 매칭 장치(106)는 제2 단말(104)의 이미지 스케일 비율 관련 정보에 이미지 매칭된 이미지 스케일 비율을 저장한다(S 117).
단계 S 115의 확인 결과, 제2 단말(104)의 화면에서 상기 스케일링 한 기준 오브젝트와 이미지 매칭되는 참조 오브젝트가 검출되지 않는 경우, 이미지 매칭 장치(106)는 기준 오브젝트에 이미지 스케일 비율 관련 정보에 포함된 이미지 스케일 비율을 제외한 이미지 스케일 비율을 적용하여 스케일링 한 후, 제2 단말(104)의 화면에서 기준 오브젝트와 참조 오브젝트 간 이미지 매칭 작업을 수행한다(S 119).
한편, 개시되는 실시예에 따른 이미지 매칭 시스템(100)은 어플리케이션(또는 프로그램) 테스트 기술에 적용될 수 있다. 즉, 제1 단말(102) 및 제2 단말(104)은 어플리케이션의 테스트를 위한 단말로서, 제1 단말(102) 및 제2 단말(104)에는 테스트 대상인 어플리케이션이 각각 설치될 수 있다. 제1 단말(102)은 이미지 매칭 장치(106) 또는 사용자에 의해 어플리케이션의 테스트를 위한 동작이 우선적으로 이루어지는 단말일 수 있다. 여기서, 어플리케이션의 테스트를 위한 동작은 어플리케이션이 제공하는 화면에서 소정 오브젝트(예를 들어, 아이콘, 메뉴, 컨텐츠 등)의 선택에 따른 동작일 수 있다.
제2 단말(104)은 제1 단말(102)의 동작에 종속되어 제1 단말(102)과 동일 또는 유사한 동작을 수행함으로써, 제2 단말(104)에 설치된 어플리케이션의 테스트를 수행하는 단말일 수 있다. 제2 단말(104)은 적어도 하나 이상이 이미지 매칭 장치(104)와 통신 가능하게 연결될 수 있다. 제2 단말(104)은 이미지 매칭 장치(106)에 의해 제1 단말(102)의 동작에 대응하는 동작을 수행할 수 있다.
이미지 매칭 장치(106)는 제1 단말(102)의 어플리케이션이 제공하는 화면에서 소정 오브젝트를 선택하여 제1 단말(102)이 해당 오브젝트의 선택에 따른 동작을 수행하도록 할 수 있다. 이때, 이미지 매칭 장치(106)는 기 설정된 테스트 시나리오에 따라 제1 단말(102)의 화면에서 소정 오브젝트를 선택할 수 있다. 다음으로, 이미지 매칭 장치(106)는 이미지 매칭 기술을 기반으로 제2 단말(104)의 각 화면에서 제1 단말(102)에서 선택된 오브젝트와 대응하는 오브젝트를 검출하고, 검출된 오브젝트를 실행하도록 각 제2 단말(104)을 제어할 수 있다. 이때, 이미지 매칭 장치(106)는 제1 단말(102)의 화면에서 선택된 오브젝트(즉, 기준 오브젝트)의 이미지를 확인한 후, 제2 단말(104)의 화면에서 기준 오브젝트의 이미지와 매칭되는 오브젝트(즉, 참조 오브젝트)를 검출할 수 있다.
도 4 내지 도 7은 본 발명의 일 실시예에 따른 이미지 매칭 학습을 이용한 어플리케이션 테스트 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 이미지 매칭 장치(106)에는 테스트하고자 하는 어플리케이션이 설치된 단말(102, 104)들이 연결된다. 이미지 매칭 장치(106)는 이미지 매칭 장치(106)에 연결된 단말(102, 104)들의 정보(예를 들어, 디바이스 ID, 모델명, 브랜드명, 해상도 등)를 화면에 표시할 수 있다. 여기서, 사용자는 어플리케이션의 테스트를 위해 제어할 단말(102, 104)들을 선택할 수 있다.
도 5를 참조하면, 이미지 매칭 장치(106)는 제1 단말(102)의 화면(A) 및 복수 개의 제2 단말(104)의 화면(B-1 ~ B-8)을 표시할 수 있다. 예를 들어, 이미지 매칭 장치(106)는 미러링(Mirroring) 기술을 기반으로 제1 단말(102) 및 제2 단말(104)로부터 각각 화면을 수신하여 표시할 수 있다.
여기서, 사용자가 제1 단말(102)의 화면(A)에서 메뉴(A-a)를 클릭하는 경우, 이미지 매칭 장치(106)는 복수 개의 제2 단말(104)의 화면(B-1 ~ B-8)에서 메뉴(A-a)와 매칭되는 오브젝트를 검출하고, 검출된 오브젝트를 실행하도록 복수 개의 제2 단말(104)을 제어한다. 이때, 복수 개의 제2 단말(104)의 화면(B-1 ~ B-8)에서 메뉴(A-a)와 이미지 매칭되는 오브젝트를 검출하는 과정은 위에서 설명한 바와 같다. 그러면, 도 6에 도시된 바와 같이, 제1 단말(102)의 화면(A)에서 메뉴(A-a)를 클릭하는 것만으로 복수 개의 제2 단말(104)을 동시에 제어하여 동일한 동작을 수행하도록 할 수 있게 된다.
도 7을 참조하면, 이미지 매칭 장치(106)는 각 제2 단말(104) 별로 제1 단말(102)의 메뉴(A-a) 이미지와 매칭되는 이미지 스케일 비율을 각각 저장할 수 있다.
또한, 이미지 매칭 장치(106)는 제1 단말(102)의 화면에서 실행시킬 오브젝트를 캡쳐하고, 캡쳐된 오브젝트에 대해 스크립트를 작성하여 제2 단말(104)들을 제어할 수도 있다. 즉, 이미지 매칭 장치(106)는 어플리케이션이 제공하는 화면에서 오브젝트 별로 스크립트를 작성한 후, 오브젝트 별로 매칭되는 이미지 스케일 비율을 저장할 수 있다. 그러면, 이미지 매칭 장치(106)는 어플리케이션의 테스트 수행 시 소정 오브젝트가 반복적으로 선택되어 실행되는 경우에도 해당 오브젝트의 기 저장된 이미지 스케일 비율을 우선적으로 적용하여 이미지 매칭 작업에 소요되는 시간을 줄일 수 있고, CPU 점유율을 최소화 할 수 있게 된다.
도 8은 본 발명의 일 실시예에 따른 이미지 매칭 장치에서 오브젝트 별로 스크립트를 작성하는 상태를 나타낸 도면이다.
도 8을 참조하면, 이미지 매칭 장치(106)는 제1 단말(102)의 화면에서 각 오브젝트들을 캡쳐하고, 캡쳐된 각 오브젝트(도 8에서는 홈 클릭, 검색 검증, adb 키보드 인증, 검색어 입력, 검색 버튼 클릭, 상품까지 스와이프, 상품 이미지 검증, 이전, 베스트 메뉴 검증, 베스트 메뉴 클릭, 뷰티 메뉴 검증, 의류 메뉴 클릭 등을 포함)에 대해 스크립트(C)를 작성할 수 있다. 이미지 매칭 장치(106)는 캡쳐한 각 오브젝트의 이미지를 해당 스크립트와 매칭하여 저장할 수 있다. 이미지 매칭 장치(106)는 스크립트를 작성한 오브젝트들의 리스트(D)를 관리할 수 있다.
도 9 내지 도 10은 이미지 매칭 장치(106)에서 각 오브젝트의 스크립트를 실행한 경우를 나타낸 도면이다.
도 9를 참조하면, 관리자에 의해 홈 클릭(E)에 대한 스크립트 실행이 선택되는 경우, 이미지 매칭 장치(106)는 복수 개의 제2 단말(104)의 화면(B-1 ~ B-6)에서 홈 클릭의 이미지와 매칭되는 오브젝트를 검출한 후, 해당 오브젝트를 실행하도록 복수 개의 제2 단말(104)을 제어할 수 있다.
도 10을 참조하면, 관리자에 의해 검색어 입력(F)에 대한 스크립트 실행이 선택되는 경우, 이미지 매칭 장치(106)는 복수 개의 제2 단말(104)의 화면(B-1 ~ B-6)에서 검색어 입력의 이미지와 매칭되는 오브젝트를 검출한 후, 해당 오브젝트를 실행하도록 복수 개의 제2 단말(104)을 제어할 수 있다.
이와 같이, 테스트하고자 하는 어플리케이션이 제공하는 오브젝트 별로 스크립트를 작성한 후, 제2 단말(104) 별로 그와 매칭되는 이미지 스케일 비율을 저장하면, 어플리케이션의 테스트 수행 시 소정 오브젝트가 반복적으로 수행되는 경우, 해당 오브젝트에 대해 기 저장된 이미지 스케일 비율을 우선적으로 적용하여 이미지 매칭 작업에 소요되는 시간을 줄일 수 있게 된다.
도 11은 본 발명의 일 실시예에 따른 이미지 매칭 장치(106)에서 오브젝트 별 이미지 스케일 비율이 저장되는 상태를 나타낸 도면이다.
도 11을 참조하면, 이미지 매칭 장치(106)는 제2 단말(104)들에 대해 각 오브젝트 별 이미지 스케일 비율을 데이터베이스화 할 수 있다. 데이터베이스에는 오브젝트 식별 정보(도 11에서는 ITEM_KEY)가 기재되는 필드(G1), 해당 오브젝트의 이미지 식별 정보(도 11에서는 IMG_KEY)가 기재되는 필드(G2), 제1 단말(102)의 식별 정보(도 11에서는 DEVICEID_TMPL)가 기재되는 필드(G3), 제2 단말(104)의 식별 정보(도 11에서는 DEVICEID_TRGT)가 기재되는 필드(G4), 및 이미지 스케일 비율(도 11에서는 SCALE_MAT)이 기재되는 필드(G5)를 포함할 수 있다. 여기서, 동일한 오브젝트라 하더라도 해당 오브젝트를 캡쳐한 시기 또는 해당 오브젝트를 캡쳐한 크기 등에 따라 서로 다른 이미지 식별 정보를 가질 수 있다.
도 12는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되는 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 테스트 제어를 위한 장치(예를 들어, 이미지 매칭 장치(106))일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 어플리케이션 테스트 시스템
102 : 제1 단말
104 : 제2 단말
106 : 이미지 매칭 장치
111 : 화면 획득부
113 : 단말 정보 획득부
115 : 이미지 스케일 비율 관리부
117 : 이미지 매칭부

Claims (11)

  1. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고, 제1 단말 및 적어도 하나 이상의 제2 단말이 각각 연결되는 컴퓨팅 장치로서,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    상기 제1 단말의 화면에서 기준 오브젝트를 획득하기 위한 제1 명령;
    상기 제2 단말에 대해 기 저장된 이미지 스케일 비율이 존재하는지 여부를 확인하기 위한 제2 명령;
    상기 기 저장된 이미지 스케일 비율이 존재하는 경우, 상기 기준 오브젝트의 이미지를 상기 기 저장된 이미지 스케일 비율에 따라 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하기 위한 제3 명령; 및
    상기 기 저장된 이미지 스케일 비율이 존재하지 않는 경우, 상기 기준 오브젝트의 이미지를 기 설정된 단위의 비율로 확대 또는 축소하면서 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트가 검출되는지 여부를 확인하며, 상기 오브젝트가 검출되는 경우 상기 제2 단말에 대해 상기 기준 오브젝트의 이미지 스케일 비율을 저장하여 이미지 스케일 비율을 학습시키기 위한 제4 명령을 포함하는, 컴퓨팅 장치.
  2. 청구항 1에 있어서,
    상기 이미지 스케일 비율을 저장하기 위한 명령은,
    상기 이미지 스케일 비율을 상기 제2 단말 별로 기 설정된 크기의 큐(Queue)에 순차적으로 저장하기 위한 명령을 포함하는, 컴퓨팅 장치.
  3. 청구항 1에 있어서,
    상기 제3 명령은,
    상기 제2 단말에 대해 기 저장된 이미지 스케일 비율 중 서로 다른 이미지 스케일 비율이 존재하는지 여부를 확인하기 위한 명령;
    상기 서로 다른 이미지 스케일 비율이 존재하는 경우, 상기 서로 다른 이미지 스케일 비율 중 이미지 매칭 횟수가 가장 높은 이미지 스케일 비율을 추출하기 위한 명령; 및
    상기 기준 오브젝트의 이미지를 상기 추출한 이미지 스케일 비율에 따라 스케일링 하기 위한 명령을 포함하는, 컴퓨팅 장치.
  4. 청구항 3에 있어서,
    상기 추출한 이미지 스케일 비율에 따라 스케일링 하기 위한 명령은,
    상기 이미지 스케일 비율 중 상기 이미지 매칭 횟수가 높은 순서대로 우선하여 상기 기준 오브젝트의 이미지를 스케일링하기 위한 명령을 포함하는, 컴퓨팅 장치.
  5. 청구항 1에 있어서,
    상기 하나 이상의 프로그램들은,
    상기 컴퓨팅 장치에 신규한 제2 단말이 연결되는지 여부를 확인하기 위한 명령;
    상기 기 연결된 제2 단말 중 상기 신규 연결된 제2 단말의 단말 정보와 가장 유사한 단말 정보를 가지는 제2 단말을 추출하기 위한 명령; 및
    상기 신규 연결된 제2 단말에 대해 상기 추출한 제2 단말의 기 저장된 이미지 스케일 비율을 적용하여 상기 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
  6. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고, 제1 단말 및 적어도 하나 이상의 제2 단말이 각각 연결되는 컴퓨팅 장치로서,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    상기 제1 단말의 화면에서 기준 오브젝트를 캡쳐하여 스크립트를 작성하기 위한 명령;
    상기 제2 단말의 상기 기준 오브젝트에 대해 기 저장된 이미지 스케일 비율이 존재하는지 여부를 확인하기 위한 명령;
    상기 기 저장된 이미지 스케일 비율이 존재하는 경우, 상기 기준 오브젝트의 이미지를 상기 기 저장된 이미지 스케일 비율에 따라 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하기 위한 명령; 및
    상기 기 저장된 이미지 스케일 비율이 존재하지 않는 경우, 상기 기준 오브젝트의 이미지를 기 설정된 단위의 비율로 확대 또는 축소하면서 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트가 검출되는지 여부를 확인하며, 상기 오브젝트가 검출되는 경우 상기 제2 단말에 대해 상기 기준 오브젝트의 이미지 스케일 비율을 저장하여 이미지 스케일 비율을 학습시키기 위한 명령을 포함하는, 컴퓨팅 장치.
  7. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 제1 단말 및 적어도 하나 이상의 제2 단말이 각각 연결되는 컴퓨팅 장치에서 수행되는 방법으로서,
    상기 제1 단말의 화면에서 기준 오브젝트를 획득하기 위한 제1 단계;
    상기 제2 단말에 대해 기 저장된 이미지 스케일 비율이 존재하는지 여부를 확인하기 위한 제2 단계;
    상기 기 저장된 이미지 스케일 비율이 존재하는 경우, 상기 기준 오브젝트의 이미지를 상기 기 저장된 이미지 스케일 비율에 따라 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하기 위한 제3 단계; 및
    상기 기 저장된 이미지 스케일 비율이 존재하지 않는 경우, 상기 기준 오브젝트의 이미지를 기 설정된 단위의 비율로 확대 또는 축소하면서 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트가 검출되는지 여부를 확인하며, 상기 오브젝트가 검출되는 경우 상기 제2 단말에 대해 상기 기준 오브젝트의 이미지 스케일 비율을 저장하여 이미지 스케일 비율을 학습시키기 위한 제4 단계를 포함하는, 이미지 매칭 방법.
  8. 청구항 7에 있어서,
    상기 이미지 스케일 비율을 저장하기 위한 단계는,
    상기 이미지 스케일 비율을 상기 제2 단말 별로 기 설정된 크기의 큐(Queue)에 순차적으로 저장하기 위한 단계를 포함하는, 이미지 매칭 방법.
  9. 청구항 7에 있어서,
    상기 제3 단계는,
    상기 제2 단말에 대해 기 저장된 이미지 스케일 비율 중 서로 다른 이미지 스케일 비율이 존재하는지 여부를 확인하기 위한 단계;
    상기 서로 다른 이미지 스케일 비율이 존재하는 경우, 상기 서로 다른 이미지 스케일 비율 중 이미지 매칭 횟수가 가장 높은 이미지 스케일 비율을 추출하기 위한 단계; 및
    상기 기준 오브젝트의 이미지를 상기 추출한 이미지 스케일 비율에 따라 스케일링 하기 위한 단계를 포함하는, 이미지 매칭 방법.
  10. 청구항 7에 있어서,
    상기 이미지 매칭 방법은,
    상기 컴퓨팅 장치에 신규한 제2 단말이 연결되는지 여부를 확인하기 위한 단계;
    상기 기 연결된 제2 단말 중 상기 신규 연결된 제2 단말의 단말 정보와 가장 유사한 단말 정보를 가지는 제2 단말을 추출하기 위한 단계; 및
    상기 신규 연결된 제2 단말에 대해 상기 추출한 제2 단말의 기 저장된 이미지 스케일 비율을 적용하여 상기 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하기 위한 단계를 더 포함하는, 이미지 매칭 방법.
  11. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 제1 단말 및 적어도 하나 이상의 제2 단말이 각각 연결되는 컴퓨팅 장치에서 수행되는 방법으로서,
    상기 제1 단말의 화면에서 기준 오브젝트를 캡쳐하여 스크립트를 작성하는 단계;
    상기 제2 단말의 상기 기준 오브젝트에 대해 기 저장된 이미지 스케일 비율이 존재하는지 여부를 확인하는 단계;
    상기 기 저장된 이미지 스케일 비율이 존재하는 경우, 상기 기준 오브젝트의 이미지를 상기 기 저장된 이미지 스케일 비율에 따라 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트를 검출하는 단계; 및
    상기 기 저장된 이미지 스케일 비율이 존재하지 않는 경우, 상기 기준 오브젝트의 이미지를 기 설정된 단위의 비율로 확대 또는 축소하면서 스케일링하고, 상기 제2 단말의 화면에서 상기 스케일링 된 기준 오브젝트와 이미지 매칭되는 오브젝트가 검출되는지 여부를 확인하며, 상기 오브젝트가 검출되는 경우 상기 제2 단말에 대해 상기 기준 오브젝트의 이미지 스케일 비율을 저장하여 이미지 스케일 비율을 학습시키기 위한 단계를 포함하는, 이미지 매칭 방법.
KR1020170067758A 2017-05-31 2017-05-31 이미지 매칭 방법 및 이를 수행하기 위한 장치 KR101966423B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170067758A KR101966423B1 (ko) 2017-05-31 2017-05-31 이미지 매칭 방법 및 이를 수행하기 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170067758A KR101966423B1 (ko) 2017-05-31 2017-05-31 이미지 매칭 방법 및 이를 수행하기 위한 장치

Publications (2)

Publication Number Publication Date
KR20180131132A true KR20180131132A (ko) 2018-12-10
KR101966423B1 KR101966423B1 (ko) 2019-04-05

Family

ID=64670950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170067758A KR101966423B1 (ko) 2017-05-31 2017-05-31 이미지 매칭 방법 및 이를 수행하기 위한 장치

Country Status (1)

Country Link
KR (1) KR101966423B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598571A (zh) * 2019-11-27 2021-04-02 中兴通讯股份有限公司 一种图像缩放方法、装置、终端及存储介质
KR20220040035A (ko) * 2020-09-23 2022-03-30 주식회사 포스코아이씨티 로봇 프로세스 자동화를 위한 이미지 기반의 객체탐지 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060118138A (ko) 2005-05-16 2006-11-23 박주선 이미지 매칭 시스템이 구비된 사용자 단말기 및 그 이미지매칭방법
KR20120127067A (ko) * 2011-05-13 2012-11-21 부산대학교 산학협력단 호환성을 평가하기 위한 화면 동등성 판별 장치 및 방법
JP2014219885A (ja) * 2013-05-10 2014-11-20 株式会社日立製作所 テスト支援方法、テスト支援システム
KR20150013312A (ko) * 2012-12-06 2015-02-04 시아오미 아이엔씨. 화상 통신 방법, 장치, 프로그램 및 기록매체
JP2016018359A (ja) * 2014-07-08 2016-02-01 キヤノン株式会社 画像処理方法、画像処理装置、プログラム及び記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060118138A (ko) 2005-05-16 2006-11-23 박주선 이미지 매칭 시스템이 구비된 사용자 단말기 및 그 이미지매칭방법
KR20120127067A (ko) * 2011-05-13 2012-11-21 부산대학교 산학협력단 호환성을 평가하기 위한 화면 동등성 판별 장치 및 방법
KR20150013312A (ko) * 2012-12-06 2015-02-04 시아오미 아이엔씨. 화상 통신 방법, 장치, 프로그램 및 기록매체
JP2014219885A (ja) * 2013-05-10 2014-11-20 株式会社日立製作所 テスト支援方法、テスト支援システム
JP2016018359A (ja) * 2014-07-08 2016-02-01 キヤノン株式会社 画像処理方法、画像処理装置、プログラム及び記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598571A (zh) * 2019-11-27 2021-04-02 中兴通讯股份有限公司 一种图像缩放方法、装置、终端及存储介质
KR20220040035A (ko) * 2020-09-23 2022-03-30 주식회사 포스코아이씨티 로봇 프로세스 자동화를 위한 이미지 기반의 객체탐지 시스템

Also Published As

Publication number Publication date
KR101966423B1 (ko) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109684047B (zh) 事件处理方法、装置、设备和计算机存储介质
US10216377B2 (en) Visual regression analysis
WO2019019255A1 (zh) 建立预测模型的装置、方法、预测模型建立程序及计算机可读存储介质
US9612723B1 (en) Composite graphical interface with shareable data-objects
EP3188034A1 (en) Display terminal-based data processing method
KR102087807B1 (ko) 문자 입력 방법 및 장치
CN107807841B (zh) 服务器模拟方法、装置、设备及可读存储介质
CN110084317B (zh) 用于识别图像的方法和装置
CN112419693A (zh) 设备控制方法、装置、显示设备及计算机可读存储介质
CN112667212A (zh) 埋点数据可视化方法、装置、终端和存储介质
JP6525043B2 (ja) データ生成装置、データ生成方法及びプログラム
US10152496B2 (en) User interface device, search method, and program
KR101966423B1 (ko) 이미지 매칭 방법 및 이를 수행하기 위한 장치
KR20220003625A (ko) 성능 검측 방법, 장치, 전자 기기, 컴퓨터 판독 가능 매체 및 컴퓨터 프로그램 제품
CN108845757A (zh) 一种智能交互平板的触控输入方法及装置、计算机可读存储介质、智能交互平板
KR101753314B1 (ko) 이미지 매칭 학습을 이용한 어플리케이션 테스트 방법 및 이를 수행하기 위한 장치
JP5266416B1 (ja) テストシステム及びテストプログラム
US20170277722A1 (en) Search service providing apparatus, system, method, and computer program
US11621000B2 (en) Systems and methods for associating a voice command with a search image
CN107515821B (zh) 控件测试方法和装置
KR102296897B1 (ko) 솔루션의 테스트 자동화 시스템 및 방법
US11003346B2 (en) Prototype storing method
US20160019867A1 (en) Method of providing map service, display control method, and computer programs for performing the methods
JP6174706B2 (ja) 装置上のフォルダの内容を動的に更新するシステム及び方法
JP2019128899A (ja) 表示制御プログラム、表示制御装置及び表示制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant