KR102089802B1 - 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템 - Google Patents

텍스트 분석 기반 사용자 인터페이스 자동생성 시스템 Download PDF

Info

Publication number
KR102089802B1
KR102089802B1 KR1020180045829A KR20180045829A KR102089802B1 KR 102089802 B1 KR102089802 B1 KR 102089802B1 KR 1020180045829 A KR1020180045829 A KR 1020180045829A KR 20180045829 A KR20180045829 A KR 20180045829A KR 102089802 B1 KR102089802 B1 KR 102089802B1
Authority
KR
South Korea
Prior art keywords
widget
information
text
unit
storage means
Prior art date
Application number
KR1020180045829A
Other languages
English (en)
Other versions
KR20190122108A (ko
Inventor
정진만
은성배
윤영선
허준영
김서연
박지수
Original Assignee
한남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한남대학교 산학협력단 filed Critical 한남대학교 산학협력단
Priority to KR1020180045829A priority Critical patent/KR102089802B1/ko
Publication of KR20190122108A publication Critical patent/KR20190122108A/ko
Application granted granted Critical
Publication of KR102089802B1 publication Critical patent/KR102089802B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 텍스트 분석을 사용하여 사용자 인터페이스를 생성하는 시스템에 관한 것으로서, 사용자가 스케치한 이미지나 메모를 인식하여 객체를 구성하는 구성요소(텍스트, 라인, 삼각형, 사각형, 원, 이미지)의 결합관계로부터 위젯을 1차적으로 선택하고, 상기 객체의 텍스트로부터 위젯을 2차적으로 선택한 후, 2개의 위젯을 비교하여 최종적으로 선택되는 하나의 위젯을 사용하여 사용자 인터페이스를 생성하므로, 변환과정에서 오류가 감소하고 정확도를 향상시킬 수 있을 뿐 아니라 별도의 프로그래밍 없이 간단한 스케치만으로도 앱을 쉽게 제조할 수 있는 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템에 관한 것이다.

Description

텍스트 분석 기반 사용자 인터페이스 자동생성 시스템{An automatic user interface generation system based on text analysis}
본 발명은 텍스트 분석을 사용하여 사용자 인터페이스를 생성하는 시스템에 관한 것으로서, 사용자가 스케치한 이미지나 메모를 인식하여 객체를 구성하는 구성요소(텍스트, 라인, 삼각형, 사각형, 원, 이미지)의 결합관계로부터 위젯을 1차적으로 선택하고, 상기 객체의 텍스트로부터 위젯을 2차적으로 선택한 후, 2개의 위젯을 비교하여 최종적으로 선택되는 하나의 위젯을 사용하여 사용자 인터페이스를 생성하므로, 변환과정에서 오류가 감소하고 정확도를 향상시킬 수 있을 뿐 아니라 별도의 프로그래밍 없이 간단한 스케치만으로도 앱을 쉽게 제조할 수 있는 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템에 관한 것이다.
최근 정보 통신 기술의 발전으로 인해 이동 통신 단말기는 단순히 음성 통신 기능뿐만 아니라 인터넷을 이용한 온라인 게임, 인터넷 검색, 온라인 쇼핑 및 소셜 네트워킹 서비스 등과 같은 새로운 서비스 및 콘텐츠 개발과 맞물려 다양한 기능들을 제공하고 있으며, 그 중심에는 3세대(3G), 4세대(4G) 휴대폰으로 알려져 있는 지능형 단말기, 일명 스마트폰(smart phone)이 있다.
이러한 스마트폰에는 기존의 소위 2세대(2G) 휴대폰에 비해 대용량의 메모리와 고성능 중앙 처리 장치가 탑재되고, 다양한 어플리케이션(application; 앱)이 설치되어 실행되는 한편, 음성, 데이터 통신 및 PC(Personal Computer) 연동을 지원하기 위한 운영 체제가 탑재되어 있다.
이러한 스마트폰이 기존 휴대폰과 근본적으로 다른 부분은 사용자의 필요에 따라 다양한 응용프로그램, 즉 앱을 추가 설치해 활용할 수 있다는 데 있다. 스마트폰 앱은 구글사의 안드로이드(android)나 애플사의 아이오에스(IOS) 등의 운영체제 별로 매우 많은 수가 제공되고 있으며, 계속하여 개발자들에 의하여 개발되어 출시되고 있다.
이와 같이 수많은 스마트폰 앱들이 개발되어 상용화되고 있지만, 앱은 대부분 전문가들에 의해 개발이 이루어지고 있으며, 일반인이 앱을 개발하는 데에는 많은 어려움이 있는 것이 현실이다.
예컨대, 일반인이 앱을 개발하기 위해서는 먼저 개발자에게 필요한 앱 개발을 요청해야 하고, 개발자는 앱 개발 요청자의 요구사항을 분석/설계하는 과정을 거쳐 앱에 필요한 기능의 소스 코드를 개발하며, 콘텐츠(리소스)를 추가하여 개발을 진행하는 과정을 거치게 된다.
최근 들어, 미국 구글사와 애플사에서 내놓은 스마트폰 플랫폼은 기존의 스마트폰 플랫폼과 달리 앱의 설치와 배포가 용이하고, 스마트폰에 최적화된 SDK(Software Development Kit)를 이용하여 쉽게 앱을 개발할 수 있도록 제공하고 있다.
그러나 앱의 개발은 여전히 기존의 PC 환경이나 마이크로소프트사의 윈도우 CE, 윈도우 모바일 환경과 마찬가지로 개별적으로 개발사에 제작을 의뢰하여 진행하여야 하므로 막대한 비용과 시간이 소요된다.
따라서 앱 개발과 관련된 전문적인 지식이나 경험이 없는 일반인이 자신이 가지고 있는 이미지, 음성 등의 콘텐츠를 앱으로 손쉽게 제작할 수 있는 기술에 대한 다양한 연구가 이루어지고 있다.
이와 관련하여 한국등록특허 제10-1559389호는 기본 소스코드와 보관 중인 콘텐츠를 활용하여 어플리케이션의 생성이 간편하게 이루어질 수 있도록 하는 어플리케이션 제작 시스템 및 제작 방법을 개시하고 있다.
그러나 이러한 종래의 기술 또한 기본적인 소스코드에 대한 사용자의 폭넓은 이해가 있어야 어플리케이션의 개발이 가능하고, 어플리케이션의 다양한 입력 테이블에 대한 사용자의 지식을 요구하여 여전히 접근성이 좋지 않다는 문제점을 가지고 있다.
한국등록특허 제10-1559389호 (2015.10.05)
이와 같은 문제를 해결하기 위하여 본 발명은 사용자가 스케치한 이미지나 메모를 인식하여, 객체를 구성하는 구성요소(텍스트, 라인, 삼각형, 사각형, 원, 이미지)의 결합관계로부터 위젯을 1차적으로 선택하고, 상기 객체의 텍스트를 인식하여 위젯을 2차적으로 선택한 후, 2개의 위젯을 비교하여 최종적으로 선택되는 하나의 위젯을 사용하여 사용자 인터페이스를 생성함으로써, 변환과정에서 오류가 감소하고 정확도를 향상시킬 수 있는 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템을 제공하는 것을 목적으로 한다.
또한 본 발명은 별도의 프로그래밍 없이 간단한 스케치만으로도 앱을 쉽게 제조하여 제조비용과 시간을 절감할 수 있는 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템을 제공하는데 그 목적이 있다.
아울러 본 발명은 앱이나 사용자 인터페이스에 대한 전문적인 지식이 없더라도 사용자가 원하는 앱이나 뷰 구성을 자유롭게 설계하여 원하는 앱을 쉽게 만들 수 있는 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템을 제공하는 것을 목적으로 한다.
상기한 바와 같은 목적을 달성하기 위하여 본 발명은
제공되는 스케치 또는 메모를 디지털 이미지로 변환하여 제공하는 이미지 획득부(110);
상기 이미지 획득부(110)에서 획득된 이미지로부터 객체를 추출하는 객체 추출부(180);
객체에 관련된 정보가 저장되어 있는 객체정보저장수단(121), 텍스트에 관련된 정보가 저장되어 있는 문자정보저장수단(122) 및 사용자 인터페이스에 관련된 정보가 저장되어 있는 사용자인터페이스정보저장수단(123)으로 구성되는 데이터베이스부(120);
상기 객체 추출부(180)에서 추출된 객체로부터 상기 객체정보저장수단(121)의 정보를 이용하여 제1위젯을 인식하는 객체 인식부(130);
상기 객체 추출부(180)에서 추출된 객체로부터 텍스트를 인식하는 문자정보획득부(140);
상기 문자정보획득부(140)에서 인식된 텍스트로부터 상기 문자정보저장수단(122)의 정보를 이용하여 제2위젯을 인식하는 문자정보분석부(150);
상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 하나의 위젯을 선택하는 인식정보교차확인부(160); 및
상기 인식정보교차확인부(160)에서 선택된 위젯을 바탕으로 상기 사용자인터페이스정보저장수단(123)에 저장되어 있는 정보를 호출하여 화면을 구성하는 메뉴화면구성실행부(170);를 포함하는 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템을 제공한다.
본 발명의 일실시예에 있어서, 상기 인식정보교차확인부(160)는
상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 제1위젯 및 제2위젯이 동일하면, 제1위젯 또는 제2위젯을 선택하고,
상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 제1위젯 및 제2위젯이 다르면, 사용자가 획득된 이미지를 확인하여 하나의 위젯을 선택하는 것을 특징으로 한다.
본 발명의 일실시예에 있어서, 상기 객체 추출부(180)는
상기 이미지 획득부(110)에서 획득된 이미지로부터 텍스트, 라인, 삼각형, 사각형, 원 및 이미지를 검출하는 객체검출부(181); 및
상기 객체검출부(181)에서 검출된 텍스트, 라인, 삼각형, 사각형, 원 및 이미지를 객체로 인식하고, 각 객체를 구성하는 텍스트, 라인, 삼각형, 사각형, 원 및 이미지의 결합관계를 판단하는 객체판단부(182)를 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 있어서, 상기 객체정보저장수단(121)은
기본위젯, 복합위젯 및 컨테이너에 대한 정보; 객체를 구성하는 텍스트, 라인, 삼각형, 사각형, 원 및 이미지의 결합관계에 대응되는 위젯의 매칭 정보; 및 각 위젯의 크기, 형상 및 위치에 대한 정보를 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 있어서, 상기 문자정보저장수단(122)은
텍스트의 특성에 대응되는 위젯의 매칭 정보; 및 각 위젯의 크기, 형상 및 위치에 대한 정보를 포함하는 것을 특징으로 한다.
본 발명은 사용자가 스케치한 이미지나 메모를 인식하여, 객체를 구성하는 구성요소(텍스트, 라인, 삼각형, 사각형, 원, 이미지)의 결합관계로부터 위젯을 1차적으로 선택하고, 상기 객체의 텍스트를 인식하여 위젯을 2차적으로 선택한 후, 2개의 위젯을 비교하여 최종적으로 선택되는 하나의 위젯을 사용하여 사용자 인터페이스를 생성함으로써, 변환과정에서 오류가 감소하고 정확도를 향상시킬 수 있다.
또한 본 발명은 별도의 프로그래밍 없이 간단한 스케치만으로도 앱을 쉽게 제조하여 제조비용과 시간을 절감할 수 있는 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템을 제공할 수 있다.
아울러 본 발명은 앱이나 사용자 인터페이스에 대한 전문적인 지식이 없더라도 사용자가 원하는 앱이나 뷰 구성을 자유롭게 설계하여 원하는 앱을 쉽게 만들 수 있다.
도 1은 본 발명의 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템을 나타낸다.
도 2는 본 발명의 객체 추출부를 나타낸다.
도 3은 본 발명의 객체를 구성하는 구성요소의 상관관계 및 위젯을 나타낸다.
도 4는 본 발명을 적용한 일실시예를 나타낸다.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.
도 1은 본 발명의 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템을 나타내고, 도 2는 본 발명의 객체 추출부를 나타내며, 도 3은 본 발명의 객체를 구성하는 구성요소의 상관관계 및 위젯을 나타내고, 도 4는 본 발명을 적용한 일실시예를 나타낸다.
본 발명의 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템은, 도 1에서 도시하고 있는 바와 같이,
제공되는 스케치 또는 메모를 디지털 이미지로 변환하여 제공하는 이미지 획득부(110);
상기 이미지 획득부(110)에서 획득된 이미지로부터 객체를 추출하는 객체 추출부(180);
객체에 관련된 정보가 저장되어 있는 객체정보저장수단(121), 텍스트에 관련된 정보가 저장되어 있는 문자정보저장수단(122) 및 사용자 인터페이스에 관련된 정보가 저장되어 있는 사용자인터페이스정보저장수단(123)으로 구성되는 데이터베이스부(120);
상기 객체 추출부(180)에서 추출된 객체로부터 상기 객체정보저장수단(121)의 정보를 이용하여 제1위젯을 인식하는 객체 인식부(130);
상기 객체 추출부(180)에서 추출된 객체로부터 텍스트를 인식하는 문자정보획득부(140);
상기 문자정보획득부(140)에서 인식된 텍스트로부터 상기 문자정보저장수단(122)의 정보를 이용하여 제2위젯을 인식하는 문자정보분석부(150);
상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 하나의 위젯을 선택하는 인식정보교차확인부(160); 및
상기 인식정보교차확인부(160)에서 선택된 위젯을 바탕으로 상기 사용자인터페이스정보저장수단(123)에 저장되어 있는 정보를 호출하여 화면을 구성하는 메뉴화면구성실행부(170);를 포함할 수 있다.
본 발명은 사용자가 스케치한 이미지나 메모를 인식하여, 객체를 구성하는 구성요소(텍스트, 라인, 삼각형, 사각형, 원, 이미지)의 결합관계로부터 위젯을 1차적으로 선택하고, 상기 객체의 텍스트를 인식하여 위젯을 2차적으로 선택한 후, 2개의 위젯을 비교하여 최종적으로 선택되는 하나의 위젯을 사용하여 사용자 인터페이스를 생성함으로써, 변환과정에서 오류가 감소하고 정확도를 향상시킬 수 있다.
즉, 선택된 위젯에 대하여 2차례 검증을 수행하므로 변환 시 오류를 획기적으로 감소시킬 수 있다.
또한 본 발명은 별도의 프로그래밍 없이 간단한 스케치만으로도 앱을 쉽게 제조하여 제조비용과 시간을 절감할 수 있다.
아울러 본 발명은 앱이나 사용자 인터페이스에 대한 전문적인 지식이 없더라도 사용자가 원하는 앱이나 뷰 구성을 자유롭게 설계하여 원하는 앱을 쉽고 정확하게 만들 수 있다.
상기 이미지 획득부(110)는 사용자가 제공하는 스케치 또는 메모를 디지털 이미지로 변환하여 제공할 수 있다.
상기 이미지 획득부(110)는 스캐너 또는 촬영장치로 구성되며, 사용자가 종이나 메모지에 직접 그린 스케치 또는 직접 작성한 메모를 디지털 화상 정보로 변환하여 상기 객체 추출부(180)에 제공한다.
상기 객체 추출부(180)는 상기 이미지 획득부(110)에서 획득된 이미지로부터 객체를 추출할 수 있다.
상기 획득한 이미지로부터 텍스트, 라인, 삼각형, 사각형, 원 및 이미지를 검출하여 이를 객체로 인식하고, 상기 객체를 구성하는 구성요소(텍스트, 라인, 삼각형, 사각형, 원 및 이미지)의 결합관계로부터 상기 객체정보저장수단(121)의 정보를 이용하여 미리 정의된 위젯을 1차적으로 선택할 수 있다.
획득한 이미지로부터 먼저 OCR(Optical character recognition)을 통해 텍스트를 검출하고, Edge 검출 알고리즘에 의해 라인, 삼각형, 사각형, 원 및 이미지를 검출할 수 있다.
상기 객체 추출부(180)는 객체검출부(181) 및 객체판단부(182)를 포함할 수 있다(도 2).
상기 객체검출부(181)는 상기 이미지 획득부(110)에서 획득된 이미지로부터 텍스트, 라인, 삼각형, 사각형, 원 및 이미지를 검출한다. 이때 텍스트, 라인, 삼각형, 사각형, 원 및 이미지는 객체로 인식되며, 객체의 구성요소로 작용한다.
상기 객체판단부(182)는 상기 객체검출부(181)에서 검출된 텍스트, 라인, 삼각형, 사각형, 원 및 이미지를 객체로 인식하고, 각 객체를 구성하는 텍스트, 라인, 삼각형, 사각형, 원 및 이미지의 결합관계를 판단한다.
예를 들어, 상기 객체판단부(182)는 객체 A를 텍스트로만 이루어진 것으로 판단할 수 있고, 객체 B를 텍스트와 라인으로 구성된 것으로 판단할 수 있으며, 객체 C를 텍스트와 원으로 구성된 것으로 판단할 수 있다.
상기 객체정보저장수단(121)은 객체를 구성하는 구성요소(텍스트, 라인, 삼각형, 사각형, 원 및 이미지)의 결합관계에 대응되는 위젯의 매칭 정보를 포함하는데, 예컨대 텍스트로만 이루어진 객체는 TextView 위젯에 해당하고, 텍스트와 라인으로 이루어진 객체는 EditText에 해당하며, 텍스트와 원으로 이루어진 객체는 RadioButton에 해당한다. 이러한 구성요소의 결합관계와 위젯의 매칭 정보는 미리 정의되어 객체정보저장수단(121)에 저장될 수 있다.
따라서 상기 객체판단부(182)에서 검출된 객체의 구성요소(텍스트, 라인, 삼각형, 사각형, 원 및 이미지)의 결합관계를 판단하면, 이러한 결합관계에 해당하는 위젯을 상기 객체정보저장수단(121)의 매칭 정보로부터 선택할 수 있다.
예를 들어, 객체판단부(182)에서 객체 A가 텍스트로만 이루어진 것으로 판단하면, 상기 객체정보저장수단(121)에서 상기 객체 A는 TextView 위젯에 해당하므로, 객체 인식부(130)는 상기 객체 A를 TextView 위젯으로 인식한다.
또한 객체판단부(182)에서 객체 B가 텍스트와 라인으로 구성된 것으로 판단하면, 상기 객체정보저장수단(121)에서 객체 B는 EditText 위젯에 해당하므로, 객체 인식부(130)는 상기 객체 B를 EditText 위젯으로 인식한다.
상기 데이터베이스부(120)는 객체에 관련된 정보가 저장되어 있는 객체정보저장수단(121), 텍스트에 관련된 정보가 저장되어 있는 문자정보저장수단(122) 및 사용자 인터페이스에 관련된 정보가 저장되어 있는 사용자인터페이스정보저장수단(123)을 포함할 수 있다.
상기 객체정보저장수단(121)은 기본위젯, 복합위젯 및 컨테이너에 대한 정보; 객체를 구성하는 텍스트, 라인, 삼각형, 사각형, 원 및 이미지의 결합관계에 대응되는 위젯의 매칭 정보; 및 각 위젯의 크기, 형상 및 위치에 대한 정보를 포함할 수 있다.
기본위젯으로는 TextView(텍스트로만 구성), Button(텍스트와 사각형으로 구성) 및 ImageView(이미지로만 구성)가 있고, 복합위젯으로는 EditText(텍스트와 라인으로 구성), Spinner(텍스트와 삼각형으로 구성), CheckButton(텍스트와 사각형으로 구성) 및 RadioButton(텍스트와 원으로 구성)이 있으며, 컨테이너로는 ListView(TextView 와 사각형으로 구성), TabBar(TextView, 사각형 및 이미지로 구성) 및 RadioGroup(사각형과 RadioButton으로 구성)이 있다(도 3).
기본위젯은 객체 간의 포함관계 규칙을 통해 정의되며, 복합위젯은 객체 간의 연결관계 규칙을 통해 정의되고, 컨테이너는 기본위젯 또는 복합위젯을 포함하거나 연결하는 것으로 정의된다.
상기 객체판단부(182)에서 검출된 객체의 구성요소(텍스트, 라인, 삼각형, 사각형, 원 및 이미지)의 결합관계를 판단하면, 이러한 결합관계에 해당하는 위젯을 상기 객체정보저장수단(121)의 매칭 정보로부터 선택할 수 있다.
예를 들어, 객체판단부(182)에서 객체 A가 텍스트로만 이루어진 것으로 판단하면, 상기 객체정보저장수단(121)에서 상기 객체 A는 TextView 위젯에 해당하므로, 객체 인식부(130)는 상기 객체 A를 TextView 위젯으로 인식한다.
또한 객체판단부(182)에서 객체 B가 텍스트와 라인으로 구성된 것으로 판단하면, 상기 객체정보저장수단(121)에서 객체 B는 EditText 위젯에 해당하므로, 객체 인식부(130)는 상기 객체 B를 EditText 위젯으로 인식한다.
상기 객체정보저장수단(121)은 각 위젯의 크기, 형상 및 위치에 대한 정보를 포함할 수 있다. 각 위젯은 크기, 형상 및 위치가 서로 다른데, 이러한 크기, 형상 및 위치에 대한 정보를 활용하여 변환 시 변환 오류를 줄이고 정확성을 높일 수 있다.
예컨대, Button은 사각형 또는 타원형이고, CheckButton은 사각형 형상으로 주로 오른쪽에 위치하고, Spinner는 삼각형이고, RadioButton은 원형으로 주로 왼쪽에 위치하며, ListView 및 TabBar는 평균 4개로 구성된다.
상기 객체판단부(182)에서 검출된 객체의 구성요소(텍스트, 라인, 삼각형, 사각형, 원 및 이미지)의 결합관계를 판단하면, 이러한 결합관계에 해당하는 위젯을 상기 객체정보저장수단(121)의 매칭 정보로부터 선택할 수 있다. 그러나 이러한 과정을 통해서도 변환 오류가 발생할 수 있는데, 상기 크기, 형상 및 위치에 대한 정보를 추가적으로 활용하여 변환의 정확성을 높일 수 있다.
예를 들면, 객체판단부(182)에서 객체 A가 텍스트로만 이루어진 것으로 판단하면, 상기 객체정보저장수단(121)의 매칭 정보로부터 상기 객체 A는 TextView 위젯에 해당하므로, 객체 인식부(130)는 상기 객체 A를 TextView 위젯으로 인식해야 하는데, 변환과정에서 오류가 발생할 수 있다.
이러한 오류를 줄이기 위하여, 상기 객체정보저장수단(121)의 매칭 정보로부터 상기 객체 A에 해당하는 위젯을 선택한 후, 추가적으로 위젯의 크기, 형상 및 위치에 대한 정보를 활용하여 선택된 위젯의 크기, 형상 및 위치와 일치하는지 여부를 판단하여 최종적으로 위젯을 선택할 수 있다.
상기 문자정보저장수단(122)은 텍스트의 특성에 대응되는 위젯의 매칭 정보; 및 각 위젯의 크기, 형상 및 위치에 대한 정보를 포함할 수 있다.
상기 텍스트의 특성은 텍스트에 포함된 명사, 동사, 형용사, 전치사, 부사, 숫자 및 긴 문장의 비율을 포함한다.
각 위젯은 독특한 텍스트의 특성을 가지며, 텍스트의 특성과 위젯의 매칭 정보는 미리 문자정보저장수단(122)에 저장될 수 있다.
TextView 위젯은 명사 61%, 동사 19%, 형용사 6%, 전치사 4%, 부사 2%, 숫자 8%, 긴 문장의 비율 15%를 가지며, Button 위젯은 명사 35%, 동사 60%, 형용사 5%, 긴 문장의 비율 0%를 가진다.
또한 EditText 위젯은 명사 53%, 동사 47%, 긴 문장의 비율 18%를 가지고, CheckButton 위젯은 명사 73%, 동사 19%, 형용사 4%, 부사 4%, 긴 문장의 비율 12%를 가지며, RadioButton 위젯은 명사 55%, 동사 18%, 전치사 9%, 부사 18%, 긴 문장의 비율 18%를 가지고, Spinner 위젯은 명사 55%, 동사 45%, 긴 문장의 비율 9%를 가지고, ListView 위젯은 명사 78%, 동사 16%, 형용사 5%, 전치사 2%, 긴 문장의 비율 2%를 가지며, TabBar 위젯은 명사 62%, 동사 14%, 형용사 24%를 가진다(표 1).
이때 텍스트에 포함된 명사, 동사, 형용사, 전치사, 부사, 숫자 및 긴 문장의 비율이 모두 0 이면 ImageView 위젯으로 판단한다.
Figure 112018039287439-pat00001
상기 문자정보획득부(140)에서 추출된 객체로부터 텍스트를 인식하면, 상기 문자정보분석부(150)는 문자정보저장수단(122)의 매칭 정보로부터 해당하는 위젯을 선택할 수 있다.
예를 들면, 문자정보획득부(140)에서 텍스트 인식결과, 명사 55%, 동사 17%, 형용사 7%, 전치사 6%, 부사 5%, 숫자 10%, 긴 문장의 비율 13%이라면, 문자정보분석부(150)는 TextView 위젯을 선택할 수 있다.
또한 상기 문자정보분석부(150)는 문자정보저장수단(122)의 매칭 정보로부터 해당하는 위젯을 일치도를 기준으로 하여 3순위까지 선택하여 제공할 수 있다.
상기 문자정보저장수단(122)은 각 위젯의 크기, 형상 및 위치에 대한 정보를 포함할 수 있다. 각 위젯은 크기, 형상 및 위치가 서로 다른데, 이러한 크기, 형상 및 위치에 대한 정보를 활용하여 변환 오류를 줄이고 정확성을 높일 수 있다.
예컨대, Button은 사각형 또는 타원형이고, CheckButton은 사각형 형상으로 주로 오른쪽에 위치하고, Spinner는 삼각형이고, RadioButton은 원형으로 주로 왼쪽에 위치하며, ListView 및 TabBar는 평균 4개로 구성된다.
상기 위젯의 크기, 형상 및 위치에 대한 정보를 추가적으로 활용하여 변환의 정확성을 높일 수 있다.
예를 들면, 문자정보획득부(140)에서 추출된 객체로부터 텍스트를 인식하면, 문자정보저장수단(122)의 매칭 정보로부터 상기 텍스트는 TextView 위젯에 해당하므로, 상기 문자정보분석부(150)는 상기 텍스트를 TextView 위젯으로 인식해야 하는데, 변환과정에서 오류가 발생할 수 있다.
이러한 오류를 줄이기 위하여, 상기 문자정보저장수단(122)의 매칭 정보로부터 상기 텍스트에 해당하는 위젯을 선택한 후, 추가적으로 위젯의 크기, 형상 및 위치에 대한 정보를 활용하여 선택된 위젯의 크기, 형상 및 위치와 일치하는지 여부를 판단하여 최종적으로 위젯을 선택한다.
상기 사용자인터페이스정보저장수단(123)은 사용자 인터페이스에 관련된 정보를 저장하고 있는데, 기본위젯, 복합위젯 및 컨테이너에 대한 정보; 위젯의 크기, 형상 및 위치에 대한 정보; 위젯의 색상에 대한 정보; 및 위젯의 텍스트에 대한 정보를 포함할 수 있다.
상기 인식정보교차확인부(160)에서 위젯이 선택되면, 상기 메뉴화면구성실행부(170)는 상기 사용자인터페이스정보저장수단(123)에 저장되어 있는 정보를 호출하여 화면에 해당하는 위젯을 나타낸다.
이때 사용자인터페이스정보저장수단(123)의 기본위젯, 복합위젯 및 컨테이너에 대한 정보; 및 위젯의 크기, 형상 및 위치에 대한 정보를 활용하여 선택된 위젯의 크기, 형상 및 위치를 변경할 수 있다.
또한 사용자인터페이스정보저장수단(123)의 위젯의 색상에 대한 정보; 및 위젯의 텍스트에 대한 정보를 활용하여 선택된 위젯의 색상, 텍스트의 크기 및 배치를 변경할 수 있다.
상기 객체 인식부(130)는 상기 객체 추출부(180)에서 추출된 객체로부터 상기 객체정보저장수단(121)의 정보를 이용하여 제1위젯을 인식할 수 있다.
상기 객체 인식부(130)는 객체 추출부(180)에서 추출된 객체의 구성요소간의 결합관계를 판단하면, 객체정보저장수단(121)의 매칭 정보; 및 각 위젯의 크기, 형상 및 위치에 대한 정보를 활용하여 선택된 객체에 해당하는 제1위젯을 제공할 수 있다.
상기 문자정보획득부(140)는 객체 추출부(180)에서 추출된 객체로부터 텍스트를 인식하며, 상기 문자정보분석부(150)는 상기 문자정보획득부(140)에서 인식된 텍스트로부터 상기 문자정보저장수단(122)의 정보를 이용하여 제2위젯을 인식할 수 있다.
상기 문자정보분석부(150)는 상기 문자정보획득부(140)에서 텍스트를 인식하면, 상기 문자정보저장수단(122)의 매칭 정보; 및 각 위젯의 크기, 형상 및 위치에 대한 정보를 활용하여 선택된 텍스트에 해당하는 제2위젯을 제공할 수 있다.
상기 인식정보교차확인부(160)는 상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 하나의 위젯을 선택할 수 있다.
상기 인식정보교차확인부(160)는 상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 제1위젯 및 제2위젯이 동일하면, 제1위젯 또는 제2위젯을 선택한다.
또한 상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 제1위젯 및 제2위젯이 다르면, 사용자가 획득된 이미지를 확인하여 하나의 위젯을 선택할 수 있다.
따라서 객체 인식부(130)에서 인식된 위젯에 오류가 있더라도, 문자정보분석부(150)에서 인식된 위젯을 사용하여 정확한 변환을 수행할 수 있다.
예를 들면, 제1위젯으로 A가 선택되고, 제2위젯으로 A가 선택되면 최종적으로 A 위젯이 선택되며, 제1위젯으로 A가 선택되고, 제2위젯으로 B가 선택되면 사용자가 획득된 이미지를 확인하여 하나의 위젯을 선택할 수 있다.
또한 제1위젯으로 A 및 B가 선택되고, 제2위젯으로 A가 선택되면 최종적으로 A 위젯이 선택된다.
아울러 제2위젯으로 일치도를 기준으로 3순위까지 선택될 수 있는데, 일치도가 높은 제1순위의 위젯을 우선적으로 선택할 수 있다. 예컨대, 제1위젯으로 A 및 B가 선택되고, 제2위젯으로 A, B 및 C가 선택되면 최종적으로 A 위젯이 선택된다.
본 발명은 사용자가 스케치한 이미지나 메모를 인식하여, 객체 인식부(130)에서 객체를 구성하는 구성요소(텍스트, 라인, 삼각형, 사각형, 원, 이미지)의 결합관계로부터 해당하는 위젯을 1차적으로 선택하고, 문자정보분석부(150)에서 객체의 텍스트를 인식하여 해당하는 위젯을 2차적으로 선택한 후, 2개의 위젯을 비교하여 선택되는 하나의 위젯을 사용하여 사용자 인터페이스를 생성함으로써, 변환과정에서 오류가 감소하고 정확도를 향상시킬 수 있다.
즉, 객체 인식부(130)에서 선택되는 위젯에 오류가 있다 하더라도, 문자정보분석부(150)에서 선택되는 위젯으로 한 번 더 검증을 수행하므로, 변환과정에서 오류가 감소하고 정확도를 크게 향상시킬 수 있다.
또한 상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 제1위젯 및 제2위젯이 다르면, 상기 문자정보분석부(150)에서 인식한 제2위젯이 정확한지 여부를 확인하기 위하여 문자정보분석부(150)에서 제2위젯을 인식하는 과정을 한 번 더 수행할 수 있다.
아울러, 상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 제1위젯 및 제2위젯이 다르면, 상기 제2위젯의 2순위 또는 3순위에 해당하는 위젯을 선택하여 비교할 수도 있다.
상기 메뉴화면구성실행부(170)는 상기 인식정보교차확인부(160)에서 선택된 위젯을 바탕으로 상기 사용자인터페이스정보저장수단(123)에 저장되어 있는 정보를 호출하여 화면을 구성할 수 있다.
상기 인식정보교차확인부(160)에서 위젯이 선택되면, 상기 메뉴화면구성실행부(170)는 상기 사용자인터페이스정보저장수단(123)에 저장되어 있는 정보를 호출하여 화면에 해당하는 위젯을 나타낸다.
또한 본 발명은 상기 이미지 획득부(110)에서 획득된 이미지로부터 심볼마커를 추출하는 심볼마커 추출부를 더 포함할 수 있다.
이때 데이터베이스부(120)는 심볼마커에 관련된 정보가 저장되어 있는 심볼마커정보저장수단을 추가로 포함할 수 있다.
또한 본 발명은 상기 심볼마커 추출부에서 추출된 심볼마커로부터 상기 심볼마커정보저장수단의 정보를 이용하여 제3위젯을 인식하는 심볼마커인식부를 추가로 포함할 수 있다.
상기 심볼마크는 문자, 숫자, 도형 등 다양한 형태로 표시될 수 있으며, 상기 심볼마커는 상기 객체의 옆면, 윗면 또는 아랫면에 표시될 수 있고, 필요에 따라 옆면, 윗면 및 아랫면 중 2개 이상에 표시될 수도 있다. 상기 심볼마커를 2개 이상의 면에 표시함으로써 변환 오류를 줄이고 정확도를 향상시킬 수 있다.
상기 심볼마커정보저장수단은 심볼마커에 관련된 정보를 저장하고 있으며, 심볼마크에 대응되는 위젯의 매칭 정보; 및 각 위젯의 크기, 형상 및 위치에 대한 정보를 포함할 수 있다.
예를 들면, 심볼마크 A는 TextView 위젯, 심볼마크 B는 EditText 위젯, 심볼마크 C는 Button 위젯을 나타낼 수 있다.
상기 심볼마커 추출부에서 심볼마크를 추출하면, 상기 심볼마커인식부는 심볼마커정보저장수단의 매칭 정보로부터 해당하는 위젯을 선택할 수 있다.
상기 심볼마커정보저장수단은 각 위젯의 크기, 형상 및 위치에 대한 정보를 포함할 수 있다. 각 위젯은 크기, 형상 및 위치가 서로 다른데, 이러한 크기, 형상 및 위치에 대한 정보를 활용하여 변환 오류를 줄이고 정확성을 높일 수 있다.
상기 위젯의 크기, 형상 및 위치에 대한 정보를 추가적으로 활용하여 변환의 정확성을 높일 수 있다.
예를 들면, 심볼마커 추출부에서 심볼마크 A를 추출하면, 상기 심볼마커정보저장수단의 매칭 정보로부터 상기 심볼마크 A는 TextView 위젯에 해당하므로, 심볼마커인식부는 상기 심볼마크 A를 TextView 위젯으로 인식해야 하는데, 변환과정에서 오류가 발생할 수 있다.
이러한 오류를 줄이기 위하여, 상기 심볼마커정보저장수단의 매칭 정보로부터 상기 심볼마크 A에 해당하는 위젯을 선택한 후, 추가적으로 위젯의 크기, 형상 및 위치에 대한 정보를 활용하여 선택된 위젯의 크기, 형상 및 위치와 일치하는지 여부를 판단하여 최종적으로 위젯을 선택한다.
상기 인식정보교차확인부(160)는 상기 객체 인식부(130)에서 인식된 제1위젯, 상기 문자정보분석부(150)에서 인식된 제2위젯 및 심볼마커인식부에서 인식된 제3위젯을 비교하여 하나의 위젯을 선택할 수 있다.
상기 인식정보교차확인부(160)는 상기 객체 인식부(130)에서 인식된 제1위젯, 상기 문자정보분석부(150)에서 인식된 제2위젯 및 심볼마커인식부에서 인식된 제3위젯을 비교하여 제1위젯, 제2위젯 및 제3위젯이 동일하면, 제1위젯, 제2위젯 또는 제3위젯을 선택한다.
또한 상기 객체 인식부(130)에서 인식된 제1위젯, 상기 문자정보분석부(150)에서 인식된 제2위젯 및 심볼마커인식부에서 인식된 제3위젯을 비교하여 제1위젯, 제2위젯 및 제3위젯이 다르면, 제3위젯을 선택한다.
따라서 객체 인식부(130)에서 인식된 위젯 및 문자정보분석부(150)에서 인식된 위젯에 오류가 있더라도, 심볼마커인식부에서 인식된 위젯을 사용하여 정확한 변환을 수행할 수 있다.
도 4에서 도시하고 있는 바와 같이, 본 발명의 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템의 일 실시예는 아래와 같다.
사용자가 만들고자 하는 어플리케이션에 대한 스토리보드 작성을 통해 스케치이미지를 완성하면, 상기 이미지 획득부(110)를 통하여 스케치이미지가 디지털 영상으로 변환된다.
상기 객체 추출부(180)는 상기 변환된 스케치이미지로부터 객체를 추출한다.
먼저 상기 객체검출부(181)는 상기 이미지 획득부(110)에서 획득된 이미지로부터 텍스트, 라인, 삼각형, 사각형, 원 및 이미지를 검출한다.
상기 객체판단부(182)는 상기 객체검출부(181)에서 검출된 텍스트, 라인, 삼각형, 사각형, 원 및 이미지를 객체로 인식하고, 각 객체를 구성하는 구성요소(텍스트, 라인, 삼각형, 사각형, 원 및 이미지)의 결합관계를 판단한다.
상기 객체 인식부(130)는 상기 객체 추출부(180)에서 추출된 객체로부터 상기 객체정보저장수단(121)의 정보를 이용하여 제1위젯을 인식한다.
상기 객체 인식부(130)는 객체 추출부(180)에서 추출된 객체의 구성요소간의 결합관계를 판단하면, 객체정보저장수단(121)의 매칭 정보; 및 각 위젯의 크기, 형상 및 위치에 대한 정보를 활용하여 선택된 객체에 해당하는 제1위젯을 제공한다.
상기 문자정보획득부(140)는 상기 객체 추출부(180)에서 추출된 객체로부터 텍스트를 인식하고, 상기 문자정보분석부(150)는 상기 문자정보획득부(140)에서 인식된 텍스트로부터 상기 문자정보저장수단(122)의 정보를 이용하여 제2위젯을 인식한다.
상기 인식정보교차확인부(160)는 상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 하나의 위젯을 선택한다.
이때 상기 인식정보교차확인부(160)는 상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 제1위젯 및 제2위젯이 동일하면, 제1위젯 또는 제2위젯을 선택한다.
만약 상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 제1위젯 및 제2위젯이 다르면, 사용자가 획득된 이미지를 확인하여 하나의 위젯을 선택한다.
상기 메뉴화면구성실행부(170)는 상기 인식정보교차확인부(160)에서 선택된 위젯을 바탕으로 상기 사용자인터페이스정보저장수단(123)에 저장되어 있는 정보를 호출하여 화면을 구성한다.
상기 인식정보교차확인부(160)에서 위젯이 선택되면, 상기 메뉴화면구성실행부(170)는 상기 사용자인터페이스정보저장수단(123)에 저장되어 있는 정보를 호출하여 화면에 해당하는 위젯을 나타낸다.
따라서 전문지식이 없는 사람도 스케치이미지만을 이용하여 자유로운 앱 설계가 가능하고, 스케치이미지를 실제 동작하는 사용자 인터페이스 소스코드(XML)로 변환되는 과정을 자동화시킴으로써 시간과 비용이 절약될 수 있다.
110: 이미지 획득부
120: 데이터베이스부
121: 객체정보저장수단 122: 문자정보저장수단
123: 사용자인터페이스정보저장수단
130: 객체 인식부
140: 문자정보획득부 150: 문자정보획득부
160: 인식정보교차확인부
170: 메뉴화면구성실행부 180: 객체 추출부
181: 객체 검출부 182: 객체판단부

Claims (5)

  1. 제공되는 스케치 또는 메모를 디지털 이미지로 변환하여 제공하는 이미지 획득부(110);
    상기 이미지 획득부(110)에서 획득된 이미지로부터 객체를 추출하는 객체 추출부(180);
    객체에 관련된 정보가 저장되어 있는 객체정보저장수단(121), 텍스트에 관련된 정보가 저장되어 있는 문자정보저장수단(122) 및 사용자 인터페이스에 관련된 정보가 저장되어 있는 사용자인터페이스정보저장수단(123)으로 구성되는 데이터베이스부(120);
    상기 객체 추출부(180)에서 추출된 객체로부터 상기 객체정보저장수단(121)의 정보를 이용하여 제1위젯을 인식하는 객체 인식부(130);
    상기 객체 추출부(180)에서 추출된 객체로부터 텍스트를 인식하는 문자정보획득부(140);
    상기 문자정보획득부(140)에서 인식된 텍스트로부터 상기 문자정보저장수단(122)의 정보를 이용하여 제2위젯을 인식하는 문자정보분석부(150);
    상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 하나의 위젯을 선택하는 인식정보교차확인부(160); 및
    상기 인식정보교차확인부(160)에서 선택된 위젯을 바탕으로 상기 사용자인터페이스정보저장수단(123)에 저장되어 있는 정보를 호출하여 화면을 구성하는 메뉴화면구성실행부(170);
    를 포함하는 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템에 있어서,
    상기 객체 추출부(180)는
    상기 이미지 획득부(110)에서 획득된 이미지로부터 텍스트, 라인, 삼각형, 사각형, 원 및 이미지를 검출하는 객체검출부(181); 및
    상기 객체검출부(181)에서 검출된 텍스트, 라인, 삼각형, 사각형, 원 및 이미지를 객체로 인식하고, 각 객체를 구성하는 텍스트, 라인, 삼각형, 사각형, 원 및 이미지의 결합관계를 판단하는 객체판단부(182)를 포함하고,
    상기 객체정보저장수단(121)은
    기본위젯, 복합위젯 및 컨테이너에 대한 정보; 객체를 구성하는 텍스트, 라인, 삼각형, 사각형, 원 및 이미지의 결합관계에 대응되는 위젯의 매칭 정보; 및 각 위젯의 크기, 형상 및 위치에 대한 정보를 포함하며,
    상기 객체 인식부(130)는 객체 추출부(180)에서 추출된 객체로부터 객체정보저장수단(121)의 정보를 이용하여 위젯을 선택한 후, 추가적으로 위젯의 크기, 형상 및 위치에 대한 정보를 활용하여 선택된 위젯의 크기, 형상 및 위치와 일치하는지 여부를 판단하여 최종적으로 위젯을 선택하며,
    상기 인식정보교차확인부(160)는
    상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 제1위젯 및 제2위젯이 동일하면, 제1위젯 또는 제2위젯을 선택하고,
    상기 객체 인식부(130)에서 인식된 제1위젯과 상기 문자정보분석부(150)에서 인식된 제2위젯을 비교하여 제1위젯 및 제2위젯이 다르면, 사용자가 획득된 이미지를 확인하여 하나의 위젯을 선택하며,
    상기 객체 인식부(130)에서 선택되는 위젯에 오류가 있다 하더라도, 문자정보분석부(150)에서 선택되는 위젯으로 한 번 더 검증을 수행하므로, 변환과정에서 오류가 감소하고 정확도를 향상시킬 수 있는 것을 특징으로 하는 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 문자정보저장수단(122)은
    텍스트의 특성에 대응되는 위젯의 매칭 정보; 및 각 위젯의 크기, 형상 및 위치에 대한 정보를 포함하는 것을 특징으로 하는 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템.
KR1020180045829A 2018-04-19 2018-04-19 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템 KR102089802B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180045829A KR102089802B1 (ko) 2018-04-19 2018-04-19 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180045829A KR102089802B1 (ko) 2018-04-19 2018-04-19 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템

Publications (2)

Publication Number Publication Date
KR20190122108A KR20190122108A (ko) 2019-10-29
KR102089802B1 true KR102089802B1 (ko) 2020-03-16

Family

ID=68423702

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180045829A KR102089802B1 (ko) 2018-04-19 2018-04-19 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템

Country Status (1)

Country Link
KR (1) KR102089802B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1678605A1 (en) * 2003-10-15 2006-07-12 Koninklijke Philips Electronics N.V. Automatic generation of user interface descriptions through sketching
KR101559389B1 (ko) 2013-10-24 2015-10-12 (주)아이비솔루션 스마트폰 어플리케이션 제작 시스템 및 제작 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Anabela Caetano et al, "JavaSketchIt: Issues in Sketching the Look of User Interfaces", American Association for Artificial Intelligence Technical Report(2002.07.)*

Also Published As

Publication number Publication date
KR20190122108A (ko) 2019-10-29

Similar Documents

Publication Publication Date Title
US10402501B2 (en) Multi-lingual virtual personal assistant
Villán Mastering OpenCV 4 with Python: a practical guide covering topics from image processing, augmented reality to deep learning with OpenCV 4 and Python 3.7
US11694032B2 (en) Template-based intent classification for chatbots
US10705892B2 (en) Automatically generating conversational services from a computing application
WO2019024692A1 (zh) 语音输入方法、装置、计算机设备和存储介质
US20100074527A1 (en) Editing 2d structures using natural input
US20160078865A1 (en) Information Processing Method And Electronic Device
JP2010520531A (ja) 統合ピンイン及び画入力
CN105335356B (zh) 一种面向语义识别的纸质翻译方法及翻译笔装置
CN114757176A (zh) 一种获取目标意图识别模型的方法以及意图识别方法
KR20220060699A (ko) 논문의 요약과 본문 매칭에 기반한 학술 정보 제공 방법 및 장치
US10025772B2 (en) Information processing apparatus, information processing method, and program
US10474482B2 (en) Software application dynamic linguistic translation system and methods
Rahmadi et al. Visual recognition of graphical user interface components using deep learning technique
CN109902146A (zh) 贷款信息获取方法、装置、终端及存储介质
KR20150117914A (ko) 다수 사용자 참여형 언어 학습 시스템
Kaluarachchi et al. A systematic literature review on automatic website generation
KR102089801B1 (ko) 심볼마커를 사용한 스케치이미지 기반 사용자 인터페이스 자동생성 시스템
KR102089802B1 (ko) 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템
KR102019752B1 (ko) 컴퓨터 수행 가능한 ui/ux 전략제공방법 및 이를 수행하는 ui/ux 전략제공장치
Fourney et al. Mining online software tutorials: Challenges and open problems
CN114528851B (zh) 回复语句确定方法、装置、电子设备和存储介质
CN113743102B (zh) 识别字符的方法、装置以及电子设备
KR101705228B1 (ko) 전자문서생성장치 및 그 동작 방법
JP7338328B2 (ja) データ構造、コンピュータプログラム及び画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant