KR20210035057A - 전자 장치를 위한 동적 사용자 인터페이스 레이아웃 생성 방법 및 시스템 - Google Patents

전자 장치를 위한 동적 사용자 인터페이스 레이아웃 생성 방법 및 시스템 Download PDF

Info

Publication number
KR20210035057A
KR20210035057A KR1020200121519A KR20200121519A KR20210035057A KR 20210035057 A KR20210035057 A KR 20210035057A KR 1020200121519 A KR1020200121519 A KR 1020200121519A KR 20200121519 A KR20200121519 A KR 20200121519A KR 20210035057 A KR20210035057 A KR 20210035057A
Authority
KR
South Korea
Prior art keywords
score
electronic device
display screen
identifying
user
Prior art date
Application number
KR1020200121519A
Other languages
English (en)
Inventor
바닥쿠푸라스 마니 파라메스와라나스
램펠리 마한더
아크람 울라 사리프 모하메드
나타라잔 샨카
드와라카 바미디파티 스리바트사
스리니바사 머시 수제이
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2020/012729 priority Critical patent/WO2021054809A1/en
Priority to KR1020200121519A priority patent/KR20210035057A/ko
Priority to US17/026,971 priority patent/US11449199B2/en
Publication of KR20210035057A publication Critical patent/KR20210035057A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시(disclosure)는 전자 장치를 위한 동적 사용자 인터페이스(user interface, UI) 레이아웃(layout)을 생성하기 위한 방법 및 레이아웃 생성 시스템에 관한 것이다. 전자 장치에 의해 수행되는 방법은, 디스플레이 화면의 현재 상태에 기반하여 적어도 하나의 UI 요소와 관련된 하나 이상의 동작들을 식별하는 과정과, 상기 디스플레이 화면에서 결정된 복수의 그리드(grid)들 각각에 대한 돌출 점수 및 심미 점수를 계산하는 과정과, 상기 계산된 돌출 점수 및 심미 점수에 기반하여, 복수의 후보 영역들을 식별하는 과정과, 사용자 상호작용 점수에 기반하여 상기 복수의 후보 영역들로부터 최적의 영역을 식별하는 과정과, 상기 최적의 영역에서 상기 적어도 하나의 UI 요소와 관련된 상기 하나 이상의 동작들을 수행하여 동적 UI 레이아웃을 생성하는 과정을 포함할 수 있다.

Description

전자 장치를 위한 동적 사용자 인터페이스 레이아웃 생성 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING DYNAMIC USER INTERFACE LAYOUT FOR AND ELECTRONIC DEVICE}
본 개시(disclosure)는 전자 장치에 대한 사용자 인터페이스(user interface, UI)의 레이아웃(layout) 생성 및 관리에 관한 것으로, 특히 전자 장치에 대한 동적 UI 레이아웃을 생성하는 방법 및 시스템에 관한 것이다.
GUI(graphical user interface)는 컴퓨터 소프트웨어를 위한 대화형(interactive) 시각적 구성요소 시스템이다. GUI는 정보를 전달하고 사용자가 수행할 수 있는 작업을 나타내는 객체를 표시한다. 객체는 사용자가 객체와 상호 작용할 때 색상, 크기 또는 가시성을 변경한다. GUI 객체에는 아이콘, 커서 및 버튼이 포함된다. 이러한 그래픽 요소들은 때때로 소리 또는 투명도 및 그림자(drop shadow)와 같은 시각 효과로 향상된다. 일반적으로 사용자 인터페이스(user interface, UI) 요소는 입력 제어(input control), 네비게이션(navigation) 구성요소, 정보(informational) 구성 요소 및 컨테이너(container)의 네가지 범주에 속한다.
UI 요소는 컴퓨팅 장치의 GUI에 디스플레이 되고, 장치의 사용자와 상호작용할 수 있다. 모바일 UI를 통해 사용자는 모바일 장치의 애플리케이션, 특징, 콘텐츠, 기능과 상호작용할 수 있다. 컴퓨터 애플리케이션에서, 다양한 기능을 수행하는 UI 요소 목록이 동일한 창, 메뉴, 프레임, 탭 또는 창과 같이 동일한 위치에 표시되는 경우가 많다. 따라서, UI 요소의 표시는 다양한 사용자에게 유용성이 제한될 수 있다.
현재 레이아웃(layout)은 정적으로 정의되어 있다. 기존 시스템은 ROI(region of interest)를 기반으로 이미지에 텍스트를 배치하는데 집중하고 있다. 기존 UI 레이아웃 생성 시스템은 다수의 폼 팩터(form factor)를 처리할 때 매우 중요한 장치 팩터에 대한 최적의 구성을 위해 사용자 상호작용 패턴을 고려하지 않았다.
따라서, AR(augmented reality) 모드, DEX(desktop experience) 등과 같은 다양한 모드를 하나의 시스템에서 처리할 수 있는 폴더블(foldable) 장치용 UI 관리 및 폼 팩터 별 UI 개발이 필요하다. 따라서, UI 요소의 표시 개선은 유용할 것이다.
상술된 설명은 본 개시의 일반적인 배경에 대한 이해를 높이기 위한 것일 뿐이며, 기술 분야에서 통상의 지식을 가진 자에게 이미 알려진 선행 기술로서 인정하는 것은 아니다.
상술된 바와 같은 논의를 바탕으로, 본 개시(disclosure)는, 전자 장치를 위한 동적 사용자 인터페이스 레이아웃을 생성하기 위한 방법 및 시스템을 제공한다.
일 실시 예에서, 본 개시는 전자 장치를 위한 동적 사용자 인터페이스(user interface, UI) 레이아웃을 생성하는 방법에 관한 것으로서, 상기 전자 장치의 디스플레이 화면의 현재 상태에 기반하여, 적어도 하나의 UI 요소와 관련된 하나 이상의 동작을 식별하는 과정과, 상기 디스플레이 화면에서 결정된 복수의 그리드(grid)들 각각에 대한 돌출(saliency) 점수 및 심미(aesthetic) 점수를 계산하는 과정과, 상기 계산된 돌출 점수 및 심미 점수에 기반하여, 사용자 상호작용(interaction) 점수에 기반하여 식별되는 최적의 영역으로부터 복수의 후보(candidate) 영역들을 식별하는 과정과, 상기 최적의 영역에서 적어도 하나 이상의 UI 요소와 관련된 하나 이상의 동작을 수행함으로써, 상기 동적 UI 레이아웃을 생성하는 과정을 포함할 수 있다.
일 실시 예에서, 본 개시는 전자 장치를 위한 동적 사용자 인터페이스(user interface, UI) 레이아웃을 생성하기 위한 레이아웃 생성 시스템에 관한 것으로서, 프로세서 및 상기 프로세서에 통신 가능하게 결합된 메모리를 포함할 수 있으며, 상기 메모리는 프로세서 실행가능 명령을 저장하며, 실행시 상기 프로세서가 상기 전자 장치의 디스플레이 화면의 현재 상태에 기반하여, 적어도 하나의 UI 요소와 관련된 하나 이상의 동작을 식별하고, 상기 디스플레이 화면에서 결정된 복수의 그리드(grid)들 각각에 대한 돌출(saliency) 점수 및 심미(aesthetic) 점수를 계산하고, 상기 계산된 돌출 점수 및 심미 점수에 기반하여, 사용자 상호작용(interaction) 점수에 기반하여 식별되는 최적의 영역으로부터 복수의 후보(candidate) 영역들을 식별하고, 상기 최적의 영역에서 적어도 하나 이상의 UI 요소와 관련된 하나 이상의 동작을 수행함으로써, 상기 동적 UI 레이아웃을 생성하도록 구성될 수 있다.
상술된 실시 예는 오직 예시적인 것이며, 본 개시를 제한하도록 의도되지 않는다. 추가적인 실시 예들 및 특징들은 도면 및 아래의 설명을 참조하여 명백해질 것이다.
본 개시(disclosure)의 다양한 실시 예들에 따른 방법 및 장치는, 전자 장치를 위한 사용자 인터페이스를 동적으로 생성할 수 있게 한다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급된 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은, 본 개시의 다양한 실시 예들에 따른 동적 사용자 인터페이스(user interface, UI) 레이아웃을 생성하기 위한 전자 장치의 예시적인 블록도를 도시한다.
도 2는, 본 개시의 다양한 실시 예들에 따른 레이아웃 생성 시스템의 블록도를 도시한다.
도 3a는 본 개시의 다양한 실시 예들에 따른 돌출(saliency) 히트 맵을 생성하기 위한 기계 학습(machine learning) 모델을 도시한다.
도 3b는 본 개시의 다양한 실시 예들에 따른 심미(aesthetic) 점수를 생성하기 위한 기계 학습 모델을 도시한다.
도 3c는, 본 개시의 다양한 실시 예들에 따른 사용자 상호작용(interaction) 점수를 생성하기 위한 예를 도시한다.
도 4a는, 본 개시의 다양한 실시 예들에 따른 동적 UI 레이아웃을 생성하기 위한 예를 도시한다.
도 4b는, 본 개시의 다양한 실시 예들에 따른 UI 레이아웃 생성의 예를 도시한다.
도 5는, 본 개시의 다양한 실시 예들에 따른 동적 UI 레이아웃을 생성하기 위한 흐름도를 도시한다.
도 6은, 본 개시의 다양한 실시 예들에 따른 전자 장치의 블록도를 도시한다.
본 개시에서 '예시적인'이라는 단어는 '예시, 실례 또는 예시로서의 역할을 한다'는 의미로 사용된다. 본 개시에서 '예시적인' 것으로 설명되는 본 개시의 실시 예는 반드시 다른 실시 예보다 바람직하거나 유리한 것으로 해석될 필요는 없다.
본 개시는 다양한 수정 및 대안적인 형태가 가능하지만, 특정 실시 예는 도면에서 예로서 도시되었으며, 아래에서 상세히 설명될 것이다. 그러나, 본 개시를 개시된 특정 형태로 제한하려는 것은 아니며, 본 개시의 범위 내에 속하는 모든 수정, 등가물 및 대안을 포괄하는 것으로 이해해야 할 것이다.
본 개시의 용어 '포함하는' 또는 그 변형은 나열된 구성요소 또는 단계들을 포함하거나, 나열된 구성요소 또는 단계들만 포함하지 않고 명시적으로 나열되지 않은 구성요소 또는 단계들을 포함할 수 있는 것과 같은 비-배타적 포함을 포함하도록 의도된다. 다시 말해서, 'a를 포함하는'은 다른 구성요소의 추가를 배제하지 않는다.
본 개시의 실시 예들에 대한 다음의 설명에서, 본 개시의 일부를 형성하고, 본 개시가 실시될 수 있는 특정 실시 예를 예시로서 도시한 첨부 도면을 참조한다. 이들 실시 예들은 당업자가 본 개시를 실시할 수 있도록 충분히 상세하게 설명되고, 다른 실시 예가 이용될 수 있으며, 본 개시의 범위를 벗어나지 않고 변경될 수 있다는 것을 이해해야 한다. 따라서, 다음의 설명은 제한적인 의미로 받아들여서는 안된다.
본 개시의 다양한 실시 예들은 전자 장치를 위한 동적 사용자 인터페이스(user interface, UI) 레이아웃을 생성하기 위한 방법 및 시스템에 관한 것이다. 일반적으로 레이아웃은 모든 전자 장치의 UI 구조를 정의하고, 사용자가 전자 장치와 상호작용할 수 있도록 한다. 현재 UI 레이아웃은 정적으로(statically) 정의되어 있다. 특히, 기존 시스템은 여러 종류의 장치를 다룰 때 중요한 장치 요소에 대한 최적의 구성을 위해, 사용자 상호작용 패턴을 고려하지 않고 관심 영역(region of interest, ROI)을 기반으로 이미지에 텍스트를 배치하는데 집중하고 있다. 이러한 배경에서, 본 개시는 사용자 상호작용 패턴에 기반하는 레이아웃 구성을 위해 복수의 후보(candidate) 영역들로부터 최적의 영역을 식별하는데 초점을 맞추고 있다. 복수의 후보 영역들은 계산된 돌출(saliency) 점수 및 심미(aesthetic) 점수를 기반으로 식별되며, 이는 전자 장치의 현재 디스플레이 화면을 기반으로 계산된다. 본 개시는 최적의 영역에서 적어도 하나의 UI 요소와 관련된 동작을 수행하기 위한 동적 UI 레이아웃을 생성한다. 결과적으로, 본 개시는 전자 장치의 가독성(readability)을 향상시키는 돌출성(saliency), 심미성(aesthetic) 및 사용자 상호작용 그리드(grid)를 기반으로 시각적으로 직관적인 UI를 구축할 수 있다.
도 1은 본 개시의 다양한 실시 예들에 따른 동적 사용자 인터페이스(user interface, UI) 레이아웃을 생성하기 위한 전자 장치의 예시적인 블록도를 도시한다. 도 1에서는 레이아웃 생성 시스템(101)을 포함하는 전자 장치(100)가 설명된다.
일 실시 예에서, 전자 장치(100)는 사용자와 관련된 컴퓨팅(computing) 장치일 수 있다. 예를 들어, 전자 장치(100)는 랩톱, 노트북, 스마트폰, 웨어러블(wearable) 장치, 태블릿(tablet) 및 기타 컴퓨팅 장치일 수 있다. 당업자는 본 개시의 범위가 본 개시에서 명시적으로 언급되지 않은 사용자와의 상호작용(interaction)을 포함하는 임의의 다른 전자 장치(100)를 포함할 수 있음을 이해할 것이다. 전자 장치(100)는 도 1에 구체적으로 도시되지 않은 다른 구성요소와는 별개로 디스플레이(109)를 포함할 수 있다. 레이아웃 생성 시스템(101)은 입력/출력(input/output, I/O) 인터페이스(103), 프로세서(107) 및 프로세서(107)에 의해 실행 가능한 명령어를 저장하기 위한 메모리(105)를 포함할 수 있다. I/O 인터페이스(103)는 입력 신호 및/또는 출력 신호가 통신되는 프로세서(107)와 결합될 수 있다.
일 실시 예에서, 사용자는 전자 장치(100)의 UI에 존재하는 다양한 UI 요소를 이용하여 전자 장치(101)와 통신하고 상호작용할 수 있다. 일반적으로, 하나 이상의 UI 요소의 배치는 전자 장치(100)의 특정 유형의 디스플레이 화면(109)(예: 홈 화면, 잠금 화면, 애플리케이션 화면 등)을 포함하는 다양한 요인에 기반할 수 있다. 레이아웃 생성 시스템(101)은 전자 장치(100)에서 동적 UI 레이아웃을 생성하기 위해 전자 장치(100)에서 사용될 수 있다. 일 실시 예에서, 레이아웃 생성 시스템(101)은 전자 장치(100) 내에 구성된 컴퓨팅 유닛일 수 있다.
임의의 주어진 순간에 사용자가 전자 장치(100)를 사용하는 경우, 레이아웃 생성 시스템(101)은 전자 장치(100)의 디스플레이 화면(109)의 현재 상태를 결정할 수 있다. 즉, 디스플레이 화면(109)이 현재 어떠한 상태이고, 어떠한 UI 요소가 현재 상태와 연관되어 있는지이다. 일 실시 예에서, UI 요소는 UI에 상호작용을 제공하기 위한 상호작용 구성요소일 수 있다. 예를 들어, 적어도 하나의 UI 요소는 아이콘, 알림, 위젯, 네비게이션 구성요소, 입력 컨트롤 등을 포함할 수 있다. 디스플레이 화면(109)의 현재 상태는 잠금화면, 홈 화면, 애플리케이션 페이지의 중간 부분 중 하나일 수 있다. 또한, 디스플레이 화면(109)의 현재 상태에 기반하여 디스플레이 스크린(109)과 관련된 프레임이 결정될 수 있다.
결정된 디스플레이 화면(109)의 현재 상태에 기반하여, 레이아웃 생성 시스템(101)은 적어도 하나의 UI 요소와 관련된 하나 이상의 동작을 식별할 수 있다. 하나 이상의 동작은 적어도 하나의 UI 요소를 표시하는 동작, 적어도 하나의 UI 요소를 디스플레이 화면(109)에 재배치하는 동작 등을 포함할 수 있다.
또한, 전자 장치(100)의 디스플레이 화면(109)은 적어도 하나의 UI 요소와 관련된 파라미터에 기반하여 복수의 그리드(grid)들을 형성하도록 분할될 수 있다. 적어도 하나의 UI 요소와 관련된 파라미터는 크기, 투명도 및 사용자와 상호작용할 수 있는 것을 포함할 수 있다. 복수의 그리드들 각각에 대해, 레이아웃 생성 시스템(101)은 디스플레이 화면(109)의 두드러진 특징에 대응하는 돌출(saliency) 점수 및 디스플레이 화면(109) 상의 이상적인 배치 가능성을 갖는 영역에 대응하는 심미(aesthetic) 점수를 계산할 수 있다. 레이아웃 생성 시스템(101)은 복수의 그리드들 각각에 대한 돌출 점수 및 심미 점수를 계산하기 위해 사전 훈련된(pre-trained) 기계 학습(machine learning) 모델을 사용할 수 있다.
일 실시 예에서, 레이아웃 생성 시스템(101)은 계산된 돌출 점수 및 심미 점수에 기반하여 복수의 후보(candidate) 영역들을 식별할 수 있다. 복수의 후보 영역들은 하나 이상의 UI 요소와 관련된 하나 이상의 동작을 수행하는데 이용될 수 있다. 레이아웃 생성 시스템(101)은 복수의 후보 영역들 중에서 사용자 상호작용 점수에 기반하여 최적의 영역을 식별할 수 있다. 일 실시 예에서, 최적의 영역은 적어도 하나의 UI 요소와 관련된 하나 이상의 동작을 수행하기에 적합한 디스플레이 화면(109) 내의 영역을 의미할 수 있다. 사용자 상호작용 점수는 미리 결정된 접근성 임계 값을 갖는 위치를 포함하는 영역에 대응하고, 전자 장치(100)의 사용과 관련된 미리 결정된 사용자 행동에 기반하여 결정될 수 있다. 사용자 상호작용 점수는 기계 학습 모델을 이용하여 결정될 수 있으며, 이는 전자 장치(100)의 사용과 관련된 미리 결정된 사용자 행동으로 훈련될 수 있다.
특히, 레이아웃 생성 시스템(101)은 돌출 점수, 심미 점수 및 사용자 상호작용 점수를 기반으로 구성 점수를 계산하고, 구성 점수를 기반으로 최적의 영역을 식별할 수 있다. 레이아웃 생성 시스템(101)은 최적의 영역에서 적어도 하나의 UI 요소와 관련된 하나 이상의 동작을 수행하여 동적 UI 레이아웃을 생성할 수 있다. 따라서, 본 개시는 최적의 레이아웃 구성을 위해 사용자 상호작용 패턴을 사용한다. 예를 들어, 하나 이상의 동작이 전자 장치(100)에서 적어도 하나의 UI 요소의 재배치를 위한 것인지 고려할 수 있다. 레이아웃 생성 시스템(101)은 전자 장치(100)에서 적어도 하나의 UI 요소의 재배치를 트리거(trigger)하기 위해 전자 장치(101) 또는 사용자로부터 명시적으로 입력을 수신할 수 있다. 이 경우, 레이아웃 생성 시스템(101)은 복수의 후보 영역들 및 최적의 영역의 위치를 결정하고, 복수의 후보 영역들 및 최적의 영역과 관련하여 적어도 하나의 UI 요소의 현재 위치를 확인할 수 있다. 그 결과, 적어도 하나의 UI 요소가 하나 이상의 후보 영역에서 멀어지게 할 수 있다. 또 다른 예를 들어, 하나 이상의 동작이 전자 장치(100)에서 적어도 하나의 UI 요소를 표시하고 있는지를 고려할 수 잇다. 레이아웃 생성 시스템(101)은 전자 장치(101)에 현재 표시되고 있는 적어도 하나의 UI 요소를 식별할 수 있다. 적어도 하나의 UI 요소와 이미지 콘텐츠가 전자 장치(100)에 동시에 표시되고 있는지 고려할 수 있다. 이 경우, 레이아웃 생성 시스템(101)은 식별된 최적의 영역에 적어도 하나의 UI 요소를 표시할 수 있다.
도 2는 본 개시의 다양한 실시 예들에 다른 레이아웃 생성 시스템의 블록도를 도시한다.
레이아웃 생성 시스템(101)은 본 개시에서 설명되는 데이터(200) 및 하나 이상의 모듈(209)을 포함할 수 있다. 일 실시 예에서, 데이터(200)는 메모리(105) 내에 저장될 수 있다. 예를 들어, 데이터(200)는 디스플레이 화면 데이터(201), 학습 모델(203), 후보 영역 데이터(205), 최적 영역 데이터(207) 및 기타 데이터(208)를 포함할 수 있다.
디스플레이 화면 데이터(201)는 전자 장치(100)의 디스플레이 화면(109)의 현재 상태에 대한 정보를 포함할 수 있다. 디스플레이 화면(109)의 상태는 잠금 화면, 홈 화면 또는 애플리케이션 페이지일 수 있다. 또한, 디스플레이 화면 데이터(201)는 디스플레이 화면(109)의 현재 상태에 기반한 프레임 세부사항을 포함할 수 있다. 또한, 디스플레이 화면 데이터(201)는 디스플레이 화면(109)의 현재 상태와 관련된 적어도 하나의 UI 요소에 대한 정보를 포함할 수 있다.
학습 모델(203)은 복수의 그리드(grid)들에 대한 각각의 점수를 제공하기 위한 돌출(saliency) 점수 기계 학습 모델 및 심미(aesthetic) 점수 기계 학습 모델을 포함할 수 있다.
후보 영역 데이터(205)는 돌출 점수 및 심미 점수에 기반하여 디스플레이 화면(109)에 대한 복수의 그리드(grid)들로부터 식별된 복수의 후보 영역들에 대한 정보를 포함할 수 있다. 예를 들어, 상기 정보는 복수의 후보 영역들에 대한 픽셀 또는 위치에 관한 세부 사항을 포함할 수 있다.
최적 영역 데이터(207)는 복수의 후보 영역들 중 최적으로 식별된 영역에 대한 정보를 포함할 수 있다. 예를 들어, 상기 정보는 최적의 영역과 관련된 픽셀 또는 위치를 포함할 수 있다.
기타 데이터(208)는 레이아웃 생성 시스템(101)의 다양한 기능을 수행하기 위해 모듈(209)에 의해 생성된 임시 데이터 및 임시 파일을 포함하는 데이터를 저장할 수 있다.
일 실시 예에서, 메모리(105)의 데이터(200)는 레이아웃 생성 시스템(101)의 메모리(105) 내에 존재하는 하나 이상의 모듈(209)에 의해 처리될 수 있다. 일 실시 예에서, 하나 이상의 모듈(209)은 전용(dedicated) 유닛으로 구현될 수 있다. 여기에서 사용된 '모듈'이라는 용어는 ASIC(application specific integrated circuit), 전자 회로, FPGA(filed-programmable gate array), PSoC(programmable system-on-chip), 조합 논리 회로(combinational logic circuit) 및 또는 설명된 기능을 제공하는 다른 적절한 구성요소일 수 있다. 일부 실시 예에서, 하나 이상의 모듈(209)은 레이아웃 생성 시스템(101)의 하나 이상의 기능을 수행하기 위해 프로세서(107)에 통신 가능하게 결합될 수 있다. 본 개시에서 정의된 기능으로 구성될 때, 상기 모듈(209)은 새로운 하드웨어를 초래할 수 있다.
일 실시 예에서, 하나 이상의 모듈(209)은 통신 모듈(211), UI 요소 동작 식별 모듈(213), 돌출 점수 계산 모듈(215), 심미 점수 계산 모듈(217), 후보 영역 식별 모듈(219), 최적 영역 식별 모듈(221) 또는 레이아웃 생성 모듈(223)을 포함할 수 있지만, 이에 제한되지는 않는다. 하나 이상의 모듈(209)은 레이아웃 생성 시스템(101)의 다양한 기타 기능을 수행하기 위해 기타 모듈(225)을 포함할 수 있다. 일 실시 예에서, 기타 모듈(225)은 디스플레이 화면 결정 모듈 및 트레이닝 모듈을 포함할 수 있다. 디스플레이 화면 결정 모듈은 전자 장치(100)에서 디스플레이 화면(109)의 현재 상태를 결정할 수 있다. 훈련 모듈은 돌출 점수, 심미 점수, 사용자 상호작용 점수를 계산하기 위해 기계 학습 모델을 훈련할 수 있다.
통신 모듈(211)은 전자 장치(100) 및 전자 장치(100)의 사용자로부터 하나 이상의 묵시적(implicit) 입력을 획득할 수 있다.
UI 요소 동작 식별 모듈(213)은 디스플레이 화면(109)의 현재 상태에 기반하여 적어도 하나의 UI 요소와 관련된 하나 이상의 동작을 식별할 수 있다. 일 실시 예에서, 하나 이상의 동작은 디스플레이 화면(109) 상에 적어도 하나의 UI 요소 및 적어도 하나의 UI 요소의 재배치를 표시할 수 있다. 재배치 요청의 경우, 적어도 하나의 UI 요소가 최적의 영역에서 멀어지게 할 수 있다.
돌출 점수 계산 모듈(215)은 미리 훈련된 기계 학습 모델을 이용하여 디스플레이 화면(109)에서 결정된 복수의 그리드(grid)들 각각에 대한 돌출 점수를 계산할 수 있다. 복수의 그리드들 각각에 대한 돌출 점수는 돌출 점수 기계 학습 모델의 히트 맵(heat map) 출력에 기반하여 계산될 수 있다. 특히, 히트 맵 출력은 각 셀을 점수화하는 특징 밀도 영역을 식별하는데 사용될 수 있다. 도 3a는 본 개시의 다양한 실시 예들에 따른 돌출 히트 맵을 생성하기 위한 기계 학습 모델을 도시한다. 도시된 바와 같이, 도 3a는 예시적인 3개의 이미지를 도시하며, 그 특징은 돌출 점수 기계 학습 모델에 입력으로 제공될 수 있다. 일 실시 예에서, 돌출 점수 기계 학습 모델은 딥 러닝(deep learning) 메커니즘을 사용하여 훈련될 수 있다. 예를 들어, 도 3a를 참고하면, 돌출 점수 기계 학습 모델은 돌출 히트 맵을 계산하기 위한 서로 다른 컨볼루션(convolutional) 및 디-컨볼루션(de-convolutional) 블록을 포함할 수 있으며, 여기서 이미지의 각 그리드 셀에 대한 히트 맵 값은 돌출 점수일 수 있다.
심미 점수 계산 모듈(217)은 미리 훈련된 기계 학습 모델을 이용하여 디스플레이 화면(109)에서 결정된 복수의 그리드(grid)들 각각에 대한 심미 점수를 계산할 수 있다. 특히, 심미 점수는 이상적인 배치 가능성이 있는 영역에 대응할 수 있다. 심미 점수 기계 학습 모델의 히트 맵(heat map) 출력에 기반하여 복수의 그리드(grid)들 각각에 대한 심미 점수를 계산할 수 있다. 특히, 히트 맵 출력은 심미적으로 이상적인 배치 가능성을 식별하는데 사용될 수 있다. 도 3b는 본 개시의 다양한 실시 예들에 따른 심미 점수를 생성하기 위한 기계 학습 모델을 도시한다. 도시된 바와 같이, 도 3b는 예시적인 이미지를 도시하며, 그 특징은 심미 점수 기계 학습 모델에 대한 입력으로 제공될 수 있다. 일 실시 예에서, 심미 점수 기계 학습 모델은 딥 러닝(deep learning) 메커니즘을 사용하여 훈련될 수 있다. 예를 들어, 도 3b를 참고하면, 심미 점수 기계 학습 모델은 심미 점수를 계산하기 위해 서로 다른 컨볼류션(convolutional) 및 디-컨볼루션(de-convolutional) 블록을 포함할 수 있다.
후보 영역 식별 모듈(219)은 계산된 돌출 점수 및 심미 점수에 기반하여 복수의 후보(candidate) 영역들을 식별할 수 있다. 도 4a는, 돌출(saliency) 점수, 심미(aesthetic) 점수 및 사용자 상호작용 점수를 조합하여 구성 점수를 계산하는 방법을 도시한다. 일 실시 예에서, 사전 학습된 가중치는 가중치 합산으로서, 이들 3개의 점수의 합산에 사용될 수 있다. 따라서, 최대 점수를 가진 그리드 셀이 후보 영역으로 고려될 수 있다.
최적 영역 식별 모듈(221)은 복수의 후보 영역들 중에서 동적 사용자 인터페이스(user interface, UI) 레이아웃을 위한 최적의 영역을 식별할 수 있다. 특히, 최적 영역 식별 모듈(221)은 사용자 상호작용 점수를 기반으로 최적의 영역을 식별할 수 있다. 최적 영역 식별 모듈(221)은 미리 결정된 전자 장치(100)의 사용 행위에 기반하여 디스플레이 화면(109)에 대한 사용자 상호작용 점수를 결정할 수 있다. 일 실시 예에서, 최적 영역 식별 모듈(221)은 상호작용 기계 학습 모델로부터 출력된 히트 맵에 기반하여 사용자 상호작용 점수를 결정할 수 있다. 상호작용 기계 학습 모델은 전자 장치(100)의 사용과 관련된 복수의 사용자 상호작용 행동을 사용하여 미리 훈련될 수 있다. 상호작용 기계 학습 모델은 상호작용이 높은 영역, 중간 영역, 낮은 영역과 같은 미리 결정된 접근성 임계 값에 대해 훈련될 수 있다. 따라서, 상호작용 점수는 미리 결정된 접근성 임계 값이 있는 위치를 포함하는 지역에 대응할 수 있다. 도 3c는 본개시의 다양한 실시 예들에 따른 사용자 상호작용 점수를 생성하기 위한 예를 도시한다. 도 3c는 하나 이상의 UI 요소를 포함하는 웹페이지의 디스플레이 화면(301)을 갖는 모바일 장치(300)를 도시한다. 전자 장치(100)의 사용과 관련된 사용자 상호작용 동작(즉, 하나 이상의 UI 요소가 사용자에 의해 얼마나 자주 사용되는지)에 기반하여, 최적 영역 식별 모듈(221)은 디스플레이 화면(301)에 대한 사용자 상호작용 점수를 결정하기 위해 사용자 상호작용 행동에 기반하여 디스플레이 화면(301)의 그리드(grid)들에 대한 주파수 맵을 결정할 수 있다. 사용자가 많이 사용하는 사용자 상호작용 영역은 디스플레이 화면에서 강조 표시(303)될 수 있다.
따라서, 사용자 상호작용 점수를 결정하면, 최적 영역 식별 모듈(221)은 돌출 점수, 심미 점수, 사용자 상호작용 점수에 기반하여 가중 평균(weighted average)인 구성 점수를 계산할 수 있다. 최적 영역 식별 모듈(221)은 구성 점수에 기반하여 최적의 영역을 식별할 수 있다.
레이아웃 생성 모듈(223)은 최적의 영역에서 적어도 하나의 UI 요소와 관련된 하나 이상의 동작을 수행하여 동적 UI 레이아웃을 생성할 수 있다.
도 4a는 본 개시의 다양한 실시 예들에 따른 동적 사용자 인터페이스(user interface, UI) 레이아웃을 생성하기 위한 예를 도시한다.
도 4a는 동적 UI 레이아웃을 생성하기 위한 예를 도시한다. 도시된 바와 같이, 실시 예는 전자 장치(100)의 현재 잠금 화면(401)을 포함할 수 있다. 잠금 화면(401)은 배경 이미지와 애플리케이션 레이아웃을 포함하여 날짜와 시간이 배경 이미지 위에 배치될 수 있다. 레이아웃 생성 시스템(101)이 애플리케이션 레이아웃의 배치, 즉 배경 이미지 내의 날짜 및 시간에 대해 사용자로부터 재배치 요청을 수신하는 경우, 레이아웃 생성 시스템(101)은 돌출(saliency), 심미(aesthetic), 사용자 상호작용(interaction) 점수를 사용한 구성 점수를 기반으로 최적의 영역을 식별하여 요청된 UI 레이아웃을 동적으로 생성할 수 있다. 따라서, 레이아웃 생성 시스템(101)은 최종 구성 화면(403)에 의해 보여지는 바와 같이 배경 이미지에 애플리케이션 레이아웃의 배치와 함께 동적 UI 레이아웃을 제공할 수 있다. 유사하게, UI 요소가 애플리케이션 창(window) 또는 다른 애플리케이션 창 내의 레이아웃일 수 있는 다른 시나리오를 고려할 수 있다. 예를 들어, 애플리케이션의 알림 풍선(notification bubble)은 백그라운드 애플리케이션을 위한 최적의 영역에 따라 재배치될 수 있다. 또한, 도 4b와 같이 풍선 배치(bubble placement)를 기반으로 동적 레이아웃을 생성할 수 있다. 도 4b는 본 개시의 다양한 실시 예들에 따른 UI 레이아웃 생성의 예를 도시한다. 도 4b에 도시된 바와 같이, 디스플레이 화면(407)을 갖는 모바일 장치는 터치 보조 아이콘(405)과 함께 키패드를 포함할 수 있다. 터치 보조 아이콘(405)은 알파벳 요소 중 하나에 배치되어 사용자에게 상호작용 문제를 일으킬 수 있다. 이러한 경우, 돌출 점수, 심미 점수 및 사용자 상호작용 점수에 기반하여, 레이아웃 생성 시스템(101)은 최적의 영역을 결정하고 다른 터치 가능한 요소를 가리지 않고 터치 보조 아이콘(405)의 재배치를 수행할 수 있다. 동적 레이아웃 생성을 갖는 디스플레이 화면(407)은 터치 알파벳 요소로부터 떨어진 터치 보조 아이콘(405)의 재배치와 함께 디스플레이 화면(409)으로 표현된다.
일 실시 예에서, 본 개시는 전자 장치(100)의 상태가 폴더블(foldable) 장치에서 변경되는 경우와 같은 다른 사용 사례에도 적용될 수 있다.
도 5는 본 개시의 다양한 실시 예들에 따른 동적 사용자 인터페이스(user interface, UI) 레이아웃을 생성하기 위한 흐름도를 도시한다.
도 5에 도시된 바와 같이, 방법(500)은 동적 UI 레이아웃을 생성하기 위한 하나 이상의 블록을 포함한다. 방법(500)은 컴퓨터 실행 가능 명령어의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 컴퓨터 실행 가능 명령에는 특정 기능을 수행하거나 특정 데이터 유형을 구현하는 루틴, 프로그램, 객체, 구성요소, 데이터 구조, 절차, 모듈 또는 기능이 포함될 수 있다.
방법(500)이 설명되는 순서는 제한으로 해석되도록 의도되지 않으며, 설명된 방법 블록의 임의의 수는 방법을 구현하기 위해 임의의 순서로 결합될 수 있다. 또한, 개별 블록은 여기에 설명된 주제의 범위를 벗어나시 않고 방법에서 삭제될 수 있다. 또한, 방법은 임의의 적절한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다.
블록(501)에서, 적어도 하나의 UI 요소와 관련된 하나 이상의 동작들은 전자 장치(100)의 디스플레이 화면(109)의 현재 상태에 기반하여 UI 요소 동작 식별 모듈(213)에 의해 식별될 수 있다. 하나 이상의 동작들은 적어도 하나의 UI 요소를 표시하고 디스플레이 화면(109)에 적어도 하나의 UI 요소를 재배치할 수 있다.
블록(503)에서, 디스플레이 화면(109) 상에서 결정된 복수의 그리드(grid)들 각각에 대해 돌출 점수 계산 모듈(215) 및 심미 점수 계산 모듈(217)에 의해 돌출 점수 및 심미 점수가 계산될 수 있다.
블록(505)에서, 복수의 후보 영역들은 계산된 돌출 점수 및 심미 점수에 기반하여, 후보 영역 식별 모듈(219)에 의해 식별될 수 있다.
블록(507)에서, 복수의 후보 영역들 중 최적의 영역이 사용자 상호작용 점수에 기반하여 최적 영역 식별 모듈(221)에 의해 식별될 수 있다. 사용자 상호작용 점수는 전자 장치(100) 사용의 사용자 행동에 기반하여 결정될 수 있다.
블록(509)에서, 동적 UI 레이아웃은 최적의 영역에서 적어도 하나의 UI 요소와 관련된 하나 이상의 동작을 수행함으로써 레이아웃 생성 모듈(223)에 의해 생성될 수 있다.
도 6은 본 개시의 다양한 실시 예들을 구현하기 위한 전자 장치의 블록도를 도시한다. 전자 장치(600)는 중앙 처리 장치(CPU(central processing unit) 또는 프로세서)(602)를 포함할 수 있다. 프로세서(602)는 전자 장치(600)를 위한 동적 UI 레이아웃을 생성하기 위한 적어도 하나의 데이터 프로세서를 포함할 수 있다. 프로세서(602)는 통합 시스템(버스(bus)) 컨트롤러, 메모리 관리 제어 유닛, 부동 소수점(floating point) 유닛, 그래픽 처리 유닛, 디지털 신호 처리 유닛을 포함할 수 있다.
프로세서(602)는 I/O(input/output) 인터페이스(601)를 통해 하나 이상의 I/O 장치들(도시되지는 않음)과 통신하도록 배치될 수 있다. I/O 인터페이스(601)는 제한없이 오디오, 아날로그, 디지털, 모노(monoaural), RCA(reverse channel audio), IEEE(institute of electrical and electronics engineers)-1394, 직렬 버스(serial bus), USB(universal serial bus), 적외선, PS/2(personal system/2), BNC(bayonet neill-concelman), 동축(coaxial), 구성요소(component), 합성물(composite), DVI(digital visual interface), HDMI(high-definition multimedia interface), RF(radio frequency) 안테나, S-Video(separate video), VGA(video graphics array), IEEE 802.n/b/g/n/x, 블루투스(bluetooth), 셀룰러(예: CDMA(code-division multiple access), HSPA+(high-speed packet access), GSM(global system for mobile communication), LTE(long term evolution), WiMax(worldwide interoperability for microwave access) 등)과 같은 통신 프로토콜 /방법을 사용할 수 있다.
I/0 인터페이스(601)을 이용하여, 전자 장치(600)는 하나 이상의 I/O 장치와 통신할 수 있다. 예를 들어, 입력 장치는 안테나, 키보드, 마우스, 조이스틱, (적외선) 리모콘, 카메라, 카드 판독기(card reader), 팩스 기계, 동글(dongle), 생체 인식 판독기(biometric reader), 마이크, 터치 스크린, 터치 패드, 트랙볼(trackball), 스타일러스(stylus), 스캐너, 저장 장치, 송수신기, 비디오 장치/소스일 수 있다. 출력 장치는 프린터, 팩스 기계, 비디오 디스플레이(예: CRT(cathode ray tube), LCD(liquid crystal display), LED(light-emitting diode, PDP(plasma display panel), OLED(organic light-emitting diode display) 등), 오디오 스피커일 수 있다.
프로세서(602)는 네트워크 인터페이스(603)를 통해 통신 네트워크(609)와 통신하도록 배치될 수 있다. 네트워크 인터페이스(603)는 통신 네트워크(609)와 통신할 수 있다. 네트워크 인터페이스(603)는 직접 연결, 이더넷(예: 연선(twisted pair) 10/100/100 베이스(base) T), TCP/IP(transmission control protocol/internet protocol), 토큰 링(token ring), IEEE 802.11 a/b/g/n/x)를 포함할 수 있으며, 이에 제한되지 않은 연결 프로토콜을 사용할 수도 있다. 통신 네트워크(609)는 제한없이 직접 상호연결, LAN(local area network), WAN(wide area network), 무선 네트워크(예: 무선 애플리케이션 프로토콜 사용), 인터넷을 포함할 수 있다. 네트워크 인터페이스(603) 및 통신 네트워크(609)를 이용하여, 전자 장치(600)는 레이아웃 생성 시스템(101)과 통신할 수 있다. 네트워크 인터페이스(603)는 직접 연결, 이더넷(예: 연선(twisted pair) 10/100/100 베이스(base) T), TCP/IP(transmission control protocol/internet protocol), 토큰 링(token ring), IEEE 802.11 a/b/g/n/x)를 포함할 수 있으며, 이에 제한되지 않은 연결 프로토콜을 사용할 수도 있다.
통신 네트워크(609)는 직접 상호 연결, 전자 상거래 네트워크, P2P(peer to peer) 네트워크, LAN, WAN, 무선 네트워크(예: 무선 애플리케이션 프로토콜 사용), 인터넷, WiFi(wireless fidelity)를 포함할 수 있다. 제1 네트워크 및 제2 네트워크는 전용 네트워크 또는 공유 네트워크일 수 있으며, 이는 서로 통신하기 위해 다양한 프로토콜(예: HTTP(hypertext transfer protocol), TCP/IP, WAP(wireless application protocol)을 사용하는 상이한 유형의 네트워크의 연관을 나타낼 수 있다. 또한, 제1 네트워크 및 제2 네트워크는 라우터(router), 브리지(bridge), 서버, 컴퓨팅 장치, 저장 장치 등을 포함하는 다양한 네트워크 장치를 포함할 수 있다.
일 실시 예에 따라, 프로세서(602)는 저장 인터페이스(604)를 통해 메모리(605)(예: 도 6에 도시되지 않은 RAM, ROM 등)와 통신하도록 배치될 수 있다. 저장 인터페이스(604)는 SATA(serial advanced technology attachment), IDE(integrated drive electronics), IEEE-1394, USB(universal serial bus), SCSI(small computer systems interface)와 같은 연결 프로토콜을 사용하는 메모리 드라이브, 이동식 디스크 드라이브(removable disc drive)를 포함할 수 있으며, 이에 제한되지 않는 메모리(605)에도 연결될 수 있다. 메모리 드라이브는 드럼(drum), 자기 디스크 드라이브, 광 자기 드라이브, 광학 드라이브, RAID(redundant array of independent disc), 솔리드 스테이트 메모리 장치(solid-state memory device), SSD(solid-state drive)를 더 포함할 수 있다.
메모리(605)는 사용자 인터페이스(606), 운영 체제(607)를 포함하나, 이에 제한되지 않는 프로그램 또는 데이터베이스 구성 요소의 집합을 저장할 수 있다. 일 실시 예에 따라, 전자 장치(600)는 본 개시에서 설명된 바와 같이 데이터, 변소, 기록 등과 같은 사용자/애플리케이션 데이터를 저장할 수 있다. 이러한 데이터베이스는 oracle 또는 sybase와 같은 내결함성(fault-tolerant), 관계형(relational), 확장 가능하고 안전한 데이터베이스로 구현될 수 있다.
운영 체제(607)는 전자 장치(600)의 자원 관리 및 운영을 용이하게 할 수 있다. 운영 체제의 예로는, APPLE MACINTOSHR OS X, UNIXR, UNIX 계열 시스템 배포판(예: BSD(Berkeley software distribution)TM, FreeBSDTM, NetBSDTM, OpenBSDTM), 리눅스 배포판(예: REDHATTM, UBUNTUTM, KUBUNTUTM), IBMTM OS/2, MICROSOFTTM WINDOWSTM(XPTM, VISTATM/7/8,10), APPLER, IOSTM, GOOGLER ANDROIDTM, BLACKBERRYR OS를 포함할 수 있으나, 이에 제한되지는 않는다.
일 실시 예에 따라, 전자 장치(600)는 웹 브라우저(608) 저장 프로그램 컴포넌트(component)를 구현할 수 있다. 웹 브라우저(608)는 하이퍼 텍스트 보기(hypertext viewing) 애플리케이션(예: MICROSOFTR INTERNET EXPLORERTM, GOOGLER CHROMETM, MOZILLAR FIREFOXTM, APPLER SAFARITM)일 수 있다. 안전한 웹 브라우징은 HTTPS(secure hypertext transport protocol), SSL(secure sockets layer), TLS(transport layer security)를 사용하여 제공될 수 있다. 웹 브라우저(608)은 AJAXTM, DHTMLTM, ADOBER FLASHTM, JAVASCRIPTTM, JAVATM, API(application programming interface)를 이용할 수 있다. 일 실시 예에 따라, 전자 장치(600)는 메일 서버 저장 프로그램 컴포넌트를 구현할 수 있다. 메일 서버는 Microsoft Exchange와 같은 인터넷 메일 서버일 수 있다. 메일 서버는 ASPTM, ACTIVEXTM, ANSITM C++/C#, MICROSOFTR, NETTM, CGI SCRIPTSTM, JAVATM, JAVA SCRIPTTM, PERLTM, PHPTM, PYTHONTM, WEBOBJECTSTM을 이용할 수 있다. 메일 서버는 IMAP(internet message access protocol), MAPI(messagin application programming interface), MICROSOFTR EXCHANE, POP(post office protocol), SMTP(simple mail transfer protocol)과 같은 통신 프로토콜을 사용할 수 있다. 일 실시 예에 따라, 전자 장치(600)는 메일 클라이언트 저장 프로그램 컴포넌트를 구현할 수 있다. 메일 클라이언트는 APPLER MAILTM, MICROSOFTR ENTOURAGETM, MICROSOFTR OUTLOOKTM, MOZILLAR THUNDERBIRDTM과 같은 메일 보기 애플리케이션일 수 있다.
또한, 하나 이상의 컴퓨터 판독 가능 저장 매체가 본 개시의 실시 예들을 구현하는데 이용될 수 있다. 컴퓨터 판독 가능 저장 매체는 프로세서에 의해 판독 가능한 정보 또는 데이터가 저장될 수 있는 임의의 유형의 물리적 메모리를 의미할 수 있다. 따라서, 컴퓨터 판독 가능 저장 매체는 프로세서로 하여금 본 개시에서 설명된 실시 예와 일치하는 과정 또는 과정을 수행하기 위한 명령을 포함하여, 하나 이상의 프로세서에 의한 실행을 위한 명령을 저장할 수 있다. 용어 '컴퓨터 판독 가능 매체'는 유형(tangible)의 항목을 포함하고, 반송파 및 과도 신호를 제외하는 것으로 이해되어야 한다(즉, 비일시적). 예를 들어, 컴퓨터 판독 가능 매체는 RAM(random access memory), ROM(read-only memory), 휘발성 메모리, 비-휘발성 메모리, 하드 드라이브, CD-ROM, DVD, 플래쉬 드라이브, 디스크 또는 알려진 물리적 저장 매체를 포함할 수 있다.
본 개시는 최적의 영역에서 적어도 하나의 UI 요소와 관련된 동작을 수행하기 위해 동적 UI 레이아웃을 생성할 수 있다. 그 결과, 본 개시는 전자 장치(100)의 가독성(readability)을 향상시키는 돌출, 심미, 사용자 상호작용 그리드를 기반으로 시각적으로 즐거운 직관적인 UI를 구축하는데 도움이 될 수 있다. 또한, 본 개시는 적절한 위치에 UI 요소를 표시하기 위한 사용자 인터페이스 화면의 최적 공간 활용을 용이하게 하여 사용자 편의성을 향상시킬 수 있다.
일 실시 예에 따라, 사용자가 화면에서 적절한 UI 요소를 식별하고, 이러한 UI 요소를 사용하여 동작을 수행하는데 필요한 시간을 줄일 수 있다.
일 실시 예에 따라, 사용자 상호작용 요소를 사용함으로써, 중첩을 제거하는 것을 돕고, 더 자주 사용되는 UI 요소 위에 플로팅(floating) 오버레이(overlay)가 배치되는 것을 방지할 수 있다.
설명된 동작들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합을 생성하기 위해 표준 프로그래밍 및/또는 엔지니어링 기술을 사용하는 방법, 시스템 또는 제조품으로 구현될 수 있다. 설명된 동작들은 '비-일시적 컴퓨터 판독 가능 매체'에 유지되는 코드로 구현될 수 있으며, 여기서 프로세서는 컴퓨터 판독 가능 매체로부터 코드를 읽고 실행할 수 있다. 프로세서는 마이크로 프로세서와 쿼리(query)를 처리하고 실행할 수 있는 프로세서 중 적어도 하나일 수 있다. 비-일시적 컴퓨터 판독 가능 매체는 자기 저장 매체(예: 하드 디스크, 플로피 디스크, 테이프), 광학 저장 매체(예: CD-ROM, DVD, 광학 디스크), 휘발성 및 비-휘발성 메모리 장치(예: EEPROM(electrically erasable programmable read-only memory), ROM(read-only memory), PROM(programmable read-only memory), RAM(random access memory), DRAM(dynamic RAM), SRAM(static RAM), 플래쉬 메모리, 펌웨어, 프로그램 가능 논리(programmable logic)을 포함할 수 있다. 또한, 비-일시적 컴퓨터 판독 가능 매체는 일시적인 것을 제외한 모든 컴퓨터 판독 가능 매체를 포함할 수 있다. 설명된 동작들을 구현하는 코드는 하드웨어 로직(예: 집적 회로 칩, PGA(programmable gate array), ASIC(application specific integrated circuit))으로 구현될 수 있다.
또한, 설명된 동작들을 구현하는 코드는 '전송 신호'에서 구현될 수 있으며, 여기서 전송 신호는 공간 또는 광섬유, 구리선 등과 같은 전송 매체를 통해 전파될 수 있다. 코드 또는 로직이 인코딩 된 전송 신호는 무선 신호, 위성 전송, 전파, 적외선 신호, 블루투스 등을 더 포함할 수 있다. 코드 또는 로직이 인코딩 된 전송 신호는 전송 스테이션(station)에 의해 전송되고, 수신 스테이션에 의해 수신될 수 있으며, 여기서 전송 신호에 인코딩 된 코드 또는 로직은 수신 수신 스테이션, 전송 스테이션, 하드웨어 또는 비-일시적 컴퓨터에 디코딩 및 저장될 수 있다. '제조품'은 코드가 구현될 수 있는 비-일시적 컴퓨터 판독 가능 매체, 하드웨어 로직 및/또는 전송 신호를 포함할 수 있다. 설명된 동작들의 실시 예를 구현하는 코드가 인코딩 되는 장치는 컴퓨터 판독 가능 매체 또는 하드웨어 로직을 포함할 수 있다. 물론, 당업자는 본 개시의 범위를 벗어나지 않고 이러한 구성에 대해 많은 수정이 이루어질 수 있고, 제조품이 당해 기술 분야에서 공지된 적절한 정보 보유 매체를 포함할 수 있음을 인식할 것이다.
본 개시에서 용어 '실시 예'는 달리 명시되지 않는 한, 본 개시의 하나 이상의 실시 예들을 의미할 수 있다.
본 개시에서 용어 '포함하는', '갖는' 및 그 변형은 달리 명시되지 않는 한, '포함하지만 이에 제한되지 않는'을 의미할 수 있다.
열거된 항목 목록은 별도로 명시되지 않는 한, 항목의 일부 또는 전체가 상호 배타적임을 의미하지는 않는다.
본 개시에서 용어 '일'은 달리 명시적으로 지정되지 않는 한 '하나 이상'을 의미할 수 있다.
서로 통신하는 여러 구성 요소들을 가진 일 실시 예의 설명은 그러한 모든 구성 요소가 필요하다는 것을 의미하지 않을 수 있다. 반대로, 본 개시의 다양한 실시 예들을 설명하기 위해 다양한 선택적 구성 요소가 설명될 수 있다.
단일 장치 또는 물품이 본 개시에서 설명될 때, 하나 이상의 장치/물품이 협력 여부에 관계없이 단일 장치/물품 대신 사용될 수 있다. 유사하게, 하나 이상의 장치 또는 물품이 설명될 때, 하나 이상의 장치 또는 물품 대신에 단일 장치/물품이 사용될 수 있거나, 표시된 수의 장치 또는 물품 대신에 상이한 수의 장치/물품이 사용될 수 있다. 장치의 기능 및/또는 특징은 그러한 기능/특성을 갖는 것으로 명시적으로 설명되지 않는 한 하나 이상의 다른 장치에 의해 대안적으로 구현될 수 있다. 따라서, 본 개시의 다른 실시 예는 장치 자체를 포함할 필요가 없을 수 있다.
도 5에서 설명된 동작들은 특정 순서로 발생하는 특정 이벤트를 나타낸다. 대안적인 실시 예에서, 특정 동작은 다른 순서로 수행, 수정 또는 제거될 수 있다. 또한, 단계들은 상술된 로직에 추가될 수 있으며, 설명된 실시 예를 따를 수 있다. 또한, 설명된 동작들은 순차적으로 발생하거나, 특정 동작이 병렬적으로 처리될 수 있다. 또한, 동작들은 단일 처리 장치 또는 분산 처리 장치에 의해 수행될 수 있다.
본 개시에서 사용된 용어는 주로 가독성 및 교육 목적을 위해 선택되었으며, 본 발명을 제한하기 위해 선택된 것은 아니다. 따라서, 본 발명의 범위는 상술된 설명이 아니라 청구범위에 의해 제한되는 것으로 의도된다. 따라서, 본 개시의 실시 예들은 다음의 청구범위에 기재된 본 발명의 범위를 제한하는 것이 아니라 예시적인 것으로 의도된다.
다양한 실시 예들이 본 개시에서 개시되었지만, 다른 실시 예들은 당업자에게 명백할 것이다. 본 개시에서 다양한 실시 예들은 예시를 위한 것이며, 제한하려는 의도가 아니고, 진정한 범위는 다음의 청구범위에 의해 표시된다.

Claims (22)

  1. 전자 장치에 의해 수행되는 방법에 있어서,
    디스플레이 화면의 현재 상태에 기반하여 적어도 하나의 UI(user interface) 요소와 관련된 하나 이상의 동작들을 식별하는 과정과,
    상기 디스플레이 화면에서 결정된 복수의 그리드(grid)들 각각에 대한 돌출 점수 및 심미 점수를 계산하는 과정과,
    상기 계산된 돌출 점수 및 심미 점수에 기반하여, 복수의 후보 영역들을 식별하는 과정과,
    사용자 상호작용 점수에 기반하여 상기 복수의 후보 영역들로부터 최적의 영역을 식별하는 과정과,
    상기 최적의 영역에서 상기 적어도 하나의 UI 요소와 관련된 상기 하나 이상의 동작들을 수행하여 동적 UI 레이아웃(layout)을 생성하는 과정을 포함하는 방법.
  2. 제1항에 있어서, 상기 하나 이상의 동작들은,
    상기 적어도 하나의 UI 요소를 표시하는 과정과,
    상기 디스플레이 화면 상에 상기 적어도 하나의 UI 요소를 재배치하는 과정을 포함하는 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 UI 요소는 아이콘(icon), 알림, 위젯(widget), 네비게이션(navigation) 구성요소 또는 입력 컨트롤(control)을 포함하는 방법.
  4. 제1항에 있어서,
    상기 하나 이상의 동작들을 식별하는 과정은, 상기 적어도 하나의 UI 요소와 관련된 파라미터에 기반하여 상기 디스플레이 화면을 상기 복수의 그리드들로 분할하는 과정을 포함하는 방법.
  5. 제4항에 있어서,
    상기 적어도 하나의 UI 요소와 관련된 상기 파라미터는 크기, 투명도 또는 사용자와 상호작용할 수 있는 것을 포함하는 방법.
  6. 제1항에 있어서,
    상기 복수의 후보 영역들로부터 상기 최적의 영역을 식별하는 과정은,
    상기 돌출 점수, 상기 심미 점수 및 상기 사용자 상호작용 점수에 기반하여 구성(composition) 점수를 계산하는 과정과,
    상기 구성 점수를 기반으로 상기 최적의 영역을 식별하는 과정을 포함하는 방법.
  7. 제1항에 있어서,
    상기 복수의 그리드들 각각에 대한 상기 돌출 점수 및 상기 심미 점수는 미리 훈련된 머신 러닝(machine learning) 모델들의 각각의 히트 맵(heat map) 출력에 기반하여 계산되는 방법.
  8. 제1항에 있어서,
    상기 돌출 점수는 상기 디스플레이 화면에서 현저한(prominent) 특징에 대응하고,
    상기 심미 점수는 이상적인 배치 가능성이 있는 영역에 대응하고,
    상기 사용자 상호작용 점수는 미리 결정된 접근성 임계 값이 있는 위치를 포함하는 영역에 대응하는 방법.
  9. 제1항에 있어서,
    상기 사용자 상호작용 점수는 상기 전자 장치를 사용하는 사용자의 미리 결정된 행동에 기반하여 결정되는 방법.
  10. 제1항에 있어서,
    상기 전자 장치로부터의 입력 및 상기 전자 장치에서 상기 적어도 하나의 UI 요소의 재배치를 트리거(trigger)하기 위한 사용자 입력 중 적어도 하나를 수신하는 과정과,
    상기 복수의 후보 영역들 및 상기 최적의 영역의 위치를 결정하는 과정과,
    상기 복수의 후보 영역들 및 상기 최적의 영역과 관련하여 상기 적어도 하나의 UI 요소의 현재 위치를 식별하는 과정과,
    상기 적어도 하나의 UI 요소를 상기 복수의 후보 영역들에서 멀어지도록 하는 과정을 포함하는 방법.
  11. 제1항에 있어서,
    상기 전자 장치에 표시되고 있는 상기 적어도 하나의 UI 요소를 식별하는 과정과,
    상기 식별된 최적의 영역에서 상기 적어도 하나의 UI 요소를 표시하는 과정을 포함하고,
    상기 적어도 하나의 UI 요소 및 이미지 콘텐츠는 상기 전자 장치에 동시에 표시되는 방법.
  12. 전자 장치에 있어서,
    프로세서; 및
    상기 프로세서에 통신 가능하게 결합된 메모리를 포함하고,
    상기 메모리는 프로세서의 명령을 저장하고, 실행시 상기 프로세서가,
    디스플레이 화면의 현재 상태에 기반하여 적어도 하나의 UI(user interface) 요소와 관련된 하나 이상의 동작들을 식별하고,
    상기 디스플레이 화면에서 결정된 복수의 그리드(grid)들 각각에 대한 돌출 점수 및 심미 점수를 계산하고,
    상기 계산된 돌출 점수 및 심미 점수에 기반하여, 복수의 후보 영역들을 식별하고,
    사용자 상호작용 점수에 기반하여 상기 복수의 후보 영역들로부터 최적의 영역을 식별하고,
    상기 최적의 영역에서 상기 적어도 하나의 UI 요소와 관련된 상기 하나 이상의 동작들을 수행하여 동적 UI 레이아웃(layout)을 생성하도록 구성된 전자 장치.
  13. 제12항에 있어서, 상기 하나 이상의 동작들은,
    상기 적어도 하나의 UI 요소를 표시하고,
    상기 디스플레이 화면 상에 상기 적어도 하나의 UI 요소를 재배치하는 것을 포함하는 전자 장치.
  14. 제12항에 있어서,
    상기 적어도 하나의 UI 요소는 아이콘(icon), 알림, 위젯(widget), 네비게이션(navigation) 구성요소 또는 입력 컨트롤(control)을 포함하는 전자 장치.
  15. 제12항에 있어서,
    상기 프로세서는, 상기 적어도 하나의 UI 요소와 관련된 파라미터에 기반하여 상기 디스플레이 화면을 상기 복수의 그리드들로 분할하도록 구성된 전자 장치.
  16. 제15항에 있어서,
    상기 적어도 하나의 UI 요소와 관련된 상기 파라미터는 크기, 투명도 또는 사용자와 상호작용할 수 있는 것을 포함하는 전자 장치.
  17. 제12항에 있어서,
    상기 프로세서는,
    상기 돌출 점수, 상기 심미 점수 및 상기 사용자 상호작용 점수에 기반하여 구성(composition) 점수를 계산하고,
    상기 구성 점수를 기반으로 상기 최적의 영역을 식별하도록 구성된 전자 장치.
  18. 제12항에 있어서,
    상기 프로세서는,
    미리 훈련된 머신 러닝(machine learning) 모델들의 각각의 히트 맵(heat map) 출력에 기반하여 상기 복수의 그리드들 각각에 대한 상기 돌출 점수 및 상기 심미 점수를 계산하도록 구성된 전자 장치.
  19. 제12항에 있어서,
    상기 돌출 점수는 상기 디스플레이 화면에서 현저한(prominent) 특징에 대응하고,
    상기 심미 점수는 이상적인 배치 가능성이 있는 영역에 대응하고,
    상기 사용자 상호작용 점수는 미리 결정된 접근성 임계 값이 있는 위치를 포함하는 영역에 대응하는 전자 장치.
  20. 제12항에 있어서,
    상기 프로세서는,
    상기 전자 장치를 사용하는 사용자의 미리 결정된 행동에 기반하여 상기 사용자 상호작용 점수를 결정하도록 구성된 전자 장치.
  21. 제12항에 있어서,
    상기 프로세서는,
    상기 전자 장치로부터의 입력 및 상기 전자 장치에서 상기 적어도 하나의 UI 요소의 재배치를 트리거(trigger)하기 위한 사용자 입력 중 적어도 하나를 수신하고,
    상기 복수의 후보 영역들 및 상기 최적의 영역의 위치를 결정하고,
    상기 복수의 후보 영역들 및 상기 최적의 영역과 관련하여 상기 적어도 하나의 UI 요소의 현재 위치를 식별하고,
    상기 적어도 하나의 UI 요소를 상기 복수의 후보 영역들에서 멀어지도록 구성된 전자 장치.
  22. 제12항에 있어서,
    상기 프로세서는,
    상기 전자 장치에 표시되고 있는 상기 적어도 하나의 UI 요소를 식별하고,
    상기 식별된 최적의 영역에서 상기 적어도 하나의 UI 요소를 표시하고,
    상기 적어도 하나의 UI 요소 및 이미지 콘텐츠는 상기 전자 장치에 동시에 표시되도록 구성된 전자 장치.
KR1020200121519A 2019-09-21 2020-09-21 전자 장치를 위한 동적 사용자 인터페이스 레이아웃 생성 방법 및 시스템 KR20210035057A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2020/012729 WO2021054809A1 (en) 2019-09-21 2020-09-21 Method and system for generating dynamic user interface layout for an electronic device
KR1020200121519A KR20210035057A (ko) 2019-09-21 2020-09-21 전자 장치를 위한 동적 사용자 인터페이스 레이아웃 생성 방법 및 시스템
US17/026,971 US11449199B2 (en) 2019-09-21 2020-09-21 Method and system for generating dynamic user interface layout for an electronic device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
IN201941038129 2019-09-21
IN201941038129(PS) 2019-09-21
IN201941038129(CS) 2020-09-09
KR1020200121519A KR20210035057A (ko) 2019-09-21 2020-09-21 전자 장치를 위한 동적 사용자 인터페이스 레이아웃 생성 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20210035057A true KR20210035057A (ko) 2021-03-31

Family

ID=74882405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200121519A KR20210035057A (ko) 2019-09-21 2020-09-21 전자 장치를 위한 동적 사용자 인터페이스 레이아웃 생성 방법 및 시스템

Country Status (3)

Country Link
US (1) US11449199B2 (ko)
KR (1) KR20210035057A (ko)
WO (1) WO2021054809A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310543B1 (ko) 2021-06-24 2021-10-08 주식회사 애자일소다 사용자 인터페이스 생성 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11449662B2 (en) * 2020-10-12 2022-09-20 Adobe Inc. Automatic generation of layout variations based on visual flow
US11790028B2 (en) * 2020-12-10 2023-10-17 International Business Machines Corporation Dynamic user interface enhancement based on user interactions
JP1707432S (ja) * 2021-03-04 2023-09-19 表示切替用画像
JP1713448S (ko) * 2021-03-23 2022-04-25
USD997955S1 (en) * 2021-09-22 2023-09-05 Axiomatic Data LLC Display panel portion with a computer icon

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8065627B2 (en) * 2003-09-30 2011-11-22 Hewlett-Packard Development Company, L.P. Single pass automatic photo album page layout
US7609847B2 (en) 2004-11-23 2009-10-27 Hewlett-Packard Development Company, L.P. Methods and systems for determining object layouts
US8943426B2 (en) 2011-11-03 2015-01-27 Htc Corporation Method for displaying background wallpaper and one or more user interface elements on display unit of electrical apparatus at the same time, computer program product for the method and electrical apparatus implementing the method
US8930839B2 (en) * 2011-11-22 2015-01-06 Yahoo! Inc. Automatically arranging of icons on a user interface
US8861005B2 (en) * 2012-09-28 2014-10-14 Interactive Memories, Inc. Methods for real time discovery, selection, and engagement of most economically feasible printing service vendors among multiple known vendors
GB2507036A (en) 2012-10-10 2014-04-23 Lifecake Ltd Content prioritization
WO2014127535A1 (en) * 2013-02-22 2014-08-28 Google Inc. Systems and methods for automated content generation
US9467750B2 (en) * 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
CN105814626B (zh) 2013-09-30 2018-03-13 Pcms控股公司 用于提供增强信息的方法和设备
KR101485497B1 (ko) 2013-10-23 2015-01-22 연세대학교 산학협력단 아이콘 정렬정보에 기반한 배경화면 추천 장치 및 그 방법
EP3091733A4 (en) 2013-12-31 2017-08-02 Yulong Computer Telecommunication Scientific (Shenzhen) Co., Ltd. Display method and terminal
MX2016014234A (es) * 2014-04-29 2017-02-14 Wix Com Ltd Sistema y metodo para la creacion y uso de diseños dinamicos de calidad alta visualmente diversos.
US9219830B1 (en) * 2014-10-31 2015-12-22 Interactive Memories, Inc. Methods and systems for page and spread arrangement in photo-based projects
US10261655B2 (en) * 2014-12-26 2019-04-16 Microsoft Technology Licensing, Llc Least disruptive icon displacement
KR102375699B1 (ko) 2015-02-06 2022-03-17 삼성전자 주식회사 전자 장치 및 사용자 인터페이스 제공 방법
US10140675B2 (en) * 2016-11-28 2018-11-27 Google Llc Image grid with selectively prominent images
US10168998B2 (en) * 2017-03-20 2019-01-01 Google Llc Automated interface design
US10606925B2 (en) * 2017-03-27 2020-03-31 Adobe Inc. Responsive grid layouts for graphic design
CN110140106B (zh) * 2017-11-20 2021-11-30 华为技术有限公司 根据背景图像动态显示图标的方法及装置
US10664999B2 (en) * 2018-02-15 2020-05-26 Adobe Inc. Saliency prediction for a mobile user interface
US20200073679A1 (en) 2018-08-28 2020-03-05 Ca, Inc. Objectively measuring and changing visual aesthetics of a graphical user interface of an application
US11270485B2 (en) * 2019-07-22 2022-03-08 Adobe Inc. Automatic positioning of textual content within digital images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310543B1 (ko) 2021-06-24 2021-10-08 주식회사 애자일소다 사용자 인터페이스 생성 장치 및 방법

Also Published As

Publication number Publication date
WO2021054809A1 (en) 2021-03-25
US20210089175A1 (en) 2021-03-25
US11449199B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
KR20210035057A (ko) 전자 장치를 위한 동적 사용자 인터페이스 레이아웃 생성 방법 및 시스템
US10528589B2 (en) Cross visualization interaction between data visualizations
EP3520081B1 (en) Techniques for incorporating a text-containing image into a digital image
US10572139B2 (en) Electronic device and method for displaying user interface thereof
US10445542B1 (en) Optical polling platform methods, apparatuses and media
US20160224220A1 (en) System and method for navigating between user interface screens
US20150339018A1 (en) User terminal device and method for providing information thereof
CN105474160A (zh) 高性能触摸拖放
US20120042271A1 (en) Enabling user interactions between user interface components
WO2018103566A1 (zh) 一种对象显示方法与设备
US20140082471A1 (en) Displaying a Syntactic Entity
US9558577B2 (en) Rhythmic mosaic generation methods, apparatuses and media
US20190213106A1 (en) Feature usage prediction using shell application feature telemetry
US10452234B2 (en) Method and dashboard server providing interactive dashboard
US9086777B2 (en) Smart Display
US20160343352A1 (en) Control unit and method for dynamically controlling resolution of display
US20180275833A1 (en) System and method for managing and displaying graphical elements
US20170308575A1 (en) Method and Plan Optimizing Apparatus for Optimizing Query Execution Plan
US20160042545A1 (en) Display controller, information processing apparatus, display control method, computer-readable storage medium, and information processing system
US9928294B2 (en) System and method for improving incident ticket classification
US9128613B2 (en) Positioning clickable hotspots on a touchscreen display
US9600161B2 (en) Generating and displaying a specific area
US10120555B2 (en) Cursor positioning on display screen
WO2014062919A1 (en) Rhythmic mosaic generation methods, apparatuses and media