KR102496603B1 - 어플리케이션 실행 화면의 위치 선정 방법 - Google Patents

어플리케이션 실행 화면의 위치 선정 방법 Download PDF

Info

Publication number
KR102496603B1
KR102496603B1 KR1020180061716A KR20180061716A KR102496603B1 KR 102496603 B1 KR102496603 B1 KR 102496603B1 KR 1020180061716 A KR1020180061716 A KR 1020180061716A KR 20180061716 A KR20180061716 A KR 20180061716A KR 102496603 B1 KR102496603 B1 KR 102496603B1
Authority
KR
South Korea
Prior art keywords
area
application
user
location
displaying
Prior art date
Application number
KR1020180061716A
Other languages
English (en)
Other versions
KR20190136264A (ko
Inventor
이종주
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020180061716A priority Critical patent/KR102496603B1/ko
Publication of KR20190136264A publication Critical patent/KR20190136264A/ko
Application granted granted Critical
Publication of KR102496603B1 publication Critical patent/KR102496603B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

어플리케이션 실행 화면의 위치 선정 방법이 제공된다. 본 발명의 일 실시예에 따른 어플리케이션 실행 화면의 위치 선정 방법은 어플리케이션 GUI(Graphical User Interface)의 최초 실행 영역의 위치를 획득하는 단계와 최초 실행 영역의 위치를 보정하기 위한 상황 정보를 수신하고, 상황 정보에 기초하여 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계와 보정 결과에 따른 영역 위치에 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계를 포함할 수 있다.

Description

어플리케이션 실행 화면의 위치 선정 방법{METHOD FOR SELECTING LOCATION TO EXECUTION SCREEN OF APPLICATION}
본 발명은 어플리케이션 실행 화면의 위치 선정 방법에 관한 것이다. 보다 자세하게는, 컴퓨팅 장치에 대한 사용자 행위를 분석하고, 이에 기반하여 어플리케이션의 실행 화면 위치 선정하는 방법에 관한 것이다.
PC 기기나 스마트 기기와 같은 컴퓨팅 장치에 연결된 표시 장치에서는 다양한 어플리케이션의 실행 화면이 표시될 수 있고, 어플리케이션의 표시 위치는 상기 표시 장치의 화면에서 다양한 위치 상에 배치될 수 있다. 이 때, 어플리케이션이 처음 실행되어 표시되는 위치는, 사용자가 입력한 별도의 설정에 따르거나 어플리케이션이 종료된 위치에서 다시 실행되어 표시되는 것이 일반적이다.
그러나, 일반적으로 표시 장치에서는 한 개의 어플리케이션만이 실행되어 표시되는 것이 아니고, 어느 한 어플리케이션이 실행되고 있는 시점에서 다른 어플리케이션이 추가적으로 실행되어 화면에 디스플레이 될 수 있다. 이 때, 제한된 화면 영역에서 실행 예정인 어플리케이션의 작업창이 기 실행되고 있는 어플리케이션의 작업창에 중첩되어 표시되면, 사용자가 진행 중인 작업을 방해할 수 있다.
아래에서 서술되는 발명은 상기에서 언급한 문제점을 해결하기 위하여 안출 된 것으로서, 사용자가 진행 중인 작업을 방해하지 않으면서도 화면 상의 최적의 위치에 어플리케이션 GUI(Graphical User Interface)를 표시하기 위한 다양한 수단들을 제공하고자 한다.
한국공개특허 제2013-0106147호
본 발명이 해결하고자 하는 기술적 과제는, 컴퓨팅 장치의 화면 상에서 최적화 된 어플리케이션 GUI 실행 위치를 제공할 수 있는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 사용자에게 최적화 된 어플리케이션 GUI 실행 위치를 제공하기 위하여, 사용자가 의도한 컴퓨팅 장치 상 화면 영역을 예측하는 방법 및 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 어플리케이션 실행 화면의 위치 선정 방법은, 어플리케이션 GUI(Graphical User Interface)의 최초 실행 영역의 위치를 획득하는 단계, 상기 최초 실행 영역의 위치를 보정하기 위한 상황 정보를 수신하고, 상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계, 상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계를 포함할 수 있다.
일 실시예에서, 상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 상기 어플리케이션 GUI을 표시할 수 있는 화면 영역의 일부인 사용자의 시선 영역을 판단하는 단계, 상기 시선 영역에서의 어플리케이션의 활성화 및 상기 어플리케이션에 대한 사용자 입력 중 적어도 하나를 감지하는 단계, 상기 감지 결과에 따라, 상기 시선 영역을 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 상기 화면 영역에서 실행 중인 적어도 하나의 어플리케이션 GUI의 실행 영역을 판단하는 단계, 상기 화면 영역 중, 상기 실행 영역을 제외한 비 실행 영역을 상기 어플리케이션 GUI를 표시하기 위한 위치로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 실행 영역을 제외한 비 실행 영역을 상기 어플리케이션 GUI를 표시하기 위한 위치로 결정하는 단계는, 상기 화면 영역 중 일부 영역에 가상 입력 인터페이스의 실행을 위한 표시 영역이 감지된 경우, 상기 가상 입력 인터페이스의 실행을 위한 표시 영역을 제외한 영역을 상기 어플리케이션 GUI를 표시하기 위한 위치로 결정하는 단계를 포함할 수 있다
일 실시예에서, 상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 사용자 입력 장치로부터 수신한 조작 정보에 기초하여, 상기 어플리케이션 GUI의 최초 실행 영역의 위치를 기준으로 변경된 위치를 판단하는 단계, 상기 변경된 위치를 상기 어플리케이션 GUI를 표시하기 위한 위치로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 어플리케이션 GUI(Graphical User Interface)의 최초 실행 영역의 위치를 획득하는 단계는, 상기 화면 영역은 적어도 제1 화면 영역 및 제2 화면 영역으로 구분되되, 상기 제1 화면 영역 및 상기 제2 화면 영역 중 어느 하나인 최초 실행 위치를 획득하는 단계를 포함하고, 상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 사용자 입력 장치로부터 수신된 조작 정보에 따른 상기 어플리케이션 GUI의 최초 실행 위치로부터 변경된 위치를 확인하고, 상기 컴퓨팅 장치에 탑재된 이미지 디바이스로부터 수신된 사용자의 얼굴 정보에 기초하여 상기 사용자의 시선이 상기 변경된 위치에 일치하는지 여부를 판단한 결과에 따라 보정하는 단계를 포함하고, 상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계는, 상기 변경된 위치를 새로운 위치로 하여 상기 어플리케이션 GUI를 표시하는 단계를 포함할 수 있다.
일 실시예에서, 상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 상기 화면 영역에 대하여 적어도 일부 영역에 포함되는 기 실행 중인 어플리케이션 표시 영역 중, 정보 입출력 영역이 제외된 영역을 판단한 결과에 따라 상기 어플리케이션의 실행을 표시하기 위한 위치로 결정하는 단계를 포함하고, 상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계는, 상기 정보 입출력 영역이 제외된 영역을 상기 새로운 위치로 하여 상기 어플리케이션 GUI를 표시하는 단계를 포함할 수 있다.
일 실시예에서, 상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 상기 화면 영역에서 상기 어플리케이션과 다른 기 실행 중인 어플리케이션의 속성에 따라 상기 어플리케이션의 실행을 표시하기 위한 영역에서 상기 화면 영역을 제한하는 단계를 포함하고, 상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계는, 상기 제한의 결과에 따라 상기 기 실행 중인 어플리케이션 GUI를 상기 어플리케이션 GUI 표시에 우선 순위를 부여하는 단계를 포함할 수 있다.
일 실시예에서, 상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 상기 컴퓨팅 장치에 탑재된 이미지 디바이스로부터 사용자가 센싱 되지 않은 경우, 상기 어플리케이션 GUI를 표시하지 않는 것으로 결정하는 단계를 포함하고, 상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계는, 상기 결정에 따라 상기 화면 영역에서 상기 어플리케이션의 실행을 위한 표시를 제한하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 어플리케이션 실행 화면의 위치 선정 학습 방법은 표시 장치의 화면 영역 중 일부이고, 사용자의 시선 방향과 일치하는 영역인 제1 표시 영역을 확인하는 단계, 상기 제1 표시 영역 내에 적어도 하나의 어플리케이션의 실행 여부를 판단하는 단계, 상기 판단 결과에 따라 상기 제1 표시 영역에 상기 적어도 하나의 어플리케이션이 실행 중인 것으로 판단된 경우, 상기 제1 표시 영역을 상기 사용자의 관심 영역으로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 표시 영역을 상기 사용자의 관심 영역으로 결정하는 단계는, 상기 적어도 하나의 어플리케이션에 대한 사용자 조작 입력이 감지된 경우 상기 제1 표시 영역을 사용자의 관심 영역으로 결정하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 다른 실시예에 따른 어플리케이션 실행 화면의 위치 선정 학습 방법은 표시 장치의 화면 영역 중 일부이고, 사용자의 시선 방향과 일치하지 않는 영역인 제2 표시 영역을 확인하는 단계, 상기 제2 표시 영역에서 적어도 하나의 어플리케이션의 실행 여부를 판단하는 단계, 상기 판단 결과에 따라 상기 제2 표시 영역에서 상기 적어도 하나의 어플리케이션이 실행 중인 것으로 판단된 경우, 상기 제2 표시 영역을 상기 사용자의 관심 영역으로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 표시 영역을 상기 사용자의 관심 영역으로 결정하는 단계는, 사용자 입력 장치로부터 수신한 조작 정보에 기초하여 상기 제2 표시 영역을 사용자의 관심 영역으로 결정하는 단계를 포함하되, 상기 조작 정보는 상기 화면 영역 내의 이동 방향을 가리키는 것일 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 다른 실시예에 따른 어플리케이션 실행 화면의 위치 선정 방법은 적어도 하나의 제1 어플리케이션의 실행을 표시하기 위한 제1 표시 영역 및 적어도 하나의 제2 어플리케이션의 실행을 표시하기 위한 제2 표시 영역 중 사용자의 주시 대상이 되는 어느 하나의 표시 영역을 감지하는 단계, 상기 감지 결과에 따라 상기 어느 하나의 표시 영역이 제1 표시 영역인 것으로 판단된 경우, 상기 제2 어플리케이션을 상기 제1 표시 영역에 표시하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 어플리케이션을 상기 제1 표시 영역에 표시하는 단계는, 상기 제1 표시 영역에 상기 제1 어플리케이션이 실행 중인 것을 판단한 결과에 따라 상기 제1 표시 영역에 상기 제2 어플리케이션을 표시하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 어플리케이션을 상기 제1 표시 영역에 표시하는 단계는, 상기 제1 표시 영역에 상기 제1 어플리케이션이 실행 중인 것을 판단한 결과에 따라 상기 제1 표시 영역에 새로운 어플리케이션의 표시를 제한하는 단계를 포함할 수 있다.
일 실시예에서, 사용자의 주시 대상이 되는 어느 하나의 표시 영역을 감지하는 단계는, 상기 폴더블 전자 장치가 폴딩 상태인 경우, 상기 제1 표시 영역 및 상기 제2 표시 영역 중 상기 사용자와 마주한 표시 영역을 감지하되, 상기 마주한 표시 영역은 제1 표시 영역인, 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 어플리케이션을 상기 제1 표시 영역에 표시하는 단계는, 상기 제2 어플리케이션의 표시 위치를 상기 제2 표시 영역으로 이동하되, 상기 제2 표시 영역은 상기 사용자의 시야에서 벗어난 것인, 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은, 어플리케이션 GUI(Graphical User Interface)의 최초 실행 영역의 위치를 획득하는 단계, 상기 최초 실행 영역의 위치를 보정하기 위한 상황 정보를 수신하고, 상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계, 상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계를 실행시키도록 기록 매체에 저장되어 구현될 수 있다.
도 1은 본 발명의 몇몇 실시예에 따른 어플리케이션 실행 화면의 위치 선정 방법이 수행되는 장치의 블록도이다.
도 2는 본 발명의 몇몇 실시예에서 참조되는 학습 데이터를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 어플리케이션 실행 화면의 위치 선정 방법의 순서도이다.
도 4 내지 도 5는 도 3의 S300 단계의 세부 과정을 설명하기 위한 상세 순서도이다.
도 6은 본 발명의 일 실시예에 따라 어플리케이션의 실행이 표시되는 위치를 선정하는 예시를 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따라 어플리케이션의 실행이 표시되는 위치를 선정하는 예시를 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따라 어플리케이션의 실행이 표시되는 위치를 선정하는 예시를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 다중 화면에서 어플리케이션의 실행이 표시되는 위치를 선정하는 예시를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라 모바일 화면에서 어플리케이션의 실행이 표시되는 위치를 선정하는 예시를 설명하기 위한 도면이다.
도 11은 본 발명의 다른 실시예에 따라 폴더블 화면에서 어플리케이션의 실행이 표시되는 위치를 선정하는 예시를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 어플리케이션 실행 화면의 위치 선정 학습 방법의 순서도이다.
도 13은 상기 도 13에 따른 어플리케이션 실행 화면의 위치 선정 학습 방법의 설명을 돕기 위한 도면이다.
도 14는 본 발명의 다른 실시예에 따른 어플리케이션 실행 화면의 위치 선정 학습 방법의 순서도이다.
도 15는 상기 도 15에 따른 어플리케이션 실행 화면의 위치 선정 학습 방법의 설명을 돕기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.
도 1은 본 발명의 몇몇 실시예에 따른 어플리케이션 실행 화면의 위치 선정 방법이 수행되는 장치의 블록도이다. 이하, 설명의 편의를 위해 어플리케이션 실행 화면의 위치 선정 방법이 수행되는 장치는 기능 실행 장치로 약칭한다.
도 1에 도시된 기능 실행 장치(100)는, 터치 기반의 모바일 컴퓨팅 장치일 수 있다. 예를 들어, 몇몇 실시예에 따른 기능 실행 장치(100)에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 몇몇 실시 예에 따른 구성은 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 통상의 기술자라면 쉽게 알 수 있을 것이다.
도 1을 참조하면, 기능 실행 장치(100)는, 통신부(110), 입력부(120), 출력부(130), 저장부(140) 및 제어부(150)를 포함할 수 있다. 도 1에 도시된 구성요소들은 기능 실행 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 몇몇 실시예에서 설명되는 기능 실행 장치(100)는 위에서 열거된 구성요소들보다 많거나 또는 적은 구성요소들을 가질 수 있다. 단, 기능 실행 장치(100)는 사용자의 상황 정보를 입력하기 위한 다양한 입력 수단이 포함될 수 있다. 상기 상황 정보에 대하여는 도 2를 참조하여 자세히 서술하도록 한다.
통신부(110)는 외부 장치와 통신하기 위한 이동통신 모듈, 무선 통신 모듈을 구비할 수 있다. 통신부(110)는 음성 신호, 화상 통화 신호, 문자/멀티미디어 메시지, E-메일, 멀티미디어 컨텐츠 등의 데이터를 수신할 수 있다.
통신부(110)에 구비된 이동통신 모듈은 이동통신을 위한 기술 표준들 또는 통신 방식 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
통신부(110)에 구비된 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이에 사용되는 무선 인터넷 기술로는 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone), 또는 오디오 입력부, 사용자로부터 정보를 입력 받기 위한 사용자 입력부(예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다. 특히, 입력부(120)는 기능 실행 장치(100)의 사용자의 상태 또는 행동을 학습하기 위하여 다양한 센싱 장치를 통하여 상황 정보에 관한 다양한 데이터를 생성할 수 있도록 한다. 예로 들면, 노트북이나 스마트 기기에 구비된 이미지 센싱 장치를 가리킬 수 있다. 노트북이나 스마트 기기에 구비된 이미지 센싱 장치를 통하여 상황 정보의 하나로 볼 수 있는 사용자의 안면 이미지 및 홍채 이미지 등에 관한 데이터를 생성할 수 있다. 또한, 사용자가 기능 실행 장치(100)를 조작하기 위한 다양한 기기를 가리킬 수 있다. 마우스 또는 키보드 등이 몇몇 예가 될 수 있다. 사용자가 기능 실행 장치(100)를 조작하기 위한 다양한 수단 등을 통하여 사용자의 행동 정보에 관한 데이터를 획득할 수 있다. 이외에도, 스마트 기기 등에 구비된 다양한 센서 등을 가리킬 수 있다. 예로 들면, 스마트 기기 자체에 내장된 중력센서, 자이로 센서, 조도 센서, 근접 센서 등이다. 본 명세서에서는 입력부(120)에 관하여 모든 수단을 기재하지 않았지만, 사용자의 행동 분석을 위한 상황 정보를 획득할 수 있는 모든 수단을 의미할 수 있음에 유의한다.
출력부(130)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(135)를 포함할 수 있다. 다만 이에 한정되는 것은 아니고, 음향 출력부, 햅틱 모듈, 광 출력부 중 적어도 하나를 포함할 수 있다.
디스플레이부(135)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치스크린을 구현할 수 있다. 이러한 터치스크린은, 기능 실행 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 입력부(120)로써 기능함과 동시에, 기능 실행 장치(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
디스플레이부(135)는 터치 센서를 구비할 수 있다. 터치 센서는 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식, 자기장 방식 등 여러 가지 터치방식 중 적어도 하나를 이용하여 터치스크린(또는 디스플레이부(135))에 가해지는 터치(또는 터치 입력)을 감지한다.
이와 같이, 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내 진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(150)로 전송한다. 이로써, 제어부(150)는 디스플레이부(135)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다. 여기에서, 터치 제어기는, 제어부(150)와 별도의 구성요소일 수 있고, 제어부(150) 자체일 수 있다.
한편, 제어부(150)는, 디스플레이부(135)를 터치하는, 터치 대상체의 종류에 따라 서로 다른 제어를 수행하거나, 동일한 제어를 수행할 수 있다. 터치 대상체의 종류에 따라 서로 다른 제어를 수행할지 또는 동일한 제어를 수행할지는, 현재 기능 실행 장치(100)의 동작상태 또는 실행 중인 응용 프로그램에 따라 결정될 수 있다.
디스플레이부(135)가 상기 터치 스크린으로 구현되는 경우, 상기 터치 스크린은 사용자의 손가락을 통해 입력되는 터치 입력과 더불어, 터치 펜 또는 스타일러스 펜(Stylus pen), 포인터 등을 이용한 터치 입력을 감지할 수도 있다. 또한, 터치 스크린은 터치 스크린의 표면과 접촉한 채로 입력되는 터치 입력과 더불어, 상기 터치 스크린과 소정의 거리의 근접 터치 제스처 또한 감지할 수 있다. 이를 위해, 터치 스크린은 근접 센서를 추가로 구비할 수도 있다.
저장부(140)는 기능 실행 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 저장부(140)는 기능 실행 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 어플리케이션(application)), 기능 실행 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는, 기능 실행 장치(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능 등)을 위하여 출고 당시부터 기능 실행 장치(100) 상에 존재할 수 있다. 한편, 응용 프로그램은 저장부(140)에 저장되고, 기능 실행 장치(100) 상에 설치되어 제어부(150)에 의하여 기능 실행 장치의 동작(또는 기능)을 수행하도록 구동될 수 있다.
저장부(140)는 외부 장치로부터 전달되거나, 사용자에 의해 입력된 데이터, 또는 제어부(150)의 연산 결과를 임시적으로 또는 비임시적으로 저장할 수 있다. 저장부(140)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다. 한편, 도1 에서 저장부(140)는 별도의 구성으로 도시되었으나, 후술할 제어부(150)와 통합되어 기능 실행 장치에 구비될 수도 있다.
제어부(150)는 각 구성의 전반적인 동작을 제어한다. 제어부(150)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 제어부(150)는 몇몇 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 어플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.
한편, 도 1에 대한 설명에서 기능 실행 장치(100)의 구성으로 통신부(110), 입력부(120), 출력부(130), 저장부(140) 및 제어부(150)가 설명되었으나, 본 발명의 실시예에 따르면, 기능 실행 장치(100)는 입력부(120), 디스플레이부(135) 및 제어부 (150)만을 포함하여 구성될 수도 있다.
도 2는 본 발명의 몇몇 실시예에서 참조되는 상황 정보를 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 기능 실행 장치(100)는 노트북에 구비된 카메라(101), 다기능 센서 (103), 스마트 기기에 구비된 카메라(105), 마우스(107) 및 키보드(109)를 통하여 상황 정보를 생성할 수 있다.
노트북 및 스마트 기기에 구비된 카메라(101, 105)는 기능 실행 장치(100) 주변의 사용자의 존재 여부, 움직임 및 안면 이미지에 대한 정보를 수신할 수 있다. 특히, 3D 센서가 탑재되어 홍채 인식과 안면 인식 기능이 구현되는 카메라가 노트북 및 스마트 기기에 구비되어 사용자의 다양한 상황 정보를 획득할 수 있다.
다기능 센서(103)는 사용자 자체에 관한 정보 이외에 다양한 상황 정보를 획득할 수 있다. 다기능 센서(103)의 예로, 중력 센서, 자이로 센서, 조도 센서 및 근접 센서 등을 들 수 있다. 상기와 같은 다양한 센서들을 이용하여 사용자 행위 정보를 보완할 수 있다.
사용자 입력 장치의 예시로 마우스(107) 및 키보드(109)를 들 수 있다. 상기 사용자 입력 장치를 통하여 사용자의 조작 정보를 획득할 수 있을 것이다.
또한, 도 2에는 도시되지 않았으나 터치 입력 장치에 의한 다양한 입력 제스처, 제어부를 통하여 현재 활성화 중인 어플리케이션의 속성 및 정보를 참조하여 상황 정보를 획득할 수 있을 것이다.
본 발명의 몇몇 실시예에서 참조되는 상황 정보는, 컴퓨팅 장치에 탑재된 이미지 디바이스로부터 센싱 된 사용자 안면에 대한 정보, 사용자 입력 장치로부터 수신된 조작 정보 및 상기 컴퓨팅 장치에서 실행되고 있는 어플리케이션의 활성화 정보 중 적어도 어느 하나를 포함할 수 있다. 상기 사용자 안면에 대한 정보는 사용자의 이목구비에 대한 특징점을 이용한 정보를 포함할 수 있고, 홍채 인식 기법을 이용하여 사용자의 시선을 파악할 수 있다.
이하에서는 상술한 다양한 장치 구성으로서 수행되는 어플리케이션 실행 화면의 위치 선정 방법 및 어플리케이션 실행 화면의 위치 선정 학습 방법에 관하여 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 어플리케이션 실행 화면의 위치 선정 방법의 순서도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
S100 단계에서, 어플리케이션 GUI(Graphical User Interface)의 최초 실행 영역의 위치를 획득한다. 상기 어플리케이션 GUI는 화면 영역 내에 어플리케이션이 실행되고 있거나, 실행된 결과 표시될 수 있는 작업창 등을 의미할 수 있다.
S200 단계에서, 상기 최초 실행 영역의 위치를 보정하기 위한 상황 정보를 수신한다. 상기 상황 정보는 사용자에게 변경된 실행 영역의 위치를 제공하기 위한 사용자 행위를 분석 및 예측하기 위한 정보를 가리킨다. 상술한 바와 같이 상기 상황 정보는 다양한 입력 장치를 통하여 수신된 사용자와 연관된 컨텍스트(Context) 정보를 가리킨다.
S300 단계에서, 상황 정보에 기초하여 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정한다. 이는, 수신된 상황 정보를 분석하여 이전에 실행되었던 어플리케이션 GUI의 표시 위치를 이동하기 위함이다. 사용자가 이전에 작업을 수행하였던 어플리케이션을 상황 정보 분석에 기초하여 최적의 위치에 표시하여 편의성을 제공할 수 있다. 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하기 위한 세부적인 과정에 대해서는 하기의 도 4 및 도 5를 통하여 상세히 서술한다.
S400 단계에서, 상기 보정 결과에 따른 영역 위치에 어플리케이션 GUI를 사용자 조작 입력과 무관하게 표시한다. S400 단계에 따라 표시되는 어플리케이션 GUI가 표시되는 영역의 위치는 사용자가 어플리케이션 GUI가 표시되길 바라는 위치 또는 사용자가 어플리케이션 GUI가 표시되지 않길 바라는 위치 중 어느 하나일 수 있다.
예를 들어, 표시 장치의 화면 영역이 각각 좌측 영역과 우측 영역으로 구분되는 것으로 가정한다. 기능 실행 장치가 사용자의 상황 정보를 분석한 결과, 사용자가 화면 영역 중 우측 영역을 주시하고 있거나, 우측 영역에서 문서 편집 어플리케이션을 이용한 문서 편집 작업을 수행할 것이라는 분석 결과가 도출되면, 사용자의 어플리케이션 실행 입력에 응답하여 사용자의 조작 또는 설정이 없이 자동적으로 우측 영역에 상기 문서 편집 어플리케이션 작업창이 표시될 것이다. 다른 예로, 사용자가 왼쪽 영역에서 기 실행 중인 어플리케이션의 정보를 제공받는 상태인 것으로 가정한다. 이때, 사용자는 기 실행 중인 어플리케이션의 화면이 가려지는 것을 원하지 않을 것이다. 이 경우, 사용자의 새로운 어플리케이션 실행 입력에 응답하여 사용자의 조작 또는 설정이 없이 자동적으로 우측 영역에 새로운 어플리케이션 작업창이 표시될 것이다.
일 실시예에서, 상황 정보에 기초하여 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 사용자 입력 장치로부터 수신한 조작 정보에 기초하여, 상기 어플리케이션 GUI의 최초 실행 영역의 위치를 기준으로 변경된 위치를 판단하는 단계와 상기 변경된 위치를 상기 어플리케이션 GUI를 표시하기 위한 위치로 결정하는 단계를 포함할 수 있다. 본 실시예에 따르면, 사용자의 과거 행동 기반으로 사용자가 원하는 위치에 새로운 어플리케이션 GUI 실행 위치를 결정할 수 있다.
도 4 내지 도 5는 도 3의 S300 단계의 세부 과정을 설명하기 위한 상세 순서도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
상기 S300 단계의 세부 과정을 상세히 설명하기에 앞서서, 상기 세부 과정은 다음과 같은 2 가지 방식으로 분류될 수 있음을 미리 밝혀 둔다. 첫째는 포지티브(Positive) 방식으로, 사용자가 의도한 영역 위치에 어플리케이션 GUI를 표시하는 방식이다. 둘째는, 네거티브(Negative) 방식으로, 사용자가 의도하지 않는 영역을 제외한 영역에 어플리케이션 GUI를 표시하는 방식이다.
도 4는 본 발명의 몇몇 실시예에서 참조되는 포지티브 방식의 위치 보정 방식을 설명하기 위한 순서도이다. 이하, 도 4를 참조하여 상기 포지티브 방식의 위치 보정 방식을 상세히 설명한다.
S302 단계에서, 어플리케이션 GUI를 표시할 수 있는 화면 영역의 일부인 사용자의 시선 영역을 판단한다. 상기 시선 영역은 사용자가 실제 주시하고 있는 표시 장치에서 디스플레이 되고 있는 화면 영역의 일부에 해당한다. 시선 영역의 판단은 상술한 노트북 및 스마트 기기에 구비된 카메라를 통하여 안면 인식 또는 홍채 인식을 통하여 수행될 수 있다.
S304 단계에서, 상기 시선 영역에서의 어플리케이션의 활성화 및 어플리케이션에 대한 사용자 입력 중 적어도 어느 하나를 감지한다. 사용자가 화면 영역의 일부인 시선 영역을 주시하고 있음과 동시에 상기 시선 영역에서 어플리케이션이 활성화되고 있거나, 해당 어플리케이션에 대한 사용자 입력이 발생한 경우에는 사용자가 시선 영역을 통하여 어플리케이션 GUI를 실제로 인지하고 있음이 분명할 것이다.
어플리케이션의 활성화 및 어플리케이션에 대한 사용자 입력 중 적어도 어느 하나가 감지되면(S306), 사용자가 시선 영역을 실제로 주시하고 있는 것으로 판단될 수 있고(S308), 상기 시선 영역을 어플리케이션 GUI를 표시하기 위한 영역의 위치로 결정할 수 있다(S310). 이 때, 결정 결과를 바탕으로 하여 도 3의 S300 단계에서 적용될 수 있다.
반대로, 어플리케이션의 활성화 및 어플리케이션에 대한 사용자 입력이 모두 감지되지 않으면(S306), 사용자가 시선 영역을 실제로 주시하지 않고 있는 것으로 판단하여, 아무런 결정도 수행되지 않고, S300 단계에서의 보정은 수행되지 않을 것이다.
일 실시예에서, 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 상기 어플리케이션 GUI를 표시할 수 있는 화면 영역의 일부인 사용자의 시선 영역을 판단하는 단계를 포함하고, 상기 시선 영역에서의 어플리케이션의 활성화 및 상기 어플리케이션에 대한 사용자 입력 중 적어도 하나를 감지하는 단계와 상기 감지 결과에 따라 상기 시선 영역을 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치로 결정하는 단계를 포함할 수 있다.
도 5는 본 발명의 몇몇 실시예에서 참조되는 네거티브 방식의 위치 보정 방식을 설명하기 위한 순서도이다. 이하, 도 5를 참조하여 상기 네거티브 방식의 위치 보정 방식을 상세히 설명한다.
S322 단계에서, 어플리케이션 GUI를 표시할 수 있는 화면 영역에서 기 실행 중인 적어도 하나의 어플리케이션의 실행 영역을 판단한다. 본 실시예는 사용자가 원하지 않는 곳에 어플리케이션 GUI가 표시되지 않도록 하기 위한 것으로 기 실행 중인 어플리케이션의 활성화 여부가 중요 기준이 될 수 있다.
S324 단계에서, 실행 영역에서 기 실행 중인 적어도 하나의 어플리케이션에 대한 사용자의 조작 입력을 감지한다. 상기 화면 영역에서 다수의 어플리케이션이 실행 중이더라도, 실제로 사용하고 있거나 메인이 되는 어플리케이션은 하나의 어플리케이션이 될 것이다. 본 단계에서는 어플리케이션의 활성화를 판단함과 동시에 별도의 사용자의 조작 입력을 감지하여 사용자가 작업 중인 실행 영역이 다른 어플리케이션 GUI에 의하여 방해되지 않도록 하기 위함이다.
사용자의 조작 입력이 감지되면(S326), 화면 영역 중 실행 영역을 제외한 비 실행 영역을 어플리케이션 GUI를 표시하기 위한 위치로 결정한다(S328). 상기 비 실행 영역은 S322 단계 내지 S326 단계에 의하여 실행 영역임을 명확히 판단한 결과 새로운 어플리케이션 GUI가 표시되어도 사용자의 작업을 방해하지 않는 영역에 해당한다. 다만, S324 단계 내지 S326 단계가 생략될 수 있음에 유의한다. 도 5에 도시된 바와 같이, 실행 영역을 판단한 뒤, 실행 영역을 제외한 나머지 영역인 비 실행 영역에 새로운 어플리케이션 GUI를 표시하기 위한 위치로 결정할 수 있다. 이 경우, 몇몇 과정이 생략된 결과 빠른 판단이 내려질 수 있을 것이고, 화면 영역 중 빈 공간에 즉각적으로 새로운 어플리케이션 GUI가 표시될 수 있을 것이다.
반대로, 사용자의 조작 입력이 감지되지 않으면(S326), 실행 영역 및 비 실행 영역 모두를 어플리케이션 GUI를 표시하기 위한 위치로 결정하고, S300 단계에서의 보정은 수행되지 않을 것이다.
일 실시예에서, 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 상기 화면 영역에서 실행 중인 적어도 하나의 어플리케이션 GUI의 실행 영역을 판단하는 단계와 상기 화면 영역 중, 상기 실행 영역을 제외한 비 실행 영역을 상기 어플리케이션 GUI를 표시하기 위한 위치로 결정하는 단계를 포함할 수 있다.
다른 실시예에서, 상기 실행 영역을 제외한 비 실행 영역을 상기 어플리케이션 GUI를 표시하기 위한 위치로 결정하는 단계는, 상기 화면 영역 중 일부 영역에 가상 입력 인터페이스의 실행을 위한 표시 영역이 감지된 경우, 상기 가상 입력 인터페이스의 실행을 위한 표시 영역을 제외한 영역을 상기 어플리케이션 GUI를 표시하기 위한 위치로 결정하는 단계를 포함할 수 있다. 상기 가상 입력 인터페이스의 실행을 위한 표시 영역은 예를 들어, 가상 키보드, 메시지 입력 영역 등 정보를 입출력하기 위한 모든 인터페이스를 가리킨다.
한편, 이하에서는 상술한 몇몇 방법들에 의하여 어플리케이션 GUI가 화면 영역에서 표시되는 다양한 예시 및 다양한 표시 장치에서 다양한 결과가 구현되는 예시를 설명한다.
도 6은 본 발명의 일 실시예에 따라 어플리케이션 GUI가 표시되는 위치를 선정하는 예시를 설명하기 위한 도면이다. 도시된 도 6의 화면 영역(10)을 분할된 4개의 영역으로 구분하였지만, 이는 설명의 편의를 위한 것이며 아래에서 설명되는 예시를 응용하여 적어도 2개 이상의 영역으로 구분되어 어플리케이션 GUI를 표시할 수 있음에 유의한다.
도 6의 상단에 도시된 바와 같이, 제1 표시 장치(1001)에 구비된 센싱 장치(101)를 통하여, 실제로 사용자(1)가 주시하고 있는 화면 영역(10) 중 일부인 시선 영역(11)이 판단되면, 시선 영역(11)에서의 사용자 입력(102)을 감지한다. 상기 감지 결과에 따라, 대상 영역(12)에 어플리케이션 GUI가 표시될 수 있다.
한편, 도 6의 하단에 도시된 바와 같이, 제1 표시 장치(1001)에 구비된 센싱 장치(101)를 통하여, 실제로 사용자(1)가 주시하고 있는 화면 영역(10) 중 일부인 시선 영역(11)이 판단되었고, 대상 영역(12)에는 기 실행 중인 어플리케이션 GUI가 실행 중인 것으로 가정한다(미도시). 이 때, 사용자(1)는 대상 영역(12)에 새로운 어플리케이션 GUI가 표시되지 않는 것을 원할 것이다. 동시에, 시선 영역(11)에 사용자 입력(102)이 감지된 경우(예를 들어, 마우스 조작 입력이 감지된 경우)에는 사용자(1)가 시선 영역(11)에서 작업을 예상하고 있는 것으로 추정할 수 있을 것이다. 이 경우에는, 대상 영역(12)을 제외한 나머지 화면 영역에 새로운 어플리케이션 GUI가 표시될 수 있다. 도 6의 하단에는 도시되지 않았으나, 대상 영역(12)이 제외된 영역인 시선 영역(11)에 인접한 좌측 또는 상측에 새로운 어플리케이션 GUI가 표시될 수 도 있을 것이다.
도 7은 본 발명의 다른 실시예에 따라 어플리케이션의 실행이 표시되는 위치를 선정하는 예시를 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 제1 표시 장치(1001)의 화면 영역(10)에는 문서 작업용 어플리케이션이 실행 중인 것을 확인할 수 있다. 이 경우, 상기 작업용 어플리케이션 화면 영역은 정보 입출력 영역인 제1 영역(13)과 정보 입출력 영역이 제외된 제2 영역(14)으로 구분될 수 있다. 기존에는, 사용자가 문서 작업 중에 새로운 어플리케이션을 실행하면 어플리케이션 GUI 가 임의의 위치에 표시되었다. 만약에, 실행된 어플리케이션 GUI가 제1 영역(13) 상 적어도 일부와 일치하는 위치에 표시된다면 사용자가 현재 진행 중인 문서 작업을 방해하게 될 것이다. 따라서, 본 실시예에서는 상기와 같은 방해를 방지하기 위하여 제2 영역(14)에 새로운 어플리케이션 GUI가 표시될 수 있도록 한다. 이는, 기 실행 중인 어플리케이션의 활성화 여부 및 제2 영역(14)의 위치 및 크기를 고려하여 표시될 수 있다.
일 실시예에서, 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 상기 화면 영역에 대하여 적어도 일부 영역에 포함되는 기 실행 중인 어플리케이션 표시 영역 중, 정보 입출력 영역이 제외된 영역을 판단한 결과에 따라 상기 어플리케이션의 실행을 표시하기 위한 위치로 결정하는 단계를 포함하고, 상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계는, 상기 정보 입출력 영역이 제외된 영역을 상기 새로운 위치로 하여 상기 어플리케이션 GUI를 표시하는 단계를 포함할 수 있다. 이에 따라, 정보 입출력 영역이 제외된 제2 영역(14)에서 크기가 조정된 새로운 어플리케이션 GUI가 실행되어 표시될 수 있다.
도 8은 본 발명의 또 다른 실시예에 따라 어플리케이션의 실행이 표시되는 위치를 선정하는 예시를 설명하기 위한 도면이다.
도 8에 도시된 바와 같이, 제1 표시 장치(1001)의 화면 영역에는 프리젠테이션 어플리케이션이 실행 중인 것을 확인할 수 있다. 도 8에는 도시되지 않았으나, 표시 장치가 단일 컴퓨팅 장치에 2개 이상이 연결된 듀얼 모니터인 경우, 사용자는 프리젠테이션 어플리케이션이 실행 중인 제1 표시 장치(1001)에 새로운 어플리케이션 GUI가 표시되는 것을 원하지 않을 것이다. 따라서, 상기 프리젠테이션 어플리케이션의 활성화 여부를 감지하여 제1 표시 장치(1001) 이외의 표시 장치에 새로운 어플리케이션 GUI가 표시되도록 위치를 보정할 수 있다.
유사한 예시로, 표시 장치 근처에 사용자가 없는 경우를 고려할 수 있다. 이때, 사용자가 표시 장치 근처에 부재한 것으로 판단되면, 새로운 어플리케이션 GUI가 표시될 필요가 없다.
일 실시예에서, 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 상기 컴퓨팅 장치에 탑재된 이미지 디바이스로부터 사용자가 센싱 되지 않은 경우, 상기 어플리케이션 GUI를 표시하지 않는 것으로 결정하는 단계를 포함하고, 상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계는, 상기 결정에 따라 상기 화면 영역에서 상기 어플리케이션의 실행을 위한 표시를 제한하는 단계를 포함할 수 있다.
다른 실시예에서, 상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 상기 화면 영역에서 상기 어플리케이션과 다른 기 실행 중인 어플리케이션의 속성에 따라 상기 어플리케이션의 실행을 표시하기 위한 영역에서 상기 화면 영역을 제한하는 단계를 포함하고, 상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계는, 상기 제한의 결과에 따라 상기 기 실행 중인 어플리케이션 GUI를 상기 어플리케이션 GUI 표시에 우선 순위를 부여하는 단계를 포함할 수 있다. 예를 들어, 기 실행 중인 어플리케이션에 높은 우선 순위가 부여되면, 새로운 어플리케이션이 실행되어도 새로운 어플리케이션 GUI가 표시되는 것을 방지할 수 있다.
도 9는 본 발명의 일 실시예에 따라 다중 화면에서 어플리케이션의 실행이 표시되는 위치를 선정하는 예시를 설명하기 위한 도면이다.
도 9의 상단에 도시된 바와 같이, 다중 화면 영역은 제1 표지 장치(1001) 및 제2 표시 장치(1002)에서 디스플레이 된다. 제2 표시 장치(1002)에 구비된 센싱 장치(101)를 통하여, 실제로 사용자(1)가 주시하고 있는 화면 영역이 제1 표시 장치(1001)의 화면 영역의 일부인 시선 영역(11)인 것으로 판단되면, 시선 영역(11)에서의 사용자 입력(102)을 감지한다. 상기 감지 결과에 따라, 제1 표시 장치(1001)의 화면 영역의 일부인 대상 영역(12)에 어플리케이션 GUI가 표시될 수 있다.
한편, 도 9의 하단에 도시된 바와 같이, 제2 표시 장치(1002)에 구비된 센싱 장치(101)를 통하여, 실제로 사용자(1)가 주시하고 있는 화면 영역 중 일부인 시선 영역(11)이 판단되었고, 제1 표시 장치(1001)의 화면 영역의 일부인 대상 영역(12)에는 기 실행 중인 어플리케이션 GUI가 실행 중인 것으로 가정한다(미도시). 이 때, 사용자(1)는 대상 영역(12)에 새로운 어플리케이션 GUI가 표시되지 않는 것을 원할 것이다. 동시에, 시선 영역(11)에 사용자 입력(102)이 감지된 경우(예를 들어, 마우스 조작 입력이 감지된 경우)에는 사용자(1)가 시선 영역(11)에서 작업을 예상하고 있는 것으로 추정할 수 있다. 이 경우에는, 대상 영역(12)을 제외한 나머지 화면 영역에 새로운 어플리케이션 GUI가 표시될 수 있다. 이 경우, 대상 영역(12)이 제외된 제1 표시 장치(1001)의 화면 영역에는 물론, 제2 표시 장치(1002)에 새로운 어플리케이션 GUI가 표시될 수 있을 것이다.
일 실시예에서, 어플리케이션 GUI의 최초 실행 영역의 위치를 획득하는 단계는, 표시 장치의 화면 영역은 적어도 제1 화면 영역 및 제2 화면 영역으로 구분되되, 상기 제1 화면 영역 및 상기 제2 화면 영역 중 어느 하나인 최초 실행 위치를 획득하는 단계를 포함하고, 상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는, 사용자 입력 장치로부터 수신된 조작 정보에 따른 상기 어플리케이션 GUI의 최초 실행 위치로부터 변경된 위치를 확인하고, 상기 컴퓨팅 장치에 탑재된 이미지 디바이스로부터 수신된 사용자의 얼굴 정보에 기초하여 상기 사용자의 시선이 상기 변경된 위치에 일치하는지 여부를 판단한 결과에 따라 보정하는 단계를 포함하고, 상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계는, 상기 변경된 위치를 새로운 위치로 하여 상기 어플리케이션 GUI를 표시하는 단계를 포함할 수 있다.
도 9에서 설명한 예시는 다중 화면이 필수적으로 구현되는 폴더블 스마트폰에서도 구현될 수 있다(미도시). 폴더블 스마트폰의 특성에 따른 추가적인 예시는 하기의 도 11를 참조하여 설명한다.
도 10은 본 발명의 일 실시예에 따라 모바일 화면에서 어플리케이션의 실행이 표시되는 위치를 선정하는 예시를 설명하기 위한 도면이다. 도시된 도 10의 화면 영역(10)을 분할된 2개의 영역으로 구분하였지만, 이는 설명의 편의를 위한 것이며 아래에서 설명되는 예시를 응용하여 적어도 2 이상의 영역으로 구분되어 어플리케이션 GUI를 표시할 수 있음에 유의한다.
도 10의 상단에 도시된 바와 같이, 스마트폰 표시 장치(1003)의 화면 영역(30)은 제1 영역(31)과 제2 영역(32)으로 구분될 수 있다. 스마트폰 표시 장치(1003)에 구비된 센싱 장치(101)를 통하여, 실제로 사용자(1)가 주시하고 있는 시선 영역이 제1 영역(31)인 것으로 판단하고, 제1 영역(31)에서 사용자(1)의 터치 입력이 자주 발생되는 것으로 감지되면, 제1 영역(31)에 새로운 어플리케이션 GUI(33)를 표시하여 사용자(1)가 작업을 바로 수행할 수 있도록 편의성을 제공할 수 있다.
한편, 도 10의 하단에 도시된 바와 같이, 실제로 사용자(1)가 주시하고 있는 시선 영역이 제1 영역(31)인 것으로 판단하고, 제1 영역(31)에서 기 실행 중인 어플리케이션이 표시되어 있거나, 터치 입력이 자주 발생하는 것으로 가정한다. 이 때, 사용자(1)는 제1 영역(31)을 통하여 작업을 수행하고 있으므로, 제1 영역(31)에 새로운 어플리케이션 GUI가 표시됨으로 작업에 방해를 받지 않길 원할 것이다. 따라서, 도 10의 상단의 경우와 달리, 제1 영역(31)이 아닌 제2 영역(32)에 새로운 어플리케이션 GUI(33)가 표시될 수 있다. 도 10에는 미도시 하였으나, 제1 영역(31)에 가상 키보드와 같은 가상 입력 인터페이스 실행을 위한 표시 영역이 감지된 경우, 사용자(1)의 입력을 방해되지 않도록 제2 영역(32)에 새로운 어플리케이션 GUI(33)가 자동으로 표시될 수 있다.
도 11은 본 발명의 일 실시예에 따라 폴더블 표시장치(1004)에서 어플리케이션의 실행이 표시되는 위치를 선정하는 예시를 설명하기 위한 도면이다.
도 11에 도시된 바와 같이 폴더블 표시 장치(1004)의 화면 영역은 제1 영역(41)과 제2 영역(42)으로 구분될 수 있다. 이 경우, 폴더블의 특성 상, 폴더블 표시 장치(1004)가 펼쳐진 경우에는 제1 영역(41) 및 제2 영역(42)이 동시에 사용자(1)에게 제공되고, 폴더블 표시 장치(1004)가 접힌 경우에는 제1 영역(41) 및 제2 영역(42) 중 적어도 어느 한 영역은 사용자(1)의 시야에서 벗어날 수 있다. 본 예시에서는 상술한 폴더블의 특성을 반영하여 새로운 어플리케이션 GUI를 표시하기 위한 것이다.
폴더블 표시 장치(1004)가 펼쳐진 경우에는 도 9를 참조하여 설명한 예시가 적용될 수 있을 것이다.
일 실시예에서, 폴더블 전자 장치에 의하여 수행되는 방법은, 적어도 하나의 제1 어플리케이션의 실행을 표시하기 위한 제1 표시 영역 및 적어도 하나의 제2 어플리케이션의 실행을 표시하기 위한 제2 표시 영역 중 사용자의 주시 대상이 되는 어느 하나의 표시 영역을 감지하는 단계와 상기 감지 결과에 따라 상기 어느 하나의 표시 영역이 제1 표시 영역인 것으로 판단된 경우, 상기 제2 어플리케이션을 상기 제1 표시 영역에 표시하는 단계를 포함할 수 있다. 이는, 적어도 2개 이상의 화면 영역으로 구분되는 폴더블 전자 장치의 디스플레이에서 사용자가 주시 중인 하나의 화면 영역으로 새로운 어플리케이션 GUI를 표시되도록 하기 위한 것이다.
다른 실시예에서, 상기 제2 어플리케이션을 상기 제1 표시 영역에 표시하는 단계는, 상기 제1 표시 영역에 상기 제1 어플리케이션이 실행 중인 것을 판단한 결과에 따라 상기 제1 표시 영역에 상기 제2 어플리케이션을 표시하는 단계를 포함할 수 있다. 이는, 사용자가 주시하지 않는 화면에서 디스플레이 될 수 있는 새로운 어플리케이션 GUI를 사용자가 주시하고 있는 화면 영역으로 표시되도록 하기 위한 것이다.
또 다른 실시예에서, 상기 제2 어플리케이션을 상기 제1 표시 영역에 표시하는 단계는, 상기 제1 표시 영역에 상기 제1 어플리케이션이 실행 중인 것을 판단한 결과에 따라, 상기 제1 표시 영역에 새로운 어플리케이션 GUI의 표시를 제한하는 단계를 포함할 수 있다. 이는, 사용자가 제1 표시 영역을 주시하고 있는 경우, 실행될 예정인 새로운 어플리케이션 GUI가 제1 표시 영역을 가리지 않도록 하기 위함이다.
또 다른 실시예에서, 사용자의 주시 대상이 되는 어느 하나의 표시 영역을 감지하는 단계는, 상기 폴더블 전자 장치가 폴딩 상태인 경우, 상기 제1 표시 영역 및 상기 제2 표시 영역 중 상기 사용자와 마주한 표시 영역을 구비된 센싱 장치를 통하여 감지할 수 있다. 이 때, 사용자와 마주한 표시 영역이 상기 제1 표시 영역이라면, 제2 표시 영역은 사용자의 시야에서 벗어난 표시 영역에 해당할 것이다. 이 경우, 기 실행 중 이거나 실행 예정인 제2 어플리케이션의 표시 위치를 상기 제2 표시 영역으로 이동할 수 있다.
한편, 폴더블 표시 장치(1004)가 접힌 경우를 가정한다. 이 경우, 제1 영역(41) 및 제2 영역(42) 중 적어도 어느 한 영역만이 사용자(1)가 볼 수 있는 화면 영역이 될 수 있다. 도 11에 도시된 바와 같이, 폴더블 표시 장치(1004)에 구비된 센싱 장치(101)를 통하여 사용자(1)가 주시하고 있는 화면 영역이 제1 영역(41)인 것으로 판단할 수 있다. 폴더블 표시 장치(1004)의 특성 상, 사용자(1)가 볼 수 있는 화면 영역은 배타적이므로, 사용자(1) 주시하고 있는 화면 영역을 판단하는 것은 비교적 간단하고 정확할 것이다. 제1 영역(41)이 시선 영역인 것으로 판단된 경우, 제1 영역(41)에서 실행 중인 어플리케이션의 속성에 따라 새로운 어플리케이션 GUI의 표시 영역을 결정할 수 있다. 예를 들어, 새롭게 실행될 어플리케이션이 사용자(1)가 실행 후에 바로 사용하지 않는 것인 어플리케이션인 경우, 제1 영역(41)에 배치할 필요가 없으므로, 이 경우, 제1 영역(41)에서 실행 중인 작업의 영속성을 보장하기 위하여, 제2 영역(42)에 새로운 어플리케이션 GUI가 표시될 수 있을 것이다.
도 11에는 도시되지 않았으나, 다음과 같은 경우를 가정할 수 있다. 폴더블 표시 장치(1004)의 폴딩 상태가 직각인 경우 또는 직각에 근접한 경우, 사용자(1)가 제1 영역(41) 및 제2 영역(42) 중 어느 한 영역만을 주시하고 있을 수 있다. 이 때, 주시하고 있는 영역을 판단함에 있어서, 폴더블 표시 장치(1004)에 구비된 다기능 센서(예: 중력 센서, 자이로 센서, 조도 센서, 근접 센서 등등) 등을 활용할 수 있을 것이다. 예를 들어, 상기 다기능 센서에 의하여 제1 영역(41)이 제2 영역(42)보다 지면에 더 수평에 가까운 것인 것으로 감지되면, 제1 영역(41)이 사용자(1) 실제로 주시하고 있는 화면 영역인 것으로 판단할 수 있을 것이다. 이에 따라, 새로운 어플리케이션 GUI를 제1 영역(41) 및 제2 영역(42) 중 어느 영역에 표시할 것인지 결정함에 있어서 참작 대상이 될 수 있다.
한편, 상술한 어플리케이션 GUI 표시의 위치를 선정하는 과정에 있어서, 화면 영역 중, 사용자가 주시하고 있는 시선 영역을 판단하는 것은 매우 중요하다. 이 때, 센싱 장치를 통하여 획득한 영상 데이터 등을 분석하여, 사용자의 시선을 쉽게 파악할 수 있으나, 사용자가 화면 영역 중 주시하고 있을 뿐만이 아니라 실제로 인지하고 있는 영역을 파악하기 위하여는 새로운 학습 방법이 필요하다. 또한, 사용자의 시선 영역은 짧은 시간 내에서도 이동될 수 있다. 아래에서 설명되는 몇몇 실시예에 따른 학습 방법은 언급한 문제점들을 해결하고, 사용자가 실제로 의도하거나 의도하지 않은 영역을 구분하기 위하여 사용자의 관심 영역을 판단하고자 한다.
도 12은 본 발명의 일 실시예에 따른 어플리케이션 실행 화면의 위치 선정 학습 방법의 순서도이다. 본 실시예에 대한 설명은 도 13을 함께 참조하여 설명하도록 한다.
표시 장치의 화면 영역 중 일부이고, 사용자(1)의 시선 방향과 일치하는 영역인 제1 표시 영역(110)을 확인하고(S202), 제1 표시 영역(110) 내에 적어도 하나의 어플리케이션 실행 여부를 판단한다(S204).
제1 표시 영역(110)에 적어도 하나의 어플리케이션이 실행되고 있는지 여부를 판단하고(S206), 상기 어플리케이션에 대한 사용자 조작 입력(102)이 감지되면(S208), 제1 표시 영역(110)을 사용자의 관심 영역으로 결정한다(S210). 이는, 사용자(1)의 시선과 일치하는 영역에서의 어플리케이션에 대한 활성화 여부와 사용자의 적극적인 조작 행위가 있는지 여부를 통하여 사용자(1)가 의도하고 있는 영역을 정확히 판단할 수 있다.
제1 표시 영역(110)에서 어플리케이션이 실행 중이지 않거나(S206), 실행 중이지만 상기 어플리케이션에 대한 사용자 조작 입력이 없다면(S208), 제1 표시 영역(110)은 사용자(1)의 관심 영역이 아닌 것으로 판단될 수 있다.
일 실시예에서, 상기 제1 표시 영역(10)을 사용자(1)의 관심 영역으로 결정하는 단계는, 적어도 하나의 어플리케이션에 대한 사용자 조작 입력이 감지된 경우 제1 표시 영역(110)을 사용자의 관심 영역으로 결정하는 단계를 포함할 수 있다.
도 14는 본 발명의 다른 실시예에 따른 어플리케이션 실행 화면의 위치 선정 학습 방법의 순서도이다. 본 실시예에 대한 설명은 도 15를 함께 참조하여 설명하도록 한다.
표시 장치의 화면 영역 중 일부이고, 사용자(1)의 시선 방향과 일치하지 않는 영역인 제2 표시 영역(120)을 확인하고(S222), 제2 표시 영역(120)에서 적어도 하나의 어플리케이션의 실행 여부를 판단한다(S224).
제2 표시 영역(120)에 적어도 하나의 어플리케이션이 실행되고 있는지 여부를 판단하고(S226), 사용자 조작 입력(120)의 방향이 제2 표시 영역(120)으로 향하는 것을 감지한다(S228). 이는, 가까운 장래에 사용자가 작업을 수행할 영역을 예측하기 위한 것이다.
제2 표시 영역(120)에 적어도 하나의 어플리케이션이 실행되고 있고, 제2 표시 영역(120)으로의 사용자의 조작 입력에 따른 이동이 감지된다면, 제2 표시 영역(120)을 사용자의 관심 영역으로 결정한다(S230).
만약에, 제2 표시 영역(120)에서 어플리케이션이 실행 중이지 않거나, 사용자의 조작 입력(102)이 전혀 감지되지 않았다면, 제2 표시 영역(120)을 사용자의 관심 영역이 아닌 것으로 판단할 수 있다(S232).
일 실시예에서, 상기 제2 표시 영역(120)을 사용자(1)의 관심 영역으로 결정하는 단계는, 사용자 입력 장치로부터 수신한 조작 정보에 기초하여 제2 표시 영역(120)을 사용자의 관심 영역으로 결정하는 단계를 포함하되, 상기 조작 정보는 상기 화면 영역 내의 이동 방향을 가리키는 것일 수 있다. 예를 들어, 제2 표시 영역(120)에 어플리케이션이 실행 중에 있고, 제2 표시 영역(120)향하여 마우스의 방향이 제2 표시 영역(120)을 향하고 있는 것으로 판단되면, 제2 표시 영역(120)을 사용자의 관심 영역으로 결정할 수 있다.
도 12 및 도 13를 참조하여 설명한 각각의 모든 단계는 일회에 걸쳐 수행되어 사용자의 관심 영역을 결정하는 것일 수 있으나, 각 단계가 반복되어 수행된 결과 사용자의 관심 영역의 패턴을 확인할 수 도 있다. 이에 따라, 짧은 시간에 사용자의 관심 영역을 정확히 판단할 수 있다.
지금까지 도 1 내지 도 15를 참조하여 설명된 본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (19)

  1. 컴퓨팅 장치에 의하여 수행되는 방법에 있어서,
    화면 영역에서 표시되는 어플리케이션 GUI(Graphical User Interface)의 최초 실행 영역의 위치를 획득하는 단계;
    상기 최초 실행 영역의 위치를 보정하기 위한 상황 정보를 수신하고, 상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계; 및
    상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계를 포함하되,
    상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는,
    상기 어플리케이션 GUI을 표시할 수 있는 화면 영역의 일부인 사용자의 시선 영역을 판단하는 단계;
    상기 시선 영역에서의 어플리케이션의 활성화 및 상기 어플리케이션에 대한 사용자 입력 중 적어도 하나를 감지하는 단계; 및
    상기 감지 결과에 따라, 상기 시선 영역을 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치로 결정하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
  2. 제1 항에 있어서,
    상기 상황 정보는,
    상기 컴퓨팅 장치에 탑재된 이미지 디바이스로부터 센싱 된 사용자 안면에 대한 정보, 사용자 입력 장치로부터 수신된 조작 정보 및 상기 컴퓨팅 장치에서 실행되고 있는 어플리케이션의 활성화 정보 중 적어도 어느 하나를 포함하는,
    어플리케이션의 실행 화면의 위치 선정 방법.
  3. 삭제
  4. 제1 항에 있어서,
    상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는,
    상기 화면 영역에서 실행 중인 적어도 하나의 어플리케이션 GUI의 실행 영역을 판단하는 단계; 및
    상기 화면 영역 중, 상기 실행 영역을 제외한 비 실행 영역을 상기 어플리케이션 GUI를 표시하기 위한 위치로 결정하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
  5. 제4 항에 있어서,
    상기 실행 영역을 제외한 비 실행 영역을 상기 어플리케이션 GUI를 표시하기 위한 위치로 결정하는 단계는,
    상기 화면 영역 중 일부 영역에 가상 입력 인터페이스의 실행을 위한 표시 영역이 감지된 경우, 상기 가상 입력 인터페이스의 실행을 위한 표시 영역을 제외한 영역을 상기 어플리케이션 GUI를 표시하기 위한 위치로 결정하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
  6. 제1 항에 있어서,
    상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는,
    사용자 입력 장치로부터 수신한 조작 정보에 기초하여, 상기 어플리케이션 GUI의 최초 실행 영역의 위치를 기준으로 변경된 위치를 판단하는 단계; 및
    상기 변경된 위치를 상기 어플리케이션 GUI를 표시하기 위한 위치로 결정하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
  7. 제1 항에 있어서,
    어플리케이션 GUI(Graphical User Interface)의 최초 실행 영역의 위치를 획득하는 단계는,
    상기 화면 영역은 적어도 제1 화면 영역 및 제2 화면 영역으로 구분되되, 상기 제1 화면 영역 및 상기 제2 화면 영역 중 어느 하나인 최초 실행 위치를 획득하는 단계를 포함하고,
    상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는,
    사용자 입력 장치로부터 수신된 조작 정보에 따른 상기 어플리케이션 GUI의 최초 실행 위치로부터 변경된 위치를 확인하고, 상기 컴퓨팅 장치에 탑재된 이미지 디바이스로부터 수신된 사용자의 얼굴 정보에 기초하여 상기 사용자의 시선이 상기 변경된 위치에 일치하는지 여부를 판단한 결과에 따라 보정하는 단계를 포함하고,
    상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계는,
    상기 변경된 위치를 새로운 위치로 하여 상기 어플리케이션 GUI를 표시하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
  8. 제1 항에 있어서,
    상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는,
    상기 화면 영역에 대하여 적어도 일부 영역에 포함되는 기 실행 중인 어플리케이션 표시 영역 중, 정보 입출력 영역이 제외된 영역을 판단한 결과에 따라 상기 어플리케이션의 실행을 표시하기 위한 위치로 결정하는 단계를 포함하고,
    상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계는,
    상기 정보 입출력 영역이 제외된 영역을 새로운 위치로 하여 상기 어플리케이션 GUI를 표시하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
  9. 제1 항에 있어서,
    상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는,
    상기 화면 영역에서 상기 어플리케이션과 다른 기 실행 중인 어플리케이션의 속성에 따라 상기 어플리케이션의 실행을 표시하기 위한 영역에서 상기 화면 영역을 제한하는 단계를 포함하고,
    상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계는,
    상기 제한의 결과에 따라 상기 기 실행 중인 어플리케이션 GUI를 상기 어플리케이션 GUI 표시에 우선 순위를 부여하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
  10. 제1 항에 있어서,
    상기 상황 정보에 기초하여 상기 어플리케이션 GUI를 표시하기 위한 영역의 위치를 보정하는 단계는,
    상기 컴퓨팅 장치에 탑재된 이미지 디바이스로부터 사용자가 센싱 되지 않은 경우, 상기 어플리케이션 GUI를 표시하지 않는 것으로 결정하는 단계를 포함하고,
    상기 보정 결과에 따른 영역 위치에 상기 어플리케이션 GUI를 사용자의 조작 입력과 무관하게 표시하는 단계는,
    상기 결정에 따라 상기 화면 영역에서 상기 어플리케이션의 실행을 위한 표시를 제한하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
  11. 표시 장치의 화면 영역 중 일부이고, 사용자의 시선 방향과 일치하는 영역인 제1 표시 영역을 확인하는 단계;
    상기 제1 표시 영역 내에 적어도 하나의 어플리케이션의 실행 여부를 판단하는 단계; 및
    상기 판단 결과에 따라 상기 제1 표시 영역에 상기 적어도 하나의 어플리케이션이 실행 중인 것으로 판단된 경우, 상기 제1 표시 영역을 상기 사용자의 관심 영역으로 결정하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 학습 방법
  12. 제11 항에 있어서,
    상기 제1 표시 영역을 상기 사용자의 관심 영역으로 결정하는 단계는,
    상기 적어도 하나의 어플리케이션에 대한 사용자 조작 입력이 감지된 경우 상기 제1 표시 영역을 사용자의 관심 영역으로 결정하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 학습 방법.
  13. 표시 장치의 화면 영역 중 일부이고, 사용자의 시선 방향과 일치하지 않는 영역인 제2 표시 영역을 확인하는 단계;
    상기 제2 표시 영역에서 적어도 하나의 어플리케이션의 실행 여부를 판단하는 단계; 및
    상기 판단 결과에 따라 상기 제2 표시 영역에서 상기 적어도 하나의 어플리케이션이 실행 중인 것으로 판단된 경우, 상기 제2 표시 영역을 상기 사용자의 관심 영역으로 결정하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 학습 방법.
  14. 제13 항에 있어서,
    상기 제2 표시 영역을 상기 사용자의 관심 영역으로 결정하는 단계는,
    사용자 입력 장치로부터 수신한 조작 정보에 기초하여 상기 제2 표시 영역을 사용자의 관심 영역으로 결정하는 단계를 포함하되, 상기 조작 정보는 상기 화면 영역 내의 이동 방향을 가리키는 것인,
    어플리케이션 실행 화면의 위치 선정 학습 방법.
  15. 폴더블 전자 장치에 의하여 수행되는 방법에 있어서,
    적어도 하나의 제1 어플리케이션의 실행을 표시하기 위한 제1 표시 영역 및 적어도 하나의 제2 어플리케이션의 실행을 표시하기 위한 제2 표시 영역 중 사용자의 주시 대상이 되는 어느 하나의 표시 영역을 감지하는 단계;
    상기 감지 결과에 따라 상기 어느 하나의 표시 영역이 제1 표시 영역인 것으로 판단된 경우, 상기 제2 어플리케이션을 상기 제1 표시 영역에 표시하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
  16. 제15 항에 있어서,
    상기 제2 어플리케이션을 상기 제1 표시 영역에 표시하는 단계는,
    상기 제1 표시 영역에 상기 제1 어플리케이션이 실행 중인 것을 판단한 결과에 따라 상기 제1 표시 영역에 상기 제2 어플리케이션을 표시하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
  17. 제15 항에 있어서,
    상기 제2 어플리케이션을 상기 제1 표시 영역에 표시하는 단계는,
    상기 제1 표시 영역에 상기 제1 어플리케이션이 실행 중인 것을 판단한 결과에 따라 상기 제1 표시 영역에 새로운 어플리케이션의 표시를 제한하는 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
  18. 제15 항에 있어서,
    사용자의 주시 대상이 되는 어느 하나의 표시 영역을 감지하는 단계는,
    상기 폴더블 전자 장치가 폴딩 상태인 경우, 상기 제1 표시 영역 및 상기 제2 표시 영역 중 상기 사용자와 마주한 표시 영역을 감지하되, 상기 마주한 표시 영역은 제1 표시 영역인, 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
  19. 제18 항에 있어서,
    상기 제2 어플리케이션을 상기 제1 표시 영역에 표시하는 단계는,
    상기 제2 어플리케이션의 표시 위치를 상기 제2 표시 영역으로 이동하되, 상기 제2 표시 영역은 상기 사용자의 시야에서 벗어난 것인, 단계를 포함하는,
    어플리케이션 실행 화면의 위치 선정 방법.
KR1020180061716A 2018-05-30 2018-05-30 어플리케이션 실행 화면의 위치 선정 방법 KR102496603B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180061716A KR102496603B1 (ko) 2018-05-30 2018-05-30 어플리케이션 실행 화면의 위치 선정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180061716A KR102496603B1 (ko) 2018-05-30 2018-05-30 어플리케이션 실행 화면의 위치 선정 방법

Publications (2)

Publication Number Publication Date
KR20190136264A KR20190136264A (ko) 2019-12-10
KR102496603B1 true KR102496603B1 (ko) 2023-02-03

Family

ID=69002631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180061716A KR102496603B1 (ko) 2018-05-30 2018-05-30 어플리케이션 실행 화면의 위치 선정 방법

Country Status (1)

Country Link
KR (1) KR102496603B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010116652A1 (ja) * 2009-03-30 2010-10-14 日本電気株式会社 アプリケーション配置表示ルール提供装置及び方法、ならびに、アプリケーション実行端末装置及びその表示方法
JP2013122529A (ja) 2011-12-12 2013-06-20 Sharp Corp 表示装置およびosd表示方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233560B1 (en) * 1998-12-16 2001-05-15 International Business Machines Corporation Method and apparatus for presenting proximal feedback in voice command systems
US9658687B2 (en) * 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays
KR20130106147A (ko) 2012-03-19 2013-09-27 (주)티아이스퀘어 터치스크린 디스플레이 장치에서 실행되는 어플리케이션의 배경화면을 제어하는 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010116652A1 (ja) * 2009-03-30 2010-10-14 日本電気株式会社 アプリケーション配置表示ルール提供装置及び方法、ならびに、アプリケーション実行端末装置及びその表示方法
JP2013122529A (ja) 2011-12-12 2013-06-20 Sharp Corp 表示装置およびosd表示方法

Also Published As

Publication number Publication date
KR20190136264A (ko) 2019-12-10

Similar Documents

Publication Publication Date Title
US11314804B2 (en) Information search method and device and computer readable recording medium thereof
KR102230708B1 (ko) 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
US10825456B2 (en) Method and apparatus for performing preset operation mode using voice recognition
KR102479491B1 (ko) 복수의 운영체제가 설치된 디바이스를 제어하는 방법 및 디바이스
US9436348B2 (en) Method and system for controlling movement of cursor in an electronic device
US10341834B2 (en) Mobile terminal and method for controlling the same
EP3872599A1 (en) Foldable device and method of controlling the same
KR20180134668A (ko) 이동 단말기 및 그 제어방법
US20140354553A1 (en) Automatically switching touch input modes
US20140362002A1 (en) Display control device, display control method, and computer program product
US10019148B2 (en) Method and apparatus for controlling virtual screen
EP2650797A2 (en) Electronic device and method for annotating data
EP2677413B1 (en) Method for improving touch recognition and electronic device thereof
KR102311268B1 (ko) 입력 필드의 이동 방법 및 장치
KR20180133138A (ko) 이동 단말기 및 그 제어 방법
KR102496603B1 (ko) 어플리케이션 실행 화면의 위치 선정 방법
KR101651011B1 (ko) 이동 단말기
KR20170078004A (ko) 사용자 장치, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102324946B1 (ko) 표시 영역 자동 분할 방법 및 장치
KR20190063803A (ko) 오브젝트 이미지 합성 방법 및 장치
KR101941463B1 (ko) 복수의 카드 오브젝트 출력 방법 및 장치
US20170031589A1 (en) Invisible touch target for a user interface button
US20210011622A1 (en) Touchscreen devices to transmit input selectively
KR20200091550A (ko) 이동 단말 및 그 제어 방법
KR20190026514A (ko) 리스트 상의 복수의 아이템을 선택하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant