KR20150054156A - 사용자 적응형 인터페이스 제공 시스템 및 방법 - Google Patents

사용자 적응형 인터페이스 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20150054156A
KR20150054156A KR1020130136217A KR20130136217A KR20150054156A KR 20150054156 A KR20150054156 A KR 20150054156A KR 1020130136217 A KR1020130136217 A KR 1020130136217A KR 20130136217 A KR20130136217 A KR 20130136217A KR 20150054156 A KR20150054156 A KR 20150054156A
Authority
KR
South Korea
Prior art keywords
user
interface
display
providing
image
Prior art date
Application number
KR1020130136217A
Other languages
English (en)
Other versions
KR101571096B1 (ko
Inventor
박기석
손태진
Original Assignee
주식회사 시공미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 시공미디어 filed Critical 주식회사 시공미디어
Priority to KR1020130136217A priority Critical patent/KR101571096B1/ko
Priority to JP2013240914A priority patent/JP5827298B2/ja
Priority to US14/090,562 priority patent/US20150135090A1/en
Publication of KR20150054156A publication Critical patent/KR20150054156A/ko
Application granted granted Critical
Publication of KR101571096B1 publication Critical patent/KR101571096B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자의 사용환경 분석을 통해 사용자에게 적합한 사용자 적응형 인터페이스를 제공하는 시스템 및 방법에 관한 것으로서, 인터페이스가 표시된 디스플레이에 내장되거나 장착된 카메라를 통해 사용자의 영상을 획득하고 획득한 영상을 통해 사용자의 물리적인 사용환경을 분석하며 분석결과에 따라 디스플레이에 표시되는 인터페이스를 설정, 변경하여 제공함으로써 대부분의 디스플레이에 구비되어 있는 카메라를 이용해 사용자 적응적인 인터페이스를 제공할 수 있도록 한다.

Description

사용자 적응형 인터페이스 제공 시스템 및 방법 {User Adaptive Interface Providing System and Method}
본 발명은 디스플레이를 통해 표시되는 사용자 인터페이스를 선택하고 제공하는 시스템 및 방법에 관한 것으로서, 구체적으로는 디스플레이를 이용하는 사용자의 사용환경 등에 기초하여 표시할 인터페이스를 선택하고 제공하는 사용자 적응형 인터페이스 제공 시스템 및 방법에 관한 것이다.
콘텐츠 또는 애플리케이션을 접하는 환경이 다양화·세분화되면서 제공되는 서비스의 조작 환경(UI/UX) 또한 다양한 환경에 노출되게 되어 하나의 서비스 화면이라고 하더라도 사용자의 사용환경에 따라 적절한 조작환경의 필요성이 더욱 요구되고 있다.
이러한 요구와 관련하여 사용자 환경에 적합하도록 인터페이스의 변화를 주는 방법으로서 반응형 인터페이스라는 형태로 제공되는 사용자 인터페이스 제공 방식이 있다. 하지만 종래의 반응형 인터페이스는 웹 브라우저라는 제한된 영역에서만 적용이 가능하고 디스플레이 장치가 제공하는 화면 해상도만을 기준으로 서비스 화면을 변경시키는 형태이기 때문에 실제의 조작환경을 온전히 반영하지 못하는 단점이 존재한다.
예컨대, 1024*768 해상도에 맞도록 고안된 UI를 50인치나 100인치의 대형 디스플레이 장비에서 실행할 경우 사용자는 지나치게 큰 버튼을 마주하게 되거나 사용할 수 없을 정도로 큰 화면을 마주하게 된다. 따라서 다양한 환경에서 실제 사용 환경에 맞게 조작환경이 변경되도록 하는 사용자 적응형 인터페이스 제공 방법이 요구된다고 할 것이다.
본 발명은 전술한 문제점을 해결하기 위하여, 디스플레이 자체에 내장된 또는 디스플레이에 장착된 카메라를 이용하여 사용자의 사용환경에 대한 정보를 획득하고 획득한 정보에 기초하여 디스플레이를 통해 표시되는 사용자 인터페이스를 설정 또는 변경 후 제공하는 사용자 적응형 인터페이스 제공 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명은 디스플레이를 이용하는 사용자에 대한 영상을 획득하는 카메라; 상기 영상에 기초하여 상기 디스플레이를 이용하는 상기 사용자의 물리적인 사용환경 또는 사용패턴을 분석하는 분석부; 및 상기 물리적인 사용환경 또는 상기 사용패턴에 기초하여 상기 디스플레이에 표시할 인터페이스를 선택하고 제공하는 인터페이스제공부를 포함하는 사용자 적응형 인터페이스 제공 시스템을 제공한다.
본 발명의 일면에 따르면, 상기 분석부는 상기 영상으로부터 상기 디스플레이와 상기 사용자 간의 거리, 상기 디스플레이에 대한 상기 사용자의 상대적인 위치를 분석하는 것인 사용자 적응형 인터페이스 제공 시스템을 제공한다.
본 발명의 다른 일면에 따르면, 상기 분석부는 상기 영상으로부터 상기 사용자의 움직임에 따른 상기 사용자의 이동방향 및 상기 디스플레이에 대한 상대적인 위치변화를 분석하는 것인 사용자 적응형 인터페이스 제공 시스템을 제공한다.
본 발명의 다른 일면에 따르면, 상기 인터페이스제공부는 상기 디스플레이의 크기에 기초하여 상기 인터페이스의 크기를 선택하고 제공하는 것인 사용자 적응형 인터페이스 제공 시스템을 제공한다.
본 발명의 다른 일면에 따르면, 상기 인터페이스제공부는 상기 디스플레이에 대한 상기 사용자의 상대적인 위치에 기초하여 상기 인터페이스의 위치를 선택하고 제공하는 것인 사용자 적응형 인터페이스 제공 시스템을 제공한다.
본 발명의 다른 일면에 따르면, 상기 인터페이스제공부는 상기 사용자의 움직임에 따라 상기 디스플레이에 표시된 인터페이스의 위치를 변경하는 것인 사용자 적응형 인터페이스 제공 시스템을 제공한다.
본 발명의 다른 일면에 따르면, 상기 인터페이스제공부는 상기 사용자의 사용패턴에 따라 상기 인터페이스의 종류를 선택하고 제공하는 것인 사용자 적응형 인터페이스 제공 시스템을 제공한다.
본 발명의 다른 일면에 따르면, 상기 카메라는 상기 디스플레이에 내장되거나 상기 디스플레이에 장착된 것을 특징으로 하는 것인 사용자 적응형 인터페이스 제공 시스템을 제공한다.
한편 본 발명은 디스플레이를 이용하는 사용자에 대한 영상을 획득하는 단계; 상기 영상으로부터 상기 디스플레이를 이용하는 사용자의 물리적인 사용환경 또는 사용패턴을 분석하는 단계; 및 상기 물리적인 사용환경 및 상기 사용패턴 중 적어도 하나에 기초하여 상기 디스플레이에 표시될 인터페이스를 선택하고 제공하는 단계를 포함하는 사용자 적응형 인터페이스 제공 방법으로 이용될 수도 있다.
본 발명은 디스플레이에 내장된 또는 장착된 카메라를 이용해 사용자의 사용환경을 분석하고 분석된 결과에 따라 사용자가 용이하게 조작할 수 있도록 사용자 인터페이스를 조절해줌으로써 다양한 환경에서 사용자의 사용환경에 적합한 인터페이스를 제공할 수 있게 한다.
도 1은 본 발명의 일실시예에 따른 사용자 적응형 인터페이스 제공 시스템의 구조를 나타낸 블록도.
도 2는 본 발명의 일실시예에 따른 사용자 적응형 인터페이스 제공 방법의 과정을 나타낸 흐름도.
도 3 내지 도 14는 본 발명의 일실시예에 따른 사용자 적응형 인터페이스 제공 시스템이 사용자 적응형 인터페이스를 제공하는 예시를 나타낸 도면.
도 15와 도 16은 본 발명의 일실시예에 따른 사용자 적응형 인터페이스 제공 시스템이 디스플레이의 크기를 측정하는 방식을 설명하기 위한 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가함을 배제하지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 사용자 적응형 인터페이스 제공 시스템의 구조를 나타낸 블록도이다.
본 발명의 일실시예에 따른 사용자 적응형 인터페이스 제공 시스템은 카메라(100), 분석부(110) 및 인터페이스제공부(120)를 포함한다.
본 발명은 디스플레이에 내장된 또는 장착된 카메라(100)를 이용하여 사용자의 사용환경을 분석하고 분석결과에 따른 사용자 인터페이스를 제공하는 점에 특징이 있는 발명으로서, 카메라(100)는 디스플레이에 내장된 것을 기본으로 하나 디스플레이 자체에 내장되지 않고 디스플레이에 연결되어 사용되는 것일 수도 있다.
카메라(100)는 디스플레이가 사용상태가 되면 디스플레이를 이용하는 사용자에 대한 영상을 획득한다. 카메라(100)는 획득한 영상을 분석부(110)로 전달한다.
분석부(110)는 카메라(100)가 획득한 영상을 분석하여 디스플레이를 이용하는 사용자의 물리적인 사용환경 또는 사용패턴을 분석한다. 분석부(110)는 카메라(100)로부터 영상을 전달받으며 지속적으로 사용환경 등을 분석할 수도 있고, 최초 사용환경을 분석한 후 영상 내 사용자의 위치 등 사용환경이 변경됨이 감지된 경우에만 사용환경 등을 분석할 수도 있다.
분석부(110)는 카메라(100)로부터 전달받은 영상으로부터 디스플레이와 사용자 간의 거리, 디스플레이를 이용하는 사용자의 디스플레이에 대한 상대적인 위치, 디스플레이를 이용하는 사용자의 위치가 변경되는 경우 사용자의 움직임에 따른 사용자의 이동방향, 사용자의 상대적인 위치 변화 등을 분석한다.
분석부(110)는 카메라(100)로부터 전달받은 영상으로부터 분석한 사용자의 물리적인 사용환경 또는 사용패턴에 대한 정보를 인터페이스제공부(120)로 전달한다.
인터페이스제공부(120)는 분석부(110)로부터 전달받은 사용자의 물리적인 사용환경 또는 사용패턴에 대한 분석결과에 기초하여 디스플레이에 표시할 인터페이스를 선택하고 제공한다. 또한 인터페이스제공부(120)는 사용자의 사용환경 등이 변화함에 따라 이미 표시된 인터페이스를 조정하여 새로운 인터페이스를 제공할 수도 있다.
인터페이스제공부(120)는 사용환경 등에 기초하여 표시할 인터페이스를 선택한다.
예컨대, 디스플레이의 크기에 기초하여 디스플레이에 표시할 인터페이스의 크기를 선택하고 제공할 수 있고, 디스플레이와 사용자 간의 거리 및 디스플레이에 대한 사용자의 상대적인 위치 등에 기초하여 인터페이스의 위치를 선택하고 제공할 수도 있으며, 디스플레이를 이용하는 사용자의 사용패턴에 기초하여 표시할 인터페이스의 종류를 선택하고 제공할 수도 있다.
인터페이스제공부(120)가 제공하는 사용자 인터페이스에 대한 구체적인 실시예는 도 3 내지 도 14를 통해 후술한다.
도 2는 본 발명의 일실시예에 따른 사용자 적응형 인터페이스 제공 방법의 과정을 나타낸 흐름도이다.
사용자 적응형 인터페이스 제공 시스템은 인터페이스를 표시할 디스플레이에 내장된 또는 장착된 카메라를 통해 디스플레이를 이용하는 사용자의 영상을 획득한다(S200). 획득한 영상으로부터 디스플레이를 이용하는 사용자의 물리적인 사용환경 또는 사용패턴 등을 분석한다(S220). 분석 결과에 기초하여 사용환경에 적합한 인터페이스를 선택하고 제공한다(S240).
예컨대, 디스플레이의 크기에 기초하여 인터페이스의 크기를 선택하여 제공하거나 디스플레이와 사용자 간의 거리, 디스플레이에 대한 사용자의 상대적인 위치 등에 기초하여 인터페이스의 위치를 선택하여 제공하거나 사용패턴에 기초하여 인터페이스의 종류를 선택하여 제공할 수 있다.
또한 인터페이스를 제공한 이후에도 사용자의 움직임에 따른 사용자의 위치변화를 감지하고(S260), 사용자의 위치(대형 스크린의 경우 사용자의 위치, 태블릿과 같은 디스플레이인 경우 사용자의 손가락의 위치 등)가 변경된 것이 감지되면 사용자의 위치에 따라 인터페이스의 위치를 조정하여 제공한다(S280).
도 3 내지 도 14는 본 발명인 사용자 적응형 인터페이스 제공 시스템에 따른 실시예를 나타낸 것이다.
도 3 내지 도 6은 본 발명의 일실시예에 따른 사용자 적응형 인터페이스 제공 시스템의 일반적인 실시예를 나타낸 것이다.
도 3에 도시된 바와 같이 디스플레이에 내장되거나 장착된 카메라가 사용자에 대한 영상을 획득한다. 도 4는 카메라를 통해 획득한 영상의 예시를 나타낸 것으로 카메라를 통해 획득한 영상은 물리적인 사용자의 환경에 따라 사용자와 카메라와의 거리, 위치, 현재 상황 등을 보여주는 지표가 된다.
도 5는 사용환경에 따라 적합한 인터페이스를 제공하는 예시를 나타낸 것으로서, 표준 크기의 디스플레이(예컨대, PC 모니터)에 적합한 상태로 생성된 인터페이스가 작은 크기의 디스플레이(예컨대, 태블릿 PC)나 큰 크기의 디스플레이(예컨대, 전자칠판)에 표시되는 경우 인터페이스의 크기를 조정하여 나타낸 것이다. 즉, 표준 크기의 디스플레이 해상도에 적합한 인터페이스가 큰 크기의 디스플레이에 그대로 표시되면 지나치게 큰 인터페이스가 제공되게 되므로 디스플레이의 크기에 적합하여 인터페이스의 크기를 조정하여 표시하는 것이다.
도 6은 사용자의 현재 위치와 상황에 따라 접근성이 좋은 상태로 조작환경을 지속적으로 재구성하는 예를 나타낸 것이다.
카메라를 통해 획득한 영상을 지속적으로 분석하여 사용자의 위치 또는 디스플레이와의 거리 등이 변경되면 이미 표시된 인터페이스의 위치를 변경하여 제공함으로써 사용자는 어떠한 사용환경에서도 접근이 용이한 인터페이스를 제공받게 한다.
도 7 내지 도 10은 큰 크기의 디스플레이에 인터페이스를 표시하는 경우의 실시예를 나타낸 것이다.
도 7에 도시된 바와 같이 작은 크기의 디스플레이에 최적화된 인터페이스를 그대로 표시하면 지나치게 크게 되므로 도 8에 도시된 것처럼 인터페이스의 크기, 위치 등을 조절하여 표시한다. 그리고 도 9에 도시된 바와 같이 사용자의 위치가 변경된 것이 카메라를 통해 감지되면 도 10에 도시된 바와 같이 인터페이스의 위치를 조정하여 사용자의 편의성을 극대화하면서 사용환경에 적합한 인터페이스를 제공한다.
도 11 내지 도 14는 작은 크기의 디스플레이에 인터페이스를 표시하는 경우의 실시예를 나타낸 것이다.
도 11에 도시된 바와 같이 화면의 크기가 작은 경우 큰 크기의 디스플레이에 최적화된 조작환경은 조작하기 작고 접근하기 불편하므로 도 12에 도시된 바와 같이 디스플레이의 카메라를 통해 분석한 사용환경을 토대로 사용자가 조작하기 적절한 크기와 위치로 조작환경을 구성하여 제공함으로써 사용자의 편의를 극대화한다.
또한 도 13과 도 14에 도시된 바와 같이, 셀프카메라 촬영과 같이 사용자가 특정 동작을 하는 경우 대부분의 촬영 버튼이 가운데에 위치하여 조작하기 어려운 면이 존재하므로, 특정 상황인 경우 이를 분석하여(예컨대, 손가락의 위치 등) 조작환경을 변화시켜 사용자에게 편리한 인터페이스를 제공할 수도 있다.
도 15와 도 16은 본 발명의 일실시예에 따른 사용자 적응형 인터페이스 제공 시스템이 사용자의 사용환경을 분석함에 있어서, 디스플레이의 실제 화면 크기를 특정하는 방법을 나타낸 것이다.
도 15는 화면 터치 기능이 있는 경우를 나타낸 것으로서, 전체 화면 상태에서 두 개의 점을 화면에 띄우고 검지와 중지로 두 점을 터치하도록 한다. 두 점의 움직임에 따라 검지와 중지를 움직이게 하여 두 점은 양쪽으로 벌어지며 두 손가락이 최대한 벌어지도록 유도한다.
이때 성인을 기준으로 이 두 손가락의 평균적인 거리를 90mm내외이므로 이를 기준으로 화면의 실제 가로 크기를 계산한다. 이때 화면의 실제 비율과 화면에 표현된 해상도의 비율이 다른 것을 감안하여 수직 높이를 다시 측정해야 하므로 가로 크기 측정 후 두 점이 원래의 거리로 좁아지면서 수직이 되도록 회전한다. 수직이 된 상태에서 다시 두 점을 상하로 벌여 두 손가락이 최대한 벌어지도록 유도하고 이를 바탕으로 실제 세로 크기를 계산한다.
도 16은 화면 터치가 없고 외장 카메라 장치가 있는 경우를 나타낸 것으로서, 전체화면 상태에서 일정한 크기(pixel)의 기준 이미지를 화면 가운데에 띄운다(예컨대, 검은색 500×500 픽셀의 정사각 이미지). 기준 거리에서 디스플레이를 수평, 수직을 맞춰 촬영한다. 촬영된 화상의 해상도와 실제 해상도 간의 오차를 계산하여 촬영시 왜곡된 이미지의 보정 계수로 사용한다.
이때 촬영으로 검출된 화면 해상도는 촬영된 화상에서의 스크린 크기/촬영된 화상에서의 기준 이미지 크기*실제 기준 이미지 크기가 되고, 보정계수는 촬영으로 검출된 화면 해상도/실제 화면 해상도가 된다.
촬영된 이미지는 메타 정보를 제공하며 메타 정보를 통해 실제 초점거리와 35mm 필름 초점거리를 알 수 있고 이를 통해 실제 크기를 알아낼 수 있다.
촬영 거리(기준 거리)/초점거리*센서 크기*(촬영된 스크린 크기/이미지 전체 크기*보정계수)
촬영 거리(기준 거리)/35mm 필름 환산 초점거리*필름 크기(가로 36, 세로 24mm)*(촬영된 스크린 크기/이미지 전체 크기*보정 계수)
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (16)

  1. 디스플레이를 이용하는 사용자에 대한 영상을 획득하는 카메라;
    상기 영상에 기초하여 상기 디스플레이를 이용하는 상기 사용자의 물리적인 사용환경 또는 사용패턴을 분석하는 분석부; 및
    상기 물리적인 사용환경 또는 상기 사용패턴에 기초하여 상기 디스플레이에 표시할 인터페이스를 선택하고 제공하는 인터페이스제공부
    를 포함하는 사용자 적응형 인터페이스 제공 시스템.
  2. 제1항에 있어서, 상기 분석부는
    상기 영상으로부터 상기 디스플레이와 상기 사용자 간의 거리, 상기 디스플레이에 대한 상기 사용자의 상대적인 위치를 분석하는 것
    인 사용자 적응형 인터페이스 제공 시스템.
  3. 제1항에 있어서, 상기 분석부는
    상기 영상으로부터 상기 사용자의 움직임에 따른 상기 사용자의 이동방향 및 상기 디스플레이에 대한 상대적인 위치변화를 분석하는 것
    인 사용자 적응형 인터페이스 제공 시스템.
  4. 제1항에 있어서, 상기 인터페이스제공부는
    상기 디스플레이의 크기에 기초하여 상기 인터페이스의 크기를 선택하고 제공하는 것
    인 사용자 적응형 인터페이스 제공 시스템.
  5. 제1항에 있어서, 상기 인터페이스제공부는
    상기 디스플레이에 대한 상기 사용자의 상대적인 위치에 기초하여 상기 인터페이스의 위치를 선택하고 제공하는 것
    인 사용자 적응형 인터페이스 제공 시스템.
  6. 제1항에 있어서, 상기 인터페이스제공부는
    상기 사용자의 움직임에 따라 상기 디스플레이에 표시된 인터페이스의 위치를 변경하는 것
    인 사용자 적응형 인터페이스 제공 시스템.
  7. 제1항에 있어서, 상기 인터페이스제공부는
    상기 사용자의 사용패턴에 따라 상기 인터페이스의 종류를 선택하고 제공하는 것
    인 사용자 적응형 인터페이스 제공 시스템.
  8. 제1항에 있어서,
    상기 카메라는 상기 디스플레이에 내장된 또는 장착된 것을 특징으로 하는 것
    인 사용자 적응형 인터페이스 제공 시스템.
  9. 디스플레이를 이용하는 사용자에 대한 영상을 획득하는 단계;
    상기 영상으로부터 상기 디스플레이를 이용하는 사용자의 물리적인 사용환경 또는 사용패턴을 분석하는 단계; 및
    상기 물리적인 사용환경 및 상기 사용패턴 중 적어도 하나에 기초하여 상기 디스플레이에 표시될 인터페이스를 선택하고 제공하는 단계
    를 포함하는 사용자 적응형 인터페이스 제공 방법.
  10. 제9항에 있어서, 상기 디스플레이를 이용하는 사용자에 대한 영상을 획득하는 단계는
    상기 디스플레이에 내장된 또는 장착된 카메라를 이용하여 상기 사용자에 대한 영상을 획득하는 것
    인 사용자 적응형 인터페이스 제공 방법.
  11. 제9항에 있어서, 상기 사용자의 물리적인 사용환경 또는 사용패턴을 분석하는 단계는
    상기 영상으로부터 상기 디스플레이와 상기 사용자 간의 거리 및 상기 디스플레이에 대한 상기 사용자의 상대적인 위치 중 적어도 하나를 분석하는 것
    인 사용자 적응형 인터페이스 제공 방법.
  12. 제9항에 있어서, 상기 사용자의 물리적인 사용환경 또는 사용패턴을 분석하는 단계는
    상기 영상으로부터 상기 디스플레이에 대한 상기 사용자의 상대적인 위치의 변화를 분석하는 것
    인 사용자 적응형 인터페이스 제공 방법.
  13. 제9항에 있어서, 상기 인터페이스를 선택하고 제공하는 단계는
    상기 디스플레이의 크기에 기초하여 상기 인터페이스의 크기를 선택하고 제공하는 것
    인 사용자 적응형 인터페이스 제공 방법.
  14. 제9항에 있어서, 상기 인터페이스를 선택하고 제공하는 단계는
    상기 디스플레이에 대한 상기 사용자의 상대적인 위치에 기초하여 상기 인터페이스의 위치를 선택하고 제공하는 것
    인 사용자 적응형 인터페이스 제공 방법.
  15. 제9항에 있어서, 상기 인터페이스를 선택하고 제공하는 단계는
    상기 영상으로부터 획득한 상기 사용자의 사용패턴에 기초하여 상기 인터페이스의 종류를 선택하고 제공하는 것
    인 사용자 적응형 인터페이스 제공 방법.
  16. 제9항에 있어서, 상기 인터페이스를 선택하고 제공하는 단계는
    상기 사용자의 움직임에 따라 상기 인터페이스의 위치를 지속적으로 변경하는 것
    인 사용자 적응형 인터페이스 제공 방법.
KR1020130136217A 2013-11-11 2013-11-11 사용자 적응형 인터페이스 제공 시스템 및 방법 KR101571096B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130136217A KR101571096B1 (ko) 2013-11-11 2013-11-11 사용자 적응형 인터페이스 제공 시스템 및 방법
JP2013240914A JP5827298B2 (ja) 2013-11-11 2013-11-21 ユーザ適応型インターフェース提供システム及び方法
US14/090,562 US20150135090A1 (en) 2013-11-11 2013-11-26 User adaptive interface providing system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130136217A KR101571096B1 (ko) 2013-11-11 2013-11-11 사용자 적응형 인터페이스 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150054156A true KR20150054156A (ko) 2015-05-20
KR101571096B1 KR101571096B1 (ko) 2015-11-23

Family

ID=53044932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130136217A KR101571096B1 (ko) 2013-11-11 2013-11-11 사용자 적응형 인터페이스 제공 시스템 및 방법

Country Status (3)

Country Link
US (1) US20150135090A1 (ko)
JP (1) JP5827298B2 (ko)
KR (1) KR101571096B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017078356A1 (ko) * 2015-11-02 2017-05-11 삼성전자 주식회사 디스플레이 장치 및 그의 영상 표시 방법
WO2020190001A1 (ko) * 2019-03-20 2020-09-24 삼성전자 주식회사 사용자의 움직임에 기반하여 객체의 속성을 제어하는 전자 장치 및 그 제어 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101747407B1 (ko) * 2016-02-29 2017-06-14 경희대학교 산학협력단 사용자 경험 측정에 기반한 적응형 사용자 인터페이스를 제공하는 시스템 및 그 방법
CN108984058A (zh) * 2018-03-30 2018-12-11 斑马网络技术有限公司 车载显示屏的分区显示适配系统及其应用
JP7271909B2 (ja) * 2018-11-09 2023-05-12 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
KR20210056563A (ko) * 2019-11-11 2021-05-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292975A (ja) * 2004-03-31 2005-10-20 Alpine Electronics Inc ボタン処理方法及びデータ処理装置
US8466893B2 (en) * 2004-06-17 2013-06-18 Adrea, LLC Use of a two finger input on touch screens
US8209635B2 (en) * 2007-12-20 2012-06-26 Sony Mobile Communications Ab System and method for dynamically changing a display
JP2009193323A (ja) * 2008-02-14 2009-08-27 Sharp Corp 表示装置
US9256342B2 (en) * 2008-04-10 2016-02-09 Perceptive Pixel, Inc. Methods of interfacing with multi-input devices and multi-input display systems employing interfacing techniques
JP5258399B2 (ja) * 2008-06-06 2013-08-07 キヤノン株式会社 画像投影装置及びその制御方法
JP2010278967A (ja) * 2009-06-01 2010-12-09 Mitsubishi Electric Corp 画面表示変換装置
JP5133318B2 (ja) * 2009-09-25 2013-01-30 シャープ株式会社 表示制御装置、表示制御方法、表示制御システム、表示制御プログラム、および記録媒体
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
WO2012040827A2 (en) * 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US20150070263A1 (en) * 2013-09-09 2015-03-12 Microsoft Corporation Dynamic Displays Based On User Interaction States

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017078356A1 (ko) * 2015-11-02 2017-05-11 삼성전자 주식회사 디스플레이 장치 및 그의 영상 표시 방법
US10467933B2 (en) 2015-11-02 2019-11-05 Samsung Electronics Co., Ltd. Display device and image displaying method therefor
WO2020190001A1 (ko) * 2019-03-20 2020-09-24 삼성전자 주식회사 사용자의 움직임에 기반하여 객체의 속성을 제어하는 전자 장치 및 그 제어 방법
US11989337B2 (en) 2019-03-20 2024-05-21 Samsung Electronics Co., Ltd. Electronic device controlling attribute of object on basis of user's motion, and control method therefor

Also Published As

Publication number Publication date
JP2015132865A (ja) 2015-07-23
JP5827298B2 (ja) 2015-12-02
KR101571096B1 (ko) 2015-11-23
US20150135090A1 (en) 2015-05-14

Similar Documents

Publication Publication Date Title
KR101571096B1 (ko) 사용자 적응형 인터페이스 제공 시스템 및 방법
US8350896B2 (en) Terminal apparatus, display control method, and display control program
CN107368239B (zh) 一种屏幕显示参数调整方法及电子设备
JP5434997B2 (ja) 画像表示装置
JP4820285B2 (ja) 自動位置合わせタッチシステムおよび方法
US10203594B2 (en) Projector
US8953048B2 (en) Information processing apparatus and control method thereof
CN108091288B (zh) 显示屏均匀性的测试方法、终端及计算机可读存储介质
KR20070037773A (ko) 표시기기에서 사용자 명령 입력 장치 및 방법
CN107490365B (zh) 尺寸度量器中的场景变化检测
US9544556B2 (en) Projection control apparatus and projection control method
JP5974189B2 (ja) 投写型映像表示装置及び投写型映像表示方法
JP2006244329A (ja) 携帯端末および情報処理装置、システム
JP6527386B2 (ja) 指針値読取装置および指針値読取プログラム
JP6079695B2 (ja) 画像表示撮影システム、撮影装置、表示装置、画像の表示および撮影の方法、およびコンピュータープログラム
KR20140142441A (ko) 전자 장치 및 전자 장치의 3차원 모델링을 위한 촬영방법
US20150253932A1 (en) Information processing apparatus, information processing system and information processing method
KR100844129B1 (ko) 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체
US10079973B2 (en) Imaging device operation device, operation method, and program
JP2015171116A (ja) カメラの表示装置
JP6349886B2 (ja) 画像投射装置、画像投射装置の制御方法、および画像投射装置の制御プログラム
US10403002B2 (en) Method and system for transforming between physical images and virtual images
KR101204868B1 (ko) 프로젝션 및 가상 입력 겸용의 프로젝터 및 데이터 입력 방법
JP2017032870A (ja) 画像投影装置及び画像表示システム
CN103634510A (zh) 照相装置和镜

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180919

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190927

Year of fee payment: 5