KR20140102952A - 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치 - Google Patents

스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치 Download PDF

Info

Publication number
KR20140102952A
KR20140102952A KR1020130016505A KR20130016505A KR20140102952A KR 20140102952 A KR20140102952 A KR 20140102952A KR 1020130016505 A KR1020130016505 A KR 1020130016505A KR 20130016505 A KR20130016505 A KR 20130016505A KR 20140102952 A KR20140102952 A KR 20140102952A
Authority
KR
South Korea
Prior art keywords
screen
focusing area
user
input
contents
Prior art date
Application number
KR1020130016505A
Other languages
English (en)
Inventor
정문식
최성도
이반 코르야코브스키
아린 점파수트
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130016505A priority Critical patent/KR20140102952A/ko
Publication of KR20140102952A publication Critical patent/KR20140102952A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

스크린을 통해 표시되는 컨텐츠를 용이하게 제어하는 방법 및 이를 위한 디스플레이 장치를 제공한다. 본 발명에 따른 디스플레이 장치가 스크린을 통해 표시되는 컨텐츠를 제어하는 방법은, 스크린에 컨텐츠들이 표시되면, 카메라 모듈을 이용하여 사용자에 대한 눈(eye) 이미지를 생성하는 과정과, 상기 눈 이미지를 이용하여 상기 스크린 상에서의 상기 사용자의 응시 지점을 결정하는 과정과, 상기 응시 지점에 대응하는 상기 스크린 상에서의 좌표를 결정하는 과정과, 상기 컨텐츠들 중 상기 좌표에 대응하는 컨테츠를 포커싱 영역으로 결정하는 과정을 포함한다.

Description

스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치{METHOD FOR CONTROLLING CONTENTS DISPLYED ON TOUCH SCREEN AND DISPLAY APPARATUS THEREFOR}
본 발명은 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치에 관한 것으로서, 특히 발명의 목적은 컨텐츠를 선택하거나 또는 컨텐츠 내에서의 선택 영역의 확대 또는 축소를 용이하게 함으로써 사용자로 하여금 컨텐츠를 용이하게 제어할 수 있도록 하는, 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치에 관한 것이다.
최근 모바일 단말기 보급률의 급속한 증가로 모바일 단말기는 현대인의 생활 필수품으로 자리매김하게 되었다. 이와 같은 모바일 단말기는 고유의 음성 통화 서비스뿐만 아니라 각종 데이터 전송 서비스와 다양한 부가 서비스도 제공할 수 있게 되어 기능상 멀티미디어 통신기기로 변모하고 있다. 특히나 최근에는 사용자가 직접 표시되고 있는 화면을 보면서 특정 컨텐츠를 선택할 수 있는 터치스크린 등의 스크린 기반의 모바일 단말기가 사용자들에게 선호되고 있다.
사용자는 예를 들어 터치스크린의 표면을, 손가락을 이용하여 압압함으로써 상기 터치스크린을 통해 표시되는 다수의 컨텐츠들(예를 들어, 아이콘들) 중 어느 하나를 선택하거나 또는 하나의 컨텐츠 중에서도 특정 부분을 선택할 수 있다. 그러나 손가락을 이용한 터치입력으로는 컨텐츠를 선택하거나 또는 컨텐츠에서의 선택 영역의 확대 또는 축소가 용이하지 않다. 또한 사용자가 핀치(pinch) 등의 손가락을 이용한 스크린를 제어하고자 하는 경우, 사용자는 손가락을 컨텐츠의 위치에 접촉시킨 후 확대 또는 축소를 위한 동작을 수행해야 한다. 그러나 스크린의 화면 사이즈 및 컨텐츠의 사이즈가 작으면 사용자가 손가락을 이용하여 상기 컨텐츠를 선택하는데 어려움이 따른다.
따라서 본 발명의 목적은 컨텐츠를 선택하거나 또는 컨텐츠 내에서의 선택 영역의 확대 또는 축소를 용이하게 함으로써 사용자로 하여금 컨텐츠를 용이하게 제어할 수 있도록 하는, 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치를 제공함에 있다.
본 발명의 일 실시예에 따른 디스플레이 장치가 스크린을 통해 표시되는 컨텐츠를 제어하는 방법은, 스크린에 컨텐츠들이 표시되면, 카메라 모듈을 이용하여 사용자에 대한 눈(eye) 이미지를 생성하는 과정과, 상기 눈 이미지를 이용하여 상기 스크린 상에서의 상기 사용자의 응시 지점을 결정하는 과정과, 상기 응시 지점에 대응하는 상기 스크린 상에서의 좌표를 결정하는 과정과, 상기 컨텐츠들 중 상기 좌표에 대응하는 컨테츠를 포커싱 영역으로 결정하는 과정을 포함한다.
본 발명의 일 실시예에 따른 스크린을 통해 표시되는 컨텐츠를 제어하는 디스플레이 장치는, 스크린과, 상기 스크린에 컨텐츠들이 표시되면, 사용자의 눈(eye)을 촬영하여 눈 이미지를 생성하는 카메라 모듈과, 상기 눈 이미지를 이용하여 상기 스크린 상에서의 상기 사용자의 응시 지점을 결정하고, 상기 응시 지점에 대응하는 상기 스크린 상에서의 좌표를 결정하며, 상기 컨텐츠들 중 상기 좌표에 대응하는 컨테츠를 포커싱 영역으로 결정하는 제어부를 포함한다.
본 발명에 따르면, 컨텐츠를 선택하거나 또는 컨텐츠 내에서의 선택 영역의 확대 또는 축소를 용이하게 함으로써 사용자로 하여금 컨텐츠를 용이하게 제어할 수 있도록 하는, 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치를 제공한다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 나타낸 블록도,
도 2는 도 1에 도시된 디스플레이 장치가 스크린을 통해 표시되는 컨텐츠를 제어하는 방법을 나타낸 순서도,
도 3a 및 도 3b는 도 1에 도시된 디스플레이 장치에 의하여 응시 지점이 포커싱되는 일 예를 도시한 도면,
도 4a 및 도 4b는 도 1에 도시된 디스플레이 장치에 의하여 응시 지점이 포커싱되는 다른 예를 도시한 도면,
도 5a 및 도 5b는 도 1에 도시된 응시지점의 이동에 따라 스크린에 표시되는 동영상 또는 정지 이미지를 나타낸 도면, 그리고,
도 6은 도 1에 도시된 디스플레이 장치의 센서 모듈을 통해 입력되는 근접 센싱 입력에 따라 스크린에 표시되는 컨텐츠의 선택 범위를 결정하는 일 예를 나타낸 도면이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 나타낸 블록도이다.
본 실시예에서 디스플레이 장치(100)는 디스플레이 화면을 구비하는 장치를 가리키는 것으로서, 예를 들어 텔레비전, 이동통신 단말기, 태블릿, 노트북, 데스크 톱 등의 PC(Personal Computer) 등이 디스플레이 장치(100)에 포함될 수 있다.
도 1을 참조하면, 디스플레이 장치(100)는 제어부(110), 카메라 모듈(150), 저장부(175), 스크린(190)을 포함하며, 실시예에 따라 이동통신 모듈(120), 서브 통신 모듈(130), 멀티미디어 모듈(140), GPS 모듈(153), 센서 모듈(170), 전원 공급부(180) 및 스크린 컨트롤러(195)를 더 포함할 수 있다.
제어부(110)는 CPU(111), 디스플레이 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 디스플레이 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 디스플레이 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다.
제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(153), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원공급부(180), 스크린(190) 및 스크린 컨트롤러(195)를 제어할 수 있다.
본 실시예에 따른 제어부(110)는 스크린(190)을 제어함으로써 상기 스크린(190)을 통해 표시되고 있는 각종 컨텐츠 또는 상기 컨텐츠의 표시를 제어한다.
카메라 모듈(150)은 제어부(110)의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 제1카메라(151) 및 제2카메라(152) 중 적어도 하나를 포함할 수 있다. 제1카메라(151) 또는 제2카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예를 들어, 플래시(미도시))을 포함할 수 있다. 제1카메라(151)는 디스플레이 장치(100) 전면에 배치되고, 제2카메라(152)는 디스플레이 장치(100)의 후면에 배치될 수 있다. 다른 실시예에 따라 제1카메라(151)와 제2카메라(152)는 인접(예를 들어, 제1카메라(151)와 제2카메라(152)의 간격이 1cm보다 크고, 8cm보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다.
본 실시예에 따른 카메라 모듈(150)은 카메라 렌즈(미도시)를 통하여 정지 이미지 또는 동영상을 촬영한다. 카메라 모듈(150)의 제1카메라(151) 또는 제2카메라(152)는 디스플레이 장치(100)를 사용하는 사용자의 얼굴, 특히 사용자의 눈(eye)을 촬영한 정지 이미지(이하, "눈 이미지"라 하기로 한다)를 생성할 수 있다.
카메라 모듈(150)의 의하여 생성된 눈 이미지는 제어부(110)로 전달되고, 제어부(110)는 눈 이미지를 이용하여 스크린(190) 상에서 사용자가 응시하고 있는 지점(이하, "응시 지점"이라 한다)을 결정한다. 제어부(110)는 눈 이미지를 이용하여 상기 응시 지점을 계산하기 위한 각종 데이터, 예를 들어 사용자의 눈동자 크기, 눈꺼풀이 닫힌 정도, 눈과 카메라 모듈(150) 간의 각도 및 거리, 눈썹을 포함한 사용자 안면의 움직임 등을 계산 또는 추출할 수 있다. 상기 응시 지점이 결정되면, 제어부(110)는 스크린 컨트롤러(195)를 제어하여 스크린(190) 상에서 상기 응시 지점의 좌표를 추출할 수 있다.
응시 지점의 좌표가 추출되면, 제어부(110)는 스크린(190)을 통해 표시되고 있는 컨텐츠들 중 상기 응시 지점에 위치한 컨텐츠를 포커싱하도록 스크린(190)을 제어한다. 본 실시예에서 응시 지점에 위치한 컨텐츠를 포커싱한다는 것은, 응시 지점에 위치한 컨텐츠를 타 컨텐츠와 구별되도록 표시하는 것을 의미한다.
예를 들어, 응시 지점에 위치한 컨텐츠가 정지 이미지의 일부라면, 제어부(110)는 스크린(190)을 제어하여 상기 응시 지점에 위치한 정지 이미지의 일부 이외의 정지 이미지를 흐릿하게 처리함으로써 상기 응시 지점에 위치한 정지 이미지의 일부와 대비되게 표시할 수 있다. 또 다른 예로써, 상기 컨텐츠가 3D 컨텐츠이거나 또는 다중 깊이(multi-depth) 영상인 경우, 제어부(110)는 상기 응시 지점에 해당하는 정지 이미지 또는 상기 응시 지점에 해당하는 영상의 적어도 일부를 포커싱할 수 있다. 이때, 제어부(110)는 포커싱된 부분, 즉 상기 응시 지점에 해당하는 영상을 제외한 정지 이미지 또는 영상을 흐릿하게 처리함으로써 컨텐츠를 포커싱할 수 있다.
이하에서는, 상기와 같이 컨텐츠 상에서 포커싱된 부분을 "포커싱 영역"이라 하기로 한다.
또한 본 실시예에 따른 제어부(110)는 상기 포커싱 영역에 대한 이벤트가 발생하였는지 여부를 판단한다.
포커싱 영역에 대한 이벤트는, 예를 들어 포커싱 영역을 줌 인(Zoom-in)하기 위한 사용자 입력, 줌 아웃(Zoom-out)하기 위한 사용자 입력, 상기 포커싱 영역의 상하좌우에 위치한 컨텐츠를 상기 포커싱 영역과 함께 선택하기 위한 사용자 입력, 상기 포커싱 영역을 중심으로 스크린(190)에 표시되고 있는 컨텐츠들을 상하좌우로 이동시키기 위한 사용자 입력 중 적어도 하나를 포함할 수 있다. 또한 실시예에 따라 포커싱에 대한 이벤트는, 상기 포커싱 영역에 대응하는 프로그램 또는 어플리케이션을 실행하기 위한 사용자 입력을 포함할 수 있다.
상기 사용자 입력은 스크린(190)으로부터 입력되는 터치 입력, 센서 모듈(170)을 통해 감지될 수 있는 근접 센싱 입력, 또는 카메라 모듈(150)의 렌즈를 통해 입력되는 사용자 제스처 입력, 마이크(162)를 통한 음성 입력, 터치펜(미도시) 등을 통한 호버링(hovering) 입력 등을 포함할 수 있다. 본원 명세서에서는 카메라 모듈(150)을 의해 생성되는 눈 이미지를 이용하여 포커싱 영역을 결정하는 방법에 대하여 기술하였으나, 다른 실시예에 따라 제어부(110)는 터치 입력, 근접 센싱 입력, 사용자 제스처 입력, 음성 입력, 호버링 입력을 통해서도 포커싱 영역을 결정할 수 있다.
터치 입력은, 예를 들어 사용자의 손가락 또는 스타일러스 펜이 스크린(190)에 직접 접촉됨으로써 발생하는 사용자 입력이다. 이때 스크린(190)은 터치 스크린(Touch Screen)의 형태로 구현될 수 있다.
근접 센싱 입력은 스크린(190)과 근접한 일정 범위를 통해 감지되는 사용자 손의 움직임을 가리킨다. 예를 들어, 근접 센싱은 정전용량 방식으로 구현되어 디스플레이 장치(100)의 센서 모듈(170)이 스크린(190)과 근접한 일정 범위 내에서의 정전용량의 변화를 감지함으로써 상기 디스플레이 장치(100)에 근접 센싱 입력이 입력될 수 있다.
사용자 제스처 입력은, 적어도 하나의 명령어(Command)와 대응하는 사용자 제스처를 가리킨다. 카메라 모듈(150)은 제1카메라(151) 또는 제2카메라(152)로부터 특정 명령어에 대응하는 사용자 제스처를 사용자로부터 입력받을 수 있다. 또한 저장부(175)는 명령어들 각각에 대응하는 사용자 제스처를 미리 저장할 수 있다. 예를 들어, 저장부(175)에 사용자 제스처로서 사용자가 활짝 편 오른손을 좌우로 흔드는 동작이 저장되고 있고, 상기 사용자 제스처는 명령어인 줌 인과 대응된다고 가정한다. 포커싱 영역에 결정된 상태에서, 예를 들어 제2카메라(152)를 통해 사용자로부터 활짝 편 오른손을 좌우로 흔드는 동작이 촬영되었다면, 제어부(110)는 스크린(190) 또는 스크린 컨트롤러(195)를 제어하여 상기 포커싱 영역을 줌 인할 수 있다.
포커싱 영역에 대한 이벤트가 발생하면, 제어부(110)는 해당 이벤트에 따른 동작을 수행하도록 디스플레이 장치(100)를 제어한다. 예를 들어, 이벤트가 포커싱 영역을 줌 인 또는 줌 아웃하기 위한 근접 센싱 입력이라고 가정하면 제어부(110)는 포커싱 영역을 줌 인 또는 줌 아웃하도록 스크린(190)을 제어한다.
저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(153), 입/출력 모듈(160), 센서 모듈(170), 스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 디스플레이 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.
"저장부"라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 디스플레이 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부(175)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
본 실시예에 따른 저장부(175)에는 카메라 모듈(150)을 통해 입력되는 각종 눈 이미지들에 대응하는 동작 또는 명령어(command)들이 저장될 수 있다. 예를 들어, 사용자의 눈동자가 정면을 응시하는 눈 이미지에 대응하여 스크린(190)에 표시되고 있는 컨텐츠의 중심부를 포커싱 영역으로 결정하는 동작이 저장부(175)에 미리 저장될 수 있다. 또한 다른 예로써 사용자의 눈동자가 측면을 응시하고 있는 눈 이미지에 대응하여 스크린(190)에 표시되고 있는 컨텐츠의 중심부에서 일정 간격 떨어진 좌측을 포커싱 영역으로 결정하는 동작이 저장부(175)에 미리 저장될 수 있다.
즉 카메라 모듈(150)을 통해서 사용자의 눈동자가 정면을 응시하고 있는 눈 이미지가 입력되었다면, 제어부(110)는 상기 정면을 응시하는 눈 이미지에 대응하여 스크린(190)을 통해 표시되고 있는 컨텐츠의 중심부를 포커싱 영역으로 결정할 수 있다. 또한 카메라 모듈(150)을 통해 사용자의 눈동자가 좌측 측면을 응시하고 있는 눈 이미지가 입력되었다면, 제어부(110)는 상기 좌측 측면을 응시하는 눈 이미지에 대응하여 스크린(190)을 통해 표시되고 있는 컨텐츠의 중심부에서 일정 간격 떨어진 좌측을 포커싱 영역으로 결정할 수 있다.
실시예에 따라 저장부(175)에는 포커싱 영역에 대한 이벤트, 즉 포커싱 영역을 줌 인, 줌 아웃하기 위한 각종 사용자 입력 또는 상기 포커싱 영역에 대응하는 명령 또는 동작이 저장될 수 있다. 스크린(190)은 사용자에게 다양한 서비스(예를 들어, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 스크린(190)은 유저 인터페이스를 통해 사용자로부터 입력되는 사용자 입력, 예를 들어 터치에 대응되는 아날로그 신호를 스크린 컨트롤러(195)로 전송할 수 있다. 스크린(190)이 예를 들어 터치스크린으로 구현되는 경우, 상기 스크린(190)은 사용자의 신체(예를 들어, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 수단(예를 들어, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한 스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 스크린 컨트롤러(195)로 전송할 수 있다.
본 발명에서 터치는 스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 한정되지 않고, 비접촉(예, 스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과 검출가능한 간격이 1mm 이상) 방식을 포함할 수 있다. 스크린(190)에서 검출 가능한 간격은 디스플레이 장치(100)의 성능 또는 구조에 따라 변경될 수 있다.
스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식의 터치 스크린으로 구현되어 사용자 입력을 직접 수신할 수 있다.
본 실시예에 따른 스크린(190)은 제어부(110)의 제어 하에 컨텐츠 중에서도 포커싱 영역을 비 포커싱 영역과 구분하여 표시할 수 있다. 또한 포커싱 영역에 대한 이벤트가 발생되면 스크린(190)은 해당 이벤트에 따라 포커싱 영역을 줌인 또는 줌 아웃하여 표시하거나 또는 포커싱 영역에 대응하는 명령어 또는 동작을 실행하여 표시할 수 있다.
서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1카메라(151) 및 제2카메라(152) 중 적어도 하나를 포함하고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165) 및 키패드(166) 중 적어도 하나를 포함한다. 이하에서는 스크린(190) 및 스크린 컨트롤러(195)가 각각 터치스크린 및 터치스크린 컨트롤러인 경우를 예로 들어 설명한다. 이동통신 모듈(120)은 제어부(110)의 제어하에 적어도 하나의 안테나(미도시)를 이용하여 디스플레이 장치(100)가 외부 장치와 연결되도록 한다. 이때 디스플레이 장치(100)와 외부 장치는 이동 통신을 통해 연결될 수 있다. 또한 이동통신 모듈(120)은 디스플레이 장치(100)에 입력되는 전화번호를 가지는 휴대폰(미도시), 스마트폰(미도시), 태블릿 PC 또는 다른 장치(미도시)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신할 수 있다.
서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함할 수 있으며, 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수도 있다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(미도시)가 설치된 장소에서 인터넷에 연결될 수 있다. 즉 무선랜 모듈(131)은 디스플레이 장치(100)의 무선 인터넷 연결을 지원한다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 디스플레이 장치(100)와 화상형성장치(미도시) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.
디스플레이 장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 디스플레이 장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131) 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(미도시)를 통해 방송국에서부터 송출되는 방송 신호(예를 들어, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송 부가 정보(예를 들어, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오 재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예를 들어, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상 재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예를 들어, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상 재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오 재생 모듈(142)과 동영상 재생 모듈(143)을 포함할 수 있다. 또한 멀티미디어 모듈(140)의 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)은 제어부(110)에 포함될 수 있다.
본 실시예에 따른 멀티미디어 모듈(140)의 방송통신 모듈(141)은 카메라 모듈(150)을 통해 입력되는 눈 이미지 또는 포커싱 영역에 따른 이벤트에 따라 방송 신호를 재생, 재생정지, 빨리감기, 되감기, 특정 부분 반복재생하거나, 방송신호의 볼륨을 증가 또는 감소시킬 수 있으며, 방송채널을 변경할 수 있다. 마찬가지로 오디오 재생 모듈(142)은 카메라 모듈(150)을 통해 입력되는 눈 이미지 또는 포커싱 영역에 따른 이벤트에 따라 디지털 오디오 파일를 재생, 재생정지, 빨리감기, 되감기, 특정 부분 반복재생하거나, 디지털 오디오 파일의 볼륨을 증가 또는 감소시킬 수 있다. 동영상 재생 모듈(143)도 카메라 모듈(150)을 통해 입력되는 눈 이미지 또는 포커싱 영역에 따른 이벤트에 따라 디지털 동영상 파일을 재생, 재생정지, 빨리감기, 되감기, 특정 부분 반복재생하거나, 디지털 동영상 파일의 볼륨을 증가 또는 감소시킬 수 있다.
GPS 모듈(153)은 지구 궤도상에 있는 복수의 GPS 위성(미도시)에서부터 전파를 수신하고, GPS 위성(미도시)에서부터 디스플레이 장치(100)까지 전파 도달 시간(Time of Arrival)을 이용하여 디스플레이 장치(100)의 위치를 산출할 수 있다.
입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165) 및 키패드(166) 중 적어도 하나를 포함할 수 있다.
버튼(161)은 디스플레이 장치(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼, 볼륨 버튼, 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다.
본 실시예에 따른 버튼(161)은 카메라 모듈(150)을 구동하기 위한 버튼을 더 포함할 수 있으며, 그에 따라 눈 이미지를 입력받기 위한 카메라 모듈(150)의 구동을 위한 버튼을 포함할 수 있다. 또한 버튼(161)은 포커싱 영역에 대한 이벤트로서의 사용자 입력을 수신하기 위한 버튼을 포함할 수도 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력받아 전기적인 신호를 생성한다.
본 실시예에 따른 마이크(162)는 스크린(190)을 통해 표시되는 컨텐츠 중 포커싱 영역을 결정하기 위한 사용자의 음성 또는 사운드를 입력받을 수 있다.
스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예를 들어, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 디스플레이 장치(100) 외부로 출력할 수 있다. 스피커(163)는 디스플레이 장치(100)가 수행하는 기능에 대응되는 사운드(예를 들어, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 디스플레이 장치(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동 모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 디스플레이 장치(100)는 다른 장치(미도시)로부터 음성 통화가 수신되는 경우, 진동 모터(164)가 동작한다. 디스플레이 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동 모터(164)는 스크린(190) 상을 터치하는 사용자의 터치 동작 및 스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(165)는 디스플레이 장치(100)와 외부 장치(미도시) 또는 전원소스(미도시)를 연결하기 위한 인터페이스로 이용될 수 있다. 디스플레이 장치(100)는 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 디스플레이 장치(100)의 저장부(175)에 저장된 데이터를 외부 장치(미도시)로 전송하거나 또는 외부 장치(미도시)로부터 데이터를 수신할 수 있다. 또한 디스플레이 장치(100)는 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(미도시)로부터 전원을 입력받거나, 상기 전원소스를 이용하여 배터리(미도시)를 충전할 수 있다.
키패드(166)는 디스플레이 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 디스플레이 장치(100)에 형성되는 물리적인 키패드 또는 스크린(190)에 표시되는 가상의 키패드를 포함한다. 디스플레이 장치(100)에 형성되는 물리적인 키패드는 디스플레이 장치(100)의 성능 또는 구조에 따라 제외될 수 있다.
이어폰 연결잭(Earphone Connecting Jack, 167)에는 이어폰(미도시)이 삽입되어 디스플레이 장치(100)에 연결될 수 있다.
센서 모듈(170)은 디스플레이 장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 디스플레이 장치(100)에 대한 접근여부를 검출하는 근접센서, 디스플레이 장치(100) 주변의 빛의 양을 검출하는 조도센서(미도시), 또는 디스플레이 장치(100)의 동작(예, 디스플레이 장치(100)의 회전, 디스플레이 장치(100)에 가해지는 가속도 또는 진동)을 검출하는 모션센서(미도시), 지구 자기장을 이용해 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor, 미도시), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서모듈(170)의 센서는 디스플레이 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다.
본 실시예에 따른 센서 모듈(170)은 근접 센서를 포함할 수 있다. 근접 센서는 스크린(190)과 근접한 일정 범위를 통해 감지되는 사용자의 움직임(예를 들어, 사용자 손가락의 움직임)을 감지하는 센서이다. 예를 들어, 스크린(190)이 정전 용량 방식으로 구현되었다면 근접 센서로 구현된 센서 모듈(170)은 상기 스크린(190)의 일정 범위(예를 들어, 스크린(190)으로부터 10cm 높이)에서 발생하는 정전용량의 변화를 감지함으로써 사용자의 움직임을 검출할 수 있다.
전원공급부(180)는 제어부(110)의 제어에 따라 디스플레이 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리에 전원을 공급할 수 있다. 하나 또는 복수의 배터리는 디스플레이 장치(100)에 전원을 공급한다. 또한, 전원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스에서부터 입력되는 전원을 디스플레이 장치(100)로 공급할 수 있다. 또한 전원공급부(180)는 무선 충전 기술을 통해 외부의 전원소스로부터 무선으로 입력되는 전원을 디스플레이 장치(100)로 공급할 수도 있다.
스크린 컨트롤러(195)는 스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예를 들어, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치에 응답하여 스크린(190)에 표시된 단축 아이콘(미도시)이 선택되게 하거나 또는 단축 아이콘을 실행할 수 있다. 또한 스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다.
본 실시예에 따른 스크린 컨트롤러(195)는, 포커싱 영역에 대한 이벤트로써 터치 입력이 스크린(190)을 통해 입력되면 상기 터치 입력이 입력된 지점의 스크린(190) 상의 좌표(예를 들어, X와 Y좌표)를 추출하여 제어부(110)로 전달할 수 있다.
다른 실시예에 따라 스크린 컨트롤러(195)는 센서모듈(170)에 의해 감지된 근접 센싱 입력에 대응하는 스크린(190) 상에서의 좌표를 추출할 수도 있다. 예를 들어, 센서 모듈(170)을 통하여 스크린(190)과 근접한 일정 범위 내의 한 지점(제1지점)을 선택하기 위한 근접 센싱 입력이 감지되었다고 가정한다. 또한 근접 센싱이 정전 용량 방식으로 구현되었다고 가정한다. 센싱 모듈(170)은 스크린(190)의 일정 범위 내에서 발생하는 정전용량의 변화를 감지하고, 제어부(110)는 정전용량이 변화한 지점(제1지점)에 대응하는 스크린(190) 상의 지점(제2지점)의 좌표를 추출하도록 스크린 제어부(195)를 제어할 수 있다. 예를 들어, 제2지점은, 상기 제1지점으로부터 가장 가까운 거리에 위치한 스크린(190) 상의 한 점일 수 있다.
실시예에 따라 디스플레이 장치(100)는 서브통신 모듈(130), 커넥터(165) 및 이어폰 연결잭(167)과 같은 외부 장치 연결부를 이용하여 외부 장치(미도시)와 연결될 수 있다.
"외부 장치"는 디스플레이 장치(100)에 탈착되어 유선으로 연결 가능한 이어폰(Earphone), 외부 스피커(External speaker), USB(Universal Serial Bus) 메모리, 충전기, 크래들/도크(Cradle/Dock), DMB 안테나, 모바일 결제 관련 장치, 건강 관리 장치(혈당계 등), 게임기, 자동차 내비게이션 장치 등 다양한 장치들을 포함할 수 있다. 또한 "외부 장치"는 근거리 통신에 의하여 무선으로 디스플레이 장치(100)에 연결될 수 있는 블루투스 통신 장치, NFC(Near Field Communication) 장치와 같은 근거리 통신 장치 및 WiFi Direct 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 또한 외부 장치는 다른 장치, 휴대폰, 스마트폰, 태블릿PC, 데스크탑 PC 및 서버를 포함할 수 있다.
도 2는 도 1에 도시된 디스플레이 장치가 스크린을 통해 표시되는 컨텐츠를 제어하는 방법을 나타낸 순서도이다.
도 2를 참조하면, 먼저 디스플레이 장치(100)는 스크린(190)에 적어도 하나의 컨텐츠를 표시한다(S202). 컨텐츠가 표시되던 중 디스플레이 장치(100)는 카메라 모듈(150)을 통해 눈 이미지를 생성한다(S204).
실시예에 따라 디스플레이 장치(100)의 제어부(110)는, 스크린(190)을 통해 표시되는 컨텐츠에 따라서 카메라 모듈(150)의 구동 여부를 결정할 수 있다. 예를 들어, 디스플레이 장치(100)에 저장된 데이터 중 인터넷에 관련된 어플리케이션이 구동 중이라고 가정한다. 스크린(190)에 인터넷을 통해 다운된 컨텐츠가 저장부(175)에 미리 저장된 기준 시간 이상 표시되고 있다면, 제어부(110)는 사용자를 촬영하도록 카메라 모듈(150)을 제어할 수 있다.
다른 실시예에 따라 디스플레이 장치(100)의 제어부(110)는 디스플레이 장치(100)를 통하여 실행 가능한 어플리케이션의 종류 또는 스크린(190)을 통해 표시되는 컨텐츠의 종류에 따라 카메라 모듈(150)의 구동 여부를 결정할 수 있다. 예를 들어, 디스플레이 장치(100)의 제어부(110)는 스크린(190)를 통해 사진이 표시되고 있거나 또는 인터넷를 통해 다운로드된 컨텐츠가 표시되고 있는 경우 제어부(110)는 카메라 모듈(150)이 구동되도록 디스플레이 장치(100)를 제어할 수 있다.
눈 이미지가 생성되면 제어부(110)는 상기 눈 이미지를 이용하여 스크린(190) 상에서 사용자가 응시하고 있는 지점, 즉 응시 지점을 결정한다(S206). 응시 지점이 결정되면 제어부(110)는 응시 지점의 좌표를 결정하여 포커싱한다(S208). 상기와 같이 포커싱되는 영역을 "포커싱 영역"이라 하기로 한다.
단계 S208에서의 포커싱은 상기 응시 지점의 컨텐츠가 선택되었음을 표시하는 것을 의미한다. 예를 들어, "Korea mobile traffic to increase ten fold…"라는 문장 중 응시 지점에 "Korea"가 위치해 있다고 가정한다. 제어부(110)는 "Korea"를 "mobile traffic to increase ten fold…"와 구별되게 표시하도록 스크린(190) 또는 스크린 컨트롤러(195)를 제어한다.
이후 제어부(110)는 포커싱 영역에 대한 이벤트가 발생하였는지 여부를 판단한다(S210). 포커싱 영역에 대한 이벤트는, 예를 들어 포커싱 영역을 줌 인(Zoom-in)하기 위한 사용자 입력, 줌 아웃(Zoom-out)하기 위한 사용자 입력, 상기 포커싱 영역의 상하좌우에 위치한 컨텐츠를 상기 포커싱 영역과 함께 선택함으로써 포커싱 영역을 확장하기 위한 사용자 입력, 상기 포커싱 영역을 중심으로 스크린(190)에 표시되고 있는 컨텐츠들을 상하좌우로 이동시키기 위한 사용자 입력, 상기 포커싱 영역에 대응하는 명령어 또는 동작을 실행시키기 위한 사용자 입력 등을 포함할 수 있다.
단계 S210의 판단 결과, 포커싱 영역에 대한 이벤트가 발생한 경우(S210: 예), 디스플레이 장치(100)는 상기 이벤트에 따른 동작을 수행한다(S212).
단계 S210의 판단 결과 포커싱 영역에 대한 이벤트가 발생하지 않은 경우(S210: 아니오) 디스플레이 장치(100)는 별도의 동작을 수행하지 않고 현재 상태를 유지할 수 있다.
도 2에서는 디스플레이 장치(100)가 단계 S204에서 생성된 눈 이미지를 이용하여 응시 지점을 결정함으로써 포커싱 영역을 결정하였으나, 다른 실시예에 따른 디스플레이 장치(100)는 마이크(162)를 통해 사용자로부터 입력되는 음성 신호, 스크린(190)을 통해 사용자로부터 입력되는 터치 입력, 상기 스크린(190)으로부터 미리 저장된 범위(예를 들어, 스크린(190)으로부터 1cm 이격된 높이 이내) 내에서 센서 모듈(170)을 통해 감지되는 센싱 입력 등을 이용하여 포커싱 영역을 결정할 수도 있다.
도 3a 및 도 3b는 도 1에 도시된 디스플레이 장치에 의하여 응시 지점이 포커싱되는 일 예를 도시한 도면이다.
도 3a를 참조하면, 사용자(500)는 디스플레이 장치(100)의 스크린(190)에 표시되는 컨텐츠들 중 한 지점을 응시한다. 디스플레이 장치(100)의 카메라 모듈(150)은 스크린(190)에 표시되고 있는 컨텐츠들 중 한 지점을 응시하는 사용자(350)를 촬영함으로써 눈 이미지를 생성한다. 제어부(110)는 상기 눈 이미지를 이용하여 사용자(350)에 의해 응시되고 있는 지점, 즉 응시 지점(310)을 결정한다. 응시 지점(310)이 결정되면, 스크린(190)은 해당 응시지점(310)을 중심으로 하는 포커싱 영역(310)을 타 컨텐츠와 구분되도록 표시한다. 도 3b는 스크린(190)에 의해 포커싱 영역이 타 컨텐츠들과 구분되어 표시되고 있는 일 예를 도시한 도면이다. 도 3b를 참조하면, 포커싱 영역 이외의 타 컨텐츠들이 블러처리되어 표시되고 있다.
도 4a 및 도 4b는 도 1에 도시된 디스플레이 장치에 의하여 응시 지점이 포커싱되는 다른 예를 도시한 도면이다.
도 4a 및 도 4b에서 스크린(190)은, 사람 A(411)와 사람 B(412)가 포함된 이미지(400, 401, 402)를 표시하고 있다.
도 4a를 참조하면 스크린(190)이 사람 A(411) 및 사람 B(412)를 포함하는 원본 이미지(400)를 표시하던 중 사용자(450)가 사람 A(411)를 응시하였다. 그에 따라 제어부(110)는 원본 이미지(400)에서 사람 A(411)를 포커싱 영역으로 결정할 수 있다. 도 4a의 스크린(190)은 사람 A(411)가 포커싱 영역으로 결정됨에 따라 사람 A(411)를 제외한 나머지를 블러처리한 변환 이미지(401)를 표시하고 있다. 실시예에 따라 원본 이미지(400)가 3D 컨텐츠이거나 또는 다중 깊이(multi-depth) 영상인 경우, 제어부(110)는 상기 응시 지점에서의 깊이를 가지는 영상을 표시하도록 디스플레이 장치(100)를 제어할 수 있다. 예를 들어, 원본 이미지(400)가 3D 이미지고, 사람 A(411)의 깊이가 레벨 5, 사람 B(412)의 깊이가 레벨 7이라 가정한다. 사람 A(411)가 포커싱 영역으로 결정되었으면, 제어부(110)는 상기 원본 이미지(400) 중에서 레벨 5의 깊이를 가진 사람 A(411)가 포함된 변환 이미지(401)를 표시하도록 디스플레이 장치(100)를 제어할 수 있다. 이때 변환 이미지(401)에는, 깊이가 레벨 7인 사람 B(412)가 포함되지 않을 수 있다.
상기와 같이 포커싱 영역이 결정되면 원본 이미지(400)를 변환 이미지(401)로 변환하고, 상기 변환 이미지(401)를 표시하도록 스크린(190)을 제어할 수 있다.
실시예에 따라 디스플레이 장치(100)는 사용자(450)로부터 마이크(162)를 통해 원본 이미지(400)의 사람 A(411) 및 사람 B(412) 중 한 사람을 선택하는 사용자 입력, 즉 음성 신호를 입력받을 수 있다. 예를 들어, 마이크(162)를 통해 "select right"에 해당하는 음성 신호가 사용자로부터 입력되었다고 가정한다. 제어부(110)는 상기 음성 신호를 분석하여 원본 이미지(400) 중에서 사람 A(411)를 포커싱 영역으로 결정할 수 있다. 제어부(110)는 포커싱 영역으로 결정된 사람 A(411)를 제외한 나머지를 블러처리한 변환 이미지(401)를 생성하고, 상기 변환 이미지(401)를 표시하도록 스크린(190)을 제어할 수 있다. 즉 제어부(110)는 마이크(162)를 통해 입력되는 음성 신호에 따라 포커싱 영역을 결정하고, 상기 포커싱 영역이 포커싱되도록 디스플레이 장치(100)를 제어할 수 있다.
도 4b를 참조하면, 스크린(190)이 사람 A(411) 및 사람 B(412)를 포함하는 원본 이미지(400)를 표시하던 중 사용자(450)가 사람 B(412)를 응시하였다. 그에 따라 제어부(110)는 원본 이미지(400)에서 사람 B(412)를 포커싱 영역으로 결정할 수 있다. 도 4b는 의 스크린(190)은 사람 B(412)가 포커싱 영역으로 결정됨에 따라 사람 B(412)를 제외한 나머지를 블러처리한 변환 이미지(402)을 표시하고 있다.
도 5a 및 도 5b는 도 1에 도시된 응시지점의 이동에 따라 스크린에 표시되는 동영상 또는 정지 이미지를 나타낸 도면이다.
도 5a에서 사용자(550)는 눈동자를 좌측으로 이동시킴으로써 응시지점을 좌측으로 이동시킬 수 있다. 본 실시예에 따른 카메라 모듈(150)은 사용자(550)의 눈동자의 움직임 궤적을 실시간으로 촬영하고, 제어부(110)는 카메라 모듈(150)을 통해 촬영된 상기 움직임 궤적을 이용하여 사용자(550)의 눈동자가 좌측으로 이동하였음을 확인한다.
실시예에 따라 제어부(110)는 저장부(175)에 미리 저장되어 있던 적어도 하나의 눈 이미지를 이용하여 사용자(550)의 눈동자가 움직였는지 여부를 판단할 수 있다. 또한 저장부(170)에는 사용자(550)의 각종 눈 이미지가 저장될 수 있다. 실시예에 따라 제어부(110)는 사용자(550)의 눈동자뿐만 아니라 카메라 모듈(150)을 통해 감지되는 사용자(550)의 눈꺼풀 또는 눈썹의 움직임, 사용자(550)의 안면 상단의 움직임 등에 따라 사용자(550)의 눈동자가 움직였는지 여부를 판단할 수 있다.
사용자(550)의 눈동자가 좌측으로 이동하였음이 확인되면, 제어부(110)는 스크린(190)를 통해 표시되는 원본 이미지(500)의 중심을 우측으로 이동시킨다. 그에 따라 스크린(190)을 통해 표시되는 원본 이미지(500)가 우측 편향 이미지(501)로 변환되어 표시된다.
도 5a와 반대로 도 5b에서 사용자(550는 눈동자를 우측으로 이동시킴으로써 응시지점을 우측으로 이동시킬 수 있다. 카메라 모듈(150)을 통해 촬영된 눈동자의 움직임 궤적에 따라 사용자(550)의 눈동자가 우측으로 이동하였음이 확인되면, 제어부(110)는 스크린(190)를 통해 표시되는 원본 이미지(500)의 중심을 좌측으로 이동시킨다. 그에 따라 스크린(190)을 통해 표시되는 원본 이미지(500)가 좌측 편향 이미지(502)로 변환되어 표시된다.
도 5a 및 도 5b에서는 좌측 또는 우측으로 이동하는 눈동자의 움직임 궤적에 따라 원본 이미지(500)를 우측 편향 이미지(501) 또는 좌측 편향 이미지(502)로 변환하는 예에 대해서만 도시하였으나 다른 실시예에 따라 디스플레이 장치(100)의 제어부(110)는 원본 이미지(500)의 중심을 상측으로 이동시킨 하측 편향 이미지(미도시) 또는 하측으로 이동시킨 상측 편향 이미지(미도시)로 변환할 수도 있다. 또한 제어부(110)는 카메라 모듈(150)을 통해 입력되는 눈동자의 움직임 궤적에 따라 원본 이미지(500)의 중심을 대각선 방향(예를 들어, 30°, 45°, 60° 등)으로 이동시킨 변환 이미지를 생성할 수도 있다. 또한 다른 실시예에 따라 제어부(110)는 카메라 모듈(150)을 통해 입력되는 눈동자의 움직임 궤적에 따라 원본 이미지(500)를 줌 인 또는 줌 아웃한 변환 이미지를 생성할 수도 있다.
도 5a 및 도 5b에서는 저장부(175)에 이미 저장되어 있는 정지 이미지를 예로 들어 설명하였지만, 다른 실시예에 따라 카메라 모듈(150)을 통해 촬영 중인 경우에도 눈동자의 움직임 궤적에 따라 촬영되고 있는 이미지의 중심을 상하좌우로 이동시킬 수 있다. 예를 들어, 디스플레이 장치(100)의 전면에 배치된 제1카메라(151)로 사용자(550)의 눈동자의 움직임 궤적을 입력받고, 디스플레이 장치(100)의 후면에 배치된 제2카메라(152)로 디스플레이 장치(100) 후면의 풍경을 입력받아 촬영 중이라고 가정한다. 제어부(110)는 제1카메라(151)를 통해 입력되는 눈동자의 움직임 궤적에 따라 제2카메라(152) 렌즈를 회전시키거나 또는 렌즈의 초점을 변경하도록 제2카메라(152)를 제어할 수도 있다.
도 6은 도 1에 도시된 디스플레이 장치의 센서 모듈을 통해 입력되는 근접 센싱 입력에 따라 스크린에 표시되는 컨텐츠의 선택 범위를 결정하는 일 예를 나타낸 도면이다.
도 6을 참조하면, 스크린(190)에는 컨텐츠로서 "… any people try exercises and games to reduce the stress and pass some time. But there ara some things that can't be solved with music."라는 문자가 표시되어 있다. 또한 상기의 문자들 중 사용자(650)의 근접 센싱 입력에 따라 선택되는 문자들(포커싱 영역)을, 선택되지 않은 문자들(비포커싱 영역)과 구별하기 위한 제1선택자(601) 및 제2선택자(602)가 도시되어 있다.
제1선택자(601) 및 제2선택자(802)에 의해 먼저 선택된 문자가 "games to"(610)인 상태에서, 센서 모듈(170), 카메라 모듈(150) 또는 스크린(190)을 통해 사용자로부터 엄지손가락 및 검지 손가락의 사이를 근접시켰다가 벌리는 근접 센싱 입력이 입력된다. 상기 근접 센싱 입력에 따라 제2선택자(602)가 이동하여 선택된 문자가 "games to reduce the stress and pass some time"(620)으로 증가한다. 상기와 같이 본 발명에 따른 디스플레이 장치(100)는 근접 센싱 입력에 따라 컨텐츠의 선택 범위, 즉 포커싱 영역을 증가시키거나 감소시킬 수 있다.
본 실시예에서 포커싱 영역으로서 먼저 선택되었던 "games to"는, 카메라 모듈(150)을 통해 생성된 눈 이미지에 따른 것일 수 있다. 또한 포커싱 영역은, 사용자(650)가 스크린(190)의 적어도 한 지점을 직접 압압함으로써 발생하는 터치 입력에 의해 선택될 수 있다. 다른 실시예에 따라 포커싱 영역은 마이크(162)를 통해 사용자(650)로부터 "games to"에 해당하는 음성을 입력받음으로써 선택될 수 있으며, 실시예에 따라 스크린(190) 표면으로부터 이격된 일정 범위 이내로부터 감지되는 근접 센싱 입력을 수신함으로써 선택될 수도 있다.
이외에도 본 발명의 다양한 실시예 또는 변형예가 있을 수 있으며, 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고, 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
100: 디스플레이 장치 110: 제어부
120: 이동통신 모듈 130: 서브통신 모듈
131: 무선랜 모듈 132: 근거리통신 모듈
140: 멀티미디어 모듈 141: 방송통신 모듈
142: 오디오재생 모듈 143: 동영상 모듈
150: 카메라 모듈 151: 제1카메라
152: 제2카메라 153: GPS 모듈
160: 입/출력 모듈 161: 버튼
162: 버튼 163: 마이크
164: 스피커 165: 커넥터
166: 키패드 167: 이어폰 연결잭
170: 센서 모듈 175: 저장부
180: 전원공급부 190: 스크린
195: 스크린 컨트롤러

Claims (18)

  1. 디스플레이 장치가 스크린을 통해 표시되는 컨텐츠를 제어하는 방법에 있어서,
    스크린에 컨텐츠들이 표시되면, 카메라 모듈을 이용하여 사용자에 대한 눈(eye) 이미지를 생성하는 과정과,
    상기 눈 이미지를 이용하여 상기 스크린 상에서의 상기 사용자의 응시 지점을 결정하는 과정과,
    상기 응시 지점에 대응하는 상기 스크린 상에서의 좌표를 결정하는 과정과,
    상기 컨텐츠들 중 상기 좌표에 대응하는 컨테츠를 포커싱 영역으로 결정하는 과정을 포함함을 특징으로 하는 디스플레이 장치의 컨텐츠 제어 방법.
  2. 제1항에 있어서
    상기 컨텐츠들 중 상기 좌표에 대응하는 컨텐츠를 포커싱 영역으로 결정하는 과정은,
    상기 좌표에 대응하는 컨텐츠를 타 컨텐츠들과 구분하여 표시하는 과정을 포함을 특징으로 하는 디스플레이 장치의 컨텐츠 제어 방법.
  3. 제1항에 있어서,
    상기 포커싱 영역에 대한 이벤트가 발생하였는지 여부를 결정하는 과정과,
    상기 이벤트가 발생한 경우 상기 이벤트에 대응하는 동작을 수행하는 과정을 더 포함함을 특징으로 하는 디스플레이 장치의 컨텐츠 제어 방법.
  4. 제3항에 있어서,
    상기 포커싱 영역에 대한 이벤트가 발생하였는지 여부를 결정하는 과정은,
    상기 포커싱 영역을 줌 인 또는 줌 아웃시키기 위한 사용자 입력을 수신하였는지 여부를 판단하는 과정을 포함하고,
    상기 이벤트가 발생한 경우 상기 이벤트에 대응하는 동작을 수행하는 과정은,
    상기 포커싱 영역을 줌 인 또는 줌 아웃하여 표시하는 과정을 포함함을 특징으로 하는 디스플레이 장치의 컨텐츠 제어 방법.
  5. 제4항에 있어서,
    상기 포커싱 영역을 줌 인 또는 줌 아웃시키기 위한 사용자 입력은,
    상기 카메라 모듈, 상기 스크린 및 근접 센서 중 적어도 하나를 통하여 사용자로부터 입력됨을 특징으로 하는 디스플레이 장치의 컨텐츠 제어 방법.
  6. 제3항에 있어서,
    상기 포커싱 영역에 대한 이벤트가 발생하였는지 여부를 결정하는 과정은,
    상기 포커싱 영역을 중심으로 상기 스크린에 표시된 컨텐츠들을 상하 또는 좌우로 이동시키기 위한 사용자 입력을 수신하였는지 여부를 판단하는 과정을 포함하고,
    상기 이벤트가 발생한 경우 상기 이벤트에 대응하는 동작을 수행하는 과정은,
    상기 포커싱 영역을 중심으로 상기 컨텐츠들을 상하 또는 좌우로 이동시켜 표시하는 과정을 포함함을 특징으로 하는 디스플레이 장치의 컨텐츠 제어 방법.
  7. 제6항에 있어서,
    상기 포커싱 영역을 상하 또는 좌우로 이동시키기 위한 사용자 입력은,
    상기 카메라 모듈, 상기 스크린 및 근접 센서 중 적어도 하나를 통하여 사용자로부터 입력됨을 특징으로 하는 디스플레이 장치의 컨텐츠 제어 방법.
  8. 제3항에 있어서,
    상기 포커싱 영역에 대한 이벤트가 발생하였는지 여부를 결정하는 과정은,
    상기 포커싱 영역에 대응하는 명령어를 실행하기 위한 사용자 입력을 수신하였는지 여부를 판단하는 과정을 포함하고,
    상기 이벤트가 발생한 경우 상기 이벤트에 대응하는 동작을 수행하는 과정은,
    상기 포커싱 영역에 대응하는 명령어를 실행하여 표시하는 과정을 포함함을 특징으로 하는 디스플레이 장치의 컨텐츠 제어 방법.
  9. 제8항에 있어서,
    상기 포커싱 영역에 대응하는 명령어를 실행하기 위한 사용자 입력은,
    상기 카메라 모듈, 상기 스크린 및 근접 센서 중 적어도 하나를 통하여 사용자로부터 입력됨을 특징으로 하는 디스플레이 장치의 컨텐츠 제어 방법.
  10. 스크린을 통해 표시되는 컨텐츠를 제어하는 디스플레이 장치에 있어서,
    스크린과,
    상기 스크린에 컨텐츠들이 표시되면, 사용자의 눈(eye)을 촬영하여 눈 이미지를 생성하는 카메라 모듈과,
    상기 눈 이미지를 이용하여 상기 스크린 상에서의 상기 사용자의 응시 지점을 결정하고, 상기 응시 지점에 대응하는 상기 스크린 상에서의 좌표를 결정하며, 상기 컨텐츠들 중 상기 좌표에 대응하는 컨테츠를 포커싱 영역으로 결정하는 제어부를 포함함을 특징으로 하는 디스플레이 장치.
  11. 제10항에 있어서, 상기 제어부는,
    상기 좌표에 대응하는 컨텐츠를 타 컨텐츠들과 구분하여 표시하도록 상기 스크린을 제어함을 특징으로 하는 디스플레이 장치.
  12. 제10항에 있어서, 상기 제어부는,
    상기 포커싱 영역에 대한 이벤트가 발생하였는지 여부를 결정하고, 상기 이벤트가 발생한 경우 상기 이벤트에 대응하는 동작을 수행함을 특징으로 하는 디스플레이 장치.
  13. 제12항에 있어서,
    상기 포커싱 영역에 대한 이벤트는,
    상기 포커싱 영역을 줌 인 또는 줌 아웃시키기 위한 사용자 입력을 포함하고,
    상기 제어부는,
    상기 포커싱 영역을 줌 인 또는 줌 아웃시키기 위한 사용자 입력을 수신하면, 상기 포커싱 영역을 줌 인 또는 줌 아웃하여 표시하도록 상기 스크린을 제어함을 특징으로 하는 디스플레이 장치.
  14. 제13항에 있어서,
    상기 포커싱 영역을 줌 인 또는 줌 아웃시키기 위한 사용자 입력은,
    상기 카메라 모듈, 상기 스크린 및 근접 센서 중 적어도 하나를 통하여 사용자로부터 입력됨을 특징으로 하는 디스플레이 장치.
  15. 제12항에 있어서,
    상기 포커싱 영역에 대한 이벤트는,
    상기 포커싱 영역을 중심으로 상기 스크린에 표시된 컨텐츠들을 상하 또는 좌우로 이동시키기 위한 사용자 입력을 포함하고,
    상기 제어부는,
    상기 포커싱 영역을 중심으로 상기 스크린에 표시된 컨텐츠들을 상하 또는 좌우로 이동시키기 위한 사용자 입력을 수신하면, 상기 포커싱 영역을 중심으로 상기 컨텐츠들을 상하 또는 좌우로 이동시켜 표시하도록 상기 스크린을 제어함을 특징으로 하는 디스플레이 장치.
  16. 제15항에 있어서,
    상기 포커싱 영역을 줌 인 또는 줌 아웃시키기 위한 사용자 입력은,
    상기 카메라 모듈, 상기 스크린 및 근접 센서 중 적어도 하나를 통하여 사용자로부터 입력됨을 특징으로 하는 디스플레이 장치.
  17. 제12항에 있어서,
    상기 포커싱 영역에 대한 이벤트는,
    상기 포커싱 영역에 대응하는 명령어를 실행하기 위한 사용자 입력을 포함하고,
    상기 제어부는,
    상기 포커싱 영역에 대응하는 명령어를 실행하기 위한 사용자 입력을 수신하면, 상기 포커싱 영역에 대응하는 명령어를 실행하여 표시하도록 상기 스크린을 제어함을 특징으로 하는 디스플레이 장치.
  18. 제17항에 있어서,
    상기 포커싱 영역에 대응하는 명령어를 실행하기 위한 사용자 입력은,
    상기 카메라 모듈, 상기 스크린 및 근접 센서 중 적어도 하나를 통하여 사용자로부터 입력됨을 특징으로 하는 디스플레이 장치.
KR1020130016505A 2013-02-15 2013-02-15 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치 KR20140102952A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130016505A KR20140102952A (ko) 2013-02-15 2013-02-15 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130016505A KR20140102952A (ko) 2013-02-15 2013-02-15 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR20140102952A true KR20140102952A (ko) 2014-08-25

Family

ID=51747512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130016505A KR20140102952A (ko) 2013-02-15 2013-02-15 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR20140102952A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683756A (zh) * 2018-11-26 2019-04-26 平安科技（深圳）有限公司 一种图片处理方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683756A (zh) * 2018-11-26 2019-04-26 平安科技（深圳）有限公司 一种图片处理方法、装置、电子设备及存储介质
CN109683756B (zh) * 2018-11-26 2022-02-08 平安科技（深圳）有限公司 一种图片处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108499105B (zh) 在虚拟环境中进行视角调整的方法、装置及存储介质
CN112911182B (zh) 游戏互动方法、装置、终端及存储介质
KR102146244B1 (ko) 휴대 단말에 대한 동작 관련 입력에 따라 복수개의 객체들의 표시를 제어하는 방법 및 이를 위한 휴대 단말
US9582168B2 (en) Apparatus, method and computer readable recording medium for displaying thumbnail image of panoramic photo
US9323446B2 (en) Apparatus including a touch screen and screen change method thereof
US8648877B2 (en) Mobile terminal and operation method thereof
KR102031142B1 (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
US9454850B2 (en) Mobile communication terminal for providing augmented reality service and method of changing into augmented reality service screen
KR102198473B1 (ko) 이동단말기 및 그 제어방법
KR101815720B1 (ko) 진동 제어 방법 및 장치
KR20140079012A (ko) 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
KR20140111088A (ko) 문지르기 제스처를 검출하여 미리보기를 제공하는 모바일 장치 및 그 제어 방법
EP2864858B1 (en) Apparatus including a touch screen and screen change method thereof
KR20170059760A (ko) 이동단말기 및 그 제어방법
KR102009816B1 (ko) 화면 디스플레이 방법 및 장치
KR101672215B1 (ko) 휴대 단말기 및 그 동작 방법
KR20140110646A (ko) 사용자 단말 및 사용자 단말에서 화면 표시 방법
US10146342B2 (en) Apparatus and method for controlling operation of an electronic device
EP4125274A1 (en) Method and apparatus for playing videos
CN113301422B (zh) 获取视频封面的方法、终端及存储介质
KR20170008498A (ko) 전자기기 및 그 제어방법
KR20140102905A (ko) 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치
KR20140102952A (ko) 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치
KR102117450B1 (ko) 디스플레이 장치 및 그 제어 방법
KR20140113032A (ko) 휴대단말기의 표시화면을 표시하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application