KR20110054256A - Mobile terminal and method for controlling thereof - Google Patents
Mobile terminal and method for controlling thereof Download PDFInfo
- Publication number
- KR20110054256A KR20110054256A KR1020090110836A KR20090110836A KR20110054256A KR 20110054256 A KR20110054256 A KR 20110054256A KR 1020090110836 A KR1020090110836 A KR 1020090110836A KR 20090110836 A KR20090110836 A KR 20090110836A KR 20110054256 A KR20110054256 A KR 20110054256A
- Authority
- KR
- South Korea
- Prior art keywords
- specific
- dimensional object
- pointer
- mobile terminal
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
Abstract
Description
본 발명은 입체 사용자 인터페이스를 제공할 수 있는 이동 단말기에 관한 것이다. The present invention relates to a mobile terminal capable of providing a stereoscopic user interface.
단말기는 이동 가능 여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다. The terminal can move And can be divided into a mobile / portable terminal and a stationary terminal depending on whether the mobile terminal is a mobile terminal or a mobile terminal. The mobile terminal may be further classified into a handheld terminal and a vehicle mount terminal according to whether a user can directly carry it.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다. Such a terminal has various functions, for example, in the form of a multimedia device having multiple functions such as photographing and photographing of a moving picture, reproduction of a music or video file, reception of a game and broadcasting, etc. .
이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.In order to support and increase the function of such a terminal, it may be considered to improve the structural part and / or the software part of the terminal.
최근, 단말기의 디스플레이부에서 3차원 영상이 구현될 수 있게 됨에 따라, 보다 3차원 사용자 인터페이스를 통한 보다 편리한 조작 방법들이 요구되고 있는 실정이다.Recently, as a 3D image may be implemented in a display unit of a terminal, more convenient operation methods through a 3D user interface are required.
본 발명은 보다 편리한 입체 사용자 인터페이스를 제공하기 위한 것이다. The present invention is to provide a more convenient stereoscopic user interface.
또한, 본 발명은 가상의 3차원 공간에 배치되는 3차원 오브젝트를 이용하여 새로운 시각 효과를 제공하는 입체 사용자 인터페이스를 제공하기 위한 것이다.In addition, the present invention is to provide a three-dimensional user interface for providing a new visual effect by using a three-dimensional object disposed in a virtual three-dimensional space.
아울러, 본 발명은 가상의 3차원 공간에 배치되는 3차원 오브젝트를 편리하게 조작하는 방법을 제공하기 위한 것이다.In addition, the present invention is to provide a method for conveniently manipulating a three-dimensional object disposed in a virtual three-dimensional space.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. Technical problems to be achieved in the present invention are not limited to the above-mentioned technical problems, and other technical problems not mentioned above will be clearly understood by those skilled in the art from the following description. Could be.
상기한 과제를 실현하기 위한 본 발명의 일예와 관련된 이동 단말기는 사용자로부터 명령을 입력받기 위한 사용자 입력부; 제어부; 및 액정 디스플레이 및 상기 액정 디스플레이의 상면에 구비되어 상기 제어부의 제어에 따라 상기 액정 디스플레이로부터 발생되는 빛의 진행 방향 및 진동 방향 중 적어도 하나를 변경하기 위한 시차생성수단을 포함하는 디스플레이부를 포함할 수 있다.Mobile terminal according to an embodiment of the present invention for realizing the above object is a user input unit for receiving a command from the user; Control unit; And a display unit provided on an upper surface of the liquid crystal display and the liquid crystal display and including a parallax generating means for changing at least one of a traveling direction and a vibration direction of light generated from the liquid crystal display under the control of the controller. .
이때, 상기 제어부는 가상의 입체 공간 상에 소정 3차원 깊이(3D depth)를 갖는 적어도 하나의 3차원 오브젝트를 소정 형태로 배치하여 상기 사용자 입력부를 통한 사용자의 명령 입력에 따라 상기 적어도 하나의 3차원 오브젝트 각각의 위치 및 3차원 깊이 중 적어도 하나가 변경될 수 있는 제 1 입체 디스플레이를 생성하고, 상기 제 1 입체 디스플레이를 소정 시차를 갖는 좌안용 영상 및 우안용 영상으로 변환하여 상기 디스플레이부를 통하여 상기 좌안용 영상은 사용자의 좌안으로, 상기 우안용 영상은 사용자의 우안으로 도달하도록 상기 디스플레이부를 제어할 수 있다.In this case, the controller arranges at least one three-dimensional object having a predetermined three-dimensional depth in a virtual three-dimensional space in a predetermined form and according to the user's command input through the user input unit, the at least one three-dimensional object. A first stereoscopic display in which at least one of the position and three-dimensional depth of each object can be changed is generated, and the first stereoscopic display is converted into a left eye image and a right eye image having a predetermined parallax, and the left eye is displayed through the display unit. The user image may control the display unit to reach the left eye of the user and the right eye image to the right eye of the user.
상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 이동 단말기는 입체 사용자 인터페이스를 통하여 보다 편리하게 조작될 수 있다. The mobile terminal according to at least one embodiment of the present invention configured as described above may be more conveniently operated through a stereoscopic user interface.
또한, 본 발명에 따르면 3차원 공간에 배치되는 3차원 오브젝트를 이용한 입체 사용자 인터페이스가 제공되어 사용자는 새로운 시각효과와 함께 보다 편리하게 이동 단말기를 조작할 수 있다.In addition, according to the present invention, a three-dimensional user interface using a three-dimensional object disposed in a three-dimensional space is provided so that the user can operate the mobile terminal more conveniently with a new visual effect.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned above may be clearly understood by those skilled in the art from the following description. will be.
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. Hereinafter, a mobile terminal according to the present invention will be described in more detail with reference to the accompanying drawings. The suffixes "module" and "unit" for components used in the following description are given or used in consideration of ease of specification, and do not have distinct meanings or roles from each other.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.The mobile terminal described herein may include a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), navigation, and the like. However, it will be readily apparent to those skilled in the art that the configuration according to the embodiments described herein may also be applied to fixed terminals such as digital TVs, desktop computers, etc., except when applicable only to mobile terminals.
전체구성Overall configuration
도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.1 is a block diagram of a mobile terminal according to an embodiment of the present invention.
상기 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.The
이하, 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the components will be described in order.
무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 사이 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.The
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방 송 신호 및/또는 방송 관련된 정보를 수신한다. The
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다. The broadcast channel may include a satellite channel and a terrestrial channel. The broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal. The broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.The broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider. The broadcast related information may also be provided through a mobile communication network. In this case, it may be received by the
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.The broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모 듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.The
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.The broadcast signal and / or broadcast related information received through the
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. The
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.The short
위치정보 모듈(115)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.The
도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.Referring to FIG. 1, the A /
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.The
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. The
센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 이동 단말기(100)가 슬라이드 폰 형태인 경우 슬라 이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다. The
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 햅틱 모듈(154) 및 프로젝터 모듈(155) 등이 포함될 수 있다.The
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. The
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. The
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하 여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.Some of these displays can be configured to be transparent or light transmissive so that they can be seen from the outside. This may be referred to as a transparent display. A representative example of the transparent display is TOLED (Transparant OLED). The rear structure of the
이동 단말기(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다. There may be two or
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.When the
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. The touch sensor may be configured to convert a change in pressure applied to a specific portion of the
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.If there is a touch input to the touch sensor, the corresponding signal (s) is sent to the touch controller. The touch controller processes the signal (s) and then transmits the corresponding data to the
상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또 는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다. The
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.Examples of the proximity sensor include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor. When the touch screen is capacitive, the touch screen is configured to detect the proximity of the pointer by the change of the electric field according to the proximity of the pointer. In this case, the touch screen (touch sensor) may be classified as a proximity sensor.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.Hereinafter, for convenience of explanation, the act of allowing the pointer to be recognized without being in contact with the touch screen so that the pointer is located on the touch screen is referred to as a "proximity touch", and the touch The act of actually touching the pointer on the screen is called "contact touch." The position where the proximity touch is performed by the pointer on the touch screen refers to a position where the pointer is perpendicular to the touch screen when the pointer is in proximity proximity.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다. The proximity sensor detects a proximity touch and a proximity touch pattern (for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state). Information corresponding to the sensed proximity touch operation and proximity touch pattern may be output on the touch screen.
음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The
알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.The
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다. The
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다. In addition to vibration, the
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 휴대 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.The
프로젝터 모듈(155)은, 이동 단말기(100)를 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(180)의 제어 신호에 따라 디스플레이부(151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.The
구체적으로, 프로젝터 모듈(155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.Specifically, the
프로젝터 모듈(155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(151)의 소형화에 유리할 수 있다.The
바람직하게, 프로젝터 모듈(155)은, 이동 단말기(100)의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(155)은, 필요에 따라 이동 단말기(100)의 어느 위치에라도 구비될 수 있음은 당연하다.Preferably, the
메모리부(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리부(160)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 전화번호, 각 메시지, 각 멀티미디어에 대한 사용빈도)도 함께 저장될 수 있다. 또한, 상기 메모리부(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.The
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.The
인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다. The
식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다. The identification module is a chip that stores various types of information for authenticating the usage rights of the
상기 인터페이스부는 이동단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.The interface unit may be a passage through which power from the cradle is supplied to the
제어부(controller, 180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.The
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다. The
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.Various embodiments described herein may be implemented in a recording medium readable by a computer or similar device using, for example, software, hardware or a combination thereof.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.According to a hardware implementation, embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and the like. It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions. The described embodiments may be implemented by the
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.According to the software implementation, embodiments such as the procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein. Software code may be implemented in software applications written in a suitable programming language. The software code may be stored in the
기구 설명Organization description
도 2는 본 발명과 관련된 이동 단말기 또는 휴대 단말기의 일 예를 전면에서 바라본 사시도이다.2 is a front perspective view of an example of a mobile terminal or a mobile terminal according to the present invention;
개시된 휴대 단말기(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고, 2 이상의 바디들이 상대 이동 가능하게 결합되는 슬라이드 타입, 폴더 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용이 가능하다. The disclosed
바디는 외관을 이루는 케이스(케이싱, 하우징, 커버 등)를 포함한다. 본 실시예에서, 케이스는 프론트 케이스(101)와 리어 케이스(102)로 구분될 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 사이에 형성된 공간에는 각종 전자부품들이 내장된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 중간 케이스가 추가로 배치될 수도 있다.The body includes a casing (casing, housing, cover, etc.) that forms an exterior. In this embodiment, the case may be divided into a
케이스들은 합성수지를 사출하여 형성되거나 금속 재질, 예를 들어 스테인레스 스틸(STS) 또는 티타늄(Ti) 등과 같은 금속 재질을 갖도록 형성될 수도 있다.The cases may be formed by injecting synthetic resin or may be formed of a metal material, for example, a metal material such as stainless steel (STS) or titanium (Ti).
단말기 바디, 주로 프론트 케이스(101)에는 디스플레이부(151), 음향출력부(152), 카메라(121), 사용자 입력부(130/131,132), 마이크(122), 인터페이스(170) 등이 배치될 수 있다.The
디스플레이부(151)는 프론트 케이스(101)의 주면의 대부분을 차지한다. 디스 플레이부(151)의 양단부 중 일 단부에 인접한 영역에는 음향출력부(151)와 카메라(121)가 배치되고, 다른 단부에 인접한 영역에는 사용자 입력부(131)와 마이크(122)가 배치된다. 사용자 입력부(132)와 인터페이스(170) 등은 프론트 케이스(101) 및 리어 케이스(102)의 측면들에 배치될 수 있다.The
사용자 입력부(130)는 휴대 단말기(100)의 동작을 제어하기 위한 명령을 입력받기 위해 조작되는 것으로서, 복수의 조작 유닛들(131,132)을 포함할 수 있다. 조작 유닛들(131,132)은 조작부(manipulating portion)로도 통칭 될 수 있으며, 사용자가 촉각 적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.The
제1 또는 제2조작 유닛들(131, 132)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작 유닛(131)은 시작, 종료, 스크롤 등과 같은 명령을 입력받고, 제2 조작 유닛(132)은 음향출력부(152)에서 출력되는 음향의 크기 조절 또는 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력받을 수 있다.Content input by the first or
전면 터치Front touch
이하, 도 3을 참조하여 디스플레이부(151)와 터치 패드(135)의 서로 연관된 작동 방식에 대하여 살펴본다.Hereinafter, the operation of the
도 3은 본 발명과 관련된 휴대 단말기의 일 작동 상태를 설명하기 위한 휴대 단말기의 정면도이다.3 is a front view of a portable terminal for explaining an operation state of the portable terminal according to the present invention.
디스플레이부(151)에는 다양한 종류의 시각 정보들이 표시될 수 있다. 이들 정보들은 문자, 숫자, 기호, 그래픽, 또는 아이콘 등의 형태로 표시될 수 있다.Various types of time information can be displayed on the
이러한 정보의 입력을 위하여 상기 문자, 숫자, 기호, 그래픽 또는 아이콘 들 중 적어도 하나는 일정한 배열을 이루어 표시됨으로써 키패드의 형태로 구현될 수 있다. 이러한 키패드는 소위 '가상 키패드'(virtual keypad)라 불릴 수 있다. At least one of the letters, numbers, symbols, graphics, or icons may be displayed in a predetermined arrangement for inputting such information, thereby being implemented as a keypad. Such a keypad may be referred to as a so-called " virtual keypad ".
도 3은 단말기 바디의 전면을 통해 가상 키패드에 가해진 터치를 입력받는 것을 나타내고 있다. 3 illustrates receiving a touch applied to the virtual keypad through the front of the terminal body.
디스플레이부(151)는 전체 영역으로 작동되거나, 복수의 영역들로 나뉘어져 작동될 수 있다. 후자의 경우, 상기 복수의 영역들은 서로 연관되게 작동되도록 구성될 수 있다.The
예를 들어, 디스플레이부(151)의 상부와 하부에는 출력창(151a)과 입력창(151b)이 각각 표시된다. 출력창(151a)과 입력창(151b)은 각각 정보의 출력 또는 입력을 위해 할당되는 영역이다. 입력창(151b)에는 전화 번호 등의 입력을 위한 숫자가 표시된 가상 키패드(151c)가 출력된다. 가상 키패드(151c)가 터치되면, 터치된 가상 키패드에 대응되는 숫자 등이 출력창(151a)에 표시된다. 제1조작 유닛(131)이 조작되면 출력창(151a)에 표시된 전화번호에 대한 호 연결이 시도된다.For example, an
이상의 실시예들에 개시된 입력 방식뿐만 아니라, 디스플레이부(151) 또는 터치 패드(135)는 스크롤(scroll)에 의해 터치 입력받도록 구성될 수 있다. 사용자는 디스플레이부(151) 또는 터치 패드(135)를 스크롤 함으로써 디스플레이부(151)에 표시된 개체, 예를 들어 아이콘 등에 위치한 커서 또는 포인터를 이동시킬 수 있다. 나아가, 손가락을 디스플레이부(151) 또는 터치 패드(135) 상에서 이동시키 는 경우, 손가락이 움직이는 경로가 디스플레이부(151)에 시각적으로 표시될 수도 있다. 이는 디스플레이부(151)에 표시되는 이미지를 편집함에 유용할 것이다.In addition to the input methods disclosed in the above embodiments, the
디스플레이부(151)(터치 스크린) 및 터치 패드(135)가 일정 시간 범위 내에서 함께 터치되는 경우에 대응하여, 단말기의 일 기능이 실행될 수도 있다. 함께 터치되는 경우로는, 사용자가 엄지 및 검지를 이용하여 단말기 바디를 집는(clamping) 경우가 있을 수 있다. 상기 일 기능은, 예를 들어, 디스플레이부(151) 또는 터치 패드(135)에 대한 활성화 또는 비활성화 등이 있을 수 있다.One function of the terminal may be executed in response to a case where the display unit 151 (touch screen) and the touch pad 135 are touched together within a predetermined time range. In the case of being touched together, there may be a case where the user clamps the terminal body using the thumb and index finger. For example, the function may include activation or deactivation of the
근접 터치Proximity touch
도 1을 참조하여 설명한 근접 센서(141)에 대하여, 도 4를 참조하면서 보다 구체적으로 살펴본다.The
도 4는 근접 센서의 근접 깊이를 설명하기 위한 개념도이다.4 is a conceptual diagram illustrating a proximity depth of a proximity sensor.
도 4에 도시한 바와 같이 사용자의 손가락, 펜 등과 같은 포인터가 상기 터치스크린에 근접하는 경우, 상기 터치스크린 내부 또는 근방에 배치된 상기 근접센서(141)가 이를 감지하여 근접신호를 출력한다. As shown in FIG. 4, when a pointer such as a user's finger or pen approaches the touch screen, the
상기 근접 센서(141)는 상기 근접 터치되는 포인터와 상기 터치스크린 간의 거리(이하 "근접 깊이"라고 함)에 따라 서로 다른 근접 신호를 출력하도록 구성될 수 있다. The
도 4에서는 예컨대 3개의 근접 깊이를 감지할 수 있는 근접 센서가 배치된 터치스크린의 단면이 예시되고 있다. 3개 미만 또는 4개 이상의 근접 깊이를 감지하는 근접 센서도 가능함은 물론이다.In FIG. 4, for example, a cross section of a touch screen on which three proximity sensors capable of sensing three proximity depths is disposed is illustrated. Of course, proximity sensors that detect less than three or more than four proximity depths are also possible.
구체적으로 살펴보면, 상기 포인터가 상기 터치스크린 상에 완전히 접촉되는 경우(d0)에는 접촉 터치로 인식된다. 상기 포인터가 상기 터치스크린 상에서 d1 거리 미만으로 이격되어 위치하는 경우에는 제 1 근접 깊이의 근접 터치로 인식된다. 상기 포인터가 상기 터치스크린 상에서 d1 거리 이상 d2 거리 미만으로 이격되어 위치하는 경우에는 제 2 근접 깊이의 근접 터치로 인식된다. 상기 포인터가 상기 터치스크린 상에서 d2 거리 이상 d3 거리 미만으로 이격되어 위치하는 경우에는 제 3 근접 깊이의 근접 터치로 인식된다. 상기 포인터가 상기 터치스크린 상에서 d3 거리 이상으로 이격되어 위치하는 경우에는 근접 터치가 해제된 것으로 인식된다.Specifically, when the pointer is completely in contact with the touch screen (d 0 ), it is recognized as a touch touch. When the pointer is positioned below the distance d 1 on the touch screen, the pointer is recognized as a proximity touch of a first proximity depth. When the pointer is spaced apart from the distance d 1 or more and less than d 2 on the touch screen, the pointer is recognized as a proximity touch of a second proximity depth. When the pointer is spaced apart from the distance d 2 or more and less than d 3 on the touch screen, the pointer is recognized as a proximity touch of a third proximity depth. When the pointer is positioned at a distance of more than d 3 from the touch screen, the proximity touch is recognized as released.
따라서, 상기 제어부(180)는 상기 포인터의 근접 깊이 및 근접 위치 등에 따라 상기 근접 터치를 다양한 입력 신호로 인식할 수 있고, 상기 다양한 입력 신호에 따른 다양한 동작 제어를 수행할 수 있다. Accordingly, the
한편, 디스플레이부에서 특정 오브젝트를 가리키거나 메뉴를 선택하기 위한 화살표 또는 손가락 형태의 그래픽은 포인터(pointer) 또는 커서(cursor)로 호칭된다. 그러나, 포인터의 경우 터치 조작 등을 위한 손가락이나 스타일러스 펜 등을 의미하는 것으로 혼용되는 경우가 많다. 따라서 본 명세서에서는 이 둘을 명확히 구분하기 위하여 디스플레이부에 표시되는 그래픽을 커서라 칭하고, 손가락이나 스타일러스 펜과 같이 터치, 근접터치, 제스쳐(gesture)를 수행할 수 있는 물리적 수단을 포인터라 칭한다.Meanwhile, a graphic in the form of an arrow or a finger for pointing a specific object or selecting a menu on the display unit is called a pointer or a cursor. However, the pointer is often used interchangeably to mean a finger, a stylus pen, or the like for a touch operation. Therefore, in the present specification, the graphic displayed on the display unit is referred to as a cursor to clearly distinguish the two, and a physical means for performing touch, proximity touch, and gesture such as a finger or a stylus pen is called a pointer.
이하, 본 발명의 실시예들에서 적용될 수 있는 이동 단말기의 3차원 영상 표 현 방법 및 그를 위한 디스플레이부의 구조를 설명한다.Hereinafter, a method of expressing a 3D image of a mobile terminal and a display unit therefor that can be applied in embodiments of the present invention will be described.
이동 단말기의 디스플레이부(151) 상으로 구현되는 입체 영상은 크게 두 가지 카테고리로 구분될 수 있다. 이러한 구분의 기준은, 양안에 서로 다른 영상이 제공되는지 여부이다. Stereoscopic images implemented on the
먼저, 첫 번째 입체 영상 카테고리를 설명한다.First, the first stereoscopic image category will be described.
첫 번째 카테고리는 양안에 동일한 영상이 제공되는 방식(monoscopic)으로, 일반적인 디스플레이부로도 구현이 가능하다는 장점이 있다. 보다 상세히는, 제어부(180)가 가상의 입체공간 상에 하나 이상의 점, 선, 면 또는 그들의 조합을 통하여 생성된 다면체를 배치하고, 그를 특정 시점에서 바라본 영상을 디스플레이부(151) 상으로 디스플레이되도록 하는 방법이다. 따라서, 이러한 입체 영상의 실질은 평면 영상이라 할 수 있다.The first category is a method in which the same image is provided in both eyes (monoscopic), which can be implemented as a general display unit. More specifically, the
두 번째 카테고리는 양안에 서로 다른 영상이 제공되는 방식(stereo scopic)으로, 인간이 육안으로 사물을 볼 때 입체감을 느끼는 원리를 이용한 방법이다. 즉, 사람의 두 눈은 서로 간에 이루는 거리에 의해 동일한 사물을 볼때 서로 다른 평면 영상을 보게 된다. 이러한 서로 다른 평면 영상은 망막을 통하여 뇌로 전달되고, 뇌는 이를 융합하여 입체 영상의 깊이(depth) 및 실제감(reality)을 느끼게 된다. 따라서, 사람마다 다소간의 차이는 있으나, 양안이 서로 이루는 거리에 의한 양안시차(binocular disparity)가 입체감을 느끼게 하며, 이러한 양안시차는 두 번째 카테고리의 가장 중요한 요소가 되는 것이다. 이러한 양안시차를 도 5를 참조하여 보다 구체적인 예로 설명한다.The second category is a method in which different images are provided in both eyes (stereoscopic), and a method using the principle of feeling a three-dimensional feeling when a human sees an object with the naked eye. That is, two eyes of a person see different plane images when viewing the same object by the distance between them. These different planar images are delivered to the brain through the retina, and the brain fuses them to feel the depth and reality of the stereoscopic image. Therefore, although there are some differences between people, binocular disparity due to the distance between the two eyes makes a sense of three-dimensional feeling, and such binocular disparity becomes the most important element of the second category. Such binocular disparity will be described in more detail with reference to FIG. 5.
도 5는 양안시차의 원리를 설명하기 위한 개념도이다.5 is a conceptual diagram for explaining the principle of binocular disparity.
도 5에서는, 육면체(510)를 눈높이보다 아래의 정면에 두고 육안으로 보는 상황을 가정한다. 이러한 경우, 좌안으로는 육면체(510)의 윗면, 정면 및 좌측면의 3면 만이 보이는 좌안 평면영상(520)이 보이게 된다. 또한, 우안으로는 육면체(510)의 윗면, 정면 및 우측면의 3면 만이 보이는 우안 평면영상(530)이 보이게 된다.In FIG. 5, it is assumed that the
만약, 실제 눈 앞의 사물이 아니더라도 좌안에는 좌안 평면영상(520)이, 우안에는 우안 평면영상(530)이 각각 도달되도록 하면 사람은 실제로 육면체(510)를 보는 것과 같이 느낄 수 있다.If the left
결국, 이동 단말기에서 두 번째 카테고리의 입체 영상이 구현되기 위해서는 디스플레이부를 통하여, 동일한 오브젝트를 일정 시차를 두고 본 좌안용 영상과 우안용 영상 각각을 구분하여 양안에 도달시켜야 하는 것이다.As a result, in order to implement the stereoscopic image of the second category in the mobile terminal, the left eye image and the right eye image, which have been viewed with the same object at a predetermined time, must be separated and reached through the display unit.
본 명세서에서는 상술한 두 카테고리를 구분하기 위하여, 편의상 첫 번째 카테고리의 입체 영상을 "2D 입체영상"이라 칭하고, 두 번째 카테고리의 입체 영상을 "3D 입체영상"이라 칭한다.In the present specification, in order to distinguish the above two categories, for convenience, a stereoscopic image of the first category is referred to as a "2D stereoscopic image", and a stereoscopic image of the second category is referred to as a "3D stereoscopic image".
다음으로, 3D 입체영상의 구현 방법을 설명한다.Next, an implementation method of the 3D stereoscopic image will be described.
상술한 바와 같이, 3D 입체영상이 구현되기 위해서는 우안용 영상과 좌안용 영상이 각각 구분되어 양안에 도달될 필요가 있다. 이를 위한 다양한 방법들을 이하 설명한다.As described above, in order to implement a 3D stereoscopic image, the right eye image and the left eye image need to be divided and reached to both eyes. Various methods for this will be described below.
1) 시차 장벽 방식1) parallax barrier method
시야 장벽(parrallax barrier) 방식은 일반적인 디스플레이부와 양안 사이에 구비되는 차단장치를 전자적으로 구동하여 빛의 진행방향을 제어하는 방법으로 양안에 서로 다른 영상이 도달되도록 하는 방식이다. The parallax barrier method is a method of controlling a light propagation direction by electronically driving a blocking device provided between a general display unit and both eyes so that different images may be reached in both eyes.
이를 도 6을 참조하여 설명한다. This will be described with reference to FIG. 6.
도 6은 본 발명의 실시예들에 적용될 수 있는 시야 장벽 방식의 디스플레이부에서 3D 입체영상이 구현되는 방식을 나타내는 개념도이다. FIG. 6 is a conceptual diagram illustrating a method of implementing 3D stereoscopic image in a display barrier type display unit applicable to embodiments of the present invention.
3D 입체영상을 표시하기 위한 시야 장벽 방식의 디스플레이부(151)의 구조는, 일반적인 디스플레이 장치(151a)에 스위치 액정(151b)을 조합하는 구성을 가질 수 있다. 스위치 액정(151b)을 이용하여 도 6의 (a)와 같이 광학 시차 장벽(600)을 작동시켜 광의 진행 방향을 제어하여 좌우의 눈에 각기 다른 광이 도달하도록 분리할 수 있다. 때문에 우안용 화상과 좌안용 화상이 조합된 화상이 디스플레이 장치(151a)에 표시되는 경우 사용자의 입장에서는 각각의 눈에 대응한 화상이 보여 마치 입체로 표시된 것처럼 느끼게 된다. The structure of the display barrier
또한, 도 6의 (b)와 같이 스위치 액정에 의한 시차 장벽(600)을 전기적으로 제어하여 광이 전부 투과되도록 함으로써, 시차 장벽에 의한 광의 분리를 없애 좌우의 눈에 같은 화상이 보일 수 있도록 할 수도 있다. 이러한 경우 일반적인 디스플레이부와 동일한 기능을 할 수 있다.In addition, as shown in FIG. 6B, the
도 6에서는 시차장벽이 하나의 축 방향으로 평행이동 하는 것을 예시하였으나, 본 발명은 이에 제한되지 아니하고 제어부(180)의 제어신호에 따라 둘 이상의 축 방향으로도 평행이동 할 수 있는 시차 장벽이 사용될 수 있다.6 illustrates that the parallax barrier moves in parallel in one axial direction, but the present invention is not limited thereto, and a parallax barrier capable of moving in parallel in two or more axial directions according to a control signal of the
2) 렌즈 굴절 방식2) Lens Refraction Method
렌즈 굴절 방식(lenticular)은, 디스플레이부와 양안 사이에 구비되는 렌티큘러 스크린을 이용하는 방법으로, 빛의 진행방향을 렌티큘러 스크린 상의 렌즈들을 통하여 굴절시키는 방법으로 양안에 서로 다른 영상이 도달되도록 하는 방법이다. The lens refraction method (lenticular) is a method using a lenticular screen provided between the display unit and both eyes, and is a method of reaching different images in both eyes by refracting the traveling direction of light through the lenses on the lenticular screen.
3) 편광 안경 방식3) polarized glasses
편광 방향이 서로 직각을 이루도록 하여 양안에 서로 다른 영상을 제공하거나, 원평광 방식인 경우 서로 회전방향이 다르도록 편광시켜 양안에 서로 다른 영상을 제공하는 방법이다.It is a method of providing different images in both eyes by making the polarization directions perpendicular to each other, or providing different images in both eyes by polarizing them so that the rotation directions are different from each other in the case of circular light.
4) 액티브 셔터 방식4) Active Shutter Method
안경 방식의 일종으로, 디스플레이부를 통하여 소정 주기로 우안용 영상과 좌안용 영상을 번갈아 표시되도록 하고, 사용자의 안경은 해당 방향의 영상이 표시될 때 반대편 방향의 셔터를 닫아 해당 방향의 영상이 해당 방향의 안구에 도달하도록 하는 방법이다. 즉, 좌안용 영상이 디스플레이되는 시간 동안에는 우안의 셔터를 닫아 좌안에만 좌안용 영상이 도달되도록 하고, 우안용 영상이 디스플레이되는 시간 동안에는 좌안의 셔터를 닫아 우안에만 우안용 영상이 도달되도록 하는 방법이다.As a type of glasses, the right eye image and the left eye image are alternately displayed at predetermined intervals through the display unit, and the user's glasses close the shutter in the opposite direction when the image in the corresponding direction is displayed, so that the image in the corresponding direction is displayed in the corresponding direction. How to reach the eye. That is, the left eye image only reaches the left eye while the left eye image is displayed, and the left eye image reaches the right eye only while the right eye image is displayed.
설명의 편의를 위하여, 이하에서 언급되는 이동 단말기는 도 1에 도시된 구성요소들 중 적어도 하나를 포함한다고 가정한다. 특히, 본 발명이 적용 가능한 이 동 단말기는 상술한 3D 입체영상 구현 방식들 중 적어도 하나의 방법을 통하여 3D 입체영상을 사용자에게 제공할 수 있는 디스플레이부를 구비한다.For convenience of description, it is assumed that the mobile terminal mentioned below includes at least one of the components shown in FIG. 1. In particular, the mobile terminal to which the present invention is applicable includes a display unit capable of providing a 3D stereoscopic image to a user through at least one of the aforementioned 3D stereoscopic image implementation methods.
제 1 First 실시예Example
본 발명의 제 1 실시예에 따른 이동 단말기는 가상의 입체 공간 상에 적어도 하나의 3차원 오브젝트를 표시하고, 이를 다양한 방법으로 조작할 수 있는 입체 사용자 인터페이스를 제공할 수 있다.The mobile terminal according to the first embodiment of the present invention may provide a stereoscopic user interface capable of displaying at least one three-dimensional object in a virtual three-dimensional space and manipulating it in various ways.
도 7은 본 발명의 일 실시예에 따른 이동 단말기에서 구현될 수 있는 입체 사용자 인터페이스에서 3차원 오브젝트를 선택하는 방법의 일례를 나타낸다.7 illustrates an example of a method of selecting a 3D object in a stereoscopic user interface that may be implemented in a mobile terminal according to an embodiment of the present invention.
도 7을 포함한 이하의 디스플레이 상태도들은 도면의 표현 한계로 평면 영상으로 도시되나, 상술한 3D 입체영상 구현 방식으로 사용자에게 제공되는 입체영상을 나타내는 것으로 가정한다.Although the following display state diagrams including FIG. 7 are shown as planar images due to the limitation of the drawing, it is assumed that the 3D stereoscopic image is provided to the user in the above-described 3D stereoscopic image implementation manner.
도 7에서는 레이어 0(L0) 부터 레이어 2(L2)까지 총 3개의 가상 레이어들이 입체 공간상에서 소정 간격을 두고 적층된 형태로 배치될 수 있다. 보다 구체적으로, L1은 L0으로부터 d1 간격 만큼 이격되어 배치되고 L2는 L0으로부터 d2 간격 만큼 이격되어 배치된다. 또한, 상기 레이어들의 배치는 L2에서 L0 방향으로 갈 수록 디스플레이부 방향으로 가까워지며, L0에서 L2 방향으로 갈 수록 사용자 방향으로 가까워진다.In FIG. 7, a total of three virtual layers from layer 0 (L0) to layer 2 (L2) may be arranged in a stacked form at a predetermined interval in the three-dimensional space. More specifically, L1 is spaced apart from L0 by a distance d1 and L2 is spaced apart from L0 by a distance d2. In addition, the arrangement of the layers is closer to the display unit as the L2 to L0 direction, and closer to the user direction from the L0 to L2 direction.
이때, 이러한 가상 레이어 상에 3차원 오브젝트들이 배치될 수 있다. In this case, 3D objects may be disposed on the virtual layer.
도 7a에서는 L2와 L1 상에 3차원 오브젝트로 각각 하나씩의 큐브(700, 720)가 배치된 경우를 가정한다. 여기서, 레이어들의 구분은 3차원 오브젝트가 배치된 3D 깊이(depth)를 나타내기 위한 것으로 실제 상기 3차원 오브젝트의 배치 상태가 디스플레이부(151)를 통하여 3D 입체영상으로 구현될 때, 레이어들의 구분은 사용자에게 보이지 않게 할 수 있다.In FIG. 7A, it is assumed that one
사용자의 시점에서 L2 상에 위치한 3차원 오브젝트(700)가 가장 상부에 배치되어 사용자에게 가깝게 느껴지게 된다. 또한, L1 상에 위치한 3차원 오브젝트(720)는 L2 상에 위치한 3차원 오브젝트(700)보다 배치 높이가 (d2-d1)만큼 낮아 사용자로부터 멀게 느껴지게 된다. 이때 L2 상에 위치한 3차원 오브젝트(700)는 L1 상에 위치한 3차원 오브젝트(720)보다 낮은 3차원 깊이(3D depth)를 갖는다고 할 수 있다.At the user's point of view, the three-
이러한 3차원 오브젝트들은 사용자 입력부를 통한 소정의 명령 입력을 통하여 배치 위치 및/또는 3차원 깊이가 변경될 수 있다. 레이어 오브젝트들을 조작하기 위한 명령 입력은 포인터의 위치를 촬영하기 위한 카메라(121), 포인터의 근접 거리를 인식하기 위한 근접 센서(140), 접촉 터치 및 근접 터치를 구분하여 인식할 수 있는 터치스크린(151) 등을 통하여 수행될 수 있다. These three-dimensional objects can be changed in the placement position and / or three-dimensional depth through a predetermined command input through the user input unit. The command input for manipulating the layer objects may include a
이때, 카메라(121)가 이용되는 경우에는, 이동 단말기 본체 상에서 본 발명에 따른 입체 사용자 인터페이스가 구현되는 디스플레이(151)부와 동일한 평면 상에서 포인터를 촬영할 수 있는 방향을 향하여 배치되는 것이 바람직하다. 제어부(180)는 카메라(121)를 통하여 촬영된 영상에서 포인터의 위치를 인식하는 방법으로 포인터의 위치 및/또는 이동 패턴을 그에 대응되는 사용자의 명령 입력으로 인식할 수 있다.In this case, when the
먼저 도 7b를 참조하여 복수의 3차원 오브젝트가 본 발명에 따른 입체 사용자 인터페이스를 통해 표시될 때, 어느 하나의 3차원 오브젝트를 선택하는 방법을 설명한다.First, a method of selecting one three-dimensional object when a plurality of three-dimensional objects are displayed through the stereoscopic user interface according to the present invention will be described with reference to FIG. 7B.
도 7b에서는 도 7의 (a)와 동일한 상황을 가정한다. 이때, 사용자는 L1 상에 위치한 3차원 오브젝트(720)를 포인터, 즉, 손으로 터치(근접 터치)함으로써 해당 3차원 오브젝트(720)를 선택할 수 있다. 이때, 선택 과정상의 오작동을 막기 위하여 손이 일정 시간 이상 해당 3차원 오브젝트를 터치하는 경우에만 선택된 것으로 이동 단말기에 인식되도록 할 수 있다. 이동 단말기가 이를 인식하기 위해서는 근접센서(140), 카메라(121), 터치스크린(151)을 통한 포인터의 위치 파악이 요구됨은 상술한 바와 같다.In FIG. 7B, the same situation as in FIG. 7A is assumed. In this case, the user may select the
도 7을 참조하여 설명한 오브젝트 선택방법은 둘 이상의 3차원 오브젝트가 3차원 깊이만 달리하여 적어도 일부가 겹쳐진 상태로 배치될 때 선택상의 문제가 발생할 수 있다. 이를 도 8을 참조하여 설명한다.In the object selection method described with reference to FIG. 7, a selection problem may occur when two or more three-dimensional objects are arranged in a state where at least some of them overlap each other by only three-dimensional depths. This will be described with reference to FIG. 8.
도 8은 본 발명의 일 실시예에 따른 이동 단말기에서 구현될 수 있는 입체사용자 인터페이스에서 3차원 오브젝트를 선택하는 방법의 일례를 나타낸다.8 illustrates an example of a method of selecting a 3D object in a stereoscopic user interface that may be implemented in a mobile terminal according to an embodiment of the present invention.
도 8a를 참조하면, 두 3차원 오브젝트들(800, 820)이 배치된 3차원 깊이(즉, 레이어)는 상이하나, 사용자의 시점에서는 L2에 배치된 3차원 오브젝트(800)의 우측면과 L1에 배치된 3차원 오브젝트의 좌측면(820)이 서로 인접하여 배치된다. 그에 따라, 도 7을 참조하여 설명한 3차원 오브젝트 선택방법이 적용될 경우 두 3차원 오브젝트가 서로 인접한 영역에서 오작동이 발생할 수 있다. Referring to FIG. 8A, the three-dimensional depths (ie, layers) in which the two three-
이러한 오작동을 방지하기 위하여 본 발명의 일 실시예에서는 근접 깊이를 이용한 오브젝트 선택 방법을 제안한다. 이를 도 8b를 참조하여 설명하면, 이동 단말기에 사용자의 근접터치를 적어도 둘의 단계로 구분하여 인식하는 터치스크린(151)이 구비될 수 있다. 이때, d0 거리(즉, 접촉터치)를 L0에 대응시키고, d1에서 d2 사이의 구간을 L1에 대응시키며, d2 이후의 거리를 L2에 대응시킬 수 있다.In order to prevent such a malfunction, an embodiment of the present invention proposes an object selection method using a proximity depth. Referring to FIG. 8B, the mobile terminal may be provided with a
그에 따라, 사용자의 시점에서 서로 인접하게 배치된 3차원 오브젝트들 중 어느 하나를 선택함에 있어 근접 터치의 깊이를 달리함으로써 오작동을 방지하고 원하는 레이어의 3차원 오브젝트만이 선택되도록 할 수 있다. 물론, 이러한 선택 방법에서도 해당 오브젝트가 배치된 레이어에 대응되는 근접 깊이로 포인터가 이동하는 과정 상의 오작동을 방지하기 위하여, 포인터가 해당 오브젝트를 일정시간 이상 가리키는 경우에만 선택이 수행되도록 할 수 있다. Accordingly, in selecting one of the three-dimensional objects disposed adjacent to each other at the user's point of view, by varying the depth of the proximity touch, it is possible to prevent a malfunction and to select only the three-dimensional objects of the desired layer. Of course, even in such a selection method, in order to prevent a malfunction in the process of moving the pointer to a proximity depth corresponding to the layer on which the object is disposed, the selection may be performed only when the pointer points to the object for a predetermined time or more.
제 2 2nd 실시예Example
다음으로, 본 발명의 다른 실시예로서 3차원 오브젝트를 선택한 후, 그를 조작하는 방법들을 설명한다.Next, as another embodiment of the present invention, a method of selecting a 3D object and manipulating the same will be described.
도 9는 본 발명의 다른 실시예에 따른 이동 단말기에서 구현될 수 있는 입체 사용자 인터페이스에서 3차원 오브젝트를 선택하고 조작하는 방법의 일례를 나타낸다.9 illustrates an example of a method of selecting and manipulating a 3D object in a stereoscopic user interface that may be implemented in a mobile terminal according to another embodiment of the present invention.
도 9a를 참조하면, 소정의 3차원 깊이를 갖는 레이어 상에 입체화된 '1' 형태의 3차원 오브젝트(900)가 본 발명에 따른 입체 사용자 인터페이스를 통해 표시된다.Referring to FIG. 9A, a three-
이때, 도 9b와 같이 사용자가 포인터(여기서는 손가락)를 3차원 오브젝트(900)로 가져가면, 해당 오브젝트가 선택되었음을 나타내기 위하여 소정의 시각효과가 부여될 수 있다. 이러한 시각 효과의 일례로, 도 9c와 같이 색상 또는 3차원 오브젝트 표면의 텍스쳐(texture)의 패턴이 변경될 수 있다. 도 9c의 시각효과는 예시적인 것으로, 본 발명의 시각효과는 이에 한정되지 아니하고 점멸, 크기변화 및 적어도 일부의 형태변화 등을 포함하는 다양한 효과가 선택됨을 알리기 위해 3차원 오브젝트에 부여될 수 있다.In this case, as shown in FIG. 9B, when the user moves the pointer (the finger here) to the
사용자는 해당 3차원 오브젝트가 선택된 상태에서 도 9d와 같이 손가락을 이동시킴에 따라, 제어부(180)는 해당 오브젝트(900)가 손가락의 움직임에 상응하여 움직이도록 제어할 수 있다.As the user moves the finger as shown in FIG. 9D while the corresponding 3D object is selected, the
만일, 특정 3차원 오브젝트의 선택에 있어 소정 시간 이상 포인터에 의해 지시될 것이 요구되는 경우에는, 선택된 오브젝트의 선택 해제에는 그 반대 방법이 사용될 수 있다. 예를 들어, 특정 3차원 오브젝트를 2초 이상 포인터로 가리키는 경우에 선택이 수행된다면, 선택 상태의 해제는 포인터가 동일 지점에서 2초 이상 머무를 때 수행되도록 할 수 있다.If the selection of a particular three-dimensional object is required to be indicated by a pointer for a predetermined time or more, the reverse method may be used to deselect the selected object. For example, if the selection is performed when a particular three-dimensional object is pointed at the pointer for two seconds or more, the release of the selection state may be performed when the pointer stays at the same point for two seconds or more.
도 10은 본 발명의 다른 실시예에 따른 이동 단말기에서 구현될 수 있는 입체 사용자 인터페이스에서 3차원 오브젝트를 선택하고 조작하는 방법의 다른 일례를 나타낸다.10 illustrates another example of a method of selecting and manipulating a 3D object in a stereoscopic user interface that may be implemented in a mobile terminal according to another embodiment of the present invention.
도 10을 포함한 이하의 실시예들에서는 오브젝트의 선택을 손가락 등의 포인터를 이용한 제스쳐를 통하여도 수행되도록 할 것을 제안한다. 이를 인식하기 위해 서는, 이동 단말기에 본 발명에 따른 입체 사용자 인터페이스가 구현되는 디스플레이부(151) 상에서 움직이는 포인터를 촬영할 수 있는 위치에 카메라(121)가 구비되거나, 멀티 터치(동시에 둘 이상의 지점에 가해지는 터치 입력)를 인식할 수 있는 터치스크린이 구비되는 것이 바람직하다. 그에 따라, 제어부(180)는 상기 카메라(121) 또는 터치스크린을 통해 사용자의 손의 위치 및 사용자가 클램핑(clamping, 둘 이상의 손가락으로 오브젝트를 집는 동작) 제스쳐를 취하고 있는지 여부를 판단할 수 있다.In the following embodiments including FIG. 10, it is proposed to select an object to be performed through a gesture using a pointer such as a finger. To recognize this, the
먼저, 도 10a를 참조하면, 도 9에서와 같이 본 발명에 따른 입체 사용자 인터페이스 상에서 입체화된 '1' 형태가 3차원 오브젝트(1000)로 표시된다. 여기서 사용자가 상기 3차원 오브젝트(1000)에 손을 가져가도 해당 3차원 오브젝트는 선택되지 않는다. 이때, 도 10b와 같이 사용자가 3차원 오브젝트(1000)를 집는(clamping) 제스쳐를 취하게 되면 제어부(180)는 이를 해당 오브젝트(1000)의 선택으로 인식할 수 있으며, 그에 따른 소정의 시각효과가 해당 오브젝트에 부여될 수 있다. First, referring to FIG. 10A, a three-dimensional '1' shape is displayed as a
클램핑 제스쳐를 통하여 해당 오브젝트(1000)가 선택된 상태에서 사용자가 클램핑 제스쳐를 유지한 상태로 손을 이동시킴에 따라, 선택된 오브젝트(1000)가 손의 이동에 상응하여 움직일 수 있다. 사용자는 해당 3차원 오브젝트에 대한 조작이 끝난 경우, 선택 상태를 해제하기 위하여 클램핑 제스쳐 상태를 해제할 수 있고, 그에 따라 도 10d와 같이 선택이 해제되어 해당 3차원 오브젝트(1000)에 부여된 시각효과가 제거될 수 있다.As the user moves the hand while holding the clamping gesture while the
도 11은 본 발명의 다른 실시예에 따른 이동 단말기에서 구현될 수 있는 입체 사용자 인터페이스에서 3차원 오브젝트를 선택하고 조작하는 방법의 또 다른 일례를 나타낸다.11 illustrates another example of a method of selecting and manipulating a 3D object in a stereoscopic user interface that may be implemented in a mobile terminal according to another embodiment of the present invention.
도 11a를 참조하면, 사각 기둥 형태의 3차원 오브젝트(1100)가 이동 단말기의 디스플레이부 상에서 본 발명에 따른 입체 사용자 인터페이스를 통하여 표시될 수 있다. 여기서, 사용자가 포인터(즉, 손가락)로 상기 3차원 오브젝트(1100)의 좌측 상부를 미는 제스쳐를 취하는 경우 제어부(180)는 상기 3차원 오브젝트(1100)가 도 11b와 같이 중심축(1110)을 기준으로 회전하도록 할 수 있다. 이때, 제어부(180)는 상기 회전의 정도를 미는 제스쳐의 속도 및 상기 중심축(1100)으로부터 이격된 거리에 대응하여 결정되도록 제어할 수 있다. 즉, 중심축(1100)과 미는 점이 멀 수록 회전의 정도가 커지고, 가까울 수록 회전의 정도가 적어질 수 있다. 또한, 미는 제스쳐의 속도가 빠를 수록 회전의 정도가 커지고, 느릴 수록 회전의 정도가 적어질 수 있다.Referring to FIG. 11A, a
만일, 미는 제스쳐(포인터의 직진)가 아닌 손가락 끝으로 3차원 오브젝트를 튕기는(flicking) 제스쳐를 취하는 경우, 제어부(180)는 해당 3차원 오브젝트에 회전 효과와 함께 튕긴 방향으로 이동하도록 할 수 있다.If the gesture is to flick the 3D object with the fingertip instead of the pushing gesture (the straightness of the pointer), the
이하에서는, 상술한 3차원 오브젝트 조작방법이 이동 단말기에 적용되는 구체적인 예를 설명한다.Hereinafter, a specific example in which the above-described three-dimensional object manipulation method is applied to a mobile terminal will be described.
도 12는 본 발명의 다른 실시예에 따른 입체 사용자 인터페이스 상에서 구현되는 전자 도서 열람화면을 나타내는 디스플레이 상태도이다.12 is a display state diagram illustrating an e-book reading screen implemented on a stereoscopic user interface according to another embodiment of the present invention.
도 12의 (a)를 참조하면, 본 발명에 따른 입체 사용자 인터페이스가 구현될 수 있는 디스플레이부를 통해 전자 도서 어플리케이션이 실행된다. 이때, 사용자가 다음 페이지로 이동하기 위하여 전자 도서의 우측 하단에 클램핑 제스쳐를 취할 수 있다. 그에 따라, 도 12의 (b)와 같이 사용자가 클램핑 제스쳐를 유지한 상태로 손을 좌측으로 이동함에 따라 페이지가 넘어가는 동작이 수행될 수 있다.Referring to FIG. 12A, an e-book application is executed through a display unit on which a stereoscopic user interface according to the present invention can be implemented. In this case, the user may take a clamping gesture on the lower right side of the e-book to move to the next page. Accordingly, as shown in FIG. 12B, as the user moves his hand to the left while maintaining the clamping gesture, the page turning operation may be performed.
도 13은 본 발명의 다른 실시예에 따른 입체 사용자 인터페이스 상에서 구현되는 보드 게임을 나타내는 디스플레이 상태도들이다.13 is a display state diagram illustrating a board game implemented on a stereoscopic user interface according to another embodiment of the present invention.
먼저 도 13a를 참조하면, 이동 단말기의 디스플레이부 상에서 본 발명에 따른 입체 사용자 인터페이스를 통해 보드 게임이 실행된다. 여기서, 보드 게임의 말판은 소정 3차원 깊이를 갖는 레이어 상에 표시되며, 게임에 사용되는 말들이 3차원 오브젝트로 표시될 수 있다. First, referring to FIG. 13A, a board game is executed on a display unit of a mobile terminal through a stereoscopic user interface according to the present invention. Here, the board of the board game is displayed on a layer having a predetermined 3D depth, and the words used in the game may be displayed as a 3D object.
이때, 사용자는 자신의 말(1300)을 이동시키기 위하여 손을 말(1300)로 가져간 후, 도 13b와 같이 클램핑 제스쳐를 통하여 말(1300)을 선택할 수 있으며, 선택된 말에는 선택됨을 알리는 소정의 시각효과가 부여될 수 있다. 사용자는 클램핑 제스쳐 상태를 유지한 채로 손을 이동하여 도 13c와 같이 희망 위치에 말(1300)을 이동시킨 후, 도 13d와 같이 클램핑 제스쳐 상태를 해제함으로써 해당 말(1300)에 대한 선택 상태를 해제할 수 있다. At this time, the user takes his hand to the
물론, 이러한 보드 게임을 조작하기 위하여 도 7을 참조하여 설명한 것과 같은 방법이 사용될 수도 있다. 즉, 사용자의 포인터가 특정 말(조작 대상)을 소정 시간 이상 지시하면 말이 선택되고, 말이 선택된 상태에서 포인터가 소정 시간 이 상 동일 지점에 머무르는 경우 선택이 해제되도록 할 수도 있다.Of course, the same method as described with reference to FIG. 7 may be used to operate such a board game. That is, when the user's pointer indicates a specific horse (manipulation target) for a predetermined time or more, the horse is selected, and when the pointer stays at the same point for more than a predetermined time while the horse is selected, the selection may be released.
도 14는 본 발명의 다른 실시예에 따른 입체 사용자 인터페이스 상에서 구현되는 선물 상자 기능을 나타내는 디스플레이 상태도이다.14 is a display state diagram illustrating a gift box function implemented on a stereoscopic user interface according to another embodiment of the present invention.
먼저 도 14의 (a)를 참조하면, 이동 단말기의 디스플레이부 상에서 본 발명에 따른 입체 사용자 인터페이스를 통해 선물 상자 기능이 실행된다. 여기서 선물 상자 기능은, 이메일 또는 문자 메시지 등을 확인하는 과정에서 사용될 수도 있고, 온라인 상으로 다른 사용자가 선물한 멀티미디어 콘텐츠(예를 들어, 배경화면, 아이콘 팩, 선물 바코드 등)를 확인하는 과정에서 사용될 수도 있다. 선물 상자 기능이 실행됨에 따라 디스플레이부 상으로 3차원 오브젝트로서 선물 상자(1410)가 표시되고, 사용자가 손(1400)으로 상자를 묶고 있는 리본(1420)에 클램핑 제스쳐를 취하여 당김에 따라, 리본(1420)이 제거될 수 있다.First, referring to FIG. 14A, a gift box function is executed on a display unit of a mobile terminal through a stereoscopic user interface according to the present invention. Here, the gift box function may be used in the process of checking an email or a text message, or in the process of checking multimedia content (for example, a wallpaper, an icon pack, a gift barcode, etc.) presented by another user online. May be used. As the gift box function is executed, the
그 후, 사용자는 도 14의 (b)와 같이 선물 상자(1410)의 윗 뚜껑(1411)을 클램핑 제스쳐를 취하여 들어올리는 방법으로 제거할 수 있다. 그에 따라 도 14의 (c)와 같이 강아지 형태의 선물(1450)이 표시될 수 있다. 사용자는 상술한 3차원 오브젝트 조작 방법들 중 하나를 사용하여 강아지(1450)를 조작할 수 있다.Thereafter, the user can remove the
또한, 본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.Further, according to an embodiment of the present invention, the above-described method can be implemented as a code that can be read by a processor on a medium on which the program is recorded. Examples of processor-readable media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may be implemented in the form of a carrier wave (for example, transmission over the Internet). Include.
상기와 같이 설명된 입체 영상을 표시할 수 있는 디스플레이부를 구비한 이동 단말기는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.A mobile terminal having a display unit capable of displaying a stereoscopic image as described above is not limited to the configuration and method of the above-described embodiments, but the embodiments may be modified in various ways. All or some of these may optionally be combined.
도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.1 is a block diagram of a mobile terminal according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 관련된 이동 단말기의 전면 사시도이다.2 is a front perspective view of a mobile terminal according to an embodiment of the present invention.
도 3은 본 발명과 관련된 이동 단말기의 일 작동 상태를 설명하기 위한 이동 단말기의 정면도이다.3 is a front view of a mobile terminal for explaining an operation state of the mobile terminal according to the present invention.
도 4는 근접 센서의 근접 깊이를 설명하기 위한 개념도이다.4 is a conceptual diagram illustrating a proximity depth of a proximity sensor.
도 5는 양안시차의 원리를 설명하기 위한 개념도이다.5 is a conceptual diagram for explaining the principle of binocular disparity.
도 6은 본 발명의 실시예들에 적용될 수 있는 시야 장벽 방식의 디스플레이부에서 3D 입체영상이 구현되는 방식을 나타내는 개념도이다. FIG. 6 is a conceptual diagram illustrating a method of implementing 3D stereoscopic image in a display barrier type display unit applicable to embodiments of the present invention.
도 7은 본 발명의 일 실시예에 따른 이동 단말기에서 구현될 수 있는 입체 사용자 인터페이스에서 3차원 오브젝트를 선택하는 방법의 일례를 나타낸다.7 illustrates an example of a method of selecting a 3D object in a stereoscopic user interface that may be implemented in a mobile terminal according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따른 이동 단말기에서 구현될 수 있는 입체사용자 인터페이스에서 3차원 오브젝트를 선택하는 방법의 일례를 나타낸다.8 illustrates an example of a method of selecting a 3D object in a stereoscopic user interface that may be implemented in a mobile terminal according to an embodiment of the present invention.
도 9는 본 발명의 다른 실시예에 따른 이동 단말기에서 구현될 수 있는 입체 사용자 인터페이스에서 3차원 오브젝트를 선택하고 조작하는 방법의 일례를 나타낸다.9 illustrates an example of a method of selecting and manipulating a 3D object in a stereoscopic user interface that may be implemented in a mobile terminal according to another embodiment of the present invention.
도 10은 본 발명의 다른 실시예에 따른 이동 단말기에서 구현될 수 있는 입체 사용자 인터페이스에서 3차원 오브젝트를 선택하고 조작하는 방법의 다른 일례를 나타낸다.10 illustrates another example of a method of selecting and manipulating a 3D object in a stereoscopic user interface that may be implemented in a mobile terminal according to another embodiment of the present invention.
도 11은 본 발명의 다른 실시예에 따른 이동 단말기에서 구현될 수 있는 입체 사용자 인터페이스에서 3차원 오브젝트를 선택하고 조작하는 방법의 또 다른 일례를 나타낸다.11 illustrates another example of a method of selecting and manipulating a 3D object in a stereoscopic user interface that may be implemented in a mobile terminal according to another embodiment of the present invention.
도 12는 본 발명의 다른 실시예에 따른 입체 사용자 인터페이스 상에서 구현되는 전자 도서 열람화면을 나타내는 디스플레이 상태도이다.12 is a display state diagram illustrating an e-book reading screen implemented on a stereoscopic user interface according to another embodiment of the present invention.
도 13은 본 발명의 다른 실시예에 따른 입체 사용자 인터페이스 상에서 구현되는 보드 게임을 나타내는 디스플레이 상태도들이다.13 is a display state diagram illustrating a board game implemented on a stereoscopic user interface according to another embodiment of the present invention.
도 14는 본 발명의 다른 실시예에 따른 입체 사용자 인터페이스 상에서 구현되는 선물 상자 기능을 나타내는 디스플레이 상태도이다.14 is a display state diagram illustrating a gift box function implemented on a stereoscopic user interface according to another embodiment of the present invention.
Claims (12)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090110836A KR20110054256A (en) | 2009-11-17 | 2009-11-17 | Mobile terminal and method for controlling thereof |
US12/906,751 US9104275B2 (en) | 2009-10-20 | 2010-10-18 | Mobile terminal to display an object on a perceived 3D space |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090110836A KR20110054256A (en) | 2009-11-17 | 2009-11-17 | Mobile terminal and method for controlling thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20110054256A true KR20110054256A (en) | 2011-05-25 |
Family
ID=44363481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090110836A KR20110054256A (en) | 2009-10-20 | 2009-11-17 | Mobile terminal and method for controlling thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20110054256A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013105794A1 (en) * | 2012-01-11 | 2013-07-18 | Samsung Electronics Co., Ltd. | 3d display apparatus and method thereof |
KR20130101189A (en) * | 2012-03-05 | 2013-09-13 | 엘지전자 주식회사 | Electronic device and method of controlling the same |
KR20140020136A (en) * | 2012-08-08 | 2014-02-18 | 엘지전자 주식회사 | Video processing apparatus and method thereof |
WO2014069722A1 (en) * | 2012-10-30 | 2014-05-08 | 삼성전자주식회사 | Three-dimensional display device and user interfacing method therefor |
WO2015053451A1 (en) * | 2013-10-10 | 2015-04-16 | Lg Electronics Inc. | Mobile terminal and operating method thereof |
KR20150116871A (en) * | 2013-02-14 | 2015-10-16 | 퀄컴 인코포레이티드 | Human-body-gesture-based region and volume selection for hmd |
KR20150121915A (en) * | 2014-04-22 | 2015-10-30 | 삼성전자주식회사 | Display apparatus and method for performing a multi view display |
US9222767B2 (en) | 2012-01-03 | 2015-12-29 | Samsung Electronics Co., Ltd. | Display apparatus and method for estimating depth |
US9229556B2 (en) | 2012-04-12 | 2016-01-05 | Samsung Electronics Co., Ltd. | Apparatus and method for sensing 3D object |
KR20170011176A (en) * | 2015-07-21 | 2017-02-02 | 김택진 | Terminal having security function |
-
2009
- 2009-11-17 KR KR1020090110836A patent/KR20110054256A/en not_active Application Discontinuation
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9222767B2 (en) | 2012-01-03 | 2015-12-29 | Samsung Electronics Co., Ltd. | Display apparatus and method for estimating depth |
US9727966B2 (en) | 2012-01-03 | 2017-08-08 | Samsung Electronics Co., Ltd. | Display apparatus and method for estimating depth |
WO2013105794A1 (en) * | 2012-01-11 | 2013-07-18 | Samsung Electronics Co., Ltd. | 3d display apparatus and method thereof |
US10115220B2 (en) | 2012-01-11 | 2018-10-30 | Samsung Electronics Co., Ltd | Method and apparatus for changing 3D display based on rotation state |
KR20130101189A (en) * | 2012-03-05 | 2013-09-13 | 엘지전자 주식회사 | Electronic device and method of controlling the same |
US9229556B2 (en) | 2012-04-12 | 2016-01-05 | Samsung Electronics Co., Ltd. | Apparatus and method for sensing 3D object |
KR20140020136A (en) * | 2012-08-08 | 2014-02-18 | 엘지전자 주식회사 | Video processing apparatus and method thereof |
US10180766B2 (en) | 2012-10-30 | 2019-01-15 | Samsung Electronics Co., Ltd. | Three-dimensional display device and user interfacing method therefor |
WO2014069722A1 (en) * | 2012-10-30 | 2014-05-08 | 삼성전자주식회사 | Three-dimensional display device and user interfacing method therefor |
KR20150116871A (en) * | 2013-02-14 | 2015-10-16 | 퀄컴 인코포레이티드 | Human-body-gesture-based region and volume selection for hmd |
US11262835B2 (en) | 2013-02-14 | 2022-03-01 | Qualcomm Incorporated | Human-body-gesture-based region and volume selection for HMD |
WO2015053451A1 (en) * | 2013-10-10 | 2015-04-16 | Lg Electronics Inc. | Mobile terminal and operating method thereof |
KR20150121915A (en) * | 2014-04-22 | 2015-10-30 | 삼성전자주식회사 | Display apparatus and method for performing a multi view display |
KR20170011176A (en) * | 2015-07-21 | 2017-02-02 | 김택진 | Terminal having security function |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101728725B1 (en) | Mobile terminal and method for controlling thereof | |
KR101728728B1 (en) | Mobile terminal and method for controlling thereof | |
KR101674957B1 (en) | Mobile terminal and method for controlling thereof | |
KR101873759B1 (en) | Display apparatus and method for controlling thereof | |
KR20110054256A (en) | Mobile terminal and method for controlling thereof | |
CN103019504B (en) | Electronic equipment and its content generating method | |
KR20140016495A (en) | Mobile terminal and method for controlling the same | |
KR20120066914A (en) | Mobile terminal and method for controlling thereof | |
US20130167081A1 (en) | Mobile terminal and control method thereof | |
KR20110064291A (en) | Method for displaying broadcasting data and mobile terminal thereof | |
KR101873746B1 (en) | Mobile terminal and method for controlling thereof | |
KR20120007195A (en) | Mobile terminal and method for controlling thereof | |
KR20120048116A (en) | Mobile terminal and method for controlling the same | |
KR101633336B1 (en) | Mobile terminal and method for controlling thereof | |
KR101723413B1 (en) | Mobile terminal and method for controlling thereof | |
KR101709500B1 (en) | Mobile terminal and method for controlling thereof | |
KR101740442B1 (en) | Mobile terminal and method for controlling thereof | |
KR101833826B1 (en) | Mobile terminal and method for controlling thereof | |
KR101753033B1 (en) | Mobile terminal and method for controlling thereof | |
KR20130053476A (en) | Mobile terminal and method for controlling the same | |
KR101799269B1 (en) | Mobile terminal and method for controlling thereof | |
KR20110060125A (en) | Mobile terminal and method for controlling thereof | |
KR101882262B1 (en) | Mobile terminal and method for controlling thereof | |
KR101844225B1 (en) | Mobile terminal and method for controlling the same | |
KR20130058203A (en) | Mobile terminal and method for controlling thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |