KR20130020543A - 미세유체 디스플레이를 위한 통합 사용자 인터페이스를 갖는 휴대용 장치 - Google Patents

미세유체 디스플레이를 위한 통합 사용자 인터페이스를 갖는 휴대용 장치 Download PDF

Info

Publication number
KR20130020543A
KR20130020543A KR1020120063822A KR20120063822A KR20130020543A KR 20130020543 A KR20130020543 A KR 20130020543A KR 1020120063822 A KR1020120063822 A KR 1020120063822A KR 20120063822 A KR20120063822 A KR 20120063822A KR 20130020543 A KR20130020543 A KR 20130020543A
Authority
KR
South Korea
Prior art keywords
display
microfluidic
touch screen
braille
displayed
Prior art date
Application number
KR1020120063822A
Other languages
English (en)
Other versions
KR101945721B1 (ko
Inventor
피터 킹
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20130020543A publication Critical patent/KR20130020543A/ko
Application granted granted Critical
Publication of KR101945721B1 publication Critical patent/KR101945721B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

미세유체 디스플레이(microfluidic display)를 위한 통합된 사용자 인터페이스를 제공하는 휴대용 장치는, 터치스크린과 실질적으로 투명하고 상기 터치스크린 위에 겹쳐있는 미세유체 디스플레이를 포함하되, 상기 미세유체 디스플레이의 표면은 터치스크린 입력 항목에 따라 변형된다.

Description

미세유체 디스플레이를 위한 통합 사용자 인터페이스를 갖는 휴대용 장치{PORTABLE DEVICE WITH INTEGRATED USER INTERFACE FOR MICROFLUIDIC DISPLAY}
본 발명은 미세유체(microfluidic) 디스플레이를 포함한 휴대용 장치에 관한 것으로. 특히, 해당 영사 디스플레이의 요소들을 갖는 미세유체 인터페이스를 통합하는 휴대용 장치에 관한 것이다.
모바일 단말기는 사용자 간 무선 통신을 제공하기 위해 개발되었다. 기술이 진보됨에 따라, 모바일 단말기는 이제 단순한 전화 통화를 넘어서 많은 추가 기능을 제공한다. 예를 들어, 모바일 단말기는 알람, 단문 메시지 서비스(Short Messaging Service: SMS), 멀티미디어 메시지 서비스 (Multimedia Message Service: MMS), 이메일, 게임, 근거리 통신의 원격 제어, 탑재된 디지털 카메라를 사용한 이미지 캡쳐 기능, 오디오 및 동영상 콘텐츠를 위한 멀티미디어 기능, 스케줄링 기능, 그리고 더 많은 기능 같은 추가 기능을 제공할 수 있다. 현재 제공되는 다수 기능과 더불어, 모바일 단말기는 효과적으로 일상 생활의 필수품이 되었다.
예를 들어, 미국 특허 5992820, Fare에서, 설명하는 것처럼, 모바일 단말기 기술에서 최근 개발 중인 분야는 미세유체 소자(microfluidic device) 사용이다. 이러한 미세유체 소자는 기판(substrate)에 통합되고 상기 기판 후면의 특정위치에 하나 이상의 저장소(reservoirs)로부터 유체(fluid)를 공급하는데 사용할 수 있다. 모바일 장치의 디스플레이와 결합하면, 디스플레이 표면의 두께(높이)가 대략 1mm 정도 변화할 수 있다.
도 1은 종래기술에 따른 미세유체(microfluidic) 액정 디스플레이(Liquid Crystal Display: LCD)를 사용하는 모바일 장치이다.
도 1을 참조하면, 모바일 단말기(100)가 나타난다. 모바일 단말기(100)는 제어기(110), 배터리(120), PBA(Printed Circuit Board Assembly)(130), 그리고 터치 센서 및 디스플레이(140)를 포함한다. 터치 센서는 용량성 센서와 같은 표준 수단이 될 수 있다. 디스플레이는 LCD와 같은 표준 수단이 될 수 있다. 위의 기능은 터치스크린 인터페이스를 사용하는 모바일 단말기에 공통적이다.
모바일 단말기(100)는 미세유체 레이어(150)에 더 포함한다. 미세유체 레이어(150)는 실질적으로 투명하여, 터치 센서와 디스플레이(140)가 미세유체 레이어(150)를 통과하여 보일 수 있다. 또한 미세유체 레이어(150) 비교적 유연한 표면(flexible surface)을 가지고 있다. 유체(fluid)가 미세유체 레이어(150)의 특정 좌표로 흘러나올 때, 미세유체 레이어(150)는 해당 위치에서 두꺼워 진다. 두께 차이는 정상 시력으로 볼 수 있으며 터치로 감지할 수 있다. 또한, 미세유체 레이어(150)는 그 아래 터치 센서와 디스플레이(140)가 미세유체 레이어(150)에서의 터치를 감지할 수 있을 정도로 충분히 얇다.
도 2는 종래기술에 따른 키 패드 내에 기계적 점자 구동 장치를 포함하는 맹인들을 위한 전화기이다. 유사한 기능은 미국 특허 출원번호 2004/0081312 A1, Salpietra에 설명되어 있다.
도 2를 참조하면, 맹인을 위한 전화기(200)가 보인다. 전화기(200)는 점자를 갖는 다양한 입력 키(210) 그리고 점자 출력(220)을 포함한다. 이것은 촉각 입력을 갖는 휴대폰의 영역에 제한되지 않고, 미세유체 디스플레이에 적용되지 않는다. 전화기(200)의 점자 출력(220)은 미리 정해진 위치에 점자 문자를 인쇄하기 위해 기계적으로 변형되는 종이 테이프로 구성되어 있다. 하지만, 유용한 촉각 인터페이스의 한 예이다.
도 3은 종래기술에 따른 점자 휴대 전화기이다. 유사한 기능은 미국 특허 출원번호 2006 /0280294 A1, Zhang에 설명되어 있다.
도 3을 참조하면, 점자 전화(300)는 도 2의 점자전화기보다 더 광범위한 것이다. 점자 전화(300)는 마이크(310), 스피커(320), 및 탐색 버튼(330) 같은 표준 전화 기능이 포함되어 있다. 또한 점자 키보드(340)와 점자 디스플레이 패널(350)을 포함한다. 도 3의 장치는 점자를 표시하는데 제한되지 않으며, 그리고 LCD 또는 기타 시각적 디스플레이 또는 그래픽 사용자 인터페이스에 통합되지 않는다. 또한, 도 3의 장치는 미리 정해진 위치에서 위아래로 점자 도트(dots)를 이동하는 기계적인 알람을 사용한다. 도 3의 장치는 촉각 방식으로 점자 정보 이상을 더 표시하기 위해 설계 고려 사항을 나타내지 않는다. 도 3의 장치는 자신의 정해진 위치에서 점자 문자 점들의 움직임, 또는 다른 촉각 정보를 제시하지 않는다.
종래의 미세유체 디스플레이는 미세유체 디스플레이에 유체를 흘리는 것과 관련된 기술적 문제를 해결한다.
따라서, 미세유체 디스플레이에 통합 사용자 인터페이스를 제공하는 장치 및 방법이 필요하다.
위의 정보는 본 발명의 이해를 돕기 위한 배경 목적이다. 출원인은, 위의 어떤 것도 본 발명에 대한 선행 기술로 적합한지를 결정하지 않는다.
본 발명의 목적은 적어도 위에서 언급한 문제점 및/또는 단점을 해결하고 적어도 아래에서 설명된 장점을 제공하는 것이다. 따라서, 본 발명의 목적은 미세유체 디스플레이를 위한 통합 사용자 인터페이스를 위한 장치 및 방법을 제공하는 것이다.
발명의 목적에 따라, 휴대용 장치는 미세유체 디스플레이를 위한 통합 사용자 인터페이스를 제공한다. 상기 휴대용 장치는 터치스크린 및 실질적으로 투명하고 터치스크린 위에 겹쳐있는 미세유체 디스플레이를 포함한다. 미세유체 디스플레이의 표면은 터치스크린 입력 항목에 따라 변형된다.
발명의 다른 목적에 따라, 휴대용 장치는 미세유체 디스플레이를 위한 통합 사용자 인터페이스를 제공한다. 상기 휴대용 장치는 영상 디스플레이 및 실질적으로 투명하고 영상 디스플레이에 겹쳐있는 미세유체 디스플레이를 포함한다. 상기 미세유체 디스플레이의 표면은 상기 영상 디스플레이에 표시되는 사진이나 동영상의 시각적 요소에 따라 변형된다.
본 발명의 또 다른 목적에 따라, 휴대용 장치는, 프로세서, 점자 입력부, 그리고 미세유체 디스플레이를 포함한다. 상기 미세유체 디스플레이의 표면은 점자 텍스트를 출력하도록 변형된다.
발명의 다른 목적, 장점, 그리고 현저한 특징은 첨부 도면과 함께 다음과 같은 자세한 설명으로부터 당업자에게 드러날 수 있다.
상술한 바와 같이, 미세유체 디스플레이를 위한 통합 사용자 인터페이스를 제공함으로써, 입체감 있는 사용자 인터페이스를 사용자가 느낄 수 있다.
본 발명의 실시 예에서 따른 위에 그리고 다른 목적, 기능 및 장점은 첨부 도면과 함께 다음과 같은 자세한 설명으로부터 드러날 수 있다.
도 1은 종래기술에 따른 미세유체 액정 디스플레이(microfluidic Liquid Crystal Display (LCD))를 이용하는 모바일 장치이고,
도 2는 종래기술에 따른 키 패드의 기계적 점자 구동 장치를 포함한 맹인들을 위한 전화기이고,
도 3은 종래기술에 따른 점자 모바일 전화기이고,
도 4A는 종래기술에 따른 사용자 인터페이스 요소를 설명하는 다이어그램이고,
도 4B는 본 발명의 실시 예에 따라 사용자 인터페이스 요소를 설명하는 다이어그램이고,
5A 및 5B는 본 발명의 실시 예에 따라 사용자 인터페이스 요소를 설명하는 다이어그램이고,
도 6 은 본 발명의 실시 예에 따라 사용자 인터페이스 요소를 설명하는 다이어그램이고, 및
도 7은 본 발명의 실시 예에 따라 사용자 인터페이스 요소를 포함하여 모바일 장치의 블록 다이어그램이다.
도면 전반에 걸쳐, 참조 번호 같은 것이 동일하거나 유사한 요소, 기능 및 구조를 묘사하는데 사용됨을 인지해야 한다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 실시 예는 미세유체 디스플레이(microfluidic display)를 위한 소프트웨어 통합 사용자 인터페이스를 제공하는 휴대용 장치를 포함한다.
본 발명의 실시 예에서, 미세유체 디스플레이의 표면은 터치스크린 입력 항목이나 아이콘에 따라 변형된다. 비록 이 예에서 설명한 변형이 디스플레이의 두께의 증가이지만, 본 발명은 이에 국한되지 않는다.
도 4A는 종래기술에 따라 사용자 인터페이스 요소를 설명하는 다이어그램이다. 도 4B는 본 발명의 실시 예에 따라 해당 사용자 인터페이스 요소를 설명하는 다이어그램이다.
도 4A의 사용자 인터페이스를 참조하면, 터치스크린 디스플레이(410)에서 일반적인 버튼(420)은 2 차원(two-dimensional)이다. 위에서 보면, 버튼(420)은 순전히 시각적으로 정의된다. 측면에서 보면, 터치스크린의 표면은 균일하게 평면으로 표시된다.
도 4B의 사용자 인터페이스를 참조하면, 본 발명의 실시 예에 따른 터치스크린 디스플레이(430)에서 버튼(440)이 보인다. 미세유체 디스플레이는 버튼(440)의 좌표 위치로 유체(fluid)를 공급하도록 제어되어, 버튼(440)이 상대적으로 주위 표면(450)보다 높도록 한다. 측면에 보이는 바와 같이, 버튼(440)은 나머지 표면(450)보다 물리적으로 더 높다. 버튼(440)도 입체 기능으로 보여져서, 버튼(440)의 형태에 따라 빛, 그림자 및 반사가 변하고, 마찬가지로 사용자 관점, 광원, 그리고 장치의 방향 등의 상대 각도에 따라 달라진다.
더욱이, 사용자가 버튼(440)을 터치할 때, 사용자는 주변 표면(450)에서 촉감 차이를 느낄 것이다. 올라온 버튼 표면을 느끼는 이러한 차이는 보다 정확하고 보다 쾌적한 사용자 환경을 제공하여, 미세유체 버튼을 누르면 유리 터치스크린을 두드리는 것보다 전통적인 기계식 버튼을 누르는 것과 더 유사 수 있다.
본 발명의 실시 예에 따라 선택 가능한 요소는 버튼에 제한되지 않지만, 예를 들어 아이콘, 스크롤 막대, 텍스트 하이퍼 링크 등이 포함될 수 있다.
마찬가지로, 본 발명의 실시 예에 따라 선택 가능한 요소가 올라온 표면에 국한되지 않지만 주변 표면보다 낮은 홈(groove)이나 오목한 것(depression)을 포함할 수 있다.
도 5A 및 5B는 본 발명의 실시 예에 따라 사용자 인터페이스 요소의 경우이다.
도 5A를 참조하면, 미세유체 디스플레이(510)의 항목 목록이 표시된다. 사용자 상호 작용 이전에, 목록항목(520, 530)은 주변 표면(540)으로부터 올라오지 않고 측면에 볼 때 근본적으로 표면(540)과 동일한 레벨이다. 즉, 사용자 상호 작용 이전에, 목록항목(520, 530)은 종래기술과 유사하게 표시된다.
도 5B의 미세유체 디스플레이(510)를 참조하면, 사용자가 예를 들어, 목록항목(530)을 선택하고 드래그하거나 플리킹(flicking)하는 터치에 의해, 인터페이스와 상호 작용한다. 종래기술에서, 터치스크린에 개체는 이러한 방식으로 드래그된다. 본 발명의 실시 예에서, 반대로, 미세유체 디스플레이(510)는 터치 선택된 목록항목(530)을 올라오도록 하고, 그리고 올라온 영역은 상기 미세유체 디스플레이(510)에서 개체의 움직임을 그림자처럼 따라다닌다. 즉, 목록항목(530)이 디스플레이 아래로 움직일 때, 먼저 화면은 사용자가 화면을 터치했던 곳에서 변형되고, 변형은 동일한 속도로 선택된 객체와 동일한 방향으로 이동한다.
도 4A 및 4B의 실시 예와 비슷한 방식으로, 목록항목(530)은 주변 표면(540)에서 튀어나온 입체 기능으로 볼 수 있다. 빛, 그림자와 반사가 목록항목(530)의 형태에 따라 달라지고, 마찬가지로 사용자 관점, 광원, 그리고 장치의 방향 등의 상대 각도에 따라 달라진다.
또한, 도 4A 및 4B의 실시 예와 비슷하게, 목록항목(530)을 터치하는 사용자는 주변 표면(540)에서 촉감 차이를 느낄 것이다. 주변 표면에서 올라온 버튼 표면을 느끼는 이러한 차이는 보다 정확하고 보다 쾌적한 사용자 환경을 제공하여, 목록항목(530)을 드래그하는 것은 평면 유리 터치스크린에서 손가락을 드래그하는 것보다 기존 항목을 터치하는 것과 더 비슷할 수 있다.
이 실시 예에서, 움직임이 중단된 후에 미세유체 디스플레이(510)는 올라온 영역으로부터 유체를 제거하여, 디스플레이는 도 5A의 균일한 표면으로 되돌아 간다.
다른 구현에 따라서, 사용자가 전화 번호를 다이얼하기 위해 '복고풍' 다이얼링 링을 사용하고자 할 수도 있다. 이전 세대의 전화기에서, 사용자는, 순차적으로 다이얼링 링의 둘레에 컷아웃 홀(cutout hole)에 손가락을 두고 번호를 돌리고, 구멍이 최종 위치에 도달하기 전까지 물리적으로 링을 회전하고, 구멍에서 손가락을 제거한다. 그 결과, 탄성(spring)은 원래 위치로 돌아 때까지 다이얼링 링의 회전을 반대로 한다. 이 실시 예에서 디스플레이 표면은 기본적으로 도출되도록 변형될 것이고, 다이얼링의 구멍의 위치에서 낮아진다. 낮아진 "구멍"은 선택 다이얼링 링 번호 "구멍"의 사용자 움직임을 따라 회전한다.
복고 다이얼링 링의 실시 예에서, 이전 전화의 표면 밑에 있는 숫자는 고정이고 링이 회전하는 동안 볼 수 있다. 이 실시 예에서, 10개의 시각적인 전화 번호 숫자('1', '2ABC', '3DEF', 등)는 디스플레이에 고정 유지되고, 그리고 단지 다이얼 링의 촉각 미세유체 디스플레이 자체는 화면에서 회전한다.
도 6은 본 발명의 실시 예에 따라 사용자 인터페이스 요소를 설명하는 다이어그램이다.
도 6을 참조하면, 본 발명의 실시 예는 동기화된 시각적 효과가 표시될 수 있다. 시스템은 화면에 표시되는 그래픽으로 프로그래밍에 따라 시각적 효과를 동기화할 수 있게 될 것이다.
디스플레이 스크린에서 다른 색깔들을 교차시키는 일련의 동심원상 링(concentric rings)(610, 620)을 생성하기 위해, 사용자가 터치 디스플레이를 누른다면, 미세유체 디스플레이는 동심원들(610)의 선택을 일치시키기 위해(예를 들어, 하나의 색상) 디스플레이 표면을 변형하도록 조정된다. 즉, 디스플레이는 미세유체 디스플레이 변형(deformations)이 임의의 시각적인 요소를 추적하도록 프로그래밍화될 수 있다.
보다 일반적으로, 이 실시 예와 함께, 미세유체 디스플레이의 표면은 어떤 근본적인(underlying) 영상과 일치하도록 변경될 수 있다. 본 발명의 범위 밖에서, 화면에 있는 요소가 미세유체 디스플레이에 의해 동기화된 변형 표시(디스플레이)에 해당하는 경우, 디자인 언어는 트리거되도록 제공된다. 이 언어는 영상이 미세유체 디스플레이에 표시되면, 미세유체 디스플레이가 변형되는 위치 및 크기를 지시하는 영상과 함께 인코딩 정보를 제공할 것이다. 실시 예에서, 미세유체 디스플레이는 영상의 시각적 요소에 따라 변형되지만, 본 발명은 이에 국한되지 않다.
또 다른 실시 예에서, 만약 그러한 돋을 새김(relief) 메타 데이터 정보가 이미지와 함께 포함되어 있다면, 미세유체 디스플레이가 카메오 조각(cameo carving)과 비슷하게 이미지의 얕은 돋을 새김 복제(low relief reproduction)을 제공하도록 프로그래밍할 수 있다.
본 실시 예의 변형은 동영상 재생에 적용될 수 있다. 동영상 스트림은 변형시킬 하나 이상의 중요한 객체의 좌표 위치를 식별하는 프레임의 헤더에 메타데이터를 포함할 수 있다. 예를 들어, 하키 게임을 위한 하키 퍽(puck)은 하키 게임의 각 프레임의 좌표로 식별 수 있으며, 디스플레이는 하키 퍽의 위치에 더 선명도를 제공하기 위해 하키 퍽의 위치를 변형한다.
즉, 이 실시 예에서, 메타데이터는 동영상과 함께 포함되어, 미세유체 디스플레이가 메타데이터에 따라 변형된다.
위의 설명에 따른 실시 예에서, 변형이 사진 또는 동영상 내의 시각적 요소의 위치를 추적하지만, 본 발명은 이에 국한되지 않다. 또 다른 실시 예에서, 변형은 독립적으로 어떤 시각적 요소를 표시할 수 있다. 예를 들어, 게임은 화면변형을 따르는 촉감에 의해서만 나타나는 미로 요소(maze element)를 포함할 수 있다. 마찬가지로, 미로(maze)는 그 밑에 연결된 레벨 위에 겹쳐져서 투명한 레벨을 나타내기 위해, 다른 미세유체 변형 및 영상 디스플레이를 갖는다.
도 7은 본 발명의 실시 예에 따라 사용자 인터페이스 요소를 포함하여 모바일 장치의 블록 다이어그램이다.
도 7을 참조하면, 본 발명의 실시 예에 따라 모바일 장치(700)는 제어부(710), 저장부(720), 키 입력부(730), 표시부(740)가 포함된다. 모바일 장치(700)는 또한 무선통신을 위한 RF처리부(750), 음성통신을 위한 스피커와 마이크로폰을 포함하는 오디오 처리부(760)를 포함한다.
본 발명의 실시 예에서, 키 입력부(730)는 점자 키를 포함하며, 표시부(740)는 미세유체 디스플레이를 포함한다. 미세유체 디스플레이는 시각 장애인을 위해 점자 출력 텍스트로 사용할 수 있다. 공연장처럼 오디오 출력이 허용될 수 없는 환경 혹은 록 콘서트 같은 오디오 출력이 실현성이 없는 환경에서 그러한 인터페이스는 유용할 것이다. 장치는 한 번에 점자 텍스트 페이지를 표시하도록 설정할 수 있으며, 또는, 장치는 사용자의 입력에 따라 서로 다른 방향으로 점자 텍스트를 스크롤할 수 있도록 설정할 수 있다.
하나의 점자 디스플레이 예에서, 전체 디스플레이 표면은 점자 텍스트를 제공한다.
다른 실시 예에서, 점자 텍스트 출력은 시각 장애인과 시력이 정상인이 동시에 디스플레이를 사용할 수 있도록 영상 디스플레이와 결합된다. 따라서, 점자 리더는 점자를 읽을 수 없는 시력이 정상인 친구에, 구성되거나 수신된 메시지를 "표시(show)"할 수 있다.
한 가지 예에서, 점자 텍스트가 사진 혹은 동영상와 함께 자막으로써 인코딩되어, 시각 장애인이 일반적으로 시력이 정상인이 동일한 디스플레이에서 사진 혹은 동영상를 볼 수 있는 것처럼 함께 읽을 수 있다. 구현에 있어서, 본 발명은 이에 국한되지 않지만, 실시 예에서, 점자 자막은 설명이나 디스플레이된 시각적 사진 또는 동영상에 대한 논평을 포함한다.
또 다른 실시 예에서, 전체 디스플레이 표면은 해당 시각적 텍스트 위에 겹쳐진 점자 텍스트를 표시하여, 시각 장애인과 일반적으로 시력이 정상인 사람이 동시에 디스플레이에서 동일한 문서를 읽을 수 있다. 이 실시 예에서, 연극에 참석하는 동안에, 두 사람은 조용히 프로그램을 참조할 수 있다.
이 실시 예의 변형에서, 문서 또는 신호가 두 개 이상의 언어로 번역될 수 있어서, 시각적으로 표시된 텍스트는 제1 언어로 점자 텍스트는 제2 언어로 번역될 수 있다. 하나의 전형적인 실시 예에 따르면, 충분한 연산력(computing power)의 장치는 실시간으로 번역하여 텍스트로 표시할 수 있다. 또 다른 전형적인 실시 예에 따르면, 원본 문서 또는 신호가 여러 언어로 사전 번역되고, 장치는 독립적으로 각각 사용 가능한 언어로 시각적 텍스트 표시와 점자 표시로 설정하기 위해, 사용자에 의해 설정된다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
410, 430: 터치스크린 디스플레이
420, 440: 버튼
450: 주위 표면
510: 미세유체 디스플레이
520, 530: 목록항목
540: 주변 표면

Claims (18)

  1. 미세유체 디스플레이(microfluidic display)를 위한 통합 사용자 인터페이스를 제공하는 휴대용 장치에 있어서,
    터치스크린과,
    실질적으로 투명하고 상기 터치스크린 위에 겹쳐있는 미세유체 디스플레이를 포함하되,
    상기 미세유체 디스플레이의 표면은 터치스크린 입력 항목에 따라 변형되는 것을 특징으로 하는 장치.
  2. 제1항에 있어서,
    상기 미세유체 디스플레이는 상기 터치스크린 입력 항목의 크기와 모양에 따라 변형되는 것을 특징으로 하는 장치.
  3. 제2항에 있어서,
    상기 터치스크린 입력 항목이 눌러질 때, 상기 미세유체 디스플레이는 변형되지 않는 것을 특징으로 하는 장치.
  4. 제1항에 있어서,
    상기 미세유체 디스플레이는 상기 터치스크린 입력 항목의 위치에 따라 변형되는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 터치스크린 입력 항목이 상기 터치스크린에서 이동할 때, 상기 변형은 상기 터치스크린 입력 항목의 움직임에 따라 이동하는 것을 특징으로 하는 장치.
  6. 제5항에 있어서,
    상기 터치스크린 입력 항목이 이동하지 않을 때, 상기 미세유체 디스플레이는 변형되기 않은 상태로 되돌아가는 것을 특징으로 하는 장치.
  7. 제5항에 있어서,
    상기 터치스크린 입력 항목은 표시되는 영상(visual image)과 관계없이 움직이는 것을 특징으로 하는 장치.
  8. 제1항에 있어서,
    상기 변형의 크기, 모양 및 위치는 표시되는 영상의 시각적 요소들에 관계없이 결정되는 것을 특징으로 하는 장치.
  9. 제1항에 있어서,
    상기 변형은 증가된 두께로 상기 표면이 올라가는 것을 특징으로 하는 장치.
  10. 미세유체 디스플레이(microfluidic display)를 위한 통합 사용자 인터페이스를 제공하는 휴대용 장치에 있어서,
    영상 디스플레이와,
    실질적으로 투명하고 상기 영상 디스플레이 위에 겹쳐있는 미세유체 디스플레이를 포함하되,
    상기 미세유체 디스플레이의 표면은 상기 영상 디스플레이에 표시되는 사진 혹은 동영상의 시각적 요소에 따라서 변형되는 것을 특징으로 하는 장치.
  11. 제10항에 있어서,
    상기 표시되는 사진 혹은 동영상의 인코딩은,
    상기 사진 혹은 상기 동영상 중 적어도 하나 이상의 시각적 요소에 해당하는 상기 미세유체 디스플레이의 표면의 변형에 대한 정보를 포함하는 것을 특징으로 하는 장치.
  12. 제11항에 있어서,
    상기 정보는 상기 사진의 얕은 돋을 새긴 3차원 표시(low relief three-dimensional display)에 해당하는 것을 특징으로 하는 장치.
  13. 미세유체 디스플레이(microfluidic display)를 위한 통합 사용자 인터페이스를 제공하는 휴대용 장치에 있어서,
    프로세서와,
    점자 입력부와,
    미세유체 디스플레이를 포함하되,
    상기 미세유체 디스플레이의 표면은 점자 텍스트를 출력하도록 변형되는 것을 특징으로 하는 장치.
  14. 제13항에 있어서,
    영상 디스플레이를 더 포함하되,
    상기 미세유체 디스플레이는 실질적으로 투명하고 상기 영상 디스플레이 위에 겹쳐있는 것을 특징으로 하는 장치.
  15. 제14항에 있어서,
    상기 영상 디스플레이는 텍스트 정보로 인코딩된 영상(visual image)을 표시하고,
    상기 미세유체 디스플레이는 동시에 점자로 상기 텍스트 정보를 표시하는 것을 특징으로 하는 장치.
  16. 제15항에 있어서,
    상기 영상 디스플레이는 텍스트를 표시하고,
    상기 미세유체 디스플레이는 동시에 상기 표시되는 텍스트에 해당하는 점자를 표시하는 것을 특징으로 하는 장치.
  17. 제16항에 있어서,
    상기 표시되는 영상 텍스트와 상기 해당 표시되는 점자는 사용자의 입력에 따라 결정된 언어로 각각 독립적으로 표시되는 것을 특징으로 하는 장치.
  18. 제16항에 있어서,
    상기 표시되는 텍스트와 상기 점자 텍스트는 동시에 스크롤되거나(scrolled) 페이지 단위로 넘겨지는(paged) 것을 특징으로 하는 장치.
KR1020120063822A 2011-08-17 2012-06-14 미세유체 디스플레이를 위한 통합 사용자 인터페이스를 갖는 휴대용 장치 KR101945721B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/211,838 US20130044100A1 (en) 2011-08-17 2011-08-17 Portable device with integrated user interface for microfluidic display
US13/211,838 2011-08-17

Publications (2)

Publication Number Publication Date
KR20130020543A true KR20130020543A (ko) 2013-02-27
KR101945721B1 KR101945721B1 (ko) 2019-02-08

Family

ID=47712324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120063822A KR101945721B1 (ko) 2011-08-17 2012-06-14 미세유체 디스플레이를 위한 통합 사용자 인터페이스를 갖는 휴대용 장치

Country Status (2)

Country Link
US (1) US20130044100A1 (ko)
KR (1) KR101945721B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9069413B2 (en) 2013-07-24 2015-06-30 Hyundai Motor Company Touch display apparatus of vehicle and driving method thereof
KR102396934B1 (ko) 2020-12-02 2022-05-12 백주열 마이크로 플루이딕 사이니지 장치

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628025B2 (en) * 2013-03-15 2020-04-21 Apple Inc. Device, method, and graphical user interface for generating haptic feedback for user interface elements
US9277349B2 (en) 2013-06-12 2016-03-01 Blackberry Limited Method of processing an incoming communication signal at a mobile communication device
US9182853B2 (en) 2013-08-27 2015-11-10 Blackberry Limited Function selection by detecting resonant frequencies
US9965974B2 (en) 2014-03-11 2018-05-08 Technologies Humanware Inc. Portable device with virtual tactile keyboard and refreshable Braille display
KR20150120730A (ko) * 2014-04-18 2015-10-28 삼성전자주식회사 물리적 버튼과 이미지 센서를 내장한 디스플레이 모듈과 이의 제조 방법
US10175882B2 (en) 2014-07-31 2019-01-08 Technologies Humanware Inc. Dynamic calibrating of a touch-screen-implemented virtual braille keyboard
US9921651B2 (en) 2015-04-29 2018-03-20 International Business Machines Company Video display for visually impaired people
US9619032B1 (en) 2015-10-16 2017-04-11 International Business Machines Corporation Accessibility path guiding through microfluidics on a touch screen
USD807884S1 (en) 2015-11-11 2018-01-16 Technologies Humanware Inc. Tactile braille tablet
US10715846B1 (en) 2016-03-28 2020-07-14 Amazon Technologies, Inc. State-based image data stream provisioning
US10708639B1 (en) 2016-03-28 2020-07-07 Amazon Technologies, Inc. State-based image data stream provisioning
EP3269570B1 (en) * 2016-07-14 2019-09-11 Vestel Elektronik Sanayi ve Ticaret A.S. Display unit with integrated means for air flow deflection
EP3769197A1 (en) 2018-03-20 2021-01-27 Preciflex SA Finger-fluid interfacing method and device
US11549819B2 (en) * 2018-05-30 2023-01-10 International Business Machines Corporation Navigation guidance using tactile feedback implemented by a microfluidic layer within a user device
CN110069168B (zh) * 2019-05-05 2022-09-30 京东方科技集团股份有限公司 微流控装置、用于微流控装置的操作方法及控制装置
US11481069B2 (en) 2020-09-15 2022-10-25 International Business Machines Corporation Physical cursor control in microfluidic display devices
US20220398941A1 (en) * 2021-06-10 2022-12-15 International Business Machines Corporation Digital microfludics-based braille actuation in a stretchable display

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08114408A (ja) * 1994-10-18 1996-05-07 Omron Corp 電気信号変位変換装置、当該変換装置を用いた機器、および当該変換装置を用いた流体搬送装置の駆動方法
JP2008114408A (ja) * 2006-11-01 2008-05-22 Canon Inc 射出成形方法、樹脂成形品及び樹脂成形金型
JP2009064357A (ja) * 2007-09-07 2009-03-26 Sony Ericsson Mobilecommunications Japan Inc ユーザインターフェース装置及び携帯情報端末
US20100302199A1 (en) * 2009-05-26 2010-12-02 Microsoft Corporation Ferromagnetic user interfaces
US20110001613A1 (en) * 2009-07-03 2011-01-06 Craig Michael Ciesla Method for adjusting the user interface of a device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5760773A (en) * 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
US8154527B2 (en) * 2008-01-04 2012-04-10 Tactus Technology User interface system
US8547339B2 (en) * 2008-01-04 2013-10-01 Tactus Technology, Inc. System and methods for raised touch screens
US9600070B2 (en) * 2008-12-22 2017-03-21 Apple Inc. User interface having changeable topography
KR20130141344A (ko) * 2010-04-19 2013-12-26 택투스 테크놀로지, 아이엔씨. 촉각 인터페이스층의 구동 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08114408A (ja) * 1994-10-18 1996-05-07 Omron Corp 電気信号変位変換装置、当該変換装置を用いた機器、および当該変換装置を用いた流体搬送装置の駆動方法
JP2008114408A (ja) * 2006-11-01 2008-05-22 Canon Inc 射出成形方法、樹脂成形品及び樹脂成形金型
JP2009064357A (ja) * 2007-09-07 2009-03-26 Sony Ericsson Mobilecommunications Japan Inc ユーザインターフェース装置及び携帯情報端末
US20100302199A1 (en) * 2009-05-26 2010-12-02 Microsoft Corporation Ferromagnetic user interfaces
US20110001613A1 (en) * 2009-07-03 2011-01-06 Craig Michael Ciesla Method for adjusting the user interface of a device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
일본 공개특허공보 특개2008-114408호(2008.05.22.) 1부. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9069413B2 (en) 2013-07-24 2015-06-30 Hyundai Motor Company Touch display apparatus of vehicle and driving method thereof
KR102396934B1 (ko) 2020-12-02 2022-05-12 백주열 마이크로 플루이딕 사이니지 장치

Also Published As

Publication number Publication date
KR101945721B1 (ko) 2019-02-08
US20130044100A1 (en) 2013-02-21

Similar Documents

Publication Publication Date Title
KR101945721B1 (ko) 미세유체 디스플레이를 위한 통합 사용자 인터페이스를 갖는 휴대용 장치
US10521111B2 (en) Electronic apparatus and method for displaying a plurality of images in a plurality of areas of a display
AU2018100897A4 (en) Mobile device with front camera and maximized screen surface
US11921992B2 (en) User interfaces related to time
US10539806B2 (en) Enhanced transparent display screen for mobile device and methods of operation
US11694590B2 (en) Dynamic user interface with time indicator
US11770600B2 (en) Wide angle video conference
US9967553B1 (en) Enhanced transparent display screen for mobile device and methods of operation
CN201222239Y (zh) 手持电子装置
US20230109787A1 (en) Wide angle video conference
US20160150061A1 (en) Portable terminal device
US12028474B2 (en) User interfaces associated with remote input devices
US11954245B2 (en) Displaying physical input devices as virtual objects
WO2012133272A1 (ja) 電子機器
US20240064395A1 (en) Wide angle video conference
JP2007202124A (ja) 入力装置およびこの入力装置を用いた携帯端末機器ならびに携帯端末機器におけるコンテンツデータの閲覧方法
KR20150118036A (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
JP6542451B2 (ja) 電子機器
KR20120068259A (ko) 터치 입력을 이용한 문자 입력 방법 및 장치
Kane Understanding and creating accessible touch screen interactions for blind people
KR20230169392A (ko) 광각 화상 회의
KR102053860B1 (ko) 이동 단말기
CN117579774A (zh) 广角视频会议
KR20160054881A (ko) 문자 입력 단말기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant