KR102166330B1 - 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치 - Google Patents

의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치 Download PDF

Info

Publication number
KR102166330B1
KR102166330B1 KR1020130100580A KR20130100580A KR102166330B1 KR 102166330 B1 KR102166330 B1 KR 102166330B1 KR 1020130100580 A KR1020130100580 A KR 1020130100580A KR 20130100580 A KR20130100580 A KR 20130100580A KR 102166330 B1 KR102166330 B1 KR 102166330B1
Authority
KR
South Korea
Prior art keywords
touch input
hand
screen
detected
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130100580A
Other languages
English (en)
Other versions
KR20150022536A (ko
Inventor
김형진
안미정
조재문
현동규
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to KR1020130100580A priority Critical patent/KR102166330B1/ko
Priority to EP14162631.7A priority patent/EP2840478B1/en
Priority to US14/449,602 priority patent/US9582091B2/en
Publication of KR20150022536A publication Critical patent/KR20150022536A/ko
Application granted granted Critical
Publication of KR102166330B1 publication Critical patent/KR102166330B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

컨트롤 패널 상의 공간 활용도를 높이고 빠르고 편리하게 사용자가 원하는 사용자 인터페이스를 제공할 수 있도록, 사용자의 제스처 (gesture) 에 기초하여 사용자 인터페이스를 제공하는 장치 및 방법을 개시한다.
사용자의 손의 제스처를 검출하는 단계; 검출된 제스처에 대응되는, 화면 상에 표시되는 터치 입력 UI (user interface) 를 결정하는 단계; 화면으로부터 손까지의 거리에 기초하여, 터치 입력 UI 를 조정하여 표시하는 단계를 포함하는 사용자 인터페이스 제공 방법을 개시한다.

Description

의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING USER INTERFACE OF MEDICAL DIAGNOSTIC APPARATUS}
본 발명은 의료 진단 장치의 사용자 인터페이스를 제공하는 장치 및 방법에 관한 것으로서, 보다 상세하게는, 사용자의 제스처에 기초하여 사용자 인터페이스를 제공하는 장치 및 방법에 관한 것이다.
의료 진단 시스템은 대상체에 관한 의료 영상 데이터를 획득하고, 획득된 의료 영상 데이터를 이용하여 생성된 의료 영상을 화면 상에 디스플레이하여 사용자에게 제공한다. 의료 진단 장치는, 의료 진단 의료 영상 촬영 장치 및 의료 진단 장치를 포함한다.
의료 영상 촬영 장치는 대상체를 향하여 소정의 신호를 조사하고, 조사된 신호에 응답하여 대상체로부터 수신된 신호를 이용하여 대상체의 단층이나 혈류 등에 관한 의료 영상 데이터를 획득한다.
예를 들어, 의료 영상 촬영 장치는 초음파 영상 데이터, X 선 영상 데이터, CT (Computerized Tomography) 영상 데이터, MR (Magnetic Resonance) 영상 데이터, PET (Positron Emission Tomography) 영상 데이터 및 이와 유사한 영상 데이터를 획득할 수 있다.
의료 진단 장치는, 의료 영상 촬영 장치로부터 획득된 의료 영상 데이터를 이용하여 의료 영상을 생성하고, 생성된 의료 영상을 화면 상에 디스플레이하여 사용자에게 제공한다. 의료 진단 장치는, 의료 진단 시스템을 제어하고 각종 기능을 설정하기 위한 컨트롤 패널을 포함할 수 있다.
일반적으로 의료 진단 장치의 컨트롤 패널 상에는, 사용자의 입력을 수신하기 위한 다수의 기능 키 (function key), 및 키보드 등의 입력 장치가 구비된다. 예를 들어, 의료 진단 장치의 키보드는 컨트롤 패널의 상면 또는 하면에 배치될 수 있다. 그러나, 입력 장치를 컨트롤 패널의 상면 또는 하면에 고정하여 또는 이동 가능하게 배치할 경우, 컨트롤 패널의 제한된 공간의 활용도를 떨어뜨린다는 문제점이 있다.
따라서, 컨트롤 패널의 제한된 공간의 활용도를 높이기 위해서, 컨트롤 패널 상에 여러 종류의 입력 장치들을 배치하는 대신 터치 입력 패드를 배치될 수 있다. 컨트롤 패널 상에 배치된 터치 입력 패드는, 기능 키 및 키보드 등과 같은 다양한 입력 장치의 기능을 수행하는 터치 입력 UI (User Interface) 를 제공함으로써, 사용자의 입력을 수신할 수 있다.
다만, 사용자가 원하는 입력 장치의 기능을 수행하는 터치 입력 UI 를 터치 입력 패드를 통해 제공받기 위해서, 사용자가 원하는 터치 입력 UI 를 선택하기까지 많은 단계를 거쳐야 한다는 불편함이 있었다.
따라서, 컨트롤 패널 상의 공간 활용도를 높이면서, 빠르고 편리하게 사용자가 원하는 사용자 인터페이스를 제공할 수 있는 의료 진단 장치가 요구된다.
본 발명은 사용자의 제스처에 기초하여 의료 진단 장치의 사용자 인터페이스를 제공하는 사용자 인터페이스 제공 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스를 제공하는 방법은, 사용자의 손의 제스처 (gesture) 를 검출하는 단계; 상기 검출된 제스처에 대응되는, 화면 상에 표시되는 터치 입력 UI (user interface) 를 결정하는 단계; 상기 화면으로부터 상기 손까지의 거리에 기초하여, 상기 터치 입력 UI 를 조정하여 표시하는 단계를 포함한다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스에 있어서, 상기 터치 입력 UI 를 조정하여 표시하는 단계는, 상기 화면으로부터 상기 손까지의 거리에 기초하여, 상기 터치 입력 UI 의 투명도, 크기, 및 위치 중 적어도 하나를 변화시키는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스에 있어서, 상기 터치 입력 UI 를 조정하여 표시하는 단계는, 상기 화면으로부터 상기 손까지의 거리가 짧아짐에 따라, 상기 터치 입력 UI 의 투명도를 감소시킬 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스에 있어서, 상기 터치 입력 UI 를 조정하여 표시하는 단계는, 상기 화면으로부터 상기 손까지의 거리가 제 1 거리일 때, 상기 화면 상에 상기 터치 입력 UI 의 일부를 표시하는 단계; 및 상기 화면으로부터 상기 손까지의 거리가 제 2 거리일 때, 상기 화면 상에 상기 터치 입력 UI 의 전부를 표시하는 단계를 포함하고, 상기 제 2 거리는 상기 제 1 거리보다 짧은 것일 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스에 있어서, 상기 터치 입력 UI 를 조정하여 표시하는 단계는, 상기 화면으로부터 상기 손까지의 거리에 기초하여, 상기 터치 입력 UI 의 형태, 색상, 밝기, 및 점멸 주기 중 적어도 하나를 변화 시키는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스에 있어서, 상기 제스처를 검출하는 단계는, 상기 손에 대한 영상을 획득하는 단계; 상기 획득된 영상으로부터 상기 손의 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화를 검출하는 단계; 및 미리 저장된 적어도 하나의 제스처에 대한 정보로부터, 상기 검출된 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화에 대응되는 제스처를 검색하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스에 있어서, 상기 터치 입력 UI 를 조정하여 표시하는 단계는, 상기 손의 위치를 검출하는 단계; 및 상기 검출된 위치와 대응되는 상기 화면 상의 영역에 상기 터치 입력 UI 를 표시하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스에 있어서, 상기 터치 입력 UI 는, 가상 키보드, TGC (time gain compensation) 조작 UI, 메뉴 선택 UI, 및 3차원 의료 영상의 회전을 제어하는 영상 제어 UI 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스에 있어서, 상기 제스처를 검출하는 단계는, 손의 개수 및 손가락의 개수를 검출하는 단계를 포함하고, 상기 터치 입력 UI 를 결정하는 단계는, 상기 검출된 손의 개수가 두 개이고, 상기 검출된 손가락의 개수가 여덟 개 이상인 경우, 가상 키보드를 상기 터치 입력 UI 로서 결정하는 단계; 상기 검출된 손의 개수가 한 개이고, 상기 검출된 손가락의 개수가 두 개인 경우, TGC 조작 UI 를 상기 터치 입력 UI 로서 결정하는 단계; 상기 검출된 손의 개수가 한 개이고, 상기 검출된 손가락의 개수가 한 개인 경우, 메뉴 선택 UI 를 상기 터치 입력 UI 로서 결정하는 단계; 및 상기 검출된 손의 개수가 한 개이고, 손가락이 검출되지 않는 경우, 영상 제어 UI 를 상기 터치 입력 UI 로서 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스에 있어서, 상기 터치 입력 UI 가 가상 키보드인 경우, 상기 터치 입력 UI 를 조정하여 표시하는 단계는, 상기 손의 손가락 끝들 간의 간격을 검출하는 단계; 및 상기 검출된 간격에 대응되는 자판 간격을 갖는 상기 가상 키보드를 표시하는 단계를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스를 제공하는 장치는, 사용자의 손의 제스처를 검출하는 검출부; 상기 검출된 제스처에 대응되는, 화면 상에 표시되는 터치 입력 UI 를 결정하고, 상기 화면으로부터 상기 손까지의 거리에 기초하여 상기 터치 입력 UI 를 조정하는 제어부; 및 상기 조정된 터치 입력 UI 를 표시하는 UI 표시부를 포함한다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스를 제공하는 장치에 있어서, 상기 제어부는, 상기 화면으로부터 상기 손까지의 거리에 기초하여, 상기 터치 입력 UI 의 투명도, 크기, 및 위치 중 적어도 하나를 변화시킬 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스를 제공하는 장치에 있어서, 상기 제어부는, 상기 화면으로부터 상기 손까지의 거리가 짧아짐에 따라, 상기 터치 입력 UI 의 투명도를 감소시킬 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스를 제공하는 장치에 있어서, 상기 제어부는, 상기 화면으로부터 상기 손까지의 거리가 제 1 거리일 때 상기 화면 상에 상기 터치 입력 UI 의 일부를 표시하고, 상기 화면으로부터 상기 손까지의 거리가 제 2 거리일 때 상기 화면 상에 상기 터치 입력 UI 의 전부를 표시하도록 상기 UI 표시부를 제어하고, 상기 제 2 거리는 상기 제 1 거리보다 짧은 것일 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스를 제공하는 장치에 있어서, 상기 제어부는, 상기 화면으로부터 상기 손까지의 거리에 기초하여, 상기 터치 입력 UI 의 형태, 색상, 밝기, 및 점멸 주기 중 적어도 하나를 변화 시킬 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스를 제공하는 장치에 있어서, 상기 검출부는, 상기 손에 대한 영상을 획득하는 영상 획득부; 및 상기 획득된 영상으로부터 상기 손의 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화를 검출하는 영상 분석부; 및 미리 저장된 적어도 하나의 제스처에 대한 정보로부터, 상기 검출된 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화에 대응되는 제스처를 검색하는 검색부를 포함할 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스를 제공하는 장치에 있어서, 상기 검출부는, 상기 손의 위치를 더 검출하고, 상기 제어부는, 상기 검출된 위치와 대응되는 상기 화면 상의 영역에 상기 터치 입력 UI 를 표시하도록 상기 UI 표시부를 제어할 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스를 제공하는 장치에 있어서, 상기 터치 입력 UI 는, 가상 키보드, TGC 조작 UI, 메뉴 선택 UI, 및 3차원 의료 영상의 회전을 제어하는 영상 제어 UI 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스를 제공하는 장치에 있어서, 상기 검출부는, 손의 개수 및 손가락의 개수를 검출하고, 상기 제어부는, 상기 검출된 손의 개수가 두 개이고, 상기 검출된 손가락의 개수가 여덟 개 이상인 경우, 가상 키보드를 상기 터치 입력 UI 로서 결정하고, 상기 검출된 손의 개수가 한 개이고, 상기 검출된 손가락의 개수가 두 개인 경우, TGC 조작 UI 를 상기 터치 입력 UI 로서 결정하고, 상기 검출된 손의 개수가 한 개이고, 상기 검출된 손가락의 개수가 한 개인 경우, 메뉴 선택 UI 를 상기 터치 입력 UI 로서 결정하고, 상기 검출된 손의 개수가 한 개이고, 손가락이 검출되지 않는 경우, 영상 제어 UI 를 상기 터치 입력 UI 로서 결정할 수 있다.
본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스를 제공하는 장치에 있어서, 상기 터치 입력 UI 가 가상 키보드인 경우, 상기 검출부는, 상기 손의 손가락 끝들 간의 간격을 더 검출하고, 상기 제어부는, 상기 검출된 간격에 대응되는 자판 간격을 갖는 상기 가상 키보드를 표시하도록 상기 UI 표시부를 제어할 수 있다.
한편, 본 발명의 일 실시예에 따른 의료 진단 장치의 사용자 인터페이스를 제공하는 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체는, 상기 사용자 인터페이스 제공 방법은, 사용자의 손의 제스처를 검출하는 단계; 상기 검출된 제스처에 대응되는, 화면 상에 표시되는 터치 입력 UI 를 결정하는 단계; 상기 화면으로부터 상기 손까지의 거리에 기초하여, 상기 터치 입력 UI 를 조정하여 표시하는 단계를 포함한다.
도 1 은 일반적인 의료 진단 장치를 설명하기 위한 블록 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치를 설명하기 위한 블록도이다.
도 3 은 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 방법을 설명하기 위한 흐름도이다.
도 4 는 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치가 의료 진단 장치의 사용자 인터페이스를 제공하는 방법을 설명하기 위한 도면이다.
도 5 는 본 발명의 일 실시예에 따른 사용자의 손 제스처를 검출하는 방법을 설명하기 위한 도면이다.
도 6 은 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치의 터치 입력 UI (User Interface) 제공 화면의 일례를 나타낸다.
도 7 은 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치를 통해 제공되는 터치 입력 UI 의 일례를 나타낸다.
도 8 은 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치를 통해 제공되는 자판 간격이 조정되는 가상 키보드 제공 화면의 일례를 나타낸다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 "의료 영상" 이란 소정의 신호를 이용하여 획득된 대상체에 대한 영상을 의미한다. 의료 영상은 대상체를 촬영한 초음파 영상, X 선 영상, CT (Computerized Tomography) 영상, MR (Magnetic Resonance), PET ((Positron Emission Tomography) 영상 및 이와 유사한 영상을 포함할 수 있으며, 이에 한정되지 않는다.
“대상체” 는 신체의 일부를 의미할 수 있다. 예를 들어, 대상체에는 간이나, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 태아, 뼈 및 조직 등이 포함될 수 있다.
명세서 전체에서 "사용자"는 의료전문가로서 의사, 간호사, 임상병리사, 의료영상 전문가 등이 될 수 있으나, 이에 한정되지 않는다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1 은 일반적인 의료 진단 장치를 설명하기 위한 블록 구성도이다.
의료 진단 장치 (100) 는 대상체에 관한 의료 영상 데이터를 획득하고, 획득된 의료 영상 데이터를 이용하여 의료 영상을 생성하고, 생성된 의료 영상을 사용자에게 제공하는 장치를 의미할 수 있다.
의료 진단 장치 (100) 는 다양한 형태로 구현이 가능하다. 예를 들어, 본 명세서에서 기술되는 의료 진단 장치 (100) 는 고정식 단말뿐만 아니라 이동식 단말 형태로도 구현될 수 있다. 이동식 단말의 일례로 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있다.
도 1(a) 에 도시된 바와 같이, 의료 진단 장치 (100) 는 획득부 (110), 표시부 (120), 사용자 입력부 (130), 영상 처리부 (140), 및 제어부 (150) 를 포함할 수 있다.
획득부 (110) 는 대상체에 관한 의료 영상 데이터을 획득할 수 있다. 의료 영상 데이터는, 예를 들어, 대상체에 관한 2 차원 영상 데이터일 수도 있고, 3 차원 영상 데이터일 수도 있다.
획득부 (110) 는, 소정의 신호를 대상체에 대해 조사하고, 대상체로부터 반사된 또는 대상체를 투과한 신호를 수신하며, 수신된 신호에 기초하여 의료 영상 데이터 획득하는 의료 영상 촬영 장치를 포함할 수 있다.
표시부 (120) 는, 의료 진단 장치 (100) 에서 처리되는 정보를 표시 출력할 수 있다. 예를 들어, 표시부 (120) 는 대상체에 대한 초음파 영상, 기능 설정과 관련된 UI (User Interface) 또는 GUI (Graphic User Interface) 를 화면 상에 표시할 수도 있다.
사용자 입력부 (130) 는, 사용자가 의료 진단 장치 (100) 를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부 (130) 에는 키 패드 (key pad), 돔 스위치 (dome switch), 터치 패드 (접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다. 또한, 표시 패널과 레이어 구조를 이루는 터치 패드는 터치 스크린이라 부를 수 있다.
영상 처리부 (140) 는 획득부 (110) 에서 획득된 의료 영상 데이터를 이용하여 의료 영상을 생성할 수 있다. 사용자에 의해 설정된 다양한 설정 값을 의료 영상 데이터에 적용할 수 있다. 즉, 영상 처리부 (140) 는, 사용자에 의해 설정된 다양한 설정 값을 의료 영상 데이터에 적용하여, 화면에 표시되는 의료 영상을 생성하거나 변경할 수 있다.
제어부 (150) 는 의료 진단 장치 (100) 의 전반적인 동작을 제어한다. 즉, 제어부 (150) 는, 획득부 (110), 표시부 (120), 사용자 입력부 (130), 영상 처리부 (140) 등을 전반적으로 제어할 수 있다.
한편, 도 1 (b) 에 도시된 바와 같이, 의료 진단 장치 (100) 는 획득부 (110), 표시부 (120), 사용자 입력부 (130), 및 영상 처리부 (140) 이외에 메모리 (160), 통신부 (170) 를 더 포함할 수도 있다.
메모리 (160) 는, 제어부 (150) 의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들 (예를 들어, 기 설정된 이득 값, 의료 영상, 피검사자 정보, 프로브 정보, 애플리케이션 정보, 바디 마커 등) 을 저장할 수도 있다.
메모리 (160) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (RAM, Random Access Memory), SRAM (Static Random Access Memory), 롬 (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 의료 진단 장치 (100) 는 인터넷 (internet) 상에서 메모리 (160) 의 저장 기능을 수행하는 웹 스토리지 (web storage) 또는 클라우드 서버를 운영할 수도 있다.
통신부 (170) 는 의료 진단 장치 (100) 와 외부 장치 간의 통신을 가능하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부 (170) 는, 근거리 통신 모듈, 이동 통신 모듈, 무선 인터넷 모듈, 유선 인터넷 모듈 등을 포함할 수 있다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 무선 랜 (Wi-Fi), 블루투스 (Bluetooth), BLE, UWB (Ultra Wideband), 지그비 (ZigBee), NFC (Near Field Communication), WFD (Wi-Fi Direct), 적외선 통신 (IrDA, infrared Data Association) 등이 이용될 수 있다.
이동 통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈은 의료 진단 장치 (100) 에 내장되거나 외장될 수 있다. 유선 인터넷 모듈은 유선 인터넷 접속을 위한 모듈을 말한다.
통신부 (170) 는, 외부 장치로 생성된 의료 영상을 유무선 통신을 통해 전송할 수 있다. 본 발명의 일 실시예에 따른 외부 장치에는, 휴대폰, 스마트 폰 (smart phone), 노트북 컴퓨터 (laptop computer) , 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA (Personal Digital Assistants) , PMP (Portable Multimedia Player) , 디지털 카메라 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
한편, 도 1 에 도시된 의료 진단 장치 (100) 의 사용자 입력부 (130) 는 사용자의 입력을 수신하기 위해서, 의료 진단 장치 (100) 의 외부에 배치된다. 다만, 의료 진단 장치 (100) 의 공간적 제약으로 인해, 의료 진단 장치 (100) 상에 사용자 입력부 (130) 가 차지할 수 있는 공간은 제한된다.
따라서, 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치는, 의료 진단 장치의 공간 활용도를 높이면서, 빠르고 편리하게 사용자가 원하는 사용자 인터페이스를 제공한다.
본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치는 의료 진단 장치의 주변에 위치한 사용자의 손의 제스처를 검출하고, 검출된 손의 제스처에 기초하여, 화면 상에 표시될 터치 입력 UI 를 자동으로 결정할 수 있다. 본 발명의 일 실시예에 따르면, 사용자가 원하는 터치 입력 UI 를 제공받기 위한 별도의 선택 단계가 불필요하다.
또한, 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치는 의료 진단 장치로 접근하는 사용자의 손 접근 동작을 분석하여 터치 입력 UI 의 투명도, 위치, 및 크기 중 적어도 하나를 조정하여 표시할 수 있다. 본 발명의 일 실시예에 따르면, 사용자가 터치 입력 UI 를 사용하지 않는 경우에는 해당 터치 입력 UI 가 화면 상에 표시되지 않거나 또는 화면 상의 다른 영상을 가리지 않도록 표시될 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 사용자가 터치 입력 UI 를 사용하지 않는 경우에, 터치 입력 UI 가 화면 상의 다른 영상을 가리는 문제점을 방지할 수 있다.
이하에서는 의료 진단 장치 (100) 의 공간 활용도를 높이면서, 빠르고 편리하게 사용자 인터페이스를 제공하는 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 에 대해서 도 2 를 참조하여 자세히 살펴보기로 한다.
도 2 는 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 도 1 에 도시된 의료 진단 장치 (100) 를 사용하는 사용자에게 사용자 인터페이스를 제공할 수 있는 장치를 의미한다.
본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 도 1 에 도시된 의료 진단 장치 (100) 에 포함되거나 연결될 수 있다. 예를 들어, 도 2 에 도시된 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 도 1 의 사용자 입력부 (130) 에 포함될 수 있으나 이에 한정되지는 않는다.
또한, 도 2 에 도시된 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 의 각 구성은, 도 1 에 도시된 의료 진단 장치 (100) 에 포함되는 적어도 하나의 구성 내에 포함될 수 있으며, 의료 진단 장치 (100) 의 각 구성이 수행하는 기능들의 일부 또는 전부를 수행할 수 있다.
따라서, 이하에서 생략된 내용이라 하더라도 도 1 에 도시된 의료 진단 장치 (100) 에 관하여 이상에서 기술된 내용은 도 2 의 사용자 인터페이스 제공 장치 (200) 에도 적용됨을 알 수 있다.
도 2 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 검출부 (210), 제어부 (220), 및 UI 표시부 (230) 를 포함할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
검출부 (210) 는, 사용자의 손의 제스처 (gesture) 를 검출한다. “제스처” 란, 소정 시점에서 사용자의 손이 나타내는 형태, 소정 시간 동안 사용자의 손이 나타내는 형태의 변화, 위치 변화 또는 동작을 의미할 수 있다.
검출부 (210) 는, 영상을 획득할 수 있는 카메라 및 각종 센서를 포함할 수 있다. 검출부 (210) 에 포함될 수 있는 센서에는 깊이감 센서, 적외선 센서, 초음파 센서 및 이와 유사한 센서가 포함될 수 있다.
검출부 (210) 는, 손을 촬영한 영상에 기초하여 또는 손으로부터 수신되는 신호 (예를 들어, 적외선 신호, 및 초음파 신호 등) 에 기초하여, 제스처를 검출할 수 있다.
일 예로서, 검출부 (210) 는, 손에 대한 영상에 기초하여 제스처를 검출할 수 있다. 이 경우, 검출부 (210) 는, 손에 대한 영상을 획득하고, 획득된 영상으로부터 손의 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화를 검출할 수 있다.
다른 예로서, 검출부 (210) 는, 손으로부터 수신되는 소정 신호에 기초하여 제스처를 검출할 수 있다. 이 경우, 검출부 (210) 는, 소정의 신호를 손에 전송하고, 전송된 신호에 응답하여 손으로부터 수신된 신호에 기초하여 제스처를 검출할 수 있다. 예를 들어, 소정의 신호는, 적외선 신호 또는 초음파 센서일 수 있다.
검출부 (210) 는, 대상체로부터 수신되는 소정 신호로부터 손의 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화를 검출할 수 있다.
검출부 (210) 는, 미리 저장된 적어도 하나의 제스처에 대한 정보로부터, 검출된 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화에 대응되는 제스처를 검색할 수 있다.
또한, 검출부 (210) 는, UI 표시부 (230) 의 화면으로부터 제스처가 검출된 손까지의 거리를 더 검출할 수 있다. 화면으로부터 손까지의 거리는, 예를 들어, 화면으로부터 가장 가까이 위치한 손 끝으로부터 화면까지의 최단 직선 거리를 의미할 수 있다. 화면으로부터 손까지의 거리는, 손에 대한 영상을 분석하거나, 센서에 의해 검출된 손의 위치를 분석함으로써 계산될 수 있다.
제어부 (220) 는, 검출부 (210) 에서 검출된 제스처에 대응되는, UI 표시부 (230) 의 화면 상에 표시되는 터치 입력 UI 를 결정한다.
“터치 입력 UI” 는 사용자의 터치 입력을 수신할 수 있는 GUI 를 의미한다. 예를 들어, 터치 입력 UI 는 의료 영상 데이터를 획득하고 처리하는데 필요한 설정값 입력, 사용자 인터페이스 제공 장치 (200) 및 사용자 인터페이스 제공 장치 (200) 와 연결된 장치를 제어하기 위한 입력, 사용자 인터페이스 제공 장치 (200) 및 사용자 인터페이스 제공 장치 (200) 와 연결된 장치의 기능 설정을 위한 입력, 및 사용자가 작성하는 텍스트 입력 중 적어도 하나를 수신할 수 있다.
제어부 (220) 는, 화면으로부터 제스처가 검출된 손까지의 거리에 기초하여 결정된 터치 입력 UI 를 조정한다.
또한, 제어부 (240) 는, 사용자 인터페이스 제공 장치 (200) 의 전체 동작을 제어하며, 본 발명에 따른 사용자 인터페이스 제공 방법을 수행할 수 있도록 검출부 (210), 및 UI 표시부 (230) 를 제어할 수 있다.
UI 표시부 (230) 는, 제어부 (220) 에서 조정된 터치 입력 UI 를 화면을 통해 표시한다.
또한, UI 표시부 (230) 는, 의료 영상을 더 표시할 수 있으며, 또한, UI 표시부 (230) 는 사용자 인터페이스 제공 장치 (200) 에서 처리되는 정보를 표시할 수 있다. 예를 들어, UI 표시부 (230) 는, 손의 제스처에 기초하여 결정된 터치 입력 UI 를 조정하고 표시하는데 필요한 상태 정보, 기능 설정과 관련된 UI 또는 GUI 를 표시할 수 있다.
UI 표시부 (230) 는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 사용자 인터페이스 제공 장치 (200) 의 구현 형태에 따라 사용자 인터페이스 제공 장치 (200) 는 UI 표시부 (230) 를 2개 이상 포함할 수도 있다.
UI 표시부 (230) 는 터치 입력 UI 를 표시하는 출력 장치 이외에, 터치 입력 UI 를 통해 사용자 입력을 수신하는 입력 장치로도 사용될 수 있다.
예를 들어, UI 표시부 (230) 는, 디스플레이 패널과 터치패드가 레이어 구조를 이루어 구성된 터치 스크린을 포함할 수 있다. 터치 패드는, 접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등을 이용하여 터치 입력을 수신할 수 있다.
본 명세서에서 “터치 입력” 이란, 직접 터치 (real-touch) 뿐만 아니라 근접 터치 (proximity touch) 를 통한 입력을 모두 의미할 수 있다. "직접 터치" 라 함은 화면에 실제로 포인터 (pointer) 가 터치된 경우를 말한다. "근접 터치" 라 함은 포인터가 화면에 실제로 터치 되지는 않고, 화면으로부터 소정 거리 떨어져 접근된 경우를 말한다.
“포인터” 는 표시된 화면의 특정 부분을 터치하거나 근접 터치하기 위한 도구 또는 사용자의 신체 일부를 말한다. 그 일례로 스타일러스 팬, 손가락 등이 있다.
터치 입력을 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치 입력을 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치 입력을 감지하기 위한 센서의 일례로 근접 센서가 있다. 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.
한편, 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
이하에서는 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 가 사용자 인터페이스를 제공하는 방법에 대해서 도 3 을 참조하여 구체적으로 살펴보도록 한다.
도 3 은 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 방법을 설명하기 위한 흐름도이다.
단계 S310 에서 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 사용자의 손의 제스처를 검출한다.
사용자 인터페이스 제공 장치 (200) 는, 카메라를 이용하여 손을 촬영한 영상 또는 센서를 이용하여 손으로부터 수신된 신호에 기초하여, 손의 제스처를 검출할 수 있다.
일 예로서, 사용자 인터페이스 제공 장치 (200) 는 카메라를 이용하여 화면으로부터 소정 거리 내에 위치한 손에 대한 영상을 획득하고, 획득된 영상으로부터 손의 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화를 검출할 수 있다. 화면으로부터 소정 거리란 미리 저장되어 있거나 사용자에 의해 입력된 거리일 수 있다.
사용자 인터페이스 제공 장치 (200) 는, 획득된 영상으로부터 손에 대응되는 영역을 추정하고, 추정된 손의 영역에 기초하여, 손의 개수 및 손가락의 개수를 검출할 수 있다.
다른 예로서, 사용자 인터페이스 제공 장치 (200) 는 센서를 이용하여 화면으로부터 소정 거리 내에 위치한 손에 대한 신호를 수신하고, 획득된 신호에 기초하여 손의 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화를 검출할 수 있다.
사용자 인터페이스 제공 장치 (200) 는, 수신된 신호로부터 손에 대응되는 영역을 추정하고, 추정된 손의 영역에 기초하여, 손의 개수 및 손가락의 개수를 검출할 수 있다.
사용자 인터페이스 제공 장치 (200) 는 적어도 하나의 제스처에 대한 정보를 미리 저장할 수 있다. 사용자 인터페이스 제공 장치 (200) 는, 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화에 대한 정보를 제스처에 대한 정보로서 저장할 수 있다.
따라서, 사용자 인터페이스 제공 장치 (200) 는 미리 저장된 적어도 하나의 제스처에 대한 정보로부터, 상기 검출된 손의 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화에 대응되는 제스처를 검색할 수 있다.
손의 제스처를 검출하는 방법과 관련하여서는, 본 발명은 상술한 방법에 한정되지 않으며, 본 발명에는 상술한 방법 이외의 방법이 이용될 수 있음을 당업자라면 자명하게 알 수 있다.
단계 S320 에서 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 단계 S310 에서 검출된 제스처에 대응되는, 화면 상에 표시되는 터치 입력 UI 를 결정한다.
사용자 인터페이스 제공 장치 (200) 는, 소정의 제스처와 상기 제스처에 대응되는 적어도 하나의 터치 입력 UI 을 매칭시켜 미리 저장할 수 있다. 사용자 인터페이스 장치 (200) 는, 검출된 제스처에 대응되는 터치 입력 UI 를 미리 저장된 적어도 하나의 터치 입력 UI 로부터 검색할 수 있다.
터치 입력 UI 는, 가상 키보드, TGC 조작 UI, 메뉴 선택 UI, 및 3차원 의료 영상의 회전을 제어하는 영상 제어 UI 중 적어도 하나를 포함할 수 있다.
예를 들어, 사용자 인터페이스 제공 장치 (200) 는, 단계 S310 에서 검출된 손의 개수 및 손가락의 개수에 기초하여 화면에 표시될 터치 입력 UI 를 결정할 수 있다.
일 예로서, 사용자 인터페이스 제공 장치 (200) 는 검출된 손의 개수가 두 개이고, 검출된 손가락의 개수가 여덟 개 이상인 경우, 가상 키보드를 화면에 표시될 터치 입력 UI 로서 결정할 수 있다.
또한, 사용자 인터페이스 제공 장치 (200) 는 검출된 손의 개수가 한 개이고, 검출된 손가락의 개수가 두 개인 경우, TGC 조작 UI 를 화면에 표시될 터치 입력 UI 로서 결정할 수 있다.
또한, 사용자 인터페이스 제공 장치 (200) 는 검출된 손의 개수가 한 개이고, 검출된 손가락의 개수가 한 개인 경우, 메뉴 선택 UI 를 화면에 표시될 터치 입력 UI 로서 결정할 수 있다.
또한, 사용자 인터페이스 제공 장치 (200) 는 검출된 손의 개수가 한 개이고, 검출된 손가락이 없는 경우, 영상 제어 UI 를 화면에 표시될 터치 입력 UI 로서 결정할 수 있다.
검출된 손의 개수 및 손가락의 개수에 기초하여 결정되는 터치 입력 UI 와 관련하여서는 후에 도 7 을 참조하여 구체적으로 설명하기로 한다.
단계 S330 에서 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 화면으로부터 손까지의 거리에 기초하여, 단계 S320 에서 결정된 터치 입력 UI 를 조정하여 표시한다.
예를 들어, 사용자 인터페이스 제공 장치 (200) 는 화면으로부터 손까지의 거리에 기초하여, 터치 입력 UI 의 투명도, 크기, 위치, 형태, 색상, 밝기, 및 점멸 주기 중 적어도 하나를 변화시킬 수 있다.
본 발명의 제 1 실시예에 따르면, 사용자 인터페이스 제공 장치 (200) 는 화면으로부터 손까지의 거리가 짧아짐에 따라, 터치 입력 UI 의 투명도를 감소시킬 수 있다. 즉, 본 발명의 제 1 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자의 손이 화면과 가까워짐에 따라, 화면의 주변 영역과 터치 입력 UI 가 뚜렷하게 구별되도록 터치 입력 UI 를 화면 상에 표시할 수 있다.
본 발명의 제 2 실시예에 따르면, 사용자 인터페이스 제공 장치 (200) 는 화면으로부터 손까지의 거리가 짧아짐에 따라, 화면의 주변 영역으로부터 중심 영역으로, 화면 상에 표시되는 터치 입력 UI 의 위치를 변화시킬 수 있다.
본 발명의 제 2 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 화면으로부터 손까지의 거리가 제 1 거리일 때, 화면 상에 터치 입력 UI 의 일부를 표시할 수 있다. 사용자 인터페이스 제공 장치 (200) 는, 화면으로부터 상기 손까지의 거리가 제 1 거리보다 짧은 제 2 거리일 때, 화면 상에 터치 입력 UI 의 전부를 표시할 수 있다.
즉, 본 발명의 제 2 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자의 손이 화면과 가까워짐에 따라, 사용자가 용이하게 터치 입력 UI 를 이용할 수 있는 위치로 터치 입력 UI 의 위치를 변화시킬 수 있다.
본 발명의 제 3 실시예에 따르면, 사용자 인터페이스 제공 장치 (200) 는 화면으로부터 손까지의 거리가 짧아짐에 따라, 터치 입력 UI 의 크기를 증가시킬 수 있다. 즉, 본 발명의 제 3 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자의 손이 화면과 가까워짐에 따라, 사용자가 용이하게 터치 입력 UI 를 이용할 수 있는 크기로 터치 입력 UI 의 크기를 증가시킬 수 있다.
상술한 본 발명의 제 1 실시예 내지 제 3 실시예와 관련하여서는, 후에 도 6 을 참조하여 보다 구체적으로 살펴보기로 한다.
한편, 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 손의 위치를 검출하고, 검출된 손의 위치와 대응되는 화면 상의 영역에 터치 입력 UI 를 표시할 수 있다.
또한, 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 손의 크기 또는 형태를 검출하고, 검출된 손의 크기 또는 형태와 대응되도록 터치 입력 UI 를 조정하고 표시할 수 있다. 예를 들어, 단계 S320 에서 결정된 터치 입력 UI 가 가상 키보드인 경우, 사용자 인터페이스 제공 장치 (200) 는 손가락 끝들 간의 간격을 검출하고, 검출된 간격에 대응되는 자판 간격을 갖도록 가상 키보드를 표시할 수 있다.
검출된 손가락 끝들 간의 간격에 대응되는 자판 간격을 갖도록 조정되는 가상 키보드와 관련하여서는, 후에 도 8 을 참조하여 보다 구체적으로 살펴보기로 한다.
도 4 는 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치가 의료 진단 장치의 사용자 인터페이스를 제공하는 방법을 설명하기 위한 도면이다.
도 4 에 도시된 바와 같이 의료 진단 장치 (100) 는 의료 영상을 표시하는 표시부 (120), 및 사용자로부터 의료 진단 장치 (100) 를 제어하기 위한 입력을 수신하는 사용자 입력부 (130) 를 포함할 수 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 도 4 에 도시된 의료 진단 장치 (100) 에 포함될 수 있다.
예를 들어, 사용자 인터페이스 제공 장치 (200) 의 검출부 (210) 는 의료 진단 장치 (100) 의 표시부 (120) 의 하측 영역 (401), 또는 의료 진단 장치 (100) 의 사용자 입력부 (130) 의 터치 패드 (403) 의 상측 영역 (402) 에 배치될 수 있다.
또한, 의료 진단 장치 (100) 의 표시부 (120) 또는 터치 패드 (403) 가, 화면 상에 소정의 영상을 표시함과 동시에 화면 앞의 손에 대한 영상을 획득하는 기능을 수행할 수 있는 경우, 사용자 인터페이스 제공 장치 (200) 의 검출부 (210) 는 의료 진단 장치 (100)의 표시부 (120) 또는 터치 패드 (403) 내에도 포함될 수 있다.
사용자 인터페이스 제공 장치 (200) 의 검출부 (210) 는, 카메라, 적외선 센서, 및 초음파 센서 중 적어도 하나를 포함할 수 있다.
사용자 인터페이스 제공 장치 (200) 는, 검출부 (210) 에서 검출된 손의 제스처에 기초하여 결정된 터치 입력 UI 를 UI 표시부 (230) 를 통해 표시할 수 있다. 사용자 인터페이스 제공 장치 (200) 의 UI 표시부 (230) 는, 의료 진단 장치 (100) 의 표시부 (120) 또는 터치 패드 (403) 에 포함될 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 의료 진단 장치 (100) 의 터치 패드 (403) 상에 터치 입력 UI 를 표시할 수 있다. 사용자 인터페이스 제공 장치 (200) 는, 의료 진단 장치 (100) 의 터치 패드 (403) 상에 사용자의 손이 가까워지는 경우, 손의 제스처를 검출하고, 검출된 제스처에 기초하여 결정된 터치 입력 UI 를 터치 패드 (403) 상에 표시할 수 있다.
따라서, 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 에 의하면, 의료 진단 장치 (100) 상에 여러 입력 장치 (즉, 키보드, 각종 기능 키, TGC 조절 다이얼 등) 를 배치하는 대신에, 여러 터치 입력 UI 들을 제공하는 표시부 (230) 만을 배치시킴으로써 의료 진단 장치 (100) 공간 활용도를 높일 수 있다.
또한, 사용자의 손의 제스처에 따라 결정된 터치 입력 UI 를 표시함으로써 사용자가 원하는 터치 입력 UI 를 빠르고 편리하게 제공할 수 있다.
도 5 는 본 발명의 일 실시예에 따른 사용자의 손 제스처를 검출하는 방법을 설명하기 위한 도면이다.
도 5 에 도시된 바와 같이, 사용자 인터페이스 제공 장치 (200) 는 화면으로부터 소정 거리 내에 위치한 손에 대한 영상을 획득하고, 획득된 영상으로부터 손의 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화를 검출할 수 있다.
예를 들어, 사용자 인터페이스 제공 장치 (200) 는, 획득된 영상 (500) 으로부터 손에 대응되는 영역 (502) 을 추정할 수 있다. 사용자 인터페이스 제공 장치 (200) 는, 추정된 손의 영역 (502) 에 기초하여, 손가락 끝에 대응되는 영역 (504) 및 손바닥에 대응되는 영역 (506) 을 추정할 수 있다.
사용자 인터페이스 제공 장치 (200) 는 손바닥에 대응되는 영역 (506) 에 대한 손가락 끝에 대응되는 영역 (504) 의 움직임 (예를 들어, 움직이는 거리 또는 각도 등) 에 기초하여 손의 제스처를 검출할 수 있다.
예를 들어, 사용자 인터페이스 제공 장치 (200) 는 손바닥에 대응되는 영역 (506) 과 손가락 끝에 대응되는 영역 (504) 이 가까워지는 경우 사용자가 손가락을 구부리는 동작이라고 판단하고, 손바닥에 대응되는 영역 (506) 과 손가락 끝에 대응되는 영역 (504) 이 멀어지는 경우 사용자가 손가락을 펴는 동작이라고 판단할 수 있다. 사용자 인터페이스 제공 장치 (200) 는 판단된 손가락의 동작에 기초하여 손의 제스처를 검출할 수 있다.
다만, 손의 제스처를 검출하는 방법과 관련하여서는, 본 발명은 상술한 방법에 한정되지 않으며, 본 발명에는 상술한 방법 이외의 방법이 이용될 수 있음을 당업자라면 자명하게 알 수 있다.
도 6 은 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치의 터치 입력 UI 제공 화면의 일례를 나타낸다.
도 6a 는 본 발명의 제 1 실시예에 따른 사용자 인터페이스 제공 장치의 터치 입력 UI 제공 화면의 일례를 나타낸다.
도 6a 에 도시된 바와 같이, 제 1 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 표시부 (203) 의 화면 (601) 으로부터 사용자의 손 (106) 까지의 거리에 기초하여, 터치 입력 UI 의 투명도를 변화시킬 수 있다.
본 발명의 제 1 실시예에 따르면, 사용자 인터페이스 제공 장치 (200) 는 화면 (601) 으로부터 손 (106) 까지의 거리가 짧아짐에 따라, 터치 입력 UI 의 투명도를 감소시킬 수 있다.
즉, 본 발명의 제 1 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자의 손 (106) 이 화면 (601) 과 가까워짐에 따라, 화면 (601) 의 주변 영역과 터치 입력 UI (650) 가 뚜렷하게 구별되도록, 화면 상에 불투명하게 터치 입력 UI (650) 를 표시할 수 있다.
또한, 본 발명의 제 1 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자의 손 (106) 이 화면 (601) 과 멀어짐에 따라, 터치 입력 UI (650) 의 투명도를 높일 수 있다.
따라서, 사용자 인터페이스 제공 장치 (200) 는, 사용자가 터치 입력을 수행하지 않고자 하는 경우 (즉, 사용자의 손 (106) 이 화면 (601) 과 멀어지는 경우), 터치 입력 UI (650) 를 투명하게 표시함으로써, 터치 입력 UI (650) 가 화면 (601) 상에 표시되는 다른 영상을 가리지 않도록 할 수 있다.
도 6b 는 본 발명의 제 2 실시예에 따른 사용자 인터페이스 제공 장치의 터치 입력 UI 제공 화면의 실시예를 나타낸다.
도 6b 에 도시된 바와 같이, 제 2 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 표시부 (203) 의 화면 (601) 으로부터 사용자의 손 (106) 까지의 거리에 기초하여, 터치 입력 UI 의 위치를 변화시킬 수 있다.
본 발명의 제 2 실시예에 따르면, 사용자 인터페이스 제공 장치 (200) 는 화면 (601) 으로부터 손 (106) 까지의 거리가 짧아짐에 따라, 터치 입력 UI 의 위치를 화면 (601) 의 주변 영역으로부터 중심 영역 또는 손의 위치에 대응되는 영역으로 변화시킬 수 있다.
즉, 본 발명의 제 2 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자의 손 (106) 이 화면 (601) 과 가까워짐에 따라, 사용자가 용이하게 터치 입력 UI (650) 를 이용할 수 있는 위치로 터치 입력 UI (650) 를 위치시킬 수 있다.
또한, 본 발명의 제 2 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자의 손 (106) 이 화면 (601) 과 멀어짐에 따라, 터치 입력 UI 을 화면 (601) 의 주변 영역으로 이동시킬 수 있다.
따라서, 사용자 인터페이스 제공 장치 (200) 는, 사용자가 터치 입력을 수행하고자 하지 않는 경우 (즉, 사용자의 손 (106) 이 화면 (601) 과 멀어지는 경우), 터치 입력 UI 을 화면 (601) 의 주변 영역으로 이동시키고 터치 입력 UI 의 일부만이 화면 (601) 상에 표시되도록함으로써 터치 입력 UI (650) 가 화면 (601) 상에 표시되는 다른 영상을 가리지 않도록 할 수 있다.
도 6c 는 본 발명의 제 3 실시예에 따른 사용자 인터페이스 제공 장치의 터치 입력 UI 제공 화면의 실시예를 나타낸다.
도 6c 에 도시된 바와 같이, 제 3 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 표시부 (203) 의 화면 (601) 으로부터 사용자의 손 (106) 까지의 거리에 기초하여, 터치 입력 UI 의 크기를 변화시킬 수 있다.
본 발명의 제 3 실시예에 따르면, 사용자 인터페이스 제공 장치 (200) 는 화면 (601) 으로부터 손 (106) 까지의 거리가 짧아짐에 따라, 터치 입력 UI 의 크기를 증가시킬 수 있다.
즉, 본 발명의 제 3 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자의 손 (106) 이 화면 (601) 과 가까워짐에 따라, 사용자가 용이하게 터치 입력 UI (650) 를 이용할 수 있는 크기로 터치 입력 UI (650) 를 증가시킬 수 있다.
또한, 본 발명의 제 3 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자의 손 (106) 이 화면 (601) 과 멀어짐에 따라, 터치 입력 UI (650) 의 크기를 감소시킬 수 있다.
따라서, 사용자 인터페이스 제공 장치 (200) 는, 사용자가 터치 입력을 수행하지 않고자 하는 경우 (즉, 사용자의 손 (106) 이 화면 (601) 과 멀어지는 경우), 터치 입력 UI (650) 의 크기를 작게함으로써, 터치 입력 UI (650) 가 화면 (601) 상에 표시되는 다른 영상을 가리지 않도록 할 수 있다.
도 6 에 도시된 바와 같이, 본 발명의 제 1 실시예 내지 제 3 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 화면 (601) 으로부터 사용자의 손 (106) 까지의 거리에 기초하여, 터치 입력 UI 의 투명도, 위치, 및 크기 중 적어도 하나를 변화시킬 수 있다.
따라서, 본 발명의 제 1 실시예 내지 제 3 실시예에 따른 사용자 인터페이스 제공 장치 (200) 를 이용하는 사용자는, 손을 화면 가까이 위치시키는 동작만으로도, 사용자가 용이하게 이용할 수 있도록 투명도, 위치, 및 크기 중 적어도 하나가 조정된 터치 입력 UI (650) 를 제공받을 수 있다.
또한, 사용자는, 터치 입력을 수행하고자 하지 않는 경우, 손을 화면으로부터 멀리 위치시키는 동작만으로도, 터치 입력 UI (650) 가 화면 (601) 상에 표시되는 다른 영상을 가리지 않도록 투명도, 위치, 및 크기 중 적어도 하나가 조정된 터치 입력 UI (650) 를 제공받을 수 있다.
다만, 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 가 화면으로부터 손까지의 거리에 기초하여 터치 입력 UI 를 조정하는 방법과 관련하여서는, 상술한 실시예에 한정되지 않으며, 본 발명에는 상술한 실시예 이외의 유사한 방법이 이용될 수 있음을 당업자라면 자명하게 알 수 있다.
도 7 은 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치를 통해 제공되는 터치 입력 UI 의 일례를 나타낸다.
본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 검출된 손의 제스처에 기초하여 화면 상에 표시될 터치 입력 UI 를 결정한다. 사용자 인터페이스 제공 장치 (200) 는 복수의 입력 장치들에 대응하는 복수의 터치 입력 UI 들을 제공할 수 있다.
예를 들어, 사용자 인터페이스 제공 장치 (200) 는 키보드를 나타내는 GUI 를 터치 패드 상에 표시하고, 표시된 GUI 를 통해 사용자가 타이핑하는 글자 입력을 수신할 수 있다. 또한, 사용자 인터페이스 제공 장치 (200) 는 TGC 를 조절할 수 있는 슬라이드바 (slide bar) 를 나타내는 GUI 를 터치 패드 상에 표시하고, 표시된 GUI 를 통해 사용자가 슬라이드바를 드래그하는 입력을 수신할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 입력 장치를 나타내는 영상을 포함하고, 해당 입력 장치와 동일한 기능을 수행하는 터치 입력 UI 를 화면을 통해 제공할 수 있다.
이 때, 사용자 인터페이스 제공 장치 (200) 는, 다양한 입력 장치를 이용하는 사용자의 손의 제스처들에 기초하여, 터치 입력 UI 를 결정하는 기준이 되는 손의 제스처를 설정할 수 있다. 즉, 소정의 터치 입력 UI 를 결정하는 기준이 되는 손의 제스처는, 해당 터치 입력 UI 에 대응되는 입력 장치를 이용하는 사용자의 손의 제스처와 동일하거나 유사한 것일 수 있다.
예를 들어, 도 7 의 (a) 에 도시된 바와 같이 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자가 양 손을 모두 펴서 마치 키보드를 타이핑하는 것과 유사한 제스처를 취하는 경우 “가상 키보드 (701)” 를 화면 (601) 상에 표시할 수 있다.
따라서, 도 7 의 (a) 에 도시된 바와 같은 제스처를 취하는 사용자의 두 손이 의료 진단 장치 (100) 로부터 소정 범위 내에 위치하는 경우, 사용자 인터페이스 제공 장치 (200) 는 가상 키보드 (701) 를 화면 (601) 상에 표시할 수 있다.
이 때, 의료 진단 장치 (100) 로부터 소정 범위 내란, 예를 들어, 사용자의 손 끝이 의료 진단 장치 (100) 의 컨트롤 패널의 상면으로부터 30 cm 이내에 놓여진 경우를 의미할 수 있다.
한편, 사용자의 한 손만이 의료 진단 장치 (100) 로부터 소정 범위 내에 위치하는 경우, 사용자 인터페이스 제공 장치 (200) 는 화면 (601) 상에 가상 키보드 (701) 가 더 이상 표시되지 않도록 할 수 있다.
도 7 의 (b) 에 도시된 바와 같이 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자가 두 손가락을 펴서 마치 TGC 를 조절하기 위한 슬라이드바를 드래그 하는 것과 유사한 제스처를 취하는 경우 “TGC 조절 UI (720)” 를 화면 (601) 상에 표시할 수 있다.
도 7 의 (c) 에 도시된 바와 같이 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자가 한 손가락을 펴서 마치 소정의 기능을 선택하기 위해 기능 키를 누르는 것과 유사한 제스처를 취하는 경우 “메뉴 선택 UI (730)” 를 화면 (601) 상에 표시할 수 있다.
도 7 의 (d) 에 도시된 바와 같이 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자가 다섯 손가락을 구부려서 주먹을 쥐는 제스처를 취하는 경우 3차원 의료 영상의 회전을 제어하는 “영상 제어 UI (740)” 를 화면 (601) 상에 표시할 수 있다.
예를 들어, 영상 제어 UI (740) 는, 화면에 표시된 대상체의 3차원 영상 (702) 의 테두리의 형태를 가질 수 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는 검출된 사용자의 제스처에 기초하여 영상 제어 UI (740) 를 화면 (601) 상에 제공할 수 있다. 의료 진단 장치 (100) 는 제공된 영상 제어 UI (740) 를 통해 사용자의 손을 회전시키는 영상 제어 입력을 수신할 수 있다.
도 7 의 (d) 의 화살표 (703) 가 나타내는 것과 같이, 의료 진단 장치 (100) 는, 사용자가 손을 회전시키는 입력을 수신하고, 손의 회전과 대응되도록 화면 (601) 상에 표시되는 대상체의 3차원 영상 (702) 을 회전시킬 수 있다.
도 8 은 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치를 통해 제공되는 자판 간격이 조정되는 가상 키보드 제공 화면의 일례를 나타낸다.
본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 는, 사용자의 제스처에 기초하여 가상 키보드를 화면 (601) 상에 표시하기로 결정할 수 있다.
이 때, 사용자 인터페이스 제공 장치 (200) 는, 가상 키보드에 대응되는 사용자의 손의 제스처를 검출함과 더불어, 손가락 끝들 간의 간격을 더 검출할 수 있다. 그리고 사용자 인터페이스 제공 장치 (200) 는, 검출된 간격에 대응되는 자판 간격을 갖도록 가상 키보드를 조정하여 화면 (601) 상에 표시할 수 있다.
도 8 에 도시된 바와 같이, 사용자 인터페이스 제공 장치 (200) 는, 적어도 두 개의 손가락 끝들 간의 간격 (D1) 을 검출하고, 검출된 간격 (D1) 에 대응되는 자판 간격 (d1) 을 갖는 가상 키보드 (810) 를 화면 상에 표시할 수 있다.
사용자 인터페이스 제공 장치 (200) 는, 사용자들의 서로 다른 손의 크기 또는 사용자의 의도에 따라 손가락 끝들 간의 간격 (D2) 이 변화된 경우, 변화된 간격 (D2) 에 대응되는 자판 간격 (d2) 을 갖는 가상 키보드 (820) 를 화면 상에 표시할 수 있다.
사용자 인터페이스 제공 장치 (200) 는 특정한 두개의 손가락 끝들 간의 간격을 기준으로 가상 키보드의 자판 간격을 조정하거나, 손가락 끝들 간격의 평균 값을 기준으로 가상 키보드의 자판 간격을 조정할 수 있다.
따라서, 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치 (200) 를 이용하는 사용자는 사용자에 따라 자판 간격이 자동으로 조정된 터치 입력 UI 를 제공받음으로써 편리하게 자판을 타이핑할 수 있으며 오타율을 줄일 수 있다.
도 8 에는, 사용자의 손의 크기 또는 형태에 따라 가상 키보드의 자판 간격을 조정하는 실시예만을 도시하였으나, 본 발명은 이에 한정되지 않는다. 가상 키보드 이외의 터치 입력 UI 를 제공하는 경우에도, 사용자 인터페이스 제공 장치 (200) 는, 사용자의 손의 크기 또는 형태에 기초하여 형태 또는 위치가 조정된 터치 입력 UI 를 제공함으로써, 사용자에 따라 개인화된 터치 입력 UI 를 제공할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (21)

  1. 의료 진단 장치의 사용자 인터페이스를 제공하는 방법에 있어서,
    사용자의 손의 제스처 (gesture) 를 검출하는 단계;
    상기 검출된 제스처에 대응되는, 화면 상에 표시되는 터치 입력 UI (user interface) 를 결정하는 단계;
    상기 화면으로부터 상기 손까지의 거리에 기초하여, 상기 터치 입력 UI를 조정하여 표시하는 단계를 포함하고,
    상기 사용자의 손의 제스처 (gesture) 를 검출하는 단계는,
    상기 화면으로부터 소정 거리 이내에 위치된 손의 개수 및 손가락의 개수를 검출하는 단계를 포함하고,
    상기 터치 입력 UI를 결정하는 단계는,
    상기 검출된 손의 개수 및 손가락의 개수에 대응되는 터치 입력 UI를 결정하는 단계를 포함하고,
    상기 터치 입력 UI를 조정하여 표시하는 단계는,
    상기 화면으로부터 상기 손까지의 거리에 기초하여 상기 결정된 터치 입력 UI의 위치 및 크기를 조정하여 표시하는 단계를 포함하고,
    상기 터치 입력 UI를 결정하는 단계는,
    상기 검출된 손의 개수가 두 개이고, 상기 검출된 손가락의 개수가 여덟 개 이상인 경우, 가상 키보드를 상기 터치 입력 UI로서 결정하는 단계;
    상기 검출된 손의 개수가 한 개이고, 상기 검출된 손가락의 개수가 두 개인 경우, TGC 조작 UI를 상기 터치 입력 UI로서 결정하는 단계;
    상기 검출된 손의 개수가 한 개이고, 상기 검출된 손가락의 개수가 한 개인 경우, 메뉴 선택 UI를 상기 터치 입력 UI로서 결정하는 단계; 및
    상기 검출된 손의 개수가 한 개이고, 손가락이 검출되지 않는 경우, 영상 제어 UI를 상기 터치 입력 UI로서 결정하는 단계를 포함하는 것을 특징으로 하는, 사용자 인터페이스 제공 방법.
  2. 제 1 항에 있어서,
    상기 터치 입력 UI를 조정하여 표시하는 단계는,
    상기 화면으로부터 상기 손까지의 거리에 기초하여, 상기 터치 입력 UI의 투명도를 더 변화시키는 단계를 포함하는 것을 특징으로 하는, 사용자 인터페이스 제공 방법.
  3. 제 2 항에 있어서,
    상기 터치 입력 UI를 조정하여 표시하는 단계는,
    상기 화면으로부터 상기 손까지의 거리가 짧아짐에 따라, 상기 터치 입력 UI의 투명도를 감소시키는 것을 특징으로 하는, 사용자 인터페이스 제공 방법.
  4. 제 1 항에 있어서,
    상기 터치 입력 UI를 조정하여 표시하는 단계는,
    상기 화면으로부터 상기 손까지의 거리가 제 1 거리일 때, 상기 화면 상에 상기 터치 입력 UI의 일부를 표시하는 단계; 및
    상기 화면으로부터 상기 손까지의 거리가 제 2 거리일 때, 상기 화면 상에 상기 터치 입력 UI의 전부를 표시하는 단계를 포함하고,
    상기 제 2 거리는 상기 제 1 거리보다 짧은 것을 특징으로 하는, 사용자 인터페이스 제공 방법.
  5. 제 1 항에 있어서,
    상기 터치 입력 UI를 조정하여 표시하는 단계는,
    상기 화면으로부터 상기 손까지의 거리에 기초하여, 상기 터치 입력 UI의 형태, 색상, 밝기, 및 점멸 주기 중 적어도 하나를 변화 시키는 단계를 포함하는 것을 특징으로 하는, 사용자 인터페이스 제공 방법.
  6. 제 1 항에 있어서,
    상기 제스처를 검출하는 단계는,
    상기 손에 대한 영상을 획득하는 단계;
    상기 획득된 영상으로부터 상기 손의 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화를 검출하는 단계; 및
    미리 저장된 적어도 하나의 제스처에 대한 정보로부터, 상기 검출된 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화에 대응되는 제스처를 검색하는 단계를 더 포함하는 것을 특징으로 하는, 사용자 인터페이스 제공 방법.
  7. 제 1 항에 있어서,
    상기 터치 입력 UI를 조정하여 표시하는 단계는,
    상기 손의 위치를 검출하는 단계; 및
    상기 검출된 위치와 대응되는 상기 화면 상의 영역에 상기 터치 입력 UI를 표시하는 단계를 포함하는 것을 특징으로 하는, 사용자 인터페이스 제공 방법.
  8. 제 1 항에 있어서,
    상기 터치 입력 UI는,
    가상 키보드, TGC (time gain compensation) 조작 UI, 메뉴 선택 UI, 및 3차원 의료 영상의 회전을 제어하는 영상 제어 UI중 적어도 하나를 포함하는 것을 특징으로 하는, 사용자 인터페이스 제공 방법.
  9. 삭제
  10. 제 1 항에 있어서,
    상기 터치 입력 UI가 가상 키보드인 경우, 상기 터치 입력 UI를 조정하여 표시하는 단계는,
    상기 손의 손가락 끝들 간의 간격을 검출하는 단계; 및
    상기 검출된 간격에 대응되는 자판 간격을 갖는 상기 가상 키보드를 표시하는 단계를 포함하는 것을 특징으로 하는, 사용자 인터페이스 제공 방법.
  11. 의료 진단 장치의 사용자 인터페이스를 제공하는 장치에 있어서,
    사용자의 손의 제스처를 검출하는 검출부;
    상기 검출된 제스처에 대응되는, 화면 상에 표시되는 터치 입력 UI를 결정하고, 상기 화면으로부터 상기 손까지의 거리에 기초하여 상기 터치 입력 UI를 조정하는 제어부; 및
    상기 조정된 터치 입력 UI를 표시하는 UI표시부를 포함하고,
    상기 검출부는,
    상기 화면으로부터 소정 거리 이내에 위치된 손의 개수 및 손가락의 개수를 검출하고,
    상기 제어부는,
    상기 검출된 손의 개수 및 손가락의 개수에 대응되는 터치 입력 UI를 결정하고,
    상기 화면으로부터 상기 손까지의 거리에 기초하여 상기 결정된 터치 입력 UI의 위치 및 크기를 조정하고,
    상기 제어부는,
    상기 검출된 손의 개수가 두 개이고, 상기 검출된 손가락의 개수가 여덟 개 이상인 경우, 가상 키보드를 상기 터치 입력 UI로서 결정하고,
    상기 검출된 손의 개수가 한 개이고, 상기 검출된 손가락의 개수가 두 개인 경우, TGC 조작 UI를 상기 터치 입력 UI로서 결정하고,
    상기 검출된 손의 개수가 한 개이고, 상기 검출된 손가락의 개수가 한 개인 경우, 메뉴 선택 UI를 상기 터치 입력 UI로서 결정하고,
    상기 검출된 손의 개수가 한 개이고, 손가락이 검출되지 않는 경우, 영상 제어 UI를 상기 터치 입력 UI로서 결정하는 것을 특징으로 하는, 사용자 인터페이스 제공 장치.
  12. 제 11 항에 있어서,
    상기 제어부는,
    상기 화면으로부터 상기 손까지의 거리에 기초하여, 상기 터치 입력 UI의 투명도를 더 변화시키는 것을 특징으로 하는, 사용자 인터페이스 제공 장치.
  13. 제 12 항에 있어서,
    상기 제어부는,
    상기 화면으로부터 상기 손까지의 거리가 짧아짐에 따라, 상기 터치 입력 UI의 투명도를 감소시키는 것을 특징으로 하는, 사용자 인터페이스 제공 장치.
  14. 제 11 항에 있어서,
    상기 제어부는,
    상기 화면으로부터 상기 손까지의 거리가 제 1 거리일 때 상기 화면 상에 상기 터치 입력 UI의 일부를 표시하고, 상기 화면으로부터 상기 손까지의 거리가 제 2 거리일 때 상기 화면 상에 상기 터치 입력 UI의 전부를 표시하도록 상기 UI표시부를 제어하고,
    상기 제 2 거리는 상기 제 1 거리보다 짧은 것을 특징으로 하는, 사용자 인터페이스 제공 장치.
  15. 제 11 항에 있어서,
    상기 제어부는,
    상기 화면으로부터 상기 손까지의 거리에 기초하여, 상기 터치 입력 UI의 형태, 색상, 밝기, 및 점멸 주기 중 적어도 하나를 변화 시키는 것을 특징으로 하는, 사용자 인터페이스 제공 장치.
  16. 제 11 항에 있어서,
    상기 검출부는,
    상기 손에 대한 영상을 획득하는 영상 획득부; 및
    상기 획득된 영상으로부터 상기 손의 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화를 검출하는 영상 분석부; 및
    미리 저장된 적어도 하나의 제스처에 대한 정보로부터, 상기 검출된 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화에 대응되는 제스처를 검색하는 검색부를 포함하는 것을 특징으로 하는, 사용자 인터페이스 제공 장치.
  17. 제 11 항에 있어서,
    상기 검출부는,
    상기 손의 위치를 더 검출하고,
    상기 제어부는,
    상기 검출된 위치와 대응되는 상기 화면 상의 영역에 상기 터치 입력 UI를 표시하도록 상기 UI표시부를 제어하는 것을 특징으로 하는, 사용자 인터페이스 제공 장치.
  18. 제 11 항에 있어서,
    상기 터치 입력 UI는,
    가상 키보드, TGC 조작 UI, 메뉴 선택 UI, 및 3차원 의료 영상의 회전을 제어하는 영상 제어 UI중 적어도 하나를 포함하는 것을 특징으로 하는, 사용자 인터페이스 제공 장치.
  19. 삭제
  20. 제 11 항에 있어서,
    상기 터치 입력 UI가 가상 키보드인 경우,
    상기 검출부는, 상기 손의 손가락 끝들 간의 간격을 더 검출하고,
    상기 제어부는, 상기 검출된 간격에 대응되는 자판 간격을 갖는 상기 가상 키보드를 표시하도록 상기 UI표시부를 제어하는 것을 특징으로 하는, 사용자 인터페이스 제공 장치.
  21. 의료 진단 장치의 사용자 인터페이스를 제공하는 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 있어서,
    상기 사용자 인터페이스를 제공하는 방법은,
    사용자의 손의 제스처를 검출하는 단계;
    상기 검출된 제스처에 대응되는, 화면 상에 표시되는 터치 입력 UI를 결정하는 단계;
    상기 화면으로부터 상기 손까지의 거리에 기초하여, 상기 터치 입력 UI를 조정하여 표시하는 단계를 포함하고,
    상기 사용자의 손의 제스처 (gesture) 를 검출하는 단계는,
    상기 화면으로부터 소정 거리 이내에 위치된 손의 개수 및 손가락의 개수를 검출하는 단계를 포함하고,
    상기 터치 입력 UI를 결정하는 단계는,
    상기 검출된 손의 개수 및 손가락의 개수에 대응되는 터치 입력 UI를 결정하는 단계를 포함하고,
    상기 터치 입력 UI를 조정하여 표시하는 단계는,
    상기 화면으로부터 상기 손까지의 거리에 기초하여 상기 결정된 터치 입력 UI의 위치 및 크기를 조정하여 표시하는 단계를 포함하고,
    상기 터치 입력 UI를 결정하는 단계는,
    상기 검출된 손의 개수가 두 개이고, 상기 검출된 손가락의 개수가 여덟 개 이상인 경우, 가상 키보드를 상기 터치 입력 UI로서 결정하는 단계;
    상기 검출된 손의 개수가 한 개이고, 상기 검출된 손가락의 개수가 두 개인 경우, TGC 조작 UI를 상기 터치 입력 UI로서 결정하는 단계;
    상기 검출된 손의 개수가 한 개이고, 상기 검출된 손가락의 개수가 한 개인 경우, 메뉴 선택 UI를 상기 터치 입력 UI로서 결정하는 단계; 및
    상기 검출된 손의 개수가 한 개이고, 손가락이 검출되지 않는 경우, 영상 제어 UI를 상기 터치 입력 UI로서 결정하는 단계를 포함하는 것을 특징으로 하는, 컴퓨터로 판독 가능한 기록 매체.
KR1020130100580A 2013-08-23 2013-08-23 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치 Active KR102166330B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130100580A KR102166330B1 (ko) 2013-08-23 2013-08-23 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치
EP14162631.7A EP2840478B1 (en) 2013-08-23 2014-03-31 Method and apparatus for providing user interface for medical diagnostic apparatus
US14/449,602 US9582091B2 (en) 2013-08-23 2014-08-01 Method and apparatus for providing user interface for medical diagnostic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130100580A KR102166330B1 (ko) 2013-08-23 2013-08-23 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150022536A KR20150022536A (ko) 2015-03-04
KR102166330B1 true KR102166330B1 (ko) 2020-10-15

Family

ID=50486763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130100580A Active KR102166330B1 (ko) 2013-08-23 2013-08-23 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치

Country Status (3)

Country Link
US (1) US9582091B2 (ko)
EP (1) EP2840478B1 (ko)
KR (1) KR102166330B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
US9557905B2 (en) * 2013-12-18 2017-01-31 General Electric Company System and method for user input
JP2015138360A (ja) * 2014-01-22 2015-07-30 コニカミノルタ株式会社 オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
US9612720B2 (en) * 2014-08-30 2017-04-04 Apollo Education Group, Inc. Automatic processing with multi-selection interface
KR101728045B1 (ko) * 2015-05-26 2017-04-18 삼성전자주식회사 의료 영상 디스플레이 장치 및 의료 영상 디스플레이 장치가 사용자 인터페이스를 제공하는 방법
US9927974B2 (en) * 2015-09-22 2018-03-27 Qualcomm Incorporated Automatic customization of keypad key appearance
ES2649789B1 (es) * 2016-07-14 2019-01-04 Fund Rioja Salud Sistema de visualizacion de imagenes medicas
JP6784115B2 (ja) * 2016-09-23 2020-11-11 コニカミノルタ株式会社 超音波診断装置及びプログラム
US11022322B2 (en) * 2019-01-04 2021-06-01 Whirlpool Corporation Cooking appliance with an imaging device
CN113454583A (zh) * 2019-06-11 2021-09-28 深圳迈瑞生物医疗电子股份有限公司 医疗设备控制系统及医疗设备
WO2021054589A1 (en) * 2019-09-18 2021-03-25 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
EP4031956A1 (en) 2019-09-20 2022-07-27 InterDigital CE Patent Holdings, SAS Device and method for hand-based user interaction in vr and ar environments

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060077179A1 (en) * 2004-10-08 2006-04-13 Inventec Corporation Keyboard having automatic adjusting key intervals and a method thereof
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
US20120119988A1 (en) 2009-08-12 2012-05-17 Shimane Prefectural Government Image recognition apparatus, operation determining method and computer-readable medium
US20130106898A1 (en) 2011-10-26 2013-05-02 Google Inc. Detecting object moving toward or away from a computing device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007093984A2 (en) 2006-02-16 2007-08-23 Ftk Technologies Ltd. A system and method of inputting data into a computing system
EP2017756A1 (de) 2007-07-20 2009-01-21 BrainLAB AG Verfahren zur Anzeige und/oder Bearbeitung bzw. Verarbeitung von Bilddaten medizinischen oder medizintechnischen Ursprungs mit Gestenerkennung
KR101079598B1 (ko) 2007-12-18 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
US20110296333A1 (en) 2010-05-25 2011-12-01 Bateman Steven S User interaction gestures with virtual keyboard
US9104239B2 (en) * 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
WO2012144666A1 (en) * 2011-04-19 2012-10-26 Lg Electronics Inc. Display device and control method therof
US9910502B2 (en) * 2011-09-15 2018-03-06 Koninklijke Philips N.V. Gesture-based user-interface with user-feedback
US9877699B2 (en) * 2012-03-26 2018-01-30 Teratech Corporation Tablet ultrasound system
US20130321286A1 (en) * 2012-05-31 2013-12-05 Mindray Ds Usa, Inc. Systems and methods for interfacing with an ultrasound system
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US9916009B2 (en) * 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9063578B2 (en) * 2013-07-31 2015-06-23 Microsoft Technology Licensing, Llc Ergonomic physical interaction zone cursor mapping
US9886797B2 (en) * 2013-08-13 2018-02-06 Boston Scientific Scimed, Inc. Comparative analysis of anatomical items

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060077179A1 (en) * 2004-10-08 2006-04-13 Inventec Corporation Keyboard having automatic adjusting key intervals and a method thereof
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
US20120119988A1 (en) 2009-08-12 2012-05-17 Shimane Prefectural Government Image recognition apparatus, operation determining method and computer-readable medium
US20130106898A1 (en) 2011-10-26 2013-05-02 Google Inc. Detecting object moving toward or away from a computing device

Also Published As

Publication number Publication date
KR20150022536A (ko) 2015-03-04
EP2840478A1 (en) 2015-02-25
US9582091B2 (en) 2017-02-28
EP2840478B1 (en) 2018-12-26
US20150054761A1 (en) 2015-02-26

Similar Documents

Publication Publication Date Title
KR102166330B1 (ko) 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치
ES2761198T3 (es) Sistema de interacción con la mirada
EP2865339B1 (en) Method of displaying an interest area and ultrasound apparatus therefor
CN107683111B (zh) 显示超声图像的超声设备和方法
US9519350B2 (en) Interface controlling apparatus and method using force
CN103505241B (zh) 与超声系统交互的系统和方法
US8432301B2 (en) Gesture-enabled keyboard and associated apparatus and computer-readable storage medium
JP2017534993A (ja) 指の圧力および方向に基づいてカーソルを制御するためのシステムおよび方法
US8963865B2 (en) Touch sensitive device with concentration mode
US20140164997A1 (en) Ultrasound apparatus and method of inputting information into the same
KR20170077208A (ko) 초음파 장치 및 초음파 장치의 정보 제공 방법
US20150160794A1 (en) Resolving ambiguous touches to a touch screen interface
US20140101587A1 (en) Information processing apparatus and method
JP2012003690A (ja) ユーザインタフェース装置
TWI564780B (zh) 觸控螢幕姿態技術
US20180253212A1 (en) System and Methods for Extending Effective Reach of a User's Finger on a Touchscreen User Interface
JP6501525B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR101534090B1 (ko) 초음파 장치 및 초음파 장치의 정보 입력 방법
KR101348370B1 (ko) 가변적 디스플레이 장치 및 그 디스플레이 방법
KR20200031598A (ko) 즐겨찾기모드 조작방법 및 이를 수행하는 터치 스크린을 포함하는 장치
JP2022009606A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130823

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180808

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130823

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191216

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20200623

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20191216

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20200623

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20200217

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20200810

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20200716

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20200623

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20200217

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201008

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201012

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee