KR20180074403A - 공항용 로봇 및 그의 동작 방법 - Google Patents

공항용 로봇 및 그의 동작 방법 Download PDF

Info

Publication number
KR20180074403A
KR20180074403A KR1020160178443A KR20160178443A KR20180074403A KR 20180074403 A KR20180074403 A KR 20180074403A KR 1020160178443 A KR1020160178443 A KR 1020160178443A KR 20160178443 A KR20160178443 A KR 20160178443A KR 20180074403 A KR20180074403 A KR 20180074403A
Authority
KR
South Korea
Prior art keywords
button
user
airport
signal
unit
Prior art date
Application number
KR1020160178443A
Other languages
English (en)
Inventor
박정민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020160178443A priority Critical patent/KR20180074403A/ko
Priority to PCT/KR2017/014491 priority patent/WO2018117513A1/ko
Priority to US16/473,223 priority patent/US20190354246A1/en
Publication of KR20180074403A publication Critical patent/KR20180074403A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/086—Proximity sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3278—Power saving in modem or I/O interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 의한 공항용 디스플레이부, 인체 및 물체를 센싱하는 사물 인식부 및 상기 공항용 로봇의 동작을 제어하는 제어부를 포함하고, 상기 사물 인식부는 상기 디스플레이부에 사용자의 신체 일부가 근접하는지 여부를 감지하는 감지센서를 포함하고, 상기 제어부는 상기 감지 센서를 이용하여 상기 디스플레이부에서 상기 사용자의 신체 일부가 근접한 위치를 검출하고, 상기 디스플레이부에서 상기 검출된 위치에 가장 근접한 버튼을 확인하고, 상기 버튼의 동작정보신호를 출력하도록 제어하는 것을 특징으로 한다.

Description

공항용 로봇 및 그의 동작 방법{ROBOT FOR AIRPORT AND METHOD THEREOF}
본 발명은 공항에 배치되는 로봇 및 그의 동작 방법에 관한 것으로, 보다 상세하게는 공항에 배치되어 사용자들에게 길 안내를 제공하는 공항용 안내 로봇 및 그의 동작 방법에 관한 것이다.
로봇의 응용분야는 대체로 산업용, 의료용, 우주용, 해저용으로 분류된다. 예를 들면, 자동차 생산과 같은 기계 가공 공업에서는 로봇이 반복작업을 수행할 수 있다. 즉, 사람의 팔이 하는 작업을 한 번만 가르쳐 주면 몇 시간이든 같은 동작을 반복하는 산업로봇이 이미 많이 가동되고 있다.
일반적으로, 감지 센서는 초음파 또는 적외선을 포함하는 신호를 송신하고, 장애물에 반사되어 돌아오는 반사파신호를 수신하여 근접하는 물체를 인식할 수 있다.
이러한 감지 센서는 여러 근접감지시스템에 적용되고 있으며, 일례로 차량충돌방지를 위해 차량 범퍼 쪽에 감지센서를 설치하여 차량으로 임의의 물체가 근접하는 경우 이를 감지하여 알리는 근접감지시스템이 있다.
또한, 이러한 감지 센서를 디스플레이 장치에 적용하면, 감지 센서를 통해 사용자의 신체 일부가 디스플레이 장치에 근접 또는 접촉하는 것을 감지할 수 있다.
본 발명의 목적은 사용자의 수동 조작 없이 로봇의 디스플레이부의 조작 메뉴가 자동으로 활성화되는 기능을 제공하는 것이다.
본 발명의 다른 목적은 로봇의 조작 메뉴가 활성상태인지 여부를 사용자가 직관적으로 인지할 수 있도록 하는 것이다.
본 발명에 따른 공항용 로봇은 디스플레이부 주변에 감지센서를 부착하여, 사용자 근접시 자동으로 디스플레이부의 메뉴를 활성화시킬 수 있다.
본 발명에 따른 공항용 로봇은 메뉴 버튼이 활성 가능 상태인지 여부를 오디오 또는 이미지로서 출력하도록 하는 제어 신호를 생성할 수 있다.
본 발명에 따른 공항용 로봇은 디스플레이부 주변에 감지센서를 부착하여, 사용자 근접시 자동으로 디스플레이부의 메뉴를 활성화시킬 수 있기 때문에, 메뉴 버튼 등을 활성화시키기 위한 사용자의 수동 조작 과정을 생략시키는 효과를 가져온다.
본 발명에 따른 공항용 로봇은 메뉴 버튼이 활성 가능 상태인지 여부를 오디오 또는 이미지로서 출력하여 로봇의 조작 메뉴가 활성상태인지 여부를 사용자가 직관적으로 인지할 수 있도록 하는 효과를 가져온다.
도 1은 본 발명의 일 실시예에 의한 공항 로봇의 하드웨어 구성을 도시한 블록도이다.
도 2는 본 발명의 다른 일 실시예에 의한 공항 로봇의 마이컴 및 AP의 구성을 자세하게 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 공항 로봇 시스템의 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 의한 공항 로봇이 기 정해진 거리마다 인체 또는 물체를 감지하는 일 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 근접 감지를 이용한 디스플레이 장치가 실제로 적용된 일예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 근접 감지를 이용한 디스플레이 장치의 블록도이다.
도 7은 도 6 에 도시된 감지 센서가 디스플레이 장치에 장착되는 일예를 도시한 도면이다.
도 8은 도 6 에 도시된 감지 센서가 디스플레이 장치에 장착되는 다른 예를 도시한 도면이다.
도 9 는 도 6 에 도시된 감지 센서를 이용하여 사용자의 신체 일부가 근접한 위치를 검출하는 방법을 설명하기 위해 도시한 도면이다.
도 10은 도 6 에 도시된 버튼 검출부가 디스플레이 장치에서 사용자의 신체 일부가 근접한 위치에 존재하는 버튼을 검출하는 방법을 설명하기 위해 도시한 도면이다.
도 11 은 도 6 에 도시된 버튼 검출부에 의해 디스플레이 장치에서 버튼이 검출된 일예를 도시한 도면이다.
도 12는 도 6 에 도시된 조작가능 상태 검출부의 동작 방법을 설명하기 위해 도시한 도면이다.
도 13 은 도 6 에 도시된 선행버튼 검색부의 동작 방법을 설명하기 위해 도시한 도면이다.
도 14 는 선행버튼이 디스플레이 장치에 표시되는 일예를 도시한 도면이다.
도 15 은 도 6 에 도시된 상태정보 검색부의 동작 방법을 설명하기 위해 도시한 도면이다.
도 16 은 버튼이 조작 가능할 경우 도 6 에 도시된 상태정보 검색부의 동작 방법을 설명하기 위해 도시한 도면이다.
도 17은 버튼이 조작 불가능할 경우 도 6 에 도시된 상태정보 검색부의 동작 방법을 설명하기 위해 도시한 도면이다.
도 18 은 은 본 발명의 일 실시예에 따른 근접 감지를 이용한 표시 제어 방법을 도시한 순서도이다.
도 19 는 본 발명의 다른 실시예에 따른 근접 감지를 이용한 표시 제어 방법을 도시한 순서도이다.
도 20은 본 발명의 또 다른 실시예에 따른 근접 감지를 이용한 표시 제어 방법을 도시한 순서도이다.
도 21 은 도 19 에 도시된 버튼의 기능에 대응하는 상태 정보가 존재하지 않는 경우에 대한 근접 감지를 이용한 표시 제어 방법을 도시한 순서도이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일 실시예에 의한 공항 로봇의 하드웨어 구성을 도시한 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 의한 공항 로봇(100)의 하드웨어는 마이컴(Micom) 그룹과 및 AP 그룹으로 구성될 수 있다. 마이컴(110) 그룹은 마이컴(110), 전원부(120), 장애물 인식부(130) 및 주행구동부(140)을 포함할 수 있다. AP 그룹은 AP(150), 유저 인터페이스부(160), 사물 인식부(170), 위치 인식부(180) 및 LAN(190)을 포함할 수 있다. 상기 유저 인터페이스부(160)는 통신부로 명명될 수 있다.
마이컴(110)은 공항 로봇의 하드웨어 중 배터리 등을 포함하는 전원부(120), 각종 센서들을 포함하는 장애물 인식부(130) 및 복수 개의 모터 및 휠들을 포함하는 주행구동부(140)를 관리할 수 있다.
전원부(120)는 배터리 드라이버(battery Driver, 121) 및 리튬-이온 배터리(Li-Ion Battery, 122)를 포함할 수 있다. 배터리 드라이버(121)는 리튬-이온 배터리(122)의 충전과 방전을 관리할 수 있다. 리튬-이온 배터리(122)는 공항 로봇의 구동을 위한 전원을 공급할 수 있다. 리튬-이온 배터리(122)는 24V/102A 리튬-이온 배터리 2개를 병렬로 연결하여 구성될 수 있다.
장애물 인식부(130)는 IR 리모콘 수신부(131), USS(132), Cliff PSD(133), ARS(134), Bumper(135) 및 OFS(136)를 포함할 수 있다. IR 리모콘 수신부(131)는 공항 로봇을 원격 조정하기 위한 IR(Infrared) 리모콘의 신호를 수신하는 센서를 포함할 수 있다. USS(Ultrasonic sensor, 132)는 초음파 신호를 이용하여 장애물과 공항 로봇 사이의 거리를 판단하기 위한 센서를 포함할 수 있다. Cliff PSD(133)는 360도 전방향의 공항 로봇 주행 범위에서 낭떠러지 또는 절벽 등을 감지하기 위한 센서를 포함할 수 있다. ARS(Attitude Reference System, 134)는 공항 로봇의 자세를 검출할 수 있는 센서를 포함할 수 있다. ARS(134)는 공항 로봇의 회전량 검출을 위한 가속도 3축 및 자이로 3축으로 구성되는 센서를 포함할 수 있다. Bumper(135)는 공항 로봇과 장애물 사이의 충돌을 감지하는 센서를 포함할 수 있다. Bumper(135)에 포함되는 센서는 360도 범위에서 공항 로봇과 장애물 사이의 충돌을 감지할 수 있다. OFS(Optical Flow Sensor, 136)는 공항 로봇의 주행 시 헛바퀴가 도는 현상 및 다양한 바닥 면에서 공항 로봇의 주행거리를 측정할 수 있는 센서를 포함할 수 있다.
주행구동부(140)는 모터 드라이버(Motor Drivers, 141), 휠 모터(142), 회전 모터(143), 메인 브러시 모터(144), 사이드 브러시 모터(145) 및 석션 모터 (Suction Motor, 146)를 포함할 수 있다. 모터 드라이버(141)는 공항 로봇의 주행 및 청소를 위한 휠 모터, 브러시 모터 및 석션 모터를 구동하는 역할을 수행할 수 있다. 휠 모터(142)는 공항 로봇의 주행을 위한 복수 개의 바퀴를 구동시킬 수 있다. 회전 모터(143)는 공항 로봇의 메인 바디 또는 공항 로봇의 헤드부의 좌우 회전, 상하 회전을 위해 구동되거나 공항 로봇의 바퀴의 방향 전환 또는 회전을 위하여 구동될 수 있다. 메인 브러시 모터(144)는 공항 바닥의 오물을 쓸어 올리는 브러시를 구동시킬 수 있다. 사이드 브러시 모터(145)는 공항 로봇의 바깥면 주변 영역의 오물을 쓸어 담는 브러시를 구동시킬 수 있다. 석션 모터(146)는 공항 바닥의 오물을 흡입하기 위해 구동될 수 있다.
AP(Application Processor, 150)는 공항 로봇의 하드웨어 모듈 전체 시스템을 관리하는 중앙 처리 장치로서 기능할 수 있다. AP(150)는 각종 센서들을 통해 들어온 위치 정보를 이용하여 주행을 위한 응용프로그램 구동과 사용자 입출력 정보를 마이컴(110) 측으로 전송하여 모터 등의 구동을 수행하게 할 수 있다.
유저 인터페이스부(160)는 유저 인터페이스 프로세서(UI Processor, 161), LTE 라우터(LTE Router, 162), WIFI SSID(163), 마이크 보드(164), 바코드 리더기(165), 터치 모니터(166) 및 스피커(167)를 포함할 수 있다. 유저 인터페이스 프로세서(161)는 사용자의 입출력을 담당하는 유저 인터페이스부의 동작을 제어할 수 있다. LTE 라우터(162)는 외부로부터 필요한 정보를 수신하고 사용자에게 정보를 송신하기 위한 LTE 통신을 수행할 수 있다. WIFI SSID(163)는 WiFi의 신호 강도를 분석하여 특정 사물 또는 공항 로봇의 위치 인식을 수행할 수 있다. 마이크 보드(164)는 복수 개의 마이크 신호를 입력 받아 음성 신호를 디지털 신호인 음성 데이터로 처리하고, 음성 신호의 방향 및 해당 음성 신호를 분석할 수 있다. 바코드 리더기(165)는 공항에서 사용되는 복수 개의 티켓에 기재된 바코드 정보를 리드할 수 있다. 터치 모니터(166)는 사용자의 입력을 수신하기 위해 구성된 터치 패널 및 출력 정보를 표시하기 위한 모니터를 포함할 수 있다. 스피커(167)는 사용자에게 특정 정보를 음성으로 알려주는 역할을 수행할 수 있다.
사물인식부(170)는 2D 카메라(171), RGBD 카메라(172) 및 인식 데이터 처리 모듈(173)를 포함할 수 있다. 2D 카메라(171)는 2차원 영상을 기반으로 사람 또는 사물을 인식하기 위한 센서일 수 있다. RGBD 카메라(Red, Green, Blue, Distance, 172)로서, RGBD 센서들을 갖는 카메라 또는 다른 유사한 3D 이미징 디바이스들로부터 획득되는 깊이(Depth) 데이터를 갖는 캡처된 이미지들을 이용하여 사람 또는 사물을 검출하기 위한 센서일 수 있다. 인식 데이터 처리 모듈(173)은 2D 카메라(171) 및 RGBD 카메라(172)로부터 획득된 2D 이미지/영상 또는 3D 이미지/영상 등의 신호를 처리하여 사람 또는 사물을 인식할 수 있다.
위치인식부(180)는 스테레오 보드(Stereo B/D, 181), 라이더(Lidar, 182) 및 SLAM 카메라(183)를 포함할 수 있다. SLAM 카메라(Simultaneous Localization And Mapping 카메라, 183)는 동시간 위치 추적 및 지도 작성 기술을 구현할 수 있다. 공항 로봇은 SLAM 카메라(183)를 이용하여 주변 환경 정보를 검출하고 얻어진 정보를 가공하여 임무 수행 공간에 대응되는 지도를 작성함과 동시에 자신의 절대 위치를 추정할 수 있다. 라이더(Light Detection and Ranging : Lidar, 182)는 레이저 레이더로서, 레이저 빔을 조사하고 에어로졸에 의해 흡수 혹은 산란된 빛 중 후방산란된 빛을 수집, 분석하여 위치 인식을 수행하는 센서일 수 있다. 스테레오 보드(181)는 라이더(182) 및 SLAM 카메라(183) 등으로부터 수집되는 센싱 데이터를 처리 및 가공하여 공항 로봇의 위치 인식과 장애물 인식을 위한 데이터 관리를 담당할 수 있다.
랜(LAN, 190)은 사용자 입출력 관련 유저 인터페이스 프로세서(161), 인식 데이터 처리 모듈(173), 스테레오 보드(181) 및 AP(150)와 통신을 수행할 수 있다.
도 2는 본 발명의 다른 일 실시예에 의한 공항 로봇의 마이컴 및 AP의 구성을 자세하게 도시한 도면이다.
도 2에 도시된 바와 같이, 공항 로봇의 인식 및 행동을 제어하기 위해서 마이컴(210)과 AP(220)는 다양한 실시예로 구현될 수 있다.
일 예로서, 마이컴(210)은 데이터 액세스 서비스 모듈(Data Access Service Module, 215)를 포함할 수 있다. 데이터 액세스 서비스 모듈(215)은 데이터 획득 모듈(Data acquisition module, 211), 이머전시 모듈(Emergency module, 212), 모터 드라이버 모듈(Motor driver module, 213) 및 배터리 매니저 모듈(Battery manager module, 214)을 포함할 수 있다. 데이터 획득 모듈(211)은 공항 로봇에 포함된 복수 개의 센서로부터 센싱된 데이터를 취득하여 데이터 액세스 서비스 모듈(215)로 전달할 수 있다. 이머전시 모듈(212)은 공항 로봇의 이상 상태를 감지할 수 있는 모듈로서, 공항 로봇이 기 정해진 타입의 행동을 수행하는 경우에 이머전시 모듈(212)은 공항 로봇이 이상 상태에 진입했음을 감지할 수 있다. 모터 드라이버 모듈(213)은 공항 로봇의 주행 및 청소를 위한 휠, 브러시, 석션 모터의 구동 제어를 관리할 수 있다. 배터리 매니저 모듈(214)은 도 1의 리튬-이온 배터리(122)의 충전과 방전을 담당하고, 공항 로봇의 배터리 상태를 데이터 액세스 서비스 모듈(215)에 전달할 수 있다.
AP(220)는 각종 카메라 및 센서들과 사용자 입력 등을 수신하고, 인식 가공하여 공항 로봇의 동작을 제어하는 역할을 수행할 수 있다. 인터랙션 모듈(221)은 인식 데이터 처리 모듈(173)로부터 수신하는 인식 데이터와 유저 인터페이스 모듈(222)로부터 수신하는 사용자 입력을 종합하여, 사용자와 공항 로봇이 상호 교류할 수 있는 소프트웨어(Software)를 총괄하는 모듈일 수 있다. 유저 인터페이스 모듈(222)은 공항 로봇의 현재 상항 및 조작/정보 제공 등을 위한 모니터인 디스플레이부(223)와 키(key), 터치 스크린, 리더기 등과 같은 사용자의 근거리 명령을 수신하거나, 공항 로봇을 원격 조정을 위한 IR 리모콘의 신호와 같은 원거리 신호를 수신하거나, 마이크 또는 바코드 리더기 등으로부터 사용자의 입력 신호를 수신하는 사용자 입력부(224)로부터 수신되는 사용자 입력을 관리할 수 있다. 적어도 하나 이상의 사용자 입력이 수신되면, 유저 인터페이스 모듈(222)은 상태 관리 모듈(State Machine module, 225)로 사용자 입력 정보를 전달할 수 있다. 사용자 입력 정보를 수신한 상태 관리 모듈(225)은 공항 로봇의 전체 상태를 관리하고, 사용자 입력 대응하는 적절한 명령을 내릴 수 있다. 플래닝 모듈(226)은 상태 관리 모듈(225)로부터 전달받은 명령에 따라서 공항 로봇의 특정 동작을 위한 시작과 종료 시점/행동을 판단하고, 공항 로봇이 어느 경로로 이동해야 하는지를 계산할 수 있다. 네비게이션 모듈(227)은 공항 로봇의 주행 전반을 담당하는 것으로서, 플래닝 모듈(226)에서 계산된 주행 루트에 따라서 공항 로봇이 주행하게 할 수 있다. 모션 모듈(228)은 주행 이외에 기본적인 공항 로봇의 동작을 수행하도록 할 수 있다.
또한, 본 발명의 다른 일 실시예에 의한 공항 로봇은 위치 인식부(230)를 포함할 수 있다. 위치 인식부(230)는 상대 위치 인식부(231)와 절대 위치 인식부(234)를 포함할 수 있다. 상대 위치 인식부(231)는 RGM mono(232) 센서를 통해 공항 로봇의 이동량을 보정하고, 일정한 시간 동안 공항 로봇의 이동량을 계산할 수 있고, LiDAR(233)를 통해 현재 공항 로봇의 주변 환경을 인식할 수 있다. 절대 위치 인식부(234)는 Wifi SSID(235) 및 UWB(236)을 포함할 수 있다. Wifi SSID(235)는 공항 로봇의 절대 위치 인식을 위한 UWB 센서 모듈로서, Wifi SSID 감지를 통해 현재 위치를 추정하기 위한 WIFI 모듈이다. Wifi SSID(235)는 Wifi의 신호 강도를 분석하여 공항 로봇의 위치를 인식할 수 있다. UWB(236)는 발신부와 수신부 사이의 거리를 계산하여 공항 로봇의 절대적 위치를 센싱할 수 있다.
또한, 본 발명의 다른 일 실시예에 의한 공항 로봇은 맵 관리 모듈(240)을 포함할 수 있다. 맵 관리 모듈(240)은 그리드 모듈(Grid module, 241), 패스 플래닝 모듈(Path Planning module, 242) 및 맵 분할 모듈(243)을 포함할 수 있다. 그리드 모듈(241)은 공항 로봇이 SLAM 카메라를 통해 생성한 격자 형태의 지도 혹은 사전에 미리 공항 로봇에 입력된 위치 인식을 위한 주변환경의 지도 데이터를 관리할 수 있다. 패스 플래닝 모듈(242)은 복수 개의 공항 로봇들 사이의 협업을 위한 맵 구분에서, 공항 로봇들의 주행 경로 계산을 담당할 수 있다. 또한, 패스 플래닝 모듈(242)은 공항 로봇 한대가 동작하는 환경에서 공항 로봇이 이동해야 할 주행 경로도 계산할 수 있다. 맵 분할 모듈(243)은 복수 개의 공항 로봇들이 각자 담당해야할 구역을 실시간으로 계산할 수 있다.
위치 인식부(230) 및 맵 관리 모듈(240)로부터 센싱되고 계산된 데이터들은 다시 상태 관리 모듈(225)로 전달될 수 있다. 상태 관리 모듈(225)은 위치 인식부(230) 및 맵 관리 모듈(240)로부터 센싱되고 계산된 데이터들에 기초하여, 공항 로봇의 동작을 제어하도록 플래닝 모듈(226)에 명령을 내릴 수 있다.
다음으로 도 3은 본 발명의 실시 예에 따른 공항 로봇 시스템의 구조를 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 공항 로봇 시스템은 이동 단말기(310), 서버(320), 공항 로봇(300) 및 카메라(330)를 포함할 수 있다.
이동 단말기(310)는 공항 내 서버(320)와 데이터를 송수신할 수 있다. 예를 들어, 이동 단말기(310)는 서버(320)로부터 비행 시간 스케쥴, 공항 지도 등과 같은 공항 관련 데이터를 수신할 수 있다. 사용자는 이동 단말기(310)를 통해 공항에서 필요한 정보를 서버(320)로부터 수신하여 얻을 수 있다. 또한, 이동 단말기(310)는 서버(320)로 사진이나 동영상, 메시지 등과 같은 데이터를 전송할 수 있다. 예를 들어, 사용자는 미아 사진을 서버(320)로 전송하여 미아 접수를 하거나, 공항 내 청소가 필요한 구역의 사진을 카메라로 촬영하여 서버(320)로 전송함으로써 해당 구역의 청소를 요청할 수 있다.
또한, 이동 단말기(310)는 공항 로봇(300)과 데이터를 송수신할 수 있다.
예를 들어, 이동 단말기(310)는 공항 로봇(300)을 호출하는 신호나 특정 동작을 수행하도록 명령하는 신호 또는 정보 요청 신호 등을 공항 로봇(300)으로 전송할 수 있다. 공항 로봇(300)은 이동 단말기(310)로부터 수신된 호출 신호에 응답하여 이동 단말기(310)의 위치로 이동하거나 명령 신호에 대응하는 동작을 수행할 수 있다. 또는 공항 로봇(300)은 정보 요청 신호에 대응하는 데이터를 각 사용자의 이동 단말기(310)로 전송할 수 있다.
다음으로, 공항 로봇(300)은 공항 내에서 순찰, 안내, 청소, 방역, 운반 등의 역할을 할 수 있다.
공항 로봇(300)은 이동 단말기(310) 또는 서버(320)와 신호를 송수신할 수 있다. 예를 들어, 공항 로봇(300)은 서버(320)와 공항 내 상황 정보 등을 포함한 신호를 송수신할 수 있다. 또한, 공항 로봇(300)은 공항 내 카메라(330)로부터 공항의 각 구역들을 촬영한 영상 정보를 수신할 수 있다. 따라서 공항 로봇(300)은 공항 로봇(300)이 촬영한 영상 정보 및 카메라(330)로부터 수신한 영상 정보를 종합하여 공항의 상황을 모니터링할 수 있다.
공항 로봇(300)은 사용자로부터 직접 명령을 수신할 수 있다. 예를 들어, 공항 로봇(300)에 구비된 디스플레이부를 터치하는 입력 또는 음성 입력 등을 통해 사용자로부터 명령을 직접 수신할 수 있다. 공항 로봇(300)은 사용자, 이동 단말기(310) 또는 서버(320) 등으로부터 수신된 명령에 따라 순찰, 안내, 청소 등의 동작을 수행할 수 있다.
다음으로 서버(320)는 이동 단말기(310), 공항 로봇(300), 카메라(330)로부터 정보를 수신할 수 있다. 서버(320)는 각 장치들로부터 수신된 정보들을 통합하여 저장 및 관리할 수 있다. 서버(320)는 저장된 정보들을 이동 단말기(310) 또는 공항 로봇(300)에 전송할 수 있다. 또한, 서버(320)는 공항에 배치된 복수의 공항 로봇(300)들 각각에 대한 명령 신호를 전송할 수 있다.
카메라(330)는 공항 내에 설치된 카메라를 포함할 수 있다. 예를 들어, 카메라(330)는 공항 내에 설치된 복수 개의 CCTV(closed circuit television) 카메라, 적외선 열감지 카메라 등을 모두 포함할 수 있다. 카메라(330)는 촬영된 영상을 서버(320) 또는 공항 로봇(300)에 전송할 수 있다.
도 4는 본 발명의 일 실시예에 의한 공항 로봇이 기 정해진 거리마다 인체 또는 물체를 감지하는 일 예를 설명하기 위한 도면이다.
도 4에 도시된 바와 같이 본 발명의 일 실시예에 의한 공항 로봇(400)은 거리 또는 일정한 범위(range) 마다 서로 다른 형태의 물체 인식 모드를 가동할 수 있다. 예를 들어, 인체 또는 물체가 제1 범위(410)에서 감지되는 경우, 공항 로봇(400)의 유저 인터페이스부(160)가 자동으로 웨이크업(wake-up)될 수 있다. 사용자는 공항 로봇(400)의 센싱 범위 중 제1 범위(410)에 도달할 때까지만 가까이 접근하면, 공항 로봇(400)을 수동으로 깨우지 않고도 공항 로봇과 인터페이스할 수 있다. 또한, 인티 또는 물체가 제2 범위(420)에서 감지되는 경우, 공항 로봇(400)은 사용자와 인터페이스하기 위한 모드를 실행할 수 있다. 사용자가 제2 범위(420)에 있는 경우에, 공항 로봇(400)은 사용자가 요청하기 전에 먼저 인터페이스 가능함을 알리는 메시지를 스피커 또는 텍스트로 전달할 수 있다. 또한, 공항 로봇(400)은 사용자가 제3 범위(430) 이내로 들어오는 것을 감지하는 경우, 위험 모드를 가동할 수 있다. 이 때, 공항 로봇(400)은 경고 음을 스피커로 출력하거나, 경고 메시지 등을 모니터에 출력하여 사용자에게 너무 가까이 있음을 알릴 수 있다. 그리고, 사용자가 다시 제3 범위(430)에서 제2 범위(420)이상으로 멀어지는 경우, 위험 모드를 중지하고, 안전한 거리가 되었음을 사용자에게 알릴 수 있다. 또는, 공항 로봇(400)은 사용자가 제3 범위(430) 이내로 들어오는 것을 감지하는 경우, 자체적으로 사용자와 일정 거리를 유지하거나 사용자가 제2 범위(420) 내에 들어오도록 공항 로봇(400) 스스로 멀리 떨어지는 방향으로 이동할 수 있다.
나아가, 공항 로봇(400)은 사용자를 특정 목적지까지 동행하면서 길 안내 서비스를 제공할 수 있다. 이 경우, 공항 로봇(400)은 사용자가 적어도 제1 범위(410) 내에 위치하도록 계속해서 사용자와의 거리를 센싱하면서 이동할 수 있다. 따라서, 공항 로봇(400)은 사용자와의 거리가 항상 일정한 범위 내에 들어오도록 유지하면서 길 안내 서비스를 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 근접 감지를 이용한 디스플레이 장치가 실제로 적용된 일예를 도시한 도면이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 의한 공항 로봇(500)은 회전이 가능한 디스플레이 장치(510)를 포함할 수 있다. 따라서, 사용자(520)가 기 정해진 거리 내에서 감지되면, 디스플레이 장치(510)는 정해진 알고리즘에 따라서 동작을 실행할 수 있다.
본 발명의 일 실시예에 따른 근접 감지를 이용한 디스플레이 장치(510)는 사용자의 신체 일부가 디스플레이 장치에 근접하는 것을 감지할 수 있다. 그리고 디스플레이 장치에서 사용자의 신체 일부가 근접한 위치에 있는 버튼을 검출하고, 검출된 버튼에 대한 동작정보신호를 출력할 수 있다. 따라서 사용자에게 사용자가 사용자의 신체 일부를 근접하게 다가간 버튼에 대한 조작안내정보 또는 해당 버튼의 기능에 대응하는 상태 정보를 제공할 수 있다. 디스플레이 장치의 화면에 표시되는 그래픽 아이콘 및 디스플레이 장치의 화면 외의 부분에 마련되어 있는 터치 버튼 또는 물리적 버튼을 모두 포함할 수 있다.
본 발명의 근접 감지를 이용한 디스플레이 장치(510)는 사용자의 신체 일부(예를 들어, 손가락, 520)이 근접하는 것을 감지할 수 있다. 버튼 제어 장치는 사용자의 신체 일부가 디스플레이 장치에 근접하는 것으로 감지되면, 디스플레이 장치에서 사용자의 신체 일부가 근전한 위치에 있는 버튼을 검출할 수 있다. 디스플레이 장치는 검출된 버튼에 대한 동작정보신호를 출력할 수 있다. 이때, 동적정보신호는 해당 버튼에 대응하는 기능 정보, 해당 버튼의 조작 가능 상태 정보 및 해당 버튼의 조작 불가능한 경우 해당 버튼을 조작하기 위한 안내 정보를 포함할 수 있다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 장치(510)는 감지 센서(610), 제어부(620), 출력부(630) 및 메모리부(640)를 포함할 수 있다.
감지 센서(610)는 디스플레이 장치(510) 내부에 구비되어 디스플레이 장치(510)에 사용자의 신체 일부(520)가 근접하는 것을 감지할 수 있다. 디스플레이 장치(510)는 감지 센서(610)를 이용하여 디스플레이 장치(510)에 근접하는 사용자의 신체 일부(520)가 디스플레이 장치(510)에서 어느 위치에 근접하는지를 검출할 수 있다. 이를 위해 감지 센서(610)는 디스플레이 장치(510)에 적어도 3개 이상 구비될 수 있다. 예를 들어, 감지 센서(610)는 도 7 과 같이 디스플레이 장치(510)에 3개가 구비될 수 있으나, 검출의 정확도를 높이기 위해 도 8과 같이 디스플레이 장치(510)에 4개가 구비될 수 있다. 후술하는 설명에서는 디스플레이 장치(510)에 감지 센서(610)가 3개 구비되는 것을 예를 들어 설명한다. 이때, 감지 센서(610)가 장착되는 위치는 디스플레이 장치(510)에 근접하는 사용자의 신체 일부(520)의 위치를 파악하기 위한, 적합한 위치에 각각 장착될 수 있다.
감지 센서(610)는 사용자의 신체 일부(520)가 디스플레이 장치(510)에 근접하는 것을 감지하기 위해 초음파 및 적외선 신호를 송신하는 신호 송신부(611)를 포함할 수 있다. 그리고 신호 송신부(611)로부터 송신된 신호가 사용자의 신체 일부(520)에 반사되는 반사파 신호를 수신하는 신호 수신부(612)를 포함할 수 있다.
신호 송신부(611)는 디스플레이 장치(510)로 사용자의 신체 일부(520)가 근접하는지 여부를 감지할 수 있도록 초음파 및 적외선 신호를 송신할 수 있다. 신호 송신부(611)는 디스플레이 장치(510)에 사용자의 신체 일부(520)가 근접할 시, 송신된 초음파가 사용자의 신체 일부(520)에 반사되어 신호 수신부(120)로 수신될 수 있도록 각도를 조절하여 초음파 및 적외선 신호를 송신할 수 있다.
신호 수신부(612)는 신호 송신부(611)로부터 송신된 초음파 및 적외선 신호가 디스플레이 장치(510)에 근접한 사용자의 신체 일부(520)에 반사되는 반사파를 수신할 수 있다. 신호 수신부(612)는 수신된 반사파를 분석하여 디스플레이 장치(510)에 사용자의 신체 일부(520)가 근접하는지 여부를 감지할 수 있다. 신호 수신부(612)는 반사파 신호가 수신되면, 수신된 반사파 신호의 레벨을 산출할 수 있다. 신호 수신부(612)는 산출된 반사파 신호의 레벨이 미리 정해진 기준 신호 레벨 이상이면, 사용자의 신체 일부(520)가 디스플레이 장치(510)에 근접한 것으로 감지할 수 있다. 신호 수신부(612)는 사용자의 신체 일부(520)가 디스플레이 장치(510)에 근접하는 것으로 감지되면, 근접 감지 신호와 수신된 반사파에 대한 정보를 제어부(620)에 전달할 수 있다.
제어부(620)는 감지 센서(610)에 의해 사용자의 신체 일부(520)가 디스플레이 장치(510)에 근접하는 것으로 감지되면, 디스플레이 장치(510)에서 사용자의 신체 일부(520)가 근접하는 위치에 있는 버튼을 검출할 수 있다. 그리고, 검출된 버튼의 동작정보신호가 출력되도록 제어할 수 있다. 이를 위해, 제어부(620)는 버튼 검출부(621), 조작가능 상태 검출부(622) 및 선행버튼 검색부(623)를 포함할 수 있다.
버튼 검출부(621)는 신호 수신부(612)로부터 근접 감지 신호와 반사파에 대한 정보를 수신할 수 있다. 버튼 검출부(621)는 신호 수신부(612)로부터 근접 감지 신호가 수신되면, 수신된 반사파에 대한 정보를 이용하여 버튼을 검출할 수 있다. 이때, 신호 수신부(612)로부터 수신된 반사파에 대한 정보는 디스플레이 장치(510)에 마련된 적어도 3개 이상의 감지 센서(610)에 의해 수신된 반사파 정보를 포함할 수 있다. 버튼 검출부(621)는 적어도 3개 이상의 반사파 정보를 이용하여 디스플레이 장치(510)에 근접하는 사용자의 신체 일부(520)의 위치 정보를 검출할 수 있다. 이때, 디스플레이 장치(510)에 근접하는 사용자의 신체 일부(520)의 위치 정보를 검출하는 것은, 신호 수신부(612)로부터 수신된 적어도 3개 이상의 반사파 정보를 이용하여 사용자의 신체 일부(520)의 위치 정보를 검출할 수 있다. 예를 들어, 초음파 신호는 임의의 물체에 부딪히면 부딪힌 시점에 따른 위치에 신호 변형이 발생하므로 수신된 반사파 신호를 분석하여 사용자의 신체 일부(520)의 위치 정보를 검출할 수 있다. 또는 도 8과 같이 수신된 적어도 3개 이상의 반사파에 삼각측량법을 적용하여 사용자의 신체 일부(520)의 위치 정보를 검출할 수 있다. 또한, 수신된 반사파 신호를 이용하여 사용자의 신체 일부(520)의 위치 정보를 검출할 수 있는 방법이라면 상술한 방식 이외에 다른 위치 검출 방식도 적용될 수 있음은 물론이다. 한편, 검출한, 디스플레이 장치(510)에 근접하는 사용자의 신체 일부(520)의 위치 정보는 (x, y, z) 좌표 정보를 포함할 수 있다.
버튼 검출부(621)는 검출한, 도 10과 같이 디스플레이 장치(510)에서 디스플레이 장치(510)에 근접하는 사용자의 신체 일부(520)의 위치와 대응하는 위치를 검출할 수 있다. 버튼 검출부(621)는 디스플레이 장치(510)에서 대응 위치를 검출한 후, 도 11과 같이 검출된 대응 위치에 가장 근접하는 버튼을 검출할 수 있다. 이때, 검출된 대응 위치에 가장 근접하는 버튼을 검출하는 것은, 각각의 버튼 별로 버튼의 위치 정보가 저장되어 있는 버튼 위치 데이터를 이용하여 검출된 대응 위치에 가장 근접하는 버튼을 검출할 수 있다.
조작가능 상태 검출부(622)는 버튼 검출부(621)에 의해 검출된 버튼(1130)의 현재 조작 가능한 상태인지 여부를 검출할 수 있다. 이때, 해당 버튼(1130)을 사용자가 터치 또는 물리적인 조작을 수행했을 때 해당 버튼(1130)에 대응하는 기능이 바로 실행되는지 여부를 검출하는 것을 의미할 수 있다. 조작가능 상태 검출부(622)는 해당 버튼(1130)이 조작가능 상태이면 출력부(630)를 통해 조작가능 알림신호가 출력될 수 있도록 제어할 수 있다. 예를 들어, 조작가능 상태 검출부(622)는 버튼 검출부(621)에 의해 검출된 버튼(1130)이 인터넷 버튼이고, 현재 네트워크가 연결되어 있어 사용자가 인터넷 버튼을 터치 또는 물리적으로 조작하면 인터넷 창을 열 수 있는 상태인 것으로 검출되면, 조작가능 상태 검출부(622)는 도 12와 같이 디스플레이 장치(510)의 화면에 인터넷 버튼의 조작가능 알림신호를 출력할 수 있다. 이때, 인터넷 버튼의 조작가능 알림신호를 출력하는 것은 도 12와 같이 "인터넷 버튼입니다, 현재 상태: 조작 가능"을 나타내는 팝업창을 출력하는 것일 수 있다. 한편, 조작가능 상태 검출부(622)는 상태정보 검색부(624)에 의해 해당 버튼(1230)에 대한 상태 정보가 검색되면, 조작가능 알림신호와 함께 상태 정보도 출력되도록 제어할 수 있다.
이에 대한 자세한 설명은 상태정보 검색부(624)를 통해 후술하도록 한다.
한편, 조작가능 알림신호는 도 12와 같이 디스플레이 장치(510)의 화면을 통해 볼 수 있는 팝업창으로 출력될 수 있으며, 디스플레이 장치(510)에 마련되어 있는 스피커를 통해 들을 수 있는 음성 메시지로 출력될 수 있다. 또는 디스플레이 장치(510)의 화면을 통해 팝업창이 출력되는 동시에, 스피커를 통해 음성 메시지가 출력될 수 있다.
조작가능 상태 검출부(622)는 버튼 검출부(621)에 의해 검출된 버튼(1230)이 조작 불가능한 상태인 것으로 검출되면 선행버튼 검색부(623)로 검색신호를 전송할 수 있다.
선행버튼 검색부(623)는 조작가능 상태 검출부(622)에 의해 해당 버튼(1230)이 조작 불가능 상태인 것으로 검출되면 해당 버튼(1230) 조작 이전에 조작되어야 할 선행버튼을 검색할 수 있다. 예를 들어, 조작가능 상태 검출부(622)에 의해 조작 불가능한 상태로 검출된 버튼(1230)이 인터넷 버튼이면, 선행버튼 검색부(623)는 인터넷 버튼의 선행버튼으로 네트워크 연결 버튼을 검색할 수 있다. 선행버튼 검색부(623)는 메모리부(640)에 미리 저장된 조작 순서 데이터를 통해 선행버튼을 검색할 수 있다. 이때, 조작 순서 데이터는 버튼(1230) 별로 임의의 버튼(1230)이 조작되기 위해 조작되어야 할 버튼이 순서대로 배열되어 저장된 데이터를 의미할 수 있다. 예를 들어, 상술한 것과 같이 인터넷 버튼을 조작하기 위해서는 먼저 네트워크 연결 버튼이 조작되어야 하므로, 인터넷 조절 버튼에 대한 조작 순서 데이터는 "네트워크 연결 버튼" 일 수 있다.
상술한 것과 다르게 2개 이상의 선행버튼이 조작되어야만 조작 가능한 버튼(1230)이 있을 수 있다. 예를 들어, 다른 장치와의 액세스 버튼을 조작하기 위해서는 가장 먼저 네트워크 연결 버튼이 조작되어야 한다. 그 다음으로 액세스 차단 해제 버튼이 조작되어야 한다. 그 다음으로 다른 장치와의 액세스 버튼이 조작되어야 하므로, 다른 장치와의 액세스 버튼에 대한 조작 순서 데이터는 "다른 장치와의 액세스 버튼" 일 수 있다.
선행버튼 검색부(623)는 조작 순서 데이터를 통해 선행버튼이 검색되면, 검색된 선행버튼에 대한 조작안내신호를 출력할 수 있다. 이때, 검색된 선행버튼에 대한 조작안내신호는, 버튼 검출부(621)에 의해 검출된 사용자의 신체 일부(520)가 근접하는 버튼(1330)에 대해 사용자가 조작시 해당 버튼(1330)을 조작하기 위해 이전에 조작해야 하는 선행버튼에 대한 안내신호이다. 해당 버튼(1330)을 조작하기 위해 사용자가 선행버튼을 조작하는 것을 유도할 수 있도록 선행버튼에 대한 알림신호 또는 선행버튼을 조작하라는 메시지를 포함하는 안내 음성 메시지를 포함할 수 있다. 예를 들어, 사용자의 신체 일부(520)가 근접한 버튼(1330)이 인터넷 버튼이고, 인터넷 버튼이 현재 조작 불가능한 상태로 이에 대한 선행버튼으로 네트워크 연결 버튼이 검색된 경우, 선행버튼 검색부(623)는 도 13과 같이 디스플레이 장치(510)의 화면에 버튼 검출부(621)에 의해 검출된 버튼이 현재 조작 불가능하다는 알림신호와 선행버튼에 대한 조작안내신호를 포함하는 알림 팝업창을 출력할 수 있다.
한편, 선행버튼 검색부(623)는 도 14와 같이 디스플레이 장치(510)의 화면에 버튼 검출부(621)에 의해 검출된 버튼이 현재 조작 불가능하다는 알림신호와 선행버튼에 대한 조작안내신호를 포함하는 알림 팝업창을 출력할 수 있다. 동시에, 사용자가 선행버튼을 보다 용이하게 인식할 수 있도록 하기 위해, 선행버튼을 디스플레이 장치(510) 화면에 표시할 수 있다.
선행버튼 검색부(623)는 선행버튼에 대한 조작안내신호를 출력한 후, 사용자에 의해 선행버튼이 조작되는지 여부를 확인할 수 있다. 선행버튼 검색부(623)는 사용자에 의해 선행버튼이 조작되면, 처음에 사용자의 신체 일부(520)가 근접한 버튼(1430)에 대한 조작가능 알림신호를 출력할 수 있다. 따라서 처음에 사용자의 신체 일부(520)가 근접한 버튼(1430), 즉 사용자가 조작하려고 하는 버튼(1430)에 대한 조작가능 알림신호를 출력하여 사용자가 해당 버튼(1430)을 조작할 수 있도록 가이드할 수 있다.
한편, 선행버튼 검색부(623)는 해당 버튼(1430)에 대한 선행버튼(1430)이 하나인 것으로 검색되면 출력 순서를 정할 필요없이 검색된 선행버튼에 대한 조작안내신호를 출력할 수 있다. 반면, 해당 버튼(1430)에 대한 선행버튼이 2개 이상인 것으로 검색되는 경우, 출력 순서가 중요할 수 있다. 선행버튼 검색부(623)는 선행 버튼(1430)이 2개 이상인 경우 조작 순서 데이터에 저장된 조작 순서에 따라 선행버튼에 대한 조작안내신호를 출력할 수 있다. 예를 들어, 사용자의 신체 일부(520)가 근접한 버튼(1430)이 다른 장치와의 액세스 버튼일 수 있다. 그리고, 다른 장치와의 액세스 버튼에 대한 조작 순서 데이터는 "네트워크 연결 버튼 및 다른 장치와의 액세스 버튼"으로 선행버튼이 2개인 경우, 선행버튼 검색부(623)는 조작 순서 데이터의 조작 순서에 따라 먼저 네트워크 연결 버튼에 대한 조작안내신호를 출력할 수 있다. 네트워크 연결 버튼에 대한 조작안내신호를 출력한 뒤 사용자에 의해 네트워크 연결 버튼이 조작되면, 선행버튼 검색부(623)는 액세스 차단 해제 버튼에 대한 조작안내신호를 출력할 수 있다. 선행버튼 검색부(623)는 사용자에 의해 액세스 차단 해제 버튼이 조작되면, 비로소 다른 장치와의 액세스 버튼에 대한 조작가능 알림신호가 출력되도록 제어할 수 있다.
본 발명의 다른 실시예에 따른 제어부(620)는 사용자의 신체 일부(1520)가 디스플레이 장치(510)에 근접하는 것으로 감지되어 버튼 검출부(621)에 의해 검출된 버튼(1530)의 기능에 대응하는 상태 정보를 출력할 수 있다. 이를 위해, 제어부(620)는 상태정보 검색부(624)를 포함할 수 있다.
상태정보 검색부(624)는 감지 센서(610)에 의해 사용자의 신체 일부(520)가 해당 버튼(1530)에 근접한 것으로 감지될 수 있다. 이 경우 버튼 검출부(621)에 의해 검출된 버튼(1530)의 기능에 대응하여 사용자에게 제공할 수 있는 상태 정보가 존재하는지 여부를 검색할 수 있다. 이때, 버튼(1530)의 기능에 대응하는 상태 정보는 사용자가 해당 버튼(1530)을 조작하기 전에 해당 버튼(1530)의 기능에 대응하여 현재 설정되어 있는 상태에 대한 정보를 의미할 수 있다. 예를들어, 해당 버튼(1530)이 음량 조절 버튼(음량 올림 버튼 또는 음량 내림 버튼)이면 해당 버튼(1530)의 기능에 대응하는 상태 정보는 현재 스피커의 음량 크기 정보일 수 있다.
한편, 각 버튼(1530) 별로 해당버튼(1530)에 대한 정보가 분류되어 있는 버튼 정보 데이터를 이용하여 해당 버튼(1530)의 기능에 대응하는 상태 정보가 존재하는지 여부를 검색할 수 있다. 그리고 이때 버튼 정보 데이터는 버튼(1530)의 기능에 따른 상태 정보가 존재하는 경우, 해당 버튼(1530)에 대응하는 최신 상태 정보를 검출하여 해당 버튼(1530)에 분류된 파트에 저장할 수 있다. 예를 들어, 음량 올림 버튼 및 음량 내림 버튼의 버튼 정보 데이터는 음량 크기 정보를 해당 버튼(1530)의 기능에 대응하는 상태 정보로 저장할 수 있다. 이러한 상태 정보는 최신의 상태 정보를 유지하기 위해, 주기적으로 상태 정보를 업데이트하거나 해당 버튼(1530)에 대한 상태 정보 검출시 상태 정보를 새로 검출할 수 있다.
사용자에게 해당 버튼(1530)의 기능에 대응하는 상태 정보를 제공할 수 있도록, 상태정보 검색부(624)는 버튼 검출부(621)에 의해 검출된 버튼(530)의 기능에 대응하는 상태 정보가 존재하면 해당 버튼(1530)의 기능에 대응하는 상태 정보를 출력부(630)를 통해 출력할 수 있다. 예를 들어, 도 15와 같이 사용자의 신체 일부(520)가 디스플레이 장치(510)에 근접하게 되어 버튼 검출부(621)에 의해 음량 내림 버튼이 검출되면, 현재 스피커에 설정된 음량 크기가 10 이라는 음량 크기 정보를 검색하여 디스플레이 장치(510)의 화면에 출력할 수 있다.
상태정보 검색부(624)는 버튼 검출부(621)에 의해 검출된 버튼(1530)의 기능에 대응하는 상태 정보와 함께 해당 버튼(1530)이 조작 가능한 상태인지 여부에 대한 정보가 출력되도록 제어할 수 있다.
상태정보 검색부(624)는 버튼 검출부(621)에 의해 검출된 버튼(1530)의 기능에 대응하는 상태 정보가 존재하는지 여부를 확인할 수 있다. 그리고, 조작가능 상태 검출부(622)를 통해 해당 버튼(1530)이 조작 가능한 상태인지 여부를 확인할 수 있다. 상태정보 검색부(624)는 해당 버튼(1530)의 기능에 대응하는 상태 정보가 존재하고, 해당 버튼(1530)이 조작 가능한 상태인 것으로 확인되면, 출력부(630)를 통해 해당 버튼(1530)의 기능에 대응하는 상태 정보와 해당 버튼(1530)이 현재 조작 가능하다는 사실을 알리는 조작가능 알림신호를 출력할 수 있다. 예를 들어, 사용자의 신체일부(520)가 근접하여 버튼 검출부(621)에 의해 검출된 버튼(1530)이 음량 내림 버튼이며, 현재 조작 가능한 상태이고, 현재 스피커에 설정된 음량 크기가 10 이라는 상태 정보가 존재하면, 도 16과 같이 디스플레이 장치(510)의 화면에 "음량 내림 버튼입니다, 현재 음량: 10, 현재 상태: 조작 가능" 이라는 메시지 팝업창을 출력할 수 있다.
상태정보 검색부(624)는 사용자의 신체 일부(520)가 근접하여 버튼 검출부(621)에 의해 검출된 버튼(1630)의 기능에 대응하는 상태 정보가 존재하고, 해당 버튼(1630)이 조작 불가능한 상태인 것으로 확인되면, 먼저 선행버튼 검출부(622)를 통해 해당 버튼(1630)을 조작하기 위한 해당 버튼(1630) 이전에 조작되어야 하는 선행버튼이 검색되도록 제어할 수 있다. 상태정보 검색부(624)는 해당 버튼(1630)의 선행버튼이 검색되면, 사용자에게 해당 버튼(1630)이 현재 조작 불가능한 상태이며, 해당 버튼(1630)을 조작하기 위해서는 검색된 선행버튼을 먼저 조작해야 하는 안내 정보를 제공할 수 있는 선행버튼에 대한 조작안내신호 및 해당 버튼(1630)의 기능에 대응하는 상태 정보가 출력되도록 제어할 수 있다. 예를 들어, 해당 버튼(1630)이 음량 내림 버튼이며, 현재 조작 불가능한 상태이고, 현재 스피커에 설정된 음량 크기가 10 이라는 상태 정보가 존재하면, 도 17과 같이 디스플레이 장치(510)의 화면에 "음량 내림 버튼입니다, 현쟁 음량: 10, 현재 상태: 조작 불가능, 스피커 전원 버튼을 먼저 눌러주세요" 라는 메시지 팝업창을 출력할 수 있다.
상태정보 검색부(624)는 사용자의 신체 일부(520)가 근접하여 버튼 검출부(621)에 의해 검출된 버튼(1730)의 기능에 대응하는 상태 정보가 존재하지 않으며, 해당 버튼(1730)이 조작 가능한 상태인 것으로 확인되면, 해당 버튼(1730)의 조작가능 알림신호만 출력되도록 제어할 수 있다.
상태정보 검색부(624)는 사용자의 신체 일부(520)가 근접하여 버튼 검출부(621)에 의해 검출된 버튼(1730)의 기능에 대응하는 상태 정보가 존재하지 않으며, 해당 버튼(1730)이 조작 불가능한 상태인 것으로 확인되면, 먼저 선행버튼 검출부(622)를 통해 해당 버튼(1730)을 조작하기 위한 해당 버튼(1730) 이전에 조작되어야 하는 선행버튼이 검색되도록 제어할 수 있다. 상태정보 검색부(624)는 해당 버튼(1730)의 선행버튼이 검색되면 검색된 선행버튼에 대한 조작안내신호가 출력되도록 제어할 수 있다.
한편, 본 발명의 다른 실시예에 따른 제어부(620)는 검색된 선행버튼에 대한 조작안내신호가 출력된 후, 사용자에 의해 선행버튼이 조작되어 선행버튼에 대응하는 기능이 활성화된 것으로 확인될 수 있다. 이 경우 사용자에 의해 선행버튼이 조작된 것으로 확인되면 해당 버튼(1730)의 조작가능 알림신호가 출력되도록 제어할 수 있다.
한편, 버튼(1730)에 대한 상태 정보 또는 버튼(1730)의 동작정보신호는 디스플레이 장치(610)의 화면을 통해 볼 수 있는 메시지 팝업창으로 출력될 수 있다. 그리고, 디스플레이 장치(510)에 스피커가 마련되어 있는 경우 스피커를 통해 들을 수 있는 음성 메시지로 출력될 수 있다. 또는 디스플레이 장치(510)의 화면을 통해 메시지 팝업창이 출력되는 동시에, 스피커를 통해 음성 메시지가 출력될 수 있다.
출력부(630)는 사용자의 신체 일부(520)가 근접한 것으로 감지되어 버튼 검출부(621)에 의해 검출된 버튼(1730)에 대한 동작정보신호 또는 버튼(1730)의 기능에 대응하는 상태 정보를 출력할 수 있다. 출력부(630)는 디스플레이 장치(510)의 화면을 통해 버튼 검출부(621)에 의해 검출된 버튼(1730)에 대한 동작정보신호 또는 버튼(1730)의 기능에 대응하는 상태 정보를 출력할 수 있다. 출력부(630)는 디스플레이 장치(510)에 스피커가 구비되어 있는 경우, 버튼 검출부(621)에 의해 검출된 버튼(1730)에 대한 동작정보신호 또는 버튼(1730)의 기능에 대응하는 상태 정보를 음성 신호로 출력할 수 있다.
메모리부(640)는 제어부(620)의 처리 및 제어를 위한 프로그램이 저장될 수 있으며, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 메모리부(640)는 사용자의 신체 일부(520)가 버튼(1730)에 근접했는지 여부를 판단할 수 있는 기준 레벨 데이터를 저장할 수 있다. 그리고, 임의의 버튼(1730)이 조작되기 위해 조작되어야 할 버튼이 순서대로 배열되어 저장된 조작 순서 데이터 및 해당 기능에 대응하는 상태 정보가 존재하는 버튼(1730) 별로 상태 정보가 분류되어 있는 버튼 정보 데이터를 저장할 수 있다.
이하에서는, 도 18을 통하여 본 발명의 일 실시예에 따른 근접 감지를 이용한 표시 제어 방법에 대해 설명한다.
먼저, 감지 센서(610)를 통해 사용자의 신체 일부(520)가 버튼(1130)에 근접하는지 여부를 확인한다(S1810).
이때, 감지 센서(610)를 통해 사용자의 신체 일부(520)가 버튼(1130)에 근접하는지 여부를 확인하는 것은, 버튼 내부에 마련된 신호 송신부(611)를 통해 초음파 및 적외선을 송신할 수 있다. 그리고, 송신된 초음파 및 적외선이 사용자의 신체 일부(520)에 반사되는 반사파를 수신하여, 수신된 반사파의 신호 레벨이 미리 정해진 기준 신호 레벨 이상인지 여부를 확인하여 사용자의 신체 일부(520)가 버튼(1130)에 근접하는지 여부를 확인할 수 있다.
사용자의 신체 일부(520)가 버튼(1130)에 근접하는 것으로 확인(510)되면 수신된 반사파 신호를 분석하여 디스플레이 장치(510)에서 사용자의 신체 일부(520)가 근접하는 위치를 검출할 수 있다(S1820).
이때, 수신된 반사파 신호가 사용자의 신체 일부(520)에 부딪혀 변형되는 것을 분석하여 사용자의 신체 일부(520)가 근접하는 위치를 검출할 수 있다. 또는 적어도 3개 이상의 감지 센서(610)에 의해 수신된 적어도 3개 이상의 반사파 신호에 삼각측량법을 적용하여 사용자의 신체 일부(520)가 근접하는 위치를 검출할 수 있다.
사용자의 신체 일부(520)가 근접하는 위치를 검출(S1820)한 후, 디스플레이 장치(510) 상에서 검출된 위치에 가장 근접한 버튼(1130)을 검출할 수 있다(S1830).
버튼(1130)을 검출(S1830)한 후, 사용자가 해당 버튼(1130)이 현재 사용자에 의해 조작 가능한 상태인지 여부를 알 수 있도록 해당 버튼(1130)이 조작 가능한 상태인지 여부를 확인한다(S1840).
해당 버튼(1130)이 조작 불가능한 상태인 것으로 확인(S1840)되면, 사용자에게 해당 버튼(1130)을 조작하기 위해 해야 할 동작에 대해 가이드하기 위해, 해당 버튼(1130)을 조작하기 위해 이전에 조작되어야 하는 선행버튼을 검색한다(S1850).
해당 버튼(1130)을 조작하기 위한 선행버튼을 검색(S1850)한 후, 검색된 선행버튼에 대한 조작안내신호를 출력(S1860)하여 사용자에게 해당 버튼(1130)을 조작하기 위해 이전에 조작해야 하는 선행버튼(1130)에 대한 가이드 정보를 제공한다.
이때, 선행버튼에 대한 조작안내신호는 사용자가 해당 버튼(1130)을 조작하기 위해서는 선행버튼을 먼저 조작해야 하는 사실을 알 수 있도록, 안내 메시지 및 선행버튼의 위치 정보와 조작 방법 정보를 포함할 수 있다.
선행버튼에 대한 조작안내신호를 출력(S1860)한 후, 사용자에 의해 선행버튼의 기능이 활성화 되었는지, 즉 사용자에 의해 선행버튼이 조작되었는지 여부를 확인한다(S1870).
이때, 사용자에 의해 선행버튼이 조작되지 않은 것으로 확인(S1870)되면 계속 사용자에 의해 선행버튼이 조작되는지 여부를 확인한다.
또한, 사용자에 의해 선행버튼이 조작된 것으로 확인(S1870)되면, 사용자가 해당 버튼(1130)이 즉시 조작 가능한 상태임을 알릴 수 있도록 해당 버튼(1130)에 대한 조작가능 알림신호를 출력한다(S1880).
한편, 해당 버튼(1130)이 조작 가능한 상태인 것으로 확인(S1840)되면, 사용자가 해당 버튼(1130)이 즉시 조작 가능한 상태임을 알릴 수 있도록 해당 버튼(1130)에 대한 조작가능 알림신호를 출력한다(S1880).
이하에서는, 도 19를 통해 본 발명의 다른 실시예에 따른 근접 감지를 이용한 표시 제어 방법에 대해 설명한다.
먼저, 감지 센서(610)를 통해 사용자의 신체 일부(520)가 버튼(1130)에 근접하는지 여부를 확인한다(S1910).
사용자의 신체 일부(520)가 버튼(1130)에 근접하는 것으로 확인(S1910)되면 수신된 반사파 신호를 분석하여 디스플레이 장치(510)에서 사용자의 신체 일부(520)가 근접하는 위치를 검출한다(S1920).
사용자의 신체 일부(520)가 근접하는 위치를 검출(S1920)한 후, 디스플레이 장치(510) 상에서 검출된 위치에 가장 근접한 버튼(1130)을 검출한다(S1930).
디스플레이 장치(510) 상에서 검출된 위치에 가장 근접한 버튼(1130)을 검출(S1930)한 후, 해당 버튼(1130)의 기능에 대응하는 상태 정보가 존재하는지 여부를 확인한다(S1940).
이때, 버튼(1130)의 기능에 대응하는 상태 정보는 사용자가 해당 버튼(1130)을 조작하기 전에 해당 버튼(1130)의 기능에 대응하여 현재 설정되어 있는 상태에 대한 정보를 의미할 수 있다. 버튼(1130)의 기능에 대응하는 상태 정보는 임의의 버튼(1130)에 대해 상태 정보가 존재하면 메모리부(640)에 버튼(1130) 별로 분류되어 저장되어 있다.
해당 버튼(1130)의 기능에 대응하는 상태 정보가 존재하면(S1940), 출력부(630)를 통해 해당 버튼(1130)의 기능에 대응하는 상태 정보를 출력한다(S1950).
이하에서는, 도 20을 통해 본 발명의 또 다른 실시예에 따른 근접 감지를 이용한 표시 제어 방법에 대해 설명한다.
본 발명의 또 다른 실시예에 따른 디스플레이 장치(510)는 버튼(1130)의 기능에 대응하는 상태 정보를 사용자에게 제공할 시, 해당 버튼(1130)이 현재 조작 가능한지에 대한 신호도 함께 제공할 수 있다.
이를 위해, 먼저, 감지 센서(610)를 통해 사용자의 신체 일부(520)가 버튼(1130)에 근접하는지 여부를 확인(S2010)하고, 사용자의 신체 일부(520)가 버튼(1130)에 근접하는 것으로 확인(S2010)되면 수신된 반사파 신호를 분석하여 디스플레이 장치(510)에서 사용자의 신체 일부(520)가 근접하는 위치를 검출(S2015)하고, 디스플레이 장치(510) 상에서 검출된 위치에 가장 근접한 버튼(1130)을 검출(S2020)하고, 해당 버튼(1130)의 기능에 대응하는 상태 정보가 존재하는지 여부를 확인(S2025)하고, 해당 버튼(1130)의 기능에 대응하는 상태 정보가 존재하면 해당 버튼(1130)이 조작 가능한 상태인지 여부를 확인한다(S2030).
이때, 해당 버튼(1130)의 기능에 대응하는 상태 정보가 존재하지 않는 경우에 대해서는 도 21을 통하여 후술하도록 한다.
해당 버튼(1130)이 조작 가능한 상태인 것으로 확인(S2030)되면, 해당 버튼(1130)의 기능에 대응하는 상태 정보와 해당 버튼(1130)의 조작가능 알림신호가 같이 출력한다(S2035).
해당 버튼(1130)이 조작 불가능한 상태인 것으로 확인(S2030)되면, 사용자에게 해당 버튼(1130)을 조작하기 위해 해야 할 동작에 대해 가이드하기 위해, 해당 버튼(1130)을 조작하기 위해 이전에 조작되어야 하는 선행버튼을 검색한다(S2040).
해당 버튼(1130)을 조작하기 위한 선행버튼을 검색(S2040)한 후, 해당 버튼(1130)의 기능에 대응하는 상태 정보와 함께 검색된 선행버튼에 대한 조작안내신호를 출력한다(S2045).
이때, 선행버튼에 대한 조작안내신호는 사용자가 해당 버튼(1130)을 조작하기 위해서는 선행버튼을 먼저 조작해야 하는 사실을 알 수 있도록, 안내 메시지 및 선행버튼의 위치 정보와 조작 방법 정보를 포함할 수 있다.
해당 버튼(1130)의 기능에 대응하는 상태 정보 및 선행버튼에 대한 조작안내신호를 출력(S2045)한 후, 사용자에 의해 선행버튼의 기능이 활성화 되었는지, 즉 사용자에 의해 선행버튼이 조작되었는지 여부를 확인한다(S2050).
이때, 사용자에 의해 선행버튼이 조작되지 않은 것으로 확인(S2050)되면 계속 사용자에 의해 선행버튼이 조작되는지 여부를 확인한다.
또한, 사용자에 의해 선행버튼이 조작된 것으로 확인(S2050)되면, 사용자가 해당 버튼(1130)이 즉시 조작 가능한 상태임을 알릴 수 있도록 해당 버튼(1130)에 대한 조작가능 알림신호를 출력한다(S2055).
이하에서는, 도 20을 통해 버튼의 기능에 대응하는 상태 정보가 존재하지 않는 경우에 대한 근접 감지를 이용한 표시 제어 방법에 대해 설명한다.
먼저, 사용자의 신체 일부(520)가 근접한 것으로 감지되어 버튼 검출부(621)에 의해 검출된 버튼(1130)의 기능에 대응하는 상태 정보가 존재하지 않은 경우, 해당 버튼(1130)이 조작 가능한 상태인지 여부를 확인한다(S2181).
이때, 해당 버튼(1130)이 조작 불가능한 상태인 것으로 확인(S2181)되면, 사용자에게 해당 버튼(1130)을 조작하기 위해 해야 할 동작에 대해 가이드하기 위해, 해당 버튼(1130)을 조작하기 위해 이전에 조작되어야 하는 선행버튼을 검색한다(S2120).
해당 버튼(1130)을 조작하기 위한 선행버튼을 검색(S2120)한 후, 해당 버튼(1130)의 기능에 대응하는 상태 정보와 함께 검색된 선행버튼에 대한 조작안내신호를 출력한다(S2130).
이때, 선행버튼에 대한 조작안내신호는 사용자가 해당 버튼(1130)을 조작하기 위해서는 선행버튼을 먼저 조작해야 하는 사실을 알 수 있도록, 안내 메시지 및 선행버튼의 위치 정보와 조작 방법 정보를 포함할 수 있다.
해당 버튼(1130)의 기능에 대응하는 상태 정보 및 선행버튼에 대한 조작안내신호를 출력(S2130)한 후, 사용자에 의해 선행버튼의 기능이 활성화 되었는지, 즉 사용자에 의해 선행버튼이 조작되었는지 여부를 확인한다(S2140).
이때, 사용자에 의해 선행버튼이 조작되지 않은 것으로 확인(S2140)되면 계속 사용자에 의해 선행버튼이 조작되는지 여부를 확인한다.
또한, 사용자에 의해 선행버튼이 조작된 것으로 확인(S2140)되면, 사용자가 해당 버튼(1130)이 즉시 조작 가능한 상태임을 알릴 수 있도록 해당 버튼(1130)에 대한 조작가능 알림신호를 출력한다(S2150).
한편, 해당 버튼(1130)이 조작 가능한 상태인 것으로 확인(S2110)되면, 사용자가 해당 버튼(1130)이 즉시 조작 가능한 상태임을 알릴 수 있도록 해당 버튼(1130)에 대한 조작가능 알림신호를 출력한다(S2150).
이와 같은, 근접 인식을 이용한 표시 제어 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 공항용 로봇의 AP(150)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (7)

  1. 공항용 로봇에 있어서,
    디스플레이부;
    인체 및 물체를 센싱하는 사물 인식부; 및
    상기 공항용 로봇의 동작을 제어하는 제어부를 포함하고,
    상기 사물 인식부는 상기 디스플레이부에 사용자의 신체 일부가 근접하는지 여부를 감지하는 감지센서를 포함하고,
    상기 제어부는,
    상기 감지 센서를 이용하여 상기 디스플레이부에서 상기 사용자의 신체 일부가 근접한 위치를 검출하고, 상기 디스플레이부에서 상기 검출된 위치에 가장 근접한 버튼을 확인하고, 상기 버튼의 동작정보신호를 출력하도록 제어하는,
    공항용 로봇.
  2. 제1 항에 있어서,
    상기 제어부는,
    상기 사용자의 조작으로 상기 버튼에 대응하는 기능이 사용 가능한 상태인지 여부를 확인하여 그 결과에 따라 상기 버튼에 대한 동작정보신호를 출력하도록 제어하는,
    공항용 안내 로봇.
  3. 제2 항에 있어서,
    상기 제어부는,
    상기 사용자의 조작으로 상기 버튼에 대응하는 기능이 활성 가능한 상태이면 상기 버튼이 조작가능 상태임을 알리는 상기 버튼의 조작가능 알림신호를 출력하도록 제어하는,
    공항용 로봇.
  4. 제2 항에 있어서,
    상기 제어부는,
    상기 사용자의 조작으로 상기 버튼에 대응하는 기능이 활성 불가능한 상태이면 상기 사용자의 조작으로 상기 버튼에 대응하는 기능이 활성화되기 위한 필요조건을 검색하여 상기 필요조건에 대한 안내신호를 출력하도록 제어하는,
    공항용 로봇.
  5. 제4 항에 있어서,
    상기 필요조건을 검색하는 것은,
    상기 사용자의 조작으로 상기 버튼에 대응하는 기능이 활성화되기 위해 상기 버튼 조작 이전에 활성화되어야 하는 기능을 포함하는 선행 버튼을 검색하는 것인,
    공항용 로봇.
  6. 제5 항에 있어서,
    상기 제어부는,
    상기 사용자가 상기 버튼 조작 이전에 활성화되어야 하는 기능을 포함하는 선행 버튼이 존재하는 것을 인식할 수 있도록 상기 선행 버튼에 대한 조작안내신호를 출력하도록 제어하는,
    공항용 로봇.
  7. 제6 항에 있어서,
    상기 제어부는,
    상기 선행 버튼이 상기 사용자에 의해 조작되어 상기 선행 버튼에 대응하는 기능이 활성화된 것으로 인식되면 상기 버튼이 조작가능 상태임을 알리는 상기 버튼의 조작가능 알림신호를 출력하는,
    공항용 로봇.
KR1020160178443A 2016-12-23 2016-12-23 공항용 로봇 및 그의 동작 방법 KR20180074403A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160178443A KR20180074403A (ko) 2016-12-23 2016-12-23 공항용 로봇 및 그의 동작 방법
PCT/KR2017/014491 WO2018117513A1 (ko) 2016-12-23 2017-12-11 공항용 로봇 및 그의 동작 방법
US16/473,223 US20190354246A1 (en) 2016-12-23 2017-12-11 Airport robot and movement method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160178443A KR20180074403A (ko) 2016-12-23 2016-12-23 공항용 로봇 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20180074403A true KR20180074403A (ko) 2018-07-03

Family

ID=62626720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160178443A KR20180074403A (ko) 2016-12-23 2016-12-23 공항용 로봇 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US20190354246A1 (ko)
KR (1) KR20180074403A (ko)
WO (1) WO2018117513A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3639986A1 (en) * 2018-10-18 2020-04-22 Lg Electronics Inc. Robot and method of controlling thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446350B (zh) * 2014-09-26 2018-05-29 科沃斯机器人股份有限公司 自移动机器人移动界限划定方法
CN109333542A (zh) * 2018-08-16 2019-02-15 北京云迹科技有限公司 机器人语音交互方法及系统
KR20190104931A (ko) * 2019-08-22 2019-09-11 엘지전자 주식회사 시설 안내 로봇 및 이를 이용한 시설 안내 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070240057A1 (en) * 2006-04-11 2007-10-11 Microsoft Corporation User interface element for displaying contextual information
JP4528295B2 (ja) * 2006-12-18 2010-08-18 株式会社日立製作所 案内ロボット装置及び案内システム
KR20080090150A (ko) * 2007-04-04 2008-10-08 삼성전자주식회사 서비스 로봇과 서비스 로봇을 이용하는 서비스 시스템 및서비스 로봇을 이용하는 서비스 시스템의 제어방법
KR100904191B1 (ko) * 2008-05-29 2009-06-22 (주)다사로봇 안내용 로봇
KR101570116B1 (ko) * 2008-09-09 2015-11-19 삼성전자주식회사 터치스크린을 이용한 컨텐츠 탐색 및 실행방법과 이를 이용한 장치
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
KR102070276B1 (ko) * 2012-04-24 2020-01-28 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CA2918459C (en) * 2013-07-16 2019-06-04 Pinterest, Inc. Object based contextual menu controls
US9329597B2 (en) * 2014-01-17 2016-05-03 Knightscope, Inc. Autonomous data machines and systems
KR101668031B1 (ko) * 2015-06-01 2016-10-20 경북대학교 산학협력단 근접 감지를 이용한 버튼 제어 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3639986A1 (en) * 2018-10-18 2020-04-22 Lg Electronics Inc. Robot and method of controlling thereof
US11285611B2 (en) 2018-10-18 2022-03-29 Lg Electronics Inc. Robot and method of controlling thereof

Also Published As

Publication number Publication date
WO2018117513A1 (ko) 2018-06-28
US20190354246A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
KR102670610B1 (ko) 공항용 로봇 및 그의 동작 방법
KR102608046B1 (ko) 공항용 안내 로봇 및 그의 동작 방법
KR102549978B1 (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
US11260533B2 (en) Robot and robot system comprising same
JP5324286B2 (ja) ネットワークロボットシステム、ロボット制御装置、ロボット制御方法およびロボット制御プログラム
US11110600B2 (en) Airport robot and operation method thereof
KR20180074403A (ko) 공항용 로봇 및 그의 동작 방법
KR102578138B1 (ko) 공항 로봇 및 이를 포함하는 시스템
KR20180080499A (ko) 공항용 로봇 및 그의 동작 방법
KR20180039378A (ko) 공항용 로봇 및 그의 동작 방법
KR102570164B1 (ko) 공항 로봇 및 그와 연결되는 서버의 동작 방법
KR20180040907A (ko) 공항 로봇
TW201831920A (zh) 自主移動設備
KR20180038884A (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
KR102599784B1 (ko) 공항 로봇
KR20180037855A (ko) 공항 로봇 및 공항 로봇 시스템
KR20180040255A (ko) 공항 로봇
US20220155092A1 (en) Method of navigating a visually impaired user, a navigation system for the same, and a guiding robot
KR102581196B1 (ko) 공항 로봇 및 공항 로봇의 동작 방법을 수행하는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
KR20180038871A (ko) 공항용 로봇 및 그의 동작 방법
US11679771B2 (en) Vehicle event identification
KR102135369B1 (ko) 거리 검출 장치 및 그 방법
US20200132504A1 (en) Vehicle event identification
KR20180038673A (ko) 공항 로봇
US20240176362A1 (en) Robot cleaner and location identification method thereof