KR102499576B1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102499576B1
KR102499576B1 KR1020180002470A KR20180002470A KR102499576B1 KR 102499576 B1 KR102499576 B1 KR 102499576B1 KR 1020180002470 A KR1020180002470 A KR 1020180002470A KR 20180002470 A KR20180002470 A KR 20180002470A KR 102499576 B1 KR102499576 B1 KR 102499576B1
Authority
KR
South Korea
Prior art keywords
smart machine
information
electronic device
work
user
Prior art date
Application number
KR1020180002470A
Other languages
English (en)
Other versions
KR20190084562A (ko
Inventor
황상영
김우목
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180002470A priority Critical patent/KR102499576B1/ko
Priority to US16/224,742 priority patent/US10885335B2/en
Priority to EP18898058.5A priority patent/EP3662341B1/en
Priority to PCT/KR2018/016181 priority patent/WO2019135513A1/en
Priority to CN201880085405.6A priority patent/CN111566582A/zh
Publication of KR20190084562A publication Critical patent/KR20190084562A/ko
Application granted granted Critical
Publication of KR102499576B1 publication Critical patent/KR102499576B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40196—Projecting light on floor to delimit danger zone around robot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2201/00—Application
    • G05D2201/02—Control of position of land vehicles
    • G05D2201/0216—Vehicle for transporting goods in a warehouse, factory or similar

Abstract

전자 장치가 개시된다. 전자 장치는, 디스플레이, 카메라, 센서, 스마트 머신(Smart Machine)의 위치 정보 및 작업 정보가 저장된 스토리지 및 센서를 통해 감지된 전자 장치의 위치 정보 및 스토리지에 저장된 스마트 머신의 위치 정보에 기초하여 전자 장치의 주변 영역에 위치하는 스마트 머신을 식별하고, 스토리지로부터 식별된 스마트 머신의 작업 정보를 획득하고, 획득된 스마트 머신의 작업 정보에 기초하여 카메라를 통해 촬영된 영상에 스마트 머신의 작업 영역을 인디케이팅하여 디스플레이 상에 제공하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법{ ELECTRIC APPARATUS AND METHOD FOR CONTROL THEREOF }
본 발명은 전자 장치 및 그 제어 방법에 대한 것으로, 더욱 상세하게는 스마트 머신에 대한 정보를 포함하는 전자 장치 및 그 제어 방법에 대한 것이다.
최근 공장 생산 작업의 자동화, 무인화를 위한 다양한 유형의 산업용 로봇이 개발 및 보급되고 있는 실정이다.
특히, 사람의 관절과 유사한 관절 체계를 가지며, 사람의 손발과 유사하게 동작할 수 있는 다관절 로봇, 생산 과정에서 이용되는 다양한 자재를 편리하게 운반하는 무인운반차(Automatic Guided Vehicle) 등은 대표적인 산업용 로봇이라 할 수 있다.
산업용 로봇의 보급율, 이용율을 증가하는데 반하여, 산업용 로봇으로부터 사용자를 보호하기 위한 안전 시설에 대한 연구 개발은 다소 미흡한 실정이고, 안전 시설을 제대로 갖추지 않은 채 산업용 로봇을 이용함에 따라 사고가 발생하는 문제점이 있었다. 또한, 산업용 로봇 주변의 위험 영역에 물리적인 펜스를 배치하는 것은 산업용 로봇을 제어하는데 제약이 생길 수 있으며, 많은 시간 및 비용이 요구되는 문제점이 있다.
이에 따라, 작업자가 산업용 로봇 주변의 위험한 영역과 안전한 영역은 쉽고 편리하게 인지할 수 있는 방법이 개발될 필요가 있다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 스마트 머신을 식별하여 위험 영역을 제공하는 전자 장치 및 그 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는 디스플레이, 카메라, 센서, 스마트 머신(Smart Machine)의 위치 정보 및 작업 정보가 저장된 스토리지 및 상기 센서를 통해 감지된 상기 전자 장치의 위치 정보 및 상기 스토리지에 저장된 상기 스마트 머신의 위치 정보에 기초하여 상기 전자 장치의 주변 영역에 위치하는 스마트 머신을 식별하고, 상기 스토리지로부터 상기 식별된 스마트 머신의 작업 정보를 획득하고, 상기 획득된 스마트 머신의 작업 정보에 기초하여 상기 카메라를 통해 촬영된 영상에 상기 스마트 머신의 작업 영역을 인디케이팅하여 상기 디스플레이 상에 제공하는 프로세서를 포함한다.
여기서, 상기 프로세서는, 상기 전자 장치의 위치 정보 및 상기 센서를 통해 감지된 상기 전자 장치의 촬영 방향에 기초하여 상기 스마트 머신을 식별할 수 있다.
또한, 상기 스마트 머신의 작업 정보는, 상기 스마트 머신의 작업 스케줄 및 상기 작업 스케줄에 포함된 동작을 수행하는데 요구되는 작업 영역에 대한 정보를 포함하고, 상기 프로세서는, 상기 스마트 머신의 작업 스케줄에 기초하여, 상기 스마트 머신이 동작 중인지 여부를 식별하고, 상기 스마트 머신이 동작 중인 것으로 식별되면, 상기 작업 영역에 대한 정보에 기초하여 상기 스마트 머신의 동작에 대응되는 작업 영역을 인디케이팅하여 제공할 수 있다.
또한, 상기 프로세서는, 상기 스마트 머신이 동작 중인 것으로 식별되면, 상기 작업 스케줄에 기초하여 상기 스마트 머신의 동작이 종료되기까지 남은 시간에 대한 정보를 제공하고, 상기 스마트 머신이 동작 중이지 않은 것으로 식별되면, 상기 스마트 머신의 동작이 시작되기까지 남은 시간에 대한 정보를 제공할 수 있다.
또한, 상기 작업 정보는, 상기 스마트 머신을 기설정된 시간 동안 촬영한 영상을 분석하여 획득되는 상기 스마트 머신의 동작, 상기 동작에 대한 소요 시간 및 상기 동작 간 대기 시간 중 적어도 하나의 정보를 포함할 수 있다.
또한, 프로젝터를 더 포함하고, 상기 프로세서는, 상기 식별된 스마트 머신의 작업 정보에 기초하여 상기 스마트 머신의 작업 공간에 제1 빔이 조사되도록 상기 프로젝터를 제어할 수 있다.
여기서, 상기 프로세서는, 상기 스마트 머신이 사용자의 모션 및 음성 중 적어도 하나를 인식할 수 있는 거리 정보에 기초하여 상기 사용자의 모션 및 음성 중 적어도 하나에 대한 인식 가능 위치를 가이드하는 제2 빔이 조사되도록 상기 프로젝터를 제어할 수 있다.
또한, 상기 전자 장치의 본체를 이동시키는 구동부를 더 포함하고, 상기 프로세서는, 상기 전자 장치가 상기 전자 장치의 사용자와 기설정된 거리 이내에 위치하도록 상기 구동부를 제어하고, 상기 구동부가 제어됨에 따라 상기 전자 장치의 위치 정보가 변경되면, 상기 변경된 위치 정보에 기초하여 상기 전자 장치의 주변 영역에 위치하는 스마트 머신을 식별할 수 있다.
또한, 상기 프로세서는, 상기 스마트 머신이 사용자의 모션 및 음성 중 적어도 하나를 인식할 수 있는 거리 정보에 기초하여 상기 사용자의 모션 및 음성 중 적어도 하나에 대한 인식 가능 위치를 가이드하는 UI를 제공할 수 있다.
또한, 상기 스토리지는, 특정 공간의 각 위치를 좌표로 나타낸 좌표 정보를 포함하고, 상기 전자 장치의 위치 정보는, 상기 좌표 정보에 기초하여 상기 특정 공간 내에 배치된 상기 전자 장치의 위치를 좌표로 나타낸 정보이고, 상기 스마트 머신의 위치 정보는, 상기 특정 공간 내에 배치된 상기 스마트 머신의 위치를 상기 좌표 정보에 기초하여 나타낸 정보일 수 있다.
한편, 본 발명의 일 실시 예에 따른 스마트 머신(Smart Machine)의 위치 정보 및 작업 정보가 저장된 전자 장치의 제어 방법은 상기 전자 장치의 위치 정보를 감지하는 단계, 상기 전자 장치의 위치 정보 및 상기 스마트 머신의 위치 정보에 기초하여 상기 전자 장치의 주변 영역에 위치하는 스마트 머신을 식별하는 단계, 상기 식별된 스마트 머신의 작업 정보를 획득하는 단계 및 상기 획득된 스마트 머신의 작업 정보에 기초하여 카메라를 통해 촬영된 영상에 상기 스마트 머신의 작업 영역을 인디케이팅하여 디스플레이하는 단계를 포함한다.
여기서, 상기 식별하는 단계는, 상기 전자 장치의 위치 정보 및 센서를 통해 감지된 상기 전자 장치의 촬영 방향에 기초하여 상기 스마트 머신을 식별할 수 있다.
또한, 상기 스마트 머신의 작업 정보는, 상기 스마트 머신의 작업 스케줄 및 상기 작업 스케줄에 포함된 동작을 수행하는데 요구되는 작업 영역에 대한 정보를 포함하고, 상기 스마트 머신의 작업 스케줄에 기초하여, 상기 스마트 머신이 동작 중인지 여부를 식별하는 단계를 포함하고, 상기 디스플레이하는 단계는, 상기 스마트 머신이 동작 중인 것으로 식별되면, 상기 작업 영역에 대한 정보에 기초하여 상기 스마트 머신의 동작에 대응되는 작업 영역을 인디케이팅하여 제공할 수 있다.
여기서, 상기 디스플레이하는 단계는, 상기 스마트 머신이 동작 중인 것으로 식별되면, 상기 작업 스케줄에 기초하여 상기 스마트 머신의 동작이 종료되기까지 남은 시간에 대한 정보를 디스플레이하고, 상기 스마트 머신이 동작 중이지 않은 것으로 식별되면, 상기 스마트 머신의 동작이 시작되기까지 남은 시간에 대한 정보를 디스플레이할 수 있다.
또한, 상기 작업 정보는, 상기 스마트 머신을 기설정된 시간 동안 촬영한 영상을 분석하여 획득되는 상기 스마트 머신의 동작, 상기 동작에 대한 소요 시간 및 상기 동작 간 대기 시간 중 적어도 하나의 정보를 포함할 수 있다.
또한, 상기 식별된 스마트 머신의 작업 정보에 기초하여 상기 스마트 머신의 작업 공간에 제1 빔을 조사하는 단계를 더 포함할 수 있다.
여기서, 상기 스마트 머신이 사용자의 모션 및 음성 중 적어도 하나를 인식할 수 있는 거리 정보에 기초하여 상기 사용자의 모션 및 음성 중 적어도 하나에 대한 인식 가능 위치를 가이드하는 제2 빔을 조사하는 단계를 포함할 수 있다.
또한, 상기 전자 장치가 상기 전자 장치의 사용자와 기설정된 거리 이내에 위치하도록 상기 전자 장치의 본체를 이동시키는 단계를 포함하고, 상기 식별하는 단계는, 상기 전자 장치가 이동함에 따라 상기 전자 장치의 위치 정보가 변경되면, 상기 변경된 위치 정보에 기초하여 상기 전자 장치의 주변 영역에 위치하는 스마트 머신을 식별할 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 스마트 머신이 사용자의 모션 및 음성 중 적어도 하나를 인식할 수 있는 거리 정보에 기초하여 상기 사용자의 모션 및 음성 중 적어도 하나에 대한 인식 가능 위치를 가이드하는 UI를 디스플레이할 수 있다.
또한, 상기 전자 장치는, 특정 공간의 각 위치를 좌표로 나타낸 좌표 정보를 포함하고, 상기 전자 장치의 좌표 정보는, 상기 좌표 정보에 기초하여 상기 특정 공간 내에 배치된 상기 전자 장치의 위치를 좌표로 나타낸 정보이고, 상기 스마트 머신의 위치 정보는, 상기 특정 공간 내에 배치된 상기 스마트 머신의 위치를 상기 좌표 정보에 기초하여 나타낸 정보일 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 전자 장치가 스마트 머신의 동작에 따른 가상의 펜스를 제공하므로, 사용자에게 위험 영역을 인지시키는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2는 전자 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 작업 영역을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 작업 스케줄을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 작업 영역을 제공하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 7 및 도 8은 본 발명의 다른 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 인식 가능 위치를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 1에 따르면, 전자 장치(100)는 디스플레이(110), 카메라(120), 센서(130), 스토리지(140) 및 프로세서(150)를 포함한다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 전자 장치(100)는 사용자 단말 장치, 디스플레이 장치, 셋톱 박스(set-top box), 태블릿 PC(tablet personal computer), 스마트 폰(smart phone), 전자책 리더기(e-book reader), 데스크탑 PC (desktop PC), 랩탑 PC(laptop PC), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어 등과 같은 다양한 형태의 디바이스로 구현될 수 있다. 다만, 이는 일 실시 예이며, 전자 장치(100)는 엑세서리 형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘텍트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체 형(예: 전자 의복) 중 적어도 하나의 형태에 해당하는 웨어러블 장치, 구동부를 포함하는 로봇(robot), 프로젝터(projector), 서버 등 다양한 유형의 전자 장치로 구현될 수도 있다.
디스플레이(110)는 다양한 화면을 디스플레이할 수 있다. 디스플레이(110)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emiiting Display, OLED), LCoS(Liquid Crystal on Silicon) 또는 DLP(Digital Light Processing) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며 화면을 디스플레이 할 수 있는 다양한 유형의 디스플레이(110)로 구현될 수 있음은 물론이다.
또한, 디스플레이(110)는 플렉서블 디스플레이(flexible display)의 형태로 전자 장치(100)의 전면 영역 및, 측면 영역 및 후면 영역 중 적어도 하나에 결합될 수도 있다.
카메라(120)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라(120)는 특정 시점에서의 정지 영상을 촬영할 수 있으나, 연속적으로 정지 영상을 촬영할 수도 있다. 카메라(120)는 획득한 영상을 프로세서(150)로 제공하며, 디스플레이(110)를 통해 사용자에게 제공될 수 있다. 카메라(120)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다.
센서(130)는 위치 센서(position sensor), 터치 센서, 지자기 센서, 자이로 센서, 가속도 센서, 근접 센서, 그립 센서 등으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 센서(130)는 전자 장치(100)의 상태, 전자 장치(100)의 주변 환경 등을 감지할 수 있는 다양한 유형의 센서(130)로 구현될 수 있다.
특히, 센서(130)는 전자 장치(100)의 위치 정보를 감지할 수 있다. 일 예로, 전자 장치(100)는 GPS 센서를 이용하여 전자 장치의 위치 정보를 감지할 수 있다. 또한, 센서(130)는 전자 장치(100)의 촬영 방향을 감지할 수도 있다. 일 예로, 센서(130)는 전자 장치(100)의 후면이 가리키는 방향을 감지할 수 있다. 센서를 통해 감지된 전자 장치(100)의 후면이 가리키는 방향과 전자 장치(100)에 구비된 후면 카메라의 촬영 방향은 동일할 수 있다.
스토리지(140)는 전자 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 어플리케이션, 각종 컨텐츠, 스마트 머신(Smart Machine)의 위치 정보 및 스마트 머신의 작업 정보와 같은 다양한 데이터를 저장한다.
여기서, 스마트 머신은 공장의 라인과 같은 제품의 제조 과정에서 이용되는 산업용 로봇을 의미할 수 있다. 일 예로, 산업용 로봇은 인간의 팔이나 손의 기능을 대신하기 위해 다관절 로봇으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며 산업용 로봇은 조립, 기계 가공, 물건의 입/출하, 검사 측정, 프레스, 수지가공, 용접 등 산업현장에서 다양한 목적을 위해 이용되는 모든 유형의 로봇을 의미할 수 있다. 예를 들어, 산업용 로봇은 직각좌표 로봇, 원통작업 로봇, 극좌표 로봇 등으로 구현될 수도 있다. 이하에서는 설명의 편의를 위해, 스마트 머신을 산업용 로봇으로 상정하여 설명하도록 한다. 다만 이는 일 실시 예이며, 스마트 머신은 단순 반복 기능 외에 센서(130)를 기반으로 실시간으로 주변 환경을 감지하고 정보를 수집하여, 자율적으로 동작하는 로봇으로 구현될 수도 있음은 물론이다.
특히, 스토리지(140)는 스마트 머신의 위치 정보와 작업 정보를 저장할 수 있다. 일 예로, 스토리지(140)에는 공장, 창고, 건물 등 특정 공간의 각 위치를 좌표로 나타낸 좌표 정보를 포함할 수 있다. 스마트 머신의 위치 정보는 특정 공간 내에 배치된 스마트 머신의 위치를 좌표 정보에 기초하여 나타낸 정보를 의미할 수 있다. 예를 들어, 스마트 머신의 위치를 (x, y, z) 좌표로 나타낸 정보이고, 전자 장치(100)는 해당 정보에 따라 특정 공간 내에서 스마트 머신이 배치된 위치를 식별할 수 있다.
또한, 스토리지(140)는 스마트 머신의 작업 정보를 저장할 수 있다. 여기서, 작업 정보는 스마트 머신의 작업 스케줄 및 작업 스케줄에 포함된 동작을 수행하는데 요구되는 작업 영역에 대한 정보를 포함할 수 있다. 여기서, 작업 영역은 공간의 크기를 의미할 수 있다. 일 예로, 스마트 머신은 제1 동작을 수행할 수 있으며, 스토리지(140)는 제1 동작을 수행하는데 요구되는 공간의 크기에 대한 정보를 (w, h) 형태로 저장할 수 있다. 여기서, w 는 제1 동작을 수행하는데 요구되는 공간의 너비(width)이고, h는 제1 동작을 수행하는데 요구되는 공간의 높이(height)일 수 있다. 다만, 이는 일 실시 예로서 스마트 머신이 동작을 수행하는데 요구되는 공간의 크기를 식별할 수 있는 다양한 형태의 정보가 저장될 수 있음은 물론이다.
스마트 머신이 수행하는 동작은 스마트 머신의 목적에 따라 다양하게 설정될 수 있다. 일 예로, 스마트 머신은 그랩(grab), 피어스 다이, 입고 및 출고(stock & release), 이동(move) 등과 같은 동작을 수행할 수 있다. 하나의 스마트 머신이 스케줄에 따라 서로 다른 동작을 순차적으로 수행할 수도 있고, 하나의 스마트 머신이 하나의 동작만을 스케줄에 따라 반복적으로 수행할 수도 있음은 물론이다.
본 발명의 일 실시 예에 따른 작업 스케줄은 시간 순서에 따라 스마트 머신이 수행하는 동작의 목록을 의미할 수 있다. 스마트 머신은 작업 스케줄에 기초하여 동작을 수행할 수 있다. 이에 대한 구체적인 설명은 도 4에서 하도록 한다.
프로세서(150)는 전자 장치(100)의 동작을 전반적으로 제어한다.
일 실시 예에 따라 프로세서(150)는 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(150)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
본 발명의 일 실시 예에 따른 프로세서(150)는 센서(130)를 통해 감지된 전자 장치(100)의 위치 정보 및 스마트 머신의 위치 정보에 기초하여 전자 장치의 주변 영역에 위치하는 스마트 머신을 식별할 수 있다. 여기서, 주변 영역은 전자 장치(100)로부터 기설정된 거리 이내의 영역을 의미할 수 있다.
일 실시 예에 따라, 프로세서(150)는 센서(130)가 감지한 전자 장치(100)의 위치 정보에 따라 전자 장치(100)의 위치를 식별하고, 스마트 머신의 위치 정보에 기초하여 식별된 전자 장치(100)의 위치로부터 기설정된 거리 이내에 위치하는 스마트 머신을 식별할 수 있다. 프로세서(150)는 스토리지(140)로부터 식별된 스마트 머신의 작업 정보를 획득할 수 있다. 예를 들어, 프로세서(150)는 복수의 스마트 머신 중에서 전자 장치(100)의 주변 영역에 위치하는 제1 및 제2 스마트 머신을 식별할 수 있다. 프로세서(150)는 제1 스마트 머신에 대응되는 제1 작업 정보 및 제2 스마트 머신에 대응되는 제2 작업 정보를 획득할 수 있다.
다른 예로, 전자 장치(100) 및 스마트 머신이 위치하는 특정 공간에는 공간의 하부 또는 상부에 각 위치를 식별할 수 있는 마크가 배치되어 있을 수 있다. 예를 들어, 공장의 바닥에는 기설정된 거리, 면적 및 구획 마다 마크, 식별 표시 등이 배치되어 있을 수 있다. 전자 장치(100)는 마크, 식별 표시 등에 기초하여 전자 장치(100)의 위치 정보 및 스마트 머신의 위치 정보를 획득할 수도 있다.
본 발명의 일 실시 예에 따른 프로세서(150)는 획득된 스마트 머신의 작업 정보에 기초하여 카메라(120)를 통해 촬영된 영상에 스마트 머신의 작업 영역을 인디케이팅하여 디스플레이 상에 제공할 수 있다. 예를 들어, 프로세서(150)는 촬영된 영상에서 제1 스마트 머신의 위치에 따른 (x1, y1, z1) 좌표 정보에 기초하여 제1 스마트 머신의 위치에 대응되는 영역을 식별하고, 작업 영역을 나타내는 (w1, h1)에 대응되는 영역을 특정 색상으로 음영 처리하여 디스플레이(110)를 통해 제공할 있다.
이에 따라, 사용자는 제1 스마트 머신의 작업 영역을 전자 장치(100)를 통해 증강 현실 (augmented reality, AR)로 제공받을 수 있다. 디스플레이(110) 상에서 특정 색상으로 음영 처리된 영역은 제1 스마트 머신의 동작으로 인해 사용자의 접근이 위험함을 나타내는 영역을 의미할 수 있다. 물리적인 펜스(fence)의 설치 없이도, 사용자에게 가상의 안전 펜스(virtual safety fence)를 제공하여 안전 사고를 방지할 수 있다.
본 발명의 일 실시 예에 따른 프로세서(150)는 전자 장치(100)의 위치 정보 및 전자 장치(100)의 촬영 방향에 기초하여 스마트 머신을 식별할 수도 있다. 일 예로, 센서(130)는 전자 장치(100)의 이동 방향, 카메라(120)(예를 들어, 후면 카메라)의 촬영 방향 등을 감지할 수 있고, 프로세서(150)는 감지된 방향에 기초하여 스마트 머신을 식별할 수 있다.
프로세서(150)가 전자 장치(100)의 위치 정보에 기초하여 전자 장치(100)의 주변 영역에 위치하는 복수의 스마트 머신을 식별하고, 복수의 스마트 머신 중에서 촬영 방향에 대응되는 스마트 머신을 식별할 수 있다. 일 예로, 식별된 제1 및 제2 스마트 머신 중 전자 장치(100)의 촬영 방향에 대응되는 스마트 머신이 제1 스마트 머신이면, 프로세서(140)는 제1 스마트 머신의 작업 정보에 기초하여 작업 영역을 인디케이팅하여 디스플레이할 수 있다. 여기서, 작업 영역은 제1 스마트 머신이 동작함에 따라 요구되는 영역을 나타내는 너비 및 높이(w1, h1)를 의미할 수 있다.
본 발명의 일 실시 예에 따른 프로세서(150)는, 스마트 머신의 작업 스케줄에 기초하여, 스마트 머신이 동작 중인지 여부를 식별할 수 있다. 다만, 이는 일 실시 예로서, 프로세서(150)는 작업 스케줄 외에도 카메라(120)를 통해 촬영된 영상에 기초하여 스마트 머신이 동작을 수행 중인지 여부를 식별할 수도 있다. 프로세서(150)는 스마트 머신이 동작 중인 것으로 식별되면 작업 영역을 인디케이팅하여 제공할 수 있다. 작업 스케줄은 스마트 머신의 동작, 동작에 대한 소요 시간 및 동작 간 대기 시간 중 적어도 하나의 정보를 포함할 수 있다.
일 실시 예에 따른 프로세서(150)는 스마트 머신이 동작 중인 것으로 식별되면, 작업 스케줄에 기초하여 스마트 머신의 동작이 종료되기까지 남은 시간에 대한 정보를 제공할 수 있다.
다른 실시 예에 따라, 스마트 머신이 동작 중이지 않은 것으로 식별되면, 스마트 머신의 동작이 시작되기까지 남은 시간에 대한 정보를 제공할 수 있다.
일 예로, 스마트 머신이 시간 t1 부터 t2 사이에 동작하는 상황을 상정할 수 있다. 프로세서(150)는 작업 스케줄에 기초하여, 스마트 머신이 동작 중인 것으로 식별되면, 시간 t2까지 남은 시간에 대한 정보를 제공할 수 있다. 다른 예로, 스마트 머신이 동작 중이지 않은 것으로 식별되면, 시간 t1까지 남은 시간에 대한 정보를 제공할 수도 있다.
본 발명의 일 실시 예에 따른 프로세서(150)는 카메라(120)를 통해 스마트 머신을 기설정된 시간 동안 촬영한 영상을 분석하여 작업 정보를 획득할 수 있다. 일 예로, 프로세서(150)는 스마트 머신을 기설정된 시간 동안 촬영한 영상을 분석하여 스마트 머신의 동작, 동작에 대한 소요 시간 및 동작 간 대기 시간 중 적어도 하나를 획득할 수 있고, 획득된 정보에 기초하여 작업 정보를 획득할 수 있다. 다만, 이는 일 실시 예로서, 프로세서(150)는 다양한 방법에 따라 스마트 머신의 작업 정보를 획득하고, 획득된 작업 정보를 스토리지(140)에 저장할 수 있다. 이에 대한 구체적인 설명은 도 4에서 하도록 한다.
프로세서(150)는 스마트 머신을 기설정된 시간 동안 촬영한 영상을 분석하여 스마트 머신의 작업 정보를 업데이트할 수 있다. 일 예로, 스토리지(140)에 저장된 작업 스케줄에 따르면 스마트 머신이 시간 t1 부터 t2 사이에 동작하고, 시간 t3 부터 t4 사이에 동작할 수 있다. 이에 반해, 기설정된 시간 동안 촬영한 영상에 따르면, 스마트 머신은 시간 t2 부터 t3 사이에 동작하고, 시간 t4 부터 t5 사이에 동작할 수 있다. 따라서, 프로세서(150)는 스토리지(140)에 저장된 스마트 머신에 대한 작업 정보를 갱신하고, 갱신된 작업 정보로 대체하여 저장할 수 있다.
도 2는 전자 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 2에 따르면, 전자 장치(100)는 디스플레이(110), 카메라(120), 센서(130), 스토리지(140), 프로세서(150), 통신부(160), 구동부(170) 및 스피커(180)를 포함한다. 도 2에 도시된 구성요소들 중 도 1에 도시된 구성요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
카메라(120)는 렌즈, 셔터, 조리개, 고체 촬상 소자, AFE(Analog Front End), TG(Timing Generator)를 포함한다. 셔터는 피사체에 반사된 빛이 사용자 단말 장치(100)로 들어오는 시간을 조절하고, 조리개는 빛이 들어오는 개구부의 크기를 기계적으로 증가 또는 감소시켜 렌즈에 입사되는 광량을 조절한다. 고체 촬상 소자는 피사체에 반사된 빛이 광전하로 축적되면, 광전하에 의한 상을 전기 신호로 출력한다. TG는 고체 촬상 소자의 픽셀 데이터를 리드아웃 하기 위한 타이밍 신호를 출력하며, AFE는 고체 촬상 소자로부터 출력되는 전기 신호를 샘플링하여 디지털화한다.
센서(130)는 GPS 센서, 터치 센서, 지자기 센서, 자이로 센서, 가속도 센서, 근접 센서, 그립 센서 등으로 구현될 수 있다.
터치 센서는 정전식 또는 감압식으로 구현될 수 있다. 정전식 터치 센서는 디스플레이 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 디스플레이 표면에 터치되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식의 센서를 의미한다. 감압식 터치 센서는 전자 장치(100)에 내장된 두 개의 전극 판을 포함하여, 사용자가 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식의 터치 센서를 의미한다. 그 밖에 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력측정 방식, 피에조 효과 방식 등이 터치 인터랙션을 감지하는데 이용될 수 있다.
그 밖에 전자 장치(100)는 터치 센서 대신 마그네틱과 자기장 센서, 광센서 또는 근접 센서 등을 이용하여 손가락 또는 스타일러스 펜과 같은 터치 오브젝트의 접촉 또는 근접하게 되었는지 여부를 판단할 수도 있다.
지자기 센서는 전자 장치(100)의 회전 상태 및 이동 방향 등을 감지하기 위한 센서이다. 자이로 센서는 전자 장치(100)의 회전각을 감지하기 위한 센서이다. 지자기 센서 및 자이로 센서는 둘 다 구비될 수도 있으나, 이 중 하나만 구비되어 있더라도 사용자 단말 장치(100)는 회전 상태를 감지할 수 있다.
가속도 센서는 전자 장치(100)의 기울어진 정도를 감지하기 위한 센서이다.
근접 센서는 디스플레이 표면에 직접 접촉되지 않고 접근하는 모션을 감지하기 위한 센서이다. 근접 센서는 고주파 자계를 형성하여, 물체 접근 시에 변화되는 자계특성에 의해 유도되는 전류를 감지하는 고주파 발진 형, 자석을 이용하는 자기 형, 대상체의 접근으로 인해 변화되는 정전 용량을 감지하는 정전 용량 형과 같은 다양한 형태의 센서로 구현될 수 있다.
그립 센서는 터치 스크린 상에 구비된 터치 센서와는 별개로, 후면, 테두리, 손잡이 부분에서 배치되어, 사용자의 그립(grip)을 감지하는 센서이다. 그립 센서는 터치 센서 외에 압력 센서로 구현될 수 있다.
스토리지(140)는 프로세서(150)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(150)와 별도의 메모리로 구현될 수도 있다. 이 경우, 스토리지(140)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등과 같은 형태로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, micro SD 카드, USB 메모리 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
프로세서(150)는 스토리지(140)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(150)는 RAM(151), ROM(152), 메인 CPU(153), 그래픽 처리부(154), 제1 내지 n 인터페이스(155-1 ~ 155-n), 버스(156)를 포함한다.
RAM(151), ROM(152), 메인 CPU(153), 그래픽 처리부(154), 제1 내지 n 인터페이스(155-1 ~ 155-n) 등은 버스(156)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(155-1 ~ 155-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(153)는 스토리지(140)에 액세스하여, 스토리지(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 스토리지(140)에 저장된 각종 프로그램 등을 이용하여 다양한 동작을 수행한다.
ROM(152)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(153)는 ROM(152)에 저장된 명령어에 따라 스토리지(140)에 저장된 O/S를 RAM(151)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(153)는 스토리지(140)에 저장된 각종 어플리케이션 프로그램을 RAM(151)에 복사하고, RAM(151)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(154)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(110)의 디스플레이 영역 내에 표시된다.
한편, 상술한 프로세서(150)의 동작은 스토리지(140)에 저장된 프로그램에 의해 이루어질 수 있다.
통신부(160)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신부(110)는 와이파이 칩(161), 블루투스 칩(162), 무선 통신 칩(163), NFC 칩(164) 등을 포함한다. 프로세서(150)는 통신부(160)를 이용하여 각종 외부 장치, 스마트 머신과 통신을 수행한다.
와이파이 칩(161), 블루투스 칩(162)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩(161)이나 블루투스 칩(162)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(163)은 IEEE, 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(164)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
본 발명의 일 실시 예에 따른 프로세서(150)는 서버(미도시)와 통신을 수행하여 스마트 머신의 작업 정보를 획득할 수도 있다. 일 예로, 스마트 머신의 제품명이 입력되면, 프로세서(150)는 통신부(160)를 통해 제품명에 대응되는 스마트 머신의 작업 정보 등을 서버로부터 수신하고, 수신된 작업 정보를 스토리지(140)에 저장할 수 있다. 다만, 이에 한정되는 것은 아니며 스마트 머신의 특징을 나타내는 키워드 검색을 통해 스마트 머신의 작업 정보를 획득할 수도 있다. 예를 들어, Pick & Place Robot, 6축 다관절 로봇 등을 검색하고, 검색 결과로부터 작업 정보를 획득하여 저장할 수도 있음은 물론이다.
다른 예로, 프로세서(150)는 와이파이 칩(161), 블루투스 칩(162), NFC 칩(164) 등을 통해 전자 장치(100)와 근접하게 배치된 또는 기설정된 범위 이내에 배치된 스마트 머신과 통신을 수행하여 스마트 머신의 위치 정보 및 작업 정보 중 적어도 하나를 획득할 수도 있다.
구동부(170) 전자 장치(100) 본체를 이동시키기 위한 구성요소이다. 일반적으로, 전자 장치(100)의 구동부(170)는 좌/우측 모터를 구비하고 있다. 구동부(170)는 좌/우측 모터를 선택적으로 구동시킴으로써, 전자 장치(100) 본체를 전진, 후진 및 회전 주행시킬 수 있다. 또한, 구동부(170)는 구동바퀴 및 캐스터를 포함한다. 구동바퀴는 좌/우측 모터와 연결되어 전자 장치(100) 본체 하부 중앙 영역의 좌우 가장자리에 대칭적으로 두 개가 배치될 수 있다. 다만, 이는 일 실시 예로서 전자 장치(100)의 이동을 가능하게 하는 다양한 유형의 구동부가 포함될 수 있다.
특히, 구동부(170)는 프로세서(150)의 제어에 따라 전자 장치(100)가 사용자와 기설정된 거리 이내에 위치하도록 구동될 수 있다. 일 예로, 프로세서(150)는 사용자를 감지하고, 감지된 사용자와 1m 이내의 거리에 위치하도록 구동부(170)를 제어할 수 있다. 사용자가 이동하는 경우에도, 전자 장치(100)는 변경된 사용자의 위치를 실시간으로 감지하고, 사용자의 위치에 대응되도록 이동할 수 있다.
본 발명의 일 실시 예에 따른, 전자 장치(100)는 구동부(170)가 제어됨에 따라 전자 장치(100)의 위치 정보가 변경되면, 변경된 위치 정보에 기초하여 전자 장치(100)의 주변 영역에 위치하는 스마트 머신을 식별할 수 있다. 전자 장치(100)는 사용자의 이동을 고려하여, 이동 중인 사용자의 주변 영역에 위치하는 스마트 머신을 실시간으로 식별하고, 식별된 스마트 머신의 작업 영역을 인디케이팅하여 제공할 수 있다.
프로젝터(미도시)는 식별된 스마트 머신의 작업 정보에 기초하여 스마트 머신의 작업 공간에 빔을 조사할 수 있다. 예를 들어, 전자 장치(100)는 촬영된 영상에 작업 영역을 인디케이팅하여 제공하는 것 외에도 식별된 스마트 머신의 작업 공간에 빔을 조사하여 사용자에게 작업 영역을 인지시킬 수도 있다.
일 예로, 프로젝터는 스마트 머신의 작업 공간에 특정 색상을 가지는 제1 빔을 조사할 수 있다. 사용자에게 직관적으로 작업 영역을 인지시켜 사고 발생을 방지하기 위해, 프로젝터는 작업 공간에 빨간색의 빔을 조사할 수 있다.
본 발명의 일 실시 예에 따른 프로젝터는 스마트 머신이 사용자의 모션 및 음성 중 적어도 하나를 인식할 수 있는 거리 정보에 기초하여 사용자의 모션 및 음성 중 적어도 하나에 대한 인식 가능 위치를 가이드하는 제2 빔을 조사할 수 있다. 일 예로, 스마트 머신은 사용자의 모션 및 음성 중 적어도 하나를 인식할 수 있으며, 전자 장치(100)는 스마트 머신이 모션 및 음성을 오작동 없이 인식하기 위해 요구되는 최소 거리에 대한 정보를 포함할 수 있다. 전자 장치(100)는 최소 거리에 대한 정보에 기초하여 스마트 머신을 모션 및 음성 중 적어도 하나를 이용하여 제어하려는 사용자에게 인식 가능 위치를 가이드하는 제2 빔을 조사할 수 있다. 일 예로, 스마트 머신의 작업 영역과 구분될 수 있도록 초록색의 빔을 조사할 수 있다.
본 발명의 일 실시 예에 따른 프로젝터는 신호를 입력받아 표시하는 디스플레이 패널(미도시)과, 디스플레이 패널로 광을 조사하는 램프(미도시) 및 디스플레이 패널을 통과한 영상 빔의 촛점을 조절하는 프로젝션 렌즈(미도시)를 포함할 수 있다.
여기서, 디스플레이 패널은 투광성 또는 반투광성 LCD 패널일 수 있고, 램프는 LED일 수 있고, 프로젝션 렌즈는 촛점 조정이 가능한 다양한 조합의 렌즈 조립체일 수 있다. 일 실시 예에 따른 프로젝터는 프로세서(150)로부터 신호를 입력받아 이를 디스플레이 패널에 표시하고, 램프가 디스플레이 패널로 광을 조사하며, 프로젝션 렌즈를 이용하여 디스플레이 패널을 통과한 영상 빔의 초점을 작업 영역에 대응하는 영역에 맞춤으로써 사용자에게 작업 영역을 표시하여 줄 수 있다. 다만, 이는 일 실시 예로서, 매우 다양한 형태의 프로젝터로 구현되어 작업 영역에 대응하는 영역에 빔을 조사할 수 있다. 일 예로, 프로젝터는 탈부착이 가능하도록 구현될 수도 있다.
또한, 일 실시 예에 따른 프로젝터는 홀로그램 장치(미도시)를 포함할 수도 있으며, 프로세서(150)로부터 수신된 신호에 기초하여 스마트 머신의 작업 공간에 홀로그램을 제공할 수도 있다.
스피커(180)는 각종 오디오 데이터, 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소이다. 특히, 전자 장치(100)가 사용자를 감지하고, 감지 결과에 따라 사용자가 스마트 머신의 작업 영역에 위치한 것으로 식별되면, 스피커(180)는 알림을 출력할 수 있다. 다만, 이는 일 실시 예로서, 감지된 사용자가 작업 영역에 기설정된 거리 이내에 위치한 것으로 식별되면, 프로세서(150)는 스피커(180)가 알람 음을 출력하도록 제어할 수도 있다.
입력부(미도시)는 다양한 입력을 수신하기 위하여 터치 패널, 펜센서, 키 및 마이크를 포함할 수 있다. 터치 패널은 디스플레이(110) 및 터치 센서(미도시)가 결합되어 구성될 수 있으며, 터치 센서는 정전식, 감압식, 적외선 방식, 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 터치 패널은 디스플레이 기능뿐만 아니라 터치 입력 위치, 터치된 면적뿐만 아니라 터치 입력 압력까지도 검출하는 기능을 가질 수 있고, 또한 실질적인 터치(real-touch)뿐만 아니라 근접 터치(proximity touch)도 검출하는 기능을 가질 수 있다. 펜 센서는 터치 패널의 일부로 구현될 수 있으며 또는 별도의 인식용 시트를 포함할 수 있다. 키는 물리적 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 마이크는 내장형 마이크 또는 외장형 마이크 중 적어도 하나를 포함할 수 있다.
특히, 입력부는 사용자 입력에 따라 스마트 머신의 위치 정보 및 작업 정보를 수신할 수 있다. 일 예로, 사용자가 수동으로 스마트 머신의 위치 정보를 입력하면, 입력부는 입력된 정보를 프로세서(150)로 전송할 수 있다. 또한, 사용자가 입력부를 통해 스마트 머신의 작업 정보를 입력하면, 프로세서(150)는 입력된 작업 정보를 스토리지(140)에 저장할 수 있다.
이하에서는 다양한 도면을 통해 전자 장치(100)의 동작을 좀더 구체적으로 설명한다.
도 3은 본 발명의 일 실시 예에 따른 작업 영역을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이 전자 장치(100)는 사용자 단말 장치로 구현될 수 있다. 전자 장치(100)는 센서(130)를 통해 전자 장치(100)의 위치 정보를 획득할 수 있다.
전자 장치(100)는 전자 장치(100)의 위치 정보 및 스마트 머신의 위치 정보에 기초하여 전자 장치(100) 주변 영역에 위치한 스마트 머신을 식별할 수 있다. 일 예로, 제1 내지 제3 스마트 머신(200, 300, 400)이 식별될 수 있다.
전자 장치(100)는 식별된 제1 내지 제3 스마트 머신(200, 300, 400) 각각의 작업 정보를 획득할 수 있다. 전자 장치(100)는 획득된 작업 정보에 기초하여 제1 내지 제3 스마트 머신(200, 300, 400) 각각이 동작 중 인지 여부을 식별할 수 있다. 예를 들어, 제2 및 제3 스마트 머신(300, 400)이 동작 중인 것으로 식별되면, 제2 및 제3 스마트 머신(300, 400)의 동작에 따라 요구되는 작업 영역을 획득할 수 있다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 카메라(120)를 통해 촬영된 영상에 스마트 머신의 작업 영역을 인디케이팅하여 제공할 수 있다. 여기서, 카메라(120)를 통해 촬영된 영상은 기저장된 영상이 될 수도 있으며, 카메라(120)를 통해 실시간으로 수신되는 영상이 될 수도 있다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 전자 장치(100)의 위치 정보 및 전자 장치(100)의 촬영 방향에 기초하여 스마트 머신을 식별 할 수 있다. 예를 들어, 전자 장치(100)의 촬영 방향에 따라 카메라(120)를 통해 실시간으로 수신되는 영상에 제1 내지 제3 스마트 머신(200, 300, 400)이 포함되어 있으면, 전자 장치(100)는 제1 내지 제3 스마트 머신(200, 300, 400)의 작업 정보에 기초하여 수신되는 영상에 제1 내지 제3 스마트 머신(200, 300, 400) 각각의 작업 영역을 인디케이팅하여 디스플레이할 수 있다.
여기서, 작업 영역을 인디케이팅하는 구성은 영상 내에서 작업 영역을 나머지 영역과 구분되도록 음영 처리, 색상 처리하는 것을 의미할 수 있다. 일 예로, 제2 스마트 머신(300)의 작업 영역에 대응하는 영역을 빨간 색상으로 음영 처리하여 디스플레이 할 수 있다. 전자 장치(100)는 사용자에게 빨간 색상으로 음영 처리된 영역이 위험 영역임을 인지시킬 수 있다.
본 발명의 다른 실시 예에 따른 위험 영역은 사용자의 설정에 따라 변경될 수 있다. 일 예로, 전자 장치(100)는 안전 레벨을 설정하기 위한 UI를 제공할 수 있다. 상, 중, 하로 구분된 안전 레벨에서 최고 레벨이 설정되면, 스마트 머신의 작업 영역(20)에 1-2m 영역을 추가하여 위험 영역으로 인디케이팅할 수 있다. 전자 장치(100)는 스마트 머신의 작업 영역만을 고려하는 것이 아니라, 안전 레벨을 함께 고려하여 위험 영역을 인디케이팅할 수도 있다. 1-2m는 일 실시 예로, 반드시 이에 제한되는 것은 아니며, 목적에 따라 다양하게 변경될 수 있음은 물론이다.
전자 장치(100)는 동작하지 않는 스마트 머신에 대한 정보도 영상에 인디케이팅하여 제공할 수 있다. 예를 들어, 제1 스마트 머신(200)이 동작하지 않는 것으로 식별되면, 전자 장치(100)는 영상 내에서 제1 스마트 머신(200)의 주변 영역 또는 제1 스마트 머신(200)의 동작에 따른 작업 영역에 대응하는 영역을 나머지 영역과 구분되도록 초록 색상으로 음영 처리할 수 있다. 전자 장치(100)는 사용자에게 초록 색상으로 음영 처리된 영역은 안전 영역임을 인지시킬 수 있다.
도 4는 본 발명의 일 실시 예에 따른 작업 스케줄을 설명하기 위한 도면이다.
도 4에 따르면, 전자 장치(100)는 스마트 머신의 작업 정보를 포함할 수 있으며, 작업 정보는 스마트 머신의 작업 스케줄 및 작업 스케줄에 포함된 동작을 수행하는데 요구되는 작업 영역에 대한 정보를 포함할 수 있다.
여기서, 작업 스케줄은 스마트 머신의 시간에 따른 동작 리스트를 의미할 수 있다. 도 4에 도시된 바와 같이 작업 스케줄에 따르면 제1 스마트 머신(200)은 시간 t 부터 t1 사이에 동작을 수행하고, 해당 동작은 (x, y, z) 위치에서 (w, h) 영역이 요구되는 동작임을 알 수 있다. 또한, 제2 스마트 머신(300)은 시간 t2 내지 t4에 동작을 수행하지 않고 대기 중이며, 시간 t4 부터 t5 까지 (x, y, z) 위치에서 (w, h) 영역이 요구되는 동작을 수행할 수 있다.
전자 장치(100)는 복수의 스마트 머신 각각에 대한 작업 스케줄 및 작업 스케줄에 포함된 동작을 수행하는데 요구되는 작업 영역에 대한 정보에 기초하여 특정 공간 내에 배치된 복수의 스마트 머신 각각이 어떠한 동작을 수행 중이며, 동작을 수행하기 위해 요구되는 작업 영역(또는, 면적)을 식별할 수 있다.
일 예로, 공장 내에 제1 내지 제3 스마트 머신(200, 300, 400)이 배치되어 있으며, 전자 장치(100)는 제1 내지 제3 스마트 머신(200, 300, 400) 각각에 대한 작업 정보를 포함할 수 있다. 전자 장치(100)는 작업 정보에 기초하여 tx에서 제1 내지 제3 스마트 머신(200, 300, 400) 각각이 동작함에 따라 요구되는 작업 영역을 식별할 수 있다. 여기서, 작업 영역은 스마트 머신이 동작을 수행되는 영역이므로, 사용자의 접근이 제한되는 위험 영역을 의미할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 작업 영역을 제공하는 방법을 설명하기 위한 도면이다.
도 5에 따르면, 스마트 머신의 작업 정보는 수동 또는 자동으로 입력될 수 있다. 본 발명의 일 실시 예에 따른 수동 입력 방식은 스마트 머신이 고정되어 있는지, 스마트 머신의 최대 / 최소 출력 토크, 스마트 머신의 최대 / 최소 속도, 동작의 종류(Garb, Pierce, Release, Move 등), 각 동작 별 소요 시간 등이 입력되면, 전자 장치(100)가 입력된 데이터에 기초하여 스마트 머신의 작업 정보를 생성 및 저장할 수 있다. 다만, 이는 일 실시 예로서 모든 데이터가 입력되어야 하는 것은 아니며, 전자 장치(100)는 입력된 데이터 및 서버로부터 수신된 데이터 등에 기초하여 작업 스케줄을 생성할 수 있음은 물론이다.
본 발명의 다른 실시 예에 따른 자동 입력 방식은 서버로부터 스마트 머신의 작업 정보를 수신하고, 저장하는 방식이 될 수 있다. 일 예로, 스마트 머신의 제품명이 입력되면, 해당 제품명에 대응되는 작업 정보를 수신할 수 있다. 다만, 이에 한정되는 것은 아니다. 또 다른 실시 예로, 카메라(120)를 통해 스마트 머신이 기설정된 시간 이상 촬영된 영상이 수신되면, 전자 장치(100)는 영상을 분석하여 작업 정보를 생성할 수도 있다. 영상을 분석하여, 스마트 머신의 동작, 동작에 대한 소요 시간 및 동작 간 대기 시간 중 적어도 하나의 정보를 획득하여 작업 정보를 생성할 수도 있다.
도 6은 본 발명의 다른 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 6에 따르면, 전자 장치(100)는 촬영된 영상에 작업 영역을 인디케이팅하여 제공하는 것 외에도 추가 정보를 제공할 수 있다.
일 예로, 작업 스케줄에 기초하여 스마트 머신이 동작 중인 것으로 식별되면, 전자 장치(100)는 촬영된 영상 상에 동작이 종료되기까지 남은 시간에 대한 정보를 제공할 수 있다. 예를 들어, 도 6에 도시된 바와 같이 동작이 종료됨에 따라 위험 영역이 안전 영역이 되기까지 남은 시간을 의미하는 ‘time to safe’를 디스플레이할 수 있다.
또한, 전자 장치(100)는 스마트 머신이 동작 중이지 않은 것으로 식별되면, 스마트 머신의 동작을 시작되기까지 남은 시간에 대한 정보를 제공할 수 있다. 예를 들어, 도 6에 도시된 바와 같이 동작이 시작됨에 따라 안전 영역이 위험 영역이 되기까지 남은 시간을 의미하는 ‘time to critical’을 디스플레이할 수 있다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 디스플레이된 정보에 대한 사용자 입력이 수신되면, 동작에 대한 정보를 디스플레이할 수도 있다. 예를 들어, 사용자 입력에 따라 스마트 머신이 동작을 시작하기까지 남은 시간에 대한 정보가 터치되면, 전자 장치(100)는 동작에 대한 설명, 스마트 머신이 동작을 수행하기 위해 요구되는 면적(또는 영역)에 대한 정보 등을 디스플레이할 수도 있다.
도 7 및 도 8은 본 발명의 다른 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 7에 따르면, 전자 장치(100)는 구동부(170)를 포함하고, 구동부(170)를 제어하여 스스로 이동이 가능한 형태로 구현될 수 있다. 전자 장치(100)는 사용자를 감지하고, 전자 장치(100)가 감지된 사용자와 기설정된 거리 이내에 위치하도록 구동부(170)를 제어할 수 있다.
구동부(170)가 제어됨에 따라 전자 장치(100)의 위치가 변경되면, 전자 장치(100)는 변경된 위치를 실시간을 반영하여 주변 영역에 위치하는 스마트 머신을 식별할 수 있다. 일 예로, 전자 장치(100)가 제1 위치에서 제2 위치로 이동됨에 따라 전자 장치(100)의 주변 영역에 위치한 스마트 머신이 제1 스마트 머신(200)에서 제2 및 제3 스마트 머신(300, 400)으로 변경되면, 전자 장치(100)는 제2 및 제3 스마트 머신(300, 400)의 작업 정보를 획득할 수 있다.
전자 장치(100)는 제2 및 제3 스마트 머신(300, 400)의 작업 영역을 인디케이팅하는 영상을 디스플레이할 수 있다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 프로젝터를 이용하여 작업 정보에 따른 작업 공간에 빔을 조사할 수도 있다. 도 7에 도시된 바와 같이, 전자 장치(100)는 빔 프로젝터 기능을 포함하고 있으며, 전자 장치(100)의 주변 영역 중 제1 내지 제3 스마트 머신(200, 300, 400)의 위치 정보 및 작업 정보에 기초하여 작업 공간에 빔을 조사하여 작업 영역(또는, 위험 영역) 등을 인디케이팅할 수도 있다.
도 8에 따르면, 전자 장치(100)는 특정 공간의 천장에 배치된 빔 프로젝터로 구현될 수도 있다. 빔 프로젝터는 스마트 머신의 작업 공간을 인디케이팅하는 빔을 조사할 수 있다.
도 8에 도시된 바와 같이 제1 내지 제3 빔 프로젝터(100-1, 100-2, 100-3)가 각각 제1 내지 제3 스마트 머신(200, 300, 400)에 대응되도록 배치될 수 있다. 다만, 이에 한정되는 것은 아니며, 하나의 빔 프로젝터가 복수의 빔을 조사하여 복수의 스마트 머신 각각의 작업 공간에 빔을 조사할 수도 있음은 물론이다. 또한, 제1 내지 제3 빔 프로젝터(100-1, 100-2, 100-3) 간 통신을 수행할 수 있도록 연결될 수 있으며, 제1 내지 제3 빔 프로젝터(100-1, 100-2, 100-3)는 전자 장치(100)의 일 구성요소로서 전자 장치(100)의 본체와 무선 또는 유선으로 연결된 구성일 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 인식 가능 위치를 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 스마트 머신은 모션 인식, 음성 인식과 같은 사용자의 생채 정보 등에 기초하여 제어될 수 있다. 일 예로, ‘전원 오프’ 음성 명령이 수신되면, 스마트 머신은 턴-오프될 수 있다.
일 실시 예에 따른 전자 장치(100)는 스마트 머신이 사용자의 모션, 음성을 용이하게 인식하기 위한 요구되는 스마트 머신과 사용자 간 최대 이격 거리에 대한 정보를 포함할 수 있다. 여기서, 최대 이격 거리는 스마트 머신으로부터 최대 이격 거리 이상 떨어진 사용자의 모션, 음성 등을 스마트 머신이 제대로 인식할 수 없음을 의미할 수 있다. 예를 들어, 스마트 머신으로부터 5m 이상 멀어지면, 스마트 머신은 사용자의 모션, 음성 등을 용이하게 식별할 수 없으며, 스마트 머신의 오인식율이 높아질 수 있다. 전자 장치(100)는 최대 이격 거리에 대한 정보를 인디케이팅할 수 있다.
일 예로, 전자 장치(100)가 사용자 단말 장치로 구현되면, 카메라를 통해 촬영된 영상에 제2 스마트 머신(300)의 작업 영역(20)를 인디케이팅하고,모션 및 음성 중 적어도 하나에 대한 인식 가능 위치(30)를 인디케이팅하여 제공할 수 있다.
다른 예로, 전자 장치(100)가 프로젝터로 구현되면, 프로젝터는 제2 스마트 머신(300)의 작업 영역(20)에 따른 작업 공간에 제1 빔을 조사하고, 인식 가능 위치(30)에 따른 공간에 제2 빔을 조사할 수 있다. 사용자는 조사된 제1 및 제2 빔에 기초하여, 제1 빔이 조사된 영역은 위험 영역이고, 제2 빔이 조사된 영역은 사용자가 위치하여야하는 영역임을 인지할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시 예에 따른 스마트 머신(Smart Machine)의 위치 정보 및 작업 정보가 저장된 전자 장치는 전자 장치의 위치 정보를 감지한다(S1010).
이어서, 전자 장치의 위치 정보 및 스마트 머신의 위치 정보에 기초하여 전자 장치의 주변 영역에 위치하는 스마트 머신을 식별한다(S1020).
이어서, 식별된 스마트 머신의 작업 정보를 획득한다(S1030).
이어서, 획득된 스마트 머신의 작업 정보에 기초하여 카메라를 통해 촬영된 영상에 스마트 머신의 작업 영역을 인디케이팅하여 디스플레이한다(S1040).
여기서, 식별하는 S1020 단계는, 전자 장치의 위치 정보 및 센서를 통해 감지된 전자 장치의 촬영 방향에 기초하여 스마트 머신을 식별할 수 있다.
일 실시 예에 따른 스마트 머신의 작업 정보는, 스마트 머신의 작업 스케줄 및 작업 스케줄에 포함된 동작을 수행하는데 요구되는 작업 영역에 대한 정보를 포함하고, 제어 방법은 스마트 머신의 작업 스케줄에 기초하여, 스마트 머신이 동작 중인지 여부를 식별하는 단계를 포함하고, 디스플레이하는 S1040 단계는, 스마트 머신이 동작 중인 것으로 식별되면, 작업 영역에 대한 정보에 기초하여 스마트 머신의 동작에 대응되는 작업 영역을 인디케이팅하여 제공할 수 있다.
여기서, 디스플레이하는 S1040 단계는, 스마트 머신이 동작 중인 것으로 식별되면, 작업 스케줄에 기초하여 스마트 머신의 동작이 종료되기까지 남은 시간에 대한 정보를 디스플레이하고, 스마트 머신이 동작 중이지 않은 것으로 식별되면, 스마트 머신의 동작이 시작되기까지 남은 시간에 대한 정보를 디스플레이할 수 있다.
또한, 작업 정보는, 스마트 머신을 기설정된 시간 동안 촬영한 영상을 분석하여 획득되는 스마트 머신의 동작, 동작에 대한 소요 시간 및 동작 간 대기 시간 중 적어도 하나의 정보를 포함할 수 있다.
일 실시 예에 따른 제어 방법은 식별된 스마트 머신의 작업 정보에 기초하여 스마트 머신의 작업 공간에 제1 빔을 조사하는 단계를 포함할 수 있다.
여기서, 스마트 머신이 사용자의 모션 및 음성 중 적어도 하나를 인식할 수 있는 거리 정보에 기초하여 사용자의 모션 및 음성 중 적어도 하나에 대한 인식 가능 위치를 가이드하는 제2 빔을 조사하는 단계를 더 포함할 수 있다.
일 실시 예에 따른 제어 방법은 또한, 전자 장치가 전자 장치의 사용자와 기설정된 거리 이내에 위치하도록 전자 장치의 본체를 이동시키는 단계를 포함하고, 식별하는 S1020 단계는 전자 장치가 이동함에 따라 전자 장치의 위치 정보가 변경되면, 변경된 위치 정보에 기초하여 전자 장치의 주변 영역에 위치하는 스마트 머신을 식별할 수 있다.
또한, 디스플레이하는 S1040 단계는, 스마트 머신이 사용자의 모션 및 음성 중 적어도 하나를 인식할 수 있는 거리 정보에 기초하여 사용자의 모션 및 음성 중 적어도 하나에 대한 인식 가능 위치를 가이드하는 UI를 디스플레이할 수 있다.
일 실시 예에 따른 전자 장치는, 특정 공간의 각 위치를 좌표로 나타낸 좌표 정보를 포함하고, 전자 장치의 좌표 정보는, 좌표 정보에 기초하여 특정 공간 내에 배치된 전자 장치의 위치를 좌표로 나타낸 정보이고, 스마트 머신의 위치 정보는, 특정 공간 내에 배치된 스마트 머신의 위치를 좌표 정보에 기초하여 나타낸 정보일 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 110: 디스플레이
120: 카메라 130: 센서
140: 스토리지 150: 프로세서

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    카메라;
    센서;
    상기 전자 장치의 본체를 이동시키는 구동부;
    스마트 머신(Smart Machine)의 위치 정보 및 작업 정보가 저장된 스토리지; 및
    상기 센서를 통해 감지된 상기 전자 장치의 위치 정보 및 상기 스토리지에 저장된 상기 스마트 머신의 위치 정보에 기초하여 상기 전자 장치의 주변 영역에 위치하는 스마트 머신을 식별하고,
    상기 스토리지로부터 상기 식별된 스마트 머신의 작업 정보를 획득하고,
    상기 획득된 스마트 머신의 작업 정보에 기초하여 상기 카메라를 통해 촬영된 영상에 상기 스마트 머신의 작업 영역을 인디케이팅하여 상기 디스플레이 상에 제공하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 전자 장치가 사용자와 기설정된 거리 이내에 위치하도록 상기 구동부를 제어하고,
    상기 구동부가 제어됨에 따라 상기 전자 장치의 위치 정보가 변경되면, 상기 변경된 위치 정보에 기초하여 상기 전자 장치의 주변 영역에 위치하는 스마트 머신을 식별하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 위치 정보 및 상기 센서를 통해 감지된 상기 전자 장치의 촬영 방향에 기초하여 상기 스마트 머신을 식별하는, 전자 장치.
  3. 제1항에 있어서,
    상기 스마트 머신의 작업 정보는,
    상기 스마트 머신의 작업 스케줄 및 상기 작업 스케줄에 포함된 동작을 수행하는데 요구되는 작업 영역에 대한 정보를 포함하고,
    상기 프로세서는,
    상기 스마트 머신의 작업 스케줄에 기초하여, 상기 스마트 머신이 동작 중인지 여부를 식별하고,
    상기 스마트 머신이 동작 중인 것으로 식별되면, 상기 작업 영역에 대한 정보에 기초하여 상기 스마트 머신의 동작에 대응되는 작업 영역을 인디케이팅하여 제공하는, 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 스마트 머신이 동작 중인 것으로 식별되면, 상기 작업 스케줄에 기초하여 상기 스마트 머신의 동작이 종료되기까지 남은 시간에 대한 정보를 제공하고,
    상기 스마트 머신이 동작 중이지 않은 것으로 식별되면, 상기 스마트 머신의 동작이 시작되기까지 남은 시간에 대한 정보를 제공하는, 전자 장치.
  5. 제3항에 있어서,
    상기 작업 정보는,
    상기 스마트 머신을 기설정된 시간 동안 촬영한 영상을 분석하여 획득되는 상기 스마트 머신의 동작, 상기 동작에 대한 소요 시간 및 상기 동작 간 대기 시간 중 적어도 하나의 정보를 포함하는, 전자 장치.
  6. 제1항에 있어서,
    프로젝터;를 더 포함하고,
    상기 프로세서는,
    상기 식별된 스마트 머신의 작업 정보에 기초하여 상기 스마트 머신의 작업 공간에 제1 빔이 조사되도록 상기 프로젝터를 제어하는, 전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 스마트 머신이 사용자의 모션 및 음성 중 적어도 하나를 인식할 수 있는 거리 정보에 기초하여 상기 사용자의 모션 및 음성 중 적어도 하나에 대한 인식 가능 위치를 가이드하는 제2 빔이 조사되도록 상기 프로젝터를 제어하는, 전자 장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 스마트 머신이 사용자의 모션 및 음성 중 적어도 하나를 인식할 수 있는 거리 정보에 기초하여 상기 사용자의 모션 및 음성 중 적어도 하나에 대한 인식 가능 위치를 가이드하는 UI를 제공하는 전자 장치.
  10. 제1항에 있어서,
    상기 스토리지는,
    특정 공간의 각 위치를 좌표로 나타낸 좌표 정보를 포함하고,
    상기 전자 장치의 위치 정보는,
    상기 좌표 정보에 기초하여 상기 특정 공간 내에 배치된 상기 전자 장치의 위치를 좌표로 나타낸 정보이고,
    상기 스마트 머신의 위치 정보는,
    상기 특정 공간 내에 배치된 상기 스마트 머신의 위치를 상기 좌표 정보에 기초하여 나타낸 정보인, 전자 장치.
  11. 스마트 머신(Smart Machine)의 위치 정보 및 작업 정보가 저장된 전자 장치의 제어 방법에 있어서,
    상기 전자 장치의 위치 정보를 감지하는 단계;
    상기 전자 장치의 위치 정보 및 상기 스마트 머신의 위치 정보에 기초하여 상기 전자 장치의 주변 영역에 위치하는 스마트 머신을 식별하는 단계;
    상기 식별된 스마트 머신의 작업 정보를 획득하는 단계; 및
    상기 획득된 스마트 머신의 작업 정보에 기초하여 카메라를 통해 촬영된 영상에 상기 스마트 머신의 작업 영역을 인디케이팅하여 디스플레이하는 단계; 및
    상기 전자 장치가 사용자와 기설정된 거리 이내에 위치하도록 상기 전자 장치의 본체를 이동시키는 단계;를 포함하고,
    상기 식별하는 단계는,
    상기 전자 장치가 이동함에 따라 상기 전자 장치의 위치 정보가 변경되면, 상기 변경된 위치 정보에 기초하여 상기 전자 장치의 주변 영역에 위치하는 스마트 머신을 식별하는, 제어 방법.
  12. 제11항에 있어서,
    상기 식별하는 단계는,
    상기 전자 장치의 위치 정보 및 센서를 통해 감지된 상기 전자 장치의 촬영 방향에 기초하여 상기 스마트 머신을 식별하는, 제어 방법.
  13. 제11항에 있어서,
    상기 스마트 머신의 작업 정보는,
    상기 스마트 머신의 작업 스케줄 및 상기 작업 스케줄에 포함된 동작을 수행하는데 요구되는 작업 영역에 대한 정보를 포함하고,
    상기 스마트 머신의 작업 스케줄에 기초하여, 상기 스마트 머신이 동작 중인지 여부를 식별하는 단계;를 포함하고,
    상기 디스플레이하는 단계는,
    상기 스마트 머신이 동작 중인 것으로 식별되면, 상기 작업 영역에 대한 정보에 기초하여 상기 스마트 머신의 동작에 대응되는 작업 영역을 인디케이팅하여 제공하는, 제어 방법.
  14. 제13항에 있어서,
    상기 디스플레이하는 단계는,
    상기 스마트 머신이 동작 중인 것으로 식별되면, 상기 작업 스케줄에 기초하여 상기 스마트 머신의 동작이 종료되기까지 남은 시간에 대한 정보를 디스플레이하고,
    상기 스마트 머신이 동작 중이지 않은 것으로 식별되면, 상기 스마트 머신의 동작이 시작되기까지 남은 시간에 대한 정보를 디스플레이하는, 제어 방법.
  15. 제13항에 있어서,
    상기 작업 정보는,
    상기 스마트 머신을 기설정된 시간 동안 촬영한 영상을 분석하여 획득되는 상기 스마트 머신의 동작, 상기 동작에 대한 소요 시간 및 상기 동작 간 대기 시간 중 적어도 하나의 정보를 포함하는, 제어 방법.
  16. 제11항에 있어서,
    상기 식별된 스마트 머신의 작업 정보에 기초하여 상기 스마트 머신의 작업 공간에 제1 빔을 조사하는 단계;를 더 포함하는, 제어 방법.
  17. 제16항에 있어서,
    상기 스마트 머신이 사용자의 모션 및 음성 중 적어도 하나를 인식할 수 있는 거리 정보에 기초하여 상기 사용자의 모션 및 음성 중 적어도 하나에 대한 인식 가능 위치를 가이드하는 제2 빔을 조사하는 단계;를 더 포함하는, 제어 방법.
  18. 삭제
  19. 제11항에 있어서,
    상기 디스플레이하는 단계는,
    상기 스마트 머신이 사용자의 모션 및 음성 중 적어도 하나를 인식할 수 있는 거리 정보에 기초하여 상기 사용자의 모션 및 음성 중 적어도 하나에 대한 인식 가능 위치를 가이드하는 UI를 디스플레이하는, 제어 방법.
  20. 제11항에 있어서,
    상기 전자 장치는, 특정 공간의 각 위치를 좌표로 나타낸 좌표 정보를 포함하고,
    상기 전자 장치의 좌표 정보는,
    상기 좌표 정보에 기초하여 상기 특정 공간 내에 배치된 상기 전자 장치의 위치를 좌표로 나타낸 정보이고,
    상기 스마트 머신의 위치 정보는,
    상기 특정 공간 내에 배치된 상기 스마트 머신의 위치를 상기 좌표 정보에 기초하여 나타낸 정보인, 제어 방법.
KR1020180002470A 2018-01-08 2018-01-08 전자 장치 및 그 제어 방법 KR102499576B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180002470A KR102499576B1 (ko) 2018-01-08 2018-01-08 전자 장치 및 그 제어 방법
US16/224,742 US10885335B2 (en) 2018-01-08 2018-12-18 Electronic device and controlling method thereof
EP18898058.5A EP3662341B1 (en) 2018-01-08 2018-12-19 Electronic device and controlling method thereof
PCT/KR2018/016181 WO2019135513A1 (en) 2018-01-08 2018-12-19 Electronic device and controlling method thereof
CN201880085405.6A CN111566582A (zh) 2018-01-08 2018-12-19 电子设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180002470A KR102499576B1 (ko) 2018-01-08 2018-01-08 전자 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20190084562A KR20190084562A (ko) 2019-07-17
KR102499576B1 true KR102499576B1 (ko) 2023-02-15

Family

ID=67140813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180002470A KR102499576B1 (ko) 2018-01-08 2018-01-08 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US10885335B2 (ko)
EP (1) EP3662341B1 (ko)
KR (1) KR102499576B1 (ko)
CN (1) CN111566582A (ko)
WO (1) WO2019135513A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112847344A (zh) * 2020-12-29 2021-05-28 珠海新天地科技有限公司 一种机器人虚拟围栏系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4850984B2 (ja) * 2009-12-28 2012-01-11 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
US20120182155A1 (en) * 2010-01-25 2012-07-19 Taichi Sato Danger presentation device, danger presentation system, danger presentation method and program
JP2017100207A (ja) * 2015-11-30 2017-06-08 株式会社デンソーウェーブ ロボット安全システム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58217294A (ja) * 1982-06-07 1983-12-17 株式会社日立製作所 産業用ロボツトの安全装置
US7729511B2 (en) * 2002-09-24 2010-06-01 Pilz Gmbh & Co. Kg Method and device for safeguarding a hazardous area
JP2004351533A (ja) 2003-05-27 2004-12-16 Fanuc Ltd ロボットシステム
JP2005081445A (ja) * 2003-09-04 2005-03-31 Fanuc Ltd ロボットの干渉領域確認装置
JP4830438B2 (ja) * 2005-10-04 2011-12-07 トヨタ自動車株式会社 自律移動装置
JP2009123045A (ja) * 2007-11-16 2009-06-04 Toyota Motor Corp 移動ロボット及び移動ロボットの危険範囲の表示方法
EP2499550A1 (en) * 2009-11-10 2012-09-19 Selex Sistemi Integrati S.p.A. Avatar-based virtual collaborative assistance
US9041800B2 (en) * 2009-12-30 2015-05-26 Robert Bosch Gmbh Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking
JP5406074B2 (ja) * 2010-02-23 2014-02-05 株式会社日立製作所 作業者位置認識システム
US9596451B2 (en) * 2010-04-16 2017-03-14 Fraunhofer Gesellschaft Zur Föderung Der Angewandten Forschung E.V. Device for monitoring at least one three-dimensional safety area
DE102010017857B4 (de) 2010-04-22 2019-08-08 Sick Ag 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine
RU2448036C1 (ru) * 2010-08-04 2012-04-20 Общество с ограниченной ответственностью "Научно-производственное предприятие "Резонанс" Устройство безопасности машины с графическим дисплеем
DE102012102236A1 (de) * 2012-03-16 2013-09-19 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Absichern eines gefährlichen Arbeitsbereichs einer automatisiert arbeitenden Maschine
JP2014030162A (ja) * 2012-07-31 2014-02-13 Yoshiro Mizuno 業務レコーダー
JP5850004B2 (ja) * 2013-08-09 2016-02-03 株式会社安川電機 ロボット制御装置及びロボット制御方法
DE202013104264U1 (de) 2013-09-18 2015-01-09 Daimler Ag Arbeitsstation
JP6104143B2 (ja) * 2013-12-09 2017-03-29 三菱電機株式会社 機器制御システム、および、機器制御方法
JP6397226B2 (ja) * 2014-06-05 2018-09-26 キヤノン株式会社 装置、装置の制御方法およびプログラム
US9696813B2 (en) 2015-05-27 2017-07-04 Hsien-Hsiang Chiu Gesture interface robot
US9908244B2 (en) 2014-07-02 2018-03-06 Siemens Aktiengesellschaft Warning method and robot system
US9283678B2 (en) 2014-07-16 2016-03-15 Google Inc. Virtual safety cages for robotic devices
US9902061B1 (en) * 2014-08-25 2018-02-27 X Development Llc Robot to human feedback
JP6068429B2 (ja) 2014-12-25 2017-01-25 ファナック株式会社 ロボット識別システム
GB2534359A (en) * 2015-01-15 2016-07-27 Corin Ltd System and method for patient implant alignment
CN104723350B (zh) * 2015-03-16 2016-07-20 珠海格力电器股份有限公司 工业机器人安全防护智能控制方法及系统
US9649766B2 (en) 2015-03-17 2017-05-16 Amazon Technologies, Inc. Systems and methods to facilitate human/robot interaction
JP6464945B2 (ja) * 2015-07-03 2019-02-06 株式会社デンソーウェーブ ロボットシステム
JP6586824B2 (ja) * 2015-08-27 2019-10-09 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9981385B2 (en) 2015-10-12 2018-05-29 The Boeing Company Dynamic automation work zone safety system
JP6631203B2 (ja) 2015-11-30 2020-01-15 株式会社デンソーウェーブ バーチャルフェンス表示システム
US10712566B2 (en) 2015-11-26 2020-07-14 Denso Wave Incorporated Information displaying system provided with head-mounted type display
JP2017144542A (ja) 2016-02-19 2017-08-24 キヤノン株式会社 ロボット装置
EP3243609A1 (en) 2016-05-09 2017-11-15 OpiFlex Automation AB A fenceless industrial robot system
US10956739B2 (en) * 2016-06-27 2021-03-23 Autodesk, Inc. Augmented reality robotic system visualization
US10196210B2 (en) * 2017-01-16 2019-02-05 Locus Robotics Corp. Display for improved efficiency in robot assisted order-fulfillment operations
JP6874448B2 (ja) * 2017-03-17 2021-05-19 株式会社デンソーウェーブ 情報表示システム
JP6708154B2 (ja) * 2017-03-28 2020-06-10 カシオ計算機株式会社 対象物検出装置、対象物検出方法、及びプログラム
JP6659629B2 (ja) * 2017-07-31 2020-03-04 ファナック株式会社 多関節ロボットの制御装置
JP6646026B2 (ja) * 2017-10-16 2020-02-14 ファナック株式会社 作業システム、物品に対する作業実施方法、およびロボット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4850984B2 (ja) * 2009-12-28 2012-01-11 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
US20120182155A1 (en) * 2010-01-25 2012-07-19 Taichi Sato Danger presentation device, danger presentation system, danger presentation method and program
JP2017100207A (ja) * 2015-11-30 2017-06-08 株式会社デンソーウェーブ ロボット安全システム

Also Published As

Publication number Publication date
US10885335B2 (en) 2021-01-05
EP3662341A4 (en) 2020-08-26
EP3662341B1 (en) 2022-03-16
CN111566582A (zh) 2020-08-21
KR20190084562A (ko) 2019-07-17
US20190213415A1 (en) 2019-07-11
EP3662341A1 (en) 2020-06-10
WO2019135513A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
JP6159323B2 (ja) 情報処理方法及び情報処理装置
US11029766B2 (en) Information processing apparatus, control method, and storage medium
KR102031142B1 (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
KR102441328B1 (ko) 이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치
US11782514B2 (en) Wearable device and control method thereof, gesture recognition method, and control system
KR102582863B1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
US10268277B2 (en) Gesture based manipulation of three-dimensional images
CN103729054A (zh) 多显示设备及其控制方法
US10949668B2 (en) Electronic apparatus and method for controlling thereof
CN102033702A (zh) 影像显示装置及其显示控制方法
US9501810B2 (en) Creating a virtual environment for touchless interaction
US20090225040A1 (en) Central resource for variable orientation user interface
JP2019501747A5 (ko)
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
US9584718B2 (en) Display device and method of controlling therefor
US11941906B2 (en) Method for identifying user's real hand and wearable device therefor
KR102499576B1 (ko) 전자 장치 및 그 제어 방법
US20170052674A1 (en) System, method, and device for controlling a display
US11243674B2 (en) Display apparatus and image processing method
CN108196676A (zh) 跟踪识别方法及系统
KR20160142207A (ko) 전자 장치 및 이의 제어 방법
US20190339864A1 (en) Information processing system, information processing method, and program
US11775168B1 (en) Eyewear device user interface
JP2013200654A (ja) 表示制御装置、表示制御方法、情報表示システム及びプログラム
US20240069647A1 (en) Detecting method, detecting device, and recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right