KR20190109168A - 복합현실 표시장치를 이용한 멀티 유저 운영시스템 및 그 방법 - Google Patents

복합현실 표시장치를 이용한 멀티 유저 운영시스템 및 그 방법 Download PDF

Info

Publication number
KR20190109168A
KR20190109168A KR1020180031192A KR20180031192A KR20190109168A KR 20190109168 A KR20190109168 A KR 20190109168A KR 1020180031192 A KR1020180031192 A KR 1020180031192A KR 20180031192 A KR20180031192 A KR 20180031192A KR 20190109168 A KR20190109168 A KR 20190109168A
Authority
KR
South Korea
Prior art keywords
information
image
image information
remote
input
Prior art date
Application number
KR1020180031192A
Other languages
English (en)
Other versions
KR102480986B1 (ko
Inventor
임진국
조세훈
Original Assignee
임진국
조세훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임진국, 조세훈 filed Critical 임진국
Priority to KR1020180031192A priority Critical patent/KR102480986B1/ko
Publication of KR20190109168A publication Critical patent/KR20190109168A/ko
Application granted granted Critical
Publication of KR102480986B1 publication Critical patent/KR102480986B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23051—Remote control, enter program remote, detachable programmer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

원격지에 있는 시스템에 대하여 적어도 서로 다른 시야각을 가지는 영상정보입력장치들과 적어도 2명이상이 사용하는 영상정보출력장치들을 통해서 실시간 작업상태와 환경정보를 입력 받아 동시에 다중 사용자들이 환경의 변화에 따른 상황정보와 작업상태를 파악하고 선택적으로 정보들을 공유하고 원격지의 시스템을 효과적으로 제어하는 시스템을 개시한다.

Description

복합현실 표시장치를 이용한 멀티 유저 운영시스템 및 그 방법{Multi-User Operation System and the method using Mixed Reality Device}
본 발명은 적어도 두 개의 영상입력장치, 영상정보처리장치, 원격시스템 및 하나 이상의 영상정보출력장치 등을 이용하여 원격지에서 실시간으로 입력된 영상정보 및 입력된 영상정보의 분석정보를 이용하여 상기 원격시스템을 제어하는 방법에 관한 것으로, 상기 영상정보 및 분석정보를 서로 다른 영상정보출력장치를 이용하여 원격지의 시스템이나 상황정보를 공유하여 제어하거나 활용하는 방법과 시스템 구성에 관한 것이다.
일반적으로 특정 건물이나 시설에 설치되어 감시 및 탐지용으로 운용되는 카메라는 고정형태와 카메라의 방향이나 화각, 초점거리를 변화시킬 수 있는 이른바 Pan-Tilt-Zoom(이하 PTZ)카메라가 있고, 자동차나 특수장비 등에 고정 설치되어 운영되는 단 초점 카메라 등이 있다. 특히 위험한 지역이나 실시간 주변의 환경이 변화되는 곳에서 작업하는 굴삭기나 건물을 해체하기 위한 브레이커, 원격 진료용 의료기기, 원격제어용 작업로봇이나 무장장치, 무인비행체, 소방용 장비나 헬멧 등에 카메라가 설치 운영되는 경우에는 실시간 환경변화를 감시하거나 탐지 및 추적 등을 해야 하는 상황에서는 많은 영상정보의 확보가 필요하게 된다. 이런 경우 대부분 다수의 카메라를 사용하여 동시에 많은 영상정보를 획득하게 된다.
통상적으로 영상정보를 포함하는 시스템들의 필요한 영상정보는 장착된 카메라의 성능에 따라 특성이 달라지고 입력된 영상정보는 유무선 통신으로 모니터 장치나 기타 다양한 시각표시 장치로 송출한다. 또한 로봇 팔이나 유압, 모터 등을 제어하는 수술용 로봇이나 작업용 로봇장치 등에서는 실시간의 작업상황과 주변환경 및 작업 대상객체 등의 정보와 작업용 도구, 제어장치 등에 대하여 더욱 많은 정보들이 요구된다.
일반적인 관측 및 탐지용 카메라는 내장된 렌즈 방향의 특정 각도 범위에서의 영상만을 제공한다. 보다 넓은 시야를 확보하기 위해서는 카메라의 렌즈 방향을 회전 및 상하각도를 변화시키는 이른바 PTZ제어를 통해 보다 넓은 범위에 대한 많은 영상정보를 얻게 된다. 각기 다른 카메라에서 입력된 영상을 연결하여 여러 개의 화면에 길게 표현하는 파노라마 영상을 제공하는 경우도 있다. 최근에는 360도 관측용 어안 렌즈나 특수렌즈를 채용한 카메라는 1개의 렌즈 또는 다수의 렌즈를 배열시켜 동시에 다양한 방향의 영상정보를 획득할 수 있다. 대부분의 경우 입력된 영상을 사용자 중심으로 대형 스크린으로 영상정보를 제공하게 된다. 또한 최근에는 가상현실(Virtual Reality, 이하 VR), 증강현실(Augmented Reality, 이하 AR) 또는 복합현실(Mixed Reality, 이하 MR)등을 사용하여 입력된 영상이나 만들어진 3차원의 영상정보를 활용하거나 실시간으로 360도 카메라를 연계하여 사용자에게 카메라를 중심으로 주변환경을 사용자의 의도된 방향에 대한 영상을 볼 수 있게 구현이 되고 있다. 상기한 영상정보출력장치는 예시적으로 웨어러블 형태로 제공될 수 있는바, Head-mounted display(이하 HMD)를 사용하는 사례들이 많다.
실시간 환경변화를 감시하거나 탐지 및 추적 등을 해야 하는 상황에서는 많은 영상정보의 확보가 필요하지만 단순히 영상정보의 양적 증가나 제공만으로는 원격지에서 시스템 주위환경 파악이나 작업 및 시스템을 제어하는 데에는 다양한 한계점들이 존재한다.
또한 원격으로 수술용 로봇이나 작업용 시스템, 특수차량이나 장치 등을 제어하는 경우, 제어대상 시스템과 사용자 간의 물리적으로 떨어진 상태로 제어해야 한다. 이 경우에는 상황에 따라 정밀도 수준이나 각 도구나 대상과의 상대적인 움직임과 특정 기준에서 방향과 속도 등의 움직임도 함께 고려해야 한다. 국부적인 움직임에 한정되고 몰입되는 경우 주변의 상황인식이 되지 않아서 주변 영향에 대한 대응이 원활하지 않게 될 수 있다.
주변상황 인식을 위해서 보다 넓은 시야를 확보하기 위해서는 PTZ카메라를 이용하거나 여러 대의 카메라를 각각 다른 방향으로 설치하고 이를 파노라마 영상을 만들어 주변정보를 제공할 수 있다. 360도 관측용 어안 렌즈나 특수렌즈 한 개 또는 다수를 채용하여 동시에 다양한 방향의 영상정보를 획득할 수 있다. 이를 통해 사용자에게 카메라를 중심으로 주변환경을 사용자의 의도된 방향에 대한 영상을 볼 수 있게 구현이 되고 있다. 그러나 사용자 관점에서 단순히 넓은 범위의 영상정보를 제공할 수 있다는 것의 실제적인 효과가 높지 않다. 즉, 특정 영역에 대한 상세한 영상정보를 선택적으로 얻거나 원격지에서 카메라에 의한 현장감을 구현하는 데는 기술적으로 한계를 가지고 있다. 원격지의 주변환경이 복잡하거나 다양한 상황이 발생하는 경우에는 단순히 영상정보를 제공하는 것으로는 원격지의 시스템이나 상황에 대처하는데 한계가 발생하게 된다. 실시간으로 사용자가 인식할 수 있는 영상정보는 지향하는 방향이나 관심영역 또는 관심 대상에 머물게 된다. 또한 하나의 시스템에 대하여 실질적으로 1인이 조작을 하거나 대응을 하기 때문에 다양한 채널을 통해 확보된 영상정보 중에서 실제 활용되는 것은 실시간 관점으로 볼 때에 일부의 정보만을 활용하는 상황이 된다.
또한 사용자가 디스플레이나 다양한 영상장치를 통해서 상황정보를 인지한 후에는 후속적으로 제어하고자 하는 시스템을 조종하거나 제어해야 하기 위해서는 지속적으로 영상정보에 대한 인식과 장치제어를 위한 조작이 동시적으로 이루어져 효율적으로 시스템을 제어하거나 운영하는데 한계를 가지게 된다.
본 발명은 상기와 같은 문제점들을 포함하여 여러 문제점들을 해결하기 위한 것으로, 원격지의 다양하고 복잡한 환경과 상황변화에 용이하게 대응하기 위하여 멀티 유지에 의한 원격지의 시스템 제어방법과 시스템을 제공하는 것을 목적으로 한다.
그러나, 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위나 그 효과가 한정되는 것은 아니다.
상술한 본 발명의 목적은 적어도 하나를 달성하기 위하여 본 발명의 일 실시 예에 따르면, 원격으로 제어되는 원격시스템, 상기 원격시스템의 일측 또는 근접하여 배치되는 서로 다른 시야각을 갖는 적어도 두 개의 영상입력장치, 상기 영상입력장치의 영상정보를 분석 처리하는 정보처리장치와 상기 정보처리장치에서 생성된 분석정보를 출력하는 적어도 두 개의 영상정보출력장치와 상기한 영상정보 또는 분석정보를 송수신하는 데이터송수신장치를 포함하는 멀티 유저 원격 운영시스템을 개시한다.
일 실시 예에 있어서, 상기 영상정보출력장치는 HMD형태의 AR, VR 또는 MR 중에서 적어도 어느 하나의 기능을 갖는 장치일 수 있다.
일 실시 예에 있어서, 상기 영상정보출력장치들은 상기 영상입력장치들의 영상정보들 중에서 적어도 하나를 선택적으로 표시할 수 있다.
일 실시 예에 있어서, 상기 영상입력장치들은 가시광, 열화상, 적외선영상, 라이다, 레이더 중의 적어도 하나 이상을 선택하여 배치할 수 있다.
일 실시 예에 있어서, 상기 영상입력장치들은 줌 카메라, 스테레오 카메라, PTZ 카메라, 360도 카메라 중의 적어도 어느 하나이상을 선택하여 배치할 수 있다.
일 실시 예에 있어서, 상기 원격시스템은 특수차량, 수술용 로봇, 드론, 소방용 로봇, 소방용 헬멧, 원격무장장치, 건설용 중장비 중의 어느 하나일 수 있다.
일 실시 예에 있어서, 상기 영상정보출력장치들은 상기 원격시스템을 제어하기 위한 제어신호를 발생시키기 위한 사용자 인터페이스를 포함할 수 있다.
일 실시 예에 있어서, 상기 영상정보출력장치들은 상기 원격시스템을 제어하기 위한 제어신호를 발생시키기 위한 사용자 인터페이스는 VR, AR, MR 중의 적어도 하나의 기능을 가지는 HMD장치에 포함될 수 있다.
일 실시 예에 있어서, 상기 영상입력장치들 중의 적어도 하나는 상기 원격시스템에 배치되고 상기 원격시스템을 구성하는 본체의 움직임에 연동될 수 있다.
일 실시 예에 있어서, 상기 영상입력장치들은 서로 다른 시야각을 가지고 적어도 하나는 줌 기능을 더 구비할 수 있다.
일 실시 예에 있어서, 상기 영상입력장치들은 상기 원격시스템에 적어도 하나 배치가 되고 배치된 영상입력장치는 사용자의 조작에 의하여 방향과 시야각을 변화시킬 수 있는 제어장치를 더 포함 할 수 있다.
일 실시 예에 있어서, 상기 정보처리장치는 상기 영상입력장치로부터 입력된 영상정보를 사용하여 설정된 기준정보와 비교하여 분석정보를 생성할 수 있다.
일 실시 예에 있어서, 상기 영상출력장치들은 상기 영상입력장치들의 영상정보 또는 상기 정보처리장치의 분석정보가 표시되고 상기 분석정보의 영상출력에 대하여 선택적으로 사용자의 조작에 의하여 추가분석정보를 생성할 수 있다.
일 실시 예에 있어서, 상기 영상정보, 분석정보 및 추가분석정보는 상기 영상출력장치들이 실시간으로 선택적으로 공유가 될 수 있다.
일 실시 예에 있어서, 상기 영상출력장치들은 상기 영상입력장치들의 각각의 영상정보를 선택적으로 중첩하여 출력할 수 있다.
일 실시 예에 있어서, 상기 영상출력장치들은 상기 영상입력장치들의 각각의 영상정보를 선택적으로 중첩하여 출력하는 경우, 시야각이 더 넓은 영상정보를 배경으로 시야각이 더 좁은 영상정보를 중첩하여 출력 할 수 있다.
일 실시 예에 있어서, 상기 정보처리장치는 상기 영상입력장치들 중에서 시야각이 더 넓은 장치로부터 입력된 영상정보를 분석하여 설정된 시간 동안 실질적인 변화의 유무 영역을 분리하여 상대적 및 절대적인 위치, 거리, 크기, 방향 등에 대하여 관심영역을 분석정보로 추출할 수 있다.
일 실시 예에 있어서, 상기 영상정보출력장치는 상기 정보처리장치에서 생성될 수 있는 관심영역을 출력할 수 있고, 사용자는 출력된 관심영역에 대하여 사용자 조작으로 추가분석정보를 생성할 수 있다.
일 실시 예에 있어서, 상기 영상입력장치들은 상기 영상출력장치로부터 생성된 추가분석정보에 대하여 선택적으로 시야각이 더 좁은 영상입력장치를 통해서 상세영상정보를 입력할 수 있다.
상기한 과제해결의 일 실시예 이외의 다른 측면, 특징, 이점들은 이하의 발명을 실시하기 위한 구체적인 내용, 특허청구범위 및 도면 등으로부터 보다 명확해질 것이다.
상기와 같이 구성되거나 방법을 적용하고 활용 및 응용을 하게 되면 종래의 기술적인 한계나 문제점들이 해결되고 또한 요구되는 새로운 기능들이 구현되는 효과를 얻을 수 있다.
본 발명에 의하여 원격지의 시스템 환경과 변화되는 상황정보를 전체와 부분 영상 및 상세영상을 선택적으로 적어도 두 명의 작업자가 공유함으로써 주작업자와 보조작업자로 나누어 실시간 제어를 가능하게 하여 작업과 상황정보의 변화를 상호 인지하고 역할을 실시간 변화시키며 효율적인 작업을 가능하게 한다. 또한 작업자의 시선과 인지의 한계에 의한 상황변화에 부적합한 조작의 발생을 방지하고 실시간으로 대응과 문제발생을 예방하여 원격시스템을 보다 용이하게 원격지에서 조작 가능하거나 활용 가능하게 하는 시스템과 그 방법을 제공할 수 있다.
도 1은 일반적인 원격지 시스템 제어 및 활용시스템 예시도
도 2는 본 발명의 일 실시 예에 따른 시스템 개략도
도 3은 본 발명의 일 실시 예에 따른 영상정보 및 입출력 시스템 구성
도 4는 본 발명의 일 실시 예에 따른 제어신호입력 장치 예시도
도 5는 본 발명의 일 실시 예에 따른 시스템의 구성도
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 실시 예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
본 실시예는 VR, MR, AR 등을 구현하는 HMD장치를 예시적으로 사용하는 바 HTC사의 VIVE장치를 가상 현실 헤드셋의 하나로 사용을 한다. 이 제품은 2016년 4월 5일 출시되었고 룸 스케일 기술을 활용하여 센서를 통해 방을 3차원 공간으로 변화시켜 주도록 설계되어 있다. 가상 현실을 통해 사용자가 자연스럽게 탐험할 수 있고 걸을 수도 있으며 입체카메라를 탑재하고 모션 추적 핸드헬드 컨트롤러를 사용하여 생생하게 물체를 조작할 수 있다.
이하의 일 실시 예에서, 본 발명의 사상을 보다 용이하게 이해 될 수 있다.
도 1은 종래기술의 통상적인 원격제어 시스템의 일반적인 구성도이다.
원격지에 있는 제어 대상의 로봇에 대하여 상호 이격된 장소에서 클라이언트 측에서 다양한 제어 패널이나 모니터링 장비를 통해서 원격지의 로봇의 상태나 움직임을 제어할 수 있다. 초고속 유무선 망에 의하여 정교한 로봇의 제어나 영상정보들을 송수신 할 수 있다. 근거리에서 조종하는 경우는 유선으로 연결되어 원격제어 시스템을 통해서 원격지의 장치를 제어할 수 있다. 또한 로봇이나 시스템의 움직임을 센싱하는 다차원 센서나 카메라를 통해서 다양한 정보를 수신 받을 수 있다. 또한 로봇이나 장치에 설치 가능한 카메라를 통해서 통해서 원격지에서 First Person View(이하 FPV)를 구현하여 현장감이 높은 제어를 시도할 수 있다.
도 2는 본 발명에 따른 일 실시 예로써 원격으로 제어되는 원격시스템(100,150), 상기 원격시스템의 일측 또는 근접하여 배치되는 서로 다른 시야각을 갖는 적어도 두 개의 영상입력장치(210,220,230,240), 상기 영상입력장치의 영상정보를 분석처리하는 정보처리장치(300)와 상기 정보처리장치에서 생성된 분석정보를 출력하는 적어도 두 개의 영상정보 출력장치(410,420)와 상기한 영상정보 또는 분석정보를 송수신하는 데이터 송수신장치(510,520)를 포함하는 멀티 유저 원격 운영시스템을 개시한다. 예시적으로 원격시스템은 특수차량, 수술용 로봇, 드론, 소방용 로봇, 소방용 헬멧, 원격무장장치, 건설용 중장비 중의 어느 하나일 수 있다. 하기 상세한 설명은 굴삭기를 예시적으로 상세하게 설명한다. 상기 영상정보 출력장치(410,420)는 HMD형태의 AR, VR 또는 MR 중에서 적어도 어느 하나의 기능을 갖는 장치일 수 있다. 상기 영상정보 출력장치(410,420)들은 상기 영상입력장치(210,220)들의 영상정보들 중에서 적어도 하나를 선택적으로 표시할 수 있다. 상기 영상입력장치들은 영상정보의 형태에 따라서 가시광, 열화상, 적외선영상, 라이다, 레이더 중의 적어도 하나 이상을 선택하여 배치할 수 있다. 또한 장치의 성능이나 기능적으로는 상기 영상입력장치들은 줌 카메라, 스테레오 카메라, PTZ 카메라, 360도 카메라 중의 적어도 어느 하나이상을 선택하여 배치할 수 있다.
상기 영상입력장치들 중의 적어도 하나인 제1 카메라시스템(220)은 메인 작업 도구나 방향을 향하여 배치되고 선택적으로 상세한 영상정보를 입력 받기 위해서 줌 기능이나 해상도를 변화시킬 수 있는 성능을 구비하는 것이 바람직하다. 실제 작업자가 원격시스템에 탐승한 상태 또는 작업 현장에서 제어를 하는 관점에서 필요한 정보를 입력받기 위해서 상기와 같은 예시적 구성을 할 수 있다. 통상적으로는 작업도구나 작업방향과 연동된 영상정보를 입력하기 위하여 카메라의 방향이 작업도구나 방향에 따라 동시적으로 움직일 수 있도록 배치 된다. 그러나 시스템의 구현시 선택적으로 연동형태와 사용자에 의하여 방향이나 촛점거리, 줌, 상하좌우로 카메라를 제어할 수 있는 구동부를 더 구비할 수 있다. 입력된 작업도구 또는 작업방향의 영상정보와 선택적으로 원격시스템의 일측에 배치 되고 상기 제1 카메라시스템(220)과 이격되고 제1 카메라시스템보다 넓은 시야각을 가지는 제2 카메라시스템(210)을 배치 한다. 통상 원격시스템 최상단에 배치되거나 분산배치되어 원격 시스템의 가장자리에 다수의 카메라로 구성될 수 있다. 통상 제2 카메라시스템은 원격시스템(100,150)을 중심으로 전후좌우 상하 등 360 방향으로 영상정보를 입력받을 수 있도록 설치되는 것이 바람직하다. 또한 원격시스템의 본체 방향 또는 기본 방향을 설정하여 주변 환경이나 지형지물에 대하여 상대적인 움직임이나 위치를 인식할 수 있도록 배치 될 수 있다. 상기한 시야각이 상대적으로 넓은 카메라는 원격시스템의 본체의 방향과 통상적으로 연동이 되도록 배치 된다. 예시적으로 굴삭기의 상부 회전부는 하부의 이동수단들과 그 방향이 다르게 조종이 될 수 있다. 원격지에서는 현재 굴삭기가 전진을 하고자 할 때에 이동수단부의 방향과 카메라의 방향이 일치가 되어 있어야 원격지에서 시스템을 전진시키고자 할 때에 실제 방향이 맞게 제어가 될 수 있다. 물론 선택적으로 이동을 멈추고 작업 중에는 상부 회전부의 방향과 일치 시킴으로써 작업 중심으로 운영할 수 있다.
상기한 제1,2 카메라시스템을 통해서 입력된 영상정보들은 상기한 영상정보출력장치들(410,420)을 통하여 출력될 수 있다. 또한 분석된 정보가 복합적으로 표시 가능하게 정보처리장치(300)에서 사전에 다양한 작업환경이나 작업도구의 상태정보를 가지고 설정된 기준정보와 비교하여 분석정보를 생성하는데 활용 될 수 있다. 예시적으로 정보처리장치는 원격시스템과 이격된 장소나 외부 시스템에 배치 된다. 통상 원격제어 시스템은 작업환경이 거칠거나 진동 및 온도 습도 및 먼지 등의 환경이 양호하지 않는 상황에서 운영이 된다. 빠른 컴퓨티 시스템으로 소형화 모바일화가 되고 있어서 이동성이 용이해 지고 있다. 사용자는 상황에 따라서 상세정보를 확인하기 위하여 선택적으로 줌기능이나 해상도를 변화시킬 수 있는 PTZ 제어 시스템(250)을 통해서 상세정보를 원격지에서 확인이 가능하게 된다.
상기한 영상입력장치들로부터의 영상정보들은 송수신장치(510,520)를 통해서 영상정보출력장치(410,420)로 송수신 될 수 있다. 근거리에서는 예시적으로 유선에 의하여 정보처리장치(300)를 통해서 유무선으로 영상정보나 분석정보들이 송수신될 수 있다. 이러한 송수신장치는 시스템의 요구사양이나 환경에 따라서 무선, 유선 및 유무선 복합형태로 시스템이 설치 될 수 있다. 전달된 영상정보 또는 분석정보들은 상기 영상정보출력장치(410,420)에서 선택적으로 중첩하여 표시가 될 수 있다. 이로써 하나의 원격시스템의 효율적이고 효과적인 원격지에서의 제어 및 활용을 하기 위해서 적어도 2개의 영상정보출력장치를 이용함으로써 작업 및 도구 중심의 제어와 원격시스템의 환경정보 및 주변변화 상황정보를 선택적으로 활용할 수 있는 시스템이 구성될 수 있다.
도 3은 영상정보출력장치들과 영상입력장치의 구성에 대한 예시적 구성이다.
상기 영상정보 출력장치(410,420)들은 상기 원격시스템(100,150)을 제어하기 위한 제어신호를 발생시키기 위한 사용자 인터페이스를 포함할 수 있다. 통상적으로 시스템을 제어하기 위한 인터페이스는 원격제어시스템과 동일한 조종장치를 대상으로 하거나 부분적으로 최소한의 제어장치를 기반으로 제어를 하게 된다. 본 발명에서는 발명의 일 실시 예로써 상기 원격시스템을 제어하기 위한 제어신호를 발생시키기 위한 사용자 인터페이스는 VR, AR, MR 중의 적어도 하나의 기능을 가지는 HMD장치에 포함될 수 있다. 가상의 장치와 실제 장치를 가상 공간에서 연동 및 통합하여 표시함으로써 실제 입력된 영상과 함께 원격시스템을 제어하기 위한 조종장치들이 가상공간에 작업도구나 작업방향과 연동하여 표시함으로써 보다 효율적으로 제어 및 시스템을 활용하게 된다. 즉, 가상현실 기반에 증강현실을 복합적으로 표시할 수 있고, 입력된 영상기반에 증강현실을 적용하여 나타낼 수 있고, 실제 입력영상기반에 가상현실과 증강현실이 복합적으로 표시되도록 구현이 될 수 있다. 예시적으로 작업자는 원격지의 입력영상기반에 증강현실에 의한 작업지시 또는 유도표시를 확인하고 가상현실을 기반으로 하는 조종간에 대하여 작업자의 실제 손이나 상체의 움직임들을 통해 제어가 이루어질 수 있다. 이 경우는 최소 모형기반의 장치에 증강현실에 의한 가상 공간의 조종간과 일체 시키기 위해서 제어정보입력장치로써 글러브(610)나 상체의 특정위치에 센서(650)를 이용하여 구현이 될 수 있고 이러한 경우 보다 용이하게 원격시스템을 제어할 수 있게 된다.
부가적으로 무선송수신장치(530)를 통해서 정보처리장치(300)로 정보들이 송수신 될 수 있다. 또한 도 4와 같은 대략적인 기본 모형장치를 통해서 상기의 설명과 같이 종래의 고가의 복사된 장치나 모형장치를 사용하지 않고, 일반적인 조종장치의 모형에 증강현실을 부가하여 구현될 수 있다. 예시적으로 3명의 시스템 운영자들이 원격지에서 원격시스템에 대하여 작업 및 상황정보를 공유하면서 제어하는 상황을 나타낸 것이다.
일 실시 예에 있어서, 상기 영상정보 출력장치들은 상기 영상입력장치들의 영상정보 또는 상기 정보처리장치의 분석정보가 표시되고 상기 분석정보의 영상출력에 대하여 선택적으로 사용자의 조작이나 제어정보입력장치(610,620)에 의하여 추가분석정보를 생성할 수 있다.
또한 정보처리장치에 의하여 사전에 설정되거나 입력된 작업도를 영상정보출력장치에 증강현실로 표시하여 작업의 진척도를 안내하는 설정이 가능하다. 또한 작업의 형태나 주변환경에서 발생한 이벤트를 표시하고 해당 이벤트의 형태에 따라 가중치를 설정하여, 예를 들면 작업이후의 변화된 주변환경의 변화나, 예상하지 못한 주변환경의 변화를 사용자로 하여금 인식하게 하기 위하여 영상정보 출력장치에 표시되게 할 수 있다. 예시적으로 굴삭기 작업에 의하여 공사장의 지형지물의 변화, 낙석이나 지반의 이상상태 등은 작업방향이나 작업도구의 방향의 카메라에서 상황정보를 얻기 곤란하다. 이러한 상황정보는 상기한 360도 카메라 시스템을 통해서 입력된 정보를 바탕으로 사용자 또는 상기 정보처리장치(300)에 의하여 영상의 전후 프레임을 비교 분석하면 변화된 위치나 수준을 용이하게 영상정보로 입력된 영상을 기반으로 증강현실로 표시가 될 수 있다. 다른 예시로써 무장장치에서 타격을 하고 있는 대상 이외의 보다 넓은 지역에서 원격무장장치로 공격이 이루어지는 경우, 통상의 시야가 좁은 카메라로 상황 인지가 용이하지 않지만, 360도 카메라를 통해서 영상정보에서 움직임 정보를 추출하여 표시함으로써 변화된 상황정보를 인식할 수 있게 된다. 상황에 따라서 현재의 타격대상을 이동시키거나 타격방법을 변화시킬 수 있는 상황정보를 제공할 수 있게 된다. 상기한 영상정보, 분석정보 및 추가분석정보는 상기 영상정보 출력장치들(410,420)에서 서로 다른 정보들이 선택적으로 실시간으로 출력이나 공유 될 수 있다. 또한 상기 영상입력장치를 각각 선택하여 기본 영상정보로 출력을 할 수 있고 각각의 영상정보, 분석정보, 추가분석정보를 선택적으로 기본 영상정보에 중첩하거나 배치하여 출력할 수 있다. 상기한 상황은 적어도 2개의 영상정보 출력장치를 통해서 다양한 정보들이 공유되고 용이하게 역할이 교환이 될 수 있는 시스템 구성의 특징이 구현됨으로써 달성이 된다.
상기 영상정보 출력장치들(410,420)이 상기 영상입력장치들(210,220)의 각각의 영상정보를 선택적으로 중첩하여 출력하는 경우, 시야각이 더 넓은 영상정보를 배경으로 시야각이 더 좁은 영상정보를 중첩하여 출력 할 수 있다. 통상적으로 좁은 시야각을 갖는 카메라 시스템은 본 실시 예에서는 작업도구나 작업방향과 연동되는 카메라에 해당한다. 본 실시 예에 있어서, 상기 정보처리장치(300)는 상기 영상입력장치들 중에서 시야각이 더 넓은 장치로부터 입력된 영상정보를 분석하여 설정된 시간 동안 실질적인 변화의 유무 영역을 분리하여 사전에 설정 가능한 상대적 및 절대적인 위치, 거리, 크기, 방향 등에 대하여 관심영역을 분석정보로 추출할 수 있다.
본 실시 예에 있어서, 상기 영상정보 출력장치는 상기 정보처리장치에서 생성될 수 있는 관심영역을 출력할 수 있고, 사용자는 출력된 관심영역에 대하여 사용자 조작으로 추가분석정보를 생성할 수 있다. 상기한 추가분석정보는 상기한 제어입력장치(610)를 통해서 상기 정보처리장치(300)에서 생성한 분석정보에 부가적인 정보를 추가함으로써 얻어질 수 있다.
예시적으로 4곳의 이상적인 상황정보를 분석정보가 영상정보출력장치를 통해서 표시가 되는 경우, 작업도구나 시스템을 제어하지 않는 다른 사용자가 분석정보에 대하여 후속작업 순위, 불필요한 관심영역, 오류에 의한 표시 등을 상기한 제어입력장치를 통해서 입력영상 기반의 증강현실 상태에서 추가적으로 표기할 수 있다. 또한 상기 영상입력장치들에 의한 영상정보는 상기 영상정보출력장치들을 통해서 FPV정보화 되어 원격지의 다양한 영상정보를 인지할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 시스템의 구성도이다. 앞서 설명된 도 2에 대한 시스템에서 각 구성요소들간의 정보의 송수신 관계를 나타낸다.
본 발명의 구성요소인 무선에 의한 송수신의 경우는 그 추가적인 구성과 방법 및 신호전달, 영상정보의 일반적인 처리 등은 당업자 수준에서 용이하게 이해되고 구현될 수 있는바 본 발명의 상세한 설명에서는 배제하였다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100, 150: 원격 시스템
210, 230: 제1영상입력장치
220, 240: 제2영상입력장치
250: 카메라 PTZ제어장치
300: 정보출력장치
410, 420: 영상정보 출력장치
510, 520, 530: 송수신장치
610, 620, 650: 제어정보입력장치
700: 제어정보입력 모형기반 장치
750: 제어입력장치

Claims (8)

  1. 원격으로 제어되는 원격시스템;
    상기 원격시스템의 일측 또는 근접하여 배치되는 서로 다른 시야각을 갖는 적어도 두 개의 영상입력장치;
    상기 영상입력장치들의 영상정보를 분석 처리하는 정보처리장치;
    상기 정보처리장치에서 생성된 분석정보를 출력하는 적어도 두 개의 영상정보출력장치;
    상기한 영상정보 또는 분석정보를 송수신하는 정보송수신장치;
    상기 영상정보출력장치는 상기한 영상정보 또는 분석정보를 적어도 하나이상을 선택적으로 출력되도록 구성되는 멀티 유저 원격 운영시스템
  2. 제1항에 있어서,
    상기 영상정보출력장치는 HMD형태의 AR, VR 또는 MR 중에서 적어도 어느 하나의 기능을 갖는 장치인 멀티 유저 원격 운영시스템
  3. 제1항에 있어서,
    상기 영상입력장치들 중의 적어도 하나는 상기 원격시스템에 배치되고 상기 원격시스템을 구성하는 본체의 움직임에 선택적으로 연동될 수 있도록 배치되는 멀티 유저 원격 운영시스템
  4. 제1항에 있어서,
    상기 원격시스템은 특수차량, 수술용 로봇, 드론, 소방용 로봇, 소방용 헬멧, 원격무장장치, 건설용 중장비 중의 어느 하나인 멀티 유저 원격 운영시스템
  5. 제1항에 있어서,
    상기 영상정보출력장치들은 상기 원격시스템을 제어하기 위한 제어신호를 발생시키기 위한 제어정보입력장치를 더 구비하여 구성되는 멀티 유저 원격 운영시스템
  6. 제5항에 있어서,
    상기 제어정보입력장치는 상기 정보처리장치가 상기 영상입력장치로부터 입력된 영상정보를 사용하여 생성한 분석정보와, 상기 영상입력장치들의 영상정보에 대하여 사용자의 조작에 의하여 추가분석정보를 생성하도록 설정되는 멀티 유저 원격 운영시스템
  7. 제6항에 있어서,
    상기 영상정보출력장치들은 영상정보, 분석정보 및 추가분석정보 중의 적어도 하나이상을 선택적으로 표시가 될 수 있도록 설정되는 멀티 유저 원격 운영시스템
  8. 제7항에 있어서,
    상기 영상출력장치들은 상기 영상입력장치들에서 표시되는 하나 이상의 정보에 대하여 중첩하여 출력되며, 시야각이 더 넓은 영상정보를 배경으로 시야각이 더 좁은 영상정보를 중첩하여 출력되도록 설정되는 멀티 유저 원격 운영시스템

KR1020180031192A 2018-03-17 2018-03-17 복합현실 표시장치를 이용한 멀티 유저 운영시스템 및 그 방법 KR102480986B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180031192A KR102480986B1 (ko) 2018-03-17 2018-03-17 복합현실 표시장치를 이용한 멀티 유저 운영시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180031192A KR102480986B1 (ko) 2018-03-17 2018-03-17 복합현실 표시장치를 이용한 멀티 유저 운영시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190109168A true KR20190109168A (ko) 2019-09-25
KR102480986B1 KR102480986B1 (ko) 2022-12-22

Family

ID=68068548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180031192A KR102480986B1 (ko) 2018-03-17 2018-03-17 복합현실 표시장치를 이용한 멀티 유저 운영시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102480986B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220064184A (ko) 2020-11-11 2022-05-18 농업회사법인 한국도시농업 주식회사 융복합체험현실을 이용한 다중 융복합 온오프라인 연동형 디지털 서비스 범용 플랫폼 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212228A (ja) * 1996-02-07 1997-08-15 Kawasaki Heavy Ind Ltd ロボット作業教示方法および装置
JP2006113858A (ja) * 2004-10-15 2006-04-27 Mitsubishi Heavy Ind Ltd 移動体の遠隔操作支援方法及びシステム
KR20090028968A (ko) * 2007-09-17 2009-03-20 전자부품연구원 건설기계의 원격조종 시스템
KR20120042014A (ko) * 2010-10-22 2012-05-03 삼성전자주식회사 원격 단말기 및 이를 이용한 로봇 교시방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212228A (ja) * 1996-02-07 1997-08-15 Kawasaki Heavy Ind Ltd ロボット作業教示方法および装置
JP2006113858A (ja) * 2004-10-15 2006-04-27 Mitsubishi Heavy Ind Ltd 移動体の遠隔操作支援方法及びシステム
KR20090028968A (ko) * 2007-09-17 2009-03-20 전자부품연구원 건설기계의 원격조종 시스템
KR20120042014A (ko) * 2010-10-22 2012-05-03 삼성전자주식회사 원격 단말기 및 이를 이용한 로봇 교시방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220064184A (ko) 2020-11-11 2022-05-18 농업회사법인 한국도시농업 주식회사 융복합체험현실을 이용한 다중 융복합 온오프라인 연동형 디지털 서비스 범용 플랫폼 시스템

Also Published As

Publication number Publication date
KR102480986B1 (ko) 2022-12-22

Similar Documents

Publication Publication Date Title
US10269132B2 (en) Displaying images according to head posture and camera posture
US6148100A (en) 3-dimensional telepresence system for a robotic environment
CA2679371C (en) Augmented reality-based system and method providing status and control of unmanned vehicles
Teixeira et al. Teleoperation using google glass and ar, drone for structural inspection
EP3629309A2 (en) Drone real-time interactive communications system
US20180247463A1 (en) Information processing apparatus, information processing method, and program
WO2012153805A1 (ja) 監視システム及び監視方法
JP7023492B2 (ja) 移動体の追従画像提示システム
KR101662032B1 (ko) 조종사의 시선 방향과 동기화 된 uav 항공 영상 촬영 시스템
JP2017062529A (ja) 方向制御方法
Sato et al. Cognitive untunneling multi-view system for teleoperators of heavy machines based on visual momentum and saliency
Tripicchio et al. A stereo-panoramic telepresence system for construction machines
EP3264380A1 (en) System and method for immersive and collaborative video surveillance
EP2648406B1 (en) Method for switching viewing modes in a camera
KR102480986B1 (ko) 복합현실 표시장치를 이용한 멀티 유저 운영시스템 및 그 방법
US20180046178A1 (en) Control interface for uxv
CN111010543B (zh) 机器人遥视视频监控方法、装置、电子设备及存储介质
JP2004291186A (ja) ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置
JP6398630B2 (ja) 可視像表示方法、第１デバイス、プログラム、及び、視界変更方法、第１デバイス、プログラム
JP2009301175A (ja) 監視方法
WO2017086771A1 (en) A visual surveillance system with target tracking or positioning capability
KR101975556B1 (ko) 로봇의 관측 시점 제어 장치
US11586225B2 (en) Mobile device, mobile body control system, mobile body control method, and program
CN115076561A (zh) 应用于工程机械的远程沉浸式双目云台随动系统及方法
Sato et al. Derivation of an optimum and allowable range of pan and tilt angles in external sideway views for grasping and placing tasks in unmanned construction based on human object recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
E701 Decision to grant or registration of patent right