KR20240036543A - 혼합 현실 입출력 확장 시스템 - Google Patents

혼합 현실 입출력 확장 시스템 Download PDF

Info

Publication number
KR20240036543A
KR20240036543A KR1020240034131A KR20240034131A KR20240036543A KR 20240036543 A KR20240036543 A KR 20240036543A KR 1020240034131 A KR1020240034131 A KR 1020240034131A KR 20240034131 A KR20240034131 A KR 20240034131A KR 20240036543 A KR20240036543 A KR 20240036543A
Authority
KR
South Korea
Prior art keywords
output
expansion
input
mixed reality
signal
Prior art date
Application number
KR1020240034131A
Other languages
English (en)
Inventor
이동건
이민기
Original Assignee
이동건
이민기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이동건, 이민기 filed Critical 이동건
Priority to KR1020240034131A priority Critical patent/KR20240036543A/ko
Publication of KR20240036543A publication Critical patent/KR20240036543A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 2차원 화상이 표시되는 디바이스의 출력을 다른 공간으로 복제 또는 확장하는 혼합 현실 입출력 확장 시스템을 제공한다. 이에, 본 발명의 일 측면에 따른 혼합 현실 입출력 확장 시스템은 2차원 화상이 표시되는 디스플레이를 포함하는 디바이스, 확장 신호를 입력하는 입력장치 및 상기 2차원 화상이 복제 또는 변형된 확장출력을 표시하는 확장표시장치를 포함한다.

Description

혼합 현실 입출력 확장 시스템{I/O EXPANSION SYSTEM USING MR}
본 발명은 입출력 확장 시스템에 대한 것으로서, 보다 상세하게는 혼합 현실 기법에 의해 기존의 입출력 인터페이스를 확장하는 혼합 현실 입출력 확장 시스템에 대한 것이다.
정보통신정책연구원에서 2020년 1월31일 발표한 동향에 따르면 현재 가상현실(VR) 기술은 기술이 안정화되고 시장에서 수익모델이 나타나며 다수기업의 투자가 증가하는 단계이며 증강현실(AR)과 혼합현실(MR) 기술은 일부 기업만이 투자를 이어가는 단계라고 한다.
미국의 정보 기술 연구 및 자문 회사인 가트너에 따르면 VR/AR 시장은 다양한 디바이스들 각각 별도의 시장으로 존재하고 각 제품의 기능과 전문성이 부족해 시장성이 높지 않은 상황인데, AR과 VR이 결합된 MR기술이 등장하고 기반 인프라가 고도화되며 이를 통한 활용서비스가 구체화되고 다양화되면서 몰입형 디스플레이 수요가 폭발적으로 증가하여 VR/AR/MR의 대중화를 이끌 것으로 예상하고 있다.
또한, PwC(2019)에 따르면 전 세계 VR/AR시장은 2019년 464억 달러에서 2030년 1조 5 천억 달러로 30배 이상 증가할 것으로 예상된다. 특히 중장기적으로 AR시장이 급속도로 성장하며 VR/AR시장을 견인할 것으로 예상된다.
이러한 VR/AR 활용방식에 대하여는 이미 선행 연구가 많이 진행되고 있다. 특히, 일본 등록특허 제6455038호(선행기술문헌1)은 화상을 현실의 인쇄물에 겹쳐서 화면을 공유하는 방식에 대해 개시하고 있고, 한국 등록특허 제6219997호(선행기술문헌2)는 카메라에 의해서 반사면을 통해 받아들여진 자동 입체 화면의 화상을 교정하는 방법이 개시되어 있고, 한국 등록특허 제2020-0068855호(선행기술문헌3)은 조선 해양 플랜트의 3D 화면에 대해 URL 기반 정보 공유 방식이 개시되어 있으며, 한국 등록특허 제1330531호(선행기술문헌4)는 3차원 카메라를 이용하여 터치가 수행될 스크린부에 수행자의 형상을 감지하여 가상 공간에 입력을 하는 방안이 개시되어 있고, 한국 등록특허 제2009-0084900호(선행기술문헌5)는 3D 디바이스와 2D 디바이스 사이의 연결 방법에 대해 기재되어 있다.
그러나, 이들 선행기술문헌의 경우 주로 일상이 아닌 3D 디바이스의 특정 산업 분야 혹은 게임 분야에 접목하는 내용에 치중되어 있고, 일상 생활에서 2D와 3D 디바이스 간의 편리한 연결을 가능하게 하는 기술이 존재하지 않는 실정이다.
일본 등록특허 제6455038호(2016.4.26), {AR장치, 화상 공유 시스템, 화상 공유 방법, 및 컴퓨터 프로그램} 한국 등록특허 제6219997호(2016.10.6), {동적 자동 입체 3d 화면의 교정사각형법 및 장치} 한국 등록특허 제2020-0068855호(2018.12.6), {조선 해양 플랜트의 3d 화면에 대한 url 기반 정보 공유 장치 및 방법} 한국 등록특허 제1330531호(2013.11.12), {3차원 카메라를 이용한 가상 터치 방법 및 장치} 한국 등록특허 제2009-0084900호(2009.8.5), {3d 표면에 대하여 입력 장치의 위치를 제공하기 위한 방법, 3d 표면에 위치된 2d 성분과의 상호작용을 가능하게 하는 방법 및 컴퓨터 판독 가능 매체}
본 발명은 상기한 종래기술의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 2차원 화상이 표시되는 디바이스의 출력을 다른 공간으로 확장하는 혼합 현실 입출력 확장 시스템을 제공함에 있다.
본 발명의 일 측면에 따른 혼합 현실 입출력 확장 시스템은 2차원 화상이 표시되는 디스플레이를 포함하는 디바이스, 확장 신호를 입력하는 입력장치 및 상기 2차원 화상이 복제 또는 변형된 확장출력을 표시하는 확장표시장치를 포함한다.
이때, 상기 입력장치는 마우스, 키보드 및 웨어러블 장치 중 적어도 하나 이며, 상기 확장 신호는 확장 개시신호, 차원 결정신호, 확장 배치신호 및 선택신호 중 적어도 하나일 수 있다.
또한, 상기 입력장치는 접촉 감지 센서를 더 포함하고, 상기 확장표시장치 또는 상기 디바이스는 상기 입력장치가 설정 대상과 접촉이 해제되는 경우를 확장 개시신호로 판단할 수 있다.
또한, 상기 입력장치는 선택확인출력부를 더 포함하고, 선택확인출력부는 상기 확장표시장치가 출력한 확장출력을 선택하는 경우 선택 확인을 알리는 출력을 수행할 수 있다.
또한, 상기 확장표시장치는 상기 확장출력의 위치를 고정된 절대위치 또는 변동되는 상대위치로 결정할 수 있다.
본 발명은 2차원 화상이 표시되는 디바이스의 출력을 다른 가상 공간으로 확장 출력하도록 하므로 종래 디스플레이의 한계를 넘어서 원하는 곳에 기존 디스플레이에 있던 화면을 띄우고 조작할 수 있게 되어 여러 개의 물리적 디스플레이나 새로운 폰 펙터의 필요성을 저감시키게 된다.
도 1은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서의 기기 간 연결방식을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 혼합 현실 확장출력이 적용된 모습을 예시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 입력장치로서 광마우스를 사용하는 경우 작업 공간의 전환 및 확장을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 모바일 기기의 경우 작업 공간의 전환 및 확장을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 확장표장치가 확장출력하는 경우의 생성 위치를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 확장출력의 이동 및 상호 작용을 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 또 다른 입력장치의 페어링과 확장출력 사용자 인터페이스를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 확장출력이 체험형 3D객체로 생성되는 경우를 보여주는 도면이다.
도 10은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 확장출력이 조작형 3D객체로 생성되는 경우를 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템의 작용을 설명하는 구성도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에 대하여 설명한다. 도 1은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템의 구성도이다.
도면을 참조하면, 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템(1000)은 디바이스(10.80), 입력장치(30,200) 및 확장표시장치(100)를 포함하여 이루어진다.
디바이스(10,80)는 당초 2차원 화상이 표시되는 디스플레이를 포함하는 디바이스로서 PC, 태블릿, 스마트폰 등의 디바이스를 말한다. 디바이스는 입력장치(30,200)와 확장표시장치(100)와 통신하여 입력데이터와 화상 데이터를 공유한다. 또한, 디바이스(10,80)는 당초 2차원 화상이 표시되는 특정 어플리케이션을 프로세싱할 수 있다. 이 경우에 확장표시장치(100)는 확장 출력에 관해서만 프로세싱되도록 할 수 있다.
입력장치(30,200)는 확장출력을 위한 확장신호를 입력하는 장치로서 마우스, 키보드 또는 웨어러블 장치를 말한다. 본 실시예에서는 입력장치(30,200)가 확장출력의 확장 개시신호, 확장시의 디멘젼(차원) 결정 신호, 확장출력이 어디에 배치되는지 입력하는 확장 배치신호, 및 확장출력에서의 선택을 입력하는 선택신호를 입력하도록 한다. 입력장치의 더욱 자세한 내용은 후술한다.
확장표시장치(100)는 당초 디바이스가 출력하던 2차원 화상을 3차원 공간에 출력하는 역할을 수행한다. 일례로 확장표시장치(100)는 VR 헤드셋의 형태로 이루어지 수 있다. 이때, 확장표시장치(100)는 감지부(110), 출력부(120), 제어부(130) 및 기기간 통신을 수행하는 통신부(140)를 포함하여 이루어진다.
감지부(110)는 카메라를 포함하여 이루어질 수 있는데, 당초 디바이스(10,80)가 출력하는 2차원 화상에 포함된 워터마킹이나 QR코드 등의 시각 식별자를 스캔하기 위함이다.
출력부(120)는 전술한 바와 같이 당초 2차원 영상을 3차원 공간에 가상으로 출력(확장출력이라 한다)하는 역할을 수행한다. 이때, 확장출력은 당초의 2차원 화상과 동일한 화상일 수 있고, 당초의 2차원 화상이 변형된 화상일 수 있다. 나아가, 확장출력은 입력을 보조하는 가상 컨트롤 객체일 수 있다.
한편, 이 경우에 제어부(130)는 확장출력의 객체 및 확장출력의 위치를 특정한다. 우선 제어부(130)는 입력장치(30,200)의 확장 개시신호를 수신하고, 수신된 신호에 따라 확장출력을 시작하도록 한다. 다음으로 제어부(130)는 확장 출력의 차원이 3차원으로 입력되는 경우에 미리 설정된 어플케이션에 의해 확장출력에 포함된 객체를 3차원으로 변환하여 출력하도록 제어한다. 나아가, 제어부(130)는 입력장치(30,200)의 배치신호를 수집하여 확장출력의 위치를 선정하도록 한다. 확장출력의 위치 배치에 대하여는 뒤에서 더욱 자세하게 설명한다. 또한, 제어부(130)는 입력장치의 선택신호를 수집한다. 선택신호는 입력장치(30,200)가 확장출력 내에서의 아이콘이나 링크를 선택하는 경우의 입력 신호를 말한다. 이때, 선택신호는 디바이스(10,80)로 전송되고 디바이스(10,80)는 해당 기능을 실행하거나 선택링크로 이동되고 그 해당 기능이나 링크는 다시 확장출력하게 된다.
이하 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에 대하여 더욱 자세하게 설명한다. 도 2는 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서의 기기 간 연결방식을 보여주는 도면이고, 도 3은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 혼합 현실 확장출력이 적용된 모습을 예시하는 도면이다.
도면을 참조하면, 사용자는 디바이스(10,80)를 사용하며 확장표시장치(100)를 동시에 사용한다. 이때 확장표시장치(100)는 사용자 3D환경에 2D기기에서 생성된 객체(50,40,60)를 투사한다. 즉 본 실시예에서는 종래 디스플레이의 한계를 넘어서 원하는 곳에 기존 디스플레이에 있던 화면을 띄우고 조작할 수 있게 된다. 따라서, 여러 개의 물리적 디스플레이나 새로운 폰 펙터의 필요성이 사라지게 된다.
도 4는 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 입력장치로서 광마우스를 사용하는 경우 작업 공간의 전환 및 확장을 보여주는 도면이다.
우선, 광마우스(30) 하단부의 적외선 센서(33)가 바닥면과 접촉 여부를 감지한다. 2D 디스플레이(10)의 2D창 또는 객체(70)의 이동 선택부(예:창의 패널)(71)에 올려놓고 좌클릭(31)에 의해 선택된 채로 광마우스(30)를 들어올린다. 이때, 광마우스(30) 하단부의 적외선 센서(33)는 바닥면과의 비접촉을 감지한다. 이와 동시에 선택된 2D창 또는 객체(70)는 3D객체(50)가 되어 2D디스플레이(10)에서 가상으로 튀어나오게 된다. 이때 커서(11) 또한 같이 튀어나온다. 이는 광마우스의 좌클릭(31)이 눌려져 있는 상태일 수 있다.
위 상태에서 좌클릭(31)을 해제하게 되면 커서(11)는 다시 2D디스플레이(10)로 돌아가고 생성된 3D객체(50)는 사용자 또는 프로그램 상에서 지정한 3D공간상의 위치로 이동한다. 반면에 위 상태에서 좌클릭(31)을 해제하지 않을 상태를 유지한체 다시 광마우스(30)를 바닥면에 내려 놓으면 3D객체(50)는 다시 2D객체(70)가 되어 2D디스플레이(10)로 돌아간다. 이때 커서 또한 2D디스플레이(10)로 돌아간다. 이때, 3D객체로 생성되는 객체는 기기 화면 전체, 에플리케이션, 조작버튼을 포함한 모든 컨텐츠이다.
이러한 2D창 또는 객체(70)의 3D객체(50)로의 작업공간 확장은 위와같은 제스처가 아니더라도 우클릭(32)메뉴, 별도의 공유버튼을 통해서도 가능함은 물론이다. 이와 같이 본 실시예에 따른 입력장치(30,200)은 별도의 접촉 감지 센서(본 실시예에서의 적외선 센서)를 구비하고 바닥면에서의 접촉이 해제됨을 감지하는 경우를 확장출력의 개시 신호로 인식할 수 있다. 다만, 본 발명은 이에 한정되지 않고 다양한 확장 출력의 개시 신호를 지정할 수 있음은 물론이다.
도 5는 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 모바일 기기의 경우 작업 공간의 전환 및 확장을 보여주는 도면이다. 모바일 기기(80)에서는 특정 버튼(81)을 누르면 3D공간에 확장출력인 객체(50)가 생성된다.
모바일 기기에(80)서는 사용자 또는 프로그램 상에서 지정한 3D공간상의 위치로 이동하는데 모바일 기기에서의 확장법은 위와 같은 버튼을 통한 확장이나 제스처를 통해서도 확장될 수 있다. 이때, 3D객체로 생성되는 객체는 마찬가지로 모바일 기기 화면 전체, 에플리케이션, 조작버튼을 포함한 모든 컨텐츠가 될 수 있다.
이에 따라 컴퓨터에서 하던 작업을 꺼내 AR기기에서 실행하고 이를 스마트폰에 넣거나, 반대로 스마트폰에서 하던 작업을 꺼내 AR기기에서 실행하고 이를 컴퓨터에 넣을 수 있게 된다. 이는 손이 실제 사물을 다루듯이 이루어져, 사용자 기기간 데이터는 물론 실행 중인 작업 전송에 직관성을 부여하는 것이 가능해진다.
도 6은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 확장표장치가 확장출력하는 경우의 생성 위치를 보여주는 도면이다. 확장출력의 위치를 고정된 절대위치 또는 변동되는 상대위치로 결정할 수 있다. 이때, 기존의 2D기기(80)에서 사용자가 꺼내거나 프로그램에 의해 자동생성된 3D객체(50)는 프로그램이나 사용자의 설정에 따라 다음의 방법으로 배치될 수 있다.
하나, 사용자가 움직여도 절대적인 위치에 배치되어 있는 개체
둘, 사용자의 기준에서 상대적인 위치에 배치되어 있는 개체
셋, 기기 기준으로 상대적인 위치에 배치되어 있는 개체
넷, 상시 사용자 시야 기준으로 일정한 위치에 지속해서 보이는 개체
이때, 몇몇의 콘텐츠는 콘텐츠를 실행하면 자동으로 3D 공간상에 배치되도록 할 수 있는데 사용자의 상황이나 연결된 기기들을 파악하고 적절한 곳에 3D객체를 배치할 수 있다.
도 7은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 확장출력의 이동 및 상호 작용을 보여주는 도면이다.
기존의 2D기기(10)에서 3D객체화된 창(50)의 이동 선택부(예:창의 패널)(51)을 잡고 이동시킬수 있다. 이때 잡는 동작은 영상 또는 입력장치인 반지(200)의 선택확인출력부인 터치스크린부(201)로 감지될 수 있다. 또한, 터치스크린부(201)는 잡는 선택 확인을 알리는 알라밍이나 헵틱 진동을 출력할 수 있다.
도 8은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 또 다른 입력장치의 페어링과 확장출력 사용자 인터페이스를 나타낸 도면이다.
3D객체는 조작은 영상정보 기반의 맨손조작 또는 펜과 같은 물체등을 통해 가능하다. 또한, 더욱 정밀한 정확도를 위해 반지형 보조기구(200)를 사용하는 것이 가능하다. 반지형 보조기구는 터치스크린 또는 터치패널(201), 운동센싱부(203), 전기 및 진동자극부(202)이 포함될 수 있고, 영상정보와 운동센싱부는 동시에 작동할 수 있다. 또한, 반지를 낀 손가락이 3D객체에 닿았을 때, 전기 및 진동자극부(202)에 의해 해당 손가락이 자극될 수 있다.
도 9는 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 확장출력이 체험형 3D객체로 생성되는 경우를 보여주는 도면이고, 도 10은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템에서 확장출력이 조작형 3D객체로 생성되는 경우를 보여주는 도면이다.
도 9에서 기존 2D디스플레이(70)의 객체(72)를 3D객체(40)로 표현하는데, 이 객체는 방문한 사이트나 실행 프로그램의 객체를 포함한다. 이렇게 생성된 객체는 프로그램이나 사용자가 지정한 방식으로 사용자와 상호작용 할 수 있다. 기존 2D의 디스플레이에 존재하는 객체가 아니더라도 프로그램이나 사용자가 지정한 객체가 3D객체화 될 수 있다.
또한 도 10에서 기존의 마우스 키보드 조이스틱과 같은 컨트롤러(30)상에 3D객체를 프로그램이나 사용자 지정에 따라 생성한다. 이 객체에는 버튼형 객체와 같은 상호작용을 위한 객체(61)가 포함될 수 있다. 이 객체는 기존의 컨트롤러(30) 상에 표시되어 새로운 조작영역을 만들거나 기존의 컨트롤러(30)와 겹쳐져서 컨트롤러 요소의 기능을 안내할 수 있다.
이상과 같은 본 실시예에의 작용을 도 11에 도시하였다. 도 11은 본 발명의 일 실시예에 따른 혼합 현실 입출력 확장 시스템의 작용을 설명하는 구성도이다. 여기에서 내장 프로그램이 확장 표시 장치에 포함된 것으로 도시되어 있으나 디바이스(10,80)에서만 수행될 수 있다. 또한, 웹,파일 및 상호 호환 프로그램은 생략될 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
또한, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
1000: 혼합 현실 입출력 확장 시스템
10: 디바이스1
80: 디바이스2
30: 입력장치1
200: 입력장치2
100: 확장표시장치
110: 감지부
120: 출력부
130: 제어부
140: 통신부

Claims (5)

  1. 2차원 화상이 표시되는 디스플레이를 포함하는 디바이스;
    확장 신호를 입력하는 입력장치; 및
    상기 2차원 화상이 복제 또는 변형된 확장출력을 표시하는 확장표시장치;
    를 포함하는 것을 특징으로 하는 혼합 현실 입출력 확장 시스템.
  2. 제1항에 있어서,
    상기 입력장치는 마우스, 키보드 및 웨어러블 장치 중 적어도 하나 이며, 상기 확장 신호는 확장 개시신호, 차원 결정신호, 확장 배치신호 및 선택신호 중 적어도 하나인 것을 특징으로 혼합 현실 입출력 확장 시스템.
  3. 제2항에 있어서,
    상기 입력장치는 접촉 감지 센서를 더 포함하고, 상기 확장표시장치 또는 상기 디바이스는 상기 입력장치가 설정 대상과 접촉이 해제되는 경우를 확장 개시신호로 판단하는 것을 특징으로 하는 혼합 현실 입출력 확장 시스템.
  4. 제1항에 있어서,
    상기 입력장치는 선택확인출력부를 더 포함하고, 선택확인출력부는 상기 확장표시장치가 출력한 확장출력을 선택하는 경우 선택 확인을 알리는 출력을 수행하는 것을 특징으로 하는 혼합 현실 입출력 확장 시스템.
  5. 제1항에 있어서,
    상기 확장표시장치는 상기 확장출력의 위치를 고정된 절대위치 또는 변동되는 상대위치로 결정할 수 있는 것을 특징으로 하는 혼합 현실 입출력 확장 시스템.
KR1020240034131A 2021-02-23 2024-03-11 혼합 현실 입출력 확장 시스템 KR20240036543A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020240034131A KR20240036543A (ko) 2021-02-23 2024-03-11 혼합 현실 입출력 확장 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210023870A KR20220120141A (ko) 2021-02-23 2021-02-23 혼합 현실 입출력 확장 시스템
KR1020240034131A KR20240036543A (ko) 2021-02-23 2024-03-11 혼합 현실 입출력 확장 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210023870A Division KR20220120141A (ko) 2021-02-23 2021-02-23 혼합 현실 입출력 확장 시스템

Publications (1)

Publication Number Publication Date
KR20240036543A true KR20240036543A (ko) 2024-03-20

Family

ID=83113927

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210023870A KR20220120141A (ko) 2021-02-23 2021-02-23 혼합 현실 입출력 확장 시스템
KR1020240034131A KR20240036543A (ko) 2021-02-23 2024-03-11 혼합 현실 입출력 확장 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210023870A KR20220120141A (ko) 2021-02-23 2021-02-23 혼합 현실 입출력 확장 시스템

Country Status (1)

Country Link
KR (2) KR20220120141A (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6455038U (ko) 1987-10-01 1989-04-05
KR20090084900A (ko) 2006-11-28 2009-08-05 마이크로소프트 코포레이션 3ｄ 표면에 대하여 입력 장치의 위치를 제공하기 위한 방법, 3ｄ표면에 위치된 2ｄ성분과의 상호작용을 가능하게 하는 방법 및 컴퓨터 판독 가능 매체
KR101330531B1 (ko) 2011-11-08 2013-11-18 재단법인대구경북과학기술원 ３차원 카메라를 이용한 가상 터치 방법 및 장치
KR20200068855A (ko) 2018-12-06 2020-06-16 삼성중공업 주식회사 조선 해양 플랜트의 3d 화면에 대한 url 기반 정보 공유 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6455038B2 (ja) 2014-09-16 2019-01-23 コニカミノルタ株式会社 Ａｒ装置、画像共有システム、画像共有方法、コンピュータプログラム、およびサーバ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6455038U (ko) 1987-10-01 1989-04-05
KR20090084900A (ko) 2006-11-28 2009-08-05 마이크로소프트 코포레이션 3ｄ 표면에 대하여 입력 장치의 위치를 제공하기 위한 방법, 3ｄ표면에 위치된 2ｄ성분과의 상호작용을 가능하게 하는 방법 및 컴퓨터 판독 가능 매체
KR101330531B1 (ko) 2011-11-08 2013-11-18 재단법인대구경북과학기술원 ３차원 카메라를 이용한 가상 터치 방법 및 장치
KR20200068855A (ko) 2018-12-06 2020-06-16 삼성중공업 주식회사 조선 해양 플랜트의 3d 화면에 대한 url 기반 정보 공유 장치 및 방법

Also Published As

Publication number Publication date
KR20220120141A (ko) 2022-08-30

Similar Documents

Publication Publication Date Title
JP6233314B2 (ja) 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
CN102681664B (zh) 电子装置、信息处理方法、程序和电子装置系统
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
WO2020122665A1 (en) Systems and methods for virtual displays in virtual, mixed, and augmented reality
JP5808712B2 (ja) 映像表示装置
WO2012122007A2 (en) Keyboards and methods thereof
CN111344663B (zh) 渲染装置及渲染方法
US10890982B2 (en) System and method for multipurpose input device for two-dimensional and three-dimensional environments
CN101667058A (zh) 在多系统间切换焦点的交互方法
CN103257812A (zh) 一种调整显示输出的方法及电子设备
US20120313968A1 (en) Image display system, information processing apparatus, display device, and image display method
WO2017022031A1 (ja) 情報端末装置
JP5845585B2 (ja) 情報処理装置
JP2015011679A (ja) 操作入力装置及び入力操作処理方法
WO2013047023A1 (ja) 表示装置、表示方法およびプログラム
KR20240036543A (ko) 혼합 현실 입출력 확장 시스템
WO2021225044A1 (ja) 情報処理装置及びユーザの入力操作に基づく情報処理方法並びに該方法を実行するためのコンピュータプログラム
JP2014241078A (ja) 情報処理装置
KR102087042B1 (ko) 조작시스템 및 이를 포함하는 단말기
KR101136327B1 (ko) 휴대 단말기의 터치 및 커서 제어방법 및 이를 적용한 휴대 단말기
US20150375121A1 (en) Information processing system, information processing method, information processing program, and computer-readable recording medium on which information processing program is stored
KR20120036445A (ko) 휴대기기의 ｕｉ를 위한 모션 센서 제어 시스템 및 그 방법
WO2013080430A1 (en) Information processing device, information processing method, and program
CN117980870A (zh) 经由触控板的计算机生成的表示进行内容操纵
JP5860009B2 (ja) インタフェース装置

Legal Events

Date Code Title Description
A107 Divisional application of patent