KR20140055054A - 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법 - Google Patents

3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법 Download PDF

Info

Publication number
KR20140055054A
KR20140055054A KR1020120121328A KR20120121328A KR20140055054A KR 20140055054 A KR20140055054 A KR 20140055054A KR 1020120121328 A KR1020120121328 A KR 1020120121328A KR 20120121328 A KR20120121328 A KR 20120121328A KR 20140055054 A KR20140055054 A KR 20140055054A
Authority
KR
South Korea
Prior art keywords
input signal
user input
dimensional
virtual object
dimensional space
Prior art date
Application number
KR1020120121328A
Other languages
English (en)
Other versions
KR101927150B1 (ko
Inventor
이현정
한재준
박준아
이유진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120121328A priority Critical patent/KR101927150B1/ko
Priority to PCT/KR2013/001807 priority patent/WO2014069722A1/ko
Priority to US14/439,148 priority patent/US10180766B2/en
Publication of KR20140055054A publication Critical patent/KR20140055054A/ko
Application granted granted Critical
Publication of KR101927150B1 publication Critical patent/KR101927150B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법이 개시된다. 실시예에 따른 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이하는 디스플레이부, 3차원 가상 객체와 매칭된 3차원 공간 내에서 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성하는 사용자 입력 신호 생성부 및 사용자 입력 신호에 따라 3차원 가상 객체의 동작을 제어하는 제어부를 포함한다.

Description

3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법 {3D DISPLAY APPARATUS AND METHOD FOR PROVIDING USER INTERFACE}
실시예들은 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법에 관한 것으로, 3차원 디스플레이 환경에서 유용한 사용자 인터페이스를 제공하는 기술적 사상에 관한 것이다.
최근 3차원의 입체 영상을 디스플레이 하는 3차원 디스플레이 장치가 상용화되고 있다. 또한, 3차원 디스플레이 장치는 가정, 회사, 상업 분야에서뿐만 아니라, 의료기관이나 군사용 등 여러 분야로 그 사용 범위가 확대되고 있다.
3차원 디스플레이 장치는 사용자 입력에 따른 동작을 수행한다. 사용자 입력을 위하여 기존의 3차원 디스플레이 장치는 2 차원 사용자 인터페이스를 제공하였다.
3차원 디스플레이 장치는 2차원 사용자 인터페이스의 평면 상에서 기준축이 되는 X축 방향의 사용자 입력과 X축에 수직하는 Y축 방향의 사용자 입력을 감지하고, 감지된 사용자 입력에 따른 동작을 수행한다. 이 같은 2차원의 사용자 입력 방식은 3차원 디스플레이 환경에서 한정된 사용자 인터페이스를 제공한다.
일실시예에 따른 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이하는 디스플레이부, 상기 3차원 가상 객체와 매칭된 3차원 공간 내에서 상기 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성하는 사용자 입력 신호 생성부 및 상기 사용자 입력 신호에 따라 상기 3차원 가상 객체의 동작을 제어하는 제어부를 포함한다.
일실시예에 따른 3차원 디스플레이 장치의 사용자 인터페이스 방법은 3차원 가상 객체를 디스플레이하는 단계, 상기 3차원 가상 객체와 매칭된 3차원 공간 내에서 상기 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성하는 단계 및 상기 사용자 입력 신호에 따라 상기 3차원 가상 객체의 동작을 제어하는 단계를 포함한다.
도 1은 일 실시예에 따른 3차원 디스플레이 장치의 구성을 나타내는 블록도이다.
도 2 내지 도 5는 다양한 실시예에 따른 3차원 디스플레이 장치의 구성을 나타내는 블록도이다.
도 6 내지 도 13은 다양한 실시예들에 따른 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 14는 일 실시예에 따른 사용자 인터페이스 방법을 설명하는 흐름도이다.
도 15 내지 도 21은 다양한 실시예에 따른 사용자 인터페이스 방법을 설명하는 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
실시예들을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 실시예들을 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 해당 기술이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 3차원 디스플레이 장치의 구성을 나타내는 블록도이다. 도 1에 도시된 3차원 디스플레이 장치(100)는 다양한 콘텐츠들을 3차원 가상 객체로 디스플레이 하는 장치로, 3차원 TV, 3차원 모니터, 3차원 디스플레이 기능을 포함한 휴대용 기기 또는 모바일 기기 등이 될 수 있으며, 3차원 홀로그램 장치 등이 될 수 있다.
3차원 디스플레이 장치(110)는 디스플레이부(110), 사용자 입력 신호 생성부(120) 및 제어부(130)를 포함하며, 3차원 가상 객체의 동작 제어가 용이한 사용자 인터페이스를 제공할 수 있다. 제어부(130)는 디스플레이부(110) 및 사용자 입력 신호 생성부(120)의 동작을 제어한다.
디스플레이부(110)는 3차원 가상 객체를 디스플레이 한다. 3차원 가상 객체란, 2차원 또는 3차원의 영상이나, 2차원 또는 3차원의 이미지 등이 될 수도 있으며, 3차원 디스플레이 장치(100)의 동작을 제어하기 위한 제어 화면이 될 수도 있다. 또는, 영상이나 이미지를 디스플레이하기 위한 3차원 입체 영역이 될 수도 있다. 3차원 가상 객체는, 스테레오스코픽 방식으로 디스플레이 될 수 있으며, 또는 360도 전체 방향에서 입체 영상을 구현하는 홀로그램 방식으로 디스플레이 될 수 있다.
사용자 입력 신호 생성부(120)는 사용자 입력 신호 생성부(120)는 3차원 디스플레이 장치(100)의 동작을 조작하기 위하여 사용자와 상호 작용하는 사용자 인터페이스를 제공할 수 있다.
사용자 입력 신호 생성부(120)는 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성한다. 구체적으로, 3차원 가상 객체가 디스플레이 되면, 사용자 입력 신호 생성부(120)는 3차원 가상 객체와 매칭된 가상의 3차원 공간을 형성한다. 사용자 입력 신호 생성부(120)는 3차원 가상 객체와 매칭된 3차원 공간 내에서 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성한다.
조작 객체란, 사용자 신체, 물체 및 통신 기능을 구비한 휴대 장치 중 적어도 어느 하나가 될 수 있다. 그러나, 이에 한정되는 것은 아니며, 3차원 가상 객체의 동작을 제어하기 위한 것이라면, 다른 어떠한 것도 조작 객체로 이용될 수 있다.
조작 객체 중 사용자 신체는, 사용자 손가락, 팔꿈치 등과 같이 사용자의 신체에서 일부가 될 수 있다. 또한, 물체는 터치펜이나, 지시봉이 될 수 있으며, 3차원 디스플레이 장치(100)가 인식할 수 있는 마커(marker)를 구비 또는 부착한 사물이 될 수도 있다. 또한, 휴대 장치는 와이파이(Wifi), 블루투스(Bluetooth), 지그비(zigbee), NFC(Near Field Communication) 등과 같은 근거리 무선 통신이 가능한 휴대용 기기가 될 수 있으며, 영상 통신 및 음성 통신이 가능한 휴대용 통신 기기가 될 수도 있다.
사용자 입력 신호 생성부(120)에 의해 생성된 사용자 입력 신호는, 3차원 가상 객체 상에서 파일 또는 데이터의 저장/읽기 신호, 3차원 가상 객체 상에서 파일 또는 데이터의 송/수신 신호, 3차원 가상 객체 상에서 파일/데이터/어플리케이션의 실행 신호, 외부 기기와의 데이터 송/수신 신호 등이 있을 수 있다. 그러나, 이에 한정되지 않으며, 사용자 입력 신호는 3차원 디스플레이 장치(100)의 동작과 관련된 신호나, 3차원 가상 객체의 동작과 관련된 신호가 모두 포함될 수 있다.
제어부(130)는 사용자 입력 신호에 따라 3차원 가상 객체의 동작을 제어한다.
도 1에 도시된 3차원 디스플레이 장치(100)에 따르면, 3차원 가상 객체와 매칭된 3차원 공간 내에서 조작 객체를 감지하여 사용자 입력 신호를 생성하는 것으로, 3차원 디스플레이 환경에 적합한 사용자 인터페이스를 제공할 수 있다.
도 2 내지 도 4는 다양한 실시예에 따른 3차원 디스플레이 장치의 구성을 나타내는 블록도이다.
도 2에 도시된 3차원 디스플레이 장치(200)는 디스플레이부(210), 사용자 입력 신호 생성부(220) 및 제어부(230)를 포함하며, 3차원 가상 객체의 동작 제어가 용이한 사용자 인터페이스를 제공할 수 있다.
디스플레이부(210)는 3차원 가상 객체를 디스플레이 한다.
사용자 입력 신호 생성부(220)는 3차원 디스플레이 장치(200)의 동작을 조작하기 위하여 사용자와 상호 작용하는 사용자 인터페이스를 제공할 수 있다.
사용자 입력 신호 생성부(220)는 조작 객체를 감지하기 위한 감지 센서(221)를 포함할 수 있다. 감지 센서(221)는 3차원 가상 객체와 매칭된 3차원 공간으로 어떠한 접촉이나 삽입이 발생하는지를 감지하거나, 3차원 공간으로부터 미리 정해진 감지 거리 내에 어떠한 접근이 발생하는지를 감지할 수 있다. 감지 센서(221)는 적외선 센서, 초음파 센서 등이 될 수 있다.
실시예에 따르면, 사용자 입력 신호 생성부(220)는 3차원 공간 내에 조작 객체가 감지될 경우, 조작 객체의 접촉 및 이동에 따라 3차원 공간에서 x, y, z 좌표 정보를 추적할 수 있다. 구체적으로, 사용자 입력 신호 생성부(220)는 감지 센서(221)를 통해 조작 객체의 접촉 및 이동을 감지하고, 그에 대응하여 x, y, z 좌표 정보를 추적할 수 있다.
제어부(230)는 사용자 입력 신호에 포함된 x, y, z 좌표 정보를 3차원 공간에 매칭된 3차원 가상 객체에 적용하여 3차원 가상 객체에서 x, y, z 좌표 정보에 대응하는 동작을 제어할 수 있다.
예를 들어, 3차원 가상 객체의 제1 위치에 제1 파일이 위치된 상태에서, 3차원 가상 객체와 매칭된 3차원 공간의 제1 위치에 조작 객체가 접촉하는 것이 감지되면, 사용자 입력 신호 생성부(220)는 제1 위치의 x, y, z 좌표 정보를 추적할 수 있다. 이후, 제1 위치에서 제2 위치로 조작 객체가 이동하는 것이 감지되면, 사용자 입력 신호 생성부(220)는 제1 위치에서 제2 위치로의 이동 경로에 따른 x, y, z 좌표 정보를 추적할 수 있다. 이 같이 사용자 입력 신호 생성부(220)는 조작 객체의 접촉 및 이동에 따른 x, y, z 좌표 정보를 추적하여 사용자 입력 신호를 생성할 수 있다. 이 경우, 제어부(230)는 사용자 입력 신호에 포함된 x, y, z 좌표 정보에 따라 3차원 가상 객체의 제1 위치에 위치된 제1 파일을 선택하고, 이 제1 파일을 제1 위치에서 제2 위치로 이동시키는 동작을 제어할 수 있다. 즉, 제어부(230)는 3차원 가상 객채 상에서 제1 파일을 제1 위치에서 제2 위치로 드래그 앤 드롭(drag-and-drop)하는 동작을 제어할 수 있다.
도 2에 도시된 3차원 디스플레이 장치(200)는 3차원 가상 객체와 매칭된 3차원 공간의 사용자 인터페이스를 제공할 수 있다. 따라서, 3차원 디스플레이 장치(200)는 3차원 디스플레이 환경에 적합한 사용자 인터페이스를 제공할 수 있다.
도 3은 다른 실시예에 따른 3차원 디스플레이 장치의 구성을 나타내는 블록도이다. 도 3에 도시된 3차원 디스플레이 장치(300)는 디스플레이부(310), 사용자 입력 신호 생성부(320), 제어부(330) 및 피드백부(340)를 포함할 수 있다.
디스플레이부(310)는 3차원 가상 객체를 디스플레이 할 수 있다. 3차원 가상 객체는 전술한 컨텐츠들이 될 수 있다.
사용자 입력 신호 생성부(330)는 3차원 디스플레이 장치(300)의 동작을 조작하기 위하여 사용자와 상호 작용하는 사용자 인터페이스를 제공할 수 있으며, 감지 센서(331)및 마커(marker) 인식부(332)를 포함할 수 있다.
감지 센서(331)는 3차원 가상 객체와 매칭된 3차원 공간으로 어떠한 접촉이나 삽입이 발생하는지를 감지하거나, 3차원 공간으로부터 미리 정해진 감지 거리 내에 어떠한 접근이 발생하는지를 감지할 수 있다. 감지 센서(331)는 적외선 센서, 초음파 센서 등이 될 수 있으며, 3차원 공간에서 조작 객체의 감지가 가능한 다른 센서가 될 수도 있다.
마커(marker) 인식부(332)는 조작 객체에 구비된 마커를 인식하고, 인식된 마커에 대응하는 조작 객체의 정보를 획득할 수 있다. 이 마커 인식부(332)는 마커를 촬영할 수 있는 카메라 모듈(332a)과, 카메라 모듈(332a)을 통해 촬영된 마커에서 특정 패턴을 검출할 수 있는 패턴 검출 모듈(332b)과, 검출된 패턴에 대응하는 조작 객체의 정보를 저장하는 저장 모듈(332c)을 포함할 수 있다.
이 조작 객체의 정보는 다양한 마커들에 대응하여 조작 객체를 나타내는 2차원 또는 3차원 영상이나 이미지 데이터, 2차원 또는 3차원 게임, 3차원 아바타, 어플리케이션 등을 포함할 수 있다. 또한, 상기의 2차원 또는 3차원 영상이나 이미지 데이터, 2차원 또는 3차원 게임, 3차원 아바타, 어플리케이션을 획득할 수 있는 웹 서버 어드레스 정보를 포함할 수도 있다. 또한, 조작 객체가 상품인 경우, 조작 객체의 정보는 조작 객체의 제조업체, 제조일자, 온라인 또는 오프라인 판매장소, 가격 등과 같은 정보들을 더 포함할 수 있다.
사용자 입력 신호 생성부(330)는 마커 인식부(332)에 의한 마커 인식을 기반으로 조작 객체의 정보를 획득하여 조작 객체의 정보를 포함하는 사용자 입력 신호를 생성할 수 있다.
제어부(320)는 사용자 입력 신호에 포함된 조작 객체의 정보를 디스플레이 하거나, 조작 객체의 정보를 타 디스플레이 장치에 전송하도록 3차원 가상 객체의 동작을 제어할 수 있다.
예를 들어, 3차원 공간 내에 조작 객체가 감지될 경우, 사용자 입력 신호 생성부(330)는 마커 인식부(332)를 통해 조작 객체에 구비된 마커를 인식하고, 인식된 마커에 대응하는 조작 객체의 정보를 획득할 수 있다. 이 조작 객체가 인형과 같은 물체일 경우, 마커는 인형에 대응하는 특정 패턴을 포함할 수 있다. 따라서, 사용자 인력 신호 생성부(330)는 마커 인식 기반으로 마커에 대응하는 인형의 정보를 획득하여 이를 포함하는 사용자 입력 신호를 생성할 수 있다. 이 경우, 제어부(320)는 사용자 입력 신호에 포함된 인형의 정보를 3D 가상 객체 상에 디스플레이 하거나, 3D 디스플레이 장치(300)와 통신하는 타 디스플레이 장치로 전송할 수 있다.
피드백부(340)는 3차원 가상 객체와 매칭된 3차원 공간으로 어떠한 접촉이나 삽입이 발생하거나, 3차원 공간으로부터 미리 정해진 감지 거리 내에 어떠한 접근이 발생할 경우, 접촉, 삽입 및 접근 등의 발생에 대응하여 시각, 청각 및 촉각 등의 피드백 신호를 출력한다. 피드백부(340)의 동작은 제어부(320)에 의해 제어될 수 있다.
구체적으로, 3차원 공간 내에 조작 객체가 감지될 경우, 사용자 입력 신호 생성부(330)는 조작 객체 감지를 알리기 위한 알림 신호를 제어부(320)에 전달할 수 있으며, 제어부(320)는 상기 알림 신호에 따라 피드백부(340)의 동작을 제어할 수 있다.
사용자는 피드백부(340)를 통해 출력되는 시각, 청각 및 촉각 등의 피드백 신호를 통해 조작 객체가 3차원 공간에 접촉, 삽입, 접근되었음을 알 수 있다.
도 3에 도시된 3차원 디스플레이 장치(300)는 3차원 가상 객체와 매칭된 3차원 공간의 사용자 인터페이스를 제공할 수 있다. 따라서, 3차원 디스플레이 장치(300)는 3차원 디스플레이 환경에 적합한 사용자 인터페이스를 제공할 수 있다.
도 4는 다른 실시예에 따른 3차원 디스플레이 장치(400)의 구성을 나타내는 블록도이다. 도 4에 도시된 3차원 디스플레이 장치(400)는 컨텐츠 저장부(410), 디스플레이부(420), 사용자 입력 신호 생성부(430) 및 제어부(440)를 포함할 수 있다.
컨텐츠 저장부(410)는 3차원 가상 객체로 디스플레이 될 다양한 컨텐츠들을 저장할 수 있다.
디스플레이부(420)는 3차원 가상 객체를 디스플레이 할 수 있다. 3차원 가상 객체는 컨텐츠 저장부(410)에 저장된 컨텐츠들이 될 수 있다.
사용자 입력 신호 생성부(430)는 3차원 디스플레이 장치(400)의 동작을 조작하기 위하여 사용자와 상호 작용하는 사용자 인터페이스를 제공할 수 있으며, 감지 센서(431)및 카메라(432)를 포함할 수 있다.
감지 센서(431)는 3차원 가상 객체와 매칭된 3차원 공간으로 어떠한 접촉이나 삽입이 발생하는지를 감지하거나, 3차원 공간으로부터 미리 정해진 감지 거리 내에 어떠한 접근이 발생하는지를 감지할 수 있다.
카메라(432)는 3차원 공간 내에 조작 객체가 감지될 경우, 조작 객체를 촬영하여 조작 객체 영상을 생성한다.
사용자 입력 신호 생성부(430)는 조작 객체 영상을 포함하는 사용자 입력 신호를 생성할 수 있다.
제어부(440)는 사용자 입력 신호에 따라 3차원 가상 객체의 동작을 제어한다.
실시예에 따르면, 제어부(440)는 사용자 입력 신호에 포함된 조작 객체 영상을 디스플레이 하거나, 조작 객체의 형태를 타 디스플레이 장치에 전송하도록 3차원 가상 객체의 동작을 제어할 수 있다.
예를 들어, 3차원 공간 내에 조작 객체가 감지될 경우, 사용자 입력 신호 생성부(430)는 카메라(432)를 통해 조작 객체를 촬영하여 조작 객체 영상을 생성할 수 있다. 이 조작 객체가 꽃인 경우, 카메라(432)는 꽃을 촬영하여 꽃 영상을 생성할 수 있다. 따라서, 사용자 인력 신호 생성부(430)는 꽃 영상을 포함하는 사용자 입력 신호를 생성할 수 있다. 이 경우, 제어부(440)는 사용자 입력 신호에 포함된 꽃 영상을 3D 가상 객체 상에 디스플레이 하거나, 3D 디스플레이 장치(400)와 통신하는 타 디스플레이 장치로 전송할 수 있다.
다른 실시예에 따르면, 제어부(440)는 사용자 입력 신호에 포함된 조작 객체 영상을 분석하여 대표 픽셀값을 확인하고, 대표 픽셀값을 3차원 조작 객체에 적용하여 디스플레이 하도록 3차원 가상 객체의 동작을 제어할 수 있다. 구체적으로, 제어부(440)는 조작 객체 영상을 구성하는 전체 픽셀들의 픽셀값을 확인하여 가장 많은 픽셀값을 대표 픽셀값으로 정하거나, 전체 픽셀들의 평균 픽셀값을 대표 픽셀값으로 정할 수 있다. 제어부(440)는 3차원 가상 객체가 대표 픽셀값을 갖도록 디스플레이 할 수 있다.
다른 실시예에 따르면, 제어부(440)는 사용자 입력 신호에 포함된 조작 객체 영상을 이용하여 조작 객체의 형상 정보를 생성하고, 조작 객체의 형상 정보를 디스플레이 하도록 3차원 가상 객체의 동작을 생성할 수 있다.
예를 들어, 카메라(432)에 의해 직육면체 형상을 갖는 상자를 촬영한 경우, 이 상자를 포함하는 조작 객체 영상이 생성될 수 있다. 제어부(440)는 조작 객체 영상으로부터 조작 객체를 검출하여 조작 객체의 형상 정보를 생성할 수 있다. 조작 객체의 형상 정보란, 조작 객체의 생긴 모양이나 상태를 나타내는 2차원 이미지 데이터 또는 3차원 이미지 데이터가 될 수 있다. 따라서, 제어부(440)는 조작 객체인 상자에 대응하는 2차원 사각형 이미지 데이터 또는 3차원의 직육면체 이미지 데이터를 디스플레이하도록 3차원 가상 객체의 동작을 제어할 수 있다.
다른 실시예에 따르면, 사용자 입력 신호 생성부(430)는 컨텐츠가 실행되고 있는 상태에서, 3차원 공간 내에 조작 객체가 감지될 경우, 조작 객체와 실행 중인 컨텐츠를 연결시키고, 조작 객체와 컨텐츠를 포함한 사용자 입력 신호를 생성할 수 있다.
구체적으로, 컨텐츠가 실행되고 있는 상태에서 3차원 공간 내에 조작 객체가 감지될 경우, 카메라(432)는 조작 객체를 촬영하여 조작 객체 영상을 생성할 수 있다.
사용자 입력 신호 생성부(430)는 카메라(432)에 의해 생성된 조작 객체 영상으로부터 조작 객체를 검출하고, 이 조작 객체와 실행 중인 컨텐츠를 연결시킬 수 있으며, 상호 연결된 조작 객체와 컨텐츠를 포함한 사용자 입력 신호를 생성할 수 있다.
제어부(440)는 사용자 입력 신호에 포함된 조작 객체와 컨텐츠를 컨텐츠 저장부(410) 또는 별도의 메모리에 저장할 수 있다.
사용자 입력 신호 생성부(430)는 3차원 공간 내에 상기의 조작 객체가 재감지될 경우, 조작 객체와 연결된 컨텐츠를 읽어내어 컨텐츠를 실행시키기 위한 사용자 입력 신호를 생성할 수 있다. 이 과정에서, 사용자 입력 신호 생성부(430)는 조작 객체 영상으로부터 조작 객체를 검출하여 조작 객체의 재감지 여부를 판단할 수 있다.
제어부(440)는 컨텐츠 저장부(410) 또는 별도의 메모리로부터 조작 객체와 연결된 컨텐츠를 읽어내어 3차원 공간 상에 디스플레이할 수 있다. 이 실시예에 따르면, 사용자가 자주 사용하는 조작 객체를 컨텐츠와 연결시킴으로써, 컨텐츠를 보다 쉽게 실행시킬 수 있다.
도 5는 다른 실시예에 따른 3차원 디스플레이 장치의 구성을 나타내는 블록도이다. 도 5에 도시된 3차원 디스플레이 장치(500)는 컨텐츠 저장부(510), 디스플레이부(520), 사용자 입력 신호 생성부(530) 및 제어부(540)를 포함할 수 있다.
컨텐츠 저장부(510)는 3차원 가상 객체로 디스플레이 될 다양한 컨텐츠들을 저장할 수 있다.
디스플레이부(520)는 3차원 가상 객체를 디스플레이 할 수 있다. 3차원 가상 객체는 컨텐츠 저장부(510)에 저장된 컨텐츠들이 될 수 있다.
사용자 입력 신호 생성부(530)는 3차원 디스플레이 장치(500)의 동작을 조작하기 위하여 사용자와 상호 작용하는 사용자 인터페이스를 제공할 수 있으며, 감지 센서(531)및 통신부(532)를 포함할 수 있다.
감지 센서(531)는 3차원 가상 객체와 매칭된 3차원 공간으로 어떠한 접촉이나 삽입이 발생하는지를 감지하거나, 3차원 공간으로부터 미리 정해진 감지 거리 내에 어떠한 접근이 발생하는지를 감지할 수 있다.
통신부(532)는 통신 기능을 구비한 휴대 장치와 통신한다. 이 통신부(532)는 3차원 공간 내에 조작 객체가 감지된 경우, 통신 기능을 활성화하여 3차원 공간 내에 접촉, 삽입 또는 접근한 휴대 장치와 통신할 수 있다.
사용자 입력 신호 생성부(530)는 통신부(532)를 통해 휴대 장치에 미리 선택되어 있는 컨텐츠를 수신하여 컨텐츠가 포함된 사용자 입력 신호를 생성할 수 있다.
제어부(540)는 사용자 입력 신호에 포함된 컨텐츠를 실행하도록 3차원 가상객체의 동작을 제어할 수 있다.
예를 들어, 3차원 공간 내에 휴대 장치가 감지될 경우, 통신부(532)는 휴대 장치와 통신하여 휴대 장치에 미리 선택된 컨텐츠를 수신할 수 있다. 이 컨텐츠가 영화인 경우, 통신부(532)는 휴대 장치로부터 영화를 수신할 수 있다. 따라서, 사용자 인력 신호 생성부(530)는 영화를 포함하는 사용자 입력 신호를 생성할 수 있다. 이 경우, 제어부(540)는 사용자 입력 신호에 포함된 영화를 실행시켜 3D 가상 객체 상에 디스플레이 할 수 있다.
도 2 내지 도 5에서는 개별적인 실시예에 따른 3차원 디스플레이 장치(200, 300, 400, 500)을 도시 및 설명하였으나, 이들 장치(200, 300, 400, 500)는 다양한 실시예들이 결합된 형태로 구현될 수도 있다.
도 6 내지 도 10은 다양한 실시예들에 따른 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 6a 내지 도 6c 손가락 접촉을 이용하여 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 6a를 참조하면, 3차원 디스플레이 장치(600)는 3차원 가상 객체(610)를 디스플레이 한다. 도면에서 3차원 가상 객체(610)가 2차원의 평면으로 도시되어 있으나, 실제 환경에서 3차원 가상 객체(610)는 3차원 홀로그램과 같은 입체 영상으로 디스플레이 될 수 있다.
3차원 가상 객체(610)는 제1 사용자와 제2 사용자의 화상 통신 영상이 될 수 있다. 3차원 가상 객체(610)는 제1 사용자 영역(611) 및 제2 사용자 영역(613)을 포함한다.
제1 사용자 영역(611)은 3차원 디스플레이 장치(600)를 사용하는 제1 사용자가 디스플레이 되는 영역으로, 그 하단에는 3차원 디스플레이 장치(600)에 저장된 컨텐츠들이 리스트되는 제1 컨텐츠 영역(612)이 위치할 수 있다. 또한, 제2 사용자 영역(613)은 제1 사용자와 화상 통신을 하는 제2 사용자가 디스플레이 되는 영역이다.
3차원 디스플레이 장치(600)는 3차원 가상 객체(610)와 매칭된 가상의 3차원 공간을 형성하여 조작 객체를 감지할 수 있다.
도 6b에 도시된 바와 같이, 제1 사용자가 제1 컨텐츠 표시 영역(612)에 손가락을 위치시킨 후, 제2 사용자 영역(613)으로 손가락을 이동할 경우, 3차원 디스플레이 장치(600)는 드래그 앤 드롭 방식으로, 제1 컨텐츠 영역(612)에 리스트된 컨텐츠를 제2 사용자에게 전송할 수 있다. 이에 따라, 도 6c에 도시된 바와 같이, 제2 사용자 영역(613)의 하단에 위치한 제2 컨텐츠 영역(614)에 제2 사용자에게 전송된 컨텐츠가 디스플레이 될 수 있다.
즉, 도 6a 내지 도 6c에 도시된 실시예에 따르면, 3차원 디스플레이 장치(600)가 3차원 공간에서 조작 객체의 접촉 및 이동에 따른 x, y, z 좌표 정보를 추적하여 드래드 앤 드롭을 위한 사용자 입력 신호를 생성할 수 있다. 따라서, 그 x, y, z 좌표 정보를 3차원 가상 객체(610)에 적용함으로써, 컨텐츠를 제2 사용자 영역으로 드래그 앤 드롭할 수 있다.
도 7a 내지 도 7b는 마크 인식 기반으로 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 7a를 참조하면, 3차원 디스플레이 장치(700)는 3차원 가상 객체(710)를 디스플레이 한다. 3차원 디스플레이 장치(700)는 일 영역에 마커 인식을 위한 카메라 모듈(721)을 포함할 수 있다.
조작 객체가 3차원 가상 객체(710)와 매칭된 3차원 공간 내에 감지된 경우, 3차원 디스플레이 장치(700)는 카메라 모듈(721)을 통해 이 조작 객체에 구비된 마커를 인식할 수 있다. 즉, 도 7a에 도시된 것과 같이, 마커(731)을 구비한 인형(730)이 3차원 공간 내에 접촉, 삽입 또는 접근한 경우, 카메라 모듈(721)은 마커(731)를 인식하여 마커(731)에 대응하는 인형의 정보를 획득할 수 있다. 인형의 정보로는, 인형의 2차원 또는 3차원 이미지, 인형 제조업체, 제조일자, 온라인 또는 오프라인 판매장소, 가격 등과 같은 정보 등이 있을 수 있다.
3차원 디스플레이 장치(700)는 도 7b에 도시된 것과 같이, 마커 인식 기반으로 획득한 인형의 정보를 디스플레이하거나, 타 디스플레이 장치에 전송하도록 하기 위한 사용자 입력 신호를 생성할 수 있다. 따라서, 3차원 디스플레이 장치(700)는 인형의 정보를 3차원 가상 객체(710)에 디스플레이 할 수 있다.
도 7a 및 도 7b에서는 인형에 마커가 구비된 예를 설명하였으나, 인형과 같은 물체를 조작 객체로 사용하지 않고, 마커 자체를 조작 객체로 사용하여 그에 대응하는 조작 객체의 형태를 획득할 수도 있다.
도 8a 및 도 8b는 조작 객체를 촬영하여 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 8a를 참조하면, 3차원 디스플레이 장치(800)는 3차원 가상 객체(810)를 디스플레이 한다. 3차원 디스플레이 장치(800)는 일 영역에 카메라(821)을 포함할 수 있다.
조작 객체가 3차원 가상 객체(810)와 매칭된 3차원 공간 내에 감지된 경우, 3차원 디스플레이 장치(800)는 카메라(821)를 이용하여 조작 객체를 촬영할 수 있다. 즉, 도 8a에 도시된 것과 같이, 운동화(830)가 3차원 공간 내에 접촉, 삽입 또는 접근한 경우, 카메라(821)는 운동화(830)를 촬영하여 운동화 영상을 생성할 수 있다.
3차원 디스플레이 장치(800)는 운동화 영상을 디스플레이 하기 위한 사용자 입력 신호를 생성할 수 있으며, 이 사용자 입력 신호에 따라 운동화 영상을 3차원 가상 객체(810)에 디스플레이 할 수 있다.
도 9a 및 도 9b는 휴대 장치를 이용하여 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 9a를 참조하면, 3차원 디스플레이 장치(900)는 3차원 가상 객체(910)를 디스플레이 한다. 3차원 가상 객체(910)는 화상 통화 영상으로, 제1 사용자를 표시하는 제1 사용자 영역(911)과 전화 실행 영역(912)을 포함할 수 있다. 이 3차원 디스플레이 장치(900)에 휴대 장치(920)가 접촉, 삽입 또는 접근하는 것이 감지될 경우, 3차원 디스플레이 장치(900)는 휴대 장치(920)에 미리 선택된 컨텐츠, 예를 들어, 미리 선택된 제2 사용자의 연락처를 수신하고, 이를 포함한 사용자 입력 신호를 생성할 수 있다.
3차원 디스플레이 장치(900)는 사용자 입력 신호에 포함된 연락처로 전화를 실행하여 제1 사용자와 제2 사용자가 화상 통화를 할 수 있도록 한다. 이때, 3차원 디스플레이 장치(900)는 제2 사용자를 표시하는 제2 사용자 영역(913)을 디스플레이 할 수 있다.
도 9a 및 도 9b에서는 휴대 장치(920)에 저장된 컨텐츠를 3차원 디스플레이 장치(900)가 수신하는 실시예를 설명하였으나, 반대로 3차원 디스플레이 장치(900)에 저장된 컨텐츠를 휴대 장치(920)로 전송하는 것도 가능하다. 이 실시예는 도 10a 및 도 10b을 이용하여 설명한다.
도 10a를 참조하면, 3차원 디스플레이 장치(1000)는 3차원 가상 객체(1010)를 디스플레이 한다. 3차원 가상 객체(1010)는 제1 사용자와 제2 사용자의 화상 통신 영상으로, 제1 사용자를 표시하는 제1 사용자 영역(1020)과 제2 사용자를 표시하는 제2 사용자 영역(1030)을 포함할 수 있다.
만약, 3차원 가상 객체(1010)를 통해 제1 사용자와 제2 사용자 간에 음악 파일을 공유하고 있거나, 제2 사용자의 컨텐츠 영역(1040)에 음악 파일이 리스트되어 있는 상태에서, 3차원 디스플레이 장치(1000)에 휴대 장치(1050)가 접촉, 삽입 또는 접근하는 것이 감지될 경우, 3차원 디스플레이 장치(1000)는 상기 음악 파일을 휴대 장치(1050)로 전송하기 위한 사용자 입력 신호를 생성할 수 있다. 이 사용자 입력 신호에 따라, 3차원 디스플레이 장치(100)는 휴대 장치(1050)로 음악 파일을 전송할 수 있으며, 휴대 장치(1050)는 도 10b에 도시된 바와 같이, 음악 파일을 수신하여 재생할 수 있다.
도 11a 및 도 11b는 조작 객체를 촬영하여 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 11a를 참조하면, 3차원 디스플레이 장치(1100)는 3차원 가상 객체(1110)를 디스플레이 한다. 3차원 디스플레이 장치(1100)는 일 영역에 카메라(1120)를 포함할 수 있다. 카메라(1120)는 3차원 가상 객체 내에 포함된 것으로 도시하고 있으나, 이에 한정되지 않으며, 3차원 디스플레이 장치(1100)의 본체에 부착될 수도 있다.
조작 객체가 3차원 가상 객체(1110)와 매칭된 3차원 공간 내에 감지된 경우, 3차원 디스플레이 장치(1100)는 카메라(1120)를 이용하여 조작 객체를 촬영할 수 있다. 즉, 도 11a에 도시된 것과 같이, 바나나(1130)가 3차원 공간 내에 접촉, 삽입 또는 접근한 경우, 카메라(1120)는 바나나(1130)를 촬영하여 바나나 영상을 생성할 수 있다.
3차원 디스플레이 장치(1100)는 이 바나나 영상의 대표 픽셀값을 3차원 가상 공간에 적용하기 위한 사용자 입력 신호를 생성할 수 있다. 이 사용자 입력 신호에 따라, 3차원 디스플레이 장치(1100)는 바나나 영상을 분석하여 대표 픽셀값을 확인하고, 대표 픽셀값을 3차원 가상 객체에 적용하여 디스플레이 하도록 3차원 가상 객체의 동작을 제어할 수 있다. 이 동작에 의해 3차원 가상 객체의 배경 화면이, 도 11b에 도시된 것과 같이, 바나나 영상의 대표 픽셀값인 "옐로우" 색상으로 변경될 수 있다.
도 11b에서와 같이, 바나나 영상의 대표 픽셀값을 3차원 가상 객체의 배경 화면 전체에 적용할 수도 있으나, 배경 화면 일부에 적용할 수도 있다.
바나나 영상이 생성된 이후, 3차원 공간 내에서 조작 객체가 감지될 경우, 3차원 디스플레이 장치(1100)는 3차원 공간에서 조작 객체의 접촉 및 이동에 따른 x, y, z 좌표 정보를 추적하여 바나나 영상의 대표 픽셀값을 적용할 영역을 설정할 수 있다. 이 같은 방법으로 설정된 일부 영역에 바나나 영상의 대표 픽셀값인 "옐로우" 색상을 적용함으로써, 필요에 따라 부분적으로 3차원 가상 객체의 색상을 변경할 수 있다.
도 12a 및 도 12b는 조작 객체를 촬영하여 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 12a를 참조하면, 3차원 디스플레이 장치(1200)는 3차원 가상 객체(1210)를 디스플레이 한다. 3차원 디스플레이 장치(1200)는 일 영역에 카메라(1220)를 포함할 수 있다.
조작 객체가 3차원 가상 객체(1210)와 매칭된 3차원 공간 내에 감지된 경우, 3차원 디스플레이 장치(1200)는 카메라(1220)를 이용하여 조작 객체를 촬영할 수 있다. 즉, 도 12a에 도시된 것과 같이, 직육면체 형상을 갖는 상자(1230)가 3차원 공간 내에 접촉, 삽입 또는 접근한 경우, 카메라(1220)는 상자(1230)를 촬영하여 상자 영상을 생성할 수 있다.
3차원 디스플레이 장치(1200)는 이 상자 영상으로부터 상자(1230)를 검출하여 상자의 형상 정보를 생성할 수 있으며, 상자의 형상 정보를 디스플레이 하기 위한 사용자 입력 신호를 생성할 수 있다. 상자의 형상 정보는 상자의 생긴 모양이나 상태를 나타내는 2차원 이미지 데이터 또는 3차원 이미지 데이터가 될 수 있다.
사용자 입력 신호에 따라, 3차원 디스플레이 장치(1200)는 상자(1230)에 대응하는 2차원의 사각형 이미지 데이터 또는 3차원의 직육면체 이미지 데이터를 디스플레이 하도록 3차원 가상 객체의 동작을 제어할 수 있다. 이 동작에 의해 그리기, 편집 등의 어플리케이션 실행시, 필요한 이미지 데이터를 생성하여 디스플레이할 수 있다.
도 13은 조작 객체를 이용하여 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 13을 참조하면, 3차원 디스플레이 장치(1300)는 3차원 가상 객체(1310) 상에 영화 컨텐츠(1330)를 디스플레이 한다.
영화 컨텐츠(1330)가 실행되고 있는 상태에서, 볼펜(pen)(1340)이 3차원 가상 객체(1310)와 매칭된 3차원 공간 내에 감지된 경우, 3차원 디스플레이 장치(1300)는 이 볼펜(1340)과 영화 컨텐츠(1330)를 연결시키고, 상호 연결된 볼펜(1340)과 영화 컨텐츠(1330)를 저장하기 위한 사용자 입력 신호를 생성할 수 있다.
도 13에 도시되어 있지는 않으나, 3차원 디스플레이 장치(1300)에 구비된 카메라(1220)를 이용하여 볼펜(1340)을 촬영하고, 볼펜 영상을 생성할 수 있다. 이 볼펜 영상에서 조작 객체에 해당하는 볼펜(1340)을 검출하고, 이 볼펜(1340)과 실행 중인 영화 컨텐츠(1330)를 연결시킬 수 있다.
3차원 디스플레이 장치(1300)는 상호 연결된 볼펜(1340)과 영화 컨텐츠(1330)를 저장하기 위한 사용자 입력 신호를 생성할 수 있다. 이 사용자 입력 신호에 따라 3차원 디스플레이 장치(1300)는 상호 연결된 볼펜(1340)과 영화 컨텐츠(1330)를 별도의 메모리에 저장할 수 있다. 즉, '볼펜-영화 컨텐츠'를 저장할 수 있다.
이후, 볼펜(pen)(1340)이 3차원 가상 객체(1310)와 매칭된 3차원 공간 내에 재감지된 경우, 3차원 디스플레이 장치(1300)는 볼펜(1340)과 연결된 영화 컨텐츠(1330)를 실행시키기 위한 사용자 입력 신호를 생성할 수 있다. 이 사용자 입력 신호에 따라, 3차원 디스플레이 장치(1300)는 볼펜(1340)과 연결된 영화 컨텐츠(1330)을 읽어내어 실행시킬 수 있다.
도 6 내지 도 13에 도시된 실시예들에 따르면, 3차원 디스플레이 장치들(700, 800, 900, 1000, 1100, 1200, 1300)은 3차원 가상 객체와 매칭된 3차원 공간 내에서 조작 객체를 감지하여 3차원 가상 객체의 동작을 제어하는 것으로, 3차원 디스플레이 환경에 적합한 사용자 인터페이스를 제공할 수 있다. 따라서, 사용자는 3차원 가상 객체 자체를 사용자 인터페이스 화면으로 이용할 수 있어 3차원 가상 객체를 통해 구현할 수 있는 다양한 동작들을 손쉽게 조작할 수 있다.
도 14는 일 실시예에 따른 사용자 인터페이스 방법을 설명하는 흐름도이다. 도 14를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(1410 단계). 3차원 디스플레이 장치는 3차원 가상 객체가 디스플레이 되면, 3차원 가상 객체에 매칭된 가상의 3차원 공간을 형성할 수 있다.
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(1420 단계), 3차원 디스플레이 장치는 조작 객체에 따른 사용자 입력 신호를 생성한다(1430 단계).
3차원 디스플레이 장치는 사용자 입력 신호에 따라 3차원 가상 객체의 동작을 제어한다(1440 단계).
도 15 내지 도 21은 다양한 실시예에 따른 사용자 인터페이스 방법을 설명하는 흐름도이다.
도 15에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(1510 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(1520 단계), 3차원 디스플레이 장치는 3차원 공간에서 x, y, z 좌표 정보를 추적하여 사용자 입력 신호를 생성한다(1530 단계).
3차원 디스플레이 장치는 x, y, z 좌표 정보를 3차원 가상 객체에 적용하여 3차원 가상 객체의 동작을 제어한다(1540 단계).
도 16에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(1610 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(1620 단계), 3차원 디스플레이 장치는 마커 인식 기반으로 조작 객체의 형태를 획득하여 사용자 입력 신호를 생성한다(1630 단계). 구체적으로, 3차원 공간 내에 마커를 구비한 조작 객체가 삽입 또는 접근될 경우, 3차원 디스플레이 장치는 이 마커를 인식하고 이 마커에 대응하는 조작 객체의 형태를 획득할 수 있다. 따라서, 3차원 디스플레이 장치는 조작 객체의 형태를 포함하는 사용자 입력 신호를 생성할 수 있다.
3차원 디스플레이 장치는 조작 객체의 형태를 디스플레이 하도록 3차원 가상 객체의 동작을 제어한다(1640 단계).
도 17에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(1710 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(1720 단계), 3차원 디스플레이 장치는 조작 객체를 촬영하여 조작 객체 영상을 포함하는 사용자 입력 신호를 생성한다 (1730 단계).
3차원 디스플레이 장치는 사용자 입력 신호에 포함된 조작 객체의 영상을 디스플레이 하도록 3차원 객체의 동작을 제어한다(1740 단계).
도 18에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(1810 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 휴대 장치가 감지된 경우(1820 단계), 3차원 디스플레이 장치는 휴대 장치에 미리 선택되어 있는 컨텐츠를 수신하여 사용자 입력 신호를 생성한다(1830 단계).
3차원 디스플레이 장치는 사용자 입력 신호에 포함된 컨텐츠를 실행하도록 3차원 가상 객체의 동작을 제어한다(1840 단계).
도 19에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(1910 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(1920 단계), 3차원 디스플레이 장치는 조작 객체를 촬영하여 조작 객체 영상을 포함하는 사용자 입력 신호를 생성한다(1930 단계). 이 경우, 조작 객체 영상을 포함하는 사용자 입력 신호는, 조작 객체 영상의 대표 픽셀값을 배경 화면에 적용하기 위한 것일 수 있다.
이 사용자 입력 신호에 따라, 3차원 디스플레이 장치는 조작 객체 영상을 분석하여 대표 픽셀값을 확인하고(1940 단계), 대표 픽셀값을 3차원 가상 객체에 적용한다(1950 단계). 즉, 3차원 디스플레이 장치는 3차원 가상 객체의 배경 화면이 대표 픽셀값을 갖도록 색상을 변경할 수 있다.
도 20에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(2010 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(2020 단계), 3차원 디스플레이 장치는 조작 객체를 촬영하여 조작 객체 영상을 포함하는 사용자 입력 신호를 생성한다(2030 단계). 이 경우, 조작 객체 영상을 포함하는 사용자 입력 신호는, 조작 객체의 형상 정보를 디스플레이 하기 위한 것일 수 있다.
이 사용자 입력 신호에 따라, 3차원 디스플레이 장치는 조작 객체 영상을 이용하여 조작 객체의 형상 정보를 생성하고(2040 단계), 조작 객체의 형상 정보를 디스플레이 하도록 3차원 가상 객체의 동작을 제어한다(2050 단계).
도 21에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이하고(2110 단계), 이 3차원 가상 객체를 통해 컨텐츠를 실행한다(2120 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(2130 단계), 3차원 디스플레이 장치는 조작 객체와 실행 중인 컨텐츠를 포함하는 사용자 입력 신호를 생성한다(2140 단계). 이 경우, 사용자 입력 신호에 포함된 조작 객체와 컨텐츠를 상호 연결될 수 있으며, 사용자 입력 신호는 조작 객체와 컨텐츠를 저장하기 위한 것일 수 있다.
이 사용자 입력 신호에 따라, 3차원 디스플레이 장치는 사용자 입력 신호에 포함된 조작 객체와 컨텐츠를 저장한다(2150 단계).
이후, 3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 재감지된 경우(2160 단계), 3차원 디스플레이 장치는 조작 객체와 연결된 컨텐츠를 실행시키기 위한 사용자 입력 신호를 생성하고(2170 단계), 이 사용자 입력 신호에 따라 컨텐츠를 실행한다(2180 단계). 즉, 2130 단계를 통해 감지된 조작 객체가 다시 감지될 경우, 사용자가 별도로 조작할 필요 없이 이 조작 객체와 연결된 컨텐츠를 읽어내어 실행시킬 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 3차원 디스플레이 장치
110: 디스플레이부
120: 사용자 입력 신호 생성부
130: 제어부

Claims (32)

  1. 3차원 가상 객체를 디스플레이하는 디스플레이부;
    상기 3차원 가상 객체와 매칭된 3차원 공간 내에서 상기 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성하는 사용자 입력 신호 생성부; 및
    상기 사용자 입력 신호에 따라 상기 3차원 가상 객체의 동작을 제어하는 제어부
    를 포함하는 3차원 디스플레이 장치.
  2. 제1항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 조작 객체를 감지하기 위한 감지 센서를 포함하는, 3차원 디스플레이 장치.
  3. 제1항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체의 접촉 및 이동에 따라 상기 3차원 공간에서 x, y, z 좌표 정보를 추적하여 상기 사용자 입력 신호를 생성하는, 3차원 디스플레이 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 x, y, z 좌표 정보를 상기 3차원 공간에 매칭된 상기 3차원 가상 객체에 적용하여, 상기 3차원 가상 객체에서 상기 x, y, z 좌표 정보에 대응하는 동작을 제어하는, 3차원 디스플레이 장치.
  5. 제1항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체에 구비된 마커(marker)를 인식하는 마커 인식부를 포함하고,
    상기 마커 인식부에 의한 마커(marker) 인식을 기반으로 상기 조작 객체의 정보를 획득하여 상기 조작 객체의 정보를 포함하는 상기 사용자 입력 신호를 생성하는, 3차원 디스플레이 장치.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체의 정보를 디스플레이 하거나, 상기 조작 객체의 정보를 타 디스플레이 장치에 전송하도록 상기 3차원 가상 객체의 동작을 제어하는, 3차원 디스플레이 장치.
  7. 제1항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체를 촬영하여 조작 객체 영상을 생성하는 카메라를 포함하고,
    상기 조작 객체 영상을 포함하는 사용자 입력 신호를 생성하는, 3차원 디스플레이 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체 영상을 디스플레이 하도록 상기 3차원 가상 객체의 동작을 제어하는, 3차원 디스플레이 장치.
  9. 제7항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체 영상을 분석하여 대표 픽셀값을 확인하고, 상기 대표 픽셀값을 상기 3차원 가상 객체에 적용하여 디스플레이 하도록 상기 3차원 가상 객체의 동작을 제어하는, 3차원 디스플레이 장치.
  10. 제7항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체 영상을 이용하여 상기 조작 객체의 형상 정보를 생성하고, 상기 조작 객체의 형상 정보를 디스플레이 하도록 상기 3차원 가상 객체의 동작을 제어하는, 3차원 디스플레이 장치.
  11. 제1항에 있어서,
    상기 사용자 입력 신호 생성부는,
    컨텐츠가 실행되고 있는 상태에서 상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체와 컨텐츠를 연결시키고, 상기 조작 객체와 상기 컨텐츠를 포함한 사용자 입력 신호를 생성하는, 3차원 디스플레이 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체와 상기 컨텐츠를 저장하는, 3차원 디스플레이 장치.
  13. 제12항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 3차원 공간 내에 상기 조작 객체가 재감지될 경우, 상기 조작 객체와 연결된 상기 컨텐츠를 읽어내어 상기 컨텐츠를 실행시키기 위한 사용자 입력 신호를 생성하는, 3차원 디스플레이 장치.
  14. 제1항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 3차원 공간 내에 사용자 신체, 물체 및 통신 기능을 구비한 휴대 장치 중 적어도 어느 하나를 상기 조작 객체로 감지하는, 3차원 디스플레이 장치.
  15. 제14항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 휴대 장치와 통신하는 통신부를 포함하고,
    상기 3차원 공간 내에 상기 휴대 장치가 감지된 경우, 상기 통신부를 통해상기 휴대 장치에 미리 선택되어 있는 컨텐츠를 수신하여 상기 컨텐츠를 포함한 상기 사용자 입력 신호를 생성하는, 3차원 디스플레이 장치.
  16. 제15항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 상기 컨텐츠를 실행하도록 상기 3차원 가상 객체의 동작을 제어하는, 3차원 디스플레이 장치.
  17. 3차원 가상 객체를 디스플레이하는 단계;
    상기 3차원 가상 객체와 매칭된 3차원 공간 내에서 상기 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성하는 단계; 및
    상기 사용자 입력 신호에 따라 상기 3차원 가상 객체의 동작을 제어하는 단계
    를 포함하는 사용자 인터페이스 방법.
  18. 제17항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체의 접촉 및 이동에 따라 상기 3차원 공간에서 x, y, z 좌표 정보를 추적하여 상기 사용자 입력 신호를 생성하는, 사용자 인터페이스 방법.
  19. 제18항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 x, y, z 좌표 정보를 상기 3차원 공간에 매칭된 상기 3차원 가상 객체에 적용하여, 상기 3차원 가상 객체에서 상기 x, y, z 좌표 정보에 대응하는 동작을 제어하는, 사용자 인터페이스 방법.
  20. 제17항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체에 구비된 마커(marker)를 인식하는 단계를 포함하고,
    상기 마커 인식부에 의한 마커(marker) 인식을 기반으로 상기 조작 객체의 정보를 획득하여 상기 조작 객체의 정보를 포함하는 상기 사용자 입력 신호를 생성하는, 사용자 인터페이스 방법.
  21. 제20항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체의 정보를 디스플레이 하거나, 상기 조작 객체의 정보를 타 디스플레이 장치에 전송하도록 상기 3차원 가상 객체의 동작을 제어하는, 사용자 인터페이스 방법.
  22. 제17항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체를 촬영하여 조작 객체 영상을 생성하는 단계를 포함하고,
    상기 조작 객체 영상을 포함하는 사용자 입력 신호를 생성하는, 사용자 인터페이스 방법.
  23. 제22항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체 영상을 디스플레이 하도록 상기 3차원 가상 객체의 동작을 제어하는, 사용자 인터페이스 방법.
  24. 제22항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체 영상을 분석하여 대표 픽셀값을 확인하고, 상기 대표 픽셀값을 상기 3차원 가상 객체에 적용하여 디스플레이 하도록 상기 3차원 가상 객체의 동작을 제어하는, 사용자 인터페이스 방법.
  25. 제22항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체 영상을 이용하여 상기 조작 객체의 형상 정보를 생성하고, 상기 조작 객체의 형상 정보를 디스플레이 하도록 상기 3차원 가상 객체의 동작을 제어하는, 사용자 인터페이스 방법.
  26. 제17항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    컨텐츠가 실행되고 있는 상태에서 상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체와 상기 컨텐츠를 연결시키고, 상기 조작 객체와 상기 컨텐츠를 포함한 사용자 입력 신호를 생성하는, 사용자 인터페이스 방법.
  27. 제26항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체와 상기 컨텐츠를 저장하는, 사용자 인터페이스 방법.
  28. 제27항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    상기 3차원 공간 내에 상기 조작 객체가 재감지될 경우, 상기 조작 객체와 연결된 상기 컨텐츠를 읽어내어 상기 컨텐츠를 실행시키기 위한 사용자 입력 신호를 생성하는, 사용자 인터페이스 방법.
  29. 제17항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    상기 3차원 공간 내에 사용자 신체, 물체 및 통신 기능을 구비한 휴대 장치 중 적어도 어느 하나를 상기 조작 객체로 감지하는, 사용자 인터페이스 방법.
  30. 제29항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    상기 3차원 공간 내에 상기 휴대 장치가 감지된 경우, 상기 휴대 장치와 통신하는 단계를 포함하고,
    상기 휴대 장치에 미리 선택되어 있는 컨텐츠를 수신하여 상기 컨텐츠가 포함된 상기 사용자 입력 신호를 생성하는, 사용자 인터페이스 방법.
  31. 제30항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 상기 컨텐츠를 실행하도록 상기 3차원 가상 객체의 동작을 제어하는, 사용자 인터페이스 방법.
  32. 제17항 내지 제31항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020120121328A 2012-10-30 2012-10-30 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법 KR101927150B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120121328A KR101927150B1 (ko) 2012-10-30 2012-10-30 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법
PCT/KR2013/001807 WO2014069722A1 (ko) 2012-10-30 2013-03-06 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법
US14/439,148 US10180766B2 (en) 2012-10-30 2013-03-06 Three-dimensional display device and user interfacing method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120121328A KR101927150B1 (ko) 2012-10-30 2012-10-30 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법

Publications (2)

Publication Number Publication Date
KR20140055054A true KR20140055054A (ko) 2014-05-09
KR101927150B1 KR101927150B1 (ko) 2018-12-10

Family

ID=50627603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120121328A KR101927150B1 (ko) 2012-10-30 2012-10-30 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법

Country Status (3)

Country Link
US (1) US10180766B2 (ko)
KR (1) KR101927150B1 (ko)
WO (1) WO2014069722A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101528485B1 (ko) * 2014-06-16 2015-06-12 한국과학기술정보연구원 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법
KR20150137792A (ko) 2014-05-30 2015-12-09 성균관대학교산학협력단 방사성 화합물 합성 장치용 인터페이스 및 그의 조작방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102089624B1 (ko) * 2013-09-02 2020-03-16 삼성전자주식회사 이미지를 합성하기 위한 방법 및 그 전자 장치
US10824294B2 (en) * 2016-10-25 2020-11-03 Microsoft Technology Licensing, Llc Three-dimensional resource integration system
US11184574B2 (en) 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US12097427B1 (en) 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6417969B1 (en) 1988-07-01 2002-07-09 Deluca Michael Multiple viewer headset display apparatus and method with second person icon display
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP2001100906A (ja) 1999-09-30 2001-04-13 Suzuki Motor Corp 三次元データ表示装置
US6344863B1 (en) 1999-11-24 2002-02-05 International Business Machines Corporation Three-dimensional GUI windows with variable-speed perspective movement
JP4332964B2 (ja) 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
US20030001906A1 (en) 2001-06-28 2003-01-02 Light John J. Moving an object on a drag plane in a virtual three-dimensional space
US20070011617A1 (en) 2005-07-06 2007-01-11 Mitsunori Akagawa Three-dimensional graphical user interface
JP2007317050A (ja) 2006-05-29 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> ３次元表示を用いたユーザインタフェースシステム
KR101345341B1 (ko) 2006-12-13 2013-12-27 삼성전자 주식회사 파일 전송을 위한 사용자 인터페이스를 제공하는 장치 및방법
JP2008257442A (ja) 2007-04-04 2008-10-23 Sharp Corp 電子掲示装置
US7881901B2 (en) 2007-09-18 2011-02-01 Gefemer Research Acquisitions, Llc Method and apparatus for holographic user interface communication
JP4453738B2 (ja) 2007-10-18 2010-04-21 ソニー株式会社 ファイル転送方法、装置、およびプログラム
US9104275B2 (en) * 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
KR20110054256A (ko) * 2009-11-17 2011-05-25 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101651568B1 (ko) 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
CN102053776B (zh) 2009-10-29 2013-11-06 深圳富泰宏精密工业有限公司 桌面管理系统及方法
KR101743948B1 (ko) 2010-04-07 2017-06-21 삼성전자주식회사 인터렉티브 디스플레이에서 근접 센싱을 위한 방법 및 근접 센싱 이미지를 처리하는 방법
KR101121746B1 (ko) 2010-04-19 2012-03-22 한국전자통신연구원 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치
KR20120000663A (ko) 2010-06-28 2012-01-04 주식회사 팬택 3ｄ 객체 처리 장치
KR20120009897A (ko) * 2010-07-22 2012-02-02 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기
KR101156734B1 (ko) 2010-11-05 2012-06-14 전자부품연구원 테이블 타입 인터렉티브 3차원 시스템
US8872762B2 (en) * 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
JP5689707B2 (ja) 2011-02-15 2015-03-25 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150137792A (ko) 2014-05-30 2015-12-09 성균관대학교산학협력단 방사성 화합물 합성 장치용 인터페이스 및 그의 조작방법
KR101528485B1 (ko) * 2014-06-16 2015-06-12 한국과학기술정보연구원 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법

Also Published As

Publication number Publication date
US20150293666A1 (en) 2015-10-15
US10180766B2 (en) 2019-01-15
WO2014069722A1 (ko) 2014-05-08
KR101927150B1 (ko) 2018-12-10

Similar Documents

Publication Publication Date Title
KR101927150B1 (ko) 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법
US12094068B2 (en) Beacons for localization and content delivery to wearable devices
US11080937B2 (en) Wearable augmented reality devices with object detection and tracking
US11538224B2 (en) Safety for wearable virtual reality devices via object detection and tracking
JP6618681B2 (ja) 情報処理装置及びその制御方法及びプログラム、並びに、情報処理システム
US9524021B2 (en) Imaging surround system for touch-free display control
EP2956843B1 (en) Human-body-gesture-based region and volume selection for hmd
US11954268B2 (en) Augmented reality eyewear 3D painting
US8388146B2 (en) Anamorphic projection device
CN105074615B (zh) 虚拟传感器系统和方法
GB2577962A (en) Markerless image analysis for augmented reality
CN107077169A (zh) 扩增现实中的空间交互
KR101341727B1 (ko) 3ｄ ｇｕｉ 제어 장치 및 방법
CN104508600A (zh) 三维用户界面装置及三维操作方法
JP2013069224A (ja) 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
CN103365411A (zh) 信息输入设备、信息输入方法和计算机程序
KR101470757B1 (ko) 증강현실 서비스 제공 방법 및 장치
CN102650906A (zh) 一种用户界面的控制方法及装置
KR101888491B1 (ko) 가상 공간 이동 장치 및 방법
US11537196B2 (en) Drift cancelation for portable object detection and tracking
US20150033157A1 (en) 3d displaying apparatus and the method thereof
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
KR101710198B1 (ko) 홀로그램 객체 표시 방법
JP5874698B2 (ja) 情報処理装置、その制御方法、及びプログラム
KR20200060202A (ko) 증강현실 기반의 동화 구현 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant