KR101950939B1 - 홀로그래픽 객체 처리 장치 및 그 동작 방법 - Google Patents

홀로그래픽 객체 처리 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR101950939B1
KR101950939B1 KR1020120101411A KR20120101411A KR101950939B1 KR 101950939 B1 KR101950939 B1 KR 101950939B1 KR 1020120101411 A KR1020120101411 A KR 1020120101411A KR 20120101411 A KR20120101411 A KR 20120101411A KR 101950939 B1 KR101950939 B1 KR 101950939B1
Authority
KR
South Korea
Prior art keywords
holographic
holographic object
distance
haptic
database
Prior art date
Application number
KR1020120101411A
Other languages
English (en)
Other versions
KR20140036390A (ko
Inventor
한승주
박준아
이보람
이현정
임수철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120101411A priority Critical patent/KR101950939B1/ko
Priority to US13/788,437 priority patent/US9658596B2/en
Publication of KR20140036390A publication Critical patent/KR20140036390A/ko
Application granted granted Critical
Publication of KR101950939B1 publication Critical patent/KR101950939B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

홀로그래픽 객체 처리 장치 및 처리 방법이 개시된다. 일실시예에 따른 홀로그래픽 객체 처리 장치는 홀로그래픽 객체(Holograghic Object)를 출력하는 디스플레이 장치; 사용자와 상기 홀로그래픽 객체 사이의 거리에 따른 상기 홀로그래픽 객체의 변경 정보를 저장하는 데이터베이스; 상기 사용자와 상기 홀로그래픽 객체 사이의 거리를 측정하는 거리 측정 센서; 상기 데이터베이스로부터 상기 측정된 거리에 대응하는 변경 정보를 추출하고, 상기 추출된 변경 정보에 기반하여 상기 홀로그래픽 객체를 변경하는 처리부를 포함하고, 상기 디스플레이 장치는 상기 변경된 홀로그래픽 객체를 출력할 수 있다.

Description

홀로그래픽 객체 처리 장치 및 그 동작 방법{Apparatus and and method for processing Holograghic Object}
본 발명의 실시예들은 홀로그래픽 객체를 처리하는 기술에 관한 것이다.
최근 3D 입체영화가 등장하여 흥행에 성공하고, 또한 가정용 TV의 안경에 착용하는 방식 또는 무안경 방식의 입체 디스플레이 기술이 발전하면서, 입체 영상 제작 기술에 관한 관심이 높아지고 있다. 이와 같이, 차세대 3D 정보 단말 기술의 총아로 불리는 3D 입체 영상 기술은 영화, 방송, 오락, 우주항공, 군사, 의료 등 광범위한 산업 분야에서 활용되고 있어, 큰 영향을 가진 기술로 예상되고 있다.
이에 3D 입체 영상 기술의 하나로서, 인간의 좌/우 눈의 위치 차이에 의해 서로 다른 영상을 받아들이고, 뇌는 이러한 영상을 입체로 받아들이는 점을 이용한 양안 시차 방식의 기술이 개발되고 있다.
그러나, 이와 같은 기술은 인간에게 두통 및 어지럼증 등을 줄 수 있는 문제가 있다. 이는 모두 입체 영상 제작 시의 영상 정렬, 광학적 왜곡, 입체감 조절을 위한 카메라 세팅 및 감성적 측면 등을 충분히 고려하지 못한 입체 영상물 촬영 및 디스플레이 장치의 세팅과, 좌우 영상을 번갈아 뿌려주면서 발생되는 플리커 현상, 과도한 돌출효과 생성에 의한 입체영상 자체의 왜곡 등으로부터 기인한다.
이러한 양안 시차 방식의 문제를 해결하기 위하여 홀로그래피(Holography) 기술이 개발되고 있다. 일반적으로, 인간은 물체에 부딪쳐 나오는 빛으로 인해 3차원 물체를 인지하게 되는데, 이 물체의 빛을 생성할 수만 있다면 실제의 물체 형상을 재현하는 것이 가능하게 될 것이다. 홀로그램 기술은 이러한 빛을 생성한 것으로서, 레이저 빛을 사용해 물체로부터 반사되어 나오는 물체파를 또 다른 방향에서 나온 레이저 빛과 만나게 하여 사진필름에 함께 기록한다. 이 때 두 방향의 빛이 만나면 물체의 각 구분에서 반사된 물체파의 위상 차이에 따른 간섭무늬가 생성되고, 생성된 간선 무늬에는 물체의 진폭과 위상이 함께 기록된다. 이렇게 간섭무늬의 형태로 물체의 형상이 기록된 사진 필름을 홀로그램(Hologram)이라 하며, 홀로그램을 기록하는 기술을 홀로그래피라고 한다.
또한, 영상을 홀로그램으로 표현하는 것에서 더 나아가 사용자가 홀로그램으로 표현된 영상을 터치하거나 조작하여 홀로그램 영상을 변경/조작하는 기술도 연구되고 있다.
본 발명의 일실시예에 따른 홀로그래픽 객체 처리 장치는, 홀로그래픽 객체(Holograghic Object)를 출력하는 디스플레이 장치; 제어 객체(Control Object)와 상기 홀로그래픽 객체 사이의 거리에 따른 상기 홀로그래픽 객체의 변경 정보를 저장하는 데이터베이스; 상기 제어 객체와 상기 홀로그래픽 객체 사이의 거리를 측정하는 거리 측정 센서; 상기 데이터베이스로부터 상기 측정된 거리에 대응하는 변경 정보를 추출하고, 상기 추출된 변경 정보에 기반하여 상기 홀로그래픽 객체를 변경하는 처리부를 포함하고, 상기 디스플레이 장치는 상기 변경된 홀로그래픽 객체를 출력할 수 있다.
일측에 따른 상기 데이터베이스는 상기 제어 객체와 상기 홀로그래픽 객체 사이를 거리에 따라 복수의 영역으로 구분하는 레이어 정보; 및 상기 복수의 영역 각각에 대응하는 복수의 상기 변경 정보를 포함할 수 있다.
일실시예에 따른 상기 데이터베이스는 상기 제어 객체와 상기 홀로그래픽 객체 사이의 거리에 따른 햅틱 정보(Haptic Information)를 더 포함하고, 상기 처리부는 상기 데이터베이스로부터 상기 측정된 거리에 대응하는 햅틱 정보를 추출하고, 사용자의 신체 부위 중 적어도 하나의 부위에 부착되어 있는 햅틱 구동 장치로 상기 추출된 햅틱 정보를 전송할 수 있다.
일실시예에 따른 상기 햅틱 구동 장치는 상기 추출된 햅틱 정보를 수신하여 상기 수신된 햅틱 정보에 기반하여 햅틱감을 재현할 수 있다.
일실시예에 따른 상기 햅틱 정보는 행태감, 압력감, 열감 및 진동 중 적어도 하나를 포함할 수 있다.
일실시예에 따른 상기 거리 측정 센서는 상기 제어 객체가 상기 홀로그래픽 객체 내부에 위치하는 경우, 상기 제어 객체와 맞닿아 있는 홀로그래픽 객체의 표면과 상기 제어 객체 사이의 거리를 측정하고, 상기 처리부는 상기 데이터베이스로부터 상기 측정된 거리에 대응하는 변경 정보를 추출하고, 상기 추출된 변경 정보에 기반하여 상기 홀로그래픽 객체를 변경하며, 상기 디스플레이 장치는 상기 변경된 홀로그래픽 객체를 출력할 수 있다.
본 발명의 일실시예에 따른 홀로그래픽 객체 처리 장치의 동작 방법은, 홀로그래픽 객체(Holograghic Object)를 출력하는 단계; 제어 객체와 상기 홀로그래픽 객체 사이의 거리를 측정하는 단계; 상기 제어 객체와 상기 홀로그래픽 객체 사이의 거리에 따른 상기 홀로그래픽 객체의 변경 정보를 저장하는 데이터베이스로부터 상기 측정된 거리에 대응하는 변경 정보를 추출하는 단계; 상기 추출된 변경 정보에 기반하여 상기 홀로그래픽 객체를 변경하는 단계; 및 상기 변경된 홀로그래픽 객체를 출력하는 단계를 포함할 수 있다.
실시예에 따라서는 상기 데이터베이스로부터 상기 측정된 거리에 대응하는 햅틱 정보를 추출하는 단계; 및 사용자의 신체 부위 중 적어도 하나의 부위에 부착되어 있는 햅틱 구동 장치로 상기 추출된 햅틱 정보를 전송하는 단계를 더 포함하고, 상기 데이터베이스는 상기 제어 객체와 상기 홀로그래픽 객체 사이의 거리에 따른 햅틱 정보(Haptic Information)를 더 포함할 수 있다.
제어 객체와 홀로그래픽 객체 사이의 거리에 따라 홀로그래픽 객체를 변경함으로써, 제어 객체와 홀로그래픽 객체 사이의 상호 작용을 보다 구체적으로 세분화할 수 있다.
또한, 제어 객체와 홀로그래픽 객체 사이의 거리에 따라 햅틱감을 재현함으로써, 사용자와 홀로그래픽 객체 사이의 직관적 상호 작용이 가능하다.
도 1은 홀로그래픽 객체 처리 장치의 동작예를 나타내는 도면이다.
도 2는 홀로그래픽 객체 처리 장치의 구성을 나타내는 도면이다.
도 3은 데이터베이스에 저장된 변경 정보를 나타내는 도면이다.
도 4는 도 3의 변경 정보에 기반하여 동작하는 홀로그래픽 객체 처리 장치를 나타내는 도면이다.
도 5는 데이터베이스에 저장된 변경 정보를 나타내는 도면이다.
도 6은 도 5의 변경 정보에 기반하여 동작하는 홀로그래픽 객체 처리 장치를 나타내는 도면이다.
도 7은 햅틱 구동 장치를 나타내는 도면이다.
도 8은 데이터베이스에 저장된 햅틱 정보를 나타내는 도면이다.
도 9는 도 8의 햅틱 정보에 기반하여 홀로그래픽 객체 처리 장치를 나타내는 도면이다.
도 10은 홀로그래픽 객체 처리 장치의 동작 방법을 나타내는 흐름도이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 홀로그래픽 객체 처리 장치의 동작예를 나타내는 도면이다.
도 1을 참조하면, 홀로그래픽 객체 처리 장치의 디스플레이 장치는 홀로그래픽 객체(Holograghic Object)를 출력할 수 있다. 홀로그래픽 객체는 홀로그램으로 표현된 영상(객체)을 나타낸다.
이 때, 홀로그래픽 객체 처리 장치는 홀로그래픽 객체를 표시할 수 있을 뿐만 아니라, 사용자 또는 제어 객체와의 상호 작용 내용에 따라 홀로그래픽 객체를 변경하여 표시할 수 있다.
이 때, 제어 객체(Control Object)는 홀로그래픽 객체를 제어하기 위하여 사용자가 사용하는 객체를 나타낸다. 제어 객체는 사용자의 손, 발 등의 신체 부위나 스타일러스 펜, 요술봉 등의 장치가 될 수 있다. 즉, 홀로그래픽 객체 처리 장치의 사용자는 제어 객체를 이용하여 홀로그래픽 객체의 형태/상태 등을 변경/조작 등 할 수 있다.
제어 객체가 홀로그래픽 객체와 기준값 이상의 거리만큼 떨어져 있는 경우, 홀로그래픽 객체 처리 장치는 홀로그래픽 객체에 별도의 변경 처리를 가하지 않고 디스플레이 장치를 통하여 본래의 홀로그래픽 객체를 표시할 수 있다.
사용자가 손가락을 홀로그래픽 객체 쪽으로 뻗어 오는 경우, 홀로그래픽 객체 처리 장치는 사용자의 손가락 끝 부분과 홀로그래픽 객체 사이의 거리에 따라 기준값 및 미리 설정되어 있는 변경 내용을 이용하여, 홀로그래픽 객체를 변경하고 변경된 홀로그래픽 객체를 표시할 수 있다.
예를 들어 제어 객체가 사용자의 손가락이고, 기준값은 10cm이며, 기준값이 10cm 미만일 경우에 홀로그래픽 객체가 찌그러진 형태로 변경하여 표시하게 되어 있도록 설정되어 있다고 가정한다.
이 경우 손가락(101) 이 홀로그래픽 객체와 기준값 이상 떨어져 있는 경우, 홀로그래픽 객체 처리 장치는 완전한 구 형태의 공(102)을 표시할 수 있다.
반면에, 손가락 끝(111)과 홀로그래픽 객체 사이의 거리가 기준값 미만(10cm 미만) 인 경우, 홀로그래픽 객체 처리 장치는 구 형태의 공이 찌그러진 형태(112)로 표시되도록 홀로그래픽 객체를 변경하고, 변경된 홀로그래픽 객체(찌그러진 공 모양(112))를 표시할 수 있다.
실시예에 따라서는 홀로그래픽 객체 처리 장치는 손가락 끝과 홀로그래픽 객체 사이의 거리가 더 가까워질수록 공이 찌그러지는 정도를 더 크게하여 표시할 수 있다.
도 2는 홀로그래픽 객체 처리 장치의 구성을 나타내는 도면이다.
도 2를 참조하면, 홀로그래픽 객체 처리 장치는 디스플레이 장치(210), 데이터베이스(220), 거리 측정 센서(230) 및 처리부(240)를 포함한다.
디스플레이 장치(210)는 홀로그래픽 객체(Holograghic Object)(202)를 출력한다. 디스플레이 장치(210)는 처리부(240)로부터 표시할 홀로그래픽 객체(202)를 입력 받고, 입력 받은 홀로그래픽 객체(202)를 출력할 수 있다.
데이터베이스(220)는 제어 객체와 홀로그래픽 객체(202) 사이의 거리에 따른 홀로그래픽 객체(202)의 변경 정보를 저장할 수 있다.
보다 구체적으로는, 데이터베이스(220)는 레이어(Layer) 정보 및 각 레이어 별 변경 정보를 저장할 수 있다.
레이어 정보는 제어 객체와 홀로그래픽 객체(202) 사이를 거리에 따라 복수의 영역으로 구분하는 정보를 나타낸다. 레이어 정보는 미리 설정될 수 있다.
또한, 레이어 별 변경 정보는 제어 객체와 홀로그래픽 객체(202) 사이를 거리에 따라 구분한 복수의 레이어 각각에 대응하는 변경 정보일 수 있다.
예를 들어, 제어 객체와 홀로그래픽 객체(202) 사이의 거리가 0~10cm인 영역을 제1 레이어, 10~20cm인 영역을 제2 레이어, 20cm 이상인 영역을 제3 레이어로 미리 설정할 수 있다. 또한, i) 제3 레이어에서는 홀로그래픽 객체(202)에 아무런 변경을 가하지 않고, ii) 제2 레이어에서는 홀로그래픽 객체(202)의 색상을 변경하며, iii) 제1 레이어에서는 홀로그래픽 객체(202)의 형태를 찌그러진 형태로 변경하는 것으로 변경 정보를 설정할 수 있다. 즉, 홀로그래픽 객체(202)가 변경되는 변경 정보를 각 레이어 별로 각기 다르게 설정함으로써, 제어 객체와 홀로그래픽 객체(202) 사이의 상호 작용을 보다 구체적으로 세분화할 수 있다.
변경 정보는 홀로그래픽 객체(202)의 형상, 색상, 해상도, 크기, 출력 방향 등을 변경하는 정보를 포함할 수 있다. 예를 들어, 변경 정보는 홀로그래픽 객체(202) 형상을 찌그러지게 하거나, 색상을 변경하거나, 해상도를 낮게 변경하거나, 크기를 확대 또는 축소하거나, 홀로그래픽 객체(202)의 위아래가 바뀌어서 출력되도록 변경하는 정보 등을 포함할 수 있다.
따라서, 홀로그래픽 객체 처리 장치는 데이터베이스(220)에 저장된 레이어 정보 및 변경 정보에 기반하여, 제어 객체와 홀로그래픽 객체(202) 사이의 거리에 따라 홀로그래픽 객체(202)를 변경하여 출력할 수 있다.
이 때, 거리 측정 센서(230)는 제어 객체와 홀로그래픽 객체(202) 사이의 거리를 측정할 수 있다
거리 측정 센서(230)를 통하여 제어 객체와 홀로그래픽 객체(202) 사이의 거리가 측정되면, 처리부(240)는 데이터베이스(220)로부터 측정된 거리에 대응하는 변경 정보를 추출할 수 있다. 또한, 처리부(240)는 추출된 변경 정보에 기반하여 홀로그래픽 객체(202)를 변경할 수 있다. 홀로그래픽 객체(202)가 변경되면, 디스플레이 장치(210)는 변경된 홀로그래픽 객체(202)를 출력하여 표시할 수 있다. 이하, 도 3 및 도 4를 참조하여, 처리부(240)의 동작에 대해서 자세히 설명한다.
도 3은 데이터베이스에 저장된 변경 정보를 나타내는 도면이다.
도 3을 참조하면, 제어 객체(201)와 홀로그래픽 객체(202) 사이를 거리에 따라 3개의 영역(레이어)으로 설정할 수 있다. 즉, 제1 레이어(311)는 제어 객체(201)와 홀로그래픽 객체(202) 사이의 거리가 0~10cm인 영역을 나타내고, 제2 레이어(312)는 거리가 10~20cm인 영역을 나타내며, 제3 레이어(313)는 거리가 20cm 이상인 영역을 나타내도록 레이어를 설정할 수 있다.
또한, 각 레이어에 대응하는 변경 정보로서, 제1 레이어(311)에 대하여 홀로그래픽 객체(202)를 확대 변경(321)하는 것으로, 제2 레이어(312)에 대하여 홀로그래픽 객체(202)의 색상을 변경(322)하는 것으로, 제3 레이어(313)에 대하여 홀로그래픽 객체(202)를 변경하지 않는 것(323)으로 변경 정보를 각각 설정할 수 있다.
도 4는 도 3의 변경 정보에 기반하여 동작하는 홀로그래픽 객체 처리 장치를 나타내는 도면이다.
도 4를 참조하면, 거리 측정 센서(230)는 제어 객체(401)와 홀로그래픽 객체(202)인 완벽한 구 형태의 공(402) 사이의 거리를 측정할 수 있다. 측정된 거리가 20cm 이상으로서(예를 들어, 30cm), 제어 객체(401)가 제3 레이어 영역(413)에 위치하는 것으로 판단되는 경우, 홀로그래픽 객체 처리 장치의 처리부(240)는 데이터베이스(220)에 저장된 제3 레이어(413)에 대응하는 변경 정보(323)에 기반하여 홀로그래픽 객체(202)에 대하여 별도의 변경 처리를 하지 않은 채로 디스플레이 장치(210)를 통하여 계속하여 홀로그래픽 객체(202)를 완벽한 구 형태의 공(402)으로 표시할 수 있다.
측정된 거리가 10~20cm 사이로서(예를 들어, 15cm), 제어 객체(401)가 제2 레이어(412) 영역에 위치하는 것으로 판단되는 경우, 홀로그래픽 객체 처리 장치의 처리부(240)는 데이터베이스(220)에 저장된 제2 레이어(412)에 대응하는 변경 정보(322)에 기반하여 홀로그래픽 객체(202)의 색상을 변경하여 디스플레이 장치(210)를 통하여 표시할 수 있다.
측정된 거리가 0~10cm 사이로서(예를 들어, 2cm), 제어 객체(401)가 제1 레이어(411) 영역에 위치하는 것으로 판단되는 경우, 홀로그래픽 객체 처리 장치의 처리부(240)는 데이터베이스(220)에 저장된 제1 레이어(411)에 대응하는 변경 정보(321)에 기반하여 홀로그래픽 객체(202)를 확대 변경하여 디스플레이 장치(210)를 통하여 표시할 수 있다.
이하 다시 도 2를 참조하여 홀로그래픽 객체 처리 장치에 대하여 설명한다.
홀로그래픽 객체(202)는 빛의 분포로 표현되는 영상이기 때문에, 제어 객체(201)가 홀로그래픽 객체(202)를 직접 만질 수는 없다. 다만, 홀로그래픽 객체(202)가 표시되는 공간에 제어 객체를 위치시킬 수 있을 뿐이다. 하지만, 반대로 홀로그래픽 객체(202)는 물리적 재질로 형성된 표면을 갖지 않기 때문에, 제어 객체(201)는 홀로그래픽 객체(202)를 통과할 수 있다. 즉, 제어 객체(201)는 홀로그래픽 객체(202) 내부에 위치할 수 있다.
따라서, 제어 객체(201)가 홀로그래픽 내부에 위치하는 경우, 거리 측정 센서(230)는 제어 객체(201)와 접촉하고 있는 홀로그래픽 객체(202)의 표면과 제어 객체(201) 사이의 거리를 측정할 수 있다.
일 실시예로, 홀로그래픽 객체(202) 의 표면과 제어 객체(201) 사이의 거리를 기준으로 해당 홀로그래픽 객체(202)를 변경시킬 수 있다.
이 때, 처리부(240)는 데이터베이스(220)로부터 측정된 거리에 대응하는 변경 정보를 추출할 수 있다. 즉, 데이터베이스(220)는 제어 객체가 홀로그래픽 객체(202) 외부에 존재하는 경우의 거리 별 변경 정보를 저장할 수 있을 뿐만 아니라, 제어 객체가 홀로그래픽 객체(202) 내부에 존재하는 경우의 거리별 변경 정보도 저장할 수 있다.
또한, 처리부(240)는 추출된 변경 정보에 기반하여 홀로그래픽 객체(202)를 변경할 수 있다. 디스플레이 장치(210)는 변경된 홀로그래픽 객체(202)를 출력하여 표시할 수 있다.
이하, 도 5 및 도 6을 참조하여, 제어 객체가 홀로그래픽 객체 내부로 들어온 경우의 처리부(240)의 동작에 대해서 자세히 설명한다.
도 5는 데이터베이스에 저장된 변경 정보를 나타내는 도면이다.
도 5를 참조하면, 제어 객체(201)가 홀로그래픽 객체(202) 내부에 위치하는 경우 제어 객체(201)와 홀로그래픽 객체(202) 사이의 거리에 따라 2개의 영역(레이어)으로 설정할 수 있다.
제어 객체(201)와 홀로그래픽 객체(202)사이의 거리는 다양한 방법으로 변경 실시 가능하나, 본 명세서에서는 제어 객체(201)와 홀로그래픽 객체(202)의 표면 사이의 거리를 측정하는 것을 예로 들어 설명한다.
즉, 제A 레이어(511)는 홀로그래픽 객체(202)의 내부 영역 중에서 제어 객체(201)와 홀로그래픽 객체(202) 사이의 거리가 0~5cm인 영역을 나타내고, 제B 레이어(512)는 거리가 5cm 이상인 영역을 나타내도록 레이어를 설정할 수 있다.
또한, 각 레이어에 대응하는 변경 정보로서, 제A 레이어(511)에 대하여 홀로그래픽 객체(202)를 확대 변경(521)하는 것으로, 제B 레이어(512)에 대하여 홀로그래픽 객체(202)의 해상도를 낮게 변경(522)하는 것으로 변경 정보를 각각 설정할 수 있다.
도 6은 도 5의 변경 정보에 기반하여 동작하는 홀로그래픽 객체 처리 장치를 나타내는 도면이다.
도 6을 참조하면, 거리 측정 센서(230)는 제어 객체(601)와 홀로그래픽 객체(202) 사이의 거리를 측정할 수 있다.
측정된 거리가 0~5cm 사이로서(예를 들어, 2cm), 제어 객체(601)가 제A 레이어(611) 영역에 위치하는 것으로 판단되는 경우, 홀로그래픽 객체 처리 장치의 처리부(240)는 데이터베이스(220)에 저장된 제A 레이어(611)에 대응하는 변경 정보(521)에 기반하여 홀로그래픽 객체(202)를 확대 변경하여 디스플레이 장치(210)를 통하여 표시할 수 있다.
측정된 거리가 5cm 이상으로서(예를 들어, 7cm), 제어 객체(601)가 제B 레이어 영역(612)에 위치하는 것으로 판단되는 경우, 홀로그래픽 객체 처리 장치의 처리부(240)는 데이터베이스(220)에 저장된 제B 레이어(612)에 대응하는 변경 정보(522)에 기반하여 홀로그래픽 객체(202)의 해상도를 낮추어 홀로그래픽 객체(202)를 디스플레이 장치(210)를 통하여 표시할 수 있다.
다시 도 2를 참조하면, 일측에 따른 홀로그래픽 객체 처리 장치는 구동 장치(Actuator)를 통하여 제어 객체(201)와 홀로그래픽 객체(202) 사이의 거리에 따라 사용자에게 햅틱감(Haptic感)을 제공할 수 있다.
즉, 홀로그래픽 객체 처리 장치는 제어 객체(201)와 홀로그래픽 객체(202) 사이의 거리에 따라 홀로그래픽 객체(202) 자체를 변경할 수도 있지만, 나아가 제어 객체(201)와 홀로그래픽 객체(202) 사이의 거리에 따라 사용자에게 구동 장치를 통한 햅틱감을 제공함으로써, 사용자에게 홀로그래픽 객체(202)를 조작하는 느낌을 보다 실감나게 제공할 수 있다.
이 때, 데이터베이스(220)는 제어 객체(201)와 홀로그래픽 객체(202) 사이의 거리에 따른 햅틱 정보(Haptic Information)를 더 포함할 수 있다. 햅틱 정보는 행태감, 압력감, 열감 및 진동 중 적어도 하나를 포함할 수 있다.
거리 측정 센서(230)를 통하여 제어 객체(201)와 홀로그래픽 객체(202) 사이의 거리가 측정되면, 처리부(240)는 데이터베이스(220)로부터 측정된 거리에 대응하는 햅틱 정보를 추출할 수 있다. 또한, 처리부(240)는 추출된 햅틱 정보를 햅틱 구동 장치(Haptic Actuator)로 전송할 수 있다. 이 때, 햅틱 구동 장치는 제어 객체(201)에 부착될 수 있다.
예를 들어, 제어 객체(201)가 사람의 손가락인 경우에, 햅틱 구동 장치는 골무 형태로 제작되어 손가락 끝에 부착할 수 있도록 설계될 수 있으며, 장갑 형태로 제작되어 손에 장착될 수 있다. 햅틱 구동 장치는 홀로그래픽 객체 처리 장치로부터 추출된 햅틱 정보를 수신하고, 수신된 햅틱 정보에 기반하여 햅틱감을 재현할 수 있다.
이하, 도 7 내지 도 9를 참조하여, 햅틱 구동 장치 및 햅틱감을 제공하기 위한 홀로그래픽 객체 처리 장치의 동작에 대해서 자세히 설명한다.
도 7은 햅틱 구동 장치를 나타내는 도면이다.
도 7을 참조하면, 햅틱 구동 장치는 핀 어레이(Pin-Array) 장치(710), 공압 장치(720), 펠티에(peltier) 장치(730) 및 진동 장치(740) 중 적어도 하나의 장치를 포함할 수 있다.
도 7에서는 제어 객체(201)가 사람의 손가락인 경우를 가정하여 설명하고 있으나, 다양한 방법으로 설계 변경이 가능하다.
핀 어레이 장치(710)는 햅틱 정보에 따라 핀(Pin)의 높낮이를 조절하여 사용자에게 형태감을 제공할 수 있다.
공압 장치(720)는 햅틱 정보에 따라 압력을 가하는 정도를 조절하여 사용자에게 압력감을 제공할 수 있다.
펠티에 장치(730)는 햅틱 정보에 따라 온도를 조절하여 사용자에게 열감을 제공할 수 있다.
진동 장치(740)는 햅틱 정보에 따라 진동 세기를 조절하여 사용자에게 진동감을 제공할 수 있다.
도 8은 데이터베이스에 저장된 햅틱 정보를 나타내는 도면이다.
도 8을 참조하면, 제어 객체(201)와 홀로그래픽 객체(202) 사이를 거리에 따라 2개의 영역(제1 레이어(812) 및 제2 레이어(811))으로 설정할 수 있다.
또한, 제어 객체(201)가 홀로그래픽 객체(202) 내부에 존재해는 경우, 제어 객체(201)와 홀로그래픽 객체(202) 사이의 거리에 따라 2개의 영역(제A 레이어(813) 및 제B 레이어(814))으로 설정할 수 있다.
즉, 제1 레이어(812)는 제어 객체(201)와 홀로그래픽 객체(202) 사이의 거리가 0~10cm인 영역을 나타내고, 제2 레이어(811)는 거리가 10cm 이상인 영역을 나타내도록 레이어를 설정할 수 있다.
또한, 제A 레이어(813)는 홀로그래픽 객체(202)의 내부 영역 중에서 제어 객체와 홀로그래픽 객체(202) 표면 사이의 거리가 0~5cm인 영역을 나타내고, 제B 레이어(814)는 거리가 5cm 이상인 영역을 나타내도록 레이어를 설정할 수 있다.
또한, 각 레이어에 대응하는 햅틱 정보로서, 제2 레이어(811)에 대하여 손가락 바닥에 동일 크기의 압력을 가하는 것(821)으로, 제1 레이어(812)에 대하여 손가락 바닥에 서로 다른 크기의 압력을 가하는 것(822)으로 햅틱 정보를 각각 설정할 수 있다. 따라서, 홀로그래픽 객체가 표면이 울퉁불퉁한 공인 경우, 손가락 끝이 홀로그래픽 객체와 거리가 먼 경우에는(예를 들어, 15cm), 햅틱 구동 장치를 통하여 손가락 바닥 부분에 동일 크기의 압력이 가해지기 때문에 사용자는 홀로그래픽 객체의 표면이 매끈하다고 느낄 수 있다. 그러나, 사용자의 손가락이 홀로그래픽 객체에 가까워지는 경우에는(예를 들어 5cm), 햅틱 구동 장치를 통하여 손가락 바닥 부분에 다른 크기의 압력이 가해지기 때문에 사용자는 홀로그래픽 객체의 표면이 울퉁불퉁하다고 느낄 수 있다.
또한, 제A 레이어(813)에 대하여 손가락 주위에 작은 압력을 가하는 것(823)으로, 제B 레이어(814)에 대하여 손가락 주위에 큰 압력을 가하는 것(824)으로 햅틱 정보를 각각 설정할 수 있다. 따라서, 손가락 끝이 홀로그래픽 객체를 통과하여 조금만 들어간 경우에는(예를 들어, 2cm), 햅틱 구동 장치를 통하여 손가락 주위에 작은 압력이 가해지게 되지만, 손가락 끝이 계속 이동하여 홀로그래픽 객체 내부의 깊숙한 곳까지 들어간 경우에는(예를 들어, 7cm), 햅틱 구동 장치를 통하여 손가락 주위에 큰 압력이 가해지게 되기 때문에, 사용자는 홀로그래픽 객체 내부로 손이 들어갈수록 강한 압력을 느낄 수 있다.
도 9는 도 8의 햅틱 정보에 기반하여 동작하는 홀로그래픽 객체 처리 장치를 나타내는 도면이다.
도 9를 참조하면, 거리 측정 센서(230)는 제어 객체(901)와 홀로그래픽 객체(902)인 울퉁불퉁한 형태의 공(902) 사이의 거리를 측정할 수 있다. 측정된 거리가 10cm 이상으로서(예를 들어, 20cm), 제어 객체(901)가 제2 레이어 영역(912)에 위치하는 것으로 판단되는 경우, 홀로그래픽 객체 처리 장치의 처리부(240)는 데이터베이스(220)에 저장된 제2 레이어(912)에 대응하는 햅틱 정보를 추출하여 햅틱 구동 장치로 전송할 수 있다. 이 때, 햅틱 구동 장치는 수신된 햅틱 정보에 기반하여 손가락 바닥에 동일 크기의 압력을 가할 수 있다.
측정된 거리가 0~10cm 사이로서(예를 들어, 2cm), 제어 객체(901)가 제1 레이어(911) 영역에 위치하는 것으로 판단되는 경우, 홀로그래픽 객체 처리 장치의 처리부(240)는 데이터베이스(220)에 저장된 제1 레이어(911)에 대응하는 햅틱 정보를 추출하여 햅틱 구동 장치로 전송할 수 있다. 이 때, 햅틱 구동 장치는 수신된 햅틱 정보에 기반하여 손가락 바닥에 서로 다른 크기의 압력을 가할 수 있다.
또한, 거리 측정 센서(230)는 제어 객체(901)가 홀로그래픽 객체(902)의 내부에 위치하고 있는 경우에, 제어 객체(901)와 홀로그래픽 객체(902) 사이의 거리를 측정할 수 있다.
측정된 거리가 0~5cm 사이로서(예를 들어, 2cm), 제어 객체(901)가 제A 레이어(913) 영역에 위치하는 것으로 판단되는 경우, 홀로그래픽 객체 처리 장치의 처리부(240)는 데이터베이스(220)에 저장된 제A 레이어(913)에 대응하는 햅틱 정보를 추출하여 햅틱 구동 장치로 전송할 수 있다. 이 때, 햅틱 구동 장치는 수신된 햅틱 정보에 기반하여 손가락 주위에 작은 크기의 압력을 가할 수 있다.
측정된 거리가 5cm 이상으로서(예를 들어, 7cm), 제어 객체(901)가 제B 레이어 영역(914)에 위치하는 것으로 판단되는 경우, 홀로그래픽 객체 처리 장치의 처리부(240)는 데이터베이스(220)에 저장된 제B 레이어(914)에 대응하는 햅틱 정보를 추출하여 햅틱 구동 장치로 전송할 수 있다. 이 때, 햅틱 구동 장치는 수신된 햅틱 정보에 기반하여 손가락 주위에 큰 크기의 압력을 가할 수 있다.
이상 도 2 내지 도 6에서 설명한 변경 정보 및 도 8 및 도 9에서 설명한 햅틱 정보는 홀로그래픽 객체 처리 장치에 동시에 적용될 수 있음은 물론이다.
도 10은 홀로그래픽 객체 처리 장치의 동작 방법을 나타내는 흐름도이다.
도 10을 참조하면, 홀로그래픽 객체 처리 장치의 동작 방법은 홀로그래픽 객체(Holograghic Object)를 출력한다(1010).
홀로그래픽 객체 처리 장치의 동작 방법은 데이터베이스에 제어 객체와 홀로그래픽 객체 사이의 거리에 따른 홀로그래픽 객체의 변경 정보를 저장할 수 있다.
보다 구체적으로는, 홀로그래픽 객체 처리 장치의 동작 방법은 데이터베이스에 레이어(Layer) 정보 및 각 레이어 별 변경 정보를 저장할 수 있다. 레이어 정보는 제어 객체와 홀로그래픽 객체 사이를 거리에 따라 복수의 영역으로 구분하는 정보를 나타낸다. 레이어 정보는 미리 설정될 수 있다.
또한, 레이어 별 변경 정보는 제어 객체와 홀로그래픽 객체 사이를 거리에 따라 구분한 복수의 레이어 각각에 대응하는 변경 정보일 수 있다.
변경 정보는 홀로그래픽 객체의 형상, 색상, 해상도, 크기, 출력 방향 등을 변경하는 정보를 포함할 수 있다.
홀로그래픽 객체 처리 장치의 동작 방법은 제어 객체와 홀로그래픽 객체 사이의 거리를 측정할 수 있다(1020). 일실시예에 따른, 홀로그래픽 객체 처리 장치의 동작 방법은 제어 객체와 홀로그래픽 객체 사이의 거리를 측정할 수 있다. 즉, 홀로그래픽 객체 처리 장치의 동작 방법은 제어 객체와 홀로그래픽 객체 사이의 거리를 측정함으로써, 홀로그래픽 객체와 가장 가까운 거리에 위치한 제어 객체를 감지하고, 감지된 제어 객체와 홀로그래픽 객체 사이의 거리를 측정할 수 있다.
제어 객체와 홀로그래픽 객체 사이의 거리가 측정되면, 홀로그래픽 객체 처리 장치의 동작 방법은 데이터베이스로부터 측정된 거리에 대응하는 변경 정보를 추출할 수 있다(1030).
또한, 홀로그래픽 객체 처리 장치의 동작 방법은 추출된 변경 정보에 기반하여 홀로그래픽 객체를 변경할 수 있다(1040).
홀로그래픽 객체가 변경되면, 홀로그래픽 객체 처리 장치의 동작 방법은 변경된 홀로그래픽 객체를 출력하여 표시할 수 있다(1050).
제어 객체가 홀로그래픽 객체 내부에 위치하는 경우, 홀로그래픽 객체 처리 장치의 동작 방법은 홀로그래픽 객체와 제어 객체 사이의 거리를 측정할 수 있다.
일 실시예로, 홀로그래픽 객체의 표면 중에서 제어 객체가 통과함으로써 제어 객체와 맞닿아 있는 표면과 제어 객체 사이의 거리를 측정함으로써, 홀로그래픽 객체 처리 장치의 동작 방법은 홀로그래픽 객체 내부로 가장 깊이 들어온 제어 객체(예를 들어, 손가락 끝 부분)가 얼마나 깊이 들어왔는지 그 거리를 측정할 수 있다.
이 때, 홀로그래픽 객체 처리 장치의 동작 방법은 데이터베이스로부터 측정된 거리에 대응하는 변경 정보를 추출할 수 있다. 즉, 일실시예에 따른 데이터베이스는 제어 객체가 홀로그래픽 객체 외부에 존재하는 경우의 거리 별 변경 정보를 저장할 수 있을 뿐만 아니라, 제어 객체가 홀로그래픽 객체 내부에 존재하는 경우의 거리 별 변경 정보도 저장할 수 있다.
또한, 홀로그래픽 객체 처리 장치의 동작 방법은 추출된 변경 정보에 기반하여 홀로그래픽 객체를 변경할 수 있다. 홀로그래픽 객체 처리 장치의 동작 방법은 디스플레이 장치를 통하여 변경된 홀로그래픽 객체를 출력하여 표시할 수 있다.
일측에 따른 홀로그래픽 객체 처리 장치의 동작 방법은 구동 장치(Actuator)를 통하여 제어 객체와 홀로그래픽 객체 사이의 거리에 따라 사용자에게 햅틱감(Haptic感)을 제공할 수 있다.
즉, 홀로그래픽 객체 처리 장치의 동작 방법은 제어 객체와 홀로그래픽 객체 사이의 거리에 따라 홀로그래픽 객체 자체를 변경할 수도 있지만, 나아가 제어 객체와 홀로그래픽 객체 사이의 거리에 따라 사용자에게 구동 장치를 통한 햅틱감을 제공함으로써, 사용자에게 홀로그래픽 객체를 조작하는 느낌을 보다 실감나게 제공할 수 있다.
이 때, 데이터베이스는 제어 객체와 홀로그래픽 객체 사이의 거리에 따른 햅틱 정보(Haptic Information)를 더 포함할 수 있다. 햅틱 정보는 행태감, 압력감, 열감 및 진동 중 적어도 하나를 포함할 수 있다.
제어 객체와 홀로그래픽 객체 사이의 거리가 측정되면, 홀로그래픽 객체 처리 장치의 동작 방법은 데이터베이스로부터 측정된 거리에 대응하는 햅틱 정보를 추출할 수 있다. 또한, 홀로그래픽 객체 처리 장치의 동작 방법은 추출된 햅틱 정보를 햅틱 구동 장치(Haptic Actuator)로 전송할 수 있다. 이 때, 햅틱 구동 장치는 제어 객체에 부착될 수 있다.
햅틱 구동 장치는 홀로그래픽 객체 처리 장치로부터 추출된 햅틱 정보를 수신하고, 수신된 햅틱 정보에 기반하여 햅틱감을 재현할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
201: 제어 객체
202: 홀로그래픽 객체
210: 디스플레이 장치
220: 데이터베이스
230: 거리 측정 센서
240: 처리부

Claims (9)

  1. 홀로그래픽 객체(Holograghic Object)를 출력하는 디스플레이 장치;
    제어 객체(Control Object)와 상기 홀로그래픽 객체의 표면 사이의 거리를 거리의 범위의 따라서 복수의 영역으로 구분하고 각각의 영역에 따른 상기 홀로그래픽 객체의 변경 정보를 저장하는 데이터베이스;
    상기 제어 객체와 상기 홀로그래픽 객체의 표면 사이의 거리를 측정하는 거리 측정 센서;
    상기 데이터베이스로부터 상기 측정된 거리에 대응하는 영역의 상기 홀로그래픽 객체의 변경 정보를 추출하고, 상기 추출된 변경 정보에 기반하여 상기 홀로그래픽 객체를 변경하는 처리부
    를 포함하고,
    상기 디스플레이 장치는
    상기 변경된 홀로그래픽 객체를 출력하는
    홀로그래픽 객체 처리 장치.
  2. 제1항에 있어서,
    상기 데이터베이스는
    상기 제어 객체와 상기 홀로그래픽 객체 사이를 거리에 따라 복수의 영역으로 구분하는 레이어 정보; 및
    상기 복수의 영역 각각에 대응하는 복수의 상기 변경 정보
    를 포함하는 홀로그래픽 객체 처리 장치.
  3. 제1항에 있어서,
    상기 데이터베이스는
    상기 제어 객체와 상기 홀로그래픽 객체 사이의 거리에 따른 햅틱 정보(Haptic Information)를 더 포함하고,
    상기 처리부는
    상기 데이터베이스로부터 상기 측정된 거리에 대응하는 햅틱 정보를 추출하고, 사용자의 신체 부위 중 적어도 하나의 부위에 부착되어 있는 햅틱 구동 장치로 상기 추출된 햅틱 정보를 전송하는
    홀로그래픽 객체 처리 장치.
  4. 제3항에 있어서,
    상기 햅틱 구동 장치는
    상기 추출된 햅틱 정보를 수신하여
    상기 수신된 햅틱 정보에 기반하여 햅틱감을 재현하는
    홀로그래픽 객체 처리 장치.
  5. 제3항에 있어서,
    상기 햅틱 정보는
    행태감, 압력감, 열감 및 진동 중 적어도 하나를 포함하는
    홀로그래픽 객체 처리 장치.
  6. 제1항에 있어서,
    상기 거리 측정 센서는
    상기 제어 객체가 상기 홀로그래픽 객체 내부에 위치하는 경우, 상기 제어 객체와 맞닿아 있는 홀로그래픽 객체의 표면과 상기 제어 객체 사이의 거리를 측정하고,
    상기 처리부는
    상기 데이터베이스로부터 상기 측정된 거리에 대응하는 변경 정보를 추출하고, 상기 추출된 변경 정보에 기반하여 상기 홀로그래픽 객체를 변경하며,
    상기 디스플레이 장치는
    상기 변경된 홀로그래픽 객체를 출력하는
    홀로그래픽 객체 처리 장치.
  7. 홀로그래픽 객체 처리 장치의 동작 방법에 있어서,
    홀로그래픽 객체(Holograghic Object)를 출력하는 단계;
    제어 객체와 상기 홀로그래픽 객체의 표면 사이의 거리를 측정하는 단계;
    상기 제어 객체와 상기 홀로그래픽 객체의 표현 사이의 거리를 거리의 범위의 따라서 복수의 영역으로 구분하고 각각의 영역에 따른 상기 홀로그래픽 객체의 변경 정보를 저장하는 데이터베이스로부터 상기 측정된 거리에 대응하는 영역의 상기 홀로그래픽 객체의 변경 정보를 추출하는 단계;
    상기 추출된 변경 정보에 기반하여 상기 홀로그래픽 객체를 변경하는 단계; 및
    상기 변경된 홀로그래픽 객체를 출력하는 단계
    를 포함하는 홀로그래픽 객체 처리 장치의 동작 방법.
  8. 제7항에 있어서,
    상기 데이터베이스로부터 상기 측정된 거리에 대응하는 햅틱 정보를 추출하는 단계; 및
    사용자의 신체 부위 중 적어도 하나의 부위에 부착되어 있는 햅틱 구동 장치로 상기 추출된 햅틱 정보를 전송하는 단계
    를 더 포함하고,
    상기 데이터베이스는
    상기 제어 객체와 상기 홀로그래픽 객체 사이의 거리에 따른 햅틱 정보(Haptic Information)를 더 포함하는
    홀로그래픽 객체 처리 장치의 동작 방법.
  9. 제7항 또는 제8항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020120101411A 2012-09-13 2012-09-13 홀로그래픽 객체 처리 장치 및 그 동작 방법 KR101950939B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120101411A KR101950939B1 (ko) 2012-09-13 2012-09-13 홀로그래픽 객체 처리 장치 및 그 동작 방법
US13/788,437 US9658596B2 (en) 2012-09-13 2013-03-07 Apparatus and method for adjusting holographic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120101411A KR101950939B1 (ko) 2012-09-13 2012-09-13 홀로그래픽 객체 처리 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20140036390A KR20140036390A (ko) 2014-03-26
KR101950939B1 true KR101950939B1 (ko) 2019-02-22

Family

ID=50233031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120101411A KR101950939B1 (ko) 2012-09-13 2012-09-13 홀로그래픽 객체 처리 장치 및 그 동작 방법

Country Status (2)

Country Link
US (1) US9658596B2 (ko)
KR (1) KR101950939B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160147308A1 (en) * 2013-07-10 2016-05-26 Real View Imaging Ltd. Three dimensional user interface
US9600072B2 (en) * 2013-08-27 2017-03-21 Prakash C R J Naidu Wearable tactile display
US9404742B2 (en) * 2013-12-10 2016-08-02 GM Global Technology Operations LLC Distance determination system for a vehicle using holographic techniques
KR20170029320A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2017135481A1 (ko) * 2016-02-04 2017-08-10 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102456953B1 (ko) * 2016-03-11 2022-10-21 한국전자통신연구원 이미지 제공 장치 및 방법
US10373319B2 (en) 2016-06-13 2019-08-06 International Business Machines Corporation Object tracking with a holographic projection
US10169918B2 (en) * 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
US10895950B2 (en) 2016-12-09 2021-01-19 International Business Machines Corporation Method and system for generating a holographic image having simulated physical properties
US10339771B2 (en) 2017-02-03 2019-07-02 International Business Machines Coporation Three-dimensional holographic visual and haptic object warning based on visual recognition analysis
CN111722769B (zh) * 2020-07-16 2024-03-05 腾讯科技（深圳）有限公司 交互方法、装置、显示设备和存储介质
WO2023170730A1 (ja) * 2022-03-07 2023-09-14 順治 曽根 皮膚刺激デバイスおよび皮膚刺激デバイスの駆動方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237763A1 (en) * 2008-03-18 2009-09-24 Kramer Kwindla H User Interaction with Holographic Images

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6211848B1 (en) 1998-05-15 2001-04-03 Massachusetts Institute Of Technology Dynamic holographic video with haptic interaction
GB0012275D0 (en) 2000-05-22 2000-07-12 Secr Defence Brit Three dimensional human computer interface
US7324085B2 (en) 2002-01-25 2008-01-29 Autodesk, Inc. Techniques for pointing to locations within a volumetric display
US7190496B2 (en) * 2003-07-24 2007-03-13 Zebra Imaging, Inc. Enhanced environment visualization using holographic stereograms
KR100573895B1 (ko) 2004-09-22 2006-04-26 주식회사 팬택 3차원 영상을 통한 사용자 인터페이스 방법 및 이 방법을수행하는 디스플레이장치
US8279168B2 (en) 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
JP4795091B2 (ja) 2006-04-21 2011-10-19 キヤノン株式会社 情報処理方法および装置
US7881901B2 (en) 2007-09-18 2011-02-01 Gefemer Research Acquisitions, Llc Method and apparatus for holographic user interface communication
KR20110045686A (ko) 2009-10-27 2011-05-04 엘지전자 주식회사 이동 통신 단말기에서의 홀로그램 데이터 표시방법 및 이를 적용한 이동 통신 단말기
KR101114750B1 (ko) 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
KR20110136013A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 중력을 적용하여 홀로그램 객체를 표시하는 증강현실 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237763A1 (en) * 2008-03-18 2009-09-24 Kramer Kwindla H User Interaction with Holographic Images

Also Published As

Publication number Publication date
US9658596B2 (en) 2017-05-23
KR20140036390A (ko) 2014-03-26
US20140071506A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
KR101950939B1 (ko) 홀로그래픽 객체 처리 장치 및 그 동작 방법
US11334765B2 (en) Training a neural network with representations of user interface devices
US10496155B2 (en) Virtual reality floor mat activity region
US10416769B2 (en) Physical haptic feedback system with spatial warping
CN102640502B (zh) 自动立体渲染和显示装置
US20180150997A1 (en) Interaction between a touch-sensitive device and a mixed-reality device
US10546429B2 (en) Augmented reality mirror system
US20130050069A1 (en) Method and system for use in providing three dimensional user interface
CN109313509A (zh) 视野周围的视觉光环
US20110242102A1 (en) Vehicle user interface unit for a vehicle electronic device
CN108434726A (zh) 自动局部触觉生成系统
CN103282859A (zh) 手势操作输入处理装置及手势操作输入处理方法
US10595001B2 (en) Apparatus for replaying content using gaze recognition and method thereof
WO2017130621A1 (ja) 仮想現実空間提供方法および仮想現実空間提供プログラム
CN104662602A (zh) 显示装置、控制系统和控制程序
WO2020247117A1 (en) Haptic rendering
Mihelj et al. Introduction to virtual reality
EP3454174B1 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
US9235930B2 (en) Generating just noticeable depth difference (JNDD) model of three-dimensional (3D) display, method and system for enhancing depth image using JNDD model
US10877561B2 (en) Haptic immersive device with touch surfaces for virtual object creation
KR20200060207A (ko) 홀로그램 콘텐츠 생성 장치, 그것을 포함하는 홀로그램 콘텐츠 통합 제어 시스템 및 그것의 동작 방법
KR101807512B1 (ko) 맵핑형 3차원 상호작용 장치 및 방법
US20140176502A1 (en) Image display apparatus and method
EP3553629B1 (en) Rendering a message within a volumetric data
Ruijia et al. Research on the Application of Virtual Reality Technology in Shopping Platform

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120913

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170323

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120913

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180501

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181203

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190215

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190218

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220112

Start annual number: 4

End annual number: 4