KR20120048191A - Interactive 3d system of table type - Google Patents

Interactive 3d system of table type Download PDF

Info

Publication number
KR20120048191A
KR20120048191A KR1020100109691A KR20100109691A KR20120048191A KR 20120048191 A KR20120048191 A KR 20120048191A KR 1020100109691 A KR1020100109691 A KR 1020100109691A KR 20100109691 A KR20100109691 A KR 20100109691A KR 20120048191 A KR20120048191 A KR 20120048191A
Authority
KR
South Korea
Prior art keywords
module
interactive
image
user
touch recognition
Prior art date
Application number
KR1020100109691A
Other languages
Korean (ko)
Other versions
KR101156734B1 (en
Inventor
정광모
박영충
최광순
안양근
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020100109691A priority Critical patent/KR101156734B1/en
Priority to US13/288,239 priority patent/US20120113104A1/en
Publication of KR20120048191A publication Critical patent/KR20120048191A/en
Application granted granted Critical
Publication of KR101156734B1 publication Critical patent/KR101156734B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: A table type interactive 3D system is provided to receive feeling for operating a displayed 3D image by a 3D image system. CONSTITUTION: A 3D display module(210) displays a 3D image of a table type. A space touch recognition module(200) monitors a location of fingers of a user. An interaction computing module(230) controls the 3D display module and the space touch recognition module. The space touch recognition module includes a three-dimensional camera. The three-dimensional camera photographs a finger location of the user.

Description

테이블 타입 인터렉티브 3차원 시스템{Interactive 3D system of table type}Interactive 3D system of table type

본 발명은 테이블 타입 3D 입체 영상 디스플레이 장치 및 인터렉티브 사용자 인터페이스에 관한 것으로, 더욱 상세하게는 인터렉티브 3D 형태의 게임, 교육, 쇼핑, 가상체험 등의 서비스를 제공하는 방안에 관한 것이다.
The present invention relates to a table-type 3D stereoscopic image display apparatus and an interactive user interface, and more particularly, to a method of providing an interactive 3D-type game, education, shopping, and virtual experience.

3D 입체 영상은 인간이 두 눈으로 봄으로써 입체를 지각한다는 사실에 기초를 두고 있다. 3D 입체 영상은 2대의 카메라 또는 쌍둥이 렌즈가 부착된 카메라로 촬영하는데, 하나는 왼쪽 눈을, 다른 하나는 오른쪽 눈을 나타낸다. 이 두 렌즈는 사람의 두 눈의 간격 만큼인 약 6.3㎝가 떨어져 있다. 여기서 얻어지는 영상은 2대의 동시투사기에 의해 스크린에 투사된다. 유저는 반드시 다른 색조를 띠었거나 편광된 안경을 끼어야만 왼쪽 눈과 오른쪽 눈의 영상들을 그 영상들이 나타내는 대로 볼 수 있다. 사용자는 영상들을 현실적으로는 따로따로 보지만 실제로는 이 2개의 약간 다른 영상들이 관객의 정신에 의해 융합되기 때문에 입체 형태로 지각하게 된다.3D stereoscopic imaging is based on the fact that humans perceive stereoscopic vision with their two eyes. 3D stereoscopic images are taken with two cameras or a camera with twin lenses, one representing the left eye and the other the right eye. The two lenses are about 6.3 cm apart from each other's eyes. The image obtained here is projected onto the screen by two simultaneous projectors. The user must wear glasses with different shades or polarized light so that the images of the left and right eyes can be seen as they appear. The user sees the images separately in reality, but in reality the two slightly different images are perceived in three-dimensional form because they are fused by the mind of the audience.

이와 같이 3D 영상은 복수 개의 카메라와 편광 안경을 이용하여 생성하거나, 편광 안경을 이용하지 않고 생성할 수 있다.As such, the 3D image may be generated using a plurality of cameras and polarized glasses, or may be generated without using polarized glasses.

도 1은 안경을 사용하지 않는 기존 3D 영상을 출력하는 테이블형 디스플레이를 도시하고 있다. 도 1에 도시되어 있는 바와 같이 기존 3D 영상은 편광 안경을 사용하지 않고도 360도 어느 방향에서든지 입체감 있는 영상을 감상할 수 있다.1 illustrates a table type display for outputting an existing 3D image without using glasses. As shown in FIG. 1, the existing 3D image can enjoy a three-dimensional image in any direction of 360 degrees without using polarized glasses.

하지만, 이 시스템은 만들어진 영상을 단순히 재생하는 기능만 가지고 있으며, 영상을 사용자가 조작하거나 만지는 듯한 느낌을 받을 수 있는 기능은 포함되어 있지 않다. 또한, 이 시스템은 작은 사이즈의 영상 출력만 가능하기 때문에 사용자가 느끼고 체험할 수 있는 인터렉티브한 요소가 극히 작다.
However, this system only has the function of simply playing the created video, and it does not include a function that allows the user to feel or touch the video. In addition, the system can only output small images, so the interactive elements that users can feel and experience are extremely small.

본 발명이 해결하려는 과제는 3차원 영상 시스템과 사용자 간의 교감이 이루어질 수 있는 인터렉티브 3차원 영상 시스템을 제안함에 있다.The problem to be solved by the present invention is to propose an interactive three-dimensional image system that can communicate with the three-dimensional image system and the user.

본 발명이 해결하려는 다른 과제는 3차원 영상 시스템에 의해 디스플레이된 3차원 영상을 사용자가 조작하거나 만지는 듯한 느낌을 받을 수 있는 방안을 제안함에 있다.Another object of the present invention is to propose a method in which a user can feel as if the user manipulates or touches the 3D image displayed by the 3D image system.

본 발명이 해결하려는 또 다른 과제는 기존 입체 영상 디스플레이 시스템보다 훨씬 높은 가상의 현실감을 느낄 수 있는 시스템을 제안함에 있다.
Another problem to be solved by the present invention is to propose a system that can feel a virtual reality much higher than the existing stereoscopic image display system.

이를 위해 본 발명의 인터렉티브 3차원 시스템은 테이블 타입의 3차원 영상을 디스플레이하는 3차원 디스플레이 모듈과 디스플레이된 상기 3차원 영상으로 진입하는 사용자의 손가락의 위치를 감시하는 공간 터치 인식 모듈과 상기 3차원 디스플레이 모듈과 상기 공간 터치 인식 모듈을 제어하는 인터렉션 컴퓨팅 모듈을 포함한다.To this end, the interactive three-dimensional system of the present invention includes a three-dimensional display module for displaying a table-type three-dimensional image, a spatial touch recognition module for monitoring a position of a user's finger entering the displayed three-dimensional image, and the three-dimensional display. And an interaction computing module that controls the module and the spatial touch recognition module.

이를 위해 본 발명의 인터렉티브 3차원 시스템은 테이블 타입의 3차원 영상을 디스플레이하는 3차원 디스플레이 모듈과 디스플레이된 상기 3차원 영상으로 진입하는 사용자의 손가락의 위치를 감시하는 공간 터치 인식 모듈과 상기 3차원 디스플레이 모듈과 상기 공간 터치 인식 모듈을 제어하는 인터렉션 컴퓨팅 모듈 및 디스플레이된 상기 3차원 영상으로 진입한 사용자의 손가락 위치가 특정 지점에 위치하면, 상기 손가락으로 촉감 정보를 제공하는 공간 촉감 자극 모듈을 포함한다.
To this end, the interactive three-dimensional system of the present invention includes a three-dimensional display module for displaying a table-type three-dimensional image, a spatial touch recognition module for monitoring a position of a user's finger entering the displayed three-dimensional image, and the three-dimensional display. And an interaction computing module for controlling the module and the spatial touch recognition module, and a spatial tactile stimulation module for providing tactile information to the finger when a finger position of a user entering the displayed 3D image is located at a specific point.

본 발명에 따른 인터렉티브 3D 시스템을 이용하여 3D e-shopping, 3D Education, 3D Entertainment, 3D Game 등 다양한 가정형 3D 분야에 활용할 수 있다. By using the interactive 3D system according to the present invention, it can be utilized in various home 3D fields such as 3D e-shopping, 3D Education, 3D Entertainment, and 3D Game.

또한, 인터렉티브 3D 기술은 3D 디스플레이, 3D 센서, 3D 융합, 3D 컨텐츠 등의 각 요소 기술들의 완성도를 높여 산업화가 가능하며, 이를 통해 실감형 기술과 결합한 새로운 개념의 정보가전 및 IT기기 제품의 파생 가능성이 있다. 또한, 인터렉티브 3D 오디오/비디오 서비스 관련 고품질 디지털 콘텐츠 사업의 활성화로 고부가가치 산업 확대와 고품질 디지털 멀티미디어 콘텐츠 제작, 편집, 유통과 관련된 전문 인력의 양성에 따른 고용 인력의 확대와 새로운 엔터테인먼트 서비스 문화 창출 효과를 기대할 수 있다. 교육산업에 있어, 아동용, 청소년용 입체 컨텐츠를 제작함으로써, 교실 안에서 체험할 수 없는 환경을 입체영상을 통해 간접적으로 체험할 수 있고, 더불어 대학교육에서는 교재 및 필서에 의존된 기존 교육의 틀에서 벗어나 실험 및 간접체험의 컨텐츠를 적극 활용하여 고급화된 교육 서비스를 제공할 수 있다.
In addition, interactive 3D technology can be industrialized by enhancing the completeness of each element technology such as 3D display, 3D sensor, 3D convergence, and 3D content, and through this, the possibility of deriving a new concept of information appliances and IT device products combined with realistic technology There is this. In addition, the activation of high-quality digital contents business related to interactive 3D audio / video services will lead to the expansion of high value-added industries and the development of new human resources and the creation of a new entertainment service culture by fostering professional personnel related to the creation, editing and distribution of high-quality digital multimedia contents. You can expect In the education industry, by creating three-dimensional contents for children and adolescents, they can indirectly experience the environment that cannot be experienced in the classroom through three-dimensional images. Advanced education services can be provided by actively utilizing the contents of experiments and indirect experiences.

도 1은 안경을 사용하지 않는 기존 3D 영상을 출력하는 테이블형 디스플레이를 도시하고 있으며,
도 2는 본 발명의 일실시 예에 따른 테이블 타입 인터렉티브 3D 시스템을 도시하고 있으며,
도 3은 본 발명의 일실시 예에 따른 테이블 타입 인터렉티브 3D 시스템에서 사용자가 3D 디스플레이 모듈에 의해 디스플레이된 영상을 터치하는 예를 도시하고 있다.1 illustrates a table-type display for outputting an existing 3D image without using glasses,
2 illustrates a table type interactive 3D system according to an embodiment of the present invention.
3 illustrates an example in which a user touches an image displayed by a 3D display module in a table type interactive 3D system according to an embodiment of the present invention.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.The foregoing and further aspects of the present invention will become more apparent through the preferred embodiments described with reference to the accompanying drawings. Hereinafter will be described in detail to enable those skilled in the art to easily understand and reproduce through this embodiment of the present invention.

최근 각국에서 동작인식 기능을 이용한 기술을 개발하고 있으나, 인터렉티브(Interactive) 3D 관련 핵심원천기술은 아직 개발 초기 단계이다. 인터렉티브 3D 관련 핵심원천기술은 자유시각 3D, TOF(Time of Flight) 3D 센서기술, 비접촉식 공간 촉감기술, 상황적(Contextual) 3D 오브젝트 프로세싱 기술 등이 포함된다.Recently, each country is developing technology using motion recognition function, but the core source technology related to Interactive 3D is still in the early stage of development. Core technologies related to interactive 3D include free vision 3D, time of flight (TOF) 3D sensor technology, contactless space tactile technology, and contextual 3D object processing technology.

즉, IT 기술의 발달과 더불어 대중의 3D 기술에 대한 관심과 시장성이 갈수록 증가하는 추세이며, 새로운 신산업으로 3D 융합산업이 떠오르고 있다. 또한, 3D 관련 시장이 전시관이나 체험관 또는 영화관 등에서 대중을 상대로 하는 특수 분야의 시장에서 제한적으로 적용되어 왔으나, 3D 인터랙션 기능이 융합되면서 일반 개인이 사용할 수 있는 정보가전기기 시장으로 기능이 확대되어 대형 산업을 일으킬 것이다.In other words, with the development of IT technology, public interest in 3D technology and marketability are increasing gradually, and 3D convergence industry is emerging as a new new industry. In addition, although the 3D-related market has been applied in a limited range of markets for the public, such as exhibition halls, experi- ence halls, or movie theaters, as the 3D interaction function converges, the information market that can be used by the general public expands to the electronics market. Will cause.

인터렉티브 3D 기술은 홈 네트워크 정보가전 산업의 새로운 비즈모델을 창출하는 역할을 할 것으로 기대된다. 또한, 3D 영상에 인터렉티브 UI 기술을 접목할 경우 직관적이고 조작이 쉬워 조작 자체에서 현실감과 흥미를 느끼고, 이로 인해 디지털 기기에서 아날로그 감성을 느낄 수 있게 된다.Interactive 3D technology is expected to create a new business model for the home network information and electronics industry. In addition, incorporating interactive UI technology into 3D video makes it intuitive and easy to operate, so that the user can feel realism and interest in the operation itself.

이에 본 발명은 가정에서 인터렉티브 3D 형태의 게임, 교육, 쇼핑, 가상체험 등의 서비스를 제공하기 위한 테이블형 자유시각 3D 디스플레이기술, Super VGA(VGA, QVGA 포함)급 TOF 공간센서 기술, 비접촉방식 공간 촉감 자극기술 및 인터렉티브 3D 미들웨어 기술을 이용한 자유시각형(테이블 타입) 인터렉티브 3D 시스템을 제안한다.Accordingly, the present invention provides a table-type free-vision 3D display technology, Super VGA (including VGA and QVGA) TOF spatial sensor technology, and non-contact space to provide services such as interactive 3D games, education, shopping, and virtual experiences at home. We propose a free-visual (table type) interactive 3D system using tactile stimulation technology and interactive 3D middleware technology.

도 2는 본 발명의 일실시 예에 따른 테이블 타입 인터렉티브 3D 시스템을 도시하고 있다. 이하 도 2를 이용하여 본 발명의 일실시 예에 따른 테이블 타입 인터렉티브 3D 시스템에 대해 상세하게 알아보기로 한다.2 illustrates a table type interactive 3D system according to an embodiment of the present invention. Hereinafter, a table type interactive 3D system according to an embodiment of the present invention will be described in detail with reference to FIG. 2.

테이블 타입 인터렉티브 3D 시스템은 전후좌우 자유 시각이 가능한 무 안경식 3D 입체영상 기반에서 신체의 움직임을 인지하여 3D 입체영상과 상호 인터렉티브 기능 및 비접촉식 공간촉감 기능을 제공한다.The table-type interactive 3D system recognizes the movement of the body on the basis of a glasses-free 3D stereoscopic image capable of front, rear, left, and right free vision, and provides 3D stereoscopic images, interactive functions, and non-contact spatial tactile functions.

이를 위해 본 발명의 테이블 타입 인터렉티브 3D 시스템은 3D 디스플레이 모듈(210), 공간 터치 인식 모듈(200), 공간 촉감 자극 모듈(220), 인터렉션 컴퓨팅 모듈(230)을 포함한다. 물론 상술한 구성 이외에 다른 구성이 인터렉티브 3D 시스템에 포함될 수 있음은 자명하다.To this end, the table type interactive 3D system of the present invention includes a 3D display module 210, a spatial touch recognition module 200, a spatial tactile stimulation module 220, and an interactive computing module 230. Of course, it is obvious that other configurations may be included in the interactive 3D system in addition to the above configurations.

사용자(240)는 3D 디스플레이 모듈(210)에 의해 디스플레이된 3D 영상을 인지한다. 3D 디스플레이 모듈(210)은 테이블 타입의 3D 디스플레이 기능과 플래쉬 홀로그램 디스플레이 기능을 구현한다. 테이블 타입 자유 시각 3D 디스플레이는 벽에 걸려있는 일반적인 디스플레이가 아니라 테이블 형태의 자유 시각 3D 디스플레이다. 즉, 테이블에 수평으로 존재하는 가상의 3D 오브젝트를 테이블 위에 실제로 존재하는 것처럼 디스플레이함으로써 사용자들에게 사물을 조작하는 느낌을 전달할 수 있다.The user 240 recognizes the 3D image displayed by the 3D display module 210. The 3D display module 210 implements a table type 3D display function and a flash hologram display function. The table type free visual 3D display is not a typical display hanging on the wall, but a table type free visual 3D display. In other words, by displaying virtual 3D objects horizontally present on the table as if they are actually present on the table, the user can be conveyed the feeling of manipulating things.

본 발명은 3D 디스플레이 모듈(210)에 부가하여 플래쉬 홀로그램(Flash Hologram) 디스플레이 기능을 구현하는 플래쉬 홀로그램 디스플레이 모듈을 포함할 수 있다. 플래쉬 홀로그램 디스플레이 모듈은 테이블 타입 인터렉티브 3D 시스템에서 메인이 되는 3D 디스플레이 모듈(210)과 동시에 사용될 수 있으며, 부분적으로 완벽한 다시점 3D 오브젝트를 표현하는 기능을 수행한다.The present invention may include a flash hologram display module that implements a flash hologram display function in addition to the 3D display module 210. The flash hologram display module may be used simultaneously with the main 3D display module 210 in the table type interactive 3D system, and partially expresses a perfect multiview 3D object.

일반적으로 홀로그램은 홀로그래피에 의해 생성된 3차원 사진을 의미하며, 필름이나 감광 건판 등 기록 매체에 레이저 광 등 빛의 간섭 패턴을 기록한 것이다. 홀로그래피 방식은 피사체로부터의 빛과 간섭성이 있는 참조광을 겹쳐서 얻어지는 간섭신호를 기록하고 이를 재생하는 원리를 이용하는 것으로, 입체감 있는 영상을 구현하는 이상적인 디스플레이 방식이다. 홀로그램은 어떤 대상 물체의 3차원 입체상을 재생한다.In general, a hologram means a three-dimensional photograph generated by holography, and records an interference pattern of light such as laser light on a recording medium such as a film or a photosensitive dry plate. The holography method uses the principle of recording and reproducing an interference signal obtained by superposing coherent reference light with light from a subject, and is an ideal display method for implementing a three-dimensional image. The hologram reproduces the three-dimensional image of an object.

공간 터치 인식 모듈(200)은 사용자(240)가 3D 디스플레이에 의해 디스플레이된 영상의 터치 여부를 인식한다. 즉, 공간 터치 인식 모듈(200)은 사용자(240)의 행동이나 손동작을 인식하여 3D 오브젝트와 연동하기 위한 고정밀 3D 공간 감지 기능을 구현한다. 공간 터치 인식 모듈(200)의 일예로 고해상도의 TOF 방식의 3D 깊이(Depth) 센서 모듈이 포함된다. 3D 깊이 센서 모듈은 조명에 의한 간섭이 강하며, 실시간으로 공간을 해석하여 인터렉션할 수 있다는 장점이 있다. The spatial touch recognition module 200 recognizes whether the user 240 touches the image displayed by the 3D display. That is, the spatial touch recognition module 200 implements a high-precision 3D space sensing function for interworking with the 3D object by recognizing the action or hand gesture of the user 240. An example of the spatial touch recognition module 200 includes a 3D depth sensor module of a high resolution TOF method. The 3D depth sensor module has strong interference by lighting and has the advantage of being able to analyze and interact with space in real time.

부가하여 설명하면, 3D 깊이 센서 모듈은 전면부를 구성하고 적외선 펄스 출력부와 적외선 펄스 수신부를 포함한다. 적외선 펄스 출력부는 3D 깊이 센서 모듈의 전면부로부터 적외선 펄스를 출력하며, 적외선 펄스 입력부는 적외선 펄스 출력부에서 출력된 적외선 펄스 중 사물에 반사되어 되돌아오는 적외선 펄스를 수신한다. 3D 깊이 센서 모듈은 적외선 펄스 출력된 적외선 펄스가 사물에 의해 반사되어 되돌아오는 시간을 측정한다. 측정된 시간을 이용하여 3D 깊이 센서 모듈은 사물까지의 거리를 산출한다.In addition, the 3D depth sensor module constitutes a front portion and includes an infrared pulse output unit and an infrared pulse receiver unit. The infrared pulse output unit outputs an infrared pulse from the front of the 3D depth sensor module, and the infrared pulse input unit receives an infrared pulse reflected from the infrared pulse output from the infrared pulse output unit and reflected back to the object. The 3D depth sensor module measures the time when the infrared pulse output infrared pulse is reflected by the object and returned. Using the measured time, the 3D depth sensor module calculates the distance to the object.

도 3은 본 발명의 일실시 예에 따른 테이블 타입 인터렉티브 3D 시스템에서 사용자가 3D 디스플레이 모듈(210)에 의해 디스플레이된 영상을 터치하는 예를 도시하고 있다. 상술한 바와 같이 공간 터치 인식 모듈(200)은 사용자가 디스플레이된 영상을 터치하는 공간을 인식하고, 이에 대한 정보를 활용한다.3 illustrates an example in which a user touches an image displayed by the 3D display module 210 in a table type interactive 3D system according to an embodiment of the present invention. As described above, the space touch recognition module 200 recognizes a space where the user touches the displayed image and utilizes information about the space.

공간 촉감 자극 모듈(220)은 인터렉티브 3D 시스템에서 사용자(240)가 3D 디스플레이 모듈(210)에 의해 디스플레이된 영상을 터치한 경우, 터치 여부를 사용자에게 제공한다. 공간 촉감 자극 모듈(220)은 인터렉티브 3D 미들웨어에서 처리된 3D 디스플레이 출력 정보와 더불어 가상의 3D 오브젝트 컨텍스트에 설정된 촉감을 사용자에게 피드백하여 자극한다. 사용자는 시각적인 3D 자극 외에 촉각적인 자극을 인지함으로써 실감나는 영상을 제공받을 수 있게 된다. 촉각적인 자극은 초음파 자극 또는 제트공기 자극을 이용할 수 있다. 즉, 초음파를 집중시켜 압력을 제공하는 초음파 자극이나 일반적인 제트 압축 공기로 압력을 제공하는 제트 공기 자극으로 사용자에게 촉각적인 자극을 제공할 수 있다.The spatial tactile stimulation module 220 provides the user with a touch when the user 240 touches an image displayed by the 3D display module 210 in the interactive 3D system. The spatial tactile stimulation module 220 feeds back the tactile sense set in the context of the virtual 3D object along with the 3D display output information processed by the interactive 3D middleware to the user. The user can be provided with a realistic image by recognizing the tactile stimulus in addition to the visual 3D stimulus. The tactile stimulus may use ultrasonic stimulation or jet air stimulation. That is, the tactile stimulus may be provided to the user by the ultrasonic stimulus for concentrating the ultrasonic waves and the jet air stimulus for providing pressure with general jet compressed air.

인터렉션 컴퓨팅 모듈(230)은 공간 터치 인식 모듈(200)에서 전달된 3D 공간의 센싱 정보를 입력받고, 3D 공간의 가상 오브젝트 위치 및 컨텍스트(context) 정보를 처리하여 사용자에게 3D 디스플레이 및 촉감자극 인터페이스로 피드백시켜 주는 미들웨어 역할을 수행한다. 인터렉션 컴퓨팅 모듈(230)은 시스템에 연결된 고성능 스토리지에 저장된 3D 미디어 데이터와 인터렉션 데이터를 엑세스하여 처리할 수 있다.The interaction computing module 230 receives the sensing information of the 3D space transmitted from the spatial touch recognition module 200, processes the virtual object position and the context information of the 3D space, and provides the user with a 3D display and tactile stimulation interface. It acts as a middleware for feedback. The interaction computing module 230 may access and process 3D media data and interaction data stored in high-performance storage connected to the system.

이외에도 테이블 타입 인터렉티브 3D 시스템은 인터렉티브 3D 미들웨어 및 콘텐츠 연동 모듈을 포함할 수 있다. 인터렉티브 3D 미들웨어 및 콘텐츠 연동 모듈은 인터렉티브 3D 시스템에서 3D 관련 입력출력 정보를 처리하며, 입력된 3D 공간정보를 바탕으로 실제 3D 공간에 있는 사람의 행위를 인식하여 해석하고 가상의 3D 사물을 디스플레이로 출력하여 사용자와 인터렉션을 수행한다.In addition, the table type interactive 3D system may include an interactive 3D middleware and a content interworking module. The interactive 3D middleware and content interworking module processes 3D related input and output information in the interactive 3D system, and recognizes and interprets human behavior in the real 3D space based on the input 3D spatial information, and outputs virtual 3D objects to the display. To interact with the user.

본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the scope of the present invention .

200: 공간 터치 인식 모듈 210: 3D 디스플레이 모듈
220: 공간 촉감 자극 모듈 230: 인터렉션 컴퓨팅 모듈200: spatial touch recognition module 210: 3D display module
220: space tactile stimulation module 230: interaction computing module

Claims (7)

테이블 타입의 3차원 영상을 디스플레이하는 3차원 디스플레이 모듈;
디스플레이된 상기 3차원 영상으로 진입하는 사용자의 손가락의 위치를 감시하는 공간 터치 인식 모듈;
상기 3차원 디스플레이 모듈과 상기 공간 터치 인식 모듈을 제어하는 인터렉션 컴퓨팅 모듈을 포함함을 특징으로 하는 인터렉티브 3차원 시스템.
A 3D display module for displaying a table type 3D image;
A spatial touch recognition module configured to monitor a position of a user's finger entering the displayed 3D image;
And an interactive computing module for controlling the three-dimensional display module and the spatial touch recognition module.
제 1항에 있어서, 상기 공간 터치 인식 모듈은,
출력한 적외선 펄스가 사물에 의해 반사되어 돌아오는 시간을 이용하여 사용자의 손가락 위치를 촬영하는 3차원 카메라를 포함함을 특징으로 하는 인터렉티브 3차원 시스템.
The method of claim 1, wherein the spatial touch recognition module,
Interactive three-dimensional system comprising a three-dimensional camera for photographing the position of the user's finger using the time that the output infrared pulse is reflected back by the object.
제 2항에 있어서, 디스플레이된 상기 3차원 영상으로 진입한 사용자의 손가락 위치가 특정 지점에 위치하면, 상기 손가락으로 촉감 정보를 제공하는 공간 촉감 자극 모듈을 포함함을 특징으로 하는 인터렉티브 3차원 시스템.
The interactive three-dimensional system of claim 2, further comprising a spatial tactile stimulation module for providing tactile information to the finger when a finger position of a user who enters the displayed 3D image is located at a specific point.
제 3항에 있어서, 상기 공간 촉감 자극 모듈은,
초음파를 집중시켜 압력을 제공하는 초음파 자극 모듈, 제트 압축 공기로 압력을 제공하는 제트공기 자극 모듈 중 적어도 하나를 포함함을 특징으로 하는 인터렉티브 3차원 시스템.
The method of claim 3, wherein the space tactile stimulation module,
And at least one of an ultrasonic stimulation module for concentrating ultrasonic waves to provide pressure and a jet air stimulation module for providing pressure with jet compressed air.
테이블 타입의 3차원 영상을 디스플레이하는 3차원 디스플레이 모듈;
디스플레이된 상기 3차원 영상으로 진입하는 사용자의 손가락의 위치를 감시하는 공간 터치 인식 모듈;
상기 3차원 디스플레이 모듈과 상기 공간 터치 인식 모듈을 제어하는 인터렉션 컴퓨팅 모듈;
디스플레이된 상기 3차원 영상으로 진입한 사용자의 손가락 위치가 특정 지점에 위치하면, 상기 손가락으로 촉감 정보를 제공하는 공간 촉감 자극 모듈을 포함함을 특징으로 하는 인터렉티브 3차원 시스템.
A 3D display module for displaying a table type 3D image;
A spatial touch recognition module configured to monitor a position of a user's finger entering the displayed 3D image;
An interaction computing module for controlling the 3D display module and the spatial touch recognition module;
And a spatial tactile stimulation module for providing tactile information to the finger when a finger position of a user who enters the displayed 3D image is located at a specific point.
제 5항에 있어서, 상기 공간 촉감 자극 모듈은,
초음파를 집중시켜 압력을 제공하는 초음파 자극 모듈, 제트 압축 공기로 압력을 제공하는 제트공기 자극 모듈 중 적어도 하나를 포함함을 특징으로 하는 인터렉티브 3차원 시스템.
The method of claim 5, wherein the space tactile stimulation module,
And at least one of an ultrasonic stimulation module for concentrating ultrasonic waves to provide pressure and a jet air stimulation module for providing pressure with jet compressed air.
제 6항에 있어서, 상기 3차원 디스플레이 모듈에 부가하여 플래쉬 홀로그램(Flash Hologram) 디스플레이 기능을 구현하는 플래쉬 홀로그램 디스플레이 모듈을 포함함을 특징으로 하는 인터렉티브 3차원 시스템.The interactive three-dimensional system of claim 6, further comprising a flash hologram display module that implements a flash hologram display function in addition to the three-dimensional display module.
KR1020100109691A 2010-11-05 2010-11-05 Interactive 3d system of table type KR101156734B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100109691A KR101156734B1 (en) 2010-11-05 2010-11-05 Interactive 3d system of table type
US13/288,239 US20120113104A1 (en) 2010-11-05 2011-11-03 Table type interactive 3d system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100109691A KR101156734B1 (en) 2010-11-05 2010-11-05 Interactive 3d system of table type

Publications (2)

Publication Number Publication Date
KR20120048191A true KR20120048191A (en) 2012-05-15
KR101156734B1 KR101156734B1 (en) 2012-06-14

Family

ID=46019197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100109691A KR101156734B1 (en) 2010-11-05 2010-11-05 Interactive 3d system of table type

Country Status (2)

Country Link
US (1) US20120113104A1 (en)
KR (1) KR101156734B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101296365B1 (en) * 2011-11-17 2013-08-14 재단법인대구경북과학기술원 hologram touch detection method using camera
US10180766B2 (en) 2012-10-30 2019-01-15 Samsung Electronics Co., Ltd. Three-dimensional display device and user interfacing method therefor

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
KR101620777B1 (en) * 2012-03-26 2016-05-12 애플 인크. Enhanced virtual touchpad and touchscreen
JP2014071499A (en) * 2012-09-27 2014-04-21 Kyocera Corp Display device and control method
JP6140604B2 (en) 2012-12-28 2017-05-31 富士フイルム株式会社 Curable resin composition for forming infrared reflection film, infrared reflection film and method for producing the same, infrared cut filter, and solid-state imaging device using the same
US9958829B2 (en) 2014-05-07 2018-05-01 International Business Machines Corporation Sensory holograms
US9841844B2 (en) * 2014-06-20 2017-12-12 Funai Electric Co., Ltd. Image display device
KR101885075B1 (en) 2016-11-30 2018-08-03 삼성중공업 주식회사 Apparatus and method for checking 3d picture
CN108681397A (en) * 2018-05-09 2018-10-19 常州信息职业技术学院 A kind of art of wall drawing interactive projection system and its working method
CN110928472B (en) * 2018-09-19 2023-05-05 阿里巴巴集团控股有限公司 Article processing method and device and electronic equipment
TWI754899B (en) * 2020-02-27 2022-02-11 幻景啟動股份有限公司 Floating image display apparatus, interactive method and system for the same

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6211848B1 (en) * 1998-05-15 2001-04-03 Massachusetts Institute Of Technology Dynamic holographic video with haptic interaction
US6507353B1 (en) * 1999-12-10 2003-01-14 Godot Huard Influencing virtual actors in an interactive environment
EP1185112B1 (en) * 2000-08-25 2005-12-14 Fuji Photo Film Co., Ltd. Apparatus for parallax image capturing and parallax image processing
KR100980202B1 (en) * 2008-10-30 2010-09-07 한양대학교 산학협력단 Mobile augmented reality system for interaction with 3d virtual objects and method thereof
KR101019254B1 (en) * 2008-12-24 2011-03-04 전자부품연구원 apparatus having function of space projection and space touch and the controlling method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101296365B1 (en) * 2011-11-17 2013-08-14 재단법인대구경북과학기술원 hologram touch detection method using camera
US10180766B2 (en) 2012-10-30 2019-01-15 Samsung Electronics Co., Ltd. Three-dimensional display device and user interfacing method therefor

Also Published As

Publication number Publication date
US20120113104A1 (en) 2012-05-10
KR101156734B1 (en) 2012-06-14

Similar Documents

Publication Publication Date Title
KR101156734B1 (en) Interactive 3d system of table type
US20230109054A1 (en) System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings
CN108701371B (en) Method and apparatus for providing virtual reality output and augmented reality output
US9684994B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
US10078917B1 (en) Augmented reality simulation
Kovács et al. Application of immersive technologies for education: State of the art
US7812815B2 (en) Compact haptic and augmented virtual reality system
US20170150108A1 (en) Autostereoscopic Virtual Reality Platform
US20150312561A1 (en) Virtual 3d monitor
US20060250391A1 (en) Three dimensional horizontal perspective workstation
Danieau et al. Framework for enhancing video viewing experience with haptic effects of motion
WO2016201015A1 (en) Display for stereoscopic augmented reality
Saggio et al. New trends in virtual reality visualization of 3D scenarios
KR101177058B1 (en) System for 3D based marker
CN114514493A (en) Reinforcing apparatus
KR101192314B1 (en) System for Realistic 3D Game
KR20210056414A (en) System for controlling audio-enabled connected devices in mixed reality environments
Woletz Interfaces of immersive media
Kim et al. HoloStation: augmented visualization and presentation
JPH04204842A (en) Video simulation system
Sánchez Salazar Chavarría et al. Interactive 3D touch and gesture capable holographic light field display with automatic registration between user and content
WO2015196877A1 (en) Autostereoscopic virtual reality platform
Córdova-Esparza et al. Telepresence system based on simulated holographic display
CN110415354A (en) Three-dimensional immersive experience system and method based on spatial position
WO2022202700A1 (en) Method, program, and system for displaying image three-dimensionally

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150109

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170512

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 7