KR20190117033A - A three - dimensional image media providing system based on user 's directional direction recognition - Google Patents
A three - dimensional image media providing system based on user 's directional direction recognition Download PDFInfo
- Publication number
- KR20190117033A KR20190117033A KR1020180039659A KR20180039659A KR20190117033A KR 20190117033 A KR20190117033 A KR 20190117033A KR 1020180039659 A KR1020180039659 A KR 1020180039659A KR 20180039659 A KR20180039659 A KR 20180039659A KR 20190117033 A KR20190117033 A KR 20190117033A
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- user
- image
- image media
- head
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 2차원인 2D평면디스플레이에 시각적으로 깊은 공간감을 가진 인지적 착시효과를 구현하여 3차원을 체험할 수 있도록 할 수 있어 이를 통한 사람과 캐릭터(매체)간의 인터렉티브한 다양한 콘텐츠를 생산가능하게 할 뿐만 아니라 이를 통해 고객이 실감나는 재미와 즐거움을 경험할 수 있는 시점인식 3D그래픽기술로써, 특히, 키넥트 동작인식센서나 웹캠 등이 구비된 모션인식부를 통해 사용자 머리의 위치적 신호를 인지하여 사람 머리의 상하좌우전후위치변화를 반영하여 다양한 각도의 영상미디어를 실시간으로 렌더링할 수 있어 시각착시 효과를 극대화할 수 있음은 물론 영상미디어에 숨은 콘텐츠의 활용이 가능하고, 나아가 사용자와 캐릭터 간의 새로운 인터랙티브 소사이어티 구축이 가능한 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템에 관한 것이다.The present invention can realize a three-dimensional experience by implementing a cognitive optical illusion with a visually deep spatial feeling on a two-dimensional 2D plane display to produce a variety of interactive content between a person and a character (media) In addition, this is a point-of-view 3D graphic technology that enables customers to experience realistic fun and enjoyment. In particular, the motion recognition unit equipped with Kinect motion sensor or webcam recognizes the positional signal of the user's head. By reflecting the change of position of the front, back, left, right, front and back, it is possible to render various angles of visual media in real time, maximizing visual illusion effect and utilizing hidden contents in the visual media, and further new interactive between user and character. 3D image MIDI based on user's gaze recognition Control system.
최근에는 센서기술의 발달과 더불어 사용자의 움직임(모션)을 인식하여 이로부터 사용자 명령을 추출하고 해당 명령에 따른 동작을 수행하는 제어기술이 활발하게 연구되어 프로젝터를 이용하여 객체에 영상을 투사하는 기법과 함께 사용되고 있다.Recently, with the development of sensor technology, the control technology that recognizes user's movement (motion) and extracts user's command from it and performs the operation according to the command is actively studied. It is being used with.
이에 따라 사용자의 손발 움직임을 인식하고 이에 대응하는 학습 컨텐츠를 제공할 수 있어서 직접 체험하기가 곤란한 우주 여행, 해저 탐험, 인체 탐험 등을 가상으로 경험해볼 수 있어 놀이와 더불어 학습효과를 극대화시킬 수 있는 행동인식을 통한 체험형 학습 컨텐츠 제공 시스템이 국내공개특허공보 공개번호 제10-2015-0033175호로 제안된 바 있다.Accordingly, it is possible to recognize the movement of the user's limbs and provide learning contents corresponding to this, so that it is possible to virtually experience space travel, seabed exploration, human body exploration, etc., which is difficult to directly experience, thereby maximizing learning and learning effects. An experiential learning content providing system through behavior recognition has been proposed in Korean Patent Publication No. 10-2015-0033175.
그러나, 상기 국내공개특허공보 공개번호 제10-2015-0033175호의 경우, PC의 모니터나 TV 등과 같은 디스플레이 수단에 우주공간 및 바다심해와 같은 그래픽을 2D, 즉 평면적인 이미지로 출력할 뿐 3D 즉, 다양한 각도로 이미지화 할 수 없어 시각인지 효과를 극대화 할 수 없는 문제점이 있다.However, in the case of Korean Laid-Open Patent Publication No. 10-2015-0033175, 3D, that is, outputting graphics such as outer space and deep sea in 2D, that is, planar images, to a display means such as a PC monitor or TV. There is a problem in that it is not possible to maximize the visual perception effect because it cannot be imaged at various angles.
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로써, 2차원인 2D평면디스플레이에 시각적으로 깊은 공간감을 가진 인지적 착시효과를 구현하여 3차원을 체험할 수 있도록 할 수 있어 이를 통한 사람과 캐릭터(매체)간의 인터렉티브한 다양한 콘텐츠를 생산가능하게 할 뿐만 아니라 이를 통해 고객이 실감나는 재미와 즐거움을 경험할 수 있는 시점인식 3D그래픽기술로써, 특히, 키넥트 동작인식센서나 웹캠 등이 구비된 모션인식부(30)를 통해 사용자 머리의 위치적 신호를 인지하여 사람 머리의 상하좌우전후위치변화를 반영하여 다양한 각도의 영상미디어를 실시간으로 렌더링할 수 있어 시각착시 효과를 극대화할 수 있음은 물론 영상미디어에 숨은 콘텐츠의 활용이 가능하고, 나아가 사용자와 캐릭터 간의 새로운 인터랙티브 소사이어티 구축이 가능한 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템을 제공하는 것을 그 목적으로 한다.The present invention was created in order to solve the above-described problems, it is possible to implement a cognitive optical illusion effect with a visual sense of deep space on a two-dimensional 2D plane display to experience the three-dimensional, through which people and characters It is a 3D graphics technology that enables not only to produce interactive contents between media, but also to experience real fun and enjoyment, especially with motion recognition with Kinect motion sensor or webcam. By recognizing the positional signal of the user's head through the
상기와 같은 목적을 달성하기 위한 본 발명은 디스플레이부와; 다양한 각도의 영상이미지를 포함한 3차원 영상미디어가 저장된 영상저장부와; 상기 디스플레이부의 전방에 위치한 사용자의 모션을 인식하는 모션인식부와; 상기 모션인식부가 인식한 사용자의 모션에 따라 상기 영상저장부에 저장된 3차원 영상미디어를 실시간으로 렌더링하는 렌더링부와; 상기 렌더링부에 의해 실시간으로 렌더링된 3차원 영상미디어를 상기 디스플레이부에 출력하는 영상출력부;를 포함하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템을 제공한다.The present invention for achieving the above object and the display unit; An image storage unit for storing three-dimensional image media including image images of various angles; A motion recognition unit recognizing a motion of a user located in front of the display unit; A rendering unit configured to render 3D image media stored in the image storage unit in real time according to a user's motion recognized by the motion recognition unit; And an image output unit configured to output 3D image media rendered in real time by the rendering unit to the display unit.
여기서, 상기 렌더링부는 상기 영상저장부에 저장된 3차원 영상미디어를 실시간으로 렌더링을 할 때 3차원 영상미디어를 바라보고 있고 2차원 이미지를 만들어내기 위해 기준이 되는 가상카메라부가 포함되는 것이 바람직하다. Here, the rendering unit preferably includes a virtual camera unit that looks at the 3D image media and renders a 2D image when the 3D image media stored in the image storage unit is rendered in real time.
또한, 상기 모션인식부는 사용자 머리의 움직임을 인식하는 것이 바람직하다.In addition, the motion recognition unit preferably recognizes the movement of the user's head.
그리고, 상기 모션인식부에 의해 인식된 사용자 머리의 움직임을 기초로 디스플레이부의 중간부를 바라보는 사용자의 주시방향을 판단하는 주시방향 판단부가 포함되는 것이 바람직하다.The apparatus may further include a gaze direction determiner configured to determine a gaze direction of a user looking at the middle of the display unit based on the movement of the user's head recognized by the motion recognition unit.
특히, 상기 렌더링부는 상기 영상저장부에 저장된 3차원 영상미디어를 상기 주시방향 판단부에 의해 판단된 사용자의 주시방향을 실시간으로 상기 렌더링부의 카메라부의 주시방향에 반영시킨 상태로 렌더링 하는 것이 바람직하다.In particular, the rendering unit preferably renders the 3D image media stored in the image storing unit reflecting the user's gazing direction determined by the gazing direction determining unit in real time to the gazing direction of the camera unit of the rendering unit.
여기서, 사용자의 주시방향에 따른 상기 렌더링부의 가상카메라부의 주시방향을 반영시키는 방식은 카메라의 회전을 통한 방식이 아니라 렌즈 쉬프트(Lens Shift)방식을 사용하는 것이 바람직하다.Here, the method of reflecting the gaze direction of the virtual camera unit of the rendering unit according to the gaze direction of the user is preferably a lens shift method, not a method of rotating the camera.
나아가, 상기 모션인식부에 의해 인식된 사용자의 신체의 좌우이동움직임을 기초로 사용자의 신체의 머리의 좌우이동여부를 판단하는 좌우이동 판단부가 포함되는 것이 바람직하다.Further, it is preferable to include a left and right movement determination unit for determining whether the left and right movement of the head of the user's body based on the left and right movement of the user's body recognized by the motion recognition unit.
여기서, 상기 렌더링부는 상기 좌우이동 판단부가 판단한 사용자 머리의 좌우이동판단결과를 기초로 상기 가상카메라부의 좌우위치를 이동시킨 상태로 상기 영상저장부에 저장된 3차원 영상미디어를 실시간으로 렌더링하는 것이 바람직하다.The rendering unit may render the 3D image media stored in the image storage unit in real time while moving the left and right positions of the virtual camera unit based on the left and right movement determination result of the user's head determined by the left and right movement determining unit. .
더불어, 상기 모션인식부에 의해 인식된 사용자 머리의 상하이동움직임을 기초로 사용자의 신체의 상하이동여부를 판단하는 상하이동 판단부가 포함되는 것이 바람직하다.In addition, it is preferable to include a Shanghai-dong determination unit for determining whether the user's body is in the movement of Shanghai based on the movement of the user's head recognized by the motion recognition unit.
여기서, 상기 렌더링부는 상기 상하이동 판단부가 판단한 사용자의 머리의 상하이동판단결과를 기초로 상기 가상카메라부의 상하위치를 이동시킨 상태로 상기 영상저장부에 저장된 3차원 영상미디어를 실시간으로 렌더링하는 것이 바람직하다.The rendering unit may render 3D image media stored in the image storage unit in real time in a state of moving the upper and lower positions of the virtual camera unit based on the Shanghai copper determination result of the user's head determined by the Shanghai-dong determination unit. Do.
아울러, 상기 모션인식부에 의해 인식된 사용자의 머리의 전후이동움직임을 기초로 사용자의 신체의 전후이동여부를 판단하는 전후이동 판단부가 포함되는 것이 바람직하다.In addition, the front and rear movement determination unit for determining whether the front and rear movement of the user's body based on the movement of the user's head recognized by the motion recognition unit is preferably included.
여기서, 상기 전후이동 판단부가 판단한 사용자의 신체의 전후이동판단결과를 기초로 상기 가상카메라부의 전후위치를 이동시킨 상태에서 상기 가상카메라부의 화각을 조절함으로써, 상기 영상저장부에 저장된 3차원 영상미디어가 항상 일정한 크기의 프레임 속에서 실시간으로 렌더링되도록 하는 것이 바람직하다.Here, the 3D image media stored in the image storage unit is adjusted by adjusting the angle of view of the virtual camera unit while moving the front and rear positions of the virtual camera unit based on the front and rear movement determination result of the body determined by the front and rear movement determination unit. It is always desirable to be rendered in real time in a frame of constant size.
본 발명은 2차원인 2D평면디스플레이에 시각적으로 깊은 공간감을 가진 인지적 착시효과를 구현하여 3차원을 체험할 수 있도록 할 수 있어 이를 통한 사람과 캐릭터(매체)간의 인터렉티브한 다양한 콘텐츠를 생산가능하게 할 뿐만 아니라 이를 통해 고객이 실감나는 재미와 즐거움을 경험할 수 있는 시점인식 3D그래픽기술로써, 특히, 키넥트 동작인식센서나 웹캠 등이 구비된 모션인식부(30)를 통해 사용자의 머리의 위치적 신호를 인지하여 사람의 이동 및 위치변화와 사람의 상하좌우전후위치변화를 반영하여 다양한 각도의 영상미디어를 실시간으로 렌더링할 수 있어 시각착시 효과를 극대화할 수 있음은 물론 영상미디어에 숨은 콘텐츠의 활용이 가능하고, 나아가 사용자와 캐릭터 간의 새로운 인터랙티브 소사이어티 구축이 가능한 효과가 있다.The present invention can realize a three-dimensional experience by implementing a cognitive optical illusion with a visually deep spatial feeling on a two-dimensional 2D plane display to produce a variety of interactive content between a person and a character (media) In addition to this, as a 3D graphics technology that allows customers to experience realistic fun and enjoyment through this, in particular, the position of the user's head through the
또한, 본 발명은 문화콘텐츠 기획 단계에서부터 시장 특성을 고려하여 다양한 형태의 콘텐츠 및 상품을 제공하고 이를 판매 및 유통하기 위한 인프라 구축으로 수익성을 극대화할 수 있을 뿐만 아니라 영화, 연극, 뮤지컬, 드라마 등의 인터랙티브 모션을 통한 시각적 실감형 매체 홍보효과 또한 극대화할 수 있고, 나아가, 콘텐츠와 매체상품의 해외수출 효과를 거둘 수 있음은 물론 인쇄 혹은 2D개념의 평면디스플레이를 대체할 수 있으며, 아울러, 조직적인 유통채널을 확보 및 공유하는 전략적 유통방식을 채택함으로써, 개발 콘텐츠 및 기술에 대한 판로확보의 시간적, 비용적 낭비를 줄이며, 보다 합리적이고 효과적인 홍보마케팅 수단으로 활용 가능한 효과가 있다.In addition, the present invention can maximize the profitability by providing various types of content and products in consideration of market characteristics from the planning stage of cultural contents, and constructing an infrastructure for selling and distributing them, as well as movies, plays, musicals, dramas, etc. It can maximize the effect of promoting visual media through interactive motion, and can also export the contents and media goods overseas, and can replace the flat display of printing or 2D concept. By adopting a strategic distribution method to secure and share channels, it reduces the time and cost waste of securing the development contents and technology, and can be utilized as a more rational and effective means of public relations marketing.
도 1은 본 발명의 일실시예인 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템을 개략적으로 나타내는 블록도이고,
도 2의 a), b)는 사용자가 디스플레이의 중간부에 머리를 위치한 상태를 개략적으로 나타내는 평면도 및 정면도이고,
도 3은 a), b)는 도 2의 사용자의 머리 위치에 따라 렌더링부의 가상카메라부와 영상저장부의 3차원영상미디어가 위치한 상태를 개략적으로 나타내는 입체도와 평면도이고,
도 4는 도 2의 사용자의 머리 위치에 따라 디스플레이부에 3차원영상미디어가 실시간으로 출력된 상태를 개략적으로 나타내는 정면도이고,
도 5의 a), b)는 사용자의 주시방향에 따른 렌더링부의 가상카메라부의 주시방향이 결정되고 3차원 영상미디어가 디스플레이부에 실시간으로 출력되는 과정을 개략적으로 나타내는 정면도이고,
도 6은 렌더링부의 가상카메라부의 주시방향에 따른 렌즈 쉬프트(Lens Shift)효과가 어떻게 이루어지는지 개략적으로 나타내는 평면도이고,
도 7은 사용자 머리의 위치가 디스플레이의 중간부보다 좌측인 상태를 개략적으로 나타내는 평면도이고,
도 8은 사용자 머리의 좌측이동에 따라 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이고,
도 9는 사용자 머리의 위치가 디스플레이의 중간부보다 우측인 상태를 개략적으로 나타내는 평면도이고,
도 10은 사용자 머리의 우측이동에 따라 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이고,
도 11은 사용자 머리의 위치가 디스플레이의 중간부보다 아래인 상태를 개략적으로 나타내는 측면도이고,
도 12는 사용자 머리의 위치가 디스플레이의 중간부보다 아래인 상태일 때 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이고,
도 13은 사용자 머리의 위치가 디스플레이의 중간부보다 위인 상태의 측면도이고,
도 14는 사용자 머리의 위치가 디스플레이의 중간부보다 위인 상태일 때 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이고,
도 15의 a), b)는 사용자의 머리가 도 2 보다 디스플레이부로 전진한 상태를 개략적으로 나타내는 평면도 및 사용자 머리위치에 따른 렌더링부의 가상카메라부와 영상저장부의 3차원영상미디어가 위치한 상태와 가상카메라부의 화각변화를 개략적으로 나타내는 입체도이고,
도 16은 사용자가 도 2를 기준으로 전진한 상태에서 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이고,
도 17의 a), b)는 사용자의 머리가 도 2 보다 디스플레이부로 후진한 상태를 개략적으로 나타내는 평면도와 사용자 머리위치에 따른 렌더링부의 가상카메라부와 영상저장부의 3차원영상미디어가 위치한 상태와 가상카메라부의 화각변화를 개략적으로 나타내는 입체도이고,
도 18은 사용자가 도 2를 기준으로 후진한 상태에서 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.1 is a block diagram schematically illustrating a system for providing 3D video media based on gaze recognition of a user according to an embodiment of the present invention;
2A and 2B are a plan view and a front view schematically illustrating a state where a user places a head in an intermediate portion of a display,
Figure 3 is a), b) is a three-dimensional view and a plan view schematically showing a state in which the three-dimensional image media of the virtual camera unit and the image storage unit of the rendering unit in accordance with the user's head position of FIG.
FIG. 4 is a front view schematically illustrating a state in which 3D image media is output in real time on a display unit according to a position of a user's head of FIG. 2;
5A and 5B are front views schematically illustrating a process of determining a gaze direction of a virtual camera unit of a rendering unit according to a gaze direction of a user and outputting 3D image media in real time to a display unit;
6 is a plan view schematically illustrating how a lens shift effect is performed according to a viewing direction of a virtual camera unit of a rendering unit;
7 is a plan view schematically illustrating a state in which a user's head is positioned to the left side of a middle portion of a display,
FIG. 8 is a front view schematically illustrating 3D image media output in real time to a display unit according to a left movement of a user's head;
9 is a plan view schematically illustrating a state in which a user's head is positioned to a right side of a middle portion of a display,
FIG. 10 is a front view schematically illustrating 3D image media output in real time on a display unit according to a right movement of a user's head.
11 is a side view schematically showing a state where a user's head is positioned below a middle portion of a display,
12 is a front view schematically showing a three-dimensional image media output in real time when the position of the user's head is lower than the middle of the display,
13 is a side view of the user's head positioned above the middle of the display,
14 is a front view schematically showing a three-dimensional image media output in real time on the display unit when the position of the user's head is above the middle of the display,
15A and 15B illustrate a plan view schematically illustrating a state in which a user's head is advanced to the display unit and a state in which the virtual camera unit and the 3D image media of the image storage unit are located according to the position of the user's head. Is a three-dimensional view schematically showing a change in the angle of view of the camera,
FIG. 16 is a front view schematically illustrating 3D image media output in real time on a display unit in a state in which the user moves forward with reference to FIG. 2;
17A and 17B illustrate a plan view schematically illustrating a state in which a user's head is moved backward to the display unit and a state in which the virtual camera unit and the 3D image media of the image storage unit are located according to the position of the user's head. Is a three-dimensional view schematically showing a change in the angle of view of the camera,
FIG. 18 is a front view schematically illustrating 3D image media output in real time on a display unit in a state where the user reverses with reference to FIG. 2.
이하, 본 발명의 바람직한 실시예를 첨부한 도면에 의거하여 보다 상세하게 설명하면 다음과 같다. 물론 본 발명의 권리범위는 하기의 실시예에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 당해 기술분야의 통상적인 지식을 가진 자에 의하여 다양하게 변형 실시될 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Of course, the scope of the present invention is not limited to the following examples, and various modifications can be made by those skilled in the art without departing from the technical gist of the present invention.
도 1은 본 발명의 일실시예인 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템을 개략적으로 나타내는 블록도이고, 도 2의 a), b)는 사용자가 디스플레이의 중간부에 머리를 위치한 상태를 개략적으로 나타내는 평면도 및 정면도이고, 도 3은 a), b)는 도 2의 사용자의 머리 위치에 따라 렌더링부의 가상카메라부와 영상저장부의 3차원영상미디어가 위치한 상태를 개략적으로 나타내는 입체도와 평면도이고, 도 4는 도 2의 사용자의 머리 위치에 따라 디스플레이부에 3차원영상미디어가 실시간으로 출력된 상태를 개략적으로 나타내는 정면도이다.1 is a block diagram schematically illustrating a system for providing 3D video media based on gaze recognition according to an embodiment of the present invention, and FIGS. 2A and 2B illustrate a state in which a user places his head in the middle of a display. Figure 3 is a plan view and a front view schematically, Figure 3 is a), b) is a three-dimensional and plan view schematically showing a state in which the virtual camera unit of the rendering unit and the three-dimensional image media of the image storage unit in accordance with the position of the user of FIG. 4 is a front view schematically illustrating a state in which 3D image media is output in real time on the display unit according to the position of the head of the user of FIG. 2.
본 발명의 일실시예인 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템은 도 1 내지 도 4에서 보는 바와 같이 크게, 디스플레이부(10), 영상저장부(20), 모션인식부(30), 렌더링부(40) 및 영상출력부(50)를 포함하여 이루어진다.As shown in FIGS. 1 to 4, the system for providing a 3D video media based on the gaze direction recognition of a user, which is an embodiment of the present invention, includes a
먼저, 상기 디스플레이부(10)는 PC의 모니터나 평면TV 등 다양한 종류로 이루어질 수 있다.First, the
다음으로, 상기 영상저장부(20)는 상기 디스플레이부(10) 주변에 위치할 수 있으며, 상기 영상저장부(20)에는 다양한 각도의 영상이미지를 포함한 3차원 영상미디어(3)가 저장된다.Next, the
다음으로, 상기 모션인식부(30)는 상기 디스플레이부(10) 주변 또는 상기 디스플레이부(10)의 상부, 하부, 일측, 타측 중 어느 한 부위에 구비될 수 있는 등 다양한 위치에 구비되어 상기 디스플레이부(10)의 전방에 위치한 사용자의 모션을 인식하게 된다.Next, the
다음으로, 상기 렌더링부(40)는 상기 모션인식부(30)와 일정간격을 유지한 상태로 상기 디스플레이부(10) 주변 등 다양한 위치에 구비되어 상기 모션인식부(30)가 인식한 사용자의 모션에 따라 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링하게 된다.Next, the
다음으로, 상기 영상출력부(50)는 상기 렌더링부(40)와 일정간격을 유지한 상태로 상기 디스플레이부(10) 주변 등 다양한 위치에 구비되어 상기 렌더링부(40)에 의해 실시간으로 렌더링된 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력하게 된다.Next, the
다음으로, 상기 모션인식부(30)는 사용자의 머리의 움직임을 인식할 수 있고, 특히, 상기 모션인식부(30)에 의해 인식된 사용자의 머리의 움직임을 기초로 디스플레이부(10)의 중간부를 바라보는 사용자의 주시방향을 판단하는 주시방향 판단부(60)가 구비될 수 있다.Next, the
그리고, 상기 렌더링부(40)는 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링을 할 때 3차원 영상미디어(3)를 바라보고 있고, 2차원 이미지를 만들어내기 위해 기준이 되는 가상카메라부(70)가 구비될 수 있다.When the
그리고, 상기 렌더링부(40)는 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 상기 주시방향 판단부(60)에 의해 판단된 사용자의 주시방향을 렌더링부(40)의 가상카메라부(70)의 주시방향으로 설정하여 실시간으로 가상카메라부(70) 기준으로 렌더링할 수 있다.In addition, the
도 5의 a), b)는 사용자의 주시방향에 따른 렌더링부의 가상카메라부의 주시방향이 결정되고 3차원 영상미디어가 디스플레이부에 실시간으로 출력되는 과정을 개략적으로 나타내는 정면도이다.5A and 5B are front views schematically illustrating a process of determining a gazing direction of a virtual camera unit according to a gazing direction of a user and outputting 3D image media in real time to a display unit.
일예로, 도 5의 a)에서 보는 바와 같이 상기 디스플레이부(10)의 중간부를 기준으로 상기 모션인식부(30)에 의해 인식된 사용자의 머리가 상기 디스플레이부(10)의 우측 하단방향(도 5의 a)의 청색화살표 참조.)으로 움직인 것으로 판단할 경우, 상기 주시방향 판단부(60)는 사용자의 주시방향을 좌측 상단방향으로 설정하며 상기 렌더링부(40)의 가상카메라부(70)의 주시방향도 좌측하단 방향으로 설정하고 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 가상카메라부(70) 기준으로 렌더링할 수 있고, 상기 영상출력부(50)는 도 5의 b)에서 보는 바와 같이 상기 렌더링부(40)의 가상카메라부(70)기준으로 렌더한 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력할 수 있다.For example, as shown in a) of FIG. 5, the head of the user recognized by the
이외에도, 상기 주시방향 판단부(60)가 사용자의 주시방향을 좌측방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 좌측방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user to the left direction, the gaze direction of the virtual camera unit 70 of the
또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 우측방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 우측방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user to the right direction, the gaze direction of the virtual camera unit 70 of the
또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 상측방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 상측방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user as the upward direction, the gaze direction of the virtual camera unit 70 of the
또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 하측방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 하측방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user as the downward direction, the gaze direction of the virtual camera unit 70 of the
또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 좌측 상단방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 좌측 상단방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user as the upper left direction, the image storing unit applies the gazing direction of the virtual camera unit 70 of the
또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 좌측 하단방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 좌측 하단방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user to the lower left direction, the gaze direction of the virtual camera unit 70 of the
또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 우측 상단방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 우측 상단방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user as the upper right direction, the gaze direction of the virtual camera unit 70 of the
또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 우측 하단방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 우측 하단방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user as the bottom right direction, the gaze direction of the virtual camera unit 70 of the
도 6은 렌더링부의 가상카메라부의 주시방향에 따른 렌즈 쉬프트(Lens Shift)효과가 어떻게 이루어지는지 개략적으로 나타내는 평면도이다. FIG. 6 is a plan view schematically illustrating how a lens shift effect is performed according to a viewing direction of a virtual camera unit of a rendering unit. FIG.
한편, 사용자의 주시방향에 따른 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 반영시키는 방식은 카메라의 회전을 통한 방식이 아니라 도 6에서 보는 바와 같이 렌즈 쉬프트(Lens Shift)방식을 사용할 수 있다.Meanwhile, the method of reflecting the gaze direction of the virtual camera unit 70 of the
그리고, 상기 모션인식부(30)에는 키넥트 동작인식센서가 구비될 수 있으며, 상기 키넥트 동작인식센서는 인간의 머리의 위치적 신호를 인지하고, 이를 토대로 상기 렌더링부(40)가 사람의 위치변화(특히, 머리의 위치변화)/이동에 따른 변화된 위치마다의 다른 각도의 영상이미지를 실시간으로 렌더해줌으로써, 영상의 시각착시 효과를 극대화할 수 있어 2D평면이미지를 마치 깊숙한 공간감의 3D그래픽착시효과를 느끼게 해줄 수 있다.In addition, the
또한, 상기 모션인식부(30)에는 웹캠이 구비될 수 있으며, 상기 웹캠은 인간의 머리의 위치적 신호를 인지하고, 이를 토대로 상기 렌더링부(40)가 사람의 위치변화(특히, 머리의 위치변화)/이동에 따른 변화된 위치마다의 다른 각도의 영상이미지를 실시간으로 렌더해줌으로써, 영상의 시각착시 효과를 극대화할 수 있어 2D평면이미지를 마치 깊숙한 공간감의 3D그래픽착시효과를 느끼게 해줄 수 있다.In addition, the
도 7은 사용자 머리의 위치가 디스플레이의 중간부보다 좌측인 상태를 개략적으로 나타내는 평면도이고, 도 8은 사용자 머리의 좌측이동에 따라 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.FIG. 7 is a plan view schematically illustrating a state in which a user's head is positioned to the left side of the middle portion of the display, and FIG. 8 is a front view schematically illustrating 3D image media output in real time to the display unit according to the left side movement of the user's head. .
다음으로, 상기 모션인식부(30)에 의해 인식된 사용자의 머리의 좌우이동움직임을 기초로 사용자의 신체의 좌우이동여부를 판단하는 좌우이동 판단부(70)가 구비될 수 있다.Next, a left and right movement determining unit 70 may be provided to determine whether the user's body is moved left and right based on the left and right movement of the user's head recognized by the
그리고, 상기 렌더링부(40)는 상기 좌우이동 판단부(70)가 판단한 사용자의 머리의 좌우이동판단결과를 기초로 상기 가상카메라부(70)을 좌우이동 시킨 기준으로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있다.In addition, the
일예로, 도 7에서 보는 바와 같이 상기 모션인식부(30)에 의해 인식된 사용자의 머리가 상기 디스플레이부(10)의 중심 기준에서 좌측방향으로 이동한 것으로 상기 좌우이동 판단부(70)가 판단할 경우, 상기 렌더링부(40)는 상기 가상카메라부(70)를 도 3 기준에서 좌측방향으로 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있고, 상기 영상출력부(50)는 도 8에서 보는 바와 같이 상기 렌더링부(40)는 상기 가상카메라부(70)를 도 3 기준에서 좌측방향으로 이동시킨 상태로 렌더링한 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력할 수 있다.For example, as shown in FIG. 7, the left and right movement determining unit 70 determines that the user's head recognized by the
이로써, 사용자는 상기 디스플레이부(10) 출력되는 3차원 영상미디어(3)의 우측면(도 8)의 내용을 사용자의 머리가 디스플레이부(10)의 중심에 위치할 때(도 4)보다 육안으로 좀 더 자세히 확인할 수 있다.As a result, the user visually displays the contents of the right side (FIG. 8) of the
도 9는 사용자 머리의 위치가 디스플레이의 중간부보다 우측인 상태를 개략적으로 나타내는 평면도이고, 도 10은 사용자 머리의 우측이동에 따라 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.FIG. 9 is a plan view schematically illustrating a state in which a user's head is positioned to the right of a middle portion of the display, and FIG. 10 is a front view schematically illustrating 3D image media output to a display unit in real time according to a movement of the user's head to the right. .
이외에도, 상기 좌우이동 판단부(70)가 사용자의 머리가 도 9에서 보는 바와 같이 상기 디스플레이부(10)의 중심부보다 우측방향으로 이동한 것으로 판단할 경우, 상기 렌더링부(40)는 도 10에서 보는 바와 같이 가상카메라부(70)의 위치를 우측방향으로 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 렌더링할 수 있다.In addition, when the left and right movement determining unit 70 determines that the user's head has moved to the right side from the center of the
도 11은 사용자 머리의 위치가 디스플레이의 중간부보다 아래인 상태를 개략적으로 나타내는 측면도이고, 도 12는 사용자 머리의 위치가 디스플레이의 중간부보다 아래인 상태일 때 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.FIG. 11 is a side view schematically illustrating a state where a user's head is positioned below the middle of the display, and FIG. 12 is a 3D image media output in real time when the position of the user's head is below the middle of the display. It is a schematic front view.
다음으로, 사용자의 머리가 위아래로 이동함으로써, 상기 모션인식부(30)에 의해 인식된 사용자 머리의 상하이동 움직임을 기초로 사용자 머리의 상하이동여부를 판단하는 상하이동 판단부(80)가 구비될 수 있다.Next, by moving the user's head up and down, the Shanghai-dong determination unit 80 for determining whether or not the user's head in the Shanghai East movement based on the movement of the user's head recognized by the
그리고, 상기 렌더링부(40)는 상기 상하이동 판단부(80)가 판단한 사용자의 머리의 상하이동판단결과를 기초로 상기 가상카메라부(70)의 상하위치를 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있다.In addition, the
일예로, 도 11에서 보는 바와 같이 사용자가 서있는 상태에서 다리를 구부리는 동작을 함으로써, 상기 모션인식부(30)에 의해 인식된 사용자의 머리가 상기 디스플레이부(10)의 중심부보다 하측방향으로 이동한 것으로 상기 상하이동 판단부(80)가 판단할 경우, 상기 렌더링부(40)는 상기 가상카메라부(70)의 위치를 하측방향으로 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있고, 상기 영상출력부(50)는 도 12에서 보는 바와 같이 상기 가상카메라부(70)가 하측방향으로 실시간으로 이동된 상태에서 렌더링된 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력할 수 있다.For example, as shown in FIG. 11, the user's head recognized by the
이로써, 사용자는 일반적으로 곧게 선 상태에서보다 상기 디스플레이부(10) 출력되었던 3차원 영상미디어(3)의 윗면(도 12)의 내용을 육안으로 좀 더 자세히 확인할 수 있다.Thus, the user can visually check the contents of the upper surface (FIG. 12) of the
도 13은 사용자 머리의 위치가 디스플레이의 중간부보다 위인 상태의 측면도이고, 도 14는 사용자 머리의 위치가 디스플레이의 중간부보다 위인 상태일 때 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.FIG. 13 is a side view of the user's head positioned above the middle of the display, and FIG. 14 schematically shows the 3D image media output in real time to the display unit when the user's head is positioned above the middle of the display. It is a front view showing.
이외에도, 사용자가 선 상태에서 뒤꿈치를 드는 동작을 함으로써, 상기 상하이동 판단부(80)가 사용자의 머리가 도 13에서 보는 바와 같이 상기 디스플레이부(10)의 중심부보다 상측방향으로 이동한 것으로 판단할 경우, 상기 렌더링부(40)는 상기 가상카메라부(70)의 위치를 상측방향으로 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있고, 상기 영상출력부(50)는 도 14에서 보는 바와 같이 상기 가상카메라부(70)가 상측방향으로 실시간으로 이동된 상태에서 렌더링된 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력할 수 있다.In addition, by the user lifting the heel in the standing state, the Shanghai-dong judging unit 80 may determine that the user's head has moved upward from the center of the
이로써, 사용자는 일반적으로 곧게 선 상태에서보다 상기 디스플레이부(10) 출력되었던 3차원 영상미디어(3)의 아랫면(도 14)의 내용을 육안으로 좀 더 자세히 확인할 수 있다.Thus, the user can visually check the contents of the lower surface (FIG. 14) of the
도 15는 사용자의 머리가 도 2 보다 디스플레이부로 전진한 상태를 개략적으로 나타내는 평면도와 사용자 머리위치에 따른 렌더링부의 가상카메라부와 영상저장부의 3차원영상미디어가 위치한 상태와 가상카메라부의 화각변화를 개략적으로 나타내는 입체도이고, 도 16은 사용자의 머리가 전진한 상태에서 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.FIG. 15 is a plan view schematically illustrating a state in which a user's head is advanced to a display unit than FIG. 2, and a state in which a rendering unit's virtual camera unit and an image storage unit's 3D image media are located and an angle of view change of the virtual camera unit according to a user's head position. 16 is a front view schematically showing a three-dimensional image media output in real time to the display unit with the user's head advanced.
다음으로, 상기 모션인식부(30)에 의해 인식된 사용자 머리의 전후이동움직임을 기초로 사용자의 신체의 전후이동여부를 판단하는 전후이동 판단부(90)가 구비될 수 있다.Next, a forward and backward movement determining unit 90 may be provided to determine whether the body of the user is moved back and forth based on the front and rear movement of the user's head recognized by the
그리고, 상기 렌더링부(40)는 상기 전후이동 판단부(90)가 판단한 사용자 머리의 전후이동판단결과를 기초로 상기 가상카메라부(70)의 전후 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있다.In addition, the
또한, 상기 가상카메라부(70)의 전후 이동에 따른 카메라의 화각을 조절하여 가상 카메라 전후 이동에도 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)의 앞면이 일정한 크기로 나오도록 실시간으로 렌더링할 수 있다. In addition, by adjusting the angle of view of the camera according to the forward and backward movement of the virtual camera unit 70, the front of the three-dimensional image media (3) stored in the
일예로, 도 15의 a)에서 보는 바와 같이 머리가 도 2보다 상기 디스플레이부(10)방향으로 다가감으로써, 상기 모션인식부(30)에 의해 인식된 사용자의 머리가 상기 디스플레이부(10)방향으로 가깝게 전진한 것으로 상기 전후이동 판단부(90)가 판단할 경우, 상기 렌더링부(40)는 상기 가상카메라부(70)의 위치를 전진한 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있고, 도 15의 b)에서 보는 바와 같이 상기 가상카메라부(70)의 화각을 넓힘으로써 상기 영상저장부(20)의 저장된 3차원 영상미디어(3)의 앞면(도 15의 b)이 도 2의 3차원 영상미디어(3)의 앞면과 같은 크기로 나올 수 있게 렌더링하고, 상기 영상출력부(50)는 도 16에서 보는 바와 같이 실시간으로 가상카메라부(70)의 위치와 화각 상태에 따라 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력할 수 있다.For example, as shown in a) of FIG. 15, as the head approaches the
도 17는 사용자의 머리가 도 2 보다 디스플레이부로 후진한 상태를 개략적으로 나타내는 평면도와 사용자 머리위치에 따른 렌더링부의 가상카메라부와 영상저장부의 3차원영상미디어가 위치한 상태와 가상카메라부의 화각변화를 개략적으로 나타내는 입체도이고, 도 18은 사용자의 머리가 후진한 상태에서 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.17 is a plan view schematically illustrating a state in which a user's head is moved backward to a display unit than FIG. 2, and a state in which a virtual unit of a rendering unit and a 3D image media of an image storage unit are located according to a position of a user's head and a view angle change of the virtual camera unit. 18 is a front view schematically showing a three-dimensional image media output in real time to the display unit in a state in which the user's head is backward.
이외에도, 도 17의 a)에서 보는 바와 같이 사용자의 머리가 도 2보다 상기 디스플레이부(10)방향으로 멀어짐으로써, 상기 모션인식부(30)에 의해 인식된 사용자의 머리가 상기 디스플레이부(10)로부터 멀어지도록 후진한 것으로 상기 전후이동 판단부(90)가 판단할 경우, 상기 렌더링부(40)는 상기 가상카메라부(70)의 위치를 후진한 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있고, 도 17의 b)에서 보는 바와 같이 상기 가상카메라부(70)의 화각을 좁힘으로써 상기 영상저장부(20)의 저장된 3차원 영상미디어(3)의 앞면(도 17의 b)이 도 2의 3차원 영상미디어(3)의 앞면과 같은 크기로 나올 수 있게 렌더링하고, 상기 영상출력부(50)는 도 18에서 보는 바와 같이 실시간으로 가상카메라부(70)의 위치와 화각 상태에 따라 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력할 수 있다.In addition, as shown in a) of FIG. 17, the head of the user is further away from the
상술한 바와 같이 구성된 본 발명은 2차원인 2D평면디스플레이에 시각적으로 깊은 공간감을 가진 인지적 착시효과를 구현하여 3차원을 체험할 수 있도록 할 수 있어 이를 통한 사람과 캐릭터(매체)간의 인터렉티브한 다양한 콘텐츠를 생산가능하게 할 뿐만 아니라 이를 통해 고객이 실감나는 재미와 즐거움을 경험할 수 있는 시점인식 3D그래픽기술로써, 특히, 키넥트 동작인식센서나 웹캠 등이 구비된 상기 모션인식부(30)를 통해 사용자의 머리의 위치적 신호를 인지하여 사람 머리의 상하좌우전후위치변화를 반영하여 다양한 각도의 영상미디어(3)를 실시간으로 렌더링할 수 있어 시각착시 효과를 극대화할 수 있음은 물론 영상미디어(3)에 숨은 콘텐츠의 활용이 가능하고, 나아가 사용자와 캐릭터 간의 새로운 인터랙티브 소사이어티 구축이 가능한 이점이 있다.The present invention configured as described above can realize a three-dimensional experience by implementing a cognitive optical illusion having a visually deep spatial feeling on a two-dimensional 2D plane display, thereby making it possible to interact interactively between a person and a character (medium). In addition to enabling the production of content, through this, 3D graphics technology that allows customers to experience realistic fun and enjoyment, in particular, through the
또한, 본 발명은 문화콘텐츠 기획 단계에서부터 시장 특성을 고려하여 다양한 형태의 콘텐츠 및 상품을 제공하고 이를 판매 및 유통하기 위한 인프라 구축으로 수익성을 극대화할 수 있을 뿐만 아니라 영화, 연극, 뮤지컬, 드라마 등의 인터랙티브 모션을 통한 시각적 실감형 매체 홍보효과 또한 극대화할 수 있고, 나아가, 콘텐츠와 매체상품의 해외수출 효과를 거둘 수 있음은 물론 인쇄 혹은 2D개념의 평면디스플레이를 대체할 수 있으며, 아울러, 조직적인 유통채널을 확보 및 공유하는 전략적 유통방식을 채택함으로써, 개발 콘텐츠 및 기술에 대한 판로확보의 시간적, 비용적 낭비를 줄이며, 보다 합리적이고 효과적인 홍보마케팅 수단으로 활용가능한 이점이 있다.In addition, the present invention can maximize the profitability by providing various types of content and products in consideration of market characteristics from the planning stage of cultural contents, and constructing an infrastructure for selling and distributing them, as well as movies, plays, musicals, dramas, etc. It can maximize the effect of promoting visual media through interactive motion, and can also export the contents and media goods overseas, and can replace the flat display of printing or 2D concept. By adopting a strategic distribution method of securing and sharing channels, it reduces the time and cost waste of securing the development content and technology, and can be utilized as a more rational and effective public relations marketing means.
10; 디스플레이부,
20; 영상저장부,
30; 모션인식부,
40; 렌더링부,
50; 영상출력부.10; A
30;
50; Video output unit.
Claims (12)
다양한 각도의 영상이미지를 포함한 3차원 영상미디어(3)가 저장된 영상저장부(20)와;
상기 디스플레이부(10)의 전방에 위치한 사용자의 모션을 인식하는 모션인식부(30)와;
상기 모션인식부(30)가 인식한 사용자의 모션에 따라 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링하는 렌더링부(40)와;
상기 렌더링부(40)에 의해 실시간으로 렌더링된 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력하는 영상출력부(50);를 포함하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
A display unit 10;
An image storage unit 20 storing three-dimensional image media 3 including image images of various angles;
A motion recognition unit 30 for recognizing a motion of a user located in front of the display unit 10;
A rendering unit 40 for rendering the 3D image media 3 stored in the image storage unit 20 in real time according to the motion of the user recognized by the motion recognition unit 30;
3, the image output unit 50 for outputting the 3D image media 3 rendered in real time by the rendering unit 40 to the display unit 10; Dimensional Media Delivery System.
상기 모션인식부(30)는 사용자의 머리의 움직임을 인식하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 1,
The motion recognition unit 30 recognizes the movement of the user's head characterized in that the user's attention direction recognition based three-dimensional image media providing system.
상기 모션인식부(30)에 의해 인식된 사용자의 머리의 움직임을 기초로 상기 디스플레이부(10)의 중심부를 바라보는 사용자의 주시방향을 판단하는 주시방향 판단부(60)가 포함되는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 2,
A gaze direction determining unit 60 is included to determine a gazing direction of a user looking at the center of the display unit 10 based on the movement of the user's head recognized by the motion recognition unit 30. 3D image media providing system based on user's gaze recognition.
상기 렌더링부(40)는 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 상기 주시방향 판단부(60)에 의해 판단된 사용자의 주시방향을 실시간으로 상기 렌더링부(40)의 가상카메라부(70)의 주시방향에 반영시킨 상태로 렌더링하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 3,
The rendering unit 40 is a 3D image media 3 stored in the image storage unit 20 of the rendering unit 40 in real time to determine the direction of the user's gaze determined by the gaze direction determination unit 60 3D image media providing system based on the viewing direction recognition of the user, characterized in that rendered in the state reflected in the viewing direction of the virtual camera unit 70.
사용자의 주시방향에 따른 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 반영시키는 방식은 카메라의 회전을 통한 방식이 아니라 렌즈 시프트(Lens Shift)방식을 사용하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 4, wherein
The method of reflecting the gaze direction of the virtual camera unit 70 of the rendering unit 40 according to the gaze direction of the user is characterized by using a lens shift method, not through the rotation of the camera. 3D image media providing system based on gaze direction recognition.
상기 모션인식부(30)에 의해 인식된 사용자의 신체의 좌우이동움직임을 기초로 사용자의 머리의 좌우이동여부를 판단하는 좌우이동 판단부(70)가 포함되는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 4, wherein
Recognition of the user's gaze direction, characterized in that it includes a left and right movement determination unit 70 for determining whether the user's head left or right movement based on the left and right movement of the user's body recognized by the motion recognition unit 30 Based 3D image media providing system.
상기 렌더링부(40)는 상기 좌우이동 판단부(70)가 판단한 사용자 머리의 좌우이동판단결과를 기초로 상기 가상카메라부(70)의 좌우위치를 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 6,
The rendering unit 40 moves the left and right positions of the virtual camera unit 70 to the image storage unit 20 based on the left and right movement determination result of the user's head determined by the left and right movement determining unit 70. A system for providing 3D image media based on the viewing direction of a user, characterized in that the stored 3D image media 3 is rendered in real time.
상기 모션인식부(30)에 의해 인식된 사용자 머리의 상하이동움직임을 기초로 사용자의 신체의 상하이동여부를 판단하는 상하이동 판단부(80)가 포함되는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 4, wherein
Based on the user's gaze direction recognition based on the Shanghai movement of the user's head recognized by the motion recognition unit 30 includes a Shanghai-dong determination unit 80 that determines whether the user's body is in Shanghai 3D video media providing system.
상기 렌더링부(40)는 상기 상하이동 판단부(80)가 판단한 사용자 머리의 상하이동판단결과를 기초로 상기 가상카메라부(70)의 상하위치를 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 8,
The rendering unit 40 moves the upper and lower positions of the virtual camera unit 70 to the image storage unit 20 based on the Shanghai copper determination result of the user's head determined by the Shanghai-dong determination unit 80. A system for providing 3D image media based on the viewing direction of a user, characterized in that the stored 3D image media 3 is rendered in real time.
상기 모션인식부(30)에 의해 인식된 사용자 머리의 전후이동움직임을 기초로 사용자의 신체의 전후이동여부를 판단하는 전후이동 판단부(90)가 포함되는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 4, wherein
Based on the user's gaze direction recognition based on the front and rear movement of the user's head recognized by the motion recognition unit 30, the front and rear movement determination unit 90 to determine whether the front and rear movement of the user is included. 3D video media providing system.
상기 렌더링부(40)는 상기 전후이동 판단부(90)가 판단한 사용자의 신체의 전후이동판단결과를 기초로 상기 가상카메라부(70)의 전후위치를 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 10,
The image rendering unit 20 moves the front and rear positions of the virtual camera unit 70 based on the result of the front and rear movement determination of the user's body determined by the front and rear movement determining unit 90. 3D image media providing system based on the viewing direction of the user, characterized in that to render in real time the three-dimensional image media (3) stored in the.
상기 전후이동 판단부(90)가 판단한 사용자의 신체의 전후이동판단결과를 기초로 상기 가상카메라부(70)의 전후위치를 이동시킨 상태에서 가상카메라부(70)의 화각을 조절함으로써 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)가 항상 일정한 크기의 프레임 속에서 실시간으로 렌더링되도록 하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.The method of claim 11,
The image storage is performed by adjusting the angle of view of the virtual camera unit 70 while the front and rear positions of the virtual camera unit 70 are moved based on the result of the front and rear movement determination of the user's body determined by the front and rear movement determining unit 90. 3D image media providing system based on the viewing direction of the user, characterized in that the three-dimensional image media (3) stored in the unit 20 is always rendered in real time in a frame of a certain size.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180039659A KR102053979B1 (en) | 2018-04-05 | 2018-04-05 | A three - dimensional image media providing system based on user 's directional direction recognition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180039659A KR102053979B1 (en) | 2018-04-05 | 2018-04-05 | A three - dimensional image media providing system based on user 's directional direction recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190117033A true KR20190117033A (en) | 2019-10-16 |
KR102053979B1 KR102053979B1 (en) | 2019-12-12 |
Family
ID=68421436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180039659A KR102053979B1 (en) | 2018-04-05 | 2018-04-05 | A three - dimensional image media providing system based on user 's directional direction recognition |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102053979B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12033269B2 (en) | 2021-07-12 | 2024-07-09 | Toyota Jidosha Kabushiki Kaisha | Virtual reality simulator and virtual reality simulation program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007096951A (en) * | 2005-09-29 | 2007-04-12 | Toshiba Corp | Multi-viewpoint image creating apparatus, method, and program |
JP2014045474A (en) * | 2012-07-31 | 2014-03-13 | Nlt Technologies Ltd | Stereoscopic image display device, image processing apparatus, and stereoscopic image processing method |
KR20150033175A (en) | 2013-09-23 | 2015-04-01 | (주)이노지움 | Learning contents providing system using motion recognition |
-
2018
- 2018-04-05 KR KR1020180039659A patent/KR102053979B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007096951A (en) * | 2005-09-29 | 2007-04-12 | Toshiba Corp | Multi-viewpoint image creating apparatus, method, and program |
JP2014045474A (en) * | 2012-07-31 | 2014-03-13 | Nlt Technologies Ltd | Stereoscopic image display device, image processing apparatus, and stereoscopic image processing method |
KR20150033175A (en) | 2013-09-23 | 2015-04-01 | (주)이노지움 | Learning contents providing system using motion recognition |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12033269B2 (en) | 2021-07-12 | 2024-07-09 | Toyota Jidosha Kabushiki Kaisha | Virtual reality simulator and virtual reality simulation program |
Also Published As
Publication number | Publication date |
---|---|
KR102053979B1 (en) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101057617B1 (en) | 3D display system | |
US7796134B2 (en) | Multi-plane horizontal perspective display | |
US10366642B2 (en) | Interactive multiplane display system with transparent transmissive layers | |
JP4809142B2 (en) | Stereoscopic video display device and 3D video-stereoscopic video converter | |
WO2019123729A1 (en) | Image processing device, image processing method, and program | |
US20050219695A1 (en) | Horizontal perspective display | |
JP4982862B2 (en) | Program, information storage medium, and image generation system | |
US20060221071A1 (en) | Horizontal perspective display | |
JP2012079291A (en) | Program, information storage medium and image generation system | |
JPH11161814A (en) | Image generation device, simulation device and information storage medium | |
KR102107706B1 (en) | Method and apparatus for processing image | |
JP7426413B2 (en) | Blended mode three-dimensional display system and method | |
JP4772952B2 (en) | Stereoscopic image generation apparatus and information storage medium | |
WO2018084087A1 (en) | Image display system, image display device, control method therefor, and program | |
WO2017191702A1 (en) | Image processing device | |
KR102053979B1 (en) | A three - dimensional image media providing system based on user 's directional direction recognition | |
KR102025473B1 (en) | Image system for synthesising in space with separated images | |
JP5649846B2 (en) | Program and image generation system | |
JP3996551B2 (en) | Game machine | |
JPH10334274A (en) | Method and system for virtual realize and storage medium | |
JP2013130928A (en) | Design support device, and method and program for design support | |
WO1998043442A1 (en) | Multiple viewpoint image generation | |
Baillard et al. | Mixed reality extended TV | |
US20100177097A1 (en) | Image processor, image processing method, program, and information storage medium | |
CN118631981A (en) | Image display method and device and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
J206 | Request for trial to confirm the scope of a patent right | ||
J301 | Trial decision |
Free format text: TRIAL NUMBER: 2021100003199; TRIAL DECISION FOR CONFIRMATION OF THE SCOPE OF RIGHT_AFFIRMATIVE REQUESTED 20211028 Effective date: 20220530 |