KR20190117033A - A three - dimensional image media providing system based on user 's directional direction recognition - Google Patents

A three - dimensional image media providing system based on user 's directional direction recognition Download PDF

Info

Publication number
KR20190117033A
KR20190117033A KR1020180039659A KR20180039659A KR20190117033A KR 20190117033 A KR20190117033 A KR 20190117033A KR 1020180039659 A KR1020180039659 A KR 1020180039659A KR 20180039659 A KR20180039659 A KR 20180039659A KR 20190117033 A KR20190117033 A KR 20190117033A
Authority
KR
South Korea
Prior art keywords
unit
user
image
image media
head
Prior art date
Application number
KR1020180039659A
Other languages
Korean (ko)
Other versions
KR102053979B1 (en
Inventor
박세진
김현정
임경훈
Original Assignee
박세진
주식회사 플러스튜디오
김현정
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=68421436&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20190117033(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 박세진, 주식회사 플러스튜디오, 김현정 filed Critical 박세진
Priority to KR1020180039659A priority Critical patent/KR102053979B1/en
Publication of KR20190117033A publication Critical patent/KR20190117033A/en
Application granted granted Critical
Publication of KR102053979B1 publication Critical patent/KR102053979B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a system for providing three-dimensional video media based on recognition of a gaze direction of a user, which is a gaze recognition three-dimensional graphic technology capable of not only creating interactive various content between a person and a character (medium) through three-dimensional experience by realizing a cognitive illusion effect having a visually deep space feeling in a two-dimensional flat panel display, but also enabling a customer to experience realistic fun and pleasure therethrough. Particularly, the system of the present invention is capable of rendering video media of various angles in real time by reflecting a change in up, down, left and right positions of a head of a person by realizing a positional signal of a head of a user through a motion recognition unit (30) including a Kinect motion recognition sensor, a webcam and the like, thereby maximizing a visual illusion effect, utilizing content hidden in video media, and constructing a new interactive society between a user and a character.

Description

사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템{A three - dimensional image media providing system based on user 's directional direction recognition}A three-dimensional image media providing system based on user's directional direction recognition}

본 발명은 2차원인 2D평면디스플레이에 시각적으로 깊은 공간감을 가진 인지적 착시효과를 구현하여 3차원을 체험할 수 있도록 할 수 있어 이를 통한 사람과 캐릭터(매체)간의 인터렉티브한 다양한 콘텐츠를 생산가능하게 할 뿐만 아니라 이를 통해 고객이 실감나는 재미와 즐거움을 경험할 수 있는 시점인식 3D그래픽기술로써, 특히, 키넥트 동작인식센서나 웹캠 등이 구비된 모션인식부를 통해 사용자 머리의 위치적 신호를 인지하여 사람 머리의 상하좌우전후위치변화를 반영하여 다양한 각도의 영상미디어를 실시간으로 렌더링할 수 있어 시각착시 효과를 극대화할 수 있음은 물론 영상미디어에 숨은 콘텐츠의 활용이 가능하고, 나아가 사용자와 캐릭터 간의 새로운 인터랙티브 소사이어티 구축이 가능한 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템에 관한 것이다.The present invention can realize a three-dimensional experience by implementing a cognitive optical illusion with a visually deep spatial feeling on a two-dimensional 2D plane display to produce a variety of interactive content between a person and a character (media) In addition, this is a point-of-view 3D graphic technology that enables customers to experience realistic fun and enjoyment. In particular, the motion recognition unit equipped with Kinect motion sensor or webcam recognizes the positional signal of the user's head. By reflecting the change of position of the front, back, left, right, front and back, it is possible to render various angles of visual media in real time, maximizing visual illusion effect and utilizing hidden contents in the visual media, and further new interactive between user and character. 3D image MIDI based on user's gaze recognition Control system.

최근에는 센서기술의 발달과 더불어 사용자의 움직임(모션)을 인식하여 이로부터 사용자 명령을 추출하고 해당 명령에 따른 동작을 수행하는 제어기술이 활발하게 연구되어 프로젝터를 이용하여 객체에 영상을 투사하는 기법과 함께 사용되고 있다.Recently, with the development of sensor technology, the control technology that recognizes user's movement (motion) and extracts user's command from it and performs the operation according to the command is actively studied. It is being used with.

이에 따라 사용자의 손발 움직임을 인식하고 이에 대응하는 학습 컨텐츠를 제공할 수 있어서 직접 체험하기가 곤란한 우주 여행, 해저 탐험, 인체 탐험 등을 가상으로 경험해볼 수 있어 놀이와 더불어 학습효과를 극대화시킬 수 있는 행동인식을 통한 체험형 학습 컨텐츠 제공 시스템이 국내공개특허공보 공개번호 제10-2015-0033175호로 제안된 바 있다.Accordingly, it is possible to recognize the movement of the user's limbs and provide learning contents corresponding to this, so that it is possible to virtually experience space travel, seabed exploration, human body exploration, etc., which is difficult to directly experience, thereby maximizing learning and learning effects. An experiential learning content providing system through behavior recognition has been proposed in Korean Patent Publication No. 10-2015-0033175.

그러나, 상기 국내공개특허공보 공개번호 제10-2015-0033175호의 경우, PC의 모니터나 TV 등과 같은 디스플레이 수단에 우주공간 및 바다심해와 같은 그래픽을 2D, 즉 평면적인 이미지로 출력할 뿐 3D 즉, 다양한 각도로 이미지화 할 수 없어 시각인지 효과를 극대화 할 수 없는 문제점이 있다.However, in the case of Korean Laid-Open Patent Publication No. 10-2015-0033175, 3D, that is, outputting graphics such as outer space and deep sea in 2D, that is, planar images, to a display means such as a PC monitor or TV. There is a problem in that it is not possible to maximize the visual perception effect because it cannot be imaged at various angles.

국내공개특허공보 공개번호 제10-2015-0033175호Domestic Publication No. 10-2015-0033175

본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로써, 2차원인 2D평면디스플레이에 시각적으로 깊은 공간감을 가진 인지적 착시효과를 구현하여 3차원을 체험할 수 있도록 할 수 있어 이를 통한 사람과 캐릭터(매체)간의 인터렉티브한 다양한 콘텐츠를 생산가능하게 할 뿐만 아니라 이를 통해 고객이 실감나는 재미와 즐거움을 경험할 수 있는 시점인식 3D그래픽기술로써, 특히, 키넥트 동작인식센서나 웹캠 등이 구비된 모션인식부(30)를 통해 사용자 머리의 위치적 신호를 인지하여 사람 머리의 상하좌우전후위치변화를 반영하여 다양한 각도의 영상미디어를 실시간으로 렌더링할 수 있어 시각착시 효과를 극대화할 수 있음은 물론 영상미디어에 숨은 콘텐츠의 활용이 가능하고, 나아가 사용자와 캐릭터 간의 새로운 인터랙티브 소사이어티 구축이 가능한 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템을 제공하는 것을 그 목적으로 한다.The present invention was created in order to solve the above-described problems, it is possible to implement a cognitive optical illusion effect with a visual sense of deep space on a two-dimensional 2D plane display to experience the three-dimensional, through which people and characters It is a 3D graphics technology that enables not only to produce interactive contents between media, but also to experience real fun and enjoyment, especially with motion recognition with Kinect motion sensor or webcam. By recognizing the positional signal of the user's head through the part 30, the image media of various angles can be rendered in real time by reflecting the positional change of the front, rear, left, right and right of the human head, thereby maximizing visual optical illusion effect, Hidden content in the game, and further new interactive society between the user and the character To provide a user's eye direction is possible recognition-based 3D imaging media presentation system for that purpose.

상기와 같은 목적을 달성하기 위한 본 발명은 디스플레이부와; 다양한 각도의 영상이미지를 포함한 3차원 영상미디어가 저장된 영상저장부와; 상기 디스플레이부의 전방에 위치한 사용자의 모션을 인식하는 모션인식부와; 상기 모션인식부가 인식한 사용자의 모션에 따라 상기 영상저장부에 저장된 3차원 영상미디어를 실시간으로 렌더링하는 렌더링부와; 상기 렌더링부에 의해 실시간으로 렌더링된 3차원 영상미디어를 상기 디스플레이부에 출력하는 영상출력부;를 포함하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템을 제공한다.The present invention for achieving the above object and the display unit; An image storage unit for storing three-dimensional image media including image images of various angles; A motion recognition unit recognizing a motion of a user located in front of the display unit; A rendering unit configured to render 3D image media stored in the image storage unit in real time according to a user's motion recognized by the motion recognition unit; And an image output unit configured to output 3D image media rendered in real time by the rendering unit to the display unit.

여기서, 상기 렌더링부는 상기 영상저장부에 저장된 3차원 영상미디어를 실시간으로 렌더링을 할 때 3차원 영상미디어를 바라보고 있고 2차원 이미지를 만들어내기 위해 기준이 되는 가상카메라부가 포함되는 것이 바람직하다. Here, the rendering unit preferably includes a virtual camera unit that looks at the 3D image media and renders a 2D image when the 3D image media stored in the image storage unit is rendered in real time.

또한, 상기 모션인식부는 사용자 머리의 움직임을 인식하는 것이 바람직하다.In addition, the motion recognition unit preferably recognizes the movement of the user's head.

그리고, 상기 모션인식부에 의해 인식된 사용자 머리의 움직임을 기초로 디스플레이부의 중간부를 바라보는 사용자의 주시방향을 판단하는 주시방향 판단부가 포함되는 것이 바람직하다.The apparatus may further include a gaze direction determiner configured to determine a gaze direction of a user looking at the middle of the display unit based on the movement of the user's head recognized by the motion recognition unit.

특히, 상기 렌더링부는 상기 영상저장부에 저장된 3차원 영상미디어를 상기 주시방향 판단부에 의해 판단된 사용자의 주시방향을 실시간으로 상기 렌더링부의 카메라부의 주시방향에 반영시킨 상태로 렌더링 하는 것이 바람직하다.In particular, the rendering unit preferably renders the 3D image media stored in the image storing unit reflecting the user's gazing direction determined by the gazing direction determining unit in real time to the gazing direction of the camera unit of the rendering unit.

여기서, 사용자의 주시방향에 따른 상기 렌더링부의 가상카메라부의 주시방향을 반영시키는 방식은 카메라의 회전을 통한 방식이 아니라 렌즈 쉬프트(Lens Shift)방식을 사용하는 것이 바람직하다.Here, the method of reflecting the gaze direction of the virtual camera unit of the rendering unit according to the gaze direction of the user is preferably a lens shift method, not a method of rotating the camera.

나아가, 상기 모션인식부에 의해 인식된 사용자의 신체의 좌우이동움직임을 기초로 사용자의 신체의 머리의 좌우이동여부를 판단하는 좌우이동 판단부가 포함되는 것이 바람직하다.Further, it is preferable to include a left and right movement determination unit for determining whether the left and right movement of the head of the user's body based on the left and right movement of the user's body recognized by the motion recognition unit.

여기서, 상기 렌더링부는 상기 좌우이동 판단부가 판단한 사용자 머리의 좌우이동판단결과를 기초로 상기 가상카메라부의 좌우위치를 이동시킨 상태로 상기 영상저장부에 저장된 3차원 영상미디어를 실시간으로 렌더링하는 것이 바람직하다.The rendering unit may render the 3D image media stored in the image storage unit in real time while moving the left and right positions of the virtual camera unit based on the left and right movement determination result of the user's head determined by the left and right movement determining unit. .

더불어, 상기 모션인식부에 의해 인식된 사용자 머리의 상하이동움직임을 기초로 사용자의 신체의 상하이동여부를 판단하는 상하이동 판단부가 포함되는 것이 바람직하다.In addition, it is preferable to include a Shanghai-dong determination unit for determining whether the user's body is in the movement of Shanghai based on the movement of the user's head recognized by the motion recognition unit.

여기서, 상기 렌더링부는 상기 상하이동 판단부가 판단한 사용자의 머리의 상하이동판단결과를 기초로 상기 가상카메라부의 상하위치를 이동시킨 상태로 상기 영상저장부에 저장된 3차원 영상미디어를 실시간으로 렌더링하는 것이 바람직하다.The rendering unit may render 3D image media stored in the image storage unit in real time in a state of moving the upper and lower positions of the virtual camera unit based on the Shanghai copper determination result of the user's head determined by the Shanghai-dong determination unit. Do.

아울러, 상기 모션인식부에 의해 인식된 사용자의 머리의 전후이동움직임을 기초로 사용자의 신체의 전후이동여부를 판단하는 전후이동 판단부가 포함되는 것이 바람직하다.In addition, the front and rear movement determination unit for determining whether the front and rear movement of the user's body based on the movement of the user's head recognized by the motion recognition unit is preferably included.

여기서, 상기 전후이동 판단부가 판단한 사용자의 신체의 전후이동판단결과를 기초로 상기 가상카메라부의 전후위치를 이동시킨 상태에서 상기 가상카메라부의 화각을 조절함으로써, 상기 영상저장부에 저장된 3차원 영상미디어가 항상 일정한 크기의 프레임 속에서 실시간으로 렌더링되도록 하는 것이 바람직하다.Here, the 3D image media stored in the image storage unit is adjusted by adjusting the angle of view of the virtual camera unit while moving the front and rear positions of the virtual camera unit based on the front and rear movement determination result of the body determined by the front and rear movement determination unit. It is always desirable to be rendered in real time in a frame of constant size.

본 발명은 2차원인 2D평면디스플레이에 시각적으로 깊은 공간감을 가진 인지적 착시효과를 구현하여 3차원을 체험할 수 있도록 할 수 있어 이를 통한 사람과 캐릭터(매체)간의 인터렉티브한 다양한 콘텐츠를 생산가능하게 할 뿐만 아니라 이를 통해 고객이 실감나는 재미와 즐거움을 경험할 수 있는 시점인식 3D그래픽기술로써, 특히, 키넥트 동작인식센서나 웹캠 등이 구비된 모션인식부(30)를 통해 사용자의 머리의 위치적 신호를 인지하여 사람의 이동 및 위치변화와 사람의 상하좌우전후위치변화를 반영하여 다양한 각도의 영상미디어를 실시간으로 렌더링할 수 있어 시각착시 효과를 극대화할 수 있음은 물론 영상미디어에 숨은 콘텐츠의 활용이 가능하고, 나아가 사용자와 캐릭터 간의 새로운 인터랙티브 소사이어티 구축이 가능한 효과가 있다.The present invention can realize a three-dimensional experience by implementing a cognitive optical illusion with a visually deep spatial feeling on a two-dimensional 2D plane display to produce a variety of interactive content between a person and a character (media) In addition to this, as a 3D graphics technology that allows customers to experience realistic fun and enjoyment through this, in particular, the position of the user's head through the motion recognition unit 30 equipped with Kinect motion sensor or webcam By recognizing the signal, the image media of various angles can be rendered in real time by reflecting the movement and position change of the person and the change of position before and after the person, thereby maximizing the visual illusion effect and utilizing the hidden content in the image media. This is possible, and furthermore, it is possible to build a new interactive society between the user and the character.

또한, 본 발명은 문화콘텐츠 기획 단계에서부터 시장 특성을 고려하여 다양한 형태의 콘텐츠 및 상품을 제공하고 이를 판매 및 유통하기 위한 인프라 구축으로 수익성을 극대화할 수 있을 뿐만 아니라 영화, 연극, 뮤지컬, 드라마 등의 인터랙티브 모션을 통한 시각적 실감형 매체 홍보효과 또한 극대화할 수 있고, 나아가, 콘텐츠와 매체상품의 해외수출 효과를 거둘 수 있음은 물론 인쇄 혹은 2D개념의 평면디스플레이를 대체할 수 있으며, 아울러, 조직적인 유통채널을 확보 및 공유하는 전략적 유통방식을 채택함으로써, 개발 콘텐츠 및 기술에 대한 판로확보의 시간적, 비용적 낭비를 줄이며, 보다 합리적이고 효과적인 홍보마케팅 수단으로 활용 가능한 효과가 있다.In addition, the present invention can maximize the profitability by providing various types of content and products in consideration of market characteristics from the planning stage of cultural contents, and constructing an infrastructure for selling and distributing them, as well as movies, plays, musicals, dramas, etc. It can maximize the effect of promoting visual media through interactive motion, and can also export the contents and media goods overseas, and can replace the flat display of printing or 2D concept. By adopting a strategic distribution method to secure and share channels, it reduces the time and cost waste of securing the development contents and technology, and can be utilized as a more rational and effective means of public relations marketing.

도 1은 본 발명의 일실시예인 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템을 개략적으로 나타내는 블록도이고,
도 2의 a), b)는 사용자가 디스플레이의 중간부에 머리를 위치한 상태를 개략적으로 나타내는 평면도 및 정면도이고,
도 3은 a), b)는 도 2의 사용자의 머리 위치에 따라 렌더링부의 가상카메라부와 영상저장부의 3차원영상미디어가 위치한 상태를 개략적으로 나타내는 입체도와 평면도이고,
도 4는 도 2의 사용자의 머리 위치에 따라 디스플레이부에 3차원영상미디어가 실시간으로 출력된 상태를 개략적으로 나타내는 정면도이고,
도 5의 a), b)는 사용자의 주시방향에 따른 렌더링부의 가상카메라부의 주시방향이 결정되고 3차원 영상미디어가 디스플레이부에 실시간으로 출력되는 과정을 개략적으로 나타내는 정면도이고,
도 6은 렌더링부의 가상카메라부의 주시방향에 따른 렌즈 쉬프트(Lens Shift)효과가 어떻게 이루어지는지 개략적으로 나타내는 평면도이고,
도 7은 사용자 머리의 위치가 디스플레이의 중간부보다 좌측인 상태를 개략적으로 나타내는 평면도이고,
도 8은 사용자 머리의 좌측이동에 따라 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이고,
도 9는 사용자 머리의 위치가 디스플레이의 중간부보다 우측인 상태를 개략적으로 나타내는 평면도이고,
도 10은 사용자 머리의 우측이동에 따라 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이고,
도 11은 사용자 머리의 위치가 디스플레이의 중간부보다 아래인 상태를 개략적으로 나타내는 측면도이고,
도 12는 사용자 머리의 위치가 디스플레이의 중간부보다 아래인 상태일 때 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이고,
도 13은 사용자 머리의 위치가 디스플레이의 중간부보다 위인 상태의 측면도이고,
도 14는 사용자 머리의 위치가 디스플레이의 중간부보다 위인 상태일 때 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이고,
도 15의 a), b)는 사용자의 머리가 도 2 보다 디스플레이부로 전진한 상태를 개략적으로 나타내는 평면도 및 사용자 머리위치에 따른 렌더링부의 가상카메라부와 영상저장부의 3차원영상미디어가 위치한 상태와 가상카메라부의 화각변화를 개략적으로 나타내는 입체도이고,
도 16은 사용자가 도 2를 기준으로 전진한 상태에서 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이고,
도 17의 a), b)는 사용자의 머리가 도 2 보다 디스플레이부로 후진한 상태를 개략적으로 나타내는 평면도와 사용자 머리위치에 따른 렌더링부의 가상카메라부와 영상저장부의 3차원영상미디어가 위치한 상태와 가상카메라부의 화각변화를 개략적으로 나타내는 입체도이고,
도 18은 사용자가 도 2를 기준으로 후진한 상태에서 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.1 is a block diagram schematically illustrating a system for providing 3D video media based on gaze recognition of a user according to an embodiment of the present invention;
2A and 2B are a plan view and a front view schematically illustrating a state where a user places a head in an intermediate portion of a display,
Figure 3 is a), b) is a three-dimensional view and a plan view schematically showing a state in which the three-dimensional image media of the virtual camera unit and the image storage unit of the rendering unit in accordance with the user's head position of FIG.
FIG. 4 is a front view schematically illustrating a state in which 3D image media is output in real time on a display unit according to a position of a user's head of FIG. 2;
5A and 5B are front views schematically illustrating a process of determining a gaze direction of a virtual camera unit of a rendering unit according to a gaze direction of a user and outputting 3D image media in real time to a display unit;
6 is a plan view schematically illustrating how a lens shift effect is performed according to a viewing direction of a virtual camera unit of a rendering unit;
7 is a plan view schematically illustrating a state in which a user's head is positioned to the left side of a middle portion of a display,
FIG. 8 is a front view schematically illustrating 3D image media output in real time to a display unit according to a left movement of a user's head;
9 is a plan view schematically illustrating a state in which a user's head is positioned to a right side of a middle portion of a display,
FIG. 10 is a front view schematically illustrating 3D image media output in real time on a display unit according to a right movement of a user's head.
11 is a side view schematically showing a state where a user's head is positioned below a middle portion of a display,
12 is a front view schematically showing a three-dimensional image media output in real time when the position of the user's head is lower than the middle of the display,
13 is a side view of the user's head positioned above the middle of the display,
14 is a front view schematically showing a three-dimensional image media output in real time on the display unit when the position of the user's head is above the middle of the display,
15A and 15B illustrate a plan view schematically illustrating a state in which a user's head is advanced to the display unit and a state in which the virtual camera unit and the 3D image media of the image storage unit are located according to the position of the user's head. Is a three-dimensional view schematically showing a change in the angle of view of the camera,
FIG. 16 is a front view schematically illustrating 3D image media output in real time on a display unit in a state in which the user moves forward with reference to FIG. 2;
17A and 17B illustrate a plan view schematically illustrating a state in which a user's head is moved backward to the display unit and a state in which the virtual camera unit and the 3D image media of the image storage unit are located according to the position of the user's head. Is a three-dimensional view schematically showing a change in the angle of view of the camera,
FIG. 18 is a front view schematically illustrating 3D image media output in real time on a display unit in a state where the user reverses with reference to FIG. 2.

이하, 본 발명의 바람직한 실시예를 첨부한 도면에 의거하여 보다 상세하게 설명하면 다음과 같다. 물론 본 발명의 권리범위는 하기의 실시예에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 당해 기술분야의 통상적인 지식을 가진 자에 의하여 다양하게 변형 실시될 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Of course, the scope of the present invention is not limited to the following examples, and various modifications can be made by those skilled in the art without departing from the technical gist of the present invention.

도 1은 본 발명의 일실시예인 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템을 개략적으로 나타내는 블록도이고, 도 2의 a), b)는 사용자가 디스플레이의 중간부에 머리를 위치한 상태를 개략적으로 나타내는 평면도 및 정면도이고, 도 3은 a), b)는 도 2의 사용자의 머리 위치에 따라 렌더링부의 가상카메라부와 영상저장부의 3차원영상미디어가 위치한 상태를 개략적으로 나타내는 입체도와 평면도이고, 도 4는 도 2의 사용자의 머리 위치에 따라 디스플레이부에 3차원영상미디어가 실시간으로 출력된 상태를 개략적으로 나타내는 정면도이다.1 is a block diagram schematically illustrating a system for providing 3D video media based on gaze recognition according to an embodiment of the present invention, and FIGS. 2A and 2B illustrate a state in which a user places his head in the middle of a display. Figure 3 is a plan view and a front view schematically, Figure 3 is a), b) is a three-dimensional and plan view schematically showing a state in which the virtual camera unit of the rendering unit and the three-dimensional image media of the image storage unit in accordance with the position of the user of FIG. 4 is a front view schematically illustrating a state in which 3D image media is output in real time on the display unit according to the position of the head of the user of FIG. 2.

본 발명의 일실시예인 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템은 도 1 내지 도 4에서 보는 바와 같이 크게, 디스플레이부(10), 영상저장부(20), 모션인식부(30), 렌더링부(40) 및 영상출력부(50)를 포함하여 이루어진다.As shown in FIGS. 1 to 4, the system for providing a 3D video media based on the gaze direction recognition of a user, which is an embodiment of the present invention, includes a display unit 10, an image storage unit 20, a motion recognition unit 30, It comprises a renderer 40 and the image output unit 50.

먼저, 상기 디스플레이부(10)는 PC의 모니터나 평면TV 등 다양한 종류로 이루어질 수 있다.First, the display unit 10 may be made of various types such as a PC monitor or a flat screen TV.

다음으로, 상기 영상저장부(20)는 상기 디스플레이부(10) 주변에 위치할 수 있으며, 상기 영상저장부(20)에는 다양한 각도의 영상이미지를 포함한 3차원 영상미디어(3)가 저장된다.Next, the image storage unit 20 may be located around the display unit 10, and the image storage unit 20 stores the 3D image media 3 including image images of various angles.

다음으로, 상기 모션인식부(30)는 상기 디스플레이부(10) 주변 또는 상기 디스플레이부(10)의 상부, 하부, 일측, 타측 중 어느 한 부위에 구비될 수 있는 등 다양한 위치에 구비되어 상기 디스플레이부(10)의 전방에 위치한 사용자의 모션을 인식하게 된다.Next, the motion recognition unit 30 may be provided at various positions such as the display unit 10 may be provided at any one of the periphery of the display unit 10 or the top, bottom, one side, and the other side of the display unit 10. The motion of the user located in front of the unit 10 is recognized.

다음으로, 상기 렌더링부(40)는 상기 모션인식부(30)와 일정간격을 유지한 상태로 상기 디스플레이부(10) 주변 등 다양한 위치에 구비되어 상기 모션인식부(30)가 인식한 사용자의 모션에 따라 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링하게 된다.Next, the rendering unit 40 is provided at various positions such as around the display unit 10 while maintaining a predetermined interval with the motion recognition unit 30 to recognize the user of the motion recognition unit 30. The 3D image media 3 stored in the image storage unit 20 is rendered in real time according to the motion.

다음으로, 상기 영상출력부(50)는 상기 렌더링부(40)와 일정간격을 유지한 상태로 상기 디스플레이부(10) 주변 등 다양한 위치에 구비되어 상기 렌더링부(40)에 의해 실시간으로 렌더링된 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력하게 된다.Next, the image output unit 50 is provided at various positions, such as the periphery of the display unit 10 while maintaining a predetermined interval with the renderer 40 is rendered in real time by the renderer 40 The 3D image media 3 is output to the display unit 10.

다음으로, 상기 모션인식부(30)는 사용자의 머리의 움직임을 인식할 수 있고, 특히, 상기 모션인식부(30)에 의해 인식된 사용자의 머리의 움직임을 기초로 디스플레이부(10)의 중간부를 바라보는 사용자의 주시방향을 판단하는 주시방향 판단부(60)가 구비될 수 있다.Next, the motion recognition unit 30 may recognize the movement of the user's head, and in particular, the middle of the display unit 10 based on the movement of the user's head recognized by the motion recognition unit 30. The gaze direction determination unit 60 may be provided to determine the gazing direction of the user looking at the wealth.

그리고, 상기 렌더링부(40)는 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링을 할 때 3차원 영상미디어(3)를 바라보고 있고, 2차원 이미지를 만들어내기 위해 기준이 되는 가상카메라부(70)가 구비될 수 있다.When the rendering unit 40 renders the 3D image media 3 stored in the image storage unit 20 in real time, the rendering unit 40 looks at the 3D image media 3 and generates a 2D image. The virtual camera unit 70 may be provided as a reference.

그리고, 상기 렌더링부(40)는 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 상기 주시방향 판단부(60)에 의해 판단된 사용자의 주시방향을 렌더링부(40)의 가상카메라부(70)의 주시방향으로 설정하여 실시간으로 가상카메라부(70) 기준으로 렌더링할 수 있다.In addition, the rendering unit 40 virtually stores the 3D image media 3 stored in the image storage unit 20 by the gaze direction determining unit 60 to determine the gaze direction of the user. The camera unit 70 may be set in the gaze direction of the camera unit 70 to render the image based on the virtual camera unit 70 in real time.

도 5의 a), b)는 사용자의 주시방향에 따른 렌더링부의 가상카메라부의 주시방향이 결정되고 3차원 영상미디어가 디스플레이부에 실시간으로 출력되는 과정을 개략적으로 나타내는 정면도이다.5A and 5B are front views schematically illustrating a process of determining a gazing direction of a virtual camera unit according to a gazing direction of a user and outputting 3D image media in real time to a display unit.

일예로, 도 5의 a)에서 보는 바와 같이 상기 디스플레이부(10)의 중간부를 기준으로 상기 모션인식부(30)에 의해 인식된 사용자의 머리가 상기 디스플레이부(10)의 우측 하단방향(도 5의 a)의 청색화살표 참조.)으로 움직인 것으로 판단할 경우, 상기 주시방향 판단부(60)는 사용자의 주시방향을 좌측 상단방향으로 설정하며 상기 렌더링부(40)의 가상카메라부(70)의 주시방향도 좌측하단 방향으로 설정하고 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 가상카메라부(70) 기준으로 렌더링할 수 있고, 상기 영상출력부(50)는 도 5의 b)에서 보는 바와 같이 상기 렌더링부(40)의 가상카메라부(70)기준으로 렌더한 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력할 수 있다.For example, as shown in a) of FIG. 5, the head of the user recognized by the motion recognition unit 30 based on the middle portion of the display unit 10 is in the lower right direction of the display unit 10 (FIG. 5), the gaze direction determining unit 60 sets the gaze direction of the user to the upper left direction and determines the virtual camera unit 70 of the rendering unit 40. Set the viewing direction of the lower left direction and render the three-dimensional image media 3 stored in the image storage unit 20 in real time based on the virtual camera unit 70, the image output unit 50 As shown in b) of FIG. 5, the 3D image media 3 rendered on the basis of the virtual camera unit 70 of the rendering unit 40 may be output to the display unit 10.

이외에도, 상기 주시방향 판단부(60)가 사용자의 주시방향을 좌측방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 좌측방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user to the left direction, the gaze direction of the virtual camera unit 70 of the rendering unit 40 is applied to the left direction so that the image storage unit 20 is applied. ) Can be rendered in real time to the three-dimensional image media (3).

또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 우측방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 우측방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user to the right direction, the gaze direction of the virtual camera unit 70 of the rendering unit 40 is applied to the right direction so that the image storage unit 20 is applied. ) Can be rendered in real time to the three-dimensional image media (3).

또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 상측방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 상측방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user as the upward direction, the gaze direction of the virtual camera unit 70 of the rendering unit 40 is applied upward to the image storage unit 20. ) Can be rendered in real time to the three-dimensional image media (3).

또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 하측방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 하측방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user as the downward direction, the gaze direction of the virtual camera unit 70 of the rendering unit 40 is applied downward to the image storing unit 20. ) Can be rendered in real time to the three-dimensional image media (3).

또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 좌측 상단방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 좌측 상단방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user as the upper left direction, the image storing unit applies the gazing direction of the virtual camera unit 70 of the rendering unit 40 in the upper left direction. The 3D image media 3 stored in 20 may be rendered in real time.

또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 좌측 하단방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 좌측 하단방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user to the lower left direction, the gaze direction of the virtual camera unit 70 of the rendering unit 40 is applied to the lower left direction to the image storage unit. The 3D image media 3 stored in 20 may be rendered in real time.

또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 우측 상단방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 우측 상단방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user as the upper right direction, the gaze direction of the virtual camera unit 70 of the rendering unit 40 is applied in the upper right direction to the image storage unit. The 3D image media 3 stored in 20 may be rendered in real time.

또한, 상기 주시방향 판단부(60)가 사용자의 주시방향을 우측 하단방향으로 판단할 경우 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 우측 하단방향으로 적용시켜 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링 시킬 수 있다.In addition, when the gaze direction determining unit 60 determines the gaze direction of the user as the bottom right direction, the gaze direction of the virtual camera unit 70 of the rendering unit 40 is applied in the bottom right direction to the image storage unit. The 3D image media 3 stored in 20 may be rendered in real time.

도 6은 렌더링부의 가상카메라부의 주시방향에 따른 렌즈 쉬프트(Lens Shift)효과가 어떻게 이루어지는지 개략적으로 나타내는 평면도이다. FIG. 6 is a plan view schematically illustrating how a lens shift effect is performed according to a viewing direction of a virtual camera unit of a rendering unit. FIG.

한편, 사용자의 주시방향에 따른 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 반영시키는 방식은 카메라의 회전을 통한 방식이 아니라 도 6에서 보는 바와 같이 렌즈 쉬프트(Lens Shift)방식을 사용할 수 있다.Meanwhile, the method of reflecting the gaze direction of the virtual camera unit 70 of the rendering unit 40 according to the gaze direction of the user is not a method of rotating the camera, but a lens shift method as shown in FIG. 6. Can be used.

그리고, 상기 모션인식부(30)에는 키넥트 동작인식센서가 구비될 수 있으며, 상기 키넥트 동작인식센서는 인간의 머리의 위치적 신호를 인지하고, 이를 토대로 상기 렌더링부(40)가 사람의 위치변화(특히, 머리의 위치변화)/이동에 따른 변화된 위치마다의 다른 각도의 영상이미지를 실시간으로 렌더해줌으로써, 영상의 시각착시 효과를 극대화할 수 있어 2D평면이미지를 마치 깊숙한 공간감의 3D그래픽착시효과를 느끼게 해줄 수 있다.In addition, the motion recognition unit 30 may be provided with a Kinect motion recognition sensor, the Kinect motion recognition sensor recognizes the positional signal of the human head, based on the rendering unit 40 of the human By real-time rendering the image images of different angles according to the changed position according to the position change (especially the position change of the head) / movement, the visual illusion effect of the image can be maximized. It can make you feel an optical illusion.

또한, 상기 모션인식부(30)에는 웹캠이 구비될 수 있으며, 상기 웹캠은 인간의 머리의 위치적 신호를 인지하고, 이를 토대로 상기 렌더링부(40)가 사람의 위치변화(특히, 머리의 위치변화)/이동에 따른 변화된 위치마다의 다른 각도의 영상이미지를 실시간으로 렌더해줌으로써, 영상의 시각착시 효과를 극대화할 수 있어 2D평면이미지를 마치 깊숙한 공간감의 3D그래픽착시효과를 느끼게 해줄 수 있다.In addition, the motion recognition unit 30 may be provided with a webcam, the webcam recognizes the positional signal of the human head, based on this, the rendering unit 40 changes the position of the person (in particular, the position of the head) By rendering the image images of different angles for each changed position according to the change) / movement in real time, the visual illusion effect of the image can be maximized, so that the 2D plane image can feel the 3D graphic optical illusion effect with a deep sense of space.

도 7은 사용자 머리의 위치가 디스플레이의 중간부보다 좌측인 상태를 개략적으로 나타내는 평면도이고, 도 8은 사용자 머리의 좌측이동에 따라 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.FIG. 7 is a plan view schematically illustrating a state in which a user's head is positioned to the left side of the middle portion of the display, and FIG. 8 is a front view schematically illustrating 3D image media output in real time to the display unit according to the left side movement of the user's head. .

다음으로, 상기 모션인식부(30)에 의해 인식된 사용자의 머리의 좌우이동움직임을 기초로 사용자의 신체의 좌우이동여부를 판단하는 좌우이동 판단부(70)가 구비될 수 있다.Next, a left and right movement determining unit 70 may be provided to determine whether the user's body is moved left and right based on the left and right movement of the user's head recognized by the motion recognition unit 30.

그리고, 상기 렌더링부(40)는 상기 좌우이동 판단부(70)가 판단한 사용자의 머리의 좌우이동판단결과를 기초로 상기 가상카메라부(70)을 좌우이동 시킨 기준으로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있다.In addition, the rendering unit 40 is the image storage unit 20 on the basis of the left and right movement determination result of the left and right movement determination result of the user's head determined by the left and right movement determining unit 70 to move the left and right of the virtual camera unit 70. The three-dimensional image media 3 stored in the can be rendered in real time.

일예로, 도 7에서 보는 바와 같이 상기 모션인식부(30)에 의해 인식된 사용자의 머리가 상기 디스플레이부(10)의 중심 기준에서 좌측방향으로 이동한 것으로 상기 좌우이동 판단부(70)가 판단할 경우, 상기 렌더링부(40)는 상기 가상카메라부(70)를 도 3 기준에서 좌측방향으로 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있고, 상기 영상출력부(50)는 도 8에서 보는 바와 같이 상기 렌더링부(40)는 상기 가상카메라부(70)를 도 3 기준에서 좌측방향으로 이동시킨 상태로 렌더링한 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력할 수 있다.For example, as shown in FIG. 7, the left and right movement determining unit 70 determines that the user's head recognized by the motion recognition unit 30 has moved leftward from the center reference of the display unit 10. In this case, the rendering unit 40 renders the 3D image media 3 stored in the image storage unit 20 in real time while moving the virtual camera unit 70 to the left in FIG. 3. As shown in FIG. 8, the image output unit 50 renders the 3D image media rendered in the state in which the virtual camera unit 70 is moved to the left in FIG. 3. 3) may be output to the display unit 10.

이로써, 사용자는 상기 디스플레이부(10) 출력되는 3차원 영상미디어(3)의 우측면(도 8)의 내용을 사용자의 머리가 디스플레이부(10)의 중심에 위치할 때(도 4)보다 육안으로 좀 더 자세히 확인할 수 있다.As a result, the user visually displays the contents of the right side (FIG. 8) of the 3D image media 3 output from the display unit 10 when the user's head is positioned at the center of the display unit 10 (FIG. 4). You can check in more detail.

도 9는 사용자 머리의 위치가 디스플레이의 중간부보다 우측인 상태를 개략적으로 나타내는 평면도이고, 도 10은 사용자 머리의 우측이동에 따라 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.FIG. 9 is a plan view schematically illustrating a state in which a user's head is positioned to the right of a middle portion of the display, and FIG. 10 is a front view schematically illustrating 3D image media output to a display unit in real time according to a movement of the user's head to the right. .

이외에도, 상기 좌우이동 판단부(70)가 사용자의 머리가 도 9에서 보는 바와 같이 상기 디스플레이부(10)의 중심부보다 우측방향으로 이동한 것으로 판단할 경우, 상기 렌더링부(40)는 도 10에서 보는 바와 같이 가상카메라부(70)의 위치를 우측방향으로 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 렌더링할 수 있다.In addition, when the left and right movement determining unit 70 determines that the user's head has moved to the right side from the center of the display unit 10 as shown in FIG. 9, the rendering unit 40 is shown in FIG. 10. As shown, the 3D image media 3 stored in the image storage unit 20 can be rendered while the position of the virtual camera unit 70 is moved to the right.

도 11은 사용자 머리의 위치가 디스플레이의 중간부보다 아래인 상태를 개략적으로 나타내는 측면도이고, 도 12는 사용자 머리의 위치가 디스플레이의 중간부보다 아래인 상태일 때 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.FIG. 11 is a side view schematically illustrating a state where a user's head is positioned below the middle of the display, and FIG. 12 is a 3D image media output in real time when the position of the user's head is below the middle of the display. It is a schematic front view.

다음으로, 사용자의 머리가 위아래로 이동함으로써, 상기 모션인식부(30)에 의해 인식된 사용자 머리의 상하이동 움직임을 기초로 사용자 머리의 상하이동여부를 판단하는 상하이동 판단부(80)가 구비될 수 있다.Next, by moving the user's head up and down, the Shanghai-dong determination unit 80 for determining whether or not the user's head in the Shanghai East movement based on the movement of the user's head recognized by the motion recognition unit 30 is provided Can be.

그리고, 상기 렌더링부(40)는 상기 상하이동 판단부(80)가 판단한 사용자의 머리의 상하이동판단결과를 기초로 상기 가상카메라부(70)의 상하위치를 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있다.In addition, the rendering unit 40 moves the up and down positions of the virtual camera unit 70 based on the Shanghai copper determination result of the user's head determined by the Shanghai-dong determination unit 80. The 3D image media 3 stored in 20 may be rendered in real time.

일예로, 도 11에서 보는 바와 같이 사용자가 서있는 상태에서 다리를 구부리는 동작을 함으로써, 상기 모션인식부(30)에 의해 인식된 사용자의 머리가 상기 디스플레이부(10)의 중심부보다 하측방향으로 이동한 것으로 상기 상하이동 판단부(80)가 판단할 경우, 상기 렌더링부(40)는 상기 가상카메라부(70)의 위치를 하측방향으로 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있고, 상기 영상출력부(50)는 도 12에서 보는 바와 같이 상기 가상카메라부(70)가 하측방향으로 실시간으로 이동된 상태에서 렌더링된 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력할 수 있다.For example, as shown in FIG. 11, the user's head recognized by the motion recognition unit 30 moves downward from the center of the display unit 10 by bending the leg while the user is standing. If the Shanghai-dong judging unit 80 determines that the rendering unit 40 moves the position of the virtual camera unit 70 downward, the three-dimensional image is stored in the image storage unit 20. The image media 3 can be rendered in real time, and the image output unit 50 is rendered in 3D image media in a state in which the virtual camera unit 70 is moved in real time in a downward direction as shown in FIG. 12. (3) may be output to the display unit 10.

이로써, 사용자는 일반적으로 곧게 선 상태에서보다 상기 디스플레이부(10) 출력되었던 3차원 영상미디어(3)의 윗면(도 12)의 내용을 육안으로 좀 더 자세히 확인할 수 있다.Thus, the user can visually check the contents of the upper surface (FIG. 12) of the 3D image media 3 outputted from the display unit 10 in more detail than in the straight state.

도 13은 사용자 머리의 위치가 디스플레이의 중간부보다 위인 상태의 측면도이고, 도 14는 사용자 머리의 위치가 디스플레이의 중간부보다 위인 상태일 때 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.FIG. 13 is a side view of the user's head positioned above the middle of the display, and FIG. 14 schematically shows the 3D image media output in real time to the display unit when the user's head is positioned above the middle of the display. It is a front view showing.

이외에도, 사용자가 선 상태에서 뒤꿈치를 드는 동작을 함으로써, 상기 상하이동 판단부(80)가 사용자의 머리가 도 13에서 보는 바와 같이 상기 디스플레이부(10)의 중심부보다 상측방향으로 이동한 것으로 판단할 경우, 상기 렌더링부(40)는 상기 가상카메라부(70)의 위치를 상측방향으로 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있고, 상기 영상출력부(50)는 도 14에서 보는 바와 같이 상기 가상카메라부(70)가 상측방향으로 실시간으로 이동된 상태에서 렌더링된 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력할 수 있다.In addition, by the user lifting the heel in the standing state, the Shanghai-dong judging unit 80 may determine that the user's head has moved upward from the center of the display unit 10 as shown in FIG. 13. In this case, the rendering unit 40 may render the 3D image media 3 stored in the image storage unit 20 in real time with the position of the virtual camera unit 70 moving upward, As illustrated in FIG. 14, the image output unit 50 may output the rendered 3D image media 3 to the display unit 10 while the virtual camera unit 70 is moved in the upward direction in real time. Can be.

이로써, 사용자는 일반적으로 곧게 선 상태에서보다 상기 디스플레이부(10) 출력되었던 3차원 영상미디어(3)의 아랫면(도 14)의 내용을 육안으로 좀 더 자세히 확인할 수 있다.Thus, the user can visually check the contents of the lower surface (FIG. 14) of the 3D image media 3 outputted from the display unit 10 more visually than in the straight state.

도 15는 사용자의 머리가 도 2 보다 디스플레이부로 전진한 상태를 개략적으로 나타내는 평면도와 사용자 머리위치에 따른 렌더링부의 가상카메라부와 영상저장부의 3차원영상미디어가 위치한 상태와 가상카메라부의 화각변화를 개략적으로 나타내는 입체도이고, 도 16은 사용자의 머리가 전진한 상태에서 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.FIG. 15 is a plan view schematically illustrating a state in which a user's head is advanced to a display unit than FIG. 2, and a state in which a rendering unit's virtual camera unit and an image storage unit's 3D image media are located and an angle of view change of the virtual camera unit according to a user's head position. 16 is a front view schematically showing a three-dimensional image media output in real time to the display unit with the user's head advanced.

다음으로, 상기 모션인식부(30)에 의해 인식된 사용자 머리의 전후이동움직임을 기초로 사용자의 신체의 전후이동여부를 판단하는 전후이동 판단부(90)가 구비될 수 있다.Next, a forward and backward movement determining unit 90 may be provided to determine whether the body of the user is moved back and forth based on the front and rear movement of the user's head recognized by the motion recognition unit 30.

그리고, 상기 렌더링부(40)는 상기 전후이동 판단부(90)가 판단한 사용자 머리의 전후이동판단결과를 기초로 상기 가상카메라부(70)의 전후 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있다.In addition, the rendering unit 40 moves the virtual camera unit 70 back and forth on the image storage unit 20 based on the result of the front and rear movement determination of the head determined by the front and rear movement determination unit 90. The stored 3D image media 3 can be rendered in real time.

또한, 상기 가상카메라부(70)의 전후 이동에 따른 카메라의 화각을 조절하여 가상 카메라 전후 이동에도 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)의 앞면이 일정한 크기로 나오도록 실시간으로 렌더링할 수 있다. In addition, by adjusting the angle of view of the camera according to the forward and backward movement of the virtual camera unit 70, the front of the three-dimensional image media (3) stored in the image storage unit 20 to come out in real time even before and after the virtual camera in real time. Can be rendered as:

일예로, 도 15의 a)에서 보는 바와 같이 머리가 도 2보다 상기 디스플레이부(10)방향으로 다가감으로써, 상기 모션인식부(30)에 의해 인식된 사용자의 머리가 상기 디스플레이부(10)방향으로 가깝게 전진한 것으로 상기 전후이동 판단부(90)가 판단할 경우, 상기 렌더링부(40)는 상기 가상카메라부(70)의 위치를 전진한 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있고, 도 15의 b)에서 보는 바와 같이 상기 가상카메라부(70)의 화각을 넓힘으로써 상기 영상저장부(20)의 저장된 3차원 영상미디어(3)의 앞면(도 15의 b)이 도 2의 3차원 영상미디어(3)의 앞면과 같은 크기로 나올 수 있게 렌더링하고, 상기 영상출력부(50)는 도 16에서 보는 바와 같이 실시간으로 가상카메라부(70)의 위치와 화각 상태에 따라 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력할 수 있다.For example, as shown in a) of FIG. 15, as the head approaches the display unit 10 from FIG. 2, the head of the user recognized by the motion recognition unit 30 is the display unit 10. When the forward and backward movement determining unit 90 determines that the vehicle has moved forward in the direction, the rendering unit 40 is stored in the image storage unit 20 in a state in which the position of the virtual camera unit 70 is advanced. The 3D image media 3 can be rendered in real time, and as shown in b) of FIG. 15, the 3D image media 3 of the image storage unit 20 is expanded by widening the angle of view of the virtual camera unit 70. 15 b is rendered to have the same size as the front surface of the 3D image media 3 of FIG. 2, and the image output unit 50 is a virtual camera in real time as shown in FIG. 16. The three-dimensional image media 3 are imaged according to the position of the unit 70 and the angle of view. May output to the display unit 10.

도 17는 사용자의 머리가 도 2 보다 디스플레이부로 후진한 상태를 개략적으로 나타내는 평면도와 사용자 머리위치에 따른 렌더링부의 가상카메라부와 영상저장부의 3차원영상미디어가 위치한 상태와 가상카메라부의 화각변화를 개략적으로 나타내는 입체도이고, 도 18은 사용자의 머리가 후진한 상태에서 디스플레이부에 실시간으로 출력된 3차원 영상미디어를 개략적으로 나타내는 정면도이다.17 is a plan view schematically illustrating a state in which a user's head is moved backward to a display unit than FIG. 2, and a state in which a virtual unit of a rendering unit and a 3D image media of an image storage unit are located according to a position of a user's head and a view angle change of the virtual camera unit. 18 is a front view schematically showing a three-dimensional image media output in real time to the display unit in a state in which the user's head is backward.

이외에도, 도 17의 a)에서 보는 바와 같이 사용자의 머리가 도 2보다 상기 디스플레이부(10)방향으로 멀어짐으로써, 상기 모션인식부(30)에 의해 인식된 사용자의 머리가 상기 디스플레이부(10)로부터 멀어지도록 후진한 것으로 상기 전후이동 판단부(90)가 판단할 경우, 상기 렌더링부(40)는 상기 가상카메라부(70)의 위치를 후진한 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링할 수 있고, 도 17의 b)에서 보는 바와 같이 상기 가상카메라부(70)의 화각을 좁힘으로써 상기 영상저장부(20)의 저장된 3차원 영상미디어(3)의 앞면(도 17의 b)이 도 2의 3차원 영상미디어(3)의 앞면과 같은 크기로 나올 수 있게 렌더링하고, 상기 영상출력부(50)는 도 18에서 보는 바와 같이 실시간으로 가상카메라부(70)의 위치와 화각 상태에 따라 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력할 수 있다.In addition, as shown in a) of FIG. 17, the head of the user is further away from the display unit 10 than in FIG. 2, so that the head of the user recognized by the motion recognition unit 30 is the display unit 10. When the forward and backward movement determining unit 90 determines that the vehicle has moved backward from the rear side, the rendering unit 40 stores the image stored in the image storage unit 20 in a state of reversing the position of the virtual camera unit 70. 3D image media 3 can be rendered in real time, and as shown in b) of FIG. 17, the 3D image media 3 stored in the image storage unit 20 is narrowed by narrowing the angle of view of the virtual camera unit 70. The front surface (b of FIG. 17) is rendered to have the same size as the front surface of the 3D image media 3 of FIG. 2, and the image output unit 50 is a virtual camera in real time as shown in FIG. 3D image according to the position and angle of view of the unit 70 The media 3 can be output to the display unit 10.

상술한 바와 같이 구성된 본 발명은 2차원인 2D평면디스플레이에 시각적으로 깊은 공간감을 가진 인지적 착시효과를 구현하여 3차원을 체험할 수 있도록 할 수 있어 이를 통한 사람과 캐릭터(매체)간의 인터렉티브한 다양한 콘텐츠를 생산가능하게 할 뿐만 아니라 이를 통해 고객이 실감나는 재미와 즐거움을 경험할 수 있는 시점인식 3D그래픽기술로써, 특히, 키넥트 동작인식센서나 웹캠 등이 구비된 상기 모션인식부(30)를 통해 사용자의 머리의 위치적 신호를 인지하여 사람 머리의 상하좌우전후위치변화를 반영하여 다양한 각도의 영상미디어(3)를 실시간으로 렌더링할 수 있어 시각착시 효과를 극대화할 수 있음은 물론 영상미디어(3)에 숨은 콘텐츠의 활용이 가능하고, 나아가 사용자와 캐릭터 간의 새로운 인터랙티브 소사이어티 구축이 가능한 이점이 있다.The present invention configured as described above can realize a three-dimensional experience by implementing a cognitive optical illusion having a visually deep spatial feeling on a two-dimensional 2D plane display, thereby making it possible to interact interactively between a person and a character (medium). In addition to enabling the production of content, through this, 3D graphics technology that allows customers to experience realistic fun and enjoyment, in particular, through the motion recognition unit 30 equipped with Kinect motion recognition sensor or webcam, etc. By recognizing the positional signal of the user's head and reflecting the change of position before, after, left, right, and right of the human head, the image media 3 of various angles can be rendered in real time to maximize the optical illusion effect as well as the image media (3). ) Can utilize the hidden content and further build a new interactive society between the user and the character There is.

또한, 본 발명은 문화콘텐츠 기획 단계에서부터 시장 특성을 고려하여 다양한 형태의 콘텐츠 및 상품을 제공하고 이를 판매 및 유통하기 위한 인프라 구축으로 수익성을 극대화할 수 있을 뿐만 아니라 영화, 연극, 뮤지컬, 드라마 등의 인터랙티브 모션을 통한 시각적 실감형 매체 홍보효과 또한 극대화할 수 있고, 나아가, 콘텐츠와 매체상품의 해외수출 효과를 거둘 수 있음은 물론 인쇄 혹은 2D개념의 평면디스플레이를 대체할 수 있으며, 아울러, 조직적인 유통채널을 확보 및 공유하는 전략적 유통방식을 채택함으로써, 개발 콘텐츠 및 기술에 대한 판로확보의 시간적, 비용적 낭비를 줄이며, 보다 합리적이고 효과적인 홍보마케팅 수단으로 활용가능한 이점이 있다.In addition, the present invention can maximize the profitability by providing various types of content and products in consideration of market characteristics from the planning stage of cultural contents, and constructing an infrastructure for selling and distributing them, as well as movies, plays, musicals, dramas, etc. It can maximize the effect of promoting visual media through interactive motion, and can also export the contents and media goods overseas, and can replace the flat display of printing or 2D concept. By adopting a strategic distribution method of securing and sharing channels, it reduces the time and cost waste of securing the development content and technology, and can be utilized as a more rational and effective public relations marketing means.

10; 디스플레이부, 20; 영상저장부,
30; 모션인식부, 40; 렌더링부,
50; 영상출력부.10; A display unit 20; Video Recorder,
30; Motion recognition unit 40; Renderer,
50; Video output unit.

Claims (12)

디스플레이부(10)와;
다양한 각도의 영상이미지를 포함한 3차원 영상미디어(3)가 저장된 영상저장부(20)와;
상기 디스플레이부(10)의 전방에 위치한 사용자의 모션을 인식하는 모션인식부(30)와;
상기 모션인식부(30)가 인식한 사용자의 모션에 따라 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링하는 렌더링부(40)와;
상기 렌더링부(40)에 의해 실시간으로 렌더링된 3차원 영상미디어(3)를 상기 디스플레이부(10)에 출력하는 영상출력부(50);를 포함하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
A display unit 10;
An image storage unit 20 storing three-dimensional image media 3 including image images of various angles;
A motion recognition unit 30 for recognizing a motion of a user located in front of the display unit 10;
A rendering unit 40 for rendering the 3D image media 3 stored in the image storage unit 20 in real time according to the motion of the user recognized by the motion recognition unit 30;
3, the image output unit 50 for outputting the 3D image media 3 rendered in real time by the rendering unit 40 to the display unit 10; Dimensional Media Delivery System.
제1항에 있어서,
상기 모션인식부(30)는 사용자의 머리의 움직임을 인식하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 1,
The motion recognition unit 30 recognizes the movement of the user's head characterized in that the user's attention direction recognition based three-dimensional image media providing system.
제2항에 있어서,
상기 모션인식부(30)에 의해 인식된 사용자의 머리의 움직임을 기초로 상기 디스플레이부(10)의 중심부를 바라보는 사용자의 주시방향을 판단하는 주시방향 판단부(60)가 포함되는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 2,
A gaze direction determining unit 60 is included to determine a gazing direction of a user looking at the center of the display unit 10 based on the movement of the user's head recognized by the motion recognition unit 30. 3D image media providing system based on user's gaze recognition.
제3항에 있어서,
상기 렌더링부(40)는 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 상기 주시방향 판단부(60)에 의해 판단된 사용자의 주시방향을 실시간으로 상기 렌더링부(40)의 가상카메라부(70)의 주시방향에 반영시킨 상태로 렌더링하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 3,
The rendering unit 40 is a 3D image media 3 stored in the image storage unit 20 of the rendering unit 40 in real time to determine the direction of the user's gaze determined by the gaze direction determination unit 60 3D image media providing system based on the viewing direction recognition of the user, characterized in that rendered in the state reflected in the viewing direction of the virtual camera unit 70.
제4항에 있어서,
사용자의 주시방향에 따른 상기 렌더링부(40)의 가상카메라부(70)의 주시방향을 반영시키는 방식은 카메라의 회전을 통한 방식이 아니라 렌즈 시프트(Lens Shift)방식을 사용하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 4, wherein
The method of reflecting the gaze direction of the virtual camera unit 70 of the rendering unit 40 according to the gaze direction of the user is characterized by using a lens shift method, not through the rotation of the camera. 3D image media providing system based on gaze direction recognition.
제4항에 있어서,
상기 모션인식부(30)에 의해 인식된 사용자의 신체의 좌우이동움직임을 기초로 사용자의 머리의 좌우이동여부를 판단하는 좌우이동 판단부(70)가 포함되는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 4, wherein
Recognition of the user's gaze direction, characterized in that it includes a left and right movement determination unit 70 for determining whether the user's head left or right movement based on the left and right movement of the user's body recognized by the motion recognition unit 30 Based 3D image media providing system.
제6항에 있어서,
상기 렌더링부(40)는 상기 좌우이동 판단부(70)가 판단한 사용자 머리의 좌우이동판단결과를 기초로 상기 가상카메라부(70)의 좌우위치를 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 6,
The rendering unit 40 moves the left and right positions of the virtual camera unit 70 to the image storage unit 20 based on the left and right movement determination result of the user's head determined by the left and right movement determining unit 70. A system for providing 3D image media based on the viewing direction of a user, characterized in that the stored 3D image media 3 is rendered in real time.
제4항에 있어서,
상기 모션인식부(30)에 의해 인식된 사용자 머리의 상하이동움직임을 기초로 사용자의 신체의 상하이동여부를 판단하는 상하이동 판단부(80)가 포함되는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 4, wherein
Based on the user's gaze direction recognition based on the Shanghai movement of the user's head recognized by the motion recognition unit 30 includes a Shanghai-dong determination unit 80 that determines whether the user's body is in Shanghai 3D video media providing system.
제8항에 있어서,
상기 렌더링부(40)는 상기 상하이동 판단부(80)가 판단한 사용자 머리의 상하이동판단결과를 기초로 상기 가상카메라부(70)의 상하위치를 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 8,
The rendering unit 40 moves the upper and lower positions of the virtual camera unit 70 to the image storage unit 20 based on the Shanghai copper determination result of the user's head determined by the Shanghai-dong determination unit 80. A system for providing 3D image media based on the viewing direction of a user, characterized in that the stored 3D image media 3 is rendered in real time.
제4항에 있어서,
상기 모션인식부(30)에 의해 인식된 사용자 머리의 전후이동움직임을 기초로 사용자의 신체의 전후이동여부를 판단하는 전후이동 판단부(90)가 포함되는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 4, wherein
Based on the user's gaze direction recognition based on the front and rear movement of the user's head recognized by the motion recognition unit 30, the front and rear movement determination unit 90 to determine whether the front and rear movement of the user is included. 3D video media providing system.
제10항에 있어서,
상기 렌더링부(40)는 상기 전후이동 판단부(90)가 판단한 사용자의 신체의 전후이동판단결과를 기초로 상기 가상카메라부(70)의 전후위치를 이동시킨 상태로 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)를 실시간으로 렌더링하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.
The method of claim 10,
The image rendering unit 20 moves the front and rear positions of the virtual camera unit 70 based on the result of the front and rear movement determination of the user's body determined by the front and rear movement determining unit 90. 3D image media providing system based on the viewing direction of the user, characterized in that to render in real time the three-dimensional image media (3) stored in the.
제11항에 있어서,
상기 전후이동 판단부(90)가 판단한 사용자의 신체의 전후이동판단결과를 기초로 상기 가상카메라부(70)의 전후위치를 이동시킨 상태에서 가상카메라부(70)의 화각을 조절함으로써 상기 영상저장부(20)에 저장된 3차원 영상미디어(3)가 항상 일정한 크기의 프레임 속에서 실시간으로 렌더링되도록 하는 것을 특징으로 하는 사용자의 주시방향 인식기반 3차원 영상미디어 제공시스템.The method of claim 11,
The image storage is performed by adjusting the angle of view of the virtual camera unit 70 while the front and rear positions of the virtual camera unit 70 are moved based on the result of the front and rear movement determination of the user's body determined by the front and rear movement determining unit 90. 3D image media providing system based on the viewing direction of the user, characterized in that the three-dimensional image media (3) stored in the unit 20 is always rendered in real time in a frame of a certain size.
KR1020180039659A 2018-04-05 2018-04-05 A three - dimensional image media providing system based on user 's directional direction recognition KR102053979B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180039659A KR102053979B1 (en) 2018-04-05 2018-04-05 A three - dimensional image media providing system based on user 's directional direction recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180039659A KR102053979B1 (en) 2018-04-05 2018-04-05 A three - dimensional image media providing system based on user 's directional direction recognition

Publications (2)

Publication Number Publication Date
KR20190117033A true KR20190117033A (en) 2019-10-16
KR102053979B1 KR102053979B1 (en) 2019-12-12

Family

ID=68421436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180039659A KR102053979B1 (en) 2018-04-05 2018-04-05 A three - dimensional image media providing system based on user 's directional direction recognition

Country Status (1)

Country Link
KR (1) KR102053979B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12033269B2 (en) 2021-07-12 2024-07-09 Toyota Jidosha Kabushiki Kaisha Virtual reality simulator and virtual reality simulation program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096951A (en) * 2005-09-29 2007-04-12 Toshiba Corp Multi-viewpoint image creating apparatus, method, and program
JP2014045474A (en) * 2012-07-31 2014-03-13 Nlt Technologies Ltd Stereoscopic image display device, image processing apparatus, and stereoscopic image processing method
KR20150033175A (en) 2013-09-23 2015-04-01 (주)이노지움 Learning contents providing system using motion recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096951A (en) * 2005-09-29 2007-04-12 Toshiba Corp Multi-viewpoint image creating apparatus, method, and program
JP2014045474A (en) * 2012-07-31 2014-03-13 Nlt Technologies Ltd Stereoscopic image display device, image processing apparatus, and stereoscopic image processing method
KR20150033175A (en) 2013-09-23 2015-04-01 (주)이노지움 Learning contents providing system using motion recognition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12033269B2 (en) 2021-07-12 2024-07-09 Toyota Jidosha Kabushiki Kaisha Virtual reality simulator and virtual reality simulation program

Also Published As

Publication number Publication date
KR102053979B1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
KR101057617B1 (en) 3D display system
US7796134B2 (en) Multi-plane horizontal perspective display
US10366642B2 (en) Interactive multiplane display system with transparent transmissive layers
JP4809142B2 (en) Stereoscopic video display device and 3D video-stereoscopic video converter
WO2019123729A1 (en) Image processing device, image processing method, and program
US20050219695A1 (en) Horizontal perspective display
JP4982862B2 (en) Program, information storage medium, and image generation system
US20060221071A1 (en) Horizontal perspective display
JP2012079291A (en) Program, information storage medium and image generation system
JPH11161814A (en) Image generation device, simulation device and information storage medium
KR102107706B1 (en) Method and apparatus for processing image
JP7426413B2 (en) Blended mode three-dimensional display system and method
JP4772952B2 (en) Stereoscopic image generation apparatus and information storage medium
WO2018084087A1 (en) Image display system, image display device, control method therefor, and program
WO2017191702A1 (en) Image processing device
KR102053979B1 (en) A three - dimensional image media providing system based on user 's directional direction recognition
KR102025473B1 (en) Image system for synthesising in space with separated images
JP5649846B2 (en) Program and image generation system
JP3996551B2 (en) Game machine
JPH10334274A (en) Method and system for virtual realize and storage medium
JP2013130928A (en) Design support device, and method and program for design support
WO1998043442A1 (en) Multiple viewpoint image generation
Baillard et al. Mixed reality extended TV
US20100177097A1 (en) Image processor, image processing method, program, and information storage medium
CN118631981A (en) Image display method and device and electronic equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
J206 Request for trial to confirm the scope of a patent right
J301 Trial decision

Free format text: TRIAL NUMBER: 2021100003199; TRIAL DECISION FOR CONFIRMATION OF THE SCOPE OF RIGHT_AFFIRMATIVE REQUESTED 20211028

Effective date: 20220530