KR20160016468A - 리얼 3d 영상 생성 방법 및 그 장치 - Google Patents

리얼 3d 영상 생성 방법 및 그 장치 Download PDF

Info

Publication number
KR20160016468A
KR20160016468A KR1020140100702A KR20140100702A KR20160016468A KR 20160016468 A KR20160016468 A KR 20160016468A KR 1020140100702 A KR1020140100702 A KR 1020140100702A KR 20140100702 A KR20140100702 A KR 20140100702A KR 20160016468 A KR20160016468 A KR 20160016468A
Authority
KR
South Korea
Prior art keywords
image
real
user
region
generated
Prior art date
Application number
KR1020140100702A
Other languages
English (en)
Inventor
구렐 오간
이홍석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140100702A priority Critical patent/KR20160016468A/ko
Priority to US14/669,539 priority patent/US20160042554A1/en
Publication of KR20160016468A publication Critical patent/KR20160016468A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Abstract

리얼 3D 영상 생성 방법 및 그 시스템을 제공한다. 본 리얼 3D 영상 생성 방법은, 양안 깊이 요인과 단안 깊이 요인을 갖는 제1 리얼 3D 영상을 생성하는 하고, 제1 리얼 3D 영상 중 제1 영역을 선택하는 사용자 명령이 입력되면 양안 깊이 요인과 단안 깊이 요인을 갖으면서 제1 리얼 3D 영상과 다른 제2 리얼 3D 영상을 상기 제1 영역에 생성하며, 제1 리얼 3D 영상과 제2 리얼 3D 영상은 동일한 대상체에 대한 영상이다.

Description

리얼 3D 영상 생성 방법 및 그 장치{Method for generating real 3 dimensional image and the apparatus thereof}
본 개시는 리얼 3D 영상을 생성하는 방법 및 그 장치에 관한 것이다.
3차원 영상 생성장치는, 보다 더 사실적이고 효과적으로 영상을 표현할 수 있어 의료영상, 게임, 광고, 교육, 군사 등 여러 분야에서 요구되고 있다. 3차원 영상을 구현하기 위한 방식으로 부피 표현 방식(volumetric type), 홀로그래피 방식(holographic type), 입체감 표현 방식(stereoscopic type) 등으로 구분될 수 있다.
입체감 표현 방식은 양안의 생리적 요인을 이용하여 입체감을 느끼게 하는 방식으로, 구체적으로 약 65㎜정도 떨어져 존재하는 인간의 좌우안에 시차정보가 포함된 평면의 연관 영상이 보일 경우에 뇌가 이들을 융합하는 과정에서 표시면 전후의 공간정보를 생성해 입체감을 느끼는 능력, 즉 스테레오그라피(stereography)를 이용하는 것이다.
입체감 표현 방식은 양안시차(binocular disparity)나 양안수렴(convergence)과 같은 양안 깊이 요인(binocular depth cue)에만 의존하며 초점조절(accommodation)과 같은 단안 깊이 요인(monocular depth cue)을 제공하지 못한다. 단안의 깊이 요인 부족은 양안시차에 의해 생성된 깊이 요인과의 인지 부조화를 일으켜 눈의 피로(visual fatigue)가 발생하는 주요한 원인이 된다.
반면, 부피표현 방식이나, 홀로그래피 방식 등은 모든 깊이 요인을 제공하며, 따라서 눈의 피로가 없고 현실감있는 3차원 영상 생성을 가능하게 한다. 상기한 깊이 요인이 제공되어 영상을 보는 눈의 수렴각과 영상의 초점이 일치하는 3차원 영상을 리얼 3D 영상이라고 칭한다. 그러나, 상기한 리얼 3D 영상은 방대한 계산 용량 등의 문제가 있어 구현의 어려움이 있다.
본 개시는 영상 자체에 깊이 요인을 갖는 리얼 3D 영상 중 사용자가 관심 있는 일부 영역을 상세히 생성하는 리얼 3D 영상 생성 방법 및 그 장치를 제공한다.
일 유형에 따르는 리얼 3D 영상 생성 방법은, 양안 깊이 요인과 단안 깊이 요인을 갖는 제1 리얼 3D 영상을 생성하는 단계; 및 상기 제1 리얼 3D 영상 중 제1 영역을 선택하는 사용자 명령이 입력되면, 양안 깊이 요인과 단안 깊이 요인을 갖으면서 상기 제1 리얼 3D 영상과 다른 제2 리얼 3D 영상을 상기 제1 영역에 생성하는 단계;를 포함하고, 상기 제1 리얼 3D 영상과 상기 제2 리얼 3D 영상은 동일한 대상체에 대한 영상이다.
그리고, 상기 제1 리얼 3D 영상 중 제2 영역을 선택하는 사용자 명령이 입력되면, 양안 깊이 요인과 단안 깊이 요인을 갖으면서 상기 제1 리얼 3D 영상과 다른 제3 리얼 3D 영상을 상기 제2 영역에 생성하는 단계;를 더 포함하고, 상기 제1 리얼 3D 영상과 상기 제3 리얼 3D 영상은 동일한 대상체에 대한 영상일 수 있다.
또한, 상기 제1 영역을 선택하는 사용자 명령과 상기 제2 영역을 선택하는 사용자 명령은 서로 다른 사용자에 의해 입력될 수 있다.
그리고, 상기 제2 리얼 3D 영상은 상기 제1 리얼 3D 영상과 해상도가 다를 수 있다.
또한, 상기 제2 리얼 3D 영상은 상기 제1 리얼 3D 영상보다 해상도가 클 수 있다.
그리고, 상기 대상체가 복수 개의 개체를 포함하는 경우, 상기 제1 리얼 3D 영상과 상기 제2 리얼 3D 영상은 서로 다른 개체를 생성할 수 있다.
또한, 상기 제1 리얼 3D 영상은 상기 대상체의 외관을 나타내는 영상이고, 상기 제2 리얼 3D 영상은 상기 대상체의 내부를 나타내는 영상일 수 있다.
그리고, 상기 제1 리얼 3D 영상은 상기 대상체의 내부에 포함된 제1 개체를 나타내는 영상이고, 상기 제2 리얼 3D 영상은 상기 대상체의 내부에 포함된 제2 개체를 나타내는 영상일 수 있다.
또한, 상기 제1 영역에서 상기 제2 리얼 3D 영상은 상기 제1 리얼 3D 영상과 중첩되어 생성될 수 있다.
그리고, 상기 제1 영역에서 상기 제2 리얼 3D 영상은 상기 제1 리얼 3D 영상의 교체되어 생성될 수 있다.
또한, 상기 제1 영역은 사용자의 시선 및 사용자의 움직임 중 적어도 하나에 의해 결정될 수 있다.
그리고, 상기 제1 영역은 상기 사용자의 일부 또는 사용자가 잡고 있는 인디케이터가 가리키는 영역일 수 있다.
또한, 상기 사용자의 일부는 사용자의 눈동자 및 사용자의 손가락 중 적어도 하나를 포함할 수 있다.
그리고, 상기 사용자의 움직임에 대응하여 상기 제2 리얼 3D 영상이 변경될 수 있다.
그리고, 상기 리얼 3D 영상은, 컴퓨터 생성 홀로그램(CGH) 및 가간섭성 광에 의해 생성될 수 있다.
또한, 상기 제1 및 제2 리얼 3D 영상은 의료 영상일 수 있다.
한편, 일 실시예에 따른 리얼 3D 영상 시스템은, 리얼 3D 영상을 생성하는 패널; 및 사용자의 위치 및 사용자의 움직임 중 적어도 하나를 검출하는 센서;를 포함하고, 상기 센서로부터 검출된 결과 상기 제1 리얼 3D 영상 중 제1 영역을 선택하는 사용자 명령인 경우, 상기 패널은 상기 제1 리얼 3D 영상과 다른 제2 리얼 3D 영상을 상기 제1 영역에 생성한다.
그리고, 상기 제1 리얼 3D 영상과 상기 제2 리얼 3D 영상은 동일한 대상체에 대한 영상이면서 해상도가 다를 수 있다.
또한, 상기 대상체가 복수 개의 개체를 포함하는 경우, 상기 제1 리얼 3D 영상과 상기 제2 리얼 3D 영상은 서로 다른 개체를 생성할 수 있다.
그리고, 상기 제1 리얼 3D 영상은 상기 대상체의 외관을 나타내는 영상이고, 상기 제2 리얼 3D 영상은 상기 대상체의 내부를 나타내는 영상일 수 있다.
일 실시예에 따른 리얼 3D 영상 생성 방법 및 그 장치는 하나 또는 복수의 사용자가 관심있는 영역을 보다 상세하게 생성할 수 있다.
일 실시예에 따른 리얼 3D 영상 생성 방법 및 그 장치는 데이터를 효율적으로 처리할 수 있다.
도 1은 일 실시예에 따른 리얼 3D 영상 시스템을 개략적으로 나타내는 도면이다.
도 2는 리얼 3D 영상 시스템을 나타내는 블럭도이다.
도 3a 및 도 3b는 일 실시예에 따른 홀로그래피 영상을 생성하는 패널을 개략적으로 나타내는 도면이다.
도 4a는 일 실시예에 따른 체적형 영상을 생성하는 패널을 개략적으로 나타내는 도면이다.
도 4b는 일 실시예에 따른 체적형 영상을 생성하는 다른 유형의 패널을 개략적으로 나타내는 도면이다.
도 5는 일 실시예에 따른 리얼 3D 영상을 생성하는 방법을 설명하는 흐름도이다.
도 6a 내지 도 6d는 일 실시예에 따른 리얼 3D 영상이 생성되는 방법을 설명하는 참조도면이다.
도 7a 및 도 7b는 일 실시예에 따른 복수의 사용자에 따른 리얼 3D 영상이 생성되는 방법을 설명하는 참조도면이다.
도 8a 내지 도 8c는 다른 실시예에 따른 리얼 3D 영상이 생성되는 방법을 설명하는 참조도면이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
앞서 기술한 바와 같이, 리얼 3D 영상은 영상 자체에 깊이 요인을 갖는 영상이며, 홀로그피 방식에 의한 영상, 입체감 표현 방식에 의한 영상 등일 수 있다. 상기한 깊이 요인은 양안 깊이 요인(binocular depth cue)과 단안 깊이 요인(monocular depth cue)을 포함한다. 이외에도 리얼 3D 영상은 초다시점 방식에 의한 영상도 포함될 수 있다. 이하에서는 설명의 편의를 도모하기 위해 홀로그래피 영상 또는 입체감 표현 방식에 의한 영상을 중심으로 설명한다.
도 1은 일 실시예에 따른 리얼 3D 영상 시스템(10)을 개략적으로 나타내는 도면이고, 도 2는 리얼 3D 영상 시스템(10)을 나타내는 블럭도이다. 도 1 및 도 2에 도시된 바와 같이, 리얼 3D 영상 시스템(10)은 사용자의 위치 및 모션 중 적어도 하나를 검출하는 센서(100), 사용자의 위치 및 모션 중 적어도 하나에 대응하여 영상 신호를 생성하는 처리 장치(200) 및 영상 신호에 대응하여 리얼 3D 영상을 생성하는 패널(300)을 포함할 수 있다. 도면에는 홀로그래피 영상 시스템(10)이 거치형으로 도시되어 있다. 그러나, 이에 한정되지 않는다. 리얼 3D 영상 시스템(10)은 휴대형일 수도 있고, 프로젝트형일 수도 있다.
센서(100)는 사용자가 주시하는 위치를 검출하는 위치 센서(110) 및 사용자의 움직임을 검출하는 움직임 센서(120)를 포함할 수 있다. 위치 센서(110)는 사용자의 시선을 검출하거나, 사용자의 일부 영역, 예를 들어, 눈동자, 손가락 또는 사용자가 잡고 있는 인디케이터(예를 들어, 봉)가 가리키는 위치를 검출할 수 있다. 상기한 위치 센서(110)는 처리 장치(200) 또는 패널(300)의 내부 또는 외부에 배치될 수 있는 카메라를 포함할 수 있고, 사용자 또는 인디케이터에 부착되는 자기장 발생기와 상기한 자기장의 변화를 감지하는 센서, 또는 사용자 또는 인디케이터의 위치에 따른 정전용량의 변화를 감지하는 센서 등을 포함할 수 있다.
움직임 센서(120)는 사용자의 전체적인 움직임 또는 사용자의 일부 영역, 예를 들어, 손가락의 움직임을 검출할 수 있다. 상기한 움직임 센서(120)는 가속도 센서 (acceleration sensor), 자이로 센서(gyro sensor), 지자기 센서(terrestrial magnetic sensor) 등이 사용될 수 있으며, 이 밖에 사용자의 움직임을 인식할 수 있는 센서가 사용될 수 있다.
처리 장치(200)는 센서(100)로부터 사용자의 위치 및 움직임 신호 중 적어도 하나를 수신하는 제1 통신 모듈(210), 리얼 3D 영상을 생성하기 위한 다양한 데이터가 저장된 메모리(220), 사용자의 위치 및 움직임 신호에 대응하여 처리 장치(200)을 제어하는 컨트롤러(230) 및 리얼 3D 영상에 대응하는 영상 신호를 처리 또는 생성하는 프로세서(240), 상기한 영상 신호를 패널에 송신하는 제2 통신 모듈(250)을 포함할 수 있다. 도시된 구성요소들이 모두 필수 구성요소들은 아니며, 도시된 구성요소들 이외에 다른 범용적인 구성요소들이 더 포함될 수도 있다.
제1 통신 모듈(210)은 위치 센서(110)로부터 사용자의 위치 정보 및 움직임 센서(120)로부터 사용자의 움직임 정보 중 적어도 하나를 수신할 수 있다. 제1 통신 모듈(210)은 위치 센서(110) 및 움직임 센서(120)와 직접 또는 간접으로 연결하기 위한 인터페이스를 의미할 수 있다. 제1 통신 모듈(210)는 유, 무선 네트워크 또는 유선 직렬 통신 등을 통하여 센서(100)와 데이터를 송수신할 수 있다.
메모리(220)는 리얼 3D 영상 시스템(10)의 동작을 수행하는데 필요한 데이터가 저장될 수 있다. 일 실시예에 따른 메모리(220)는 통상적인 저장매체로서 하드디스크라이브(Hard Disk Drive, HDD), ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬메모리(Flash Memory) 및 메모리카드(Memory Card)를 모두 포함함을 알 수 있다.
메모리(220)에는 영상 데이터 등이 저장될 수 있으며, 예를 들어, 대상체에 대한 특정 영상 데이터가 저장될 수 있다. 특정 영상은 대상체에 대한 외관 영상, 내부 영상 등이 있을 수 있다. 또한, 대상체가 복수 개의 개체를 포함하는 경우, 각 개체에 대한 영상이 저장되어 있을 수 있다. 동일한 대상체에 대한 영상이라고 하더라도 해상도가 다른 복수 개의 영상 데이터가 저장되어 있을 수 있다. 또한, 메모리(220)에는 처리 장치(200) 내에서 수행되는 알고리즘이나 프로그램 등이 저장되어 있을 수 있다.
뿐만 아니라, 상기한 메모리(220)에는 사용자의 위치 및 움직임 중 적어도 하나와 사용자 명령의 타입이 정의된 룩업 테이블이 기저장되어 있을 수 있다. 예를 들어, 사용자가 리얼 3D 영상 중 특정 영역을 주시하는 위치에 있으면 특정 영역의 해상도를 증가시키고자 하는 사용자 명령이라고 정의되어 있을 수 있다.
컨트롤러(230)는 센서(100)로부터 수신된 사용자의 위치 및 움직임 정보 중 적어도 하나와 룩업 테이블를 이용하여 사용자 명령을 결정하고, 사용자 명령에 따라 영상 신호 즉, CGH를 생성할 수 있도록 프로세서(240)를 제어할 수 있다.
프로세서(240)는 컨트롤러(230)의 제어 및 메모리(220)에 저장된 영상 데이터를 이용하여 영상 신호를 생성할 수 있다. 프로세서(240)에 의해 생성된 영상 신를 패널(300)에 전달되고 패널(300)은 영상 신호에 따라 리얼 3D 영상을 생성할 수 있다. 예를 들어, 프로세서(240)는 메모리(220)에 저장된 영상 데이터를 리드하여 제1 해상도를 갖는 영상신호를 생성할 수 있고, 사용자의 위치 및 움직임 중 적어도 하나에 따라 제2 해상도를 갖는 영상 신호를 생성할 수 있다.
리얼 3D 영상이 홀로그래피 영상인 경우, 상기한 영상 신호는 CGH일 수 있다. 홀로그피 영상의 해상도는 CGH에 의해 결정될 수 있다. 즉, CGH가 표현하려는 리얼 3D 영상의 공간상의 해상도가 커질수록 홀로그래피 영상의 해상도는 커진다. 리얼 3D 영상이 체적형 영상인 경우, 체적형 영상의 해상도는 복수의 패널에 포함된 픽셀에 의해 결정될 수 있다. 즉 영상의 시분할 정도가 클수록 체적형 영상의 해상도는 커질 수 있다.
제2 통신 모듈(250)은 프로세서에서 생성된 영상 신호를 패널(300)에 전송할 수 있다. 제2 통신 모듈(250)은 패널(300)과 직접 또는 간접으로 연결하기 위한 인터페이스를 의미할 수 있다. 제2 통신 모듈(250)는 유, 무선 네트워크 또는 유선 직렬 통신 등을 통하여 패널(300)과 데이터를 송수신할 수 있다.
패널은 홀로그래피 영상을 생성하느냐 체적형 영상을 생성하느냐에 따라 구성이 다를 수 있다.
도 3a 및 도 3b는 일 실시예에 따른 홀로그래피 영상을 생성하는 패널을 개략적으로 나타내는 도면이다. 도 3a 및 도 3b에 도시된 바와 같이, 패널(300)은 광원(310), 광원(310)으로부터 조사된 광을 이용하여 홀로그래피 영상을 생성하는 공간 광변조기(320) 및 홀로그래피 영상의 화질을 증가시키거나 광의 진행방향을 변경시키는 광학 소자(330)을 포함할 수 있다.
패널은, 도 3a에 도시된 바와 같이, 광원에서 방출되는 광을 확대시켜 이용할 수도 있고, 도 3b에 도시된 바와 같이, 광원에서 방출되는 광을 광학 소자에 의해 면광원으로 변환시킬 수도 있다.
광원(310)은 가간섭성의 레이저 광원일 수 있다. 그러나, 이에 한정되지 않고, LED 등을 포함할 수 있다
공간 광변조기(320)는 상기 광원(310)으로부터 입사되는 광을 변조하여, 디스플레이 하고자 하는 영상 신호, 즉, 컴퓨터 생성 홀로그램(computer generated hologram, CGH)을 표시하는 것으로, CGH에 따라 광의 진폭 및 위상 중 적어도 하나를 변조할 수 있다. 상기한 공간 광변조기(320)에 의해 변조된 광은 3차원 영상을 형성할 수 있다. 그리고, 공간 광변조기(320)에 의해 생성된 영상은 결상 영역에 생성될 수 있다. 상기 공간 광변조기(320)는 예를 들어, 전기적 신호에 의해 굴절률을 변화시킬 수 있는 광전 소자(optical electrical device)를 포함할 수 있다. 공간 광변조기(320)는 예를 들어, MEMS 액츄에이터 어레이(Micro Electro Mechanical Systems Actuator Array), FLC SLM(Ferroelectric liquid crystal spatial light modulator), AOM(Acousto Optical Modulator), LCD(Liquid Crystal Display), LCoS(Liquid Crystal on Silicon) 등 전기 기계(Electro-mechanical) 방식, 음향 광학(Acousto-optical) 방식, 전기 광학(Electro optical) 방식을 포함할 수 있다.
공간 광변조기(320)는, 진폭 변조와 위상 변조 중 어느 하나 또는 진폭 변조와 위상 변조가 모두 가능한 단일 공간 광변조기(320)를 사용하거나, 2개의 이상의 소자를 포함한 모듈 구조로 이루어질 수 있다.
광학 소자(330)는 광을 콜리메이팅시키는 콜리메이팅 렌즈, 공간 광변조기(320)를 통과한 광의 뷰잉 윈도우(시야각)을 확보하기 위한 필드 렌즈 등을 포함할 수 있다. 필드 렌즈는 광원(310)에서 나와 퍼진 광을 뷰잉 윈도우쪽으로 모아주기 위한 집광 렌즈일 수 있다. 예를 들어, 필드 렌즈는 렌즈의 위상을 평면 상에 기록한 회절광학소자(Diffractive Optical Element) 또는 홀로그래피 광학 소자 (Holographic Optical Element)로 제작될 수 있다. 콜리메이팅 렌즈는 상기 공간 광변조기(320)의 뒤에 배치되고, 상기 필드 렌즈는 상기 공간 광변조기(320)의 앞에 배치될 수 있다. 하지만, 여기에 한정되는 것은 아니고, 상기 콜리메이팅 렌즈와 상기 필드 렌즈 모두 상기 공간 광변조기(320) 뒤에 배치될 수 있다. 또는 모든 광학 소자가 공간 광변조기의 앞에 배치될 수도 있고, 뒤에 배치될 수도 있다. 이외도 광학 소자(330)는 회절광과 스펙클, 트윈 영상(Twin Image) 등을 제거하기 위한 추가적인 구성을 더 포함할 수도 있다.
홀로그래피 영상의 해상도는 CGH에 의해 결정될 수 있다. 즉, CGH가 표현하려는 리얼 3D 영상의 공간상의 해상도가 홀로그램 영상의 해상도는 커진다. 또한, 영상 중 특정 영역의 해상도를 달리하고자 하는 동안, 특정 영역에 대응하는 CGH를 더 생성함으로써 해상도가 달라질 수 있음은 물론이다.
도 4a는 일 실시예에 따른 체적형 영상을 생성하는 패널을 개략적으로 나타내는 도면이다. 도 4a에 도시된 바와 같이, 영상 신호에 대응하는 영상을 투사하는 프로젝터(350) 및 프로젝터(350)에서 투사된 영상이 맺히는 다평면 광학판(360)을 포함할 수 있다. 상기한 다평면 광학판(360)은 복수의 광학판(360a~360e)들이 적층된 형태이다. 각각의 광학판(360a~360e)은, 예컨대, 제어 가능한 가변 반투명을 갖는 액정소자로서, OFF 시에는 투명한 상태에 있고 ON 시에는 불투명한 광 산란상태가 되어 영상이 맺힐 수 있도록 제어된다.
이러한 구조에서, 상기 프로젝터(350)는 서로 다른 깊이를 갖는 복수의 영상을 시분할 방식을 이용하여 다평면 광학판(360a~360e)에 연속적으로 투사함으로써 3차원 영상을 생성한다. 예컨대, 상기 프로젝터(350)는 시분할 방식을 통해 제 1 내지 제 5 영상(Im1~Im5)들을 순차적으로 투사하고, 제 1 내지 제 5 광학판(360a~360e)들은 대응하는 영상이 투사될때 불투명한 광 산란상태가 된다. 그러면, 제 1 내지 제 5 영상(Im1~Im5)들이 상기 제 1 내지 제 5 광학판(11a~11e)에 각각 순차적으로 맺히게 된다. 이러한 방식으로 다수의 영상들이 아주 짧은 시간에 투사되면, 관찰자는 다수의 영상들을 하나의 3차원 영상으로 느끼기 때문에, 마치 3차원 물체가 공간에서 형성되는 듯한 시각적 효과를 받는다.
도 4b는 일 실시예에 따른 체적형 영상을 생성하는 다른 유형의 패널을 개략적으로 나타내는 도면이다. 도 4b에 도시된 바와 같이, 패널은 다수의 얇고 투명한 2차원 플렉시블 디스플레이 패널(370a~370n)을 간격 없이 적층함으로써 형성될 수 있다. 이때, 인접하는 2차원 디스플레이 패널들 사이의 접합을 안정성 있게 유지하기 위하여, 각각의 2차원 디스플레이 패널의 기판은 열팽창 계수가 작은 것을 사용할 수 있다. 이러한 구조에서, 각각의 2차원 디스플레이 패널이 투명하기 때문에, 어느 2차원 디스플레이 패널에서 디스플레이 되는 영상도 사용자에게 전달될 수 있다. 따라서, 도 4b의 패널(380)은 화소가 3차원으로 배열된 것으로 볼 수 있다. 도 4b의 패널의 경우, 2차원 디스플레이 패널(370a~370n)들의 적층된 개수가 많을수록 보다 깊이감 있는 영상을 제공할 수 있다. 이외에도 체적형 패널의 형태는 다양할 수 있으나, 구체적인 설명은 생략한다.
사용자의 손 등을 이용하여 리얼 3D 영상과 직접적인 상호 작용(interaction)을 구현하기 위해서는, 위의 체적형 영상을 광학적인 방법에 의해 사용자 쪽으로 이동시켜 실상 또는 허상을 공간에 표시하여 디스플레이할 수 있다.
체적형 영상의 해상도는 광학판 또는 2차원 디스플레이 패널의 픽셀에 의해 결정될 수 있다. 예를 들어, 픽셀이 많을수록 해상도가 높다. 광학판 또는 2차원 디스플레이 패널이 복수 개의 픽셀을 포함하는 경우, m(m은 자연수)개의 픽셀이 동작하여 제1 해상도를 갖는 체적형 영상을 생성할 수 있고, n(n은 자연수 m≠n)개의 픽셀이 동작하여 제2 해상도를 갖는 체적형 영상을 생성할 수 있다. 또한, 복수 개의 픽셀들이 m개로 그룹핑되어, m개의 그룹핑된 픽셀들이 동작하여 제1 해상도를 갖는 체적형 영상을 생성할 수도 있고, 복수 개의 픽셀들이 n개로 그룹핑되어, n개의 그룹핑된 픽셀들이 동작하여 제1 해상도를 갖는 체적형 영상을 생성할 수도 있다.
또한, 영상 중 특정 영역의 해상도를 달리하고자 하는 동안, 특정 영역에 대응하는 픽셀의 동작 여부에 따라 해상도가 달라질 수 있음은 물론이다.
도 5는 일 실시예에 따른 리얼 3D 영상을 생성하는 방법을 설명하는 흐름도이다. 패널(300)은 제1 리얼 3D 영상을 생성할 수 있다(S510). 예를 들어, 제1 리얼 3D 영상이 홀로그래피 영상인 경우, 프로세서(240)는 메모리(220)에 저장된 영상 데이터보다 해상도가 낮은 영상 신호, 즉, CGH를 생성하여 패널(300)에 제공할 수 있고, 패널은 가간섭성 광 및 CGH를 이용하여 제1 홀로그래피 영상을 생성할 수 있다. 상기한 제1 홀로그래피 영상은 결상 영역에 생성될 수 있다. 이하에서는 리얼 3D 영상으로 홀로그래피 영상을 예로 들어 설명한다. 그러나, 이에 한정되지 않는다. 체적형 영상 등 자체적으로 깊이 요인을 갖는 영상에는 모두 적용될 수 있음은 물론이다. 상기한 깊이 요인은 양안 깊이 요인(binocular depth cue)과 단안 깊이 요인(monocular depth cue)을 포함할 수 있다.
컨트롤러(230)는 제1 리얼 3D 영상 중 특정 영역을 선택하는 사용자 명령이 입력되었는지 여부를 판단한다(S520). 센서(100)는 사용자의 위치 및 움직임 중 적어도 하나를 검출할 수 있고, 검출 결과는 제1 통신 모듈(210)을 통해 컨트롤러(230)로 인가된다. 컨트롤러(230)는 룩업 테이블을 이용하여 검출 결과가 사용자 명령인지 여부를 결정할 수 있다. 예를 들어, 검출 결과로부터 사용자가 특정 영역을 응시하는 것으로 결정되면, 컨트롤러(230)은 룩업테이블에 상기한 특정 영역을 응시하는 것이 사용자 명령으로 등록되어 있는지 여부를 판단할 수 있다.
제1 리얼 3D 영상 중 특정 영역을 선택하는 사용자 명령이 입력된 것으로 판단되면(S520-Y), 컨트롤러(230)는 특정 영역에 제1 리얼 3D 영상과 다른 제2 리얼 3D 영상이 생성될 수 있도록 프로세서(240)를 제어할 수 있다(S430). 프로세서(240)는 메모리(220)로부터 영상 데이터를 리드하여 제2 리얼 3D 영상에 대응하는 영상 신호, 예를 들어, CGH를 생성할 수 있다. 그리고, 패널(300)은 프로세서(240)로부터 수신된 영상 신호에 따라 제2 리얼 3D 영상을 생성할 수 있다.
제2 리얼 3D 영상은 제1 리얼 3D 영상과 동일한 대상체를 나타내는 영상일 수 있다. 그러나, 제2 리얼 3D 영상은 제1 리얼 3D 영상과 해상도가 다를 수 있으며, 제2 리얼 3D 영상은 제1 리얼 3D 영상보다 해상도가 높을 수 있다.
또한, 대상체가 복수 개의 개체를 포함하는 경우, 제1 리얼 3D 영상과 제2 리얼 3D 영상은 서로 다른 개체를 나타낼 수 있다. 예를 들어, 대상체가 사람인 경우, 사람은 피부, 장기, 뼈, 혈관 등 다양한 개체를 포함할 수 있다. 제1 리얼 3D 영상은 대상체의 외관, 예를 들어, 사람의 피부를 나타내는 영상이고, 제2 리얼 3D 영상은, 대상체의 내부, 예를 들어, 사람의 장기를 나타내는 영상일 수 있다. 또한, 제1 리얼 3D 영상 및 제2 리얼 3D 영상이 대상체의 내부를 나타내는 영상인 경우에도, 제1 리얼 3D 영상은 장기를 나타내는 영상이고 제2 리얼 3D 영상은 혈관을 나타내는 영상일 수 있다.
상기한 제2 리얼 3D 영상은 제1 리얼 3D 영상과 중첩되어 생성될 수도 있고, 제1 리얼 3D 영상의 일부와 교체되어 생성될 수도 있다.
도 6a 내지 도 6d는 일 실시예에 따른 리얼 3D 영상이 생성되는 방법을 설명하는 참조도면이다. 먼저 도 6a에 도시된 바와 같이, 리얼 3D 영상 시스템(10)은 제1 리얼 3D 영상(610)을 공간 상에 생성할 수 있다. 상기한 공간은 패널(300)과 분리된 공간일 수도 있고, 패널(300)내 공간을 포함할 수도 있다. 상기한 제1 리얼 3D 영상은 자체적으로 깊이 요인을 갖을 수 있다. 제1 리얼 3D 영상(510)의 해상도는 제1 해상도일 수 있다. 상기한 깊이 요인은 양안 깊이 요인(binocular depth cue)과 단안 깊이 요인(monocular depth cue)을 포함할 수 있다.
사용자는 제1 리얼 3D 영상(510) 중 제1 영역(512)을 주시할 수 있다. 예를 들어, 센서(100)가 아이 트랙킹 센서인 경우, 센서(100)는 사용자의 동공 위치 및 사용자와 제1 리얼 3D 영상(510)간의 거리 등을 검출할 수 있고, 그 결과를 컨트롤러(230)에 인가할 수 있다. 컨트롤러(230)는 검출 결과를 이용하여 사용자가 주시하는 영역을 결정할 수 있다.
사용자의 주시 행동이 해상도를 높이는 사용자 명령인 것으로 룩업테이블에 등록되어 있으면, 컨트롤러(230)는 상기한 사용자 명령에 대응하는 영상 신호가 생성될 수 있도록 프로세서(240)를 제어할 수 있다. 그러면, 프로세서(240)는 컨트롤러(230)의 제어에 따라 영상 신호를 생성하여 패널(300)에 인가하고, 패널(300)은, 도 6b에 도시된 바와 같이, 제2 리얼 3D 영상(620)을 제2 영역(614)에 생성할 수 있다. 여기서, 제2 리얼 3D 영상(620)이 생성되는 제2 영역(614)과 사용자가 주시하는 영역(612)은 반드시 일치할 필요는 없으며, 제2 리얼 3D 영상(620)이 생성되는 영역(614)이 사용자가 주시하는 영역(612)보다 약간 클 수 있다. 제2 리얼 3D 영상(620)은 제1 리얼 3D 영상(610)보다 해상도가 높을 수 있다. 제2 리얼 3D 영상(620)의 해상도는 사용자의 주시하는 시간에 비례하여 증가할 수 있다.
이와 같이, 사용자가 주시하는 영역의 해상도를 다른 영역의 해상도보다 높게 함으로써 홀로그래피 영상을 생성하기 위한 컴퓨팅 처리 로드를 줄일 수 있다. 홀로그래피 영상은 신호 처리에 상당히 많은 로드가 발생할 수 있으므로, 사용자의 관심 영역에만 해상도를 높임으로써 신호 처리 로드를 줄일 수 있는 효과가 있다. 뿐만 아니라, 체적형 영상에도 저해상도 영상으로 표시하다가 사용자의 관심 영역만 고해상도 영상으로 표시함으로써 신호 처리 로드를 줄일 수 있다.
또한, 사용자가 주시하는 영역이 변경되면 해상도가 달라지는 영역도 변경될 수 있다. 도 6c에 도시된 바와 같이, 사용자는 주시하는 영역을 제1 리얼 3D 영상(610) 중 제3 영역(616)으로 변경할 수 있다. 그러면, 패널은, 도 6d에 도시된 바와 같이, 제3 리얼 3D 영상(630)을 제4 영역(618)에 생성할 수 있다. 여기서 제3 리얼 3D 영상(630)은 제1 리얼 3D 영상(610)보다 해상도가 높을 수 있다. 그리고, 제4 영역(618)은 제3 영역(616)보다 클 수 있다. 도 6d에서는 제1 영역(612)에 대한 사용자의 주시가 종료되면, 제1 영역(612)에 제2 리얼 3D 영상 대신 제1 리얼 3D 영상을 생성한 것으로 도시되어 있다. 즉, 사용자의 주시가 종료되면 리얼 3D 영상의 해상도가 원래의 해상도로 복귀될 수 있다. 그러나, 이에 한정되지 않는다. 사용자의 주시가 종료된다 하더라도 해상도가 높아진 영역은 그대로 유지할 수 있다.
또한 사용자가 복수 개인 경우, 복수의 사용자가 주시하는 영역 각각에 대응하여 리얼 3D 영상의 해상도가 변경될 수 있다.
도 7a 및 도 7b는 일 실시예에 따른 복수의 사용자에 따른 리얼 3D 영상이 생성되는 방법을 설명하는 참조도면이다. 도 7a에 도시된 바와 같이, 리얼 3D 영상 시스템(10)은 제1 리얼 3D 영상(710)을 공간 상에 생성할 수 있다. 그리고, 제1 사용자는 제1 리얼 3D 영상(710) 중 제1 영역(712)을 주시할 수 있고, 제2 사용자는 제1 리얼 3D 영상(710) 중 제2 영역(714)을 주시할 수 있다. 그러면, 패널(300)은, 도 7b에 도시된 바와 같이, 제1 영역(712)을 포함하는 영역에 제1 리얼 3D 영상(710)보다 해상도가 높은 제2 리얼 3D 영상(720)을 생성할 수 있고, 제2 영역(714)을 포함하는 영역에 제1 리얼 3D 영상(710)보다 해상도가 높은 제3 리얼 3D 영상(730)을 생성할 수 있다.
일 실시예에 따른 리얼 3D 영상 시스템(10)은 해상도가 다른 리얼 3D 영상을 생성할 뿐만 아니라, 특정 영역에 다른 타입의 리얼 3D 영상을 생성할 수도 있다.
도 8a 내지 도 8c는 다른 실시예에 따른 리얼 3D 영상이 생성되는 방법을 설명하는 참조도면이다. 먼저 도 8a에 도시된 바와 같이, 리얼 3D 영상 시스템(10)은 제1 리얼 3D 영상(810)을 공간 상에 생성할 수 있다. 상기한 공간은 패널(300)과 분리된 공간일 수도 있고, 패널(300)내 공간을 포함할 수도 있다. 제1 리얼 3D 영상(810)은 대상체의 외관에 관한 영상일 수 있다.
사용자는 제1 리얼 3D 영상(810) 중 특정 영역(812)을 주시한 상태에서 손을 스윙하는 동작을 수행할 수 있다. 예를 들어, 센서(100)가 아이 트랙킹 센서를 포함하는 경우, 센서(100)는 사용자의 동공 위치 및 사용자와 제1 리얼 3D 영상(810)간의 거리 등을 검출할 수 있고, 그 결과를 컨트롤러(230)에 인가할 수 있다. 컨트롤러(230)는 검출 결과를 이용하여 사용자가 주시하는 영역을 결정할 수 있다. 그리고, 센서(100)가 가속도계 센서, 또는 자이로 센서를 포함하는 경우, 센서(100)는 사용자의 손에 대한 움직임을 검출할 수 있고, 그 결과를 컨트롤러(230)로 인가할 수 있다. 컨트롤러(230)는 검출 결과로부터 사용자의 손이 스윙되었음을 결정할 수 있다.
룩업테이블에 사용자가 특정 영역을 주시한 상태에서 손이 스윙하는 동작은 대상체 중 특정 영역에 있는 개체를 생성하라는 사용자 명령으로 등록되어 있으면, 컨트롤러(230)는 상기한 사용자 명령에 대응하는 영상 신호가 생성될 수 있도록 프로세서(240)를 제어할 수 있다.
그러면, 프로세서(240)는 컨트롤러(230)의 제어에 따라 영상 신호를 생성하여 패널(300)에 인가하고, 패널(300)은, 도 8b에 도시된 바와 같이, 제2 리얼 3D 영상(820)을 특정 영역에 생성할 수 있다. 제2 리얼 3D 영상(820)은 제1 리얼 3D 영상(810)을 개체가 다른 영상일 수 있다. 제2 리얼 3D 영상(820)은 대상체의 내부 영상일 수 있고, 특히 대상체의 특정 장기에 대한 영상일 수 있다.
또한, 사용자는 제2 리얼 3D 영상(820) 중 특정 영역을 주시한 상태에서 손가락 두 개를 펴는 동작을 수행할 수 있다. 그러면, 센서(100)는 사용자의 손에 대한 움직임을 검출할 수 있고, 그 결과를 컨트롤러(230)로 인가할 수 있다. 컨트롤러(230)는 검출 결과로부터 사용자의 손가락 두 개가 펴졌음을 인식할 수 있다.
룩업테이블에 사용자가 특정 영역을 주시한 상태에서 손가락 두 개를 펴는 동작은 대상체 중 특정 영역에 있는 다른 개체를 추가적으로 생성하라는 사용자 명령으로 등록되어 있으면, 컨트롤러(230)는 상기한 사용자 명령에 대응하는 영상 신호가 생성될 수 있도록 프로세서(240)를 제어할 수 있다.
그리고, 프로세서(240)는 컨트롤러(230)의 제어에 따라 영상 신호를 생성하여 패널(300)에 인가하고, 패널(300)은, 도 8c에 도시된 바와 같이, 제3 리얼 3D 영상(830)을 특정 영역에 생성할 수 있다. 제3 리얼 3D 영상(830)은 제2 리얼 3D 영상(820)을 개체가 다른 영상일 수 있다. 제2 및 제3 리얼 3D 영상(820, 830)이 대상체의 내부에 대한 영상이라고 하더라도 제2 리얼 3D 영상(820)은 간에 대한 영상이고, 제3 리얼 3D 영상(830)은 뼈에 대한 영상일 수 있다.
도 8a 내지 도 8c에서는 한 명의 사용자의 주시 및 움직임에 의해 서로 다른 종류의 리얼 3D 영상을 생성한다고 하였으나, 이에 한정되지 않는다. 복수의 사용자의 주시 또는 움직임에 의해 서로 다른 종류의 리얼 3D 영상을 생성할 수 있다. 예를 들어, 제1 사용자가 주시하면 제2 리얼 3D 영상이 생성되고, 제2 사용자의 움직임에 의해 제3 리얼 3D 영상이 생성될 수 있음도 물론이다.
이와 같이, 사용자가 관심있는 영역에만 선택적으로 리얼 3D 영상을 생성하기 때문에 리얼 3D 영상을 생성하기 위한 컴퓨팅 처리 로드를 줄일 수 있다.
상기와 같은 리얼 3D 영상은 의료 영상에 유용할 수 있다. 그러나, 이에 한정되지 않는다. 교육용 영상, 오락용 영상에도 적용될 수 있음은 물론이다.
이제까지 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 리얼 3D 영상 시스템 100: 센서
110: 위치 센서 120: 움직임 센서
200: 처리 장치 210: 제1 통신 모듈
220: 메모리 230: 컨트롤러
240: 프로세서

Claims (20)

  1. 양안 깊이 요인과 단안 깊이 요인을 갖는 제1 리얼 3D 영상을 생성하는 단계; 및
    상기 제1 리얼 3D 영상 중 제1 영역을 선택하는 사용자 명령이 입력되면, 양안 깊이 요인과 단안 깊이 요인을 갖으면서 상기 제1 리얼 3D 영상과 다른 제2 리얼 3D 영상을 상기 제1 영역에 생성하는 단계;를 포함하고,
    상기 제1 리얼 3D 영상과 상기 제2 리얼 3D 영상은 동일한 대상체에 대한 영상인 리얼 3D 영상 생성 방법.
  2. 제 1항에 있어서,
    상기 제1 리얼 3D 영상 중 제2 영역을 선택하는 사용자 명령이 입력되면, 양안 깊이 요인과 단안 깊이 요인을 갖으면서 상기 제1 리얼 3D 영상과 다른 제3 리얼 3D 영상을 상기 제2 영역에 생성하는 단계;를 더 포함하고,
    상기 제1 리얼 3D 영상과 상기 제3 리얼 3D 영상은 동일한 대상체에 대한 영상인 리얼 3D 영상 생성 방법.
  3. 제 2항에 있어서,
    상기 제1 영역을 선택하는 사용자 명령과 상기 제2 영역을 선택하는 사용자 명령은 서로 다른 사용자에 의해 입력되는 리얼 3D 영상 생성 방법.
  4. 제 1항에 있어서,
    상기 제2 리얼 3D 영상은 상기 제1 리얼 3D 영상과 해상도가 다른 리얼 3D 영상 생성 방법.
  5. 제 4항에 있어서,
    상기 제2 리얼 3D 영상은 상기 제1 리얼 3D 영상보다 해상도가 큰 리얼 3D 영상 생성 방법.
  6. 제 1항에 있어서,
    상기 대상체가 복수 개의 개체를 포함하는 경우,
    상기 제1 리얼 3D 영상과 상기 제2 리얼 3D 영상은 서로 다른 개체를 생성하는 리얼 3D 영상 생성 방법.
  7. 제 6항에 있어서,
    상기 제1 리얼 3D 영상은 상기 대상체의 외관을 나타내는 영상이고, 상기 제2 리얼 3D 영상은 상기 대상체의 내부를 나타내는 영상인 리얼 3D 영상 생성 방법.
  8. 제 6항에 있어서,
    상기 제1 리얼 3D 영상은 상기 대상체의 내부에 포함된 제1 개체를 나타내는 영상이고, 상기 제2 리얼 3D 영상은 상기 대상체의 내부에 포함된 제2 개체를 나타내는 영상인 리얼 3D 영상 생성 방법.
  9. 제 1항에 있어서,
    상기 제1 영역에서 상기 제2 리얼 3D 영상은 상기 제1 리얼 3D 영상과 중첩되어 생성되는 리얼 3D 영상 생성 방법.
  10. 제 1항에 있어서,
    상기 제1 영역에서 상기 제2 리얼 3D 영상은 상기 제1 리얼 3D 영상의 교체되어 생성되는 리얼 3D 영상 생성 방법.
  11. 제 1항에 있어서,
    상기 제1 영역은
    사용자의 시선 및 사용자의 움직임 중 적어도 하나에 의해 결정되는 리얼 3D 영상 생성 방법.
  12. 제 11항에 있어서,
    상기 제1 영역은
    상기 사용자의 일부 또는 사용자가 잡고 있는 인디케이터가 가리키는 영역이 리얼 3D 영상 생성 방법.
  13. 제 12항에 있어서,
    상기 사용자의 일부는 사용자의 눈동자 및 사용자의 손가락 중 적어도 하나를 포함하는 리얼 3D 영상 생성 방법.
  14. 제 11항에 있어서,
    상기 사용자의 움직임에 대응하여 상기 제2 리얼 3D 영상이 변경되는 리얼 3D 영상 생성 방법.
  15. 제 1항에 있어서,
    상기 리얼 3D 영상은,
    컴퓨터 생성 홀로그램(CGH)에 의해 생성되는 리얼 3D 영상 생성 방법.
  16. 제 1항에 있어서,
    상기 제1 및 제2 리얼 3D 영상은 의료 영상인 리얼 3D 영상 생성 방법.
  17. 리얼 3D 영상을 생성하는 패널; 및
    사용자의 위치 및 사용자의 움직임 중 적어도 하나를 검출하는 센서;를 포함하고,
    상기 센서로부터 검출된 결과 상기 제1 리얼 3D 영상 중 제1 영역을 선택하는 사용자 명령인 경우, 상기 패널은 상기 제1 리얼 3D 영상과 다른 제2 리얼 3D 영상을 상기 제1 영역에 생성하는 리얼 3D 영상 시스템.
  18. 제 17항에 있어서,
    상기 제1 리얼 3D 영상과 상기 제2 리얼 3D 영상은 동일한 대상체에 대한 영상이면서 해상도가 다른 리얼 3D 영상 시스템.
  19. 제 17항에 있어서,
    상기 대상체가 복수 개의 개체를 포함하는 경우,
    상기 제1 리얼 3D 영상과 상기 제2 리얼 3D 영상은 서로 다른 개체를 생성하는 리얼 3D 영상 시스템.
  20. 제 17항에 있어서,
    상기 제1 리얼 3D 영상은 상기 대상체의 외관을 나타내는 영상이고, 상기 제2 리얼 3D 영상은 상기 대상체의 내부를 나타내는 영상인 리얼 3D 영상 시스템.
KR1020140100702A 2014-08-05 2014-08-05 리얼 3d 영상 생성 방법 및 그 장치 KR20160016468A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140100702A KR20160016468A (ko) 2014-08-05 2014-08-05 리얼 3d 영상 생성 방법 및 그 장치
US14/669,539 US20160042554A1 (en) 2014-08-05 2015-03-26 Method and apparatus for generating real three-dimensional (3d) image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140100702A KR20160016468A (ko) 2014-08-05 2014-08-05 리얼 3d 영상 생성 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20160016468A true KR20160016468A (ko) 2016-02-15

Family

ID=55267790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140100702A KR20160016468A (ko) 2014-08-05 2014-08-05 리얼 3d 영상 생성 방법 및 그 장치

Country Status (2)

Country Link
US (1) US20160042554A1 (ko)
KR (1) KR20160016468A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106428A1 (ko) * 2021-12-06 2023-06-15 한국전자기술연구원 포비티드 홀로그램 렌더링 방법 및 시스템
WO2023113059A1 (ko) * 2021-12-13 2023-06-22 한국전자기술연구원 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6294780B2 (ja) * 2014-07-17 2018-03-14 株式会社ソニー・インタラクティブエンタテインメント 立体画像提示装置、立体画像提示方法、およびヘッドマウントディスプレイ
US9990044B2 (en) * 2015-10-30 2018-06-05 Intel Corporation Gaze tracking system
GB2558605B8 (en) * 2017-01-09 2022-02-23 Caresoft Global Holdings Ltd Methodology to extract 3D CAD from CT Scan Output
CN110546601B (zh) * 2017-04-03 2023-09-26 索尼公司 信息处理装置、信息处理方法和程序
GB2562490A (en) * 2017-05-16 2018-11-21 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
GB2563387B (en) * 2017-06-09 2020-04-15 Sony Interactive Entertainment Inc Image processing device and system
US10861215B2 (en) * 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
CN111539906B (zh) * 2019-01-22 2024-04-12 顺丰科技有限公司 装载率测定方法及装置
JP2023139880A (ja) * 2022-03-22 2023-10-04 株式会社Ｊｖｃケンウッド 表示装置、表示方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717423B2 (en) * 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
CA2632557C (en) * 2005-12-08 2016-06-14 Peter S. Lovely Infrared dental imaging
US8500284B2 (en) * 2008-07-10 2013-08-06 Real View Imaging Ltd. Broad viewing angle displays and user interfaces
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106428A1 (ko) * 2021-12-06 2023-06-15 한국전자기술연구원 포비티드 홀로그램 렌더링 방법 및 시스템
WO2023113059A1 (ko) * 2021-12-13 2023-06-22 한국전자기술연구원 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법

Also Published As

Publication number Publication date
US20160042554A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
KR20160016468A (ko) 리얼 3d 영상 생성 방법 및 그 장치
Hua Enabling focus cues in head-mounted displays
Benzie et al. A survey of 3DTV displays: techniques and technologies
Huang et al. The light field stereoscope.
CN104704419B (zh) 用于从可变观看角度观看来自显示器的三维图像的背光
KR101908033B1 (ko) 광시야각 디스플레이들 및 사용자 인터페이스들
Yang et al. See in 3D: state of the art of 3D display technologies
Yamaguchi Full-parallax holographic light-field 3-D displays and interactive 3-D touch
KR100656342B1 (ko) 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
US8976170B2 (en) Apparatus and method for displaying stereoscopic image
Brar et al. Laser-based head-tracked 3D display research
KR20130097014A (ko) 확장형 3차원 입체영상 디스플레이 시스템
Zhou et al. Vergence-accommodation conflict in optical see-through display: Review and prospect
JPH09238369A (ja) ３次元像表示装置
KR20120095212A (ko) 입체영상표시장치
Yoo et al. Volumetric head-mounted display with locally adaptive focal blocks
KR20120093693A (ko) 입체영상표시장치 및 그 구동방법
US20230077212A1 (en) Display apparatus, system, and method
JP2002330452A (ja) 立体画像表示装置
Dorado et al. Toward 3D integral-imaging broadcast with increased viewing angle and parallax
Pan et al. 3D displays: their evolution, inherent challenges and future perspectives
JP7140954B2 (ja) 立体表示装置、立体表示方法、および、立体表示プログラム
Hua Advances in Head‐Mounted Light‐Field Displays for Virtual and Augmented Reality
Yoo et al. 15 focal planes head-mounted display using led array backlight
Barabas Holographic television: measuring visual performance with holographic and other 3D television technologies

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid