KR20190118803A - 입체영상 생성 장치 - Google Patents

입체영상 생성 장치 Download PDF

Info

Publication number
KR20190118803A
KR20190118803A KR1020180042143A KR20180042143A KR20190118803A KR 20190118803 A KR20190118803 A KR 20190118803A KR 1020180042143 A KR1020180042143 A KR 1020180042143A KR 20180042143 A KR20180042143 A KR 20180042143A KR 20190118803 A KR20190118803 A KR 20190118803A
Authority
KR
South Korea
Prior art keywords
image
images
depth
isotropic
color
Prior art date
Application number
KR1020180042143A
Other languages
English (en)
Inventor
강민수
안재용
정성신
김관수
엄준열
박명환
정순규
Original Assignee
주식회사 씨오티커넥티드
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨오티커넥티드, 주식회사 엘지유플러스 filed Critical 주식회사 씨오티커넥티드
Priority to KR1020180042143A priority Critical patent/KR20190118803A/ko
Publication of KR20190118803A publication Critical patent/KR20190118803A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]

Abstract

본 발명은 입체영상 생성 장치에 관한 것으로, 상호 연동하여 반구형 시야를 촬영할 수 있는 복수의 입체 카메라들로부터 복수의 컬러 이미지들 및 복수의 깊이 이미지들을 수신하는 이미지 수신부, 상기 복수의 컬러 이미지들 및 상기 복수의 깊이 이미지들을 이용하여 컬러 및 깊이 등장방형(equirectangular) 이미지들을 각각 생성하는 등장방형 이미지 생성부 및 상기 컬러 및 깊이 등장방형 이미지들을 통합하여 입체 이미지를 생성하는 입체 이미지 생성부를 포함한다. 따라서, 본 발명은 복수의 입체 카메라들로부터 수신한 이미지들을 기초로 입체영상을 생성할 수 있다.

Description

입체영상 생성 장치{STEREOSCOPIC IMAGE GENERATING APPARATUS}
본 발명은 입체영상 생성 기술에 관한 것으로, 보다 상세하게는 복수의 입체 카메라들로부터 수신한 이미지들을 기초로 입체영상을 생성할 수 있는 입체영상 생성 장치에 관한 것이다.
입체 영상은 복수의 카메라를 이용하여 다양한 각도에서 촬영된 이미지를 기초로 생성될 수 있다. 생성되는 이미지는 촬영에 사용되는 카메라의 수, 종류 및 위치 등에 영향을 받아 달라질 수 있고 결과적으로 입체 영상의 품질에도 영향을 미칠 수 있다. 또한, 복수의 카메라로부터 획득한 복수의 이미지들을 합쳐서 하나의 입체 이미지를 생성하기 위해서는 복수의 이미지들의 위치나 촬영 각도에 따라 중첩시키고 중첩된 영역을 자연스럽게 처리하는 것이 중요하다.
한국공개특허 제10-2006-0015460(2006.02.17)호는 입체 파노라마 화상 캡처 디바이스에 관한 것으로, 겹치는 렉티리니어 화상들(overlapping rectilinear images)이 갭처되어 2등분되고, 좌측 절반들은 꿰매어 합쳐져서 제1 이퀴렉탱귤러 화상(equirectangular image)으로 변환되고 우측 절반들은 꿰매어 합쳐져서 제2 이퀴렉탱귤러 화상으로 변환되며, 제1 이퀴렉탱귤러 화상, 및 제2 이퀴렉탱귤러 화상은 입체적 배향으로 디스플레이되어 입체 이퀴렉탱귤러 화상을 생성한다.
한국공개특허 제10-2017-0043791(2017.04.24)호는 360 가상 현실 서비스를 위한 영상 포맷 및 그 장치에 관한 것으로, 360 VR 2D/3D 비디오 서비스를 보다 효율적으로 할 수 있는 압축 영상 포맷 및 가상 시점 합성 방법을 이용해 양안시차 조절(Inter-ocular distance adaption) 및 운동 시차(motion parallax) 제공을 통해 그 영상을 사용자에게 보다 잘 표시할 수 있도록 하는 기술에 관한 것이다.
한국공개특허 제10-2006-0015460(2006.02.17)호 한국공개특허 제10-2017-0043791(2017.04.24)호
본 발명의 일 실시예는 복수의 입체 카메라들로부터 수신한 이미지들을 기초로 입체영상을 생성할 수 있는 입체영상 생성 장치를 제공하고자 한다.
본 발명의 일 실시예는 복수의 컬러 이미지들 및 복수의 깊이 이미지들을 와프 이미지들로 변환하고 중첩시켜 컬러 및 깊이 등장방형 이미지들을 생성할 수 있는 입체영상 생성 장치를 제공하고자 한다.
본 발명의 일 실시예는 컬러 및 깊이 등장방형 이미지들을 하나로 통합하여 2차원 배경 이미지 상에 3차원 공간 정보를 포함한 입체 이미지를 생성할 수 있는 입체영상 생성 장치를 제공하고자 한다.
실시예들 중에서, 입체영상 촬영 장치는 상호 연동하여 반구형 시야를 촬영할 수 있는 복수의 입체 카메라들로부터 복수의 컬러 이미지들 및 복수의 깊이 이미지들을 수신하는 이미지 수신부, 상기 복수의 컬러 이미지들 및 상기 복수의 깊이 이미지들을 이용하여 컬러 및 깊이 등장방형(equirectangular) 이미지들을 각각 생성하는 등장방형 이미지 생성부 및 상기 컬러 및 깊이 등장방형 이미지들을 통합하여 입체 이미지를 생성하는 입체영상 생성부를 포함한다.
상기 이미지 수신부는 2N 개의(상기 N은 2 이상의 자연수) 적외선 이미지들 및 N개의 깊이 정보들을 이용하여 N개의 깊이 이미지들을 생성할 수 있다.
상기 이미지 수신부는 상기 2N개의 적외선 이미지들 및 상기 N개의 깊이 정보들을 기초로 적외선 카메라 좌표계를 컬러 카메라 좌표계로 변환하여 컬러 이미지 평면으로 투영된 상기 N개의 깊이 이미지들을 생성할 수 있다.
상기 등장방형 이미지 생성부는 상기 복수의 컬러 이미지들 및 상기 복수의 깊이 이미지들을 해당 카메라의 위치에 따라 결정된 특정 형상을 가지는 와프 영역으로 변환하여 복수의 와프 이미지들을 생성하고 상기 복수의 와프 이미지들을 등장방형 영역의 경계선에 맞춰 중첩시켜서 상기 컬러 및 깊이 등장방형 이미지들을 생성할 수 있다.
상기 등장방형 이미지 생성부는 상기 등장방형 이미지 생성부는 상기 해당 카메라의 위치를 기초로 와프 투영 형상의 특정 위치를 결정하여 상기 와프 투영 형상의 해당 형상을 상기 특정 형상으로 정의할 수 있다.
상기 등장방형 이미지 생성부는 상기 와프 투영 형상의 중심점에서 가장 가까운 특정 형상과 관련된 와프 이미지에 있는 픽셀을 가중하여 블렌딩(blending)함으로써 상기 N개의 와프 이미지들을 중첩시킬 수 있다.
상기 입체영상 생성부는 상기 깊이 등장방형 이미지를 기초로 3차원 공간 정보를 생성할 수 있다.
상기 입체영상 생성부는 상기 컬러 등장방형 이미지를 배경 이미지로 설정하고 상기 배경 이미지에 상기 3차원 공간 정보를 매핑시켜 상기 입체 이미지를 생성할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 입체영상 생성 장치는 복수의 컬러 이미지들 및 복수의 깊이 이미지들을 와프 이미지들로 변환하고 중첩시켜 컬러 및 깊이 등장방형 이미지들을 생성할 수 있다.
본 발명의 일 실시예에 따른 입체영상 생성 장치는 컬러 및 깊이 등장방형 이미지들을 하나로 통합하여 2차원 배경 이미지 상에 3차원 공간 정보를 포함한 입체 이미지를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 입체영상 생성 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 입체영상 촬영 장치를 설명하는 도면이다.
도 3은 도 1에 있는 입체영상 촬영 장치를 구성하는 입체 카메라를 설명하는 도면이다.
도 4는 도 1에 있는 입체영상 생성 장치를 설명하는 블록도이다.
도 5는 도 1에 있는 입체영상 생성 장치에서 수행되는 입체영상 생성 과정을 설명하는 순서도이다.
도 6은 도 4에 있는 이미지 수신부가 깊이 이미지를 생성하는 과정을 설명하는 도면이다.
도 7은 도 4에 있는 등장방형 이미지 생성부가 깊이 등장방형 이미지를 생성하는 과정을 설명하는 도면이다.
도 8은 도 4에 있는 등장방형 이미지 생성부가 와프 이미지를 생성하는 과정을 설명하는 도면이다.
도 9는 도 4에 있는 등장방형 이미지 생성부가 6개의 컬러 이미지들을 스티칭하여 하나의 컬러 등장방형 이미지를 생성하는 과정을 설명하는 도면이다.
도 10은 도 4에 있는 등장방형 이미지 생성부가 와프 이미지들 간의 중첩영역에 대해 블렌딩을 수행하는 과정을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 입체영상 생성 시스템을 설명하는 도면이다.
도 1을 참조하면, 입체영상 생성 시스템(100)은 입체영상 촬영 장치(110), 입체영상 생성 장치(130), 데이터베이스(150) 및 입체영상 재생 장치(170)를 포함할 수 있다.
입체영상 촬영 장치(110)는 특정 공간에 대한 입체 영상을 촬영할 수 있는 장치에 해당할 수 있다. 입체영상 촬영 장치(110)는 복수의 카메라들로 구현될 수 있고, 입체영상 생성 장치(130)에 카메라들에 의해 촬영된 이미지들을 제공할 수 있다. 일 실시예에서, 입체영상 촬영 장치(110)는 복수의 카메라들에 의해 촬영된 이미지들을 저장할 수 있는 별도의 저장장치 또는 복수의 카메라들의 동작을 제어할 수 있는 제어부를 포함하여 구현될 수 있다.
입체영상 촬영 장치(110)는 입체영상 생성 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 입체영상 촬영 장치(110)는 입체영상 생성 장치(130)와 동시에 연결될 수 있다. 입체영상 촬영 장치(110)에 대해서는 도 2 및 3에서 보다 자세히 설명한다.
입체영상 생성 장치(130)는 입체영상 촬영 장치(110)로부터 수신한 이미지들을 기초로 입체영상을 생성하여 입체영상 재생 장치(170)에 제공할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 입체영상 생성 장치(130)는 입체영상 촬영 장치(110) 및 입체영상 재생 장치(170)와 블루투스, WiFi 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 입체영상 촬영 장치(110) 및 입체영상 재생 장치(170)와 데이터를 주고 받을 수 있다.
입체영상 생성 장치(130)는 데이터베이스(150)를 포함하여 구현될 수 있고, 데이터베이스(150)와 독립적으로 구현될 수 있다. 데이터베이스(150)와 독립적으로 구현된 경우 입체영상 생성 장치(130)는 데이터베이스(150)와 유선 또는 무선으로 연결되어 데이터를 주고 받을 수 있다.
데이터베이스(150)는 입체영상 생성을 위해 필요한 다양한 정보들을 저장할 수 있는 저장장치이다. 데이터베이스(150)는 입체영상 촬영 장치(110)로부터 수신한 복수의 이미지들을 저장할 수 있고, 입체영상 촬영 장치(110)을 구성하는 복수의 카메라들에 대한 설정 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 복수의 이미지들을 기초로 입체영상을 생성하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
데이터베이스(150)는 특정 범위에 속하는 정보들을 저장하는 적어도 하나의 독립된 서브-데이터베이스들로 구성될 수 있고, 적어도 하나의 독립된 서브-데이터베이스들이 하나로 통합된 통합 데이터베이스로 구성될 수 있다. 적어도 하나의 독립된 서브-데이터베이스들로 구성되는 경우에는 각각의 서브-데이터베이스들은 블루투스, WiFi 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 상호 간의 데이터를 주고 받을 수 있다. 데이터베이스(150)는 통합 데이터베이스로 구성되는 경우 각각의 서브-데이터베이스들을 하나로 통합하고 상호 간의 데이터 교환 및 제어 흐름을 관리하는 제어부를 포함할 수 있다.
입체영상 재생 장치(170)는 입체영상 생성 장치(130)로부터 수신한 입체영상을 디스플레이 장치를 통해 재생할 수 있는 컴퓨팅 장치에 해당할 수 있고, 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC, 3D VR/AR 플레이어, AR 프로젝터, STB(Set-Top Box), HMD(Head Mounted Display) 등 다양한 디바이스로도 구현될 수 있다. 입체영상 재생 장치(170)는 입체영상 생성 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 입체영상 재생 장치(170)는 입체영상 생성 장치(130)와 동시에 연결될 수 있다.
도 2는 도 1에 있는 입체영상 촬영 장치를 설명하는 도면이다.
도 2를 참조하면, 입체영상 촬영 장치(110)는 입체 카메라 장치(210)와 삼각 받침대(230)를 포함할 수 있다. 입체 카메라 장치(210)는 복수의 입체 카메라(211)들을 포함하여 구성될 수 있고, 지지 프레임(213)에 고정된 형태로 구현될 수 있다. 예를 들어, 도 2에서 입체 카메라 장치(210)는 6개의 입체 카메라(211)들이 지지 프레임(213)에 고정된 형태로 구현될 수 있다.
지지 프레임(213)은 입체 카메라(211)들이 일정한 위치에서 일정한 각도를 형성하여 배치되도록 하기 위해 특정한 형태로 구현된 틀에 해당할 수 있다. 도 2에서, 지지 프레임(213)은 총 6개의 입체 카메라(211)들이 상부와 하부에 각각 3개씩 배치되도록 설계될 수 있고, 상부와 하부 각각은 중앙을 제외한 좌측 및 우측 입체 카메라(111)가 마름모 형태를 유지하면서 대칭으로 기울어지도록 설계될 수 있다. 또한, 지지 프레임(113)의 상부와 하부 각각은 입체 카메라(111)들이 수평면을 기준으로 대칭되어 위쪽 또는 아래쪽 방향을 향하도록 설계될 수 있다.
삼각 받침대(230)는 입체 카메라 장치(210)를 고정하기 위한 장치에 해당할 수 있다. 삼각 받침대(230)는 입체 카메라 장치(210)의 무게를 충분히 감당할 수 있고, 입체 카메라 장치(210)를 특정 높이에 고정시켜 지지할 수 있도록 설계될 수 있다. 삼각 받침대(230)는 도 2에서 나타난 형상으로 구현될 수 있으나, 반드시 이에 한정되지 않고, 카메라 장치를 안정적으로 지지하기 위한 다양한 구성 및 형태로 구현될 수 있다.
도 3은 도 1에 있는 입체영상 촬영 장치를 구성하는 입체 카메라를 설명하는 도면이다.
도 3을 참조하면, 입체 카메라(211)는 상부 깊이 센서(310), 복수의 모노 카메라(330)들 및 하부 깊이 센서(350)를 포함할 수 있다.
상부 및 하부 깊이 센서(310, 350)들은 특정 공간을 촬영하여 특정 공간에 대한 깊이 이미지를 생성할 수 있는 장치에 해당할 수 있고, 공간 인식 센서(311) 및 스테레오 카메라(313)를 포함할 수 있다. 도 3에서, 상부 및 하부 깊이 센서(310, 350)들은 스테레오 카메라(313)의 양안 사이에 공간 인식 센서(311)가 배치된 형태로 구현되어 있으나, 반드시 이에 한정되지 않고, 깊이 이미지를 생성하기 위하여 다양한 형태 및 구성으로 구현될 수 있다. 하부 깊이 센서(350)는 상부 깊이 센서(310)에 대응하여 동일한 구성으로 구현될 수 있고, 복수의 모노 카메라(330)들을 중심으로 상부 깊이 센서(310)와 대칭적으로 배치될 수 있다.
공간 인식 센서(311)는 깊이 정보 획득을 위하여 레이저(Laser)를 이용하여 랜덤 패턴을 생성하는 장치에 해당할 수 있다. 스테레오 카메라(313)는 입체 이미지를 촬영할 수 있는 장치에 해당할 수 있고, 인간의 눈처럼 원근감을 표현하기 위하여 일정한 간격으로 떨어진 2개의 렌즈를 포함하여 구현될 수 있다. 일 실시예에서, 스테레오 카메라(313)는 IR 카메라에 해당할 수 있다.
복수의 모노 카메라(330)들은 특정 공간에 대한 컬러 이미지를 촬영할 수 있는 장치에 해당할 수 있고, 모노 카메라(330)에 의해 촬영되는 공간은 상부 및 하부 깊이 센서(310, 350)에 의해 촬영되는 공간과 동일할 수 있다. 복수의 모노 카메라(330)들은 2개 이상의 동일한 모노 카메라(330)를 포함할 수 있고, 예를 들어, 도 3에서는 3개의 모노 카메라(330)들이 하나의 입체 카메라(211)를 구성하고 있다. 또한, 복수의 모노 카메라(330)들은 상부 깊이 센서(310) 및 하부 깊이 센서(350) 사이에 배치될 수 있고, 수평으로 나란히 정렬되어 배치될 수 있다.
도 4는 도 1에 있는 입체영상 생성 장치를 설명하는 블록도이다.
도 4를 참조하면, 입체영상 생성 장치(130)는 이미지 수신부(410), 등장방형 이미지 생성부(430), 입체 이미지 생성부(450) 및 제어부(470)를 포함할 수 있다.
이미지 수신부(410)는 상호 연동하여 반구형 시야를 촬영할 수 있는 복수의 입체 카메라(211)들로부터 복수의 컬러 이미지들 및 복수의 깊이 이미지들을 수신할 수 있다. 여기에서, 복수의 입체 카메라(211)들은 입체영상 촬영 장치(110)를 구성하는 카메라들에 해당할 수 있다.
일 실시예에서, 이미지 수신부(410)는 2N 개의(상기 N은 2 이상의 자연수) 적외선 이미지들 및 N개의 깊이 정보들을 이용하여 N개의 깊이 이미지들을 생성할 수 있다. 복수의 입체 카메라(211)들 각각은 공간 인식 센서(311) 및 스테레오 카메라(313)를 포함하여 구현될 수 있고, 공간 인식 센서(311)를 통해 촬영 공간의 깊이 정보를 수집할 수 있으며, 스테레오 카메라(313)를 통해 촬영 공간에 대한 적외선 이미지를 촬영할 수 있다.
예를 들어, 도2에서의 입체영상 촬영 장치(110)을 통해 6개의 컬러 이미지와 12개의 적외선 이미지 및 깊이 정보를 수신할 수 있고, 이미지 수신부(410)는 12개의 (N=6) 적외선 이미지 및 깊이 정보를 이용하여 6개의 깊이 이미지를 생성할 수 있다.
일 실시예에서, 이미지 수신부(410)는 2N개의 적외선 이미지들 및 N개의 깊이 정보들을 기초로 적외선 카메라 좌표계를 컬러 카메라 좌표계로 변환하여 컬러 이미지 평면으로 투영된 N개의 깊이 이미지들을 생성할 수 있다. 보다 구체적으로, 이미지 수신부(410)는 적외선 이미지 평면의 좌표와 깊이 정보를 이용하여 3차원 좌표를 취득할 수 있고, 적외선 카메라 좌표계에서의 3차원 점의 좌표를 컬러 카메라 좌표계에서의 3차원 점의 좌표로 변환할 수 있다. 이미지 수신부(410)는 컬러 카메라 좌표계에서의 3차원 좌표를 획득한 후 컬러 이미지 평면에 투영하여 깊이 이미지 좌표를 획득함으로써 깊이 이미지를 생성할 수 있다. 좌표 변환에 대해서는 도 9에서 보다 자세히 설명한다.
등장방형 이미지 생성부(430)는 복수의 컬러 이미지들 및 복수의 깊이 이미지들을 이용하여 컬러 및 깊이 등장방형(equirectangular) 이미지들을 각각 생성할 수 있다. 여기에서, 등장방형(equirectangular) 이미지는 복수의 이미지들을 스티칭(stitching)하여 생성한 단일의 이미지로서 VR 플레이어 기기 등에서 재생할 수 있는 이미지 포맷에 해당할 수 있다.
예를 들어, 도 2에서의 입체영상 촬영 장치(110)를 이용하여 생성한 등장방형 이미지는 가로 180도, 세로 180도의 시야각을 가지는 스티칭 이미지에 해당할 수 있다. 등장방형 이미지 생성부(430)는 6개의 컬러 이미지들로부터 하나의 컬러 등장방형 이미지를 생성하고, 6개의 깊이 이미지들로부터 하나의 깊이 등장방형 이미지를 생성할 수 있다.
일 실시예에서, 등장방형 이미지 생성부(430)는 복수의 컬러 이미지들 및 복수의 깊이 이미지들을 해당 카메라의 위치에 따라 결정된 특정 형상을 가지는 와프 영역으로 변환하여 복수의 와프 이미지들을 생성하고 복수의 와프 이미지들을 등장방형 영역의 경계선에 맞춰 중첩시켜서 컬러 및 깊이 등장방형 이미지들을 생성할 수 있다.
예를 들어, 도 2에서의 입체영상 촬영 장치(110)를 이용하는 경우 등장방형 이미지 생성부(430)는 6개의 컬러 이미지들에 대해 각 이미지를 촬영한 카메라의 위치에 따라 특정 형상의 특정 영역에 대응되는 와프 영역으로 변환하여 각 이미지들에 대응하는 6개의 와프 이미지들을 생성할 수 있다. 이 경우, 특정 형상은 구형 형상에 해당할 수 있고 등장방형 이미지 생성부(430)는 각 카메라의 위치에 따라 구형 형상의 특정 영역을 해당 와프 영역으로 매칭시킬 수 있다. 등장방형 이미지 생성부(430)는 구형 형상의 특정 영역들로 이루어진 6개의 와프 영역으로 구성된 등장방형 영역의 경계선에 맞춰 와프 이미지들을 정렬함으로써 인접한 와프 이미지들 간의 중첩 영역을 결정할 수 있다.
일 실시예에서, 등장방형 이미지 생성부(430)는 해당 카메라의 위치를 기초로 와프 투영 형상의 특정 위치를 결정하여 와프 투영 형상의 해당 형상을 특정 형상으로 정의할 수 있다. 와프 투영 형상은 와프 이미지를 생성하기 위하여 사용하는 가상 형상에 해당할 수 있고, 구형 형상 또는 타원형 형상에 해당할 수 있으며, 반드시 이에 한정되지 않고, 입체를 표현할 수 있는 다양한 형상에 해당할 수 있다. 등장방형 이미지 생성부(430)는 각 카메라의 위치에 따라 미리 매칭된 와프 투영 형상의 특정 위치를 결정할 수 있고, 해당 위치에서의 일정 영역을 특정 형상으로 정의할 수 있다.
일 실시예에서, 등장방형 이미지 생성부(430)는 복수의 와프 이미지들 간의 중첩 영역에 대하여 가중평균법(weighted average method)을 이용하여 블렌딩(blending)할 수 있다. 다른 실시예에서, 등장방형 이미지 생성부(430)는 복수의 와프 이미지들 간의 중첩 영역에 대하여 중첩된 두 개의 와프 이미지들에서 서로 대응되는 각 픽셀 중에서 어느 하나를 선택함으로써 블렌딩을 수행할 수 있다.
일 실시예에서, 등장방형 이미지 생성부(430)는 와프 투영 형상의 중심점에서 가장 가까운 특정 형상과 관련된 와프 이미지에 있는 픽셀을 가중하여 블렌딩(blending)함으로써 복수의 와프 이미지들을 중첩시킬 수 있다. 예를 들어, 등장방형 이미지 생성부(430)는 와프 투영 형상이 구형 형상인 경우 구형 형상의 중심점에서 모든 와프 이미지 간의 거리가 동일하므로 중첩하는 이미지들 간의 평균으로 블렌딩을 수행할 수 있다.
또한, 등장방형 이미지 생성부(430)는 와프 투영 형상이 타원형 형상인 경우 6개의 와프 이미지 중에서 각 행의 중앙 와프 이미지가 가장 가까운 와프 이미지에 해당하므로, 중앙 와프 이미지와 중첩되는 영역은 중앙 와프 이미지의 픽셀을 가중하여 블렌딩을 수행할 수 있고, 이 경우 중앙 와프 이미지를 제외한 나머지 4개의 좌우 와프 이미지는 중심점까지의 거리가 동일하므로 중첩된 와프 이미지들 간의 평균으로 블렌딩을 수행할 수 있다.
일 실시예에서, 등장방형 이미지 생성부(430)는 복수의 와프 이미지들 간의 중첩 영역에 대하여 다음의 수학식 1을 이용하여 블렌딩(blending)할 수 있다.
[수학식 1]
Figure pat00001
여기에서, C는 중첩 영역 내의 픽셀을, C0는 첫 번째 이미지의 픽셀을, C1은 두 번째 이미지의 픽셀을, D는 중첩 영역의 경계 간 거리를, D0는 중첩 영역 내의 픽셀을 위치로부터 첫 번째 이미지와의 중첩 경계까지의 거리를, D1은 중첩 영역 내의 픽셀을 위치로부터 두 번째 이미지와의 중첩 경계까지의 거리를 나타낸다. 중첩 영역 내의 픽셀 C는 중첩된 두 이미지에서의 픽셀 간의 가중 평균과 두 이미지의 픽셀 중 큰 픽셀 간의 평균을 통해 산출할 수 있다.
일 실시예에서, 등장방형 이미지 생성부(430)는 복수의 와프 이미지들 간의 중첩 영역에 대하여 다음의 수학식 2를 이용하여 블렌딩(blending)할 수 있다.
[수학식 2]
Figure pat00002
중첩 영역 내의 픽셀 C는 중첩된 두 이미지에서의 픽셀 간의 가중 평균과 두 이미지의 픽셀 중 작은 픽셀 간의 평균을 통해 산출할 수 있다.
입체 이미지 생성부(450)는 컬러 및 깊이 등장방형 이미지들을 통합하여 입체 이미지를 생성할 수 있다. 등장방형 이미지 생성부(430)에 의해 생성된 컬러 및 깊이 등장방형 이미지들은 동일 공간에 대한 이미지들로서 서로 매칭되도록 생성되었기 때문에 입체 이미지 생성부(450)는 두 개의 등장방형 이미지들을 통합하여 하나의 입체 이미지를 생성할 수 있다.
일 실시예에서, 입체 이미지 생성부(450)는 깊이 등장방형 이미지를 기초로 3차원 공간 정보를 생성할 수 있다. 입체 이미지 생성부(450)는 깊이 등장방형 이미지에 포함된 깊이 정보를 이용하여 입체영상 촬영 장치(110)에 의해 촬영된 공간에 대한 가상의 3차원 정보를 획득할 수 있다.
일 실시예에서, 입체 이미지 생성부(450)는 컬러 등장방형 이미지를 배경 이미지로 설정하고 배경 이미지에 3차원 공간 정보를 매핑시켜 입체 이미지를 생성할 수 있다. 입체 이미지 생성부(450)는 컬러 등장방형 이미지 및 깊이 등장방형 이미지를 서로 중첩시킬 수 있고, 컬러 등장방형 이미지는 배경 이미지로서 사용하고, 깊이 등장방형 이미지로부터 도출된 3차원 공간 정보를 해당 배경 이미지 위에 덮어 씌워 입체 이미지를 생성할 수 있다. 결과적으로, 입체 이미지 생성부(450)에 의해 생성되는 입체 이미지는 2차원 이미지로 보일 수 있지만, 이미지 상의 객체들에 대한 3차원 공간 정보를 함께 포함하고 있다.
일 실시예에서, 입체영상 재생 장치(170)는 입체 이미지 생성부(450)에 의해 생성된 입체 이미지를 이용하여 3차원 가상 객체가 2차원 이미지 상의 객체들과 실제 3차원 공간 상에서 상호 작용하는 효과를 사용자에게 제공할 수 있다.
제어부(470)는 입체영상 생성 장치(130)의 전체적인 동작을 제어하고, 이미지 수신부(410), 등장방형 이미지 생성부(430) 및 입체 이미지 생성부(450) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 5는 도 1에 있는 입체영상 생성 장치에서 수행되는 입체영상 생성 과정을 설명하는 순서도이다.
도 5를 참조하면, 입체영상 생성 장치(130)는 이미지 수신부(410)를 통해 상호 연동하여 반구형 시야를 촬영할 수 있는 복수의 입체 카메라들로부터 복수의 컬러 이미지들 및 복수의 깊이 이미지들을 수신할 수 있다(단계 S510).
입체영상 생성 장치(130)는 등장방형 이미지 생성부(430)를 통해 복수의 컬러 이미지들 및 복수의 깊이 이미지들을 이용하여 컬러 및 깊이 등장방형(equirectangular) 이미지들을 각각 생성할 수 있다(단계 S530).
입체영상 생성 장치(130)는 입체 이미지 생성부(450)를 통해 컬러 및 깊이 등장방형 이미지들을 통합하여 입체 이미지를 생성할 수 있다(단계 S550).
도 6은 도 4에 있는 이미지 수신부가 깊이 이미지를 생성하는 과정을 설명하는 도면이다.
도 6을 참조하면, 이미지 수신부(410)는 깊이 정보를 컬러 정보에 매칭시키기 위해서 깊이 정보를 3차원 좌표로 변환한 후 기준 좌표계로 변환할 수 있다. 이미지 수신부(410)는 적외선 이미지 평면의 좌표와 깊이 정보를 이용하여 3차원 좌표를 취득한 후 적외선 카메라 좌표계 기준 3차원 점의 좌표(P)를 컬러 카메라 좌표계 기준 3차원 점의 좌표(P')로 변환할 수 있다.
이미지 수신부(410)는 좌표계 변환 과정에서 적외선 카메라 및 컬러 카메라 간의 회전 행렬 R과 이동벡터 t를 파라미터로 사용할 수 있다. 이미지 수신부(410)는 좌표계 변환을 통해 획득한 컬러 카메라 기준 3차원 좌표 정보를 기초로 카메라 행렬 K를 이용하여 컬러 이미지 평면에 투영함으로써 적외선 이미지에 매칭되는 이미지 좌표를 획득할 수 있다.
도 7은 도 4에 있는 등장방형 이미지 생성부가 깊이 등장방형 이미지를 생성하는 과정을 설명하는 도면이다.
도 7을 참조하면, 등장방형 이미지 생성부(430)는 6개의 깊이 이미지(710)들을 스티칭하여 하나의 깊이 등장방형 이미지(730)를 생성할 수 있다. 6개의 깊이 이미지(710)들은 이미지 수신부(410)에 의해 적외선 이미지 및 깊이 정보를 기초로 생성될 수 있다. 등장방형 이미지 생성부(430)는 6개의 컬러 이미지들을 스티칭하여 하나의 컬러 등장방형 이미지를 생성하는 것과 동일한 방법으로 6개의 깊이 이미지(710)들을 스티칭하여 하나의 깊이 등장방형 이미지(730)를 생성할 수 있다.
도 8은 도 4에 있는 등장방형 이미지 생성부가 와프 이미지를 생성하는 과정을 설명하는 도면이다.
도 8을 참조하면, 등장방형 이미지 생성부(430)는 컬러 이미지(850)를 등장방형 영역으로 와핑(warping)하기 위하여 맵핑(mapping) 식을 이용할 수 있다. 보다 구체적으로, 등장방형 이미지 생성부(430)는 컬러 이미지(850)의 (u, v)좌표를 3D 구(870)에 맵핑하는 식 1(810)과 3D 구(870)에서 등장방형 영역으로 맵핑하는 식 2(830)를 이용하여 와프 이미지(890)를 생성할 수 있다. 여기에서, r은 이미지 서클(image circle)의 반지름을 의미하고, (u, v)는 이미지 서클의 중심을 원점으로 하는 각 축을 의미한다.
등장방형 이미지 생성부(430)는 정방향의 맵핑 식을 이용하여 역방향의 맵핑 식을 도출할 수 있다. 등장방형 이미지 생성부(430)에 의해 생성되는 컬러 등장방형 이미지는 가로로 360도 뷰를 보여주고 세로로 180도 뷰를 보여주는 360도 VR 이미지에 해당할 수 있다. 등장방형 이미지 생성부(430)는 깊이 이미지에 대해서도 동일한 방법을 사용하여 와프 이미지를 생성할 수 있다.
도 9는 도 4에 있는 등장방형 이미지 생성부가 6개의 컬러 이미지들을 스티칭하여 하나의 컬러 등장방형 이미지를 생성하는 과정을 설명하는 도면이다.
도 9를 참조하면, 등장방형 이미지 생성부(430)는 6개의 컬러 이미지들(a. source images) 을 사용하여 6개의 와프 이미지들(b. warping results)를 생성할 수 있다. 등장방형 이미지 생성부(430)는 6개의 와프 이미지들을 등장방형 영역(c. average image)에서 정렬시켜 와프 이미지들(b. warping results) 간의 중첩 영역을 결정할 수 있다.
이 경우, 중첩 영역의 불일치는 각 POD 간의 거리와 비례하여 커질 수 있고, 각 POD 간의 거리는 최종 결과물의 품질에 큰 영향을 줄 수 있다. 등장방형 이미지 생성부(430)는 등장방형 영역에서의 각 와프 이미지의 위치가 결정되면 각각의 ROI(Region Of Interest) 영역(d. ROI areas)을 지정하여 최종 컬러 등장방형 이미지를 생성할 수 있다.
도 10은 도 4에 있는 등장방형 이미지 생성부가 와프 이미지들 간의 중첩영역에 대해 블렌딩을 수행하는 과정을 설명하는 도면이다.
도 10을 참조하면, 등장방형 이미지 생성부(430)는 6개의 컬러 이미지들(a. source images)을 이용하여 하나의 컬러 등장방형 이미지(b. Equirectangular images)를 생성할 수 있다. 등장방형 이미지 생성부(430)는 6개의 컬러 이미지들(a. source images)에 대응하는 6개의 와프 이미지들을 등장방형 영역에 정렬하여 중첩시킬 수 있고, 와프 이미지들 간의 중첩 영역에 대해서는 가중평균법(weighted average method)을 이용하여 블렌딩(blending)할 수 있다.
등장방형 이미지 생성부(430)는 인접하는 두 이미지들 간의 중첩 영역에 대해 중첩된 각 픽셀의 색상은 해당 픽셀의 위치를 기준으로 하여 더 가까운 이미지의 픽셀에 더 높은 가중치를 부여한 후 평균하여 해당 픽셀의 최종 색상을 결정할 수 있다. 도 10에서, 등장방형 이미지 생성부(430)는 이미지 A와 이미지 B의 중첩영역의 경우 두 이미지에서의 중첩 경계의 중간부터 이미지 A에 가까운 영역에 대해서는 이미지 A의 픽셀에 더 높은 가중치를 부여하고, 이미지 B에 가까운 영역에 대해서는 이미지 B의 픽셀에 더 높은 가중치를 부여할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 입체영상 생성 시스템
110: 입체영상 촬영 장치 130: 입체영상 생성 장치
150: 데이터베이스 170: 입체영상 재생 장치
210: 입체 카메라 장치 230: 삼각 받침대
211: 입체 카메라 213: 지지 프레임
310: 상부 깊이 센서 311: 공간 인식 센서
313: 스테레오 카메라 330: 모노 카메라
350: 하부 깊이 센서
410: 이미지 수신부 430: 등장방형 이미지 생성부
450: 입체 이미지 생성부 470: 제어부
710: 깊이 이미지 730: 깊이 등장방형 이미지
810: 맵핑하는 식 1 830: 매핑하는 식 2
850: 컬러 이미지 870: 구형 형상
890: 와프 이미지

Claims (8)

  1. 상호 연동하여 반구형 시야를 촬영할 수 있는 복수의 입체 카메라들로부터 복수의 컬러 이미지들 및 복수의 깊이 이미지들을 수신하는 이미지 수신부;
    상기 복수의 컬러 이미지들 및 상기 복수의 깊이 이미지들을 이용하여 컬러 및 깊이 등장방형(equirectangular) 이미지들을 각각 생성하는 등장방형 이미지 생성부; 및
    상기 컬러 및 깊이 등장방형 이미지들을 통합하여 입체 이미지를 생성하는 입체 이미지 생성부를 포함하는 입체영상 생성 장치.
  2. 제1항에 있어서, 상기 이미지 수신부는
    2N 개의(상기 N은 2 이상의 자연수) 적외선 이미지들 및 N 개의 깊이 정보들을 이용하여 N 개의 깊이 이미지들을 생성하는 것을 특징으로 하는 입체영상 생성 장치.
  3. 제2항에 있어서, 상기 이미지 수신부는
    상기 2N 개의 적외선 이미지들 및 상기 N 개의 깊이 정보들을 기초로 적외선 카메라 좌표계를 컬러 카메라 좌표계로 변환하여 컬러 이미지 평면으로 투영된 상기 N 개의 깊이 이미지들을 생성하는 것을 특징으로 하는 입체영상 생성 장치.
  4. 제1항에 있어서, 상기 등장방형 이미지 생성부는
    상기 복수의 컬러 이미지들 및 상기 복수의 깊이 이미지들을 해당 카메라의 위치에 따라 결정된 특정 형상을 가지는 와프 영역으로 변환하여 복수의 와프 이미지들을 생성하고 상기 복수의 와프 이미지들을 등장방형 영역의 경계선에 맞춰 중첩시켜서 상기 컬러 및 깊이 등장방형 이미지들을 생성하는 것을 특징으로 하는 입체영상 생성 장치.
  5. 제4항에 있어서, 상기 등장방형 이미지 생성부는
    상기 해당 카메라의 위치를 기초로 와프 투영 형상의 특정 위치를 결정하여 상기 와프 투영 형상의 해당 형상을 상기 특정 형상으로 정의하는 것을 특징으로 하는 입체영상 생성 장치.
  6. 제4항에 있어서, 상기 등장방형 이미지 생성부는
    상기 와프 투영 형상의 중심점에서 가장 가까운 특정 형상과 관련된 와프 이미지에 있는 픽셀을 가중하여 블렌딩(blending)함으로써 상기 복수의 와프 이미지들을 중첩시키는 것을 특징으로 하는 입체영상 생성 장치.
  7. 제1항에 있어서, 상기 입체영상 생성부는
    상기 깊이 등장방형 이미지를 기초로 3차원 공간 정보를 생성하는 것을 특징으로 하는 입체영상 생성 장치.
  8. 제7항에 있어서, 상기 입체영상 생성부는
    상기 컬러 등장방형 이미지를 배경 이미지로 설정하고 상기 배경 이미지에 상기 3차원 공간 정보를 매핑시켜 상기 입체 이미지를 생성하는 것을 특징으로 하는 입체영상 생성 장치.

KR1020180042143A 2018-04-11 2018-04-11 입체영상 생성 장치 KR20190118803A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180042143A KR20190118803A (ko) 2018-04-11 2018-04-11 입체영상 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180042143A KR20190118803A (ko) 2018-04-11 2018-04-11 입체영상 생성 장치

Publications (1)

Publication Number Publication Date
KR20190118803A true KR20190118803A (ko) 2019-10-21

Family

ID=68460586

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180042143A KR20190118803A (ko) 2018-04-11 2018-04-11 입체영상 생성 장치

Country Status (1)

Country Link
KR (1) KR20190118803A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230089235A (ko) * 2021-12-13 2023-06-20 (주)아고스비전 광시야 카메라에 기반한 객체 추적 팬틸트 장치 및 그 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060015460A (ko) 2005-07-25 2006-02-17 미코이 코포레이션 입체 파노라마 화상 캡처 디바이스
KR20170043791A (ko) 2015-10-14 2017-04-24 한국전자통신연구원 360 가상 현실 서비스를 위한 영상 포맷 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060015460A (ko) 2005-07-25 2006-02-17 미코이 코포레이션 입체 파노라마 화상 캡처 디바이스
KR20170043791A (ko) 2015-10-14 2017-04-24 한국전자통신연구원 360 가상 현실 서비스를 위한 영상 포맷 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230089235A (ko) * 2021-12-13 2023-06-20 (주)아고스비전 광시야 카메라에 기반한 객체 추적 팬틸트 장치 및 그 동작 방법

Similar Documents

Publication Publication Date Title
US7429997B2 (en) System and method for spherical stereoscopic photographing
US20180192033A1 (en) Multi-view scene flow stitching
US9361660B2 (en) Image processing device and method, supplement image generation device and method, program, and recording medium
US20050185047A1 (en) Method and apparatus for providing a combined image
US20190045125A1 (en) Virtual reality video processing
JP7182920B2 (ja) 画像処理装置、画像処理方法およびプログラム
TW201234838A (en) Stereoscopic display device and control method of stereoscopic display device
JP6406853B2 (ja) 光フィールド映像を生成する方法及び装置
JP2003187261A (ja) ３次元画像生成装置、３次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体
JPWO2012147363A1 (ja) 画像生成装置
CN108141578A (zh) 呈现相机
US11960086B2 (en) Image generation device, head-mounted display, and image generation method
CN108885342A (zh) 用于低延迟渲染的宽基线立体
JP7196421B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2003284093A (ja) 立体画像処理方法および装置
KR101198557B1 (ko) 시청자세를 반영하는 3차원 입체영상 생성 시스템 및 방법
US20220113543A1 (en) Head-mounted display and image display method
KR20150003576A (ko) 삼차원 영상 생성 또는 재생을 위한 장치 및 방법
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
JP4892405B2 (ja) 画像処理装置および方法
JP6649010B2 (ja) 情報処理装置
CN103248910A (zh) 三维成像系统及其图像再现方法
JP5252703B2 (ja) 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム
WO2018084087A1 (ja) 画像表示システム、画像表示装置、その制御方法、及びプログラム
JP2019101563A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right