KR102551857B1 - 3 차원 이미지 생성 장치 - Google Patents

3 차원 이미지 생성 장치 Download PDF

Info

Publication number
KR102551857B1
KR102551857B1 KR1020200164236A KR20200164236A KR102551857B1 KR 102551857 B1 KR102551857 B1 KR 102551857B1 KR 1020200164236 A KR1020200164236 A KR 1020200164236A KR 20200164236 A KR20200164236 A KR 20200164236A KR 102551857 B1 KR102551857 B1 KR 102551857B1
Authority
KR
South Korea
Prior art keywords
image
viewpoint
processor
generating
images
Prior art date
Application number
KR1020200164236A
Other languages
English (en)
Other versions
KR20220075777A (ko
Inventor
강철수
김권태
Original Assignee
(주)오버다임케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)오버다임케이 filed Critical (주)오버다임케이
Priority to KR1020200164236A priority Critical patent/KR102551857B1/ko
Publication of KR20220075777A publication Critical patent/KR20220075777A/ko
Application granted granted Critical
Publication of KR102551857B1 publication Critical patent/KR102551857B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3 차원 이미지 생성 장치가 개시된다. 일 실시예에 따른 3 차원 이미지 생성 장치는, 복수의 시점 카메라에 의해 촬영된 복수의 시점 이미지를 수신하는 수신기와, 상기 복수의 시점 이미지로부터 3 차원 이미지의 타겟 해상도 및 타겟 깊이에 기초하여 믹싱 코드를 생성하고, 상기 믹싱 코드에 기초하여 상기 복수의 시점 이미지에 렌더링을 수행함으로써 3 차원 이미지를 생성하는 프로세서를 포함한다.

Description

3 차원 이미지 생성 장치{3-DIMENSIONAL IMAGE GEMERATION APPARATUS}
아래 실시예들은 3 차원 이미지 생성 장치에 관한 것이다.
디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 최근에는 3 차원 이미지를 제공할 수 있는 입체 디스플레이 시스템이 개발되었다.
입체 디스플레이 장치는 일반 가정에서 사용되는 3 차원 텔레비젼 뿐만 아니라, 각종 모니터, 휴대폰, PDA(Personal Digital Assistant), PC(Personal Computer), 태블릿 PC, 전자 액자, 키오스크 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다.
입체 디스플레이 시스템은 크게 안경 없이 시청 가능한 무안경식 시스템과, 안경을 착용하여 시청하여야 하는 안경식 시스템으로 분류할 수 있다.
안경식 시스템은 만족스러운 입체감을 제공할 수 있으나, 시청자가 반드시 안경을 사용해야만 한다는 불편함이 있지만, 무안경식 시스템은 안경 없이도 3 차원 이미지를 시청할 수 있다는 장점이 있다.
이러한 3 차원 이미지를 생성하기 위한 다시점 이미지 처리 기술은 복수개의 카메라를 통해 촬영된 영상들을 기하학적으로 교정하고, 공간적인 합성 등을 통해 여러 방향의 다양한 시점을 사용자에게 제공한다. 이러한 다시점 영상은 사용자에게 시점의 자유를 증가시킬 수 있다는 특징을 갖는다.
다시점 이미지를 이용한 3 차원 비디오 콘텐츠를 제공하기 위한 다양한 기술이 현재 연구되고 개발되고 있다. 특히, 시청자가 특정한 시점(viewpoint)에서 단지 한 쌍의 스테레오 비디오만을 볼 수 있고 다른 시점에서는 다른 한 쌍의 스테레오 비디오를 볼 수 있는 멀티뷰 애플리케이션(multi-view applications)에 대한 연구가 수행되고 있다.
이러한 멀티뷰 애플리케이션에 대한 가장 실행 가능한 접근 방법들 중 하나는 제한된 개수의 입력 뷰(input views), 예를 들면, 모노 또는 스테레오 비디오에 더하여 몇 가지 보충 데이터가 디코더 측으로 제공된 후 필요한 모든 뷰들이 디코더에 의해 디스플레이 상에서 디스플레이되도록 국부적으로 렌더링(즉, 합성)된다.
다시점 무안경 3 차원 입체영상 솔루션을 완성하기 위해서는 콘텐츠 제작을 용이하게 할 필요가 있다. 지금까지의 컨텐츠 제작 방식은 3 차원 그래픽 프로그램에서 다시점 각도에 맞는 콘텐츠를 개별적으로 작업하는 방식이었으나, 이는 많은 작업상, 시간상 비용이 소요되었다.
실시예들은 3 차원 이미지를 생성하는 기술을 제공할 수 있다. 다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
일 실시예에 따른 3 차원 이미지 생성 장치는, 복수의 시점 카메라에 의해 촬영된 복수의 시점 이미지를 수신하는 수신기와, 상기 복수의 시점 이미지로부터 3 차원 이미지의 타겟 해상도 및 타겟 깊이에 기초하여 믹싱 코드를 생성하고, 상기 믹싱 코드에 기초하여 상기 복수의 시점 이미지에 렌더링을 수행함으로써 3 차원 이미지를 생성하는 프로세서를 포함한다.
상기 프로세서는, 상기 복수의 시점 이미지의 깊이값 및 다시점 배리어의 배열에 기초하여 상기 믹싱 코드를 생성할 수 있다.
상기 프로세서는, 상기 복수의 시점 카메라의 각도 및 상기 복수의 시점 이미지의 픽셀값에 기초하여 상기 믹싱 코드를 생성할 수 있다.
상기 프로세서는, 상기 복수의 시점 카메라에 포함된 제1 시점 카메라에 의해 촬영된 제1 시점 이미지의 좌표를 믹싱될 이미지의 좌표에 할당하고, 상기 복수의 시점 카메라에 포함된 제2 시점 카메라에 의해 촬영된 제2 시점 이미지의 좌표를 상기 믹싱될 이미지의 좌표에 추가할 수 있다.
상기 프로세서는, 시분할 방식을 이용하여 상기 복수의 시점 이미지를 동시에 렌더링함으로써 상기 3 차원 이미지를 생성할 수 있다.
실시예들은 믹싱 코드 정보를 이용하여 3 차원 이미지를 생성함으로써 다시점 이미지 컨텐츠를 효율적으로 처리하고, 3 차원 이미지 생성 시간을 감소시킬 수 있다.
도 1은 일 실시예에 따른 3 차원 이미지 생성 장치의 개략적인 블록도를 나타낸다.
도 2a 내지 도 2f는 다시점 이미지로부터 3차원 이미지를 생성하는 과정의 예를 나타낸다.
도 3은 다시점 이미지 렌더링 과정을 나타낸다.
도 4는 도 1에 도시된 3 차원 이미지 생성 장치의 동작의 순서도를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다.
다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 3 차원 이미지 생성 장치의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 3 차원 이미지 생성 장치(10)는 3 차원 이미지를 생성할 수 있다. 3 차원 이미지 생성 장치(10)는 다시점 이미지를 처리함으로써 3 차원 이미지를 생성할 수 있다.
3 차원 이미지 생성 장치(10)는 믹싱 코드를 이용하여 복수의 시점 이미지 또는 다시점 이미지를 동시에 또는 병렬적으로 처리함으로써 3 차원 이미지를 생성할 수 있다.
3 차원 이미지 생성 장치(10)는 생성된 3 차원 이미지에 기초하여 3 차원 이미지로 구성되는 3 차원 컨텐츠를 생성할 수 있다. 예를 들어, 3 차원 이미지 생성 장치(10)는 3 차원 이미지에 기초하여 3 차원 비디오를 생성할 수 있다.
다시점 이미지는 복수의 시점에서 다수의 카메라로 한 장면을 촬영한 다중 이미지의 집합을 의미할 수 있다. 다시점 이미지는 양안식 이미지에 비해 넓은 범위에서 깊이감을 느끼게 할 수 있으며, 다시점 이미지의 시청자는 무안경식 디스플레이를 통해 안경이 없이도 입체감을 느낄 수 있다.
다시점 이미지를 이용하기 위해서는 원하는 시점 수만큼의 카메라가 촬영에 필요하고, 촬영을 위한 카메라의 배열, 각 카메라의 동기화가 필요할 수 있다.
다시점 이미지는 복수의 픽셀로 구성될 수 있다. 하나의 픽셀은 복수의 서브 픽셀을 포함할 수 있다. 예를 들어, 서브 픽셀은 R(Red), G(Green), B(Blue) 픽셀을 포함할 수 있다.
3 차원 이미지 생성 장치(10)는 무안경 3 차원 디스플레이에서 디스플레이하기 위한 3 차원 이미지를 생성할 수 있다. 무안경식 3 차원 이미지는 패럴렉스 배리어(parallax barrier) 방식, 렌티큘러 렌즈(lenticular lens) 방식, 집적 이미지(integral image) 방식으로 구현된 이미지를 포함할 수 있다.
3 차원 이미지 생성 장치(10)는 마더보드(motherboard)와 같은 인쇄 회로 기판(printed circuit board(PCB)), 집적 회로(intergrated circuit(IC)), 또는 SoC(system on chip)로 구현될 수 있다. 예를 들어, 다시점 이미지 압축 장치(10)는 애플리케이션 프로세서(application processor)로 구현될 수 있다.
또한, 3 차원 이미지 생성 장치(10)는 PC(personal computer), 데이터 서버, 또는 휴대용 장치 내에 구현될 수 있다.
휴대용 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 스마트 디바이스는 스마트 와치(smart watch), 스마트 밴드(smart band), 또는 스마트 링(smart ring)으로 구현될 수 있다.
3 차원 이미지 생성 장치(10)는 수신기(100) 및 프로세서(200)를 포함한다. 3 차원 이미지 생성 장치(10)는 메모리(300)를 더 포함할 수 있다.
수신기(100)는 수신 인터페이스를 포함할 수 있다. 수신기(100)는 복수의 시점 카메라에 의해 촬영된 복수의 시점 이미지 또는 다시점 이미지를 수신할 수 있다. 수신기(100)는 외부 또는 메모리(300)로부터 복수의 시점 이미지를 수신할 수 있다. 수신기(100)는 수신한 복수의 시점 이미지를 프로세서(200)로 출력할 수 있다.
프로세서(200)는 메모리(300)에 저장된 데이터를 처리할 수 있다. 프로세서(200)는 메모리(300)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(200)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
"프로세서(200)"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(200)는 복수의 시점 이미지로부터 3 차원 이미지의 타겟 해상도 및 타겟 깊이(depth)에 기초하여 믹싱 코드(mixing code)를 생성할 수 있다. 프로세서(200)는 복수의 시점 이미지의 깊이값 및 다시점 배리어(barrier)의 배열에 기초하여 믹싱 코드를 생성할 수 있다. 이 때, 다시점 배리어는 패럴렉스 배리어를 의미할 수 있다.
프로세서(200)는 복수의 시점 카메라의 각도 및 복수의 시점 이미지의 픽셀값에 기초하여 상기 믹싱 코드를 생성할 수 있다. 복수의 시점 카메라의 각도는 각 시점 카메라가 촬영되는 객체와 이루는 각도를 의미할 수 있다. 복수의 시점 이미지의 픽셀값은 시점 이미지의 RGB 서브 픽셀의 픽셀값을 포함할 수 있다.
프로세서(200)는 복수의 시점 카메라에 포함된 제1 시점 카메라에 의해 촬영된 제1 시점 이미지의 좌표를 믹싱될 이미지의 좌표에 할당하고, 복수의 시점 카메라에 포함된 제2 시점 카메라에 의해 촬영된 제2 시점 이미지의 좌표를 상기 믹싱될 이미지의 좌표에 추가할 수 있다.
프로세서(200)는 믹싱 코드에 기초하여 복수의 시점 이미지에 렌더링(rendering)을 수행함으로써 3 차원 이미지를 생성할 수 있다. 프로세서(200)는 시분할 방식을 이용하여 복수의 시점 이미지를 동시에 렌더링함으로써 3 차원 이미지를 생성할 수 있다.
메모리(300)는 프로세서(200)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서의 동작 및/또는 프로세서의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
메모리(300)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.
휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.
불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Electronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
도 2a 내지 도 2f는 다시점 이미지로부터 3차원 이미지를 생성하는 과정의 예를 나타낸다.
도 2a 내지 도 2f를 참조하면, 프로세서(200)는 다시점 이미지를 처리하여 3 차원 이미지를 생성할 수 있다. 프로세서(200)는 3 차원 이미지로 구성된 비디오를 생성할 수 있다.
프로세서(200)는 다시점 이미지 압축 기술을 이용하여 대형 디스플레이를 위한 믹싱 다시점 컨텐츠를 생성할 수 있다. 예를 들어, 프로세서(200)는 254인치 디스플레이를 위한 믹싱 다시점 컨텐츠를 생성할 수 있다.
믹싱 코드는 다시점 이미지의 3 차원 깊이 값과 다시점 배리어 값 및 다시점 이미지에 포함된 픽셀값을 포함할 수 있다. 프로세서(200)는 믹싱 코드를 이용하여 다시점 이미지를 인코딩(encoding)하고, 공개키를 이용하여 인코딩된 다시점 이미지를 디코딩(decoding)할 수 있다.
믹싱 코드는 RGB 서브 픽셀에 대응하는 코드와 입체 필터의 색상을 배열하는 방식을 포함할 수 있다. 이 때 색상은 1:1 색상 배열 방식을 포함할 수 있다.
프로세서(200)는 복수의 시점 이미지에 대응하는 다시점 멀티 코드를 믹싱하여 믹싱 코드를 생성할 수 있다.
프로세서(200)는 다시점 이미지에 대응하는 정보 속의 깊이값과 다시점 카메라의 각도를 구분하여 하나의 믹싱된 이미지를 생성할 수 있다. 프로세서(200)는 다시점 카메라에 의해 촬영된 다시점 이미지의 3 차원 깊이값과 다시점 배리어의 배열을 고려하여 이미지를 결합할 수 있다.
이 때, 프로세서(200)는 각각의 시점 이미지의 RFG 픽셀값의 코드 정보를 발행하고, 발행된 코드 정보를 결합함으로써 믹싱 코드를 생성할 수 있다.
프로세서(200)는 재생 시스템의 동기화, 인코딩 및 디코딩을 처리하기 위한 정보를 관리할 수 있다. 프로세서(200)는 동기화, 인코딩 및 디코딩을 처리하기 위한 정보에 기초하여 3 차원 이미지가 디스플레이되는 하드웨어에 적합한 3 차원 컨텐츠를 생성할 수 있다.
또한, 프로세서(200)는 무안경 3 차원 이미지를 디스플레이하는 하드웨어 사양에 적합한 해상도와 압축을 통해 3 차원 이미지로 구성된 컨텐츠의 제작을 용이하게 할 수 있다.
도 2a와 도 2b는 다시점 이미지를 획득하는 과정을 나타낼 수 있다. 도 2a와 도 2b의 예시는 시점이 6개인 경우를 예시로 설명하지만, 실시예에 따라 시점의 수는 6 개보다 작거나 클 수 있다.
도 2b의 예시에서 6 개의 시점 카메라는 각각의 시점(210 내지 260)에서 객체를 촬영할 수 있다. 이 때, 각각의 시점(210 내지 260)은 객체와 서로 다른 각도를 가질 수 있다.
프로세서(200)는 각각의 시점(210 내지 260)으로부터 촬영한 시점 이미지를 처리하여 3 차원 이미지를 생성할 수 있다.
도 2c는 멀티뷰 작업을 수행하는 과정을 나타낼 수 있다. 도 2c는 배리어 방식에 따라 시점 카메라에 의해 촬영된 시점 이미지를 임의의 위치에 배열할 수 있다. 도 2c의 예시는 9 개의 카메라 배치에 기초하여 복수의 시점 이미지로부터 멀티뷰 작업을 수행하는 과정을 나타낼 수 있다.
프로세서(200)는 도 2d의 예시와 같이 믹싱 코드를 생성할 수 있다. 프로세서(200)는 각각의 시점 이미지(또는, 프레임)을 카메라의 개수에 기초하여 중첩시킴으로써 믹싱을 수행할 수 있다.
도 2e는 믹싱 작업이 수행된 이미지의 예를 나타내고, 도 2f는 믹싱 작업이 수행된 이미지를 재생과정을 나타낸다. 프로세서(200)는 복수의 시점 이미지를 통합적으로 렌더링함으로써 3 차원 이미지 생성 시간을 단축시킬 수 있다.
도 3은 다시점 이미지 렌더링 과정을 나타낸다.
도 3을 참조하면, 프로세서(200)는 생성할 3 차원 이미지의 타겟 해상도를 설정할 수 있다(310). 프로세서(200)는 3 차원 이미지로 구성된 컨텐츠의 컨텐츠 이미지 시간을 선택할 수 있다(320).
프로세서(200)는 시점 카메라를 설정할 수 있다(330). 이 때, 프로세서(200)는 각각의 오브젝트(또는, 객체)에 대응되는 카메라를 설정할 수 있다(340).
프로세서(200)는 생성될 3 차원 이미지의 배경 및 깊이를 설정할 수 있다(350).
프로세서(200)는 다시점 카메라 렌더링을 수행할 수 있다(360). 이 때, 프로세서(200)는 다시점 카메라 렌더 알고리즘을 적용하여 다시점 카메라 렌더링을 수행할 수 있다(370).
프로세서(200)는 시분할 방식의 카메라 동시 렌더링을 통해 3 차원 이미지를 생성할 수 있다(380).
프로세서(200)는 이미지 시퀀스 렌더링을 수행하여 3 차원 컨텐츠를 생성할 수 있다(390).
도 4는 도 1에 도시된 3 차원 이미지 생성 장치의 동작의 순서도를 나타낸다.
도 4를 참조하면, 수신기(100)는 복수의 시점 카메라에 의해 촬영된 복수의 시점 이미지를 수신할 수 있다(410).
프로세서(200)는 복수의 시점 이미지로부터 3 차원 이미지의 타겟 해상도 및 타겟 깊이에 기초하여 믹싱 코드를 생성할 수 있다(430). 프로세서(200)는 복수의 시점 이미지의 깊이값 및 다시점 배리어의 배열에 기초하여 믹싱 코드를 생성할 수 있다.
프로세서(200)는 복수의 시점 카메라의 각도 및 복수의 시점 이미지의 픽셀값에 기초하여 믹싱 코드를 생성할 수 있다.
프로세서(200)는 복수의 시점 카메라에 포함된 제1 시점 카메라에 의해 촬영된 제1 시점 이미지의 좌표를 믹싱될 이미지의 좌표에 할당할 수 있다. 프로세서(200)는 복수의 시점 카메라에 포함된 제2 시점 카메라에 의해 촬영된 제2 시점 이미지의 좌표를 믹싱될 이미지의 좌표에 추가할 수 있다.
예를 들어, 이미지의 좌표는 이미지의 x, y 좌표를 의미할 수 있다.
프로세서(200)는 상술한 좌표 할당 동작을 모든 시점 이미지에 대하여 복수회 수행하여 이미지의 믹싱을 수행할 수 있다.
프로세서(200)는 믹싱 코드에 기초하여 복수의 시점 이미지에 렌더링을 수행함으로써 3 차원 이미지를 생성할 수 있다(450). 프로세서(200)는 시분할 방식을 이용하여 복수의 시점 이미지를 동시에 렌더링함으로써 3 차원 이미지를 생성할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

  1. 복수의 시점 카메라에 의해 촬영된 복수의 시점 이미지를 수신하는 수신기; 및
    상기 복수의 시점 이미지로부터 3 차원 이미지의 타겟 해상도 및 타겟 깊이에 기초하여 믹싱 코드를 생성하되, 상기 복수의 시점 이미지의 깊이값 및 다시점 배리어의 배열에 기초하여 상기 믹싱 코드를 생성하고, 상기 믹싱 코드에 기초하여 상기 복수의 시점 이미지에 렌더링을 수행함으로써 3 차원 이미지를 생성하는 프로세서;
    를 포함하고,
    상기 프로세서는,
    상기 복수의 시점 카메라의 각도 및 상기 복수의 시점 이미지의 픽셀값에 기초하여 상기 믹싱 코드를 생성하되, 상기 복수의 시점 카메라에 포함된 제1 시점 카메라에 의해 촬영된 제1 시점 이미지의 좌표를 믹싱될 이미지의 좌표에 할당하고, 상기 복수의 시점 카메라에 포함된 제2 시점 카메라에 의해 촬영된 제2 시점 이미지의 좌표를 상기 믹싱될 이미지의 좌표에 추가하고,
    상기 프로세서는,
    생성된 상기 믹싱 코드를 이용하여, 상기 복수의 시점 이미지를 인코딩 하고, 공개키를 이용하여 인코딩된 상기 복수의 시점 이미지를 디코딩하고, 그리고
    상기 프로세서는,
    상기 3 차원 이미지를 디스플레이하는 하드웨어의 사양을 결정하고, 결정된 상기 하드웨어의 사양에 기초하여 다시점 이미지 압축 기술을 통해 상기 3 차원 이미지에 대한 압축을 수행하고, 그리고 압축된 상기 3 차원 이미지에 대한 이미지 시퀀스 렌더링을 수행하여 3 차원 컨텐츠를 생성하는 3 차원 이미지 생성 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 프로세서는,
    시분할 방식을 이용하여 상기 복수의 시점 이미지를 동시에 렌더링함으로써 상기 3 차원 이미지를 생성하는
    3 차원 이미지 생성 장치.
KR1020200164236A 2020-11-30 2020-11-30 3 차원 이미지 생성 장치 KR102551857B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200164236A KR102551857B1 (ko) 2020-11-30 2020-11-30 3 차원 이미지 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200164236A KR102551857B1 (ko) 2020-11-30 2020-11-30 3 차원 이미지 생성 장치

Publications (2)

Publication Number Publication Date
KR20220075777A KR20220075777A (ko) 2022-06-08
KR102551857B1 true KR102551857B1 (ko) 2023-07-13

Family

ID=81981270

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200164236A KR102551857B1 (ko) 2020-11-30 2020-11-30 3 차원 이미지 생성 장치

Country Status (1)

Country Link
KR (1) KR102551857B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100938889B1 (ko) * 2008-09-02 2010-01-27 엘지전자 주식회사 이미지 처리 시스템 및 이미지 처리 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100731266B1 (ko) * 2003-03-24 2007-06-21 삼성에스디아이 주식회사 3차원 입체 영상의 신호 처리 장치 및 방법
KR101396619B1 (ko) * 2007-12-20 2014-05-16 삼성전자주식회사 3ｄ 영상에 관한 부가 정보를 포함하는 3ｄ 영상파일을생성 및 재생하기 위한 시스템 및 방법
KR101594048B1 (ko) * 2009-11-09 2016-02-15 삼성전자주식회사 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치
KR20110097690A (ko) * 2010-02-23 2011-08-31 삼성전자주식회사 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100938889B1 (ko) * 2008-09-02 2010-01-27 엘지전자 주식회사 이미지 처리 시스템 및 이미지 처리 방법

Also Published As

Publication number Publication date
KR20220075777A (ko) 2022-06-08

Similar Documents

Publication Publication Date Title
JP6886253B2 (ja) 複数のユーザのためのレンダリング方法及び装置
KR101529812B1 (ko) 네이티브 모노스코픽 3d의 입체 3d 로의 런 타임 변환
WO2017113681A1 (zh) 一种基于虚拟现实技术的视频图像处理方法及装置
US10757391B2 (en) Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
US20130027389A1 (en) Making a two-dimensional image into three dimensions
CN110663067B (zh) 用于生成现实世界场景的定制视图的虚拟化投影以包括在虚拟现实媒体内容中的方法和系统
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
US20230381646A1 (en) Advanced stereoscopic rendering
JP6717576B2 (ja) 映像レンダリング装置及び方法
US10230933B2 (en) Processing three-dimensional (3D) image through selectively processing stereoscopic images
US10602120B2 (en) Method and apparatus for transmitting image data, and method and apparatus for generating 3D image
CN114742703A (zh) 双目立体全景图像的生成方法、装置、设备和存储介质
US9479766B2 (en) Modifying images for a 3-dimensional display mode
KR102551857B1 (ko) 3 차원 이미지 생성 장치
Baričević et al. User-perspective AR magic lens from gradient-based IBR and semi-dense stereo
US11677979B2 (en) Freeview video coding
TW202025080A (zh) 用於圖形處理之方法及裝置
Pintore et al. PanoVerse: automatic generation of stereoscopic environments from single indoor panoramic images for Metaverse applications
Jeong et al. Direct light field rendering without 2D image generation
RU2523980C2 (ru) Способ и система для визуализации набора мультимедиа объектов на 3d дисплее
US11145113B1 (en) Nested stereoscopic projections
US20240161380A1 (en) Mpi layer geometry generation method using pixel ray crossing
KR102608466B1 (ko) 영상 처리 방법 및 영상 처리 장치
JP2022523020A (ja) 相互運用可能な３ｄ画像コンテンツのハンドリング
EP3598749A1 (en) A method and apparatus for generating an immersive image from images captured by a plurality of cameras

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant