KR20150074628A - 광 시야각 영상 처리 장치 및 방법 - Google Patents
광 시야각 영상 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR20150074628A KR20150074628A KR1020130162585A KR20130162585A KR20150074628A KR 20150074628 A KR20150074628 A KR 20150074628A KR 1020130162585 A KR1020130162585 A KR 1020130162585A KR 20130162585 A KR20130162585 A KR 20130162585A KR 20150074628 A KR20150074628 A KR 20150074628A
- Authority
- KR
- South Korea
- Prior art keywords
- viewing angle
- wide viewing
- camera
- scene
- angle image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 title description 29
- 238000012937 correction Methods 0.000 claims abstract description 83
- 238000004806 packaging method and process Methods 0.000 claims abstract description 7
- 230000006641 stabilisation Effects 0.000 claims description 24
- 238000011105 stabilization Methods 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 18
- 238000009877 rendering Methods 0.000 claims description 15
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000011426 transformation method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
본 명세서에서는 카메라로부터 입력된 영상을 분석하여 보정 파라미터를 생성하는 보정 파라미터 생성부, 상기 보정 파라미터를 이용하여 광 시야각 영상 출력을 위한 프로젝션 지오메트리를 생성하는 프로젝션 지오메트리 생성부 및 상기 입력된 영상, 보정 파라미터 및 프로젝션 지오메트리를 인코딩하여 광 시야각 영상 패키지를 생성하는 광 시야각 영상 패키징부를 포함하는 광 시야각 영상 처리 장치 및 이 장치를 이용한 광 시야각 영상 처리 방법이 개시된다.
Description
본 발명은 광 시야각 영상 처리 장치 및 방법에 관련된 것으로, 더욱 구체적으로는 카메라 고유 파라미터를 이용하여 보정된 프로젝션 지오메트리를 이용하여 광 시야각 영상을 렌더링하기 위한 영상 처리 장치 및 방법에 관련된다.
일반적으로, 카메라와 같은 광학 장치를 이용하여 영상을 촬영하고, 촬영된 영상을 디스플레이함에 있어서, 카메라의 렌즈 등 카메라 하드웨어 자체의 문제로 인하여 영상에 왜곡이 발생한다. 이러한 영상을 디스플레이하려는 경우 영상 왜곡을 보정하여 디스플레이해야 자연스러운 영상 감상이 가능하다.
종래에는 영상 왜곡 보정의 경우 영상 이미지 자체를 영상 디스플레이 이전에 미리 왜곡을 보정하였다. 그러나 이러한 방식은 영상처리의 부담이 매우 큰 문제점이 있다.
또한 hand-held 촬영시 발생하는 동영상의 흔들림을 보정(camera stabilization)하는 경우도 디스플레이 이전에 영상 이미지 자체를 보정하게 되면 영상 처리의 부담이 늘어나게 된다. 이러한 영상 왜곡 혹은 카메라 흔들림을 보정하기 위한 기존 기술은 영상 감상 전에 영상 이미지 보정을 이미지 공간에서 선처리 해야 하므로 계산량 및 계산 시간이 매우 큰 문제점이 있다.
이와 같은 문제점을 해결하고자, 동영상 왜곡 보정 및 흔들림 보정에 필요한 연산을 디스플레이 시점에서 실시간 수행할 수 있는 장치 및 방법이 필요하다.
본 발명의 일 실시예에 따른 광 시야각 영상 처리 장치는, 카메라로부터 입력된 영상을 분석하여 보정 파라미터를 생성하는 보정 파라미터 생성부, 상기 보정 파라미터를 이용하여 광 시야각 영상 출력을 위한 프로젝션 지오메트리를 생성하는 프로젝션 지오메트리 생성부 및 상기 입력된 영상, 보정 파라미터 및 프로젝션 지오메트리를 인코딩하여 광 시야각 영상 패키지를 생성하는 광 시야각 영상 패키징부를 포함한다.
또한 일 실시예에 따른 광 시야각 영상 처리 장치에 있어서, 상기 보정 파라미터는, 카메라 고유 파라미터 또는 안정화 파라미터를 포함하는 것을 특징으로 할 수 있다.
또한 일 실시예에 따른 광 시야각 영상 처리 장치에 있어서, 상기 프로젝션 지오메트리 생성부는, 상기 카메라 고유 파라미터를 이용하여 기준 지오메트리의 버텍스 또는 텍스쳐 좌표를 보정하고, 보정된 기준 지오메트리를 곡면 형태로 변형하여 상기 프로젝션 지오메트리를 생성하는 것을 특징으로 할 수 있다.
또한 일 실시예에 따른 광 시야각 영상 처리 장치는, 상기 광 시야각 영상 패키지를 타 장치에 제공하는 제1통신부를 더 포함하는 것을 특징으로 할 수 있다.
다른 일 실시예에 따른 광 시야각 영상 표시 장치는, 제1통신부로부터 제공된 광 시야각 영상 패키지를 수신하는 제2통신부 및 수신된 광 시야각 영상 패키지를 디코딩하고, 가상 공간에 상기 프로젝션 지오메트리를 투영하고, 가상 카메라를 배치하고, 상기 투영된 프로젝션 지오메트리에 상기 입력된 영상을 텍스쳐링하여 장면을 구성하는 장면 구성부를 포함한다.
다른 일 실시예에 따른 광 시야각 영상 표시 장치에서, 상기 보정 파라미터는, 카메라 고유 파라미터 또는 안정화 파라미터를 포함하는 것을 특징으로 할 수 있다.
다른 일 실시예에 따른 광 시야각 영상 표시 장치에서, 상기 장면 구성부는, 상기 안정화 파라미터를 이용하여 상기 가상 카메라의 위치를 동적으로 조절하여 상기 장면을 보정하는 것을 특징으로 할 수 있다.
다른 일 실시예에 따른 광 시야각 영상 표시 장치에서, 상기 장면 구성부는, 상기 안정화 파라미터를 이용하여 상기 가상 공간에 투영된 프로젝션 지오메트리의 버텍스를 동적으로 조절하여 상기 장면을 보정하는 것을 특징으로 할 수 있다.
다른 일 실시예에 따른 광 시야각 영상 표시 장치는 상기 장면을 실시간 렌더링하여 표시하는 표시부를 더 포함하는 것을 특징으로 할 수 있다.
일 실시예에 따른 광 시야각 영상 표시 장치에서, 상기 카메라는 스테레오 카메라이고, 상기 보정 파라미터는, 카메라 간의 기계 오차 보정 파라미터, 색상 보정 파라미터 또는 노출 보정 파라미터를 더 포함하는 것을 특징으로 할 수 있다.
일 실시예에 따른 광 시야각 영상 표시 장치에서, 상기 장면 구성부는, 상기 기계 오차 보정 파라미터를 더 이용하여 상기 가상 공간에 투영된 프로젝션 지오메트리의 버텍스 또는 상기 가상 카메라를 동적으로 조절하여 상기 장면을 보정하는 것을 특징으로 할 수 있다.
다른 일 실시예에 따른 광 시야각 영상 표시 장치에서, 상기 광 시야각 영상 표시 장치는, 웨어러블 장치 또는 휴대 가능한 통신 장치인 것을 특징으로 할 수 있다.
또 다른 일 실시예에 따른 광 시야각 영상 표시 방법은, 카메라로부터 입력된 영상을 분석하여 보정 파라미터를 생성하는 단계, 상기 보정 파라미터를 이용하여 광 시야각 영상 출력을 위한 프로젝션 지오메트리를 생성하는 단계 및 상기 입력된 영상, 보정 파라미터, 및 지오메트리를 인코딩하여 광 시야각 영상 패키지를 생성하는 단계를 포함한다.
또 다른 일 실시예에 따른 광 시야각 영상 표시 방법에 있어서, 상기 보정 파라미터는, 카메라 고유 파라미터 또는 안정화 파라미터를 포함하는 것을 특징으로 할 수 있다.
또 다른 일 실시예에 따른 광 시야각 영상 표시 방법에 있어서, 상기 지오메트리를 생성하는 단계는, 상기 카메라 고유 파라미터를 이용하여 기준 지오메트리의 버텍스 또는 텍스쳐 좌표를 보정하는 단계 및 상기 기준 지오메그리의 버텍스를 보정한 경우, 보정된 기준 지오메트리를 곡면 형태로 변형하여 상기 프로젝션 지오메트리를 생성하는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 일 실시예에 따른 광 시야각 영상 표시 방법에 있어서, 상기 입력된 영상을 분석하여 메타 데이터를 추출하는 단계를 더 포함하되, 상기 광 시야각 영상 패키지를 생성하는 단계는, 상기 메타 데이터를 더 포함하여 인코딩을 수행하는 것을 특징으로 할 수 있다.
또 다른 일 실시예에 따른 광 시야각 영상 표시 방법은, 상기 광 시야각 영상 패키지를 디코딩하여, 가상 공간에 상기 프로젝션 지오메트리를 투영하고, 가상 카메라를 배치하는 단계 및 상기 투영된 프로젝션 지오메트리에 상기 입력된 영상을 텍스쳐링 하여 장면을 구성하는 단계를 더 포함할 수 있다.
또 다른 일 실시예에 따른 광 시야각 영상 표시 방법은, 상기 안정화 파라미터를 이용하여 상기 가상 카메라의 위치를 동적으로 조절하여 상기 장면을 보정하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또 다른 일 실시예에 따른 광 시야각 영상 표시 방법은, 상기 안정화 파라미터를 이용하여 상기 가상 공간에 투영된 프로젝션 지오메트리의 버텍스를 동적으로 조절하여 상기 장면을 보정하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또 다른 일 실시예에 따른 광 시야각 영상 표시 방법은, 상기 장면 데이터를 실시간 렌더링하여 표시하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또 다른 일 실시예에 따른 광 시야각 영상 표시 방법에 있어서, 상기 입력된 영상은 스테레오 카메라로 입력된 스테레오 영상이고, 상기 보정 파라미터는, 카메라 간의 기계 오차 보정 파라미터, 색상 보정 파라미터 또는 노출 보정 파라미터를 더 포함하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 렌즈 왜곡 보정 및 흔들림 보정을 이미지 공간이 아닌 3차원 공간에서 수행하여 3차원 렌더링을 함으로서 선처리가 아닌 디스플레이 시점에 렌더링 단계에서 실시간으로 처리가 가능하다.
또한 카메라 고유 파라미터를 이용하여 변형된 3차원 프로젝션 지오메트리를 생성하여, 인코딩함으로써, 데이터 처리의 부담을 줄일 수 있고, 장면 구성 및 렌더링 단계에서도, 카메라 고유 파라미터를 이용하여 생성된 안정화 파라미터를 이용하여 3차원 가상 공간의 가상 카메라 또는 3차원 프로젝션 지오메트리를 조작함으로써 왜곡을 보정함으로써 데이터 처리의 부담을 줄일 수 있다.
도1은 본 발명의 일 실시예에 따른 광 시야각 영상 처리 시스템(1000)의 블록도이다.
도2a 및 도2b는 장면 구성부(220)의 장면 생성을 설명하기 위한 도이다.
도3a 내지 3e는 일 실시예에 따른 지오메트리의 버텍스 변환 방식에 따른 지오메트리 투영 및 텍스쳐링을 설명하기 위한 도이다.
도4a 내지 4e는 일 실시예에 따른 지오메트리의 텍스쳐 좌표 변환 방식에 따른 지오메트리 투영 및 텍스쳐링을 설명하기 위한 도이다.
도5는 일 실시예에 따라 가상 카메라의 위치 조절을 이용한 장면보정의 일 예를 나타내는 도이다.
도6은 일 실시예에 따라 지오메트리 변환을 이용한 장면보정의 일 예를 나타내는 도이다.
도7은 일 실시예에 따른 광 시야각 영상 처리 방법의 순서도이다.
도8은 또 다른 일 실시예에 따른 광 시야각 영상 처리 방법의 순서도이다.
도9는 본 발명의 일 실시예에 따른 지오메트리 생성단계를 구체화한 순서도이다.
도2a 및 도2b는 장면 구성부(220)의 장면 생성을 설명하기 위한 도이다.
도3a 내지 3e는 일 실시예에 따른 지오메트리의 버텍스 변환 방식에 따른 지오메트리 투영 및 텍스쳐링을 설명하기 위한 도이다.
도4a 내지 4e는 일 실시예에 따른 지오메트리의 텍스쳐 좌표 변환 방식에 따른 지오메트리 투영 및 텍스쳐링을 설명하기 위한 도이다.
도5는 일 실시예에 따라 가상 카메라의 위치 조절을 이용한 장면보정의 일 예를 나타내는 도이다.
도6은 일 실시예에 따라 지오메트리 변환을 이용한 장면보정의 일 예를 나타내는 도이다.
도7은 일 실시예에 따른 광 시야각 영상 처리 방법의 순서도이다.
도8은 또 다른 일 실시예에 따른 광 시야각 영상 처리 방법의 순서도이다.
도9는 본 발명의 일 실시예에 따른 지오메트리 생성단계를 구체화한 순서도이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시 된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.
실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도1은 본 발명의 일 실시예에 따른 광 시야각 영상 처리 시스템(1000)의 블록도이다. 광 시야각 영상 처리 시스템(1000)은 광 시야각 영상 처리 장치(100) 및/또는 광 시야각 영상 표시 장치(200)를 포함할 수 있으며, 상기 장치(100, 200)는 하나의 칩과 같은 하나의 장치에 통합되거나 별개의 장치로 존재할 수 있다. 또한 일 실시예에서 상기 장치(100,200)가 별개의 장치로 존재하는 경우 유선 또는 무선 네트워크를 통해 데이터 통신을 수행할 수도 있다.
일 실시예에서, 광 시야각 영상 처리 장치(100)는 보정 파라미터 생성부(110), 프로젝션 지오메트리 생성부(120), 광 시야각 영상 패키징부(130)를 포함할 수 있고, 다른 실시예에서는 제1통신부(140)를 더 포함할 수 있다.
보정 파라미터 생성부(110)는 카메라로부터 입력된 영상을 분석하여 보정 파라미터를 생성할 수 있다. 일 실시예에서, 카메라(미도시)가 광 시야각 영상 처리장치(100)에 포함될 수 있으며, 카메라는 광 시야각, 파노라마, 어안렌즈 등을 구비한, 단안 카메라 또는 스테레오 카메라일 수 있다.
카메라를 통해, 피사체를 촬영한 영상과 레퍼런스 그리드를 촬영한 영상이 광 시야각 영상 처리 장치(100)에 입력될 수 있다. 레퍼런스 그리드는 영상 분석을 위한 레퍼런스 시료로서 예컨대 정사각형의 흑백 그리드 패턴일 수 있으며, 이 레퍼런스 그리드를 기초로 피사체를 촬영한 영상이 보정될 수 있다.
보정 파라미터 생성부(110)는 입력된 영상(피사체 촬영 영상 및 레퍼런스 그리드 촬영 영상)을 분석하여 카메라 고유(intrinsic) 파라미터 및 안정화(stabilizing) 파라미터를 생성할 수 있다. 카메라 고유 파라미터는 카메라 렌즈의 기계적인 오차에 관련된 파라미터이고, 안정화 파라미터는 상기 카메라 고유 파라미터를 피사체 촬영 영상에 적용하여 생성된 파라미터이다. 안정화 파라미터는 손떨림등의 아티팩트(artifacts)를 보정하기 위한 파라미터로서 시간적인 요소를 포함하고 있다.
프로젝션 지오메트리 생성부(120)는 보정 파라미터 생성부(110)에서 생성된 보정 파라미터를 이용하여 광 시야각 영상 출력을 위한 프로젝션 지오메트리를 생성할 수 있다. 예컨대, 프로젝션 지오메트리 생성부(120)는 평면 그리드 형태의 기준 지오메트리를 광 시야각 영상 출력을 위한 프로젝션 지오메트리로 보정할 수 있다. 구체적으로, 프로젝션 지오메트리 생성부(120)는 카메라 고유 파라미터를 이용하여 기준 지오메트리의 버텍스를 보정하거나 텍스쳐 좌표를 보정할 수 있으며, 이 후 보정된 지오메트리를 곡면 형태로 변형하여 광 시야각 영상 출력을 위한 프로젝션 지오메트리를 생성할 수 있다. 버텍스 또는 텍스처 좌표의 보정에 따른 지오메트리의 변형, 투영 및 영상의 텍스쳐링에 대하여는 아래에서 구체적으로 설명한다.
광 시야각 영상 패키징부(130)는 광 시야각 영상 처리 장치(100)에 입력된 영상, 생성된 보정 파라미터 및 프로젝션 지오메트리를 인코딩하여 광 시야각 영상 패키지를 생성할 수 있다. 위 설명에 있어서, 입력된 영상은 카메라 고유 파라미터 외에 다른 파라미터를 더 이용하여 보정된 영상일 수 있다. 또한 다른 일 실시예에서 광 시야각 영상 패키징부(130)는 입력된 영상에 대한 메타데이터를 더 포함하여 상기 인코딩을 수행할 수도 있다.
제1통신부(140)는 광 시야각 영상 패키지를 타 장치에 제공할 수 있다. 제1통신부(140)는 유선 또는 무선 네트워크를 통해서 영상패키지를 제공할 수 있으며, 여기서, 임의의 무선 통신방식이 이용될 수 있다. 또는, 상기 타 장치는 광 시야각 영상 처리 시스템(1000) 외부의 다른 장치이거나, 내부의 장치이거나, 상기 광 시야각 영상 처리 장치(100)에 포함되는 임의의 다른 모듈일 수 있다.
또 다른 일 실시예에서 광 시야각 영상 표시 장치(200)는 상술한 광 시야각 영상 처리 장치(100)가 생성한 광 시야각 영상 패키지를 수신하여, 광시야각 영상을 디스플레이 장치를 통해 표시할 수 있다.
이를 위해, 광 시야각 영상 표시 장치(200)는 도1에 도시된 바와 같이, 제2통신부(210), 장면 구성부(220) 및 표시부(230)를 포함할 수 있다. 일 실시예에서, 제2통신부(210)는 유선 또는 무선 네트워크를 통해서 광 시야각 영상 패키지를 수신할 수 있다. 다른 실시에에서 제2통신부(210)는 는 광 시야각 영상 패키징부(130)에서 생성된 광 시야각 영상 패키지를 직접 수신할 수도 있다. 예컨대, 광 시야각 영상 처리 장치(100)와 광 시야각 영상 표시 장치(200)는 하나의 장치에 통합될 수 있다. 제2통신부(210)는 수신한 광 시야각 영상 패키지를 장면 구성부(220)에 전달할수 있다.
장면 구성부(220)는 수신된(전달받은) 광 시야각 영상 패키지를 실시간 디코딩하고, 가상 공간에 프로젝션 지오메트리를 투영하고, 가상 공간에 카메라를 배치할 수 있다. 그 후 투영된 프로젝션 지오메트리에 상기 입력된 영상을 텍스쳐링하여 장면을 구성할 수 있다. 장면 구성부(220)는 가상 공간 상의 구면에 상기 프로젝션 지오메트리를 투영할 수 있다. 즉, 상기 프로젝션 지오메트리는 카메라 고유 파라미터를 기초로 보정된 프로젝션 지오메트리이다. 이 지오메트리는 버텍스 단위로 보정되거나 텍스쳐 좌표가 보정된 프로젝션 지오메트리이다.
도2a 및 도2b는 장면 구성부(220)의 장면 생성을 설명하기 위한 도이다. 도2a를 참조하면, 장면 구성부(220)는 가상공간(20)에 렌더링을 위한 가상 카메라(21)를 배치하고, 가상공간(20)에 프로젝션 지오메트리를 투영한다. 예컨대, 도2a에 도시된 바와 같이, 장면 구성부(220)는 가상공간(20)에 형성된 구면에 프로젝션 지오메트리를 투영한다. 그리고, 도2b에 도시된 바와 같이, 상기 투영된 프로젝션 지오메트리에 영상(23)을 텍스쳐링하여 장면을 구성한다. 그리고 표시부(230)는 장면을 실시간 렌더링하여 디스플레이 장치(미도시)에서 표시한다. 다른 일 실시예에서, 디스플레이 장치의 접안 렌즈의 왜곡으로 인한 아티팩트를 보정하기 위해서 추가적인 보정 모듈이 상기 광시야각 영상 표시 장치(200)에 더 포함될 수도 있다.
또 다른 일 실시예에서, 광시야각 영상 처리 장치(100)에 포함되는 프로젝션 지오메트리 생성부(120)는 카메라 고유 파라미터를 이용하여 기준 프로젝션 지오메트리의 버텍스 또는 텍스쳐 좌표를 보정하고, 보정된 기준 프로젝션 지오메트리를 곡면 형태로 변형하여 촬영된 영상의 렌더링에 사용될 프로젝션 지오메트리를 생성할 수 있다. 본 명세서에서 프로젝션 지오메트리는 상술한 촬영된 영상의 렌더링에 사용될 프로젝션 지오메트리를 의미하며, 상기 기준 프로젝션 지오메트리는 상기 프로젝션 지오메트리를 생성하기 위한 시료로서의 프로젝션 지오메트리 탬플릿을 의미한다.
도3a-3e는 일 실시예에 따른 프로젝션 지오메트리의 버텍스 변환 방식에 따른 프로젝션 지오메트리 투영 및 텍스쳐링을 설명하기 위한 도이다. 일 실시예에서, 프로젝션 지오메트리 생성부(120)는 카메라 고유 파라미터를 이용하여 기준 프로젝션 지오메트리의 버텍스를 변환함으로써 보정된 프로젝션 지오메트리를 생성할 수 있다. 도3a를 참조하면, 기준 프로젝션 지오메트리(31)가 생성된 프로젝션 지오메트리(32)와의 비교를 위해 함께 도시되었다. 도3a를 참조하면 버텍스가 변환된 프로젝션 지오메트리(32)는, 가장 자리가 곡면 형태로, 중심을 기준으로 압축된 형태를 보인다. 이렇게 생성된 프로젝션 지오메트리(32)에 텍스쳐링을 수행되면, 도3b에 나타난 바와 같이 텍스쳐링된 영상이 왜곡없이 나타난다. 예컨대, 피사체의 직선이 텍스쳐링된 이미지에서도 직선으로 나타난다.
도 3c 및 3d를 참조하면, 장면 구성부(220)는 프로젝션 지오메트리(32)를 가상공간에 배치한다. 이 경우 가상공간의 임의의 구면에 상기 프로젝션 지오메트리를 투영함으로써, 도3b에 나타난 오목한 곡면 형태의 프로젝션 지오메트리가 도3c 및 3d에서와 같이 펼쳐진 형태를 나타낼 수 있다. 도3d는 투영된 프로젝션 지오메트리에 촬영된 영상을 텍스쳐링한 상태를 보여주고, 도3e는 영상을 촬영시 카메라의 화각과 동일한 화각으로 정면에서 상기 텍스쳐링된 영상을 디스플레이하는 상태를 보여준다.
도4a 내지 4e는 일 실시예에 따른 프로젝션 지오메트리의 텍스쳐 좌표 변환 방식에 따른 프로젝션 지오메트리 투영 및 텍스쳐링을 설명하기 위한 도이다. 텍스쳐 좌표는 이미지가 텍스쳐링되는 좌표로서, 프로젝션 지오메트리의 형태와는 무관하다 따라서 도 4a에 나타난 바와 같이, 프로젝션 지오메트리(42)는 기준 프로젝션 지오메트리의 형태는 변하지 않는다. 그러나 이러한 프로젝션 지오메트리(42)에 영상이 텍스쳐링되면, 도4b에 도시된 바와 같이, 프로젝션 지오메트리에 텍스쳐링된 이미지는 사각형 형태가 아닌 안쪽으로 찌그러진 형태를 보인다.
도4c를 참조하면, 텍스쳐 좌표가 보정된 프로젝션 지오메트리(42)를 가상 공간상의 구면에 배치하고, 프로젝션 지오메트리(42)에 영상을 텍스쳐링하여 렌더링을 수행하면 도4d와 같이 영상이 출력된다. 그리도 도4e는 영상을 촬영시 카메라의 화각과 동일한 화각으로 정면에서 상기 텍스쳐링된 영상을 디스플레이하는 상태를 보여준다. 이와 같은 과정을 통해서, 광 시야각 영상이 왜곡없이 가상공간의 구면상에 표현될 수 있다.
또 다른 일 실시예에서 장면 구성부(220)는 보정 파라미터(예컨대, 안정화 파라미터)를 이요아여 가상공간상의 가상 카메라의 위치를 동적으로 조절하여 보정된 영상이 렌더링될 수 있도록 장면을 보정할 수 있다.
도5는 일 실시예에 따라 가상 카메라의 위치 조절을 이용한 장면보정의 일 예를 도시한다. 도5를 참조하면, 장면 구성부(220)는 보정 파라미터를 기초로 가상 카메라의 위치를 동적으로 조절하여 장면을 보정할 수 있다. 도5에에서는 상하좌우 방향만을 도시하였으나 3차원 가상 공간 상에서 임의 위치로 이동하여 렌더링되는 영상을 보정할 수 있다.
도6은 일 실시예에 따라 프로젝션 지오메트리 변환을 이용한 장면보정의 일 예를 도시한다. 도6을 참조하면, 일 실시예에서 장면 구성부(220)는 가상 카메라는 고정된 상태에서, 프로젝션 지오메트리를 변환하여 장면을 보정할 수 있다. 예컨대, 도6에 도시된 바와 같이 상하좌우, 또는 요, 피치, 롤 방향으로 프로젝션 지오메트리를 이동시킬 수 있다.
또 다른 실시예에서 장면 구성부(220)는 가상 카메라와 프로젝션 지오메트리를 함께 조절하여 장면 보정을 수행할 수도 있다. 이러한 장면 보정은 영상의 렌더링과 동시에 실시간으로 이루어질 수도 있다.
일 실시예에서, 상기 카메라는 스테레오 카메라일 수 있으며, 광 시야각 영상 처리 장치(100)가 스테레오 카메라로부터 스테레오 영상을 입력받은 경우, 보정 파라미터 생성부(110)는 카메라간의 기계 오차 보정 파라미터, 색상 보정 파라미터 또는 노출 보정 파라미터를 생성할 수 있다. 즉 상술한 파라미터는 상기 보정 파라미터에 포함될 수 있다.
이 경우, 장면 구성부(220)는 안정화 파라미터 외에 기계 오차 보정 파라미터를 더 이용하여 상기 가상 공간에 투영된 프로젝션 지오메트리의 버텍스 또는 가상 카메라를 조절하여 장면 보정을 수행할 수 있다. 예컨대, 장면 구성부(220)는 기계 오차 보정 파라미터를 이용하여 장면 구성시 프로젝션 지오메트리 또는 가상 카메라를 스태틱하게 조절하여 기계 오차를 보정할 수 있다. 즉, 장면 구성부(220)는 안정화 파라미터를 이용하여 시간적인 측면에서 장면 구성의 안정화를 수행하고, 기계 오차 보정 파라미터를 이용하여 스테레오 카메라간의 기계적 오차를 보정하여 보다 향상된 품질의 실시간 영상을 제공할 수 있다.
일 실시예에서, 상기 광 시야각 영상 처리 장치(100) 및 광 시야각 영상 표시 장치(200)는 서버, 개인용 컴퓨터, 랩톱, 태블릿 PC, 스마트폰 등일 수 있으며, 상기 장치들은 카메라를 포함할 수도 있다. 특히 상기 광 시야각 영상 표시 장치(200)는 웨어러블 장치 또는 임의의 휴대 가능한 통신 장치일 수 있다.
도7은 일 실시예에 따른 광 시야각 영상 처리 방법의 순서도이다. 도7을 참조하면, 광 시야각 영상 처리 방법은 카메라로부터 영상을 입력받는 단계(S11), 입력받은 영상을 분석하여 보정 파라미터를 생성하는 단계(S12), 보정 파라미터를 이용하여 광 시야각 영상 출력을 위한 프로젝션 지오메트리를 생성하는 단계(S13), 상기 입력된 영상, 보정 파라미터 및 프로젝션 지오메트리를 인코딩하여 광 시야각 영상 패키지를 생성하는 단계(S14)를 포함할 수 있다. 단계(S12)에서, 생성되는 보정 파라미터는 카메라 고유 파라미터 또는 안정화 파라미터를 포함할 수 있다.
다른 실시예에서 카메라 고유 파라미터 광 시야각 영상 처리 방법은 생성된 광 시야각 영상 패키지를 타 장치에 전송하는 단계를 더 포함할 수도 있다.
도8은 또 다른 일 실시예에 따른 광 시야각 영상 처리 방법의 순서도이다. 도8을 참조하면, 광 시야각 영상 처리 방법은, 도7에 개시된 광 시야각 영상 처리 방법에 이어서 또는 독립적으로 수행될 수 있다.
도8에 도시된 또 다른 일 실시예에 따른 광 시야각 영상 처리 방법은, 광 시야각 영상 패키지를 수신하고, 이 광 시야각 영상 패키지를 디코딩하는 단계(S21), 가상 공간에 프로젝션 지오메트리를 투영하고, 이 가상공간에 가상 카메라를 배치하는 단계(S22), 투영된 프로젝션 지오메트리에 상기 영상을 텍스쳐링하여 장면을 구성하는 단계(S23), 상기 파라미터를 이용하여 장면을 보정하는 단계(S24) 및 보정된 장면을 렌더링하여 표시하는 단계(S25)를 포함할 수 있다. 일 실시예에서 단계(S23) 내지 단계(S25)는 동시에 동적으로 수행될 수 있다.
또한 일 실시예에 따른 광 시야각 영상 처리 방법은 보정 파라미터(예컨대 안정화 파라미터)를 이용하여 상기 가상 카메라의 위치를 동적으로 조절하여 장면을 보정하는 단계를 더 포함할 수 있다. 또한 다른 일 실시예에서 광 시야각 영상 처리 방법은 보정 파라미터(예컨대 안정화 파라미터)를 이용하여 상기 프로젝션 지오메트리를 동적으로 조절하여 장면을 보정하는 단계를 더 포함할 수 있다.
또 다른 실시예에서, 광 시야각 영상 처리 방법은 상기 입력된 영상을 분석하여 메타 데이터를 추출하는 단계를 더 포함할 수 있으며, 이 경우, 상기 광 시야각 영상 패키지를 생성하는 단계는, 상기 메타 데이터를 더 포함하여 인코딩을 수행할 수도 있다.
도9는 본 발명의 일 실시예에 따른 프로젝션 지오메트리 생성단계를 구체화한 순서도이다. 도9를 참조하면, 단계(12) 후에, 보정 파라미터를 이용하여 광 시야각 영상 출력을 위한 프로젝션 지오메트리를 생성하기 위해서, 카메라 고유 파라미터를 이용하여 기준 프로젝션 지오메트리의 버텍스 또는 텍스쳐 좌표를 보정하는 단계(S131) 및 보정된 기준 프로젝션 지오메트리를 곡면 형태로 변형하여 상기 프로젝션 지오메트리를 생성하는 단계(S132)가 수행될 수 있다. 상기 단계(S132)는 도5를 참조하여 상술한 바와 같이, 프로젝션 지오메트리의 버텍스를 변환하여 프로젝션 지오메트리의 형태가 변경된 경우를 의미하므로, 텍스쳐 좌표를 보정한 프로젝션 지오메트리를 이용하는 경우에는 프로젝션 지오메트리의 형태는 변경되지 않고, 이 프로젝션 지오메트리에 내재된 텍스쳐 좌표만이 변경된 다.
도 10은 또 다른 일 실시예에 따른 광 시야각 영상 처리 방법의 순서도이다. 도10의 광 시야각 영상 처리 방법은 스테레오 카메라를 이용하여 촬영된 영상을 렌더링하여 표시하는 방법에 관련된다. 도10에 도시된 광 시야각 영상 처리 방법은, 스테레오 카메라로부터 영상을 입력받는 단계(S31), 입력받은 스테레오 영상을 분석하여 보정 파라미터를 생성하는 단계(S32), 보정 파라미터를 이용하여 스테레오 영상을 보정하는 단계(S33), 보정 파라미터를 이용하여 프로젝션 지오메트리를 생성하는 단계(S34) 및 스테레오 영상, 보정 파라미터, 프로젝션 지오메트리를 인코딩하여 영상패키지를 생성하는 단계(S25)를 포함할 수 있다. 다른 일 실시예에서, 단계(S33)는 생략될 수도 있다. 단계(S32)에서, 보정 파라미터는 카메라간의 기계 오차 보정 파라미터, 색상 보정 파라미터 또는 노출보정 파라미터를 더 포함할 수 있다.
다른 일 실시예에서, 도10을 참조하여 설명된 광 시야각 영상 처리 방법에 의해 생성된 광 시야각 영상 패키지는 디코딩되어 디스플레이 장치에서 표시될 수 있다. 이 경우, 가상공간에 투영된 프로젝션 지오메트리 또는 가상 카메라의 위치를 변경하여 렌더링되는 장면을 보정할 수 있다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
Claims (21)
- 카메라로부터 입력된 영상을 분석하여 보정 파라미터를 생성하는 보정 파라미터 생성부;
상기 보정 파라미터를 이용하여 광 시야각 영상 출력을 위한 프로젝션 지오메트리를 생성하는 프로젝션 지오메트리 생성부; 및
상기 입력된 영상, 보정 파라미터 및 프로젝션 지오메트리를 인코딩하여 광 시야각 영상 패키지를 생성하는 광 시야각 영상 패키징부를 포함하는 광 시야각 영상 처리 장치.
- 제1항에 있어서,
상기 보정 파라미터는,
카메라 고유 파라미터 또는 안정화 파라미터를 포함하는 것을 특징으로 하는 광 시야각 영상 처리 장치.
- 제2항에 있어서,
상기 프로젝션 지오메트리 생성부는,
상기 카메라 고유 파라미터를 이용하여 기준 지오메트리의 버텍스 또는 텍스쳐 좌표를 보정하고, 보정된 기준 지오메트리를 곡면 형태로 변형하여 상기 프로젝션 지오메트리를 생성하는 것을 특징으로 하는 광 시야각 영상 처리 장치.
- 제1항에 있어서,
상기 광 시야각 영상 패키지를 타 장치에 제공하는 제1통신부를 더 포함하는 것을 특징으로 하는 광 시야각 영상 처리 장치.
- 제4항의 제1통신부로부터 제공된 광 시야각 영상 패키지를 수신하는 제2통신부; 및
수신된 광 시야각 영상 패키지를 디코딩하고, 가상 공간에 상기 프로젝션 지오메트리를 투영하고, 가상 카메라를 배치하고, 상기 투영된 프로젝션 지오메트리에 상기 입력된 영상을 텍스쳐링하여 장면을 구성하는 장면 구성부를 포함하는 광 시야각 영상 표시 장치.
- 제5항에 있어서,
상기 보정 파라미터는,
카메라 고유 파라미터 또는 안정화 파라미터를 포함하는 것을 특징으로 하는 광 시야각 영상 표시 장치.
- 제6항에 있어서,
상기 장면 구성부는,
상기 안정화 파라미터를 이용하여 상기 가상 카메라의 위치를 동적으로 조절하여 상기 장면을 보정하는 것을 특징으로 하는 광 시야각 영상 표시 장치.
- 제6항에 있어서,
상기 장면 구성부는,
상기 안정화 파라미터를 이용하여 상기 가상 공간에 투영된 프로젝션 지오메트리의 버텍스를 동적으로 조절하여 상기 장면을 보정하는 것을 특징으로 하는 광 시야각 영상 표시 장치.
- 제5항에 있어서,
상기 장면을 실시간 렌더링하여 표시하는 표시부를 더 포함하는 것을 특징으로 하는 광 시야각 영상 표시 장치.
- 제1항에 있어서,
상기 카메라는 스테레오 카메라이고,
상기 보정 파라미터는, 카메라 간의 기계 오차 보정 파라미터, 색상 보정 파라미터 또는 노출 보정 파라미터를 더 포함하는 것을 특징으로 하는 광 시야각 영상 표시 장치.
- 제10항에 있어서,
상기 장면 구성부는,
상기 기계 오차 보정 파라미터를 더 이용하여 상기 가상 공간에 투영된 프로젝션 지오메트리의 버텍스 또는 상기 가상 카메라를 동적으로 조절하여 상기 장면을 보정하는 것을 특징으로 하는 광 시야각 영상 표시 장치.
- 제5항에 있어서,
상기 광 시야각 영상 표시 장치는,
웨어러블 장치 또는 휴대 가능한 통신 장치인 것을 특징으로 하는 광 시야각 영상 표시장치.
- 카메라로부터 입력된 영상을 분석하여 보정 파라미터를 생성하는 단계;
상기 보정 파라미터를 이용하여 광 시야각 영상 출력을 위한 프로젝션 지오메트리를 생성하는 단계; 및
상기 입력된 영상, 보정 파라미터, 및 지오메트리를 인코딩하여 광 시야각 영상 패키지를 생성하는 단계를 포함하는 광 시야각 영상 처리 방법.
- 제13항에 있어서,
상기 보정 파라미터는,
카메라 고유 파라미터 또는 안정화 파라미터를 포함하는 것을 특징으로 하는 광 시야각 영상 처리 방법.
- 제14항에 있어서,
상기 지오메트리를 생성하는 단계는,
상기 카메라 고유 파라미터를 이용하여 기준 지오메트리의 버텍스 또는 텍스쳐 좌표를 보정하는 단계; 및
상기 기준 지오메그리의 버텍스를 보정한 경우, 보정된 기준 지오메트리를 곡면 형태로 변형하여 상기 프로젝션 지오메트리를 생성하는 단계를 포함하는 것을 특징으로 하는 광 시야각 영상 처리 방법.
- 제13항에 있어서,
상기 입력된 영상을 분석하여 메타 데이터를 추출하는 단계를 더 포함하되,
상기 광 시야각 영상 패키지를 생성하는 단계는, 상기 메타 데이터를 더 포함하여 인코딩을 수행하는 것을 특징으로 하는 광 시야각 영상 처리 방법.
- 제16항에 있어서
상기 광 시야각 영상 패키지를 디코딩하여, 가상 공간에 상기 프로젝션 지오메트리를 투영하고, 가상 카메라를 배치하는 단계; 및
상기 투영된 프로젝션 지오메트리에 상기 입력된 영상을 텍스쳐링 하여 장면을 구성하는 단계를 더 포함하는 광 시야각 영상 처리 방법.
- 제17항에 있어서,
상기 안정화 파라미터를 이용하여 상기 가상 카메라의 위치를 동적으로 조절하여 상기 장면을 보정하는 단계를 더 포함하는 것을 특징으로 하는 광 시야각 영상 처리 방법.
- 제17항에 있어서,
상기 안정화 파라미터를 이용하여 상기 가상 공간에 투영된 프로젝션 지오메트리의 버텍스를 동적으로 조절하여 상기 장면을 보정하는 단계를 더 포함하는 것을 특징으로 하는 광 시야각 영상 처리 방법.
- 제17항에 있어서,
상기 장면 데이터를 실시간 렌더링하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 광 시야각 영상 처리 방법.
- 제17항에 있어서,
상기 입력된 영상은 스테레오 카메라로 입력된 스테레오 영상이고,
상기 보정 파라미터는, 카메라 간의 기계 오차 보정 파라미터, 색상 보정 파라미터 또는 노출 보정 파라미터를 더 포함하는 것을 특징으로 하는 광 시야각 영상 처리 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130162585A KR101586249B1 (ko) | 2013-12-24 | 2013-12-24 | 광 시야각 영상 처리 장치 및 방법 |
| US14/539,927 US10250802B2 (en) | 2013-12-24 | 2014-11-12 | Apparatus and method for processing wide viewing angle image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130162585A KR101586249B1 (ko) | 2013-12-24 | 2013-12-24 | 광 시야각 영상 처리 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150074628A true KR20150074628A (ko) | 2015-07-02 |
| KR101586249B1 KR101586249B1 (ko) | 2016-01-18 |
Family
ID=53401505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130162585A KR101586249B1 (ko) | 2013-12-24 | 2013-12-24 | 광 시야각 영상 처리 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10250802B2 (ko) |
| KR (1) | KR101586249B1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809701B (zh) * | 2016-03-25 | 2019-03-08 | 成都易瞳科技有限公司 | 全景视频姿态标定方法 |
| CN105869110B (zh) * | 2016-03-28 | 2018-09-28 | 腾讯科技（深圳）有限公司 | 图像显示方法和装置、异形曲面幕布的定制方法和装置 |
| CN106507094B (zh) * | 2016-10-31 | 2019-01-04 | 北京疯景科技有限公司 | 校正全景视频显示视角的方法及装置 |
| CN106358035A (zh) * | 2016-11-09 | 2017-01-25 | 北京七维视觉科技有限公司 | 一种图像处理方法及装置 |
| US10324363B2 (en) * | 2017-02-23 | 2019-06-18 | Eys3D Microelectronics, Co. | Image device capable of compensating image variation |
| CN106886976B (zh) * | 2017-03-14 | 2020-12-25 | 成都通甲优博科技有限责任公司 | 一种基于内参数修正鱼眼像机的图像生成方法 |
| US11501470B2 (en) | 2020-05-27 | 2022-11-15 | Microsoft Technology Licensing, Llc | Geometric encoding of data |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006252423A (ja) * | 2005-03-14 | 2006-09-21 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| KR20120119774A (ko) | 2011-04-22 | 2012-10-31 | 한국과학기술원 | 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 |
| KR20120133041A (ko) * | 2011-05-30 | 2012-12-10 | 전자부품연구원 | 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치 |
| KR20130043300A (ko) * | 2011-10-20 | 2013-04-30 | 삼성전자주식회사 | 프로젝터를 통해 투사되는 영상을 보정하기 위한 장치 및 방법 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6438266B1 (en) * | 1998-08-27 | 2002-08-20 | Lucent Technologies Inc. | Encoding images of 3-D objects with improved rendering time and transmission processes |
| AU2001272006A1 (en) * | 2000-06-09 | 2001-12-17 | Interactive Imaging Systems, Inc. | A method and apparatus for mapping images and video to create navigable, immersive video and images |
| JP2003069990A (ja) | 2001-06-13 | 2003-03-07 | Usc Corp | 遠隔映像認識システム |
| US6940538B2 (en) * | 2001-08-29 | 2005-09-06 | Sony Corporation | Extracting a depth map from known camera and model tracking data |
| JP3929346B2 (ja) | 2002-04-24 | 2007-06-13 | 日立造船株式会社 | ステレオ画像表示方法およびステレオ画像表示装置 |
| US7324594B2 (en) * | 2003-11-26 | 2008-01-29 | Mitsubishi Electric Research Laboratories, Inc. | Method for encoding and decoding free viewpoint videos |
| JP3980565B2 (ja) | 2004-02-16 | 2007-09-26 | 松下電器産業株式会社 | 運転支援装置 |
| US7292257B2 (en) * | 2004-06-28 | 2007-11-06 | Microsoft Corporation | Interactive viewpoint video system and process |
| EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
| WO2008067482A2 (en) * | 2006-11-29 | 2008-06-05 | F. Poszat Hu, Llc | Three dimensional projection display |
| DE102007013239A1 (de) * | 2007-03-15 | 2008-09-18 | Mobotix Ag | Überwachungsanordnung |
| WO2008128205A1 (en) * | 2007-04-13 | 2008-10-23 | Presler Ari M | Digital cinema camera system for recording, editing and visualizing images |
| US8477425B2 (en) * | 2010-02-28 | 2013-07-02 | Osterhout Group, Inc. | See-through near-eye display glasses including a partially reflective, partially transmitting optical element |
| US8818132B2 (en) * | 2010-11-29 | 2014-08-26 | Microsoft Corporation | Camera calibration with lens distortion from low-rank textures |
| CN103827917B (zh) * | 2011-07-25 | 2017-06-09 | 科英布拉大学 | 用于使用棋盘图案的一幅或多幅图像的自动相机校准的方法和装置 |
| WO2014005297A1 (en) | 2012-07-04 | 2014-01-09 | Intel Corporation | Panorama based 3d video coding |
| TWI528325B (zh) * | 2013-10-18 | 2016-04-01 | 財團法人資訊工業策進會 | 影像處理方法及應用影像處理方法之系統 |
-
2013
- 2013-12-24 KR KR1020130162585A patent/KR101586249B1/ko active IP Right Grant
-
2014
- 2014-11-12 US US14/539,927 patent/US10250802B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006252423A (ja) * | 2005-03-14 | 2006-09-21 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| KR20120119774A (ko) | 2011-04-22 | 2012-10-31 | 한국과학기술원 | 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 |
| KR20120133041A (ko) * | 2011-05-30 | 2012-12-10 | 전자부품연구원 | 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치 |
| KR20130043300A (ko) * | 2011-10-20 | 2013-04-30 | 삼성전자주식회사 | 프로젝터를 통해 투사되는 영상을 보정하기 위한 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101586249B1 (ko) | 2016-01-18 |
| US20150181114A1 (en) | 2015-06-25 |
| US10250802B2 (en) | 2019-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101586249B1 (ko) | 광 시야각 영상 처리 장치 및 방법 | |
| US10958834B2 (en) | Method to capture, store, distribute, share, stream and display panoramic image or video | |
| US10460459B2 (en) | Stitching frames into a panoramic frame | |
| US10609282B2 (en) | Wide-area image acquiring method and apparatus | |
| US10778955B2 (en) | Methods for controlling scene, camera and viewing parameters for altering perception of 3D imagery | |
| CN109587556B (zh) | 视频处理方法、视频播放方法、装置、设备和存储介质 | |
| WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| US20120262594A1 (en) | Image-capturing apparatus | |
| KR102222290B1 (ko) | 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법 | |
| KR20150091653A (ko) | 사용자 시점 연동형 영상 처리 장치 및 그 방법 | |
| CN111612878A (zh) | 将静态照片制作成三维效果视频的方法及装置 | |
| TWI615808B (zh) | 全景即時影像處理方法 | |
| CN109961395B (zh) | 深度图像的生成及显示方法、装置、系统、可读介质 | |
| US20230106679A1 (en) | Image Processing Systems and Methods | |
| JP6564939B2 (ja) | 広視野角映像処理装置及び方法 | |
| US20220337744A1 (en) | Camera system utilizing auxiliary image sensors | |
| TW201531744A (zh) | 影像處理裝置 | |
| CN115997379A (zh) | 用于立体渲染的图像fov的复原 | |
| Liu et al. | Keystone correction for stereoscopic cinematography | |
| CN111556304B (zh) | 一种全景影像处理方法、装置及系统 | |
| TWI816057B (zh) | 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體 | |
| JP6779554B1 (ja) | 画像を出力する方法、プログラム及び装置 | |
| KR101229421B1 (ko) | 다중 세그먼트 방식을 이용한 3ｄ 입체영상 획득 장치 및 방법 | |
| KR101947799B1 (ko) | 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법 | |
| CN116645309A (zh) | 图像合成方法、图像合成装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190110 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20200113 Year of fee payment: 5 |