KR101936168B1 - 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법 - Google Patents

평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법 Download PDF

Info

Publication number
KR101936168B1
KR101936168B1 KR1020170059485A KR20170059485A KR101936168B1 KR 101936168 B1 KR101936168 B1 KR 101936168B1 KR 1020170059485 A KR1020170059485 A KR 1020170059485A KR 20170059485 A KR20170059485 A KR 20170059485A KR 101936168 B1 KR101936168 B1 KR 101936168B1
Authority
KR
South Korea
Prior art keywords
image data
image
coordinate system
spherical coordinate
plane
Prior art date
Application number
KR1020170059485A
Other languages
English (en)
Other versions
KR20180124628A (ko
Inventor
노준용
이하늬
이상우
김범기
이정진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020170059485A priority Critical patent/KR101936168B1/ko
Publication of KR20180124628A publication Critical patent/KR20180124628A/ko
Application granted granted Critical
Publication of KR101936168B1 publication Critical patent/KR101936168B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법에 관한 것이다.
자세하게는, 본 발명은 평면 좌표계 영상데이터는 변형하지 않은 상태에서 구면 좌표계 영상데이터를 평면 좌표계 영상데이터에 대응하여 변형하고, 이를 평면 좌표계 영상데이터에 정합하는 영상처리 장치 및 방법에 관한 것이다.

Description

평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법{Image Process Apparatus and Method using Video Signal of Planar Coordinate System and Spherical Coordinate System}
본 발명은 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법에 관한 것이다.
자세하게는, 본 발명은 평면 좌표계 영상데이터는 변형하지 않은 상태에서 구면 좌표계 영상데이터를 평면 좌표계 영상데이터에 대응하여 변형하고, 이를 평면 좌표계 영상데이터에 정합하는 영상처리 장치 및 방법에 관한 것이다.
최근 시청자에게 몰입감을 제공할 수 있는 파노라마 컨텐츠(Panoramic Content)가 인기를 끌고 있다.
이러한 파노라마 컨텐츠는 Screen X나 IMAX Dome과 같은 상대적으로 넓은 화각을 제공할 수 있는 스크린에서 구현될 수 있다.
파노라마 컨텐츠의 해상도를 높게 하는 경우에는 넓은 화각으로 인해 데이터의 사이즈가 과도하게 커질 수 있다.
또는, 파노라마 컨텐츠의 사이즈의 과도한 증가를 방지하기 위해 해상도를 낮추게 되면 시청자의 몰입감이 저하되는 문제점이 있다.
본 발명은 고해상도의 평면 좌표계 영상데이터와 저해상도의 구면 좌표계 영상데이터를 이용하여 파노라마 영상을 생성하는 영상처리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 방법은 평면 좌표계(Planar Coordinate System)로 표시되는 제 1 영상 데이터와 구면 좌표계(Spherical Coordinate System)로 표시되는 제 2 영상 데이터가 입력되는 입력단계, 상기 제 2 영상 데이터를 상기 제 1 영상 데이터에 정렬시키는 정렬단계, 정렬된 상기 제 2 영상 데이터를 와핑(Warping)하는 제 1 와핑단계, 상기 제 1 영상 데이터와 와핑한 상기 제 2 영상 데이터를 정합(Stitching)하는 정합단계 및 정합된 영상 데이터에 따른 영상을 표시하는 표시단계를 포함할 수 있다.
또한, 상기 제 1 영상 데이터에 따른 영상은 디스플레이 영역(Display Area)의 제 1 영역(First Area)에 대응되고, 와핑된 상기 제 2 영상 데이터에 따른 영상은 상기 제 1 영역을 포함하는 제 2 영역(Second Area)에 대응될 수 있다.
또한, 상기 제 1 영상 데이터에 따른 영상의 해상도(Resolution)는 상기 제 2 영상 데이터에 따른 영상의 해상도보다 높을 수 있다.
또한, 상기 제 1 영상 데이터에 따른 영상과 상기 제 2 영상 데이터에 따른 영상은 서로 다른 카메라(Camera)에 의해 촬영될 수 있다.
또한, 상기 제 2 영상 데이터에 따른 영상은 파노라마 카메라(Panoramic Camera)에 의해 촬영될 수 있다.
또한, 상기 정렬단계에서는 제 2 영상 데이터를 상기 제 1 영상 데이터에 정렬시키기 위해 상기 제 2 영상 데이터를 변형할 수 있다.
또한, 상기 정렬단계는 상기 제 2 영상 데이터를 평면 좌표계로 표시되는 평면 제 2 영상 데이터로 변환하는 제 1 변환단계, 상기 평면 제 2 영상 데이터의 특징점(Feature Point)과 상기 제 1 영상 데이터의 특징점을 매칭(Matching) 시키는 단계, 매칭된 상기 평면 제 2 영상 데이터의 특징점과 상기 제 1 영상 데이터의 특징점에 대한 평면 좌표 정보를 구면 좌표 정보로 변환하는 제 2 변환단계 및 상기 제 2 변환단계에서 변환한 특징점들의 구면 좌표 정보의 차이점 정보를 근거로 하여 상기 제 2 영상 데이터를 와핑하는 제 2 와핑단계를 포함할 수 있다.
또한, 상기 제 2 와핑단계에서는 상기 와핑된 제 2 영상 데이터를 상기 제 1 영상 데이터에 대응하여 와핑할 수 있다.
또한, 상기 제 2 와핑단계는 상기 제 1 영상 데이터에 따른 이미지와 상기 변형된 제 2 영상 데이터에 따른 이미지의 경계(Boundary)를 매칭시키는 경계매칭 단계를 더 포함할 수 있다.
또한, 상기 제 2 와핑단계는 상기 제 2 영상 데이터에 따른 이미지에서 라인의 왜곡(Line Distortion)을 보정하는 라인보호 단계를 더 포함할 수 있다.
본 발명에 따른 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치는 평면 좌표계(Planar Coordinate System)로 표시되는 제 1 영상 데이터에 대응되는 제 1 카메라(First Camera), 구면 좌표계(Spherical Coordinate System)로 표시되는 제 2 영상 데이터에 대응되는 제 2 카메라(Second Camera), 상기 제 1 영상 데이터와 제 2 영상 데이터를 처리하여 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합한 정합 영상 데이터를 출력하는 구동부(Driver) 및 상기 정합 영상 데이터에 따른 영상을 표시하는 디스플레이부(Display)를 포함할 수 있다.
또한, 상기 구동부는 상기 제 2 영상 데이터를 상기 제 1 영상 데이터에 정렬시키는 정렬부(Align Part), 상기 정렬부에 의해 정렬된 상기 제 2 영상 데이터를 와핑(Warping)하는 와핑부(Warping Part) 및 상기 제 1 영상 데이터와 와핑한 상기 제 2 영상 데이터를 정합(Stitching)하는 정합부(Stitching Part)를 포함하고, 상기 디스플레이부는 상기 정합된 영상 데이터에 따른 영상을 표시할 수 있다.
또한, 상기 제 1 영상 데이터에 따른 영상의 해상도(Resolution)는 상기 제 2 영상 데이터에 따른 영상의 해상도보다 높고, 상기 제 2 카메라는 파노라마 카메라(Panoramic Camera)일 수 있다.
본 발명에 따른 영상처리 장치 및 방법은 저해상도의 구면 좌표계 영상데이터를 고해상도의 평면 좌표계 영상데이터에 정합함으로써, 시청자의 몰입감의 저하를 억제하면서도 파노라마 영상의 데이터의 사이즈가 과도하게 증가하는 것을 방지할 수 있는 효과가 있다.
도 1 내지 도 4는 본 발명에 따른 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치에 대해 설명하기 위한 도면이다.
도 5 내지 도 18은 본 발명에 따른 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 방법에 대해 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법에 대해 상세히 설명한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다.
본 발명을 설명함에 있어서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않을 수 있다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함할 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석될 수 있으며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 수 있다.
아울러, 이하의 실시예는 당 업계에서 평균적인 지식을 가진 자에게 보다 완전하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하에서 설명되는 다양한 실시예들은 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 발명의 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 소프트웨어적인 구현에 의하면, 본 발명에서 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다.
이하에서 'A 및/또는 B'는 'A 및 B 중 적어도 하나'로 해석될 수 있다.
도 1 내지 도 5는 본 발명에 따른 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치에 대해 설명하기 위한 도면이다.
도 1을 살펴보면, 본 발명에 따른 영상처리 장치는 영상을 촬영하는 카메라부(Camera Part, 100), 카메라부(100)가 촬영한 영상에 대응하는 영상데이터를 처리하는 구동부(Driver, 200) 및 구동부(200)가 처리한 영상데이터에 대응하여 소정의 영상을 표시하는 디스플레이부(Display Part, 300)를 포함할 수 있다.
카메라부(100)는 소정의 영상을 촬영하여 평면 좌표계(Planar Coordinate System)로 표시되는 제 1 영상 데이터와 구면 좌표계(Spherical Coordinate System)로 표시되는 제 2 영상 데이터를 획득할 수 있다.
이를 위해, 카메라부(100)는, 도 1 및 도 2와 같이, 제 1 영상 데이터를 획득하기 위한 제 1 카메라(First Camera Part, 110) 및 제 2 카메라(Second Camera Part, 120)를 포함할 수 있다.
여기서, 제 1 카메라(110)는 고해상도 카메라(High Definition Camera)이고, 제 2 카메라(120)는 파노라마 카메라(Panoramic Camera)일 수 있다. 이에 따라, 제 1 카메라(110)에 대응하는 제 1 영상데이터에 따른 영상의 해상도(Resolution)는 제 2 카메라(120)에 대응하는 제 2 영상데이터에 따른 영상의 해상도보다 높을 수 있다.
도 2에서 식별번호 140은 제 1 카메라(110)와 제 2 카메라(120)를 연결하기 위한 브릿지(Bridge)일 수 있다.
효과적인 영상처리를 위해 제 1 카메라(110)의 렌즈와 제 2 카메라(120)의 렌즈가 근접하게 위치하도록 제 1 카메라(110)와 제 2 카메라(120)이 위치를 조정하는 것이 가능하다.
아울러, 제 1 카메라(110)의 시야방향(View Direction)과 제 2 카메라(120)의 시야방향도 최대한 매칭되는 것이 바람직할 수 있다.
구동부(200)는 제 1 카메라(110)로부터 제 1 영상데이터를 입력받고, 제 2 카메라(120)로부터 제 2 영상데이터를 입력받을 수 있다. 아울러, 구동부(200)는 제 1 영상데이터와 제 2 영상데이터를 소정의 과정을 통해 처리하여 정합하고, 정합한 영상데이터를 출력할 수 있다.
이를 위해 구동부(200)는, 도 3과 같이, 수신부(210), 정렬부(220), 와핑부(230), 정합부(240) 및 제어부(250)를 포함할 수 있다.
수신부(210)는 카메라부(100)로부터 제 1 영상데이터와 제 2 영상데이터를 수신할 수 있다.
정렬부(220)는 제 2 영상 데이터를 제 1 영상 데이터에 정렬시킬 수 있다.
와핑부(230)는 정렬부(220)에 의해 정렬된 제 2 영상 데이터를 와핑(Warping)하는 할 수 있다.
정합부(240)는 제 1 영상 데이터와 와핑한 제 2 영상 데이터를 정합(Stitching)할 수 있다.
이러한 구동부(200)의 기능 및 동작은 이하의 설명을 통해 보다 명확히 할 수 있다.
디스플레이부(300)는 구동부(200)에 의해 정합된 영상 데이터에 따른 영상을 표시할 수 있다.
이를 위해, 디스플레이부(300)는 도 4의 경우와 같이 제 1 영상데이터에 대응하는 제 1 영역(First Area, AR1)과 제 2 영상데이터에 대응하는 제 2 영역(Second Area, AR2)을 포함할 수 있다.
디스플레이부(300)의 제 1 영역(AR1)에는 제 1 영상데이터에 대응하는 영상이 표시되고, 제 2 영역(AR2)에는 제 2 영상데이터에 대응하는 영상이 표시될 수 있다.
다른 관점에서 보면, 제 1 영상 데이터에 따른 영상은 디스플레이 영역(Display Area)의 제 1 영역(First Area, AR1)에 대응되고, 와핑된 제 2 영상 데이터에 따른 영상은 제 1 영역(AR1)을 포함하는 제 2 영역(Second Area, AR2)에 대응될 수 있다.
여기서는, 디스플레이부(300)가 하나의 화면(Screen)을 갖는 경우만을 도시하고 있지만, 디스플레이부(300)는 다수의 스크린을 포함하는 경우도 가능할 수 있다. 이러한 경우에도 본 발명에 따른 방법이 적용되는 것이 가능할 수 있다.
도 5 내지 도 18은 본 발명에 따른 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 방법에 대해 설명하기 위한 도면이다. 이하에서는 이상에서 설명한 부분에 대한 설명은 생략될 수 있다.
도 5를 살펴보면, 본 발명에 따른 영상처리 방법에서는 먼저 제 1 영상데이터를 획득(S100)하고, 아울러 제 2 영상데이터를 획득(S110)할 수 있다.
제 1 영상데이터와 제 2 영상데이터에 따른 영상의 일례가 도 6에 게시되어 있다.
도 6의 (A)는 제 1 영상데이터에 따른 영상의 일례이고, 도 6의 (B)는 제 2 영상데이터에 따른 영상의 일례이다.
제 1 영상 데이터에 따른 영상과 제 2 영상 데이터에 따른 영상은 서로 다른 카메라(Camera)에 의해 촬영될 수 있다.
예를 들면, 제 1 영상 데이터는 고해상도 카메라에 이해 획득될 수 있고, 제 2 영상 데이터에 따른 영상은 파노라마 카메라(Panoramic Camera)에 의해 촬영되는 것이 가능하다.
여기서는, 제 1 영상데이터에 따른 영상의 넓이와 제 2 영상데이터에 따른 영상의 넓이가 동일한 것으로 도시되어 있지만, 제 2 영상데이터에 따른 영상의 넓이가 더 넓을 수 있다.
도 6의 (B)에서 제 2 영상데이터에 따른 영상은 파노라마 카메라에 의해 촬영되었기 때문에 영상이 휘어지는 부분이 포함될 수 있다.
아울러, 도 6의 (B)에서 붉은색 점선으로 표시된 부분은 도 6의 (A)의 제 1 영상데이터에 따른 영상이 정합될 부분에 해당될 수 있다.
이처럼, 제 2 영상데이터에는 제 1 영상데이터에 포함되지 않는 부분의 데이터가 포함되어 있다. 다르게 표현하면, 제 2 영상 데이터는 제 1 영상 데이터의 주변 영상에 대한 정보가 포함될 수 있다.
이를 고려할 때, 제 1 영상 데이터에 대응하는 영상을 초점 영상(Focus Image)이라고 하고, 제 2 영상 데이터에 대응하는 영상을 상황 영상(Context Image)이라고 할 수 있다.
제 1 영상 데이터와 제 2 영상 데이터를 획득한 이후에 제 2 영상 데이터를 제 1 영상 데이터에 정렬(S200)시킬 수 있다. 자세하게는, 정렬단계(S200)에서는 제 2 영상 데이터를 제 1 영상 데이터에 정렬시키기 위해 제 2 영상 데이터를 변형할 수 있다. 제 1 영상 데이터는 변형되지 않고 그대로 유지될 수 있다.
이러한 정렬단계(S200)는, 도 7과 같이, 제 2 영상 데이터를 평면 좌표계로 표시되는 평면 제 2 영상 데이터로 변환(제 1 변환단계, S210)하고, 이후 평면 제 2 영상 데이터의 특징점(Feature Point)과 제 1 영상 데이터의 특징점을 매칭(Matching)(매칭단계, S220) 시킬 수 있다,
예를 들면, 도 8에서와 제 2 영상 데이터(B)를 큐브 맵핑(Cube Mapping) 기법을 이용하여 구면 좌표계에서 평면 좌표계로 투사(Projection)(C)할 수 있다.
큐브 맵핑된 제 2 영상 데이터에서 소정의 특징점을 검출하고, 검출한 특징점에 대한 좌표정보를 획득할 수 있다. 여기서, 특징점은 영상에서 소정 물체, 모서리, 음영 등에 관련한 데이터일 수 있다.
이후, 큐브 맵핑된 제 2 영상 데이터를 호모그래피 추정(Homography Estimation)을 근거로 하여 호모그래피 변환(Homography Transformation)할 수 있다. 호모그래피 변환된 제 2 영상 데이터는 평면 좌표계를 갖는다.
이와 같은 방법으로 구면 좌표계 영상 데이터를 평면 좌표계 영상 데이터로 변환할 수 있다.
이후, 데이터 변환에 의해 에러를 제거하기 위해 와핑(제 2 와핑, S230)을 수행할 수 있다.
자세하게는, 매칭된 평면 제 2 영상 데이터의 특징점과 제 1 영상 데이터의 특징점에 대한 평면 좌표 정보를 구면 좌표 정보로 변환(제 2 변환단계, S230)할 수 있다. 예를 들면, 구면 좌표계로부터 평면 좌표계로 변환된 평면 제 2 영상 데이터에 포함된 특징점을 다시 구면 좌표계로 변환하고, 아울러 평면 좌표계를 갖는 제 1 영상 데이터에 포함된 특징점를 구면 좌표계로 변환할 수 있다. 이를 위해 역호모그래피 변환(Inverse Homography Transformation) 기법을 이용할 수 있다.
이후, 제 2 변환에 따른 결과로부터 매칭된 특징점들간의 거리(Distance)를 연산(연산단계, S240)할 수 있다.
예를 들면, 평면 제 2 영상 데이터에 포함된 소정의 제 1 특징점을 구면 좌표계로 변환한 것을 제 1-1 특징점이라 하고, 평면 좌표계를 갖는 제 1 영상 데이터에 포함되고 제 1 특징점에 대응되는 제 2 특징점을 구면 좌표계로 변환한 것을 제 2-1 특징점이라 가정하여 보자.
연산단계에서는 제 1-1 특징점과 제 2-1 특징점 사이의 거리를 연산할 수 있다.
이후, 제 2 변환단계(S230)에서 변환한 특징점들의 구면 좌표 정보의 차이점 정보, 즉 매칭된 특징점들간의 거리를 근거로 하여 제 2 영상 데이터를 와핑(와핑단계, S250)할 수 있다.
제 2 영상 데이터를 와핑하는 방법에 대해 도 9를 참조하여 보다 상세히 설명하면 아래와 같다.
제 2 영상 데이터의 와핑은 수학식 1에 의해 연산되는 에너지 및 수학식 3에 의해 연산되는 에너지의 합(수학식 4)이 최소가 되는 방향으로 수행할 수 있다.
수학식 1, 2, 3, 4에 대해 보다 상세히 살펴보면 아래와 같다.
수학식 1은 특징점들간이 거리에 대한 에너지 함수(Function)를 의미할 수 있다.
수학식 1에서 f k M 와 f k I 는 구면 좌표계를 갖는 k번째 특징점 쌍(Pair of Matched Feature Point)을 의미할 수 있다.
f k M 는 구면좌표계로 변환된 제 1 영상신호에 대응되고, f k I 는 구면좌표계로 역변환된 제 2 영상신호(φ(It))에 대응될 수 있다.
j는 버텍스 지수(Vertex indices)를 의미하고, 강조점이 표시된 v j , k 는 각각의 버텍스를 의미하고, w f j , k 는 (f k I )의 무게중심 가중치(Barycentric weight)일 수 있다.
수학식 2에서 R 90 은 90도 회전에 대응하는 매트릭스(Matrix)를 의미할 수 있다.
강조점이 표시된 v1, v2, v3는 삼각면 f(Triangle Face)를 갖는 와핑된 Vertex를 의미할 수 있다.
수학식 3은 수학식 2에 따르는 에너지 함수를 의미할 수 있다.
수학식 4는 수학식 1에 의해 계산된 에너지와 수학식 3에 의해 계산된 에너지의 합을 의미할 수 있다.
수학식 4에서 α는 공간 평탄도 가중치(Spatial Smoothness Weight)를 의미할 수 있다.
이러한 수학식 4에 의해 계산되는 에너지가 최소가 되는 방향으로 제 2 영상 데이터를 변형, 즉 와핑할 수 있다.
정렬단계(S200) 이후에 정렬된 제 2 영상 데이터를 와핑(제 1 와핑, S300)할 수 있다. 다르게 표현하면, 와핑된 제 2 영상 데이터를 제 1 영상 데이터에 대응하여 와핑할 수 있다.
제 1 와핑단계(S300)와 앞선 정렬단계(S200)는 제 2 영상 데이터를 변형(와핑)한다는 점에서 유사점이 있다. 다만, 제 1 와핑단계(S300)와 정렬단계(S200)에서 수행되는 와핑 방법이 다를 수 있다. 이를 구별하기 위해, 제 1 와핑과 제 2 와핑이라는 용어를 사용할 수 있다.
이러한 와핑단계(S300)에서는, 도 10과 같이, 제 1 영상 데이터에 따른 이미지와 변형된(와핑된) 제 2 영상 데이터에 따른 이미지의 경계(Boundary)를 매칭(경계매칭 단계, S310)시키고, 제 2 영상 데이터에 따른 이미지에서 라인의 왜곡(Line Distortion)을 보정(라인보호 단계, S320)하고, 공간적 평탄도를 확보(S330)하고, 시간적 평탄도를 확보(S340)하고, 이후 각 단계에서 연산된 에너지의 총합이 최소가 되는 방향으로 최적화(Optimization, S350)할 수 있다.
이러한 와핑단계(S300)에 대해 첨부된 도 11을 참조하여 살펴보면 아래와 같다.
정렬된 제 2 영상 데이터의 와핑은 수학식 5에 의해 연산되는 에너지, 수학식 6에 의해 연산되는 에너지, 수학식 7에 의해 연산되는 에너지 및 수학식 8에 의해 연산되는 에너지의 합(수학식 9)이 최소가 되는 방향으로 수행할 수 있다.
수학식 5, 6, 7, 8, 9에 대해 보다 상세히 살펴보면 아래와 같다.
수학식 5는 정렬된 제 2 영상 데이터의 프레임과 이에 대응되는 제 1 영상 데이터의 프레임의 소정 타깃 포인트(Target Point)간의 거리(Distance)에 대한 에너지 함수(Function)를 의미할 수 있다.
수학식 5에서 (φ(I t B ))는 마스킹 영역에 둘러싸인 픽셀 포인트(Pixel Point)를 의미할 수 있다. 이에 대해, 첨부된 도 12를 참조하여 보다 상세히 설명하면 아래아 같다.
도 12를 살펴보면, (A)는 제 1 영상 데이터에 따른 소정의 제 1 프레임(F1)에 관한 영상이고, (B)는 정렬된 제 2 영상 데이터에 따르며 제 1 프레임(F1)에 대응하는 제 2 프레임(F2)에 관한 영상일 수 있다.
제 1 영상 데이터는 파노라마 영상의 해상도를 위해 변형되지 않은 상태에서, 제 1 영상 데이터와 정렬된 제 2 영상 데이터를 정합하기 위해 정렬된 제 2 영상 데이터에서 제 1 영상 데이터에 따르는 영상과 인접하는 부분(BA)의 데이터를 변형할 수 있다.
정렬된 제 2 영상 데이터에서 제 1 영상 데이터에 따르는 영상과 인접하는 부분(BA)을 경계영역(Boundary Area)이라고 할 수 있다.
여기서 경계영역(BA)은 제 1 영상 데이터와 일부 중첩(Partially Overlap)하고, 정렬된 제 2 영상 데이터와도 일부 중첩할 수 있다.
도 13의 (A)에는 경계영역(BA), 즉, 마스킹 영역(φ(I t B ))이 게시되어 있고, 도 13의 (B)에는 구면 좌표계로 변환된 제 1 영상 데이터(φ(I t M ))에 대응하는 영역이 게시되어 있다.
이를 고려하면, (φ(I t B ))는 경계영역(BA)에 위치하는 픽셀 포인트(Pixel Point)라고 할 수 있다.
수학식 5에서 b k M 는 제 1 영상 데이터에서 k번째 타깃 포인트를 의미하고, b k I 는 정렬된 제 2 영상 데이터에서 b k M 에 매칭되는 k번째 타깃 포인트를 의미할 수 있다.
수학식 5는 앞선 수학식 1과 유사한 구조를 갖기 때문에 수학식 5는 수학식 1로부터 충분히 해석될 수 있을 것이다.
수학식 5를 통해 경계영역(BA)에서 제 1 영상 데이터의 타깃 포인트와 이에 대응하는 정렬된 제 2 영상 데이터의 타깃 포인트 사이의 거리가 작을수록 경계영역(BA) 내에서 제 1 영상 데이터와 정렬된 제 2 영상 데이터가 매칭될 수 있음을 확인할 수 있다.
라인보호 단계(S320)에 대해 첨부된 도 14와 도 15를 참조하여 살펴보면 아래와 같다.
도 14 및 도 15를 살펴보면, 라인보호 단계(S320)는 라인 세그먼트(Line Segment)를 검출하는 단계(S321)를 포함할 수 있다. 예를 들면, 도 15의 (A)와 같이, 정렬된 제 2 영상 데이터에서 라인 타입의 데이터를 갖는 부분, 즉 라인 세그먼트를 검출할 수 있다.
이후, 검출한 라인 세그먼트에서 소정의 포인트를 샘플링(Sampling)(샘플링 단계, S322)할 수 있다. 도 15의 (A)를 참조하면 검출한 라인 세그먼트에 포함된 포인트, 예를 들면 라인 세그먼트의 시작점과 종료점을 샘플링하는 것이 가능하다.
이후, 샘플링한 포인트를 선와핑(Prewarping)(선와핑 단계, S323)할 수 있다.
자세하게는, 도 15의 (B)와 같이, 정렬된 제 2 영상 데이터는 구면 좌표계를 갖기 때문에 샘플링한 포인트를 선와핑하게 되면, 선와핑된 샘플링 포인트는 평면 좌표계를 가질 수 있다. 구면 좌표계는 곡면 상에 표시되기 때문에 평면 좌표계로 변환할 경우에 곡면과 평면의 기하학적 차이로 인해 에러가 발생할 수 있다.
도 15의 (B)에서 l 0과 l 1은 라인 세그먼트이 시작점과 종류점을 의미할 수 있다.
이후, 선와핑한 결과로부터 샘플링한 포인트 간의 거리를 연산(S324)하고, 도 15의 (C)와 같이, 샘플링한 포인트 간의 거리가 감소하는 방향, 바람직하게는 최소가 되는 방향으로 정렬된 제 2 영상 데이터를 와핑할 수 있다.
그러면, 도 15의 (D)와 같이, 라인 세그먼트가 왜곡되는 것을 억제할 수 있다.
이상에서 설명한 라인보호 단계(S320)에서의 에너지 함수(수학식 6)를 첨부된 도 10을 참조하여 살펴보면 아래와 같다.
수학식 6은 기본적으로 수학식 5와 유사한 구조를 갖는다.
수학식 6에서 l k 는 구면 좌표계로 표시되는 정렬된 제 2 영상 데이터 상에서 k번째 라인 세그먼트를 의미하고, 강조점이 표시된 l k 는 정렬된 제 2 영상 데이터를 평면 좌표계로 변환한 영상 데이터에서 k번째 라인 세그먼트를 의미할 수 있다.
이러한 방향으로 라인 세그먼트를 보정한 경우와 보정하지 않은 경우를 도 16 및 도 17을 참조하여 비교하여 살펴보면 아래와 같다.
도 16은 수학식 6을 추종하지 않는 방향으로 정렬된 제 2 영상 데이터를 와핑한 결과에 해당될 수 있다. 도 16에서 노란색 점선으로 표시한 부분을 보면, 제 1 영상 데이터에 의한 영상과 제 2 영상 데이터에 의한 영상의 경계부분에서 소정의 라인이 휘어져 보이는 것을 확인할 수 있다.
반면에, 동일한 조건에서 수학식 6을 추종하는 방향으로 와핑을 수행하게 되면, 도 17의 경우와 같이, 라인의 왜곡이 개선될 수 있다.
공간적 평탄도를 확보(S330)하는 단계에서는 도 10의 수학식 7에 의해 연산되는 에너지가 최소가 되는 방향을 추종할 수 있다.
수학식 7은 앞선 수학식 2와 3과 유사한 구조를 갖는다. 수학식 7은 수학식 2와 3으로부터 충분히 해석될 수 있다.
시간적 평탄도를 확보(S340)하는 단계에서는 도 10의 수학식 8에 의해 연산되는 에너지가 최소가 되는 방향을 추종할 수 있다.
수학식 8에서 W는 윈도우 사이즈(Window Size)를 의미할 수 있다.
최적화단계(Optimization, S350)에서 유추된 수학식 9는 수학식 5에 의해 계산된 에너지, 수학식 6에 의해 계산된 에너지, 수학식 7에 의해 계산된 에너지, 수학식 8에 의해 계산된 에너지의 합(수학식 9)이 최소가 되는 방향으로 정렬된 제 2 영상 데이터를 와핑하는 것으로 해석할 수 있다.
도 18을 살펴보면, 이상에서 설명한 방법에 따라 정렬된 제 2 영상 데이터를 와핑하고, 와핑한 데이터를 제 1 영상 데이터에 정합(Stitching)하고, 정합된 영상 데이터에 따른 영상을 디스플레이부에 표시할 수 있다.
이러한 경우, 시청자는 고해상도의 제 1 영상 데이터에 따른 영상(초점 영상)을 시청하면서 초점 영상 주변의 저해상도의 영상(상황 영상)을 함께 시청하는 것이 가능하다. 즉, 시청자는 초점 영상에 집중하면서도 상황 영상을 통해 초점 영상 주변 상황에 대한 정보를 확인할 수 있다. 이에 따라, 시청자의 몰입도가 저하되는 것을 억제할 수 있다.
아울러, 초점 영상과 상황 영상을 정합한 파노라마 영상의 데이터의 크기가 과도하게 증가하는 것을 방지할 수 있다.
이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

  1. 평면 좌표계(Planar Coordinate System)로 표시되는 제 1 영상 데이터와 구면 좌표계(Spherical Coordinate System)로 표시되는 제 2 영상 데이터가 입력되는 입력단계;
    상기 제 2 영상 데이터를 상기 제 1 영상 데이터에 정렬시키는 정렬단계;
    정렬된 상기 제 2 영상 데이터를 와핑(Warping)하는 제 1 와핑단계;
    상기 제 1 영상 데이터와 와핑한 상기 제 2 영상 데이터를 정합(Stitching)하는 정합단계; 및
    정합된 영상 데이터에 따른 영상을 표시하는 표시단계;
    를 포함하며
    상기 제 1 영상 데이터에 따른 영상은 디스플레이 영역(Display Area)의 제 1 영역(First Area)에 대응되고,
    와핑된 상기 제 2 영상 데이터에 따른 영상은 상기 제 1 영역을 포함하는 제 2 영역(Second Area)에 대응되는 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제 1 영상 데이터에 따른 영상의 해상도(Resolution)는 상기 제 2 영상 데이터에 따른 영상의 해상도보다 높은 것을 특징으로 하는 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 방법.
  4. 제 1 항에 있어서,
    상기 제 1 영상 데이터에 따른 영상과 상기 제 2 영상 데이터에 따른 영상은 서로 다른 카메라(Camera)에 의해 촬영되는 것을 특징으로 하는 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 방법.
  5. 제 4 항에 있어서,
    상기 제 2 영상 데이터에 따른 영상은 파노라마 카메라(Panoramic Camera)에 의해 촬영되는 것을 특징으로 하는 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 방법.
  6. 제 1 항에 있어서,
    상기 정렬단계에서는 제 2 영상 데이터를 상기 제 1 영상 데이터에 정렬시키기 위해 상기 제 2 영상 데이터를 변형하는 것을 특징으로 하는 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 방법.
  7. 제 1 항에 있어서,
    상기 정렬단계는
    상기 제 2 영상 데이터를 평면 좌표계로 표시되는 평면 제 2 영상 데이터로 변환하는 제 1 변환단계;
    상기 평면 제 2 영상 데이터의 특징점(Feature Point)과 상기 제 1 영상 데이터의 특징점을 매칭(Matching) 시키는 단계;
    매칭된 상기 평면 제 2 영상 데이터의 특징점과 상기 제 1 영상 데이터의 특징점에 대한 평면 좌표 정보를 구면 좌표 정보로 변환하는 제 2 변환단계; 및
    상기 제 2 변환단계에서 변환한 특징점들의 구면 좌표 정보의 차이점 정보를 근거로 하여 상기 제 2 영상 데이터를 와핑하는 제 2 와핑단계;
    를 포함하는 것을 특징으로 하는 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 방법.
  8. 제 7 항에 있어서,
    상기 제 2 와핑단계에서는
    상기 와핑된 제 2 영상 데이터를 상기 제 1 영상 데이터에 대응하여 와핑하는 것을 특징으로 하는 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 방법.
  9. 제 8 항에 있어서,
    상기 제 2 와핑단계는
    상기 제 1 영상 데이터에 따른 이미지와 상기 와핑된 제 2 영상 데이터에 따른 이미지의 경계(Boundary)를 매칭시키는 경계매칭 단계를 더 포함하는 것을 특징으로 하는 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 방법.
  10. 제 8 항에 있어서,
    상기 제 2 와핑단계는
    상기 제 2 영상 데이터에 따른 이미지에서 라인의 왜곡(Line Distortion)을 보정하는 라인보호 단계를 더 포함하는 것을 특징으로 하는 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 방법.
  11. 평면 좌표계(Planar Coordinate System)로 표시되는 제 1 영상 데이터에 대응되는 제 1 카메라(First Camera);
    구면 좌표계(Spherical Coordinate System)로 표시되는 제 2 영상 데이터에 대응되는 제 2 카메라(Second Camera);
    상기 제 1 영상 데이터와 제 2 영상 데이터를 처리하여 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합한 정합 영상 데이터를 출력하는 구동부(Driver); 및
    상기 정합 영상 데이터에 따른 영상을 표시하는 디스플레이부(Display);
    를 포함하며,
    상기 제 1 영상 데이터에 따른 영상은 디스플레이 영역(Display Area)의 제 1 영역(First Area)에 대응되고,
    와핑된 상기 제 2 영상 데이터에 따른 영상은 상기 제 1 영역을 포함하는 제 2 영역(Second Area)에 대응되는 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치.
  12. 제 11 항에 있어서,
    상기 구동부는
    상기 제 2 영상 데이터를 상기 제 1 영상 데이터에 정렬시키는 정렬부(Align Part);
    상기 정렬부에 의해 정렬된 상기 제 2 영상 데이터를 와핑(Warping)하는 와핑부(Warping Part); 및
    상기 제 1 영상 데이터와 와핑한 상기 제 2 영상 데이터를 정합(Stitching)하는 정합부(Stitching Part);
    를 포함하고,
    상기 디스플레이부는 상기 정합된 영상 데이터에 따른 영상을 표시하는 것을 특징으로 하는 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치.
  13. 제 11 항에 있어서,
    상기 제 1 영상 데이터에 따른 영상의 해상도(Resolution)는 상기 제 2 영상 데이터에 따른 영상의 해상도보다 높고,
    상기 제 2 카메라는 파노라마 카메라(Panoramic Camera)인 것을 특징으로 하는 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치.
KR1020170059485A 2017-05-12 2017-05-12 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법 KR101936168B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170059485A KR101936168B1 (ko) 2017-05-12 2017-05-12 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170059485A KR101936168B1 (ko) 2017-05-12 2017-05-12 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180124628A KR20180124628A (ko) 2018-11-21
KR101936168B1 true KR101936168B1 (ko) 2019-04-03

Family

ID=64602335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170059485A KR101936168B1 (ko) 2017-05-12 2017-05-12 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101936168B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445528B (zh) * 2020-03-16 2021-05-11 天目爱视（北京）科技有限公司 一种在3d建模中多相机共同标定方法
KR102681788B1 (ko) * 2022-02-25 2024-07-05 주식회사 비지트 파노라믹 영상 생성 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140112909A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 파노라마 영상을 생성하는 전자 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:아나르 외 1명*

Also Published As

Publication number Publication date
KR20180124628A (ko) 2018-11-21

Similar Documents

Publication Publication Date Title
US8692867B2 (en) Object detection and rendering for wide field of view (WFOV) image acquisition systems
JP5906028B2 (ja) 画像処理装置、画像処理方法
US8797387B2 (en) Self calibrating stereo camera
US10762664B2 (en) Multi-camera processor with feature matching
US20140340515A1 (en) Image processing method and system
US10805534B2 (en) Image processing apparatus and method using video signal of planar coordinate system and spherical coordinate system
JP2015210702A (ja) 画像処理装置及び画像処理方法
CN105931213B (zh) 基于边缘检测和帧差法的高动态范围视频去鬼影的方法
US20120307132A1 (en) Imaging module, imaging apparatus, image processing apparatus, and image processing method
CN108495066B (zh) 广角镜头的畸变矫正方法、装置及系统
KR101324250B1 (ko) 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라
CN108156383B (zh) 基于相机阵列的高动态十亿像素视频采集方法及装置
KR101936168B1 (ko) 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법
KR20140137485A (ko) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
US8600157B2 (en) Method, system and computer program product for object color correction
CN105472263B (zh) 影像撷取方法及使用此方法的影像撷取设备
CN111815512B (zh) 用于检测失真图像中的对象的方法、系统和设备
CN116368814A (zh) 无fov损失的空间对准变换
CN111161148B (zh) 一种全景图像生成方法、装置、设备和存储介质
EP3091742A1 (en) Device and method for encoding a first image of a scene using a second image having a lower resolution and captured at the same instant
Hughes et al. Validation of polynomial-based equidistance fish-eye models
JP6686890B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP4304997B2 (ja) マルチカメラ映像合成表示装置
WO2018176575A1 (zh) 一种可共光心的摄像机装置、全景无缝拼接组件及方法
JP6525693B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170512

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180427

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181001

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190102

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190102

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220104

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230105

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240109

Start annual number: 6

End annual number: 6