KR102057602B1 - 광각 영상 제공 방법 및 시스템 - Google Patents

광각 영상 제공 방법 및 시스템 Download PDF

Info

Publication number
KR102057602B1
KR102057602B1 KR1020180048328A KR20180048328A KR102057602B1 KR 102057602 B1 KR102057602 B1 KR 102057602B1 KR 1020180048328 A KR1020180048328 A KR 1020180048328A KR 20180048328 A KR20180048328 A KR 20180048328A KR 102057602 B1 KR102057602 B1 KR 102057602B1
Authority
KR
South Korea
Prior art keywords
region
angle
image
module
camera module
Prior art date
Application number
KR1020180048328A
Other languages
English (en)
Other versions
KR20190124407A (ko
Inventor
박성열
Original Assignee
주식회사 텐앤투
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020180048328A priority Critical patent/KR102057602B1/ko
Application filed by 주식회사 텐앤투 filed Critical 주식회사 텐앤투
Priority to PCT/KR2019/005068 priority patent/WO2019209067A1/ko
Priority to PCT/KR2019/005074 priority patent/WO2019209069A1/ko
Priority to US17/050,460 priority patent/US20210243367A1/en
Priority to CN201980028456.XA priority patent/CN112119626B/zh
Priority to CN201980028471.4A priority patent/CN112154647B/zh
Priority to EP19792249.5A priority patent/EP3787278A4/en
Priority to EP19791751.1A priority patent/EP3787277A4/en
Priority to JP2021509710A priority patent/JP7231281B2/ja
Priority to US17/050,461 priority patent/US11523054B2/en
Priority to JP2021509709A priority patent/JP7185357B2/ja
Publication of KR20190124407A publication Critical patent/KR20190124407A/ko
Application granted granted Critical
Publication of KR102057602B1 publication Critical patent/KR102057602B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—
    • H04N5/2252—
    • H04N5/2254—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 광각 영상 제공 방법 및 시스템에 관한 것으로, 본 발명에 따른 광각 영상 제공 시스템은 제1 영역을 촬영한 제1 영역영상을 생성하는 제1 카메라 모듈; 상기 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하는 제2 카메라 모듈; 상기 제1 영역의 반대측인 제3 영역을 촬영한 제3 영역영상을 생성하는 제3 카메라 모듈; 상기 제2 영역의 반대측이며 상기 제3 영역의 좌측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성하는 제4 카메라 모듈; 및 상기 제1,2,3,4 영역영상을 각각 왜곡 보정 및 위상차 보정하고, 상기 위상차 보정한 제1,2,3,4 영역영상을 오버랩 보정 및 색상 보정하는 보정 처리부;를 포함한다.

Description

광각 영상 제공 방법 및 시스템{WIDE ANGLE IMAGE PROVIDING METHOD AND SYSTEM}
본 발명의 실시예는 광각 영상 제공 방법 및 시스템에 관한 것이다.
일반적으로, CCTV 카메라는 일반 가정의 방범용으로 사용되거나 또는 백화점, 은행, 전시장 등의 장소에서는 침입, 도난 또는 화재 등을 사전에 예방하고 방지하며, 만약 사고가 발생하더라도 신속하게 처리하기 위하여 설치된다.
특히, 이러한 CCTV 카메라 시스템은 특수한 목적을 가지고 특정 장소에 설치되어 모든 상황을 감시하기 위하여 원격지에서 영상을 모니터링 하기 위한 목적으로 이용되는 것으로, 상기 CCTV 카메라는 가능한 넓은 지역을 감시할 수 있도록 대개 건물의 벽면 상부나 천장에 설치되어 특정방향을 향하여 세팅되어 있는 것이 일반적이다.
그러나, 이와 같이 CCTV 등에 사용되는 카메라는 일반적으로 화각이 30 °내지 70°의 범위로서, 촬영 범위가 제한되어 사각지대가 존대하며, 이와 같은 사각지대를 줄이기 위하여 어안렌즈(fish-eye lens) 등과 같은 광각렌즈(wide-angle lens)를 사용하고 있다.
그러나, 광각렌즈(wide-angle lens)를 장착한 카메라는 표준 렌즈를 이용했을 때에 비해 초점거리가 짧고 FOV(Field Of View)가 넓다는 특성을 가지며, 취득된 영상의 형태는 방사형 왜곡(radial distortion)이 발생하여 사물 왜곡 현상이 발생한다.
또한, 종래 기술에 따른 파노라마 카메라가 촬영한 영상은 위치 왜곡 현상이 발생하는 문제점이 있다.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 본 발명에 따른 광각 영상 제공 방법 및 시스템은 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공하고, 왜곡이 없는 광각 영상을 제공하여 VR 형태로 영상 출력이 가능하며, 영상의 축소, 확대 시에도 왜곡이 발생하지 않도록 하고자 한다.
또한, 본 발명에 따른 광각 영상 제공 방법 및 시스템은 모바일용 카메라, CCTV용 카메라, 웹 카메라 등의 다양한 카메라 모듈을 활용하고, 전용 프로그램 또는 전용 모바일 어플리케이션을 사용한 보정을 통해 광각 영상을 제공하고자 한다.
또한, 본 발명에 따른 광각 영상 제공 방법 및 시스템은 자동차, 드론, 모바일, 카메라, 선박, 로켓, 의료, 국방, 가정, 레저 등의 카메라가 사용되는 산업전반에 적용이 가능한 광각 영상 제공 방법 및 시스템을 제공하고자 한다.
전술한 문제를 해결하기 위한 본 실시예에 따른 광각 영상 제공 시스템은 제1 렌즈 모듈과, 제1 렌즈 모듈을 통해 제1 영역을 촬영한 제1 영역영상을 생성하는 제1 이미지 센서 모듈과, 제1 렌즈 모듈과 제1 이미지 센서 모듈이 수납되는 제1 구조체를 포함하는 제1 카메라 모듈; 제2 렌즈 모듈과, 제2 렌즈 모듈을 통해 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하는 제2 이미지 센서 모듈과, 제2 렌즈 모듈과 제2 이미지 센서 모듈이 수납되는 제2 구조체를 포함하는 제2 카메라 모듈; 제3 렌즈 모듈과, 제3 렌즈 모듈을 통해 제1 영역의 반대측인 제3 영역을 촬영한 제3 영역영상을 생성하는 제3 이미지 센서 모듈과, 제3 렌즈 모듈과 제3 이미지 센서 모듈이 수납되는 제3 구조체를 포함하는 제3 카메라 모듈; 제4 렌즈 모듈과, 제4 렌즈 모듈을 통해 제2 영역의 반대측이며 제3 영역의 좌측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성하는 제4 이미지 센서 모듈과, 제4 렌즈 모듈과 제4 이미지 센서 모듈이 수납되는 제4 구조체를 포함하는 제4 카메라 모듈; 및 제1,2,3,4 영역영상을 각각 왜곡 보정 및 위상차 보정하고, 위상차 보정한 제1,2,3,4 영역영상을 오버랩 보정 및 색상 보정하는 보정 처리부를 포함하고, 수학식 1에서 도출된 각도값과 수학식 2에서 도출된 각도값에 기초하여 제1,2,3,4 카메라 모듈이 배치될 수 있다.

[수학식 1]
α= (180°- a)×(2/3)
(α는 제1,2,3,4 카메라 모듈 간의 각도, a는 제1,2,3,4 카메라 모듈의 수평 화각)

[수학식 2]
β= (180°- b)×(1/3)
(β 는 제1,2,3,4 이미지 센서 모듈의 각도, b는 제1,2,3,4 카메라 모듈의 수직 화각)
본 발명의 다른 일실시예에 따르면, 보정 처리부는 제1,2,3,4 영역영상을 각각 왜곡 보정하는 왜곡 보정부; 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정하는 위상차 보정부; 위상차 보정한 제1,2,3,4 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정부; 및 중첩하여 보정한 중첩영상을 색상 보정하는 색상 보정부를 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 왜곡 보정부는 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고, 위상차 보정부는 제1,2,3,4, 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 제1,2,3,4 영역영상의 위치를 조절하고, 중첩 보정부는 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고, 색상 보정부는 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절할 수 있다.
본 발명의 다른 일실시예에 따르면, 제1,2 카메라 모듈의 각 일측에 각각 결합되는 제1,2 링크부; 제3,4 카메라 모듈의 각 일측에 각각 결합되는 제3,4 링크부; 및 모터에 의해 회전하며, 각 제1,2,3,4 링크부가 결합되어 이동하는 곡선 홈을 포함하는 원형 판을 더 포함할 수 있다.
삭제
본 발명의 다른 일실시예에 따르면, 제1,2 카메라 모듈은, 각 일측에 대향하는 각 타측이 상호간에 힌지 결합되고, 제3,4 카메라 모듈은 각 일측에 대향하는 각 타측이 상호간에 힌지 결합되고, 제1,2 링크부는 원형 판의 회전에 의해 곡선 홈을 이동하여, 제1,2 카메라 모듈이 상호간에 이루는 각도를 조절하고, 제3,4 링크부는 원형 판의 회전에 의해 곡선 홈을 이동하여, 제3,4 카메라 모듈이 상호간에 이루는 각도를 조절할 수 있다.
본 발명의 일실시예에 따른 광각 영상 제공 방법은 제1 렌즈 모듈을 통해 제1 영역을 촬영한 제1 영역영상을 생성하는 제1 이미지 센서 모듈을 포함하는 제1 카메라 모듈, 제2 렌즈 모듈을 통해 제2 영역을 촬영한 제2 영역영상을 생성하는 제2 이미지 센서 모듈을 포함하는 제2 카메라 모듈, 제3 렌즈 모듈을 통해 제3 영역을 촬영한 제3 영역영상을 생성하는 제3 이미지 센서 모듈을 포함하는 제3 카메라 모듈 및 제4 렌즈 모듈을 통해 제4 영역을 촬영한 제4 영역영상을 생성하는 제4 이미지 센서 모듈을 포함하는 제4 카메라 모듈을 포함하는 광각 영상 제공 시스템에 있어서, 수학식 1에서 도출된 각도값과 수학식 2에서 도출된 각도값에 기초하여 제1,2,3,4 카메라 모듈이 배치된 상태에서, 제1 카메라 모듈이 제1 영역영상을 생성하고, 제2 카메라 모듈이 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하고, 제3 카메라 모듈이 제1 영역의 반대측인 제3 영역을 촬영한 제3 영역영상을 생성하고, 제4 카메라 모듈이 제2 영역의 반대측이며 제3 영역의 우측으로 인접하는 제4 영역을 촬영한 상기 제4 영역영상을 생성하는 촬영 단계; 왜곡 보정부가 제1,2,3,4 영역영상을 각각 왜곡 보정하는 왜곡 보정 단계; 위상차 보정부가 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정하는 위상차 보정 단계; 중첩 보정부가 위상차 보정한 제1,2,3,4 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정 단계; 및 색상 보정부가 중첩하여 보정한 제1,2,3,4 영역영상을 색상 보정하는 색상 보정 단계를 포함할 수 있다.

[수학식 1]
α= (180°- a)×(2/3)
(α는 제1,2,3,4 카메라 모듈 간의 각도, a는 제1,2,3,4 카메라 모듈의 수평 화각)

[수학식 2]
β= (180°- b)×(1/3)
(β 는 제1,2,3,4 이미지 센서 모듈의 각도, b는 제1,2,3,4 카메라 모듈의 수직 화각)
본 발명의 다른 일실시예에 따르면, 왜곡 보정 단계는 왜곡 보정부가 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고, 위상차 보정 단계는 위상차 보정부가 상기 제1,2,3,4 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 제1,2,3,4 영역영상의 위치를 조절하고, 중첩 보정 단계는 중첩 보정부가 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고, 색상 보정 단계는 색상 보정부가 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절할 수 있다.
삭제
본 발명의 실시예에 따르면 사각지대 없이 화각이 좌우 360°, 상하 90°~ 110°의 넓은 화각의 전면 영상을 제공할 수 있으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면 왜곡이 없는 광각 영상을 제공하여 VR 형태로 영상 출력이 가능하며, 영상의 축소, 확대 시에도 왜곡이 발생하지 않는다.
또한, 본 발명의 실시예에 따르면 모바일용 카메라, CCTV용 카메라, 웹 카메라 등의 다양한 카메라 모듈을 활용하고, 전용 프로그램 또는 전용 모바일 어플리케이션을 사용한 보정을 통해 광각 영상을 제공할 수 있다.
나아가, 본 발명의 실시예에 따르면 자동차, 드론, 모바일, 카메라, 선박, 로켓, 의료, 국방, 가정, 레저 등의 카메라가 사용되는 산업전반에 적용하여 넓은 화각의 영상을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 흐름도이다.
도 3 내지 도 7은 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 제1,2,3,4 영역영상의 보정 과정을 설명하기 위한 도면이다.
도 8 내지 도 10은 본 발명의 일실시예에 따른 광각 영상 제공 방법의 보정을 위한 보정 부스를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 제1,2,3,4 카메라의 배치 위치에 따른 제1,2,3,4 카메라의 촬영 배치 각도를 도시한 도면이다.
도 12는 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 구성도이다.
도 13은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 사시도이다.
도 14는 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 각도 조절 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 전개도이다.
이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 구성도이다. 이후부터는 도 1을 참조하여 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 구성을 설명하기로 한다.
도 1에 도시된 바와 같이 본 발명의 일실시예에 따른 광각 영상 제공 시스템은 제1 카메라 모듈(110), 제2 카메라 모듈(115), 제3 카메라 모듈(120), 제4 카메라 모듈(125), 보정 처리부(130) 및 영상 저장부(140)를 포함하여 구성될 수 있으며, 또한 상기 보정 처리부(130)는 왜곡 보정부(131), 위상차 보정부(132), 중첩 보정부(133) 및 색상 보정부(134)를 포함하여 구성될 수 있다.
제1 카메라 모듈(110)은 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈(115)은 상기 제1 영역에 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하며, 제3 카메라 모듈(120)은 상기 제1 영역의 반대측인 제3 영역을 촬영한 제3 영역영상을 생성하며, 제4 카메라 모듈(125)은 상기 제2 영역의 반대측이며 상기 제3 영역의 좌측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성한다.
보다 구체적으로, 상기 제1 카메라 모듈(110)은 정면좌측(front left)에 해당하는 영역을 촬영하여 정면좌측 영상인 제1 영역영상을 생성할 수 있으며, 상기 제2 카메라 모듈(115)은 정면우측(front up)에 해당하는 영역을 촬영하여 정면우측 영상인 제2 영역영상을 생성할 수 있다. 마찬가지로, 상기 제3 카메라 모듈(120)은 후면좌측(back left)에 해당하는 영역을 촬영하여 후면좌측 영상인 제3 영역영상을 생성할 수 있으며, 상기 제4 카메라 모듈(125)은 후면우측(back right)에 해당하는 영역을 촬영하여 후면우측 영상인 제4 영역영상을 생성할 수 있다.
이와 같이 상기 제1,2,3,4 카메라 모듈(110, 115, 120, 125)에서 촬영된 영상에는 광각 왜곡 및 원근 왜곡이 있으며, 4 대의 카메라를 이용하여 촬영한 영상을 인접하도록 중첩시키는 경우에는 위상차, 중첩된 영역, 명함차 또는 색수차가 발생한다.
따라서, 보정 처리부(130)는 이와 같이 영상의 왜곡, 위상차, 중첩된 영역, 명함차 또는 색수차 등을 보정한다. 즉, 상기 보정 처리부(130)는 상기 제1,2,3,4 카메라 모듈(110, 115, 120, 125)에서 촬영된 제1,2,3,4 영역영상을 각각 왜곡 보정 및 위상차 보정하고, 상기 위상차 보정한 제1,2,3,4 영역영상을 오버랩 보정 및 색상 보정한다.
보다 구체적으로, 상기 보정 처리부(130)는 왜곡 보정부(131), 위상차 보정부(132), 중첩 보정부(133) 및 색상 보정부(134)를 포함하여 구성될 수 있다.
상기 왜곡 보정부(131)는 제1,2,3,4 영역영상의 왜곡을 보정하고, 위상차 보정부(132)는 상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정한다. 또한, 중첩 보정부(133)는 상기 위상 보정한 제1,2,3,4 영역영상을 상호 인접하도록 중첩하여 보정하며, 상기 색상 보정부(134)는 상기 중첩하여 보정한 중첩영상을 색상 보정할 수 있다.
보다 상세하게 설명하면, 상기 왜곡 보정부(131)는 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고, 상기 위상차 보정부(132)는 상기 제1,2,3,4 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고, 상기 중첩 보정부(133)는 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고, 상기 색상 보정부(134)는 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절할 수 있다.
영상 저장부(140)는 이와 같이 보정 처리부(130)에서 보정되어 합성된 영상을 저장할 수 있다.
따라서, 본 발명의 실시예에 따르면 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있다.
도 2는 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 흐름도이고, 도 3 내지 도 7은 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 제1,2,3,4 영역영상의 보정 과정을 설명하기 위한 도면이다.
이후부터는 도 2 내지 도 7을 참조하여 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기로 한다.
먼저, 도 2에 도시된 바와 같이 전면좌측(up left) 카메라에 해당하는 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하여 추출하고(S210), 전면우측(up right) 카메라에 해당하는 제2 카메라 모듈이 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하여 추출한다(S211).
또한, 후면좌측(back left) 카메라에 해당하는 제3 카메라 모듈이 제3 영역을 촬영한 제3 영역영상을 생성하여 추출하고(S212), 후면우측 카메라(back right) 카메라에 해당하는 제4 카메라 모듈이 상기 제2 영역의 하측 및 제3 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하여 추출한다(S213).
이와 같이 추출된 제1,2,3,4 영역영상은 원근왜곡과 광각왜곡이 포함되어 있다. 따라서, 왜곡 보정부가 왜곡 상수(Distortion Constant)를 참조하여 상기 제1,2,3,4 영역영상을 각각 광각왜곡과 원근왜곡을 보정한다(S220, S221, S222, S223).
도 3은 이와 같이 광각왜곡 보정과 원근왜곡 보정이 된 제1,2 영역영상을 도시하고 있다.
이후, 상기 위상차 보정부는 위상차 상수(Phase Difference Constant)를 참조하여 상기 광각왜곡과 원근왜곡 보정된 상기 제1,2,3,4 영역영상의 수평기준점을 추출 후, 도 4와 같이 좌표회전 이동을 하여 상기 제1,2 영역영상의 위치를 조절하며, 마찬가지로 제3,4 영역영상의 위치도 조절한다 (S230).
이후에는, 중첩 보정부가 중첩 상수(Overlap Constant)를 참조하여 상기 저장된 제1,2,3,4 영역영상의 크기를 조절 후, 좌표를 이동하여 도 5에서와 같이 중첩되도록 위치 조절한다(S240).
색상 보정부는 도 6에 도시된 바와 같이 중첩하여 보정한 중첩영상에 대해 색상 상수(Color Constant)를 참조해 밝기 및 색수차를 조절하여, 도 7에서와 같이 제1,2,3,4 영역영상이 중첩되어 합성된 영상을 생성하여 저장하고(S250, S255), 이와 같이 저장된 합성 영상을 출력할 수 있다(S260).
도 8 내지 도 10은 본 발명의 일실시예에 따른 광각 영상 제공 방법의 보정을 위한 보정 부스를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 광각왜곡과 원근왜곡을 보정하기 위한 보정 부스(Calibration Booth)를 도시하고 있고, 도 9는 본 발명의 일실시예에 따른 중첩 영상의 보정을 위한 보정 부스(Calibration Booth)를 도시하고 있다.
또한, 도 10는 본 발명의 일실시예에 따른 영역영상의 밝기 및 색수차를 보정하기 위한 보정 부스를 도시하고 있다.
따라서, 본 발명의 실시예에 따르면 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있으며, 왜곡이 없는 광각 영상을 제공하여 VR 형태로 영상 출력이 가능하며, 영상의 축소, 확대 시에도 왜곡이 발생하지 않는다.
나아가, 본 발명의 실시예에 따르면 자동차, 드론, 모바일, 카메라, 선박, 로켓, 의료, 국방, 가정, 레저 등의 카메라가 사용되는 산업전반에 적용하여 넓은 화각의 영상을 제공할 수 있다.
도 11은 본 발명의 일실시예에 따른 제1,2,3,4 카메라의 배치 위치에 따른 제1,2,3,4 카메라의 촬영 배치 각도를 도시한 도면이다.
이후부터는 도 11을 참조하여 본 발명의 일실시예에 따른 제1,2,3,4 카메라의 배치에 따른 제1,2,3,4 카메라의 촬영 각도를 설명하기로 한다.
도 11의 (a)에서와 같이 제1,2,3,4 카메라가 바닥과 천정을 제외한 영역에서 사각지대 없이 화각이 좌우 360°, 상하 90°~ 100°의 넓은 화각의 전면 영상을 제공할 수 있다.
또한, 도 11의 (b)에서와 같이 제1,2,3,4 카메라가 벽면 등과 같이 지면으로부터 수직으로 세워지는 측부에 배치되는 경우에는, 바닥과 천정을 제외한 그 외의 영역의 영상을 촬영하여 제공할 수 있다.
도 12는 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 구성도이고, 도 13은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 사시도이다.
또한, 도 14는 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 각도 조절 방법을 설명하기 위한 도면이고, 도 15는 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 전개도이다.
도 12 및 도 13을 참조하면, 본 발명의 일실시예에 따른 제1,2,3,4 카메라 모듈(110, 115, 120, 125)은 각각 렌즈 모듈(111), 이미지 센서 모듈(112) 및 구조체(113)를 포함하여 구성될 수 있다.
이미지 센서 모듈(112)은 상기 렌즈 모듈(111)을 통해 해당 영역을 촬영한 영역영상을 생성하며, 구조체(113)는 상기 렌즈 모듈(111)과 상기 이미지 센서 모듈(112)을 수납하도록 구성될 수 있다.
이때, 상기 구조체(113)는 경량화를 위해 알루미늄 프레임으로 구성될 수 있으며, 본 발명의 일실시예에 따른 고정형의 광각 영상 제공 시스템은 제1,2,3,4 카메라 모듈(110, 115, 120, 125)이 4면에 배치되도록 고정되어 360°를 촬영하는 정방형 촬영 시스템으로 구성될 수 있다.
또한, 도 14 및 도 15에서와 같이 제1,2 링크부(151, 152)가 상기 제1,2 카메라 모듈(110, 115)의 각 일측에 각각 결합되고, 마찬가지로 제3,4 링크부(153, 154)가 상기 제3,4 카메라 모듈(120, 125)의 각 일측에 각각 결합되며, 원형 판(150)은 고정판(160, 161)의 사이에 고정되어 모터에 의해 회전하도록 구성될 수 있다.
또한, 상기 원형 판(150)에는 각 상기 제1,2,3,4 링크부(151, 152)가 결합되어 이동하는 곡선 홈을 포함하도록 구성될 수 있다.
그에 따라, 제1,2 카메라 모듈(110, 115)은 각 상기 일측에 대향하는 각 타측이 상호간에 힌지 결합되도록 구성되어, 상기 제1,2 링크부(151, 152)는 상기 원형 판(150)의 회전에 의해 상기 곡선 홈을 이동하며, 마찬가지로 3,4 카메라 모듈(120, 125)은 각 상기 일측에 대향하는 각 타측이 상호간에 힌지 결합되도록 구성되어, 상기 제3,4 링크부(153, 154)는 상기 원형 판(150)의 회전에 의해 상기 곡선 홈을 이동할 수 있다.
따라서, 본 발명의 일실시예에 따르면 상기 원형 판(150)의 회전에 의해 상기 제1,2,3,4 카메라 모듈(110, 115, 120, 125)이 상호간에 이루는 각도를 조절할 수 있다.
이와 같은 제1,2,3,4 카메라 모듈(110, 115, 120, 125) 간의 각도 조절 시에는, 모터를 제어해 상기 원형 판(150)을 회전시켜 제1,2,3,4 카메라 모듈(110, 115, 120, 125) 간의 각도를 조절하고, 줌 인 및 줌 아웃을 통해 최적의 영상 촬영 범위를 얻을 수 있다.
한편, 본 발명에 따르면 제1,2,3,4 카메라 모듈(110, 115, 120, 125)의 화각에 따라 상기 제1,2,3,4 카메라 모듈(110, 115, 120, 125)의 각도를 정할 수 있다.
[수학식 1]
α= (180°- a)×(2/3)
(이때, α는 각 제1,2,3,4 카메라 모듈 간의 각도, a는 제1,2,3,4 카메라 모듈의 수평 화각임.)
[수학식 2]
β= (180°- b)×(1/3)
(이때, β 는 각 제1,2,3,4 카메라 모듈의 이미지 센서 모듈의 각도, b는 제1,2,3,4 카메라 모듈의 수직 화각임.)
본 발명의 일실시예에 따르면, 도 14에 도시된 바와 같이 제1,2,3,4 카메라 모듈(110, 115, 120, 125)의 배치를 위하여 수학식 1을 이용해 각 제1,2,3,4 카메라 모듈(110, 115, 120, 125) 간의 각도를 계산할 수 있으며, 수학식 2를 이용해 각 제1,2,3,4 카메라 모듈(110, 115, 120, 125)의 이미지 모듈(112)의 각도를 계산하여 배치할 수 있다.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 제1 카메라 모듈
115: 제2 카메라 모듈
120: 제3 카메라 모듈
125: 제4 카메라 모듈
130: 보정 처리부
131: 왜곡 보정부
132: 위상차 보정부
133: 중첩 보정부
134: 색상 보정부
140: 영상 저장부

Claims (9)

  1. 제1 렌즈 모듈과, 상기 제1 렌즈 모듈을 통해 제1 영역을 촬영한 제1 영역영상을 생성하는 제1 이미지 센서 모듈과, 상기 제1 렌즈 모듈과 제1 이미지 센서 모듈이 수납되는 제1 구조체를 포함하는 제1 카메라 모듈;
    제2 렌즈 모듈과, 상기 제2 렌즈 모듈을 통해 상기 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하는 제2 이미지 센서 모듈과, 상기 제2 렌즈 모듈과 제2 이미지 센서 모듈이 수납되는 제2 구조체를 포함하는 제2 카메라 모듈;
    제3 렌즈 모듈과, 상기 제3 렌즈 모듈을 통해 상기 제1 영역의 반대측인 제3 영역을 촬영한 제3 영역영상을 생성하는 제3 이미지 센서 모듈과, 상기 제3 렌즈 모듈과 제3 이미지 센서 모듈이 수납되는 제3 구조체를 포함하는 제3 카메라 모듈;
    제4 렌즈 모듈과, 상기 제4 렌즈 모듈을 통해 상기 제2 영역의 반대측이며 상기 제3 영역의 좌측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성하는 제4 이미지 센서 모듈과, 상기 제4 렌즈 모듈과 제4 이미지 센서 모듈이 수납되는 제4 구조체를 포함하는 제4 카메라 모듈; 및
    상기 제1,2,3,4 영역영상을 각각 왜곡 보정 및 위상차 보정하고, 상기 위상차 보정한 제1,2,3,4 영역영상을 오버랩 보정 및 색상 보정하는 보정 처리부;
    를 포함하고,
    하기 수학식 1에서 도출된 각도값과 하기 수학식 2에서 도출된 각도값에 기초하여 상기 제1,2,3,4 카메라 모듈이 배치되는 광각 영상 제공 시스템.

    [수학식 1]
    α= (180°- a)×(2/3)
    (α는 상기 제1,2,3,4 카메라 모듈 간의 각도, a는 상기 제1,2,3,4 카메라 모듈의 수평 화각)

    [수학식 2]
    β= (180°- b)×(1/3)
    (β 는 상기 제1,2,3,4 이미지 센서 모듈의 각도, b는 상기 제1,2,3,4 카메라 모듈의 수직 화각)
  2. 청구항 1에 있어서,
    상기 보정 처리부는,
    상기 제1,2,3,4 영역영상을 각각 왜곡 보정하는 왜곡 보정부;
    상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정하는 위상차 보정부;
    상기 위상차 보정한 제1,2,3,4 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정부; 및
    상기 중첩하여 보정한 중첩영상을 색상 보정하는 색상 보정부;
    를 포함하는 광각 영상 제공 시스템.
  3. 청구항 2에 있어서,
    상기 왜곡 보정부는 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고,
    상기 위상차 보정부는 상기 제1,2,3,4, 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고,
    상기 중첩 보정부는 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고,
    상기 색상 보정부는 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절하는 광각 영상 제공 시스템.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 제1,2 카메라 모듈의 각 일측에 각각 결합되는 제1,2 링크부;
    상기 제3,4 카메라 모듈의 각 일측에 각각 결합되는 제3,4 링크부; 및
    모터에 의해 회전하며, 각 상기 제1,2,3,4 링크부가 결합되어 이동하는 곡선 홈을 포함하는 원형 판;
    을 더 포함하는 광각 영상 제공 시스템.
  6. 청구항 5에 있어서,
    상기 제1,2 카메라 모듈은,
    각 상기 일측에 대향하는 각 타측이 상호간에 힌지 결합되고,
    상기 제3,4 카메라 모듈은,
    각 상기 일측에 대향하는 각 타측이 상호간에 힌지 결합되고,
    상기 제1,2 링크부는,
    상기 원형 판의 회전에 의해 상기 곡선 홈을 이동하여, 상기 제1,2 카메라 모듈이 상호간에 이루는 각도를 조절하고,
    상기 제3,4 링크부는,
    상기 원형 판의 회전에 의해 상기 곡선 홈을 이동하여, 상기 제3,4 카메라 모듈이 상호간에 이루는 각도를 조절하는 광각 영상 제공 시스템.
  7. 제1 렌즈 모듈을 통해 제1 영역을 촬영한 제1 영역영상을 생성하는 제1 이미지 센서 모듈을 포함하는 제1 카메라 모듈, 제2 렌즈 모듈을 통해 제2 영역을 촬영한 제2 영역영상을 생성하는 제2 이미지 센서 모듈을 포함하는 제2 카메라 모듈, 제3 렌즈 모듈을 통해 제3 영역을 촬영한 제3 영역영상을 생성하는 제3 이미지 센서 모듈을 포함하는 제3 카메라 모듈 및 제4 렌즈 모듈을 통해 제4 영역을 촬영한 제4 영역영상을 생성하는 제4 이미지 센서 모듈을 포함하는 제4 카메라 모듈을 포함하는 광각 영상 제공 시스템에 있어서,
    하기 수학식 1에서 도출된 각도값과 하기 수학식 2에서 도출된 각도값에 기초하여 상기 제1,2,3,4 카메라 모듈이 배치된 상태에서, 상기 제1 카메라 모듈이 상기 제1 영역영상을 생성하고, 상기 제2 카메라 모듈이 상기 제1 영역의 우측으로 인접하는 상기 제2 영역을 촬영한 상기 제2 영역영상을 생성하고, 상기 제3 카메라 모듈이 상기 제1 영역의 반대측인 상기 제3 영역을 촬영한 상기 제3 영역영상을 생성하고, 상기 제4 카메라 모듈이 상기 제2 영역의 반대측이며 상기 제3 영역의 우측으로 인접하는 상기 제4 영역을 촬영한 상기 제4 영역영상을 생성하는 촬영 단계;
    왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 왜곡 보정하는 왜곡 보정 단계;
    위상차 보정부가 상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정하는 위상차 보정 단계;
    중첩 보정부가 상기 위상차 보정한 제1,2,3,4 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정 단계; 및
    색상 보정부가 상기 중첩하여 보정한 제1,2,3,4 영역영상을 색상 보정하는 색상 보정 단계;
    를 포함하는 광각 영상 제공 방법.

    [수학식 1]
    α= (180°- a)×(2/3)
    (α는 상기 제1,2,3,4 카메라 모듈 간의 각도, a는 상기 제1,2,3,4 카메라 모듈의 수평 화각)

    [수학식 2]
    β= (180°- b)×(1/3)
    (β 는 상기 제1,2,3,4 이미지 센서 모듈의 각도, b는 상기 제1,2,3,4 카메라 모듈의 수직 화각)
  8. 청구항 7에 있어서,
    상기 왜곡 보정 단계는 상기 왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고,
    상기 위상차 보정 단계는 상기 위상차 보정부가 상기 제1,2,3,4 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고,
    상기 중첩 보정 단계는 상기 중첩 보정부가 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고,
    상기 색상 보정 단계는 상기 색상 보정부가 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절하는 광각 영상 제공 방법.
  9. 삭제
KR1020180048328A 2018-04-26 2018-04-26 광각 영상 제공 방법 및 시스템 KR102057602B1 (ko)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1020180048328A KR102057602B1 (ko) 2018-04-26 2018-04-26 광각 영상 제공 방법 및 시스템
PCT/KR2019/005074 WO2019209069A1 (ko) 2018-04-26 2019-04-26 광각 영상 제공 방법
US17/050,460 US20210243367A1 (en) 2018-04-26 2019-04-26 Wide-angle image providing system
CN201980028456.XA CN112119626B (zh) 2018-04-26 2019-04-26 广角影像提供方法
PCT/KR2019/005068 WO2019209067A1 (ko) 2018-04-26 2019-04-26 광각 영상 제공 시스템
CN201980028471.4A CN112154647B (zh) 2018-04-26 2019-04-26 广角影像提供系统
EP19792249.5A EP3787278A4 (en) 2018-04-26 2019-04-26 WIDE ANGLE IMAGE SUPPLY SYSTEM
EP19791751.1A EP3787277A4 (en) 2018-04-26 2019-04-26 WIDE IMAGE DELIVERY METHOD
JP2021509710A JP7231281B2 (ja) 2018-04-26 2019-04-26 広角映像提供方法
US17/050,461 US11523054B2 (en) 2018-04-26 2019-04-26 Wide-angle image providing method
JP2021509709A JP7185357B2 (ja) 2018-04-26 2019-04-26 広角映像提供システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180048328A KR102057602B1 (ko) 2018-04-26 2018-04-26 광각 영상 제공 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190124407A KR20190124407A (ko) 2019-11-05
KR102057602B1 true KR102057602B1 (ko) 2019-12-20

Family

ID=68576982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180048328A KR102057602B1 (ko) 2018-04-26 2018-04-26 광각 영상 제공 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102057602B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008107747A (ja) * 2006-10-26 2008-05-08 Mitsumasa Amada 同時複数枚撮影装置
JP2009212818A (ja) * 2008-03-04 2009-09-17 Ricoh Co Ltd 画像処理方法、画像処理装置及び画像撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008107747A (ja) * 2006-10-26 2008-05-08 Mitsumasa Amada 同時複数枚撮影装置
JP2009212818A (ja) * 2008-03-04 2009-09-17 Ricoh Co Ltd 画像処理方法、画像処理装置及び画像撮像装置

Also Published As

Publication number Publication date
KR20190124407A (ko) 2019-11-05

Similar Documents

Publication Publication Date Title
CN112154647B (zh) 广角影像提供系统
US7667730B2 (en) Composite surveillance camera system
US7358498B2 (en) System and a method for a smart surveillance system
US10489885B2 (en) System and method for stitching images
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
US20140015920A1 (en) Virtual perspective image synthesizing system and its synthesizing method
CN111062234A (zh) 一种监控方法、智能终端及计算机可读存储介质
WO2021184302A1 (zh) 图像处理方法、装置、成像设备、可移动载体及存储介质
KR101916419B1 (ko) 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법
KR102062736B1 (ko) 광각 영상 제공 방법 및 시스템
KR102057602B1 (ko) 광각 영상 제공 방법 및 시스템
KR102062734B1 (ko) 광각 영상 제공 방법 및 시스템
CN104363421A (zh) 实现多角度摄像头监控效果的方法和装置
US11601627B2 (en) Apparatus, control method, and storage medium
KR101794993B1 (ko) 영상 왜곡 보정 장치 및 방법
WO2018001231A1 (zh) 图像采集复合镜头及其应用
JP2002347517A (ja) 車載カメラおよび車両の周囲監視装置
KR102373572B1 (ko) 서라운드 뷰 모니터링 시스템 및 그 방법
JP2001258050A (ja) 立体映像撮像装置
KR100923233B1 (ko) 가시범위가 향상된 전방위 수퍼파노라마 감시장치
Thibault et al. Panomorph lenses: a low-cost solution for panoramic surveillance
US10033914B2 (en) Optoelectronic surveillance system with variable optical field
JP2005099572A (ja) 広域撮影方法および表示方法
CN116843595A (zh) 融合摄影方法、装置、电子设备及车辆

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right