KR20220106592A - 어안 카메라 영상 분석 장치 및 방법 - Google Patents
어안 카메라 영상 분석 장치 및 방법 Download PDFInfo
- Publication number
- KR20220106592A KR20220106592A KR1020210009699A KR20210009699A KR20220106592A KR 20220106592 A KR20220106592 A KR 20220106592A KR 1020210009699 A KR1020210009699 A KR 1020210009699A KR 20210009699 A KR20210009699 A KR 20210009699A KR 20220106592 A KR20220106592 A KR 20220106592A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image analysis
- camera image
- analysis
- post
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000010191 image analysis Methods 0.000 claims abstract description 61
- 238000012805 post-processing Methods 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000003703 image analysis method Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G06T5/006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G06T5/005—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
본 발명의 일 양상에 따른 카메라 영상 분석 장치는 입력된 어안 카메라 영상을 일부 영역이 겹쳐지도록 기 설정된 크기의 시야각으로 중첩하여 분할하고, 분할된 영상에 대하여 각각 왜곡보정(dewarping)한 후 설정된 조합 방법으로 왜곡보정된 영상을 조합하여 분석영상을 생성하여 분석 영상에 포함된 객체를 검출한다. 이때, 영상 분석 장치는 후처리로 객체 검출 결과에서 중복 인식된 결과를 제거한다.
Description
본 발명은 영상 분석 기술에 관한 것으로, 보다 상세하게는 영상 왜곡이 심한 어안 카메라 영상을 분석하는 기술에 관한 것이다.
인공지능 기술 발달에 따라 지능형 영상 분석기능이 CCTV 등과 같은 실제 제품에 탑재되어 활용되고 있다. CCTV 등에 사용되는 카메라 중에 사각지대 없이 전방위 감시를 가능하게 하는 어안(Fisheye) 카메라가 널리 사용되고 있다.
어안 카메라의 경우 획득되는 영상이 왜곡이 심해서, 통상의 지능형 영상 분석 방법으로는 사람 등과 같은 객체를 정확히 인식할 수 없다. 이는 어안 카메라에 의해 촬영된 영상의 경우 직선이 곡선으로 휘어지고, 지면이나 천장 쪽 방향들이 영상 내에서 제각각이 되는 등 왜곡이 심하기 때문이다. 따라서, 통상의 영상분석 기법이 제대로 적용되기가 쉽지 않다.
대한민국 등록특허 제10-1937582호는 인도 보안 안전 시스템에 대한 것으로 어안 카메라에 의해 촬영된 영상을 촬영된 방향에 따라 분할하고, 분할된 영상의 왜곡을 보정한 후, 보정된 이미지에 포함된 객체를 식별하는 시스템이 제안되어 있다. 그러나, 이 인도 보안 안전 시스템은 분할 영상의 경계면에 위치하는 객체가 인식되지 않거나 잘못 인식되는 문제가 발생할 수 있다.
본 발명은 일반적인 카메라 영상을 분석하는 영상 분석기를 크게 변경하지 않고 전처리와 후처리를 거쳐 왜곡이 심한 어안 카메라 영상을 분석할 수 있는 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 양상에 따른 카메라 영상 분석 장치는 어안 카메라 영상을 분석하는 장치로 전처리부와, 영상분석부와, 후처리부를 포함한다.
전처리부는 입력된 어안 카메라 영상을 일부 영역이 겹쳐지도록 기 설정된 크기의 시야각(Field of View)으로 중첩하여 분할한다. 또한 전처리부는 분할된 영상에 대하여 각각 왜곡보정(dewarping)한 후 기 설정된 조합 방법으로 왜곡보정된 영상을 조합하여 분석영상을 생성한다.
영상분석부는 분석영상을 입력받아 영상에 포함된 객체를 검출한다.
후처리부는 영상분석부의 객체 검출 결과에서 중복 인식된 결과를 제거한다.
발명의 양상에 따라서는 후처리부는 객체 검출 결과에서 객체의 어안렌즈 카메라 영상의 영역 좌표를 기초로 중복 객체를 판별하여 중복 결과를 제거하거나, 검출된 객체의 영상을 비교하여 객체들간의 유사성을 판별하여 중복 결과를 제거할 수 있다.
본 발명의 추가적 양상에 따르면, 카메라 영상 분석 장치는 분할할 시야각의 크기와 분할된 영상의 조합 방법을 사용자로부터 입력 받아 설정하는 사용자 인터페이스부를 더 포함할 수 있다.
또한, 사용자 인터페이스부는 사용자의 입력에 따라 어안렌즈 카메라 영상에서 ROI 영역을 설정할 수 있으며, 이때 전처리부는 ROI 영역의 경계부분이 중첩되도록 설정된 크기의 시야각으로 분할한다.
본 발명의 카메라 영상 분석 장치에 의하면 일반적인 카메라 영상을 분석하는 영상 분석기를 크게 변경하지 않고 전처리와 후처리를 단계를 추가하여 왜곡이 심한 어안 카메라 영상을 분석할 수 있다.
도 1은 본 발명의 카메라 영상 분석 장치의 블록도이다.
도 2는 카메라 영상 분석 장치가 분석할 어안 카메라 영상의 예시이다.
도 3은 객체 인식 오류가 발생할 수 있는 분할 경계면에 위치한 객체의 예시이다.
도 4는 도 2의 영상으로부터 본 발명의 카메라 영상 분석 장치에 의해 생성된 분석영상의 예시이다.
도 5는 본 발명의 일 실시 예에 따른 영상 분석 방법의 절차도이다.
도 6은 본 발명의 또 다른 실시 예에 따라 ROI 영역을 설정하여 영상을 분석하는 방법의 절차도이다.
도 2는 카메라 영상 분석 장치가 분석할 어안 카메라 영상의 예시이다.
도 3은 객체 인식 오류가 발생할 수 있는 분할 경계면에 위치한 객체의 예시이다.
도 4는 도 2의 영상으로부터 본 발명의 카메라 영상 분석 장치에 의해 생성된 분석영상의 예시이다.
도 5는 본 발명의 일 실시 예에 따른 영상 분석 방법의 절차도이다.
도 6은 본 발명의 또 다른 실시 예에 따라 ROI 영역을 설정하여 영상을 분석하는 방법의 절차도이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시 예들을 통해 구체화된다. 각 실시 예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시 예 내에서 다양한 조합이 가능한 것으로 이해된다. 블록도의 각 블록은 어느 경우에 있어서 물리적인 부품을 표현할 수 있으나 또 다른 경우에 있어서 하나의 물리적인 부품의 기능의 일부 혹은 복수의 물리적인 부품에 걸친 기능의 논리적인 표현일 수 있다. 때로는 블록 혹은 그 일부의 실체는 프로그램 명령어들의 집합(set)일 수 있다. 이러한 블록들은 전부 혹은 일부가 하드웨어, 소프트웨어 혹은 이들의 결합에 의해 구현될 수 있다.
도 1은 본 발명의 카메라 영상 분석 장치의 블록도이다. 본 발명의 일 양상에 따른 카메라 영상 분석 장치(10)는 어안 카메라(20) 영상을 분석하는 장치로 전처리부(11)와, 영상분석부(13)와, 후처리부(15)를 포함한다.
영상 분석 장치(10)는 프로세서와 메모리를 구비한 일종의 컴퓨팅 장치로 구성되어 특정 지역의 사람 또는 물체를 감시하는 영상감시 시스템에 사용될 수 있다. 카메라 영상을 분석하는 영상 분석 장치(10)는 실내 등의 장소에 설치된 카메라에 의해 촬영된 영상을 분석한다. 이때 영상 분석 장치(10)는 카메라가 획득할 수 있는 시각적 범위 내의 영상을 분석하므로 비교적 광각의 렌즈를 사용하는 단일 카메라 또는 다수의 카메라를 이용하여 사람 등의 객체를 인식한다.
영상 분석 장치(10)는 넓은 범위를 감시하기 위하여 다수의 카메라를 이용할 수도 있지만 한 번에 모니터링 해야 하는 부담이 증가하기 때문에 넓은 화각을 가진 단일 카메라를 사용할 수 있다. 어안 카메라(20)는 180도에서 360도의 화각을 갖는 일종의 광각 렌즈인 어안 렌즈를 통하여 정면을 비롯하여 측면 또는 후면까지 촬영이 가능한 카메라이다. 따라서, 다수의 카메라를 사용하는 대신 하나의 어안 카메라(20)를 사용하여 넓은 범위에 대한 영상을 분석할 수 있다. 도 2는 카메라 영상 분석 장치(10)가 분석할 어안 카메라 영상의 예시이다. 도 2에 도시된 예는 어안 카메라의 영상은 카메라를 기준으로 하는 360도의 영상이다. 다만, 일반적인 카메라와 달리 어안 카메라는 카메라의 거리에 따라 왜곡의 정도가 다른 영상을 제공한다.
어안 카메라 영상은 왜곡을 보정하여 평면화한 후 영상을 분석하는 것이 일반적이며, 어안 카메라 영상을 왜곡 보정하기 전에 적절한 시야각(FOV)으로 영상을 분할하고, 분할된 어안 카메라 영상을 각각 왜곡보정한다. 다만, 영상을 분할하는 과정에서 분할 경계면에 걸쳐진 객체가 있는 경우 해당 객체를 인식하지 못할 수 있다. 도 3이 객체 인식 오류가 발생할 수 있는 분할 경계면에 위치한 객체를 예시적으로 도시하고 있다.
전처리부(11)는 분할 경계면에 걸쳐진 객체가 인식되지 않거나 잘못 인식될 경우를 대비하여 입력된 어안 카메라 영상을 일부 영역이 겹쳐지도록 기 설정된 크기의 시야각(Field of View)으로 중첩하여 분할한다. 즉, 전처리부(11)는 일부 영역이 겹쳐지도록 시야각(FOV)을 나누어 분할 영상을 구성하여, 객체가 분할된 하나의 영상의 경계면에 위치하여 객체의 일부가 잘려지더라도 다른 분할 영상에서 완전하게 표시될 수 있도록 한다.
또한 전처리부(11)는 설정된 시야각으로 분할된 영상에 대하여 각각 왜곡보정(dewarping)한다. 어안 카메라 영상의 왜곡 보정은 이미지의 3차원 좌표를 설정하여 상이 맺히는 방향마다 이 좌표에 투영되는 카메라의 중심으로부터 거리를 양각의 함수로 설정하여 이를 다시 분해함으로써 평면화 시킨 이미지를 도출한다. 이 때, 카메라의 중심이 투영되는 방식에 따라 등거리 투영, 등입체각 투영, 스테레오그래픽 투영 등으로 구분된다. 어안 카메라의 왜곡보정 알고리즘은 널리 알려진 기술로 자세한 설명은 생략한다.
본 발명의 영상 분석 장치(10)는 일반적인 영상분석기를 최소한으로 변경하여 사용하기 때문에 분할되어 왜곡보정된 각각의 영상을 따로 분석하는 것이 아니라 하나의 영상으로 만든 후 분석한다. 따라서, 전처리부(11)는 기 설정된 조합 방법으로 왜곡보정된 영상을 조합하여 분석영상을 생성한다. 분석영상은 객체를 인식하기 위해 영상분석기에 입력되는 영상이다. 도 4는 도 2의 영상으로부터 본 발명의 카메라 영상 분석 장치에 의해 생성된 분석영상의 예시이다. 도 4의 예시는 어안 카메라의 영상을 6개의 시야각으로 분할하되 일부 영역이 중첩되도록 분할한 후 각각의 영상을 왜곡보정하고 3x2로 조합하여 하나의 영상으로 생성한 것이다. 도 4의 예시에서 각 왜곡보정된 분할 영상의 일부 영역이 겹쳐진 것을 확인할 수 있다. 3x2 조합 영상은 하나의 예시이며, 다른 예로 영상을 8개의 시야각으로 분할하고 4x2 조합으로 분석영상을 생성할 수 있다.
영상분석부(13)는 분석영상을 입력받아 영상에 포함된 객체를 검출한다. 영상분석부(13)는 일반적으로 사용되는 기존의 영상분석기를 크게 변경하지 않고 사용한다. 따라서, 영상분석부(13)가 사용하는 영상분석 알고리즘은 딥러닝 알고리즘일 수 있다. 일 예로 영상분석 알고리즘은 YOLO(You only Look Once), SSD 등의 FAST 객체 탐색 알고리즘일 수 있다. 영상분석부(13)는 일반적으로 경계 상자로 인식된 객체를 범위를 표시할 수 있다.
도 4에 도시된 것과 갈이 경계 상자(bounding box)로 표시된 일부 객체가 분할된 영상에서 중복으로 나타나며 영상분석부(13)에 의해 해당 객체들이 중복하여 인식될 수 있다. 어안 카메라 영상을 중첩되게 분할함으로 인해 발생하는 객체의 중복 인식 문제를 해결하기 위하여 후처리부(15)는 영상분석부(13)의 객체 검출 결과에서 중복 인식된 결과를 제거한다.
발명의 양상에 따라서는 후처리부(15)는 객체 검출 결과에서 객체의 어안렌즈 카메라 영상의 영역 좌표를 기초로 중복 객체를 판별하여 중복 결과를 제거할 수 있다. 즉, 후처리부(15)는 동일 종류의 객체에 대하여 어안 카메라 영상 좌표 상 상당 부분이 겹치는 객체는 하나의 객체로 처리할 수 있다. 따라서, 영상분석부(13)가 인식한 객체를 표시하는 경계 상자의 좌표는 어안 카메라 영상에서의 좌표로 포함할 수 있다. 발명의 양상에 따라서는 경계 상자의 분할 영상의 좌표를 어안 카메라 영상의 좌표로 변환할 수 있고, 변환된 좌표를 기초로 중복 여부를 판별할 수 있다.
발명의 양상에 따라서는 후처리부(15)는 검출된 객체의 영상을 비교하여 객체들간의 유사성을 판별하여 중복 결과를 제거할 수 있다. 후처리부(15)는 데이터 재식별(Data Re-identification) 알고리즘을 사용하여 객체들간의 유사성을 판별할 수 있다.
본 발명의 추가적 양상에 따르면, 카메라 영상 분석 장치(10)는 분할할 시야각의 크기와 분할된 영상의 조합 방법을 사용자로부터 입력 받아 설정하는 사용자 인터페이스부(17)를 더 포함할 수 있다. 어안 카메라 영상의 분할은 기 설정된 시야각의 크기에 따라 분할할 수 있지만, 사용자가 사용자 인터페이스부(17)를 통하여 입력한 시야각의 크기에 따라 영상을 분할할 수 있다. 다만, 사용자가 입력한 시야각의 크기에 따라 영상을 분할할 때도 일부 영역이 중첩되도록 영상을 분할한다. 또한, 사용자는 분할된 영상을 조합하여 분석영상을 생성하는 조합방법을 사용자 인터페이스를 통해 설정할 수 있다.
사용자는 사용자 인터페이스부(17)를 통해 어안 카메라 영상에서 ROI 영역을 설정할 수 있다. 이때 전처리부(11)는 ROI 영역의 경계부분이 중첩되도록 설정된 크기의 시야각으로 분할한다. 또한, 사용자가 설정할 수 있는 ROI 영역은 하나 이상일 수 있다.
도 5는 본 발명의 일 실시 예에 따른 영상 분석 방법의 절차도이다. 본 발명의 일 실시 예에 따른 어안 카메라 영상을 분석하는 영상 분석 방법은 영상분할 단계와, 왜곡보정 단계와, 영상조합 단계와, 영상분석 단계와, 후처리 단계를 포함한다.
영상 분석 방법의 각 단계는 적어도 그 기능의 일부가 프로세서와 메모리를 갖춘 일종의 컴퓨팅 장치에서 실행되는 컴퓨터 명령어 세트로 구성되어 있다.
어안 카메라 영상은 도 2에 도시된 예시 형태 왜곡된 영상이다. 영상을 보정하여 평면화하지 않고 영상을 분석하는 것이 어려우며, 어안 카메라 영상을 왜곡 보정하기 전에 적절한 시야각(FOV)으로 영상을 분할하고, 분할된 어안 카메라 영상을 각각 왜곡보정하는 것이 일반적이다.
영상분할 단계는 도 3에 도시된 예와 같이 어안 카메라 영상을 분석하는 방법과 달리 영상 분할 과정에서 분할 경계면에 걸쳐진 객체의 인식 오류에 대비하여 영상 분석 장치(10)가 입력된 어안 카메라 영상을 일부 영역이 겹쳐지도록 기 설정된 크기의 시야각(FOV)으로 중첩하여 분할하는 단계(S1000)이다. 즉, 영상분할 단계는 영상 분석 장치(10)가 일부 영역이 겹쳐지도록 시야각(FOV)을 나누어 분할 영상을 구성하여, 객체가 분할된 하나의 영상의 경계면에 위치하여 객체의 일부가 잘려지더라도 다른 분할 영상에서 완전하게 표시될 수 있도록 한다.
왜곡보정 단계는 영상 분석 장치(10)가 설정된 시야각으로 분할된 영상에 대하여 각각 왜곡보정(dewarping)하는 단계(S1020)이다. 이때 사용되는 왜곡보정 알고리즘은 널리 알려진 기술로 자세한 설명은 생략한다.
영상조합 단계는 영상 분석 장치(10)가 기 설정된 조합 방법으로 왜곡보정된 영상을 조합하여 분석영상을 생성하는 단계(S1040)이다. 본 발명의 영상 분석 장치(10)는 일반적인 영상분석기를 최소한으로 변경하여 사용하기 때문에 분할되어 왜곡보정된 각각의 영상을 따로 분석하는 것이 아니라 하나의 영상으로 만든 후 분석한다. 도 4는 도 2의 영상으로부터 본 발명의 카메라 영상 분석 장치(10)에 의해 생성된 분석영상의 예시이며, 어안 카메라의 영상을 6개의 시야각으로 분할하되 일부 영역이 중첩되도록 분할한 후 각각의 영상을 왜곡보정하고 3x2로 조합하여 하나의 영상으로 생성한 것이다. 영상조합 방법은 사용자 인터페이스를 통해 사용자로부터 분할할 시야각의 크기와 분할된 영상의 조합 방법을 사용자로부터 입력 받아 설정할 수 있다.
영상분석 단계는 영상 분석 장치(10)가 분석영상을 입력받아 영상에 포함된 객체를 검출하는 단계(S1060)이다. 영상분석 단계에서 사용하는 영상분석 기능은 일반적으로 사용되는 기존의 영상분석 기능을 크게 변경하지 않고 사용한다. 따라서, 영상분석 단계가 사용하는 영상분석 알고리즘은 딥러닝 알고리즘일 수 있다. 일 예로 영상분석 알고리즘은 YOLO(You only Look Once), SSD 등의 FAST 객체 탐색 알고리즘일 수 있다. 영상분석부(13)는 일반적으로 경계 상자로 인식된 객체를 범위를 표시할 수 있다.
후처리 단계는 영상 분석 장치(10)가 도 4에 도시된 것과 갈이 경계 상자(bounding box)로 표시된 일부 객체가 분할된 영상에서 중복으로 나타나는 문제를 해결하기 위하여 영상분석 단계의 객체 검출 결과에서 중복 인식된 결과를 제거하는 단계(S1080)이다.
발명의 양상에 따라서는 후처리 단계는 객체 검출 결과에서 객체의 어안렌즈 카메라 영상의 영역 좌표를 기초로 중복 객체를 판별하여 중복 결과를 제거하는 단계일 수 있다. 따라서, 영상분석 단계에서 인식한 객체를 표시하는 경계 상자의 좌표는 어안 카메라 영상에서의 좌표로 포함할 수 있다. 발명의 양상에 따라서는 경계 상자의 분할 영상의 좌표를 어안 카메라 영상의 좌표로 변환할 수 있고, 변환된 좌표를 기초로 중복 여부를 판별할 수 있다.
발명의 양상에 따라서는 후처리 단계는 검출된 객체의 영상을 비교하여 객체들간의 유사성을 판별하여 중복 결과를 제거하는 단계일 수 있다. 후처리 단계는 데이터 재식별(Data Re-identification) 알고리즘을 사용하여 객체들간의 유사성을 판별할 수 있다.
도 6은 본 발명의 또 다른 실시 예에 따라 ROI 영역을 설정하여 영상을 분석하는 방법의 절차도이다. 도 6에 도시된 절차는 도 5에 도시된 절차에 ROI 설정 단계가 추가된 절차이다. 본 발명의 또 다른 실시 예에 따르면 영상 분석 방법은 ROI 설정 단계(S2000)와, 영상분할 단계(S2020)와, 왜곡보정 단계(S2040)와, 영상조합 단계(S2060)와, 영상분석 단계(S2080)와, 후처리 단계(S2100)를 포함한다.
이 실시 예의 왜곡 보정 단계와, 영상조합 단계와, 영상분석 단계와, 후처리 단계는 도 5에 도시된 절차의 단계와 동일하여 설명을 생략한다.
ROI 설정 단계는 사용자 인터페이스를 통한 사용자의 입력에 따라 어안 카메라 영상에서 ROI 영역을 설정하는 단계(S2000)이다.
이때 영상분할 단계는 ROI 영역의 경계부분이 중첩되도록 설정된 크기의 시야각으로 분할(S2020)한다. 또한, 사용자가 설정할 수 있는 ROI 영역은 하나 이상일 수 있다.
이상에서 본 발명을 첨부된 도면을 참조하는 실시 예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형 예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형 예들을 포괄하도록 의도되었다.
10 : 영상 분석 장치
11 : 전처리부
13 : 영상분석부
15 : 후처리부
17 : 사용자 인터페이스부
20 : 어안 카메라
11 : 전처리부
13 : 영상분석부
15 : 후처리부
17 : 사용자 인터페이스부
20 : 어안 카메라
Claims (9)
- 어안렌즈 카메라 영상을 분석하는 카메라 영상 분석 장치에 있어서,
입력된 영상을 일부 영역이 겹쳐지도록 기 설정된 크기의 시야각(Field of View)으로 중첩하여 분할하고, 분할된 영상에 대하여 각각 왜곡보정(dewarping)한 후 기 설정된 조합 방법으로 왜곡보정된 영상을 조합하여 분석영상을 생성하는 전처리부;
분석영상을 입력받아 객체를 검출하는 영상분석부; 및
영상분석부의 객체 검출 결과에서 중복 인식된 결과를 제거하는 후처리부;
를 포함하는 카메라 영상 분석 장치.
- 제 1 항에 있어서,
후처리부는 객체 검출 결과에서 객체의 어안렌즈 카메라 영상의 영역 좌표를 기초로 중복 객체를 판별하여 중복 결과를 제거하는 카메라 영상 분석 장치.
- 제 1 항에 있어서,
후처리부는 검출된 객체의 영상을 비교하여 객체들간의 유사성을 판별하여 중복 결과를 제거하는 카메라 영상 분석 장치.
- 제 1 항에 있어서, 상기 장치는 :
분할할 시야각의 크기와 분할된 영상의 조합 방법을 사용자로부터 입력 받아 설정하는 사용자 인터페이스부;
를 더 포함하는 카메라 영상 분석 장치.
- 제 4 항에 있어서,
사용자 인터페이스부는 사용자의 입력에 따라 어안렌즈 카메라 영상에서 ROI 영역을 설정하고,
전처리부는 ROI 영역의 경계부분이 중첩되도록 설정된 크기의 시야각(Field of View)으로 분할하는 카메라 영상 분석 장치.
- 어안렌즈 카메라 영상을 분석하는 카메라 영상 분석 장치의 영상 분석 방법에 있어서,
입력된 영상을 일부 영역이 겹쳐지도록 기 설정된 크기의 시야각으로 중첩하여 분할하는 영상분할 단계;
분할된 영상에 대하여 각각 왜곡보정하는 왜곡보정 단계;
기 설정된 조합 방법으로 왜곡보정된 영상을 조합하여 분석영상을 생성하는 영상조합 단계;
분석영상을 입력받아 객체를 검출하는 영상분석 단계; 및
영상분석 단계의 객체 검출 결과에서 중복 인식된 결과를 제거하는 후처리 단계;
를 포함하는 영상 분석 방법.
- 제 6 항에 있어서,
후처리 단계는 객체 검출 결과에서 객체의 어안렌즈 카메라 영상의 영역 좌표를 기초로 중복 객체를 판별하여 중복 결과를 제거하는 단계인 영상 분석 방법.
- 제 6 항에 있어서,
후처리 단계는 검출된 객체의 영상을 비교하여 객체들간의 유사성을 판별하여 중복 결과를 제거하는 단계인 영상 분석 방법.
- 제 6 항에 있어서, 상기 방법은 :
사용자의 입력에 따라 어안렌즈 카메라 영상에서 ROI 영역을 설정하는 ROI 설정 단계;
를 더 포함하고,
영상분할 단계는 ROI 영역의 경계부분이 중첩되도록 설정된 크기의 시야각으로 분할하는 단계인 영상 분석 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210009699A KR102472602B1 (ko) | 2021-01-22 | 2021-01-22 | 어안 카메라 영상 분석 장치 및 방법 |
| US17/474,140 US20220237731A1 (en) | 2021-01-22 | 2021-09-14 | Apparatus and method for analyzing fisheye camera image |
| EP21200144.0A EP4033456A1 (en) | 2021-01-22 | 2021-09-30 | Apparatus and method for analyzing fisheye camera image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210009699A KR102472602B1 (ko) | 2021-01-22 | 2021-01-22 | 어안 카메라 영상 분석 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220106592A true KR20220106592A (ko) | 2022-07-29 |
| KR102472602B1 KR102472602B1 (ko) | 2022-11-30 |
Family
ID=78134819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210009699A KR102472602B1 (ko) | 2021-01-22 | 2021-01-22 | 어안 카메라 영상 분석 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220237731A1 (ko) |
| EP (1) | EP4033456A1 (ko) |
| KR (1) | KR102472602B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220253988A1 (en) * | 2021-02-05 | 2022-08-11 | Motorola Solutions, Inc. | Device, method and system for identifying objects in warped images from a fisheye camera |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101552600B1 (ko) * | 2015-03-31 | 2015-09-11 | (주)서광시스템 | 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법 |
| JP2018185552A (ja) * | 2017-04-24 | 2018-11-22 | 公益財団法人鉄道総合技術研究所 | 画像解析装置および画像解析方法、ならびにプログラム |
| KR101937582B1 (ko) * | 2017-08-24 | 2019-04-09 | 홍정표 | 인도 보안 안전 시스템 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015210702A (ja) * | 2014-04-28 | 2015-11-24 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| KR20170024275A (ko) * | 2015-08-25 | 2017-03-07 | 삼성전자주식회사 | 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 전자 시스템 |
| WO2017059522A1 (en) * | 2015-10-05 | 2017-04-13 | Esight Corp. | Methods for near-to-eye displays exploiting optical focus and depth information extraction |
| US10185903B2 (en) * | 2016-10-06 | 2019-01-22 | Ricoh Company, Ltd. | Image forming output control device and non-transitory recording medium storing program |
-
2021
- 2021-01-22 KR KR1020210009699A patent/KR102472602B1/ko active IP Right Grant
- 2021-09-14 US US17/474,140 patent/US20220237731A1/en active Pending
- 2021-09-30 EP EP21200144.0A patent/EP4033456A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101552600B1 (ko) * | 2015-03-31 | 2015-09-11 | (주)서광시스템 | 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법 |
| JP2018185552A (ja) * | 2017-04-24 | 2018-11-22 | 公益財団法人鉄道総合技術研究所 | 画像解析装置および画像解析方法、ならびにプログラム |
| KR101937582B1 (ko) * | 2017-08-24 | 2019-04-09 | 홍정표 | 인도 보안 안전 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220237731A1 (en) | 2022-07-28 |
| EP4033456A1 (en) | 2022-07-27 |
| KR102472602B1 (ko) | 2022-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101808467B1 (ko) | 생체 인식 인증을 위한 특징 추출 및 정합과 템플릿 갱신 | |
| US6118887A (en) | Robust multi-modal method for recognizing objects | |
| US6400848B1 (en) | Method for modifying the perspective of a digital image | |
| WO2006087580A1 (en) | Fast method of object detection by statistical template matching | |
| US11417080B2 (en) | Object detection apparatus, object detection method, and computer-readable recording medium | |
| KR20170056860A (ko) | 이미지 생성 방법 및 장치 | |
| CN110956114A (zh) | 人脸活体检测方法、装置、检测系统及存储介质 | |
| US10152816B2 (en) | Top-view image generating apparatus and method | |
| CN111080542B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| US20200320332A1 (en) | System and method for object detection | |
| EP3726421A2 (en) | Recognition method and apparatus for false detection of an abandoned object and image processing device | |
| KR102472602B1 (ko) | 어안 카메라 영상 분석 장치 및 방법 | |
| KR20220049864A (ko) | 인식한 번호판의 각도에 기초하여 차량의 번호를 인식하는 방법 | |
| US11704807B2 (en) | Image processing apparatus and non-transitory computer readable medium storing program | |
| TWI749370B (zh) | 臉部辨識方法及其相關電腦系統 | |
| CN108460319B (zh) | 异常人脸检测方法及装置 | |
| CN112991159B (zh) | 人脸光照质量评估方法、系统、服务器与计算机可读介质 | |
| CN111754575B (zh) | 对象定位方法、投影方法、装置和投影仪 | |
| KR20200068045A (ko) | 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법 | |
| CN113033350B (zh) | 基于俯视图像的行人重识别方法、存储介质和电子设备 | |
| CN115205807A (zh) | 车道线融合方法、装置、汽车、电子设备及计算机可读存储介质 | |
| KR20170088370A (ko) | 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법 | |
| KR100961616B1 (ko) | 컨투어 정합을 이용한 전방향 카메라 보정 방법 및 시스템 | |
| JP2013029996A (ja) | 画像処理装置 | |
| CN113033349B (zh) | 行人重识别的俯视图像选取方法、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |