KR20180067223A - 영상처리장치 및 그의 영상분석방법 - Google Patents

영상처리장치 및 그의 영상분석방법 Download PDF

Info

Publication number
KR20180067223A
KR20180067223A KR1020160168714A KR20160168714A KR20180067223A KR 20180067223 A KR20180067223 A KR 20180067223A KR 1020160168714 A KR1020160168714 A KR 1020160168714A KR 20160168714 A KR20160168714 A KR 20160168714A KR 20180067223 A KR20180067223 A KR 20180067223A
Authority
KR
South Korea
Prior art keywords
image
frame
resolution
analysis
subframes
Prior art date
Application number
KR1020160168714A
Other languages
English (en)
Inventor
조성봉
Original Assignee
한화에어로스페이스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화에어로스페이스 주식회사 filed Critical 한화에어로스페이스 주식회사
Priority to KR1020160168714A priority Critical patent/KR20180067223A/ko
Publication of KR20180067223A publication Critical patent/KR20180067223A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 실시예들은 영상처리장치 및 그의 영상분석방법을 개시한다.
본 발명의 일 실시예에 다른 영상분석방법은 입력되는 일련의 영상프레임들에서 기준 프레임레이트에 대응하도록 영상프레임을 선택하는 단계; 상기 선택된 영상프레임을 복수의 서브프레임들로 분할하는 단계; 상기 서브프레임들 각각의 해상도를 기준 해상도에 대응하도록 스케일링하는 단계; 및 상기 스케일링된 서브프레임들을 시분할 분석하는 단계;를 포함할 수 있다.

Description

영상처리장치 및 그의 영상분석방법{Image processing device and image analyzing method}
본 실시예들은 영상처리장치 및 그의 영상분석방법에 관한 것이다.
카메라에서 제공하는 Motion Detection 이나 Cross, Entering 등의 기능을 제공하는 영상 분석(Video Analytics) 기능은 장치가 제공할 수 있는 VA 기능, 즉, CPU 또는 Codec에 의해 제한되는 경우가 있다. 이러한 영상 분석 기능은 입력 영상의 데이터 크기인 해상도와 프레임레이트(Framerate)에 따라 성능이 크게 좌우되고, 해상도가 크고 영상 분석할 프레임레이트가 높을수록 필요로 하는 CPU와 Memory도 높아진다.
일본등록특허 제3785068호
본 실시예들은 장치에 장착되어 있는 제한된 VA 자원(CPU, Memory 등)을 이용하여 고해상도 영상을 분석할 수 있는 방법을 제공한다.
본 발명의 일 실시예에 따른 영상처리장치의 영상분석방법은, 입력되는 일련의 영상프레임들에서 기준 프레임레이트에 대응하도록 영상프레임을 선택하는 단계; 상기 선택된 영상프레임을 복수의 서브프레임들로 분할하는 단계; 상기 서브프레임들 각각의 해상도를 기준 해상도에 대응하도록 스케일링하는 단계; 및 상기 스케일링된 서브프레임들을 시분할 분석하는 단계;를 포함한다.
일 실시예에서, 가중치가 높은 영역의 서브프레임일수록 상기 기준 해상도와 유사할 수 있다.
일 실시예에서, 가중치가 높은 영역의 서브프레임일수록 분석 시간이 증가할 수 있다.
일 실시예에서, 상기 시분할 분석 결과에 따라 상기 서브프레임의 분할 비율 및 분석 시간이 결정될 수 있다.
본 발명의 일 실시예에 따른 영상처리장치는, 입력되는 일련의 영상프레임들에서 기준 프레임레이트에 대응하도록 영상프레임을 선택하는 프레임스킵부; 상기 선택된 영상프레임을 복수의 서브프레임들로 분할하고, 상기 서브프레임들 각각의 해상도를 기준 해상도에 대응하도록 스케일링하는 스케일링부; 및 상기 스케일링된 서브프레임들을 시분할 분석하는 분석부;를 포함한다.
본 실시예들은 영상 분석 기능을 처리하는 제한된 리소스(CPU, Memory)를 가지고 있는 경우에 입력 영상의 시분할을 통해 고해상도에서 영상 분석 기능을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상처리장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상프로세서의 구성을 개략적으로 도시한 블록도이다.
도 3 내지 도 5는 본 발명의 실시예에 따른 영상 분석을 설명하는 예이다.
도 6은 본 발명의 일 실시예에 따른 영상분석방법을 개략적으로 설명하는 흐름도이다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
고해상도 카메라는 4K, 12MP 이상의 영상을 입력으로 인코딩하여 출력하는 등, 해상도와 프레임레이트가 크게 높아지고 있다. 하지만, 카메라에 장착되어 있는 영상 분석 엔진에 필요로 하는 CPU 자원과 메모리 자원을 해상도와 프레임레이트에 맞추어 향상시키려면 보다 많은 비용이 발생하게 된다.
예를 들어, 만약 640x480@10FPS 영상에 대하여 10개의 얼굴 검출(Face Detection)을 할 수 있는 영상 분석 자원을 Ra라고 할 때, 12MP의 해상도인 4000x3000@30FPS 영상에 대하여 얼굴 검출을 하려면, 약 40배의 해상도와 3배의 FPS 처리 능력이 필요하기 때문에 120xRa의 자원이 필요하게 된다. 그리고 그 결과는 1200개의 얼굴 검출 결과를 만들어 낼 수 있다. 그러나 이렇게 많은 리소스를 카메라와 같은 임베디드(Embedded System)에 적용하는 것은 많은 비용을 필요로 하기 때문에 적합하지 않다.
본 발명의 실시예는 카메라에 장착되어 있는 제한된 VA 자원(CPU, Memory)를 이용하여 고해상도 영상을 분석할 수 있다. 예를 들어, VA 엔진이 10FPS 처리능력 밖에 없는 경우에 30FPS가 입력된다면, 2개의 영상프레임을 버리고 3번째 영상프레임을 선택하여 VA 엔진이 처리할 수 있도록 동작한다. 그리고 입력되는 해상도가 높을수록 VA 처리를 위하여 많은 CPU 자원이 필요하기 때문에 스케일 다운(Scaling Down)을 통해 작은 크기의 영상으로 변환한다. 스케일 다운으로 열화되는 영역이 작을수록 정확도는 높아지게 된다. 따라서 입력 영상이 VA 엔진이 처리하는 영상의 크기와 유사할수록 영상 분석 결과 오차율이 줄어들게 된다.
본 발명의 실시예는 입력 영상을 VA 엔진이 처리 가능한 시분할 즉, 시간 기반으로 크랍(Crop)하여 VA 엔진의 입력으로 적용한다. 줄어든 영상 입력은 스케일 다운되는 비율이 작아지기 때문에 영상 분석 결과 오차율이 줄어드는 효과를 발생시킬 수 있다.
그러나 한 영역에서 10FPS 로 처리할 수 있었던 영상 분석 결과물이 1FPS 로 줄어들게 되는 문제가 발생할 수 있다. 이에 본 발명에서는 발생 결과에 대한 가중치를 이용하여 VA 엔진으로 입력되는 영상의 영역을 조정함으로써 영상 분석 시차에 대한 결과 오차를 줄일 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 영상처리장치를 개략적으로 도시한 블록도이다.
도 1을 참조하면, 영상처리장치(1)는 영상센서(10) 및 영상프로세서(30)를 포함할 수 있다. 영상처리장치(1)는 디스플레이(50)를 더 포함할 수 있다. 다른 실시예에서 영상처리장치(1)는 디스플레이(50)와 유선 또는 무선으로 연결될 수 있다.
영상처리장치(1)는 비쥬얼 카메라, 열상 카메라, 특수 목적 카메라 등을 포함하는 감시용 카메라, 무선 통신 디바이스, PDA(personal digital assistant), 랩탑 컴퓨터, 데스크탑 컴퓨터, 캠코더, 디지털 카메라, CCTV, 액션 카메라, 디지털 기록 장치, 네트워크-인에이블 디지털 텔레비전, 휴대 전화, 셀룰러 폰, 위성 텔레폰, 카메라 폰, 양방향 통신 장치 등과 같은 다양한 장치일 수 있다. 또는, 영상처리장치(1)는 영상센서(10) 및 영상프로세서(30) 중 적어도 하나가 별도로 구현되고, 유선 또는 무선으로 연결되어 데이터를 송수신하는 영상처리시스템일 수 있다.
영상센서(10)는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전변환소자를 포함할 수 있다. 영상센서(10)는 전방의 장면을 촬영하여 영상 정보를 획득한다. 영상 센서(10) 전단에는 광신호를 수신하는 렌즈(미도시)가 구비될 수 있다.
영상프로세서(30)는 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 영상프로세서(50)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
영상프로세서(30)는 영상프레임의 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 신호 처리를 수행할 수 있다. 또한, 영상프로세서(30)는 화질 개선을 위한 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함한다. 또한, 영상프로세서(30)에서는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상프로세서(50)는 영상 처리된 영상프레임을 메모리 및/또는 디스플레이로 출력할 수 있다.
영상프로세서(30)는 영상프레임을 분석한 메타데이터를 생성할 수 있다. 영상프로세서(30)는 영상센서(10)의 프레임레이트에 따라 입력되는 일련의 프레임들을 복수의 서브프레임들로 분할하고, 서브프레임들을 시분할 분석할 수 있다. 영상프로세서(30)는 영상프레임에 영역별 가중치를 설정하여 대응하는 서브프레임의 중요도를 결정함으로써 서브프레임의 해상도 및 분석시간을 가변할 수 있다.
도시되지 않았으나, 영상처리장치(1)는 저장수단 및 통신부를 더 포함할 수 있다.
저장수단은 영상프로세서(30)가 처리하는 데이터, 명령어(instructions), 프로그램, 프로그램 코드, 또는 이들의 결합 등을 일시적 또는 영구적으로 저장하는 기능을 수행한다. 저장수단은 영상프로세서(30)로부터 출력되는 영상프레임 및 메타데이터를 저장할 수 있다. 저장수단은 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체, 인터넷 상에서 저장 기능을 수행하는 웹 스토리지(web storage)일 수 있다.
통신부는 외부 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
디스플레이(50)는 영상프로세서(30)로부터 출력되는 일련의 영상프레임들인 결과 영상(예를 들어, 비디오 시퀀스)을 사용자에게 제공함으로써, 사용자가 표시되는 영상을 모니터링할 수 있도록 한다. 디스플레이(50)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상프로세서의 구성을 개략적으로 도시한 블록도이다.
도 2를 참조하면, 영상프로세서(30)는 제1 영상처리부(20) 및 제2 영상처리부(40)를 포함할 수 있다.
제1 영상처리부(20)는 입력되는 영상프레임을 분석하여 설정된 이벤트 발생 조건에 만족하는 경우 이벤트를 발생시킬 수 있다. 이벤트는 객체의 출현, 사용자가 특정한 영상(예를 들어, 얼굴 인식이 불가능한 얼굴 등장) 발생, 설정된 영역에서 움직임 발생한 경우, 음원의 경우에 비정상적인 음원(예를 들어, 자동차 타이어 마찰음(스키드), 유리 깨지는 소리, 경보음, 충돌음 등) 발생, 사용자가 특정한 음원(예를 들어, 고함, 비명, 울음소리 등) 발생, 임계값 이상의 음성이 발생한 경우 등과 같이 사용자에 의해 설정된 이벤트를 포함할 수 있으며, 이에 한정되지 않는다. 제1 영상처리부(20)는 이벤트 정보를 포함하는 메타데이터를 생성할 수 있다.
제1 영상처리부(20)는 프레임 스킵부(201), 제1 스케일링부(203) 및 분석부(205)를 포함할 수 있다.
프레임 스킵부(201)는 입력되는 일련의 영상프레임들의 일부를 스킵함으로써 입력 프레임레이트를 기준 프레임레이트로 변환할 수 있다. 입력 프레임레이트는 영상센서(10)가 출력하는 프레임레이트일 수 있다. 기준 프레임레이트는 분석부(205)의 영상분석 능력에 의해 결정될 수 있다. 프레임 스킵부(201)는 입력 프레임레이트가 기준 프레임레이트보다 높으면 소정 간격으로 영상프레임들을 스킵함으로써 입력 프레임레이트를 기준 프레임레이트로 낮출 수 있다. 프레임 스킵부(201)는 스킵되지 않은 영상프레임들을 선택하여 출력할 수 있다.
제1 스케일링부(203)는 프레임 스킵부(201)로부터 출력되는 영상프레임을 복수의 서브프레임들로 분할하고, 각 서브프레임을 스케일링할 수 있다. 해상도(크기)가 높을수록 분석을 위한 많은 자원이 필요하므로, 제1 스케일링부(203)는 해상도가 높은 영상프레임을 해상도가 낮은 복수의 서브프레임들로 분할한다.
제1 스케일링부(203)는 영상프레임을 크랍(crop)하여 소정 개수의 서브프레임들을 생성할 수 있다. 제1 스케일링부(203)는 분석부(205)가 처리 가능한 시간 기반으로 영상프레임을 크랍할 수 있다. 예를 들어, 제1 스케일링부(203)는 분석부(205)가 정해진 시간 내에 처리할 수 있는 프레임의 수를 최대값으로 하고, 최대값 이하의 개수의 서브프레임들을 생성할 수 있다. 서브프레임들 각각은 동일 또는 상이한 해상도를 가질 수 있다. 서브프레임의 해상도는 영상프레임에서 서브프레임으로 크랍된 영역에 설정된 가중치에 대응하는 중요도에 따라 결정될 수 있다. 가중치가 높은 영역의 서브프레임일수록 중요도가 높아지므로 해상도는 후술하는 스케일 다운 비율이 적어지도록 결정될 수 있다.
제1 스케일링부(203)는 서브프레임들 각각을 소정의 해상도로 스케일 다운(scale down) 처리할 수 있다. 제1 스케일링부(203)는 분석부(205)의 영상 분석에 최적인 기준 해상도로 서브프레임을 스케일링할 수 있다. 제1 스케일링부(203)는 스케일 다운된 서브프레임들을 분석부(205)로 차례로 출력할 수 있다.
분석부(205)는 입력되는 서브프레임들을 정해진 시간 내에 시분할 분석하고, 분석 결과를 출력할 수 있다. 분석부(205)는 서브프레임들 각각에 할당된 분석 시간 및 분석 순서에 따라 서브프레임들을 시분할 분석할 수 있다. 서브프레임들에 할당된 분석 시간은 서브프레임이 대응하는 영역의 가중치에 따라 결정될 수 있다. 가중치가 높은 영역의 서브프레임일수록 중요도가 높아지므로 분석 시간이 증가하여 정해진 시간 내에서 분석 횟수가 증가할 수 있다. 분석 결과는 메타데이터로 출력될 수 있다. 가중치는 이벤트 발생 빈도 또는 사용자 지정에 의해 결정될 수 있다. 예를 들어, 이벤트 발생 빈도가 높은 영역일수록 가중치가 높게 설정될 수 있다.
사용자는 분석부(205)의 분석결과에 의한 영상프레임의 이벤트 분포를 기초로 영상프레임의 분할 비율(즉, 서브프레임의 해상도) 및/또는 서브프레임별 분석 시간을 변경할 수 있다.
스케일 다운에 의해 열화되는 영역이 적을수록 영상 분석의 정확도가 높아지므로, 서브프레임의 해상도가 기준 해상도와 유사할수록 스케일 다운되는 비율이 낮아져 영상 분석 오차율이 줄어든다. 따라서 영상프레임에서 가중치가 높은 영역은 기준 해상도와 유사한 해상도로 크랍되고, 및/또는 분석 시간이 증가할 수 있다.
제2 영상처리부(40)는 입력 영상프레임을 인코딩하여 데이터 스트림을 생성할 수 있다.
제2 영상처리부(40)는 제2 스케일링부(401), 인코더(403) 및 스트림 생성부(405)를 포함할 수 있다.
제2 스케일링부(401)는 리사이저(resizer)를 이용하여 입력되는 영상프레임을 원하는 해상도(크기)로 스케일 다운(scale down) 처리할 수 있다. 제2 스케일링부(401)의 스케일 다운 비율은 제1 스케일링부(401)의 스케일 다운 비율과 동일 또는 상이할 수 있다.
인코더(403)는 스케일 다운된 영상프레임을 압축하여 압축 영상을 생성할 수 있다. 압축 정도는 스케일 다운 비에 비례할 수 있다. 압축 방식은 JPEG, MJPEG, H.264, H.265 등 다양한 압축 방식이 적용될 수 있다.
스트림 생성부(405)는 압축 영상의 데이터스트림(DS)을 생성할 수 있다.
영상처리장치(1)는 분석부(205)에서 출력되는 메타데이터 및 스트림 생성부(405)에서 출력되는 데이터스트림을 포함하는 패킷을 생성하여 출력할 수 있다.
도 3 내지 도 5는 본 발명의 실시예에 따른 영상 분석을 설명하는 예이다.
이하에서는, 640x480의 해상도를 갖는 영상프레임이 10FPS로 입력될 때 영상프레임에서 10개의 얼굴 검출을 수행할 수 있는 영상프로세서(30)로 4000x3000의 해상도를 갖는 영상프레임이 30FPS로 입력되는 경우를 예로서 설명한다.
도 3을 참조하면, 프레임 스킵부(201)는 영상프로세서(30)의 분석 프레임레이트에 대응하도록 3개의 영상프레임에서 2개의 영상프레임을 버리고 1개의 영상프레임을 선택할 수 있다.
제1 스케일링부(203)는 선택된 영상프레임을 3x3으로 나누어 9개의 서브프레임들을 생성할 수 있다. 서브프레임들은 1340x1000의 해상도를 갖는 6개의 서브프레임들과 1320x1000의 해상도를 갖는 3개의 서브프레임들을 포함할 수 있다. 제1 스케일링부(203)는 서브프레임들을 640x480의 해상도로 스케일 다운하여 화소수를 약 1/5 이하로 줄일 수 있다. 제1 스케일링부(203)는 스케일 다운된 9개의 서브프레임들을 Scene1, Scene2, ..., Scene9로 구분하여 차례로 분석부(205)로 출력할 수 있다.
분석부(205)는 영상프로세서(30)의 분석 프레임레이트를 기초로 정해진 시간을 서브프레임의 개수에 따라 시간 분할하여 서브프레임을 분석함으로써 얼굴 검출을 수행할 수 있다. 예를 들어, 분석부(205)는 9개의 서브프레임에 대응하여 시간 t를 t1 내지 t9로 분할하고, 각 시간 구간 동안 해당 서브프레임을 분석함으로써 얼굴 검출을 수행할 수 있다. 여기서, t1 내지 t9는 각각 1/9초일 수 있다. 즉, 분석부(205)는 초당 90개의 얼굴 검출 결과를 메타데이터(MD)로서 출력할 수 있다.
디스플레이(50)는 영상프로세서(30)로부터 출력되는 데이터스트림을 디코딩하여 복원한 영상프레임이 표시되고, 영상프레임에는 9개의 서브프레임들에 대응하는 각 영역에 메타데이터에 포함된 얼굴 검출 정보가 표시될 수 있다.
도 4를 참조하면, 영상프레임의 A영역에서 얼굴 검출이 많고, B영역에서 얼굴 검출이 적은 경우, 사용자는 B영역보다 A영역의 얼굴 검출 정확도를 높이도록 영상프레임의 분할 비율을 변경할 수 있다. 이에 따라, 제1 스케일링부(203)는 영상프레임의 A영역을 1000x1000의 해상도를 갖는 3개의 영역으로 크랍하여 3개의 서브프레임들(Scene2, Scene3, Scene7)을 생성하고, B영역을 3000x3000의 해상도를 갖는 1개의 영역으로 크랍하여 1개의 서브프레임(Scene1)을 생성하고, 나머지 영역을 1000x1000의 해상도를 갖는 3개의 영역으로 크랍하여 3개의 서브프레임들(Scene4, Scene5, Scene6)을 생성할 수 있다.
또한, 사용자는 A영역의 분석 시간을 나머지 영역의 분석 시간보다 높게 설정할 수 있다. 이에 따라, A영역에 대응하는 3개의 서브프레임들(Scene2, Scene3, Scene7)은 나머지 서브프레임들의 분석 시간의 2배가 할당되어, 분석부(205)는 Scene1, Scene4, Scene5, Scene6의 서브프레임들은 각각 t1, t4, t5, t6 동안(각각 1/9초) 얼굴 검출을 수행하고, Scene2의 서브프레임은 t2 및 t8 동안(총 2/9초) 얼굴 검출을 수행하고, Scene3의 서브프레임은 t3 및 t9 동안(총 2/9초) 얼굴 검출을 수행하고, Scene7의 서브프레임은 t7 및 t10 동안(총 2/9초) 얼굴 검출을 수행할 수 있다.
즉, 이전 영상프레임에서는 9개의 서브프레임들로 분할되어 동일한 시간 간격으로 얼굴 검출이 수행되었다가, 현재 영상프레임에서는 7개의 서브프레임들로 분할되어 일부 서브프레임들은 2회의 얼굴 검출에 의해 2배 증가한 시간 동안 얼굴 검출이 수행될 수 있다.
도 5를 참조하면, 영상프레임의 C영역과 E영역에서는 얼굴 검출이 없고, D영역에서는 얼굴 검출이 많다. 사용자는 D영역의 가중치를 0.8로 설정하고 C영역과 E영역에는 각각 가중치를 0.1로 설정할 수 있다. 이에 따라 C영역과 E영역은 각각 1FPS로 얼굴 검출이 수행되도록 분할되고, D영역은 8FPS로 얼굴 검출이 수행되도록 분할될 수 있다.
본 발명의 영상 분석 방법은 얼굴 검출뿐만 아니라 ANPR(automatic number-plate recognition), People Counting, Queue Length Counting, Loitering 등의 다양한 영상 분석 기능에 적용 가능하다.
도 6은 본 발명의 일 실시예에 따른 영상분석방법을 개략적으로 설명하는 흐름도이다. 도 6에 도시된 영상분석방법은 도 1에 도시된 영상처리장치에 의해 수행될 수 있으며, 전술된 내용과 중복하는 내용의 상세한 설명은 생략한다.
도 6을 참조하면, 영상처리장치(1)는 영상센서(10)로부터 입력되는 일련의 영상프레임들을 압축하여 데이터스트림으로 생성함과 동시에 영상프레임의 분석을 통해 메타데이터를 생성할 수 있다.
메타데이터 생을 위해, 영상처리장치(1)는 입력되는 일련의 영상프레임들의 일부를 스킵함으로써 입력 프레임레이트를 기준 프레임레이트로 변환할 수 있다(S61). 입력 프레임레이트가 분석 엔진이 처리할 수 있는 기준 프레임레이트보다 크면 많은 분석 자원을 필요로 하므로, 기준 프레임레이트에 따라 영상프레임을 스킵하여 분석되는 영상프레임의 개수를 줄일 수 있다. 스킵될 영상프레임의 개수는 기준 프레임레이트에 의해 결정될 수 있다.
영상처리장치(1)는 스킵되지 않은 영상프레임을 복수의 서브프레임들로 분할하고, 각 서브프레임을 스케일링할 수 있다(S63). 스케일링은, 서브프레임의 해상도가 분석 엔진이 처리할 수 있는 기준 해상도보다 크면 많은 분석 자원이 필요하므로, 서브프레임의 해상도를 기준 해상도로 스케일 다운하는 동작이다. 스케일 다운의 비율이 낮을수록 영상의 열화율이 낮아지므로, 가중치가 높은 영역에 대응하는 서브프레임일수록 해상도는 기준 해상도와 유사할 수 있다.
영상처리장치(1)는 스케일링된 서브프레임들을 차례로 분석할 수 있다(S65). 영상처리장치(1)는 서브프레임들 각각에 할당된 분석 시간 및 분석 순서에 따라 서브프레임들을 분석할 수 있다. 따라서 영상프레임은 영역별로 분석 시간 및 분석 정확도가 상이하다. 사용자는 현재 영상프레임의 분석 결과 또는 영상프레임의 분석 결과의 누적 정보를 기초로 다음 영상프레임의 분할 비율(즉, 서브프레임의 해상도) 및 분할에 의해 생성된 각 서브프레임의 분석 시간을 조절할 수 있다.
본 발명의 실시예들은 발생되는 이벤트 결과의 분포를 이용하여 특정 영역의 정확도를 향상(즉, 스케일 다운 비율을 감소)시키거나, 혹은 시간 배분을 증가 또는 감소시킴으로써 이벤트에 대한 정확도를 향상시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (5)

  1. 입력되는 일련의 영상프레임들에서 기준 프레임레이트에 대응하도록 영상프레임을 선택하는 단계;
    상기 선택된 영상프레임을 복수의 서브프레임들로 분할하는 단계;
    상기 서브프레임들 각각의 해상도를 기준 해상도에 대응하도록 스케일링하는 단계; 및
    상기 스케일링된 서브프레임들을 시분할 분석하는 단계;를 포함하는 영상처리장치의 영상분석방법.
  2. 제1항에 있어서,
    가중치가 높은 영역의 서브프레임일수록 상기 기준 해상도와 유사한, 영상처리장치의 영상분석방법.
  3. 제1항에 있어서,
    가중치가 높은 영역의 서브프레임일수록 분석 시간이 증가하는, 영상처리장치의 영상분석방법.
  4. 제1항에 있어서,
    상기 시분할 분석 결과에 따라 상기 서브프레임의 분할 비율 및 분석 시간이 결정되는, 영상처리장치의 영상분석방법.
  5. 입력되는 일련의 영상프레임들에서 기준 프레임레이트에 대응하도록 영상프레임을 선택하는 프레임스킵부;
    상기 선택된 영상프레임을 복수의 서브프레임들로 분할하고, 상기 서브프레임들 각각의 해상도를 기준 해상도에 대응하도록 스케일링하는 스케일링부; 및
    상기 스케일링된 서브프레임들을 시분할 분석하는 분석부;를 포함하는 영상처리장치.
KR1020160168714A 2016-12-12 2016-12-12 영상처리장치 및 그의 영상분석방법 KR20180067223A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160168714A KR20180067223A (ko) 2016-12-12 2016-12-12 영상처리장치 및 그의 영상분석방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160168714A KR20180067223A (ko) 2016-12-12 2016-12-12 영상처리장치 및 그의 영상분석방법

Publications (1)

Publication Number Publication Date
KR20180067223A true KR20180067223A (ko) 2018-06-20

Family

ID=62769629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160168714A KR20180067223A (ko) 2016-12-12 2016-12-12 영상처리장치 및 그의 영상분석방법

Country Status (1)

Country Link
KR (1) KR20180067223A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3785068B2 (ja) 2001-08-28 2006-06-14 日本電信電話株式会社 映像解析装置，映像解析方法，映像解析プログラムおよびそのプログラム記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3785068B2 (ja) 2001-08-28 2006-06-14 日本電信電話株式会社 映像解析装置，映像解析方法，映像解析プログラムおよびそのプログラム記録媒体

Similar Documents

Publication Publication Date Title
US10096082B2 (en) Upscaling and downscaling in a camera architecture
WO2022111198A1 (zh) 视频处理方法、装置、终端设备及存储介质
CN110572579A (zh) 图像处理方法、装置及电子设备
CN112805996B (zh) 一种用于生成慢动作视频片段的设备和方法
US20110064129A1 (en) Video capture and generation at variable frame rates
US9996894B2 (en) Image processing device, video subsystem and video pipeline
CN103313032B (zh) 用于分析多通道图像的方法和系统
US20170230674A1 (en) Image encoding apparatus, method and imaging apparatus
US8699750B2 (en) Image processing apparatus
US9967465B2 (en) Image frame processing method
US11637953B2 (en) Method, apparatus, electronic device, storage medium and system for vision task execution
EP2981089A1 (en) Encoding device, computer system, encoding method, encoding program, and recording medium
KR20180067223A (ko) 영상처리장치 및 그의 영상분석방법
EP3070598A1 (en) Image processing system and method
WO2022003412A1 (en) System and method for implementation of region of interest based streaming
WO2023149188A1 (ja) 信号処理装置および方法、並びにプログラム
CN110049239B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN115314731A (zh) 视频处理系统、方法、计算机设备和存储介质
JP2000287207A (ja) 画像圧縮装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal