KR20230006854A - 이미지들의 시퀀스에서 관심 요소를 포함하는 영역들을 높은 해상도로 인코딩하기 위한 시스템 및 방법 - Google Patents
이미지들의 시퀀스에서 관심 요소를 포함하는 영역들을 높은 해상도로 인코딩하기 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230006854A KR20230006854A KR1020227040396A KR20227040396A KR20230006854A KR 20230006854 A KR20230006854 A KR 20230006854A KR 1020227040396 A KR1020227040396 A KR 1020227040396A KR 20227040396 A KR20227040396 A KR 20227040396A KR 20230006854 A KR20230006854 A KR 20230006854A
- Authority
- KR
- South Korea
- Prior art keywords
- images
- sequence
- resolution
- region
- subset
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000000737 periodic effect Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
이미지들의 시퀀스에서 관심 요소를 포함하는 영역들을 높은 해상도로 인코딩하기 위한 시스템 및 방법이 제공된다. 상기 시스템 및 방법은 모니터링되는 영역의 이미지들의 시퀀스를 캡처할 수 있는 카메라, 이미지들의 시퀀스 내의 관심 요소를 포함하는 제1 영역을 식별할 수 있는 검출 프로세서, 및 이미지들의 시퀀스의 제1 서브세트 내의 제1 영역을 제1 해상도로 인코딩하고 제1 영역 이외의 이미지들의 시퀀스의 제1 서브세트 내의 제2 영역을 제1 해상도보다 작은 제2 해상도로 인코딩할 수 있는 인코더를 포함할 수 있고, 이미지들의 시퀀스의 제1 서브세트 내의 이미지들의 시퀀스의 수는 이미지들의 시퀀스의 전부보다 작고, 미리 정의된 파라미터에 기초한다.
Description
관련 출원
본 출원은 2020년 5월 4일에 출원된 미국 특허출원 제16/865,612호에 대한 우선권을 주장하며, 그 내용은 본 출원에 참고로 포함된다.
기술분야
본 발명은 일반적으로 비디오 모니터링 시스템에 관한 것이다. 보다 구체적으로, 본 발명은 높은 해상도를 갖는 이미지들의 시퀀스에서 관심 요소를 포함하는 영역들을 인코딩하기 위한 시스템 및 방법에 관한 것이다.
현재의 비디오 모니터링 시스템들은 이미지들의 시퀀스에서 관심 요소가 포함되지 않은 영역들보다 관심 요소가 포함된 영역들을 더 높은 해상도로 인코딩할 수 있다. 그러나, 상기 시스템들은, 이미지들의 시퀀스에 있는 모든 이미지가 관심 요소에 관한 추가적인 관련 정보를 포함할 수 있지 않음에도 불구하고, 관심 요소가 나타나는 이미지들의 시퀀스에 있는 모든 이미지에서의 관심 요소를 더 높은 해상도로 인코딩한다. 따라서, 상기 시스템들은 이미지들의 시퀀스의 이미지를 필요한 것보다 더 많이 더 높은 해상도로 인코딩할 수 있으며, 이는 크고 불필요한 저장 비용들을 초래할 수 있다.
상기 관점에서, 개선된 시스템 및 방법에 대한 필요성 및 기회가 있다.
도 1은 개시된 실시 예에 따른 시스템의 블록도이다;
도 2는 개시된 실시 예에 따른 검출 프로세서에 의해 처리되는 이미지들의 시퀀스 중 하나의 블록도이다;
도 3은 개시된 실시 예에 따른 검출 프로세서에 의해 처리되는 이미지들의 시퀀스 중 하나의 블록도이다;
도 4는 개시된 실시 예에 따른 검출 프로세서에 의해 처리되는 이미지들의 시퀀스 중 하나의 블록도이다;
도 5는 개시된 실시 예에 따른 방법의 흐름도이다;
도 6은 개시된 실시 예에 따른 이미지들의 시퀀스의 블록도이다; 및
도 7은 개시된 실시 예에 따른 이미지들의 시퀀스의 블록도이다;
도 2는 개시된 실시 예에 따른 검출 프로세서에 의해 처리되는 이미지들의 시퀀스 중 하나의 블록도이다;
도 3은 개시된 실시 예에 따른 검출 프로세서에 의해 처리되는 이미지들의 시퀀스 중 하나의 블록도이다;
도 4는 개시된 실시 예에 따른 검출 프로세서에 의해 처리되는 이미지들의 시퀀스 중 하나의 블록도이다;
도 5는 개시된 실시 예에 따른 방법의 흐름도이다;
도 6은 개시된 실시 예에 따른 이미지들의 시퀀스의 블록도이다; 및
도 7은 개시된 실시 예에 따른 이미지들의 시퀀스의 블록도이다;
본 발명은 많은 상이한 형태의 실시 예에 적용될 수 있지만, 본 개시는 본 발명의 원리의 예시로서 고려되어야 한다는 것을 이해하면서, 특정 실시 예가 본 출원에서 상세하게 설명될 것이다. 본 발명을 특정한 예시된 실시 예로 제한하려는 것은 아니다.
청구된 발명의 실시 예는 모니터링되는 영역의 이미지들의 시퀀스에서 관심 요소를 높은 해상도로 인코딩하는 비디오 모니터링 시스템을 포함할 수 있다. 일부 실시 예에서, 비디오 모니터링 시스템은 카메라, 검출 프로세서, 및 인코더를 포함할 수 있고, 일부 실시 예에서, 카메라, 검출 프로세서, 및 인코더는 초인종 장치와 같은 단일 장치에 통합될 수 있다. 대안적으로, 일부 실시예들에서, 검출 프로세서 및 인코더 중 적어도 하나는 모니터링되는 영역으로부터 원격에 있는 클라우드 서버 내에 또는 클라우드 서버 상에 수용될 수 있고/있거나, 카메라, 검출 프로세서, 및 인코더 중 적어도 하나는 모니터링되는 영역의 내부에 또는 근접하여 위치된 제어 패널 내에 또는 제어 패널 상에 수용될 수 있다.
일부 실시 예에서, 카메라는 모니터링되는 영역의 이미지들의 시퀀스를 캡처할 수 있고, 이미지들의 시퀀스를 검출 프로세서에 전송할 수 있다. 검출 프로세서는 카메라로부터 이미지들의 시퀀스를 수신할 수 있고, 이미지들의 시퀀스 내에서 제1 관심 요소를 포함하는 제1 영역을 식별할 수 있으며, 인코더는 카메라 또는 검출 프로세서로부터 이미지들의 시퀀스를 수신할 수 있고, 검출 프로세서로부터 제1 영역의 표시를 수신할 수 있다. 그 후, 인코더는 이미지들의 시퀀스의 제1 서브세트(subset) 내의 제1 영역을 제1 해상도로 인코딩할 수 있고, 이미지들의 시퀀스의 제1 서브세트 내의 제1 영역 이외의 제2 영역을 제1 해상도보다 작은 제2 해상도로 인코딩할 수 있다. 일부 실시 예에서, 제1 해상도는 인코더의 최대 해상도일 수 있고, 제2 해상도는 인코더의 최소 해상도일 수 있다. 추가적으로 또는 대안적으로, 일부 실시 예에서, 제1 해상도 및 제2 해상도 중 하나 또는 모두는 비디오 모니터링 시스템에 의해 수신된 사용자 입력에 기초하여 결정될 수 있다.
일부 실시 예에서, 인코더는 H.265 표준을 이용하여 단일 파일 내의 이미지들의 임의의 또는 모든 시퀀스를 다수의 해상도로 인코딩할 수 있고, 일부 실시 예에서, 이미지들의 임의의 또는 모든 시퀀스를 인코딩한 후에, 인코더는 모니터링되는 영역과 연관된 원격 사용자 장치, 모니터링되는 영역과 연관된 로컬 저장 장치, 클라우드 서버와 연관된 원격 저장 장치, 중앙 모니터링 기지국 등을 포함하지만 이에 제한되지 않는 복수의 목적지 장치들 중 하나 이상에 이미지들의 시퀀스를 출력할 수 있다.
일부 실시 예에서, 이미지들의 시퀀스의 제1 서브세트 내의 이미지들의 시퀀스의 수는 이미지들의 시퀀스의 전부보다 적을 수 있고, 일부 실시 예에서, 이미지들의 시퀀스의 제1 서브세트 내의 이미지들의 시퀀스의 수는 미리 정의된 파라미터(parameter)에 기초할 수 있다. 시간 값 및 이미지 수 값을 포함하는, 미리 정의된 파라미터에 대한 다양한 실시 예이 고려된다. 예를 들어, 미리 정의된 파라미터가 시간 값을 포함하는 실시 예에서, 이미지들의 시퀀스의 제1 서브세트는, 검출 프로세서가 제1 영역 또는 제1 관심 요소(element of interest)를 식별하는 제1 시각에 시작하여 제1 시각에 시간 값을 더한 것과 동일한 제2 시각에 끝나는 시간 윈도우 동안에 카메라에 의해 캡처 된 이미지들의 시퀀스 중 임의의 이미지를 포함할 수 있다. 추가적으로 또는 대안적으로, 미리 정의된 파라미터가 시간 값을 포함하는 실시 예에서, 이미지들의 시퀀스의 제1 서브세트는 시간 값과 동일한 주기적인 시각에 카메라에 의해 캡처 된 이미지들의 시퀀스 내의 주기적인 이미지들을 포함할 수 있다. 그러나, 미리 정의된 파라미터가 이미지 수 값을 포함하는 실시 예에서, 이미지들의 시퀀스의 제1 서브세트는, 검출기 프로세서가 제1 영역 또는 제1 관심 요소를 식별하는, 캡처 된 이미지들의 시퀀스의 제1 이미지로 시작하여 카메라에 의해 캡처 되는 이미지들의 시퀀스의 시퀀스 번호를 포함할 수 있으며, 여기서 시퀀스 번호는 이미지 수 값과 동일하다. 추가적으로 또는 대안적으로, 미리 정의된 파라미터가 이미지 수 값을 포함하는 실시 예에서, 이미지들의 시퀀스의 제1 서브세트는 이미지 수 값과 동일한 주기로 카메라에 의해 캡처 되는 이미지들의 시퀀스 내의 주기적인 이미지들을 포함할 수 있다.
일부 실시 예에서, 인코더(encoder)는 이미지들의 시퀀스의 제1 서브세트와는 상이하게 이미지들의 시퀀스들의 제2 서브세트를 인코딩할 수 있다. 예를 들어, 일부 실시 예에서, 인코더는 이미지들의 시퀀스의 제2 서브세트 내의 모든 영역들을 제2 해상도로 인코딩할 수 있다. 대안적으로, 일부 실시 예에서, 인코더는 이미지들의 시퀀스의 제2 서브세트 내의 제1 영역을 제3 해상도로 인코딩할 수 있고, 이미지들의 시퀀스의 제2 서브세트 내의 제2 영역을 제2 해상도로 인코딩할 수 있다. 상기 실시 예에서, 제3 해상도는 제1 해상도보다 더 작고, 제2 해상도보다 더 높을 수 있다.
일부 실시 예에서, 이미지들의 시퀀스의 제2 서브세트는 이미지들의 시퀀스의 제1 서브세트 이외의 이미지들의 시퀀스 전부를 포함할 수 있다. 그러나, 일부 실시 예에서, 이미지들의 시퀀스의 제2 서브세트 내의 이미지들의 시퀀스의 수는 이미지들의 시퀀스의 전부보다 적을 수 있고, 일부 실시 예에서, 이미지들의 시퀀스의 제2 서브세트 내의 이미지들의 시퀀스의 수는 미리 정의된 파라미터에 기초하여 결정될 수 있다.
일부 실시 예에서, 검출 프로세서 및/또는 인코더는 이미지들의 시퀀스의 제1 서브세트 또는 이미지들의 시퀀스의 제2 서브세트 내의 제3 영역을 식별할 수 있고, 인코더는 이미지들의 시퀀스의 제1 서브세트 또는 이미지들의 시퀀스의 제2 세트 내의 제3 영역을 제3 해상도로 인코딩할 수 있다. 상기 실시 예에서, 이미지들의 시퀀스의 제1 서브세트 또는 이미지들의 시퀀스의 제2 서브세트 내의 제3 영역은 제2 관심 요소를 포함할 수 있고, 제2 관심 요소는 제1 관심 요소와는 상이한, 그보다 덜 중요한 유형일 수 있다. 예를 들어, 일부 실시 예에서, 제1 관심 요소는 모니터링되는 영역 내의 제1 사람의 얼굴을 포함할 수 있고, 제2 영역은 제1 사람의 신체 및/또는 제1 사람의 즉각적인 주변을 포함할 수 있다. 추가적으로 또는 대안적으로, 일부 실시 예에서, 제1 관심 요소는 모니터링되는 영역 내의 제1 이동 물체를 포함할 수 있고, 제2 관심 요소는 제1 이동 물체의 즉각적인 주변을 포함할 수 있다.
그러나, 일부 실시 예에서, 인코더는 이미지들의 시퀀스의 제1 서브세트 또는 이미지들의 시퀀스의 제2 서브세트 내의 제3 영역을 제1 해상도로 인코딩할 수 있다. 상기 실시 예에서, 이미지들의 시퀀스의 제1 서브세트 또는 이미지들의 시퀀스의 제2 서브세트 내의 제3 영역은 제2 관심 요소를 포함할 수 있지만, 제2 관심 요소는 제1 관심 요소와 동일한 유형인 새로운 관심 요소일 수 있다. 예를 들어, 일부 실시 예에서, 제2 관심 요소는 모니터링되는 영역 내의 제2 사람의 얼굴 또는 모니터링되는 영역 내의 제2 이동 물체를 포함할 수 있다.
일부 실시 예에서, 인코더 및/또는 검출 프로세서는 제1 영역의 표시로부터 제3 영역 및 적어도 하나의 관계형 파라미터를 식별할 수 있다. 예를 들어, 일부 실시 예에서, 적어도 하나의 관계형 파라미터는 제1 영역의 크기와 관련하여 제3 영역의 크기를 정의할 수 있는 스케일링 파라미터(scaling parameter)를 포함할 수 있다. 추가적으로 또는 대안적으로, 일부 실시 예에서, 적어도 하나의 관계형 파라미터는 제1 영역의 위치에 대한 제3 영역의 위치를 정의할 수 있는 오프셋 파라미터(offset parameter)를 포함할 수 있다. 예를 들어, 제1 관심 요소가 제1 사람의 얼굴을 포함하는 실시 예에서, 적어도 하나의 관계형 파라미터는 일반적인 얼굴에 대한 일반적인 신체의 평균 위치를 포함할 수 있다.
도 1은 개시된 실시 예에 따른 비디오 모니터링 시스템20의 블록도이다. 도 1에 도시된 바와 같이, 일부 실시 예에서, 비디오 모니터링 시스템20은 이미지들의 시퀀스24를 캡처할 수 있는 카메라22, 카메라22로부터 이미지들의 시퀀스24를 수신할 수 있는 검출 프로세서26, 및 카메라22나 검출 프로세서26로부터 이미지들의 시퀀스24를 수신할 수 있고 검출 프로세서26로부터의 이미지들의 시퀀스를 이용하여 하나 이상의 영역들의 표시를 수신할 수 있는 인코더28를 포함할 수 있다.
도 2 및 도 3은 개시된 실시 예에 따른 검출 프로세서26에 의해 처리되는 이미지들의 시퀀스24의 제1 이미지24-1의 블록도들이다. 도 2에 도시된 바와 같이, 제1 이미지24-1는 제1 관심 요소30, 예를 들어, 제1 사람의 얼굴을 포함할 수 있다. 따라서, 검출 프로세서26는 제1 이미지24-1 내의 제1 관심 요소30를 포함하는 영역32 및 제1 이미지24-1 내의 영역32 이외의 영역33A을 식별할 수 있다. 도 3에 도시된 바와 같이, 일부 실시예들에서, 검출 프로세서26는 또한, 영역34이 제1 사람의 다른 특징, 예를 들어, 제1 사람의 신체와 연관되도록, 제1 이미지24-1 내의 영역34을 식별할 수 있다. 이러한 실시예들에서, 검출 프로세서26는 제1 이미지24-1 내의 영역32 및 영역34 모두 이외의 영역33B을 식별할 수 있다.
도 4는 개시된 실시 예에 따른 검출 프로세서26에 의해 처리되는 이미지24의 시퀀스의 제2 이미지24-2의 블록도이다. 제2 이미지24-2는 제1 이미지24-1 후에 캡처 될 수 있고, 도시된 바와 같이, 제1 관심 요소30 및 제2 관심 요소35, 예를 들어, 제2 사람의 얼굴을 포함할 수 있다. 따라서, 검출 프로세서26는 제2 이미지24-2 내의 제1 관심 요소30를 포함하는 영역32, 제2 이미지24-2 내의 제2 관심 요소35를 포함하는 영역36, 및 제2 이미지24-2 내의 영역32 및 영역36 모두 이외의 영역37을 식별할 수 있다. 일부 실시 예에서, 검출 프로세서는 또한 영역34과 유사하지만 영역32이 아닌 영역36과 연관되는(예를 들어, 제2 사람의 신체) 영역38을 식별할 수 있다. 상기 실시 예에서, 검출 프로세서26는 제2 이미지24-2 내의 영역32, 영역36, 및 영역38(및 식별되는 경우, 영역34) 모두 이외의 영역37을 식별할 수 있다.
동작 시, 검출 프로세서26는 영역32, 영역33A, 영역33B, 영역34, 영역36, 및/또는 영역37의 표시를 인코더28로 전송할 수 있다. 그 다음, 인코더28는 아래에서 더 상세히 설명되는 바와 같이, 미리 정의된 파라미터의 값으로부터 그리고, 제1 관심 요소30 및/또는 제2 관심 요소35가 새롭게 식별된 관심 요소들인지 또는 이전에 식별된 관심 요소들인지로부터 결정될 수 있는 해상도로, 제1 이미지24-1 및/또는 제2 이미지24-2 내의 영역32, 영역33A, 영역33B, 영역34, 영역36, 및/또는 영역37을 인코딩할 수 있다. 그러나, 일부 실시 예에서, 검출 프로세서26는 영역33A, 영역33B, 및/또는 영역37의 표시를 식별하고 전송할 필요가 없으며, 상기 실시 예에서, 인코더28는 영역32, 제3 영역34, 및/또는 영역36의 표시로부터, 필요한 경우, 영역33A, 영역33B, 및/또는 영역37을 직접 식별할 수 있다.
도 5는 개시된 실시 예에 따른 방법100의 흐름도이다. 방법100은 102에서와 같이, 카메라22가 모니터링되는 영역의 새로운 이미지를 캡처하는 단계(예를 들어, 도 2에서와 같은 이미지들의 시퀀스24의 제1 이미지24-1, 또는 도 4에서와 같은 이미지들의 시퀀스의 제2 이미지24-2)를 포함할 수 있다. 그 후, 방법100은, 104에서와 같이, 새로운 이미지가 새로운 관심 요소(예를 들어, 제1 관심 요소30, 또는 제2 관심 요소35)를 포함하는지를 결정하는 단계를 포함할 수 있다.
새로운 이미지가 새로운 관심 요소를 포함할 때, 방법100은 106에서와 같이, 상이한 관심 요소가 모니터링되는 영역의 이전 이미지에서 이전에 식별되었는지 여부를 결정하는 단계를 포함할 수 있다. 상이한 관심 요소가 이전에 식별되지 않은 경우, 방법100은 108에서와 같이, 인코더28가, 새로운 관심 요소를 포함하는 새로운 이미지 내의 영역을 제1 해상도로 인코딩하고 새로운 관심 요소를 포함하는 영역 이외의 새로운 이미지 내의 모든 영역을 제1 해상도보다 작은 제2 해상도로 인코딩하는 단계를 포함할 수 있다. 예를 들어, 제1 관심 요소30가 먼저 도 2의 제1 이미지24-1에서 식별된 경우, 방법100은 인코더28가, 제1 이미지24-1 내의 영역32을 제1 해상도로 인코딩하고 제1 이미지24-1 내의 영역33A을 제2 해상도로 인코딩하는 단계를 포함할 수 있다.
그러나, 상이한 관심 요소가 이전에 식별된 경우, 방법100은, 110에서와 같이, 예를 들어, 시간 값 및 이미지 수 값과 같은 미리 정의된 파라미터가 새로운 이미지 내의 상이한 관심 요소에 대한 향상된 인코딩을 나타내는지 여부를 결정하는 단계를 포함할 수 있다. 만일 그렇다면, 방법100은, 112에서와 같이, 인코더28가 새로운 관심 요소 및 상이한 관심 요소를 모두 포함하는 새로운 이미지 내의 영역들을 제1 해상도로 인코딩하고 새로운 관심 요소 및 상이한 관심 요소를 포함하는 영역 이외의 새로운 이미지 내의 모든 영역들을 제2 해상도로 인코딩하는 단계를 포함할 수 있다. 예를 들어, 제2 이미지24-2가 제1 이미지24-1 후에 캡처 되고, 미리 정의된 파라미터가 제2 이미지24-2 내의 영역32의 향상된 인코딩을 나타내는 경우, 방법100은 인코더28가, 제2 이미지24-2 내의 영역32 및 영역36을 제1 해상도로 인코딩하고 제2 이미지24-2 내의 영역37을 제1 해상도로 인코딩하는 단계를 포함할 수 있다.
그러나, 미리 정의된 파라미터가 새로운 이미지 내의 상이한 관심 요소에 대한 향상된 인코딩을 나타내지 않는 경우, 방법100은 108에서와 같이, 인코더28가, 새로운 관심 요소를 포함하는 새로운 이미지 내의 영역만을 제1 해상도로 인코딩하고 새로운 관심 요소를 포함하는 영역 이외의 새로운 이미지 내의 모든 영역들을 제2 해상도로 인코딩하는 단계를 포함할 수 있다. 예를 들어, 제2 이미지24-2가 제1 이미지24-1 후에 캡처 되지만, 미리 정의된 파라미터가 제2 이미지24-2 내의 영역32의 향상된 인코딩을 나타내지 않는 경우, 방법100은 인코더28가, 제2 이미지24-2 내의 영역36을 제1 해상도로 인코딩하고 제2 이미지24-2 내의 영역32 및 영역37을 제2 해상도로 인코딩하는 단계를 포함할 수 있다. 그러나, 일부 실시 예에서, 미리 정의된 파라미터가 제2 이미지24-2 내의 영역32의 향상된 인코딩을 나타내지 않는 경우, 방법100은 인코더28가, 제2 이미지24-2 내의 영역32을 제1 해상도보다 더 작고 제2 해상도보다 큰 제3 해상도로 인코딩하는 단계를 포함할 수 있다.
새로운 이미지가 새로운 관심 요소를 포함하지 않는 경우, 방법100은 114에서와 같이, 상이한 관심 요소가 이전 이미지에서 이전에 식별되었는지 여부를 결정하는 단계를 포함할 수 있다. 상이한 관심 요소가 이전에 식별되지 않은 경우, 방법100은 116에서와 같이, 인코더28가 새로운 이미지 내의 모든 영역들을 제2 해상도로 인코딩하는 단계를 포함할 수 있다.
그러나, 상이한 관심 요소가 이전에 식별된 경우, 방법100은 118에서와 같이, 미리 정의된 파라미터가 새로운 이미지 내의 상이한 관심 요소에 대한 향상된 인코딩을 나타내는지 여부를 결정하는 단계를 포함할 수 있다. 그렇지 않다면, 방법100은 116에서와 같이, 인코더28가 새로운 이미지 내의 모든 영역들을 제2 해상도로 인코딩하는 단계를 포함할 수 있다.
그러나, 미리 정의된 파라미터가 새로운 이미지 내의 상이한 관심 요소에 대한 향상된 인코딩을 나타내는 경우, 방법100은 120에서와 같이, 인코더28가, 상이한 관심 요소를 포함하는 새로운 이미지 내의 영역을 제1 해상도로 인코딩하고 상이한 관심 요소를 포함하는 영역 이외의 새로운 이미지 내의 모든 영역들을 제2 해상도로 인코딩하는 단계를 포함할 수 있다. 예를 들어, 제1 관심 요소30가 제1 이미지24-1 전에 캡처 된 이전 이미지에서 이전에 식별되었고 미리 정의된 파라미터가 제1 이미지24-1 내의 제1 관심 요소30에 대한 향상된 인코딩을 나타내는 경우, 방법100은 인코더28가, 제1 이미지24-1 내의 영역32을 제1 해상도로 인코딩하고 제1 이미지24-1 내의 영역33A을 제2 해상도로 인코딩하는 단계를 포함할 수 있다.
도 6 및 도 7은 개시된 실시 예에 따른 이미지들의 시퀀스24의 블록도들이다. 도 6 및 도 7에서 알 수 있는 바와 같이, 일부 실시 예에서, 이미지들의 시퀀스24는 이미지들의 시퀀스24의 제1 이미지24-1로부터 마지막 이미지24-(N+1)까지의 이미지들의 유한한 또는 무한한 그룹을 포함할 수 있다. 도 5에서와 같이 이미지들의 시퀀스24의 각각의 이미지가 처리되는 경우, 예를 들어, 시간 값 및 이미지 수 값과 같은 미리 정의된 파라미터에 의해 표시되는 바와 같이, 인코더는, 이미지들의 시퀀스24의 제1 서브세트25A, 25B 및/또는 이미지들의 시퀀스24의 제2 서브세트27A, 27B 내의 영역들을 인코딩할 수 있다.
예를 들어, 도 6에 도시된 바와 같이, 시간 값 또는 이미지 수 값은 연속적인 시간 윈도우 또는 이미지들의 시퀀스의 시퀀스 번호를 정의할 수 있다. 상기 실시 예에서, 연속적인 시간 윈도우는, 인코딩을 위한 물체 또는 영역이 캡처 되거나 식별되는 제1 시각에 시작하고, 제1 시각에 시간 값을 더한 것과 동일한 제2 시각에 종료될 수 있다. 유사하게, 이미지들의 시퀀스24의 시퀀스 번호는 인코딩을 위한 물체 또는 영역이 캡처 되거나 식별될 때 시작될 수 있으며, 시퀀스 번호는 이미지 수 값과 동일하다. 대안적으로, 도 7에 도시된 바와 같이, 시간 값 또는 이미지 수 값은 이미지들의 시퀀스24 내의 주기적인 이미지들을 정의할 수 있다. 상기 실시 예에서, 시간 주기는 시간 값 또는 이미지 수 값과 동일할 수 있고, 주기적으로 캡처 된 이미지들의 시퀀스24 내의 주기적인 이미지들이 인코딩될 수 있다(예를 들어, 이미지들의 시퀀스24의 매 3번째 이미지).
몇가지 실시 예가 상기에 상세히 설명되었지만, 다른 변형들이 가능하다. 예를 들어, 상기에서 설명된 논리 흐름들은 바람직한 결과들을 달성하기 위해 특정한 순서 또는 순차적인 순서를 필요로 하지 않는다. 다른 단계들이 제공될 수 있고, 단계들은 설명된 흐름들로부터 제거될 수 있으며, 다른 구성요소들이 설명된 시스템들에 추가되거나 설명된 시스템들로부터 제거될 수 있다. 다른 실시 예는 본 발명의 범위 내에 있을 수 있다.
상기와 같이, 본 발명의 취지 및 범위를 벗어나지 않고, , 다수의 변형 및 수정이 수행될 수 있음이 관찰될 것이다. 본 발명에 기재된 특정 시스템 또는 방법에 대한 어떠한 제한도 의도되거나 유추되어야 하는 것으로 이해되어서는 안 된다. 물론, 본 발명의 취지 및 범위 내에 있는 모든 이러한 변형들을 포함하는 것으로 의도된다.
Claims (20)
- 모니터링되는 영역의 이미지들의 시퀀스를 캡처하는 카메라;
상기 이미지들의 시퀀스 내의 제1 관심 요소를 포함하는 제1 영역을 식별하는 검출 프로세서; 및
상기 이미지들의 시퀀스의 제1 서브세트 내의 상기 제1 영역을 제1 해상도로 인코딩하고, 상기 제1 영역 이외의 상기 이미지들의 시퀀스의 상기 제1 서브세트 내의 제2 영역을 상기 제1 해상도보다 작은 제2 해상도로 인코딩하는 인코더를 포함하고,
상기 이미지들의 시퀀스의 상기 제1 서브세트 내의 상기 이미지들의 시퀀스의 수는 상기 이미지들의 시퀀스 전부보다 적고, 미리 정의된 파라미터에 기초하는 것을 특징으로 하는, 시스템.
- 제1항에 있어서, 상기 미리 정의된 파라미터는 시간 값을 포함하고, 상기 이미지들의 시퀀스의 상기 제1 서브세트는 상기 제1 영역이 식별되는 제1 시각에 시작되어 상기 제1 시각에 상기 시간 값을 더한 것과 동일한 제2 시각에 종료되는 시간 윈도우 동안에 캡처 된 상기 이미지들의 시퀀스 중 임의의 이미지를 포함하는 것을 특징으로 하는, 시스템.
- 제1항에 있어서, 상기 미리 정의된 파라미터는 시간 값을 포함하고, 상기 이미지들의 시퀀스의 상기 제1 서브세트는 상기 시간 값과 동일한 주기적인 시각에 캡처 된 상기 이미지들의 시퀀스 내의 주기적인 이미지들을 포함하는 것을 특징으로 하는, 시스템.
- 제1항에 있어서, 상기 미리 정의된 파라미터는 이미지 수 값을 포함하고, 상기 이미지들의 시퀀스의 상기 제1 서브세트는 상기 이미지 수 값과 동일하 되 상기 제1 영역이 식별될 때 시작하는 상기 이미지들의 시퀀스의 시퀀스 번호를 포함하는 것을 특징으로 하는, 시스템.
- 제1항에 있어서, 상기 미리 정의된 파라미터는 이미지 수 값을 포함하고, 상기 이미지들의 시퀀스의 상기 제1 서브세트는 상기 이미지 수 값과 동일한 주기로 캡처 된 상기 이미지들의 시퀀스 내의 주기적인 이미지들을 포함하는 것을 특징으로 하는, 시스템.
- 제1항에 있어서, 상기 검출 프로세서는 상기 이미지들의 시퀀스 내의 제2 관심 요소를 포함하는 제3 영역을 식별하고, 상기 인코더는 상기 이미지들의 시퀀스의 제1 서브세트 내의 상기 제3 영역을 상기 제1 해상도보다 작고 상기 제2 해상도보다 더 높은 제3 해상도로 인코딩하는 것을 특징으로 하는, 시스템.
- 제1항에 있어서, 상기 인코더는 상기 이미지들의 시퀀스의 상기 제1 서브세트 내의 제3 영역을 상기 제1 해상도보다 작고 상기 제2 해상도보다 높은 제3 해상도로 인코딩하고, 상기 제3 영역은 적어도 하나의 관계형 파라미터에 의해 상기 제1 영역에 대해 미리 정의되는 것을 특징으로 하는, 시스템.
- 제1항에 있어서, 상기 검출 프로세서가 상기 이미지들의 시퀀스 내의 새로운 관심 요소를 포함하는 제3 영역을 식별하는 경우, 상기 인코더는 상기 이미지들의 시퀀스의 제2 서브세트 내의 상기 제3 영역을 상기 제1 해상도로 인코딩하고, 상기 이미지들의 시퀀스의 상기 제2 서브세트 내의 상기 이미지들의 시퀀스의 수는 상기 이미지들의 시퀀스의 전부보다는 작고, 상기 미리 정의된 파라미터에 기초하는 것을 특징으로 하는, 시스템.
- 제1항에 있어서, 상기 인코더는 상기 이미지들의 시퀀스의 제2 서브세트 내의 모든 영역들을 상기 제2 해상도로 인코딩하며, 상기 이미지들의 시퀀스의 상기 제2 서브세트는 상기 이미지들의 시퀀스의 상기 제1 서브세트 이외의 상기 이미지들의 시퀀스 전부를 포함하는 것을 특징으로 하는, 시스템.
- 제1항에 있어서, 상기 인코더는, 상기 이미지들의 시퀀스의 제2 서브세트 내의 상기 제1 영역을 제3 해상도로 인코딩하고, 상기 이미지들의 시퀀스의 상기 제2 서브세트 내의 상기 제2 영역을 상기 제2 해상도로 인코딩하며, 상기 이미지들의 시퀀스의 상기 제2 서브세트는 상기 이미지들의 시퀀스의 상기 제1 서브세트 이외의 상기 이미지들의 시퀀스 전부를 포함하고, 상기 제3 해상도는 상기 제1 해상도보다 작고, 상기 제2 해상도보다 더 높은 것을 특징으로 하는, 시스템.
- 모니터링되는 영역의 이미지들의 시퀀스를 캡처하는 단계;
상기 이미지들의 시퀀스 내에서 제1 관심 요소를 포함하는 제1 영역을 식별하는 단계; 및
상기 이미지들의 시퀀스의 제1 서브세트 내의 상기 제1 영역을 제1 해상도로 인코딩하고, 상기 제1 영역 이외의 상기 이미지들의 시퀀스의 상기 제1 서브세트 내의 제2 영역을 상기 제1 해상도보다 작은 제2 해상도로 인코딩하는 단계를 포함하고,
상기 이미지들의 시퀀스의 상기 제1 서브세트 내의 상기 이미지들의 시퀀스의 수는 상기 이미지들의 시퀀스 전부보다 적고, 미리 정의된 파라미터에 기초하는 것을 특징으로 하는, 방법.
- 제11항에 있어서, 상기 미리 정의된 파라미터는 시간 값을 포함하고, 상기 이미지들의 시퀀스의 상기 제1 서브세트는 상기 제1 영역이 식별되는 제1 시각에 시작되어 상기 제1 시각에 상기 시간 값을 더한 것과 동일한 제2 시각에 종료되는 시간 윈도우 동안에 캡처 된 상기 이미지들의 시퀀스 중 임의의 이미지를 포함하는 것을 특징으로 하는, 방법.
- 제11항에 있어서, 상기 미리 정의된 파라미터는 시간 값을 포함하고, 상기 이미지들의 시퀀스의 상기 제1 서브세트는 상기 시간 값과 동일한 시간 주기로 캡처 된 상기 이미지들의 시퀀스 내의 주기적인 이미지들을 포함하는 것을 특징으로 하는, 방법.
- 제11항에 있어서, 상기 미리 정의된 파라미터는 이미지 수 값을 포함하고, 상기 이미지들의 시퀀스의 상기 제1 서브세트는 상기 이미지 수 값과 동일하 되 상기 제1 영역이 식별될 때 시작하는 상기 이미지들의 시퀀스의 시퀀스 번호를 포함하는 것을 특징으로 하는, 방법.
- 제11항에 있어서, 상기 미리 정의된 파라미터는 이미지 수 값을 포함하고, 상기 이미지들의 시퀀스의 상기 제1 서브세트는 상기 이미지 수 값과 동일한 주기로 캡처 된 상기 이미지들의 시퀀스 내의 주기적인 이미지들을 포함하는 것을 특징으로 하는, 방법.
- 제11항에 있어서,
상기 이미지들의 시퀀스 내에서 제2 관심 요소를 포함하는 제3 영역을 식별하는 단계; 및
상기 이미지들의 시퀀스의 상기 제1 서브세트 내의 상기 제3 영역을 상기 제1 해상도보다 작고 상기 제2 해상도보다 더 높은 제3 해상도로 인코딩하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
- 제11항에 있어서,
상기 이미지들의 시퀀스의 상기 제1 서브세트 내의 제3 영역을 상기 제1 해상도보다 작고 상기 제2 해상도보다 더 높은 제3 해상도로 인코딩하는 단계를 더 포함하고,
상기 제3 영역은 적어도 하나의 관계형 파라미터에 의해 상기 제1 영역에 대해 미리 정의되는 것을 특징으로 하는, 방법.
- 제11항에 있어서,
상기 이미지들의 시퀀스 내의 새로운 관심 요소를 포함하는 제3 영역을 식별하는 것에 응답하여, 상기 이미지들의 시퀀스의 제2 서브세트 내의 상기 제3 영역을 상기 제1 해상도로 인코딩하는 단계를 더 포함하고,
상기 이미지들의 시퀀스의 상기 제2 서브세트 내의 상기 이미지들의 시퀀스의 수는 상기 이미지들의 시퀀스 전부보다 적고, 미리 정의된 파라미터에 기초하는 것을 특징으로 하는, 방법.
- 제11항에 있어서,
상기 이미지들의 시퀀스의 제2 서브세트 내의 모든 영역들을 상기 제2 해상도로 인코딩하는 단계를 더 포함하고,
상기 이미지들의 시퀀스의 상기 제2 서브세트는 상기 이미지들의 시퀀스의 상기 제1 서브세트 이외의 상기 이미지들의 시퀀스 전부를 포함하는 것을 특징으로 하는, 방법.
- 제11항에 있어서,
상기 이미지들의 시퀀스의 제2 서브세트 내의 상기 제1 영역을 제3 해상도로 인코딩하는 단계; 및
상기 이미지들의 시퀀스의 상기 제2 서브세트 내의 상기 제2 영역을 상기 제2 해상도로 인코딩하는 단계를 포함하고,
상기 이미지들의 시퀀스의 상기 제2 서브세트는 상기 이미지들의 시퀀스의 상기 제1 서브세트 이외의 상기 이미지들의 시퀀스 전부를 포함하고,
상기 제3 해상도는 상기 제1 해상도보다 작고, 상기 제2 해상도보다 더 높은 것을 특징으로 하는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/865,612 US11558548B2 (en) | 2020-05-04 | 2020-05-04 | Systems and methods for encoding regions containing an element of interest in a sequence of images with a high resolution |
| US16/865,612 | 2020-05-04 | ||
| PCT/US2021/027277 WO2021225761A1 (en) | 2020-05-04 | 2021-04-14 | Systems and methods for encoding regions containing an element of interest in a sequence of images with a high resolution |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230006854A true KR20230006854A (ko) | 2023-01-11 |
Family
ID=75787294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227040396A KR20230006854A (ko) | 2020-05-04 | 2021-04-14 | 이미지들의 시퀀스에서 관심 요소를 포함하는 영역들을 높은 해상도로 인코딩하기 위한 시스템 및 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11558548B2 (ko) |
| EP (1) | EP4147159A1 (ko) |
| KR (1) | KR20230006854A (ko) |
| CN (1) | CN115428036A (ko) |
| WO (1) | WO2021225761A1 (ko) |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10257502A (ja) | 1997-03-17 | 1998-09-25 | Matsushita Electric Ind Co Ltd | 階層画像符号化方法、階層画像多重化方法、階層画像復号方法及び装置 |
| US20020080878A1 (en) | 2000-10-12 | 2002-06-27 | Webcast Technologies, Inc. | Video apparatus and method for digital video enhancement |
| US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
| JP4366023B2 (ja) * | 2001-03-16 | 2009-11-18 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法 |
| EP1953699A1 (en) | 2007-02-01 | 2008-08-06 | Sunvision Scientific Inc. | System and method for variable-resolution image saving |
| JP2009049979A (ja) * | 2007-07-20 | 2009-03-05 | Fujifilm Corp | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
| CN101755461B (zh) * | 2007-07-20 | 2012-06-13 | 富士胶片株式会社 | 图像处理设备、图像处理方法 |
| US9325951B2 (en) | 2008-03-03 | 2016-04-26 | Avigilon Patent Holding 2 Corporation | Content-aware computer networking devices with video analytics for reducing video storage and video communication bandwidth requirements of a video surveillance network camera system |
| WO2010057170A1 (en) * | 2008-11-17 | 2010-05-20 | Cernium Corporation | Analytics-modulated coding of surveillance video |
| US8917765B2 (en) * | 2010-07-20 | 2014-12-23 | Vixs Systems, Inc. | Video encoding system with region detection and adaptive encoding tools and method for use therewith |
| US8724912B2 (en) * | 2011-11-14 | 2014-05-13 | Fujifilm Corporation | Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images |
| US20150145944A1 (en) | 2012-01-03 | 2015-05-28 | Qualcomm Incorporated | Exchanging portions of a video stream via different links during a communication session |
| US20140198838A1 (en) * | 2013-01-15 | 2014-07-17 | Nathan R. Andrysco | Techniques for managing video streaming |
| GB2511730A (en) | 2013-01-28 | 2014-09-17 | Microsoft Corp | Spatially adaptive video coding |
| KR20150018696A (ko) | 2013-08-08 | 2015-02-24 | 주식회사 케이티 | 감시 카메라 임대 방법, 중계 장치 및 사용자 단말 |
| US9769368B1 (en) | 2013-09-25 | 2017-09-19 | Looksytv, Inc. | Remote video system |
| EP2863638A1 (en) | 2013-10-17 | 2015-04-22 | BAE Systems PLC | A method of reducing video content of a video signal of a scene for communication over a communications link |
| US20150215583A1 (en) | 2013-12-04 | 2015-07-30 | Rasilient Systems, Inc. | Cloud Video Surveillance |
| JPWO2015132881A1 (ja) * | 2014-03-04 | 2017-03-30 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム |
| US9715903B2 (en) | 2014-06-16 | 2017-07-25 | Qualcomm Incorporated | Detection of action frames of a video stream |
| US9420331B2 (en) | 2014-07-07 | 2016-08-16 | Google Inc. | Method and system for categorizing detected motion events |
| CN106485182B (zh) | 2016-06-27 | 2018-10-30 | 中国计量大学 | 一种基于仿射变换的模糊qr码复原方法 |
| US20180349708A1 (en) | 2017-05-30 | 2018-12-06 | Google Inc. | Methods and Systems for Presenting Image Data for Detected Regions of Interest |
| US10582147B2 (en) | 2017-12-28 | 2020-03-03 | Ademco Inc. | Systems and methods for intelligently recording video data streams |
-
2020
- 2020-05-04 US US16/865,612 patent/US11558548B2/en active Active
-
2021
- 2021-04-14 WO PCT/US2021/027277 patent/WO2021225761A1/en unknown
- 2021-04-14 EP EP21723547.2A patent/EP4147159A1/en active Pending
- 2021-04-14 KR KR1020227040396A patent/KR20230006854A/ko active Search and Examination
- 2021-04-14 CN CN202180033022.6A patent/CN115428036A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN115428036A (zh) | 2022-12-02 |
| US11558548B2 (en) | 2023-01-17 |
| US20210344837A1 (en) | 2021-11-04 |
| WO2021225761A1 (en) | 2021-11-11 |
| EP4147159A1 (en) | 2023-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101207803B (zh) | 用于相机篡改检测的方法、模块和设备 | |
| KR20110053820A (ko) | 이미지 처리 방법 및 장치 | |
| CN109391757B (zh) | 信息处理装置、信息处理方法和存储介质 | |
| CN102348067B (zh) | 摄像设备和摄像设备的控制方法 | |
| CN112532880A (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| US20190246048A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN109361927B (zh) | 图像处理方法及装置 | |
| JP7255841B2 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
| EP3023987B1 (en) | Method and apparatus for visualizing information of a digital video stream | |
| US11836935B2 (en) | Method and apparatus for detecting motion deviation in a video | |
| EP2713608B1 (en) | A device and a method for image acquisition | |
| EP3576419A1 (en) | Image processing apparatus, information processing apparatus, information processing method, and program | |
| US10628681B2 (en) | Method, device, and non-transitory computer readable medium for searching video event | |
| EP3035238A1 (en) | Video surveillance system and method for fraud detection | |
| KR20230006854A (ko) | 이미지들의 시퀀스에서 관심 요소를 포함하는 영역들을 높은 해상도로 인코딩하기 위한 시스템 및 방법 | |
| CN109698932B (zh) | 数据传输方法及摄像机、电子设备 | |
| US20190188864A1 (en) | Method and apparatus for detecting deviation from a motion pattern in a video | |
| JP2009088666A (ja) | 画像処理装置 | |
| CN111314650B (zh) | 图像显示方法及装置 | |
| JP2016139317A (ja) | ステータス判定システム | |
| CN111083416B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| EP3506227A1 (en) | Systems and methods for intelligently recording video data streams | |
| JP6501749B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP6091079B2 (ja) | 制御装置、制御方法及びプログラム | |
| JP2006109251A (ja) | 画像認証方法及び画像認証装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |