KR20220126264A - 비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체 - Google Patents
비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체 Download PDFInfo
- Publication number
- KR20220126264A KR20220126264A KR1020220108642A KR20220108642A KR20220126264A KR 20220126264 A KR20220126264 A KR 20220126264A KR 1020220108642 A KR1020220108642 A KR 1020220108642A KR 20220108642 A KR20220108642 A KR 20220108642A KR 20220126264 A KR20220126264 A KR 20220126264A
- Authority
- KR
- South Korea
- Prior art keywords
- video frame
- video
- target
- determining
- setting direction
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000033001 locomotion Effects 0.000 claims description 48
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
본 발명은 비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체를 제공하고, 이미지 처리 기술 분야에 관한 것으로, 구체적으로 스마트 추천 및 미디어 클라우드 기술 분야에 관한 것이다. 구체적으로, 타겟 비디오 프레임 및 타겟 비디오 프레임 전의 복수 과거 프레임을 획득하고, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리를 결정하며, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하고, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정한다. 본 발명에서 비디오 프레임의 흔들림 진폭 및 주기를 기반으로 비디오 프레임의 흔들림을 결정함으로, 흔들림의 오판을 방지하고, 비디오 흔들림 검출의 정확성을 향상시킨다.
Description
본 발명은 이미지 처리 기술 분야에 관한 것으로, 구체적으로 스마트 추천 및 미디어 클라우드 기술 분야에 관한 것이고, 특히 비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.
비디오가 촬영, 녹음, 모니터링하는 과정에서, 촬영 기기가 흔들려 촬영된 비디오 화면 품질이 비교적 차한 경우를 초래한다. 따라서, 후속 기기의 안정화 또는 이미지의 안정화 처리를 위해, 객관적이고, 신속하고, 효과적인 방법으로 비디오에 흔들림이 발생했는지 여부를 검출해야 한다.
본 발명은 비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체를 제공한다.
본 발명의 일 측면에 따르면, 비디오 흔들림 검출 방법을 제공하고, 상기 방법은,
타겟 비디오 프레임 및 상기 타겟 비디오 프레임 전의 복수 과거 비디오 프레임을 획득하는 단계;
상기 타겟 비디오 프레임 및 상기 복수 과거 비디오 프레임의 각 상기 비디오 프레임에 대해, 설정 방향에서 이전 비디오 프레임에 대한 이동 거리를 결정하는 단계;
설정 방향에서 이전 비디오 프레임에 대한 각 상기 비디오 프레임의 이동 거리에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는 단계; 및
설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 상기 타겟 주기가 설정 주기보다 작은 경우, 상기 비디오에 흔들림이 존재함을 결정하는 단계; 를 포함한다.
본 발명의 다른 측면에 따르면, 비디오 흔들림 검출 장치를 제공하고, 상기 장치는,
타겟 비디오 프레임 및 상기 타겟 비디오 프레임 전의 복수 과거 비디오 프레임을 획득하는 획득 모듈;
상기 타겟 비디오 프레임 및 상기 복수 과거 비디오 프레임의 각 상기 비디오 프레임에 대해, 설정 방향에서 이전 비디오 프레임에 대한 이동 거리를 결정하는 제1 결정 모듈;
설정 방향에서 이전 비디오 프레임에 대한 각 상기 비디오 프레임의 이동 거리에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는 제2 결정 모듈; 및
설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 상기 타겟 주기가 설정 주기보다 작은 경우, 상기 비디오에 흔들림이 존재함을 결정하는 제3 결정 모듈; 을 포함한다.
본 발명의 다른 측면에 따르면, 전자 기기를 제공하고, 상기 전자 기기는,
적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 통신 가능하게 연결되는 메모리; 를 포함하고, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 전술한 일 측면에 따른 방법의 단계를 수행한다.
본 발명의 다른 측면에 따르면, 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 명령은 상기 컴퓨터가 전술한 일 측면에 따른 방법의 단계를 수행하도록 한다.
본 발명의 다른 측면에 따르면, 비일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 제공하고, 컴퓨터 명령을 포함하며, 상기 컴퓨터 명령이 프로세서에 의해 수행되는 경우 전술한 일 측면에 따른 방법의 단계를 구현한다.
이해해야 할 것은, 본 부분에서 설명되는 내용은 본 발명 실시예의 관건 또는 중요한 특징을 식별하기 위한 것이 아니고, 본 발명의 범위를 한정하기 위한 것도 아니다. 본 발명의 기타 특징은 이하의 명세서를 통해 용이하게 이해된다.
도면은 본 기술적 수단을 더 잘 이해하는데 사용되고, 본 발명을 한정하려는 것은 아니다.
도1은 본 발명의 실시예에 따른 비디오 흔들림 검출 방법의 개략적인 흐름도이다.
도2는 본 발명의 실시예에 따른 다른 비디오 흔들림 검출 방법의 개략적인 흐름도이다.
도3은 본 발명의 실시예에 따른 다른 비디오 흔들림 검출 방법의 개략적인 흐름도이다.
도4는 본 발명의 실시예에 따른 다른 비디오 흔들림 검출 방법의 개략적인 흐름도이다.
도5는 본 발명의 실시예에 따른 비디오 흔들림 검출 장치의 개략적인 구조도이다.
도6은 본 발명 실시예의 예시적인 전자 기기(600)의 개략적인 블록도이다.
도1은 본 발명의 실시예에 따른 비디오 흔들림 검출 방법의 개략적인 흐름도이다.
도2는 본 발명의 실시예에 따른 다른 비디오 흔들림 검출 방법의 개략적인 흐름도이다.
도3은 본 발명의 실시예에 따른 다른 비디오 흔들림 검출 방법의 개략적인 흐름도이다.
도4는 본 발명의 실시예에 따른 다른 비디오 흔들림 검출 방법의 개략적인 흐름도이다.
도5는 본 발명의 실시예에 따른 비디오 흔들림 검출 장치의 개략적인 구조도이다.
도6은 본 발명 실시예의 예시적인 전자 기기(600)의 개략적인 블록도이다.
이하 도면과 결합하여 본 발명의 예시적인 실시예를 설명한다. 여기에는 이해를 돕기 위해 본 발명의 실시예의 다양한 세부 사항을 포함하고, 실시예들은 단지 예시적인 것으로 간주되어야 한다. 때문에 본 발명에 속하는 기술 분야의 통상의 기술자는 본 발명의 범위 및 사상을 벗어나지 않고 실시예에 여러가지 변경과 수정을 할 수 있다는 것을 인식해야 한다. 동시에 정확성과 간결성을 위해 하기의 설명에서 공지 기능과 구조에 대한 설명은 생략한다.
아래는 도면을 참조하여 본 발명 실시예의 비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체를 설명한다.
관련 기술에서, 흔들림 진폭에 따라 비디오에 흔들림이 존재하는지 여부를 판단하고, 촬영 기기가 느린 왕복 운동을 할 경우, 계산된 흔들림 진폭은 비교적 클 수 있고, 타겟 비디오 프레임에 흔들림이 존재함을 판단할 수 있지만, 실제로는 정상적인 촬영 기기의 이동이고, 오판을 초래한다. 이로하여, 본 발명의 실시예는 비디오 흔들림 검출 방법을 제공하고, 타겟 비디오 프레임 및 타겟 비디오 프레임 전의 복수 과거 프레임을 획득하고, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리를 결정하며, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하고, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정한다. 본 발명에서 비디오 프레임의 흔들림 진폭 및 주기를 기반으로 비디오 프레임의 흔들림을 결정함으로, 흔들림의 오판을 방지하고, 비디오 흔들림 검출의 정확성을 향상시킨다.
도1은 본 발명의 실시예에 따른 비디오 흔들림 검출 방법의 개략적인 흐름도이다.
도1에 도시된 바와 같이, 당해 방법은 단계101 내지 단계104를 포함한다.
단계101에서, 타겟 비디오 프레임 및 타겟 비디오 프레임 전의 복수 과거 비디오 프레임을 획득한다.
본 발명의 실시예에서, 비디오는 비디오 프레임으로 구성되고, 타겟 비디오 프레임은 비디오 재생 프로세스에서의 임의의 비디오 프레임, 또는 비디오 재생 프로세스에서의 현재 비디오 프레임일 수 있다. 타겟 비디오 프레임은 비디오 중의 1개 비디오 세그먼트의 임의의 프레임 또는, 특정 프레임일 수도 있다.
예를 들면, 비디오 세그먼트 A에는 30개의 비디오 프레임을 포함하고, 구별하는데 편리하기 위해 1, 2, 3·····, 30으로 번호를 매기고, 타겟 비디오 프레임이 30번째 프레임, 즉, 번호가 30인 비디오 프레임일 경우, 번호가 1 내지 29인 비디오 프레임은 번호가 30인 비디오 프레임 전의 과거 비디오 프레임이다. 타겟 비디오 프레임이 28번째 프레임, 즉 번호가 28인 비디오 프레임일 경우, 번호가 1 내지 27인 비디오 프레임은 번호가 28인 비디오 프레임전의 과거 비디오 프레임이다.
단계102에서, 타겟 비디오 프레임 및 복수 과거 비디오 프레임의 각 비디오 프레임에 대해, 설정 방향에서 이전 비디오 프레임에 대한 이동 거리를 결정한다.
여기서, 각 비디오 프레임은 타겟 비디오 프레임 및 타겟 비디오 프레임 전의 복수 과거 비디오 프레임을 포함한다.
본 발명의 실시예의, 설정 방향에서 각 비디오 프레임의 인접된 2개 비디오 프레임 사이의 이동 거리를 결정하여, 설정 방향에서 각 비디오 프레임의 각 프레임의 이동 거리를 결정한다. 여기서, 설정 방향은 수평 방향, 또는 수직 방향, 또는 수평 방향 및 수직 방향, 또는 수평 방향 및 수직 방향 중 1개 방향일 수 있다.
구현 가능한 방식으로서, 각 비디오 프레임 중 임의의 인접된 비디오 프레임 사이의 아핀 변환 행렬을 결정하고, 아핀 변환 행렬에 따라 인접된 비디오 프레임 중 설정 방향에서의 이전 프레임에 대한 다음 프레임의 이동 거리를 획득한다.
단계103에서, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정한다.
본 발명의 실시예에서, 각 비디오 프레임 중 설정 방향에서의 이전 비디오 프레임에 대한 각 프레임의 이동 거리에 따라, 설정 방향에서 각 비디오 프레임의 이동 궤적을 결정하고, 각 비디오 프레임의 이동 궤적에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정함으로, 타겟 진폭 및 타겟 주기에 따라, 타겟 비디오 프레임에 흔들림이 존재하는지 여부를 결정한다. 본 발명의 실시예에서 타겟 비디오 프레임에 흔들림이 존재하는지 여부를 결정할 때 고려하는 요소를 증가시켜, 비디오 프레임의 흔들림 결정의 정확성을 향상시킨다.
단계104에서, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정한다.
본 발명의 실시예에서, 설정 방향에서 결정된 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기에 따라, 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작다고 결정할 경우, 타겟 비디오 프레임에 흔들림이 존재함을 결정함으로, 타겟 비디오 프레임을 획득하는 비디오에 흔들림이 존재함을 결정하고, 종래 기술에서 진폭을 통해 비디오에 흔들림이 존재하는는지 여부를 결정하는 방법에 대비해, 비디오 수집 기기가 정상적인 왕복 운동을 할 경우 진폭이 비교적 크므로 초래된 흔들림의 오판을 방지하고, 비디오 흔들림 결정의 정확성을 향상시킨다.
본 발명의 기술 수단에서, 언급된 사용자 개인 정보의 획득, 저장 및 응용 등은, 모두 관련 법률 및 규정에 해당되고, 공서양속을 위배하지 않는다.
본 발명 실시예의 비디오 흔들림 검출 방법에서, 타겟 비디오 프레임 및 타겟 비디오 프레임 전의 복수 과거 프레임을 획득하고, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리를 결정하며, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하고, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정한다. 본 발명에서 비디오 프레임의 흔들림 진폭 및 주기를 기반으로 비디오 프레임의 흔들림을 결정함으로, 흔들림의 오판을 방지하고, 비디오 흔들림 검출의 정확성을 향상시킨다.
상기 실시예를 기반으로, 본 실시예는 다른 비디오 흔들림 검출 방법을 제공하고, 도2는 본 발명의 실시예에 따른 다른 비디오 흔들림 검출 방법의 개략적인 흐름도이고, 구체적으로 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리를 결정하는 방법을 설명하고, 도2에 도시된 바와 같이, 당해 방법은 단계201 내지 단계206을 포함한다.
단계201에서, 타겟 비디오 프레임 및 타겟 비디오 프레임 전의 복수 과거 비디오 프레임을 획득한다.
구체적으로, 상기 실시예의 해석과 설명을 참조할 수 있고, 원리는 같으며, 본 실시예에서 더는 설명하지 않는다.
단계202에서, 각 비디오 프레임에 대해, 비디오 프레임의 특징점을 비디오 프레임의 이전 비디오 프레임의 특징점과 매칭하여, 비디오 프레임의 제1 매칭 특징점 및 비디오 프레임의 이전 비디오 프레임의 제2 매칭 특징점을 결정한다.
여기서, 비디오 프레임의 특징점은, 비디오에서 물체의 형상, 색채 및 무늬 등 특징의 하나 또는 복수의 픽셀 포인트의 조합일 수 있다.
본 발명 실시예의 일 구현 방식에서, 인접된 2개의 비디오 프레임 이미지를 획득하고, 이전 비디오 프레임 이미지 및 다음 비디오 프레임 이미지에서 복수의 특징점의 특징을 획득한다. 예를 들면, SURF 알고리즘을 기반으로 비디오 프레임 이미지의 특징점을 추출하고, 특징점의 특징에 대해 매칭함으로, 이전 비디오 프레임 이미지와 다음 비디오 프레임 이미지의 매칭된 특징점을 획득하고, 특징점 매칭 페어를 구성한다. 구별에 편리하기 위해, 각 비디오 프레임에 대해, 본 발명의 실시예에서 당해 비디오 프레임의 제1 매칭 특징점 및 당해 비디오 프레임의 이전 비디오 프레임에서 제1 매칭 특징점과 매칭되는 제2 매칭 특징점이라고 부른다. 예를 들면, 일 비디오 프레임 이미지의 특징점은 각각 P1, P2, P3......, Pn이고, 이전 비디오 프레임 이미지에서 매칭되는 특징점은 각각 Q1, Q2, Q3......, Qn이다. 여기서, P1 및 Q1은 특징점 매칭 페어이고, P2 및 Q2는 특징점 매칭 페어이고, P3 및 Q3은 특징점 매칭 페어이고, 등등. 특징점의 매칭은 브루트 포스(Brute Force) 또는 고속 근사 최근접 이웃(FLANN) 알고리즘을 사용하여 특징 매칭을 수행할 수 있고, 여기서, 고속 근사 최근접 이웃 알고리즘은 가장 가까운 매칭 거리 및 다음으로 가까운 매칭 거리의 비율이 설정 역치를 초과하는지 여부를 판단하고, 설정된 역치를 초과할 경우, 매칭 성공으로 판단함으로, 틀린 매칭 포인트 페어를 감소한다.
단계203에서, 설정 방향에서 각 제2 매칭 특징점에 대한 각 제1 매칭 특징점의 이동 거리를 결정한다.
여기서, 설정 방향은 수평 방향 및/또는 수직 방향이다. 이미지를 수집하는 촬영 장치의 흔들림은 수평 방향의 이동일 수 있고, 수직 방향의 이동으로 초래된 흔들림일 수 있고, 수평 방향 및 수직 방향의 흔들림이 동시에 존재할 수도 있고, 2개의 방향의 이동 거리를 결정함으로, 후속 흔들림 결정의 정확성을 향상시킬 수 있다.
본 발명의 실시예에서, 설정 방향에서 각 제1 매칭 특징점의 이동 거리 및 설정 방향에서 각 제2 매칭 특징점의 이동 거리를 결정함으로, 각 제2 매칭 특징점에 대한 각 제1 매칭 특징점의 이동 거리를 결정할 수 있다.
단계204에서, 제1 매칭 특징점의 수량이 특징점의 설정 수량보다 큰 경우, 각 제1 매칭 특징점의 이동 거리의 평균치를, 설정 방향에서 이전 비디오 프레임에 대한 비디오 프레임의 이동 거리로 한다.
본 발명의 실시예에서, 제1 매칭 특징점의 수량을 결정하고, 제1 매칭 특징점의 수량과 특징점의 설정 수량을 비교하여, 제1 매칭 특징점의 수량이 특징점의 설정 수량보다 크다는 것을 결정함으로, 제1 매칭 특징점의 수량이 비교적 적을 경우 틀리게 매칭된 특징점으로 인한 오판을 방지하고, 정확성을 향상시킨다. 따라서, 제1 매칭 특징점의 이동 거리의 평균치를, 설정 방향에서 이전 비디오 프레임에 대한 비디오 프레임의 이동 거리로 한다.
설명해야 할 것은, 제1 매칭 특징점의 수량이 특징점의 설정 수량보다 작거나 같은 경우, 설정 방향에서 비디오 프레임이 이전 비디오 프레임에 대해 이동되지 않았다고 판단한다.
단계205에서, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정한다.
단계206에서, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정한다.
구체적으로, 단계205 및 단계206은 상기 실시예의 해석과 설명을 참조할 수 있고, 원리는 같으며, 본 실시예에서 더는 설명하지 않는다.
본 발명 실시예의 비디오 흔들림 검출 방법에서, 타겟 비디오 프레임 및 타겟 비디오 프레임 전의 복수 과거 프레임을 획득하고, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리를 결정하며, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하고, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정한다. 본 발명에서 비디오 프레임의 흔들림 진폭 및 주기를 기반으로 비디오 프레임의 흔들림을 결정함으로, 흔들림의 오판을 방지하고, 비디오 흔들림 검출의 정확성을 향상시킨다. 또한 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리를 결정할 때, 각 비디오 프레임에서 매칭된 특징점의 총 수량을 판단함으로, 틀리게 매칭된 특징점으로 인한 오판을 감소하고, 각 비디오 프레임의 이동 거리를 결정하는 정확성을 향상시킨다.
상기 실시예를 기반으로, 본 실시예는 다른 구현 방식을 제공하고, 각 비디오 프레임에 대해, 이동 거리가 설정 거리보다 큰 매칭된 특징점의 수량을 결정하여, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리의 정확성을 향상시키고, 도3은 본 발명의 실시예에 따른 다른 비디오 흔들림 검출 방법의 개략적인 흐름도이고, 도3에 도시된 바와 같이, 당해 방법은 단계301 내지 단계307을 포함한다.
단계301에서, 타겟 비디오 프레임 및 타겟 비디오 프레임 전의 복수 과거 비디오 프레임을 획득한다.
단계302에서, 각 비디오 프레임에 대해, 비디오 프레임의 특징점을 비디오 프레임의 이전 비디오 프레임의 특징점과 매칭하여, 비디오 프레임의 제1 매칭 특징점 및 비디오 프레임의 이전 비디오 프레임의 제2 매칭 특징점을 결정한다.
단계303에서, 각 제2 매칭 특징점에 대한 각 제1 매칭 특징점의 이동 거리를 결정한다.
구체적으로, 단계301 내지 303은 상기 실시예의 해석과 설명을 참조할 수 있고, 원리는 같으며, 본 실시예에서 더는 설명하지 않는다.
단계304에서, 제1 매칭 특징점에서 이동 거리가 설정 거리보다 큰 제3 매칭 특징점의 수량을 통계하고, 제3 매칭 특징점의 수량이 제3 설정 수량보다 큼을 결정하거나 또는 제3 매칭 특징점의 수량이 제1 매칭 특징점의 수량에서 차지하는 비율이 제1 비율보다 큼을 결정한다.
본 발명의 실시예에서, 제1 매칭 특징점에서 이동 거리가 설정 거리보다 큰 제3 매칭 특징점의 수량을 통계하고, 제3 매칭 특징점의 수량이 제3 설정 수량보다 큼을 결정하거나 또는 제3 매칭 특징점의 수량이 제1 매칭 특징점의 수량에서 차지하는 비율이 제1 비율보다 큼을 결정하고, 각 제1 매칭 특징점에서 이동 거리가 비교적 큰 특징점 수량 또는 특징점의 비율을 결정함으로, 해당 비디오 프레임에 대량의 특징점이 이동된 것을 결정하고, 비디오 프레임의 일부 물체의 이동으로 비디오 프레임에 이동이 존재함을 오판하는 경우를 방지하고, 비디오 프레임의 이동을 판단하는 정확성을 향상시킨다.
설명해야 할 것은, 제3 매칭 특징점의 수량이 제3 설정 수량보다 작거나 같음을 결정하거나 또는 제3 매칭 특징점의 수량이 제1 매칭 특징점의 수량에서 차지하는 비율이 제1 비율보다 작거나 같음을 결정할 경우, 비디오에서 일부 물체가 이동하되, 비디오 프레임은 이전 비디오 프레임에 대해 이동하지 않음으로 간주한다다고 .
단계305에서, 제1 매칭 특징점의 수량이 특징점의 설정 수량보다 크고, 및 제3 매칭 특징점의 수량이 제3 설정 수량보다 크거나 또는 제3 매칭 특징점의 수량이 제1 매칭 특징점의 수량에서 차지하는 비율이 제1 비율보다 큰 경우, 각 제1 매칭 특징점의 이동 거리의 평균치를, 설정 방향에서 이전 비디오 프레임에 대한 비디오 프레임의 이동 거리로 한다.
본 발명의 실시예에서, 제1 매칭 특징점의 수량이 특징점의 설정 수량보다 크고, 및 제3 매칭 특징점의 수량이 제3 설정 수량보다 크거나 또는 제3 매칭 특징점의 수량이 제1 매칭 특징점의 수량에서 차지하는 비율이 제1 비율보다 큰 경우, 해당 비디오 프레임에 이동이 존재함을 결정함으로, 비디오 프레임의 각 제1 매칭 특징점의 이동 거리의 평균치를, 설정 방향에서 이전 비디오 프레임에 대한 비디오 프레임의 이동 거리로 하고, 각 비디오 프레임의 이동을 판단하는 정확성을 향상시킨다.
단계306에서, 설정 방향에서 이전 비디오 프레임에 대한 각 상기 비디오 프레임의 이동 거리에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정한다.
단계307에서, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정한다.
구체적으로, 단계306 및 단계307은 상기 실시예의 해석과 설명을 참조할 수 있고, 원리는 같으며, 본 실시예에서 더는 설명하지 않는다.
본 발명 실시예의 비디오 흔들림 검출 방법에서, 타겟 비디오 프레임 및 타겟 비디오 프레임 전의 복수 과거 프레임을 획득하고, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리를 결정하며, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하고, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정한다. 본 발명에서 비디오 프레임의 흔들림 진폭 및 주기를 기반으로 비디오 프레임의 흔들림을 결정함으로, 흔들림의 오판을 방지하고, 비디오 흔들림 검출의 정확성을 향상시킨다. 또한 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리를 결정할 경우, 각 비디오 프레임에서 매칭된 특징점의 총 수량 및 특징점의 이동 거리 비율이 설정 조건을 만족하는지 여부 또는 이동이 존재하는 특징점의 수량이 설정 조건을 만족하는지 여부를 판단함으로, 비디오 프레임의 일부 물체의 이동으로 인한 오판을 감소하고, 각 비디오 프레임의 이동 거리를 결정하는 정확성을 향상시킨다.
상기 실시예를 기반으로, 본 실시예는 다른 비디오 흔들림 검출 방법을 제공하고, 도4는 본 발명의 실시예에 따른 다른 비디오 흔들림 검출 방법의 개략적인 흐름도이고, 도4에 도시된 바와 같이, 당해 방법은 단계401 내지 단계407을 포함한다.
단계401에서, 타겟 비디오 프레임 및 타겟 비디오 프레임 전의 복수 과거 비디오 프레임을 획득한다.
단계402에서, 설정 방향에서 이전 비디오 프레임에 대한 각 상기 비디오 프레임의 이동 거리를 결정한다.
구체적으로, 단계401 및 단계402는 상기 실시예의 관련 해석과 설명을 참조할 수 있고, 원리는 같으며, 본 실시예에서 더는 설명하지 않는다.
단계403에서, 각 이동 거리에 따라, 설정 순서로 이동 거리 리스트를 생성한다.
여기서, 설정 순서는 각 비디오 프레임의 생성 순서를 나타낸다.
본 발명 실시예의 구현 방식의, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리 및 각 비디오 프레임의 생성 순서에 따라 순서대로 이동 거리 리스트에 데이터를 기입한다. 예를 들면, 각 비디오 프레임이 모두 10프레임이고, 각 비디오 프레임의 생성 순서에 따라 각각 1 내지 10으로 번호 메기고, 여기서, 번호가 10인 프레임은 현재 가장 가까운 프레임이고, 번호가 9인 프레임은 번호가 10인 프레임의 이전 프레임이고, 이대로 유추할 경우, 번호가 1인 프레임은 가장 빨리 생성된 프레임이므로, 설정 방향에서 번호가 1 내지 10인 각 프레임의 이동 거리를 이동 거리 리스트에 왼쪽에서 오른쪽까지 순서대로 기입한다.
본 발명의 실시예에서, 이동 거리 리스트에 포함된 각 비디오 프레임의 이동 거리 수량이 설정 역치 수량보다 큰 경우, 이동 거리 리스트는 후속에 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는 복수의 비디오 프레임을 선별하는데 사용되므로, 생성 순서가 비교적 이른 비디오 프레임을 삭제하여, 이동 거리 리스트에 포함된 이동 거리의 수량을 저하시키므로, 연산량이 저하되고, 또한 후속에 이동 거리 리스트에 포함된 각 비디오 프레임의 후속 이동 거리를 기반으로, 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는 정확성을 향상시킨다.
단계404에서, 이동 거리 리스트에 따라, 이동 거리의 절대치가 설정 거리 역치보다 큰 제1 설정 수량의 연속 비디오 프레임을 결정한다.
본 발명 실시예의 구현 방식에서, 이동 거리 리스트에서, 설정 순서의 반대 방향에 따라, 각 비디오 프레임에 대응되는 이동 거리 리스트에서, 이동 거리의 절대치가 설정 거리 역치보다 큰 제1 설정 수량의 연속 비디오 프레임을 결정하고, 이동 거리가 비교적 작고 또는 이동하지 않은 비디오 프레임을 제거하고, 효과적인 연속 비디오 프레임을 결정하여, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는데 사용되는 연속 비디오 프레임의 수량을 저하시키므로, 정확성을 향상시킨다.
예를 들면, 이동 거리 리스트에서, 번호가 10인 프레임부터 번호가 1인 프레임까지 조회하고, 이동 거리의 절대치가 설정 거리 역치보다 큰 제1 설정 수량 예컨대 10개의 연속 비디오 프레임을 결정한다.
단계405에서, 제1 설정 수량의 연속 비디오 프레임에서, 이동 거리의 절대치가 극치인 제2 설정 수량의 후보 비디오 프레임을 결정한다.
여기서, 제2 설정 수량은 제1 설정 수량보다 작다. 예를 들면, 제1 설정 수량은 10개의 프레임이고, 제2 설정 수량은 3개의 프레임이다.
본 발명의 실시예에서, 이동 거리의 절대치가 극치인 제2 설정 수량의 후보 비디오 프레임을 결정한다. 즉, 복수의 로컬 이동 거리의 절대치의 극점을 결정하여, 이동 거리를 더 선별한다.
예를 들면, 이전 단계에서 결정된 10개의 연속 비디오 프레임에서 로컬 이동 거리가 극점인 제2 설정 수량 예컨대 3개의 비디오 프레임을 선별한다.
단계406에서, 설정 방향에서 제2 설정 수량의 후보 비디오 프레임의 이동 거리에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정한다.
본 발명의 실시예에서, 제2 설정 수량의 후보 비디오 프레임의 이동 거리가 비교적 크다는 것은, 흔들림이 존재할 수 있는 각 비디오 프레임을 가리키므로, 설정 방향에서 흔들림이 존재할 수 있는 제2 설정 수량의 후보 비디오 프레임의 이동 거리에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 추정하고, 타겟 진폭 및 타겟 주기 2개의 파라미터를 기반으로, 타겟 비디오 프레임에 흔들림이 발생하였는지 여부를 결정하여, 타겟 비디오 프레임의 흔들림을 결정하는 정확성을 향상시킨다.
본 발명 실시예의 구현 방식에서, 제2 설정 수량의 후보 비디오 프레임에서, 설정 방향에서 인접된 후보 비디오 프레임의 이동 거리에 따라, 참조 비디오 프레임을 결정한다. 일 장면에서, 제2 설정 수량이 2개보다 크거나 같을 경우, 제2 설정 수량의 후보 비디오 프레임에서 인접 관계가 존재하는 후보 비디오 프레임 페어를 결정하고, 복수의 후보 비디오 프레임 페어에서 이동 거리가 비교적 작은 후보 비디오 프레임을 선별하고, 선별된 후보 비디오 프레임이 2개될 때까지, 상기 선별 조작을 반복하여, 마지막으로 선별된 2개의 후보 비디오 프레임에서, 이동 거리가 비교적 큰 후보 비디오 프레임을 참조 비디오 프레임으로 선택한다.
예를 들면, 제2 설정 수량의 후보 비디오 프레임이 3개이고, 거리 리스트의 순서대로 각각 A, B 및 C이고, 여기서, 후보 비디오 프레임 A의 이동 거리가 가장 크며, 후보 비디오 프레임 B의 이동 거리는 후보 비디오 프레임 C의 이동 거리보다 크고, 후보 비디오 프레임 C 및 후보 비디오 프레임 B의 이동 거리의 절대치를 비교하고, 후보 비디오 프레임 C를 이동 거리가 비교적 작은 후보 비디오 프레임으로 결정하며; 후보 비디오 프레임 B 및 후보 비디오 프레임 A의 이동 거리의 절대치를 비교하여, 후보 비디오 프레임 B를 이동 거리가 비교적 작은 후보 비디오 프레임으로 결정하고, 나아가, 후보 비디오 프레임 C 및 후보 비디오 프레임 B의 이동 거리를 비교하여, 이동 거리가 비교적 큰 후보 비디오 프레임 B를 참조 비디오 프레임으로 결정한다.
다른 장면에서, 제2 설정 수량이 1개일 경우, 당해 1개의 극점에 대응되는 후보 비디오 프레임을 참조 비디오 프레임으로 하고, 1개의 참조 비디오 프레임이 존재하고, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기가 모두 0일 경우, 비디오에 흔들림이 존재하지 않음을 결정한다.
나아가, 설정 방향에서 타겟 비디오 프레임의 이동 거리를, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭으로 한다. 참조 비디오 프레임와 인접된 후보 비디오 프레임 사이의 프레임 차이값에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 주기를 결정한다.
여기서, 일 장면에서, 참조 비디오 프레임에 인접된 후보 비디오 프레임이 2개일 경우, 참조 비디오 프레임와 인접된 임의의 후보 비디오 프레임 사이의 프레임 간격을 결정하고, 프레임 간격에 따라 참조 비디오 프레임과 인접된 임의의 후보 비디오 프레임 사이의 주기 즉 T1 및 T2를 결정한다. 나아가, T1 또는 T2를 타겟 비디오 프레임의 타겟 주기로 하고, 또는 T1 및 T2의 평균치를 타겟 비디오 프레임의 타겟 주기로 한다.
여기서, T1 또는 T2의 결정 방식에 대해, 본 발명의 실시예에서, T1을 예로 들면, 참조 비디오 프레임이 상기 결정된 후보 비디오 프레임 B이고, 후보 비디오 프레임 B와 후보 비디오 프레임 A 사이의 프레임 간격은 3개의 프레임이고, 타겟 비디오 프레임의 기기의 촬영 프레임 레이트를 획득하고, 프레임 레이트에 따라 일 프레임의 시간이 t1인 것을 결정하고, 일 프레임의 시간에 프레임 간격의 2배를 곱하고, 참조 비디오 프레임 B와 인접된 후보 비디오 프레임 A 사이의 주기로 한다, 즉 t1*3*2.
다른 장면에서, 참조 비디오 프레임에 인접된 후보 비디오 프레임이 1개일 경우, 참조 비디오 프레임과 인접된 후보 비디오 프레임 사이의 프레임 간격에 따라 결정된 주기를, 타겟 비디오 프레임의 타겟 주기로 한다.
나아가, 결정된 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기에 따라, 타겟 비디오 프레임에 흔들림이 발생하였는지 여부를 정확히 결정할 수 있고, 흔들림을 결정하는 정확성을 향상시킨다. 본 발명의 실시예에서, 제2 설정 수량의 후보 비디오 프레임에서, 제2 설정 수량이 비교적 많을 경우, 참조 비디오 프레임을 반복 선별할 수 있고, 참조 비디오 프레임의 이동 거리를 기반으로 타겟 비디오 프레임의 타겟 진폭을 결정하므로, 타겟 진폭을 결정하는 정확성을 향상시키고, 나아가 참조 비디오 프레임과 인접된 프레임 사이의 프레임 간격에 따라 타겟 주기를 결정하고, 타겟 주기를 추정하는 정확도도 비교적 높다.
단계407에서, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정한다.
구체적으로, 상기 실시예의 해석과 설명을 참조할 수 있고, 본 실시예에서 더는 설명하지 않는다.
본 발명 실시예의 비디오 흔들림 검출 방법에서, 타겟 비디오 프레임 및 타겟 비디오 프레임 전의 복수 과거 프레임을 획득하고, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리를 결정하며, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하고, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정한다. 본 발명에서 비디오 프레임의 흔들림 진폭 및 주기를 기반으로 비디오 프레임의 흔들림을 결정함으로, 흔들림의 오판을 방지하고, 비디오 흔들림 검출의 정확성을 향상시킨다.
상기 실시예는 설정 방향에서 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작은 경우, 타겟 비디오 프레임에 흔들림이 존재함을 의미하므로, 비디오에 흔들림이 존재함을 결정한다. 비디오 흔들림을 결정하는 정확성을 향상시키기 위해, 상기 실시예를 기반으로, 본 발명의 실시예는 다른 비디오 흔들림 검출 방법을 제공하고, 타겟 비디오 프레임에 흔들림이 존재함을 결정한 후, 타겟 비디오 프레임 다음에 획득된 복수의 연속 비디오 프레임을 획득하고, 상기 타겟 비디오 프레임을 결정하는 방법을 사용하고, 설정 방향에서 타겟 비디오 프레임 다음의 연속 비디오 프레임의 각 비디오의 진폭 및 주기를 결정하고, 설정 방향에서 각 비디오의 진폭 및 주기에 따라, 흔들림이 존재하는 연속 비디오 프레임의 수량을 결정하고, 흔들림이 존재하는 연속 비디오 프레임의 수량이 제1 프레임 수량보다 큰 경우, 비디오에 흔들림이 존재함을 결정한다. 본 발명의 실시예에서, 복수의 연속 비디오 프레임의 흔들림 상황을 결정함으로, 비디오에 흔들림이 존재하는 각 비디오 프레임을 결정할 수 있다. 즉, 비디오에 흔들림이 존재하는 시작 시간 및 종료 시간을 결정할 수 있으므로, 비디오에 흔들림이 존재하는 부분의 위치를 정확히 결정할 수 있고, 비디오 흔들림을 결정하는 정확성을 향상시키고, 후속의 흔들림 제거 및 흔들림 분석에 근거를 제공한다.
상기 실시예를 구현하기 위해, 본 실시예는 비디오 흔들림 검출 장치를 제공한다.
도5는 본 발명의 실시예에 따른 비디오 흔들림 검출 장치의 개략적인 구조도이고, 도5에 도시된 바와 같이, 당해 장치는,
타겟 비디오 프레임 및 상기 타겟 비디오 프레임 전의 복수 과거 비디오 프레임을 획득하는 획득 모듈(51);
타겟 비디오 프레임 및 복수 과거 비디오 프레임의 각 비디오 프레임에 대해, 설정 방향에서 이전 비디오 프레임에 대한 이동 거리를 결정하는 제1 결정 모듈(52);
설정 방향에서 이전 비디오 프레임에 대한 각 상기 비디오 프레임의 이동 거리에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는 제2 결정 모듈(53); 및
설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 상기 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정하는 제3 결정 모듈(54); 을 포함한다.
나아가, 본 발명 실시예의 구현 방식에서, 제2 결정 모듈(53)은, 또한
각 상기 이동 거리에 따라, 설정 순서로 이동 거리 리스트를 생성하고, 상기 설정 순서는 각 상기 비디오 프레임의 생성 순서를 나타내고; 상기 이동 거리 리스트에 따라, 이동 거리의 절대치가 설정 거리 역치보다 큰 제1 설정 수량의 연속 비디오 프레임을 결정하며; 상기 제1 설정 수량의 연속 비디오 프레임에서, 이동 거리의 절대치가 극치인 제2 설정 수량의 후보 비디오 프레임을 결정하는데 사용되고, 상기 제2 설정 수량은 상기 제1 설정 수량보다 작고; 제3 결정 유닛은, 설정 방향에서 상기 제2 설정 수량의 후보 비디오 프레임의 이동 거리에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는데 사용된다.
본 발명 실시예의 구현 방식에서, 제2 결정 모듈(53)은, 또한
상기 제2 설정 수량의 후보 비디오 프레임에서, 설정 방향에서 인접된 후보 비디오 프레임의 이동 거리에 따라, 참조 비디오 프레임을 결정하고; 설정 방향에서 상기 참조 비디오 프레임의 이동 거리를, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭으로 하고; 상기 참조 비디오 프레임과 인접된 후보 비디오 프레임 사이의 프레임 차이값에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 주기를 결정하는데 사용된다.
본 발명 실시예의 구현 방식에서, 제1 결정 모듈(52)은, 또한
각 상기 비디오 프레임에 대해, 상기 비디오 프레임의 특징점을 상기 비디오 프레임의 이전 비디오 프레임의 특징점과 매칭하여, 상기 비디오 프레임의 제1 매칭 특징점 및 상기 비디오 프레임의 이전 비디오 프레임의 제2 매칭 특징점을 결정하고; 설정 방향에서 각 상기 제2 매칭 특징점에 대한 각 상기 제1 매칭 특징점의 이동 거리를 결정하고; 상기 제1 매칭 특징점의 수량이 특징점의 설정 수량보다 큰 경우, 각 상기 제1 매칭 특징점의 이동 거리의 평균치를, 설정 방향에서 이전 비디오 프레임에 대한 상기 비디오 프레임의 이동 거리로 하는데 사용된다.
본 발명 실시예의 구현 방식에서, 제1 결정 모듈(52)은, 또한
상기 제1 매칭 특징점에서 이동 거리가 설정 거리보다 큰 제3 매칭 특징점의 수량을 통계하고; 상기 제3 매칭 특징점의 수량이 제3 설정 수량보다 큰 것을 또는 상기 제3 매칭 특징점 수량이 상기 제1 매칭 특징점의 수량에서 차지하는 비율이 제1 비율보다 큰 것을 결정하는데 사용된다.
본 발명 실시예의 구현 방식에서, 제3 결정 모듈(54)은, 또한
상기 타겟 비디오 프레임 다음에 획득된 복수의 연속 비디오 프레임을 획득하고; 설정 방향에서 상기 연속 비디오 프레임의 각 상기 비디오 프레임의 진폭 및 주기에 따라, 흔들림이 존재하는 연속 비디오 프레임의 수량을 결정하고; 상기 흔들림이 존재하는 연속 비디오 프레임의 수량이 제1 프레임 수량보다 큰 경우, 상기 비디오에 흔들림이 존재함을 결정한다.
본 발명 실시예의 구현 방식에서, 상기 설정 방향은 수평 방향 및/또는 수직 방향을 포함한다.
이해해야 할 것은, 상기 방법 실시예의 해석과 설명은 본 실시예의 장치에도 적용되고, 원리는 같으며, 본 실시예에서 더는 설명하지 않는다.
본 발명 실시예의 비디오 흔들림 검출 장치에서, 타겟 비디오 프레임 및 타겟 비디오 프레임 전의 복수 과거 프레임을 획득하고, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리를 결정하며, 설정 방향에서 이전 비디오 프레임에 대한 각 비디오 프레임의 이동 거리에 따라, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하고, 설정 방향에서 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정한다. 본 발명에서 비디오 프레임의 흔들림 진폭 및 주기를 기반으로 비디오 프레임의 흔들림을 결정함으로, 흔들림의 오판을 방지하고, 비디오 흔들림 검출의 정확성을 향상시킨다.
상기 실시예를 구현하기 위해, 본 발명의 실시예는 전자 기기를 더 제공하고, 상기 전자 기기는,
적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 통신 가능하게 연결되는 메모리; 를 포함하고, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 상기 실시예의 방법을 수행한다.
상기 실시예를 구현하기 위해, 본 발명의 실시예는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 명령은 상기 컴퓨터가 상기 실시예의 방법을 수행하도록 한다.
상기 실시예를 구현하기 위해, 본 발명의 실시예는 비일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 제공하고, 컴퓨터 명령을 포함하며, 상기 컴퓨터 명령이 프로세서에 의해 수행되는 경우 상기 실시예의 방법이 구현된다.
본 발명의 실시예에 따라, 본 발명은 전자 기기, 판독 가능 저장 매체 및 비일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 제공한다.
도6는 본 발명의 실시예에 제공된 예시적인 전자 기기(600)의 개략적인 블록도이다. 전자 기기는 다양한 형식의 디지털 컴퓨터를 표시한다. 예를 들면, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, 개인 정보 단말(PAD), 서버, 블레이드 서버, 메인 프레임 및 기타 적합한 컴퓨터일 수 있다. 전자 기기는 다양한 형식의 모바일 장치를 표시한다. 예를 들면 개인 정보 단말(PAD), 셀룰러 폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치일 수 있다. 본 발명에 개시된 컴포넌트, 이들의 연결과 관계, 및 기능은 단지 예시적인 것 뿐이며, 본 발명에서 설명 및/또는 요구한 본 발명의 구현을 한정하려는 것은 아니다.
도6에 도시한 바와 같이, 전자 기기(600)는 컴퓨팅 유닛(601)을 포함하고, ROM(Read-Only Memory, 읽기 전용 메모리)(602)에 저장된 컴퓨터 프로그램 또는 저장 유닛(608)에서 RAM(Random Access Memory, 랜덤 액세스 메모리)(603)에 로딩된 컴퓨터 프로그램에 따라, 각 적당한 동작 및 처리를 수행한다. RAM(603)에서, 전자 기기(600) 동작에 수요되는 각 프로그램 및 데이터를 저장할 수도 있다. 컴퓨팅 유닛(601), ROM(602) 및 RAM(603)은 버스(604)를 통해 서로 연결된다. I/O(Input/Output, 입력/출력)인터페이스(605)도 버스(604)에 연결된다.
전자 기기(600)의 복수의 컴포넌트는 I/O인터페이스(605)에 연결되고, 복수의 컴포넌트는, 키보드, 마우스 등과 같은 입력 유닛(606); 다양한 유형의 모니터, 스피커 등과 같은 출력 유닛(607); 자기 디스크, 광 디스크 등과 같은 저장 유닛(608); 및 네트워크 카드, 모뎀 또는 무선 통신 송수신기 등과 같은 통신 유닛(609)을 포함한다. 통신 유닛(609)은 전자 기기(600)가 인터넷과 같은 컴퓨터 네트워크 및/또는 각 전신 네트워크를 통해 기타 기기와 정보/데이터를 교환할 수 있도록 허용한다.
컴퓨팅 유닛(601)은 각 처리 및 계산 기능을 구비한 범용/전용 처리 컴포넌트일 수 있다. 컴퓨팅 유닛(601)의 일부 예시는 CPU(Central Processing Unit, 중앙 처리 장치), GPU(Graphic Processing Units, 그래프 처리 장치), 각 전용 AI(Artificial Intelligence, 인공지능) 계산 칩, 각 기계 학습 모델 알고리즘을 운행하는 컴퓨팅 유닛, DSP(Digital Signal Processor, 디지털 신호 처리 장치), 임의의 적합한 프로세서, 제어기 및 마이크로 제어기 등을 포함하나 이에 한정되지 않는다. 컴퓨팅 유닛(601)은 상기 설명한 각 방법 및 처리를 수행한다. 예를 들면 비디오 흔들림 검출 방법을 수행한다. 예를 들면, 일 실시예에서, 비디오 흔들림 검출 방법은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있고, 유형적으로 저장 유닛(605)과 같은 기계 판독 가능 매체에 포함된다. 일 실시예에서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(602) 및/또는 통신 유닛(609)에 의해 전자 기기(600)에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(603)에 로딩되고 컴퓨팅 유닛(601)에 의해 수행되는 경우, 상기 설명한 비디오 흔들림 검출 방법의 하나 또는 복수의 단계를 수행할 수 있다. 대안적으로, 기타 실시예에서, 컴퓨팅 유닛(601)은 기타 임의의 적합한 방식(예를 들면, 펌웨어)으로 본 발명의 실시예에 따른 비디오 흔들림 검출 방법을 수행할 수 있도록 구성된다.
여기서 설명하는 시스템과 기술의 여러 가지 실시형태는 디지털 전자회로 시스템, 집적회로 시스템, FPGA(Field Programmable Gate Array, 프로그래밍 가능 게이트 어레이), ASIC(Application-Specific Integrated Circuit, 주문형 직접 회로), ASSP(Application Specific Standard Product, 전용 표준 제품), SOC(System On Chip, 칩상 시스템), CPLD(Complex Programmable Logic Device, 복합 프로그래머블 논리 소자), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 실현될 수 있다. 이러한 여러 가지 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에서 실행 및/또는 해석되며, 당해 프로그래밍 가능 프로세서는 전용 또는 일반 프로그래밍 가능 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치에서 데이터와 명령을 수신할 수 있고, 데이터와 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치에 전송할 수 있다.
본 발명의 방법을 수행하는데 사용되는 프로그램 코드는 하나 또는 복수의 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 당해 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래밍 가능한 데이터 처리 장치의 프로세서 또는 제어기에 제공하여, 프로그램 코드가 프로세서 또는 제어기에 의해 수행되는 경우 흐름도 및/또는 블록도에서 규정한 기능/동작을 실시하게 된다. 프로그램 코드는 완전히 또는 부분적으로 기계에서 수행되고, 독립 소프트웨어 패키지로서 부분적으로 기계에서 수행하고 부분적으로 또는 완전히 원거리 기계 또는 서버에서 수행된다.
본 발명의 콘텍스트에서, 기계 판독 가능 매체는 유형적인 매체일 수 있고, 명령 수행 시스템, 장치 또는 기기가 사용하거나 명령 수행 시스템, 장치 또는 기기와 결합하여 사용하도록 제공하는 프로그램을 포함 또는 저장할 수 있다. 기계 판독 가능 매체는 기계 판독 가능 신호 매체 또는 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 및 기기, 또는 상기 내용의 임의의 적합한 조합을 포함하나 이에 한정되지 않는다. 기계 판독 가능 저장 매체의 더 구체적인 예시는 하나 또는 복수의 선을 기반으로 하는 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, RAM, ROM, Electrically Programmable Read-Only-Memory, EPRO(Electrically Programmable Read-Only-Memory, 지울 수 있는 프로그래밍 가능한 읽기 전용 메모리) 또는 플래시 메모리, 광섬유, CD-ROM(Compact Disc Read-Only Memory, 시디롬), 광학 저장 기기, 자기 저장 기기, 또는 상기 내용의 임의의 적합한 조합을 포함할 수 있다.
사용자와의 인터랙션을 제공하기 위해, 여기서 설명된 시스템 및 기술은 컴퓨터에서 구현할 수 있으며, 당해 컴퓨터는 사용자에게 정보를 디스플레이하는 디스플레이 장치(예를 들면, CRT(Cathode-Ray Tube, 음극선관) 또는 LCD(Liquid Crystal Display, 액정 디스플레이)모니터); 및 키보드와 지향 장치(예를 들면, 마우스 또는 트랙볼)를 구비하고, 사용자는 당해 키보드와 당해 지향 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 기타 유형의 장치도 사용자와의 인터랙션에 사용될 수 있는 바, 예를 들면 사용자에게 제공된 피드백은 임의의 형식의 감각 피드백(예를 들면, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고, 임의의 형식(음향 입력, 음성 입력 또는 촉각 입력)에 의해 사용자로부터의 입력을 수신할 수 있다.
여기서 설명한 시스템과 기술을, 백그라운드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버), 또는 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들면, 애플리케이션 서버), 또는 프론트 엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들면, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비한 사용자 컴퓨터에서 실시될 수 있고, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통해 여기서 설명한 시스템과 기술의 실시형태와 인터랙션할 수 있다), 또는 이러한 백그라운드 컴포넌트, 미들웨어 컴포넌트 또는 프론트 엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들면, 통신 네트워크)을 통해 시스템의 컴포넌트를 서로 연결할 수 있다. 통신 네트워크의 예시는LAN(Local Area Network, 근거리 통신망), WAN(Wide Area Network, 광역 통신망), 인터넷 및 블록 체인 네트워크를 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있으며, 통신 네트워크를 통해 서로 인터랙션한다. 대응하는 컴퓨터에서 운행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램에 의해 클라이언트와 서버의 관계를 생성한다. 서버는 클라우드 서버일 수 있고, 클라우드 계산 서버라고도 하고, 클라우드 계산 서비스 시스템의 호스트 제품이고, 전통적인 물리 호스트와 VPS서비스("Virtual Private Server", 또는 "VPS")에서, 관리가 어렵고, 업무 확장성이 약한 결함을 해결한다. 서버는 분산식 시스템의 서버 또는 블록 체인을 결합한 서버일 수도 있다.
여기서 설명해야 할 것은, 인공지은, 컴퓨터로 사람의 일부 사고 프로세스 및 지능 행위(예를들면, 학습, 추리, 사고, 계획등)를 시뮬레이션하는 학과이고, 하드웨어 차원의 기술이 있고, 소프트웨어 차원의 기술도 있다. 인공지능 하드웨어 기술은 통상적으로, 센서, 전용 인공지능 칩, 클라우드 컴퓨팅, 분산 메모리 및 빅데이터 처리 등 기술을 포함하고; 인공지능 소프트웨어 기술은 주로, 컴퓨터 비전 기술, 음성 인식 기술, 자연 언어 처리 기술 및 기계 학습/딥 러닝, 빅데이터 프로세싱 기술, 지식 그래프 기술 등 몇 가지 방향을 포함한다.
이해해야 할 것은, 상기 복수 형식의 흐름에 의해, 단계를 재정열, 추가 또는 삭제할 수 있다. 예를 들면, 본 발명에 기재한 각 단계는 병행하여 또는 순차적으로 실행할 수도 있고, 서로 다른 순서로 실행할 수도 있다. 본 발명에서 개시한 기술적 수단이 원하는 결과만 구현할 수 있으면 본 발명에서는 이에 대해 한정하지 않는다.
상기 구체적인 실시 방식은 본 발명의 보호 범위를 한정하지 않는다. 본 발명이 속하는 기술 분야의 통상의 기술자는 설계 요구 및 기타 요소에 의해 여러가지 수정, 조합, 서브 조합 및 대체가 이루어질 수 있음을 이해해야 한다. 본 발명의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 대체 및 개선은 모두 본 발명 보호 범위에 포함된다.
Claims (17)
- 비디오 흔들림 검출 방법에 있어서,
타겟 비디오 프레임 및 상기 타겟 비디오 프레임 전의 복수 과거 비디오 프레임을 획득하는 단계;
상기 타겟 비디오 프레임 및 상기 복수 과거 비디오 프레임의 각 상기 비디오 프레임에 대해, 설정 방향에서 이전 비디오 프레임에 대한 이동 거리를 결정하는 단계;
설정 방향에서 이전 비디오 프레임에 대한 각 상기 비디오 프레임의 이동 거리에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는 단계; 및
설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 상기 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정하는 단계; 를 포함하는,
것을 특징으로 하는 비디오 흔들림 검출 방법. - 제1항에 있어서,
상기 설정 방향에서 이전 비디오 프레임에 대한 각 상기 비디오 프레임의 이동 거리에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는 단계는,
각 상기 이동 거리에 따라, 설정 순서로 이동 거리 리스트를 생성하는 단계 - 상기 설정 순서는 각 상기 비디오 프레임의 생성 순서를 나타냄 - ;
상기 이동 거리 리스트에 따라, 이동 거리의 절대치가 설정 거리 역치보다 큰 제1 설정 수량의 연속 비디오 프레임을 결정하는 단계;
상기 제1 설정 수량의 연속 비디오 프레임에서, 이동 거리의 절대치가 극치인 제2 설정 수량의 후보 비디오 프레임을 결정하는 단계 - 상기 제2 설정 수량은 상기 제1 설정 수량보다 작음 - ; 및
설정 방향에서 상기 제2 설정 수량의 후보 비디오 프레임의 이동 거리에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는 단계; 를 포함하는,
것을 특징으로 하는 비디오 흔들림 검출 방법. - 제2항에 있어서,
설정 방향에서 상기 제2 설정 수량의 후보 비디오 프레임의 이동 거리에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는 단계는,
상기 제2 설정 수량의 후보 비디오 프레임에서, 설정 방향에서 인접된 후보 비디오 프레임의 이동 거리에 따라, 참조 비디오 프레임을 결정하는 단계;
설정 방향에서 상기 참조 비디오 프레임의 이동 거리를, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭으로 하는 단계; 및
상기 참조 비디오 프레임과 인접된 후보 비디오 프레임 사이의 프레임 차이값에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 주기를 결정하는 단계; 를 포함하는,
것을 특징으로 하는 비디오 흔들림 검출 방법. - 제1항에 있어서,
상기 타겟 비디오 프레임 및 상기 복수 과거 비디오 프레임의 각 상기 비디오 프레임에 대해, 설정 방향에서 이전 비디오 프레임에 대한 이동 거리를 결정하는 단계는,
각 상기 비디오 프레임에 대해, 상기 비디오 프레임의 특징점을 상기 비디오 프레임의 이전 비디오 프레임의 특징점과 매칭하여, 상기 비디오 프레임의 제1 매칭 특징점 및 상기 비디오 프레임의 이전 비디오 프레임의 제2 매칭 특징점을 결정하는 단계;
각 상기 제2 매칭 특징점에 대한 각 상기 제1 매칭 특징점의 이동 거리를 결정하는 단계; 및
상기 제1 매칭 특징점의 수량이 특징점의 설정 수량보다 큰 경우, 각 상기 제1 매칭 특징점의 이동 거리의 평균치를, 설정 방향에서 이전 비디오 프레임에 대한 상기 비디오 프레임의 이동 거리로 하는 단계; 를 포함하는,
것을 특징으로 하는 비디오 흔들림 검출 방법. - 제4항에 있어서,
각 상기 제1 매칭 특징점의 이동 거리의 평균치를, 설정 방향에서 이전 비디오 프레임에 대한 상기 비디오 프레임의 이동 거리로 하는 단계는,
상기 제1 매칭 특징점에서 이동 거리가 설정 거리보다 큰 제3 매칭 특징점의 수량을 통계하는 단계; 및
상기 제3 매칭 특징점의 수량이 제3 설정 수량보다 큰 것을 또는 상기 제3 매칭 특징점 수량이 상기 제1 매칭 특징점의 수량에서 차지하는 비율이 제1 비율보다 큰 것을 결정하는 단계; 를 포함하는,
것을 특징으로 하는 비디오 흔들림 검출 방법. - 제1항에 있어서,
상기 비디오에 흔들림이 존재함을 결정하는 단계는,
상기 타겟 비디오 프레임 다음에 획득된 복수의 연속 비디오 프레임을 획득하는 단계;
설정 방향에서 상기 연속 비디오 프레임의 각 상기 비디오 프레임의 진폭 및 주기에 따라, 흔들림이 존재하는 연속 비디오 프레임의 수량을 결정하는 단계; 및
상기 흔들림이 존재하는 연속 비디오 프레임의 수량이 제1 프레임 수량보다 큰 경우, 상기 비디오에 흔들림이 존재함을 결정하는 단계; 를 포함하는,
것을 특징으로 하는 비디오 흔들림 검출 방법. - 제1항에 있어서,
상기 설정 방향은 수평 방향 및 수직 방향 중 적어도 하나를 포함하는 단계를 포함하는,
것을 특징으로 하는 비디오 흔들림 검출 방법. - 비디오 흔들림 검출 장치에 있어서,
타겟 비디오 프레임 및 상기 타겟 비디오 프레임 전의 복수 과거 비디오 프레임을 획득하는 획득 모듈;
상기 타겟 비디오 프레임 및 상기 복수 과거 비디오 프레임의 각 상기 비디오 프레임에 대해, 설정 방향에서 이전 비디오 프레임에 대한 이동 거리를 결정하는 제1 결정 모듈;
설정 방향에서 이전 비디오 프레임에 대한 각 상기 비디오 프레임의 이동 거리에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는 제2 결정 모듈; 및
설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭이 설정 진폭보다 크고, 상기 타겟 주기가 설정 주기보다 작은 경우, 비디오에 흔들림이 존재함을 결정하는 제3 결정 모듈; 을 포함하는,
것을 특징으로 하는 비디오 흔들림 검출 장치. - 제8항에 있어서,
상기 제2 결정 모듈은, 또한
각 상기 이동 거리에 따라, 설정 순서로 이동 거리 리스트를 생성하고, 상기 설정 순서는 각 상기 비디오 프레임의 생성 순서를 나타내며;
상기 이동 거리 리스트에 따라, 이동 거리의 절대치가 설정 거리 역치보다 큰 제1 설정 수량의 연속 비디오 프레임을 결정하고;
상기 제1 설정 수량의 연속 비디오 프레임에서, 이동 거리의 절대치가 극치인 제2 설정 수량의 후보 비디오 프레임을 결정하고, 상기 제2 설정 수량은 상기 제1 설정 수량보다 작으며,
제3 결정 유닛은,
설정 방향에서 상기 제2 설정 수량의 후보 비디오 프레임의 이동 거리에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭 및 타겟 주기를 결정하는,
것을 특징으로 하는 비디오 흔들림 검출 장치. - 제9항에 있어서,
상기 제2 결정 모듈은, 또한
상기 제2 설정 수량의 후보 비디오 프레임에서, 설정 방향에서 인접된 후보 비디오 프레임의 이동 거리에 따라, 참조 비디오 프레임을 결정하고;
설정 방향에서 상기 참조 비디오 프레임의 이동 거리를, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 진폭으로 하고;
상기 참조 비디오 프레임과 인접된 후보 비디오 프레임 사이의 프레임 차이값에 따라, 설정 방향에서 상기 타겟 비디오 프레임의 타겟 주기를 결정하는,
것을 특징으로 하는 비디오 흔들림 검출 장치. - 제8항에 있어서,
상기 제1 결정 모듈은, 또한
각 상기 비디오 프레임에 대해, 상기 비디오 프레임의 특징점을 상기 비디오 프레임의 이전 비디오 프레임의 특징점과 매칭하여, 상기 비디오 프레임의 제1 매칭 특징점 및 상기 비디오 프레임의 이전 비디오 프레임의 제2 매칭 특징점을 결정하고;
설정 방향에서 각 상기 제2 매칭 특징점에 대한 각 상기 제1 매칭 특징점의 이동 거리를 결정하고;
상기 제1 매칭 특징점의 수량이 특징점의 설정 수량보다 큰 경우, 각 상기 제1 매칭 특징점의 이동 거리의 평균치를, 설정 방향에서 이전 비디오 프레임에 대한 상기 비디오 프레임의 이동 거리로 하는,
것을 특징으로 하는 비디오 흔들림 검출 장치. - 제11항에 있어서,
상기 제1 결정 모듈은, 또한
상기 제1 매칭 특징점에서 이동 거리가 설정 거리보다 큰 제3 매칭 특징점의 수량을 통계하고;
상기 제3 매칭 특징점의 수량이 제3 설정 수량보다 큰 것을 또는 상기 제3 매칭 특징점 수량이 상기 제1 매칭 특징점의 수량에서 차지하는 비율이 제1 비율보다 큰 것을 결정하는,
것을 특징으로 하는 비디오 흔들림 검출 장치. - 제8항 내지 제12항 중 어느 한 항에 있어서,
상기 제3 결정 모듈은, 또한
상기 타겟 비디오 프레임 다음에 획득된 복수의 연속 비디오 프레임을 획득하고;
설정 방향에서 상기 연속 비디오 프레임의 각 상기 비디오 프레임의 진폭 및 주기에 따라, 흔들림이 존재하는 연속 비디오 프레임의 수량을 결정하고;
상기 흔들림이 존재하는 연속 비디오 프레임의 수량이 제1 프레임 수량보다 큰 경우, 상기 비디오에 흔들림이 존재함을 결정하는,
것을 특징으로 하는 비디오 흔들림 검출 장치. - 제8항 내지 제12항 중 어느 한 항에 있어서,
상기 설정 방향은 수평 방향 및 수직 방향 중 적어도 하나를 포함하는,
것을 특징으로 하는 비디오 흔들림 검출 장치. - 전자 기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서에 통신 가능하게 연결되는 메모리; 를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제7항 중 어느 한 항의 방법을 수행하는,
것을 특징으로 하는 전자 기기. - 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제7항 중 어느 한 항의 방법을 수행하도록 하는,
것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체. - 비일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서, 컴퓨터 명령을 포함하며,
상기 컴퓨터 명령이 프로세서에 의해 수행되는 경우, 제1항 내지 제7항 중 어느 한 항의 방법이 구현되는,
것을 특징으로 하는 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111112132.XA CN113691733B (zh) | 2021-09-18 | 2021-09-18 | 视频抖动检测方法、装置、电子设备和存储介质 |
| CN202111112132.X | 2021-09-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220126264A true KR20220126264A (ko) | 2022-09-15 |
Family
ID=78587029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220108642A KR20220126264A (ko) | 2021-09-18 | 2022-08-29 | 비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230013170A1 (ko) |
| EP (1) | EP4145844A1 (ko) |
| JP (1) | JP2022160646A (ko) |
| KR (1) | KR20220126264A (ko) |
| CN (1) | CN113691733B (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114339395A (zh) * | 2021-12-14 | 2022-04-12 | 浙江大华技术股份有限公司 | 视频抖动检测方法、检测装置、电子设备和可读存储介质 |
| CN114298992A (zh) * | 2021-12-21 | 2022-04-08 | 北京百度网讯科技有限公司 | 一种视频帧去重方法、装置、电子设备及存储介质 |
| CN114494328B (zh) * | 2022-02-11 | 2024-01-30 | 北京字跳网络技术有限公司 | 图像显示方法、装置、电子设备及存储介质 |
| CN114640754B (zh) * | 2022-03-08 | 2024-06-14 | 京东科技信息技术有限公司 | 视频抖动检测方法、装置、计算机设备及存储介质 |
| CN114531549B (zh) * | 2022-04-22 | 2022-08-09 | 浙江大华技术股份有限公司 | 图像采集方法、电子设备和计算机可读存储介质 |
| CN117750203A (zh) * | 2024-02-20 | 2024-03-22 | 荣耀终端有限公司 | 电子设备及其视频处理方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005102082A (ja) * | 2003-09-26 | 2005-04-14 | Mitsubishi Electric Corp | 画像空間安定化方法 |
| JP2007096481A (ja) * | 2005-09-27 | 2007-04-12 | Matsushita Electric Ind Co Ltd | 撮像装置および撮像システム |
| JP2007267115A (ja) * | 2006-03-29 | 2007-10-11 | Seiko Epson Corp | 手ぶれ補正装置、それを用いた撮影装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正プログラムの記録媒体 |
| US8130845B2 (en) * | 2006-11-02 | 2012-03-06 | Seiko Epson Corporation | Method and apparatus for estimating and compensating for jitter in digital video |
| JP5031690B2 (ja) * | 2008-07-15 | 2012-09-19 | キヤノン株式会社 | 防振制御装置及び撮像装置並びに防振制御装置の制御方法 |
| JP5822430B2 (ja) * | 2008-11-28 | 2015-11-24 | キヤノン株式会社 | 像振れ補正装置およびそれを有する撮像装置 |
| JP2011082901A (ja) * | 2009-10-09 | 2011-04-21 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| JP2011097512A (ja) * | 2009-11-02 | 2011-05-12 | Canon Inc | 画像処理装置、画像処理方法、及びコンピュータプログラム |
| CN103763461B (zh) * | 2013-12-31 | 2015-06-10 | 合一网络技术(北京)有限公司 | 一种视频抖动检测方法及装置 |
| CN104135597B (zh) * | 2014-07-04 | 2017-12-15 | 上海交通大学 | 一种视频抖动自动检测方法 |
| CN107958462A (zh) * | 2017-11-20 | 2018-04-24 | 江西服装学院 | 一种视频抖动判定方法及装置 |
| CN110740247B (zh) * | 2018-07-18 | 2021-10-08 | 腾讯科技（深圳）有限公司 | 视频增稳方法、装置、计算机设备及存储介质 |
-
2021
- 2021-09-18 CN CN202111112132.XA patent/CN113691733B/zh active Active
-
2022
- 2022-08-10 JP JP2022127538A patent/JP2022160646A/ja active Pending
- 2022-08-29 KR KR1020220108642A patent/KR20220126264A/ko not_active Application Discontinuation
- 2022-09-16 US US17/932,831 patent/US20230013170A1/en active Pending
- 2022-09-16 EP EP22196149.3A patent/EP4145844A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP4145844A1 (en) | 2023-03-08 |
| CN113691733B (zh) | 2023-04-18 |
| CN113691733A (zh) | 2021-11-23 |
| US20230013170A1 (en) | 2023-01-19 |
| JP2022160646A (ja) | 2022-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220126264A (ko) | 비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체 | |
| US20220147822A1 (en) | Training method and apparatus for target detection model, device and storage medium | |
| US20220383535A1 (en) | Object Tracking Method and Device, Electronic Device, and Computer-Readable Storage Medium | |
| US11810319B2 (en) | Image detection method, device, storage medium and computer program product | |
| CN112929695B (zh) | 视频去重方法、装置、电子设备和存储介质 | |
| CN110659600B (zh) | 物体检测方法、装置及设备 | |
| JP7273129B2 (ja) | 車線検出方法、装置、電子機器、記憶媒体及び車両 | |
| WO2022227768A1 (zh) | 动态手势识别方法、装置、设备以及存储介质 | |
| WO2022247343A1 (zh) | 识别模型训练方法、识别方法、装置、设备及存储介质 | |
| CN112508126A (zh) | 深度学习模型训练方法、装置、电子设备及可读存储介质 | |
| CN116403083A (zh) | 图像的处理方法、装置、电子设备及存储介质 | |
| CN112561879A (zh) | 模糊度评价模型训练方法、图像模糊度评价方法及装置 | |
| CN115861400A (zh) | 目标对象检测方法、训练方法、装置以及电子设备 | |
| CN113810765B (zh) | 视频处理方法、装置、设备和介质 | |
| EP4123605A2 (en) | Method of transferring image, and method and apparatus of training image transfer model | |
| CN114120180B (zh) | 一种时序提名的生成方法、装置、设备及介质 | |
| CN113361455B (zh) | 人脸鉴伪模型的训练方法、相关装置及计算机程序产品 | |
| CN115937993A (zh) | 活体检测模型训练方法、活体检测方法、装置和电子设备 | |
| CN115019057A (zh) | 图像特征提取模型确定方法及装置、图像识别方法及装置 | |
| CN111967299B (zh) | 无人机巡检方法、装置、设备及存储介质 | |
| CN113988294A (zh) | 训练预测网络的方法、图像处理方法和装置 | |
| CN114093006A (zh) | 活体人脸检测模型的训练方法、装置、设备以及存储介质 | |
| CN113221920B (zh) | 图像识别方法、装置、设备、存储介质以及计算机程序产品 | |
| US20220222941A1 (en) | Method for recognizing action, electronic device and storage medium | |
| CN114429475A (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |