KR102594565B1 - 웨어러블 카메라 및 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 방법 - Google Patents

웨어러블 카메라 및 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 방법 Download PDF

Info

Publication number
KR102594565B1
KR102594565B1 KR1020210104872A KR20210104872A KR102594565B1 KR 102594565 B1 KR102594565 B1 KR 102594565B1 KR 1020210104872 A KR1020210104872 A KR 1020210104872A KR 20210104872 A KR20210104872 A KR 20210104872A KR 102594565 B1 KR102594565 B1 KR 102594565B1
Authority
KR
South Korea
Prior art keywords
rotation
center
image frame
compression
wearable camera
Prior art date
Application number
KR1020210104872A
Other languages
English (en)
Other versions
KR20220022099A (ko
Inventor
필 프레드릭
페테르손 마티아스
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20220022099A publication Critical patent/KR20220022099A/ko
Application granted granted Critical
Publication of KR102594565B1 publication Critical patent/KR102594565B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 이미지 인코딩 분야에 관한 것이다. 특히, 인코딩될 이미지 프레임에 대한 회전 중심이 결정되는, 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 방법 및 웨어러블 카메라에 관한 것이다. 회전 중심은 비디오를 캡처할 때 웨어러블 카메라의 회전과 관련되며 이미지 프레임은 픽셀의 복수의 그룹을 포함한다. 또한, 이미지 프레임의 픽셀의 복수의 그룹에 대해 압축 수준들이 설정된다. 이미지 프레임의 픽셀의 복수의 그룹에 대한 압축 수준들은, 회전 중심으로부터의 방사상 거리에 따라 압축의 수준 정도가 증가하도록 설정된다. 이미지 프레임은 압축 수준들을 사용하여 인코딩된다.

Description

웨어러블 카메라 및 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 방법{WEARABLE CAMERA AND A METHOD FOR ENCODING VIDEO CAPTURED BY THE WEARABLE CAMERA}
본 발명은 비디오 인코딩에 관한 것으로, 특히 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 것에 관한 것이다.
웨어러블 카메라(wearable camera)는 예를 들어 경찰에 의해 순찰 및 사건 중의 비디오 스트림(video stream)을 캡처하기 위해 사용된다. 이러한 카메라는 신체 착용 카메라(body worn camera, BWC)라고도 한다. 웨어러블 카메라는 일반적으로 배터리로 구동된다. 따라서, 웨어러블 카메라가 사용할 수 있는 전력에는 한계가 있다. 또한, 웨어러블 카메라는 무선 연결을 통해 캡처된 비디오 스트림을 전송할 수 있다. 따라서, 그러한 전송에 쓰일 수 있는 비트레이트(bitrate)는 또한 비디오 스트림의 인코딩과 관련하여 제한요소가 된다.
본 발명의 목적은 웨어러블 카메라(wearable camera)에 의해 생성된 비디오 스트림(video stream)에 대한 비트레이트(bitrate) 절약 및/또는 배터리 절약을 용이하게 하는 것이다.
제1 태양에 따르면 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 방법이 제공된다. 본 방법은 인코딩될 이미지 프레임에 대한 회전 중심을 결정하는 단계를 포함한다. 회전 중심은 비디오를 캡처할 때 웨어러블 카메라의 회전과 연관된다. 이미지 프레임은 픽셀의 복수의 그룹을 포함한다. 본 방법은 이미지 프레임의 픽셀의 복수의 그룹에 대한 압축 수준들을 설정하는 단계를 더 포함하고, 이때 이미지 프레임의 픽셀의 복수의 그룹에 대한 압축 수준들은, 회전 중심으로부터의 방사상(radial) 거리에 따라 압축의 수준 정도가 증가한다. 본 방법은 압축 수준들을 사용하여 이미지 프레임을 인코딩하는 단계를 더 포함한다.
본 발명자들은 웨어러블 카메라의 회전 모션이 사용중일 때 발생하고 이러한 회전 모션이 캡처된 이미지 내의 모션으로 이어진다는 것을 깨달았다. 이러한 회전 모션에 대해, 연속적인 이미지 프레임 사이의 픽셀의 그룹의 모션은, 웨어러블 카메라의 이미지 센서의 회전 중심에 대응하는 이미지 프레임 내의 회전 중심으로부터의 방사상 거리에 따라 증가할 것이다. 이는 회전 중심으로부터의 방사상 거리를 가진 모션 벡터의 식별 실패의 위험을 증가시킴으로써 높은 비트레이트(bitrate)에서의 문제를 야기하여, 일반적으로 비트 사용이 적은 인터 코딩(inter-coding) 대신 인트라 코딩(intra-coding)을 사용하여 픽셀 블록을 인코딩해야 하는 위험을 증가시킨다. 이러한 위험은 병진 운동의 식별에(예를 들어 구성/최적화에 의하여) 가장 적합한 모션 추정 알고리즘에서 더 두드러질 것이다. 따라서, 회전 중심으로부터의 방사상 거리에 따라 압축의 수준 정도가 증가하는 특정 압축 원리가 도입된다.
회전 중심으로부터의 방사상 거리에 따라 압축의 수준 정도를 높이면, 압축의 수준 정도가, 회전 중심에서의 압축의 수준 정도와 균일하게 동일했을 경우에 비해, 이미지 프레임을 포함하는 비디오를 인코딩하는 데 필요한 총 비트레이트가 감소한다.
비트레이트를 감소시키는 것은 예를 들어 결과 비디오 스트림을 무선으로 전송하는 데 필요한 대역폭이 감소되고 결과 비디오 스트림을 저장하는 데 필요한 저장 공간이 감소된다는 점에서 유익하다.
회전 중심으로부터의 방사상 거리를 가지는 모션 벡터를 식별하는 데 실패할 위험이 증가하기 때문에, 일반적으로 픽셀의 그룹의 비트레이트 비용은 픽셀의 그룹의 회전 중심으로부터의 방사상 거리와 함께 증가한다. 따라서, 회전 중심으로부터의 방사상 거리에 따라 압축의 수준 정도를 높이면 비트레이트 비용이 더 높았을 픽셀의 그룹에 대해 압축의 수준 정도가 높아진다.
또한, 모션 블러(motion blur)의 효과는 일반적으로 회전 중심으로부터의 방사상 거리에 따라 증가하므로, 일반적으로 모션 블러가 가장 낮은 곳인 회전 중심에 더 가까울수록 압축을 완화하여 더 높은 이미지 품질(해상도)을 가능하게 하는 것이 유리하다.
회전 중심에 가까운 이미지 프레임의 부분은 또한 회전 중심으로부터 멀리 떨어진 주변 부분보다 더 중요할 수 있으므로, 회전 중심에 가까울수록 더 완화된 압축을 통해 더 높은 이미지 품질(해상도)을 가능하게 하는 것이 유리하다.
또한, 모션 블러의 효과는 일반적으로 회전 중심으로부터의 방사상 거리에 따라 증가하기 때문에 회전 중심으로부터 멀어질수록 이미지 품질의 손실은 덜 중요한데, 이는 모션 블러의 효과가 회전 중심으로부터 멀어질수록 어쨌든 이미지 품질에 영향을 미쳤을 것이기 때문이다.
픽셀의 그룹은 예를 들어 블록, 매크로블록(macroblock), 또는 코딩 트리 단위(coding tree unit)로 지칭될 수 있다.
이미지 프레임의 픽셀의 복수의 그룹에 대한 압축 수준들은 예를 들어 이미지 프레임의 픽셀의 복수의 그룹에 대한 양자화 파라미터의 값과 같은 압축값일 수 있다.
본 방법의 회전 중심을 결정하는 단계는 웨어러블 카메라의 하나 이상의 모션 센서로부터의 데이터를 사용하여 회전 중심을 결정하는 단계를 더 포함할 수 있다.
본 방법은 이미지 프레임에 대한 모션 벡터를 결정하는 단계를 더 포함할 수 있다. 회전 중심을 결정하는 단계는 모션 벡터를 사용하여 회전 중심을 결정하는 단계를 더 포함할 수 있다.
본 방법은 이미지 프레임에 대한 예비 회전 중심을 결정하는 단계 및 이미지 프레임의 하위 영역인, 예비 회전 중심을 포함하는 모션 벡터 탐색 영역을 설정하는 단계를 더 포함할 수 있다. 그러면 모션 벡터를 결정하는 단계는 모션 벡터 탐색 영역에서 모션 벡터를 결정하는 단계를 포함할 수 있다. 결정된 모션 벡터의 신뢰도는 일반적으로 회전 중심으로부터의 방사상 거리에 따라 감소한다. 따라서, 이미지의 하위 영역이면서 또한 예비 회전 중심을 포함하는 모션 벡터 탐색 영역을 선택하면, 가장 신뢰할 수 없는 모션 벡터를 포함하는 이미지 프레임의 영역이 제외된다. 결과적으로, 회전 중심을 보다 확실하게 식별할 수 있다.
본 방법은 이전 이미지 프레임에 대한 이전 회전 중심을 획득하는 단계를 더 포함할 수 있다. 그후, 예비 회전 중심을 결정하는 단계는, 이미지 프레임에 대한 예비 회전 중심이 이전 회전 중심에 대응되도록 결정하는 단계를 포함할 수 있다. 회전 중심은 연속된 이미지 프레임 간에 이동하는 경향이 있지만 그다지 크지는 않다. 따라서 이전 회전 중심, 즉 이전 이미지 프레임의 회전 중심은 예비 회전 중심으로 사용하기에 좋은 근사치이다. 바람직하게는, 이전 회전 중심은 바로 이전 이미지 프레임의 회전 중심이다.
본 방법은 이미지 프레임을 캡처할 때 웨어러블 카메라의 각속도를 결정하는 단계를 더 포함할 수 있다. 그러면 압축 수준들을 설정하는 단계에서, 회전 중심으로부터의 방사상 거리에 따른 압축의 수준 정도의 증가율은 각속도에 기반할 수 있다. 이미지 프레임 내의 모션의 양이 많을수록 압축의 수준 정도를 높이려는 동기는 커진다. 회전의 경우, 이미지 프레임 내의 모션은 회전 중심으로부터의 방사상 거리 뿐 아니라 각속도에 따라 달라진다. 더 높은 각속도의 경우, 회전 중심으로부터의 동일한 방사상 거리에서 모션이 더 높아진다. 따라서, 회전 중심으로부터의 방사상 거리에 따라 압축의 수준 정도를 증가시키는 것뿐만 아니라 각속도에 따라 증가율도 높이는 것이 유리하다. 더 높은 각속도에서의 모션 블러의 효과는 어쨌든 이미지 품질에 영향을 미쳤을 것이기 때문에 더 높은 각속도에 대한 이미지 품질의 손실은 덜 중요할 것이다.
본 방법은 이미지 프레임에 대한 모션 벡터를 결정하는 단계를 더 포함할 수 있다. 그러면 압축 수준들을 설정하는 단계에서, 회전 중심으로부터의 방사상 거리에 따른 압축의 수준 정도의 증가율은 모션 벡터에 기반할 수 있다. 예를 들어, 압축의 수준 정도의 증가율은 회전 중심으로부터의 방사상 거리에 따른 모션 벡터의 길이의 증가율에 기반할 수 있다.
제2 태양에 따르면, 비일시적 컴퓨터 판독가능 매체가 제공된다. 비일시적 컴퓨터 판독가능 매체에는, 처리 능력을 갖는 장치 상에서 실행될 때 제1 태양의 방법을 수행하도록 구성된 명령이, 보통 컴퓨터 판독가능 프로그램 코드 형태로 저장되어 있다. 처리 능력을 갖는 장치는 웨어러블 카메라, 예를 들어 신체 착용 카메라(body worn camera)일 수 있다.
제1 태양에 따른 본 방법의 상기 언급된 특징은, 적용 가능한 경우 이러한 제2 태양에도 적용된다. 과도한 반복을 피하기 위해 위의 내용이 참조된다.
제3 태양에 따르면 웨어러블 카메라가 제공된다. 웨어러블 카메라는 이미지 센서, 회로 및 인코더를 포함한다. 이미지 센서는 이미지 데이터를 캡처하도록 구성된다. 회로는, 인코딩될 이미지 프레임에 대한 회전 중심을 결정하도록 구성된 회전 중심 결정 기능을 수행하도록 구성된다. 회전 중심은 비디오를 캡처할 때 웨어러블 카메라의 회전과 연관된다. 이미지 프레임은 이미지 데이터를 기반으로 하며 픽셀의 복수의 그룹을 포함한다. 회로는, 이미지 프레임의 픽셀의 복수의 그룹에 대한 압축 수준들을 설정하도록 구성된 압축 수준 설정 기능을 수행하도록 더 구성되며, 이때 이미지 프레임의 픽셀의 복수의 그룹에 대한 압축 수준들은, 회전 중심으로부터의 방사상 거리에 따라 압축의 수준 정도가 증가한다. 인코더는 압축 수준 설정 기능에 의해 설정된 압축 수준들을 사용하여 이미지 프레임을 비디오 스트림으로 인코딩하도록 구성된다.
웨어러블 카메라는 웨어러블 카메라에 대한 모션 데이터를 결정하기 위한 모션 센서를 더 포함할 수 있다. 회전 중심 결정 기능은 그 후 모션 센서로부터의 모션 데이터를 사용하여 회전 중심을 결정하도록 더 구성될 수 있다.
웨어러블 카메라의 인코더는 이미지 프레임에 대한 모션 벡터를 결정하도록 더 구성될 수 있다. 그러면 회전 중심 결정 기능은 모션 벡터를 사용하여 회전 중심을 결정하도록 더 구성될 수 있다.
웨어러블 카메라의 회로는, 이미지 프레임에 대한 예비 회전 중심을 결정하도록 구성된 예비 회전 중심 결정 기능을 수행하고, 이미지 프레임의 하위 영역인, 예비 회전 중심을 포함하는 모션 벡터 탐색 영역을 설정하도록 구성된 모션 벡터 탐색 영역 설정 기능을 수행하도록 더 구성된다. 그 다음 인코더는 모션 벡터 탐색 영역 내의 모션 벡터를 결정하도록 구성될 수 있다.
웨어러블 카메라의 회로는, 이전 이미지 프레임에 대한 이전 회전 중심을 획득하도록 구성된 이전 회전 중심 획득 기능을 수행하도록 더 구성될 수 있다. 그러면 예비 회전 중심 결정 기능은, 이미지 프레임에 대한 예비 회전 중심이 이전 회전 중심에 대응되도록 결정하는 구성일 수 있다.
웨어러블 카메라의 회로는, 이미지 프레임을 캡처할 때 웨어러블 카메라의 각속도를 결정하도록 구성된 각속도 결정 기능을 수행하도록 더 구성될 수 있다. 압축 수준 설정 기능에서, 회전 중심으로부터의 방사상 거리에 따른 압축 수준들의 증가율은 각속도에 기반할 수 있다.
웨어러블 카메라의 인코더는 이미지 프레임에 대한 모션 벡터를 결정하도록 더 구성될 수 있다. 그러면 압축 수준 설정 기능에서, 회전 중심으로부터의 방사상 거리에 따른 압축의 수준 정도의 증가율은 모션 벡터에 기반할 수 있다.
본 발명의 추가적 범위 및 적용가능성은 다음의 설명으로부터 더욱 명백해질 것이다. 그러나, 본 발명의 바람직한 실시예를 나타내는 상세한 설명 및 특정 예는 단지 예시로서 제공된 것임을 이해해야 하는데, 이는 본 발명의 범위 내에서의 다양한 변경 및 수정이 이러한 상세한 설명에 의해 당업자에게 명백할 것이기 때문이다.
따라서, 그러한 장치 및 방법은 달라질 수 있으므로, 본 발명은 설명된 장치의 특정 구성 부분 또는 설명된 방법의 단계에 한정되지 않음이 이해되어야 한다. 본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위한 것뿐이며 제한을 하려는 의도가 아님이 이해되어야 한다. 본 명세서 및 청구항에서 사용된 바와 같이, 단수 형태 및 "상기"는 문맥 상 명백하게 달리 나타나지 않는 한 복수 형태도 포함한다. 따라서, 예를 들어, "유닛" 또는 "상기 유닛"은 여러 장치들 등을 포함할 수 있다. 또한 "포함"이라는 단어는 다른 요소나 단계를 배제하지 않는다.
본 발명은 웨어러블 카메라(wearable camera)에 의해 생성된 비디오 스트림(video stream)에 대한 비트레이트(bitrate) 절약 및/또는 배터리 절약을 용이하게 하는 효과를 가진다.
본 발명의 상기 및 기타 태양은 이제 첨부된 도면을 참조하여 보다 상세하게 설명될 것이다. 도면은 제한적인 것으로 간주되어서는 안 되며 대신 설명 및 이해를 위해 사용된다. 동일한 참조 번호는 전체에 걸쳐 동일한 요소를 지칭한다.
도 1은 웨어러블 카메라(wearable camera)의 개략적인 블록도이다.
도 2는 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 방법의 흐름도이다.
본 발명은 이제, 본 발명의 현재 바람직한 실시예가 도시된 첨부 도면을 참조하여 이하에서 더욱 완전하게 설명될 것이다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되는 것으로 해석되어서는 안 된다. 오히려, 이들 실시예는 철저성과 완전성을 위해 그리고 본 발명의 범위를 당업자에게 전달하기 위해 제공된다.
도 1은 웨어러블 카메라(wearable camera)(100)를 도시한다. 웨어러블 카메라(100)는 신체 착용 카메라(body worn camera, BWC)일 수 있다. 웨어러블 카메라(100)는 별도의 유닛일 수도 있고 헬멧, 안경 등과 같은 다른 유닛에 통합될 수도 있다. 웨어러블 카메라(100)는 예를 들어 경찰에 의해 순찰 및 사건 중의 비디오 및 가능한 다른 데이터를 캡처하기 위해 사용된다. 캡처된 데이터는 예를 들어 범죄를 조사하고 의심되는 범죄자를 기소할 때 증거로 필요할 수 있다. 캡처된 데이터를 보존하기 위해 비디오 관리 시스템이나 증거 관리 시스템과 같은, 웨어러블 카메라(100) 외부의 데이터 관리 시스템이 사용될 수 있다. 이러한 데이터 관리 시스템은 일반적으로 캡처된 데이터를 저장하고, 캡처된 데이터의 실시간 조회 또는 이를 위해 기록된 데이터의 재생을 제공한다. 일반적으로, 웨어러블 카메라(100)는 배터리로 구동되며 제한된 비트레이트(bitrate)를 갖는다. 후자는 제한된 로컬 데이터 저장소 때문 및/또는 데이터 관리 시스템 또는 라이브 피드(live feed)가 표시되는 본부와의 무선 연결을 위한 대역폭의 제한 때문일 수 있다. 또한, 무선 연결을 위한 대역폭의 제한은 시간이 지남에 따라 변할 수 있으므로 때때로 비트레이트는 훨씬 더 제한될 수 있다. 웨어러블 카메라(100)는 이미지 센서(110), 회로(130), 및 인코더(120)를 포함한다.
이미지 센서(110)는 이미지 데이터를 캡처하도록 구성된다. 이미지 데이터는 예를 들어 이미지 프레임의 데이터일 수 있다. 이미지 센서 및 이미지 데이터의 캡처는 당업자에게 잘 알려져 있으며 본 개시에서 더 이상 상세하게 논의되지 않을 것이다.
인코더(120)는 이미지 센서(110)에 의해 캡처된 이미지 데이터를 비디오 스트림(video stream)으로 인코딩하도록 구성되며, 때때로 인코더(120)에 의해 제공되는 비디오 스트림은 인코딩된 비디오 스트림으로 지칭된다. 일반적으로 비디오 인코더(120)는, 비디오 스트림의 이미지 프레임들 중 일부를 인트라 프레임(intra frame) 또는 키 프레임(key frame)으로서 인코딩하고, 비디오 스트림의 이미지 프레임 중 일부를 인터 프레임(inter frame) 또는 델타 프레임(delta frame)으로서 인코딩하도록 구성된다. 인트라 프레임은, 디코딩될 다른 인코딩된 비디오 프레임의 정보를 필요로 하지않는 인코딩된 비디오 프레임이다. 따라서, 인트라 프레임은 자신이 대응하도록 설정된 비디오 데이터의 이미지 프레임의 정보를 기반으로 인코딩된다. 일반적으로, 이미지 프레임 내의 유사성은 이미지 프레임을 인트라 프레임으로서 인코딩하는 데 사용된다. 비디오 인코딩에서 인트라 프레임은 종종 I-프레임이라고 한다. 두 개의 인트라 프레임 사이에 있는 비디오 스트림의 이미지 프레임은 인터 프레임으로서 인코딩된다. 일반적으로, 인터 프레임은, 한 프레임으로부터 다음 프레임 사이에서 발생하는 변화만 포함한다. 따라서, 인터 프레임은 일반적으로 인트라 프레임보다 적은 데이터를 포함한다. 비디오 인코딩에서 인터 프레임은 종종 P-프레임 또는 B-프레임으로 지칭된다. P-프레임은 데이터 참조를 위해 이전 프레임을 참조한다. 따라서, P-프레임을 디코딩하기 위해서는 이전 프레임의 내용을 알아야 한다. B-프레임은 데이터 참조를 위해 이전 및 순방향(forward) 프레임을 모두 참조할 수 있다. 따라서, B-프레임을 디코딩하기 위해서는 이전 및 순방향 프레임의 내용을 모두 알아야 한다. 인터 프레임을 인코딩할 때 이미지 프레임은 픽셀의 복수의 그룹으로 나뉜다. 픽셀의 그룹은 예를 들어 블록, 매크로블록(macroblock), 또는 코딩 트리 단위(coding tree unit)로 지칭될 수 있다. 이미지 프레임은 참조 프레임과 비교된다. 예를 들어, P-프레임을 인코딩하기 위한 참조 프레임은 이전 이미지 프레임이다. 인코딩될 이미지 프레임과 참조 프레임 사이에서 픽셀의 일치하는 그룹을 식별하는 데 매칭 알고리즘이 사용되며, 픽셀의 그룹에 대해 일치가 발견되면 해당 픽셀의 그룹은, 픽셀의 그룹이 참조 프레임 이후로 이미지 프레임에서 어떻게 이동했는지를 나타내는 모션 벡터로서 인코딩될 수 있다. 모션 벡터를 결정하는 것을 모션 추정이라고 한다. 카메라의 또는 캡처된 장면 내 물체의 빠른 모션으로 인해 모션이 크면, 모션 추정을 통해 모션 벡터를 식별하지 못할 수 있다. 인코딩될 이미지 프레임에 대해 식별된 모션 벡터가 적을수록, 결과로 나오는 인코딩된 인터 프레임은 비트 크기가 커지고 따라서 인코딩된 인터 프레임을 전송하는 데 더 큰 대역폭이 필요하다.
회로(130)는 웨어러블 카메라(100)의 기능을 수행하도록 구성된다. 회로(130)는 중앙 처리 장치(CPU), 마이크로컨트롤러, 또는 마이크로프로세서와 같은 프로세서(132)를 포함할 수 있다. 프로세서(132)는 프로그램 코드를 실행하도록 구성된다. 프로그램 코드는 예를 들어 웨어러블 카메라(100)의 기능을 수행하도록 구성될 수 있다.
웨어러블 카메라(100)는 웨어러블 카메라에 대한 모션 데이터를 결정하기 위한 모션 센서(140)를 더 포함할 수 있다. 모션 센서(140)는 웨어러블 디바이스의 모션 데이터를 측정하도록 구성된다. 모션 센서(140)는 자이로스코프 및/또는 가속도계를 포함할 수 있다. 자이로스코프는 웨어러블 카메라(100)의 방위 및/또는 각속도의 형태를 가지는 모션 데이터를 측정하도록 구성된다. 가속도계는 웨어러블 카메라(100)의 순간 정지 프레임에서의 웨어러블 카메라(100)의 가속도(또는 속도의 변화율)의 형태를 가지는 모션 데이터를 측정하도록 구성된다. 모션 센서(140)는 시간의 함수로서 모션 데이터를 샘플링하도록 구성된다.
웨어러블 카메라(100)는 로컬 데이터 저장소(150)를 더 포함할 수 있다. 로컬 데이터 저장소(150)는 비디오 스트림을 저장하도록 구성될 수 있다. 로컬 데이터 저장소는 일반적으로 데이터 저장 용량이 제한되어 있다. 로컬 데이터 저장소(150)는 비디오 스트림의 저장에 적합한 임의의 유형의 로컬 데이터 저장소일 수 있다. 예를 들어, 로컬 데이터 저장소(150)는 SD 카드 리더 및 SD 카드 형태일 수 있다. 로컬 데이터 저장소(150)의 다른 예는 플래시 메모리, 예를 들어 NAND 플래시의 형태일 수 있다.
웨어러블 카메라(100)는 송신기(160)를 더 포함할 수 있다. 송신기(160)는 비디오 스트림을 데이터 관리 시스템에 무선으로 전송하도록 구성될 수 있다. 송신기(160)는 캡처된 비디오 스트림을 비디오 관리 시스템으로 연속적으로 전송하도록 구성될 수 있다. 무선 전송은 일반적으로 무선 전송에 사용할 수 있는 대역폭으로 인해 제한된다.
웨어러블 카메라(100)는 메모리(170)를 더 포함할 수 있다. 메모리(170)는 버퍼, 플래시 메모리, 하드 드라이브, 이동식 미디어, 휘발성 메모리, 비휘발성 메모리, 랜덤 액세스 메모리(Random Access Memory) 또는 다른 적절한 장치 중 하나 이상일 수 있다. 통상적인 배치에서, 메모리(170)는 장기 데이터 저장을 위한 비휘발성 메모리 및 회로(130)를 위한 시스템 메모리로서 기능하는 휘발성 메모리를 포함할 수 있다. 메모리(170)는 데이터 버스를 통해 회로(130)와 데이터를 교환할 수 있다. 메모리(170)와 회로(130) 사이에 수반되는 제어 라인 및 어드레스 버스가 또한 존재할 수 있다.
웨어러블 카메라(100)의 기능은, 웨어러블 카메라(100)의 비일시적 컴퓨터 판독가능 매체(예를 들어 메모리(170))에 저장 및 회로(130)에 의해 실행되는(예를 들어, 프로세서(132)를 사용하여), 실행 가능한 로직 루틴(예를 들어 코드들, 소프트웨어 프로그램 등)의 형태로 구현될 수 있다. 또한, 웨어러블 카메라(100)의 기능은 독립형 소프트웨어 애플리케이션일 수도 있고, 웨어러블 카메라(100)와 관련된 추가 작업을 수행하는 소프트웨어 애플리케이션의 일부를 형성할 수도 있다. 설명된 기능은 처리 유닛, 예를 들어 회로(130)의 프로세서(132)가 수행하도록 구성되는 방법으로 간주될 수 있다. 또한, 설명된 기능이 소프트웨어로 구현될 수 있지만, 이러한 기능은 전용 하드웨어나 펌웨어, 또는 하드웨어, 펌웨어 및/또는 소프트웨어의 어떠한 조합을 통해 수행될 수도 있다.
회로(130)는 회전 중심 결정 기능(181)을 수행하도록 구성된다. 회전 중심 결정 기능(181)은 인코딩될 이미지 프레임에 대한 회전 중심을 결정하도록 구성된다. 회전 중심은 비디오를 캡처할 때 웨어러블 카메라의 회전과 연관된다. 구체적으로, 이미지 프레임에 대한 회전 중심은, 이미지 프레임의 기반이 되는 이미지 데이터를 캡처할 때 웨어러블 카메라(100)가 회전의 중심으로 하는, 이미지 센서의 회전 중심에 대응한다. 이미지 프레임은 일반적으로 이미지 프레임의 인코딩에 사용되는 픽셀의 복수의 그룹으로 나뉜다.
회로(130)는 압축 수준 설정 기능(182)을 수행하도록 구성된다. 압축 수준 설정 기능(182)은 이미지 프레임의 픽셀의 복수의 그룹에 대한 압축 수준들을 설정하도록 구성된다. 이미지 프레임의 픽셀의 복수의 그룹에 대한 압축 수준들은, 회전 중심으로부터의 방사상(radial) 거리에 따라 압축의 수준 정도가 증가하도록 설정된다. 일반적으로, 픽셀의 제1 그룹이 픽셀의 제2 그룹보다 회전 중심으로부터 더 큰 방사상 거리에 있는 경우, 픽셀의 제1 그룹은 픽셀의 제2 그룹보다 더 높은 압축의 수준 정도를 가질 것이다. 압축의 수준 정도는 회전 중심으로부터의 방사상 거리에 따라 연속적으로 증가할 수 있다. 그러나, 회전 중심으로부터 제1 방사상 거리 범위 내의 픽셀의 제1 그룹들이 동일한 제1 압축의 수준 정도를 갖고, 회전 중심으로부터 제1 방사상 거리 범위보다 큰 방사상 거리를 포함하는 제2 방사상 거리 범위 내의 픽셀의 제2 그룹들이 동일한 제2 압축의 수준 정도를 가지는 등, 압축의 수준 정도는 계단식으로 증가할 수도 있다.
예를 들어 회전 중심으로부터의 수직 방향의 거리보다 수평 방향의 거리에 따라 압축의 수준 정도가 더 높은 비율로 증가하도록, 압축의 수준 정도의 불균일한 증가를 더 수행할 수 있다. 이러한 불균일한 증가의 경우 회전 중심으로부터의 수평선을 따라 주어진, 회전 중심으로부터의 거리에서의 압축의 수준 정도는, 회전 중심으로부터 0도보다 큰 각도를 가진, 회전 중심으로부터의 주어진 거리에서의 압축의 수준 정도보다 높을 것이다. 일반적으로 압축의 수준 정도는, 회전 중심으로부터 더 멀리 떨어진 더 높은 정도의 모션으로 인한 압축의 필요성뿐만 아니라 이미지 프레임의 다른 부분에서 예상되는 중요성의 수준에 기반할 수 있다. 예를 들어 수평 방향의 이미지 프레임의 주변이 수직 방향의 이미지 프레임의 주변보다 덜 중요할 수 있다.
압축 수준들은 압축의 수준 정도를 나타내는 다양한 측정값 및 속성과 관련될 수 있다. 예를 들어, 압축 수준들은 양자화 파라미터의 값과 같은 압축값과 관련될 수 있으며, 양자화 파라미터의 값은 회전 중심으로부터의 방사상 거리에 따라 증가하게 설정될 수 있다. 그러한 경우에, 픽셀들의 제1 그룹이 픽셀들의 제2 그룹보다 회전 중심으로부터 더 큰 방사상 거리에 있는 경우, 픽셀들의 제1 그룹은 픽셀들의 제2 그룹보다 양자화 파라미터의 값이 더 높을 것이다. 이것은 예를 들어 기울기 양자화 파라미터 맵(gradient quantization parameter map, QMAP)에 의해 달성될 수 있다.
압축 수준들은 인코딩에 필요한 비트레이트를 더 설명하거나 나타낼 수 있다. 따라서 필요한 비트레이트가 낮아지는 한, 필요한 낮은 비트레이트를 달성하는 데 사용되는 수단이나 프로세스에 관계없이 압축의 수준 정도는 더 높아지는 것으로 간주된다. 예를 들어, 회전 중심으로부터의 방사상 거리에 따라 다른 인코딩 방식을 블록에 대해 사용하여 압축의 수준 정도를 높일 수 있다. 이러한 인코딩의 예로는, 이미지의 그룹에 대해 일반적인 P 또는 B 블록으로서 인코딩하는 것에 관하여 더 높은 수준의 압축 결과를 보일 스킵 블록(skip blocks) 또는 DC 코딩된(즉, 단일 색상) I 블록을 사용하는 것이 있다. 스킵 블록은 이미지 정보나 예측 정보를 가지지 않으며, 디코더는 스킵 블록을 이전 프레임의 대응 블록(픽셀의 그룹)과 동일한 블록(픽셀의 그룹)으로서 해석한다. 스킵 블록에는 자신의 이웃으로부터 상속된 모션 벡터가 여전히 있을 수 있다. 그러나 인코딩되는 정보는 없다. 압축의 수준 정도를 높이기 위해, 블록의 유형(I, P, 스킵) 선택을 편향시켜, 회전 중심으로부터의 거리에 따라 더 높은 압축의 수준 정도에 해당하는 블록의 유형의 확률이 증가하도록 할 수 있다.
인코더(120)는 그후 압축 수준 설정 기능(182)에 의해 설정된 압축 수준들을 사용하여 이미지 프레임을 비디오 스트림으로 인코딩하도록 구성된다.
회전 중심으로부터의 방사상 거리에 따라 압축 수준이 증가하면 이러한 인코딩된 프레임의 비디오 스트림의 비트레이트는 감소하게 되며, 이는 비디오 스트림이 회전 중심에서의 압축 수준을 가지는 이미지 프레임을 포함하고 있고 회전 중심으로부터의 방사상 거리에 따라 압축 수준에 증가가 없다면 나타냈을 비트레이트보다 낮다. 또한, 회전 중심으로부터의 방사상 거리에 따라 압축 수준을 높이면 회전 중심에 더 가까운 픽셀의 그룹에 대해 고품질(낮은 압축)이 유지된다. 이 픽셀의 그룹은 모션 블러의 영향을 덜 받고, 인코딩에 더 적은 비트레이트를 필요로 하고, 대응하는 모션 벡터를 찾기가 더 쉬우며, 웨어러블 카메라 바로 앞에 있는 것을 묘사함으로써 중요 영역과 종종 관련되기 때문에, 이에는 이점이 있다. 또한, 감소된 비트레이트의 대부분은 회전 중심에 대하여 주변부에서의 더 높은 압축 수준에 의해 달성된다. 이러한 픽셀의 그룹에 대한 더 높은 압축의 수준 정도는, 이러한 픽셀의 그룹이 모션 블러의 영향을 더 많이 받고, 인코딩을 위해 더 높은 비트레이트가 필요하고, 대응하는 모션 벡터를 찾기가 더 어렵고, 회전 중심에 비하여 주변에 있는 것을 묘사함으로써 덜 중요한 영역과 종종 관련되기 때문에 유리하다. 이미지 프레임에서 압축을 균일하게 증가시키고 프레임 레이트(frame rate)를 줄이는 것과 비교할 때, 비트레이트 감소를 위한 이러한 방법은 위에서 식별된 이점을 달성하지 못할 것이다.
회전 중심 결정 기능(181)은 예를 들어 자이로스코프 및/또는 가속도계를 포함하는 모션 센서(140)로부터의 모션 데이터를 사용하여 회전 중심을 결정하도록 구성될 수 있다.
인코더(120)는 이미지 프레임에 대한 모션 벡터를 결정하도록 구성될 수 있다. 회전 중심 결정 기능(181)은 모션 벡터를 사용하여 회전 중심을 결정하도록 더 구성될 수 있다. 회전 모션의 경우, 모션 벡터는 회전 중심 주위에 원형 패턴을 생성하고 회전 중심으로부터의 방사상 거리에 따라 길이가 증가한다. 따라서, 식별된 모션 벡터는 회전 중심을 결정하기 위해 적절한 알고리즘을 사용하여 분석될 수 있다.
회로(130)는 예비 회전 중심 결정 기능(183) 및 모션 벡터 탐색 영역 설정 기능(184)을 수행하도록 구성될 수 있다. 예비 회전 중심 결정 기능(183)은 이미지 프레임에 대한 예비 회전 중심을 결정하도록 구성된다. 모션 벡터 탐색 영역 설정 기능(184)은, 이미지 프레임의 하위 영역인, 예비 회전 중심을 포함하는 모션 벡터 탐색 영역을 설정하도록 구성된다. 그 다음 인코더(120)는 모션 벡터 탐색 영역에서 모션 벡터를 결정하도록 구성될 수 있다. 그러면 회전 중심 결정 기능(181)은 모션 벡터 탐색 영역 내의 모션 벡터를 사용하여 회전 중심을 결정하도록 구성될 수 있다. 이에 대한 근거는, 결정된 모션 벡터의 신뢰성은 일반적으로 회전 중심으로부터의 방사상 거리에 따라 감소한다는 것인데, 왜냐하면 픽셀의 그룹이 두 개의 연속 이미지 프레임 사이에서 이동하는 방사상 거리는 회전 중심으로부터의 방사상 거리에 따라 증가하게 되고 이로 인해 모션 벡터의 결정은 점점 더 어려워지기 때문이다. 따라서, 하위 영역 내의 모션 벡터만 사용하면 가장 신뢰할 수 없는 모션 벡터를 포함하는 이미지 프레임의 영역이 제외된다. 따라서, 회전 중심을 보다 확실하게 식별할 수 있다. 모션 벡터 탐색 영역은, 예를 들어 원하는 신뢰도로 모션 벡터가 결정될 수 있는 픽셀의 그룹을 포함하도록 설정될 수 있다. 그후, 인코더(120)는 모션 벡터 탐색 영역 외부에서 이미지 프레임의 모션 벡터를 결정하도록 구성될 수 있다. 그러나, 그러한 모션 벡터는 이미지 프레임을 인코딩하기 위해 인코더(120)에 의해서만 사용될 것이고, 회전 중심을 결정하기 위해 회전 중심 결정 기능(181)에 의해 사용되지는 않을 것이다.
인코더(120)는 대안적으로 모션 벡터 탐색 영역에서만 이미지 프레임의 모션 벡터를 결정하도록 구성될 수 있다. 이러한 경우, 모션 벡터 탐색 영역은, 인코더(120)가 임계치를 초과하여 모션 벡터를 결정하지 못할 확률이 있는 픽셀의 그룹을 제외하도록 설정될 수 있다. 모션이 증가하면 실패 확률이 높아진다. 따라서, 제외된 픽셀의 그룹은 예비 회전 중심으로부터 임계 방사상 거리보다 큰 픽셀의 그룹으로서 선택될 수 있다. 임계 방사상 거리는 예를 들어 각속도에 기반할 수 있다. 제외된 픽셀의 그룹, 즉 모션 벡터가 결정되지 않은 픽셀의 그룹의 경우, 식별된 모션 벡터가 없는 인코딩에 필요한 추가 비트레이트를 보상하기 위해 압축의 수준 정도를 더 높일 수 있다. 증가된 압축의 수준 정도는 모션 벡터가 결정되지 않은 픽셀의 그룹에 대한 양자화 파라미터 값을 조정함으로써 달성될 수 있다. 대안적으로, 모션 벡터가 결정되지 않은 픽셀의 그룹은 스킵 블록 또는 DC 코딩된(즉, 단일 색상) I 블록으로서 인코딩될 수 있다.
회로(130)는 이전 회전 중심 획득 기능(185)을 수행하도록 구성될 수 있다. 이전 회전 중심 획득 기능(185)은 이전 이미지 프레임에 대한 이전 회전 중심을 획득하도록 구성된다. 그러면 예비 회전 중심 결정 기능(183)은, 이미지 프레임에 대한 예비 회전 중심이 이전 회전 중심에 대응되게 결정하도록 구성될 수 있다. 회전 중심은 일반적으로 연속된 이미지 프레임 사이에서 그리 멀리 이동하지 않으므로, 이전 이미지 프레임에 대한 이전 회전 중심을 사용하는 것이 일반적으로 예비 회전 중심으로 사용하기에 좋은 근사치이다.
회로는 각속도 결정 기능(186)을 수행하도록 구성될 수 있다. 각속도 결정 기능(186)은 이미지 프레임을 캡처할 때 웨어러블 카메라의 각속도를 결정하도록 구성된다. 그후 압축 수준 설정 기능(182)은, 회전 중심으로부터의 방사상 거리에 따른 압축의 수준 정도의 증가율이 각속도에 기반하도록 구성될 수 있다. 일반적으로, 이미지 프레임 내의 모션의 양이 많을수록 압축의 수준 정도를 높여야 한다. 회전의 경우, 이미지 프레임 내의 모션의 양은 회전 중심으로부터의 방사상 거리 뿐 아니라 각속도에 따라 달라진다. 더 높은 각속도의 경우, 회전 중심으로부터의 동일한 방사상 거리에서 낮은 각속도의 경우보다 모션의 양이 더 커진다. 따라서, 회전 중심으로부터 동일한 방사상 거리에서 압축의 수준 정도가 더 낮은 각속도에 비해 높을 수 있도록, 압축의 수준 정도는 더 높은 각속도에 대해 회전 중심으로부터의 방사상 거리에 따라 더 높은 비율로 증가할 수 있다. 각속도는 모션 센서(140), 예를 들어 자이로스코프로부터의 데이터에 의해 결정될 수 있다.
대안적으로, 또는 추가적으로, 인코더(120)에 의해 결정된 모션 벡터에 기반하여, 압축 수준 설정 기능(182)은 회전 중심으로부터의 방사상 거리에 따른 압축의 수준 정도의 증가율이 모션 벡터에 기반하도록 구성될 수 있다. 예를 들어, 더 높은 각속도에 대해, 결정된 모션 벡터는 낮은 각속도에 대한 것보다 회전 중심으로부터의 방사상 거리에 따라 더 높은 비율로 길이가 증가할 것이다. 따라서, 압축의 수준 정도의 증가율은 회전 중심으로부터의 방사상 거리에 따른 모션 벡터의 길이 증가율에 비례하도록 설정될 수 있다. 유사하게, 픽셀의 그룹에 대한 압축의 수준 정도는 각각의 모션 벡터의 길이에 비례하도록 설정될 수 있다.
도 2와 관련하여 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 방법(200)이 논의될 것이다. 본 방법(200)은, 회전 중심으로부터의 방사상 거리에 따라 압축 수준을 증가시킴으로써 인코딩에 필요한 비트레이트가 그에 상응하는 큰 품질 손실 없이 감소될 수 있는데, 이는 예를 들어, 더 높은 수준의 압축이, 더 적은 관련 정보를 전달하고/전달하거나 더 높은 수준의 압축 없이도 더 낮은 품질을 가졌을 픽셀의 그룹에 적용되기 때문이라는 본 발명자의 통찰에 기초한다.
본 방법(200)의 모든 단계 중 일부는 위에서 설명된 웨어러블 카메라(100)의 기능에 의해 수행될 수 있다. 본 방법은 다음 단계를 포함한다. 단계가 다른 단계의 결과에 특별히 의존하지 않는 한, 단계는 임의의 적절한 순서로 수행될 수 있다.
본 방법은 인코딩될 이미지 프레임에 대한 회전 중심을 결정하는 단계(S220)를 포함하며, 회전 중심은 비디오를 캡처할 때 웨어러블 카메라의 회전에 관한 것이고 이미지 프레임은 픽셀의 복수의 그룹을 포함한다. 본 방법(200)은 이미지 프레임의 픽셀의 복수의 그룹에 대한 압축 수준들을 설정하는 단계(S222)를 더 포함하고, 이때 이미지 프레임의 픽셀의 복수의 그룹에 대한 압축 수준들은, 회전 중심으로부터의 방사상 거리에 따라 압축의 수준 정도가 증가한다. 본 방법(200)은 압축 수준들을 사용하여 이미지 프레임을 인코딩하는 단계(S224)를 더 포함한다.
회전 중심을 결정하는 단계(S220)는 웨어러블 카메라의 하나 이상의 모션 센서로부터의 데이터를 사용하여 회전 중심을 결정하는 단계를 더 포함할 수 있다.
본 방법(200)은 이미지 프레임에 대한 모션 벡터를 결정하는 단계(S210)를 더 포함할 수 있다. 회전 중심을 결정하는 단계(S220)는 모션 벡터를 사용한 데이터를 사용하여 회전 중심을 결정하는 단계를 더 포함할 수 있다.
본 방법(200)은 이미지 프레임에 대한 예비 회전 중심을 결정하는 단계(S206) 및 이미지 프레임의 하위 영역인, 예비 회전 중심을 포함하는 모션 벡터 탐색 영역을 설정하는 단계(S208)를 더 포함할 수 있다. 그러면 모션 벡터를 결정하는 단계(S208)는 모션 벡터 탐색 영역 내의 모션 벡터를 결정하는 단계를 포함할 수 있다.
본 방법(200)은 이전 이미지 프레임에 대한 이전 회전 중심을 획득하는 단계(S204)를 더 포함할 수 있다. 그 다음, 예비 회전 중심을 결정하는 단계(S206)는, 이미지 프레임에 대한 예비 회전 중심이 이전 회전 중심에 대응되도록 결정하는 단계를 포함할 수 있다.
본 방법(200)은 이미지 프레임을 캡처할 때 웨어러블 카메라의 각속도를 결정하는 단계(S202)를 더 포함할 수 있다. 압축 수준들을 설정하는 단계(S222)에서, 회전 중심으로부터의 방사상 거리에 따른 압축의 수준 정도의 증가율은 각속도에 기반한다.
본 방법은 웨어러블 카메라에 비디오 스트림을 저장하는 단계를 더 포함할 수 있다. 본 방법은 웨어러블 카메라로부터 비디오 스트림을 무선으로 전송하는 단계를 더 포함할 수 있다. 본 방법은 도 1과 관련하여 설명된 웨어러블 카메라에 대해 개시된 특징에 대응하는 특징을 더 포함할 수 있다.
당업자는 본 발명이 위에서 설명된 실시예에 제한되지 않는다는 것을 인식한다. 반대로, 첨부된 청구항의 범위 내에서 많은 수정 및 변형이 가능하다. 이러한 수정 및 변형은 도면, 개시내용 및 첨부된 청구항의 연구로부터 청구된 발명을 실시하는 당업자에 의해 이해되고 실현될 수 있다.

Claims (15)

  1. 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 방법에 있어서:
    인코딩될 이미지 프레임에 대한 회전 중심을 - 상기 회전 중심은 상기 비디오를 캡처할 때 상기 웨어러블 카메라의 회전 모션에 관한 것이고, 상기 회전 중심은 이미지 프레임이 기반이 되는 이미지 데이터를 캡처링할 때 상기 웨어러블 카메라가 회전하는 이미지 센서의 회전 중심에 대응하고, 상기 이미지 프레임은 픽셀의 복수의 그룹을 포함함 - 결정하는 단계;
    상기 이미지 프레임의 상기 픽셀의 복수의 그룹에 대한 압축 수준들을 - 상기 이미지 프레임의 상기 픽셀의 복수의 그룹에 대한 상기 압축 수준들은, 상기 회전 중심으로부터의 방사상 거리에 따라 압축의 수준 정도가 증가하도록 함 - 설정하는 단계; 및
    상기 압축 수준들을 사용하여 상기 이미지 프레임을 인코딩하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 회전 중심을 결정하는 단계는:
    상기 웨어러블 카메라의 하나 이상의 모션 센서로부터의 데이터를 사용하여 상기 회전 중심을 결정하는 단계를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 이미지 프레임에 대한 모션 벡터를 결정하는 단계를 더 포함하되,
    상기 회전 중심을 결정하는 단계는:
    상기 모션 벡터를 사용하여 상기 회전 중심을 결정하는 단계를 더 포함하는 방법.
  4. 제3항에 있어서,
    상기 이미지 프레임에 대한 예비 회전 중심을 결정하는 단계; 및
    상기 이미지 프레임의 하위 영역인, 상기 예비 회전 중심을 포함하는 모션 벡터 탐색 영역을 설정하는 단계를 더 포함하되,
    상기 모션 벡터를 결정하는 단계는
    상기 모션 벡터 탐색 영역 내의 상기 모션 벡터를 결정하는 단계를 포함하는 방법.
  5. 제4항에 있어서,
    이전 이미지 프레임에 대한 이전 회전 중심을 획득하는 단계를 더 포함하되,
    상기 예비 회전 중심을 결정하는 단계는:
    상기 이미지 프레임에 대한 상기 예비 회전 중심이 상기 이전 회전 중심에 대응되도록 결정하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 이미지 프레임을 캡처할 때 상기 웨어러블 카메라의 각속도를 결정하는 단계를 더 포함하되,
    상기 압축 수준들을 설정하는 단계에서, 상기 회전 중심으로부터의 상기 방사상 거리에 따른 상기 압축의 수준 정도의 증가율은 상기 각속도에 기반하는 방법.
  7. 제1항에 있어서,
    상기 이미지 프레임에 대한 모션 벡터를 결정하는 단계를 더 포함하되,
    상기 압축 수준들을 설정하는 단계에서, 상기 회전 중심으로부터의 상기 방사상 거리에 따른 상기 압축의 수준 정도의 증가율은 상기 모션 벡터에 기반하는 방법.
  8. 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하기 위한 인스트럭션을 저장하는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서, 상기 인스트럭션은:
    인코딩될 이미지 프레임에 대한 회전 중심을 - 상기 회전 중심은 상기 비디오를 캡처할 때 상기 웨어러블 카메라의 회전 모션에 관한 것이고, 상기 회전 중심은 이미지 프레임이 기반이 되는 이미지 데이터를 캡처링할 때 상기 웨어러블 카메라가 회전하는 이미지 센서의 회전 중심에 대응하고, 상기 이미지 프레임은 픽셀의 복수의 그룹을 포함함 - 결정하는 단계;
    상기 이미지 프레임의 상기 픽셀의 복수의 그룹에 대한 압축 수준들을 - 상기 이미지 프레임의 상기 픽셀의 복수의 그룹에 대한 상기 압축 수준들은, 상기 회전 중심으로부터의 방사상 거리에 따라 압축의 수준 정도가 증가하도록 함 - 설정하는 단계; 및
    상기 압축 수준들을 사용하여 상기 이미지 프레임을 인코딩하는 단계를 포함하는 방법을 실행하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  9. 웨어러블 카메라에 있어서:
    이미지 데이터를 캡처하도록 구성된 이미지 센서;
    회로 - 상기 회로는,
    인코딩될 이미지 프레임에 대한 회전 중심을 결정하도록 구성되되, 상기 회전 중심은 상기 이미지 데이터를 캡처할 때 상기 웨어러블 카메라의 회전 모션에 관한 것이고 상기 회전 중심은 이미지 프레임이 기반이 되는 이미지 데이터를 캡처링할 때 상기 웨어러블 카메라가 회전하는 이미지 센서의 회전 중심에 대응하고, 픽셀의 복수의 그룹을 포함하는, 회전 중심 결정 기능; 및
    상기 이미지 프레임의 상기 픽셀의 복수의 그룹에 대한 압축 수준들을 설정하도록 구성되되, 상기 이미지 프레임의 상기 픽셀의 복수의 그룹에 대한 상기 압축 수준들은, 상기 회전 중심으로부터의 방사상 거리에 따라 압축의 수준 정도가 증가하도록 하는, 압축 수준 설정 기능;
    을 수행하도록 구성됨 -;
    및
    상기 압축 수준 설정 기능에 의해 설정된 상기 압축 수준들을 사용하여 상기 이미지 프레임을 비디오 스트림으로 인코딩하도록 구성된 인코더;
    를 포함하는 웨어러블 카메라.
  10. 제9항에 있어서,
    상기 웨어러블 카메라에 대한 모션 데이터를 결정하기 위한 모션 센서를 더 포함하되,
    상기 회전 중심 결정 기능은 상기 모션 센서로부터의 상기 모션 데이터를 사용하여 상기 회전 중심을 결정하도록 더 구성되는 웨어러블 카메라.
  11. 제9항에 있어서,
    상기 인코더는 상기 이미지 프레임에 대한 모션 벡터를 결정하도록 더 구성되고, 상기 회전 중심 결정 기능은 상기 모션 벡터를 사용하여 상기 회전 중심을 결정하도록 더 구성되는 웨어러블 카메라.
  12. 제11항에 있어서,
    상기 회로는:
    상기 이미지 프레임에 대한 예비 회전 중심을 결정하도록 구성된 예비 회전 중심 결정 기능; 및
    상기 이미지 프레임의 하위 영역인, 상기 예비 회전 중심을 포함하는 모션 벡터 탐색 영역을 설정하도록 구성된 모션 벡터 탐색 영역 설정 기능;을 수행하도록 더 구성되되,
    상기 인코더는 상기 모션 벡터 탐색 영역 내의 상기 모션 벡터를 결정하도록 구성되는 웨어러블 카메라.
  13. 제12항에 있어서,
    상기 회로는:
    이전 이미지 프레임에 대한 이전 회전 중심을 획득하도록 구성된 이전 회전 중심 획득 기능을 수행하도록 더 구성되되,
    상기 예비 회전 중심 결정 기능은, 상기 이미지 프레임에 대한 상기 예비 회전 중심이 상기 이전 회전 중심에 대응되도록 결정하는 구성인 것을 특징으로 하는 웨어러블 카메라.
  14. 제9항에 있어서,
    상기 회로는:
    상기 이미지 프레임을 캡처할 때 상기 웨어러블 카메라의 각속도를 결정하도록 구성된 각속도 결정 기능을 수행하도록 더 구성되되,
    상기 압축 수준 설정 기능에서, 상기 회전 중심으로부터의 상기 방사상 거리에 따른 상기 압축의 수준 정도의 증가율은 상기 각속도에 기반하는 웨어러블 카메라.
  15. 제9항에 있어서,
    상기 인코더는 상기 이미지 프레임에 대한 모션 벡터를 결정하도록 더 구성되고, 상기 압축 수준 설정 기능에서, 상기 회전 중심으로부터의 상기 방사상 거리에 따른 상기 압축의 수준 정도의 증가율은 상기 모션 벡터에 기반하는 웨어러블 카메라.
KR1020210104872A 2020-08-17 2021-08-09 웨어러블 카메라 및 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 방법 KR102594565B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20191260.7A EP3958566A1 (en) 2020-08-17 2020-08-17 Wearable camera and a method for encoding video captured by the wearable camera
EP20191260.7 2020-08-17

Publications (2)

Publication Number Publication Date
KR20220022099A KR20220022099A (ko) 2022-02-24
KR102594565B1 true KR102594565B1 (ko) 2023-10-26

Family

ID=72139463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210104872A KR102594565B1 (ko) 2020-08-17 2021-08-09 웨어러블 카메라 및 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 방법

Country Status (6)

Country Link
US (1) US11683595B2 (ko)
EP (1) EP3958566A1 (ko)
JP (1) JP2022033713A (ko)
KR (1) KR102594565B1 (ko)
CN (1) CN114079778B (ko)
TW (1) TW202209862A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005020478A (ja) 2003-06-27 2005-01-20 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
US20140320661A1 (en) 2013-04-26 2014-10-30 University Of Washington Through Its Center For Commercialization Indoor scene capture system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3746739B2 (ja) * 1992-04-14 2006-02-15 オリンパス株式会社 電子カメラ
JP3687159B2 (ja) * 1995-11-09 2005-08-24 カシオ計算機株式会社 画像圧縮・復元装置及び方法
US6133943A (en) * 1996-09-30 2000-10-17 Intel Corporation Method and apparatus for producing a composite image
KR20040005290A (ko) 2002-07-09 2004-01-16 엘지전자 주식회사 이동통신 단말기의 영상신호 코딩 방법
US20040227751A1 (en) * 2003-01-08 2004-11-18 Kaidan Incorporated Method for capturing object images for 3D representation
JP2005027046A (ja) * 2003-07-02 2005-01-27 Sony Corp 画像処理装置及び画像処理方法
JP2006005533A (ja) 2004-06-16 2006-01-05 Seiko Epson Corp 動画像の再生時における画像の動きの速度調整
WO2009051457A2 (en) * 2007-10-19 2009-04-23 Samsung Electronics Co., Ltd. Method of recording three-dimensional image data
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US20160007026A1 (en) 2013-03-08 2016-01-07 Jie Dong Techniques for image encoding based on region of interest
US10630992B2 (en) * 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image
JP6379186B2 (ja) 2016-02-17 2018-08-22 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ビデオピクチャを符号化および復号する方法および装置
US10536702B1 (en) 2016-11-16 2020-01-14 Gopro, Inc. Adjusting the image of an object to search for during video encoding due to changes in appearance caused by camera movement
US10244215B2 (en) * 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc Re-projecting flat projections of pictures of panoramic video for rendering by application
US10425643B2 (en) * 2017-02-04 2019-09-24 OrbViu Inc. Method and system for view optimization of a 360 degrees video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005020478A (ja) 2003-06-27 2005-01-20 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
US20140320661A1 (en) 2013-04-26 2014-10-30 University Of Washington Through Its Center For Commercialization Indoor scene capture system

Also Published As

Publication number Publication date
US20220053125A1 (en) 2022-02-17
CN114079778B (zh) 2024-03-26
EP3958566A1 (en) 2022-02-23
KR20220022099A (ko) 2022-02-24
CN114079778A (zh) 2022-02-22
JP2022033713A (ja) 2022-03-02
US11683595B2 (en) 2023-06-20
TW202209862A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
US10582196B2 (en) Generating heat maps using dynamic vision sensor events
US11102508B2 (en) Method and image processing unit for forming a video stream
CN108737825B (zh) 视频数据编码方法、装置、计算机设备和存储介质
TWI530164B (zh) 終端機器件、用於一視訊編碼器之記憶體管理方法及視訊編碼方法
EP3648059B1 (en) Video processing device and method for determining motion metadata for an encoded video
US9307253B2 (en) Method for encoding digital video data
CN110996099A (zh) 一种视频编码方法、系统及设备
JP7374872B2 (ja) ビデオエンコーディング方法、及び、エンコードされたビデオのファイルサイズを減らす方法
EP3131295A1 (en) Video encoding method and system
KR102594565B1 (ko) 웨어러블 카메라 및 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 방법
KR102489396B1 (ko) 비디오 이미지의 시퀀스를 인코딩하기 위한 이미지 프로세싱 장치, 카메라 및 방법
US20130251045A1 (en) Method and device for determining a motion vector for a current block of a current video frame
US11750798B2 (en) Image processing device and a method for encoding images captured by a camera
US11716475B2 (en) Image processing device and method of pre-processing images of a video stream before encoding
JP5173946B2 (ja) 符号化前処理装置、符号化装置、復号装置及びプログラム
TWI838649B (zh) 影像處理設備、相機及將視訊影像序列之編碼方法
CN116614630A (zh) 对包括叠层的视频流进行编码
CN117241030A (zh) 视频数据流的生成方法、解码方法及相关装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant