KR102459813B1 - 영상스위칭 기반의 주기적 화질보정 영상처리 방법 - Google Patents

영상스위칭 기반의 주기적 화질보정 영상처리 방법 Download PDF

Info

Publication number
KR102459813B1
KR102459813B1 KR1020220020493A KR20220020493A KR102459813B1 KR 102459813 B1 KR102459813 B1 KR 102459813B1 KR 1020220020493 A KR1020220020493 A KR 1020220020493A KR 20220020493 A KR20220020493 A KR 20220020493A KR 102459813 B1 KR102459813 B1 KR 102459813B1
Authority
KR
South Korea
Prior art keywords
frame
image
switching
resolution
video stream
Prior art date
Application number
KR1020220020493A
Other languages
English (en)
Inventor
안상호
정규목
Original Assignee
코디오 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코디오 주식회사 filed Critical 코디오 주식회사
Priority to KR1020220020493A priority Critical patent/KR102459813B1/ko
Application granted granted Critical
Publication of KR102459813B1 publication Critical patent/KR102459813B1/ko
Priority to US18/106,630 priority patent/US20230262274A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T5/001—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

본 발명은 일반적으로 카메라(예: CCTV 카메라)에서 생성되는 대량의 영상 데이터를 효과적으로 처리하는 기술에 관한 것이다. 특히, 본 발명은 카메라로부터 복수 해상도(예: 4K, Full-HD)의 영상 스트림이 제공되는 경우에 고해상도 영상 스위칭을 통한 화질 보정 처리를 주기적으로 수행함으로써 영상 저장을 위한 스토리지 용량은 저해상도 영상 수준으로 유지하면서도 영상 탐색에서의 객체 식별 효과는 고해상도 영상 수준으로 유지할 수 있는 영상스위칭 기반의 주기적 화질보정 영상처리 기술에 관한 것이다. 본 발명에 따르면 카메라(예: CCTV 카메라)로부터 대량의 영상 데이터가 생성되는 경우에 영상 저장에 소요되는 스토리지 용량은 낮게 유지하면서도 범죄 예방이나 범죄증거 수집을 위한 영상 탐색 과정에서는 고해상도 영상 수준으로 양호한 객체 식별 성능을 제공할 수 있는 장점이 있다.

Description

영상스위칭 기반의 주기적 화질보정 영상처리 방법 {video processing method of periodic quality compensation by image switching}
본 발명은 일반적으로 카메라(예: CCTV 카메라)에서 생성되는 대량의 영상 데이터를 효과적으로 처리하는 기술에 관한 것이다.
특히, 본 발명은 카메라로부터 복수 해상도(예: 4K, Full-HD)의 영상 스트림이 제공되는 경우에 고해상도 영상 스위칭을 통한 화질 보정 처리를 주기적으로 수행함으로써 영상 저장을 위한 스토리지 용량은 저해상도 영상 수준으로 유지하면서도 영상 탐색에서의 객체 식별 효과는 고해상도 영상 수준으로 유지할 수 있는 영상스위칭 기반의 주기적 화질보정 영상처리 기술에 관한 것이다.
범죄예방이나 사후증거 확보 등을 위해 CCTV를 이용하는 영상관제 시스템을 구축하는 것이 일반적이다. 다수의 CCTV 카메라를 설치해둔 상태에서 이들 CCTV 카메라가 생성하는 영상을 모니터에 표시하고 스토리지 장치에 저장해두는 것이다. 범죄나 사고가 발생하는 장면을 관제요원이 발견하면 그 즉시 적절하게 대처하고, 범죄나 사고 발생이 나중에 알려진 경우에는 증거 확보를 위해 스토리지에 저장되어 있는 영상을 탐색하는 것이다.
최근에 사용되는 CCTV 카메라는 복수 해상도의 영상 스트림을 동시에 송출하는 기능을 갖추고 있다. 예를 들어, 현재 촬영하고 있는 장면에 대해 고해상도(예: 3840ㅧ2160, 4K) 영상 스트림과 저해상도(1920ㅧ1080, Full-HD) 영상 스트림을 모두 제공하는 것이다.
객체 식별의 면에 있어서는 고해상도(고화질) 영상이 우수하지만, 고해상도 영상은 영상 저장을 위해 대용량의 스토리지 공간이 요구되는 문제점이 있다. 예를 들어 4K 영상은 Full-HD 영상에 비해 스토리지 공간도 4배가량 필요하다. 스토리지 용량의 부담 때문에 CCTV 영상의 저장은 고해상도 영상으로 하지못하고 저해상도(저화질) 영상으로 하는 것이 일반적이다.
그런데, 이렇게 저해상도 영상으로 저장된 CCTV 영상은 증거확보를 위한 사후 영상 탐색 과정에서 객체 식별 효과가 충분하지 못한 문제가 있다.
본 발명의 목적은 일반적으로 카메라(예: CCTV 카메라)에서 생성되는 대량의 영상 데이터를 효과적으로 처리하는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 카메라로부터 복수 해상도(예: 4K, Full-HD)의 영상 스트림이 제공되는 경우에 고해상도 영상 스위칭을 통한 화질 보정 처리를 주기적으로 수행함으로써 영상 저장을 위한 스토리지 용량은 저해상도 영상 수준으로 유지하면서도 영상 탐색에서의 객체 식별 효과는 고해상도 영상 수준으로 유지할 수 있는 영상스위칭 기반의 주기적 화질보정 영상처리 기술을 제공하는 것이다.
한편, 본 발명의 해결 과제는 이들 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 영상스위칭 기반의 주기적 화질보정 영상처리 방법은, 고해상도 영상 스트림과 저해상도 영상 스트림으로 구성된 듀얼스트림 영상을 제공받는 단계; 저해상도 영상 스트림을 고해상도로 업스케일링하여 화질보정 영상 스트림을 생성하는 단계; 화질보정 영상 스트림에서 간헐적으로 I 프레임(이하, '스위칭 프레임'이라 함)을 고해상도 영상 스트림에서 대응하는 I 프레임으로 스위칭하는 단계; 화질보정 영상 스트림에서 스위칭 프레임 직후의 P 프레임(이하, '스위칭직후 프레임'이라 함)을 I 프레임으로 트랜스코딩하는 단계; 화질보정 영상 스트림에서 스위칭직후 프레임 이후의 하나이상의 연속 P 프레임에 대해 스위칭직후 프레임을 참조 프레임으로 설정하는 트랜스코딩을 수행하는 단계;를 포함하여 구성된다.
본 발명에서 업스케일링은 저해상도 영상 스트림을 픽셀간 평균값의 선형 보간을 통해 블러링 처리하여 고해상도 영상으로 재압축하도록 구성될 수 있다.
본 발명에 따른 영상스위칭 기반의 주기적 화질보정 영상처리 방법은, 화질보정 영상 스트림에서 주기적으로 I 프레임(이하, '전환 프레임'이라 함)을 P 프레임으로 트랜스코딩 전환하는 단계; 화질보정 영상 스트림에서 전환 프레임 이후의 하나이상의 연속 P 프레임에 대해 전환 프레임 이전의 I 프레임으로 참조 프레임을 변경하는 트랜스코딩을 수행하는 단계;를 더 포함하여 구성될 수 있다.
본 발명에 따른 영상스위칭 기반의 주기적 화질보정 영상처리 방법은, 저해상도 영상 스트림 또는 고해상도 영상 스트림에 대한 파싱을 통해 획득된 모션벡터 정보에 기초하여 이동객체가 식별된 프레임 시퀀스 구간에 대응하여 스위칭 프레임을 선정하는 단계;를 더 포함하여 구성될 수 있다.
한편, 본 발명에 따른 컴퓨터프로그램은 컴퓨터에 이상과 같은 영상스위칭 기반의 주기적 화질보정 영상처리 방법을 실행시키기 위하여 비휘발성 저장매체에 저장된 것이다.
본 발명에 따르면 카메라(예: CCTV 카메라)로부터 대량의 영상 데이터가 생성되는 경우에 영상 저장에 소요되는 스토리지 용량은 낮게 유지하면서도 범죄 예방이나 범죄증거 수집을 위한 영상 탐색 과정에서는 고해상도 영상 수준으로 양호한 객체 식별 성능을 제공할 수 있는 장점이 있다.
[도 1]은 본 발명에서 CCTV 카메라가 듀얼스트림 영상을 생성하는 개념을 나타내는 도면.
[도 2]는 본 발명에 따라 영상처리 장치가 영상스위칭 기반의 주기적 화질보정 영상 처리를 수행하는 전체 프로세스를 나타내는 도면.
[도 3]은 본 발명에서 저해상도 영상 스트림을 고해상도로 업스케일링하는 개념을 나타내는 도면.
[도 4]는 본 발명에서 주기적으로 I 프레임을 P 프레임으로 트랜스코딩하는 개념을 나타내는 도면.
[도 5]는 본 발명에서 주기적으로 고해상도 스위칭하는 개념을 나타내는 도면.
[도 6]은 본 발명에서 고해상도 스위칭 직후의 P 프레임을 I 프레임으로 트랜스코딩하는 개념을 나타내는 도면.
[도 7]은 본 발명에서 고해상도 스위칭 직후의 P 프레임을 I 프레임으로 트랜스코딩한 후처리를 나타내는 도면.
[도 8]은 본 발명에 따라 영상스위칭 기반의 주기적 화질보정 영상 처리를 수행한 일 예를 나타내는 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에서 CCTV 카메라(100)가 듀얼스트림 영상을 생성하는 개념을 나타내는 도면이다.
본 발명에서 CCTV 카메라(100)는 하나의 대상을 촬영한 결과물로서 복수 해상도의 영상 스트림을 동시에 송출할 수 있다. [도 1]을 참조하면, CCTV 카메라(100)는 고해상도(4K) 영상 스트림(#11 ~ #19)과 저해상도(Full-HD) 영상 스트림(#21 ~ #29)을 동시에 송출하고 있다. 이들 2개의 영상 스트림은 화질만 달리할 뿐 실질적으로 동일한 내용이다.
한편, 본 명세서에서 고해상도 영상과 저해상도 영상은 듀얼스트림 영상에서 상대적인 개념으로서 사용된 것이며, 4K 해상도와 Full-HD 해상도는 일 예로서 기재된 것이다. 또한, 이해의 편의를 위해 도면에서 Full-HD 이미지(1920x1080)는 4K 이미지(3840x2160)에 비해 1/4 사이즈로 도시되었다.
CCTV 카메라(100)가 생성한 듀얼스트림 영상은 영상처리 장치(200)로 전달되는데, 영상처리 장치(200)는 이 듀얼스트림 영상에 대해 본 발명에 따른 영상스위칭 기반의 주기적 화질보정 영상처리를 수행한다.
한편, 본 발명에서 영상처리 장치(200)는 듀얼스트림 영상을 전자적으로 처리하는 기술적 수단으로서 다양한 형태로 구현될 수 있다. 예를 들어, 영상처리 서버의 형태로 구현될 수도 있고 사용자 단말의 형태로 구현될 수도 있고 스마트폰 어플리케이션의 형태로 구현될 수도 있으며 CCTV 카메라(100) 내부에 설치된 전자회로의 형태로 구현될 수도 있다.
[도 2]는 본 발명에 따라 영상처리 장치(200)가 영상스위칭 기반의 주기적 화질보정 영상 처리를 수행하는 전체 프로세스를 나타내는 도면이다.
단계 (S110) : 먼저, [도 1]을 참조하여 전술한 바와 같이, 고해상도(예: 4K) 영상 스트림(#11 ~ #19)과 저해상도(예: Full-HD) 영상 스트림(#21 ~ #29)으로 구성된 듀얼스트림 영상을 제공받는다.
단계 (S120) : 영상처리 장치(200)는 저해상도 영상 스트림(#21 ~ #29)을 고해상도(예: 4K)로 업스케일링하여 화질보정 영상 스트림(#31 ~ #39)을 생성한다. [도 3]은 본 발명에서 저해상도 영상 스트림을 고해상도로 업스케일링하는 개념을 나타내는 도면이다. [도 3]은 저해상도(Full-HD) 영상 프레임(#21 ~ #23)을 업스케일링하여 고해상도(4K)의 화질보정 영상 스트림(#31 ~ #33)을 생성한 모습이다.
이때, 업스케일링(up-scaling)은 저해상도 영상 스트림을 픽셀간 평균값의 선형 보간(인터폴레이션)을 통해 블러링 처리하여 고해상도 영상으로 재압축하는 방식이 바람직하다. 일반적으로 단순한 업스케일링을 통해 고해상도(예: 4K)로 블러링 처리된 영상(저주파 성분 증폭)은 원본(예: Full-HD)에 비해 영상 화질이 별달리 개선되지 않으며 압축률을 높여도 화질열화가 별달리 발생하지 않는다. 그에 따라, (S120)에서 업스케일링을 통해 생성된 화질보정 영상 스트림은 외형상으로는 4K 영상이지만 영상 화질과 압축률은 Full-HD 급을 유지한다.
한편, 본 명세서에서 화질보정 영상 스트림은 저해상도 영상 스트림(#21 ~ #29)을 업스케일링하여 얻은 것인데 고해상도 영상 스트림(#11 ~ #19)과 동일한 해상도(예: 4K)를 갖는 것으로 도시되었다. 이 경우에는 후술하는 (S150)에서 I 프레임 스위칭을 간편하게 수행할 수 있기 때문에 바람직한 실시예로서 제시된 것이다. 다만, 이와는 상이한 다른 고해상도, 예컨대 2K 또는 8K 등의 해상도로 구현할 수도 있다. 이 경우에는 (S150)에서 I 프레임 스위칭을 수행할 때에 2K 또는 8K 등으로 고해상도 영상 스트림에서 가져온 I 프레임(#17)의 해상도를 맞추어주는 과정이 더 마련되어야 한다.
한편, 화질보정 영상 스트림(#31 ~ #39)을 생성해나가는 프레임 시퀀스 정보(frame sequence information)는 고해상도 영상 스트림을 기반으로 수행할 수 있다. 이 경우, (S120에서는 저해상도(예: Full-HD) 영상 스트림(#21 ~ #29)을 디코딩한 후에 고해상도(예: 4K)로 업스케일링하여 재인코딩한다.
단계 (S130) : 영상처리 장치(200)는 화질보정 영상 스트림(#31 ~ #39)에서 주기적으로 I 프레임(이하, '전환 프레임'이라 함)을 P 프레임으로 트랜스코딩 전환한다. [도 4]는 본 발명에서 주기적으로 I 프레임을 P 프레임으로 트랜스코딩하는 개념을 나타내는 도면이다. [도 4]를 참조하면, 화질보정 영상 스트림(#31 ~ #36)에서 프레임(#34)가 I 프레임이 아닌 P 프레임으로 되어있다. 저해상도 영상 스트림의 프레임(#24)가 I 프레임이므로 단순히 업스케일링만 하였다면 프레임(#34)도 I 프레임으로 되어야 하지만, (S130)에서 프레임(#34)를 I 프레임에서 P 프레임으로 트랜스코딩 전환한 것이다.
이는 고해상도(4K) 영상과 저해상도(Full-HD) 영상의 압축률 차이를 보정하기 위한 것이다. 즉, (S120)에서 저해상도(예: Full-HD) 영상 스트림을 고해상도(예: 4K)로 업스케일링하여 화질보정 영상 스트림을 생성하다보면 아무래도 데이터 양이 저해상도 영상 스트림에 비해 다소나마 증가하기 마련이다. 이러한 데이터 증가분을 보정하기 위해 주기적으로 I 프레임을 P 프레임으로 트랜스코딩 전환해주는 것이다. I 프레임은 인트라프레임(Intra Frame) 압축이고 P 프레임은 인터프레임(Inter Frame) 압축이므로 I 프레임을 P 프레임으로 전환하면 데이터 양을 수십 분의 1로 감소시킬 수 있다. 결국, 업스케일링(S120)에 의한 데이터 증가분을 주기적인 I/P 프레임 전환(S130)을 통해 상쇄시키려는 것이다. [도 4]에는 프레임(#34) 하나에 대해서만 I/P 프레임 전환이 도시되어 있지만, 이러한 처리가 주기적으로 수행된다.
설명의 편의를 위해 화질보정 영상 스트림(#31 ~ #39)에서 (S130)에 의해 I/P 프레임 전환이 이루어진 프레임 이미지를 전환 프레임이라고 부른다.
단계 (S140) : 영상처리 장치(200)는 화질보정 영상 스트림(#31 ~ #39)에서 전환 프레임(#34) 이후의 하나이상의 연속 P 프레임(#35, #36)에 대해 전환 프레임 이전의 I 프레임으로 참조 프레임을 변경하는 트랜스코딩을 수행한다.
저해상도 영상 스트림(#21 ~ #29)에서 P 프레임(#25, #26)은 바로 앞의 I 프레임(#24)를 참조하여 인터프레임 압축이 이루어졌다. 따라서, (S120)에서와 같이 단순 업스케일링을 수행한다면 화질보정 영상 스트림(#31 ~ #39)의 P 프레임(#35, #36)은 프레임(#34)를 참조하여 인터프레임 압축이 이루어져야 하나, 화질보정 영상 스트림에서 프레임(#34)는 I 프레임으로 전환되었기에 이는 곤란하다. 따라서, 전환 프레임(#34) 이후의 하나이상의 연속 P 프레임(#35, #36)은 해당 전환 프레임 이전의 I 프레임, 즉 프레임(#31)을 참조 프레임을 변경하여 인터프레임 압축이 이루어져야 한다.
단계 (S150) : 영상처리 장치(200)는 화질보정 영상 스트림(#31 ~ #39)에서 간헐적으로 I 프레임(이하, '스위칭 프레임'이라 함)을 선정하여 고해상도 영상 스트림(#11 ~ #19)에서 이에 대응하는 I 프레임으로 스위칭한다.
[도 5]는 본 발명에서 주기적으로 고해상도 스위칭하는 개념을 나타내는 도면이다. [도 5]를 참조하면, 화질보정 영상 스트림에서 I 프레임(#37)이 스위칭 프레임으로 선정되어 고해상도 영상 스트림에서 이에 대응하는 I 프레임(#17)로 스위칭(치환)되었다. 스위칭 프레임(#37)의 관점에서 보면, 저해상도(Full-HD)를 업스케일링한 저화질 이미지에서 원래부터 고해상도(4K)였던 고화질의 원본 이미지로 변경된 것이다. 화질보정 영상 스트림(#31 ~ #39)에서 이러한 스위칭 프레임을 간헐적으로 선정함으로써 화질보정 영상 스트림의 객체 식별 성능을 개선한다.
이때, 스위칭 프레임의 선정은 다양하게 구현될 수 있다. 예를 들어, 화질보정 영상 스트림에서 주기적으로(예: 1초에 하나씩) 스위칭 프레임을 선정하는 구현이 가능하다. 또는, 저해상도 영상 스트림 또는 고해상도 영상 스트림에 대한 파싱을 통해 모션벡터 정보를 얻고 이로부터 이동객체가 식별되는 프레임 시퀀스 구간을 얻은 후에, 이 프레임 시퀀스 구간에서 스위칭 프레임을 선정하는 구현도 가능하다. 비트스트림 파싱 정보에 기초하여 이동객체 영역을 식별하는 기술은 예컨대 대한민국 특허등록 10-2090775호 "압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법"에 의해 구현할 수 있다.
단계 (S160, S170) : 영상처리 장치(200)는 화질보정 영상 스트림(#31 ~ #39)에서 스위칭 프레임(#37) 직후에 나오는 P 프레임(#38)(이하, '스위칭직후 프레임'이라 함)을 I 프레임으로 트랜스코딩하고, 이 스위칭직후 프레임(#38) 이후에 나오는 하나이상의 연속 P 프레임(#39)에 대해 스위칭직후 프레임(#38)을 참조 프레임으로 설정하는 트랜스코딩을 수행한다. [도 6]은 본 발명에서 고해상도 스위칭 직후의 P 프레임(#38)을 I 프레임으로 트랜스코딩하는 개념을 나타내는 도면이고, [도 7]은 본 발명에서 고해상도 스위칭 직후의 P 프레임(#38)을 I 프레임으로 트랜스코딩한 후처리를 나타내는 도면이다.
앞서 (S150)에서 스위칭 프레임(#37)을 고화질의 원본 이미지로 스위칭하였다. 그로 인해, 그 다음에 나타나는 P 프레임(#38)을 원래대로 스위칭 프레임(#37)을 참조하여 인터프레임 인코딩하게 되면 4K급 원본 이미지와 Full-HD급 업스케일링 이미지 간의 화질 차이로 인해 전혀 바람직하지 않은 결과가 나올 수 있다. 그에 따라, [도 6]에 나타낸 바와 같이, 스위칭 프레임(#37) 직후에 나오는 P 프레임, 즉 스위칭직후 프레임에 대해서는 원래 P 프레임이었지만 I 프레임으로 트랜스코딩한다. 스위칭직후 프레임(#38)에 대한 P/I 트랜스코딩으로 인한 데이터 증가는 (S130)에서 이루어지는 전환 프레임(#34)에 대한 I/P 트랜스코딩에 의한 데이터 감소로 상쇄한다.
그리고 나서, [도 7]에 나타낸 바와 같이, 스위칭직후 프레임(#38) 이후에 나오는 하나이상의 연속 P 프레임(#39)에 대해 스위칭직후 프레임(#38)(즉, I 프레임)을 참조 프레임으로 설정하여 인터프레임 압축을 수행하는 트랜스코딩을 수행한다.
[도 8]은 본 발명에 따라 영상스위칭 기반의 주기적 화질보정 영상 처리를 수행한 일 예를 나타내는 도면이다.
[도 8]을 참조하면, 고해상도(4K) 영상 스트림(#11 ~ #19)과 저해상도(Full-HD) 영상 스트림(#21 ~ #29)으로부터 고해상도(4K)의 화질보정 영상 스트림(#31 ~ #39)을 획득하였다. 프레임(#37)에 나타난 바와 같이 고화질의 원본 이미지가 중간중간에 포함되어 있기 때문에 화질보정 영상 스트림은 양호한 객체 식별 성능을 나타낼 수 있다. 영상 스트림에 대한 전반적인 업스케일링, 스위칭 프레임(#37)에 대한 고화질 스위칭, 스위칭직후 프레임(#38)에 대한 I 프레임 트랜스코딩으로 인한 데이터 증가는 전환 프레임(#34)에 대한 I/P 프레임 전환에 의해 전부 혹은 일부 상쇄한다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.
100 : CCTV 카메라
200 : 영상처리 장치

Claims (5)

  1. 영상처리 장치(200)가 수행하는 영상스위칭 기반의 주기적 화질보정 영상처리 방법으로서,
    동일 촬영 대상물에 대한 고해상도 영상 스트림(#11 ~ #19)과 저해상도 영상 스트림(#21 ~ #29)으로 구성된 듀얼스트림 영상을 제공받는 단계;
    상기 저해상도 영상 스트림(#21 ~ #29)을 고해상도로 업스케일링(up-scaling)하여 화질보정 영상 스트림(#31 ~ #39)을 생성하는 단계;
    상기 화질보정 영상 스트림(#31 ~ #39)에서 간헐적으로 I 프레임(이하, '스위칭 프레임'이라 함)(#37)을 선정하는 단계;
    상기 고해상도 영상 스트림(#11 ~ #19)에서 상기 스위칭 프레임(#37)에 대응하는 I 프레임(#17)을 식별하는 단계;
    상기 화질보정 영상 스트림(#31 ~ #39)의 상기 스위칭 프레임(#37)을 상기 고해상도 영상 스트림(#11 ~ #19)의 상기 대응하는 I 프레임(#17)으로 대체하는 고해상도 스위칭을 수행하는 단계;
    상기 화질보정 영상 스트림(#31 ~ #39)에서 상기 스위칭 프레임(#37) 직후에 존재하는 P 프레임(이하, '스위칭직후 프레임'이라 함)(#38)을 식별하는 단계;
    상기 스위칭직후 프레임(#38)을 P 프레임으로부터 I 프레임으로 트랜스코딩 전환하는 단계;
    상기 화질보정 영상 스트림(#31 ~ #39)에서 상기 스위칭직후 프레임(#38) 이후에 존재하는 하나이상의 연속 P 프레임(#39)을 식별하는 단계;
    상기 하나이상의 연속 P 프레임(#39)에 대해 상기 스위칭직후 프레임(#38)을 참조 프레임으로 설정하여 인터프레임 압축하는 트랜스코딩을 수행하는 단계;
    상기 화질보정 영상 스트림(#31 ~ #39)에서 주기적으로 I 프레임(이하, '전환 프레임'이라 함)(#34)을 선정하는 단계;
    상기 전환 프레임(#34)을 I 프레임으로부터 P 프레임으로 트랜스코딩 전환하는 단계;
    상기 화질보정 영상 스트림(#31 ~ #39)에서 상기 전환 프레임(#34)의 이후에 존재하는 하나이상의 연속 P 프레임(#35, #36)을 식별하는 단계;
    상기 화질보정 영상 스트림(#31 ~ #39)에서 상기 전환 프레임(#34)의 이전에 존재하는 I 프레임(#31)을 식별하는 단계;
    상기 하나이상의 연속 P 프레임(#35, #36)에 대해 상기 전환 프레임(#34)의 이전에 존재하는 I 프레임(#31)으로 참조 프레임을 변경하여 인터프레임 압축하는 트랜스코딩을 수행하는 단계;
    를 포함하여 구성되는 영상스위칭 기반의 주기적 화질보정 영상처리 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 업스케일링은 상기 저해상도 영상 스트림을 픽셀간 평균값의 선형 보간을 통해 블러링 처리하여 고해상도 영상으로 재압축하는 것을 특징으로 하는 영상스위칭 기반의 주기적 화질보정 영상처리 방법.
  4. 청구항 3에 있어서,
    상기 저해상도 영상 스트림 또는 상기 고해상도 영상 스트림에 대한 파싱을 통해 획득된 모션벡터 정보에 기초하여 이동객체가 식별된 프레임 시퀀스 구간에 대응하여 상기 스위칭 프레임을 선정하는 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 영상스위칭 기반의 주기적 화질보정 영상처리 방법.
  5. 컴퓨터에 청구항 1, 3, 4 중 어느 하나의 항에 따른 영상스위칭 기반의 주기적 화질보정 방법을 실행시키기 위하여 저장매체에 저장된 컴퓨터프로그램.
KR1020220020493A 2022-02-17 2022-02-17 영상스위칭 기반의 주기적 화질보정 영상처리 방법 KR102459813B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220020493A KR102459813B1 (ko) 2022-02-17 2022-02-17 영상스위칭 기반의 주기적 화질보정 영상처리 방법
US18/106,630 US20230262274A1 (en) 2022-02-17 2023-02-07 video processing method of image quality compensation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220020493A KR102459813B1 (ko) 2022-02-17 2022-02-17 영상스위칭 기반의 주기적 화질보정 영상처리 방법

Publications (1)

Publication Number Publication Date
KR102459813B1 true KR102459813B1 (ko) 2022-10-27

Family

ID=83810527

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220020493A KR102459813B1 (ko) 2022-02-17 2022-02-17 영상스위칭 기반의 주기적 화질보정 영상처리 방법

Country Status (2)

Country Link
US (1) US20230262274A1 (ko)
KR (1) KR102459813B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090060875A (ko) * 2007-12-10 2009-06-15 단암시스템즈 주식회사 비디오 스트림 전환 장치 및 방법
KR20130101900A (ko) * 2012-03-06 2013-09-16 삼성전자주식회사 전자 장치 및 인코딩 방법
KR20200013340A (ko) * 2018-07-30 2020-02-07 이노뎁 주식회사 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법
KR20200141203A (ko) * 2019-06-10 2020-12-18 주식회사 엘지유플러스 영상 콘텐츠 제공을 위한 장치 및 방법
KR102313651B1 (ko) * 2020-05-12 2021-10-15 수니코리아 엘엘씨(한국뉴욕주립대학교) 서버와 클라이언트 장치 간 비디오 스트리밍 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090060875A (ko) * 2007-12-10 2009-06-15 단암시스템즈 주식회사 비디오 스트림 전환 장치 및 방법
KR20130101900A (ko) * 2012-03-06 2013-09-16 삼성전자주식회사 전자 장치 및 인코딩 방법
KR20200013340A (ko) * 2018-07-30 2020-02-07 이노뎁 주식회사 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법
KR20200141203A (ko) * 2019-06-10 2020-12-18 주식회사 엘지유플러스 영상 콘텐츠 제공을 위한 장치 및 방법
KR102313651B1 (ko) * 2020-05-12 2021-10-15 수니코리아 엘엘씨(한국뉴욕주립대학교) 서버와 클라이언트 장치 간 비디오 스트리밍 방법

Also Published As

Publication number Publication date
US20230262274A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
US8218638B2 (en) Method and system for optical flow based motion vector estimation for picture rate up-conversion
US10616592B2 (en) Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
JP5257447B2 (ja) シャッター時間補償
US9247250B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US20100232504A1 (en) Supporting region-of-interest cropping through constrained compression
US9699477B2 (en) Manipulating sub-pictures of a compressed video signal
JP2003501902A (ja) ビデオ信号の符号化
US8704932B2 (en) Method and system for noise reduction for 3D video content
US8098946B2 (en) Apparatus and method for image encoding and decoding using prediction
KR20190043465A (ko) 보조 프레임을 지원하는 비디오 코딩 포맷으로 비디오 스트림을 인코딩하기 위한 인코더 및 방법
JP2009296300A (ja) 画像符号化装置および方法
KR102459813B1 (ko) 영상스위칭 기반의 주기적 화질보정 영상처리 방법
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8848793B2 (en) Method and system for video compression with integrated picture rate up-conversion
US20130156114A1 (en) Data Movement Reduction In Video Compression Systems
Gastaldi et al. Compression of videos captured via bayer patterned color filter arrays
JP3822821B2 (ja) 画像再生表示装置
JP2002044669A (ja) 画像情報変換装置及び方法
JP5049386B2 (ja) 動画像符号化装置および動画像復号装置
Makar et al. Compression-aware digital pan/tilt/zoom
KR19980054366A (ko) 디지탈 티브이의 피아이피(pip)구현장치 및 그 방법
WO2013073422A1 (ja) 動画像符号化装置
KR100928272B1 (ko) 동영상 부호화를 위한 움직임 추정 방법 및 장치
JP2007049520A (ja) 画像信号の高能率符号化装置

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
GRNT Written decision to grant
X701 Decision to grant (after re-examination)