KR102440329B1 - 영상 선택 방법 및 그 장치 - Google Patents

영상 선택 방법 및 그 장치 Download PDF

Info

Publication number
KR102440329B1
KR102440329B1 KR1020160138633A KR20160138633A KR102440329B1 KR 102440329 B1 KR102440329 B1 KR 102440329B1 KR 1020160138633 A KR1020160138633 A KR 1020160138633A KR 20160138633 A KR20160138633 A KR 20160138633A KR 102440329 B1 KR102440329 B1 KR 102440329B1
Authority
KR
South Korea
Prior art keywords
image
quality measurement
value
quality
measurement value
Prior art date
Application number
KR1020160138633A
Other languages
English (en)
Other versions
KR20180044742A (ko
Inventor
최정아
추진호
김종항
이정선
김지훈
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020160138633A priority Critical patent/KR102440329B1/ko
Priority to US15/791,981 priority patent/US20180114082A1/en
Publication of KR20180044742A publication Critical patent/KR20180044742A/ko
Application granted granted Critical
Publication of KR102440329B1 publication Critical patent/KR102440329B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 선택 방법은 영상 선택 장치에 의해 수행되는 방법으로서, 영상 비트스트림을 수신하는 단계, 상기 수신된 비트스트림으로부터 미리 설정된 제1 코덱 메타 데이터 정보를 획득하는 단계, 상기 획득한 제1 코덱 메타 데이터 정보를 이용한 제1 품질 측정값을 산출하는 단계, 상기 산출된 제1 품질 측정값을 이용하여 상기 영상의 품질 점수를 산출하는 단계 및 상기 산출된 영상의 품질 점수를 기초로 미리 지정된 개수의 영상을 선택하는 단계를 포함할 수 있다.

Description

영상 선택 방법 및 그 장치{METHOD AND APPARATUS FOR SELECTING A IMAGE}
본 발명은 영상 선택 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 객체 인식에 이용될 영상을 선택하기 위한 영상 선택 방법에 관한 것이다.
연속되는 영상에서 객체를 검출하거나 추적할 때, 객체의 움직임이 크거나 카메라 센서로 들어오는 빛의 양이 부족하면 흐릿한 영상(blurred image)이 발생한다. 이러한 영상이 그대로 객체 인식 장치에서 이용될 경우, 객체 인식의 정확도는 매우 낮아지게 된다.
이 같은 문제를 해결하기 위해, 연속되는 영상 중, 객체 인식에 적합한 영상을 미리 선별하고, 선별된 영상을 객체 인식에 이용하도록 하는 기술이 제공되고 있다. 이에 따라, 객체 인식 장치가 객체 인식에 적합한 영상을 대상으로 객체 인식을 수행함으로써, 객체 인식의 정확도가 향상될 수 있게 된다.
객체 인식 장치가 선별된 영상을 객체 인식에 이용하기 위해서는, 영상의 선별을 위한 품질 측정이 선행되어야 한다. 이를 위해, 영상의 조명 변화 정도, 선예도 (sharpness), 대비 (contrast) 등과 같은 공간 영역(spatial domain)의 정보를 이용한 품질 측정 방법이 제공되고 있다.
그러나, 이러한 공간 영역 정보를 이용한 품질 측정 방법은 각각의 항목에 대한 품질 측정이 영상의 픽셀 마다 수행되어야 하여, 복잡도가 매우 높다는 단점이 있다. 이에 따라, 복잡도를 개선한 영상 품질 측정 기술이 요구된다.
한국등록특허 제1648786호
본 발명이 해결하고자 하는 기술적 과제는, 코덱 메타 데이터 정보를 이용하여 영상의 품질을 측정하는 방법 및 장치를 제공하는 것이다.
구체적으로 본 발명이 해결하고자 하는 기술적 과제는, 이미 부호화된 비트스트림(bit stream)으로부터 코덱 메타 데이터 정보 획득하고, 이를 이용하여 영상 품질을 측정함으로써, 품질 측정의 복잡도를 개선한 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 객체 인식의 정확도를 기초로, 영상의 품질 측정에 이용되는 코덱 메타 데이터 정보의 종류를 확장할 수 있는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 객체 인식 장치의 객체 인식 결과를 피드백 정보로 활용하여, 객체 인식 장치에 제공하기 위한 영상을 결정할 수 있는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 객체 인식의 대상이 되는 영상을 객체 인식 장치의 객체 인식 레퍼런스 영상으로 등록시키는 방법 및 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예로, 영상 선택 장치에 의해 수행되는 영상 선택 방법이 개시된다. 상기 방법은, 영상 비트스트림을 수신하는 단계, 상기 수신된 비트스트림으로부터 미리 설정된 제1 코덱 메타 데이터 정보를 획득하는 단계, 상기 획득한 제1 코덱 메타 데이터 정보를 이용한 제1 품질 측정값을 산출하는 단계, 상기 산출된 제1 품질 측정값을 이용하여 상기 영상의 품질 점수를 산출하는 단계 및 상기 산출된 영상의 품질 점수를 기초로 미리 지정된 개수의 영상을 선택하는 단계를 포함할 수 있다.
본 발명에 따르면, 이미 부호화 과정을 거치며 분석된 영상에 대한 정보인 코덱 메타 데이터 정보를 이용하여 영상의 품질 측정을 함으로써, 복잡도가 낮은 영상 품질 측정이 가능한 효과를 달성할 수 있다.
본 발명에 따르면, 영상의 획득 환경에 따라 품질 측정에 이용되는 코덱 메타 데이터 정보 상의 품질 측정 항목을 자동으로 증가시키는 영상 선택 장치를 제공할 수 있다. 이에 따라, 영상 선택 장치가 영상 획득 환경의 변화에도 안정적인 영상 품질 측정을 수행할 수 있는 장점이 있다.
본 발명에 따르면, 객체 인식 장치로부터 객체 인식 결과를 피드백 정보로 활용하여 객체 인식의 대상이 되는 영상을 결정함으로써, 객체 인식 장치 자체의 기능 향상과 무관하게 객체 인식의 정확도를 향상시킬 수 있는 영상 선택 장치가 제공되는 효과가 있다.
본 발명에 따르면, 객체 인식을 위해 객체 인식 장치 상에 등록되어 있는 객체의 영상을 자동으로 업데이트 시킬 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 시스템의 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 영상 선택 장치에 대한 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 1개의 코덱 메타데이터를 이용한 영상 선택 방법의 순서도이다.
도 4는 본 발명의 또 다른 실시예에 따른 2개의 코덱 메타 데이터 정보를 이용한 영상 선택 방법의 순서도이다.
도 5는 본 발명의 몇몇 실시예에서 참조되는, 모션 벡터 값을 이용한 영상 선택 방법의 순서도이다.
도 6은 본 발명의 몇몇 실시예에서 참조되는, 모션 벡터 값의 맵핑 방법에 대한 순서도이다.
도 7은 본 발명의 몇몇 실시예에서 참조되는, 모션 벡터 값을 이용한 품질 측정값 산출 과정을 설명하기 위한 예시 도면이다.
도 8은 본 발명의 몇몇 실시예에에서 참조되는, DCT 계수 값을 이용한 영상 선택 방법의 순서도이다.
도 9는 본 발명의 몇몇 실시예에에서 참조되는, DCT 계수 값을 이용한 품질 측정값 산출 과정을 설명하기 위한 예시 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른, 모션 벡터 값 및 DCT 계수 값을 코덱 메타 데이터 정보로 이용한 영상 선택 방법의 순서도이다.
도 11은 본 발명의 또 다른 실시예에 따른, 공간 영역 정보를 이용한 영상의 품질을 측정하는 방법의 순서도이다.
도 12는 본 발명의 또 다른 실시예에 따른, 객체 인식 장치로부터 획득한 피드백 정보를 이용하는 영상 선택 방법의 순서도이다.
도 13a 및 도 13b는 본 발명의 몇몇 실시예에서 참조되는, 영상 선택 장치의 피드백 정보 활용 태양을 설명하기 위한 예시이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 시스템의 구성도이다. 도 1을 참조하면, 객체 인식 시스템은 영상 촬영 장치(50), 영상 선택 장치(100) 및 객체 인식 장치(200)를 포함할 수 있다. 영상 촬영 장치(50), 영상 선택 장치(100), 객체 인식 장치(200)는 상호 간에 유선 및/또는 무선 통신이 가능한 컴퓨팅 장치일 수 있다.
영상 촬영 장치(50)는 카메라를 포함하여 구성될 수 있다. 영상 촬영 장치(50)는 부호화부 및 데이터 송수신을 위한 통신부를 포함할 수도 있다. 이에 따라 영상 촬영 장치(500)는, 카메라를 통해 영상을 획득하고, 획득한 영상을 압축하고, 압축한 영상을 영상 선택 장치(100)로 송신할 수 있다.
본 발명의 일 실시예에 따르면, 여기에서 부호화부는, 코덱(codec) 부호화부일 수 있다. 즉, 부호화부는 획득한 영상을 코덱 표준 기술에 따른 부호화 방식을 이용하여 압축할 수 있다. 영상 압축을 위해 가장 많이 사용되는 코덱은 MPEG 계열(MPEG1, MPEG2, MPEG4) 을 비롯해, Indeo, DivX, Xvid, H.264, WMV, RM, Cinepak, MOV, ASF, RA, XDM, RLE 등이 있으나, 이에 한정되는 것은 아니다.
영상 촬영 장치(50)는 부호화부를 통해 촬영된 영상을 부호화할 수 있고, 영상이 부호화된 비트스트림을 생성할 수 있다. 영상 촬영 장치(50)는 영상 선택 장치(100)로 상기 생성된 부호화된 비트스트림을 송신할 수 있다.
영상 선택 장치(100)는 복호화부를 포함할 수 있고, 수신된 비트스트림을 복호화하여 영상을 복원할 수 있다. 여기에서 복호화부는 코덱 복호화부가 이용될 수 있다. 복호화 과정 중 비트스트림으로부터, 영상의 부호화 시에 생성된 코덱 메타 데이터 정보를 획득할 수 있다.
코덱 메타 데이터 정보는 영상을 부호화하는 과정에서 얻어지는 데이터로서, 모션 벡터 값(motion vector) 값, 주파수 영역의 변환 계수인 DCT(Discrete Cosine Transform) 계수 값, 블록 분할 사이즈, 양자화 계수, 비트 양(bit rate) 등을 포함할 수 있다.
영상 선택 장치(100)는 획득된 코덱 메타 데이터 정보를 이용해 영상의 품질 점수를 산출할 수 있고, 산출된 품질 점수를 기초로 객체 인식 장치(200)에 송신할 영상을 선택할 수 있다. 영상 선택 장치(100)는 선택된 영상을 객체 인식 장치(200)로 송신할 수 있다.
객체 인식 장치(200)는 수신된 영상을 이용하여, 객체 인식을 수행할 수 있다. 또한, 객체 인식 장치(200)는 객체 인식을 수행하고, 그 결과를 피드백으로 영상 선택 장치(100)에 송신할 수도 있다.
객체 인식 장치(200)는 예를 들어, 얼굴 인식 장치일 수 있다. 얼굴 인식 장치는 얼굴을 인식하기 위하여 이용되는 레퍼런스 이미지를 미리 등록 받을 수 있다. 얼굴 인식 장치는 등록된 이미지 및 영상 선택 장치(100)로부터 입력되는 영상에서 검출된 얼굴 이미지를 비교함으로써 얼굴 인식을 수행할 수 있다.
본 발명의 다른 실시예에 따르면, 영상 촬영 장치(50), 영상 선택 장치(100) 및 객체 인식 장치(200)는 도 1에 도시된 바 같이, 별도의 장치로 구현될 수 있으나, 영상 촬영 장치(50)와 영상 선택 장치(100)가 객체 인식 장치(200)에 통합되어 구현될 수 있다.
후자의 경우, 객체 인식 장치(200)는 영상 촬영을 위한 영상 촬영부와 해당 영상을 부호화부를 포함하도록 구현될 수 있고, 촬영부와 부호화부는 영상 촬영 장치(50)에 대응된다. 또한, 객체 인식 장치(200)는 영상 선택 기능을 제공하는 영상 선택부와 복호화부를 포함하도록 구현될 수 있고, 영상 선택부와 복호화부는 영상 선택 장치(100)에 대응된다.
본 발명의 또 다른 실시예에 따르면, 영상 촬영 장치(50)는 외부에 설치되고, 영상 선택 장치(100)만 객체 인식 장치(200)에 통합되어 구현될 수도 있다.
이하, 영상 촬영 장치(50), 영상 선택 장치(100) 및 객체 인식 장치(200)가 별도로 구현된 경우를 가정하여 설명할 것이나, 각각의 장치와 각각의 장치가 수행하는 동작은 하나의 장치에 통합되어 구현될 수 있음에 유의하여야 한다.
이하, 도 2를 참조하여 영상 선택 장치(100)의 구조와 동작에 대하여 설명한다. 도 2는 본 발명의 일 실시예에 따른 영상 선택 장치(100)에 대한 하드웨어 구성도이다.
도 2를 참조하면, 영상 선택 장치(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의해 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(120), 복수의 장치와 통신하는 네트워크 인터페이스(130), 컴퓨터 프로그램을 저장하는 스토리지(140)를 포함할 수 있다.
프로세서(110)는 영상 선택 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(110)는 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 영상 선택 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 실시예들에 따른 영상 선택 방법을 실행하기 위하여, 스토리지(140)로부터 하나 이상의 프로그램(121)을 로드할 수 있다. 도 2에서 메모리(120)의 예시로 RAM이 도시 되었다.
네트워크 인터페이스(130)는 영상 선택 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(130)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(130)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
네트워크 인터페이스(130)는 네트워크를 통해 도 1에 도시된 영상 촬영 장치(50), 객체 인식 장치(200)와 데이터 통신할 수 있다. 특히, 네트워크 인터페이스(130)는 영상 촬영 장치(50)로부터 부호화된 영상의 비트스트림을 수신하고, 객체 인식 장치(200)로부터 객체 인식 결과를 포함한 피드백 정보를 수신할 수 있다.
스토리지(140)는 상기 하나 이상의 프로그램(141), 영상 데이터(142), 품질 산출 정보(143)를 비임시적으로 저장할 수 있다. 도 2에서 상기 하나 이상의 프로그램(141)의 예시로 영상 선택 소프트웨어(141)가 도시 되었다.
스토리지(140)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
프로세서(110)가 영상 선택 소프트웨어(141)를 실행함에 따라, 비트스트림으로부터 코덱 메타 데이터 정보가 획득되고, 특정 코덱 메타 데이터 정보를 이용하여 품질 측정값이 산출될 수 있다. 또한 영상 선택 소프트웨어(141)의 실행에 따라, 산출된 코덱 메타 데이터 정보를 이용하여 산출된 품질 측정값을 기초로, 영상의 품질 점수가 산출될 수 있다. 다음으로, 영상 선택 소프트웨어(141)의 실행에 따라, 산출된 영상의 품질 점수를 기초로, 미리 지정된 개수의 영상이 선택될 수도 있다.
영상 데이터(142)는 영상 촬영 장치(50)로부터 수신된 영상 또는 그 영상이 부호화된 비트스트림을 포함할 수 있다. 또한, 객체 인식 장치(200)로부터 객체 인식이 수행된 후, 영상 선택 장치(100)가 이에 대한 피드백 정보를 수신하는 경우, 영상 선택 장치(100)는 피드백 정보를 기초로, 기 저장된 영상 데이터(142) 상의 영상을 객체 인식 장치(200)로 재 송신할 수 있다. 또한, 영상 선택 장치(100)는 피드백 정보를 기초로, 기 저장된 영상 데이터(142) 상의 영상에 대한 품질 산출 정보(143)를 수정할 수도 있다.
품질 산출 정보(143)는 영상의 품질 점수를 산출하기 위해 필요한 정보를 포함할 수 있다. 예를 들어, 품질 산출 정보(143)는 코덱 메타 데이터 정보 중 어떠한 메타 데이터 정보를 기준으로 품질 측정값을 산출할 것인지, 각 품질 측정값 마다 어떤 가중치를 적용할 것인지에 대한 정보를 포함할 수 있다. 또한 품질 산출 정보(143)는 객체 인식 장치(200)로 송신할 영상의 수량에 대한 정보를 포함할 수도 있다.
이하, 도 3을 참조하여, 본 발명의 또 다른 실시예에 따른 영상 선택 방법을 설명한다. 영상 선택 방법은 영상 선택 장치(100)에 의해 수행되는 것으로 가정하여 설명한다. 본 발명의 다른 실시예에 따르면, 영상 선택 방법은 상술한 바와 같이 객체 인식 장치(200)내에 구현된 영상 선택 부에서 수행될 수도 있다. 도 3은 본 발명의 또 다른 실시예에 따른 1개의 코덱 메타데이터 정보를 이용한 영상 선택 방법의 순서도이다.
도 3을 참조하면, 영상 선택 장치(100)는 영상을 부호화한, 영상 비트스트림을 수신할 수 있고(S10), 수신된 비트스트림으로부터 제1 코덱 메타 데이터 정보를 획득할 수 있다(S20). 여기서, 제1 코덱 메타 데이터 정보란 코덱 메타 데이터 정보 중 품질 측정의 기준으로 미리 설정된 하나의 메타 데이터 정보를 가리킨다. 코덱 메타 데이터 정보는 모션 벡터(motion vector) 값, 주파수 영역의 변환 계수인 DCT(Discrete Cosine Transform) 계수 값, 블록 분할 사이즈, 양자화 계수 및 비트 양(bit rate)을 포함할 수 있다. 영상 선택 장치(100)는 획득한 제1 코덱 메타 데이터 정보를 이용하여 제1 품질 측정값을 산출할 수 있다(S30).
코덱 메타 데이터는 모션 벡터 값(motion vector) 값, 주파수 영역의 변환 계수인 DCT(Discrete Cosine Transform) 계수 값, 블록 분할 사이즈, 양자화 계수, 비트 양(bit rate) 등을 포함하는데, 제1 코덱 메타 데이터 정보는 상기 나열된 정보 중 어느 하나로 설정될 수 있다.
예를 들어 제1 코덱 메타 데이터 정보가 모션 벡터 값으로 설정된 경우, 영상 선택 장치(100)는 비트스트림으로부터 모션 벡터 값을 획득 할 수 있다. 영상 선택 장치(100)는 획득한 모션 벡터 값을 이용하여, 모션 벡터 값에 관한 제1 품질 측정값을 산출 할 수 있다. 제1 코덱 메타 데이터 정보가 모션 벡터 값으로 설정된 경우에 대하여는, 이후 도 5를 통해 상세히 설명한다.
영상 선택 장치(100)는 산출된 제1 품질 측정값을 이용하여 영상의 품질 점수를 산출할 수 있고(S40), 산출된 품질 점수를 기초로 미리 지정된 개수의 영상을 선택할 수 있다(S50). 만약, 미리 지정된 개수가 2개라면, 영상 선택 장치(100)는 품질 점수가 가장 높은 2개의 영상을 선택하여 객체 인식 장치(200)로 송신할 수 있다.
한편 단계(S30)에서, 제1 품질 측정값은 영상 전체를 대상으로 산출되는데, 영상 선택 장치(100)는 영상의 전체 영역에서 일부 관심 영역(region of interest, ROI)을 추출하고, 상기 ROI만을 대상으로 품질 측정값을 산출할 수 있다.
ROI에 대하여만 품질 측정을 수행하게 되면, 품질 측정할 영역이 줄어들어 품질 측정의 속도가 개선되며, 객체 인식을 위해 필요한 부분을 중점으로 품질 측정을 수행하게 되어, 품질 측정 및 객체 인식에 대한 정확도가 상승하는 효과가 있다.
한편, 품질 측정의 기준이 되는 코덱 메타 데이터 정보는 2개 이상이 될 수 있다. 이하 도 4를 참조하여, 일 실시예에 따른 2개의 코덱 메타 데이터 정보를 이용한 영상 선택 방법을 설명한다. 도 4는 본 발명의 또 다른 실시예에 따른 2개의 코덱 메타 데이터 정보를 이용한 영상 선택 방법의 순서도이다.
영상 선택 장치(100)는 영상 비트스트림을 수신할 수 있고(S10), 수신한 비트스트림으로부터 제1 코덱 메타 데이터 정보 및 제2 코덱 메타 데이터 정보를 획득할 수 있다(S22).
예를 들어 제1 코덱 메타 데이터 정보가 '모션 벡터 값'로, 제2 코덱 메타 데이터 정보가 'DCT 계수 값'로 설정된 경우, 영상 선택 장치(100)는 비트스트림으로부터, 모션 벡터 값과 DCT 계수 값을 획득할 수 있다. 이 경우는 도 10을 통해 자세히 설명한다.
영상 선택 장치(100)가 2가지의 코덱 메타 데이터 정보를 획득하면, 영상 선택 장치(100)는 상기 획득한 제1 코덱 메타 데이터 정보를 이용하여 제1 품질 측정값 산출하고(S32), 상기 획득한 제2 코덱 메타 데이터 정보를 이용하여 제2 품질 측정값 산출할 수 있다(S34).
제1 품질 측정값 및 제2 품질 측정값을 영상의 품질 점수에 균일하게 반영하기 위하여, 영상 선택 장치(100)는 제1 품질 측정값 및 제2 품질 측정값에 대하여 정규화를 수행할 수 있다(S42). 예를 들어, 제1 품질 측정값과 제2 품질 측정값의 평균값이 0이 되도록 정규화 할 수 있다.
상기 정규화가 수행되면, 영상 선택 장치(100)는 정규화된 제1 품질 측정값 및 정규화된 제2 품질 측정값에 대하여 미리 설정된 가중치를 적용하여 영상의 품질 점수를 산출할 수 있고(S44), 산출된 영상의 품질 점수를 기초로 미리 지정된 개수의 영상을 선택할 수 있다(S50).
단계(S44)에서, 가중치는 각 코덱 메타 데이터 정보의 중요도에 따라 설정될 수 있다. 상기 가중치는, 영상 선택 장치(100)의 사용자에 의해 설정된 실험적인 수치일 수 있으며, 영상 선택 장치(100)에 의해 자동으로 설정된 값일 수도 있다.
일 예로, 영상 선택 장치(100)는 영상 촬영 장치(50)로부터 획득한 영상을 분석하여, 획득된 영상의 공간 영역 정보를 기초로, 상기 영상에 대한 코덱 메타 데이터 정보 각각의 중요도를 판단할 수 있다. 상기 판단에 따라, 영상 선택 장치(100)는 가중치를 자동으로 설정할 수 있다.
제1 코덱 메타 데이터 정보의 가중치를
Figure 112016103348752-pat00001
와 제2 코덱 메타 데이터 정보의 가중치를
Figure 112016103348752-pat00002
라고 하면, 제1 코덱 메타 데이터 정보와 제2 코덱 메타 데이터 정보가 동일한 중요도를 가지는 경우, 가중치는 동일하게
Figure 112016103348752-pat00003
로 설정할 수 있고, 제1 코덱 메타 데이터 정보와 제2 코덱 메타 데이터 정보의 중요도 비율이 7:3 이라면, 가중치는
Figure 112016103348752-pat00004
으로 설정될 수 있다.
다른 예로, 영상 선택 장치(100)는 객체 인식 장치(200)로부터 수신한 객체 인식 결과에 대한 피드백 정보를 기초로, 가중치를 자동으로 설정할 수도 있다.
이처럼 가중치 적용을 통해, 서로 다른 코덱 메타 데이터 정보가 영상의 품질에 미치는 영향이 다를 경우를 고려할 수 있고, 가중치를 조정하여 객체 인식의 정확도를 높여갈 수 있게 된다.
이하 도 5 내지 도 7을 참조하여, 본 발명의 일 실시예에 따라, 코덱 메타 데이터 정보 중 모션 벡터 값을 이용하는 경우의 영상 선택 방법에 대해 설명한다. 도 5는 본 발명의 몇몇 실시예에서 참조되는, 모션 벡터 값을 이용한 영상 선택 방법의 순서도이고, 도 6은 본 발명의 몇몇 실시예에서 참조되는, 모션 벡터 값의 맵핑 방법에 대한 순서도이다. 또한, 도 7은 본 발명의 몇몇 실시예에서 참조되는, 모션 벡터 값을 이용한 품질 측정값 산출 과정을 설명하기 위한 예시 도면이다.
상술된 제1 코덱 메타 데이터 정보 또는 제2 코덱 메타 데이터 정보 중 어느 하나가 모션 벡터 값으로 설정된 경우를 가정한다. 이 경우, 하기와 같은 과정을 거쳐 모션 벡터 값의 품질 측정값이 산출될 수 있다.
영상 선택 장치(100)가 영상 비트스트림을 수신하면(S100), 수신된 비트스트림으로부터 영상의 모션 벡터 값을 획득할 수 있다(S110). 모션 벡터 값은 영상의 한 프레임이 포함하는 예측 블록 단위의 모션 벡터 값을 가리킬 수 있다.
모션 벡터 값이 획득되면, 영상 선택 장치(100)는 복호화가 이루어진 영상을 코덱의 최소 단위 블록으로 분할 할 수 있고(S120), 최소 단위 블록 별로 상기 획득한 모션 벡터 값을 맵핑 할 수 있다(S130).
단계(S120)에서 코덱의 최소 단위란, 예를 들어 4X4 일 수 있다. 코덱을 통한 부호화, 복호화는 영상의 블록 단위로 수행되며, 코덱의 종류, 설정된 부호화 방법에 따라 4X4, 8X8, 16X16, 64X64 등 각기 다른 블록 단위로 부호화, 복호화가 수행될 수 있다. 따라서 예측 블록의 단위가 코덱의 종류에 따라 다를 수 있다.
모션 벡터 값의 값은 예측 블록 단위로 구해지므로, 영상 선택 장치(100)는 서로 다른 단위 블록의 크기를 가지는 영상들의 품질을 모션 벡터 값을 통해 균일하게 비교하기 위하여, 영상을 코덱의 최소 단위의 블록으로 분할할 수 있다. 영상 선택 장치(100)는 분할된 최소 단위의 블록마다 대응되는 모션 벡터 값을 맵핑함으로써 균일하게 샘플링된 모션 벡터 값 필드를 생성할 수 있다. 해당 과정은 도 6 및 도 7을 통해 자세히 설명한다.
균일하게 샘플링된 모션 벡터 값 필드가 생성되면, 영상 선택 장치(100)는 상기 영상에 포함된 각 최소 단위의 블록마다 맵핑된 모션 벡터 값의 절대 값을 기초로 모션 벡터 값 품질 측정값을 산출할 수 있다(S140). 모션 벡터 값 품질 측정값이 산출되면, 영상 선택 장치(100)는 이를 이용하여 상기 영상의 품질 점수를 산출하고(S150), 산출된 영상의 품질 정보를 기초로 미리 지정된 개수의 영상을 선택할 수 있다(S160).
한편, 최소 단위 블록에 대응되는 모션 벡터 값을 맵핑하는 과정을 도 6을 통해 설명하면 다음과 같다. 영상 선택 장치(100)가 영상을 코덱의 최소 단위 블록으로 분할 하고(S120), 상기 블록이 화면간 부호화된 블록인지 여부를 판단할 수 있다(S122).
코덱의 부호화부에서 프레임을 압축하는 방식으로 화면 내 부호화 방식과 화면간 부호화 방식이 있다. 화면 내 부호화는 한 프레임 내에서 중복 정보를 제거하는 공간적 압축 방식이다. 이와 같이, 화면 내 부호화의 경우, 영상 촬영 장치(50)의 부호화부에서 부호화 과정이 이뤄지더라도 모션 벡터 값 정보는 생성되지 않는다.
화면 간 부호화는 서로 다른 영상 프레임간의 중복 정보를 제거하는 시간적 압축 방식이며, 이렇게 부호화 된 프레임을 화면간 프레임이라고 한다. 일반적으로 화면간 프레임은 1초에 1장 또는 2초에 1장이 존재한다.
단계(S122)에서 영상 선택 장치(100)는 영상의 최소 단위 블록 별로 화면간 부호화된 블록인지 여부를 판단할 수 있다. 최소 단위 블록이 화면간 부호화 된 블록이라면, 영상 선택 장치(100)는 상기 최소 단위 블록이 포함된 예측 블록의 모션 벡터 값을, 상기 최소 단위 블록의 모션 벡터 값으로 맵핑할 수 있다(S124).
반면, 최소 단위 블록이 화면 내 부호화 된 블록이라면 모션 벡터 값이 존재하지 않으므로, 모션 벡터 값 외에 최소 단위 블록에 맵핑될 대체 값이 요구 된다. 이 경우, 영상 선택 장치(100)는 상기 최소 단위 블록에 맵핑될 대체 값이 미리 설정될 수 있다.
일반적으로 영상 내 임의의 블록은 그 블록과 이웃한 주변 블록들과 상관도가 높다. 따라서, 화면내 부호화 된 블록에 대해 존재하지 않는 모션 벡터 값을 생성하기 위해 주변 블록 중 화면간 부호화 된 블록들의 모션 벡터 값값을 이용해 대체 값을 생성할 수 있다. 이 경우, 영상 선택 장치(100)는 영상이 화면 내 부호화 된 블록이 포함된 영상임을 감지하고, 자동으로 화면 내 부호화 된 블록의 주변 블록의 모션 벡터 값을 추출하여 상기 화면 내 부호화된 블록에 맵핑할 수 있다.
또는, 영상 선택 장치(100)에 대체 값으로 미리 설정된 값이 이용될 수도 있다. 예를 들어, 흐릿한 영상에 대해 부호화가 수행될 때, 화면간 예측 정확도가 떨어지므로 화면 내 부호화 되는 경우가 많다. 따라서 화면 내 부호화 된 블록이 포함된 영상의 경우, 흐릿할 영상일 가능성이 높다고 보고, 영상 선택 장치(100)가 이용할 대체 값으로 미리 설정된 값을 대체 값으로 이용한다.
이 경우, 영상 선택 장치(100)는 영상이 화면 내 부호화 된 블록이 포함된 영상임을 감지하고, 자동으로 대체 값을 상기 화면 내 부호화된 블록에 맵핑할 수도 있다(S126). 상기 미리 설정된 값은 낮은 품질 측정값을 가지도록 실험적으로 결정된 값일 수 있다.
도 7을 참조하여, 최소 단위 블록이 화면 간 부호화된 블록인 경우 모션 벡터 값을 맵핑하고 모션 벡터 값 품질 측정값을 산출하는 과정을 예시로써 설명한다. 예시에서, 예측 블록의 단위가 8X8, 최소 블록 단위를 4X4라고 가정한다. 8X8 크기의 예측 블록 A(301)의 모션 벡터 값이 (-1, -9)로 획득된 경우이고, -1 은 예측 블록 단위 모션 벡터 값의 x성분, -9는 예측 블록 단위 모션 벡터 값의 y성분을 가리킨다.
8X8은 최소 단위의 블록이 아니므로, 예측 블록A(301)를 최소 단위 블록인 4x4로 분할한다. 최소 단위로 분할된 각각의 블록(301a, 301b, 301c, 301d)에 각각의 블록이 포함된 예측 블록 A의(301)의 모션 벡터 값(-1, -9)이 맵핑 된다.
맵핑 과정이 완료 되면, 품질 측정값을 산출할 수 있다. 모션 벡터 값의 절대 값이 클수록 영상의 품질은 낮아지는 것으로 평가할 수 있는데, 모션 벡터 값의 절대 값이 클수록 영상 내 객체의 움직임이 클 것이고, 품질이 낮은 것으로 볼 수 있기 때문이다. 모션 벡터 값의 절대값과 모션 벡터 값 품질 측정값은 반비례 관계를 갖게 된다.
영상 선택 장치(100)은 모션 벡터 값을 이용하여 영상의 품질을 측정하기 위하여 아래의 모션 벡터 값 품질 측정 식(
Figure 112016103348752-pat00005
)을 이용할 수 있다.
Figure 112016103348752-pat00006
Figure 112016103348752-pat00007
는 모션 벡터 값의 절대 값과 품질의 반비례관계를 포함하는 품질 측정 식의 예시이다. N은 영상에 포함되는 단위 블록의 수이며,
Figure 112016103348752-pat00008
는 영상 내 i번째 단위 블록의 모션 벡터 값의 x 성분,
Figure 112016103348752-pat00009
는 영상 내 i번째 단위 블록의 모션 벡터 값의 y성분이다.
모션 벡터 값 품질 측정 식(
Figure 112016103348752-pat00010
)을 통해 상기 블록 A(301)의 품질 측정값을 구해보면,
Figure 112016103348752-pat00011
와 같이 계산할 수 있다. 상기 산출된 82점을 블록 A(301)의 품질 측정값으로 할 수도 있고, 산출된 모션 벡터 값 품질 측정값을 정규화 하여, 정규화 한 값을 품질 측정값으로 이용할 수 있다. 후자인, 정규화된 품질 측정값은 다른 코덱 메타 데이터 정보의 품질 측정값을 함께 이용하여 영상의 품질 점수를 산출하는 경우에 이용될 수 있다.
영상은 복수 개의 블록으로 구성되는 것이므로, 영상에 포함되는 모든 블록에 대하여 모션 벡터 값 품질 측정 식(
Figure 112016103348752-pat00012
)을 적용하면, 상기 영상에 대한 모션 벡터 값 품질 측정값을 산출할 수 있다.
이하 도 8 및 도 9를 참조하여, 본 발명의 일 실시예에 따라, 코덱 메타 데이터 정보 중 DCT 계수 값을 이용하는 경우의 영상 선택 방법에 대해 설명한다.
도 8은 본 발명의 몇몇 실시예에서 참조되는, DCT 계수 값을 이용한 영상 선택 방법의 순서도이고, 도 9는 본 발명의 몇몇 실시예에서 참조되는, DCT 계수 값을 이용한 품질 측정값 산출 과정을 설명하기 위한 예시 도면이다.
도 3및 도 4를 통해 상술된 제1 코덱 메타 데이터 정보 및 제2 코덱 메타 데이터 정보 중 어느 하나가 DCT 계수 값으로 설정된 경우를 가정한다. 이 경우, 하기와 같은 과정을 거쳐 DCT 계수 값 품질 측정값이 산출될 수 있다.
영상 선택 장치(100)는 영상 비트스트림을 수신하면(S200), 수신한 비트스트림으로부터, 상기 영상의 DCT단위 블록 별 DCT 계수 값을 획득할 수 있다(S210). 영상 선택 장치(100)는 획득된 DCT 계수 값들 중 기 설정된 기준을 기초로 일부 DCT 계수 값을 선택할 수 있고(S220), 선택된 DCT 계수 값을 이용하여 DCT 계수 값 품질 측정값을 산출할 수 있다(S230). 영상 선택 장치(100)는 상기 DCT 계수 값 품질 측정값을 이용하여 상기 영상의 품질 점수를 산출하고, 이를 기초로 미리 지정된 개수의 영상을 선택할 수 있다(S240).
DCT (Discrete Cosine Transform)에 대해 설명한다. 영상을 DCT변환 하면, 해당 영상은 공간 영역(Spatial Domain)에서 주파수 영역(Frequency Domain)으로 변환된다. 주파수 영역에서 저 주파수 영역은 주로 전체적인 이미지를 보여줄 수 있는 성분이며, 중간 주파수 및 고주파수 성분은 영상 내 엣지(edge) 성분이나 노이즈를 보여주는 성분에 해당한다.
단계(S220)에서 미리 설정된 기준이란, 객체 인식을 위해 필요한 객체의 형태를 잘 식별할 수 있도록 한 DCT 계수 값의 선택 기준이다. 예를 들어, 저 주파수 영역 보다는 주로 중간 주파수 및 고주파수 성분을 선택한다는 기준이 이에 해당할 수 있다. 이때, 중간 주파수 성분 및 고주파수 성분은 각각 미리 설정된 범위 내의 주파수 크기를 가질 수 있다.
또한, DCT 계수 값은 DCT 계수 값 성분과 객체 인식 결과 사이의 연관성을 고려하여 선택될 수 있다. 예를 들어, 사람이 카메라를 정면으로 바라보고 걸어 나오는 환경에서 얼굴 인식이 수행된다면, 카메라를 통해 사람의 영상이 비교적 일정한 크기와 각도로 촬영될 것이므로, 해당 환경에서는 주로 어떤 부분의 DCT 계수 값을 추출했을 때, 객체 인식이 성공적으로 이루어 지는 지를 데이터 축적을 통해 알 수 있다. 이처럼 DCT 계수 값은 실험적으로 선택될 수 있고, 실험적으로 얻은 결과를 DCT 선택의 기준으로 설정할 수 있다.
또한 DCT 계수 값은 영상 촬영 장치(50)의 설치 환경에 따라서 다르게 선택될 수 있고, 객체 인식 결과 등의 데이터가 누적됨에 따라 자동으로 변경되도록 설정될 수 있다.
이하 도 9를 참조하여, DCT 계수 값을 선정하고, 벡터 품질 측정값을 산출하는 과정을 예시로써 설명한다. DCT 단위 블록 크기가 4X4 인 경우의 예시이다.
도 9는 품질을 측정할 영상 A(310)와 영상 A(310)를 4X4 단위로 DCT 변환한 결과(320, 325)를 도시하고 있는데, 예를 들어, 중간 주파수 및 고주파수 성분의 DCT 계수 값 중
Figure 112016103348752-pat00013
(322)이 선택된 경우를 도시하고 있다.
DCT 계수 값과 DCT 계수 값 품질 측정값은 DCT 계수 값의 절대 값이 클수록 영상의 품질이 높게 평가 되는 비례 관계를 가진다. DCT 계수 값 품질 측정 식(
Figure 112016103348752-pat00014
)은 하기와 같이 설정될 수 있다.
Figure 112016103348752-pat00015
Figure 112016103348752-pat00016
는 DCT 계수 값의 절대 값과 품질의 비례 관계를 포함하는 품질 측정 식의 예시이다. N은 영상에 포함되는 DCT 단위 블록의 개수이며,
Figure 112016103348752-pat00017
는 영상 내 i번째 DCT 단위 블록의 j번째 계수를 의미한다.
영상 선택 장치(100)는 DCT 계수 값을 이용하여 영상의 품질을 측정하기 위하여 상기 식을 이용할 수 있다.
DCT 계수 값 품질 측정 식(
Figure 112016103348752-pat00018
)을 통해 영상 A(310)의 일부 블록(320)의 품질 측정값을 구해보면,
Figure 112016103348752-pat00019
와 같이 계산할 수 있다. 상기 산출된
Figure 112016103348752-pat00020
값을 블록(320)의 품질 측정값으로 할 수도 있고, 산출된 DCT 계수 값 품질 측정값을 정규화 하여, 정규화 한 값을 품질 측정값으로 이용할 수 있다. 후자의 품질 측정값은 다른 코덱 메타 데이터 정보의 품질 측정값을 함께 이용하여 영상의 품질 점수를 산출하는 경우에 이용될 수 있다.
영상 A(310)에 대한 품질 점수는 영상 A(310)에 포함된 모든 DCT 단위 블록에 대하여 상술한
Figure 112016103348752-pat00021
계산 과정을 거쳐 산출될 수 있다.
도 10을 참조하여, 본 발명의 일 실시예에 따라 제1 코덱 메타 데이터 정보가 모션 벡터 값으로, 제2 코덱 메타 데이터 정보가 DCT 계수 값으로 설정된 경우에 2개의 코덱 메타 데이터 정보를 이용한 영상 선택 방법을 설명한다. 도 10은 본 발명의 또 다른 실시예에 따른, 모션 벡터 값 및 DCT 계수 값을 코덱 메타 데이터 정보로 이용한 영상 선택 방법의 순서도이다.
영상 선택 장치(100)가 영상 비트스트림을 수신하면(S300), 비트스트림으로부터 상기 영상의 모션 벡터 값 및 상기 영상의 DCT 계수 값을 획득할 수 있다(S310). 상기 획득한 모션 벡터 값과 상기 획득한 DCT 계수 값값을 이용하여, 상술한 방법으로 모션 벡터 값 품질 측정값 및 DCT 계수 값 품질 측정값을 산출할 수 있다(S320, S330).
품질 측정값들을 이용하여 영상의 품질 점수를 산출하기 위해, 영상 선택 장치(100)는 상기 산출된 모션 벡터 값 품질 측정값과 상기 산출된 DCT 계수 값 품질 측정값을 정규화 할 수 있다(S340). 정규화된 모션 벡터 값 품질 측정값과 정규화된 DCT 계수 값 품질 측정값에 영상 선택 장치(100)는 미리 설정된 가중치를 적용하여 영상의 품질 점수를 산출할 수 있다.(S350). 또한, 영상 선택 장치(100)는 상기 영상의 품질 점수를 기초로 미리 지정된 개수의 영상을 선택할 수 있다(S360).
단계(S350)의 영상 선택 장치(100)가 이용하는 영상의 품질 점수 산출 식은
Figure 112016103348752-pat00022
와 같이 설정될 수 있다.
Figure 112016103348752-pat00023
와
Figure 112016103348752-pat00024
는 각각 정규화된 모션 벡터 값 품질 측정값과 정규화된 DCT 품질 측정값을 의미한다.
한편, 영상의 품질을 측정하는 데 있어, 코덱 메타 데이터 정보 외에 영상에 대한 공간 영역 정보를 더 이용할 수 있다. 공간 영역 정보란, 영상이 촬영된 공간 영역에서 얻을 수 있는 정보로서, 머리 포즈의 차이 정도, 조명 변화 정도, 선예도(sharpness), 대비(contrast), 눈의 개방 정도, 얼굴 영역의 크기 등을 포함할 수 있다. 이하, 도 11을 참조하여, 공간 영역 정보 및 코덱 메타 데이터 정보를 이용한 영상의 품질 측정 방법에 대하여 설명한다. 도 11은 본 발명의 또 다른 실시예에 따른, 공간 영역 정보를 이용한 영상의 품질 측정하는 방법의 순서도이다.
도 11을 참조하면, 영상 선택 장치(100)는 영상 촬영 장치(50)로부터 영상 비트 스트림에 대한 공간 영역 정보를 획득할 수 있다(S400). 영상 선택 장치(100)는 획득한 공간 영역 정보를 이용한 영상의 품질 측정값을 산출하고, 이를 정규화 할 수 있다(S410).
영상 선택 장치(100)는 정규화된 공간 영역 정보를 이용한 영상의 품질 측정값과, 코덱 메타 데이터 정보를 이용하여 산출되고 정규화된 제1 품질 측정값 및 제2 품질 측정값에 미리 설정된 가중치를 적용하여, 상기 영상의 품질 점수를 산출할 수 있다(S420).
단계(S420)에서 공간 영역에서 얻은 n개의 품질 측정값을 이용하여 영상 점수를 산출하고자 하는 경우 영상 점수 산출 식은 다음과 같이 구성될 수 있다. 도 10과 같이 코덱 메타 데이터 정보로서 모션 벡터 값과 DCT 계수 값이 설정된 경우 영상의 품질 점수는
Figure 112016103348752-pat00025
과 같이 계산될 수 있다.
Figure 112016103348752-pat00026
은 공간 영역에서 얻은 n개의 정규화된 품질 측정값을 의미하고,
Figure 112016103348752-pat00027
은 각각의 품질 측정값에 적용된 가중치를 의미한다.
영상 선택 장치(100)는 상기 영상 점수에 대한 계산 식을 이용하여 영상에 대한 최종 점수를 연산해낼 수 있다.
공간 영역 정보는 예를 들어, 버스에 설치된 카메라를 통해 얼굴 인식을 수행할 경우 이용될 수 있다. 버스를 타는 사람의 포즈 정보를 결합하여 영상의 품질을 측정하면, 얼굴 인식의 정확도가 상승할 수 있다.
상술한 본원 발명의 몇몇 실시예에 따라, 영상의 품질 점수가 산출되면 영상 선택 장치(100)는 품질 점수에 따라 미리 지정된 개수의 영상을 선정하여 객체 인식 장치(200)로 송신할 수 있고, 이에 대한 피드백 정보를 수신할 수 있는데, 이하 도 12를 참조하여 설명한다. 도 12는 본 발명의 또 다른 실시예에 따른, 객체 인식 장치로부터 획득한 피드백 정보를 이용하는 영상 선택 방법의 순서도이다.
영상 선택 장치(100)가 선택된 영상을 객체 인식 장치(200)로 송신하면(S500), 영상 선택 장치(100)는 상기 객체 인식 장치로부터 객체 인식 결과를 포함한 피드백 정보를 수신할 수 있다(S510). 영상 선택 장치(100)와 객체 인식 장치(200)가 통합되어 구현된 경우라면, 객체 인식 장치의 영상 선택 부가 객체 인식 부로 선택된 영상을 제공하고, 객체 인식 부로부터 피드백을 제공받게 될 수 있다.
피드백 정보는 객체 인식 결과의 성공, 실패 여부 및 객체 인식에 소요된 시간, 선택된 영상의 점수 파라미터 등을 포함할 수 있다. 영상 선택 장치(100)는 피드백 정보에 기초하여, 기 설정된 코덱 메타 데이터 정보를 다른 코덱 메타 데이터 정보로 변경하거나, 삭제할 수 있고(S520), 또 다른 코덱 메타 데이터 정보를 추가 할 수 있다(S520). 예를 들어, 제1 코덱 메타데이터로 모션 벡터 값, 제2 코덱 메타 데이터 정보로 DCT 계수 값이 설정된 경우라면, 영상 선택 장치(100)는 제2 코덱 메타 데이터 정보를 DCT 계수 값에서 분할된 블록 사이즈로 변경하거나, DCT 계수 값을 품질 측정 항목에서 삭제할 수 있다. 또한, 영상 선택 장치(100)는, 모션 벡터 값과 DCT 계수 값 외에 분할 블록 사이즈, 양자화 계수 또는 비트 양을 품질 측정 항목으로 추가할 수도 있다.
품질 측정의 기준으로 선택될 수 있는 코덱 메타 데이터 정보는 모션 벡터 값, DCT(Discrete Cosine Transform) 계수 값, 블록 분할 사이즈, 양자화 계수, 비트 양 등이 있을 수 있다.
블록 분할 사이즈는 작을수록 품질 측정값이 높게 평가될 수 있다. 영상이 압축될 때, 배경과 같은 변화가 적은 부분은 블록 분할 사이즈를 크게 하여 압축률을 높이고, 객체가 포함된 부분은 영상의 중요한 부분이므로, 블록 분할 사이즈를 작게 하여 더 많은 정보를 포함할 수 있도록 압축률을 낮춘다. 흐릿한 영상은 스무딩 (smoothing) 된 영상이므로 픽셀 간 변화가 적어, 객체가 포함된 부분임에도 불구하고 압축될 때 블록 분할 사이즈가 크게 결정된다. 따라서 블록 분할 사이즈가 작을수록 영상의 품질이 더 높을 것이라고 예측할 수 있다.
양자화 계수(Quantization Parameter, QP)는 작을수록 품질 측정값이 높게 평가될 수 있다. 압축 효율을 향상시키기 위해 양자화 계수를 프레임 별 또는 블록 별로 적응적으로 사용하는 압축 방법이 존재한다. 양자화 과정은 DCT 변환 이후에 수행되는데, 양자화 과정을 통해 저 주파수 성분은 남겨두고, 고 주파수 성분은 주로 0으로 만들어 영상을 압축하게 된다. 이는 영상의 화질에 비교적 적은 영향을 주는 배경과 같은 부분의 정보를 압축하기 위함이다. 양자화 계수가 낮게 설정 될수록, 압축률이 낮아지고, 영상 내 객체가 위치하는 블록은 양자화 계수가 낮게 설정될 가능성이 높다.흐릿한 영상은 픽셀 값의 변화가 적고 압축 시 블록 분할 사이즈가 크게 결정되어 객체가 없는 배경만 찍힌 프레임으로 잘못 판단될 가능성이 높고, 그 결과 양자화 계수가 크게 할당될 가능성이 높다. 따라서 적응적 양자화 기반 압축이 수행된 경우, 양자화 계수와 품질 측정값은 반비례 관계가 될 수 있다.
또한 비트 양이 많을수록 품질 측정값이 높게 평가될 수 있다. 적응적 양자화 기반 압축에서 비트 양이 많이 할당된 프레임은 부호화 할 정보가 많은 선명한 객체가 포함된 프레임일 가능성이 높기 때문이다. 흐릿한 영상의 경우 픽셀 값의 변화가 적고 블록 분할 사이즈가 커 압축해야 할 코덱 메타 데이터가 적어 프레임 부호화에 소모되는 비트 양이 적다.
품질 측정 항목이 추가된 경우, 구체적으로, 영상 선택 장치(100)는 피드백 정보를 기초로, 미리 설정된 제3 코덱 메타 데이터 정보를 획득할 수 있다. 또한, 영상 선택 장치(100)는 획득된 제3 코텍 메타 데이터 정보를 이용한 제3 품질 측정값을 산출할 수 있다. 다음으로, 영상 선택 장치(100)는 산출된 제3 품질 측정값을 정규화하고, 기존의 정규화된 제1 품질 측정값과 기존의 정규화된 제2 품질 측정값 및 상기 정규화된 제3 품질 측정값에 미리 설정된 가중치를 적용하여 상기 영상의 품질 정보를 산출할 수도 있다.
다른 실시예에서, 영상 선택 장치(100)는 피드백 정보를 기초로, 미리 설정된 제1 코덱 메타 데이터 정보 및 제2 코덱 메타 데이터 정보 중, 적어도 하나의 정보에 대한 가중치를 변경할 수도 있다.
또한 피드백 정보에 기초하여 전송될 영상의 개수로 미리 지정된 개수를 수정하거나(S530), 객체 인식 장치의 레퍼런스 이미지가 수정될 수 있도록, 객체 인식 장치(200)로 영상을 송신할 수 있다(S550).
피드백이 이루어 지는 과정의 예시를 도 13a 및 13b를 통해 설명한다. 도 13a 및 도 13b는 본 발명의 몇몇 실시예에서 참조되는, 영상 선택 장치의 피드백 정보 활용 태양을 설명하기 위한 예시이다.
이하, 객체 인식의 일 예시로서 얼굴 인식을 설명한다.
도 13a에는 복수의 영상에 대한 품질 점수 산출 결과(400)가 도시 되었다. 영상의 좌측 하단에 기재된 번호는 영상의 번호이고, 영상의 우측에 기재된 숫자가 영상의 품질 점수이다.
품질 산출 정보(143)는 영상의 품질 점수를 산출하기 위해 필요한 정보를 포함하며, 미리 설정되어 영상 선택 장치(100)내에 저장될 수 있다. 도 13a에 도시된 품질 산출 정보(143)는 현재 코덱 메타 데이터 정보로 모션 벡터 값이 설정되어 있으며, 전송될 영상은 2개로 설정되어 있음을 나타내고 있다.
영상 선택 장치(100)는 모션 벡터 값을 이용하여 영상의 품질 점수를 산출하고, 품질 점수 산출 결과(400)로서 복수 개의 영상들을 품질 점수를 기준으로 정렬할 수 있다. 영상 선택 장치(100)는 정렬된 품질 점수 산출 결과(400)에서 가장 점수가 높은, 미리 설정된 개수인 2개의 영상(401, 403)을 선택하여, 객체 인식 장치(200)로 송신할 수 있다. 객체 인식 장치(200)는 영상을 수신하면, 상기 수신된 영상과 객체 인식 장치(200)내에 기 저장된 등록 이미지와 비교하여 객체 인식을 수행할 수 있다.
객체 인식을 수행한 결과 143번 영상(401)에 대해 객체 인식이 실패하고, 134번 영상(403)에 대해 객체 인식이 성공한 경우라면, 객체 인식 장치(200)는 피드백 정보(450)에 상기 결과를 포함하여 영상 선택 장치(100)로 송신할 수 있다.
이 경우는, 기 설정된 품질 측정 기준에 의해 측정된 품질 점수가 가장 높았던 143번 영상(401)에 대해 객체 인식이 실패한 경우이므로, 피드백 정보를 반영하여 품질 측정 기준을 수정할 필요가 있다. 도 13b는 피드백 정보를 반영하여, 품질 측정 기준을 수정한 예시를 도시한다.
영상 선택 장치(100)는 객체 인식 장치(200)로부터 수신된 피드백 정보를 반영하여, 품질 점수 산출 정보(143)를 수정할 수 있다. 품질 산출 정보(143)을 보면, 코덱 메타 데이터 정보에 블록 분할 사이즈(PS)가 추가되고, 각각의 팩터(factor)에 적용될 가중치는 0.5로, 송신할 영상의 개수는 3개로 수정되었음을 알 수 있다.
영상 선택 장치(100)는 수정된 품질 산출 정보(143)를 이용하여, 영상 품질 측정하고 영상을 선택할 수 있다. 품질 점수 산출 결과(400)를 품질 측정 결과가 상이해졌음을 확인할 수 있다.
도 13a에 도시된 품질 점수 산출 결과(400)는 품질 점수 상위 3개의 영상이 143번 영상(401), 134번 영상(403), 136번 영상(405) 순서였으나, 도 13b에 도시된 품질 점수 산출 결과(400)는 품질 점수 상위 3개의 영상이 134번 영상(403), 136번 영상(405), 143번 영상(401) 순서가 되었다. 또한 각 영상 별로 산출된 품질 점수 또한 상이하다.
또한 송신할 영상의 개수가 3개로 변경되었으므로, 영상 선택 장치(100)는 134번 영상(403), 136번 영상(405), 143번 영상(401) 3개를 객체 인식 장치(200)로 송신한다. 객체 인식 장치(200)는 수신 받은 영상에 대해 객체 인식을 수행하고, 그 결과를 피드백 정보(450)에 포함하여 다시 영상 선택 장치(100)로 송신할 수 있다. 영상 선택 장치(100)는 더 많은 영상을 송신함으로써, 더 많은 영상을 대상으로 피드백을 수신할 수 있고, 이를 통해 수정된 품질 측정 방법을 검증할 수 있다.
피드백 정보(450)를 보면, 134번 영상(403)에 대하여 객체 인식이 성공하고, 이 전에 송신되지 않았던 136번 영상(405)에 대한 객체 인식도 성공되었음을 알 수 있다. 이에 따라, 품질 측정의 정확도가 개선되었으며, 품질 산출 정보(143)가 보다 적절하게 변경되었음을 알 수 있다.
또한, 도면을 통해 도시하지는 않았지만, 영상 선택 장치(100)는 피드백 정보를 반영하여 객체 인식 장치(200)의 레퍼런스 이미지가 수정되도록 할 수 있다. 레퍼런스 이미지란, 객체 인식에 기준이 되는 객체의 등록된 이미지를 뜻한다.
시간이 지남에 따라 객체는 변화되지만, 기존의 객체 인식 장치(200)에서는 레퍼런스 이미지를 변경하기 위하여, 따로 객체를 촬영하여 이미지를 등록하는 별도의 갱신 과정을 거쳐야 했기 때문에, 객체의 변화를 반영하여 레퍼런스 이미지를 유지하는 것이 어려웠다.
그러나 본 발명의 일 실시예에 따라 객체 인식 장치(200)는 레퍼런스 이미지의 품질 점수, 등록 날짜, 이미지 생성 날짜를 포함한 피드백 정보를 영상 선택 장치(100)에 송신할 수 있고, 영상 선택 장치(200)는 레퍼런스 이미지와 관련한 피드백 정보에 기초하여 레퍼런스 이미지의 갱신이 필요한지 여부를 판단할 수 있다.
예를 들어, 영상 선택 장치(100)는 품질 점수 산출 결과(400)에 포함된 영상의 품질 점수 중 가장 높은 품질 점수와, 획득한 레퍼런스 이미지의 품질 점수를 비교할 수 있다. 비교 결과, 레퍼런스 이미지의 품질 점수가 상기 가장 높은 품질 점수보다 낮은 경우, 레퍼런스 이미지는 가장 높은 품질 점수의 영상으로 대체될 수 있다.
영상 선택 장치(100)는 객체 인식 장치(200)의 레퍼런스 이미지를 상기 가장 높은 품질 점수의 영상으로 대체되도록 하는 제어 메시지를 객체 인식 장치(200)에 송신할 수 있다.예를 들어, 레퍼런스 이미지가 업데이트된 이후 미리 지정된 기간이 도과된 경우, 이미지 생성 날짜로부터 미리 지정된 기간이 도과된 경우 등을 포함하는 기 설정된 기준에 따라 레퍼런스 이미지의 갱신이 필요한지 여부를 판단할 수 있다. 레퍼런스 이미지의 갱신이 필요한 것으로 판단된 경우, 영상 선택 장치(100)는 품질 점수 산출 결과(400)에서 가장 높은 품질 점수를 가지는 영상으로 레퍼런스 이미지를 갱신할 수 있도록, 상기 영상을 객체 인식 장치(200)에 송신할 수 있다.
객체 인식에서 레퍼런스 이미지가 객체 인식 여부를 판단하는 기준이 되기 때문에 선명한 레퍼런스 이미지를 사용하는 것은 인식 여부를 판단함에 있어 큰 영향을 미친다. 영상 선택 장치(100)의 품질 점수 산출 결과(400)를 레퍼런스 이미지 선택에 이용함으로써 객체 인식의 성능을 높일 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (12)

  1. 객체 인식을 위한 영상의 선택 방법에 있어서,
    비트 스트림을 수신하는 단계;
    상기 수신된 비트 스트림으로부터 코덱 메타 데이터 정보 중, 미리 설정된 제1 코덱 메타 데이터 정보를 획득하는 단계;
    상기 획득한 제1 코덱 메타 데이터 정보를 이용한 제1 품질 측정값을 산출하는 단계;
    상기 산출된 제1 품질 측정값을 이용하여 상기 수신된 비트 스트림의 복호화시 생성되는 영상의 품질 점수를 산출하는 단계; 및
    상기 산출된 영상의 품질 점수가 높은 순서대로 미리 지정된 개수만큼의 영상을 선택하는 단계를 포함하는,
    영상 선택 방법.
  2. 제 1항에 있어서,
    상기 수신된 비트 스트림으로부터 상기 코덱 메타 데이터 정보 중, 상기 제1 코덱 메타 데이터 정보와 다른, 미리 설정된 제2 코덱 메타 데이터 정보를 획득하는 단계;
    상기 획득한 제2 코덱 메타 데이터 정보를 이용한 제2 품질 측정값을 산출하는 단계; 및
    상기 산출된 제1 품질 측정값과 상기 산출된 제2 품질 측정값을 정규화 하는 단계를 더 포함하고,
    상기 영상의 품질 점수를 산출하는 단계는,
    상기 정규화된 제1 품질 측정값과 상기 정규화된 제2 품질 측정값에 미리 설정된 가중치를 적용하여 상기 영상의 품질 점수를 산출하는 단계를 포함하는,
    영상 선택 방법.
  3. 제 1항에 있어서,
    상기 수신된 비트 스트림에서 관심 영역(region of interest, ROI)을 추출하는 단계를 더 포함하고,
    상기 제1 품질 측정값은, 상기 추출된 관심 영역에 대하여 산출된 품질 측정값인,
    영상 선택 방법.
  4. 제 2항에 있어서,
    상기 수신된 비트 스트림에 대한 공간 영역 정보를 획득하는 단계; 및
    상기 공간 영역 정보에 대한 품질 측정값을 산출하고 정규화하는 단계를 더 포함하고,
    상기 영상의 품질 점수를 산출하는 단계는,
    상기 정규화된 공간 영역 정보에 대한 품질 측정값, 상기 정규화된 제1 품질 측정값 및 상기 정규화된 제2 품질 측정값에 미리 설정된 가중치를 적용하여, 상기 영상의 품질 점수를 산출하는 단계를 포함하는,
    영상 선택 방법.
  5. 제 1항에 있어서,
    상기 선택된 영상을 객체 인식 장치로 송신하는 단계; 및
    상기 객체 인식 장치로부터 객체 인식 결과를 포함한 피드백 정보를 수신하는 단계를 더 포함하고,
    상기 영상의 품질 점수를 산출하는 단계는,
    상기 피드백 정보를 기초로, 미리 설정된 제1 코덱 메타 데이터 정보에 대한 가중치를 변경하는 단계를 포함하는,
    영상 선택 방법.
  6. 제 2항에 있어서,
    상기 선택된 영상을 객체 인식 장치로 송신하는 단계; 및
    상기 객체 인식 장치로부터 객체 인식 결과를 포함한 피드백 정보를 수신하는 단계를 더 포함하고,
    상기 영상의 품질 점수를 산출하는 단계는,
    상기 피드백 정보를 기초로, 미리 설정된 제3 코덱 메타 데이터 정보를 획득하는 단계;
    상기 획득된 제3 코텍 메타 데이터 정보를 이용한 제3 품질 측정값을 산출하는 단계;
    상기 산출된 제3 품질 측정값을 정규화하는 단계; 및
    상기 정규화된 제1 품질 측정값, 상기 정규화된 제2 품질 측정값 및 상기 정규화된 제3 품질 측정값에 미리 설정된 가중치를 적용하여 상기 영상의 품질 정보를 산출하는 단계를 포함하는,
    영상 선택 방법.
  7. 제 1항에 있어서,
    상기 선택된 영상 및 상기 선택된 영상에 대해 산출된 품질 점수를 객체 인식 장치로 송신하는 단계;
    상기 객체 인식 장치로부터 객체 인식 결과를 포함한 피드백 정보를 수신하는 단계;
    상기 수신된 피드백 정보로부터 상기 객체 인식 장치에 기 등록된 레퍼런스 이미지의 품질 점수를 획득하는 단계; 및
    상기 선택된 일부 영상의 품질 점수 중 가장 높은 품질 점수가 상기 레퍼런스 이미지의 품질 점수보다 높은 경우, 상기 레퍼런스 이미지를 상기 가장 높은 품질 점수의 영상으로 대체하기 위한 제어 메시지를 상기 객체 인식 장치로 송신하는 단계를 더 포함하는,
    영상 선택 방법.
  8. 제 1항 또는 제 2항에 있어서,
    상기 코덱 메타 데이터 정보는 모션 벡터 값(motion vector) 값, 주파수 영역의 변환 계수인 DCT(Discrete Cosine Transform) 계수 값, 블록 분할 사이즈, 양자화 계수 및 비트 양(bit rate)을 포함하는,
    영상 선택 방법.
  9. 제 1항에 있어서,
    상기 제1 코덱 메타 데이터 정보가 모션 벡터 값으로 설정 된 경우, 제1 품질 측정값을 산출하는 단계는,
    상기 영상을 코덱의 최소 단위 블록으로 분할 하는 단계;
    상기 분할된 최소 단위 블록 별로 상기 모션 벡터 값을 맵핑하는 단계; 및
    상기 영상에 포함된 최소 단위 블록에 맵핑된 상기 모션 벡터 값의 절대 값을 기초로 제1 품질 측정값을 산출하는 단계를 포함하는,
    영상 선택 방법.
  10. 제 9항에 있어서,
    상기 최소 단위 블록 별로 상기 모션 벡터 값을 맵핑하는 단계는,
    상기 분할된 최소 단위 블록이 화면 간 부호화 된 블록인 경우, 상기 분할된 최소 단위 블록이 포함된 예측 블록의 모션 벡터 값을 맵핑하고,
    상기 분할된 최소 단위 블록이 화면 내 부호화 된 블록의 경우, 주변 블록의 모션 벡터 값을 매핑하거나, 미리 설정된 값을 매핑 하는 단계를 포함하는,
    영상 선택 방법.
  11. 제 1항에 있어서,
    상기 제1 코덱 메타 데이터 정보가 DCT계수 값으로 설정된 경우, 제1 품질 측정값을 산출하는 단계는,
    상기 영상에 포함된 DCT 단위 블록 별로 DCT 계수 값을 획득하는 단계;
    상기 획득된 DCT 계수 값들 중 일부 DCT 계수 값을 미리 설정된 기준에 따라 선택하는 단계; 및
    상기 선택된 DCT 계수 값의 절대 값을 기초로 제1 품질 측정값을 산출하는 단계를 포함하는,
    영상 선택 방법.
  12. 제 11항에 있어서,
    상기 미리 설정된 기준은,
    상기 획득된 DCT 계수 값들 중에서 미리 설정된 범위 내의 중간 주파수 성분의 DCT 계수 값 및 미리 설정된 범위 내의 고주파수 성분의 DCT 계수 값을 선택하는 것인,
    영상 선택 방법.
KR1020160138633A 2016-10-24 2016-10-24 영상 선택 방법 및 그 장치 KR102440329B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160138633A KR102440329B1 (ko) 2016-10-24 2016-10-24 영상 선택 방법 및 그 장치
US15/791,981 US20180114082A1 (en) 2016-10-24 2017-10-24 Method and apparatus for selecting an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160138633A KR102440329B1 (ko) 2016-10-24 2016-10-24 영상 선택 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20180044742A KR20180044742A (ko) 2018-05-03
KR102440329B1 true KR102440329B1 (ko) 2022-09-02

Family

ID=61971085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160138633A KR102440329B1 (ko) 2016-10-24 2016-10-24 영상 선택 방법 및 그 장치

Country Status (2)

Country Link
US (1) US20180114082A1 (ko)
KR (1) KR102440329B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3635952B1 (en) 2017-06-05 2024-07-03 Immersive Robotics Pty Ltd Digital content stream compression
JP6975004B2 (ja) * 2017-10-03 2021-12-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム
AU2018372561B2 (en) * 2017-11-21 2023-01-05 Immersive Robotics Pty Ltd Image compression for digital reality
EP3714598A4 (en) 2017-11-21 2021-03-31 Immersive Robotics Pty Ltd SELECTING A FREQUENCY COMPONENT FOR IMAGE COMPRESSION
CN109949250B (zh) * 2019-03-29 2021-05-18 北京奇艺世纪科技有限公司 一种图像处理方法及装置
US11575896B2 (en) * 2019-12-16 2023-02-07 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11195039B2 (en) * 2020-03-10 2021-12-07 International Business Machines Corporation Non-resource-intensive object detection
CN111524123B (zh) * 2020-04-23 2023-08-08 北京百度网讯科技有限公司 用于处理图像的方法和装置
US12034785B2 (en) 2020-08-28 2024-07-09 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
US12107907B2 (en) 2020-08-28 2024-10-01 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
US20220070236A1 (en) * 2020-08-28 2022-03-03 Tmrw Foundation Ip S. À R.L. Graphical representation-based user authentication system and method
WO2022186500A1 (ko) * 2021-03-04 2022-09-09 삼성전자 주식회사 영상 처리 장치 및 그 동작 방법
US20230410476A1 (en) * 2022-06-16 2023-12-21 Dell Products L.P. Automated image analysis using artificial intelligence techniques

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772194B1 (ko) 2006-07-26 2007-11-01 한국전자통신연구원 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법
JP2014099028A (ja) 2012-11-14 2014-05-29 Hiroshima Univ 映像動き評価方法および映像動き評価装置
JP2016031576A (ja) * 2014-07-28 2016-03-07 クラリオン株式会社 物体検出装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6608867B2 (en) * 2001-03-30 2003-08-19 Koninklijke Philips Electronics N.V. Detection and proper scaling of interlaced moving areas in MPEG-2 compressed video
EP2912602A4 (en) * 2012-10-23 2016-03-16 Ishay Sivan REAL-TIME IMAGE QUALITY EVALUATION
US9626577B1 (en) * 2014-09-15 2017-04-18 Amazon Technologies, Inc. Image selection and recognition processing from a video feed
KR101648786B1 (ko) 2014-12-05 2016-08-30 삼성에스디에스 주식회사 객체 인식 방법
KR20160119932A (ko) * 2015-04-06 2016-10-17 한국과학기술원 품질 측정 기반의 얼굴 인식 방법 및 장치
US9858296B2 (en) * 2016-03-31 2018-01-02 Adobe Systems Incorporated Representative image selection for image management using face recognition
US10347294B2 (en) * 2016-06-30 2019-07-09 Google Llc Generating moving thumbnails for videos
WO2018030293A1 (ja) * 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772194B1 (ko) 2006-07-26 2007-11-01 한국전자통신연구원 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법
JP2014099028A (ja) 2012-11-14 2014-05-29 Hiroshima Univ 映像動き評価方法および映像動き評価装置
JP2016031576A (ja) * 2014-07-28 2016-03-07 クラリオン株式会社 物体検出装置

Also Published As

Publication number Publication date
KR20180044742A (ko) 2018-05-03
US20180114082A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
KR102440329B1 (ko) 영상 선택 방법 및 그 장치
CN108780499B (zh) 基于量化参数的视频处理的系统和方法
JP5969389B2 (ja) オブジェクト認識ビデオ符号化ストラテジ
JP5555221B2 (ja) 着目物の適応的な色モデル・パラメータ推定に係る方法および装置
RU2694442C9 (ru) Устройство декодирования изображения и способ декодирования изображения
JP6698077B2 (ja) モデルベースの映像符号化用の知覚的最適化
Li et al. Weight-based R-λ rate control for perceptual HEVC coding on conversational videos
US20160100166A1 (en) Adapting Quantization
EP1729521A2 (en) Intra prediction video encoding and decoding method and apparatus
JP6961443B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Chen et al. Block-composed background reference for high efficiency video coding
CN104160703A (zh) 经对象检测所通知的编码
US20130170545A1 (en) Image encoding apparatus, image encoding method and program
JP2016111694A (ja) フレームのシーケンスをビデオ符号化するための方法及びエンコーダ
JP2010537489A (ja) 関心のある領域の情報を使用した改善されたビデオ符号化の方法及び装置
EP0800677B1 (en) Method and device for selectively compressing video codec
US20160057415A1 (en) Image encoding method, image encoding apparatus, and related encoding medium, image decoding method, image decoding apparatus, and related decoding medium
US20170374361A1 (en) Method and System Of Controlling A Video Content System
JP2018501677A (ja) シーンに存在するユーザーに基づく特性の適応コーディング
US9363432B2 (en) Image processing apparatus and image processing method
KR20090068222A (ko) 공간 활동 메트릭과 그 평가 방법
CN109936741B (zh) 视频编码方法和系统
Marzuki et al. Deep convolutional feature-driven rate control for the HEVC encoders
WO2019109988A1 (en) Face region detection based light field video compression
JP6720743B2 (ja) メディア品質判定装置、メディア品質判定方法及びメディア品質判定用コンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant