WO2014007562A1 - 영상 검색방법 및 장치 - Google Patents

영상 검색방법 및 장치 Download PDF

Info

Publication number
WO2014007562A1
WO2014007562A1 PCT/KR2013/005950 KR2013005950W WO2014007562A1 WO 2014007562 A1 WO2014007562 A1 WO 2014007562A1 KR 2013005950 W KR2013005950 W KR 2013005950W WO 2014007562 A1 WO2014007562 A1 WO 2014007562A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
coding unit
image
histogram
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/005950
Other languages
English (en)
French (fr)
Inventor
이호동
홍순기
최윤식
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intellectual Discovery Co Ltd
Original Assignee
Intellectual Discovery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intellectual Discovery Co Ltd filed Critical Intellectual Discovery Co Ltd
Priority to US14/413,088 priority Critical patent/US20150288973A1/en
Publication of WO2014007562A1 publication Critical patent/WO2014007562A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Definitions

  • the present invention relates to an image retrieval method and apparatus, and more particularly, to an image retrieval method and apparatus that can improve the speed of retrieval by using grammar information about image data such as an image.
  • a key frame extraction technique of a video using an edge histogram is conventionally used.
  • This is one method for indexing and retrieving video information, which uses edge histograms that are not sensitive to changes in the image and represent the spatial distribution of edges (the parts of which the brightness changes abruptly in the image).
  • FIG. 1 is a diagram illustrating an example of an imaging technique according to the prior art.
  • the image retrieval technique using an edge histogram according to the prior art divides one image frame into 16 non-overlapping sub-images, and divides one sub-image into an image-block unit. Defined as
  • the image-block is divided into four sub-blocks, and an edge is detected by a method of filtering an average gray level for each sub-block.
  • the detected edges are classified into five directions: vertical, horizontal, 45 ° diagonal, 135 ° diagonal, and non-directional, and histograms of the edges are generated for each sub-image.
  • 16X5 80 edge information is generated for each image frame, and these are allocated to 80 bin memories.
  • an edge is determined to include a specific edge when it is determined to be larger than a specific threshold by filtering the five 4-tap filters to each sub-image.
  • An object of the present invention is to provide a method for performing an image search using Coding Unit Depth data generated in the encoding process of the HEVC encoder and an apparatus using the same in order to solve the above-described problems of the prior art.
  • the image retrieval method for achieving the above object of the present invention uses coding unit depth data (hereinafter, referred to as coding unit depth information) generated during the encoding process of the HEVC encoder.
  • coding unit depth information generated during the encoding process of the HEVC encoder.
  • An image retrieval method includes generating a first histogram of coding unit depth information of a key frame to be searched, and a second histogram of coding unit depth information of a frame in an image to be searched. Generating a difference; generating difference information on the first histogram and the second histogram; and detecting a frame corresponding to the key frame based on the difference information.
  • Generating the first and second histograms includes generating histograms using coding unit depth information extracted for each LCU (Largest Coding Unit) unit in High Efficiency Video Coding (HEVC).
  • LCU Large Coding Unit
  • HEVC High Efficiency Video Coding
  • the generating of the first and second histograms may include extracting coding unit depth information indicating a result of splitting a large coding unit (LCU), which is a basic unit of an encoding target, through an encoding process of an HEVC encoder. And extracting the maximum depth coding unit depth histogram in the LCU, and calculating the coding unit depth histogram difference information.
  • LCU large coding unit
  • the Coding Unit Depth of the LCU is information including information about the complexity or the degree of motion of a corresponding region.
  • the HEVC encoder divides a complex region of an image or a sub unit of a sub-coding unit in the case where the motion in the region is volatile.
  • the complexity characteristics of the corresponding LCU because the HEVC encoder encodes all possible coding unit depths and encodes the coding unit depths when the rate-distortion cost (RD-Cost) is the lowest. It can be used as reliable information.
  • the depth of the maximum depth of the coding unit depth of the LCU is used as the information. If the Coding Unit Depth is 0, it means that the LCU of 64x64 size is not divided. If the Coding Unit Depth is 1, it means that it is divided into 32x32 size. If the Coding Unit Depth is 2, it means that the Coding Unit is divided into 16x16 size, and if it is 3, it means that the Coding Unit is divided into 8x8 size.
  • the present invention performs a method of obtaining a histogram in a frame using the largest coding unit depth in the LCU as information.
  • the size of the coding unit of the smallest unit in the LCU is obtained and determined as the complexity in the LCU region, the coding unit depth histogram in the entire frame is calculated and used as the histogram of the key frame.
  • Coding Unit Depth histogram of the frame to be compared with the key frame to be searched in the video is extracted and the difference information of the histogram of the key frame is generated.
  • Coding Unit Depth Difference Information Coding Unit Depth Histogram Difference (CUDHD) may be expressed using the following equation.
  • the image retrieval method according to an aspect of the present invention may be implemented as a program to be executed in a computer and stored in a computer-readable recording medium.
  • the image retrieval method generates histogram difference information using Coding Unit Depth data generated through an encoding process in the HEVC encoder. That is, since the HEVC encoder generates a histogram using the Coding Unit Depth information already generated in the encoding process, the edge information is generated in the prior art and the calculation process of the edge direction determination step through filtering can be omitted. There is an advantage in speed.
  • FIG. 1 is a diagram illustrating an example of an imaging technique according to the prior art.
  • FIG. 2 is a block diagram showing a schematic configuration of an image retrieval apparatus according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of an image retrieval method according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram illustrating coding units used in an encoding process of an HEVC encoder according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram illustrating a histogram of coding unit depths of one image frame according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of an image retrieval apparatus according to an embodiment of the present invention.
  • the image search apparatus 100 may include a first information generator 200, a second information generator 300, a difference information generator 400, The image detector 500 is included.
  • the first information generator 102 generates histogram (hereinafter, referred to as first histogram) information regarding coding unit depth (hereinafter, referred to as coding unit depth) information of a key frame to be searched.
  • first histogram histogram
  • coding unit depth coding unit depth
  • Coding Unit Depth is information generated during an encoding process by a high efficiency video coding (HEVC) encoder and includes information about a complexity or a degree of motion of a specific region of an image frame.
  • the HEVC encoder performs an encoding process by dividing an area having a complex image or a region having dynamic motion information in one frame into sub coding units.
  • one image frame may include a plurality of large coding units (LCUs), and one LCU may be divided into sub coding units according to the complexity or the degree of motion of the corresponding unit image.
  • the LCU means the largest coding unit among coding units having various sizes, and generally has a size of 8x8 to 64x64.
  • the Coding Unit Depth will be described based on an LCU having a size of 64x64.
  • 4 is an exemplary diagram illustrating coding units used in an encoding process of an HEVC encoder according to an embodiment of the present invention.
  • one image frame may be divided into coding units having various sizes in HEVC encoding.
  • one image frame includes 40 LCUs.
  • the LCU 10 has a size of 64x64 and is divided into four sub-coding units 11 having a size of 32x32.
  • the first sub-coding unit 11 having the size of 32x32 is also divided into four sub-coding units 13 having the size of 16x16, and the second sub-coding unit 13 having the size of 16x16 is also 8x8.
  • the third sub-coding unit 15 having a size is divided into four.
  • the Coding Unit Depth is 0 for the LCU 10 of the largest unit, it means that the LCU of 64x64 is not divided. If the Coding Unit Depth is 1, the first sub-coding unit having a size of 32x32 is used. It means four quarters in (11).
  • the Coding Unit Depth 2
  • the LCU is divided into a second sub-coding unit 13 having a size of 16x16
  • the Coding Unit Depth 3
  • the LCU has a third sub-coding having a size of 8x8. It means divided into units (15).
  • the size of the coding unit depth increases, the image complexity or motion in the corresponding LCU is larger.
  • the image retrieval method according to the present invention is characterized in that a histogram is generated using coding unit depth information extracted for each LCU (Largest Coding Unit) unit in High Efficiency Video Coding (HEVC). More specifically, the image retrieval method according to the present invention generates histogram information in one frame using the largest Coding Unit Depth information in the LCU. That is, the size of the coding unit of the smallest unit in the LCU is obtained and determined as the complexity in the LCU region to generate a coding unit depth histogram in the entire frame.
  • LCU Large Coding Unit
  • HEVC High Efficiency Video Coding
  • the second information generator 300 generates a histogram (hereinafter, referred to as a second histogram) regarding the coding unit depth information in a specific image frame of the image to be searched.
  • a histogram hereinafter, referred to as a second histogram
  • the second information generator 300 may select an arbitrary frame from an image to be searched, and the second information generating unit 300 may be configured to perform Coding Unit Depth information on the next frame in chronological order based on the selected arbitrary frame. 2 Create a histogram. In general, a second histogram is generated based on the first image frame in the chronological order of the image to be searched.
  • the second information generator 300 may select an image frame that is a starting point according to a user input. That is, the user may select a search origin from an image to be searched through a selection input means (not shown), and the second information generator 300 may also code the next frame in the order of time from the selected origin frame. Generate a second histogram on the information.
  • the second information generator 300 may generate a second histogram for all image frames from the 1st image frame to the last image frame of the image to be searched, and in another embodiment, the second information.
  • the generation unit 300 may start generating the second histogram from the 1st image frame and generate the second histogram only until an image frame corresponding to the key image frame that is the search target is detected.
  • the second information generator 300 in generating the histogram information in one image frame, the second information generator 300 generates coding unit depth information for each LCU constituting the image frame, and generates a histogram based on the information. Since a detailed method of generating the histogram in the second information generator 300 is the same as the method of generating the histogram by the first information generator 200, a detailed description thereof will be omitted.
  • the difference information generator 400 generates difference information between the first histogram and the second histogram, and a coding unit depth histogram difference (CUDHD) using Equation 1 below.
  • the image detector 500 detects a frame corresponding to the key frame based on the difference information.
  • the image detector 500 compares the difference information generated by the difference information generator 400 with a preset threshold value, and when the difference information is less than the threshold value, the current comparison target is used.
  • the frame is detected as a frame corresponding to the key frame.
  • FIG. 3 is a flowchart of an image retrieval method according to an embodiment of the present invention.
  • the first generator 200 and the second generator 300 generate first histogram and second histogram information.
  • the first information generator 200 calculates Coding Unit Depth information for the 1st LCU of the key frame which is the search target (S211). As described above, the Coding Unit Depth represents the image complexity and the degree of motion in the corresponding LCU, which means that the larger the Coding Unit Depth, the greater the complexity and the degree of motion of the LCU. The first information generator 200 calculates a maximum depth value as Coding Unit Depth information in the 1st LCU.
  • Coding Unit Depth information is calculated in all LCUs of the key frame, and when the LCU in which the Coding Unit Depth is currently calculated is the last LCU in the key frame, the process of calculating the Coding Unit Depth is completed (S213).
  • the first information generator 200 generates a first histogram using the Coding Unit Depth calculated in all LCUs of the key frame (S215).
  • the second information generator 200 calculates Coding Unit Depth information for the 1st LCU of the 1st frame of the image to be searched for (S311). As in the first information generation unit 100, the Coding Unit Depth information is calculated in all LCUs, and when the LCU currently being calculated for the Coding Unit Depth is the last LCU in the 1st frame, the Coding Unit Depth calculation process is completed. (S313).
  • the second information generator 200 generates a second histogram using the Coding Unit Depth calculated in all LCUs of the 1st frame (S315).
  • the difference information generator 400 generates difference information between the first histogram and the second histogram, and a coding unit depth histogram difference (CUDHD) using Equation 1 (S400).
  • the image detector 500 compares the difference information with a preset threshold value and detects a frame to be compared as a frame corresponding to a key frame based on the comparison result (S500).
  • the image detector 500 detects the frame currently being compared as a frame corresponding to the key frame, and when the comparison result difference information is greater than or equal to the threshold value, the 2nd frame.
  • Computer-readable recording media include all kinds of recording media having data stored thereon that can be decrypted by a computer system.
  • ROM read only memory
  • RAM random access memory
  • magnetic tape magnetic tape
  • magnetic disk magnetic disk
  • flash memory an optical data storage device
  • the computer readable recording medium can also be distributed over computer systems connected over a computer network, stored and executed as readable code in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 검색방법에 있어서, 차세대 영상 부호화 코덱인 HEVC의 Coding Unit Depth 정보만을 토대로 한 새로운 고속의 영상 검색방법이 개시된다. 본 발명에 따른 영상 검색방법은 기존의 방법에서 프레임을 sub-image 16개로 분할하여 그것을 다시 고정된 image-block으로 나누어 연산을 하는 것과 달리, HEVC 부호화 코덱 자체에서 사용되는 LCU(Largest Coding Unit)인 64x64 크기의 블록을 그대로 사용한다. 또한, 본 발명에 따른 영상 검색방법은 image-block 단위를 5가지 종류의 에지로 나누어 히스토그램을 계산하고, 이를 영상 검색의 기준으로 사용하던 기존 방법과 달리 LCU가 나누어진 깊이 정보에 의거하여 영상 검색을 수행한다. 본 발명은 기존방법에서 수행하던 에지 계산을 수행하지 않고, 부호화 과정을 통해 추가적인 계산 없이도 자연스럽게 얻을 수 있는 Coding Unit Depth 데이타만을 사용하여 상대적으로 적은 연산량으로 영상 검색을 수행한다.

Description

영상 검색방법 및 장치
본 발명은 영상 검색방법 및 장치에 관한 것으로서, 보다 상세하게는 영상과 같은 화상 데이터에 대한 문법정보를 사용하여 검색을 검색속도를 향상시킬 수 있는 영상 검색방법 및 장치에 관한 것이다.
N-screen을 효율적으로 제공하기 위해서는 클라우드 시스템을 이용한 멀티미디어의 고도 집적이 필요하다. 하지만 멀티미디어의 고도 집적은 클라우드 시스템 내에서 멀티미디어 관리 및 영상 검색을 어렵게 하는 문제점을 가져 온다.
따라서 멀티미디어가 고도 집적된 클라우드 시스템에서 멀티미디어 관리를 위한 영상 분류와 사용자가 원하는 영상을 빠르게 검색하여 획득하기 위한 고속 영상 검색 알고리즘일 필요한 상황이다.
이를 위해, 종래에는 에지 히스토그램을 이용한 비디오의 키 프레임 추출 기법을 활용하였다. 이는 비디오 정보를 인덱싱하고 검색하기 위한 하나의 방법으로서, 영상의 변화에 민감하지 않으며 에지(영상에서 밝기가 급격하게 변화는 부분)의 공간적인 분포를 나타내는 에지 히스토그램을 사용한다.
도 1을 참조하여, 종래 기술에 따른 영상 검색 기법을 설명한다. 도 1은 종래 기술에 따른 영상 기법의 일 예를 도시한 도면이다. 도 1에 도시된 바와 같이, 종래 기술에 따른 에지 히스토그램을 이용한 영상 검색 기법은 하나의 영상 프레임을 겹쳐지지 않는 16개의 sub-image로 나누고, 하나의 sub-image를 다시 image-block이라는 분할 영역 단위로 정의한다.
상기 image-block은 4개의 sub-block으로 다시 나뉘고, 각 sub-block 별로 평균 그레이 레벨을 필터링하는 방법에 의해 에지가 검출된다. 검출된 에지는 vertical, horizontal, 45˚ diagonal, 135˚ diagonal, 및 non-directional의 총 5가지 방향으로 분류되고, 각각의 sub-image 별로 상기 에지에 대한 히스토그램이 생성된다.
하나의 영상 프레임은 상술한 바와 같이, 16개의 sub-image로 구성되어 있기 때문에 하나의 영상 프레임마다 16X5=80개의 에지 정보가 생성되고, 이들은 80개의 bin 메모리에 할당된다. 종래 기술에서 에지는 5개의 4탭 필터를 각각 sub-image에 필터링 함으로서 그 크기를 구하여 특정 임계값 이상으로 판단될 때 특정 에지를 포함하고 있는 것으로 판단한다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, HEVC 부호화기의 부호화 과정에서 생성되는 Coding Unit Depth 데이터를 사용하여 영상 검색을 수행하는 방법 및 이를 이용한 장치를 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 목적을 달성하기 위한 영상 검색방법은 HEVC 부호화기의 부호화 과정에서 생성되는 Coding Unit Depth 데이터(이하, 부호화 단위 깊이 정보)를 이용한다.
본 발명의 일 실시예에 따른 영상 검색방법은 검색 목표가 되는 키 프레임의 부호화 단위 깊이 정보에 관한 제1 히스토그램을 생성하는 단계와, 검색 대상이 되는 영상에서 프레임의 부호화 단위 깊이 정보에 관한 제2 히스토그램을 생성하는 단계와, 상기 제1 히스토그램과 상기 제2 히스토그램에 대한 차이정보를 생성하는 단계와, 상기 차이정보에 기초하여 상기 키 프레임에 해당하는 프레임을 검출하는 단계를 포함한다.
상기 제1 및 제2 히스토그램을 생성하는 단계는 HEVC(High Efficiency Video Coding)에서 LCU(Largest Coding Unit)단위 별로 추출된 부호화 단위 깊이 정보를 사용하여 히스토그램을 생성하는 단계를 포함한다.
일 실시예로서, 상기 제1 및 제2 히스토그램을 생성하는 단계는 HEVC 부호화기의 부호화 과정을 통하여 부호화 대상의 기본 단위인 LCU(Largest Coding Unit)가 나뉘어진 결과를 의미하는 부호화 단위 깊이 정보를 추출하는 단계와, LCU 내에서의 최대 깊이Coding Unit Depth 히스토그램을 추출하는 단계, Coding Unit Depth 히스토그램 차이 정보를 계산하는 단계를 포함한다.
상기 LCU의 Coding Unit Depth는 해당 영역의 복잡도 또는 움직임의 정도에 대한 정보를 포함하는 정보로서, HEVC 부호화기는 영상의 복잡한 영역, 또는 영역 내의 움직임이 격동적인 경우 보다 세밀한 Sub Coding Unit 단위로 나눈다.
Coding Unit의 경우 HEVC 부호화기에서 부호화를 함에 있어 가능한 모든 Coding Unit Depth의 경우를 부호화한 뒤 율-왜곡 비용(RD-Cost)이 가장 낮은 경우의 Coding Unit Depth를 선택하여 부호화하기 때문에 해당 LCU의 복잡도 특성을 나타내는 신뢰성 있는 정보로 사용이 가능하다. 상기 목적을 달성하기 위해서는 LCU의 Coding Unit Depth의 최대 깊이의 Depth를 그 정보로 사용한다. 상기 Coding Unit Depth가 0일 경우 64x64 크기의 LCU가 나누어지지 않았음을 의미하며, 가장 큰 Coding Unit Depth가 1일 경우 32x32 크기로 나누어 졌음을 의미한다. 상기 Coding Unit Depth가 2일 경우 Coding Unit이 16x16 크기로 나누어졌음을 의미하며, 3일 경우는 Coding Unit이 8x8 크기로 나누어졌음을 의미한다.
본 발명은 LCU 내의 가장 큰 Coding Unit Depth를 정보로 사용하여 프레임 내의 히스토그램을 얻는 방법을 수행한다. 즉, LCU내의 가장 작은 단위의 Coding Unit의 크기를 얻어 이를 LCU 영역내의 복잡도로 판단하여 전체 프레임 내에서의 Coding Unit Depth 히스토그램을 계산하여 이를 키 프레임의 히스토그램으로 이용한다.
다음으로, 동영상 내의 검색하고자 하는 키 프레임과 비교할 프레임의 Coding Unit Depth 히스토그램을 추출한 뒤 키 프레임의 히스토그램의 차이 정보를 생성한다. Coding Unit Depth의 차이 정보 Coding Unit Depth Histogram Difference(CUDHD)는 다음의 수학식을 이용하여 표현할 수 있다.
CUDHD=
Figure PCTKR2013005950-appb-I000001
(
Figure PCTKR2013005950-appb-I000002
는 검색 목표가 되는 키 프레임의 부호화 단위 깊이 정보에 관한 히스토그램,
Figure PCTKR2013005950-appb-I000003
는 키 프레임과 비교 대상이 되는 프레임의 부호화 단위 깊이 정보에 관한 히스토그램, i는 깊이 정보를 나타내는 인덱스)
한편, 본 발명의 일 면에 따른 영상 검색방법은 컴퓨터에서 실행시키기 위한 프로그램으로 구현되어 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다.
이상 상술한 바와 같이, 본 발명에 따른 영상 검색방법은 HEVC 부호화기에서 부호화 과정을 통해 생성된 Coding Unit Depth 데이터를 사용하여 히스토그램 차이정보를 생성한다. 즉, HEVC 부호화기에서 부호화 과정에서 이미 생성된 Coding Unit Depth 정보를 사용하여 히스토그램을 생성하기 때문에, 종래 기술에서 에지 정보를 생성하고, 필터링을 통한 에지 방향 결정 단계의 계산 과정을 생략할 수 있어 영상 검색 속도가 향상되는 이점이 있다.
또한, 히스토그램의 인덱스를 Coding Unit Depth의 총 개수 0, 1, 2, 3으로 할당함으로써, 종래 80개의 정보를 저장하기 위해 요구되는 메모리의 사용도 감소시킬 수 있는 효과가 있다.
도 1은 종래 기술에 따른 영상 기법의 일 예를 도시한 도면이다.
도 2는 본 발명의 실시예에 다른 영상 검색장치의 개략적인 구성을 도시한 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 영상 검색방법의 순서도이다.
도 4는 본 발명의 실시예에서 HEVC 부호화기의 부호화 과정에서 사용되는 부호화 단위를 도시한 예시도이다.
도 5는 본 발명의 실시예에서 하나의 영상 프레임의 Coding Unit Depth에 대한 히스토그램을 도시한 예시도이다.
한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 2는 본 발명의 실시예에 따른 영상 검색장치의 개략적인 구성을 도시한 블록 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 검색장치(100)는 제1 정보 생성부(200)와, 제2 정보 생성부(300)와, 차이정보 생성부(400)와, 영상 검출부(500)를 포함한다.
제1 정보 생성부(102)는 검색 목표가 되는 키 프레임의 부호화 단위 깊이(이하, Coding Unit Depth) 정보에 관한 히스토그램(이하, 제1 히스토그램) 정보를 생성한다.
Coding Unit Depth는 HEVC(High Efficiency Video Coding) 부호화기에서 부호화 과정에서 생성되는 정보로서, 영상 프레임의 특정 영역에 대한 복잡도 또는 움직임 정도에 대한 정보를 포함한다. HEVC 부호화기는 하나의 프레임에서 영상이 복잡한 영역, 또는 격동적인 움직임 정보를 갖는 영역을 Sub Coding Unit 단위로 나누어 부호화 과정을 수행한다.
즉, HEVC 부호화 과정에서 하나의 영상 프레임은 복수의 LCU(Largest Coding Unit)으로 구성되고, 하나의 LCU는 해당 유닛 영상의 복잡도 또는 움직임 정도에 따라서 Sub Coding Unit 단위로 나뉠 수 있다. LCU는 다양한 크기를 갖는 부호화 유닛 중에서 가장 큰 부호화 유닛을 의미하며, 일반적으로 8x8 ~ 64x64의 크기를 가진다.
일 실시예로서, 64x64의 크기를 가지는 LCU를 기준으로 Coding Unit Depth를 설명한다. 도 4는 본 발명의 실시예에서 HEVC 부호화기의 부호화 과정에서 사용되는 부호화 단위를 도시한 예시도이다.
도 4에 도시된 바와 같이, HEVC 부호화에서 하나의 영상 프레임은 다양한 크기를 갖는 부호화 단위로 구분될 수 있다. 도 4에서 하나의 영상 프레임은 40개의 LCU로 구성되어 있음을 알 수 있다.
도 4의 LCU 중에서 어느 하나의 LCU(10)를 예를 들어, Coding Unit Depth에 대해서 구체적으로 설명한다. 전술한 바와 같이, LCU(10)는 64x64의 크기를 가지며, 32x32 크기를 갖는 제1 서브-부호화 단위(11)로 4등분 된다. 또한, 32x32 크기를 갖는 제1 서브-부호화 단위(11)도 16x16 크기를 갖는 제2 서브-부호화 단위(13)로 4등분되고, 16x16 크기를 갖는 제2 서브-부호화 단위(13) 역시, 8x8 크기를 갖는 제3 서브-부호화 단위(15)로 4등분 된다.
가장 큰 단위의 LCU(10)에 대하여 Coding Unit Depth가 0인 경우는 64x64의 크기의 LCU가 나누어지지 않았음을 의미하고, Coding Unit Depth가 1인 경우는 32x32의 크기의 제1 서브-부호화 단위(11)로 4등분 된 것을 의미한다.
또한, Coding Unit Depth가 2인 경우는 LCU가 16x16의 크기의 제2 서브-부호화 단위(13)로 나뉜 것을 의미하고, Coding Unit Depth가 3인 경우는 LCU가 8x8의 크기의 제3 서브-부호화 단위(15)로 나뉜 것을 의미한다. 여기서, Coding Unit Depth의 크기가 커질수록 해당 LCU 내의 영상 복잡도 또는 움직임은 큰 것을 의미한다.
본 발명에 따른 영상 검색 방법은 HEVC(High Efficiency Video Coding)에서 LCU(Largest Coding Unit)단위 별로 추출된 부호화 단위 깊이 정보를 사용하여 히스토그램을 생성하는 것을 특징으로 한다. 보다 구체적으로, 본 발명에 따른 영상 검색방법은 LCU 내의 가장 큰 Coding Unit Depth 정보를 사용하여 하나의 프레임 내에서 히스토그램 정보를 생성한다. 즉, LCU 내의 가장 작은 단위의 부호화 단위의 크기를 얻어, 이를 LCU 영역 내의 복잡도로 판단하여 전체 프레임 내에서의 Coding Unit Depth 히스토그램을 생성한다.
예를 들어, 도 4에 도시된 영상 프레임(모두 40개의 LCU로 구성 됨)에서 Coding Unit Depth가 0인 LCU는 18개, Coding Unit Depth가 1인 LCU는 1개, Coding Unit Depth가 2인 LCU는 0개, Coding Unit Depth가 3인 LCU는 21개이고, 이와 같은 Coding Unit Depth의 개수 정보에 기초하여 각 영상 프레임마다 히스토그램을 생성한다. 상기와 같은 과정을 통해 생성된 히스토그램의 일 예를 도 5에 도시하였다.
제2 정보 생성부(300) 검색 대상이 되는 영상의 특정 영상 프레임에서 Coding Unit Depth 정보에 관한 히스토그램(이하, 제2 히스토그램)을 생성한다.
일 실시예로서, 제2 정보 생성부(300)는 검색 대상이 되는 영상에서 임의의 프레임을 선택할 수 있고, 선택된 임의의 프레임을 기점으로 해서 시간 순서대로 다음 프레임에 대해서도 Coding Unit Depth 정보에 관한 제2 히스토그램을 생성한다. 일반적으로, 검색 대상이 되는 영상에서 시간 순서 상으로 제일 처음 영상 프레임을 기점으로 제2 히스토그램을 생성한다.
다른 실시예로서, 제2 정보 생성부(300)는 사용자 입력에 따라 기점이 되는 영상 프레임을 선택할 수도 있다. 즉, 사용자는 선택 입력 수단(미도시)를 통해, 검색 대상이 되는 영상에서 검색 기점을 선택할 수 있고, 제2 정보 생성부(300)는 선택된 기점 프레임부터 시간 순서대로 다음 프레임에 대해서도 Coding Unit Depth 정보에 관한 제2 히스토그램을 생성한다.
일 실시예로서, 제2 정보 생성부(300)는 검색 대상이 되는 영상의 1st 영상 프레임부터 Last 영상 프레임까지 모든 영상 프레임에 대하여 제2 히스토그램을 생성할 수 있고, 다른 실시예로서, 제2 정보 생성부(300)는 1st 영상 프레임부터 제2 히스토그램 생성을 시작하고, 검색 목표가 되는 키 영상 프레임에 해당하는 영상 프레임이 검출될 때까지만 제2 히스토그램을 생성할 수도 있다.
한편, 제2 정보 생성부(300)는 하나의 영상 프레임에서 히스토그램 정보를 생성하는데 있어서, 해당 영상 프레임을 구성하는 모든 LCU 각각에 대하여 Coding Unit Depth 정보를 생성하고, 이를 기초로 히스토그램을 생성한다. 제2 정보 생성부(300)에서 히스토그램을 생성하는 구체적인 방법은 제1 정보 생성부(200)가 히스토그램을 생성하는 방법과 동일하므로, 이에 대한 구체적인 설명은 생략하도록 한다.
차이정보 생성부(400)는 아래의 수학식 1을 사용하여 제1 히스토그램과 제2 히스토그램 사이의 차이정보, Coding Unit Depth Histogram Difference(CUDHD)를 생성한다.
수학식 1
Figure PCTKR2013005950-appb-M000001
(
Figure PCTKR2013005950-appb-I000004
는 검색 목표가 되는 키 프레임의 부호화 단위 깊이 정보에 관한 히스토그램,
Figure PCTKR2013005950-appb-I000005
는 키 프레임과 비교 대상이 되는 프레임의 부호화 단위 깊이 정보에 관한 히스토그램, i는 깊이 정보를 나타내는 인덱스로서 깊이 0, 1, 2, 3에 대한 색인으로 사용된다)
영상 검출부(500)는 상기 차이정보에 기초하여, 상기 키 프레임에 해당하는 프레임을 검출한다.
일 실시예로서, 영상 검출부(500)는 차이정보 생성부(400)에서 생성된 차이정보를 기 설정된 임계 값(Threshold)와 비교하고, 비교 결과 차이정보가 임계 값 미만인 경우, 현재 비교 대상이 되는 프레임을 키 프레임에 해당하는 프레임으로 검출한다.
이하, 도 3을 참조하여 본 발명의 다른 실시예에 따른 영상 처리방법을 구체적으로 설명한다. 도 3은 본 발명의 실시예에 따른 영상 검색방법의 순서도이다.
도 3에 도시된 바와 같이, 제1 생성부(200) 및 제2 생성부(300)는 제1 히스토그램 및 제2 히스토그램 정보를 생성한다.
제1 정보 생성부(200)는 검색 목표가 되는 키 프레임의 1st LCU에 대하여 Coding Unit Depth 정보를 산출한다(S211). 상술한 바와 같이, Coding Unit Depth는 해당 LCU에서의 영상 복잡도 및 움직임 정도를 나타내는 것으로서, Coding Unit Depth가 클수록 해당 LCU의 복잡도 및 움직임 정도가 큰 것을 의미한다. 제1 정보 생성부(200)는 1st LCU에서 최대 깊이 값을 Coding Unit Depth 정보로 산출한다.
Coding Unit Depth 정보는 키 프레임의 모든 LCU에서 산출되고, 현재 Coding Unit Depth가 산출되고 있는 LCU가 키 프레임에서의 마지막 LCU인 경우에는 Coding Unit Depth 산출 과정이 완료된다(S213).
이후, 제1 정보 생성부(200)는 키 프레임의 모든 LCU에서 산출된 Coding Unit Depth를 이용하여 제1 히스토그램을 생성한다(S215).
한편, 제2 정보 생성부(200)는 검색 대상이 되는 영상의 1st 프레임의 1st LCU에 대하여 Coding Unit Depth 정보를 산출한다(S311). 제1 정보 생성부(100)에서와 같이, Coding Unit Depth 정보는 모든 LCU에서 산출되고, 현재 Coding Unit Depth가 산출되고 있는 LCU가 1st 프레임에서의 마지막 LCU인 경우에는 Coding Unit Depth 산출 과정이 완료된다(S313).
이후, 제2 정보 생성부(200)는 1st 프레임의 모든 LCU에서 산출된 Coding Unit Depth를 이용하여 제2 히스토그램을 생성한다(S315).
차이정보 생성부(400)는 상기 수학식 1을 사용하여 제1 히스토그램과 제2 히스토그램 사이의 차이정보, Coding Unit Depth Histogram Difference(CUDHD)를 생성한다(S400).
영상 검출부(500)는 상기 차이정보를 기 설정된 임계 값과 비교하고, 그 비교결과에 기초하여 비교 대상이 되는 프레임을 키 프레임에 해당하는 프레임으로 검출한다(S500).
구체적으로, 비교 결과 차이정보가 임계 값 미만인 경우, 영상 검출부(500)는 현재 비교 대상이 되는 프레임을 키 프레임에 해당하는 프레임으로 검출하고, 비교 결과 차이정보가 임계 값 이상인 경우, 2nd 프레임에 대하여 전술한 S311, S313, S315, S400 단계가 반복하여 수행된다.
한편, 상술한 본 발명에 따른 영상 검색방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (11)

  1. HEVC 부호화기에서 생성된 부호화 단위 깊이(Coding Unit Depth) 정보를 이용한 영상 검색방법에 있어서,
    (a) 검색 목표가 되는 키 프레임의 부호화 단위 깊이 정보에 관한 제1 히스토그램을 생성하는 단계;
    (b) 검색 대상이 되는 영상에서 제1 프레임의 부호화 단위 깊이 정보에 관한 제2 히스토그램을 생성하는 단계;
    (c) 상기 제1 히스토그램과 상기 제2 히스토그램에 대한 차이정보를 생성하는 단계; 및
    (d) 상기 차이정보에 기초하여 상기 제1 프레임을 상기 키 프레임에 해당하는 프레임으로 검출하는 단계
    를 포함하는 영상 검색방법.
  2. 제1항에 있어서, 상기 제1 및 제2 히스토그램을 생성하는 단계는,
    HEVC(High Efficiency Video Coding)에서 LCU(Largest Coding Unit)단위 별로 추출된 부호화 단위 깊이 정보를 사용하여 히스토그램을 생성하는 단계를 포함하는 것
    인 영상 검색방법.
  3. 제1항에 있어서,
    상기 차이정보를 생성하는 단계는 다음의 수학식을 이용하여 히스토그램 간의 차이정보를 생성하는 단계를 포함하는 것인 영상 검색방법.
    Figure PCTKR2013005950-appb-I000006
    (
    Figure PCTKR2013005950-appb-I000007
    는 검색 목표가 되는 키 프레임의 부호화 단위 깊이 정보에 관한 히스토그램,
    Figure PCTKR2013005950-appb-I000008
    는 키 프레임과 비교 대상이 되는 프레임의 부호화 단위 깊이 정보에 관한 히스토그램, i는 깊이 정보를 나타내는 인덱스)
  4. 제1항에 있어서, 상기 해당하는 프레임으로 검출하는 단계는,
    상기 차이정보가 기 설정된 임계 값 미만인 경우, 상기 제1 프레임을 검색하고자 하는 프레임으로 추출하는 단계를 포함하는 것
    인 영상 검색방법.
  5. 제1항에 있어서,
    상기 해당하는 프레임으로 검출하는 단계를 수행한 결과,
    상기 차이정보가 기 설정된 임계 값 이상인 경우, 상기 제1 프레임의 다음프레임인 제2 프레임에 대하여 상기 (b) 내지 (d) 단계를 수행하는 단계
    를 더 포함하는 영상 검색방법.
  6. 검색 목표가 되는 키 프레임의 부호화 단위 깊이(Coding Unit Depth) 정보에 관한 제1 히스토그램을 생성하는 제1 정보 생성부;
    검색 대상이 되는 영상에서 제1 프레임의 부호화 단위 깊이 정보에 관한 제2 히스토그램을 생성하는 제2 정보 생성부;
    상기 제1 히스토그램과 상기 제2 히스토그램에 대한 차이정보를 생성하는 차이정보 생성부; 및
    상기 차이정보에 기초하여 상기 키 프레임에 해당하는 프레임을 검출하는 영상 검출부
    를 포함하는 영상 검색장치.
  7. 제1항에 있어서, 상기 제1 및 제2 정보 생성부는,
    HEVC(High Efficiency Video Coding)에서 LCU(Largest Coding Unit)단위 별로 추출된 부호화 단위 깊이 정보를 사용하여 히스토그램을 생성하는 것
    인 영상 검색장치.
  8. 제1항에 있어서,
    상기 차이정보 생성부는 다음의 수학식을 이용하여 히스토그램 간의 차이정보를 생성하는 것인 영상 검색장치.
    Figure PCTKR2013005950-appb-I000009
    (
    Figure PCTKR2013005950-appb-I000010
    는 검색 목표가 되는 키 프레임의 부호화 단위 깊이 정보에 관한 히스토그램,
    Figure PCTKR2013005950-appb-I000011
    는 키 프레임과 비교 대상이 되는 프레임의 부호화 단위 깊이 정보에 관한 히스토그램, i는 깊이 정보를 나타내는 인덱스)
  9. 제1항에 있어서, 상기 영상 검출부는,
    상기 차이정보가 기 설정된 임계 값 미만인 경우, 상기 제1 프레임을 검색하고자 하는 프레임으로 추출하는 것
    인 영상 검색장치.
  10. 제1항 내지 제5항 중 어느 한 항에 기재된 영상 검색방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
  11. 상기 제1 및 제2 정보 생성부는,
    HEVC(High Efficiency Video Coding)에서 LCU(Largest Coding Unit)단위 별로 추출된 부호화 단위 깊이 정보 중, 가장 큰 단위를 갖는 부호화 단위 깊이 정보를 사용하여 히스토그램을 생성하는 것
    인 영상 검색장치.
PCT/KR2013/005950 2012-07-06 2013-07-04 영상 검색방법 및 장치 Ceased WO2014007562A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/413,088 US20150288973A1 (en) 2012-07-06 2013-07-04 Method and device for searching for image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0073941 2012-07-06
KR1020120073941A KR101343554B1 (ko) 2012-07-06 2012-07-06 영상 검색방법 및 장치

Publications (1)

Publication Number Publication Date
WO2014007562A1 true WO2014007562A1 (ko) 2014-01-09

Family

ID=49882257

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005950 Ceased WO2014007562A1 (ko) 2012-07-06 2013-07-04 영상 검색방법 및 장치

Country Status (3)

Country Link
US (1) US20150288973A1 (ko)
KR (1) KR101343554B1 (ko)
WO (1) WO2014007562A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796693A (zh) * 2015-04-01 2015-07-22 南京邮电大学 一种hevc快速cu深度划分编码方法
CN107430782A (zh) * 2015-04-23 2017-12-01 奥斯坦多科技公司 用于利用深度信息的全视差压缩光场合成的方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702603B (zh) * 2019-10-22 2024-11-29 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3346679B2 (ja) * 1994-06-14 2002-11-18 日本電信電話株式会社 画像検査／認識方法、これに用いる参照データ作成方法およびこれらの装置
JP2003006643A (ja) * 2001-06-25 2003-01-10 Canon Inc 画像処理装置及びその方法、プログラム
KR20040065523A (ko) * 2003-01-13 2004-07-22 한국전자통신연구원 복수의 이미지 프레임을 갖는 비디오 시퀀스 검색을 위한비선형 양자화 및 유사도 매칭 방법
JP2006331460A (ja) * 2004-03-03 2006-12-07 Nec Corp 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム
KR20110074107A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 카메라를 이용한 오브젝트 검출 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807298B1 (en) * 1999-03-12 2004-10-19 Electronics And Telecommunications Research Institute Method for generating a block-based image histogram
US6993182B2 (en) * 2002-03-29 2006-01-31 Koninklijke Philips Electronics N.V. Method and apparatus for detecting scene changes in video using a histogram of frame differences
DE102007019057A1 (de) * 2007-04-23 2008-10-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bestimmen eines Kanten-Histogramms, Vorrichtung und Verfahren zum Ablegen eines Bildes in einer Bilddatenbank, Vorrichtung und Verfahren zum Auffinden von zwei ähnlichen Bildern und Computerprogramm
US20100080459A1 (en) * 2008-09-26 2010-04-01 Qualcomm Incorporated Content adaptive histogram enhancement
US20100309976A1 (en) * 2009-06-04 2010-12-09 Texas Instruments Incorporated Method and apparatus for enhancing reference frame selection
US20120176536A1 (en) * 2011-01-12 2012-07-12 Avi Levy Adaptive Frame Rate Conversion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3346679B2 (ja) * 1994-06-14 2002-11-18 日本電信電話株式会社 画像検査／認識方法、これに用いる参照データ作成方法およびこれらの装置
JP2003006643A (ja) * 2001-06-25 2003-01-10 Canon Inc 画像処理装置及びその方法、プログラム
KR20040065523A (ko) * 2003-01-13 2004-07-22 한국전자통신연구원 복수의 이미지 프레임을 갖는 비디오 시퀀스 검색을 위한비선형 양자화 및 유사도 매칭 방법
JP2006331460A (ja) * 2004-03-03 2006-12-07 Nec Corp 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム
KR20110074107A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 카메라를 이용한 오브젝트 검출 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796693A (zh) * 2015-04-01 2015-07-22 南京邮电大学 一种hevc快速cu深度划分编码方法
CN104796693B (zh) * 2015-04-01 2017-08-25 南京邮电大学 一种hevc快速cu深度划分编码方法
CN107430782A (zh) * 2015-04-23 2017-12-01 奥斯坦多科技公司 用于利用深度信息的全视差压缩光场合成的方法

Also Published As

Publication number Publication date
US20150288973A1 (en) 2015-10-08
KR101343554B1 (ko) 2013-12-20

Similar Documents

Publication Publication Date Title
JP2023516674A5 (ko)
WO2011112028A2 (ko) 입체 영상 생성 방법 및 그 장치
CN112200740B (zh) 一种基于图像边缘检测的图像分块去重方法和系统
WO2011136407A1 (ko) 스테레오 카메라를 이용한 영상인식장치 및 방법
KR20120111153A (ko) 번호판영역 검출을 위한 전처리 방법 및 장치
CN116630226B (zh) 一种包裹抓取方法、装置及设备
WO2014007562A1 (ko) 영상 검색방법 및 장치
KR101963404B1 (ko) 2-단계 최적화 딥 러닝 방법, 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 딥 러닝 시스템
US20170223333A1 (en) Method and apparatus for processing binocular disparity image
WO2021091053A1 (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
JP2023553914A5 (ko)
WO2011078596A2 (ko) 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
CN117392404A (zh) 一种提高图像检测速度的方法及系统
WO2014185691A1 (ko) 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
CN109559306A (zh) 基于边缘检测的交联聚乙烯绝缘层表面平整性检测方法
WO2023101400A1 (ko) 자동차 정보 수집 장치
WO2018131729A1 (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
KR101920159B1 (ko) 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치
WO2011136405A1 (ko) 3ｄ 카메라를 이용한 영상인식장치 및 방법
WO2015008937A1 (ko) 모션 데이터 생성 방법 및 장치
CN111104970B (zh) 人脸聚类方法及装置
WO2025063395A1 (ko) 이중 어텐션을 이용한 이미지 세그멘테이션 방법 및 이를 이용한 장치
WO2021095961A1 (ko) Ptz 카메라 제어 장치 및 그 방법
CN111161397A (zh) 人脸三维重建方法、装置、电子设备及可读存储介质
WO2022108127A1 (ko) 촬영 공간 정보 기반 cctv 저장 영상 검색 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13813896

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14413088

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13813896

Country of ref document: EP

Kind code of ref document: A1