KR100754334B1 - Auto-indexing method for of personal video player - Google Patents
Auto-indexing method for of personal video player Download PDFInfo
- Publication number
- KR100754334B1 KR100754334B1 KR1020060081882A KR20060081882A KR100754334B1 KR 100754334 B1 KR100754334 B1 KR 100754334B1 KR 1020060081882 A KR1020060081882 A KR 1020060081882A KR 20060081882 A KR20060081882 A KR 20060081882A KR 100754334 B1 KR100754334 B1 KR 100754334B1
- Authority
- KR
- South Korea
- Prior art keywords
- infrastructure
- frames
- classified
- change point
- scene change
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/4147—PVR [Personal Video Recorder]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
Abstract
Description
도 1 은 본 발명의 실시예에 따른 비디오 재생장치의 자동 인덱싱 방법의 순서도.1 is a flowchart of an automatic indexing method of a video player according to an embodiment of the present invention.
본 발명은 비디오 재생장치의 자동 인덱싱 방법에 관한 것으로서, 더욱 상세하게는 저장된 영상에서 장면의 전환 부분을 줄거리의 변화부분으로 인식하여 인덱싱을 수행할 수 있도록 하는 비디오 재생장치의 자동 인덱싱 방법에 관한 것이다.The present invention relates to an automatic indexing method of a video player, and more particularly, to an automatic indexing method of a video player to perform indexing by recognizing a transition part of a scene as a change part of a plot in a stored image. .
최근, 텔레비전 방송신호 등을 하드디스크, DVD 미디어 등 저장매체에 저장할 수 있는 PVR(Personal Video Recoder)가 개발되어, 기존의 비디오 녹화 테이프 등을 이용한 방송신호의 녹화등 아날로그 방식을 대체하고 있다. Recently, a personal video recorder (PVR) capable of storing a television broadcast signal and the like on a storage medium such as a hard disk or a DVD media has been developed, and replaces an analog method such as recording a broadcast signal using a conventional video recording tape or the like.
특히 PVR은 종래의 아날로그 방식의 녹화에 비하여 사용이 편리하고, 저장된 영상의 편집 등 응용 가능성이 높아 그 사용이 증가하고 있는 추세이다.In particular, PVR is more convenient to use than conventional analog recording, and its use is increasing due to the high possibility of application such as editing stored images.
이와 같이 저장된 영상을 인덱싱하기 위한 종래 인덱싱 방법은 아이프레임(I-FRAME)을 일정한 프레임 간격으로 비교하거나, 단순히 1분 뒤/앞, 10초 뒤/앞 등 시간간격으로 인덱싱하고 있다.In the conventional indexing method for indexing the stored image as described above, I-FRAMEs are compared at regular frame intervals, or simply indexed at intervals such as 1 minute back / front and 10 seconds back / front.
상기와 같은 종래 비디오 재생장치의 인덱싱 방법은 자동으로 장면의 전환 등을 인식하지 못하기 때문에 사용자가 시청을 원하는 장면까지 수동으로 인덱싱을 수행해야 하는 문제점이 있었다.Since the indexing method of the conventional video reproducing apparatus as described above does not automatically recognize a scene change, there is a problem in that a user manually indexes a scene to be watched.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 영상의 내용이 전환되는 부분을 자동으로 찾아 인덱싱할 수 있는 비디오 재생장치의 자동 인덱싱 방법을 제공함에 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problem, and an object thereof is to provide an automatic indexing method of a video player which can automatically find and index a portion where an image content is changed.
또한 자동 인덱싱을 수행하면서 장면의 전환을 형태 정보, 질감 정보, 색상 정보를 조합하여 그 결과에 따라 인덱싱을 수행함으로써, 인덱싱의 신뢰성을 향상시킬 수 있는 비디오 재생장치의 자동 인덱싱 방법을 제공함에 그 목적이 있다.The present invention also provides an automatic indexing method of a video player that can improve the reliability of indexing by performing scene indexing by combining shape information, texture information, and color information while performing automatic indexing. There is this.
전술한 목적을 달성하기 위해 창안된 본 발명의 구성은 다음과 같다. 본 발명의 비디오 재생장치의 자동 인덱싱 방법은 영상에 포함된 모든 인프라 프레임에 대하여, 이전의 인프라 프레임과의 형태정보를 비교하여 형태 유사도를 구하여, 그 형태 유사도가 설정값 이상인 인프라 프레임에 대하여 1차 장면 전환점으로 분류하는 제1단계, 상기 1차 장면 전환점으로 분류된 인프라 프레임들의 화면 복잡도를 구하고, 이전 인프라 프레임들과의 복잡도 차를 구하여 그 차가 설정값 이상이면 2차 장면 전환점으로 분류하는 제2단계와, 상기 2차 장면 전환점으로 분류된 인프라 프레임들의 대표 색상값을 정한 후, 가장 유사한 색상값으로 픽셀을 분류하고, 상기 2차 장면 전환점으로 분류된 인프라 프레임들과 이전 인프라 프레임들의 차를 구하여 그 차가 설정값 이상이면 그 인프라 프레임을 확정된 장면 전환점으로 판단하는 제3단계와, 상기 제3단계에서 확정된 장면 전환점 마다의 인덱싱을 수행하는 단계를 포함한다.The present invention devised to achieve the above object is as follows. The automatic indexing method of the video reproducing apparatus of the present invention obtains the shape similarity by comparing the shape information with the previous infrastructure frame with respect to all the infrastructure frames included in the image, and obtains the primary form for the infrastructure frame whose shape similarity is equal to or greater than a set value. A first step of classifying a scene change point, a second complexity of obtaining a screen complexity of infrastructure frames classified as the primary scene change point, obtaining a difference in complexity from previous infrastructure frames, and classifying it as a second scene change point if the difference is greater than or equal to a set value And determining a representative color value of the infrastructure frames classified as the second scene change point, classifying pixels with the most similar color values, and obtaining the difference between the infrastructure frames classified as the second scene change point and previous infrastructure frames. If the difference is greater than or equal to the set value, the infrastructure frame is regarded as a determined scene change point. And indexing each scene change point determined in the third step.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 본 발명의 실시예에 따른 비디오 재생장치의 자동 인덱싱 방법의 순서도이다.1 is a flowchart of an automatic indexing method of a video player according to an embodiment of the present invention.
도 1 을 참조하면, 본 발명의 실시예에 따른 비디오 재생장치의 자동 인덱싱 방법은 특정 인프라 프레임(infra frame)과 이전 인프라 프레임의 형태정보를 비교하여 유사도를 구하는 단계(S10)와, 형태정보 유사도가 설정값 이상인지 판단하여, 설정값 이상이면 1차 장면 전환점으로 분류하는 단계(S20)와, 1차 장면 전환점으로 분류된 인프라 프레임들의 화면 복잡도 차를 구하여 그 차가 설정값 이상이면 2차 장면 전환점으로 분류하는 단계(S30)와, 2차 장면 전환점으로 분류된 인프라 프레임들의 대표 색상값을 정한 후, 가장 유사한 색상값으로 픽셀을 분류하고, 상기 두 인프라 프레임들을 각각 비교하여 설정값 이상이면 그 인프라 프레임을 내용 전환점으로 판단하고 인덱싱하는 단계(S40)로 이루어진다.Referring to FIG. 1, in the automatic indexing method of a video playback apparatus according to an embodiment of the present invention, a step of obtaining similarity by comparing shape information of a specific infrastructure frame and a previous infrastructure frame (S10) and shape information similarity level Is determined to be greater than or equal to the set value, and if it is greater than or equal to the set value, classifying the scene into a primary scene change point (S20), and calculating a screen complexity difference between infrastructure frames classified as the primary scene change point, and if the difference is greater than or equal to the set value, the secondary scene change point. In step S30, the representative color values of the infrastructure frames classified as the second scene change point are determined, the pixels are classified into the most similar color values, and the two infrastructure frames are compared with each other to set the infrastructure color. In operation S40, the frame is determined as the content turning point and indexed.
이하, 상기와 같이 구성되는 본 발명 비디오 재생장치의 자동 인덱싱 방법을 보다 상세하게 설명한다.Hereinafter, the automatic indexing method of the video player of the present invention configured as described above will be described in more detail.
먼저, S10단계에서는 n(n은 양의 정수)번째 인프라 프레임과 그 n번째 인프라 프레임의 이전 인프라 프레임인 n-1번째 인프라 프레임의 형태정보를 비교하여 형태 유사도를 구한다.First, in step S10, shape similarity is obtained by comparing shape information of an n (n positive integer) infrastructure frame and n-1 infrastructure frame, which is a previous infrastructure frame of the n infrastructure frame.
상기 형태정보는 상기 n-1번째 인프라 프레임과 n번째 인프라 프레임의 8x8 블록의 DCT(Discrete Cosine Transform)계수중 같은 블록의 DC성분 차의 총합이며, 두 프레임간의 형태정보의 차로 유사도를 구한다.The shape information is the sum of the DC component differences of the same block among the DCT coefficients of the 8x8 block of the n-1th infrastructure frame and the nth infrastructure frame, and the similarity is obtained by the difference of the shape information between the two frames.
이를 수학식으로 표현하면 아래의 수학식1과 같다.This may be expressed as Equation 1 below.
위의 수학식 1에서 i는 프레임이며, m은 인프라 프레임의 순서를 나타내는 양의 정수, n은 특정한 프레임을 나타내는 양의 정수로 최대값은 m이며, N은 형태정보 유사도이다.In Equation 1, i is a frame, m is a positive integer indicating the order of the infrastructure frame, n is a positive integer indicating a specific frame, the maximum value is m, N is the shape information similarity.
그 다음, S20단계에서는 유사도(N)의 값이 설정값 이상인지 판단하여 그 유사도의 값이 설정값 이상일 때 상기 n-1번째 인프라 프레임과 n번째 인프라 프레임은 장면이 변환된 것으로 볼 수 있으며, 이를 1차 장면 전환점으로 분류한다.Next, in step S20 it is determined whether the value of the similarity (N) is greater than or equal to the set value, when the value of the similarity is greater than or equal to the set value can be seen that the scene is converted to the n-th infrastructure frame and the n-th infrastructure frame, This is classified as the primary scene change point.
그 다음, S30단계에서는 상기 1차 장면 전환점으로 분류된 인프라 프레임들의 화면 복잡도 차를 구하여 그 차가 설정값 이상이면 2차 장면 전환점으로 분류한다.Next, in step S30, the difference in screen complexity of the infrastructure frames classified as the primary scene change point is obtained and classified as the secondary scene change point when the difference is greater than or equal to a set value.
이때, 화면 복잡도는 상기 1차 장면 전환점으로 분류된 인프라 프레임들의 컨포넌트 출력(Y, Pb, Pr) 값을 이용하여 색상 값으로만 구성된 프레임으로 변환하고, 유사 그룹 필터링(peer group filering)법을 이용하여 계산된다.In this case, the screen complexity is converted into a frame composed only of color values by using the component output (Y, Pb, Pr) values of the infrastructure frames classified as the first scene turning point, and using a peer group filering method. Is calculated.
유사 그룹 필터링법은 영상을 부드럽게(smoothing) 처리하는 과정에서 사용하는 기법이며, 이 기법으로 대비되는 두 인프라 프레임의 화면 구성의 복잡도를 구할 수 있다.Pseudo-group filtering is a technique used in the process of smoothing an image, and the complexity of the screen composition of two infrastructure frames can be obtained.
이 유사 그룹 필터링법은 3X3 크기의 마스크를 사용하여 인프라 프레임의 각 픽셀마다 8개의 주변 픽셀과의 거리를 구하고, 크기 순서로 정렬하여 유사 그룹을 그룹화한다.This pseudo group filtering method uses a 3X3 size mask to find the distance to eight neighboring pixels for each pixel in the infrastructure frame, and groups similar groups in order of magnitude.
이를 수학식으로 표현하면 아래의 수학식2와 같다.This may be expressed as Equation 2 below.
i는 1 부터 8까지의 정수이며, Di는 주변 픽셀과의 거리이며, P는 각 픽셀간의 거리를 크기 순서로 정렬한 유사 그룹이다.i is an integer from 1 to 8, Di is the distance from the surrounding pixels, and P is a pseudo group in which the distances between the pixels are arranged in size order.
그 다음, 상기 그룹화된 픽셀들을 각 픽셀별로 만들어진 유사 그룹에 알맞은 임계치를 이용하여 두개의 그룹으로 분류하며, 이를 수학식으로 표현하면 아래의 수학식3으로 표현할 수 있다.Next, the grouped pixels are classified into two groups by using a threshold appropriate for a similar group made for each pixel, and this may be expressed by Equation 3 below.
이때, a1, a2는 각 그룹의 평균이고, s1, s2는 분산을 의미한다.In this case, a1 and a2 are averages of the groups, and s1 and s2 mean variance.
J(n)이 최대가 될 때 두개의 그룹이 가장 잘 나누어진 상태가 된다.When J (n) is maximum, the two groups are best divided.
따라서, 특정한 픽셀의 주변 복잡도(C)는 아래의 수학식4로 표현하며, 프레임 전체의 복잡도는 아래의 수학식5로 표현할 수 있다.Therefore, the peripheral complexity C of a specific pixel may be expressed by Equation 4 below, and the complexity of the entire frame may be expressed by Equation 5 below.
T는 실험계수이다.T is the experimental coefficient.
이와 같은 프레임 전체의 복잡도를 1차 장면 전환점으로 분류된 각 프레임마다 구하고, n-1번째 프레임의 복잡도와 n번째 프레임의 복잡도 차가 설정값보다 큰가를 판단하여, 큰 경우에만 2차 장면 전환점으로 분류한다.The complexity of the entire frame is obtained for each frame classified as the primary scene change point, and it is determined whether the difference between the complexity of the n-1th frame and the complexity of the nth frame is greater than the set value and classified as the secondary scene change point only when it is large. do.
그 다음, S40단계에서는 2차 장면 전환점으로 분류된 프레임들의 대표 색상 값을 정하고, 가장 유사한 색상값으로 픽셀을 분류하고, 두 인프라 프레임들을 각각 비교하여 설정값 이상이면 색상에 차이가 있는 것으로 판단하여 확정된 장면 전환점으로 판단한다.Next, in step S40, the representative color values of the frames classified as the second scene change point are determined, the pixels are classified into the most similar color values, and the two infrastructure frames are compared to each other. Judging by the determined scene change point.
각 프레임들의 대표 색상값은 그 프레임 내에서 가장 많은 픽셀에서 표시되는 색상이며, 그 색상들을 히스토그램으로 정리한다.The representative color value of each frame is the color displayed at the most pixels in the frame, and the colors are arranged in a histogram.
그 다음, 2차 장면 전환점으로 분류된 n-1번째 인프라 프레임과 n번째 인프라 프레임의 히스토그램을 비교하여, 색상의 차이가 설정값 보다 큰 경우 그 n번째 인프라 프레임이 n-1번째 인프라 프레임에 대해 확정적인 장면 전환점으로 판단한다.Next, the histogram of the n-1th infrastructure frame and the nth infrastructure frame classified as the second scene transition point is compared, and if the color difference is larger than the set value, the nth infrastructure frame is compared to the n-1 infrastructure frame. Judging by the definite scene turning point.
이와 같은 과정을 통해 프레임의 유사도, 복잡도, 색상의 차이를 고려한 장면 전환점을 확정할 수 있으며, 사용자가 인덱싱을 원하는 경우 그 장면 전환점으로의 인덱싱이 가능하도록 한다.Through this process, the scene change point can be determined in consideration of the similarity, complexity, and color of the frame, and indexing to the scene change point is possible when the user wants indexing.
본 발명은 전술한 실시예에 국한되지 않고 본 발명의 기술사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수 있다.The present invention is not limited to the above-described embodiments and can be carried out in various modifications within the scope of the technical idea of the present invention.
이와 같이 구성되는 본 발명에 따르면, 프레임의 유사도, 복잡도, 색상의 차이를 고려한 장면 전환점을 확정할 수 있으며, 사용자가 인덱싱을 원하는 경우 그 장면 전환점으로의 인덱싱이 가능하도록 함으로써, 자동으로 영상의 내용이 변화되는 부분으로의 인덱싱이 가능한 효과가 있다.According to the present invention configured as described above, it is possible to determine the scene change point in consideration of the similarity, complexity, and color of the frame, and when the user wants indexing, indexing to the scene change point is possible, thereby automatically providing the contents of the image. Indexing to this changing part is possible.
Claims (3)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060081882A KR100754334B1 (en) | 2006-08-28 | 2006-08-28 | Auto-indexing method for of personal video player |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060081882A KR100754334B1 (en) | 2006-08-28 | 2006-08-28 | Auto-indexing method for of personal video player |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100754334B1 true KR100754334B1 (en) | 2007-08-31 |
Family
ID=38615971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060081882A KR100754334B1 (en) | 2006-08-28 | 2006-08-28 | Auto-indexing method for of personal video player |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100754334B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR960032382A (en) * | 1995-02-24 | 1996-09-17 | 구자홍 | DVCR Index Search System |
KR20010009415A (en) * | 1999-07-09 | 2001-02-05 | 윤종용 | Recording medium storing scene change point information for navigation of A/V contents, method for automatically generating this information, and recording and/or playback apparatus for generating this information |
KR20020009757A (en) * | 2000-07-26 | 2002-02-02 | 성주호 | Digital Video Searching And Authoring Tool |
KR20030055962A (en) * | 2001-12-27 | 2003-07-04 | 주식회사 엘지이아이 | Apparatus for detecting scene conversion |
JP2006157758A (en) | 2004-12-01 | 2006-06-15 | Hitachi Ltd | Video reproducing equipment and video detection/utilization method |
-
2006
- 2006-08-28 KR KR1020060081882A patent/KR100754334B1/en not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR960032382A (en) * | 1995-02-24 | 1996-09-17 | 구자홍 | DVCR Index Search System |
KR20010009415A (en) * | 1999-07-09 | 2001-02-05 | 윤종용 | Recording medium storing scene change point information for navigation of A/V contents, method for automatically generating this information, and recording and/or playback apparatus for generating this information |
KR20020009757A (en) * | 2000-07-26 | 2002-02-02 | 성주호 | Digital Video Searching And Authoring Tool |
KR20030055962A (en) * | 2001-12-27 | 2003-07-04 | 주식회사 엘지이아이 | Apparatus for detecting scene conversion |
JP2006157758A (en) | 2004-12-01 | 2006-06-15 | Hitachi Ltd | Video reproducing equipment and video detection/utilization method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9576202B1 (en) | Systems and methods for identifying a scene-change/non-scene-change transition between frames | |
CN1265321C (en) | Method of and system for detecting cartoon in video data stream | |
JP4377887B2 (en) | Video dividing device | |
US8400513B2 (en) | Data processing apparatus, data processing method, and data processing program | |
US20080260255A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and computer program | |
Bidokhti et al. | Detection of regional copy/move forgery in MPEG videos using optical flow | |
US20110145883A1 (en) | Television receiver and method | |
KR20010089770A (en) | Significant scene detection and frame filtering for a visual indexing system using dynamic threshold | |
JP2008083894A (en) | Program, detection method, and detection device | |
CN107871303B (en) | Image processing method and device | |
JP2007006454A (en) | Contents processing device, contents processing method, and computer program | |
US10943090B2 (en) | Method for face searching in images | |
JP2011118498A (en) | Video identifier extraction device and method, video identifier collation device and method, and program | |
US8363726B2 (en) | Electronic apparatus, motion vector detecting method, and program therefor | |
KR100754334B1 (en) | Auto-indexing method for of personal video player | |
KR101290673B1 (en) | Method of detecting highlight of sports video and the system thereby | |
US7747130B2 (en) | Apparatus and method for extracting representative still images from MPEG video | |
KR100812041B1 (en) | A method for auto-indexing using a process of detection of image conversion | |
US9025930B2 (en) | Chapter information creation apparatus and control method therefor | |
KR101493091B1 (en) | Method of playing video contents by using skip function and method of generating thumbnail image by using skip function | |
JP2010097246A (en) | Scene similarity determining device, program of the same, and summary video generating system | |
KR101501244B1 (en) | Method for generating a thumbnail | |
JP4835540B2 (en) | Electronic device, video feature detection method and program | |
JPH0537853A (en) | Cut automatic division method for moving picture | |
JP4893524B2 (en) | Electronic device, video data determination method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |