WO2017222228A1 - 영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버 - Google Patents

영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버 Download PDF

Info

Publication number
WO2017222228A1
WO2017222228A1 PCT/KR2017/006114 KR2017006114W WO2017222228A1 WO 2017222228 A1 WO2017222228 A1 WO 2017222228A1 KR 2017006114 W KR2017006114 W KR 2017006114W WO 2017222228 A1 WO2017222228 A1 WO 2017222228A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
change
color
server
color information
Prior art date
Application number
PCT/KR2017/006114
Other languages
English (en)
French (fr)
Inventor
유성훈
진성민
Original Assignee
(주)핑거플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)핑거플러스 filed Critical (주)핑거플러스
Publication of WO2017222228A1 publication Critical patent/WO2017222228A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Definitions

  • Various embodiments of the present invention relate to a method of recognizing a screen change of image content, and more particularly, to a technique of automatically classifying consecutive frames in image content such as a video based on a scene change.
  • the conventional screen switching recognition method has a problem in that it is difficult to accurately recognize whether the screen is switched because it recognizes whether the scene is changed based on the color change such as color between frames.
  • the server since the change in the color histogram is performed by being sensitive to the change in illumination and brightness, the server does not actually change the scene, but even if a small screen difference due to a certain movement of the camera, the server may change the screen difference as described above. Errors that are perceived as differences frequently occur.
  • a method of recognizing a screen change of image content in a server is a method of recognizing a screen change of image content in a server, wherein the first frame and the next frame of the first frame are included in the image content.
  • the step of verifying the presence or absence of the screen switching by verifying the pixel pattern, each of the first frame and the second frame to a plurality of pixel pattern areas Partitioning; Identifying a number of pixel pattern regions of the first frame that are matched with pixel pattern regions of the second frame by a predetermined deviation; And determining the presence or absence of the screen change based on the number of matches with the predetermined deviation.
  • the determining of the presence or absence of the screen switching based on the number of matching with the predetermined deviation may include a number of matching with the predetermined deviation being greater than or equal to a set threshold value. If it is determined that the screen change is not made; And recognizing that the screen change is made when the number matched by the predetermined deviation is less than the set threshold value.
  • the checking of the change value of the color information may include: dividing each of the first frame and the second frame into a plurality of color regions; Identifying color regions matched between the first frame and the second frame; And checking a change value of color information corresponding to each color area in the identified color area.
  • a method of recognizing a screen change of image content may include: decreasing a number of colors of each color area when a change value of color information corresponding to each color area is equal to or greater than a predetermined value; And determining a change value of color information corresponding to each color area based on the reduced number of colors.
  • a method of recognizing a screen change of image content may include: performing a change operation of the color information and verifying a pixel pattern on all frames of the image content; Checking a screen switching time of the image content based on the result; And dividing the image content into a plurality of sections based on the identified screen switching time.
  • a server is a server that recognizes a screen change of image content, and the change of color information between a first frame and a second frame that is a next frame of the first frame among the frames included in the image content.
  • a color information checking unit for checking a value;
  • a screen change recognizing unit configured to recognize the presence or absence of a screen change by verifying a pixel pattern between the first frame and the second frame when the change value of the checked color information is equal to or greater than a preset value.
  • the screen change recognizing unit divides each of the first frame and the second frame into a plurality of pixel pattern regions, and the second of the pixel pattern regions of the first frame.
  • the number of matching with the pixel pattern regions of the frame is determined by a predetermined deviation.
  • the screen change is not performed. If it is less than the set threshold value it can be recognized that the screen change is made.
  • the color information checker divides each of the first frame and the second frame into a plurality of color regions, and the colors matched between the first frame and the second frame.
  • the areas may be checked, and a change value of color information corresponding to each color area may be checked in the identified color area.
  • the screen change recognizing unit performs a verification operation on the change value of the color information and the verification of the pixel pattern for all frames of the image content, and the server recognizes the screen change.
  • the apparatus may further include a section partitioner configured to check a screen switching time point of the image content based on the result of the operation, and to divide the video content into a plurality of sections based on the identified screen switching time point.
  • a server may recognize a scene change of image content more accurately by verifying whether there is a screen change by verifying a pixel pattern between frames as well as a change value of color information between frames.
  • the server may specifically implement a screen switching recognition according to the pixel pattern by dividing the frame into a plurality of pixel pattern regions and identifying the number of pixel patterns matched between the frames.
  • the server according to various embodiments of the present invention has the effect of minimizing the recognition error of the scene change by distinguishing the change value of the color information between frames step by step.
  • FIG. 1 is a block diagram of a server according to various embodiments of the present disclosure.
  • FIG. 2 is a flowchart illustrating an operation of recognizing a screen change of image content in a server according to various embodiments of the present disclosure.
  • FIG. 3 is a flowchart illustrating a specific operation of checking a change value of color information in a server according to various embodiments of the present disclosure.
  • 4A and 4B are diagrams illustrating an operation of checking a change value of color information step by step.
  • FIG. 5 is a flowchart illustrating a detailed operation of verifying a pixel pattern in a server according to various embodiments of the present disclosure.
  • FIG. 6 is an exemplary diagram illustrating a matching operation of a pixel pattern region according to various embodiments of the present disclosure.
  • FIG. 1 is a configuration diagram of a server 100 according to various embodiments of the present disclosure.
  • the server 100 may include a communication unit 110, a control unit 120, a content receiving unit 121, a color information checking unit 123, a screen switching recognizing unit 125, a section partitioning unit 127, and the like.
  • the storage unit 130 may be included.
  • the server 100 may omit at least some of the components of FIG. 1 or may further include additional components.
  • the communication unit 110 may communicate with an external device.
  • the communication unit 110 may be connected to a network through wireless or wired communication to connect an external device (eg, a broadcaster server) and the server 100.
  • an external device eg, a broadcaster server
  • the communication unit 110 may transmit the image content partitioned according to the screen switching section in the server 100 to an external device (for example, an OTT operator server or a web server) under the control of the controller 120.
  • an external device for example, an OTT operator server or a web server
  • the controller 120 may perform a data processing function of controlling a signal flow between the overall operation such as power supply control of the server 100 and an internal configuration of the server 100 and processing data.
  • the controller 120 may include at least one processor, and the processor may include a central processing unit (CPU), an application processor (AP), or a communication processor (CP). It may include one or more of.
  • the content receiver 121 may receive at least one image content by communicating with an external device through the communication unit 110.
  • the content receiver 121 may receive image content to perform a screen switching section recognition task from an external device such as a broadcaster server.
  • the image content may be video data consisting of a plurality of frames.
  • the color information checking unit 123 may check a change value of color information between successive frames included in the image content.
  • the color information checking unit 123 may include information about whether the change value of the checked color information or the change value of the checked color information is greater than or equal to a preset value. Can be delivered to 130.
  • the color information checking unit 123 may gradually check the change value of the color information between the frames. For example, the color information checking unit 123 may first distinguish or divide a frame into a plurality of color areas to check a change value of color information corresponding to the color area of each frame. When the change value of the checked color information is greater than or equal to a preset value, the color information checking unit 123 may secondly measure the change value of the color information in a wider range by reducing the number of colors in each color area.
  • the screen switching recognition unit 125 may recognize whether the screen is switched based on the color information between the frames checked by the color information checking unit 123. In addition, the screen change recognizing unit 125 may determine whether to change the screen by further considering the pixel pattern between the frames.
  • the screen switching recognition unit 125 may divide each of the consecutive frames into a plurality of pixel pattern regions. The number of pixel pattern regions corresponding to a predetermined deviation between successive frames may be checked, and the presence or absence of a screen change may be determined based on the confirmed number.
  • the section partitioning unit 127 may divide the image content into a plurality of sections based on the recognized screen switching time point when the screen switching recognizing unit 125 recognizes that the screen switching has been performed.
  • the storage unit 130 may store data received or generated from the controller 220 or other components of the server 100.
  • the storage unit 130 may include, for example, a memory, a cash, a buffer, or the like, and may be configured of software, firmware, hardware, or a combination of two or more thereof.
  • the storage unit 130 may include a content DB 131 and an information DB 133.
  • the content DB 131 and the information DB 133 are illustrated as being separated on the storage unit 130, the content DB 131 and the information DB 133 are not limited thereto and may be configured as one module.
  • the content DB 131 may include image content and information related to the image content (for example, metadata of the image content). Such image content and information related to the image content may be added or updated periodically or at any time.
  • the information DB 133 may include color information identified in the image content, pixel information, and screen switching time point information. In addition, the information DB 133 may store a preset value for comparing with the change value of the color information and a preset value for verifying the pixel pattern.
  • the above-described content receiving unit 121, the color information checking unit 123, the screen switching recognition unit 125, and the section partitioning unit 127 classify each function of the control unit 120 of the server 100 logically or functionally. It may be one configuration. Therefore, the content receiving unit 121, the color information checking unit 123, the screen switching recognizing unit 125, the section partitioning unit 127, and the control unit 120 may be configured as one module.
  • the functions of the content receiving unit 121, the color information checking unit 123, the screen switching recognition unit 125, the section partitioning unit 127, and the control unit 120 are stored in the storage unit 130 (eg, memory). It may be implemented in the form of an instruction or program.
  • routines, instructions or programs may be stored in a computer-readable storage medium.
  • Such storage media includes all types of storage media on which programs and data are stored so that they can be read by a computer system. Examples include Read Only Memory (ROM), Random Access Memory (RAM), Compact Disk (CD), Digital Video Disk (DVD) -ROM, Magnetic Tape, Floppy Disk, Optical Data Storage, Flash Memory Devices, etc. Can be.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • CD Compact Disk
  • DVD Digital Video Disk
  • magnetic Tape Magnetic Tape
  • Floppy Disk Optical Data Storage
  • Flash Memory Devices etc.
  • these storage media can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • FIG. 2 is a flowchart illustrating an operation of recognizing a screen change of image content in the server 100 according to various embodiments of the present disclosure.
  • the server 100 may load image content.
  • the server 100 may load image content by calling image content stored in the content DB 131 or receiving image content from an external device through the communication unit 110.
  • the server 100 may check a change value of color information between successive frames (eg, the first frame and the second frame).
  • the server 100 may check color information of the first frame and the second frame, which are some consecutive frames of the image content, and detect a change value of the identified color information. More details related to the detection of the change value of the color information will be described later with reference to FIGS. 3 to 4B.
  • the server 100 may verify the pixel pattern between successive frames in step S250. Details related to the verification of the pixel pattern will be described later with reference to FIGS. 5 through 6.
  • the server 100 may recognize the presence or absence of a screen change in step S270.
  • the server 100 may divide the image content into a plurality of sections based on the recognized screen switching time.
  • FIG. 3 is a flowchart illustrating a specific operation of checking a change value of color information in the server 100 according to various embodiments of the present disclosure. 3 may be a specific example of step S230 of FIG. 2. In addition, it will be described with reference to FIGS. 4A and 4B for a detailed description of FIG. 4A and 4B are diagrams illustrating an operation of checking a change value of color information step by step.
  • the server 100 may divide a frame into a plurality of color regions, and in operation S320, match color regions matched between consecutive frames (eg, the first frame and the second frame).
  • the change value of the color information corresponding to the color gamut may be checked.
  • the server 100 may divide the first frame and the second frame, which are consecutive frames, into a plurality of color areas, and check color information of color areas of positions corresponding to each other on each frame. For example, the server 100 may check the change value of the color information by using various color recognition techniques or algorithms.
  • first frame frame A_1 and a second frame B_1 that are continuous frames are illustrated.
  • the first frame A_1 and the second frame B_1 may be frames included in some sections constituting the image content.
  • the server 100 may divide the first frame (frame A_1) and the second frame (frame B_1) into virtual blocks having a plurality of M * N sizes. Each of the M * N blocks can be recognized as respective color regions. According to an assumption that is not limited, in FIG. 4A, the server 100 may determine that the difference between the color areas of the first frame A_1 and the color areas of the second frame B_1 is changed by more than a preset value. .
  • the server 100 may determine whether a change value of color information corresponding to a color gamut is greater than or equal to a predetermined value.
  • the predetermined value may be different from the preset value in FIG. 2.
  • the predetermined value of FIG. 3 may mean a change value lower than the preset value in FIG. 2, and the predetermined value may be a value set to check the change value of the color information step by step.
  • the server 100 may calculate an average value of change values corresponding to respective color regions of the frame, and determine the calculated average value as a change value of the frame for comparing with the preset value.
  • the change value thus determined may be compared with a value previously stored in the storage 130.
  • the server 100 may end the operation of FIG. 3. On the contrary, if the change value of the color information is less than the predetermined value, the server 100 branches to step S350 to process each frame so as to reduce the number of colors in the color areas of each frame.
  • the server 100 reduces the number of colors in the color areas of the respective frames so that the first frame (frame A_1) of FIG. 4A is reduced.
  • the second frame frame B_1 may be processed into the first frame A_2 and the second frame B_2 of FIG. 4B.
  • the server 100 may check a change value of the color information based on the reduced number of colors. For example, the server 100 checks the color areas of the first frame A_2 and the second frame B_2 processed to reduce the number of colors as shown in FIG. 4B, and color information of the corresponding color areas between frames. You can reconfirm the change by comparing.
  • the change value determined for comparison may be calculated as an average value of the change values of the respective color regions as described above.
  • 5 is a flowchart illustrating a detailed operation of verifying a pixel pattern in the server 100 according to various embodiments of the present disclosure.
  • 5 may be a specific example of step S250 of FIG. 2.
  • FIG. 6 is an exemplary diagram illustrating a matching operation of a pixel pattern region according to various embodiments of the present disclosure.
  • the server 100 may divide a frame into a plurality of pixel pattern regions. For example, the server 100 may divide at least some frames of the image content into virtual blocks having a plurality of M * N sizes, and divide the divided blocks of M * N into respective pixel pattern regions. I can recognize it.
  • the server 100 may divide the first frame 601 into 20 pixel pattern regions.
  • the server 100 may identify each pixel pattern region of the first frame 601 through the identifier.
  • the identifiers of the 20 pixel pattern regions are displayed on the frame.
  • a specific screen may be divided into virtually divided forms as shown in FIG. 4A or 4B.
  • the number of division of the pixel pattern regions is not limited to a specific number in the present invention.
  • the server 100 may divide the pixel pattern areas into a larger size than the color areas described above.
  • the server 100 may match the pixel pattern region with a constant deviation of consecutive frames (eg, the first frame and the second frame), and in step S530, the pixel pattern matched with the constant deviation. You can check the number of areas.
  • the second frame 603 is a frame that is continuously reproduced after the first frame 601, and may be divided into a plurality of pixel pattern areas by the server 100.
  • the first pixel pattern region of the first frame 601 to the 20th pixel pattern region is a single subject (eg, a portrait close-up screen)
  • the scene is not changed but the subject is moved according to the movement of the camera composition. It can be moved in a specific direction.
  • a new subject or a background screen may be exposed where the existing subject was. That is, the twenty-first pixel pattern area to the twenty-eighth pixel pattern area corresponding to the new subject or the background screen are exposed on the second frame 603.
  • the server 100 may check the number of overlapping (eg, matching) among the pixel pattern regions included in the first frame 601 and the pixel pattern regions included in the second frame 603. .
  • the server 100 may check pixel pattern regions overlapping with a certain deviation. For example, the server 100 indicates that the pixel pattern regions of the second frame 603 of FIG. 6 have moved from the pixel pattern regions of the first frame 601 to a predetermined pattern (for example, one space to the lower right). You can check it. If the number matched by a predetermined deviation is less than a predetermined threshold value (eg, a preset number), the server may recognize that the screen is switched in step S550. In this case, the server 100 may check the contact point of time between successive frames as the screen change point, and store the information related to the checked screen change point in the storage unit 130.
  • a predetermined threshold value eg, a preset number
  • the server 200 may recognize that the screen is not switched in step S560.
  • the server 100 may repeat the screen switching recognition process between the last confirmed frame and the next consecutive frame.
  • a total of 14 pixel areas ranging from the first pixel area to the fourteenth pixel area have a constant deviation (for example, one space below the right). It can be confirmed that the match. If the preset number is seven, since the number matching the predetermined deviation is greater than or equal to the preset number, the server 100 may recognize that the scene between the first frame 601 and the second frame 603 is not switched. .
  • Such constant deviation may be identified based on a predetermined angle or coordinates on the frame.
  • all pixel regions are shifted by a constant deviation, but a pixel region may be shifted by an inconsistent deviation according to an actual screen configuration.
  • An embodiment of the present invention provides an embodiment of a screen switching recognition method in which such non-uniform deviation is determined as noise.
  • the same subject or background is detected on a frame in which the same subject or background is detected by detecting a pixel pattern shifted by a constant deviation as described above. You can still determine if there is an existing image. As a result, the error process recognized as the screen switching can be minimized even if the screen switching is not performed.
  • module or “unit” may refer to a unit including one or a combination of two or more of hardware, software, or firmware. . “Module” or “unit” is interchangeable with, for example, terms such as unit, logic, logical block, component, or circuit. Can be. “Module” or “part” may be a minimum unit or part of an integrally formed part, or may be a minimum unit or part of one or more functions. The “module” or “ ⁇ part” can be implemented mechanically or electronically.
  • a “module” or “unit” in accordance with various embodiments of the present invention may be an application-specific integrated circuit (ASIC) chip, field-programmable gate arrays (FPGAs) that perform certain operations, known or developed in the future. ) Or at least one of a programmable-logic device.
  • ASIC application-specific integrated circuit
  • FPGA field-programmable gate arrays
  • Modules or programming modules may include at least one or more of the aforementioned components, omit some of them, or further include additional components.
  • Operations performed by modules, programming modules, or other components in accordance with various embodiments of the present invention may be executed in a sequential, parallel, repetitive, or heuristic manner. In addition, some operations may be executed in a different order, may be omitted, or other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버가 개시된다. 본 발명의 다양한 실시예에 따른 방법은 서버에서 영상 컨텐츠의 화면전환을 인식하는 방법으로서, 상기 영상 컨텐츠에 포함된 프레임들 중 제1 프레임 및 상기 제1 프레임의 다음 프레임인 제2 프레임간의 색상정보의 변화값을 확인하는 단계; 및 확인된 색상정보의 변화값이 미리 설정된 값 이상인 경우, 상기 제1 프레임 및 상기 제2 프레임간의 픽셀패턴을 검증하여 화면전환의 유무를 인식하는 단계를 포함할 수 있다.

Description

영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버
본 발명의 다양한 실시예들은 영상 컨텐츠의 화면전환 인식 방법으로서, 보다 구체적으로 동영상과 같은 영상 컨텐츠에서 연속되는 프레임들을 장면전환에 기초하여 자동으로 구분하는 기술에 관한 것이다.
최근, 동영상과 같은 영상 컨텐츠에서 화면의 전환 장면을 구분하기 위해 다양한 기술이 도입되고 있다. 예를 들어, 동영상 내에 포함된 객체의 이동 속도를 산출하여 이동 속도가 미리 설정된 기준 속도를 초과하는 경우 화면 전환이 발생함을 판단하는 알고리즘 등이 제시되고 있다.
또한, 프레임 간의 컬러 히스토그램을 분석하고, 분석된 히스토그램의 컬러 변화 값을 기준으로 화면 전환여부를 감지하는 기술 등이 제시되어 동영상을 다수의 구간으로 분류하는 기술이 제시되고 있다.
종래 화면전환 인식 방법은 프레임간 단순히 컬러등의 색 변화를 기준으로 장면의 전환 여부를 인식하기 때문에 정교하게 화면의 전환 여부를 인식하기가 어렵다는 문제점이 있다.
예를 들어, 컬러 히스토그램에 대한 변화는 조도 및 밝기 변화에 민감하게 작용되어 수행되므로, 실제로 장면이 전환하지 않고 카메라의 소정 이동에 따른 미소한 화면차이에도 서버는 상기와 같은 화면차이를 장면 전환의 차이로 인식하는 오류가 빈번하게 발생하게 된다.
본 발명의 다양한 실시예는 상기와 같은 문제점을 해결하기 위해 안출된 건으로, 프레임 간 색상 정보의 차이뿐만 아니라 프레임 간의 픽셀패턴을 검증함으로써 장면전환이 실제로 일어났는지를 보다 정확하게 인식할 수 있는 방법을 제공함에 그 목적이 있다.
본 발명의 다양한 실시예에 따른 영상 컨텐츠의 화면전환 인식 방법은 서버에서 영상 컨텐츠의 화면전환을 인식하는 방법으로서, 상기 영상 컨텐츠에 포함된 프레임들 중 제1 프레임 및 상기 제1 프레임의 다음 프레임인 제2 프레임간의 색상정보의 변화값을 확인하는 단계; 및 확인된 색상정보의 변화값이 미리 설정된 값 이상인 경우, 상기 제1 프레임 및 상기 제2 프레임간의 픽셀패턴을 검증하여 화면전환의 유무를 인식하는 단계를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 영상 컨텐츠의 화면전환 인식 방법에서, 상기 픽셀패턴을 검증하여 화면전환의 유무를 인식하는 단계는, 상기 제1 프레임 및 제2 프레임 각각을 복수의 픽셀패턴 영역들로 구획하는 단계; 상기 제1 프레임의 픽셀패턴 영역들 중 상기 제2 프레임의 픽셀패턴 영역들과 일정한 편차로 매칭되는 개수를 확인하는 단계; 및 상기 일정한 편차로 매칭되는 개수를 기반으로 상기 화면전환의 유무를 결정하는 단계를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 영상 컨텐츠의 화면전환 인식 방법에서, 상기 일정한 편차로 매칭되는 개수를 기반으로 상기 화면전환의 유무를 결정하는 단계는, 상기 일정한 편차로 매칭되는 개수가 설정된 임계 값 이상인 경우, 상기 화면전환이 이루어지지 않은 것으로 인식하는 단계; 및 상기 일정한 편차로 매칭되는 개수가 상기설정된 임계 값 미만인 경우, 상기 화면전환이 이루어진 것으로 인식하는 단계를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 영상 컨텐츠의 화면전환 인식 방법에서, 상기 색상정보의 변화값을 확인하는 단계는, 상기 제1 프레임 및 상기 제2 프레임 각각을 복수의 색상 영역들로 구획하는 단계; 상기 제1 프레임 및 상기 제2 프레임간 매칭되는 색상 영역들을 확인하는 단계; 및 확인된 색상 영역에서 각 색상 영역에 해당하는 색상 정보의 변화값을 확인하는 단계를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 영상 컨텐츠의 화면전환 인식 방법은 상기 각 색상 영역에 해당하는 색상정보의 변화값이 소정 값 이상인 경우, 상기 각 색상 영역들의 색상 수를 감소시키는 단계; 및 감소된 색상 수를 기반으로 각 색상 영역에 해당하는 색상 정보의 변화값을 확인하는 단계를 더 포함할 수 있다.
본 발명의 다양한 실시예에 따른 영상 컨텐츠의 화면전환 인식 방법은 상기 영상 컨텐츠의 모든 프레임들에 대하여 상기 색상정보의 변화값 확인 및 픽셀패턴의 검증 동작을 수행하는 단계; 수행된 결과를 기반으로 상기 영상 컨텐츠의 화면전환 시점을 확인하는 단계; 및 확인된 화면전환 시점을 기반으로 상기 영상 컨텐츠를 복수의 구간으로 구획하는 단계를 더 포함할 수 있다.
본 발명의 다양한 실시예에 따른 서버는 영상 컨텐츠의 화면전환을 인식하는 서버로서, 상기 영상 컨텐츠에 포함된 프레임들 중 제1 프레임 및 상기 제1 프레임의 다음 프레임인 제2 프레임간의 색상정보의 변화값을 확인하는 색상정보 확인부; 및 확인된 색상정보의 변화값이 미리 설정된 값 이상인 경우, 상기 제1 프레임 및 상기 제2 프레임간의 픽셀패턴을 검증하여 화면전환의 유무를 인식하는 화면전환 인식부를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 서버에서, 상기 화면전환 인식부는, 상기 제1 프레임 및 제2 프레임 각각을 복수의 픽셀패턴 영역들로 구획하고, 상기 제1 프레임의 픽셀패턴 영역들 중 상기 제2 프레임의 픽셀패턴 영역들과 일정한 편차로 매칭되는 개수를 확인하며, 상기 일정한 편차로 매칭되는 개수가 설정된 임계 값 이상인 경우 상기 화면전환이 이루어지지 않은 것으로 인식하고, 상기 일정한 편차로 매칭되는 개수가 상기 설정된 임계 값 미만인 경우 상기 화면전환이 이루어진 것으로 인식할 수 있다.
본 발명의 다양한 실시예에 따른 서버에서, 상기 색상정보 확인부는, 상기 제1 프레임 및 상기 제2 프레임 각각을 복수의 색상 영역들로 구획하고, 상기 제1 프레임 및 상기 제2 프레임간 매칭되는 색상 영역들을 확인하며, 확인된 색상 영역에서 각 색상 영역에 해당하는 색상 정보의 변화값을 확인할 수 있다.
본 발명의 다양한 실시예에 따른 서버에서, 상기 화면전환 인식부는, 상기 영상 컨텐츠의 모든 프레임들에 대하여 상기 색상정보의 변화값 확인 및 픽셀패턴의 검증 동작을 수행하고, 상기 서버는 상기 화면전환 인식부에서 수행된 결과를 기반으로 상기 영상 컨텐츠의 화면전환 시점을 확인하고, 확인된 화면전환 시점을 기반으로 상기 영상 컨텐츠를 복수의 구간으로 구획하는 구간 구획부를 더 포함할 수 있다.
본 발명의 다양한 실시예에 따른 서버가 프레임간의 색상정보의 변화값뿐 아니라 프레임간 픽셀패턴을 검증하여 화면전환의 유무를 인식함으로써 보다 정확하게 영상 컨텐츠의 장면전환을 인식할 수 있다는 효과가 있다.
또한, 프레임간 픽셀패턴 검증시, 서버는 프레임을 복수의 픽셀패턴 영역들로 구획하고 프레임간 매칭되는 픽셀패턴의 개수를 파악함으로써 픽셀패턴에 따른 구체적인 화면전환 인식을 구체적으로 구현할 수 있다.
나아가, 본 발명의 다양한 실시예에 따른 서버는 프레임간 색상정보의 변화값을 단계적으로 구분하여 인식함으로써 장면전환의 인식 오류를 최소화할 수 있다는 효과가 있다.
도 1은 본 발명의 다양한 실시예에 따른 서버의 구성도이다.
도 2는 본 발명의 다양한 실시예에 따른 서버에서 영상 컨텐츠의 화면전환을 인식하는 동작을 나타내는 순서도이다.
도 3은 본 발명의 다양한 실시예에 따른 서버에서 색상정보의 변화값을 확인하는 구체적인 동작을 나타내는 순서도이다.
도 4a 및 도 4b는 색상정보의 변화값을 단계적으로 확인하는 동작의 예시도이다.
도 5는 본 발명의 다양한 실시예에 따른 서버에서 픽셀패턴을 검증하는 구체적인 동작을 나타내는 순서도이다.
도 6은 본 발명의 다양한 실시예에 따른 픽셀패턴 영역의 매칭 동작을 나타내는 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부 도면을 참조하여 영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버(100)에 대해 설명하도록 한다.
도 1은 본 발명의 다양한 실시예에 따른 서버(100)의 구성도이다.
다양한 실시예에 따르면, 서버(100)는 통신부(110), 제어부(120), 컨텐츠 수신부(121), 색상정보 확인부(123), 화면전환 인식부(125), 구간 구획부(127) 및 저장부(130)를 포함할 수 있다. 한정되지 않는 실시예로서, 서버(100)는 도 1의 구성요소들 중 적어도 일부를 생략하거나 추가적인 구성요소를 더 구비할 수 있다.
통신부(110)는 외부 장치와 통신연결할 수 있다. 예를 들면, 통신부(110)는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 외부 장치(예: 방송 사업자 서버)와 서버(100)를 연결할 수 있다.
또한, 통신부(110)는 제어부(120)의 제어 하에 서버(100)에서 화면전환 구간에 따라 구획된 영상 컨텐츠를 외부 장치(예: OTT 사업자 서버 또는 웹 서버 등)로 전송할 수 있다.
제어부(120)는 서버(100)의 전원공급 제어 등과 같은 전반적인 동작 및 서버(100)의 내부 구성 간의 신호 흐름을 제어하고 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 제어부(120)는 적어도 하나의 프로세서를 포함할 수 있고, 이러한 프로세서는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.
컨텐츠 수신부(121)는 통신부(110)를 통해 외부 장치와 통신하여 적어도 하나의 영상 컨텐츠를 수신할 수 있다. 예를 들어, 컨텐츠 수신부(121)는 방송 사업자 서버와 같은 외부 장치로부터 화면전환 구간 인식 작업을 수행하고자 하는 영상 컨텐츠를 수신할 수 있다.
여기서, 영상 컨텐츠는 복수의 프레임으로 이루어진 동영상 데이터일 수 있다.
색상정보 확인부(123)는 영상 컨텐츠에 포함된 연속된 프레임들 간의 색상정보의 변화값을 확인할 수 있다. 그리고, 색상정보 확인부(123)는 확인된 색상정보의 변화값 또는 확인된 색상정보의 변화값이 미리 설정된 값 이상인지에 대한 정보를 제어부(120), 화면전환 인식부(125) 또는 저장부(130)로 전달할 수 있다.
다양한 실시예에 따르면, 색상정보 확인부(123)는 프레임들 간의 색상정보의 변화값을 단계적으로 확인할 수 있다. 예를 들어, 색상정보 확인부(123)는 1차적으로 프레임을 복수의 색상 영역으로 구분 또는 구획하여 각 프레임의 색상 영역에 해당하는 색상 정보의 변화값을 확인할 수 있다. 확인된 색상 정보의 변화값이 미리 설정된 값 이상인 경우, 색상정보 확인부(123)는 2차적으로 각 색상 영역들의 색상 수를 감소시켜 보다 넓은 범위에서의 색상 정보의 변화 수치를 측정해볼 수 있다.
화면전환 인식부(125)는 색상정보 확인부(123)에서 확인된 프레임들 간의 색상정보를 기반으로 화면전환 여부를 인식할 수 있다. 그리고, 화면전환 인식부(125)는 프레임들간의 픽셀패턴을 더 고려하여 화면전환 여부를 결정할 수 있다.
다양한 실시예에 따르면, 화면전환 인식부(125)는 연속된 프레임들 각각을 복수의 픽셀패턴 영역들로 구획할 수 있다. 그리고, 연속된 프레임들간에 일정한 편차로 대응되는 픽셀패턴 영역들의 개수를 확인할 수 있고, 확인된 개수를 기반으로 화면전환의 유무를 결정할 수 있다.
구간 구획부(127)는, 화면전환 인식부(125)에서 화면전환이 이루어진 것으로 인식되는 경우, 인식된 화면전환 시점을 기반으로 영상 컨텐츠를 복수의 구간으로 구획할 수 있다.
저장부(130)는 제어부(220) 또는 서버(100)의 다른 구성요소들로부터 수신되거나 생성된 데이터를 저장할 수 있다. 저장부(130)는 예를 들어, 메모리(memory), 캐시(cash), 버퍼(buffer) 등을 포함할 수 있으며, 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
다양한 실시예에 따르면, 저장부(130)는 컨텐츠 DB(131) 및 정보 DB(133) 를 포함할 수 있다. 이러한 컨텐츠 DB(131) 및 정보 DB(133)는 저장부(130)상에서 구분되는 것으로 도시되어 있으나, 이에 한정하지 않으며, 하나의 모듈로서 구성될 수도 있다.
컨텐츠 DB(131)는 영상 컨텐츠 및 영상 컨텐츠와 관련된 정보(예: 영상 컨텐츠의 메타데이터 등)를 포함할 수 있다. 이러한 영상 컨텐츠 및 영상 컨텐츠와 관련된 정보는 주기적으로 또는 임의의 시점에서 추가되거나 업데이트될 수 있다.
정보 DB(133)는 영상 컨텐츠에서 확인된 색상정보, 픽셀정보 및 화면전환 시점 정보를 포함할 수 있다. 뿐만 아니라, 정보 DB(133)는 색상 정보의 변화값과 비교하기 위해 미리 설정된 값 및 픽셀패턴을 검증하기 위해 미리 설정된 값을 저장할 수 있다.
전술한 컨텐츠 수신부(121), 색상정보 확인부(123), 화면전환 인식부(125) 및 구간 구획부(127)는 서버(100)의 제어부(120)의 각 기능을 논리적으로 또는 기능적으로 분류한 구성일 수 있다. 따라서, 컨텐츠 수신부(121), 색상정보 확인부(123), 화면전환 인식부(125) 및 구간 구획부(127)와 제어부(120)는 하나의 모듈로서 구성될 수도 있다.
또한, 컨텐츠 수신부(121), 색상정보 확인부(123), 화면전환 인식부(125), 구간 구획부(127) 및 제어부(120)의 기능은 저장부(130, 예: 메모리)에 저장된 루틴, 명령어(instruction) 또는 프로그램의 형태로 구현될 수 있다.
또한, 이러한 루틴, 명령어 또는 프로그램은 컴퓨터로 읽을 수 있는 저장매체에도 저장될 수 있다. 이러한 저장매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 저장매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치, 플래쉬 메모리 장치 등이 포함될 수 있다. 또한, 이러한 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
도 2는 본 발명의 다양한 실시예에 따른 서버(100)에서 영상 컨텐츠의 화면전환을 인식하는 동작을 나타내는 순서도이다.
먼저, S210 단계에서 서버(100)는 영상 컨텐츠를 로딩할 수 있다. 예를 들어, 서버(100)는 컨텐츠 DB(131)에 저장된 영상 컨텐츠를 호출하거나, 통신부(110)를 통해 외부 장치로부터 영상 컨텐츠를 수신함으로써 영상 컨텐츠를 로딩할 수 있다.
다음으로, S230 단계에서, 서버(100)는 연속된 프레임들(예: 제1 프레임 및 제2 프레임)간의 색상정보의 변화값을 확인할 수 있다. 구체적으로, 서버(100)는 영상 컨텐츠 중 일부 연속된 프레임인 제1 프레임 및 제2 프레임의 색상 정보를 확인할 수 있고, 확인된 색상 정보의 변화 값을 감지할 수 있다. 색상정보의 변화 값 감지와 관련된 더욱 구체적인 내용은 도 3 내지 도 4b를 통해 후술하도록 한다.
다음으로, 색상정보의 변화값이 소정 조건(예: 미리 설정된 변화값)을 충족하는 경우, 서버(100)는 S250 단계에서 연속된 프레임들간의 픽셀패턴을 검증할 수 있다. 픽셀패턴의 검증과 관련된 구체적인 내용은 도 5 내지 도 6을 통해 후술하도록 한다.
픽셀패턴의 검증 결과를 기반으로, 서버(100)는 S270 단계에서 화면전환의 유무를 인식할 수 있다. 그리고, S290 단계에서 서버(100)는 인식된 화면전환 시점을 기반으로 영상 컨텐츠를 복수의 구간으로 구획할 수 있다.
도 3은 본 발명의 다양한 실시예에 따른 서버(100)에서 색상정보의 변화값을 확인하는 구체적인 동작을 나타내는 순서도이다. 이러한 도 3의 내용은 도 2의 S230 단계의 구체적인 한 예시일 수 있다. 또한, 도 3의 구체적인 설명을 위해 도 4a 및 도 4b를 참조하여 설명하도록 한다. 도 4a 및 도 4b는 색상정보의 변화값을 단계적으로 확인하는 동작의 예시도이다.
먼저, S310 단계에서 서버(100)는 프레임을 복수의 색상 영역들로 구획할 수 있고, S320 단계에서 연속된 프레임들(예: 제1 프레임 및 제2 프레임)간 매칭되는 색상 영역들을 확인할 수 있으며, S330 단계에서 색상 영역에 해당하는 색상 정보의 변화값을 확인할 수 있다.
구체적으로, 서버(100는 연속된 프레임들인 제1 프레임 및 제2 프레임을 복수의 색상 영역으로 구획할 수 있고, 각 프레임 상에서 상호 대응되는 위치의 색상 영역들의 색상정보를 확인할 수 있다. 한정되지 않는 예로서, 서버(100)는 다양한 색상 인식 기술 또는 알고리즘을 이용하여 색상정보의 변화값을 확인할 수 있다.
예를 들어, 도 4a를 참조하면, 연속된 프레임들인 제1 프레임(frame A_1) 및 제2 프레임(frame B_1)이 도시된다. 이러한 제1 프레임(frame A_1) 및 제2 프레임(frame B_1)은 영상 컨텐츠를 구성하는 일부 구간에 포함된 프레임들일 수 있다.
도 4a에서 구체적으로 도시되어 있지 않으나, 서버(100)는 제1 프레임(frame A_1) 및 제2 프레임(frame B_1)을 복수의 M*N 사이즈를 가진 가상의 블록들로 분할할 수 있고, 분할된 각 M*N의 블록들을 각각의 색상 영역들로 인식할 수 있다. 한정되지 않는 가정에 따라, 도 4a에서 서버(100)는 제1 프레임(frame A_1)의 색상 영역들과 제2 프레임(frame B_1)의 색상 영역들의 차이가 미리 설정된 값 이상 변화된다고 판단할 수 있다.
다시 도 3을 참조하면, S340 단계에서 서버(100)는 색상 영역에 해당하는 색상 정보의 변화값이 소정 값 이상인지를 확인할 수 있다. 여기서 소정 값은 전술한 도 2에서의 미리 설정된 값과 다른 값일 수 있다. 한정되지 않는 예로서, 도 3의 소정 값은 도 2에서의 미리 설정된 값보다 더 낮은 변화 값을 의미할 수 있으며, 이러한 소정 값은 색상 정보의 변화값을 단계적으로 확인하고자 설정된 값일 수 있다.
다양한 실시예에 따르면, 서버(100)는 프레임의 각 색상 영역들에 해당하는 변화값들의 평균값을 산정할 수 있고, 산정된 평균값을 미리 설정된 값과 비교하기 위한 프레임의 변화값으로 결정할 수 있다. 이렇게 결정된 변화값은 저장부(130)에 미리 저장된 값과 비교될 수 있다.
만약 색상 정보의 변화값이 미리 설정된 값 미만인 경우라면, 서버(100)는 도 3의 동작을 종료할 수 있다. 이와 반대로 색상 정보의 변화값이 소정 값 미만인 경우라면, 서버(100)는 S350 단계로 분기하여 보다 각 프레임들의 색상 영역들의 색상 수가 감소하도록 각 프레임들을 가공할 수 있다.
예를 들면, 전술한 가정에 의해 도 4a의 프레임들간의 변화 값이 미리 설정된 값 이상이므로, 서버(100)는 각 프레임들의 색상 영역들의 색상 수를 감소시켜 도 4a의 제1 프레임(frame A_1) 및 제2 프레임(frame B_1)을 도 4b의 제1 프레임(frame A_2) 및 제2 프레임(frame B_2)으로 가공할 수 있다.
다시 도 3을 참조하면, S360 단계에서, 서버(100)는 감소된 색상 수를 기반으로 색상 정보의 변화값을 확인할 수 있다. 예를 들어, 서버(100)는 도 4b와 같이 색상 수가 감소되도록 가공된 제1 프레임(frame A_2) 및 제2 프레임(frame B_2)의 색상 영역들을 확인하고, 프레임간 대응되는 색상 영역들의 색상 정보를 비교함으로써 변화값을 재확인할 수 있다. 한정되지 않는 예로서, 비교를 위해 결정되는 변화값은 전술한 바와 마찬가지로 각 색상 영역들의 변화값의 평균값으로 산출될 수 있다.
상기와 같이 보다 넓은 범위에서 프레임간 색상 정보의 변화 값을 확인함으로써, 장면전환이 이루어지지 않았음에도 특정 일부 영역에서의 급격한 색상 정보의 변화값으로 인한 장면전환 오류 현상을 방지할 수 있다는 효과가 있다.
도 5는 본 발명의 다양한 실시예에 따른 서버(100)에서 픽셀패턴을 검증하는 구체적인 동작을 나타내는 순서도이다. 이러한 도 5의 내용은 도 2의 S250 단계의 구체적인 한 예시일 수 있다. 또한, 도 5의 구체적인 설명을 위해 도 6을 참조하여 설명하도록 한다. 도 6은 본 발명의 다양한 실시예에 따른 픽셀패턴 영역의 매칭 동작을 나타내는 예시도이다.
먼저, S510 단계에서 서버(100)는 프레임을 복수의 픽셀패턴 영역들로 구획할 수 있다. 예를 들어, 서버(100)는 영상 컨텐츠 중 적어도 일부 프레임을 복수의 M*N 사이즈를 가진 가상의 블록들로 분할할 수 있고, 분할된 각 M*N의 블록들을 각각의 픽셀패턴 영역들로 인식할 수 있다.
예를 들어, 도 6을 참조하면, 서버(100)는 제1 프레임(601)을 20개의 픽셀패턴 영역들을 구획할 수 있다. 그리고, 구획된 픽셀패턴 영역들은 가상의 식별자(1 내지 20)를 가지고 있으므로 서버(100)는 식별자를 통해 제1 프레임(601)의 각각의 픽셀패턴 영역들을 식별할 수 있다. 도 6에서는 20개의 픽셀패턴 영역들의 식별자가 프레임 상에 표시되어 있으나, 실제 영상 컨텐츠상에서는 도 4a 또는 도 4b와 같이 특정 화면이 가상으로 분할된 형태로 구획될 수 있다. 또한, 이러한 픽셀패턴 영역들이 구획되는 수는 본 발명에서 특정 숫자로 제한하는 것은 아니다.
다양한 실시예에 따르면, 서버(100)는 이러한 픽셀패턴 영역들을 전술한 색상 영역들보다 더 큰 사이즈로 구획할 수도 있다.
다음으로, S520 단계에서, 서버(100)는 연속되는 프레임들(예: 제1 프레임 및 제2 프레임)의 일정한 편차로 픽셀패턴 영역을 매칭시킬 수 있고, S530 단계에서 일정한 편차로 매칭되는 픽셀패턴 영역의 개수를 확인할 수 있다.
구체적인 예로서, 도 6를 참조하면 제2 프레임(603)이 도시된다. 이러한 제2 프레임(603)은 제1 프레임(601)에 이어 연속적으로 재생되는 프레임이며, 서버(100)에 의해 복수의 픽셀패턴 영역으로 분할되어 구획된 상태일 수 있다.
제1 프레임(601)의 제1 픽셀패턴 영역부터 제20 픽셀패턴 영역까지가 하나의 피사체(예: 인물 클로즈업 화면)라고 할때, 장면이 전환되진 않지만 카메라 구도의 이동에 따라 상기 피사체가 프레임의 특정 방향으로 이동될 수 있다. 이 경우, 기존 피사체가 있던 자리에는 새로운 피사체 또는 배경 화면이 노출될 수 있다. 즉, 상기 새로운 피사체 또는 배경 화면에 해당하는 제21 픽셀패턴 영역 내지 제 28 픽셀패턴 영역이 제2 프레임(603)상에 노출된다.
그러면, S540 단계에서 서버(100)는 제1 프레임(601)에 포함된 픽셀패턴 영역들과 제2 프레임(603)에 포함된 픽셀패턴 영역들 중 중복(예: 매칭)되는 개수를 확인할 수 있다. 이 경우, 서버(100)는 일정한 편차로 중복되는 픽셀패턴 영역들을 확인할 수 있다. 예를 들어, 서버(100)는 도 6의 제2 프레임(603)의 픽셀패턴 영역들이 제1 프레임(601)의 픽셀 패턴 영역들로부터 일정한 패턴(예: 오른쪽 아래로 한 칸)으로 이동하였음을 확인할 수 있다. 만약, 일정한 편차로 매칭되는 개수가 설정된 임계 값(예: 미리 설정된 개수) 미만이라면, S550 단계에서 서버는 화면이 전환된 것으로 인식할 수 있다. 이 경우, 서버(100)는 연속된 프레임들간의 접점 시점을 화면전환 시점으로 체크할 수 있고, 체크된 화면전환 시점과 관련된 정보를 저장부(130)에 저장할 수 있다.
이와 반대로, 일정한 편차로 매칭되는 개수가 미리 설정된 개수 이상이라면, S560 단계에서 서버(200)는 화면이 전환되지 않은 것으로 인식할 수 있다. 그리고, 서버(100)는 현재 확인된 마지막 프레임과 다음으로 연속되는 프레임간의 화면전환 인식 과정을 반복할 수 있다.
구체적인 예로서, 도 6를 참조하면 제1 프레임(601)과 제2 프레임(603)에서는 제1 픽셀영역 내지 제 14 픽셀영역까지 총 14개의 픽셀영역이 일정한 편차(예: 오른쪽 아래로 한 칸)로 매칭되는 것을 확인할 수 있다. 미리 설정된 개수가 7개라면, 일정한 편차로 매칭되는 개수가 미리 설정된 개수 이상이므로, 서버(100)는 제1 프레임(601)과 제2 프레임(603)간의 장면이 전환되지 않은 것으로 인식할 수 있다.
상기와 같은 일정한 편차는 소정 각도 또는 프레임 상의 좌표 등을 기반으로 확인될 수 있다. 도 6에서는 모든 픽셀영역들이 일정한 편차로 이동되는 것으로 도시되어 있으나, 실제 화면 구성에 따라 일정하지 않은 편차로 이동하는 픽셀영역이 발생할 수 있다. 본 발명의 실시예에서는 이러한 일정하지 않은 편차는 노이즈로 판단하는 화면전환 인식 방법의 실시예를 제공한다.
종래 기술에서 프레임상의 조도 및 밝기 변화에 따라 화면전환 인식 과정이 민감하게 작용되어 수행되는 특징을 고려하여, 상기와 같이 일정한 편차로 이동되는 픽셀패턴을 감지함으로써 동일한 피사체 또는 배경이 연속되는 프레임상에 여전히 기존 이미지가 존재하는지를 파악할 수 있다. 이에 의해, 화면전환이 이루어지지 않음에도 화면전환으로 인식되는 오류 과정을 최소화할 수 있다.
본 발명의 다양한 실시예에 사용된 용어 “모듈”또는 “~부”는, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈” 또는 “~부”는 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈” 또는“~부”는 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있고, 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈” 또는“~부”는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 “모듈” 또는“~부”는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (10)

  1. 서버에서 영상 컨텐츠의 화면전환을 인식하는 방법으로서,
    상기 영상 컨텐츠에 포함된 프레임들 중 제1 프레임 및 상기 제1 프레임의 다음 프레임인 제2 프레임간의 색상정보의 변화값을 확인하는 단계; 및
    확인된 색상정보의 변화값이 미리 설정된 값 이상인 경우, 상기 제1 프레임 및 상기 제2 프레임간의 픽셀패턴을 검증하여 화면전환의 유무를 인식하는 단계를 포함하는 영상 컨텐츠의 화면전환 인식 방법.
  2. 제 1항에 있어서,
    상기 픽셀패턴을 검증하여 화면전환의 유무를 인식하는 단계는,
    상기 제1 프레임 및 제2 프레임 각각을 복수의 픽셀패턴 영역들로 구획하는 단계;
    상기 제1 프레임의 픽셀패턴 영역들 중 상기 제2 프레임의 픽셀패턴 영역들과 일정한 편차로 매칭되는 개수를 확인하는 단계; 및
    상기 일정한 편차로 매칭되는 개수를 기반으로 상기 화면전환의 유무를 결정하는 단계를 포함하는 영상 컨텐츠의 화면전환 인식 방법.
  3. 제 2항에 있어서,
    상기 일정한 편차로 매칭되는 개수를 기반으로 상기 화면전환의 유무를 결정하는 단계는,
    상기 일정한 편차로 매칭되는 개수가 설정된 임계 값 이상인 경우, 상기 화면전환이 이루어지지 않은 것으로 인식하는 단계; 및
    상기 매칭되는 개수가 상기 설정된 임계 값 미만인 경우, 상기 화면전환이 이루어진 것으로 인식하는 단계를 포함하는 영상 컨텐츠의 화면전환 인식 방법.
  4. 제 1항에 있어서,
    상기 색상정보의 변화값을 확인하는 단계는,
    상기 제1 프레임 및 상기 제2 프레임 각각을 복수의 색상 영역들로 구획하는 단계;
    상기 제1 프레임 및 상기 제2 프레임간 매칭되는 색상 영역들을 확인하는 단계; 및
    확인된 색상 영역에서 각 색상 영역에 해당하는 색상 정보의 변화값을 확인하는 단계를 포함하는 영상 컨텐츠의 화면전환 인식 방법.
  5. 제 4항에 있어서,
    상기 각 색상 영역에 해당하는 색상정보의 변화값이 소정 값 이상인 경우, 상기 각 색상 영역들의 색상 수를 감소시키는 단계; 및
    감소된 색상 수를 기반으로 각 색상 영역에 해당하는 색상 정보의 변화값을 확인하는 단계를 더 포함하는 영상 컨텐츠의 화면전환 인식 방법.
  6. 제 1항에 있어서,
    상기 영상 컨텐츠의 모든 프레임들에 대하여 상기 색상정보의 변화값 확인 및 픽셀패턴의 검증 동작을 수행하는 단계;
    수행된 결과를 기반으로 상기 영상 컨텐츠의 화면전환 시점을 확인하는 단계; 및
    확인된 화면전환 시점을 기반으로 상기 영상 컨텐츠를 복수의 구간으로 구획하는 단계를 더 포함하는 영상 컨텐츠의 화면전환 인식 방법.
  7. 영상 컨텐츠의 화면전환을 인식하는 서버로서,
    상기 영상 컨텐츠에 포함된 프레임들 중 제1 프레임 및 상기 제1 프레임의 다음 프레임인 제2 프레임간의 색상정보의 변화값을 확인하는 색상정보 확인부; 및
    확인된 색상정보의 변화값이 미리 설정된 값 이상인 경우, 상기 제1 프레임 및 상기 제2 프레임간의 픽셀패턴을 검증하여 화면전환의 유무를 인식하는 화면전환 인식부를 포함하는 서버.
  8. 제 7항에 있어서,
    상기 화면전환 인식부는,
    상기 제1 프레임 및 제2 프레임 각각을 복수의 픽셀패턴 영역들로 구획하고, 상기 제1 프레임의 픽셀패턴 영역들 중 상기 제2 프레임의 픽셀패턴 영역들과 일정한 편차로 매칭되는 개수를 확인하며, 상기 일정한 편차로 매칭되는 개수가 설정된 임계 값 이상인 경우 상기 화면전환이 이루어지지 않은 것으로 인식하고, 상기 일정한 편차로 매칭되는 개수가 상기 설정된 임계 값 미만인 경우 상기 화면전환이 이루어진 것으로 인식하는 것인 서버.
  9. 제 7항에 있어서,
    상기 색상정보 확인부는,
    상기 제1 프레임 및 상기 제2 프레임 각각을 복수의 색상 영역들로 구획하고, 상기 제1 프레임 및 상기 제2 프레임간 매칭되는 색상 영역들을 확인하며, 확인된 색상 영역에서 각 색상 영역에 해당하는 색상 정보의 변화값을 확인하는 것인 서버.
  10. 제 7항에 있어서,
    상기 화면전환 인식부는,
    상기 영상 컨텐츠의 모든 프레임들에 대하여 상기 색상정보의 변화값 확인 및 픽셀패턴의 검증 동작을 수행하고,
    상기 서버는 상기 화면전환 인식부에서 수행된 결과를 기반으로 상기 영상 컨텐츠의 화면전환 시점을 확인하고, 확인된 화면전환 시점을 기반으로 상기 영상 컨텐츠를 복수의 구간으로 구획하는 구간 구획부를 더 포함하는 것인 서버.
PCT/KR2017/006114 2016-06-20 2017-06-13 영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버 WO2017222228A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0076453 2016-06-20
KR1020160076453A KR101793653B1 (ko) 2016-06-20 2016-06-20 영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버

Publications (1)

Publication Number Publication Date
WO2017222228A1 true WO2017222228A1 (ko) 2017-12-28

Family

ID=60383870

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/006114 WO2017222228A1 (ko) 2016-06-20 2017-06-13 영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버

Country Status (2)

Country Link
KR (1) KR101793653B1 (ko)
WO (1) WO2017222228A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110012350A (zh) * 2019-03-25 2019-07-12 联想(北京)有限公司 一种视频处理方法及装置、设备、存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102422221B1 (ko) * 2020-03-30 2022-07-19 라인플러스 주식회사 이미지 내 텍스트 색상과 배경 색상을 추출하여 제공하는 방법, 시스템, 및 컴퓨터 프로그램
KR102476815B1 (ko) 2022-09-21 2022-12-12 (주)슬레이트미디어 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030059400A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 동영상 비디오의 장면전환 검출 방법
JP2005286390A (ja) * 2004-03-26 2005-10-13 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2011249947A (ja) * 2010-05-25 2011-12-08 Yahoo Japan Corp 画像減色装置、方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030059400A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 동영상 비디오의 장면전환 검출 방법
JP2005286390A (ja) * 2004-03-26 2005-10-13 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2011249947A (ja) * 2010-05-25 2011-12-08 Yahoo Japan Corp 画像減色装置、方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AI- IN , KI ET AL.: "Video Shot Boundary Detection Based on Color and LBP Code for Remote Smart Collaboration", IEEK SUMMER CONFERENCE, June 2015 (2015-06-01), pages 593 - 596 *
HONG, SEOK JIN ET AL.: "Scene Unit Video Editing System Based on Automatic Scene Detection using LBP and Color Histogram", PROCEEDINGS OF KOREAN INSTITUTE OF INFORMATION SCIENTISTS AND ENGINEERS, June 2014 (2014-06-01), pages 1725 - 1727 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110012350A (zh) * 2019-03-25 2019-07-12 联想(北京)有限公司 一种视频处理方法及装置、设备、存储介质
CN110012350B (zh) * 2019-03-25 2021-05-18 联想(北京)有限公司 一种视频处理方法及装置、设备、存储介质

Also Published As

Publication number Publication date
KR101793653B1 (ko) 2017-11-03

Similar Documents

Publication Publication Date Title
WO2017222228A1 (ko) 영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버
WO2014061964A1 (ko) 화재 감지 방법 및 장치
US11790772B2 (en) Traffic light image processing
WO2013048159A1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2012102519A2 (en) Terminal having touch screen and method for identifying touch event therein
WO2022055099A1 (ko) 이상 탐지 방법 및 이를 위한 장치
WO2019088335A1 (ko) 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법
WO2021112273A1 (ko) 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치
WO2011055930A2 (ko) 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2014061922A1 (ko) 에지 영상을 이용한 카메라 탬퍼링 검출장치 및 방법
WO2016099186A1 (en) Display apparatus and controlling method
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
WO2017065358A1 (ko) 시약 키트의 이미지를 통한 감염병 진단 방법 및 장치
WO2013077546A1 (ko) 입체 영상의 장면 전환 검출 장치 및 방법
WO2016190698A1 (ko) 잡음 제거를 위한 가중 미디언 필터링 방법 및 장치
WO2015174623A1 (ko) 입력 처리 장치 및 방법
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
WO2022045519A1 (ko) 최적화 모델 선택 장치 및 방법
WO2017164546A2 (ko) 컬러센서와 엘이디를 이용한 플래시 사진 촬영의 화질 보정 장치 및 그 방법
WO2019208869A1 (ko) 학습을 이용한 얼굴 특징점 검출 방법 및 장치
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
WO2011043499A1 (ko) 상황 변화 인식 방법 및 이를 이용한 영상 처리 장치
WO2019231119A1 (ko) 혼잡도 시각화 장치 및 방법
WO2018124388A1 (ko) 차량 주변 물체 알림 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17815641

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 01.04.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17815641

Country of ref document: EP

Kind code of ref document: A1