KR100406860B1 - Method for saving object images of moving pictures and appratus thereof - Google Patents

Method for saving object images of moving pictures and appratus thereof Download PDF

Info

Publication number
KR100406860B1
KR100406860B1 KR10-2001-0031014A KR20010031014A KR100406860B1 KR 100406860 B1 KR100406860 B1 KR 100406860B1 KR 20010031014 A KR20010031014 A KR 20010031014A KR 100406860 B1 KR100406860 B1 KR 100406860B1
Authority
KR
South Korea
Prior art keywords
video
image
frame
equation
curve
Prior art date
Application number
KR10-2001-0031014A
Other languages
Korean (ko)
Other versions
KR20020005413A (en
Inventor
김호
서만석
김성태
김덕용
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR10-2001-0031014A priority Critical patent/KR100406860B1/en
Publication of KR20020005413A publication Critical patent/KR20020005413A/en
Application granted granted Critical
Publication of KR100406860B1 publication Critical patent/KR100406860B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

본 발명은 인터넷 방송 또는 상방향 디지털 TV를 통해서 전송되는 동영상을 이용하여 그 동영상에 포함된 객체에 대한 상세한 정보를 제공하기 위해서 그 동영상과 함께 전송되는 객체의 이미지를 저장한 동영상 레이블 데이터베이스를 구성하는 방법 및 그 장치에 관한 것으로, (a) 동영상을 구성하는 프레임들 중에 포함된 객체의 이미지를 소정의 색상정보에 따라서 그 이미지의 윤곽을 나타내는 소정의 제어점을 설정하는 단계;(b) 소정의 제어점을 근사하는 소정의 곡선을 형성하는 단계;(c) 상기 곡선의 방정식을 데이터화하여 저장하는 단계를 포함하므로, 동영상과 함께 전송하는 객체 데이터베이스의 크기가 줄어들고 또한 정확한 객체의 이비지를 표현할 수 있는 장점이 있다.The present invention provides a video label database that stores an image of an object transmitted along with the video to provide detailed information about the object included in the video using a video transmitted through an Internet broadcast or an upward digital TV. A method and apparatus thereof, comprising: (a) setting a predetermined control point that outlines an image of an object included in frames constituting a video according to predetermined color information; (b) a predetermined control point (C) forming and storing the equations of the curves, thereby reducing the size of the object database transmitted with the video and expressing the exact object garbage. have.

Description

동영상의 객체이미지를 저장하는 방법 및 그 장치 {Method for saving object images of moving pictures and appratus thereof}Method for saving object images of moving pictures and appratus about

본 발명은 인터넷을 통한 정보제공분야에 관한 것으로, 특히 동영상에 속하는 객체를 동영상 레이블 데이터베이스화하여 사용자가 동영상을 시청 중에 객체를 선택하면 그 객체의 정보를 제공하는 방법 및 그 장치에 관한 것이다.The present invention relates to the field of providing information through the Internet, and more particularly, to a method and apparatus for providing information of an object when a user selects an object while watching a video by making a video label database of an object belonging to a video.

종래의 동영상 레이블 데이터베이스는 동영상의 프레임 또는 키프레임에 지정된 객체 마스크 이미지 또는 다각형으로 그 객체를 표현하였는데, 객체 마스크 이미지의 경우에는 레이블 정보는 정확하지만 데이터의 크기가 큰 단점이 있고 다각형으로 표현하는 경우에는 데이터의 크기는 작지만 레이블 정보가 부정확한 문제점을 가지게 된다. 또한 인터넷 방송이나 쌍방향 디지탈 TV를 동영상 내부에 있는 객체를 선택하여 정보를 얻고자 하는 경우에 종래의 동영상 레이블 데이터베이스를 동영상과 함께 전송할 경우 전송할 데이터가 너무 크거나 부정확한 데이터를 보내게 되는 문제점을 가지게 된다.In the conventional video label database, the object is represented by an object mask image or polygon assigned to a frame or key frame of the video. In the case of an object mask image, the label information is accurate but the data has a large size. There is a problem in that the data size is small but the label information is inaccurate. In addition, when the Internet broadcasting or interactive digital TV selects an object inside a video and obtains information, if the conventional video label database is transmitted together with the video, the data to be transmitted is too large or inaccurate. do.

본 발명이 이루고자 하는 기술적 과제는, 상기 문제점들을 해결하기 위해 동영상 레이블 데이터베이스를 구성하는 방법 및 그 장치를 제공하는데 있다.An object of the present invention is to provide a method and apparatus for constructing a moving picture label database to solve the above problems.

본 발명이 이루고자 하는 다른 기술적 과제는, 상기 문제점들을 해결하기 위해 동영상에 포함된 객체를 이용하여 정보를 제공하는 방법 및 그 장치를 제공하는데 있다.Another object of the present invention is to provide a method and an apparatus for providing information using an object included in a video to solve the above problems.

본 발명이 이루고자 하는 다른 기술적 과제는, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다.Another object of the present invention is to provide a computer-readable recording medium having recorded thereon a program for executing the method on a computer.

도 1은 본 발명에 따른 동영상 레이블 데이터베이스를 구성하는 흐름을 나타내는 도면이다.1 is a diagram illustrating a flow of constructing a video label database according to the present invention.

도 2는 본 발명에 따른 동영상 레이블 데이터베이스를 구성하는 흐름을 그림을 이용하여 나타내는 도면이다.2 is a diagram illustrating a flow of constituting a moving picture label database according to the present invention with a picture.

도 3는 본 발명에 따른 동영상 레이블 데이터베이스를 동영상과 함께 전송하여 정보를 제공하는 흐름을 나타내는 도면이다.3 is a diagram illustrating a flow of providing information by transmitting a video label database according to the present invention with a video.

도 4은 본 발명에 따른 동영상 레이블 데이터베이스를 구성하고 그 동영상 레이블 데이터베이스를 동영상과 함께 전송하여 동영상 속의 객체에 정보를 제공하는 장치를 나타내는 도면이다.4 is a diagram illustrating an apparatus for constructing a video label database and transmitting the video label database along with the video to provide information to objects in the video according to the present invention.

상기의 과제를 이루기 위한 본 발명에 따른 동영상 레이블 데이터베이스를 구성하는 방법은, (a) 동영상을 구성하는 프레임들 중에 포함된 객체의 이미지를소정의 색상정보에 따라서 그 이미지의 윤곽을 나타내는 소정의 제어점을 설정하는 단계;(b) 상기 소정의 제어점을 근사하는 소정의 곡선을 형성하는 단계;(c) 상기 곡선의 방정식을 데이터화하여 저장하는 단계를 포함한다.A method of constructing a moving picture label database according to the present invention for achieving the above object comprises: (a) a predetermined control point representing an image of an object included in frames constituting a moving picture according to predetermined color information; (B) forming a predetermined curve approximating the predetermined control point; and (c) storing the equation of the curve as data.

상기의 과제를 이루기 위한 본 발명에 따른 동영상 레이블 데이터베이스를 구성하는 장치는, 동영상을 구성하는 프레임들 중에 포함된 객체의 이미지를 소정의 색상정보에 따라서 그 이미지의 윤곽을 나타내는 소정의 제어점를 설정하는 제어점설정부;상기 소정의 제어점를 근사하는 소정의 곡선을 형성하는 곡선레이블생성부; 상기 곡선의 방정식을 데이터화하여 저장하는 곡선레이블데이터베이스를 포함한다.An apparatus for constructing a moving image label database according to the present invention for achieving the above object is a control point for setting a predetermined control point that outlines an image of an object included in frames constituting a moving image according to predetermined color information. A curve label generation unit forming a predetermined curve approximating the predetermined control point; It includes a curve label database for storing the data of the equation of the curve.

상기의 과제를 이루기 위한 본 발명에 따른 동영상에 포함된 객체를 이용하여 정보를 제공하는 방법은,(a) 동영상에 포함된 객체 중에서 상세한 정보를 알기를 원하는 객체에 클릭하면, 그 클릭한 픽셀좌표값 및 상기 객체를 포함하는 프레임 번호를 입력하는 단계;(b) 상기 (a)단계에서 입력된 프레임 번호를 변수로 하는 곡선의 방정식을 동영상 레이블 데이터베이스에서 선택하는 단계;(c) 상기 (a)단계에서 입력된 픽셀좌표값을 포함하는 곡선의 방정식을 가지는 객체에 대한 상세정보를 제공하는 단계를 포함한다.In order to achieve the above object, a method of providing information by using an object included in a video according to the present invention includes: (a) clicking on an object desired to know detailed information among objects included in the video, Inputting a frame number including a value and the object; (b) selecting an equation of a curve from the moving image label database using the frame number input in step (a) as a variable; (c) (a) And providing detailed information about an object having an equation of a curve including the pixel coordinate value input in the step.

상기의 과제를 이루기 위한 본 발명에 따른 동영상에 포함된 객체를 이용하여 정보를 제공하는 장치는,동영상에 포함된 객체 중에서 상세한 정보를 알기를 원하는 객체에 클릭하면, 그 클릭한 픽셀좌표값 및 상기 객체를 포함하는 프레임 번호를 입력하는 입력부;상기 입력부에서 입력된 프레임 번호를 변수로 하는 곡선의방정식을 동영상 레이블 데이터베이스에서 선택하는 객체선택부;상기 입력부에서 입력된 픽셀좌표값을 포함하는 곡선의 방정식을 가지는 객체에 대한 상세정보를 제공하는 정보제공부를 포함한다.In order to achieve the above object, an apparatus for providing information by using an object included in a video according to the present invention comprises: clicking on an object desired to know detailed information among objects included in the video, the clicked pixel coordinate value and the An input unit configured to input a frame number including an object; an object selector configured to select a curve equation using the frame number input from the input unit as a variable from a video label database; an equation of a curve including pixel coordinate values input from the input unit It includes an information providing unit for providing detailed information about the object having.

이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.

인터넷방송 또는 쌍방향 디지탈 TV를 시청하던 사용자가 동영상의 프레임에 포함된 객체에 대한 상세한 정보를 얻고자하는 경우, 그 객체를 클릭하면 상세한 정보를 제공할 수 있다.When a user who is watching internet broadcasting or interactive digital TV wants to obtain detailed information about an object included in a frame of a video, clicking the object may provide detailed information.

도 1은 본 발명에 따른 동영상을 통한 정보제공을 하기 위한 객체 데이터베이스(동영상 레이블데이터베니스 또는 곡선/곡면 데이터베이스)를 구성하는 방법에 대한 도면으로, 동영상의 프레임 내에 포함된 객체의 이미지를 나타내는 윤곽을 자유곡선 또는 자유곡면으로 표현하는 방법에 대해서 나타낸다.1 is a diagram illustrating a method of constructing an object database (video label data venice or curved / curved database) for providing information through a video according to the present invention, wherein an outline representing an image of an object included in a frame of the video is shown. The method of expressing with a free curve or a free curve is shown.

도 2는 도 1에서 설명하는 동영상을 이용한 정보제공을 하기 위한 동영상 레이블 데이터베이스를 구성하는 방법에 대한 흐름을 그림으로 나타내는 도면으로, 동영상을 시청하던 사용자가 키보드, 마우스 또는 리모콘으로 선택하면 그 선택한 객체에 대한 상세정보를 제공할 수 있는 객체를 포함하는 프레임을 선택(210단계)하고 그 선택한 객체에 대한 마스크 이미지를 형성(220단계)한다. 마스크 이미지의 색상정보에 따라서 객체의 외곽을 구성하는 조절점들을 구하고(230단계) 그 조절점들을 근사하는 NURB곡선식을 구한다(240단계). NURB곡선식이 구해지면 그 곡선을 근사하는 NURB곡면식을 구한다(250단계).FIG. 2 is a diagram illustrating a flow of a method of configuring a video label database for providing information using the video described in FIG. 1. When a user who is watching a video selects the keyboard, a mouse, or a remote controller, the selected object is shown. In operation 220, a frame including an object capable of providing detailed information about the selected object is formed and a mask image of the selected object is formed. Based on the color information of the mask image, the control points that form the outline of the object are obtained (step 230), and a NURB curve approximating the control points is obtained (step 240). When the NURB curve is obtained, a NURB curve is obtained to approximate the curve (step 250).

이하에서는 도 1 및 도 2에 대한 설명을 함께 진행해 나가기로 하는데, 도 1의 110단계 내지 150단계는 도 2의 210단계 내지 250단계에 해당한다.Hereinafter, description will be made with reference to FIGS. 1 and 2, and steps 110 to 150 of FIG. 1 correspond to steps 210 to 250 of FIG. 2.

쌍방향 디지탈 TV 또는 인터넷 방송을 통하여 동영상을 시청하던 사용자가 그 동영상의 객체에 대한 상세한 정보를 알기 위해서 그 객체를 클릭하면 정보를 제공하기 위해서는 동영상과 검색객체(동영상 시청자가 선택하면 상세한 정보를 알려줄 수 있도록 편집된 객체)를 저장한 동영상 레이블 데이터베이스를 인터넷, 공중파 또는 위성등을 통해서 전송하면, 사용자는 그 동영상을 시청하던 중 검색객체를 클릭하면 상세설명 또는 그 객체를 판매하는 웹사이트에 대한 정보를 얻거나 그 사이트로 이동할 수 있다.When a user who is watching a video through interactive digital TV or internet broadcasting clicks on the object to know detailed information about the object of the video, in order to provide the information, the video and search object (when the video viewer selects it) can provide detailed information. The video label database containing the edited objects) is sent via the Internet, airwaves, or satellites. When a user clicks on a search object while watching the video, the user can view the details or the website selling the object. You can get or go to that site.

도 1은 동영상의 프레임에 포함된 객체의 이미지에 대한 윤곽을 NURB 곡선/곡면(Non-Uniform Rational B-spline curve/surface)으로 근사하여 표현함으로써, 이미지 마스크로 구성되는 데이터베이스에 비해서는 데이터의 크기를 줄일 수 있고 다각형으로 이미지를 근사하여 데이터베이스화하는 방법보다는 이미지를 더 정확하게 표현할 수 있다.FIG. 1 shows the outline of an image of an object included in a frame of a video by approximating a NURB curve / surface to a size of data compared to a database composed of an image mask. It is possible to reduce the number and to represent the image more accurately than to approximate the image with a polygon.

인터넷 방송이나 쌍방향 디지털 TV를 시청하던 사용자에게 동영상과 함께 그 동영상의 객체에 대한 정보를 저장한 데이터베이스를 전송하여 사용자에게 상세한 객체정보를 서비스하기 위해서 객체에 대한 정보를 데이터베이스화하는 방법에 대해서 설명하면, 이하와 같다.In order to service the detailed object information to the user by sending a database storing the information about the object of the video together with the video to the user who was watching the Internet broadcast or interactive digital TV, And are as follows.

사용자에게 서비스할 객체를 동영상의 프레임 또는 키프레임에서 선택(110단계)하여 그 객체의 이미지를 나타내는 마스크이미지를 형성(120단계)한다. 종래에는 마스크이미지를 저장한 동영상 레이블 데이터베이스를 동영상과 함께 전송하여 전송할 데이터의 크기가 많아지는 문제점이 생겼다. 이를 방지하기 위해서 객체의 마스키이미지를 자유곡선/곡면으로 나타내는데, 객체의 마스크이미지는 색상정보에 의해서 나타내지므로 색상정보에 따라서 객체의 윤곽을 나타내기 위한 이미지의 제어점(또는 외곽점)들을 결정(130단계)한다.An object to be serviced to the user is selected from a frame or key frame of the video (step 110), and a mask image representing an image of the object is formed (step 120). Conventionally, the size of data to be transmitted is increased by transmitting a video label database storing a mask image together with a video. In order to prevent this, the mask image of the object is represented as a free curve / curve. Since the mask image of the object is represented by color information, the control points (or outer points) of the image for delineating the object are determined according to the color information. Step 130).

제어점들이 결정되면 그 제어점들을 근사하는 NURB(non-uniform rational b-spline) 곡선방정식을 이하의 수학식1과 같이 구하게 된다(140단계).When the control points are determined, a non-uniform rational b-spline (NURB) curve equation approximating the control points is obtained as in Equation 1 below (step 140).

여기서,는 곡선의 방정식,는 제어점 또는 픽셀좌표,는 블렌딩 함수(blending function),는 블렌딩함수의 차수,는 곡선상의 픽셀좌표값에 대응하는 매개변수,은 제어점의 갯수를 나타낸다.here, Is the equation of the curve, Is the control point or pixel coordinate, Is the blending function, Is the order of the blending function, Is a parameter that corresponds to the pixel coordinate value on the curve, Indicates the number of control points.

객체에 대한 NURB곡선의 방정식이 구해지면 그 곡선을 근사하는 NURB곡면의 방정식을 이하의 수학식2와 같이 구한다(140단계).When the equation of the NURB curve for the object is obtained, an equation of the NURB surface approximating the curve is obtained as in Equation 2 below (step 140).

여기서,는 곡면의 방정식,는 프레임 번호에 대응하는 매개변수,는 곡면상의 픽셀좌표값에 대응하는 매개변수,는 (i,j)번째의 제어점으로 (프레임번호, 픽셀좌표),방향의 블렌딩함수,방향의 블렌딩함수,방향의 블렌딩함수의 차수,방향의 블렌딩함수의 차수,방향 제어점의 갯수,방향 제어점의 갯수를 나타낸다.here, Is the equation of a surface, Is the parameter corresponding to the frame number, Is a parameter that corresponds to the pixel coordinate value on the surface, Is the (i, j) th control point (frame number, pixel coordinate), Is Blending function of the direction, Is Blending function of the direction, Is The order of the blending function in the direction, Is The order of the blending function in the direction, silver Number of directional control points, silver Indicates the number of direction control points.

곡선/곡면 방정식이 구해지면, 이 방정식들을 포함하는 정보를 동영상 레이블 데이터베이스(객체 데이터베이스)에 저장(150단계)한다. 동영상 레이블 데이터베이스에는 객체에 대한 NURB 곡선/곡면의 제어점들을 저장함으로 데이터베이스의 크기는 아래의 수학식3과 같이 나타낼 수 있다.Once the curve / curve equations are found, information containing these equations is stored in a moving image label database (object database) (step 150). The size of the database may be expressed as in Equation 3 below by storing control points of NURB curves / surfaces of the object in the video label database.

동영상 레이블 데이터베이스의 크기 = 검색객체의 갯수 × 검색객체를 포함하는 프레임 × 제어점의 갯수 × 4 [bytes]The size of the video label database = the number of search objects × the frame containing the search object × the number of control points × 4 [bytes]

여기서, 검색객체는 사용자가 선택할 수 있는 프레임상의 객체를 나타내고 숫자 4는 평면좌표계로 나타낸 제어점의 좌표값을 표현하는데 정수를 사용하기 때문에 구해진 수이다.Here, the search object represents an object on a frame selectable by the user, and the number 4 is obtained because an integer is used to express the coordinate value of the control point represented by the plane coordinate system.

상기와 같이 동영상 레이블 데이터베이스를 구성하는 경우, 프레임에 포함되는 객체에 대한 마스크 이미지를 저장하는 것보다 데이터 크기를 줄일 수 있고 또한 객체의 윤곽을 다각형으로 표현하여 데이터베이스화하는 경우보다는 객체를 더 정확하게 표현할 수 있다.When configuring the video label database as described above, the data size can be reduced than storing the mask image of the object included in the frame, and the object can be represented more accurately than the database by expressing the outline of the object as a polygon. Can be.

도 3은 본 발명에 따른 동영상 레이블 데이터베이스를 동영상 파일과 함께 전송하여 사용자가 선택한 객체에 대한 상세한 정보를 제공하는 흐름을 나타내는도면이다.3 is a diagram illustrating a flow of providing a detailed information on an object selected by a user by transmitting a video label database along with a video file according to the present invention.

쌍방향 디지탈 TV 또는 인터넷 방송을 통하여 동영상을 시청하던 사용자가 그 동영상에 포함된 객체 중에서 하나를 마우스, 키보드 또는 리모콘등을 포함하는 입력장치를 이용하여 선택(310단계)하면, 객체를 포함하는 프레임의 번호 및 사용자가 선택한 점의 픽셀좌표값을 입력(320단계)으로 하여 동영상 레이블 데이터베이스에서 그 객체의 형상에 해당하는 곡면방정식을 검색(330단계)하고 검색한 곡면방정식에 해당하는 곡선방정식을 선택(340단계)하여 그 곡선방정식의 인덱스를 구한다(250단계). 객체의 곡선방정식의 인덱스를 입력(350단계)받아 그 인덱스에 해당하는 객체의 상세정보를 제공하는데, 그 객체를 판매하는 사이트의 주소 또는 객체의 가격정보 등을 디스플레이하거나 웹사이트로 직접 연결하여 사용자가 더 상세한 정보를 획득할 수 있게 한다.When a user who is watching a video through interactive digital TV or Internet broadcasting selects one of the objects included in the video using an input device including a mouse, a keyboard, or a remote controller (step 310), Input the number and pixel coordinates of the point selected by the user (step 320), and search for the surface equation corresponding to the shape of the object in the video label database (step 330) and select the curve equation corresponding to the searched surface equation ( Step 340) to obtain the index of the curve equation (step 250). It receives the index of the curve equation of the object (step 350) and provides the detailed information of the object corresponding to the index, and displays the address of the site selling the object or the price information of the object, or directly connects to the website. Allows to obtain more detailed information.

도 4는 본 발명에 따른 동영상 레이블 데이터베이스를 저장하는 장치 및 동영상 정보 제공장치를 나타내는 블럭도이다.4 is a block diagram illustrating a device for storing a video label database and a video information providing device according to the present invention.

동영상을 통해서 사용자에게 동영상에 포함된 객체에 대한 상세정보를 제공하기 위해서는 사용자가 선택한 객체를 확인할 수 있어야 하므로 동영상과 동영상 레이블 데이터베이스를 동시에 전송하여야 한다. 곡선/곡면 레이블데이터베이스(435)에는 동영상의 키프레임 또는 프레임에 포함되어 있는 객체 중에서 사용자에게 상세정보를 제공할 객체를 선택하여 그 객체의 이미지를 나타내는 윤곽선에 대한 NURB곡선/곡면에 대한 정보를 저장하게 된다.In order to provide the user with detailed information on the objects included in the video, the user must check the selected object. Therefore, the video and the video label database must be transmitted at the same time. The curve / surface label database 435 stores information on NURB curves / surfaces of contours representing images of the object by selecting an object to provide detailed information to the user among keyframes or frames included in the video. Done.

마스크이미지형성부(410)는 동영상데이터베이스(430)에 저장되어 있는 동영상(433)의 프리임 또는 키프레임들 중에서 사용자에게 상세정보를 제공할 객체에 대한 마스크이미지를 형성하면, 변환부(420)는 객체의 마스크이미지의 색상정보에 따라서 그 이미지의 윤곽을 나타내기 위한 제어점을 형성한 후 그 제어점을 근사하는 NURB곡선을 구하고 다시 NURB곡선을 근사하는 NURB곡면을 구하여 마스크이미지를 NURB곡선/곡면으로 변환한다.When the mask image forming unit 410 forms a mask image of an object to provide detailed information to the user among the frames or key frames of the video 433 stored in the video database 430, the conversion unit 420 Forms a control point to outline the image according to the color information of the mask image of the object. Convert.

변환부(420)에서 변환된 NURB곡선/곡면에 대한 정보는 곡선/곡면 레이블 데이터베이스(435)에 저장된다. 상세정보 데이터베이스(437)는 사용자가 선택할 수 있는 객체의 상세한 정보를 포함하고 있다.Information about the NURB curve / surface converted by the converter 420 is stored in the curve / curve label database 435. The detailed information database 437 includes detailed information of objects that can be selected by the user.

상기와 같이 변환된 곡선/곡면 레이블 데이터베이스(435)에 저장된 객체에 정보와 함께 동영상을 인터넷을 통하여 전송하면, 사용자(470)가 그 동영상을 시청하던 중에 어떤 객체에 대한 상세정보를 알고 싶은 경우에 그 객체를 선택하면, 그 선택한 객체의 프레임번호 및 선택점의 픽셀좌표값을 동영상서버(440)의 입력부(443)를 통해서 입력받아 출력하면, 그 프레임번호 및 픽셀좌표값에 해당하는 곡면방정식 및 곡성방정식을 검색하여 그 곡선방정식에 해당하는 객체의 인덱스를 찾아 출력하면, 선택부(445)는 그 객체에 대한 상세정보데이터베이스(437)에서 상세정보와 그 객체를 취급하는 웹사이트의 주소를 선택하여 츨력하면, 정보제공부(447)는 상세정보 또는 웹사이트의 주소를 사용자에게 인터텟 또는 위성을 통해여 전송을 하게 되거나 웹사이트(480-1 내지 480-3)에 직접 연결하여 사용자(470)가 그 객체에 해당하는 물건을 구매하거나 새로운 정보를 획득할 수 있다.When a video is transmitted through the Internet together with information on an object stored in the converted curve / curve label database 435 as described above, when the user 470 wants to know detailed information about an object while watching the video. When the object is selected, the frame number of the selected object and the pixel coordinate value of the selection point are inputted and output through the input unit 443 of the video server 440, and the surface equation corresponding to the frame number and pixel coordinate value and After searching the curvature equation and finding and outputting the index of the object corresponding to the curve equation, the selection unit 445 selects the detailed information and the address of the website handling the object from the detailed information database 437 for the object. In this case, the information providing unit 447 transmits the detailed information or the address of the website to the user through an internet or a satellite, or the website 480-1. 480-3), the user 470 may purchase an item corresponding to the object or obtain new information.

본 발명에 의한 일실시예로써, 곡면 레이블 정보를 이용하여 실시간으로 특정프레임의 객체를 모자이크 처리하거나 다른 형상으로 대체할 수 있고 교육현장에서 동영상을 통해서 교육을 하는 경우에 피교육자가 동영상속의 객체에 대한 상세한 설명을 원하여 그 객체를 클릭하면 그에 대한 설명을 보충하여 줄 수 있다.According to an embodiment of the present invention, an object of a specific frame may be mosaic-processed or replaced with another shape in real time using curved label information. Click on the object for a detailed description to supplement the description.

사용자가 상방향 디지털 TV를 시청하던 중에 객체를 선택한 경우에는 리모콘 또는 채널버튼 등으로 객체를 선택할 수 있는데, 이와같은 경우에도 동영상의 프레임번호 및 그 픽셀좌표값을 입력으로 하여 상기와 같은 서비스를 제공할 수 있다.If the user selects an object while watching the upward digital TV, the user can select the object by using a remote control or a channel button. In such a case, the above service is provided by inputting a frame number of the video and its pixel coordinate value. can do.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, flash memory, optical data storage device, and also carrier waves (for example, transmission over the Internet). It also includes the implementation in the form of. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에서 설명한 바와 같이, 본 발명에 의하면, 동영상을 시청하던 사용자가 그 동영상에 나오는 객체에 대한 상세한 정보를 원하는 경우에, 그 객체를 선택하면 상세정보를 제공받을 수 있는데, 이런 서비스를 제공하기 위해서 동영상과 더불어 동영사에 포함된 객체의 이미지를 곡선으로 나타낸 동영상 레이블 데이터도 전송하게되는데, 곡선/곡면으로 이미지를 나타낸 동영상 레이블 데이터는 마스크이미지로 구성된 객체의 데이터에 비해서 전송되는 데이터의 크기를 줄일 수 있고 다각형으로 객체를 표현한 데이터에 비해서는 정확한 이미지를 표현할 수 있다.As described above, according to the present invention, when a user who is watching a video wants detailed information about an object in the video, selecting the object may provide detailed information. In addition to the video, the video label data showing the curved image of the object included in the movie project is transmitted. The video label data showing the curved / curved image can reduce the size of the transmitted data compared to the data of the object composed of the mask image. In addition, it is possible to express an accurate image compared to data representing an object in a polygon.

Claims (9)

(a) 동영상의 프레임에 포함된 객체의 이미지로부터 이미지의 색상정보에 따라서 객체의 윤곽을 구성하는 이미지 내의 제어점들을 구하는 단계;(a) obtaining control points in the image constituting the outline of the object according to the color information of the image from the image of the object included in the frame of the video; (b) 상기 각 프레임의 제어점들의 픽셀 좌표값에 기초하여 곡선방정식에 따라 상기 제어점들을 곡선으로 근사하는 단계;(b) approximating the control points to a curve according to a curve equation based on pixel coordinate values of the control points of each frame; (c) 상기 프레임 단위로 근사적으로 구한 곡선들을 기초로 상기 객체를 포함하는 복수의 프레임들에 대해 곡면방정식에 따라 곡면으로 근사하는 단계; 및(c) approximating a curved surface according to a surface equation with respect to a plurality of frames including the object based on the curves approximated in the frame unit; And (d) 상기 객체에 대해 근사된 곡선 및 곡면의 제어점들을 동영상 레이블 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 동영상 레이블 데이터베이스를 구성하는 방법.(d) storing control points of curves and surfaces approximated to the object in a moving image label database. 제 1항에 있어서,The method of claim 1, 상기 (a)단계 이전에 상기 동영상의 프레임에 포함된 객체에 대한 마스크 이미지를 형성하는 단계를 더 포함하는 것을 특징으로 하는 동영상 레이블 데이터베이스를 구성하는 방법.And forming a mask image of an object included in a frame of the video before step (a). 제1항에 있어서, 상기 (a)단계는The method of claim 1, wherein step (a) 상기 색상정보에 따라서 구분되는 객체에 대한 마스크 이미지의 윤곽선이 소정의 기울기로 변하는 부분을 제어점으로 정하는 것을 특징으로 하는 동영상 레이블 데이터베이스를 구성하는 방법.And a control point is a portion at which a contour line of a mask image of an object divided according to the color information changes to a predetermined slope. 삭제delete 삭제delete (a) 동영상에 포함된 객체가 선택되면, 그 선택된 픽셀좌표값 및 상기 객체를 포함하는 프레임 번호를 입력하는 단계;(a) if an object included in the video is selected, inputting the selected pixel coordinate value and a frame number including the object; (b) 상기 입력된 프레임 번호를 변수로 하여 상기 객체의 형상에 해당하는 곡면방정식을 검색하는 단계;(b) searching for a curved equation corresponding to the shape of the object using the input frame number as a variable; (c) 상기 검색된 곡면방정식에 해당하는 곡선방정식을 선택하는 단계; 및(c) selecting a curve equation corresponding to the searched curved equation; And (d) 상기 곡선방정식을 만족하는 객체에 대한 상세정보를 제공하는 단계를 포함하는 것을 특징으로 하는 동영상을 이용한 정보 제공방법.and (d) providing detailed information about the object satisfying the curve equation. 동영상의 프레임에 포함된 객체의 이미지로부터 이미지의 색상정보에 따라서 객체의 윤곽을 구성하는 이미지 내의 제어점들을 구하는 이미지형성부;An image forming unit obtaining control points in an image constituting an outline of the object according to color information of the image from the image of the object included in the frame of the video; 상기 각 프레임의 제어점들의 픽셀 좌표값에 기초하여 곡선방정식에 따라 상기 제어점들을 곡선으로 근사하고, 상기 프레임 단위로 근사적으로 구한 곡선들을 기초로 상기 객체를 포함하는 복수의 프레임들에 대해 곡면방정식에 따라 곡면으로 근사하는 변환부; 및Approximate the control points to the curve according to the curve equation based on the pixel coordinate values of the control points of each frame, and based on the curves approximated in the frame unit for a plurality of frames including the object A conversion unit approximating a curved surface accordingly; And 상기 객체에 대해 근사된 곡선 및 곡면의 제어점들을 저장하는 동영상 레이블 데이터베이스를 포함하는 것을 특징으로 동영상 레이블 데이터베이스를 구성하는 장치.And a video label database for storing control points of curves and surfaces approximated for the object. 동영상에 포함된 객체가 선택되면, 그 선택된 픽셀좌표값 및 상기 객체를 포함하는 프레임 번호를 입력하는 입력부;An input unit for inputting a selected pixel coordinate value and a frame number including the object when an object included in the video is selected; 상기 입력된 프레임 번호를 변수로 하여 상기 객체의 형상에 해당하는 곡면방정식을 검색하고, 상기 검색된 곡면방정식에 해당하는 곡선방정식을 선택하는 객체선택부; 및An object selecting unit searching for a curved equation corresponding to the shape of the object by using the input frame number as a variable, and selecting a curved equation corresponding to the found curved equation; And 상기 곡선방정식을 만족하는 객체에 대한 상세정보를 제공하는 정보제공부를 포함하는 것을 특징으로 하는 동영상을 이용한 정보 제공장치.And an information providing unit for providing detailed information on the object that satisfies the curve equation. 제1항 및 제6항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method of claim 1 on a computer.
KR10-2001-0031014A 2001-06-02 2001-06-02 Method for saving object images of moving pictures and appratus thereof KR100406860B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0031014A KR100406860B1 (en) 2001-06-02 2001-06-02 Method for saving object images of moving pictures and appratus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0031014A KR100406860B1 (en) 2001-06-02 2001-06-02 Method for saving object images of moving pictures and appratus thereof

Publications (2)

Publication Number Publication Date
KR20020005413A KR20020005413A (en) 2002-01-17
KR100406860B1 true KR100406860B1 (en) 2003-11-21

Family

ID=19710330

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0031014A KR100406860B1 (en) 2001-06-02 2001-06-02 Method for saving object images of moving pictures and appratus thereof

Country Status (1)

Country Link
KR (1) KR100406860B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100707841B1 (en) * 2006-04-04 2007-04-17 중앙대학교 산학협력단 Nurbs surface deformation apparatus and the method using 3d target curve

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920008626A (en) * 1990-10-17 1992-05-28 요시무라 시로오 Curve Approximation Method
JPH04163589A (en) * 1990-10-29 1992-06-09 Hitachi Ltd Image processor for moving image
US5550960A (en) * 1993-08-02 1996-08-27 Sun Microsystems, Inc. Method and apparatus for performing dynamic texture mapping for complex surfaces
KR980013413A (en) * 1996-07-09 1998-04-30 배순훈 Method of contour coding of object expressed by video signal
KR20000058241A (en) * 1999-11-09 2000-10-05 장영규 Apparatus for editing moving images and method for providing fashion information employing the same
WO2001039125A1 (en) * 1999-11-19 2001-05-31 Dynamic Digital Depth Research Pty Ltd. Depth map compression technique

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920008626A (en) * 1990-10-17 1992-05-28 요시무라 시로오 Curve Approximation Method
JPH04163589A (en) * 1990-10-29 1992-06-09 Hitachi Ltd Image processor for moving image
US5550960A (en) * 1993-08-02 1996-08-27 Sun Microsystems, Inc. Method and apparatus for performing dynamic texture mapping for complex surfaces
KR980013413A (en) * 1996-07-09 1998-04-30 배순훈 Method of contour coding of object expressed by video signal
KR20000058241A (en) * 1999-11-09 2000-10-05 장영규 Apparatus for editing moving images and method for providing fashion information employing the same
WO2001039125A1 (en) * 1999-11-19 2001-05-31 Dynamic Digital Depth Research Pty Ltd. Depth map compression technique

Also Published As

Publication number Publication date
KR20020005413A (en) 2002-01-17

Similar Documents

Publication Publication Date Title
US7146022B2 (en) Spatiotemporal locator processing method and apparatus
US7808511B2 (en) Method and system for streaming documents, E-mail attachments and maps to wireless devices
CN110708589B (en) Information sharing method and device, storage medium and electronic device
US6912689B1 (en) Method and apparatus for facilitating substitution of digital images with line drawings
US6868415B2 (en) Information linking method, information viewer, information register, and information search equipment
EP1283610A2 (en) Automated system and method for producing digital advertisements
CN103828339A (en) Tiling process for digital image retrieval
US11049307B2 (en) Transferring vector style properties to a vector artwork
EP1835466A2 (en) Method and apparatus for geometric data processing and a parts catalog system
JPH1056609A (en) Image recording method, communication method, image recording device, communication equipment and medium
JP2010055424A (en) Apparatus, method and program for processing image
CN104023181A (en) Information processing method and device
CN108038760B (en) Commodity display control system based on AR technology
CN111768470A (en) Picture generation method and device, computer equipment and computer readable storage medium
US20160275723A1 (en) System and method for generating three dimensional representation using contextual information
KR100406860B1 (en) Method for saving object images of moving pictures and appratus thereof
JP2007087023A (en) Information processor
KR20160125322A (en) Apparatus and method for generating and managing an advertizing contents
KR102099093B1 (en) Customized Motion Graphic Video Production System
JP6896724B2 (en) Systems and methods to improve workload management in ACR television monitoring systems
JP2008135045A (en) Information associating method
US20220156787A1 (en) Video Production Platform
WO2024024727A1 (en) Image processing device, image display device, image processing method, image display method, and program
JP2001142453A (en) Display control method and display control device which display image related to the contents of all or portion of moving image, information providing server and image related to the contents of all or portion of the moving image
JP2000339463A (en) Picture processing method, picture processor and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
G15R Request for early opening
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120906

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131004

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20140904

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20150930

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20160920

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20170928

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee