KR101900303B1 - Apparatus and method for searching multimedia data according to user input - Google Patents

Apparatus and method for searching multimedia data according to user input Download PDF

Info

Publication number
KR101900303B1
KR101900303B1 KR1020110144902A KR20110144902A KR101900303B1 KR 101900303 B1 KR101900303 B1 KR 101900303B1 KR 1020110144902 A KR1020110144902 A KR 1020110144902A KR 20110144902 A KR20110144902 A KR 20110144902A KR 101900303 B1 KR101900303 B1 KR 101900303B1
Authority
KR
South Korea
Prior art keywords
data
feature information
information
multimedia
unit
Prior art date
Application number
KR1020110144902A
Other languages
Korean (ko)
Other versions
KR20130076346A (en
Inventor
정문식
최성도
이반 코르야코브스키
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110144902A priority Critical patent/KR101900303B1/en
Publication of KR20130076346A publication Critical patent/KR20130076346A/en
Application granted granted Critical
Publication of KR101900303B1 publication Critical patent/KR101900303B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 사용자 입력에 따른 멀티미디어 검색 장치 및 방법에 관한 것이다.
이를 위해 본 발명은 하나 이상의 멀티미디어 데이터에 대한 특징 정보를 추출하고, 각 멀티미디어 데이터와 상기 추출된 특징 정보를 대응시켜 저장하며, 터치 입력에 따라 사용자 입력 데이터를 수신하고, 수신된 사용자 입력 데이터에 대한 특징 정보를 추출한 후 추출된 사용자 입력 데이터에 대한 특징 정보와 상기 각 멀티미디어 데이터에 대한 특징 정보를 비교하여 추출된 사용자 입력 데이터에 대한 특징 정보와 유사한 특징 정보를 가지는 후보 멀티미디어 데이터를 검색한 후 검색된 후보 멀티미디어 데이터를 제공하는 함으로써 사용자에게 좀 더 정확한 검색이 가능하도록 한다.The present invention relates to a multimedia retrieval apparatus and method according to user input.
To this end, the present invention extracts feature information of one or more multimedia data, stores each multimedia data and the extracted feature information in association with each other, receives user input data according to a touch input, After extracting the feature information, the feature information of the extracted user input data is compared with the feature information of each multimedia data, and candidate multimedia data having similar feature information to the extracted user input data is searched for, By providing multimedia data, more precise search is possible to the user.

Description

사용자 입력에 따른 멀티미디어 검색 장치 및 방법{APPARATUS AND METHOD FOR SEARCHING MULTIMEDIA DATA ACCORDING TO USER INPUT}TECHNICAL FIELD [0001] The present invention relates to a multimedia search apparatus and a method for searching multimedia according to user input,

본 발명은 멀티미디어 검색 장치 및 방법에 관한 것으로, 특히 사용자가 손을 이용하여 입력한 입력 데이터를 인식하여 멀티미디어를 검색하기 위한 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multimedia search apparatus and method, and more particularly, to an apparatus and method for searching for multimedia by recognizing input data input by a user using a hand.

일반적으로 전자기기는 멀티미디어 컨텐츠의 양이 점점 증가하고, 다양해짐에 따라 사용자가 원하는 컨텐츠를 검색하는데 시간이 많이 소요되어 사용자에게 최적화된 컨텐츠 검색 방법을 제공하기 점점 어려워지고 있다.Generally, as the amount of multimedia contents increases and diversifies, electronic devices are getting more and more time-consuming for users to search for desired contents, and it becomes increasingly difficult to provide a method of searching contents optimized for users.

현재 전자기기 내에 저장된 멀티미디어 컨텐츠를 검색하기 위해서는 컨텐츠 검색을 위한 입력 창에 컨텐츠 검색을 위해 사용되는 키워드를 입력하고, 입력된 키워드에 대응하는 다수의 후보 컨텐츠에 대한 후보 컨텐츠 리스트를 생성하여 화면에 표시한다. 사용자는 화면에 표시된 후보 컨텐츠 리스트 중 원하는 컨텐츠를 선택하거나 후보 컨텐츠 리스트 내에 원하는 컨텐츠가 없는 경우에는 다른 키워드를 입력한다. 다른 키워드를 입력한 사용자는 재입력된 키워드를 이용하여 검색된 후보 컨텐츠 리스트 중 원하는 컨텐츠를 선택한다.In order to search multimedia contents stored in the electronic device, a keyword used for content search is input to an input window for content search, a candidate content list for a plurality of candidate contents corresponding to the input keyword is generated, do. The user selects a desired content from the candidate content list displayed on the screen or inputs another keyword if there is no desired content in the candidate content list. The user who inputs another keyword selects a desired content from the candidate content list searched by using the re-input keyword.

상기와 같이 종래에는 다수의 멀티미디어 컨텐츠를 검색하기 위해서 사용자로부터 키워드를 입력받고, 입력된 키워드에 대응하는 멀티미디어 컨텐츠에 대한 리스트를 검색하여 화면에 표시하였다.As described above, conventionally, in order to retrieve a plurality of multimedia contents, a keyword is inputted from a user, and a list of multimedia contents corresponding to inputted keyword is searched and displayed on the screen.

하지만, 이와 같은 경우 사용자가 입력된 키워드에 대응하는 다수의 멀티미디어 컨텐츠를 검색하여 화면에 표시하기 때문에 사용자가 원하는 컨텐츠를 한번에 검색할 수 없다는 문제점이 있다.However, in such a case, the user searches for a plurality of multimedia contents corresponding to input keywords and displays the multimedia contents on the screen, so that the user can not retrieve the desired contents at a time.

또한, 사용자가 원하는 컨텐츠가 없는 경우 사용자가 원하는 컨텐츠를 검색하기 위해 키워드를 반복해서 다시 입력해야 하는 번거로움이 있다.In addition, when the user does not have the desired content, the user has to repeatedly input the keyword again to retrieve the desired content.

뿐만 아니라, 사용자 본인을 촬영한 셀프 샷과 같이 촬영된 피사체가 유사하고, 배경이 바뀐 이미지가 많을 경우 사용자가 원하는 이미지를 검색하기 어렵다는 단점이 있다.In addition, there is the disadvantage that it is difficult for the user to search for an image desired by the user if the photographed subject is similar to the self shot shot by the user himself and there are many images with changed backgrounds.

따라서, 본 발명에서는 사용자로부터 멀티미디어 컨텐츠에 대한 사용자 입력 데이터를 입력받고, 입력된 사용자 입력 데이터에 대응하는 후보 멀티미디어 컨텐츠 리스트를 검색하여 제공하기 위한 컨텐츠 검색 장치 및 방법을 제공한다.Accordingly, the present invention provides a content search apparatus and method for receiving user input data for multimedia content from a user, searching for a candidate multimedia content list corresponding to input user input data, and providing the search result.

상술한 바를 달성하기 위한 본 발명은 사용자 입력 장치를 이용한 멀티미디어 검색 장치에 있어서, 터치 입력에 따라 사용자 입력 데이터를 출력하는 터치스크린부와, 하나 이상의 멀티미디어 데이터에 대한 특징 정보를 추출하는 특징 정보 추출부와, 상기 각 멀티미디어 데이터와 상기 추출된 특징 정보를 대응시켜 저장하는 저장부와, 상기 사용자 입력 데이터를 인식하는 입력 데이터 인식부와, 상기 특징 정보 추출부를 통해서 상기 터치스크린부를 통해서 입력된 사용자 입력 데이터에 대한 특징 정보를 추출하고, 상기 추출된 사용자 입력 데이터에 대한 특징 정보와 상기 각 멀티미디어 데이터에 대한 특징 정보를 비교하여 유사한 특징 정보를 가지는 후보 멀티미디어 데이터를 상기 저장부로부터 검색한 후 상기 검색된 후보 멀티미디어 데이터를 제공하는 제어부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a multimedia search apparatus using a user input device, comprising: a touch screen unit for outputting user input data according to a touch input; a feature information extracting unit for extracting feature information on one or more multimedia data; A storage unit for storing the multimedia data and the extracted feature information in association with each other, an input data recognizing unit for recognizing the user input data, a user input data input unit for inputting the user input data through the touch screen unit through the feature information extracting unit, Extracts feature information on the extracted user input data, compares feature information on the extracted user input data with feature information on each of the multimedia data, searches for candidate multimedia data having similar feature information from the storage unit, data It characterized in that it comprises a control unit for providing.

또한, 본 발명은 멀티미디어 검색 장치에서 사용자 입력 장치를 이용한 멀티미디어 검색 방법에 있어서, 하나 이상의 멀티미디어 데이터에 대한 특징 정보를 추출하는 과정과, 상기 각 멀티미디어 데이터와 상기 추출된 특징 정보를 대응시켜 저장하는 과정과, 터치 입력에 따라 사용자 입력 데이터를 수신하는 과정과, 상기 수신된 사용자 입력 데이터에 대한 특징 정보를 추출하는 과정과, 상기 추출된 사용자 입력 데이터에 대한 특징 정보와 상기 각 멀티미디어 데이터에 대한 특징 정보를 비교하는 과정과, 비교 결과 상기 추출된 사용자 입력 데이터에 대한 특징 정보와 유사한 특징 정보를 가지는 후보 멀티미디어 데이터를 검색하는 과정과, 상기 검색된 후보 멀티미디어 데이터를 제공하는 과정을 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided a multimedia search method using a user input device in a multimedia search apparatus, the method comprising: extracting feature information on one or more multimedia data; The method includes receiving user input data according to a touch input, extracting feature information of the received user input data, extracting feature information of the extracted user input data and feature information of each of the multimedia data, Searching for candidate multimedia data having similar feature information as the feature information of the extracted user input data, and providing the searched candidate multimedia data.

본 발명은 사용자의 드로잉과 같은 사용자 입력 데이터를 전경 및 배경으로 구분하여 입력받고, 입력된 사용자 입력 데이터를 이용하여 멀티미디어 데이터에 대한 검색을 수행함으로써 사용자에게 보다 정확한 검색 결과를 제공할 수 있다는 이점이 있다.The present invention is advantageous in that user input data such as a drawing of a user is divided into foreground and background, and a search for multimedia data is performed using input user input data, thereby providing a more accurate search result to a user have.

도 1은 본 발명의 실시 예에 따라 사용자 입력에 따른 멀티미디어 검색 장치의 구성도를 나타내는 도면,
도 2 내지 도 6은 본 발명의 실시 예에 따라 사용자 입력 데이터에 대응하는 이미지 데이터를 검색하는 과정을 설명하기 위한 예시도들,
도 3은 본 발명의 실시 예에 따라 사용자가 전경 및 배경에 따라 사용자 입력 데이터를 구분하여 입력하고, 입력된 전경 및 배경에 따른 사용자 입력 데이터를 이용하여 이미지 데이터를 검색하는 과정을 설명하기 위한 예시도,
도 7은 본 발명의 실시 예에 따라 사용자 입력 데이터를 이용하여 동영상 데이터를 검색하는 과정을 설명하기 위한 예시도,
도 8은 본 발명의 실시 예에 따라 선택된 멀티미디어 데이터를 이용하여 컨텐츠를 생성한 후 단말 기능에 따라 처리하는 과정을 설명하기 위한 예시도,
도 9는 본 발명의 실시 예에 따라 사용자 입력 데이터에 따른 이미지 데이터를 검색하기 위한 과정을 나타내는 흐름도,
도 10은 본 발명의 실시 예에 따라 사용자 입력 데이터에 따른 동영상 데이터를 검색하기 위한 과정을 나타내는 흐름도,
도 11은 본 발명의 실시 예에 따라 멀티미디어 데이터를 이용하여 생성된 컨텐츠를 사용자 입력 데이터에 대응하는 단말 기능으로 처리하기 위한 과정을 나타내는 흐름도.1 is a block diagram of a multimedia search apparatus according to an embodiment of the present invention.
FIGS. 2 to 6 are illustrations for explaining a process of retrieving image data corresponding to user input data according to an embodiment of the present invention;
3 is a diagram illustrating an example of a process in which a user separately inputs user input data according to foreground and background and searches for image data using user input data according to inputted foreground and background, Degree,
FIG. 7 is a diagram illustrating a process of searching for moving picture data using user input data according to an embodiment of the present invention; FIG.
8 is a diagram for explaining a process of generating contents using multimedia data selected according to an embodiment of the present invention and then processing the contents according to terminal functions.
FIG. 9 is a flowchart illustrating a process for searching image data according to user input data according to an embodiment of the present invention;
FIG. 10 is a flowchart illustrating a process for searching for moving picture data according to user input data according to an embodiment of the present invention.
FIG. 11 is a flowchart illustrating a process for processing content generated using multimedia data according to an embodiment of the present invention, as a terminal function corresponding to user input data.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and drawings, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention unnecessarily obscure.

본 발명은 사용자의 드로잉 데이터와 같이 멀티미디어 데이터에 대한 요약된 사용자 입력 데이터를 입력받고, 입력된 사용자 입력 데이터에 대응하는 특징 데이터를 추출한 후 추출된 특징 데이터와 미리 설정된 멀티미디어 데이터의 특징 데이터를 비교하여 유사한 특징 데이터를 가지는 멀티미디어 데이터를 검색하여 제공하는 것을 특징으로 한다.The present invention receives condensed user input data for multimedia data such as a user's drawing data, extracts feature data corresponding to input user input data, and compares the extracted feature data with feature data of preset multimedia data And retrieves and provides multimedia data having similar feature data.

도 1은 본 발명의 실시 예에 따라 사용자 입력에 따른 멀티미디어 검색 장치의 구성도를 나타내는 도면이다.FIG. 1 is a block diagram of a multimedia search apparatus according to an embodiment of the present invention. Referring to FIG.

본 발명의 실시 예에서 멀티미디어 검색 장치는 제어부(10), 카메라부(20), 특징 정보 추출부(30), 저장부(40), 터치스크린부(50), 입력 데이터 인식부(60), 기능 검출부(70)를 포함한다.The multimedia search apparatus includes a control unit 10, a camera unit 20, a feature information extraction unit 30, a storage unit 40, a touch screen unit 50, an input data recognition unit 60, And a function detecting unit 70.

먼저, 제어부(10)는 멀티미디어 검색 장치의 전반적인 동작을 제어하는데, 특히 특징 정보 추출부(30)를 통해서 적어도 하나의 멀티미디어 데이터에 대한 특징 정보를 추출하고, 추출된 각 특징 정보와 적어도 하나의 멀티미디어 데이터를 대응시켜 저장부(40)에 저장한다. 여기서, 특징 정보는 이미지 내의 엣지(edge) 정보와 색상 정보를 포함한다. 예를 들어, 제어부(10)는 카메라부(20)를 통해서 출력된 촬영 이미지로부터 엣지 정보를 추출하거나 저장부(40)에 저장된 동영상 데이터에 대한 키프레임 데이터를 생성하고, 생성된 키프레임 데이터에 대한 엣지 정보를 추출할 수 있다. 여기서 키프레임 데이터는 동영상 데이터에서 화면 구성이 비슷한 장면 중 가장 대표적인 프레임을 의미한다. First, the controller 10 controls the overall operation of the multimedia search apparatus. In particular, the controller 10 extracts feature information on at least one multimedia data through the feature information extracting unit 30, and extracts feature information of each of the extracted feature information and at least one multimedia And stores the data in the storage unit 40 in correspondence with each other. Here, the feature information includes edge information and color information in the image. For example, the control unit 10 extracts edge information from a shot image output through the camera unit 20, generates key frame data for moving image data stored in the storage unit 40, The edge information can be extracted. Here, the key frame data means the most representative frame among the scenes similar in screen configuration to the moving picture data.

제어부(10)는 터치스크린부(50)를 통해서 사용자 입력 데이터가 수신되면 입력 데이터 인식부(60)를 통해서 수신된 사용자 입력 데이터를 인식한다. 이때, 사용자 입력 데이터는 사용자가 손으로 그린 드로잉 데이터 또는 사용자가 쓴 문자 데이터가 될 수 있다. 또한, 제어부(10)는 터치스크린부(50)를 통해서 사용자가 손으로 그린 드로잉 데이터를 입력받을 경우 제어부(10)는 보다 정확한 검색을 위해 이미지 데이터의 전경(foreground) 및 배경(background), 키프레임 데이터의 전경 및 배경을 구분하여 입력받을 수 있다. 이를 위해, 제어부(10)는 특징 정보 추출부(30)를 통해서 멀티미디어 데이터의 특징 정보를 추출할 경우에도 이미지 데이터의 전경 및 배경, 키프레임 데이터의 전경 및 배경을 구분하여 추출할 수도 있다.When the user input data is received through the touch screen unit 50, the control unit 10 recognizes the user input data received through the input data recognition unit 60. At this time, the user input data may be hand drawn data or user-written character data. When the user inputs hand drawn drawing data through the touch screen unit 50, the control unit 10 controls the foreground and background of the image data, The foreground and background of the frame data can be separately input. For this, the control unit 10 may extract the foreground and background of the image data, foreground and background of the key frame data by extracting the feature information of the multimedia data through the feature information extracting unit 30, respectively.

예를 들어, 사용자가 바닷가에서 찍은 사진을 검색하고자 하는 경우 본 발명에서는 멀티미디어 검색 장치가 전경을 입력하기 위한 설정 버튼과 배경을 입력하기 위한 설정 버튼을 구비하여 사용자가 전경을 입력하기 위한 설정 버튼을 눌러 전경 드로잉 데이터를 입력하고, 배경을 입력하기 위한 설정 버튼을 눌러 배경 드로잉 데이터를 입력할 수 있다. 이러한 설정 이외에 다른 방법으로도 전경 및 배경을 구분하여 입력하기 위한 설정이 가능하다.For example, when a user wants to search a picture taken at the beach, the multimedia search apparatus includes a setting button for inputting foreground and a setting button for inputting a background, and a setting button for the user to input foreground To input the foreground drawing data, and to input the background drawing data by pressing the setting button for inputting the background. In addition to these settings, it is also possible to set the foreground and background separately.

이후 제어부(10)는 입력된 사용자 입력 데이터로부터 특징 정보 추출부(30)를 통해서 특징 데이터를 추출하고, 추출된 특징 정보와 저장부(40)에 저장된 특징 정보를 비교하여 유사한 특징 정보를 검색한다. 이때, 제어부(10)는 사용자 입력 데이터의 엣지 정보와 저장부(40)에 저장된 엣지 정보간의 차이값을 산출하고, 산출된 차이값이 미리 설정된 임계값보다 작으면 두 엣지 정보가 유사하다고 판단할 수 있다. 또한, 이러한 유사 특징 정보는 하나 이상 검색될 수 있다. 이러한 유사 특징 정보를 검색하는 방법에는 BiCE(Binary Coherent Edge Descriptors), SIFT(Scale Invariant Feature Transform), Daisy(Dynamically Architected Instruction Set from Yorktown)와 같은 방법이 있으며, MinHash(or the min-wise independent permutations locality sensitive hashing scheme)를 이용하여 유사성을 판단할 수 있다.Thereafter, the control unit 10 extracts the feature data from the inputted user input data through the feature information extracting unit 30, compares the extracted feature information with the feature information stored in the storage unit 40, and searches similar feature information . At this time, the controller 10 calculates the difference value between the edge information of the user input data and the edge information stored in the storage unit 40. If the calculated difference value is smaller than the preset threshold value, the controller 10 determines that the two edge information are similar . In addition, one or more similar feature information may be searched. Such similar feature information search methods include BiCE (Binary Coherent Edge Descriptors), SIFT (Scale Invariant Feature Transform), Daisy (Dynamically Architected Instruction Set from Yorktown), MinHash (or Min-wise independent permutations locality sensitive hashing scheme can be used to determine similarity.

제어부(10)는 검색된 유사 특징 정보에 대응하는 적어도 하나의 멀티미디어 데이터를 후보 멀티미디어 리스트로 생성하고, 생성된 후보 멀티미디어 리스트를 터치스크린부(50)의 화면에 표시한다.The control unit 10 generates at least one multimedia data corresponding to the retrieved similar characteristic information as a candidate multimedia list, and displays the generated candidate multimedia list on the screen of the touch screen unit 50.

터치스크린부(50)를 통해서 사용자로부터 표시된 후보 멀티미디어 리스트 중 원하는 멀티미디어 데이터에 대한 선택이 있으면 제어부(10)는 선택된 멀티미디어 데이터를 터치스크린부(50)의 화면에 표시한다. 이때, 터치스크린부(50)의 화면은 사용자 입력 데이터를 입력받기 위한 사용자 입력 영역과 후보 멀티미디어 리스트를 표시하기 위한 영역을 포함한다. 또한, 사용자 입력 영역은 선택된 멀티미디어 데이터를 표시하는 표시 영역도 될 수 있다. 이와 같은 경우 선택된 멀티미디어 데이터는 사용자 입력 영역에 겹쳐서 표시할 수 있다.The controller 10 displays the selected multimedia data on the screen of the touch screen unit 50 when the user selects the desired multimedia data from the displayed candidate multimedia list through the touch screen unit 50. [ At this time, the screen of the touch screen unit 50 includes a user input area for receiving user input data and an area for displaying a candidate multimedia list. Also, the user input area may be a display area for displaying the selected multimedia data. In this case, the selected multimedia data can be displayed in a superimposed manner on the user input area.

예를 들어, 동영상 데이터의 경우 제어부(10)는 유사 특징 정보에 대응하는 키프레임 데이터를 검색하고, 검색된 키프레임 데이터에 대응하는 동영상 데이터를 터치스크린부(50)의 화면에 표시한다.For example, in the case of moving picture data, the control unit 10 searches for key frame data corresponding to the similar feature information, and displays the moving picture data corresponding to the retrieved key frame data on the screen of the touch screen unit 50.

한편, 제어부(10)는 선택된 멀티미디어 데이터를 이용하여 컨텐츠를 생성하기 위한 요청이 있으면 컨텐츠 생성 모드를 수행한다. 여기서, 컨텐츠 생성 모드는 사용자가 선택한 멀티미디어 데이터를 이용하여 꾸미기, 글쓰기, 그리기와 같은 사용자 감성이 반영된 새로운 컨텐츠 데이터를 생성하도록 하는 동작 모드를 의미한다.Meanwhile, the controller 10 performs a content generation mode when a request to generate content is made using the selected multimedia data. Here, the content generation mode refers to an operation mode for generating new content data reflecting user's sensibility such as decorating, writing, and drawing using multimedia data selected by the user.

컨텐츠 데이터가 생성된 후 사용자 입력에 있으면 제어부(10)는 입력된 사용자 입력 데이터를 입력 데이터 인식부(60)를 통해서 인식하고, 인식된 사용자 입력 데이터에 대응하는 단말 기능 정보를 기능 검출부(70)를 통해서 검출한다. 구체적으로, 제어부(10)는 인식된 사용자 입력 데이터와 유사한 인식 데이터에 대응하는 단말 기능 정보를 기능 검출부(70)를 통해서 검출한다. 이때, 본 발명에서는 각 인식 데이터에 대응하여 단말 기능 정보를 설정한 단말 기능 설정 리스트를 저장부(40)에 미리 저장한다.The control unit 10 recognizes the inputted user input data through the input data recognizing unit 60 and transmits the terminal function information corresponding to the recognized user input data to the function detecting unit 70, Lt; / RTI > Specifically, the control unit 10 detects the terminal function information corresponding to the recognition data similar to the recognized user input data through the function detection unit 70. [ At this time, in the present invention, the terminal function setting list in which the terminal function information is set corresponding to each recognition data is stored in advance in the storage unit 40. [

제어부(10)는 생성된 컨텐츠 데이터에 대해서 검출된 단말 기능 정보에 해당하는 단말 기능을 수행하여 컨텐츠 데이터를 처리한다. 예를 들어, 입력 데이터가 메시지 모양의 그림과 이메일 주소인 경우 이에 대응하여 단말 기능 중 이메일 송수신 기능이 설정되어 있다고 가정한다. 터치스크린부(50)를 통해서 입력된 사용자 입력 데이터가 입력 데이터 인식부(60)를 통해서 메시지 모양의 그림과 이메일 주소가 입력 데이터로 인식되면 제어부(10)는 인식된 사용자 입력 데이터에 대응하는 이메일 송수신 기능에 대한 정보를 기능 검출부(70)를 통해서 검출하고, 검출된 정보에 따른 이메일 송수신 기능을 수행하여 생성된 컨텐츠 데이터를 인식된 이메일 주소로 전송한다. The control unit 10 processes the content data by performing a terminal function corresponding to the detected terminal function information with respect to the generated content data. For example, if the input data is a picture in the form of a message and an e-mail address, it is assumed that the e-mail transmission / reception function among the terminal functions is set. If the user input data inputted through the touch screen unit 50 is recognized as input data through the input data recognizing unit 60 as a message-like picture and the email address, the control unit 10 displays the email corresponding to the recognized user input data Information on the transmission / reception function is detected through the function detection unit 70, and the generated content data is transmitted to the recognized e-mail address by performing an e-mail transmission / reception function according to the detected information.

카메라부(20)는 광신호를 수신하여 이미지 데이터를 출력한다.The camera unit 20 receives the optical signal and outputs image data.

특징 정보 추출부(30)는 이미지 특징 정보 추출부(31)와 동영상 특징 정보 추출부(32)를 포함하고, 이미지 특징 정보 추출부(31)는 카메라부(20)로부터 출력된 이미지 데이터에 대한 특징 정보를 추출한다. 이때, 특징 정보는 엣지 정보가 될 수 있다. 또한, 동영상 특징 정보 추출부(32)는 동영상 데이터에 대응하여 추출된 하나 이상의 키프레임 데이터에 대한 특징 정보를 추출한다.The feature information extracting unit 30 includes an image feature information extracting unit 31 and a moving image feature information extracting unit 32. The image feature information extracting unit 31 extracts feature information of the image data output from the camera unit 20 Extract feature information. At this time, the feature information may be edge information. In addition, the moving picture characteristic information extracting unit 32 extracts characteristic information about one or more extracted key frame data corresponding to the moving picture data.

뿐만 아니라, 특징 정보 추출부(30)는 멀티미디어 데이터에 대해서 전경 및 배경에 따라 구분하여 특징 정보를 추출할 수도 있다. 예를 들어, 바닷가에 두 사람이 서 있는 이미지 데이터의 경우 특징 정보 추출부(30)는 이미지 데이터 내 두 사람에 대한 이미지 영역으로부터 전경에 대한 특징 정보를 추출하고, 바닷가에 대한 이미지 영역으로부터 배경에 대한 특징 정보를 추출할 수 있다.In addition, the feature information extracting unit 30 may extract feature information by dividing the multimedia data according to foreground and background. For example, in the case of image data in which two persons stand on the beach, the feature information extracting unit 30 extracts feature information on the foreground from the image region for the two persons in the image data, It is possible to extract feature information for the user.

또한, 특징 정보 추출부(30)는 입력 데이터 인식부(60)를 통해서 인식된 사용자 입력 데이터에 대한 특징 정보를 추출한다.In addition, the feature information extracting unit 30 extracts feature information on the user input data recognized through the input data recognizing unit 60.

저장부(40)는 적어도 하나의 멀티미디어 데이터와, 각 멀티미디어 데이터에 대응하는 특징 정보를 저장한다. 구체적으로, 저장부(40)는 각 이미지 데이터에 대응하는 특징 정보를 저장하고, 각 동영상 데이터에 대응하는 적어도 하나의 키프레임 데이터와, 각 키프레임 데이터에 대응하는 특징 정보를 저장한다. 또한, 저장부(40)는 복수의 단말 기능에 다른 단말 기능 정보에 대해서 각 단말 기능 정보에 대응하는 미리 설정된 인식 데이터를 저장한다. 여기서, 인식 데이터는 엣지 데이터 또는 문자 데이터가 될 수 있다. 예를 들어, 저장부(40)는 편지지 모양을 나타내는 엣지 데이터에 이메일 송수신 기능 또는 단문 메시지 송수신 기능과 같은 단말 기능 정보를 대응시켜 저장할 수 있다.The storage unit 40 stores at least one multimedia data and feature information corresponding to each multimedia data. Specifically, the storage unit 40 stores feature information corresponding to each image data, and stores at least one key frame data corresponding to each moving image data and feature information corresponding to each key frame data. In addition, the storage unit 40 stores preset identification data corresponding to each terminal function information with respect to the terminal function information of a plurality of terminal functions. Here, the recognition data may be edge data or character data. For example, the storage unit 40 may store terminal function information such as an e-mail transmission / reception function or a short message transmission / reception function in association with edge data representing the shape of a stationery.

터치스크린부(50)는 사용자로부터 입력되는 하나 이상의 입력 정보를 접촉에 따른 접촉점들로 인식하고, 이를 사용자 입력 데이터로 변환하여 출력한다. 터치스크린부(50)는 사용자의 터치 입력을 인식하기 위한 입력 영역과, 검색된 후보 멀티미디어 데이터에 대한 리스트를 표시하기 위한 후보 리스트 표시 영역을 포함한다. 이때, 입력 영역은 선택된 멀티미디어 데이터를 디스플레이를 위한 멀티미디어 표시 영역도 함께 될 수도 있고, 후보 리스트 표시 영역에 표시된 후보 리스트 중 선택된 멀티미디어 데이터를 드래그 앤 페이스트(Drag & Paste)할 수도 있다.The touch screen unit 50 recognizes one or more pieces of input information input from a user as touch points corresponding to the touches, converts them into user input data, and outputs the user input data. The touch screen unit 50 includes an input area for recognizing the user's touch input and a candidate list display area for displaying a list of the retrieved candidate multimedia data. At this time, the input area may include a multimedia display area for displaying the selected multimedia data, or may drag and paste selected multimedia data among the candidate lists displayed in the candidate list display area.

입력 데이터 인식부(60)는 사용자로부터 입력된 문자 또는 드로잉과 같은 사용자 입력 데이터를 인식하는데, 이러한 입력 데이터 인식부(60)는 문자 인식부(61)와 엣지 인식부(62)를 포함한다. 여기서, 문자 인식부(61)는 사용자 입력 데이터가 문자인지를 인식하고, 엣지 인식부(62)는 사용자 입력 데이터의 엣지를 인식한다. 다시 말해서, 문자 인식부(61)는 OCR과 같은 문자 인식 방법을 이용할 수 있고, 엣지 인식부(62)는 사용자가 직접 그린 드로잉 데이터에 대한 엣지를 인식한다. 이러한 엣지를 인식하기 위해서 유사연산자(homogeneity operator) 기법, 차연산자(difference operator) 기법, 경계값(threshold)를 이용한 기법, 그라디언트 에지 검출(Gradient edge detector) 등의 다양한 방법들이 사용되며, 특히 캐니 에지 검출 기법(Canny edge detector)이 대표적인 방법이다.The input data recognizing unit 60 recognizes user input data such as a character or a drawing input from a user. The input data recognizing unit 60 includes a character recognizing unit 61 and an edge recognizing unit 62. Here, the character recognition unit 61 recognizes whether the user input data is a character, and the edge recognition unit 62 recognizes the edge of the user input data. In other words, the character recognition unit 61 can use a character recognition method such as OCR, and the edge recognition unit 62 recognizes the edge of the drawing data drawn directly by the user. Various methods such as a homogeneity operator, a difference operator, a threshold, and a gradient edge detector are used to recognize the edge, and in particular, Canny edge detector is a typical method.

기능 검출부(70)는 저장부(40)에 저장된 각 인식 데이터에 대응하여 미리 설정된 단말 기능 정보 중 인식된 사용자 입력 데이터와 유사한 인식 데이터에 대응하여 미리 설정된 단말 기능 정보를 검출한다.The function detecting unit 70 detects preset terminal function information corresponding to recognition data similar to the recognized user input data among preset terminal function information corresponding to each recognition data stored in the storage unit 40. [

이를 통해서 사용자는 사용자가 원하는 멀티미디어 데이터를 보다 정확하게 검색할 수 있고, 더 나아가 검색된 멀티미디어 데이터를 이용하여 생성된 컨텐츠 데이터를 단말 기능을 통해서 처리할 수 있게 된다.Accordingly, the user can more accurately retrieve the multimedia data desired by the user, and moreover, can process the generated content data using the retrieved multimedia data through the terminal function.

도 2 내지 도 6은 본 발명의 실시 예에 따라 사용자 입력 데이터에 대응하는 이미지 데이터를 검색하는 과정을 설명하기 위한 예시도들이다.FIGS. 2 to 6 are exemplary diagrams for explaining a process of searching for image data corresponding to user input data according to an embodiment of the present invention.

도 2는 본 발명의 실시 예에 따라 드로잉 데이터를 이용하여 이미지 데이터를 검색하는 과정을 설명하기 위한 예시도이다.FIG. 2 is a diagram for explaining a process of searching for image data using drawing data according to an embodiment of the present invention.

도 2와 같이 터치스크린부(50)를 통해서 사용자 입력 데이터(200)가 입력되면 제어부(10)는 입력 데이터 인식부(60)를 통해서 입력된 사용자 입력 데이터를 인식하여 인식된 사용자 입력 데이터가 문자 데이터인지 또는 드로잉 데이터인지를 판단한다. 인식된 사용자 입력 데이터가 도면부호 200과 같은 드로잉 데이터인 경우 제어부(10)는 특징 정보 추출부(30)를 통해서 드로잉 데이터로부터 특징 정보, 즉, 엣지 정보를 추출한다.2, when the user input data 200 is inputted through the touch screen unit 50, the control unit 10 recognizes the user input data inputted through the input data recognition unit 60, It is determined whether the data is data or drawing data. If the recognized user input data is drawing data such as reference numeral 200, the control unit 10 extracts feature information, that is, edge information from the drawing data through the feature information extracting unit 30.

제어부(10)는 추출된 엣지 정보와 유사한 엣지 정보를 가지는 멀티미디어 데이터를 저장부(40) 내에서 검색하여 검색된 적어도 하나의 멀티미디어 데이터에 대한 후보 멀티미디어 리스트를 터치스크린부(50)의 화면에 디스플레이한다. 이와 같이 디스플레이된 후보 멀티미디어 리스트는 도 2의 도면부호 210, 220, 230, 240과 같이 도시될 수 있다. The control unit 10 searches the storage unit 40 for multimedia data having edge information similar to the extracted edge information and displays a candidate multimedia list for at least one multimedia data on the screen of the touch screen unit 50 . The candidate multimedia list displayed in this way can be shown as 210, 220, 230, 240 in FIG.

도 3은 본 발명의 실시 예에 따라 사용자가 전경 및 배경에 따라 사용자 입력 데이터를 구분하여 입력하고, 입력된 전경 및 배경에 따른 사용자 입력 데이터를 이용하여 이미지 데이터를 검색하는 과정을 설명하기 위한 예시도이다.3 is a diagram illustrating an example of a process in which a user separately inputs user input data according to foreground and background and searches for image data using user input data according to inputted foreground and background, .

도 3과 같이 사용자가 멀티미디어 데이터 검색을 위해 터치스크린부(50)를 통해서 전경 및 배경을 구분하여 입력하면 제어부(10)는 입력된 전경 및 배경에 대한 사용자 입력 데이터에 대응하는 멀티미디어 데이터(320)를 검색한다. 3, when the user inputs foreground and background separately through the touch screen unit 50 for multimedia data retrieval, the controller 10 displays the multimedia data 320 corresponding to the input foreground and background data, .

구체적으로, 도 3과 같이 사용자가 터치스크린부(50)를 통해서 전경에 대한 2명의 사람 얼굴 그림(300)을 입력하고, 배경에 대한 바닷가 그림(310)을 입력한다. 이때, 터치스크린부(50)는 그림 그리기를 위한 색상 입력과 붓, 연필, 펜과 같은 도구 입력이 가능한 그림 그리기 화면을 제공할 수 있다.Specifically, as shown in FIG. 3, the user inputs two human face images 300 for foreground through the touch screen unit 50 and inputs a beach image 310 for the background. At this time, the touch screen unit 50 can provide a color input for drawing and a drawing screen capable of inputting a tool such as a brush, a pencil, and a pen.

제어부(10)는 특징 정보 추출부(30)를 통해서 전경에 대한 사용자 입력 데이터(300)로부터 특징 정보를 추출하고, 배경에 대한 사용자 입력 데이터(310)로부터 특징 정보를 추출하여 추출된 전경 및 배경에 대한 특징 정보를 이용하여 도면부호 320과 같은 이미지 데이터를 검색할 수 있다. 다시 말해서, 제어부(10)는 사용자 입력 데이터의 전경 및 배경에 대한 특징 정보와 유사한 전경 및 배경에 대한 특징 정보를 저장부(40) 내에서 검색하고, 검색된 유사 특징 정보에 대응하는 적어도 하나의 후보 이미지 데이터에 대한 리스트를 터치스크린부(50)의 화면에 표시한다. 이후 사용자로부터 표시된 리스트들 중에서 어느 하나가 선택되면 제어부(10)는 선택된 이미지 데이터(320)를 터치스크린부(50)의 표시 영역에 표시한다.The control unit 10 extracts feature information from the user input data 300 for the foreground through the feature information extracting unit 30 and extracts the feature information from the user input data 310 for the background, It is possible to retrieve image data such as the reference numeral 320 by using the feature information on the image data. In other words, the control unit 10 searches the storage unit 40 for feature information about the foreground and background similar to the feature information for the foreground and the background of the user input data, and searches for at least one candidate And displays a list of image data on the screen of the touch screen unit 50. If any one of the displayed lists is selected by the user, the controller 10 displays the selected image data 320 on the display area of the touch screen unit 50.

도 4 내지 도 6은 본 발명의 실시 예에 따라 사용자 입력 데이터에 대응하는 적어도 하나의 멀티미디어 데이터에 대한 예시도들이다.FIGS. 4-6 are illustrations of at least one multimedia data corresponding to user input data according to an embodiment of the present invention.

도 4와 같이 모래 사장과 바닷물결에 대한 드로잉 데이터(400)가 입력되면 도면부호 410, 420, 430, 440과 같은 후보 이미지 데이터들이 검색될 수 있다.As shown in FIG. 4, when the drawing data 400 for the sandy beach and the sea water are inputted, candidate image data such as reference numerals 410, 420, 430 and 440 may be searched.

또한, 도 5의 도면부호 500과 같이 전경에 대한 사용자 입력 데이터로 배에 대한 드로잉 데이터가 입력되고, 배경에 대한 사용자 입력 데이터로 모래 사장과 바닷물결에 대한 드로잉 데이터가 입력되면 도면부호 510, 520, 530, 540과 같은 후보 이미지 데이터들이 검색될 수 있다.5, when drawing data for a ship is input as user input data for foreground and drawing data for sand beach and sea wave are input as user input data for the background, reference numerals 510 and 520 , 530, and 540 may be retrieved.

한편, 도 6의 도면부호 600과 같이 전경에 대한 사용자 입력 데이터로 모래 사장과 바닷물결에 대한 드로잉 데이터가 입력되고, 배경에 대한 사용자 입력 데이터로 석양에 대한 이미지 데이터가 입력되면 도면부호 610, 620, 630, 640과 같은 후보 이미지 데이터들이 검색될 수 있다. 본 발명의 실시 예서는 입력 데이터로 사용자가 선택한 이미지 데이터를 이용할 수 있다. 예를 들어, 도 6과 같은 사용자 입력 데이터가 입력되면 제어부(10)는 전경에 대한 드로잉 데이터로부터 특징 정보를 추출하고, 배경에 대한 석양 이미지 데이터로부터 특징 정보를 추출하고, 두 특징 정보와 유사한 특징 정보를 가지는 적어도 하나의 이미지 데이터들(610, 620, 630, 640)을 검색할 수 있다.6, when drawing data for sandy beach and sea waves are inputted as user input data for foreground and image data for sunset is inputted as user input data for background, reference numerals 610 and 620 , 630, and 640 may be retrieved. Embodiments of the present invention may use image data selected by the user as input data. For example, when the user input data as shown in FIG. 6 is input, the controller 10 extracts feature information from the drawing data for the foreground, extracts feature information from the sunset image data for the background, (610, 620, 630, 640) having information on the image data.

도 7은 본 발명의 실시 예에 따라 사용자 입력 데이터를 이용하여 동영상 데이터를 검색하는 과정을 설명하기 위한 예시도이다.FIG. 7 is an exemplary diagram illustrating a process of searching for moving picture data using user input data according to an embodiment of the present invention. Referring to FIG.

도 7과 같이 제어부(10)는 저장부(40)에 저장된 동영상 목록(700)에 포함된 각 동영상 데이터에 대응하여 하나 이상의 키프레임 데이터를 생성하고, 생성된 하나 이상의 키프레임 데이터에 대한 키프레임 목록(710)을 생성하여 저장부(40)에 저장한다. 여기서, 키프레임 데이터는 영화, 드라마와 같은 동영상의 화면 구성이 비슷한 장면 중 가장 대표적인 프레임을 의미한다. As shown in FIG. 7, the controller 10 generates one or more key frame data corresponding to each moving image data included in the moving image list 700 stored in the storage unit 40, And creates and stores the list 710 in the storage unit 40. Here, the key frame data refers to the most representative frame among scenes having similar screen configurations of movies such as movies and dramas.

제어부(10)는 특징 정보 추출부(30)를 통해서 각 키프레임 데이터에 대한 특징 정보를 추출하고, 추출된 특징 정보와 각 키프레임 데이터를 대응시켜 저장부(40)에 저장한다.The control unit 10 extracts the feature information of each key frame data through the feature information extracting unit 30, stores the extracted feature information and the key frame data in the storage unit 40 in association with each other.

이후 사용자로부터 터치스크린부(50)를 통해서 도면부호 720과 같은 드로잉 데이터가 입력되면 제어부(10)는 드로잉 데이터를 인식하여 특징 정보를 추출하고, 추출된 특징 정보와 유사한 특징 정보에 해당하는 키프레임 데이터를 저장부(40)로부터 검색한다. 제어부(10)는 도면부호 730과 같이 검색된 적어도 하나의 후보 키프레임 데이터에 대한 리스트를 구성하여 터치스크린부(50)의 화면에 표시한다. 사용자로부터 터치스크린부(50)를 통해서 특정 키프레임 데이터에 대한 선택이 있으면 제어부(10)는 선택된 키프레임 데이터에 대응하는 동영상 데이터를 터치스크린부(50)의 화면에 표시한다.When the drawing data such as 720 is input from the user through the touch screen unit 50, the control unit 10 recognizes the drawing data and extracts the feature information. Then, the control unit 10 extracts the feature information from the key frame corresponding to the feature information, And retrieves the data from the storage unit 40. The control unit 10 constructs a list of at least one candidate key frame data searched as reference numeral 730 and displays the list on the screen of the touch screen unit 50. If there is a selection of specific key frame data from the user through the touch screen unit 50, the control unit 10 displays the moving image data corresponding to the selected key frame data on the screen of the touch screen unit 50.

도 8은 본 발명의 실시 예에 따라 선택된 멀티미디어 데이터를 이용하여 컨텐츠를 생성한 후 단말 기능에 따라 처리하는 과정을 설명하기 위한 예시도이다.8 is a diagram illustrating a process of generating content using multimedia data selected according to an embodiment of the present invention and processing the content according to a terminal function.

본 발명에서는 사용자의 요청에 따라 멀티미디어 데이터를 이용하여 생성된 컨텐츠에 단말기 기능을 적용하여 컨텐츠를 처리하는 처리 모드를 수행할 수 있다.According to an embodiment of the present invention, a terminal may perform a processing mode for processing content by using multimedia data in response to a user request.

도 8과 같이 후보 리스트 표시 영역 내에 적어도 하나의 후보 이미지 데이터가 표시되고, 사용자로부터 멀티미디어 데이터(800)에 대한 드래그하여 입력 영역 내 810의 위치에 붙여넣기하는 입력이 있으면 제어부(10)는 해당 입력 영역 내에 810의 위치에 선택된 이미지 데이터를 드래그 앤 페이스트한다. As shown in FIG. 8, when at least one candidate image data is displayed in the candidate list display area and there is an input to be pasted at a position of the input area 810 by dragging from the user to the multimedia data 800, And drag and paste the image data selected at the position 810 in the area.

이후 사용자로부터 이미지 데이터에 대한 코멘트(820)와 이메일 주소(830), 편지지 모양의 드로잉(840)이 포함되는 사용자 입력 데이터가 입력되면 제어부(10)는 입력된 사용자 입력 데이터를 인식하고, 인식된 사용자 입력 데이터에 대응하는 단말 기능 정보를 기능 검출부(70)를 통해서 검출한다. 예를 들어, 저장부(40)에 편지지 모양의 드로잉(840)에 이메일 송수신 기능에 대한 정보가 대응되어 저장된 경우 기능 검출부(70)는 이메일 송수신 기능 정보를 검출한다. 제어부(10)는 검출된 이메일 송수신 기능 정보에 따라 터치스크린부(50)의 화면에 표시된 컨텐츠 데이터를 인식된 이메일 주소(830)로 전송하는 이메일 송수신 기능을 수행한다.When the user input data including the comment 820 of the image data, the e-mail address 830, and the drawing 840 of the letter shape is inputted from the user, the control unit 10 recognizes the inputted user input data, And detects the terminal function information corresponding to the user input data through the function detecting unit 70. [ For example, when information on the e-mail sending / receiving function is stored in the storage unit 40 in correspondence with the letter-shaped drawing 840, the function detecting unit 70 detects the e-mail sending / receiving function information. The control unit 10 performs an e-mail transmission / reception function for transmitting the content data displayed on the screen of the touch screen unit 50 to the recognized e-mail address 830 according to the detected e-mail transmission / reception function information.

이를 통해서 사용자는 사용자가 원하는 멀티미디어 데이터를 보다 정확하게 검색할 수 있고, 더 나아가 검색된 멀티미디어 데이터를 이용하여 생성된 컨텐츠 데이터를 단말 기능을 이용하여 처리할 수 있게 된다.Accordingly, the user can more accurately retrieve the multimedia data desired by the user, and moreover, can process the generated content data using the retrieved multimedia data using the terminal function.

도 9는 본 발명의 실시 예에 따라 사용자 입력 데이터에 따른 이미지 데이터를 검색하기 위한 과정을 나타내는 흐름도이다.9 is a flowchart illustrating a process for searching image data according to user input data according to an embodiment of the present invention.

도 9에 따르면, 900단계에서 제어부(10)는 카메라부(20)를 통해서 촬영 이미지 데이터를 입력받고, 901단계에서 입력된 이미지 데이터로부터 특징 정보 추출부(30)를 통해서 이미지 데이터에 대한 특징 정보를 추출한다. 이때, 특징 정보는 엣지 정보, 색상 정보를 포함한다.9, in step 900, the control unit 10 receives photographed image data through the camera unit 20, extracts feature information on the image data from the image data input in step 901 through the feature information extracting unit 30, . At this time, the feature information includes edge information and color information.

902단계에서 제어부(10)는 추출된 특징 정보와 이미지 데이터를 대응시켜 저장부(40)에 저장한다.In step 902, the control unit 10 stores the extracted feature information and the image data in the storage unit 40 in association with each other.

903단계에서 제어부(10)는 터치스크린부(50)로부터 사용자 입력 데이터가 수신되는지 여부를 판단하여 수신되면 904단계로 진행하고, 수신되지 않으면 903단계에서 사용자 입력 데이터가 수신되는지 여부를 계속적으로 판단한다.In step 903, the control unit 10 determines whether or not user input data is received from the touch screen unit 50. If the user input data is received, the control unit 10 proceeds to step 904. If the user input data is not received, do.

사용자 입력 데이터가 입력되면 904단계에서 제어부(10)는 입력 데이터 인식부(60)를 통해서 사용자 입력 데이터를 인식하고, 특징 정보 추출부(30)를 통해서 사용자 입력 데이터에 대한 특징 정보를 추출한다. When the user input data is inputted, the control unit 10 recognizes the user input data through the input data recognizing unit 60 and extracts the feature information of the user input data through the feature information extracting unit 30 in step 904.

905단계에서 제어부(10)는 추출된 사용자 입력 데이터에 대한 특징 정보와 유사한 특징 정보를 가지는 적어도 하나의 후보 이미지 데이터를 저장부(40)로부터 검색한다.In step 905, the control unit 10 searches the storage unit 40 for at least one candidate image data having similar feature information to the extracted user input data.

906단계에서 제어부(10)는 검색된 적어도 하나의 후보 이미지 데이터에 대한 후보 이미지 리스트를 생성하고, 생성된 후보 이미지 리스트를 터치스크린부(50)의 표시 영역에 표시한다.In step 906, the controller 10 generates a candidate image list for the searched candidate image data, and displays the generated candidate image list on the display area of the touch screen unit 50.

907단계에서 제어부(10)는 터치스크린부(50)를 통해서 후보 이미지 리스트 중 어느 하나에 대한 선택이 입력되는지 여부를 판단하여 선택이 입력되면 908단계로 진행하고, 입력되지 않으면 907단계에서 후보 이미지 리스트 중 어느 하나에 대한 선택이 입력되는지 여부를 계속적으로 판단한다.In step 907, the controller 10 determines whether the selection of the candidate image list is input through the touch screen unit 50. If the selection is input, the controller 10 proceeds to step 908. If the selection is not input, It is continuously judged whether or not the selection for any one of the lists is inputted.

908단계에서 제어부(10)는 선택된 이미지 데이터를 터치스크린부(50)의 화면에 표시한 후 이미지 데이터 검색 과정을 종료한다.In step 908, the control unit 10 displays the selected image data on the screen of the touch screen unit 50, and then ends the image data search process.

도 10은 본 발명의 실시 예에 따라 사용자 입력 데이터에 따른 동영상 데이터를 검색하기 위한 과정을 나타내는 흐름도이다.10 is a flowchart illustrating a process for searching for moving image data according to user input data according to an embodiment of the present invention.

1001단계에서 제어부(10)는 저장부(40)에 저장된 각 동영상 데이터에 대응하여 하나 이상의 키프레임 데이터를 특징 정보 추출부(30)를 통해서 생성한다.In step 1001, the control unit 10 generates one or more key frame data through the feature information extraction unit 30 corresponding to each moving image data stored in the storage unit 40.

1002단계에서 제어부(10)는 생성된 각 키프레임 데이터로부터 특징 정보를 특징 정보 추출부(30)를 통해서 추출한다.In step 1002, the controller 10 extracts the feature information from the generated key frame data through the feature information extracting unit 30.

1003단계에서 제어부(10)는 추출된 특징 정보와 생성된 키프레임 데이터를 대응시켜 저장부(40)에 저장한다.In step 1003, the control unit 10 associates the extracted feature information with the generated key frame data, and stores the key information in the storage unit 40.

1004단계에서 제어부(10)는 터치스크린부(50)로부터 사용자 입력 데이터가 수신되는지 여부를 판단하여 수신되면 1005단계로 진행하고, 수신되지 않으면 1004단계에서 사용자 입력 데이터가 수신되는지 여부를 계속적으로 판단한다.In step 1004, the controller 10 determines whether or not user input data is received from the touch screen unit 50. If the user input data is received, the controller 10 proceeds to step 1005. If the user input data is not received, do.

사용자 입력 데이터가 입력되면 1005단계에서 제어부(10)는 입력 데이터 인식부(60)를 통해서 사용자 입력 데이터를 인식하고, 인식한 사용자 입력 데이터에 대한 특징 정보를 특징 정보 추출부(30)를 통해서 추출한다. When the user input data is inputted, the controller 10 recognizes the user input data through the input data recognizing unit 60 in step 1005 and extracts the feature information on the recognized user input data through the feature information extracting unit 30 do.

1006단계에서 제어부(10)는 추출된 사용자 입력 데이터에 대한 특징 정보와 유사한 특징 정보를 가지는 적어도 하나의 후보 키프레임 데이터를 저장부(40)로부터 검색한다.In step 1006, the control unit 10 searches the storage unit 40 for at least one candidate key frame data having characteristic information similar to the feature information of the extracted user input data.

1007단계에서 제어부(10)는 검색된 적어도 하나의 후보 키프레임 데이터에 대한 후보 키프레임 리스트를 생성하고, 생성된 후보 키프레임 리스트를 터치스크린부(50)의 표시 영역에 표시한다.In step 1007, the controller 10 generates a candidate key frame list for at least one candidate key frame data and displays the generated candidate key frame list on the display area of the touch screen unit 50.

1008단계에서 제어부(10)는 터치스크린부(50)를 통해서 후보 키프레임 리스트 중 어느 하나에 대한 선택이 입력되는지 여부를 판단하여 선택이 입력되면 1009단계로 진행하고, 입력되지 않으면 1008단계에서 후보 키프레임 리스트 중 어느 하나에 대한 선택이 입력되는지 여부를 계속적으로 판단한다.In step 1008, the controller 10 determines whether a selection of a candidate key frame list is input through the touch screen unit 50. If the selection is input, the controller 10 proceeds to step 1009. If the selection is not input, And continuously determines whether or not a selection for one of the key frame lists is input.

1009단계에서 제어부(10)는 선택된 키프레임 데이터에 대응하는 동영상 데이터를 저장부(40)로부터 검색하고, 검색된 동영상 데이터를 터치스크린부(50)의 화면에 표시한 후 이미지 데이터 검색 과정을 종료한다.In step 1009, the control unit 10 searches the storage unit 40 for moving image data corresponding to the selected key frame data, displays the retrieved moving image data on the screen of the touch screen unit 50, and then ends the image data searching process .

도 11은 본 발명의 실시 예에 따라 멀티미디어 데이터를 이용하여 생성된 컨텐츠를 사용자 입력 데이터에 대응하는 단말 기능으로 처리하기 위한 과정을 나타내는 흐름도이다.11 is a flowchart illustrating a process for processing content generated using multimedia data according to an embodiment of the present invention, as a terminal function corresponding to user input data.

1100단계에서 제어부(10)는 멀티미디어 데이터 검색을 통해서 검색된 멀티미디어 데이터 중 사용자로부터 선택된 멀티미디어 데이터를 이용한 컨텐츠 데이터를 생성한다. 이러한 컨텐츠는 상기의 도 8에서 설명한 바와 같이 터치스크린부(50)의 화면에 표시된 이미지 데이터(810), 코멘트(820)가 포함된 컨텐츠 데이터를 의미한다.In step 1100, the controller 10 generates content data using multimedia data selected from the user among the multimedia data retrieved through the multimedia data retrieval. This content is content data including the image data 810 and the comment 820 displayed on the screen of the touch screen unit 50 as described above with reference to FIG.

1101단계에서 제어부(10)는 사용자 입력 데이터가 수신되는지 여부를 판단하여 사용자 입력 데이터가 수신되면 1102단계로 진행하고, 수신되지 않으면 1101단계에서 사용자 입력 데이터가 수신되는지 여부를 계속적으로 판단한다. 여기서, 사용자 입력 데이터는 도 8의 이메일 주소(830)와 편지지 모양의 드로잉 데이터(840)가 될 수 있다.In step 1101, the controller 10 determines whether or not the user input data is received. If the user input data is received, the controller 10 proceeds to step 1102. If the user input data is not received, the controller 10 continuously determines whether the user input data is received in step 1101. Here, the user input data may be the email address 830 of FIG. 8 and the drawing data 840 of the letter shape.

1102단계에서 제어부(10)는 입력 데이터 인식부(60)를 통해서 사용자 입력 데이터를 인식한다. 예를 들어, 입력 데이터 인식부(60)는 문자 인식부(61)를 통해서 이메일 주소를 인식하고, 엣지 인식부(62)를 통해서 드로잉 데이터를 인식할 수 있다.In step 1102, the control unit 10 recognizes the user input data through the input data recognition unit 60. For example, the input data recognizing unit 60 can recognize the e-mail address through the character recognizing unit 61 and recognize the drawing data through the edge recognizing unit 62. [

1103단계에서 제어부(10)는 인식된 사용자 데이터에 대응하여 미리 설정된 단말 기능 정보를 기능 검출부(70)를 통해서 검출한다. 구체적으로, 제어부(10)는 인식된 사용자 입력 데이터와 유사한 인식 데이터에 대응하는 단말 기능 정보를 기능 검출부(70)를 통해서 검출한다. 예를 들어, 편지지 모양의 드로잉 데이터에 대응하여 이메일 기능이 설정된 경우 기능 검출부(70)는 인식된 편지지 모양의 드로잉 데이터에 대응하는 이메일 기능 정보를 검출한다.In step 1103, the control unit 10 detects preset terminal function information through the function detection unit 70 corresponding to the recognized user data. Specifically, the control unit 10 detects the terminal function information corresponding to the recognition data similar to the recognized user input data through the function detection unit 70. [ For example, when the e-mail function is set corresponding to the drawing data of a stationery shape, the function detecting unit 70 detects e-mail function information corresponding to the recognized drawing data of the letter shape.

1104단계에서 제어부(10)는 검출된 단말 기능 정보에 해당하는 단말 기능 정보에 해당하는 단말 기능을 이용하여 생성된 컨텐츠 데이터를 처리한 후 컨텐츠 처리 과정을 종료한다. 구체적으로, 제어부(10)는 검출된 이메일 기능을 이용하여 인식된 이메일 주소로 상기의 컨텐츠 데이터를 전송한다. In step 1104, the controller 10 processes the content data generated using the terminal function corresponding to the terminal capability information corresponding to the detected terminal capability information, and then ends the content processing. Specifically, the control unit 10 transmits the content data to the recognized e-mail address using the detected e-mail function.

이를 통해서 사용자는 사용자가 원하는 멀티미디어 데이터를 보다 정확하게 검색할 수 있고, 더 나아가 검색된 멀티미디어 데이터를 이용하여 생성된 컨텐츠 데이터를 단말 기능을 통해서 처리할 수 있게 된다.Accordingly, the user can more accurately retrieve the multimedia data desired by the user, and moreover, can process the generated content data using the retrieved multimedia data through the terminal function.

10: 제어부
20: 카메라부
30: 특징 정보 추출부
31: 이미지 특징 추출부
32: 동영상 특징 추출부
40: 저장부
50: 터치 스크린부
60: 입력 데이터 인식부
61: 문자 인식부
62: 엣지 인식부
70: 기능 검출부10:
20:
30: Feature information extracting unit
31: Image feature extraction unit
32: Movie feature extraction unit
40:
50: Touch screen part
60: input data recognition unit
61: Character recognition section
62: Edge recognition unit
70:

Claims (14)

사용자 입력 장치를 이용한 멀티미디어 검색 장치에 있어서,
터치 입력에 따라 드로잉(drawing) 데이터를 출력하는 터치스크린부와,
하나 이상의 멀티미디어 데이터 각각에 대하여, 엣지(edge) 정보 및 색상 정보를 포함하는 특징 정보인 하나 이상의 제1 특징 정보를 추출하는 특징 정보 추출부와,
상기 하나 이상의 멀티미디어 데이터 각각에 대하여, 상기 추출된 하나 이상의 제1 특징 정보를 대응시켜 저장하는 저장부와,
상기 드로잉 데이터를 인식하는 입력 데이터 인식부와,
상기 특징 정보 추출부를 통해서 상기 드로잉 데이터에 대한 특징 정보인 제2 특징 정보를 추출하고, 상기 제2 특징 정보와 상기 하나 이상의 제1 특징 정보를 비교하여, 상기 하나 이상의 제1 특징 정보 중 상기 제2 특징 정보와 유사한 제1 특징 정보를 식별하고, 상기 식별된 제1 특징 정보에 대응하는 멀티미디어 데이터를 후보 멀티미디어 데이터로 제공하는 제어부를 포함하는 것을 특징으로 하는 멀티미디어 검색 장치.1. A multimedia search apparatus using a user input device,
A touch screen unit for outputting drawing data according to a touch input,
A feature information extraction unit for extracting at least one first feature information, which is feature information including edge information and color information, for each of the one or more multimedia data;
A storage unit for storing the extracted one or more pieces of first characteristic information corresponding to each of the one or more pieces of multimedia data;
An input data recognizing unit for recognizing the drawing data;
Extracting second feature information that is feature information on the drawing data through the feature information extracting unit, comparing the second feature information with the one or more first feature information, and comparing the second feature information with the one or more first feature information, And a controller for identifying first feature information similar to the feature information and providing the multimedia data corresponding to the identified first feature information as candidate multimedia data. 제1항에 있어서, 상기 터치스크린부는,
전경(foreground)에 대한 드로잉 데이터와 배경(background)에 대한 드로잉 데이터를 구분하여 출력하는 것을 특징으로 하는 멀티미디어 검색 장치.The touch screen device according to claim 1,
The drawing data for the foreground and the drawing data for the background are distinguished from each other and output. 제1항에 있어서, 상기 드로잉 데이터에 대한 제2 특징 정보는,
엣지 데이터, 색상 데이터를 포함하는 것을 특징으로 하는 멀티미디어 검색 장치.2. The apparatus according to claim 1, wherein the second characteristic information on the drawing data includes:
Edge data, and color data. 제1항에 있어서, 상기 특징 정보 추출부는,
상기 하나 이상의 멀티미디어 데이터가 동영상 데이터인 경우 상기 동영상 데이터에 대한 적어도 하나의 키프레임 데이터를 생성하고, 상기 생성된 적어도 하나의 키프레임 데이터에 대한 제3 특징 정보를 추출하는 것을 특징으로 하는 멀티미디어 검색 장치.2. The apparatus according to claim 1,
And generates at least one key frame data for the moving image data if the one or more multimedia data is moving image data and extracts third characteristic information for the generated at least one key frame data. . 제4항에 있어서, 상기 저장부는,
상기 동영상 데이터에 대한 적어도 하나의 키프레임 데이터와 상기 생성된 적어도 하나의 키프레임 데이터에 대한 상기 제3 특징 정보를 대응시켜 저장하는 것을 특징으로 하는 멀티미디어 검색 장치.5. The apparatus according to claim 4,
And stores at least one key frame data for the moving image data and the third characteristic information for the generated at least one key frame data in association with each other. 제5항에 있어서, 상기 제어부는,
상기 추출된 드로잉 데이터에 대한 상기 제2 특징 정보와 상기 키프레임 데이터에 대한 상기 제3 특징 정보를 비교하여 유사한 특징 정보를 가지는 후보 키프레임 데이터를 상기 저장부로부터 검색한 후 상기 검색된 후보 키프레임 데이터에 대응하는 동영상 데이터를 제공하는 것을 특징으로 하는 멀티미디어 검색 장치.6. The apparatus of claim 5,
Comparing the second feature information on the extracted drawing data with the third feature information on the key frame data to search for candidate key frame data having similar feature information from the storage unit, And provides the moving picture data corresponding to the moving picture data. 제1항에 있어서,
상기 인식된 드로잉 데이터에 대응하는 장치 기능 정보를 검출하는 기능 검출부를 더 포함하고,
상기 저장부는 적어도 하나의 인식 데이터에 대응하는 장치 기능 정보를 더 저장하며,
상기 제어부는 상기 제공된 후보 멀티미디어 데이터 중 선택된 적어도 하나의 후보 멀티미디어 데이터를 이용한 컨텐츠 데이터를 생성하고, 상기 저장부로부터 상기 인식된 드로잉 데이터에 대응하는 장치 기능 정보를 검출하도록 상기 기능 검출부를 제어한 후 상기 검출된 장치 기능 정보에 해당하는 장치 기능으로 컨텐츠 데이터를 처리하는 것을 특징으로 하는 멀티미디어 검색 장치.The method according to claim 1,
Further comprising a function detecting unit for detecting device function information corresponding to the recognized drawing data,
Wherein the storage further stores device capability information corresponding to at least one recognition data,
Wherein the control unit generates content data using at least one candidate multimedia data selected from the provided candidate multimedia data and controls the function detecting unit to detect device function information corresponding to the recognized drawing data from the storage unit, And the content data is processed by a device function corresponding to the detected device function information. 멀티미디어 검색 장치에서 사용자 입력 장치를 이용한 멀티미디어 검색 방법에 있어서,
하나 이상의 멀티미디어 데이터 각각에 대하여, 엣지(edge) 정보 및 색상 정보를 포함하는 특징 정보인 제1 특징 정보를 추출하는 과정과,
상기 하나 이상의 멀티미디어 데이터 각각에 대하여, 상기 추출된 하나 이상의 제1 특징 정보를 대응시켜 저장하는 과정과,
터치 입력에 따라 드로잉(drawing) 데이터를 수신하는 과정과,
상기 수신된 드로잉 데이터에 대한 특징 정보인 제2 특징 정보를 추출하는 과정과,
상기 제2 특징 정보와 상기 하나 이상의 제1 특징 정보를 비교하는 과정과,
비교 결과 상기 하나 이상의 제1 특징 정보 중 상기 제2 특징 정보와 유사한 제1 특징 정보를 식별하는 과정과,
상기 식별된 제1 특징 정보에 대응하는 멀티미디어 데이터를 후보 멀티미디어 데이터로 제공하는 과정을 포함함을 특징으로 하는 멀티미디어 검색 방법.A multimedia search method using a user input device in a multimedia search apparatus,
Extracting first feature information, which is feature information including edge information and color information, for each of the one or more multimedia data;
Storing the extracted one or more pieces of first characteristic information in association with each of the one or more pieces of multimedia data;
Receiving drawing data according to a touch input,
Extracting second feature information that is feature information on the received drawing data;
Comparing the second feature information with the one or more first feature information;
Identifying first feature information that is similar to the second feature information among the one or more first feature information,
And providing the multimedia data corresponding to the identified first characteristic information as candidate multimedia data. 제8항에 있어서, 상기 사용자 입력 데이터를 수신하는 과정은,
전경(foreground)에 대한 드로잉 데이터와 배경(background)에 대한 드로잉 데이터를 구분하여 수신하는 과정임을 특징으로 하는 멀티미디어 검색 방법.The method of claim 8, wherein the step of receiving the user input data comprises:
Wherein drawing data for a foreground and drawing data for a background are distinguished from each other and received. 제8항에 있어서, 상기 드로잉 데이터에 대한 제2 특징 정보는,
엣지 데이터, 색상 데이터를 포함하는 것을 특징으로 하는 멀티미디어 검색 방법.9. The apparatus according to claim 8, wherein the second feature information on the drawing data includes:
Edge data, and color data. 제8항에 있어서,
상기 하나 이상의 멀티미디어 데이터가 동영상 데이터인 경우 상기 동영상 데이터에 대한 적어도 하나의 키프레임 데이터를 생성하는 과정과,
상기 생성된 적어도 하나의 키프레임 데이터에 대한 제3 특징 정보를 추출하는 과정을 더 포함함을 특징으로 하는 멀티미디어 검색 방법.9. The method of claim 8,
Generating at least one key frame data for the moving picture data if the one or more multimedia data is moving picture data;
And extracting third feature information on the generated at least one key frame data. 제11항에 있어서,
상기 동영상 데이터에 대한 적어도 하나의 키프레임 데이터와 상기 생성된 적어도 하나의 키프레임 데이터에 대한 상기 제3 특징 정보를 대응시켜 저장하는 과정을 더 포함함을 특징으로 하는 멀티미디어 검색 방법.12. The method of claim 11,
Further comprising the step of storing at least one key frame data for the moving image data and the third characteristic information for the generated at least one key frame data in association with each other. 제12항에 있어서,
상기 추출된 드로잉 데이터에 대한 상기 제2 특징 정보와 상기 키프레임 데이터에 대한 상기 제3 특징 정보를 비교하는 과정과,
상기 추출된 드로잉 데이터에 대한 상기 제2 특징 정보와 유사한 특징 정보를 가지는 후보 키프레임 데이터를 검색하는 과정과,
기 검색된 후보 키프레임 데이터에 대응하는 동영상 데이터를 제공하는 과정을 더 포함함을 특징으로 하는 멀티미디어 검색 방법.13. The method of claim 12,
Comparing the second feature information on the extracted drawing data with the third feature information on the key frame data;
Searching for candidate key frame data having feature information similar to the second feature information on the extracted drawing data;
And providing moving picture data corresponding to the retrieved candidate key frame data. 제8항에 있어서,
상기 제공된 후보 멀티미디어 데이터 중 선택된 적어도 하나의 후보 멀티미디어 데이터를 이용한 컨텐츠 데이터를 생성하는 과정과,
적어도 하나의 인식 데이터에 대응하는 장치 기능 정보 중 상기 인식된 드로잉 데이터에 대응하는 장치 기능 정보를 검출하는 과정과,
상기 검출된 장치 기능 정보에 해당하는 장치 기능으로 컨텐츠 데이터를 처리하는 과정을 더 포함함을 특징으로 하는 멀티미디어 검색 방법.9. The method of claim 8,
Generating content data using at least one candidate multimedia data selected from the provided candidate multimedia data;
Detecting device function information corresponding to the recognized drawing data among device function information corresponding to at least one piece of recognition data;
And processing the content data with a device function corresponding to the detected device function information.
KR1020110144902A 2011-12-28 2011-12-28 Apparatus and method for searching multimedia data according to user input KR101900303B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110144902A KR101900303B1 (en) 2011-12-28 2011-12-28 Apparatus and method for searching multimedia data according to user input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110144902A KR101900303B1 (en) 2011-12-28 2011-12-28 Apparatus and method for searching multimedia data according to user input

Publications (2)

Publication Number Publication Date
KR20130076346A KR20130076346A (en) 2013-07-08
KR101900303B1 true KR101900303B1 (en) 2018-09-20

Family

ID=48989972

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110144902A KR101900303B1 (en) 2011-12-28 2011-12-28 Apparatus and method for searching multimedia data according to user input

Country Status (1)

Country Link
KR (1) KR101900303B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6316540B2 (en) 2012-04-13 2018-04-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． Camera device and control method thereof
KR20160014463A (en) 2014-07-29 2016-02-11 삼성전자주식회사 Server, providing metheod of server, display apparatus, controlling metheod of display apparatus and informatino providing system

Also Published As

Publication number Publication date
KR20130076346A (en) 2013-07-08

Similar Documents

Publication Publication Date Title
US11157577B2 (en) Method for searching and device thereof
CN110852100B (en) Keyword extraction method and device, electronic equipment and medium
CN106255968B (en) Natural language image search
CN109189879B (en) Electronic book display method and device
US20120083294A1 (en) Integrated image detection and contextual commands
US20150339348A1 (en) Search method and device
JP2004234228A (en) Image search device, keyword assignment method in image search device, and program
TW201322050A (en) Electronic device and read guiding method thereof
JP2007226536A (en) Image search device, image search method, and program for searching image
US8917957B2 (en) Apparatus for adding data to editing target data and displaying data
CN105975550B (en) Question searching method and device of intelligent equipment
US11734370B2 (en) Method for searching and device thereof
TW201322049A (en) Electronic device and read guiding method thereof
US10152540B2 (en) Linking thumbnail of image to web page
JP2014229091A (en) Program for character input
WO2023061276A1 (en) Data recommendation method and apparatus, electronic device, and storage medium
EP3910496A1 (en) Search method and device
CN110309324A (en) A kind of searching method and relevant apparatus
KR101900303B1 (en) Apparatus and method for searching multimedia data according to user input
CN107203572A (en) A kind of method and device of picture searching
KR20150135059A (en) Method for Searching and Device Thereof
KR20150101846A (en) Image classification service system based on a sketch user equipment, service equipment, service method based on sketch and computer readable medium having computer program recorded therefor
KR20150097250A (en) Sketch retrieval system using tag information, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor
US20160162752A1 (en) Retrieval apparatus, retrieval method, and computer program product
KR20160125599A (en) Apparatus and methodology for an emotion event extraction and an emotion sketch based retrieval

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right