KR102072113B1 - 사용자 단말 장치 및 제어 방법 - Google Patents

사용자 단말 장치 및 제어 방법 Download PDF

Info

Publication number
KR102072113B1
KR102072113B1 KR1020120115505A KR20120115505A KR102072113B1 KR 102072113 B1 KR102072113 B1 KR 102072113B1 KR 1020120115505 A KR1020120115505 A KR 1020120115505A KR 20120115505 A KR20120115505 A KR 20120115505A KR 102072113 B1 KR102072113 B1 KR 102072113B1
Authority
KR
South Korea
Prior art keywords
image
word
displayed
document creation
search
Prior art date
Application number
KR1020120115505A
Other languages
English (en)
Other versions
KR20140049354A (ko
Inventor
강영철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120115505A priority Critical patent/KR102072113B1/ko
Priority to US13/937,584 priority patent/US9558166B2/en
Priority to EP18175551.3A priority patent/EP3392787B1/en
Priority to PCT/KR2013/009252 priority patent/WO2014061996A1/en
Priority to BR112015007976-8A priority patent/BR112015007976B1/pt
Priority to JP2015538017A priority patent/JP6679066B2/ja
Priority to EP13846272.6A priority patent/EP2909700B1/en
Priority to CN201380054405.7A priority patent/CN104756046A/zh
Priority to AU2013332591A priority patent/AU2013332591B2/en
Priority to CN201810487602.2A priority patent/CN108681404B/zh
Publication of KR20140049354A publication Critical patent/KR20140049354A/ko
Priority to US15/368,151 priority patent/US9824078B2/en
Priority to US15/794,740 priority patent/US9910839B1/en
Priority to US15/886,387 priority patent/US9990346B1/en
Priority to US15/966,765 priority patent/US10503819B2/en
Priority to JP2018189050A priority patent/JP6731985B2/ja
Priority to AU2018282401A priority patent/AU2018282401B2/en
Application granted granted Critical
Publication of KR102072113B1 publication Critical patent/KR102072113B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)

Abstract

사용자 단말 장치가 개시된다. 사용자 단말 장치는 디스플레이부, 텍스트를 선택하는 선택 명령을 입력받는 입력부, 서버에 연결되는 통신부 및 텍스트가 선택되면 문서 작성 창 내의 일 영역에 활성화된 검색 버튼을 표시하고, 검색 버튼이 선택되면 통신부를 이용하여 선택된 텍스트에 대응되는 적어도 하나의 이미지를 검색하는 제어부를 포함하며, 제어부는 서버로부터 검색된 이미지를 디스플레이부에 표시하고, 검색된 이미지 중에서 선택된 이미지를 문서 작성 창 내에서 정해진 위치에 삽입한다. 이에 따라, 사용자는 문서 작성 중에 편리하게 이미지를 검색하여 삽입할 수 있다.

Description

사용자 단말 장치 및 제어 방법{USER TERMINAL DEVICE AND CONTROL METHOD THEREOF}
본 발명은 사용자 단말 장치 및 그 제어 방법에 관한 것으로, 특히, 문서 작성 창에서 직접 이미지를 검색하고 삽입할 수 있는 사용자 단말 장치 및 제어 방법에 관한 것이다.
사용자는 전자 장치에서 문서 작성 프로그램을 이용하여 다양한 문서를 작성할 수 있다. 문서는 주로 텍스트를 이용하여 작성되지만, 문서의 내용에 대한 이해를 돕기 위해 이미지를 포함하여 작성되는 경우가 많다. 따라서, 문서 작성 프로그램을 이용하여 작성되는 문서는 텍스트와 이미지를 가장 많이 포함하고 있다.
사용자가 문서 작성 프로그램을 이용하여 이미지를 삽입하기 위해서는 삽입 메뉴를 이용하여 저장부에 저장된 이미지를 찾아 넣어야 한다. 그러나, 저장부에 저장된 이미지는 한계가 있으므로 사용자는 웹 브라우저 등을 통해 이미지를 검색하여 검색된 이미지를 선택하여 삽입하기도 한다.
사용자가 저장부에 저장된 이미지를 삽입하는 과정은 다음과 같다. 문서 작성 프로그램상의 삽입 메뉴를 누른다. 원하는 이미지가 존재하는 디렉토리를 찾고 디렉토리 안에 있는 이미지를 선택하면 작성 중인 문서 내에 이미지가 삽입된다.
사용자가 웹 브라우저를 이용하여 이미지를 삽입하는 과정은 다음과 같다. 웹 브라우저 창을 열고 검색어를 입력하여 검색한다. 검색 결과 중 이미지에 대한 검색 결과를 선택한다. 검색된 이미지를 다운로드 받아 저장부에 저장하거나 복사하여 문서 작성 프로그램 창에 붙여넣는다.
상술한 바와 같이 사용자가 문서를 작성하는 중에 이미지를 삽입하기 위해서는 많은 과정을 거쳐야 한다. 저장부에 저장된 이미지를 삽입하기 위해서는 원하는 이미지가 어디에 저장되어 있는지 알고 있어야 하는 불편함이 있다. 웹 브라우저를 이용하여 이미지를 검색하여 삽입하기 위해서는 검색 창을 별도로 열어야 하고 검색 결과로부터 이미지를 선택한 후에는 다시 문서 작성 프로그램 창으로 전환해야 하는 불편함이 있다.
따라서, 사용자 단말 장치에서 사용자가 문서 작성을 할 때 이미지를 보다 편리하게 검색하고 삽입할 수 있는 기술에 대한 필요성이 대두되었다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명은 문서 작성 창에서 편리하게 이미지를 검색하고 삽입할 수 있는 사용자 단말 장치 및 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 사용자 단말 장치는 문서 작성 창을 디스플레이하는 디스플레이부, 상기 문서 작성 창에 디스플레이된 문서 내에서 텍스트를 선택하기 위한 선택 명령을 입력받는 입력부, 서버에 연결되는 통신부 및 상기 텍스트가 선택되면 상기 문서 작성 창 내의 일 영역에 활성화된 검색 버튼을 표시하고, 상기 검색 버튼이 선택되면 상기 통신부를 이용하여 상기 선택된 텍스트에 대응되는 적어도 하나의 이미지를 검색하는 제어부를 포함하며, 상기 제어부는 상기 서버로부터 검색된 이미지를 상기 디스플레이부에 표시하고, 상기 검색된 이미지 중에서 하나가 선택되면 선택된 이미지를 상기 문서 작성 창 내에서 정해진 위치에 삽입한다.
한편, 상기 제어부는 상기 선택된 텍스트가 복수의 단어를 포함하면, 각 단어 단위로 검색되는 단어 이미지와, 상기 복수의 단어를 조합한 단위로 검색되는 연관성 이미지를 상기 디스플레이부에 표시할 수 있다.
그리고, 상기 제어부는 상기 선택된 이미지를 상기 선택된 텍스트의 일 측에 삽입할 수 있다.
또한, 상기 제어부는 상기 텍스트가 선택된 상태에서 기 설정된 시간동안 입력이 없으면 상기 검색 버튼을 활성화시킬 수 있다.
또한, 상기 제어부는 사용자 신체 또는 입력 펜이 상기 디스플레이부로 근접하면 상기 검색 버튼을 활성화시킬 수 있다.
한편, 상기 디스플레이부는 검색어 입력창을 더 표시하며, 상기 제어부는 상기 검색어 입력창을 통해 입력된 검색어에 대응되는 이미지를 검색할 수 있다.
본 발명의 상술한 목적을 달성하기 위한 다른 실시 예에 따르면 사용자 단말 장치는 문서 작성 창을 디스플레이하는 디스플레이부, 상기 문서 작성 창에 표시될 텍스트를 입력받는 입력부, 상기 입력부를 통해 입력되는 텍스트를 상기 문서 작성 창 내에 표시하는 제어부 및 기 설정된 시간 동안 텍스트 입력이 중단되면, 상기 입력된 텍스트 중에서 적어도 하나의 텍스트에 대응되는 이미지를 서버로부터 검색하는 통신부를 포함하며, 상기 제어부는 상기 통신부에 의해 검색된 이미지를 디스플레이하며, 상기 검색된 이미지 중에서 하나가 선택되면 선택된 이미지를 상기 문서 작성 창 내에서 정해진 위치에 삽입한다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 사용자 단말 장치의 제어 방법은 문서 작성 창을 디스플레이하는 단계, 상기 문서 작성 창에 디스플레이된 문서 내에서 텍스트를 선택하는 선택 명령을 입력받는 단계, 상기 텍스트가 선택되면 상기 문서 작성 창 내의 일 영역에 활성화된 검색 버튼을 표시하는 단계, 상기 검색 버튼이 선택되면 상기 선택된 텍스트에 대응되는 적어도 하나의 이미지를 검색하는 단계 및 검색된 이미지를 표시하고, 상기 검색된 이미지 중에서 하나가 선택되면 선택된 이미지를 상기 문서 작성 창 내에서 정해진 위치에 삽입하는 이미지 삽입 단계를 포함한다.
한편, 상기 이미지를 검색하는 단계는 상기 선택된 텍스트가 복수의 단어를 포함하면, 각 단어 단위의 단어 이미지와, 상기 복수의 단어를 조합한 단위의 연관성 이미지를 검색할 수 있다.
그리고, 상기 이미지 삽입 단계는 상기 선택된 이미지를 상기 선택된 텍스트의 일 측에 삽입할 수 있다.
또한, 상기 검색 버튼을 표시하는 단계는 상기 텍스트가 선택된 상태에서 기 설정된 시간동안 입력이 없으면 상기 검색 버튼을 활성화시킬 수 있다.
또한, 상기 검색 버튼을 표시하는 단계는 사용자 신체 또는 입력 펜이 디스플레이부로 근접하면 상기 검색 버튼을 활성화시킬 수 있다.
본 발명의 상술한 목적을 달성하기 위한 다른 실시 예에 따르면 사용자 단말 장치의 제어 방법은 문서 작성 창을 디스플레이하는 단계, 텍스트를 입력받고 상기 문서 작성 창 내에 표시하는 단계, 기 설정된 시간 동안 텍스트 입력이 중단되면, 상기 입력된 텍스트 중에서 적어도 하나의 텍스트에 대응되는 이미지를 검색하는 단계 및 검색된 이미지를 표시하고, 상기 검색된 이미지 중에서 하나가 선택되면 선택된 이미지를 상기 문서 작성 창 내에서 정해진 위치에 삽입하는 이미지 삽입 단계를 포함한다.
따라서, 사용자는 사용자 단말 장치를 이용하여 문서 작성 프로그램에서 편리하게 이미지를 검색하여 삽입할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타낸 블록도.
도 2는 본 발명의 일 실시 예에 따른 단어 이미지 검색 방법을 설명하는 도면.
도 3 내지 도 4는 본 발명의 일 실시 예에 따른 연관성 이미지 검색 방법을 설명하는 도면.
도 5 내지 도 8은 문서 작성 창에서 이미지 검색을 수행하기 위한 다양한 실시 예를 설명하는 도면.
도 9는 본 발명의 일 실시 예에 따른 이미지 검색 결과를 표시하는 화면을 설명하는 도면.
도 10은 본 발명의 일 실시 예에 따른 검색된 이미지를 삽입하는 과정을 설명하는 도면.
도 11 내지 도 12는 다양한 실시 예에 따른 사용자 단말 장치 제어 방법의 흐름도.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타낸 블록도이다.
도 1에 따르면, 사용자 단말 장치(100)는 입력부(110), 디스플레이부(120), 통신부(130), 제어부(140)를 포함한다.
입력부(110)는 문서 작성 창에 표시될 텍스트를 입력받는다. 그리고, 본 발명의 실시 예에 따라서, 문서 작성 창에서 디스플레이된 문서 내에서 텍스트를 선택하는 선택 명령을 입력받을 수 있다. 입력부(110)는 다양한 방법으로 구현되거나, 다양한 입력 수단과 연결될 수 있다. 예를 들어, 입력부(110)는 사용자 단말 장치(100)와 일체로 형성된 키패드, 터치 제스처를 인식하는 터치 센서, 사용자의 신체 또는 전자 펜의 근접을 인식할 수 있는 근접 센서 등을 포함할 수 있다. 또는, 사용자 단말 장치(100)와 별개의 키패드, 키보드, 전자 펜 등과 같은 입력 수단으로부터 사용자 제어 명령을 입력받는 유닛 또는 모듈로 구현될 수도 있다.
디스플레이부(120)는 문서 작성 창을 디스플레이한다. 그리고, 일정한 텍스트에 대응되는 이미지를 검색한 후, 검색된 이미지를 표시한다. 디스플레이부(120)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.
디스플레이부(120)는 터치입력 기능이 없는 일반적인 디스플레이 패널로 구현될 수 있고, 사용자 조작을 인식할 수 있는 근접 센서나 터치 센서를 포함하는 디스플레이 패널로 구현될 수 있다. 터치 센서를 포함하는 디스플레이 패널로 구현되는 경우 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 감지 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치 제스처를 입력받을 수 있다. 이러한 사용자 인터페이스는 소정 터치 영역, 소프트 키 및 소프트 메뉴를 포함할 수 있다.
통신부(130)는 서버와 연결하여 일정한 텍스트에 대응되는 이미지의 검색을 요청한다. 일정한 텍스트는 단어가 될 수 있고, 복수의 단어가 조합된 문구 또는 어구가 될 수도 있다. 경우에 따라서, 적어도 하나의 문장이 될 수도 있다. 검색하는 구체적인 과정은 후술하기로 한다. 통신부(130)는 검색된 이미지를 서버로부터 전송받는다.
제어부(140)는 입력부(110)를 통해 입력되는 텍스트를 문서 작성 창 내에 표시한다. 일 실시 예로서, 입력된 텍스트 중에서 단어 또는 어구가 선택되면 문서 작성 창 내의 일 영역에 활성화된 검색 버튼을 표시하고, 검색 버튼이 선택되면 통신부를 이용하여 선택된 텍스트에 대응되는 적어도 하나의 이미지를 검색한다. 다른 실시 예로서, 기 설정된 시간 동안 텍스트의 입력이 중단되면, 입력된 텍스트 중에서 적어도 하나의 텍스트에 대응되는 이미지를 검색한다.
제어부(140)는 서버로부터 검색된 이미지를 통신부(130)를 통해 전송받으면, 검색된 이미지를 디스플레이부(120)에 표시한다. 검색된 이미지 중에서 하나가 선택되면 선택된 이미지를 문서 작성 창 내에서 정해진 위치에 삽입한다.
사용자 단말 장치(100)는 문서 작성 창 내에서 선택된 텍스트 또는 기 정의된 텍스트에 대한 이미지를 검색하고, 검색된 이미지를 표시한다. 검색된 이미지 중에서 하나가 선택되면 선택된 이미지는 문서 작성 창 내에 직접 삽입될 수 있다.
사용자 단말 장치(100)는 문서 작성 기능을 가진 모든 전자 장치가 될 수 있다. 예를 들어, 사용자 단말 장치(100)는 PC, 노트북, 스마트폰, 태블릿, 문서 작성 또는 편집 기능이 있는 TV 등이 될 수 있다.
아래에서는 텍스트에 대응되는 이미지를 검색하는 방법에 대해서 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 단어 이미지 검색 방법을 설명하는 도면이다. 도 2를 참조하면, AAAA라는 단어를 이용하여 검색을 실시한다.
일 실시 예로서, 사용자 단말 장치(100)로부터 검색을 요청받은 웹 서버는 AAAA를 검색 키워드로 하여 검색 가능한 모든 문서에서 AAAA가 포함된 문서를 검색한다. 검색된 문서에 포함된 이미지가 검색 결과가 된다. 즉, 텍스트 기반 이미지 검색(Text-Based Image Retrieval: TBIR) 방법을 이용하여 검색할 수 있다. 다른 실시 예로서, 내용 기반 이미지 검색(Content-Based Image Retrieval: CBIR) 방법을 이용하여 검색할 수 있다. 내용 기반 이미지 검색(CBIR)은 이미지가 갖는 모양, 색상, 패턴 등을 내용(content)으로 하여 유사한 내용의 이미지를 하나의 그룹으로 분류하여 검색하는 방법을 의미한다.
도 2에서는 텍스트 기반 이미지 검색 방법을 이용하여 검색한 결과를 도시하였다. AAAA를 검색 키워드로 하여 검색하면, 로고, 계열사, 경영진, 광고, 생산하는 제품, 경쟁하는 제품 등에 대한 이미지가 검색될 수 있다. 도 2를 참조하면, 검색 결과는 AAAA의 로고, AAAA가 생산하는 전자제품, 자동차에 관한 이미지를 포함한다.
도 3 내지 도 4는 본 발명의 일 실시 예에 따른 연관성 이미지 검색 방법을 설명하는 도면이다. 연관성 이미지란 검색 키워드로서 복수의 단어가 조합된 경우, 단어간의 연관 관계 등을 이용하여 검색된 이미지를 의미한다.
도 3을 참조하면, 사용자 단말 장치(100)는 연관성 이미지 검색을 위해 텍스트 정보를 이용하여 단어의 조합을 추출한다(S310). 예를 들어, AAA 단어, BBB 단어가 결합된 AAA+BBB에 대한 이미지를 검색한다면 사용자 단말 장치(100)는 AAA, BBB, AAA+BBB의 단어의 조합을 추출할 수 있다.
사용자 단말 장치(100)는 단어의 조합을 웹 브라우저 검색어로 입력한다(S320). 웹 브라우저 검색 결과값을 추출한다(S330). 상술한 AAA, BBB, AAA+BBB가 검색 키워드가 되므로 AAA, BBB, AAA+BBB가 포함된 문서를 검색한다. 검색된 문서 내에서 AAA, BBB, AAA+BBB의 빈도 수를 확인한다. 경우에 따라, 상술한 검색 키워드와 연결된 다른 단어에 대한 검색을 수행할 수도 있다. 예를 들어, aa+AAA, AAA+BBB+bb의 어구가 포함된 경우, aa 또는 bb가 포함된 문서, aa 또는 bb의 빈도 수를 추가로 확인할 수 있다.
결과 값을 분석하여 단어의 빈도 수를 추출한다(S340). 전체 문서에서 각 키워드의 빈도 수를 추출한다. 이 때, 가중치를 이용하여 빈도 수 추출에 반영할 수 있다. 예를 들어, AAA+BBB가 검색 키워드이므로 가중치를 1로 준다면, AAA 또는 BBB는 0.9, aa 또는 bb는 0.7과 같이 가중치를 줄 수 있다.
상위 빈도 수의 단어를 이용하여 웹 브라우저에서 이미지를 검색한다(S350). 빈도 수에 따른 단어의 순위를 결정하고, 상위 순위의 단어에 대한 이미지를 검색한다. 이미지 결과 값을 사용자에게 출력한다(S360). 연관성 이미지 검색 방법의 구체적인 실시 예를 도 4에서 설명한다.
도 4는 본 발명의 일 실시 예에 따른 연관성 이미지 검색 방법을 설명하는 도면이다. 도 4를 참조하면, 검색 키워드는 AAAA smartphone sales volume라는 복수의 단어의 조합으로 이루어져 있다. 도 3에서 설명한 바와 같이, 사용자 단말 장치(100)는 연관성 이미지 검색을 위해 텍스트 정보를 이용하여 단어의 조합을 추출한다. 예를 들어, AAAA, smartphone, sales, volume, sales volume 등이 될 수 있다. 단어 또는 단어의 조합을 웹 브라우저 검색 키워드로서 이용하여 검색 결과값을 추출한다. 상술한 검색 키워드 뿐만 아니라 검색 키워드와 연결된 다른 단어에 대한 검색도 함께 수행될 수 있다.
사용자 단말 장치(100)는 검색된 결과 값을 분석하여 단어의 빈도 수를 추출한다. 도 4를 참조하면, AAAA는 135, smartphone은 111, sales volume는 97의 빈도 수를 가지는 것으로 표시되어 있다. 따라서, AAAA가 최고 빈도 수의 단어가 되고, smartphone이 차순위 빈도 수의 단어가 된다.
사용자 단말 장치(100)는 상위 빈도 수의 단어를 이용하여 웹 브라우저에서 이미지를 검색하고, 이미지 결과 값을 사용자에게 출력한다. 도 4에 따르면, 상술한 과정을 거쳐 판매량 그래프, 스마트폰 등의 이미지가 검색 결과로 디스플레이부(120)에 표시된다. 이미지 검색은 로컬 저장 장치에 저장된 이미지들 중에서 수행될 수도 있고, 웹 서버 등과 연결하여 검색될 수도 있다. 또한, 로컬 저장 장치에 대한 검색과 웹 서버 연결을 통한 검색을 모두 수행할 수도 있다.
아래에서는 이미지 검색을 수행하는 방법에 대한 다양한 실시 예를 설명하도록 한다.
도 5 내지 도 8은 문서 작성 창에서 이미지 검색을 수행하기 위한 다양한 실시 예를 설명하는 도면이다.
도 5는 텍스트를 선택하여 이미지 검색을 수행하는 일 실시 예를 설명하는 도면이다. 도 5의 (1)을 참조하면, 디스플레이부(120)에 문서 작성 창(10)이 디스플레이되어 있다. 문서 작성 창(10)에는 사용자가 작성한 텍스트가 표시된다. 사용자가 텍스트를 선택하기 전까지는 이미지 검색 버튼(23a)는 비활성화되어 있다. 비활성화의 의미는 이미지 검색 버튼(23a)이 표시는 되지만 선택할 수 없는 상태일 수도 있고, 이미지 검색 버튼(23a)이 표시되지 않는 상태일 수도 있다.
사용자가 AAAA smartphone sales volume을 선택한다. 도 5에서는 복수의 단어가 포함된 텍스트를 선택하는 예를 도시하였으나, 사용자는 하나의 단어만을 선택할 수도 있다. 사용자의 선택에 의해 AAAA smartphone sales volume은 선택 영역(21)으로 표시된다.
도 5의 (2)는 텍스트가 사용자에 의해 선택되었을 때 문서 작성 창(10)의 표시를 도시하였다. 텍스트가 선택되면 이미지 검색 버튼(23b)이 활성화된다. 도 5의 (1)에 도시된 이미지 검색 버튼(23a)이 표시는 되지만 선택할 수 없는 상태였다면, 선택할 수 있도록 표시된다. 또는, 이미지 검색 버튼(23a)이 표시되지 않는 상태였다면 문서 작성 창(10)의 일 영역에 이미지 검색 버튼(23b)이 표시될 수 있다.
도 5의 (2)에서는 이미지 검색 버튼(23b)이 문서 작성 창(10)의 좌측 하단부에 표시되는 것으로 도시하였으나 이미지 검색 버튼(23b)의 표시 영역은 도시된 영역에 한정되지 않는다.
도 6은 이미지 검색 버튼이 표시되는 위치에 관한 일 실시 예를 도시한 도면이다. 도 6의 (1)을 참조하면, 사용자는 AAAA smartphone sales volume을 선택한다. 사용자의 선택에 의해 AAAA smartphone sales volume은 선택 영역(21)으로 표시된다.
도 6의 (2)를 참조하면, 텍스트의 선택에 의해 이미지 검색 버튼(25)가 활성화된다. 활성화된 이미지 검색 버튼(25)이 표시되는 영역은 선택된 텍스트의 우측 끝 영역이다. 사용자가 이미지 검색을 위해 텍스트를 선택했을 때, 포인터는 선택된 텍스트의 좌측 끝이나 우측 끝에 위치한다. 포인터는 디스플레이 화면 상에서 입력 수단(예, 키보드, 마우스)에 대응되는 위치를 표시해주는 UI 객체를 의미한다. 따라서, 이미지 검색 버튼(25)이 선택된 텍스트와 멀리 떨어져 있다면, 사용자가 이미지 검색을 위해 포인터를 많이 이동시켜야 하므로 불편한 점이 있다. 따라서, 사용자가 이미지 검색을 위해 텍스트를 선택했을 때, 포인터가 선택한 텍스트와 가까이 있다면 텍스트를 선택하고 바로 이미지를 검색할 수 있으므로 편리하다. 따라서, 이미지 검색 버튼(25)는 선택된 텍스트에 인접하여 표시될 수 있다. 만일, 사용자가 좌측에서 시작하여 우측에서 끝나는 드래그(drag) 동작으로 텍스트를 선택한다면, 이미지 검색 버튼(25)는 텍스트의 우측 끝 영역에 표시될 수 있다. 반대로, 사용자가 우측에서 시작하여 좌측에서 끝나는 드래그(drag) 동작으로 텍스트를 선택한다면, 이미지 검색 버튼(25)는 텍스트의 좌측 끝 영역에 표시될 수 있다.
이 경우, 비활성화된 이미지 검색 버튼(25)가 항상 표시된다면 사용자가 문서 작성 시에 불편할 수 있다. 따라서, 사용자 단말 장치(100)는 일반적인 상황에서 이미지 검색 버튼(25)을 표시하지 않고, 텍스트가 선택되었을 때만 이미지 검색 버튼(25)을 표시하는 것이 바람직하다.
도 7은 근접 센싱에 의한 이미지 검색 버튼(25)을 표시하는 일 실시 예를 설명하는 도면이다. 상술한 바와 같이, 디스플레이부(120)는 사용자 조작을 인식할 수 있는 근접 센서나 터치 센서를 포함하는 디스플레이 패널로 구현될 수 있다.
도 7의 (1)을 참조하면, 사용자는 AAAA smartphone sales volume의 텍스트를 선택한다. 문서 작성 창(10)에는 선택된 텍스트가 선택 영역(21)으로 표시된다. 이미지 검색 버튼(25)은 표시되지 않는다. 사용자 객체(51)(예, 사용자의 손, 전자 펜 등)가 디스플레이부(120)에 접근한다.
도 7의 (2)를 참조하면, 사용자 객체(51)가 디스플레이부(120)로부터 일정 거리 이내로 근접하면 이미지 검색 버튼(27)이 표시된다. 이미지 검색 버튼(27)은 문서 작성 창(10)의 특정 영역에 표시될 수 있다. 이 경우, 사용자 객체(51)는 이미지 검색 버튼(27)이 표시될 특정 영역에 접근해야 한다. 또는, 이미지 검색 버튼(27)은 문서 작성 창(10) 영역에 관계없이 사용자 객체(51)가 접근하는 임의 영역에 표시될 수도 있다. 이 경우, 이미지 검색 메뉴를 포함하는 메뉴 창이 표시될 수도 있다. 이미지 검색 메뉴를 포함하는 메뉴 창이 표시되는 경우 메뉴 창에는 사용자가 미리 설정한 메뉴가 포함될 수도 있다. 예를 들어, 메뉴 창에는 삭제, 복사, 링크 등의 메뉴가 포함될 수 있다.
도 5 내지 도 7에서는 이미지 검색 버튼이 활성화되는 실시 예에 대해서 설명하였다. 사용자가 활성화된 이미지 검색 버튼을 선택하면 사용자 단말 장치(100)는 이미지를 검색한다. 다른 실시 예로서, 사용자 단말 장치(100)는 사용자의 선택없이 기 설정된 조건을 만족하는 경우 자동으로 이미지 검색을 수행할 수도 있다.
도 8은 기 설정된 조건을 만족하는 경우 자동으로 이미지 검색을 수행하는 일 실시 예를 설명하는 도면이다.
도 8의 (1)을 참조하면, 사용자는 일정한 텍스트를 입력하고 엔터(enter)(31)를 입력한다. 다음에 AAAA smartphone sales volume을 입력한다. AAAA smartphone sales volume 입력 후에 기 설정된 시간동안 입력을 중단한다. 기 설정된 시간이 지나면 사용자 단말 장치(100)는 자동으로 이미지를 검색한다. 예를 들어, 기 설정된 시간이 5초라면, 사용자가 입력을 중단하고 5초가 지나면 사용자 단말 장치(100)는 자동으로 이미지를 검색한다. 기 설정된 시간은 3초, 5초 또는 7초와 같이 설정될 수 있다. 그러나, 이는 일 실시 예일 뿐이며, 다양하게 설정 가능하다. 또는, 사용자가 설정 시간을 임의로 설정할 수 있으며, 자동 검색 기능을 사용하지 않도록 설정할 수도 있다.
자동으로 검색하는 단위는 하나의 문장 단위로 검색을 수행할 수 있다. 하나의 문장은 마침표 또는 엔터를 기준으로 판단될 수 있다. 예를 들어, 사용자 단말 장치(100)는 이전의 엔터 입력 또는 마침표 입력부터 다음의 엔터 입력 또는 마침표 입력까지의 텍스트를 하나의 문장으로 인식할 수 있다. 또는, 사용자 단말 장치(100)는 하나의 문장 단위 속에 포함된 복수의 단어에 대해서 검색을 수행할 수도 있다. 검색 단위 및 기 설정된 시간은 사용자가 설정할 수도 있다. 사용자 단말 장치(100)는 기 설정된 시간 동안 입력이 없으면 설정된 검색 단위에 대해 자동으로 검색을 수행한다.
도 8의 (2)는 검색된 결과를 설명하는 도면이다. 도 8의 (2)를 참조하면 사용자 단말 장치(100)는 복수의 단어를 조합하여 검색한 연관성 이미지와 단어에 대해 검색한 단어 이미지를 검색 결과로 표시한다. 검색된 연관성 이미지는 연관성 이미지 추천 창(12)에 표시되고, 검색된 단어 이미지는 단어 이미지 추천(13) 창에 표시된다. 검색 결과는 팝-업 형태로 새로운 창을 열어 표시될 수 있다. 또는, 문서 작성 창(10)의 일부 영역에 표시될 수도 있다. 사용자는 취소 버튼(11)을 선택하여 검색 결과 창을 닫을 수 있다. 연관성 이미지 추천 창(12)과 단어 이미지 추천 창(13)에는 전체 보기 버튼(33)이 표시될 수 있다. 사용자가 전체 보기 버튼(33)을 선택하면 해당 검색 이미지들만이 표시되는 새로운 창을 열 수도 있다. 검색 결과 창에는 사용자 검색 창(14)이 포함될 수 있다. 사용자 검색 창(14)은 사용자가 직접 텍스트를 입력하여 검색할 수 있는 영역이다. 사용자는 사용자 검색 창(14)에서 검색하려는 텍스트를 입력하고 검색 버튼을 선택하여 입력된 텍스트에 대응되는 새로운 이미지들을 검색할 수 있다.
검색된 이미지의 표시 방법은 사용자의 선택에 의해 변경될 수 있다.
도 9는 본 발명의 일 실시 예에 따른 이미지 검색 결과를 표시하는 화면을 설명하는 도면이다.
도 9의 (1)을 참조하면, 검색 결과가 표시된 화면이 도시되어 있다. 도 9의 (1)에서 도시된 검색 결과 표시 창은 도 8에서 설명한 바와 동일하므로 구체적인 설명은 생략한다. 검색 결과 표시 창은 화면 전환 버튼(35, 36)을 포함할 수 있다. 사용자가 화면 전환 버튼(35, 36)을 선택하면 연관성 이미지 추천 창, 단어 이미지 추천 창, 연관성 이미지 추천 창과 단어 이미지 추천 창을 동시에 표시하는 창을 기 설정된 순서대로 전환시킬 수 있다. 도 9의 (1)에서 사용자가 우측 화면 전환 버튼(36)을 선택하면 단어 이미지 추천 창으로 전환된다.
도 9의 (2)를 참조하면, 사용자 단말 장치(100)는 단어 이미지 추천 창(16)을 표시하고 있다. 따라서, 사용자 단말 장치(100)는 선택된 단어에 대해 검색된 이미지를 더 많이 표시할 수 있다. 사용자가 전체 보기 버튼(34)을 선택하면, 단어에 대해 검색된 이미지만을 표시하는 화면으로 전환시킬 수 있다. 사용자가 좌측 화면 전환 버튼(36)을 선택하면 연관성 이미지 추천 창과 단어 이미지 추천 창을 동시에 표시하는 창으로 전환시킬 수 있다. 사용자가 다시 한 번 우측 화면 전환 버튼(36)을 선택하면 연관성 이미지 추천 창으로 전환된다.
도 9의 (3)을 참조하면, 사용자 단말 장치(100)는 연관성 이미지 추천 창(18)을 표시하고 있다. 따라서, 사용자 단말 장치(100)는 선택된 텍스트에 대해 검색된 연관성 이미지를 더 많이 표시할 수 있다. 기본적인 구성이나 동작은 도 9의 (2)와 동일하므로 생략한다.
사용자는 검색된 이미지 중에서 하나를 선택하여 문서 작성 창(10) 내에 삽입할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 검색된 이미지를 삽입하는 과정을 설명하는 도면이다.
도 10의 (1)을 참조하면, 사용자 단말 장치(100)는 연관성 이미지 추천 창과 단어 이미지 추천 창을 동시에 표시하는 창을 표시하고 있다. 사용자는 연관성 이미지 추천 창에서 그래프를 포함하는 하나의 이미지(41a)를 선택한다. 도 10의 (1)에서는 하나의 이미지를 삽입하는 실시 예에 대해서 설명하지만, 사용자는 복수의 이미지를 선택하여 삽입할 수도 있다.
도 10의 (2)를 참조하면, 선택된 이미지(41b)는 문서 작성 창(10) 내에 삽입된다. 선택된 이미지(41b)가 삽입되는 위치는 이미지 검색을 수행하기 직전의 커서가 존재하던 위치에 삽입될 수 있다. 또는, 검색을 위해 선택된 텍스트 다음 줄에 삽입될 수 있다. 사용자는 문서 작성 창(10) 내에서 삽입된 이미지(41b)에 대해 크기 조정, 색상 조정, 텍스트 입력 등과 같은 편집을 수행할 수도 있다.
지금까지 사용자가 문서 작성 창(10) 내의 텍스트에 대해 이미지를 검색하고 문서 작성 창(10)에 삽입하는 실시 예에 대해서 설명하였다. 아래에서는 사용자 단말 장치(100)의 제어 방법의 흐름도에 대해서 설명한다.
도 11 내지 도12는 다양한 실시 예에 따른 사용자 단말 장치 제어 방법의 흐름도이다.
도 11은 사용자가 텍스트를 선택하여 이미지를 검색하는 사용자 단말 장치의 제어 방법에 관한 흐름도이다.
사용자 단말 장치는 문서 작성 창을 디스플레이한다(S1110). 문서 작성 창에는 기 작성된 문서가 표시될 수도 있고, 사용자가 문서 작성 창 내에서 새로운 텍스트를 입력할 수도 있다. 텍스트 선택 명령을 입력받는다(S1120). 사용자 단말 장치는 키보드와 같은 외부의 입력 수단을 통해 텍스트 선택 명령을 입력받을 수 있다. 터치 센서를 포함하는 사용자 단말 장치는 터치 제스처 또는 드래그(drag) 제스처에 의해 텍스트 선택 명령을 입력받을 수 있다. 텍스트가 선택되면 기 설정된 위치에 이미지 검색 버튼을 표시한다(S1130).
사용자 단말 장치는 사용자가 이미지 검색 버튼을 선택하면 이미지를 검색한다(S1140). 이미지의 검색은 통신부를 통해 웹 서버로 검색을 요청하여 수행된다. 사용자 단말 장치는 내부의 저장부 또는 사용자 단말 장치와 연결된 저장 장치에 저장된 이미지를 함께 검색할 수도 있다. 검색된 이미지를 표시하고 이미지가 선택되면 선택된 이미지를 삽입한다(S1150). 구체적인 과정은 상술하였으므로 생략하기로 한다.
도 12는 기 설정된 조건에 따라 이미지를 검색하는 사용자 단말 장치의 제어 방법에 관한 흐름도이다.
사용자 단말 장치는 문서 작성 창을 디스플레이한다(S1210). 텍스트를 입력받고 문서 작성 창 내에 표시한다(S1220). 도 11에서 설명한 바와 동일하므로 구체적인 설명은 생략한다.
기 설정된 시간 동안 텍스트 입력이 중단되면 이미지를 자동으로 검색한다(S1230). 기 설정된 시간은 조정 가능하다. 검색된 이미지 표시하고 하나가 선택되면 선택된 이미지를 삽입한다(S1240). 이미지의 선택은 하나 이상 복수의 이미지에 대해서 가능하다.
상술한 다양한 실시 예에 따른 디스플레이 장치의 제어 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.
일 예로, 문서 작성 창에서 디스플레이된 문서 내에서 텍스트를 선택하는 선택 명령을 입력받는 단계, 상기 텍스트가 선택되면 상기 문서 작성 창 내의 일 영역에 활성화된 검색 버튼을 표시하는 단계, 상기 검색 버튼이 선택되면 상기 선택된 텍스트에 대응되는 적어도 하나의 이미지를 검색하는 단계 및 검색된 이미지를 표시하고, 상기 검색된 이미지 중에서 하나가 선택되면 선택된 이미지를 상기 문서 작성 창 내에서 정해진 위치에 삽입하는 이미지 삽입 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 사용자 단말 장치
110 : 입력부 120 : 디스플레이부
130 : 통신부 140 : 제어부

Claims (13)

  1. 문서 작성 창을 디스플레이하는 단계;
    상기 문서 작성 창에 디스플레이된 문서 내에서 단어를 선택하기 위한 사용자 입력을 수신하는 단계;
    상기 문서 작성 창에 디스플레이된 검색 버튼이 선택되면, 상기 사용자 입력에 따라 선택된 단어 및 상기 단어와 관련된 다른 단어 중 적어도 하나를 이용하여, 복수의 이미지에 대한 웹 검색을 수행하는 단계;
    상기 웹 검색에 의해 검색된 연관성 이미지 및 단어 이미지를 포함하는 복수의 이미지를 디스플레이하는 단계; 및
    상기 디스플레이된 복수의 이미지 중에서 하나가 선택되면, 선택된 이미지를 상기 디스플레이된 문서에 삽입하는 단계;를 포함하고,
    상기 디스플레이 하는 단계는,
    상기 선택된 단어 및 상기 단어와 관련된 다른 단어의 조합에 기초하여 검색된 상기 연관성 이미지는 상기 문서 작성 창의 제1 영역에 디스플레이하고, 상기 선택된 단어에 기초하여 검색된 상기 단어 이미지는 상기 문서 작성 창의 제2 영역에 디스플레이하는 사용자 단말 장치의 제어 방법.
  2. 제1항에 있어서,
    상기 선택된 단어 및 상기 단어와 관련된 다른 단어는 상기 웹 검색을 수행하기 위한 웹 서버로 전송되는 것을 특징으로 하는 제어 방법.
  3. 제1항에 있어서,
    상기 삽입하는 단계는,
    상기 디스플레이된 문서 내에 커서가 디스플레이된 위치에 상기 선택된 이미지를 삽입하는 것을 특징으로 하는 제어 방법.
  4. 문서 작성 창을 디스플레이하는 디스플레이부;
    상기 문서 작성 창에 디스플레이된 문서 내에서 단어를 선택하기 위한 사용자 입력을 수신하는 입력부;
    서버에 연결되는 통신부; 및
    상기 문서 작성 창에 디스플레이된 검색 버튼이 선택되면, 상기 사용자 입력에 따라 선택된 단어 및 상기 단어와 관련된 다른 단어 중 적어도 하나를 이용하여, 상기 서버를 통해 복수의 이미지를 검색하는 제어부;를 포함하며,
    상기 제어부는,
    상기 서버에 의해 검색된 연관성 이미지 및 단어 이미지를 포함하는 복수의 이미지를 디스플레이부에 디스플레이하고, 상기 디스플레이된 복수의 이미지 중에서 하나가 선택되면, 선택된 이미지를 상기 디스플레이된 문서에 삽입하고,
    상기 제어부는,
    상기 선택된 단어 및 상기 단어와 관련된 다른 단어의 조합에 기초하여 검색된 상기 연관성 이미지는 상기 문서 작성 창의 제1 영역에 디스플레이하고, 상기 선택된 단어에 기초하여 검색된 상기 단어 이미지는 상기 문서 작성 창의 제2 영역에 디스플레이하는, 사용자 단말 장치.
  5. 제4항에 있어서,
    상기 선택된 단어 및 상기 단어와 관련된 다른 단어는 웹 검색을 수행하기 위한 웹 서버로 전송되는 것을 특징으로 하는 사용자 단말 장치.
  6. 제4항에 있어서,
    상기 제어부는,
    상기 디스플레이된 문서 내에 커서가 디스플레이된 위치에 상기 선택된 이미지를 삽입하도록 제어하는 것을 특징으로 하는 사용자 단말 장치.
  7. 문서 작성 창을 디스플레이하는 단계;
    상기 문서 작성 창에 디스플레이된 문서 내에서 단어를 선택하기 위한 사용자 입력을 수신하는 단계;
    상기 문서 작성 창에 디스플레이된 검색 버튼이 선택되면, 상기 사용자 입력에 따라 선택된 단어 및 상기 단어와 관련된 다른 단어 중 적어도 하나를 이용하여, 복수의 이미지에 대한 웹 검색을 수행하는 단계;
    상기 웹 검색에 의해 검색된 연관성 이미지 및 단어 이미지를 포함하는 복수의 이미지를 디스플레이하는 단계; 및
    상기 디스플레이된 복수의 이미지 중에서 하나가 선택되면, 선택된 이미지를 상기 디스플레이된 문서에 삽입하는 단계;를 수행하고,
    상기 디스플레이 하는 단계는,
    상기 선택된 단어 및 상기 단어와 관련된 다른 단어의 조합에 기초하여 검색된 상기 연관성 이미지는 상기 문서 작성 창의 제1 영역에 디스플레이하고, 상기 선택된 단어에 기초하여 검색된 상기 단어 이미지는 상기 문서 작성 창의 제2 영역에 디스플레이하는 컴퓨터 프로그램을 기록한 비일시적 기록매체.
  8. 제7항에 있어서,
    상기 선택된 단어 및 상기 단어와 관련된 다른 단어는 상기 웹 검색을 수행하기 위한 웹 서버로 전송되는 것을 특징으로 하는 비일시적 기록매체.
  9. 제7항에 있어서,
    상기 삽입하는 단계는,
    상기 디스플레이된 문서 내에 커서가 디스플레이된 위치에 상기 선택된 이미지를 삽입하는 것을 특징으로 하는 비일시적 기록매체.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
KR1020120115505A 2012-10-17 2012-10-17 사용자 단말 장치 및 제어 방법 KR102072113B1 (ko)

Priority Applications (16)

Application Number Priority Date Filing Date Title
KR1020120115505A KR102072113B1 (ko) 2012-10-17 2012-10-17 사용자 단말 장치 및 제어 방법
US13/937,584 US9558166B2 (en) 2012-10-17 2013-07-09 Device and method for image search using one or more selected words
PCT/KR2013/009252 WO2014061996A1 (en) 2012-10-17 2013-10-16 User terminal device and control method thereof
BR112015007976-8A BR112015007976B1 (pt) 2012-10-17 2013-10-16 Método para editar um documento usando um aplicativo de processamento de texto em um dispositivo eletrônico, dispositivo eletrônico, meio de gravação legível por computador tangível
JP2015538017A JP6679066B2 (ja) 2012-10-17 2013-10-16 ユーザ端末装置及び制御方法
EP13846272.6A EP2909700B1 (en) 2012-10-17 2013-10-16 User terminal device and control method thereof
CN201380054405.7A CN104756046A (zh) 2012-10-17 2013-10-16 用户终端设备及其控制方法
AU2013332591A AU2013332591B2 (en) 2012-10-17 2013-10-16 User terminal device and control method thereof
EP18175551.3A EP3392787B1 (en) 2012-10-17 2013-10-16 User terminal device and control method thereof
CN201810487602.2A CN108681404B (zh) 2012-10-17 2013-10-16 电子设备及其控制方法
US15/368,151 US9824078B2 (en) 2012-10-17 2016-12-02 Device and method for image search using one or more selected words
US15/794,740 US9910839B1 (en) 2012-10-17 2017-10-26 Device and method for image search using one or more selected words
US15/886,387 US9990346B1 (en) 2012-10-17 2018-02-01 Device and method for image search using one or more selected words
US15/966,765 US10503819B2 (en) 2012-10-17 2018-04-30 Device and method for image search using one or more selected words
JP2018189050A JP6731985B2 (ja) 2012-10-17 2018-10-04 ユーザ端末装置及び制御方法
AU2018282401A AU2018282401B2 (en) 2012-10-17 2018-12-20 User terminal device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120115505A KR102072113B1 (ko) 2012-10-17 2012-10-17 사용자 단말 장치 및 제어 방법

Publications (2)

Publication Number Publication Date
KR20140049354A KR20140049354A (ko) 2014-04-25
KR102072113B1 true KR102072113B1 (ko) 2020-02-03

Family

ID=50476589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120115505A KR102072113B1 (ko) 2012-10-17 2012-10-17 사용자 단말 장치 및 제어 방법

Country Status (8)

Country Link
US (5) US9558166B2 (ko)
EP (2) EP2909700B1 (ko)
JP (2) JP6679066B2 (ko)
KR (1) KR102072113B1 (ko)
CN (2) CN104756046A (ko)
AU (2) AU2013332591B2 (ko)
BR (1) BR112015007976B1 (ko)
WO (1) WO2014061996A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102143997B1 (ko) * 2013-10-17 2020-08-12 삼성전자 주식회사 단말장치의 정보 리스트 처리장치 및 방법
KR20160021524A (ko) * 2014-08-18 2016-02-26 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US11809811B2 (en) * 2014-10-25 2023-11-07 Yieldmo, Inc. Methods for serving interactive content to a user
US11258679B2 (en) 2015-07-28 2022-02-22 Spirent Communications, Inc. Systems and methods for automated testing of MoCA networks
US10382314B2 (en) * 2016-03-11 2019-08-13 Spirent Communications, Inc. Systems and methods for automated testing of MoCA networks
JP6100849B2 (ja) * 2015-08-24 2017-03-22 ヤフー株式会社 生成装置、生成方法、生成プログラム、端末装置、及び表示プログラム
US11308154B2 (en) 2016-08-17 2022-04-19 Baidu Usa Llc Method and system for dynamically overlay content provider information on images matched with content items in response to search queries
US10579902B2 (en) 2016-12-21 2020-03-03 Samsung Electronics Co., Ltd. Method and electronic device for providing text-related image
KR102430567B1 (ko) * 2016-12-21 2022-08-09 삼성전자주식회사 텍스트와 연관된 이미지 제공 방법 및 이를 위한 전자 장치
US11288976B2 (en) * 2017-10-05 2022-03-29 Fluent Forever Inc. Language fluency system
CN108038150B (zh) * 2017-11-30 2021-05-28 阿里巴巴（中国）有限公司 网页打开方法、装置及终端设备
KR102625254B1 (ko) * 2018-06-05 2024-01-16 삼성전자주식회사 입력기를 통해 이미지와 관련된 정보를 어플리케이션에 제공하는 전자 장치 및 방법
CN109508128B (zh) * 2018-11-09 2021-05-18 北京微播视界科技有限公司 搜索控件显示方法、装置、设备及计算机可读存储介质
CN112532507B (zh) * 2019-09-17 2023-05-05 上海掌门科技有限公司 用于呈现表情图像、用于发送表情图像的方法和设备
NL2025417B1 (en) * 2020-04-24 2021-11-02 Microsoft Technology Licensing Llc Intelligent Content Identification and Transformation
CN112114762A (zh) * 2020-08-17 2020-12-22 深圳市飞图视讯有限公司 一种控制屏幕显示的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003532205A (ja) 2000-04-27 2003-10-28 イーストマン コダック カンパニー ページ上でディジタル画像を組織する方法
US20110191336A1 (en) * 2010-01-29 2011-08-04 Microsoft Corporation Contextual image search
KR101165975B1 (ko) * 2011-12-12 2012-07-18 주식회사 한글과컴퓨터 터치스크린 장치 및 상기 터치스크린 장치의 손글씨 입력 방법

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659742A (en) * 1995-09-15 1997-08-19 Infonautics Corporation Method for storing multi-media information in an information retrieval system
US6021412A (en) 1996-04-02 2000-02-01 Microsoft Corporation Method and system for automatically adding graphics to a document to illustrate concepts referred to therein
US5982370A (en) * 1997-07-18 1999-11-09 International Business Machines Corporation Highlighting tool for search specification in a user interface of a computer system
US7051019B1 (en) 1999-08-17 2006-05-23 Corbis Corporation Method and system for obtaining images from a database having images that are relevant to indicated text
US7028253B1 (en) 2000-10-10 2006-04-11 Eastman Kodak Company Agent for integrated annotation and retrieval of images
WO2003075186A1 (en) * 2002-03-01 2003-09-12 Paul Jeffrey Krupin A method and system for creating improved search queries
US7660822B1 (en) * 2004-03-31 2010-02-09 Google Inc. Systems and methods for sorting and displaying search results in multiple dimensions
US9092458B1 (en) * 2005-03-08 2015-07-28 Irobot Corporation System and method for managing search results including graphics
KR100819846B1 (ko) 2005-04-08 2008-04-07 김동암 인터넷 검색결과 정보를 언어고리로 구성하여 제공하는방법
US7765214B2 (en) * 2005-05-10 2010-07-27 International Business Machines Corporation Enhancing query performance of search engines using lexical affinities
JP2007047962A (ja) * 2005-08-09 2007-02-22 Seiko Epson Corp 編集装置
US7584411B1 (en) * 2005-12-22 2009-09-01 Adobe Systems, Inc. Methods and apparatus to identify graphical elements
US7725451B2 (en) 2006-01-23 2010-05-25 Microsoft Corporation Generating clusters of images for search results
US8725729B2 (en) * 2006-04-03 2014-05-13 Steven G. Lisa System, methods and applications for embedded internet searching and result display
JP5044236B2 (ja) 2007-01-12 2012-10-10 富士フイルム株式会社 コンテンツ検索装置、およびコンテンツ検索方法
CN100498790C (zh) * 2007-02-06 2009-06-10 腾讯科技（深圳）有限公司 一种搜索方法和系统
US7822763B2 (en) * 2007-02-22 2010-10-26 Microsoft Corporation Synonym and similar word page search
US20080320384A1 (en) 2007-06-25 2008-12-25 Ramesh Nagarajan Automated addition of images to text
CN101196898A (zh) * 2007-08-21 2008-06-11 新百丽鞋业(深圳)有限公司 将词组索引技术应用在互联网搜索引擎中的方法
KR101020567B1 (ko) 2007-10-05 2011-03-09 주식회사 엔톰애드 저작물 기반 광고 시스템
JP5232449B2 (ja) 2007-11-21 2013-07-10 Ｋｄｄｉ株式会社 情報検索装置およびコンピュータプログラム
JP2009146248A (ja) 2007-12-17 2009-07-02 Fujifilm Corp コンテンツ提示システム及びプログラム
JP5242202B2 (ja) 2008-03-14 2013-07-24 京セラ株式会社 携帯通信端末
CN101266608A (zh) * 2008-05-09 2008-09-17 魏新成 对电脑屏幕上显示的文本字符串进行在线搜索的方法
US8200649B2 (en) * 2008-05-13 2012-06-12 Enpulz, Llc Image search engine using context screening parameters
US8180788B2 (en) * 2008-06-05 2012-05-15 Enpulz, L.L.C. Image search engine employing image correlation
JP4801701B2 (ja) * 2008-07-30 2011-10-26 京セラ株式会社 携帯端末およびデータ制御方法
KR20100101975A (ko) 2009-03-10 2010-09-20 주식회사 케이티 메시지 서비스 제공 시스템 및 방법
KR101624273B1 (ko) 2009-04-02 2016-05-26 삼성전자주식회사 컨텐츠 검색을 위한 자동 영상 쿼리 추천 방법 및 이를 이용한 컨텐츠 플레이 단말
JP2011221794A (ja) 2010-04-09 2011-11-04 Kddi Corp 画像選定装置
US20110276876A1 (en) 2010-05-05 2011-11-10 Chi Shing Kwan Method and system for storing words and their context to a database
KR20110127894A (ko) * 2010-05-20 2011-11-28 주식회사 인프라웨어 웹 이미지 다이렉트 삽입을 통한 문서 작성 방법 및 웹 이미지 다이렉트 삽입을 통한 문서 작성 장치, 그리고 웹 이미지 다이렉트 삽입을 통한 문서 작성 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
KR20120007829A (ko) 2010-07-15 2012-01-25 삼성전자주식회사 컨텐츠 리스트 제공방법 및 이를 적용한 디스플레이 장치
CN102375841A (zh) 2010-08-18 2012-03-14 腾讯科技（深圳）有限公司 一种即时通讯工具及其实现便捷搜索的方法
CN101984420B (zh) * 2010-09-03 2013-08-14 百度在线网络技术（北京）有限公司 一种基于拆词处理进行图片搜索的方法与设备
WO2012040827A2 (en) 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
KR101754185B1 (ko) * 2010-12-15 2017-07-05 엘지전자 주식회사 이동 단말기 및 그의 인터페이스 방법
US20150170203A1 (en) * 2011-05-24 2015-06-18 David Kogan Presenting search results
US9183312B2 (en) * 2012-03-20 2015-11-10 Google Inc. Image display within web search results
US8935246B2 (en) * 2012-08-08 2015-01-13 Google Inc. Identifying textual terms in response to a visual query

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003532205A (ja) 2000-04-27 2003-10-28 イーストマン コダック カンパニー ページ上でディジタル画像を組織する方法
US20110191336A1 (en) * 2010-01-29 2011-08-04 Microsoft Corporation Contextual image search
KR101165975B1 (ko) * 2011-12-12 2012-07-18 주식회사 한글과컴퓨터 터치스크린 장치 및 상기 터치스크린 장치의 손글씨 입력 방법

Also Published As

Publication number Publication date
AU2013332591A1 (en) 2015-04-09
EP3392787A1 (en) 2018-10-24
EP3392787B1 (en) 2022-03-09
US9824078B2 (en) 2017-11-21
BR112015007976B1 (pt) 2022-01-11
US9990346B1 (en) 2018-06-05
EP2909700A1 (en) 2015-08-26
JP2016500880A (ja) 2016-01-14
AU2018282401A1 (en) 2019-01-24
US20170083496A1 (en) 2017-03-23
BR112015007976A8 (pt) 2019-08-27
JP6679066B2 (ja) 2020-04-15
US9910839B1 (en) 2018-03-06
KR20140049354A (ko) 2014-04-25
AU2013332591B2 (en) 2018-09-20
WO2014061996A1 (en) 2014-04-24
CN108681404B (zh) 2022-02-22
US9558166B2 (en) 2017-01-31
EP2909700B1 (en) 2019-01-16
BR112015007976A2 (pt) 2017-07-04
EP2909700A4 (en) 2016-06-29
AU2018282401B2 (en) 2019-08-08
CN104756046A (zh) 2015-07-01
JP2018206443A (ja) 2018-12-27
US10503819B2 (en) 2019-12-10
US20180246865A1 (en) 2018-08-30
CN108681404A (zh) 2018-10-19
US20180046603A1 (en) 2018-02-15
US20180157631A1 (en) 2018-06-07
JP6731985B2 (ja) 2020-07-29
US20140108898A1 (en) 2014-04-17

Similar Documents

Publication Publication Date Title
KR102072113B1 (ko) 사용자 단말 장치 및 제어 방법
US10223466B2 (en) Method for searching and device thereof
US20130139078A1 (en) Electronic reader and page processing method thereof
US9996522B2 (en) Dictionary device for determining a search method based on a type of a detected touch operation
US9495454B2 (en) User apparatus, system and method for dynamically reclassifying and retrieving target information object
CN102436477A (zh) 具关联内容搜索功能的装置及方法
US20110219304A1 (en) Dictionary information display device
US20150149428A1 (en) Search Inquiry Method Using Contextual Annotation
US20120209595A1 (en) Dictionary information display device and dictionary information display method
KR20150006496A (ko) 휴대 단말기에서 검색 기능을 수행하는 방법 및 장치
JP5348225B2 (ja) 情報処理装置、ウィンドウ表示方法及びプログラム
JP2013175136A (ja) トレース支援装置、トレース支援システム、トレース支援方法、およびトレース支援プログラム
US10380247B2 (en) Language-based acronym generation for strings
JP2015166905A (ja) 辞書表示機能を備えた電子機器およびプログラム
CN114356118A (zh) 字符输入方法、装置、电子设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right