KR20200054699A - 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법 - Google Patents

전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법 Download PDF

Info

Publication number
KR20200054699A
KR20200054699A KR1020180138306A KR20180138306A KR20200054699A KR 20200054699 A KR20200054699 A KR 20200054699A KR 1020180138306 A KR1020180138306 A KR 1020180138306A KR 20180138306 A KR20180138306 A KR 20180138306A KR 20200054699 A KR20200054699 A KR 20200054699A
Authority
KR
South Korea
Prior art keywords
image
electronic pen
mode
touch screen
area
Prior art date
Application number
KR1020180138306A
Other languages
English (en)
Inventor
권호범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180138306A priority Critical patent/KR20200054699A/ko
Priority to PCT/KR2019/014158 priority patent/WO2020101215A1/ko
Publication of KR20200054699A publication Critical patent/KR20200054699A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G06K9/00402—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시 예에 따란 터치 스크린을 포함하는 디바이스가 동작하는 방법은, 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 단계; 상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하는 단계; 상기 제1 영역에 포함되는 제1 영상을 획득하는 단계; 및 상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력 하는 단계를 포함할 수 있다.

Description

전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법 {Device including touch screen for receiving touch input by electronic pen and operation method of the same}
전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법에 관한 것이다. 구체적으로, 디바이스에서 제공되는 전자 펜의 기능을 확장하고 설정 가능하게 함으로써, 특정 동작을 손쉽게 반복적으로 처리할 수 있도록 하는 디바이스 및 그 동작 방법에 관한 것이다.
사용자 단말은 다양한 기능을 수행할 수 있도록 구성될 수 있다. 그러한 다양한 기능들의 예로 데이터 및 음성 통신 기능, 카메라를 통해 사진이나 동영상을 촬영하는 기능, 음성 저장 기능, 스피커 시스템을 통한 음악 파일의 재생 기능, 이미지나 비디오의 디스플레이 기능 등이 있다.
일부 사용자 단말은 게임을 실행할 수 있는 추가적 기능을 포함하고, 다른 일부 사용자 단말은 멀티미디어 기기로서 구현되기도 한다. 더욱이 스마트 폰의 개발이 가속화되면서 다양한 애플리케이션들의 개발 및 사용이 증가하고 있다. 따라서, 사용자가 애플리케이션을 쉽고 간편하게 조작할 수 있도록 하는 시스템이 필요하다.
사용자가 쉽게 사용자 단말을 조작할 수 있도록, 사용자 단말은 터치 도구(예를 들어, 전자 펜, 손가락 등)에 의한 터치 입력을 수신할 수 있는 터치 스크린을 포함할 수 있다. 터치 스크린은, 터치 패널과 디스플레이가 레이어 구조를 이룸으로써 출력 장치 및 입력 장치로서 기능할 수 있다.
사용자 단말에 있어서, 디스플레이 되는 영상에 대해서 사용자가 원하는 동작을 간단하게 반복적으로 처리하는 것이 요구된다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시 예에 따른 터치 스크린을 포함하는 디바이스가 동작하는 방법은, 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 단계; 상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하는 단계; 상기 제1 영역에 포함되는 제1 영상을 획득하는 단계; 및 상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력 하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 전자 펜에 의한 터치 입력을 수신하는 터치 스크린과 적어도 하나의 프로세서를 포함하는 디바이스에 있어서, 상기 적어도 하나의 프로세서는, 상기 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하고, 상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하고, 상기 제1 영역에 포함되는 제1 영상을 획득하고, 상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력할 수 있다.
본 개시의 일 실시 예에 따라 터치 스크린을 포함하는 디바이스가 동작하는 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 디바이스가 동작하는 방법은, 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 단계; 상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하는 단계; 상기 제1 영역에 포함되는 제1 영상을 획득하는 단계; 및 상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력 하는 단계를 포함할 수 있다.
도 1은 일반적으로 전자 펜을 이용하여 디바이스의 터치 스크린 상의 일부 영역을 선택하는 방법을 설명하기 위한 도면이다.
도 2a 및 2b는 일 실시 예에 따른 디바이스의 블록도를 도시한다.
도 3은 일 실시 예에 따른 프로세서의 블록도를 도시한다.
도 4는 일 실시 예에 따라 전자 펜과 디바이스를 포함하는 시스템의 예를 도시한다.
도 5는 일 실시 예에 따른 디바이스의 동작 방법의 흐름도이다.
도 6은 일 실시 예에 따라 전자 펜의 동작 모드를 선택하기 위한 GUI(graphical user interface)의 예를 도시한다.
도 7은 일 실시 예에 따라 전자 펜의 동작 모드를 추가하기 위한 GUI의 예를 도시한다.
도 8a 및 8b는 일 실시 예에 따른 디바이스가 영상 처리 결과를 출력하는 구체적인 예를 도시한다.
도 9는 일 실시 예에 따른 디바이스가 고정된 선택 영역에 대한 영상 처리 결과를 출력하는 방식을 선택하기 위한 GUI의 예를 도시한다.
도 10a 및 10b는 일 실시 예에 따른 디바이스가 영상으로부터 추출된 텍스트의 번역 결과를 출력하는 구체적인 예를 도시한다.
도 11a 내지 11c는 일 실시 예에 따른 디바이스가 애플리케이션 실행 모드에 기초하여 실행할 수 있는 애플리케이션을 설정하기 위한 GUI의 예를 도시한다.
도 12는 일 실시 예에 따른 디바이스의 동작 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “모듈” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일반적으로 전자 펜을 이용하여 디바이스의 터치 스크린 상의 일부 영역을 선택하는 방법을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 터치 스크린(11)을 구비하는 전자 디바이스(10)는, 전자 펜(20), 또는 손가락 등과 같은 터치 도구에 의한 터치 입력에 의해 조작될 수 있다. 일반적으로 전자 디바이스(10)는, 전자 펜(20)에 의한 터치 입력과 손가락에 의한 터치 입력을 구별하지 않고 동일하게 인식한다.
예를 들어, 사용자가 손가락을 이용하여 화면 상의 아이콘을 터치하면, 디바이스(10)는 아이콘에 대응하는 애플리케이션을 실행할 수 있다. 동일하게, 사용자가 전자 펜을 이용하여 화면 상의 아이콘을 터치하면, 디바이스(10)는 아이콘에 대응하는 애플리케이션을 실행할 수 있다. 또는, 사용자가 손가락 또는 전자 펜을 이용하여 애플리케이션이 실행되고 있는 화면 상의 GUI 버튼을 터치하면, 디바이스(10)는 해당 애플리케이션에서 미리 결정된 동작을 수행할 수 있다.
디바이스(10)의 조작성을 향상시키기 위하여, 단순한 터치 제스처를 입력하는 기능을 넘어서 영상 캡쳐, 메모 작성 등으로 전자 펜의 기능을 확장할 필요가 있다. 따라서, 이러한 필요에 의해, 종래에는 사용자가 소정 동작(예를 들어, 전자 펜을 화면에 가까이 가져가거나, 전자 펜 상의 버튼을 누르는 동작 등)을 수행하면 전자 펜의 확장 기능을 선택할 수 있는 GUI 메뉴가 자동으로 디스플레이되는 사용자 인터페이스가 이용되었다. 이 사용자 인터페이스에 따르면, 사용자가 GUI 메뉴 상에 표시되는 확장된 기능들 중에서 하나의 기능을 선택하면, 전자 펜이 선택된 기능을 수행하도록 임시적으로 설정될 수 있다. 그러나 전자 펜의 확장된 기능을 반복적으로 이용하기 위해서 사용자는, 매번 터치 제스처를 입력할 때마다 GUI 메뉴가 디스플레이 되도록 소정 동작을 수행하고, 원하는 기능을 선택하는 동작을 반복해야 한다는 번거로움이 있었다.
또한, 종래에는 디바이스가 특정 동작을 수행하도록 하기 위해서는 여러 단계에 걸쳐 사용자의 개입이 요구되었다. 예를 들어, 브라우저를 실행하고 있는 디바이스(10)의 화면 상의 텍스트에 대해서 사용자가 번역 결과를 제공 받고자 하는 경우, 디바이스(10)는 다음의 여러 단계들을 거쳐 번역 결과를 사용자에게 제공할 수 있다.
1) 디바이스가, 사용자 입력에 기초하여 번역 기능을 제공하는 애플리케이션을 실행한다.
2) 디바이스가, 사용자 입력에 기초하여 화면 내의 일부 영역을 선택하기 위한 인터페이스를 제공한다. 이 때, 제공되는 인터페이스는, 실행되고 있는 애플리케이션의 실행 화면 내에서 제공될 수 있다.
3) 디바이스가, 사용자 입력에 기초하여 화면 내의 일부 영역을 선택한다.
4) 디바이스가, 사용자 입력에 기초하여 선택된 영역 내에 포함되는 영상으로부터 텍스트를 추출하고 추출된 텍스트를 번역한 결과를 출력한다.
종래 기술에 따르면, 사용자는 디바이스가 원하는 동작을 수행하도록 하기 위해서 매번 해당 동작을 수행하는 애플리케이션을 실행하도록 디바이스를 조작해야 한다. 예를 들어, 사용자가 디바이스의 다양한 애플리케이션을 사용하는 중에 화면에 대해 특정 기능을 사용하고자 하면, 사용자는 해당 기능을 제공하는 애플리케이션이 추가로 실행되도록 해야 한다. 그리고 사용자는 추가로 실행된 애플리케이션의 실행 화면 내에서 화면의 일부 영역을 선택하고 선택된 영역 내에 포함되는 영상에 대해 특정 기능을 수행하도록 디바이스를 조작해야 하는 불편함이 있었다.
따라서, 본 개시의 다양한 실시 예에 따른 디바이스 및 디바이스의 동작 방법은, 전자 펜의 확장된 기능을 사용자가 설정 가능하도록 함으로써, 사용자가 보다 편리하게 디바이스가 특정 동작을 반복적으로 수행하도록 조작할 수 있도록 한다.
도 2a 및 2b는 일 실시 예에 따른 디바이스의 블록도를 도시한다.
일 실시 예에 따른 디바이스는, 사용자 단말 장치일 수 있다. 예를 들어, 일 실시 예에 따른 디바이스는, TV, 냉장고, 세탁기 등의 가전 제품, 스마트폰, PC, 웨어러블 디바이스, PDA(personal digital assistant), 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다.
도 2a에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는, 터치 스크린(210) 및 프로세서(220)를 포함할 수 있다. 그러나, 도 2a에 도시된 구성 요소 모두보다 많은 구성 요소에 의해 디바이스(200)가 구현될 수도 있다. 예를 들어, 도 2b에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는, 통신부(230), 메모리(240), A/V 입력부(250) 및 입출력부(270) 중 적어도 하나를 더 포함할 수 있다.
또한, 도 2a 및 2b에서는 편의상 디바이스가 하나의 프로세서를 포함하는 것으로 도시하였으나, 실시 예는 이에 제한되지 않으며 디바이스는 복수의 프로세서들을 포함할 수 있다. 디바이스가 복수의 프로세서들을 포함하는 경우 이하에서 서술하는 프로세서의 동작은 복수의 프로세서들에 의해 나누어 수행될 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
터치 스크린(210)은, 디바이스(200)에서 처리되는 정보를 표시하고, 터치 스크린(210)에 대한 터치를 검출할 수 있다. 예를 들어, 터치 스크린(210)은, 디스플레이 모듈과 터치 패드가 레이어 구조를 이루어 구성되고 출력 장치 및 입력 장치로 이용될 수 있다.
터치 스크린(210)은 손가락이나 터치 도구(예를 들어, 전자 펜 등)에 의한 터치 입력을 수신할 수 있다. 터치 스크린(210)은, 터치 입력이 수신된 화면 상의 위치, 터치된 면적뿐만 아니라 터치 압력까지도 검출할 수 있도록 구성될 수 있다. 또한, 터치 스크린(210)은 직접 터치(real-touch) 뿐만 아니라 근접 터치(proximity touch)도 검출될 수 있도록 구성될 수 있다.
본 명세서에서 "터치(real-touch)"라 함은 화면에 실제로 포인터(pointer)가 터치된 경우를 말하고, "근접 터치(proximity-touch)" 라 함은 포인터(pointer)가 화면에 실제로 터치는 되지 않고, 화면으로부터 소정 거리 떨어져 접근된 경우를 말한다. 본 명세서에서 포인터(pointer)는 디스플레이된 화면의 특정 부분을 터치하거나 근접 터치하기 위한 도구를 말한다. 그 일례로 스타일러스 팬, 손가락 등이 있다.
디스플레이 모듈은 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(200)의 구현 형태에 따라 디바이스(200)는 터치 스크린(210)을 2개 이상 포함할 수도 있다.
한편, 프로세서(220)는, 디바이스(200)의 전반적인 동작을 제어할 수 있다. 프로세서(220)는, 전자 펜의 터치 입력에 기초하여 화면 상의 일부 영역을 선택하고, 선택된 영역에 포함되는 영상에 대해 미리 설정된 동작 모드에 대응하는 동작을 수행할 수 있다. 이하, 프로세서(220)가 동작하는 과정을 구체적으로 살펴 본다.
먼저, 일 실시 예에 따른 프로세서(220)는, 전자 펜의 동작 모드를 선택할 수 있다. 전자 펜의 동작 모드란, 전자 펜의 터치 입력에 기초하여 디바이스(200)가 특정 동작을 수행하도록 하는 디바이스(200)의 동작 모드를 의미할 수 있다.
예를 들어, 전자 펜의 동작 모드는, 전자 펜의 터치 입력에 기초하여 선택된 영상에 대한 번역 모드, 영상 인식 모드, 애플리케이션 실행 모드, 및 플로팅 영상 모드 중 적어도 하나를 포함할 수 있다.
번역 모드는, 디바이스(200)가 전자 펜에 의해 선택된 영역에 포함되는 영상으로부터 텍스트를 추출하고, 추출된 텍스트를 번역할 수 있는 상태를 의미할 수 있다. 영상 인식 모드는, 디바이스(200)가 영상을 분석함으로써 영상이 나타내는 물체와 관련된 키워드를 추출하고, 추출된 키워드와 관련된 정보를 출력할 수 있는 상태를 의미할 수 있다. 애플리케이션 실행 모드는, 디바이스(200)가 영상에 포함되는 아이콘 또는 텍스트를 추출하고, 추출된 아이콘 또는 텍스트에 대응하는 애플리케이션을 실행할 수 있는 상태를 의미할 수 있다. 플로팅 영상 모드는, 디바이스(200)가 선택된 영상을 화면의 최상위에 디스플레이 할 수 있는 상태를 의미할 수 있다. 플로팅 영상 모드에서 디바이스(200)는, 터치 스크린(210) 상에 디스플레이 되는 화면이 변경되는 경우에도 선택된 영상을 화면의 최상위에 디스플레이 할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택할 수 있다. 프로세서(220)는, 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 사용자 입력에 기초하여, 제1 모드를 선택할 수 있다.
터치 스크린(210)은, 전자 펜의 복수의 동작 모드들이 나열된 리스트를 디스플레이 할 수 있다. 프로세서(220)는, 리스트 상에 나열된 복수의 동작 모드들 중 하나의 동작 모드를 선택하는 사용자 입력에 기초하여, 제1 모드를 선택할 수 있다.
또한, 터치 스크린(210)은, 프로세서(220)에서 영상을 처리한 결과를 디스플레이 하는 방식을 선택하기 위한 GUI를 디스플레이 할 수 있다. 예를 들어, 디바이스(200)는, 영상을 처리한 결과가 항상 화면의 최상위에 표시 되는 방식을 선택하거나, 영상을 처리한 결과가 별도의 외부 디바이스를 통해 디스플레이 되는 방식을 선택할 수 있다. 프로세서(220)는, GUI에 대한 사용자 입력에 기초하여, 영상을 처리한 결과를 디스플레이 하는 방식을 선택할 수 있다.
프로세서(220)는, 터치 스크린(210)에 대한 전자 펜의 터치 입력에 기초하여, 터치 스크린(210) 상에 디스플레이 되는 화면의 적어도 일부 영역을 선택할 수 있다. 프로세서(220)는, 터치 스크린(210)에 대한 전자 펜의 제1 터치 입력에 기초하여, 터치 스크린(210) 상에 디스플레이 되는 화면의 제1 영역을 선택할 수 있다.
프로세서(220)는, 선택된 영역에 포함되는 영상을 획득할 수 있다. 프로세서(220)는, 화면의 제1 영역에 포함되는 제1 영상을 획득할 수 있다.
프로세서(220)는, 전자 펜의 복수의 동작 모드들 중에서 선택된 동작 모드에 기초하여 제1 영상을 처리한 결과를 출력할 수 있다. 예를 들어, 프로세서(220)가 제1 모드를 선택하면, 프로세서(220)는, 제1 모드에 기초하여 제1 영상을 처리한 결과를 출력할 수 있다. 예를 들어, 프로세서(220)는 제1 영상으로부터 추출된 텍스트를 추출하고, 추출된 텍스트를 번역하거나, 제1 영상을 분석함으로써 제1 영상이 나타내는 물체와 관련된 키워드를 추출하고, 추출된 키워드와 관련된 정보를 출력할 수 있다.
일 실시 예에 따른 프로세서(220)는, 화면 상에 선택된 영역을 유지할 수 있다. 프로세서(220)는, 화면 상에 선택된 영역을 소정 시간동안 유지하거나, 선택을 해지하는 사용자의 입력이 수신될 때까지 유지할 수 있다. 선택된 영역을 유지한다는 것은, 프로세서(220)가, 하나의 선택된 영역에 대해서 영상을 획득하고 획득된 영상을 처리하는 동작을 반복하여 수행한다는 것을 의미할 수 있다.
일 실시예에 따른 프로세서(220)는, 터치 스크린 상에 디스플레이 되는 화면이 변경되면, 선택된 제1 영역에 포함되는 제2 영상을 획득할 수 있다. 프로세서(220)는, 선택된 제1 모드에 기초하여 제2 영상을 처리한 결과를 출력할 수 있다.
예를 들어, 프로세서(220)가 전자 펜의 동작 모드로서 번역 모드를 선택한 경우, 프로세서(220)는 영화의 자막이 표시되는 화면 상의 위치에 대해서 사용자가 선택한 영역에 대해 번역 동작을 반복해서 수행할 수 있다. 일 실시예에 따른 프로세서(220)는, 영화의 자막 내용이 바뀌면, 선택된 영역에 포함되는 영상을 추가로 획득하고, 추가로 획득된 영상으로부터 텍스트를 추출하고, 추출된 텍스트를 번역하고, 번역 결과를 출력할 수 있다. 따라서, 영화의 자막의 내용이 바뀔 때마다 사용자가 해당 영역을 선택하고 텍스트를 추출하고 번역하도록 하는 명령을 입력하지 않더라도, 일 실시예에 따른 디바이스(220)는 사용자가 원하는 동작을 자동으로 반복해서 수행할 수 있다.
일 실시 예에 따른 프로세서(220)는, 선택된 동작 모드를 유지할 수 있다. 프로세서(220)는, 선택된 동작 모드를 소정 시간 동안 유지하거나, 선택을 해지하는 사용자의 입력이 수신될 때까지 유지할 수 있다. 선택된 동작 모드를 유지한다는 것은, 프로세서(220)가, 새롭게 선택된 영역에 포함되는 영상에 대해서 이 전에 선택된 동작 모드에 기초하여 처리하는 동작을 수행한다는 것을 의미할 수 있다.
예를 들어, 일 실시 예에 따른 프로세서(220)는, 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하고, 선택된 제1 모드를 유지할 수 있다. 프로세서(220)는, 전자 펜의 제1 터치 입력에 기초하여 선택되는 제1 영역에 포함되는 제1 영상을 획득할 수 있다. 프로세서(220)는, 제1 모드에 기초하여 제1 영상을 처리한 결과를 출력할 수 있다. 선택된 제1 모드가 유지되는 동안, 프로세서(220)는, 전자 펜의 추가적인 터치 입력에 기초하여 선택되는 영역에 포함되는 추가 영상을 획득할 수 있다. 프로세서(220)는, 제1 모드에 기초하여 추가 영상을 처리한 결과를 출력할 수 있다. 즉, 선택된 제1 모드가 유지되는 동안, 프로세서(220)는, 전자 펜의 제2 터치 입력에 기초하여 선택되는 제2 영역에 포함되는 제3 영상을 획득할 수 있다. 프로세서(220)는, 제1 모드에 기초하여 제3 영상을 처리한 결과를 출력할 수 있다.
예를 들어, 프로세서(220)가 전자 펜의 동작 모드로서 영상 인식 모드를 선택한 경우, 프로세서(220)는 새롭게 선택된 영역에 포함되는 영상에 대해서도 영상 인식 모드에 기초하여 처리하는 동작을 반복하여 수행할 수 있다. 일 실시예에 따른 프로세서(220)는, 화면에 디스플레이 되는 영상이 나타내는 복수의 오브젝트들 중에서 하나의 오브젝트를 포함하는 영역을 선택하는 전자 펜의 터치 입력에 기초하여, 선택된 영역의 부분 영상을 분석함으로써 선택된 오브젝트가 무엇인지를 나타내는 키워드를 출력할 수 있다. 그리고 프로세서(220)는, 선택된 영상 인식 모드가 유지되는 동안, 다른 하나의 오브젝트를 포함하는 영역을 선택하는 전자 펜의 터치 입력에 기초하여, 선택된 영역의 부분 영상을 분석함으로써 선택된 오브젝트가 무엇인지를 나타내는 키워드를 추가로 출력할 수 있다. 따라서, 여러 오브젝트들에 대한 영상 인식이 필요한 경우, 각 오브젝트에 대해서 영상 인식 모드를 선택하고 영역을 선택하고 영상 인식을 수행하도록 하는 명령을 입력하지 않더라도, 일 실시예에 따른 디바이스(220)는 사용자가 원하는 동작을 자동으로 반복해서 수행할 수 있다.
또한, 도 2b에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는, 통신부(230), 메모리(240), A/V 입력부(250) 및 입출력부(270) 중 적어도 하나를 더 포함할 수 있다.
일 실시 예에 따른 디바이스(200)는, 통신부(230)를 포함할 수 있다. 통신부(230)는, 유선 통신 또는 무선 통신을 통해 외부 디바이스, 전자 펜 또는 서버와 통신할 수 있다. 통신부(230)는, 전자 펜에 대해 입력되는 사용자 입력에 대한 신호를 전자 펜으로부터 수신할 수 있다. 또는, 통신부(230)는, 프로세서(220)에서 영상을 처리한 결과를 외부 디바이스에게 전송할 수 있다. 일 실시 예에 따른 통신부(230)는, 근거리 통신 모듈, 유선 통신 모듈, 이동 통신 모듈, 방송 수신 모듈 등을 포함할 수 있다. 예를 들어, 통신부(230)는, 블루투스와 같은 근거리 무선 통신 방식을 통해, 전자 펜과 통신할 수 있다.
프로세서(220)는, 전자 펜으로부터 수신되는 사용자 입력 신호에 기초하여, 전자 펜의 동작 모드를 선택할 수 있다. 예를 들어, 프로세서(220)는, 전자 펜으로부터 수신되는 신호에 기초하여, 복수의 동작 모드들 중에서 제1 모드를 선택할 수 있다.
일 실시 예에 따른 디바이스(200)는, 메모리(240)를 포함할 수 있다.
메모리(240)는, 프로세서(220)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 애플리케이션, 애플리케이션의 UI 디스크립션, 컨텐츠 등)을 저장할 수도 있다.
메모리(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(200)는 인터넷(internet)상에서 메모리(240)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
일 실시 예에 따른 메모리(240)는, 프로세서(220)가 선택한 화면의 영역에 포함되는 영상을 저장할 수 있다. 예를 들어, 메모리(240)는, 전자 펜의 제1 터치 입력에 기초하여 선택된 터치 스크린(210) 상에 디스플레이 되는 화면의 제1 영역에 포함되는 제1 영상을 저장할 수 있다.
일 실시 예에 따른 프로세서(220)는, 선택한 화면의 영역에 포함되는 영상을 메모리(240)에 저장함에 있어서, 영상의 출처에 대한 정보를 함께 저장할 수 있다. 일 실시예에 따른 프로세서(220)는, 저장된 영상이, 디바이스(200)가 실행하고 있는 적어도 하나의 애플리케이션 중 어떠한 애플리케이션에 기초한 것인지에 대한 정보를 획득할 수 있다. 프로세서(220)는, 획득된 정보를 제1 영상과 매칭하여 메모리(240)에 저장할 수 있다.
예를 들어, 프로세서(220)는 복수의 애플리케이션들이 실행되고 있는 실행 화면을 터치 스크린(210) 상에 디스플레이 할 수 있다. 프로세서(220)는, 전자 펜의 터치 입력에 기초하여 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택할 수 있다. 이 때, 제1 영역은 복수의 애플리케이션들 중 제1 애플리케이션의 실행 화면 내에 포함될 수 있다. 일 실시예 에 따른 프로세서(220)는, 제1 영역에 포함되는 제1 영상이 제1 애플리케이션에 기초한 것이라는 정보를 획득할 수 있다. 프로세서(220)는, 획득된 정보를 제1 영상과 매칭하여 메모리(240)에 저장할 수 있다.
한편, 프로세서(220)는, 통상적으로 디바이스(200)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(220)는, 메모리(240)에 저장된 프로그램들을 실행함으로써, 디바이스(200)의 구성들을 전반적으로 제어할 수 있다.
A/V(Audio/Video) 입력부(250)는 비디오 신호 또는 오디오 신호 입력을 위한 것으로, 마이크(251)와 카메라(252) 등을 포함할 수 있다. 카메라(252)는 정지 영상 또는 동영상 등의 영상 프레임을 얻을 수 있다. 마이크(251)는, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크(251)는 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다.
입출력부(270)는, 사용자가 디바이스(200)를 제어하기 위한 데이터를 입력하는 사용자 입력부와 사용자에게 디바이스(200)에서 처리된 신호를 출력하는 출력부를 포함할 수 있다.
예를 들어, 사용자 입력부에는 버튼(271), 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
출력부는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 디스플레이부, 스피커(273) 등을 포함 할 수 있다.
입출력부(270)는 터치 스크린(210)을 포함할 수 있고, 디스플레이부와 터치 패드가 레이어 구조를 이루어 터치 스크린(210)으로 구성될 수 있다. 터치 스크린(210)은 입력 장치와 출력 장치의 기능을 모두 포함할 수 있다.
상술한 바와 같이, 일 실시 예에 따른 디바이스(200)는, 전자 펜의 터치 입력에 기초하여 선택된 영역에 포함되는 영상을 미리 결정된 동작 모드에 기초하여 처리할 수 있다.
도 3은 일 실시 예에 따른 디바이스(200)에 포함되는 프로세서(220)의 블록도를 도시한다. 도 3에 도시된 블록들의 일부 또는 전부는, 특정 기능을 실행하는 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 도 3에 도시된 블록들이 수행하는 기능들은, 하나 이상의 마이크로프로세서에 의해 구현되거나, 해당 기능을 위한 회로 구성들에 의해 구현될 수 있다. 도 3에 도시된 블록들의 일부 또는 전부는 프로세서(220)에서 실행되는 다양한 프로그래밍 언어 또는 스크립트 언어로 구성된 소프트웨어 모듈일 수 있다.
터치 스크린(210) 상의 특정 영역을 선택하는 전자 펜의 터치 입력이 수신되면, 영역 선택 제어부(selection controller)(302)는 선택된 영역에 포함되는 영상을 획득할 수 있다. 영역 선택 제어부(selection controller)(302)는 획득된 영상을 영역 선택 제어부(selection controller)(302)의 버퍼에 저장하거나 메모리(240)에 저장할 수 있다.
동작 수행부(Action handler)(303)는 미리 설정된 동작 모드를 확인하여, 미리 설정된 동작 모드에 대응하는 동작을 수행할 수 있다. 동작 수행부(Action handler)(303)는 디바이스(200)가 제공하는 GUI 메뉴에 대한 사용자 입력에 기초하여, 동작 모드를 설정할 수 있다. 동작 모드를 설정하기 위한 GUI 메뉴는, 번역 모드, 영상 인식 모드, 애플리케이션 실행 모드, 및 플로팅 영상 모드 중 적어도 하나를 포함할 수 있다.
설정된 동작 모드가 번역 모드인 경우, 동작 수행부(Action handler)(303)는, 선택된 영역에 포함되는 영상으로부터 텍스트를 추출하고, 추출된 텍스트를 특정 언어로 번역할 수 있다. 일 실시 예에 따른 프로세서(220)는, 추출된 텍스트를 번역하는 언어 번역부(Language translator)(306)를 포함할 수 있다. 그러나 실시 예는 이에 제한되지 않으며, 프로세서(220)는 외부 디바이스 또는 외부 서버에게 추출된 텍스트를 전송하고, 텍스트가 번역된 결과를 외부 디바이스 또는 외부 서버로부터 수신할 수 있다. 예를 들어, 동작 수행부(Action handler)(303)는 선택된 영역에 대해서 인공 지능을 이용하여 번역을 수행할 수 있다.
미리 설정된 동작 모드가 물체 인식 모드(또는, 영상 인식 모드)인 경우, 동작 수행부(Action handler)(303)는, 선택된 영역에 포함되는 영상을 분석함으로써 영상이 어떠한 물체를 나타내는지 인식한 결과를 출력할 수 있다. 동작 수행부(Action handler)(303)는, 선택된 영역에 포함되는 영상을 분석함으로써 영상이 나타내는 물체와 관련된 키워드를 추출할 수 있다. 동작 수행부(Action handler)(303)는, 추출된 키워드와 관련된 정보를 출력할 수 있다. 예를 들어, 동작 수행부(Action handler)(303)는 선택된 영역에 대해서 인공 지능을 이용하여 영상 인식을 수행할 수 있다.
일 실시 예에 따른 프로세서(220)는, 영상이 어떠한 물체를 나타내는지 인식하는 물체 검출부(Object Detector)(307)를 포함할 수 있다. 그러나 실시 예는 이에 제한되지 않으며, 프로세서(220)는 외부 디바이스 또는 외부 서버에게 영상을 전송하고, 영상이 인식된 결과를 외부 디바이스 또는 외부 서버로부터 수신할 수 있다.
설정된 동작 모드가 플로팅 영상(floating image) 모드인 경우, 동작 수행부(Action handler)(303)는, 선택 영역에 포함되는 영상을 소정 시간 동안 화면 상에 디스플레이 할 수 있다. 동작 수행부(Action handler)(303)는, 선택 영역에 포함되는 영상을 플로팅 영상으로서 처리할 수 있다. 플로팅 영상이란, 디바이스(200)의 화면이 변경되거나 사용자 입력이 수신되어도 소정 시간 동안(또는, 플로팅 영상의 해지를 명령하는 특정 사용자 입력이 수신되기 전 까지) 최상위에 디스플레이되는 영상을 의미할 수 있다. 일 실시 예에 따른 프로세서(220)는, 선택 영역에 포함되는 영상을 플로팅 영상으로서 처리하는 선택 영상 표시부(Selected Image Shower)(308)를 포함할 수 있다.
설정된 동작 모드가 애플리케이션 실행 모드인 경우, 동작 수행부(Action handler)(303)는, 선택된 영역에 포함되는 영상에 기초하여 영상과 매칭되는 애플리케이션을 실행하거나 영상과 매칭되는 기능을 수행할 수 있다. 일 실시 예에 따른 프로세서(220)는, 적어도 하나의 애플리케이션(310)을 포함할 수 있다.
예를 들어, 동작 수행부(Action handler)(303)는, 선택된 영역에 포함되는 영상에 기초하여 특정 애플리케이션을 실행하거나 특정 기능을 실행할 수 있다. 예를 들어, 동작 수행부(Action handler)(303)는, 화면의 상단에 디스플레이 되는 배터리를 나타내는 영상이 전자 펜에 의해 선택되면, 선택된 영상과 연관된 애플리케이션이나 메뉴가 실행될 수 있다. 예를 들어, 동작 수행부(Action handler)(303)는 배터리의 상태를 표시하는 메뉴 및/또는 절전 메뉴(또는, 절전 애플리케이션) 등을 디스플레이할 수 있다. 일 실시 예에 따른 프로세서(220)는, 선택된 영상과 연관된 애플리케이션을 실행하는 영상 기반 애플리케이션 실행부(Image based App launcher)(309)를 포함할 수 있다.
애플리케이션 정보 조회 관리부(App Info Query Manager)(305)는, 동작 수행부(Action handler)(303)가 선택된 영상에 기초하여 수행한 동작에 대한 처리 결과(예를 들어, JSON 또는 XML 형식의 결과)를 수신할 수 있다. 애플리케이션 정보 조회 관리부(App Info Query Manager)(305)는, 동작 수행부(Action handler)(303)로부터 수신한 처리 결과와 선택된 영상을 제공한 애플리케이션의 정보를 획득할 수 있다. 애플리케이션 정보 조회 관리부(App Info Query Manager)(305)는, 전자 펜의 터치에 의해 영역이 선택될 때, 어떠한 애플리케이션이 실행되고 있는 상태였는지 조회(query)함으로써, 선택된 영역에 포함되는 영상이 어떠한 애플리케이션에 기초한 것인지에 대한 정보를 획득할 수 있다.
동작 결과 관리부(Action Result Handler)(304)는, 동작 수행부(Action handler)(303)가 설정된 동작 모드에 대응하는 동작을 수행한 결과를 출력할 대상을 선택할 수 있다. 예를 들어, 선택된 영역에 포함되는 영상이 처리된 결과는, 터치 스크린(210)의 선택된 영역 내에 디스플레이되거나, 터치 스크린(210)의 선택된 영역의 주변에 디스플레이되거나, 디바이스(200)의 다른 디스플레이 상에 디스플레이 되거나, 또는 디바이스(200)와 연결된 외부 디바이스에게 출력될 수 있다. 예를 들어, 동작 결과 관리부(Action Result Handler)(304)는 디바이스(200)와 연동된 다른 디바이스(예를 들어, 스마트 워치, 스마트 글래스 등)에게 영상이 처리된 결과를 출력할 수 있다. 출력된 결과는, 시각적으로 디스플레이 되거나, 데이터 베이스 또는 메모리 등에 저장될 수 있다.
한편, 프로세서(220)는, 디바이스(200)를 제어하고, 애플리케이션의 실행을 위한 기초 환경을 제공하는 운영 체계(Operating System)(300)을 포함할 수 있다.
이하에서는 도 4를 참조하여, 전자 펜과 연동하여 동작하는 디바이스를 포함하는 일 실시 예에 따른 시스템을 설명한다. 도 4는 일 실시 예에 따라 전자 펜과 디바이스를 포함하는 시스템의 예를 도시한다.
디바이스(200)의 사용자는 전자 펜의 동작 모드를 설정할 수 있다. 예를 들어, 사용자는 디바이스(200)가 제공하는 GUI에 기초하여, 복수의 동작 모드들 중에서 적어도 하나의 동작 모드를 선택할 수 있다.
디바이스(200)와 전자 펜(400)은 블루투스 등의 무선 통신 방식을 통하여 연결될 수 있다. 디바이스(200)는, 전자 펜(201)에 대한 사용자의 입력 또는 디바이스(200)가 제공하는 설정 메뉴에 대한 사용자의 입력에 기초하여, 전자 펜의 동작 모드를 결정할 수 있다.
전자 펜(400)의 동작 모드는, 전자 펜에 의한 터치를 다른 터치 도구에 의한 터치와 동일하게 인식하는 일반 모드와, 전자 펜에 의한 터치에 기초하여 특정 영역을 선택하고 선택된 영역에 대해 미리 설정된 동작을 수행하는 확장 모드를 포함할 수 있다. 확장 모드는, 번역 모드, 영상 인식 모드, 애플리케이션 실행 모드, 및 플로팅 영상 모드 중 적어도 하나를 포함할 수 있으며, 중복되는 설명은 생략한다.
디바이스(200)가 전자 펜(400)의 동작 모드를 확장 모드로 결정한 경우, 디바이스(200)는, 전자 펜에 의한 터치를 다른 터치 도구에 의한 터치와 동일하게 인식하는 기능을 금지(disable)할 수 있다. 디바이스(200)가 전자 펜(400)의 동작 모드를 확장 모드로 결정한 경우, 디바이스(200)는, 전자 펜에 의한 터치를, 화면 상의 영역을 선택하고 선택된 영역에 대한 특정 동작을 처리하도록 하는 명령으로서 인식할 수 있다. 디바이스(200)가 전자 펜(400)의 동작 모드를 확장 모드로 결정한 경우에도, 전자 펜(400) 이외의 터치 도구(예를 들어, 손 가락)에 의한 터치는 여전히 단순한 터치 입력으로서 인식할 수 있다. 또는, 전자 펜(400) 이외의 터치 도구는, 전자 펜(400)의 터치에 의해 수행되는 특정 동작을 보조하는 보조 도구로써 이용될 수 있다.
일 실시 예에 따른 디바이스(200)는, 전자 펜(400)에 대해 입력되는 사용자 입력에 기초하여 전자 펜의 동작 모드를 선택할 수 있다. 디바이스(200)는, 사용자 입력에 대한 신호를 전자 펜(400)으로부터 수신하고, 수신된 신호에 기초하여 전자 펜의 동작 모드를 선택할 수 있다.
예를 들어, 사용자가 전자 펜(400)의 버튼(430)을 누르면, 디바이스(200)는 전자 펜(400)의 동작 모드를 이 전에 설정된 동작 모드에서 다른 동작 모드로 변경할 수 있다. 디바이스(200)는, 사용자가 버튼(430)을 누르는 횟수 또는 시간에 기초하여, 동작 모드를 선택할 수 있다. 전자 펜(400)의 동작 모드에 따라 LED(410)의 색, 밝기, 점멸 횟수, 또는 점멸 간격 등이 변경될 수 있다. 따라서, 사용자는 LED(410)를 통해, 선택된 동작 모드를 확인할 수 있다. 또는, 사용자가 버튼(430)을 누르면, 디바이스(200)는 터치 스크린(210) 상에 어떠한 동작 모드가 선택되었는지 디스플레이 할 수 있다.
그 밖에 다양한 방식에 의해 전자 펜(400)에 대해 사용자 입력이 입력될 수 있다. 예를 들어, 전자 펜(400)의 일부분이 사용자에 의해 회전되도록 구성될 수 있다. 사용자는 전자 펜(400)의 일부분을 회전시킴으로써 전자 펜(400)의 동작 모드를 선택할 수 있다. 디바이스(200)는, 사용자 입력에 대한 신호를 전자 펜(400)으로부터 수신하고, 수신된 신호에 기초하여 전자 펜의 동작 모드를 선택할 수 있다.
예를 들어, 전자 펜(400)의 동작 모드가 일반 모드로 선택되면, 전자 펜(400)에 의한 터치에 의해 필기 컨텐츠 등이 입력될 수 있다. 반면에, 전자 펜(400)의 동작 모드가 확장 모드로 선택되면, 디바이스(200)는, 전자 펜(400)에 의한 터치에 의해 화면 상의 영역을 선택하고, 선택된 영역에 대해 미리 설정된 동작을 수행할 수 있다.
디바이스(200)는, 전자 펜(400)의 다양한 터치 제스처에 기초하여, 터치 스크린(210) 상의 영역을 선택할 수 있다. 예를 들어, 디바이스(200)는, 포인트(401)로부터 포인트(402)로의 드래그 터치에 기초하여, 사각형 영역(403)을 선택할 수 있다. 또는, 사각형 영역의 양쪽 모서리(404, 405)를 지정하는 미리 결정된 터치 제스처(예를 들어, 도 4의 『, 』)에 기초하여, 영역을 선택할 수 있다. 또는, 사용자의 드래그 터치에 기초하여, 다양한 형태의 영역(407)이 선택될 수 있다.
이하에서는, 일 실시 예에 따른 디바이스(200)의 구체적인 동작 방법을 설명한다. 이하에서 서술하는 방법의 각 단계는, 상술한 디바이스(200)의 각 구성들에 의해 수행될 수 있다.
도 5는 일 실시 예에 따른 터치 스크린(210)을 포함하는 디바이스(200)의 동작 방법의 흐름도이다.
S510에서 일 실시 예에 따른 디바이스(200)는 전자 펜의 동작 모드를 선택 할 수 있다. 디바이스(200)는 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택할 수 있다.
일 실시 예에 따른 디바이스(200)는, 복수의 동작 모드들이 나열된 리스트를 디스플레이 하고, 리스트 상에 나열된 복수의 동작 모드들 중 하나의 동작 모드를 선택하는 사용자 입력에 기초하여, 제1 모드를 선택할 수 있다.
또한, 일 실시 예에 따른 디바이스(200)는, 영상을 처리한 결과를 디스플레이 하는 방식을 선택하기 위한 GUI를 디스플레이 하고, GUI에 대한 사용자 입력에 기초하여, 영상을 처리한 결과를 디스플레이 하는 방식을 선택할 수 있다.
또한, 일 실시 예에 따른 디바이스(200)는, 무선으로 연결된 전자 펜에 대해 입력되는 사용자 입력에 기초하여 동작 모드를 선택할 수 있다. 에를 들어, 디바이스(200)는, 전자 펜으로부터 사용자 입력을 수신하고, 수신된 신호에 기초하여, 복수의 동작 모드들 중에서 제1 모드를 선택할 수 있다.
도 6은 일 실시 예에 따라 전자 펜의 동작 모드를 선택하기 위한 GUI의 예를 도시한다.
도 6에도시된 바와 같이, 디바이스(200)는 터치 스크린(210)을 통해 전자 펜의 동작 모드를 선택하는 사용자 입력을 수신하기 위한 메뉴(601)를 디스플레이 할 수 있다. 디바이스(200)는, 메뉴(601) 상에 나열되는 서비스들 중 사용자에 의해 선택된 적어도 하나의 서비스와 전자 펜에 의해 선택되는 영상을 연동하여 동작 할 수 있다.
예를 들어, 메뉴(601)에 포함되는 "Translation" 항목은 전자 펜의 터치에 의해 선택된 영상에 기초하여 번역을 수행하는 번역 모드를 선택하기 위한 항목일 수 있다. 메뉴(601)에 포함되는 "Object Recognition" 항목은 전자 펜의 터치에 의해 선택된 영상이 나타내는 물체를 인식하는 영상 인식 모드를 선택하기 위한 항목일 수 있다. 메뉴(601)에 포함되는 "Sticky Image Memo" 항목은 전자 펜의 터치에 의해 선택된 영상을 화면에 고정적으로 디스플레이 하는 플로팅 영상 모드를 선택하기 위한 항목일 수 있다. 메뉴(601)에 포함되는 "People Recognition" 항목 및 "Animal Recognition" 항목은 각각 전자 펜의 터치에 의해 선택된 영상이 나타내는 사람을 인식하는 사람 인식 모드 및 동물을 인식하는 동물 인식 모드를 선택하기 위한 항목일 수 있다. 메뉴(601)에 포함되는 "Image to App Launch" 항목은 전자 펜의 터치에 의해 선택된 영상에 기초하여 애플리케이션을 실행하는 애플리케이션 실행 모드를 선택하기 위한 항목일 수 있다. 디바이스(200)는, "Image to App Launch" 항목이 선택되는 경우, 전자 펜의 터치에 의해 선택된 영상을 인식하고 인식 결과에 기초하여 관련된 애플리케이션을 실행 할 수 있다. 디바이스(200)는, "Image to App Launch" 항목이 선택되는 경우, 영상 인식과 애플리케이션 런칭이 연동하도록 설정될 수 있다.
디바이스(200)는, 둘 이상의 동작 모드들을 선택할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, "Translation" 항목과 “Object Recognition” 항목이 모두 선택된 경우, 디바이스(200)는, 선택된 영상 내에서 텍스트가 인식되는 경우 텍스트의 번역 결과를 출력하고, 선택된 영상 내에서 물체가 인식되는 경우 물체 인식 결과를 출력할 수 있다.
전자 펜에 의해 선택되는 영상과 연동하여 디바이스(200)가 수행할 수 있는 서비스는, 사용자에 의해 추가되거나 제조 시에 미리 설정되어 있을 수 있다. 예를 들어, 디바이스(200)는, 도 6의 가상 버튼(602)을 터치하는 사용자 입력에 기초하여, 전자 펜에 의해 선택되는 영상과 연동하여 디바이스(200)가 수행할 수 있는 서비스를 추가할 수 있다.
도 7은 일 실시 예에 따라 전자 펜의 동작 모드를 추가하기 위한 GUI의 예를 도시한다.
도 7에도시된 바와 같이, 디바이스(200)는 전자 펜에 의해 연동하여 동작하는 서비스를 추가할 수 있다. 디바이스(200)가 제공할 수 있는 서비스는, 전자 펜에 의해 선택된 영상을 분석하여, 영상과 관련된 쇼핑 정보, 장소 정보, 음식 정보, 와인 정보, 및 책 정보 중 적어도 하나를 제공하는 서비스를 포함할 수 있다.
예를 들어, 도 7에는, 전자 펜의 터치에 의해 선택된 영상이 나타내는 자동차를 인식하는 자동차 인식 모드를 추가하기 위한 GUI의 예가 도시된다. 디바이스(200)는 서비스의 이름(701), 서비스가 제공되는 URL(703)을 입력받을 수 있다. 일 실시 예에 따른 디바이스(200)는, URL(703)을 통해 AI 기반 웹 서비스에 접속함으로써, 사용자에게 해당 서비스를 제공할 수 있다.
또한, 디바이스(200)는, 서비스를 추가함에 있어서, 추가되는 서비스에 따라 영상이 처리된 결과를 디스플레이 되는 방식을 설정하기 위한 메뉴(705)를 제공할 수 있다.
예를 들어, 메뉴(705)에 포함되는 "On top of selected area" 항목은 전자 펜의 터치에 의해 선택된 영역 상에 또는 선택된 영역 주위에 영상 처리 결과를 출력하도록 설정하기 위한 항목일 수 있다. 메뉴(705)에 포함되는 "Other Connected devices" 항목은 디바이스(200)와 연결된 외부 디바이스를 통해 영상 처리 결과를 출력하도록 설정하기 위한 항목일 수 있다. 메뉴(705)에 포함되는 "To Pen Display" 항목은 전자 펜에 포함되는 디스플레이를 통해 영상 처리 결과를 출력하도록 설정하기 위한 항목일 수 있다.
다시 도 5로 되돌아와서, S520에서 일 실시 예에 따른 디바이스(200)는 터치 스크린(210)에 대한 전자 펜의 터치 입력에 기초하여, 터치 스크린 상에 디스플레이 되는 화면의 영역을 선택할 수 있다. 디바이스(200)는 터치 스크린(210)에 대한 전자 펜의 제1 터치 입력에 기초하여, 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택할 수 있다.
S530에서 일 실시 예에 따른 디바이스(200)는 화면 상의 선택된 영역에 포함되는 영상을 획득할 수 있다. 디바이스(200)는 제1 영역에 포함되는 제1 영상을 획득할 수 있다.
일 실시 예에 따른 디바이스(200)는 획득된 제1 영상을 저장할 수 있다. 디바이스(200)는, 제1 영상이 디바이스가 실행하고 있는 적어도 하나의 애플리케이션 중 어떠한 애플리케이션에 기초하여 제1 영상이 획득되었는 지에 대한 정보를 획득할 수 있다. 디바이스(200)는, 애플리케이션과 관련된 정보를 제1 영상과 매칭하여 저장할 수 있다.
S540에서 일 실시 예에 따른 디바이스(200)는 단계 S510에서 선택된 동작 모드에 기초하여, 화면 상의 선택된 영역에 포함되는 영상을 처리한 결과를 출력할 수 있다. 디바이스(200)는 제1 모드에 기초하여 제1 영상을 처리한 결과를 출력할 수 있다.
예를 들어, 디바이스(200)는, 단계 S510에서 선택된 동작 모드에 기초하여, 번역 모드, 영상 인식 모드, 애플리케이션 실행 모드 및 프롤팅 영상 모드 중 적어도 하나의 동작 모드에서 동작할 수 있다.
일 실시 예에 따른 디바이스(200)는, 선택된 동작 모드에 기초하여 영상을 처리한 결과를 외부 디바이스 또는 서버에게 전송하거나, 터치 스크린(210)을 통해 출력할 수 있다.
일 실시 예에 따른 디바이스(200)는, 선택된 영역을 유지할지 여부를 선택할 수 있다.
일 예로서, 디바이스(200)는, 화면 상에 선택된 영역을 소정 시간동안 유지하거나, 선택을 해지하는 사용자의 입력이 수신될 때까지 유지할 수 있다. 선택된 영역을 유지한다는 것은, 프로세서(220)가, 하나의 선택 영역에 대해서 선택된 영역에 포함되는 영상들을 획득하고, 획득된 영상들을 선택된 동작 모드에 기초하여 처리하는 동작들을 반복하여 수행한다는 것을 의미할 수 있다.
예를 들어, 디바이스(200)는, 제1 영역을 선택하고 제1 영역에 포함되는 제1 영상을 획득할 수 있다. 그리고, 디바이스(200)는, 제1 모드에 기초하여 제1 영상을 처리한 결과를 출력 할 수 있다. 선택된 제1 영역이 유지되는 동안, 디바이스(200)는, 터치 스크린(210) 상에 디스플레이 되는 화면이 변경되면, 제1 영역에 포함되는 제2 영상을 획득할 수 있다. 디바이스(200)는, 제1 모드에 기초하여 제2 영상을 처리한 결과를 더 출력 할 수 있다.
다른 예로서, 디바이스(200)는, 화면 상에 선택된 영역을 유지하지 않을 수 있다. 선택 영역을 유지하지 않는다는 것은, 하나의 선택 영역에 대해서 선택된 영역에 포함되는 영상을 획득하고, 선택된 동작 모드에 기초하여 획득된 영상을 처리한 후에는 선택 영역을 해지하는 것을 의미할 수 있다.
예를 들어, 디바이스(200)는, 제1 영역을 선택하고 제1 영역에 포함되는 제1 영상을 획득할 수 있다. 그리고, 디바이스(200)는, 제1 모드에 기초하여 제1 영상을 처리한 결과를 출력 할 수 있다. 선택된 제1 영역은 해지될 수 있다. 디바이스(200)는, 전자 펜의 제2 터치 입력에 기초하여, 터치 스크린 상에 디스플레이 되는 화면의 제2 영역을 선택할 수 있다. 디바이스(200)는, 선택된 제2 영역에 포함되는 제3 영상을 획득할 수 있다. 디바이스(200)는, 제1 모드에 기초하여 제3 영상을 처리한 결과를 출력 할 수 있다.
도 8a 및 8b는 일 실시 예에 따른 디바이스가 영상 처리 결과를 출력하는 구체적인 예를 도시한다. 도 8a 및 8b는 일 실시 예에 따른 디바이스(200)가 전자 펜의 동작 모드로서 번역 모드를 선택한 경우를 예로 들어 도시한다.
디바이스(200)의 사용자는 동영상의 자막이 표시되는 화면 상의 영역을 전자 펜으로 선택할 수 있다. 디바이스(200)는, 전자 펜의 터치 입력에 기초하여 선택된 영역(801)에 포함되는 영상(802)을 획득할 수 있다. 디바이스(200)는, 번역 모드에 기초하여, 영상(802)으로부터 "Good job, Willy."라는 텍스트를 추출하고, 추출된 텍스트를 미리 결정된 언어인 한국어로 번역할 수 있다. 또는, 디바이스(200)는 획득된 영상(802) 또는 영상(802)으로부터 추출된 텍스트를 외부 디바이스 또는 서버에게 출력할 수 있다. 디바이스(200)는, 외부 디바이스 또는 서버로부터 텍스트가 번역된 결과를 수신할 수 있다.
디바이스(200)는, 추출된 텍스트 "Good job, Willy."가 번역된 결과인 "잘했어, 윌리."를 선택된 영역(801) 상에 또는 선택된 영역(801) 근방에 출력할 수 있다. 또는, 도 8a에 도시된 바와 같이, 디바이스(200)는, 번역 결과를 외부 디바이스(800)에게 출력 할 수 있다. 외부 디바이스(800)는, 수신된 텍스트를 디스플레이(810)를 통해 소정 영역(805) 내에 디스플레이 할 수 있다.
도 8a 및 8b는 디바이스(200)가 영상 처리 결과를 외부 디바이스(800)를 통해 출력하는 것을 예로 들어 도시하였지만, 본 개시의 실시 예는 도 8a 및 8b에 제한되지 않는다. 디바이스(200)는, 영상 처리 결과를 직접 출력할 수 있다.
일 실시 예에 따른 디바이스(200)는, 선택된 영역에 대해서 수행된 동작 결과를 터치 스크린(210) 이외의 디스플레이(예를 들어, 디바이스(200)의 터치 스크린(210) 이외의 디스플레이, 외부 디바이스의 디스플레이, 전자 펜의 디스플레이, 웨어러블 디바이스 등)를 통해 디스플레이 함으로써, 사용자의 터치 스크린(210) 사용을 방해하지 않고도 결과를 출력할 수 있다.
한편, 자막의 내용이 변경될 때마다 선택된 영역(801)에 대한 번역 동작을 디바이스(200)가 반복해서 수행하도록, 사용자는 선택된 영역(801)을 유지하라는 사용자 명령을 입력할 수 있다. 예를 들어, 사용자는 전자 펜으로 영역을 소정 시간 동안 터치 하는 '터치 앤 홀드' 제스처를 이용하여, 디바이스(200)가 선택된 영역(801)을 유지하도록 할 수 있다. 디바이스(200)가 선택 영역을 유지하는 경우(즉, 선택 영역을 고정하는 경우), 디바이스(200)는, 선택 영역의 윤곽선을 실선 또는 점선으로 표시하거나, 선택 영역의 근방에 핀 이미지(804)를 표시할 수 있다. 사용자는 선택 영역 해지 UI(803)를 선택함으로써 선택 영역을 해지할 수 있다.
또한, 일 실시 예에 따른 디바이스(200)는, 획득된 영상이 처리된 결과를 출력 함에 있어서 영상의 출처에 대한 정보를 함께 출력할 수 있다. 일 실시예에 따른 디바이스(200)는, 획득된 영상이, 디바이스(200)가 실행하고 있는 적어도 하나의 애플리케이션 중 어떠한 애플리케이션에 기초한 것인지에 대한 정보를 출력할 수 있다. 출처 정보 UI(807)를 선택하는 사용자 입력에 기초하여, 디바이스(200)는, 획득된 영상의 출처에 대한 정보를 제공할 수 있다.
도 8b에 도시된 바와 같이, 디바이스(200)는, 영상 처리 결과와 함께 영상의 출처에 대한 정보(809)를 외부 디바이스(800)에게 전송할 수 있다. 예를 들어, 출처에 대한 정보는, 영상 처리 결과를 전달받은 디바이스에 대한 정보, 영상이 획득된 날짜, 획득된 영상이 어떠한 애플리케이션이 실행되고 있는 화면에 기초한 것인지에 대한 정보 등을 포함할 수 있다. 예를 들어, 도 8b는, 디바이스(200)가 'Video Player'라는 애플리케이션을 통해 영화 'Free Willy'를 재생하고 있는 화면 내의 영역(801)을 선택한 경우를 예로 들어 도시한다. 디바이스(200)는, 애플리케이션 정보 및 애플리케이션이 재생하고 있는 컨텐츠 정보를 영상 출처 정보로서 획득할 수 있다. 외부 디바이스(800)는, 디바이스(200)로부터 수신된 출처에 대한 정보(809)를 디스플레이 할 수 있다.
도 8a 및 8b에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는, 선택 영역 유지 기능을 통해, 사용자가 영역을 선택하고 선택된 영역에 대한 소정 동작을 수행하도록 하는 명령을 반복적으로 입력하지 않더라도, 소정 동작을 자동으로 반복해서 수행할 수 있다. 일 실시 예에 따른 디바이스(200)는, 선택된 영역에 대한 처리를 한번만 수행하는 것이 아니라, 사용자가 원하는 시간 동안 반복하여 수행할 수 있으므로, 사용자의 개입을 줄이고 사용자의 편의를 도모할 수 있다.
또한, 일 실시 예에 따른 디바이스(200)는, 선택된 영역에 포함되는 영상을 획득함에 있어서, 획득된 영상이 어떠한 애플리케이션의 어떠한 상황에 기초하여 획득된 것인지에 대한 정보를 함께 획득할 수 있다. 디바이스(200)는, 획득된 영상에 대한 처리 결과와 함께 획득된 정보를 제공함으로써, 사용자가 획득된 영상 및 영상 처리 결과의 출처를 쉽게 파악할 수 있도록 한다.
앞서 설명한 바와 같이, 일 실시 예에 따른 디바이스(200)는, 선택 영역 유지 기능을 통해, 고정된 선택 영역으로부터 영상을 획득하고 획득된 영상에 대한 소정 처리를 수행하는 동작을 반복할 수 있다. 이 때, 일 실시 예에 따른 디바이스(200)는, 고정된 선택 영역에 대한 영상 처리 결과를 출력하는 방식을 다양하게 설정할 수 있다.
도 9는 일 실시 예에 따른 디바이스가 고정된 선택 영역에 대한 영상 처리 결과를 출력하는 방식을 선택하기 위한 GUI의 예를 도시한다. 도 9에 도시된 바와 같이, 디바이스(200)는 터치 스크린(210)을 통해 고정된 선택 영역에 대한 영상 처리 결과를 출력하는 방식을 선택하는 사용자 입력을 수신하기 위한 메뉴(905)를 디스플레이 할 수 있다.
도 9를 참조하면, 메뉴(905)에 포함되는 항목(901)은 하나의 고정 영역에 대해서 반복해서 수행된 영상 처리 결과들을 하나의 파일로 저장하는 모드를 선택하기 위한 항목일 수 있다. 사용자가 항목(901)을 선택하지 않으면, 디바이스(200)는, 하나의 고정 영역에 대해서 반복해서 수행된 영상 처리 결과들을 각각 별개의 파일들로 저장할 수 있다.
메뉴(905)에 포함되는 항목(903)은 하나의 고정 영역에 대해서 반복해서 수행된 영상 처리 결과들을 하나의 파일로 저장함에 있어서, 중복되는 처리 결과는 삭제하는 모드를 선택하기 위한 항목일 수 있다.
예를 들어, 디바이스(200)가 번역 모드를 선택하고, 전자 펜의 터치 입력에 기초하여 동영상의 자막이 디스플레이 되는 영역을 선택한 경우, 디바이스(200)는 선택된 영역에 대해서 텍스트를 추출하고 번역하는 동작을 반복해서 수행할 수 있다. 화면이 바뀔 때마다 , 또는 소정 시간 간격으로 영상을 획득하고 텍스트를 추출하고 번역을 수행하도록 설정된 경우, 디바이스(200)는 다음과 같이 중복되는 내용들을 포함하는 처리 결과를 획득할 수 있다.
Figure pat00001
따라서, 일 실시 예에 따른 디바이스(200)는, 하나의 고정 영역에 대해서 반복해서 수행된 영상 처리 결과들을 하나의 파일로 저장함에 있어서, 중복되는 내용을 삭제하여 다음과 같은 처리 결과를 최종적으로 획득할 수 있다.
Figure pat00002
따라서, 일 실시 예에 따른 디바이스(200)는, 별도의 자막 파일이 제공되지 않고 자막이 동영상의 각 프레임에 포함되어 있는 경우에도 사용자의 개입을 최소화하면서 자동으로 동영상으로부터 자막을 추출하고 자막에 대한 번역 결과를 획득할 수 있다. 또한, 디바이스(200)는, 번역이 수행된 결과에서 중복되는 내용은 삭제함으로써 완성도 높은 자막 파일을 자동으로 생성하여 사용자의 편의를 도모할 수 있다.
도 10a 및 10b는 일 실시 예에 따른 디바이스가 영상으로부터 추출된 텍스트의 번역 결과를 출력하는 구체적인 예를 도시한다. 도 10a 및 10b는 일 실시 예에 따른 디바이스(200)가 전자 펜의 동작 모드로서 번역 모드를 선택한 경우를 예로 들어 도시한다.
디바이스(200)의 사용자는 동영상의 자막이 표시되는 화면 상의 영역을 전자 펜으로 선택할 수 있다. 디바이스(200)는, 전자 펜의 터치 입력에 기초하여 선택된 영역(801)에 포함되는 영상들을 획득할 수 있다. 디바이스(200)는, 번역 모드에 기초하여, 영역(801)에 포함되는 영상들로부터 텍스트를 추출하고, 추출된 텍스트가 미리 결정된 언어인 한국어로 번역된 결과를 출력 할 수 있다.
일 실시 예에 따른 디바이스(200)는, 영화의 자막 내용이 바뀌면, 선택된 영역에 포함되는 영상을 추가로 획득하고, 추가로 획득된 영상으로부터 텍스트를 추출하고, 추출된 텍스트를 번역하고, 번역 결과를 출력할 수 있다. 따라서, 영화의 자막의 내용이 바뀔 때마다 사용자가 해당 영역을 선택하고 텍스트를 추출하고 번역하도록 하는 명령을 입력하지 않더라도, 일 실시예에 따른 디바이스(220)는 사용자가 원하는 동작을 자동으로 반복해서 수행할 수 있다.
디바이스(200)는, 번역 결과를 선택된 영역(801) 상에 또는 선택된 영역(801) 근방에 출력할 수 있다. 또는, 도 10a 및 10b에 도시된 바와 같이, 디바이스(200)는, 번역 결과를 외부 디바이스(1000)에게 출력 할 수 있다. 외부 디바이스(1000)는, 수신된 텍스트를 디스플레이(1010)를 통해 소정 영역(1010) 내에 디스플레이 할 수 있다.
도 10a에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는 터치 스크린(210) 상의 하나의 고정 영역(801)에 대해서 반복해서 수행된 영상 처리 결과들을 각각 별개의 파일들로 저장할 수 있다. 일 실시 예에 따른 디바이스(200)는 하나의 고정 영역(801)에 대해서 반복해서 수행된 영상 처리 결과들(1001, 1003, 1005)을 외부 디바이스(1000)를 통해 출력할 수 있다.
한편, 도 9를 참조하여 설명한 바와 같이, 디바이스(200)는, 하나의 고정 영역에 대해서 반복해서 수행된 영상 처리 결과들을 하나의 파일로 저장하는 모드에서 동작하도록 설정될 수 있다. 도 10b에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는 터치 스크린(210) 상의 하나의 고정 영역(801)에 대해서 반복해서 수행된 영상 처리 결과들을 하나의 파일로 저장할 수 있다. 일 실시 예에 따른 디바이스(200)는 하나의 고정 영역(801)에 대해서 반복해서 수행된 영상 처리 결과(1007)를 외부 디바이스(1000)를 통해 출력할 수 있다.
한편, 일 실시 예에 따른 디바이스(200)가 전자 펜의 동작 모드로서 애플리케이션 실행 모드를 선택한 경우, 디바이스(200)는 사용자가 선택한 영역에 포함되는 영상을 인식하여, 관련된 애플리케이션을 실행할 수 있다. 종래에는, 사용자가 소정 애플리케이션을 실행하고자 할 때, 홈 화면으로 되돌아가는 명령, 홈 화면으로부터 시작 메뉴를 불러오는 명령 및 시작 메뉴에서 소정 애플리케이션을 선택하는 명령을 입력할 것이 요구되었다. 그러나, 일 실시 예에 따른 디바이스(200)에 의하면, 소정 애플리케이션과 관련된 영상을 전자 펜으로 선택하는 동작만으로도 소정 애플리케이션을 실행할 수 있어 사용자의 편의를 극대화 할 수 있다.
일 실시 예에 따른 디바이스(200)는, 전자 펜에 의해 선택된는 영역 내에 소정의 영상이 포함되는 경우, 소정 영상과 관련된 소정 애플리케이션을 실행할 수 있다. 소정의 영상은, 특정 물체에 대한 영상, 특정 사람에 대한 영상일 수 있다. 디바이스(200)는, AI 서비스를 통해서 특정 물체에 대한 영상 또는 특정 사람에 대한 영상을 인식할 수 있다.
도 11a에 도시된 바와 같이, 사용자의 영상 선택에 기초하여 실행될 수 있는 애플리케이션을 선택하기 위한 UI를 제공할 수 있다. 도 11a의 터치 스크린(210) 상에는 영상과 매핑되어 있는 애플리케이션 리스트가 디스플레이 된다. 영상들(1111, 1121, 1131)은 각각 갤러리(Gallery), 계산기(Calculator), 날씨(Weather) 애플리케이션과 매핑되어 있을 수 있다.
일 실시 예에 따른 디바이스(200)는, 선택 UI들(1113, 1123, 1133)에 대한 사용자 입력에 기초하여, 사용자의 영상 선택에 기초하여 실행될 수 있는 애플리케이션을 선택할 수 있다. 도 11a를 참조하면, 디바이스(200)는, 리스트 내의 갤러리 애플리케이션, 계산기 애플리케이션, 날씨 애플리케이션 중에서, 계산기 애플리케이션만을 사용자의 영상 선택에 기초하여 실행할 수 있다.
예를 들어, 일 실시 예에 따른 디바이스(200)는, 애플리케이션 실행 모드에서, 전자 펜에 의해 선택된 영역 내에 영상(1121)과 동일하거나 유사하다고 판단되는 영상을 인식하면, 영상(1121)에 매핑된 애플리케이션인 계산기 애플리케이션을 실행할 수 있다. 그러나, 디바이스(200)는, 애플리케이션 실행 모드에서, 전자 펜에 의해 선택된 영역 내에 영상(1111)이 포함되어 있더라도, 갤러리 애플리케이션을 실행하지 않을 수 있다. 갤러리 애플리케이션은 디바이스(200) 내에 저장된 사진을 둘러볼 수 있는 애플리케이션일 수 있다. 디바이스(200)는, 선택 UI(1113)에 대한 사용자 입력이 수신되어 설정이 변경되면, 사용자의 영상 선택에 기초하여 갤러리 애플리케이션이 실행되는 기능을 활성화시킬 수 있다.또한, 일 실시 예에 따른 디바이스(200)는, 사용자의 영상 선택에 기초하여 실행될 수 있는 애플리케이션을 추가할 수 있다. 도 11a에 도시된 바와 같이, 디바이스(200)는 사용자의 영상 선택에 기초하여 실행될 수 있는 애플리케이션을 추가하기 위한 UI(1140) 를 제공할 수 있다.
도 11a의 UI(1140)에 대한 사용자 입력이 수신되면, 디바이스(200)는 도 11b에 도시된 화면을 출력할 수 있다.
도 11b에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는, 애플리케이션의 실행과 관련된 영상을 입력하기 위한 UI(1150), 애플리케이션의 이름을 입력하기 위한 UI(1161), 및 UI(1150)를 통해 입력된 영상과 매핑할 애플리케이션을 추가하기 위한 UI(1163)를 제공할 수 있다
디바이스(200)는, 도 11b의 UI(1150)에 대한 사용자의 입력에 기초하여, 애플리케이션의 실행과 관련된 영상을 결정할 수 있다. 결정되는 영상은, 디바이스(200) 내에 저장된 영상, 새롭게 촬영된 영상, 또는 네트워크를 통해 새롭게 수신된 영상일 수 있다. 디바이스(200)는, 도 11b의 UI(1161)에 대한 사용자의 입력에 기초하여, 영상과 매핑되는 적어도 하나의 애플리케이션을 지칭하는 이름을 저장할 수 있다.
디바이스(200)는, 도 11b의 UI(1163)에 대한 사용자의 입력에 기초하여, UI(1150)를 통해 입력된 영상과 매핑할 애플리케이션을 추가할 수 있다. 디바이스(200)는, 도 11b의 UI(1163)에 대한 사용자의 입력이 수신되면, 미리 저장된 애플리케이션들의 리스트를 디스플레이 하고, 리스트에 대한 사용자의 입력에 기초하여 적어도 하나의 애플리케이션을 선택할 수 있다. 디바이스(200)는, 리스트 내에서 선택된 애플리케이션을 입력된 영상과 매핑할 애플리케이션으로 추가할 수 있다.
도 11c에 도시된 바와 같이, 디바이스(200)는 애플리케이션의 실행과 관련된 영상으로서 결정된 영상(1171)을 화면 상에 디스플레이 할 수 있다. 디바이스(200)는, 애플리케이션 실행 모드에서, 전자 펜에 의해 선택된 영역 내에 영상(1171)과 동일하거나 유사하다고 판단되는 영상을 인식하면, 비디오 재생 애플리케이션을 실행하도록 설정할 수 있다. 디바이스(200)는, 하나의 영상을 복수 개의 애플리케이션들과 매핑하여 저장할 수 있다. 디바이스(200)는, 복수 개의 애플리케이션들에 대해서 실행되는 우선 순위를 할당할 수 있다.
예를 들어, 도 11c에 도시된 바와 같이, 디바이스(200)는, 전자 펜에 의해 선택된 영역 내에 영상(1171)과 동일하거나 유사하다고 판단되는 영상을 인식하면, AAA player 애플리케이션(1193) 또는 BBB player 애플리케이션(1197)을 실행할 수 있다. 디바이스(200)는, 영상(1171)과 매핑된 애플리케이션들을 우선 순위에 따라서 디스플레이 할 수 있다. 예를 들어, 디바이스(200)는, 전자 펜에 의해 선택된 영역 내에 영상(1171)과 동일하거나 유사하다고 판단되는 영상을 인식하면, AAA player 애플리케이션(1193)을 우선적으로 실행할 수 있다. 만약, 디바이스(200)가 AAA player 애플리케이션(1193)을 실행할 수 없는 경우, 디바이스(200)는, BBB player 애플리케이션(1197)을 실행할 수 있다.
영상(1191, 1195)는, 디바이스(200)가 영상(1171)과 동일하거나 유사하다고 판단하는 영상들일 수 있다. 또는, 영상(1191, 1195)는, 각각 AAA player 애플리케이션(1193) 및 BBB player 애플리케이션(1197)을 대표하는 아이콘일 수 있다. 디바이스(200)는, 영상(1171)과 매핑되는 애플리케이션들(1193, 1197)을 지칭하는 이름(1173)으로서 "Video Player"를 저장할 수 있다.
도 12는 일 실시 예에 따른 디바이스의 동작 방법의 흐름도이다.
도 12에 도시된 바와 같이 일 실시 예에 따른 디바이스(200)는, 전자 펜의 동작 모드를 선택하는 동작을 생략할 수 있다. 디바이스(200)는, 이 전에 선택된 동작 모드 또는 디폴트 값으로서 미리 결정된 동작 모드를 저장하고, 저장된 동작 모드에 기초하여 동작 할 수 있다.
도 12의 단계 S1210 및 단계 S1220은 도 5의 단계 S520 및 단계 S530에 각각 대응되고, 도 12의 단계 S1230 내지 S1260은 도 5의 단계 S540에 대응될 수 있다. 중복되는 설명은 생략한다.
단계 S1210에서 일 실시 예에 따른 디바이스(200)는, 전자 펜에 의해 터치 스크린(210) 상의 적어도 일부 영역을 선택할 수 있다. 단계 S1220에서 일 실시 예에 따른 디바이스(200)는, 단계 S1210에서 선택된 영역에 포함되는 영상을 획득할 수 있다. 단계 S1230에서 일 실시 예에 따른 디바이스(200)는, 단계 S1220에서 획득된 영상과 관련된 애플리케이션에 대한 정보를 영상과 매칭하여 저장할 수 있다. 단계 S1240에서 일 실시 예에 따른 디바이스(200)는, 획득된 영상에 대해서 저장된 동작 모드에 기초하여 미리 결정된 동작을 수행할 수 있다. 동작 모드에 기초하여 미리 결정된 동작이란 동작 모드에 기초하여 획득된 영상을 처리하는 동작을 포함할 수 있고, 예를 들어, 번역, 영상 인식, 및 애플리케이션 실행 중 적어도 하나를 포함할 수 있다. 단계 S1250에서 일 실시 예에 따른 디바이스(200)는, 동작 수행 결과를 출력할 수 있다.
단계 S1260에서 일 실시 예에 따른 디바이스(200)는, 단계 S1210에서 선택된 영역을 유지할 지 여부를 판단할 수 있다.
예를 들어, 선택 영역을 유지할 지 여부는, 단계 S1210을 수행하기 이 전에 사용자 입력에 기초하여 결정되거나, 단계 S1210 이후에 선택된 영역에 대한 사용자 입력(예를 들어, 선택 영역을 소정 시간 이상 동안 터치 앤 홀드)에 기초하여 결정될 수 있다. 또는, 선택 영역을 유지할 지 여부는, 단계 S1250에서 영상 처리 결과를 수행한 이후에 표시되는 팝업창에 대한 사용자 입력에 기초하여 결정될 수 있다.
단계 S1260에서 일 실시 예에 따른 디바이스(200)가 선택 영역을 유지하지 않기로 결정한 경우, 디바이스(200)는 선택 영역을 해지하고 프로세스를 종료할 수 있다.
단계 S1260에서 일 실시 예에 따른 디바이스(200)가 선택 영역을 유지하기로 결정한 경우, 디바이스(200)는 단계 S1220으로 돌아가 선택된 영역에 포함되는 영상을 획득하고, 획득된 영상을 선택된 동작 모드에 기초하여 처리하는 동작들을 반복하여 수행할 수 있다. 디바이스(200)는 미리 설정된 시간 이후에 또는 선택 영역 내의 영상의 변화가 감지될 때, 단계 S1220으로 돌아가 선택된 영역에 포함되는 영상을 획득할 수 있다. 디바이스(200)는, 소정 시간동안 또는 선택 영역을 해지하는 사용자의 입력이 수신될 때까지, 단계 S1220 내지 S1250을 반복하여 수행할 수 있다. 전자 펜의 특정 버튼을 누르는 사용자 입력이나 디바이스(200)가 제공하는 메뉴에 대한 사용자 입력에 기초하여, 디바이스(200)는 선택 영역의 유지를 중단할 수 있다.
상술한 바와 같이, 일 실시 예에 따른 디바이스(200)는, 전자 펜에 의한 터치 입력을, 단순한 터치가 아닌, 화면 상의 영역을 선택하고 선택된 영역에 대한 특정 동작을 처리하도록 하는 명령으로 해석함으로써, 사용자가 보다 편리하게 디바이스(200)가 특정 동작을 수행하도록 조작할 수 있게 한다.
개시된 실시 예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시 예에 따른 동작이 가능한 장치로서, 개시된 실시 예들에 따른 사용자 단말, 디바이스, 서버, 영상 처리 장치를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시 예들에 따른 전자 장치 또는 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예로, 영상 전송 장치 또는 영상 수신 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시 예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시 예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시 예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시 예에 따른 방법을 수행하도록 제어할 수 있다. 구체적인 예로, 제3 장치는 영상 전송 장치 또는 영상 수신 장치를 원격 제어하여, 패킹 영상을 전송 하거나 수신하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시 예들에 따른 방법을 수행할 수도 있다.

Claims (21)

  1. 터치 스크린을 포함하는 디바이스가 동작하는 방법에 있어서,
    전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 단계;
    상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하는 단계;
    상기 제1 영역에 포함되는 제1 영상을 획득하는 단계; 및
    상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력 하는 단계를 포함하는, 디바이스 동작 방법.
  2. 제1 항에 있어서,
    상기 제1 모드를 선택하는 단계는,
    상기 복수의 동작 모드들이 나열된 리스트를 디스플레이 하는 단계; 및
    상기 리스트 상에 나열된 복수의 동작 모드들 중 하나의 동작 모드를 선택하는 사용자 입력에 기초하여, 상기 제1 모드를 선택하는 단계를 포함하는, 디바이스 동작 방법.
  3. 제1 항에 있어서,
    상기 제1 영상을 처리한 결과를 디스플레이 하는 방식을 선택하기 위한 GUI를 디스플레이 하는 단계; 및
    상기 GUI에 대한 사용자 입력에 기초하여, 상기 제1 영상을 처리한 결과를 디스플레이 하는 방식을 선택하는 단계를 더 포함하는, 디바이스 동작 방법.
  4. 제1 항에 있어서,
    상기 전자 펜과 상기 디바이스는 무선으로 연결되고,
    상기 제1 모드를 선택하는 단계는,
    상기 전자 펜에 대해 입력되는 사용자 입력에 대한 신호를 상기 전자 펜으로부터 수신하는 단계; 및
    상기 수신된 신호에 기초하여, 상기 복수의 동작 모드들 중에서 상기 제1 모드를 선택하는 단계를 포함하는, 디바이스 동작 방법.
  5. 제1 항에 있어서,
    상기 제1 영상을 저장하는 단계를 더 포함하는, 디바이스 동작 방법.
  6. 제5 항에 있어서,
    상기 획득된 영상을 저장하는 단계는,
    상기 제1 영상이 상기 디바이스가 실행하고 있는 적어도 하나의 애플리케이션 중 어떠한 애플리케이션에 기초한 것인지에 대한 정보를 획득하는 단계; 및
    상기 획득된 정보를 상기 제1 영상과 매칭하여 저장하는 단계를 포함하는, 디바이스 동작 방법.
  7. 제1 항에 있어서,
    상기 복수의 동작 모드들은,
    상기 전자 펜에 의해 선택된 영역에 포함되는 영상으로부터 텍스트를 추출하고, 상기 추출된 텍스트를 번역한 결과를 출력하는 번역 모드,
    상기 영상을 분석함으로써 상기 영상이 나타내는 물체와 관련된 키워드를 추출하고, 상기 추출된 키워드와 관련된 정보를 출력하는 영상 인식 모드,
    상기 영상에 포함되는 아이콘 또는 텍스트를 추출하고, 상기 추출된 아이콘 또는 텍스트에 대응하는 애플리케이션을 실행하는 애플리케이션 실행 모드, 및
    상기 영상을 상기 터치 스크린 상의 소정 영역에 디스플레이 하고, 상기 터치 스크린 상에 디스플레이 되는 화면이 변경되는 경우에도 상기 영상을 상기 화면의 최상위에 항상 디스플레이 하는 플로팅 영상 모드 중 적어도 하나를 포함하는, 디바이스 동작 방법.
  8. 제1 항에 있어서,
    상기 제1 영상을 처리한 결과를 출력하는 단계는,
    상기 제1 영상을 처리한 결과를 외부 디바이스에게 전송하는 단계를 포함하는, 디바이스 동작 방법.
  9. 제1 항에 있어서,
    상기 터치 스크린 상에 디스플레이 되는 화면이 변경되면, 상기 선택된 제1 영역에 포함되는 제2 영상을 획득하는 단계; 및
    상기 제1 모드에 기초하여 상기 제2 영상을 처리한 결과를 출력 하는 단계를 더 포함하는, 디바이스 동작 방법.
  10. 제1 항에 있어서,
    상기 전자 펜의 제2 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제2 영역을 선택하는 단계;
    상기 선택된 제2 영역에 포함되는 제3 영상을 획득하는 단계; 및
    상기 제1 모드에 기초하여 상기 획득된 제3 영상을 처리한 결과를 출력 하는 단계를 더 포함하는, 디바이스 동작 방법.
  11. 전자 펜에 의한 터치 입력을 수신하는 터치 스크린과 적어도 하나의 프로세서를 포함하는 디바이스에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하고,
    상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하고,
    상기 제1 영역에 포함되는 제1 영상을 획득하고,
    상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력하는, 디바이스.
  12. 제11 항에 있어서,
    상기 터치 스크린은,
    상기 복수의 동작 모드들이 나열된 리스트를 디스플레이 하고,
    상기 적어도 하나의 프로세서는,
    상기 리스트 상에 나열된 복수의 동작 모드들 중 하나의 동작 모드를 선택하는 사용자 입력에 기초하여, 상기 제1 모드를 선택하는, 디바이스.
  13. 제11 항에 있어서,
    상기 터치 스크린은,
    상기 제1 영상을 처리한 결과를 디스플레이 하는 방식을 선택하기 위한 GUI를 디스플레이 하고,
    상기 적어도 하나의 프로세서는,
    상기 GUI에 대한 사용자 입력에 기초하여, 상기 제1 영상을 처리한 결과를 디스플레이 하는 방식을 선택하는, 디바이스.
  14. 제11 항에 있어서,
    상기 전자 펜과 무선으로 통신하는 통신부를 더 포함하고,
    상기 통신부는,
    상기 전자 펜에 대해 입력되는 사용자 입력에 대한 신호를 상기 전자 펜으로부터 수신하고,
    상기 적어도 하나의 프로세서는,
    상기 수신된 신호에 기초하여, 상기 복수의 동작 모드들 중에서 상기 제1 모드를 선택하는, 디바이스.
  15. 제11 항에 있어서,
    상기 제1 영상을 저장하는 메모리를 더 포함하는, 디바이스.
  16. 제15 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 영상이 상기 디바이스가 실행하고 있는 적어도 하나의 애플리케이션 중 어떠한 애플리케이션에 기초한 것인지에 대한 정보를 획득하고, 상기 획득된 정보를 상기 제1 영상과 매칭하여 상기 메모리에 저장하는, 디바이스.
  17. 제11 항에 있어서,
    상기 복수의 동작 모드들은,
    상기 전자 펜에 의해 선택된 영역에 포함되는 영상으로부터 텍스트를 추출하고, 상기 추출된 텍스트를 번역하는 번역 모드,
    상기 영상을 분석함으로써 상기 영상이 나타내는 물체와 관련된 키워드를 추출하고, 상기 추출된 키워드와 관련된 정보를 출력하는 영상 인식 모드,
    상기 영상에 포함되는 아이콘 또는 텍스트를 추출하고, 상기 추출된 아이콘 또는 텍스트에 대응하는 애플리케이션을 실행하는 애플리케이션 실행 모드, 및
    상기 영상을 상기 터치 스크린 상의 소정 영역에 디스플레이 하고, 상기 터치 스크린 상에 디스플레이 되는 화면이 변경되는 경우에도 상기 영상을 상기 화면의 최상위에 항상 디스플레이 하는 플로팅 영상 모드 중 적어도 하나를 포함하는, 디바이스.
  18. 제11 항에 있어서,
    상기 제1 영상을 처리한 결과를 외부 디바이스에게 전송하는 통신부를 더 포함하는, 디바이스.
  19. 제11 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 터치 스크린 상에 디스플레이 되는 화면이 변경되면, 상기 선택된 제1 영역에 포함되는 제2 영상을 획득하고, 상기 제1 모드에 기초하여 상기 제2 영상을 처리한 결과를 출력 하는, 디바이스.
  20. 제11 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 전자 펜의 제2 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제2 영역을 선택하고, 상기 선택된 제2 영역에 포함되는 제3 영상을 획득하고, 상기 제1 모드에 기초하여 상기 획득된 제3 영상을 처리한 결과를 출력 하는, 디바이스.
  21. 터치 스크린을 포함하는 디바이스가 동작하는 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 디바이스가 동작하는 방법은,
    전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 단계;
    상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하는 단계;
    상기 제1 영역에 포함되는 제1 영상을 획득하는 단계; 및
    상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력 하는 단계를 포함하는, 컴퓨터 프로그램 제품.
KR1020180138306A 2018-11-12 2018-11-12 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법 KR20200054699A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180138306A KR20200054699A (ko) 2018-11-12 2018-11-12 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법
PCT/KR2019/014158 WO2020101215A1 (ko) 2018-11-12 2019-10-25 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180138306A KR20200054699A (ko) 2018-11-12 2018-11-12 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20200054699A true KR20200054699A (ko) 2020-05-20

Family

ID=70731532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180138306A KR20200054699A (ko) 2018-11-12 2018-11-12 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20200054699A (ko)
WO (1) WO2020101215A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102340666B1 (ko) * 2020-12-16 2021-12-17 주식회사 큐에스 사용자 단말의 카메라 모듈을 활용한 비-접촉식 장치 제어 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100972335B1 (ko) * 2008-08-25 2010-07-26 (주)디코인 스타일러스 펜을 구비한 휴대용 전자노트
US9841881B2 (en) * 2013-11-08 2017-12-12 Microsoft Technology Licensing, Llc Two step content selection with auto content categorization
KR20170017572A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 사용자 단말 장치 및 이의 제어 방법
KR102534714B1 (ko) * 2016-07-25 2023-05-22 삼성전자주식회사 노트와 연관된 사용자 인터페이스 제공 방법 및 이를 구현한 전자 장치
KR102629772B1 (ko) * 2016-11-29 2024-01-29 삼성전자주식회사 전자 장치 및 이의 컨텐츠 요약 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102340666B1 (ko) * 2020-12-16 2021-12-17 주식회사 큐에스 사용자 단말의 카메라 모듈을 활용한 비-접촉식 장치 제어 방법

Also Published As

Publication number Publication date
WO2020101215A1 (ko) 2020-05-22

Similar Documents

Publication Publication Date Title
US11868680B2 (en) Electronic device and method for generating short cut of quick command
US10275022B2 (en) Audio-visual interaction with user devices
CN108470041B (zh) 一种信息搜索方法及移动终端
US10534509B2 (en) Electronic device having touchscreen and input processing method thereof
KR102178892B1 (ko) 정보 제공 방법 및 그 전자 장치
JP6448900B2 (ja) 状況情報基盤の情報提供方法、そのシステム及びその記録媒体
US10606367B2 (en) Command relay device, system and method for providing remote assistance/remote control
KR102625254B1 (ko) 입력기를 통해 이미지와 관련된 정보를 어플리케이션에 제공하는 전자 장치 및 방법
US20170285932A1 (en) Ink Input for Browser Navigation
US20160334952A1 (en) Terminal and method for sorting pages of user interface
US10656806B2 (en) Display interface systems and methods
US20200341582A1 (en) Electronic apparatus and operating method of the same
KR20190115356A (ko) 어플리케이션 실행 방법 및 이를 지원하는 전자 장치
KR20140036532A (ko) 어플리케이션 실행 방법 및 시스템, 단말과 그 기록 매체
KR20160056827A (ko) 콘텐트를 공유하는 방법 및 콘텐트 공유 시스템
CN108780400B (zh) 数据处理方法及电子设备
US20160077709A1 (en) Actionable item switcher
US20130055114A1 (en) Enhanced and Extended Browsing Via Companion Mobile Device
CN111433735A (zh) 实现通用硬件-软件接口的方法、设备和计算机可读介质
KR20200054699A (ko) 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법
US11163378B2 (en) Electronic device and operating method therefor
US10691336B2 (en) File-based custom configuration of dynamic keyboards
US20210096728A1 (en) Control Method and Electronic Device
CN111242712A (zh) 一种商品展示方法及其装置
US20160070368A1 (en) Method for controlling user interface and electronic device supporting the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal