KR102196671B1 - 전자 기기 및 전자 기기의 제어 방법 - Google Patents

전자 기기 및 전자 기기의 제어 방법 Download PDF

Info

Publication number
KR102196671B1
KR102196671B1 KR1020130003239A KR20130003239A KR102196671B1 KR 102196671 B1 KR102196671 B1 KR 102196671B1 KR 1020130003239 A KR1020130003239 A KR 1020130003239A KR 20130003239 A KR20130003239 A KR 20130003239A KR 102196671 B1 KR102196671 B1 KR 102196671B1
Authority
KR
South Korea
Prior art keywords
content
audio
input
video
electronic device
Prior art date
Application number
KR1020130003239A
Other languages
English (en)
Other versions
KR20140091236A (ko
Inventor
나성채
신정은
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130003239A priority Critical patent/KR102196671B1/ko
Priority to EP13198683.8A priority patent/EP2755399B1/en
Priority to CN201310750267.8A priority patent/CN103926981B/zh
Priority to US14/149,399 priority patent/US9959086B2/en
Publication of KR20140091236A publication Critical patent/KR20140091236A/ko
Application granted granted Critical
Publication of KR102196671B1 publication Critical patent/KR102196671B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Abstract

본 발명은, 전자 기기 및 전자 기기의 제어 방법에 관한 것이다. 본 발명은, 동영상이 재생되는 중 오디오를 레코딩하는 모드에 진입하는 경우, 상기 동영상과 관련된 제1 콘텐츠와 상기 레코딩되는 오디오를 텍스트로 전환하여 생성되는 제2 콘텐츠를 상기 동영상의 재생 화면 대신에 터치 스크린에 표시할 수 있는 전자 기기 및 전자 기기의 제어 방법을 제공한다. 이에 따라, 사용자는 청취하는 동영상을 다양한 측면에서 이용할 수 있다.

Description

전자 기기 및 전자 기기의 제어 방법 {Electronic Device And Method Of Controlling The Same}
본 발명은 전자 기기에 관한 것으로서 보다 상세하게는 영상을 보다 효율적으로 청취할 수 있는 전자 기기 및 전자 기기의 제어 방법에 관한 것이다.
이동 단말기를 포함한 각종 전자 기기와 관련된 하드웨어 기술 및 소프트웨어 기술이 비약적으로 발전함에 따라, 전자 기기는 매우 다양한 기능들과 정보들을 제공하거나 저장할 수 있게 되었다. 이에 따라 전자 기기에 구비된 화면에는 이와 같이 다양한 정보들을 제공하게 되었다.
또한 터치스크린을 구비하는 전자 기기의 경우, 사용자의 터치 조작만으로 터치스크린에 제공되는 다양한 정보들에 대해 억세스할 수 있다.
본 발명의 과제는, 외부로부터 입력되는 사운드 또는 전자 기기에서 출력하는 사운드를 레코딩하고, 레코딩된 오디오를 실시간으로 텍스트로 변환하여 디스플레이함으로써, 소정의 오디오가 연계되는 영상을 보다 효율적으로 청취할 수 있는 전자 기기 및 전자 기기의 제어 방법을 제공하는 것이다.
본 발명의 과제는, 영상의 재생을 보다 세밀하게 구분하여 동영상을 효율적으로 청취할 수 있는 전자 기기 및 전자 기기의 제어 방법을 제공하는 것이다.
본 발명의 일 면에 따른 전자 기기는, 터치 스크린; 및 연계되는 오디오를 포함하는 영상을 재생하는 중 미리 정해진 입력을 통해 상기 재생되는 영상에 포함된 오디오를 레코딩하는 모드에 진입하는 경우, 상기 오디오를 레코딩하는 중 상기 영상의 재생과 관련된 제1 콘텐츠 및 상기 레코딩되는 오디오를 텍스트로 전환하여 생성되는 제2 콘텐츠를 상기 터치 스크린에 표시하는 제어부;를 포함할 수 있다.
상기 영상은, 정지 영상 또는 동영상을 포함하고, 상기 재생되는 영상은, 상기 정지 영상의 복수에 포함된 복수의 슬라이드가 상기 터치 스크린에 순차적으로 표시되거나, 상기 동영상이 재생되는 것을 포함할 수 있다.
상기 제어부는, 상기 동영상의 재생 화면을 상기 터치 스크린에 표시하고, 상기 미리 정해진 입력은 상기 동영상의 재생 화면에 대하여 미리 정해진 터치 입력을 포함할 수 있다.
상기 제1 콘텐츠는, 상기 영상의 재생과 관련된 텍스트 및 이미지 중 적어도 하나를 포함할 수 있다.
상기 제2 콘텐츠는 상기 텍스트가 문장 단위로 구별되어 표시할 수 있다.
상기 제어부는, 상기 특정 문장에 대하여 미리 정해진 입력을 수신하는 경우, 상기 특정 문장에 대응하는 오디오를 재생하여 출력할 수 있다.
상기 제어부는, 상기 오디오의 레코딩이 진행 중임을 나타내는 프로그레스 바를 상기 터치 스크린에 표시하고, 상기 프로그레스 바는 현재 시점의 레코딩 지점을 나타내는 헤더를 포함하고, 상기 헤더를 이전의 레코딩 시간에 대응하는 제1 지점으로 드래그하는 입력을 수신하는 경우, 상기 헤더를 상기 제1 지점의 오디오에 대응하는 텍스트가 포함되는 문장의 시작 지점에 대응하는 제2 지점으로 이동하여 표시하고, 상기 제2 제점에서 시작되는 문장을 상기 터치 스크린에 표시할 수 있다.
상기 제어부는, 상기 영상의 재생을 통해 출력되는 오디오 중 상기 제1 콘텐츠와 연관된 내용이 레코딩되는 경우, 상기 영상 중 상기 제1 콘텐츠와 관련된 내용이 레코딩 중을 알리는 인디케이터(indicator)를 상기 제1 콘텐츠와 함께 표시하는 것을 특징으로 하는 전자 기기.
상기 제어부는, 상기 인디케이터가 함께 표시된 제1 컨텐츠를 선택하는 입력을 수신하는 경우, 상기 레코딩된 오디오를 재생하여 출력할 수 있다.
상기 제어부는, 상기 레코딩된 오디오가 재생되는 중에 현재 재생 중인 영상의 오디오를 백그라운드로 레코딩할 수 있다.
상기 제어부는, 상기 제1 컨텐츠를 선택하는 입력이 수신된 시점에 대응하는 지점을 상기 영상의 재생을 제어하는 프로그레스 바에 표시할 수 있다.
상기 제어부는, 상기 제2 콘텐츠에 포함된 적어도 일부의 텍스트에 대한 드래그 입력을 수신하는 경우, 상기 레코딩된 오디오 중 상기 드래그된 텍스트에 대응하는 영역을 삭제할 수 있다.
상기 제1 콘텐츠는 적어도 하나의 아이템을 포함하고, 상기 레코딩되는 오디오 내용을 상기 아이템과 연관시키기 위한 인디케이터를 상기 터치 스크린에 표시하고, 상기 제어부는, 상기 인디케이터를 상기 적어도 하나의 아이템 중 어느 하나의 아이템에 연관시키는 입력을 수신하는 경우, 상기 레코딩되는 오디오 내용을 상기 아이템과 매핑할 수 있다.
상기 제어부는, 사용자 입력을 통해 상기 인디케이터를 상기 적어도 하나의 아이템 중 어느 하나에 연관시킬 수 있다.
상기 제어부는, 상기 레코딩되는 내용을 분석하고, 상기 인디케이터를 상기 적어도 하나의 아이템 중 상기 레코딩되는 내용과 매칭되는 아이템에 연관하여 표시할 수 있다.
상기 제어부는, 상기 제1 콘텐츠를 상기 터치 스크린의 제1 영역에 표시하고, 상기 제2 콘텐츠를 상기 터치 스크린의 제2 영역에 표시하고, 상기 제1 영역의 특정 지점에 미리 정해진 터치 입력을 수신하는 경우, 상기 특정 지점에 삽입하기 위한 메모를 입력받기 위한 메모 인터페이스(memo interface)를 상기 제2 영역의 적어도 일부의 영역에 제공할 수 있다.
상기 미리 정해진 터치 입력은, 상기 특정 지점에 대한 줌 인(zoom in) 입력을 포함할 수 있다.
상기 메모 인터페이스는, 사용자의 필기 입력을 입력받기 위한 필기 입력 영역, 가상 키보드 영역 또는 사용자의 음성을 수신하기 위한 음성 입력 모듈이 활성화되었음을 식별하기 위한 인디케이터를 포함할 수 있다.
본 발명의 다른 면에 따른 전자 기기의 제어 방법은, 동영상을 재생하는 단계; 미리 정해진 입력을 수신하는 경우, 상기 동영상에 포함된 오디오를 레코딩하는 모드에 진입하는 단계; 및 상기 오디오를 레코딩하는 중 상기 동영상의 재생과 관련된 제1 콘텐츠 및 상기 레코딩되는 오디오를 텍스트로 전환하여 생성되는 제2 콘텐츠를 터치 스크린에 표시하는 단계;를 포함할 수 있다.
본 발명에 따른 전자 기기 및 전자 기기의 제어 방법에 의하면 다음과 같은 효과가 있다.
본 발명에 의하면, 재생되는 동영상의 오디오를 텍스트로 제공함으로써, 사용자는 동영상의 내용을 보다 정확하게 파악할 수 있다.
또한, 본 발명에 의하면, 재생되는 동영상의 오디오를 레코딩함으로써, 원하는 내용에 대하여 반복 청취가 가능하다.
또한, 본 발명에 의하면, 재생 중인 동영상의 관련 자료와 상기 동영상 중 오디오를 레코딩하여 텍스트로 변환하고 이를 사용자에게 제공함으로써, 다양한 인식 방법을 통해 동영상 청취의 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예와 관련된 전자 기기의 블록 구성도(block diagram)이다.
도 2는 근접 센서의 근접 깊이를 설명하기 위한 개념도이다.
도 3은 본 발명의 제1 실시예에 따른 전자 기기의 제어 방법의 흐름도이다.
도 4는 도 3의 S110 및 S120을 설명하기 위한 도면이다.
도 5는 도 3의 S130을 설명하기 위한 도면이다.
도 6 내지 도 8은 프로그레스 바를 이용하여 텍스트로 전환되어 표시된 오디오 내용의 표시를 제어하는 예를 설명하기 위한 도면이다.
도 9 내지 도 11은 본 발명의 제1 실시예를 설명하기 위한 도면들이다.
도 12는 본 발명의 제2 실시예에 따른 전자 기기의 제어 방법의 흐름도이다.
도 13은 본 발명의 제2 실시예를 보다 구체적으로 설명하기 위한 전자 기기의 제어 방법의 흐름도이다.
도 14 내지 도 16은 본 발명의 제2 실시예에 따라 재생되는 동영상의 특정 주제별로 오디오 레코딩을 제어하기 위한 예를 설명하기 위한 도면들이다.
도 17 내지 도 19는 본 발명의 제2 실시예에 따라 레코딩된 오디오를 주제별로 재생하는 예를 설명하기 위한 도면들이다.
도 20은 본 발명의 제2 실시예에 따라 텍스트로 전환된 문장 중 오디오가 매핑된 문장을 보다 세부적으로 편집하는 예를 설명하기 위한 도면이다.
도 21은 본 발명의 제3 실시에에 따른 전자 기기의 제어 방법의 흐름도이다.
도 22 내지 도 27은 본 발명의 제3 실시예를 설명하기 위한 도면들이다.
도 28a 내지 도 28c는 본 발명의 제4 실시예를 설명하기 위한 도면들이다.
도 29 내지 도 32은 본 발명의 제5 실시예를 설명하기 위한 도면들이다.
도 33a 내지 도 34은 본 발명의 제6 실시예를 설명하기 위한 도면들이다.
도 35는 본 발명의 제7 실시예에 따른 전자 기기의 제어 방법의 흐름도이다.
도 36은 본 발명의 제7 실시예를 설명하기 위한 도면이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통하여 보다 분명해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명과 관련된 전자 기기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 설명되는 전자 기기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다.
이하, 다양한 실시예들을 필요한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예와 관련된 전자 기기의 블록 구성도(block diagram)이다.
상기 전자 기기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리부(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 전자 기기를 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 전자 기기(100)와 무선 통신 시스템 사이 또는 전자 기기(100)와 전자 기기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하는데, 특히, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리부(160)에 저장될 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(113)은 전자 기기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치정보 모듈(115)은 전자 기기의 위치를 확인하거나 얻기 위한 모듈이다. 상기 위치정보 모듈의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈(115)은, 일 지점(개체)이 3개 이상의 위성으로부터 떨어진 거리에 관한 정보와, 상기 거리 정보가 측정된 시간에 관한 정보를 산출한 다음 상기 산출된 거리 정보에 삼각법을 적용함으로써, 일 시간에 일 지점(개체)에 대한 위도, 경도, 및 고도에 따른 3차원의 위치 정보를 산출할 수 있다. 나아가, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법 또한 사용되고 있다. GPS 모듈(115)은 현 위치를 실시간으로 계속 산출하고 그를 이용하여 속도 정보를 산출하기도 한다.
도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리부(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(140)는 전자 기기(100)의 개폐 상태, 전자 기기(100)의 위치, 사용자 접촉 유무, 전자 기기의 방위, 전자 기기의 가속/감속 등과 같이 전자 기기(100)의 현 상태를 감지하여 전자 기기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 전자 기기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수도 있다. 한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153) 및 햅틱 모듈(154) 등이 포함될 수 있다.
디스플레이부(151)는 전자 기기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 전자 기기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 전자 기기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 투명 LCD 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
전자 기기(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 전자 기기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 약칭함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
도 1을 참조하면, 상기 터치스크린에 의해 감싸지는 전자 기기의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다. 상기 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.
상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접 센서(141)는, 근접 터치 및 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리부(160)에 저장된 오디오 데이터를 출력할 수도 있다. 음향 출력 모듈(152)은 전자 기기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다. 또한 상기 음향 출력 모듈(152)은, 이어폰잭(116)을 통해 음향을 출력할 수 있다. 사용자는 상기 이어폰잭(116)에 이어폰을 연결하여 출력되는 음향을 들을 수 있다.
알람부(153)는 전자 기기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 전자 기기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 비디오 신호나 오디오 신호는 디스플레이부(151)이나 음향 출력 모듈(152)을 통해서도 출력될 수 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열에 의한 자극에 의한 효과, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력을 통한 자극에 의한 효과, 피부 표면을 스치는 자극에 의한 효과, 전극(eletrode)의 접촉을 통한 자극에 의한 효과, 정전기력을 이용한 자극에 의한 효과, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자의 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 전자 기기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
메모리부(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리부(160)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리부(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 전자 기기(100)는 인터넷(internet)상에서 상기 메모리부(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 전자 기기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 전자 기기(100) 내부의 각 구성 요소에 전달하거나 전자 기기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 전자 기기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 전자 기기(100)와 연결될 수 있다.
상기 인터페이스부는 전자 기기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 전자 기기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 전자 기기(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 전자 기기(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(180)는 통상적으로 전자 기기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리부(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
전술한 근접 센서(141)에 대하여, 도 2를 참조하면서 보다 구체적으로 살펴본다.
도 2는 근접 센서(141)의 근접 깊이를 설명하기 위한 개념도이다.
도 2에 도시한 바와 같이 사용자의 손가락 등과 같은 포인터가 상기 터치스크린에 근접하는 경우, 상기 터치스크린 내부 또는 근방에 배치된 상기 근접센서(141)가 이를 감지하여 근접신호를 출력한다.
상기 근접 센서(141)는 상기 근접 터치되는 포인터와 상기 터치스크린 간의 거리(이하 "근접 깊이"라고 함)에 따라 서로 다른 근접 신호를 출력하도록 구성될 수 있다.
상기 터치스크린에 포인터가 접근할 때 근접신호가 출력되는 거리를 검출거리라고 하는데, 간단하게는 상기 검출거리가 서로 다른 근접센서를 복수로 사용함으로써 각 근접센서에서 출력되는 근접신호를 비교하면 상기 근접 깊이를 알 수 있다.
도 2에서는 예컨대 3개의 근접 깊이를 감지할 수 있는 근접 센서(141)가 배치된 터치스크린의 단면이 예시되고 있다. 3개 미만 또는 4개 이상의 근접 깊이를 감지하는 근접 센서도 가능함은 물론이다.
구체적으로 살펴보면, 상기 포인터가 상기 터치스크린 상에 완전히 접촉되는 경우(d0)에는 접촉 터치로 인식된다. 상기 포인터가 상기 터치스크린 상에서 d1 거리 미만으로 이격되어 위치하는 경우에는 제 1 근접 깊이의 근접 터치로 인식된다. 상기 포인터가 상기 터치스크린 상에서 d1 거리 이상 d2 거리 미만으로 이격되어 위치하는 경우에는 제 2 근접 깊이의 근접 터치로 인식된다. 상기 포인터가 상기 터치스크린 상에서 d2 거리 이상 d3 거리 미만으로 이격되어 위치하는 경우에는 제 3 근접 깊이의 근접 터치로 인식된다. 그리고, 상기 포인터가 상기 터치스크린 상에서 d3 거리 이상으로 이격되어 위치하는 경우에는 근접 터치가 해제된 것으로 인식된다.
따라서, 상기 제어부(180)는 상기 포인터의 터치스크린에 대한 근접거리 및 근접 위치 등에 따라 상기 근접 터치를 다양한 입력 신호로 인식할 수 있고, 상기 다양한 입력 신호에 따른 다양한 동작 제어를 수행할 수 있다.
이하 본 발명의 실시예들을 설명하기로 한다.
본 발명에서는 설명의 편의를 위해 상기 디스플레이부(151)를 터치스크린(151)으로 가정한다. 전술한 바와 같이, 상기 터치스크린(151)은, 정보 표시 기능과 정보 입력 기능을 모두 수행할 수 있다.
도 3은 본 발명의 제1 실시예에 따른 전자 기기의 제어 방법의 흐름도이다. 본 발명의 제1 실시예에 따른 전자 기기의 제어 방법은, 도 1 및 도 2를 참조하여 설명한 상기 전자 기기(100)에서 구현될 수 있다. 이하 필요한 도면들을 참조하여, 본 발명의 제1 실시예에 따른 전자 기기의 제어 방법과, 이를 구현하기 위한 상기 전자 기기(100)의 동작을 상세히 설명하기로 한다.
도 3을 참조하면, 전자 기기(100)의 제어부(180)는 영상을 재생한다(S110).
상기 영상은 관련된 오디오와 함께 재생될 수 있다. 상기 영상은 정지 영상 또는 동영상을 포함할 수 있다. 상기 정지 영상은, 예를 들어, 슬라이드쇼에 적용되는 복수의 슬라이드를 포함할 수 있다. 한편, 상기 정지 영상은 사용자에 의해 또는 미리 설정된 시간 간격으로 페이지가 넘어가는 모든 이미지를 포함할 수 있다. 본 발명의 제1 실시예에서는 상기 영상을 재생하는 것을 전제로 하여 설명하지만, 본 발명은 이에 한정되는 것은 아님을 밝혀둔다. 특히, 강연자가 음성으로 강연을 진행하고, 상기 강연자의 강연 내용을 레코딩하는 중, 상기 강연 내용과 관련된 콘텐츠를 상기 디스플레이부(151)에 표시하는 과정 또한 본 발명의 범위에 포함될 수 있으며, 이에 대해서는 도 35 내지 도 36을 통해 후술한다.
상기 영상은, 전자 기기(100)의 메모리(160)에 미리 저장된 파일일 수 있다. 또는 상기 영상은 외부 서버(미도시)로부터 스트리밍 형식으로 다운로드 되는 파일일 수 있다.
한편, 상기 영상은 오디오를 포함할 수 있다. 예를 들어, 상기 영상은 동영상 강의 파일일 수 있다. 상기 강의 파일은 강연자의 강의가 오디오로 출력된다. 그러나 본 발명은 이에 한정되지 않는다. 예를 들어, 상기 동영상은 복수의 인물을 포함하고, 상기 복수의 인물이 말하는 오디오를 포함하고 있는 영상 파일일 수 있다. 또한, 예를 들어, 상기 영상은 영화 파일일 수 있다.
한편, 상기 영상은 미리 정해진 시간 이상 재생되는 파일일 수 있다. 예를 들어, 상기 영상은 1분 이상 재생되는 파일일 수 있다. 즉, 상기 영상은, 10초 이하의 파일은 제외될 수 있다.
한편, 본 발명의 일 실시예를 구현하기 위하여 적용되는 영상은, 전술한 오디오를 포함하며, 미리 정해진 이상의 시간 동안 재생되며, 상기 영상 재생과 관련된 콘텐츠를 부가적으로 가질 수 있다. 예를 들어, 상기 영상 재생과 관련된 콘텐츠는 상기 영상의 청취를 보조하기 위한 서브 자료일 수 있다. 또한 예를 들어, 상기 동영상이 강의에 관한 것이며, 상기 서브 자료는 강연자가 강의하는 내용을 보조하기 위한 문서 파일일 수 있다.
제어부(180)는 상기 영상에 포함된 오디오를 레코딩(recording) 하기 위한 모드에 진입할 수 있다(S120).
제어부(180)는, 동영상을 레코딩하거나, 슬라이드쇼에 연계되어 있는 오디오를 레코딩하거나, 상기 동영상을 재생하는 중 상기 동영상에 포함되어 있는 오디오 파일을 추출하여 상기 오디오를 레코딩할 수 있다.
상기 오디오를 레코딩하기 위한 모드에 진입하는 경우, 제어부(180)는 전자 기기(100)의 마이크(도 1의 122)를 동작시킬 수 있다. 그리고, 영상이 재생됨에 따라 출력되는 오디오를 상기 마이크를 통해 레코딩할 수 있다.
한편, 상기 오디오를 레코딩하기 위한 모드에 진입하기 위한 입력은, 영상 재생 화면에 대한 미리 정해진 입력을 포함할 수 있다. 상기 미리 정해진 입력은 오디오 레코딩을 위한 온오프 스위치 버튼(스위치 버튼 포함)을 포함할 수 있다. 또는 상기 미리 정해진 입력은 상기 영상 재생 화면에 대한 롱 터치 입력을 포함할 수 있다. 제어부(180)는 상기 롱 터치 입력에 응답하여 마이크(도 1의 122)를 온하고, 영상 재생을 통해 출력되는 오디오를 레코딩할 수 있다.
제어부(180)는 상기 오디오를 레코딩하는 중 영상 재생과 관련된 제1 콘텐츠와, 상기 레코딩되는 오디오를 텍스트로 전환하여 생성되는 제2 콘텐츠를 터치 스크린(151)에 표시할 수 있다(S130).
이하에서는, 상기 영상이 강의와 관련된 동영상인 경우로 가정하여 설명한다.
상기 제1 콘텐츠는 전술한 바와 같이, 강의하는 사람이 강의 내용을 요약한 강의 파일일 수 있다. 상기 강의 파일이 문서화되어 터치 스크린(151)에 표시된다. 또한, 상기 제2 콘텐츠는 강의하는 사람이 강의의 음성을 녹음하고, 녹음된 음성을 텍스트로 전환하여 생성되는 텍스트 파일이다. 상기 텍스트 파일은 문장 단위로 생성되거나, 문구 또는 단어 단위로 생성될 수 있다.
한편, 본 발명에서 오디오를 텍스트로 전환하는 기술은 공지의 다양한 기술이 이용될 수 있으며, 이에 대한 구체적인 설명은 생략하기로 한다.
한편, 제어부(180)는 상기 제1 콘텐츠와 제2 콘텐츠를 터치 스크린(151)에 표시하는 경우, 동영상 재생 화면을 터치 스크린(151)으로부터 숨길 수 있다. 예를 들어, 동영상 재생 화면을 디스플레이하는 중 오디오 레코딩 모드에 진입하는 경우, 상기 제1 콘텐츠와 제2 콘텐츠를 터치 스크린(151)의 전체 영역에 표시할 수 있다.
도 4는 도 3의 S110 및 S120을 설명하기 위한 도면이다.
도 4를 참조하면, 제어부(180)는 동영상 재생 화면(10)을 터치 스크린(151)에 표시할 수 있다. 제어부(180)는 상기 동영상의 재생을 제어하기 위한 프로그레스 바(3)를 터치 스크린(151)에 표시할 수 있다. 또한, 제어부(180)는 상기 동영상이 재생되는 중 상기 동영상에 포함되는 오디오를 추출하여 레코딩하기 위한 모드에 진입하기 위한 사용자 인터페이스(1,2)를 터치 스크린(151)에 표시할 수 있다. 상기 사용자 인터페이스는 레코딩 모드로의 진입을 선택하기 위한 소프트 버튼(ON/OFF)(1)과, 상기 소프트 버튼을 통해 레코딩 모드에 진입하는 경우, 오디오가 레코딩 중임을 식별하기 위한 식별표지(1)를 상기 터치 스크린(151)에 표시할 수 있다. 레코딩 모드에 진입하는 경우 제어부(180)는 소정의 컬러 식별자를 표시함으로써, 동영상 재생 중 오디오가 레코딩되는 모드에 진입하였음을 식별할 수 있다.
도 5는 도 3의 S130을 설명하기 위한 도면이다.
도 5를 참조하면, 제어부(180)는, 동영상 재생과 관련된 제1 콘텐츠(20)와 상기 동영상의 재생 중 레코딩되는 오디오를 텍스트로 변환하여 생성되는 텍스트 파일(30)을 터치 스크린(151)에 표시할 수 있다.
상기 제1 콘텐츠(20)는 복수의 아이템으로 구성될 수 있다. 예를 들어, 상기 제1 콘텐츠는(20)는 제1 아이템(21), 제2 아이템(22), 제3 아이템(23) 및 제4 아이템(24)으로 구성될 수 있다. 상기 아이템은 텍스트(text), 이미지(image) 등을 포함할 수 있다. 여기서, 상기 제4 아이템(24)은 상기 제1 아이템(21), 제2 아이템(22) 및 제3 아이템(23)을 제외한 나머지 영역에 포함되는 콘텐츠들을 포함하는 것일 수 있다. 예를 들어, 제1 아이템(21) 내지 제3 아이템(23)이 모두 이미지 파일이고, 제4 아이템(24)의 경우, 상기 이미지들을 설명하기 위한 텍스트일 수 있다.
한편, 상기 제1 콘텐츠(20)는 현재 재생되고 있는 동영상의 주요 내용과 관련된 콘텐츠들이다.
상기 제2 콘텐츠(30)는 상기 동영상 재생에 따라 출력되는 오디오를 레코딩하고, 이를 텍스트로 전환하여 생성되는 텍스트 파일이다. 상기 텍스트 파일은 문장 문단 단위로 구성 수 있으므로 복수의 문장 또는 문단(31,32,33,34)들이 제2 콘텐츠(30)를 구성할 수 있다.
예를 들어, 상기 동영상이 강의인 경우, 강연자의 음성이 녹음되어 강연내용이 텍스트로 전환되어 터치 스크린(151)에 표시된다.
한편, 제어부(180)는 상기 제2 콘텐츠(30)를 실시간으로 업데이트하여 표시할 수 있다. 즉, 제어부(180)는, 강연자의 음성을 레코딩하되, 문장단위의 음성을 실시간으로 텍스트 전환하여 제2 콘텐츠(30)로 표시할 수 있다.
도 5에 도시된 바에 따라, 본 발명의 일 실시예에 의하면, 사용자는 강연 자료(20)를 참조하여 동영상 강의를 청취하고, 강연자의 강의 내용을 실시간으로 텍스트로 변환된 콘텐츠를 제공받을 수 있다. 이에 따라, 보다 효율적인 동영상 강의의 청취가 가능하게 된다.
한편, 본 발명에서는 강연자의 강연 내용이 텍스트로 변환하여 표시하되, 문장 단위로 구분하여 표시된다. 이에 따라, 본 발명의 일 실시예에서는, 강연자의 강연 내용을 문장 단위로 편리하게 제어할 수 있는 사용자 인터페이스를 제공할 수 있다.
도 6 내지 도 8은 프로그레스 바를 이용하여 텍스트로 전환되어 표시된 오디오 내용의 표시를 제어하는 예를 설명하기 위한 도면이다.
도 6을 참조하면, 제어부(180)는, 오디오 레코딩의 진행을 표시하기 위한 레코딩 상태바(RTB:Recording Status Bar)를 터치 스크린(151)에 표시할 수 있다. 여기서, 상기 레코딩 상태바(RTB)는 복수의 구간(31',32',33',34')으로 구분될 수 있다. 상기 복수의 각 구간(31',32',33',34')은 레코딩되는 오디오가 문장 단위로 텍스트화될 때, 각 문장에 할당되는 시간 비율로 구분되는 구간일 수 있다.
즉, 제1 문장 31은 레코딩 상태바(BTB)의 제1 구간 31'에 대응하고, 제2 문장 32는 레코딩 상태바(BTB)의 제2 구간 32'에 대응하고, 제3 문장 33은 레코딩 상태바(BTB)의 제3 구간 33'에 대응하고, 제4 문장 34는 레코딩 상태바(BTB)의 제4 구간 34'에 대응한다. 한편, 제5 문장 35과 관련하여, 제어부(180)는, 현재 레코딩 중인 오디오의 내용이 하나의 문장으로 종료되는 경우, 상기 하나의 문장에 해당하는 오디오를 텍스트로 전환하여 제5 문장 35로 표시한다.
한편, 도 7을 참조하면, 제어부(180)는, 레코딩 상태바(BTB)의 제1 지점(P1)에서 이전 구간에 해당하는 제2 지점(P2)으로 드래그하는 입력을 수신할 수 있다. 여기서, 상기 제1 지점(P1)은 제5 문장 구간(35')에 대응하고, 제2 지점(P2)은 그 보다 먼저 레코딩되어 텍스트화된 제2 문장 구간(32')에 대응된다. 한편, 제어부(180)는, 상기 드래그 입력에 응답하여 도 6의 제5 문장(35), 제4 문장(34) 및 제3 문장(33)을 터치 스크린(151)에서 제거하고, 상기 제2 지점(P2)에 대응하는 시간에 레코딩된 오디오 내용을 텍스트로 전환하여 터치 스크린(151)에 표시할 수 있다. 그러나, 상기 제2 지점(P2)은 제2 문장 구간(32')의 중간에 위치하므로, 제어부(180)는 완전한 제2 문장을 제공할 수 없다.
이에 따라 제어부(180)는 도 8에 도시된 바와 같이, 제2 문장 구간(32')의 제2 지점(P2)에 위치하는 레코딩 헤더(RH)를 상기 제2 문장 구간(32')의 시작 지점(P3)에 자동으로 위치시키면서, 제1 문장(31)만을 터치 스크린(151)에 표시할 수 있다. 혹은, 제어부(180)는, 상기 제2 문장 구간(32')의 제2 지점(P2)에 위치하는 레코딩 헤더(RH)를 제2 문장 구간(32')의 마지막 지점(P4)에 위치시키면서, 제2 문장(32)을 터치 스크린(151)에 표시할 수 있다.
전술한 실시예들에 의하면, 레코딩된 오디오가 문장 단위로 텍스트화된 이후, 소정의 사용자 인터페이스(예를 들어, 레코딩 상태바(RSB)를 제어함으로써, 레코딩된 오디오 중 원하는 부분을 편리하게 검색할 수 있다. 특히, 소정의 문장 단위로 텍스트화되어 있기 때문에, 시각적으로 빠르게 확인하면서 원하는 오디오 내용을 검색할 수 있다.
도 9 내지 도 11은 본 발명의 제1 실시예를 설명하기 위한 도면들이다.
도 9를 참조하면, 제어부(180)는, 동영상의 재생을 통해 출력되는 오디오 중 제1 콘텐츠(20)와 연관된 내용이 레코딩되는 경우, 상기 동영상 중 상기 제1 콘텐츠(20)와 관련된 내용이 녹음되고 있음을 알리는 인디케이터(40)를 터치 스크린(151)에 표시할 수 있다. 상기 인디케이터(40)는 마이크 모양의 아이콘일 수 있다.
예를 들어, 제어부(180)는 현재 재생 중인 동영상 강의 내용이 제1 아이템(21)과 관련된 내용인 경우, 상기 인디케이터(40)를 상기 제1 아이템(21)과 함께 표시한다. 또한, 제어부(180)는 현재 재생 중인 동영상 강의 내용이 제2 아이템(22)과 관련된 내용인 경우, 상기 인디케이터(40)를 상기 제2 아이템(22)에 표시한다. 제3 및 제4 아이템에 대해서도 마찬가지이다.
이에 따라, 사용자는 현재 재생중인 강의 내용이 제1 콘텐츠(20)의 어떤 부분에 관한 것인지를 시각적으로 확인할 수 있다.
한편, 도 10을 참조하면, 상기 도 9에 도시된 인디케이터(40)가 태깅되어 표시된 상태에서 제2 아이템(20)을 선택하는 터치 입력을 수신하는 경우, 상기 제어부(180)는 현재 재생 중인 동영상을 일시 정지시키고, 제2 아이템(20)과 관련되어 레코딩된 오디오 파일(52)을 재생할 수 있다.
이때, 제어부(180)는, 상기 제2 아이템(20)이 선택된 시점에 관한 정보를 레코딩된 오디오 파일의 재생을 제어하기 위한 프로그레스 바(3)에 터치 스크린(151)에 표시할 수 있다.
한편, 제어부(180)는, 상기 제2 아이템(20)에 대한 터치 입력을 수신하는 경우, 오디오 레코딩 동작은 계속 진행될 수 있다. 즉, 백그라운드로 상기 오디오 레코딩이 수행되면서, 상기 제2 아이템(20)과 관련된 오디오가 재생되어, 음향 출력 모듈(152)을 통해 출력될 수 있다. 또한, 상기 제2 아이템(20)과 관련된 오디오가 전환된 텍스트를 터치 스크린(151)을 통해 제공될 수도 있다.
또한, 제어부(180)는, 상기 선택된 제2 아이템(20)과 관련된 오디오 파일의 재생을 제어하기 위한 프로그레스 바(7)를 터치 스크린(151)에 표시할 수 있다.
또한, 상기 오디오 파일(52)의 재생을 제어하기 위한 프로그레스 바(3)를 터치 스크린(151)에 표시할 수 있다.
도 11은 텍스트로 변환되어 표시되는 제2 콘텐츠(20)를 편집하는 예를 설명하기 위한 도면이다.
도 11을 참조하면, 제어부(180)는 제2 콘텐츠(31)에 포함된 적어도 일부의 텍스트에 대한 드래그 입력을 수신하는 경우, 상기 레코딩된 오디오 중 상기 드래그 된 텍스트에 대응하는 영역을 삭제할 수 있다.
예를 들어, 제어부(180)는 제1 아이템(21)을 터치 스크린(151)에 표시하고, 상기 제1 아이템(21)과 관련된 동영상이 재생되는 중, 상기 재생되는 동영상의 오디오가 텍스트로 변환된 제2 콘텐츠(31) 중 "그 예시로서 이러한 부분들을 들 수 있습니다."에 대하여 드래그 입력을 수신하는 경우, 상기 드래그 입력된 텍스트 부분에 취소선을 부가한다(31'). 이에 따라 제어부(180)는, 상기 드래그된 부분이 삭제된 새로운 오디오 파일을 생성하여 저장할 수 있다.
도 12는 본 발명의 제2 실시예에 따른 전자 기기의 제어 방법의 흐름도이다. 본 발명의 제1 실시예에 따른 전자 기기의 제어 방법은, 도 1 및 도 2를 참조하여 설명한 상기 전자 기기(100)에서 구현될 수 있다. 이하 필요한 도면들을 참조하여, 본 발명의 제2 실시예에 따른 전자 기기의 제어 방법과, 이를 구현하기 위한 상기 전자 기기(100)의 동작을 상세히 설명하기로 한다. 상기 본 발명의 제2 실시예는 전술한 제1 실시예에 기초하여 구현될 수 있다.
도 12를 참조하면, 제어부(180)는 레코딩되는 오디오 내용을 제1 콘텐츠와 연관시키기 위한 인디케이터를 터치 스크린(151)에 표시한다(S210).
그리고, 제어부(180)는 상기 인디케이터를 제1 콘텐츠에 포함된 적어도 하나의 아이템과 연관시킨다(S220). 여기서, 상기 인디케이터를 적어도 하나의 아이템과 연관시키는 것은 상기 인디케이터를 소정의 아이템으로 드래그하는 입력을 의미할 수 있다.
제어부(180)는, 상기 동영상 재생 중인 오디오 내용을 상기 아이템과 매핑하여 저장할 수 있다(S230).
도 13은 본 발명의 제2 실시예를 보다 구체적으로 설명하기 위한 전자 기기의 제어 방법의 흐름도이다.
도 13을 참조하면, 제어부(180)는 사용자 입력을 통해 상기 인디케이터를 소정의 아이템과 연관시킬 수 있다(S221).
제어부(180)는 레코딩되는 오디오 내용을 자동으로 분석하고(S222), 상기 오디오 내용과 매칭되는 아이템에 상기 인디케이터를 자동으로 연관시킬 수 있다(S223).
그런 후, 레코딩이 종료되면, 상기 레코딩된 오디오를 상기 인디케이터가 연관된 아이템에 매핑하여 저장할 수 있다.
도 14 내지 도 16은 본 발명의 제2 실시예에 따라 재생되는 동영상의 특정 주제별로 오디오 레코딩을 제어하기 위한 예를 설명하기 위한 도면들이다.
본 발명의 제2 실시예는, 레코딩되는 오디오 내용을 적어도 하나의 아이템에 연관시킬 수 있다.
도 14를 참조하면, 제어부(180)는, 제1 콘텐츠(20)와 제2 콘텐츠(30)를 각각 터치 스크린(151)의 일 영역에 표시할 수 있다.
상기 제1 콘텐츠(20)는 적어도 하나의 아이템(21,22,23,24)을 포함하고, 상기 제1 콘텐츠(20)와 관련된 동영상이 재생되어 소정의 오디오가 레코딩되는 상태에서, 제어부(180)는 상기 레코딩되는 오디오 내용을 상기 아이템과 연관시키기 위한 인디케이터(40)를 상기 터치 스크린(151)에 표시한다.
예를 들어 도 14을 참조하면, 현재 재생되는 동영상을 통해 출력되는 오디오가 제4 아이템(24)과 관련되어 있는 경우, 사용자 입력에 의해 상기 인디케이터(40)를 상기 제4 아이템(24)에 연관시킬 수 있다.
또한 예를 들어, 도 15를 참조하면, 현재 재생되는 동영상을 통해 출력되는 오디오가 제1 아이템(21)과 관련되어 있는 경우, 사용자 입력에 의해 상기 인디케이터(40)를 제1 아이템(24)에 연관시킬 수 있다.
또한, 예를 들어, 도 16을 참조하면, 제1 아이템(21)과 관련된 내용이 종료되고, 제3 아이템(23)과 관련된 오디오 내용이 출력되는 경우, 사용자는 제1 아이템(21)과 연관되어 있는 인디케이터(40)를 제3 아이템(23)과 연관시킬 수 있다. 전술한 바와 같이 상기 인디케이터(40)와 아이템은 드래그 입력을 통해 상기 인디케이터(40)를 상기 아이템에 중첩하여 놓음으로 인해 연관될 수 있다.
전술한 예들은, 동영상 재생 중 특정 구간에 출력되는 오디오 내용이 특정 아이템과 관련있는 경우, 사용자가 소정의 인디케이터를 상기 아이템과 연관시킴으로써, 상기 아이템과 관련있는 오디오 내용이 레코딩되었음을 알 수 있다.
한편, 도 17 내지 도 19의 경우, 소정의 오디오가 특정 아이템과 연관되어 레코딩된 이후, 인디케이터의 이동을 제어함으로써, 레코딩 결과를 재생하는 예를 살펴본다.
도 17 내지 도 19는 본 발명의 제2 실시예에 따라 레코딩된 오디오를 주제별로 재생하는 예를 설명하기 위한 도면들이다.
도 17을 참조하면, 제어부(180)는 상기 인디케이터(40)를 제1 아이템(41)과 중첩하여 표시하는 경우, 상기 제1 아이템(41)과 관련되어 레코딩된 오디오 파일을 재생한다. 이때, 제어부(180)는 상기 제1 아이템(21)에 대하여 레코딩된 오디오가 재생 중임을 알리는 인디케이터(3)를 터치 스크린(151)에 표시할 수 있다.
도 18을 참조하면, 제어부(180)는 제1 아이템(41)에 표시되어 있는 상기 인디케이터(40)를 제2 아이템(22)으로 이동시키는 입력을 수신하는 경우, 상기 제1 아이템(21)과 관련된 오디오의 재생을 중지시키고, 제2 아이템(22)에 대하여 레코딩된 오디오를 재생하여 출력한다. 마찬가지로, 제어부(180)는 상기 제2 아이템(22)에 대하여 레코딩된 오디오가 재생되고 있음을 알리는 인디케이터(3)를 터치 스크린(151)에 표시할 수 있다.
한편, 도 19를 참조하면, 제어부(180)는 제2 아이템(22)에 표시되어 있는 상기 인디케이터(40)를 제4 아이템(24)으로 이동시키는 입력을 수신하는 경우, 상기 제4 아이템(24)에 대하여 레코딩된 오디오를 재생하여 출력한다.
즉, 전술한 실시예들에 의하면, 사용자는 소정의 인디케이터(예를 들어, 마이크 모양의 아이콘)가 소정의 아이템에 이동되면, 전자 기기(100)는 먼저 상기 아이템에 연동되어 레코딩된 오디오 파일이 존재하는지 판단한다. 그런 후, 레코딩된 오디오 파일이 존재하는 경우, 제어부(180)는, 상기 인디케이터가 특정 아이템과 연관되어 있는 동안 상기 특정 아이템에 대하여 레코딩된 오디오 파일을 재생할 수 있다.
한편, 도 20을 참조하면, 제어부(140)는 소정의 오디오가 각각 연동되어 저장된 아이템(21,22,23,24)들이 터치 스크린(151)에 표시된 상태에서, 상기 복수의 아이템(21,22,23,24) 중 어느 하나의 아이템(22)에 대하여 미리 정해진 터치 입력을 수신하는 경우, 선택된 아이템(22)과 매핑되어 저장된 오디오를 문장 단위로 편집하기 위한 사용자 인터페이스(30)를 제공한다.
예를 들어, 제2 아이템(22)에 대한 롱 터치 입력을 수신하는 경우, 제어부(180)는 상기 제2 아이템(22)과 관련하여 레코딩된 오디오 내용이 문장단위(S1,S2,S3,S4)의 텍스트로 전환되어 구성되는 영역(30)을 터치 스크린(151)에 표시할 수 있다. 즉, 제2 아이템(22)과 관련된 오디오 내용을 도 20에 도시된 바와 같이 시각적으로 표시함으로써, 사용자는, 원하는 텍스트만을 선택하거나, 필요없는 텍스트를 삭제하는 편집을 수행할 수 있다.
제어부(180)는 상기 복수의 문장 단위의 텍스트(S1,S2,S3,S4) 중 적어도 하나의 문장 단위를 선택함으로써, 선택된 문장만을 제2 아이템(22)에 연관된 오디오 내용으로 편집할 수 있다.
예를 들어, 제어부(180)는, 상기 복수의 문장 단위의 텍스트(S1,S2,S3,S4) 중 제1 문장(S1)을 선택하는 입력을 수신하는 경우, 상기 인디케이터(40)를 상기 제1 문장(S1)에 태깅함으로써, 제2 아이템(22)에 대응하는 오디오 파일을 제1 문장(S1)으로 인식할 수 있다.
도 21은 본 발명의 제3 실시에에 따른 전자 기기의 제어 방법의 흐름도이다.도 22 내지 도 27은 본 발명의 제3 실시예를 설명하기 위한 도면들이다.
도 21을 참조하면, 제어부(180)는 제1 콘텐츠와 제2 콘텐츠를 터치 스크린(151)에 표시한다(S310). 제어부(180)는 제1 콘텐츠를 터치 스크린(151)의 제1 영역에 표시하고(S311), 제2 콘텐츠를 터치 스크린(151)의 제2 영역에 표시할 수 있다(S312).
제어부(180)는 제1 영역의 특정 지점에 미리 정해진 터치 입력을 수신하는 경우(S320), 상기 특정 지점에 대하여 메모 입력을 받기 위한 인터페이스를 제2 영역에 표시할 수 있다(S330).
즉, 본 발명의 제3 실시예는, 동영상 강의가 재생되는 중, 동영상 강의 관련 자료에 소정의 메모를 입력하고자 하는 경우, 상기 동영상 강의 관련 자료에 대하여 미리 정해진 터치 입력을 수신하면, 상기 메모를 위한 사용자 인터페이스를 제공한다.
도 22를 참조하면, 제어부(180)는 제1 콘텐츠(20)를 터치 스크린(151)의 제1 영역에 표시하고, 제2 콘텐츠(30)를 터치 스크린(151)의 제2 영역에 표시할 수 있다. 그리고, 제어부(180)는, 동영상이 재생되는 중 오디오가 레코딩되고 있으며, 레코딩 중인 시간(4)을 터치 스크린(151)에 표시할 수 있다.
도 22 및 도 23을 참조하면, 제어부(180)는, 제1 영역에 포함된 제1 콘텐츠(25)에 대하여 멀티 터치 입력 즉, 줌 인 입력을 수신하는 경우, 상기 멀티 터치 입력이 수신된 지점에 메모를 삽입하기 위한 인터페이스(50)를 제2 영역의 적어도 일부의 영역에 제공할 수 있다.
도 24를 참조하면, 제어부(180)는, 상기 메모를 입력하기 위한 인터페이스(50)에 사용자의 필기 입력(51)을 수신할 수 있다. 한편, 상기 인터페이스(50)는 소정의 방향 키(52)를 구비하여, 메모를 삽입하고자 하는 위치를 상기 방향 키(52)를 통해 조절할 수 있다.
도 25를 참조하면, 상기 제2 영역(30)에 표시되는 상기 인터페이스(50)를 통해 소정의 사용자 필기 입력이 입력되면, 제어부(180)는, 상기 필기 입력된 메모를 제1 영역(20) 중 멀티 터치 입력이 수신된 지점(AM)에 삽입하여 표시한다.
한편, 본 발명은, 상기 메모를 삽입하기 위한 인터페이스는 전술한 사용자 필기 입력을 입력받기 위한 영역에 한정되지 않는다.
예를 들어, 도 26을 참조하면, 상기 인터페이스는 가상 키보드(53)를 포함할 수 있다. 상기 가상 키보드(53)는 제2 영역(30) 내에 표시될 수 있으며, 상기 가상 키보드(53)를 통해 입력되는 메모는 제1 영역(20)의 특정 지점(AM)에 삽입되어 표시될 수 있다.
또한, 예를 들어, 도 27을 참조하면, 상기 인터페이스는 음성 입력 모듈(도 1의 마이크 122)이 활성화되어 마이크 아이콘(54)이 제2 영역(30)에 표시되는 구성일 수 있다. 이 경우, 상기 마이크(도 1의 122)가 활성화되어, 사용자의 음성 명령(메모)을 인식하고, 인식된 결과를 상기 제1 영역(20)의 특정 지점(AM)에 삽입하여 표시할 수 있다.
도 28a 내지 도 28c는 본 발명의 제4 실시예를 설명하기 위한 도면들이다. 본 발명의 제4 실시예는, 오디오가 레코딩된 동영상 페이지 중 원하는 페이지를 선택하는 경우에 대하여 설명한다.
도 28a를 참조하면, 제어부(180)는 동영상 재생 화면(10)에 대한 터치 입력을 수신하는 경우, 상기 동영상의 재생을 제어하기 위한 프로그레스 바(3)를 터치 스크린(151)에 표시한다. 상기 프로그레스 바(3)의 일 지점을 선택하여 다른 지점으로 드래그하는 입력을 수신하는 경우, 제어부(180)는 상기 프로그레스 바(3)에 재생 시간 순서로 매핑되어 있는 복수의 재생 페이지에 각각 대응되는 썸 네일 이미지(4)를 상기 프로그레스 바(3)의 상단에 표시할 수 있다.
상기 썸 네일 이미지(4) 중 원하는 페이지(page 13)를 선택하는 입력을 수신하는 경우, 도 28b에 예시적으로 도시된 바와 같이 제1 재생 화면(20, page 21)은 터치 스크린(151)의 뒤로 후퇴하고, 선택된 제2 재생 화면(20', page 13)이 터치 스크린(151)의 중앙 영역에 표시될 수 있다. 또한, 상기 제1 재생 화면(20) 및 제2 재생 화면(20')은 각각 제1 콘텐츠에 대응된다. 또한, 제어부(180)는 상기 제2 재생 화면(20', page 13)과 함께, 제2 재생 화면에 대응되는 오디오가 텍스트로 전환되어 생성된 제2 콘텐츠(30')를 터치 스크린(151)에 표시할 수 있다.
도 28c에서 제1 재생 화면(20)을 다시 선택하는 경우, 제어부(180)는, 상기 제1 재생 화면(20)을 터치 스크린(151)의 중앙 영역에 표시하고, 상기 제1 재생 화면(20)에 대응하는 오디오를 재생할 수 있다.
도 29 내지 도 32은 본 발명의 제5 실시예를 설명하기 위한 도면들이다. 본 발명의 제5 실시예는 동영상이 강의인 경우, 강연자를 식별하기 위한 식별표지를 함께 표시하는 예를 나타낸다.
도 29를 참조하면, 제어부(180)는, 동영상 강의가 진행되는 중, 제1 콘텐츠(20) 및 제2 콘텐츠(30)를 터치 스크린(151)에 표시하고, 이와 더불어 강연자를 나타내는 아바타 이미지(80)를 터치 스크린(151) 상의 임의의 영역에 표시할 수 있다.
한편, 본 발명의 제5 실시예의 경우, 동영상의 재생에 한정되지 않고, 화상 통화, 컨퍼런스 콜 등 카메라를 통해 영상 통화를 수행하고, 영상 통화 내용이 레코딩되는 중, 영상 통화 내용이 텍스트로 전환되어 표시되는 예들에 적용될 수 있다. 즉, 도 29를 참조하면, 아바타 이미지 80에 보여지는 이미지는 영상 통화의 상대방 이미지일 수 있으며, 제2 콘텐츠(30)는 상기 영상 통화 내용이 텍스트로 전환되어 생성된 콘텐츠일 수 있다.
도 30을 참조하면, 제어부(180)는 본 발명의 제1 내지 제4 실시예에 따라 동영상(10)을 재생하는 중, 출력되는 오디오에 대응하는 화자의 이미지(80,81,82,83)를 동영상의 재생 시간의 순서에 따라 터치 스크린(151)상에 표시할 수 있다. 이 때, 상기 도 30에 도시된 동영상 10은 소정의 화자 이미지들이 오디오와 함께 매핑되어 저장된 상태를 가정한다.
도 31을 참조하면, 제어부(180)는, 복수의 화자 이미지들(81,82,83) 중 제1 화자 이미지(81)가 선택되면, 상기 화자(speaker)가 발화한 내용이 텍스트로 전환되어 생성된 텍스트(91)를 상기 제1 화자 이미지(81) 근방에 표시할 수 있다.
한편, 본 발명은 전술한 바와 같이, 화자에 대응하는 이미지를 통해 오디오로 재생되는 화자를 구부하고 있다. 그러나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, 화자에 따라 각 화자의 발화 내용이 텍스트로 표시될 때, 상기 텍스트의 디스플레이 특성을 변경함으로써, 화자를 구분할 수 있다. 예를 들어, 제1 화자의 스피치 내용에 대응하는 텍스트는 제1 색상으로 표시하고, 제2 화자의 스피티 내용에 대응하는 텍스트는 제2 색상으로 표시할 수 있다.
한편, 도 32를 참조하면, 제어부(180)는, 도 31에 도시된 복수의 화자 이미지들(81,82,83) 중 제2 화자 이미지(82)가 선택되면, 제2 화자가 발화한 내용이 텍스트로 전환되어 생성된 텍스트(92)를 제2 화자 이미지(82)의 근방에 표시할 수 있다. 이때 상기 텍스트(92)를 스크롤할 수 있는 스크롤 바(93)를 함께 표시할 수 있다.
도 33a 내지 도 34는 본 발명의 제6 실시예를 설명하기 위한 도면들이다. 본 발명의 제6 실시예는, 사용자가 동영상을 청취하는 중, 제1 콘텐츠에 대하여 중요한 식별표지를 표시한 경우, 해당 식별 표지가 태깅된 콘텐츠만을 추출하여 디스플레이한다.
도 33a를 참조하면, 제1 콘텐츠(20)와 제2 콘텐츠(30)가 표시된 상태에서, 제1 콘텐츠 영역에 대하여 롱 터치 입력을 수신하는 경우, 상기 제1 콘텐츠(20) 영역에 대하여 사용자의 필기 입력을 인식할 수 있는 모드에 진입한다.
여기서, 상기 사용자의 필기 입력은, 도 33b에 도시된 바와 같이, 제1 콘텐츠(10)의 특정 아이템에 대하여 하이라이팅 처리하는 입력일 수 있다. 예를 들어 ,상기 하이라이팅 입력은 별표(201), 밑줄(202) 또는 상기 아이템의 크기를 확대하는 등을 포함할 수 있다.
그런 후, 제어부(180)는, 도 34에 도시된 바와 같이, 사용자가 동영상을 청취하는 중 동영상과 관련된 제1 콘텐츠에 대하여 하이라이팅 처리된 부분만을 요약하여 터치 스크린(151)에 표시할 수 있다. 여기서, 상기 요약하여 표시되는 사항은, 제1 콘텐츠의 페이지 번호와, 레코딩된 오디오가 텍스트로 변환되어 생성된 텍스트 및 하이라이팅 표시 등을 포함할 수 있다.
전술한 실시예들에서는 전자 기기(100)의 음향 출력 모듈(152)을 통해 소정의 오디오가 출력되는 중, 오디오를 레코딩하고, 레코딩되는 오디오 내용와 관련된 콘텐츠가 존재하는 경우 상기 콘텐츠를 터치 스크린에 표시하고, 상기 레코딩되는 오디오 내용을 실시간으로 텍스트로 변환하고, 상기 변환된 텍스트를 문장단위로 표시하는 예들에 대하여 설명하였다.
그러나, 본 발명에서, 레코딩되는 오디오는, 상기 전자 기기(100)의 음향 출력 모듈(152)을 통해 출력되는 사운드에 한정되지 않는다. 예를 들어, 본 발명의 일 실시예는, 오프라인으로 진행되는 강연장에서 수행될 수 있다. 이하, 도 35 내지 도 36을 참조하여 레코딩되는 오디오가, 사용자의 음성인 경우에 대하여 설명한다.
도 35는 본 발명의 제7 실시예에 따른 전자 기기의 제어 방법의 흐름도이다.도 36은 본 발명의 제7 실시예를 설명하기 위한 도면이다. 본 발명의 제7 실시예에 따른 전자 기기의 제어 방법은, 도 1 및 도 2를 참조하여 설명한 상기 전자 기기(100)에서 구현될 수 있다.
도 35를 참조하면, 제어부(180)는 오디오 레코딩 코드에 진입한다(S410). 상기 오디오 레코딩 모드에서 제어부(180)는 마이크(도 1의 122)를 온(on)시키고, 상기 마이크(122)로 입력되는 사운드를 레코딩 한다(S430).
여기서, 상기 마이크(도 1의 122)를 통해 입력되는 오디오는 외부로부터 입력되는 사운드이다. 상기 사운드는 강연자의 음성일 수 있다.
한편, 제어부(180)는 상기 레코딩되는 사운드와 관련된 콘텐츠가 존재하는지 판단한다(S440). 상기 사운드와 관련된 콘텐츠가 전자 기기(100)의 내부에 존재하는 경우, 상기 콘텐츠를 터치 스크린(151)의 일 영역에 표시할 수 있다(S460).
여기서, 제어부(180)는 상기 사운드의 내용을 분석하여, 상기 사운드에 대응하는 콘텐츠를 전자 기기(100)의 메모리(160)로부터 읽어들일 수 있다.
한편, 제어부(180)는 상기 사운드와 관련된 콘텐츠가 전자 기기(100)의 내부에 존재하지 않는 경우, 상기 터치 스크린(151)에 표시할 콘텐츠를 사용자의 입력에 의해 선택하고(S450), 선택된 콘텐츠를 터치 스크린(151)에 표시할 수 있다(ㅒS460).
제어부(180)는, 상기 레코딩된 사운드를 텍스트로 전환하여 상기 터치 스크린(151)의 일 영역에 표시할 수 있다(S470). 상기 텍스트로 전환하여 표시하는 예는 전술한 실시예에서 설명한 바와 같다.
도 36을 참조하면, 전자 기기(100)는 오디오 레코딩 모드에 진입하고, 상기 오디오 레코딩 모드에서, 강연자의 스피치 내용을 텍스트로 전환한 콘텐츠(STT1,STT2,STT3) 및 상기 스피치 내용과 관련된 콘텐츠(C1)을 터치 스크린(151)에 표시할 수 있다.
상기에서 설명한 본 발명에 의한 전자 기기의 제어 방법은, 컴퓨터에서 실행시키기 위한 프로그램으로 컴퓨터로 읽을 수 있는 기록매체에 기록하여 제공될 수 있다.
본 발명에 의한 전자 기기의 제어 방법은 소프트웨어를 통해 실행될 수 있다. 소프트웨어로 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는, ROM, RAM, CD-ROM, DVD±ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크(hard disk), 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 또한 본 문서에서 설명된 실시예들은 한정되게 적용될 수 있는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 전자 기기
151: 디스플레이부(터치 스크린)

Claims (18)

  1. 터치 스크린; 및
    연계되는 오디오를 포함하는 영상을 재생하는 중 미리 정해진 입력을 통해 상기 재생되는 영상에 포함된 오디오를 레코딩하는 모드에 진입하는 경우, 상기 오디오를 레코딩하는 중 상기 영상의 재생과 관련된 텍스트 및 이미지 중 적어도 하나를 포함하는 제1 콘텐츠 및 상기 레코딩되는 오디오를 텍스트로 전환하여 생성되는 제2 콘텐츠를 상기 터치 스크린에 표시하는 제어부;를 포함하고,
    상기 제어부는,
    상기 제2 콘텐츠에 포함된 적어도 일부의 텍스트에 대한 드래그 입력을 수신하는 경우, 상기 드래그 입력이 부가된 텍스트 영역에 대하여 취소선을 부가하여 표시하고,
    상기 레코딩된 오디오 중 상기 드래그된 텍스트에 대응하는 영역이 삭제된 새로운 오디오 파일을 생성하여 메모리에 저장하는 것을 특징으로 하는 전자 기기.
  2. 제 1 항에 있어서,
    상기 영상은, 정지영상 또는 동영상을 포함하고,
    상기 재생되는 영상은,
    상기 정지 영상의 복수의 슬라이드가 상기 터치 스크린에 순차적으로 표시되거나, 상기 동영상이 재생되는 것을 포함하는 것을 특징으로 하는 전자 기기.
  3. 제 1 항에 있어서,
    상기 제어부는,
    상기 영상의 재생 화면을 상기 터치 스크린에 표시하고, 상기 미리 정해진 입력은 상기 영상의 재생 화면에 대하여 미리 정해진 터치 입력을 포함하는 것을 특징으로 하는 전자 기기.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 제2 콘텐츠는 상기 텍스트가 문장 단위로 구별되어 표시되는 것을 특징으로 하는 전자 기기.
  6. 제 5 항에 있어서,
    상기 제어부는,
    특정 문장에 대하여 미리 정해진 입력을 수신하는 경우, 상기 특정 문장에 대응하는 오디오를 재생하여 출력하는 것을 특징으로 하는 전자 기기.
  7. 제 5 항에 있어서,
    상기 제어부는,
    상기 오디오의 레코딩이 진행 중임을 나타내는 프로그레스 바를 상기 터치 스크린에 표시하고, 상기 프로그레스 바는 현재 시점의 레코딩 지점을 나타내는 헤더를 포함하고,
    상기 헤더를 이전의 레코딩 시간에 대응하는 제1 지점으로 드래그하는 입력을 수신하는 경우, 상기 헤더를 상기 제1 지점의 오디오에 대응하는 텍스트가 포함되는 문장의 시작 지점에 대응하는 제2 지점으로 이동하여 표시하고, 상기 제2 지점에서 시작되는 문장을 상기 터치 스크린에 표시하는 것을 특징으로 하는 전자 기기.
  8. 제 1 항에 있어서,
    상기 제어부는,
    상기 영상의 재생을 통해 출력되는 오디오 중 상기 제1 콘텐츠와 연관된 내용이 레코딩되는 경우, 상기 영상 중 상기 제1 콘텐츠와 관련된 내용이 레코딩 중을 알리는 인디케이터(indicator)를 상기 제1 콘텐츠와 함께 표시하는 것을 특징으로 하는 전자 기기.
  9. 제 8 항에 있어서,
    상기 제어부는,
    상기 인디케이터가 함께 표시된 제1 컨텐츠를 선택하는 입력을 수신하는 경우, 상기 레코딩된 오디오를 재생하여 출력하는 것을 특징으로 하는 전자 기기.
  10. 제 9 항에 있어서,
    상기 제어부는,
    상기 레코딩된 오디오가 재생되는 중에 현재 재생 중인 영상의 오디오를 백그라운드로 레코딩하는 것을 특징으로 하는 전자 기기.
  11. 제 9 항에 있어서,
    상기 제어부는,
    상기 제1 컨텐츠를 선택하는 입력이 수신된 시점에 대응하는 지점을 상기 영상의 재생을 제어하는 프로그레스 바에 표시하는 것을 특징으로 하는 전자 기기.
  12. 삭제
  13. 제 1 항에 있어서,
    상기 제1 콘텐츠는 적어도 하나의 아이템을 포함하고,
    상기 레코딩되는 오디오 내용을 상기 아이템과 연관시키기 위한 인디케이터를 상기 터치 스크린에 표시하고,
    상기 제어부는,
    상기 인디케이터를 상기 적어도 하나의 아이템 중 어느 하나의 아이템에 연관시키는 입력을 수신하는 경우, 상기 레코딩되는 오디오 내용을 상기 아이템과 매핑하는 것을 특징으로 하는 전자 기기.
  14. 제 13 항에 있어서,
    상기 제어부는,
    상기 레코딩되는 내용을 분석하고, 상기 인디케이터를 상기 적어도 하나의 아이템 중 상기 레코딩되는 내용과 매칭되는 아이템에 연관하여 표시하는 것을 특징으로 하는 전자 기기.
  15. 제 1 항에 있어서,
    상기 제어부는,
    상기 제1 콘텐츠를 상기 터치 스크린의 제1 영역에 표시하고, 상기 제2 콘텐츠를 상기 터치 스크린의 제2 영역에 표시하고, 상기 제1 영역의 특정 지점에 미리 정해진 터치 입력을 수신하는 경우, 상기 특정 지점에 삽입하기 위한 메모를 입력받기 위한 메모 인터페이스(memo interface)를 상기 제2 영역의 적어도 일부의 영역에 제공하는 것을 특징으로 하는 전자 기기.
  16. 제 15 항에 있어서,
    상기 미리 정해진 터치 입력은,
    상기 특정 지점에 대한 줌 인(zoom in) 입력을 포함하는 것을 특징으로 하는 전자 기기.
  17. 제 15 항에 있어서,
    상기 메모 인터페이스는,
    사용자의 필기 입력을 입력받기 위한 필기 입력 영역, 가상 키보드 영역 또는 사용자의 음성을 수신하기 위한 음성 입력 모듈이 활성화되었음을 식별하기 위한 인디케이터를 포함하는 것을 특징으로 하는 전자 기기.
  18. 연계되는 오디오를 포함하는 영상을 재생하는 단계;
    미리 정해진 입력을 수신하는 경우, 상기 영상에 포함된 오디오를 레코딩하는 모드에 진입하는 단계; 및
    상기 오디오를 레코딩하는 중 상기 영상의 재생과 관련된 텍스트 및 이미지 중 적어도 하나를 포함하는 제1 콘텐츠 및 상기 레코딩되는 오디오를 텍스트로 전환하여 생성되는 제2 콘텐츠를 터치 스크린에 표시하는 단계;
    상기 제2 콘텐츠에 포함된 적어도 일부의 텍스트에 대한 드래그 입력을 수신하는 경우, 상기 드래그 입력이 부가된 텍스트 영역에 대하여 취소선을 부가하여 표시하는 단계; 및
    상기 레코딩된 오디오 중 상기 드래그된 텍스트에 대응하는 영역이 삭제된 새로운 오디오 파일을 생성하여 메모리에 저장하는 단계;
    를 포함하는 전자 기기의 제어 방법.
KR1020130003239A 2013-01-11 2013-01-11 전자 기기 및 전자 기기의 제어 방법 KR102196671B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130003239A KR102196671B1 (ko) 2013-01-11 2013-01-11 전자 기기 및 전자 기기의 제어 방법
EP13198683.8A EP2755399B1 (en) 2013-01-11 2013-12-19 Electronic device and control method thereof
CN201310750267.8A CN103926981B (zh) 2013-01-11 2013-12-31 电子设备及其控制方法
US14/149,399 US9959086B2 (en) 2013-01-11 2014-01-07 Electronic device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130003239A KR102196671B1 (ko) 2013-01-11 2013-01-11 전자 기기 및 전자 기기의 제어 방법

Publications (2)

Publication Number Publication Date
KR20140091236A KR20140091236A (ko) 2014-07-21
KR102196671B1 true KR102196671B1 (ko) 2020-12-30

Family

ID=49958183

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130003239A KR102196671B1 (ko) 2013-01-11 2013-01-11 전자 기기 및 전자 기기의 제어 방법

Country Status (4)

Country Link
US (1) US9959086B2 (ko)
EP (1) EP2755399B1 (ko)
KR (1) KR102196671B1 (ko)
CN (1) CN103926981B (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD738889S1 (en) 2013-06-09 2015-09-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
US20150205518A1 (en) * 2014-01-22 2015-07-23 Lenovo (Singapore) Pte. Ltd. Contextual data for note taking applications
US20150363101A1 (en) * 2014-06-13 2015-12-17 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Video scrolling shortcuts for touchscreen display
US10275207B2 (en) 2014-09-01 2019-04-30 Samsung Electronics Co., Ltd. Method and apparatus for playing audio files
KR102252665B1 (ko) * 2014-09-01 2021-05-17 삼성전자주식회사 오디오 파일 재생 방법 및 장치
KR102373460B1 (ko) 2014-09-15 2022-03-11 삼성전자주식회사 디바이스에 객체를 표시하는 방법 및 그 디바이스
JP6509516B2 (ja) * 2014-09-29 2019-05-08 Ｄｙｎａｂｏｏｋ株式会社 電子機器、方法及びプログラム
KR102399589B1 (ko) * 2014-11-05 2022-05-18 삼성전자주식회사 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체
KR102319456B1 (ko) * 2014-12-15 2021-10-28 조은형 콘텐츠 재생 방법 및 이를 수행하는 전자 기기
JP6464411B6 (ja) * 2015-02-25 2019-03-13 Ｄｙｎａｂｏｏｋ株式会社 電子機器、方法及びプログラム
KR101596848B1 (ko) 2015-03-02 2016-02-23 엘지전자 주식회사 디스플레이 패널 및 이동 단말기
JP6392150B2 (ja) * 2015-03-18 2018-09-19 株式会社東芝 講演支援装置、方法およびプログラム
US11199962B2 (en) 2015-04-27 2021-12-14 Shane Venis Freehand memo image authentication
US20170060531A1 (en) * 2015-08-27 2017-03-02 Fred E. Abbo Devices and related methods for simplified proofreading of text entries from voice-to-text dictation
US10089061B2 (en) 2015-08-28 2018-10-02 Kabushiki Kaisha Toshiba Electronic device and method
US20170075652A1 (en) 2015-09-14 2017-03-16 Kabushiki Kaisha Toshiba Electronic device and method
KR102512840B1 (ko) * 2015-10-15 2023-03-22 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
KR102065522B1 (ko) * 2015-10-23 2020-02-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
US10121474B2 (en) * 2016-02-17 2018-11-06 Microsoft Technology Licensing, Llc Contextual note taking
JP2017167805A (ja) 2016-03-16 2017-09-21 株式会社東芝 表示支援装置、方法およびプログラム
WO2017182850A1 (en) * 2016-04-22 2017-10-26 Sony Mobile Communications Inc. Speech to text enhanced media editing
KR20180066582A (ko) * 2016-12-09 2018-06-19 주식회사 하이딥 터치 입력 장치에서 디스플레이되는 객체에 메모를 삽입하는 방법
US10560656B2 (en) * 2017-03-19 2020-02-11 Apple Inc. Media message creation with automatic titling
WO2020107173A1 (zh) * 2018-11-26 2020-06-04 深圳市大疆创新科技有限公司 界面内容调整方法、电子设备、机器可读存储介质
CN110992960A (zh) * 2019-12-18 2020-04-10 Oppo广东移动通信有限公司 控制方法、装置、电子设备和存储介质
CN111666024B (zh) * 2020-05-28 2022-04-12 维沃移动通信（杭州）有限公司 屏幕录制方法、装置及电子设备
CN113936697B (zh) * 2020-07-10 2023-04-18 北京搜狗智能科技有限公司 语音处理方法、装置以及用于语音处理的装置
FR3120491A1 (fr) * 2021-03-05 2022-09-09 Orange Procédé de rendu de flux audiovisuel, terminal électronique et produit programme d’ordinateur correspondant

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010000540A1 (en) * 1997-12-23 2001-04-26 Cooper Frederick J. Time shifting by concurrently recording and playing an audio stream
US20070266304A1 (en) * 2006-05-15 2007-11-15 Microsoft Corporation Annotating media files
US20080145032A1 (en) * 2006-12-18 2008-06-19 Nokia Corporation Audio routing for audio-video recording
US20120174009A1 (en) * 2010-12-29 2012-07-05 Samsung Electronics Co., Ltd. Method for inputting memo in touch screen terminal and device thereof
US20120236201A1 (en) * 2011-01-27 2012-09-20 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
US20120297284A1 (en) * 2011-05-18 2012-11-22 Microsoft Corporation Media presentation playback annotation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831469B2 (en) * 2003-04-03 2010-11-09 International Business Machines Corporation Verifying audio output at a client device
US20060092291A1 (en) * 2004-10-28 2006-05-04 Bodie Jeffrey C Digital imaging system
US7529772B2 (en) * 2005-09-27 2009-05-05 Scenera Technologies, Llc Method and system for associating user comments to a scene captured by a digital imaging device
US20080177536A1 (en) * 2007-01-24 2008-07-24 Microsoft Corporation A/v content editing
KR20100129676A (ko) * 2009-05-30 2010-12-09 황재엽 핸드헬드 태블릿피씨 시스템
US9117483B2 (en) * 2011-06-03 2015-08-25 Michael Edward Zaletel Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition
US20130007606A1 (en) * 2011-06-30 2013-01-03 Nokia Corporation Text deletion
KR101457116B1 (ko) * 2011-11-07 2014-11-04 삼성전자주식회사 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010000540A1 (en) * 1997-12-23 2001-04-26 Cooper Frederick J. Time shifting by concurrently recording and playing an audio stream
US20070266304A1 (en) * 2006-05-15 2007-11-15 Microsoft Corporation Annotating media files
US20080145032A1 (en) * 2006-12-18 2008-06-19 Nokia Corporation Audio routing for audio-video recording
US20120174009A1 (en) * 2010-12-29 2012-07-05 Samsung Electronics Co., Ltd. Method for inputting memo in touch screen terminal and device thereof
US20120236201A1 (en) * 2011-01-27 2012-09-20 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
US20120297284A1 (en) * 2011-05-18 2012-11-22 Microsoft Corporation Media presentation playback annotation

Also Published As

Publication number Publication date
KR20140091236A (ko) 2014-07-21
CN103926981B (zh) 2019-07-02
US9959086B2 (en) 2018-05-01
CN103926981A (zh) 2014-07-16
EP2755399B1 (en) 2019-06-26
US20140201637A1 (en) 2014-07-17
EP2755399A1 (en) 2014-07-16

Similar Documents

Publication Publication Date Title
KR102196671B1 (ko) 전자 기기 및 전자 기기의 제어 방법
KR101976178B1 (ko) 이동 단말기 및 이동 단말기의 제어 방법
KR102063766B1 (ko) 이동 단말기 및 그것의 제어방법
JP5837627B2 (ja) 電子機器及び電子機器の制御方法
KR101978216B1 (ko) 이동 단말기 및 그 제어방법
US9710136B2 (en) Mobile terminal having video playback and method for controlling of the same
KR101537683B1 (ko) 휴대 단말기
KR101943320B1 (ko) 이동단말기 및 그 제어방법
KR101912409B1 (ko) 이동 단말기 및 이동 단말기의 제어 방법
KR101997447B1 (ko) 이동단말기 및 그 제어 방법
KR20130026892A (ko) 이동 단말기 및 그것의 사용자 인터페이스 제공 방법
CN103811005A (zh) 移动终端及其控制方法
KR20100026479A (ko) 이동 단말기 및 그의 음악재생 제어방법
KR20130076229A (ko) 이동 단말기 및 그 제어 방법, 이를 위한 기록 매체
KR20150028149A (ko) 이동 단말기 및 그 제어방법
KR101935358B1 (ko) 동영상 편집 단말기 및 그 제어방법
KR101919790B1 (ko) 이미지 표시 장치 및 그 제어방법
KR101615969B1 (ko) 이동 단말기 및 이동 단말기에서의 정보 제공 방법
KR20150002177A (ko) 이동단말기 및 그 제어방법
KR20140090114A (ko) 키워드 검색 방법 및 장치
KR20130100448A (ko) 이동 단말기 및 그 제어방법
KR101984094B1 (ko) 이동 단말기 및 그것의 제어방법
KR101448650B1 (ko) 단말기 및 그 제어 방법
KR20150064528A (ko) 전자 기기 및 그 제어 방법
KR20140133190A (ko) 이동 단말기 및 이의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant