KR20160055813A - 스마트폰/카메라상에서 터치스크린을 통하여 비디오 편집을 하기 위한 제스처에 기초하여 상호작용하는 그래픽 사용자 인터페이스 - Google Patents

스마트폰/카메라상에서 터치스크린을 통하여 비디오 편집을 하기 위한 제스처에 기초하여 상호작용하는 그래픽 사용자 인터페이스 Download PDF

Info

Publication number
KR20160055813A
KR20160055813A KR1020167006896A KR20167006896A KR20160055813A KR 20160055813 A KR20160055813 A KR 20160055813A KR 1020167006896 A KR1020167006896 A KR 1020167006896A KR 20167006896 A KR20167006896 A KR 20167006896A KR 20160055813 A KR20160055813 A KR 20160055813A
Authority
KR
South Korea
Prior art keywords
image
effect
response
quadrant
video
Prior art date
Application number
KR1020167006896A
Other languages
English (en)
Inventor
네일 디 보스
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201361878245P priority Critical
Priority to US61/878,245 priority
Priority to US201462003281P priority
Priority to US62/003,281 priority
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Priority to PCT/US2014/053381 priority patent/WO2015038356A1/en
Publication of KR20160055813A publication Critical patent/KR20160055813A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders, dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23293Electronic viewfinders
    • H04N5/232933Graphical User Interface [GUI] specifically adapted for controlling image capture or setting capture parameters, e.g. using a touchscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558Details of hyperlinks; Management of linked annotations
    • G06F17/30
    • G06F17/30843
    • G06F17/30846
    • G06F17/30882
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for entering handwritten data, e.g. gestures, text
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the screen or tablet into independently controllable areas, e.g. virtual keyboards, menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/029Insert-editing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23245Operation mode switching of cameras, e.g. between still/video, sport/normal or high/low resolution mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23293Electronic viewfinders
    • H04N5/232939Electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N5/232945Region indicators or field of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278Subtitling
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Abstract

터치스크린을 구비한 스마트폰 또는 카메라 상에서 비디오 스타일 편집을위한 상효작용하는 그래픽 사용자 인터페이스에 기초한 제스처이다. 방법 및 장치는 모바일 디바이스 상에서 비디오를 편집하고 비디오 효과를 변경한다. 시스템은 사용자가 제스처의 사용을 통해 모바일 디바이스 상의 비디오 효과를 바꾸도록 한다. 계층 편집이 색조, 밝기와 같은 제 1 레벨 및 편집 테마 또는 편집 스타일과 같은 제 2 레벨을 통해 예측된다. 제스처를 통해 사용자가 비디오 효과를 변경할 때, 변경은 사용자에게 그래픽의 피드백을 제공하는 비디오에 동시에 적용된다.

Description

스마트폰/카메라상에서 터치스크린을 통하여 비디오 편집을 하기 위한 제스처에 기초하여 상호작용하는 그래픽 사용자 인터페이스{GESTURE BASED INTERACTIVE GRAPHICAL USER INTERFACE FOR VIDEO EDITING ON SMARTPHONE/CAMERA WITH TOUCHSCREEN}
본 출원은 2013년 9월 16일 제출된 미국 가출원 제 61/878245호 및 2014년 5월 27일 제출된 미국 가출원 제 62/003281호의 우선권을 주장하며, 이 전체가 본 명세서에 참조로서 병합된다.
휴대용 전자 디바이스는 더욱 어디에서나 흔히 볼 수 있게 되고 있다. 모바일 폰, 뮤직 플레이어, 카메라, 태블릿 등과 같은 디바이스들은 종종 여러 객체 중복를 운반하는 렌더링 디바이스의 조합을 포함한다. 예를 들어, 애플 아이폰 또는 삼성 갤럭시 안드로이드 폰과 같은 현재의 터치 스크린 모바일 폰은 비디오 및 스틸 카메라, 글로벌 위치 탐색 시스템, 인터넷 브라우저, 문자 및 전화, 비디오 및 뮤직 플레이어, 등을 포함한다. 이러한 디바이스는 수신된 데이터를 송신하기 위해 다중 네트워크, 예컨대, WiFi, 유선, 3G와 같은 셀룰러 상에 종종 인에이블된다.
휴대용 전자제품의 이차적인 특징의 품질은 꾸준히 향상되어왔다. 예를 들어, 초기의 "카메라 폰"은 고정된 초점 거리 렌즈와 플레쉬가 없는 낮은 해상도 센서로 구성되어있었다. 오늘날, 많은 모바일 폰은 완전한 고 해상도 비디오 기능, 편집 및 필터링 툴, 뿐만 아니라 고 해상도 디스플레이를 포함한다. 이러한 향상된 기능으로, 많은 사용자들이 그들의 주요한 사진 디바이스로서 이러한 디바이스를 사용하고 있다. 따라서, 사진 틀에 삽입되는 더욱 향상된 성능 및 전문적인 수준에 대한 요구가 있다. 게다가, 사용자들은 단지 사진을 프린트하는 것보다 많은 방식으로 다른 사람들과 그들의 콘텐츠를 공유하고 싶어 하고 또 이를 쉽게 하길 원한다. 사용자들은 유투브와 같은 비디오 저장 사이트 또는 소셜 미디어 사이트에 콘텐츠를 업로드 할 수 있다. 하지만, 사용자들은 공유하기 전에 그들의 사진 또는 비디오를 수정하고 이러한 편집이 모바일 디바이스 상에서 이상적으로 행해지길 원할 수 있다. 사용자는 비디오의 길이, 칼라 필터 변경, 밝기 또는 다른 비디오 효과를 편집하길 원할 수 있다. 이러한 특징들은 보통 모바일 디바이스 상에서 이용 가능하지 않고 따라서 사용자는 편집을 수행하기 위해 컴퓨터에 콘텐츠를 먼저 다운로드해야한다. 이는 종종 사용자의 숙련 수준 이상을 요구하거나, 또는 실행하기 위해 너무 많은 시간과 노력을 요구하기 때문에 사용자는 종종 비디오 콘텐츠를 공유하는 것을 단념하게 된다. 이러한 공유 방법은 이메일, 문자, 또는 페이스북, 트위터, 유투브 등과 같은 소셜 미디어 웹 사이트를 포함할 수 있다. 사용자가 모바일 디바이스 상에서 비디오를 쉽게 편집하고 미디어를 공유할 수 있는 것은 바람직할 것이다.
방법 및 장치는 이미지 또는 비디오를 편집하고, 이미지 또는 비디오의 속성을 변경하고, 이미지 또는 비디오에 효과를 추가한다.
본 발명의 일 양상에 따라, 장치는, 사용자 개시 제스처를 수신하기 위한 터치 감응 제어 디바이스, 상기 사용자 개시 제스처에 응답하여 복수의 제어 신호를 생성하기 위한 제어기, 제 1 사용자 개시 선택에 대응하는 제 1 제어 신호를 수신하고, 상기 제 1 제어 신호에 응답하여 제 1 효과 제어 모드를 개시하고, 터치 스크린 상에서 위치에 대응하는 제 2 제어 신호를 수신하고, 상기 위치에 응답하여 시각 효과를 결정하며, 여기서 상기 시각 효과는 제 1 이미지 효과와 제 2 이미지 효과의 조합이고, 상기 시각 효과에 응답하여 상기 이미지의 변경된 버전을 나타내는 디스플레이 신호를 생성하기 위한 프로세서, 및 상기 이미지를 디스플레이 하도록 동작하는 디스플레이를 포함하며, 상기 디스플레이는 상기 이미지의 상기 변경된 버전을 디스플레이 하도록 더 동작한다.
본 발명의 다른 양상에 따라, 이미지를 변경하기 위한 방법은, 이미지를 디스플레이하는 단계, 제 1 사용자 개시 선택에 대응하는 제 1 제어 신호를 수신하는 단계, 상기 제 1 제어 신호에 응답하여 제 1 효과 제어 모드를 개시하는 단계, 터치 스크린 상의 위치에 대응하여 제 2 제어 신호를 수신하는 단계, 상기 위치에 응답하여 시각 효과를 결정하는 단계, 여기서 상기 시각 효과는 제 1 이미지 효과 및 제 2 이미지 효과의 조합이며, 상기 시각 효과에 응답하여 상기 이미지의 변경된 버전을 디스플레이하는 단계를 포함한다.
본 개시의 이들 및 다른 양상, 특징 및 이점은 첨부되는 도면과 관련하여 나타나게 될 선호되는 실시예의 다음의 상세한 기재로부터 기술되고 분명해질 것이다.
도면에서, 유사한 참조 번호는 전체적인 개관에서 유사한 요소들을 표기한다.
본 발명을 통해, 사용자가 이미지 또는 이미지들 상에 오버레이된 자동으로 생성된 캡션을 갖는 이미지들의 리스트를 스크롤할 때 캡션의 동적인 움직임을 가능하게하고, 이미지의 스크롤링 속도는 캡션과 다른 속도에서 수행되는 방법 및 장치를 제공할 수 있다.
도 1은 모바일 전자 디바이스의 예시적인 실시예의 블록도를 도시한다.
도 2는 본 발명에 따른 활성 디스플레이를 갖는 예시적인 모바일 디바이스 디스플레이를 도시한다.
도 3은 본 개시에 따른 이미지 안정화(image stabilization)와 재구성을 위한 예시적인 프로세스를 도시한다.
도 4는 본 발명에 따른 캡쳐 초기치 설정을 갖는 예시적인 모바일 디바이스 디스플레이를 도시한다.
도 5는 본 발명에 따른 이미지 또는 비디오 캡처를 개시하기 위한 예시적인 프로세스를 도시한다.
도 6은 본 발명의 양상에 따라 자동 비디오 분할의 예시적인 실시예를 도시한다.
도 7은 본 발명에 따라 비디오를 분할하는 방법을 도시한다.
도 8은 본 발명의 일 양상에 따라 광 박스 어플리케이션을 도시한다.
도 9는 광 박스 어플리케이션 내에서 수행될 수 있는 다양한 예시적인 동작을 도시한다.
도 10은 본 발명의 일 양상에 따른 예시적인 효과 제어 어플리케이션을 도시한다.
도 11은 본 발명의 하나의 양상에 따른 다른 예시적인 효과 제어 어플리케이션을 도시한다.
도 12는 본 발명에 따라 비디오 스타일을 구현하는 방법을 도시한다.
본 명세서에 나열된 예시는 본 발명의 선호되는 실시예를 도시하고, 이러한 예시는 임의의 방식에서 발명의 범위를 제한하는 것으로서 해석되지 않는다.
비디오 스타일 편집을 위한 사용자 인터페이스는 비디오 또는 이미지 필터, 스타일 또는 효과들이 터치스크린 디바이스 등 상에서 빠르게 편집될 수 있는 시스템이다. 비디오 또는 이미지 필터, 스타일 또는 효과들은 세피아 토닝(toning), 인터레이싱, 블렌딩, 잡음, 가우시안 블러, 샤프닝, 리플, 퍼즐, 왜곡 등을 포함할 수 있다. 많은 필터, 스타일 및 효과들이 존재하고 대부분 이러한 시스템을 이용하여 구현된다.
하나의 예시적인 실시예에서, 이미지 또는 비디오는 모바일 폰 스크린과 같은 터치 감응 스크린 상에 디스플레이 된다. 인터페이스가 사용자 입력에 응답하여 인에이블링될 때, 디스플레이는 사분면으로 분할되고, 각 사분면에 상이한 효과를 제어한다. 예를 들어, 네 가지가 예컨대, 빈티지와 같은 테마, 70년대 효과, 세피아, 폴라로이드 등과 연관된 4가지 상이한 스타일이 사분면으로 적용될 수 있다. 테마의 다른 예시는 색, 에지 대조 등 일 수 있다. 사분면의 중앙 터치 스크린을 터치하는 것은 테마에 따라 결합된 필터를 적용할 수 있고, 또는 효과를 적용하지 않을 수 있다. 스크린의 가운데 지점으로부터 손가락을 떼는 것은 사분면에 할당된 세피아와 같은 효과의 강도를 증가시킨다. 사분면 사이에서 이동은 효과를 합친다.
정규화된 값은 대각선으로 가중되어 적용될 수 있다. 효과들은, 예컨대 컬러에서의 변화를 가져오는 .5, 새로운 효과를 가져오는 .9와 같은 어떤 특정 임계치 후에 변할 수 있다. 임의의 주어진 사용자 백터의 크기는, 일관된 미리 결정된 룩을 계획적으로 생성하는, 레이어드된 일련의 개별 이미지 프로세스의 강도를 결정한다.
도 1을 참조하면, 모바일 전자 디바이스의 예시적인 실시예의 블록도가 도시된다. 기재된 모바일 전자 디바이스는 모바일 폰(100)이지만, 본 발명은 뮤직 플레이어, 카메라, 태블릿, 글로벌 위치 탐색 시스템 등과 같은 임의의 많은 디바이스 상에서 동등하게 구현될 수 있다. 모바일 폰은 전형적으로 폰 콜 및 문자메세지를 수신 및 송신하는 능력, 셀룰러 네트워크 또는 로컬 무선 네트워크를 통해 인터넷과 인터페이스하는 능력, 사진 및 비디오를 촬영하는 능력, 오디오 및 비디오 콘텐츠를 재생하는 능력, 워드 프로세싱, 프로그램, 또는 비디오 게임과 같은 어플리케이션을 운영하는 능력을 포함한다. 많은 모바일 폰은 GPS를 포함하고, 사용자 인터페이스의 부분으로서 터치 스크린 패널을 또한 포함한다.
모바일 폰은 각각의 다른 주요한 구성요소들과 결합된 메인 프로세서(150)를 포함한다. 메인 프로세서, 또는 프로세서는 네트워크 인터페이스, 카메라(140), 터치 스크린(170), 및 다른 입/출력(I/O)인터페이스(180)와 같은 다양한 구성요소 간의 정보를 라우팅한다. 메인 프로세서(150)는 또한 오디오/비디오 인터페이스를 통해 디바이스 또는 외부 디바이스 상에서 직접 재생하기 위한 오디오 및 비디오 콘텐츠를 프로세싱한다. 메인 프로세서(150)는 카메라(140), 터치 스크린(170), 및 USB 인터페이스(130)와 같은 다양한 서브 디바이스를 제어하도록 동작한다. 메인 프로세서(150)는 컴퓨터와 유사한 데이터를 다루도록 사용된 모바일 폰에서 서브루틴(subroutine)을 실행하도록 더 동작한다. 예를 들어, 메인 프로세서는 카메라 기능(140)에 의해 사진이 촬영된 후 이미지 파일을 조작하도록 사용될 수 있다. 이러한 조작은 크로핑(cropping), 압축, 색 및 밝기 조정 등을 포함할 수 있다.
셀 네트워크 인터페이스(110)는 메인 프로세서(150)에 의해 제어되고 셀룰러 무선 네트워크를 통해 정보를 수신 및 송신하도록 사용된다. 이러한 정보는 시분할다중접속(TDMA), 코드분할다중접속(CDMA) 또는 직교주파수분할다중화(OFDM)와 같은 다양한 포맷으로 인코딩될 수 있다. 정보는 셀 네트워크 인터페이스(110)를 통해 디바이스로부터 송신 및 수신될 수 있다. 인터페이스는 송신하기 위한 적절한 포맷으로 정보를 인코딩 및 디코딩 하도록 사용되는 복합 안테나 인코더, 복조기 등으로 구성될 수 있다. 셀 네트워크 인터페이스(110)는 음성 또는 문자 송신을 가능하게 하도록 사용되거나, 또는 인터넷으로부터 정보를 송신 및 수신하도록 사용될 수 있다. 이러한 정보는 비디오, 오디오, 또는 이미지를 포함할 수 있다.
무선 네트워크 인터페이스(120), 또는 와이파이 네트워크 인터페이스는 와이파이 네트워크를 통해 정보를 송신 및 수신하도록 사용된다. 이러한 정보는 802.11g, 802.11b, 802.11ac 등과 같은 상이한 와이파이 표준에 따라 다양한 포맷으로 인코딩될 수 있다. 인터페이스는, 송신하기 위한 적절한 포맷으로 정보를 인코딩 및 디코딩 하고 복조를 위한 정보를 디코딩하도록 사용되는 복합 안테나 인코더, 복조기 등으로 구성될 수 있다. 와이파이 네트워크 인터페이스(120)는 음성 또는 문자 전송을 가능하게 하거나 인터넷으로부터 정보를 송신 및 수신하도록 사용될 수 있다. 이러한 정보는 비디오, 오디오 및/또는 이미지를 포함할 수 있다.
범용직렬버스(USB) 인터페이스(130)는 유선과 같은 것을 통해 일반적으로 컴퓨터 또는 다른 USB 인에블링된 디바이스로 정보를 송신 및 수신하도록 사용된다. USB 인터페이스(120)는 인터넷에 연결되고 음성 또는 텍스트 콜을 송신 및 수신하는 정보를 송신 및 수신하도록 사용될 수 있다. 게다가, 이러한 유선 링크는 모바일 디바이스 셀 네트워크 인터페이스(110) 또는 와이파이 네트워크 인터페이스(120)를 이용하여 USB 인에블링된 디바이스를 다른 네트워크로 연결하도록 사용될 수 있다. USB 인터페이스(120)는 컴퓨터로 구성 정보를 전송 및 수신하기 위해서 메인 프로세서(150)에 의해 사용될 수 있다.
메모리(160), 또는 저장 디바이스는 메인 프로세서(150)에 결합될 수 있다. 메모리(160)는 모바일 디바이스의 동작에 관련되고 메인 프로세서(150)에 의해 요구되는 특정 정보를 저장하기 위해 사용될 수 있다. 메모리(160)는 오디오, 비디오, 사진, 또는 사용자에 의해 저장되고 검색된 다른 데이터를 저장하기 위해 사용될 수 있다.
입/출력(I/O) 인터페이스(180)는 버튼, 폰 콜과 함께 사용하기 위한 스피커/마이크, 오디오 레코딩 및 재생, 또는 음성 활성화 제어를 포함한다. 모바일 디바이스는 터치 스크린 컨트롤러를 통해 메인 프로세서(150)에 연결된 터치 스크린(170)을 포함할 수 있다. 터치 스크린(170)은 하나 이상의 정전식(capacitive)의 또는 저항식(resistive)의 터치 센서를 이용하는 단일 터치 또는 복합 터치 스크린일 수 있다. 스마트폰은 또한 이에 제한되는 것은 아니지만 온/오프 버튼, 활성화 버튼, 음량 제어, 벨소리 제어, 및 복합-버튼 키패드 또는 키보드와 같은 추가적인 사용자 제어를 포함할 수 있다.
도 2를 참조하면, 본 발명에 따른 활성 디스플레이(200)를 구비하는 예시적인 모바일 디바이스 디스플레이가 도시된다. 예시적인 모바일 디바이스 어플리케이션은 촬영 동안 사용자가 임의의 프레임에서 레코딩하고 그들의 디바이스를 자유롭게 회전하는 것을 허용하도록 동작하고, 촬영 동안에 디바이스의 뷰파인더 상의 오버레이의 최종 출력을 시각화하고 최종 출력에서 그들의 배향을 궁극적으로 수정하도록 동작한다.
예시적인 실시예에 따라, 사용자가 촬영을 시작할 때, 그들의 현재 배향은 고려되고, 디바이스의 센서를 기초로 한 중력의 벡터는 수평을 나타내기 위해 사용된다. 디바이스의 스크린 및 관련된 광학 센서는 너비보다 높이가 긴 초상화(210), 또는 디바이스의 스크린 및 관련된 광학 센서의 높이보다 너비가 넓은 풍경화(250)와 같은 각각의 가능한 배향에 대해, 최적의 타켓 영상 비가 선택된다. 직사각형 삽화(225)는 전체 센서 내에 새겨지고, 주어진(현재) 배향에 대해 바람직한 최적의 영상 비(aspect ratio)가 주어진 센서의 최대 경계에 가장 적합하다. 센서의 경계는 수정용 '브리딩 룸'을 제공하기 위하여 약간 덧대어진다. 이러한 직사각형 삽화(225)는 디바이스의 병합된 자이로스코프로부터 샘플링된 디바이스의 고유한 회전의 역으로 본질적으로 회전함으로써 회전(220, 230, 240)에 대한 보상으로 변형된다. 변형된 내부 사각형(225)은 덧댄 것을 제외하고 전체 센서의 최대 이용 가능한 경계 안에 최적으로 새겨진다. 디바이스의 현재 최고의 배향에 의존하여, 변형된 내부 사각형(225)의 치수는 회전 양에 관하여 두 개의 최적의 영상 비 사이에 보간되도록 조정된다.
예를 들어, 초상화 배향에 대해 선택된 최적의 영상 비가 직사각형(1:1)이고 풍경화 배향에 대해 선택된 최적의 영상 비가 너비가 넓은 (16:9) 경우, 새겨진 사각형은 하나의 배향에서 다른 배향으로 회전될 때, 1:1 과 16:9 사이에서 최적으로 보간될 것이다. 새겨진 사각형이 샘플링 된 후 최적의 출력 치수에 적합하도록 변형된다. 예를 들어, 최적의 출력 치수가 4:3이고 샘플링된 사각형이 1:1인 경우, 샘플링된 사각형은 완전히 채워진 양상(완전히 1:1영역을 광학적으로 채우고, 필요에 따라 데이터를 크로핑 하는)이거나 화면에 맞게(1:1영역 안에 광학적으로 완전히 맞춰지고, 임의의 사용하지 않는 영역을 '편지 모양' 또는 '기둥 모양'으로 검게 하는)채워진다. 결과적으로 고정된 양상은 수정동안 동적으로 제공된 양상 비에 기초하여 콘텐츠 프레이밍이 조정되는 것을 보장한다. 따라서 예를 들어 1:1 내지 16:9까지의 콘텐츠 구성된 16:9 비디오는 광학적으로 채워지는 것(260)(16:9 비율 동안) 및 기둥 모양(250)으로 맞춰지는 것(1:1비율 동안) 사이에서 변동할 것이다.
모든 움직임의 총 합이 최적의 출력 양상 비의 선택에 대해 고려되고 가중됨에 따른 추가적인 개선이 있다. 예를 들어, 사용자가 소수의 초상화 콘텐츠를 갖는 '대부분 풍경화'인 비디오를 레코딩 하는 경우, 출력 포맷은 풍경화 양상 비(초상화 부분을 기둥 모양으로 한다)일 것이다. 사용자가 대부분 초상화인 비디오를 레코딩하는 경우에는 반대로 적용된다(비디오는 초상화일 것이고, 출력은 광학적으로 채워지고, 출력 사각형의 바깥 경계로 떨어진 임의의 풍경화 콘텐츠를 크로핑한다).
도 3을 참조하면, 본 개시에 따른 이미지 안정화 및 리프레이밍(300)을 위한 예시적인 프로세스가 도시된다. 시스템은 는 초기화된 카메라의 캡쳐 모드에 응답하여 초기치 설정될 수 있다. 이러한 초기치 설정은 하드웨어 또는 소프트웨어 버튼에 따라 또는 사용자 행동에 응답하여 생성된 다른 제어 신호에 응답하여 개시될 수 있다. 일단 디바이스의 캡쳐 모드가 개시되면, 모바일 디바이스 센서(320)는 사용자 선택에 응답하여 선택된다. 사용자 선택은 터치 스크린 디바이스 상의 설정을 통해, 메뉴 시스템을 통해, 또는 버튼이 활성화되는 방법에 응답하여 이루어 질 수 있다. 예를 들어, 한번 눌러진 버튼은 포토 센서를 선택할 수 있고, 반면 연속적으로 눌린 버튼은 비디오 센서를 나타낼 수 있다. 게다가, 미리 결정된 시간 예컨대 3초 동안 버튼을 누르는 것은 비디오가 선택되었다는 것을 나타내고, 모바일 디바이스 상의 비디오 레코딩은 버튼이 2초간 활성화될 때까지 계속될 것이다.
일단 적절한 캡쳐 센서가 선택되면, 시스템은 회전 센서(320)로부터 측정을 요청한다. 회전 센서는, 자이로스코프, 가속도계, 축 배향 센서, 광센서 등, 모바일 디바이스의 위치의 수평 및/또는 수직 지표를 결정하도록 사용되는 것일 수 있다. 측정 센서는, 주기적인 측정을 제어 프로세서로 보낼 수 있고, 이에 따라 모바일 디바이스의 수직 및/또는 수평 배향을 계속 나타낸다. 따라서, 디바이스가 회전될 때, 제어 프로세서는 계속하여 디스플레이를 업데이트할 수 있고 계속 일관성 있는 수평을 갖는 방식으로 비디오 또는 이미지를 저장할 수 있다.
회전 센서가 모바일 디바이스의 수직 및/또는 수평 배향의 지표로 복귀된 후, 모바일 디바이스는 비디오 또는 이미지(340)의 캡쳐된 배향을 나타내는 디스플레이 상에 삽입 직사각형을 묘사한다. 모바일 디바이스가 회전할 때, 시스템 프로세서는 계속하여 삽입 직사각형을 회전 센서(350)로부터 수신된 회전 측정값으로 동기화한다. 사용자들은 1:1, 9:16, 16:9, 또는 사용자에 의해 결정된 임의의 비율과 같은 선호되는 최종 비디오 또는 이미지 비율을 선택적으로 나타낼 수 있다. 시스템은 또한 모바일 디바이스의 배향에 따라 상이한 비율에 대하여 사용자 선택을 저장할 수 있다. 예를 들어, 사용자는 수평 배향으로 레코딩된 비디오에 대한 16:9 비율이 아닌, 수직 배향으로 레코딩된 비디오에 대해 1:1 비율을 나타낼 수 있다. 예를 들어, 시스템은 모바일 디바이스가 회전될 때, 계속하여 또는 점차적으로 비디오(360)를 재설계할 수 있다. 따라서, 비디오는 1:1 배향으로 시작할 수 있지만, 촬영하는 동안 수직에서 수평 배향으로의 사용자 회전에 응답하여 결국 16:9 배향으로 점진적으로 재설계될 수 있다. 선택적으로, 사용자는 시작 또는 마지막 배향이 비디오의 최종 비율을 결정한다는 것을 나타낼 수 있다.
도 4을 참조하면, 본 발명에 따른 캡쳐 초기치 설정(400)을 갖는 예시적인 모바일 디바이스 디스플레이가 도시된다. 예시적인 모바일 디바이스는 이미지 또는 비디오를 캡쳐하기 위한 터치 톤 디스플레이를 묘사하는 것을 기재한다. 본 발명의 양상에 따라, 예시적인 디바이스의 캡쳐 모드는 다수의 행동에 응답하여 개시될 수 있다. 모바일 디바이스의 임의의 하드웨어 버튼(410)은 캡쳐 시퀀스를 개시하도록 눌려질 수 있다. 대안적으로, 소프트웨어 버튼(420)이 캡쳐 시퀀스를 개시하기 위해 터치 스크린을 통해 활성화될 수 있다. 소프트웨어 버튼(420)은 터치 스크린 상에 디스플레이된 이미지(430) 상에 오버레이될 수 있다. 이미지(430)는 이미지 센서에 의해 캡쳐된 현재 이미지를 나타내는 뷰파인더로서 작동한다. 이전에 기재된 바와 같이 삽입된 사각형(440)은 또한 캡쳐된 이미지 또는 비디오의 영상 비를 나타내기 위해 이미지 상에 오버레이될 수 있다.
이제 도 5를 참조하면, 본 개시에 따른 이미지 또는 비디오 캡처(500)를 개시하기 위한 예시적인 프로세스가 도시된다. 일단 이미징 소프트웨어가 개시되면, 시스템은 이미지 캡쳐를 개시하기 위하여 지시를 기다린다. 일단 이미지 캡쳐 지시가 메인 프로세서(510)에 의해 수신되면, 디바이스는 이미지 센서(520)로부터 전송된 데이터를 저장하기 시작한다. 게다가, 시스템은 타이머를 개시한다. 그 후에 시스템은 비디오 데이터로서 이미지 센서로부터 데이터를 계속 캡쳐한다. 캡처가 중단(530)되도록 지시하는 캡처 지시로부터의 제 2 지시에 응답하여, 시스템은 이미지 센서로부터 데이터 저장을 멈추고 타이머를 멈춘다.
그리고나서, 시스템은 타이머 값과 미리 결정된 시간 임계치(540)를 비교한다. 미리 결정된 시간 임계치는 예컨대 1초와 같이 소프트웨어 제공자에 의해 결정된 디폴트값(default value)일 수 있고, 또는 사용자에 의해 결정된 변경 가능한 설정일 수 있다. 타이머 값이 미리 결정된 임계치(540)보다 작은 경우, 시스템은 바람직한 스틸 이미지를 결정하고, jpeg 등(560)과 스틸 이미지 포맷에서 스틸 이미지로서 비디오 캡처의 제 1 프레임을 저장한다. 시스템은 스틸 이미지로서 다른 프레임을 선택적으로 고를 수 있다. 타이머 값이 미리 결정된 임계치(540)보다 더 큰 경우, 시스템은 바람직한 비디오 캡처를 결정한다. 그리고나서 시스템은 mpeg 등(550)과 같은 비디오 파일 포맷에서 비디오 파일로서 캡처 데이터를 저장한다. 그리고나서 시스템은 초기치 설정 모드로 돌아갈 수 있고, 다시 개시될 캡처 모드를 기다린다. 모바일 디바이스가 스틸 이미지 캡처 및 비디오 캡처를 위해 상이한 센서를 갖추고 있는 경우, 시스템은 스틸 이미지 센서로부터 스틸 이미지를 선택적으로 저장할 수 있고 비디오 이미지 센서로부터 캡처 데이터 저장을 시작할 수 있다. 타이머 값이 미리 결정된 시간 임계치와 비교될 때, 바람직한 데이터가 저장되고, 반면 원치않는 데이터는 저장되지 않는다. 예를 들어, 타이머 값이 임계치 시간 값을 초과하는 경우, 비디오 데이터는 저장되고 이미지 데이터는 버려진다.
도 6을 참조하면, 자동 비디오 분할(600)의 예시적인 실시예가 도시된다. 시스템은 계산하는 것을 목표로 하는 자동 비디오 분할 및 가능한 한 초 단위의 미리 결정된 시간 간격에 가깝게 분할로 나뉘는 출력 비디오에 관한 것이다. 게다가 분할은 분할된 비디오의 속성에 대한 응답에 따라 길거나 짧아질 수 있다. 예를 들어, 음성 단어의 중간에서와 같이 어색한 방식으로 콘텐츠를 이분할 하는 것은 바람직하지 않다. 타임라인(610)은 아홉 분할(1-9) 비디오를 묘사하는 것을 도시한다. 각 분할은 대략 8초 길이이다. 오리지널 비디오는 적어도 1분 4초의 길이를 갖는다.
이러한 예시적인 실시예에서, 각 비디오 분할에 대해 선택된 시간 간격은 8초이다. 이러한 초기 시간 간격은 더 길거나 짧을 수 있고 사용자에 의해 선택적으로 변경 가능할 수 있다. 8초 기준 시간 간격은 현재 다양한 네트워크 유형을 통해 다운로드하기 위해 합리적인 데이터 전송 크기를 갖는 다루기 쉬운 데이터 부분을 나타낼 때 선택된다. 대략 8초 클립은 모바일 플랫폼 상에서 탐색 방식으로 전달된 비디오 콘텐츠의 단일 클립을 최종 사용자가 숙독하도록 예상되는 합리적인 평균 지속시간을 갖는다. 대략 8초의 클립은 최종 사용자가 디스플레이하는 콘텐츠의 더 나은 시각적 메모리를 이론적으로 유지할 수 있는 지각적으로 기억에 남는 시간의 지속시간이 될 수 있다. 게다가, 8초는 분당 120 비트에서 8비트의 균등한 프레이즈(phrase) 길이이고, 현대 서양 음악의 가장 일반적인 속도(tempo)이다. 이는 대략적으로 가장 일반적인 프레이즈 길이(전체 음악 테마 또는 섹션을 요약하는 시간의 지속시간)인 4바(16 비트)의 짧은 프레이즈의 지속기간이다. 이러한 속도(tempo)는 평균 활성 심장 박동에 지각적으로 연결되고, 행동과 활동을 제안하고 경계를 강화한다. 더욱이, 작고 알려진 크기의 클립을 갖는 것은 주어진 비디오 압축 속도를 기초로 하여 더 쉽게 대역폭 계산을 가능하게 하고, 대역폭은 일반적으로 8 메가비트=1 메가바이트인, 초당 메가비트와 같은, 약 기준-8 숫자로 계산되고, 따라서 비디오의 각 분할은 초당 1 메가비트로 인코딩될 때 약 1 메가바이트일 것이다.
도 7을 참조하면, 본 발명에 따른 비디오를 분할하는 방법(700)이 도시된다. 비디오 콘텐츠를 지각적으로 좋은 편집 경계의 이상적인 8초 분할로 절차적으로 해체하기 위하여, 비디오 콘텐츠를 분석하는 많은 접근법이 시스템 내에 적용될 수 있다. 우선, 초기의 결정은, 콘텐츠가 다른 어플리케이션에서 비롯되었는지 또는 현재 모바일 디바이스를 사용하여 레코딩(720)되었는지에 관한 비디오 콘텐츠의 본질에 대해 행해질 수 있다. 콘텐츠가 다른 소스 또는 어플리케이션으로부터 비롯된 경우, 비디오 콘텐츠는 씬 브레이크 검출을 사용하여 분명한 편집 경계에 대해 첫 번째로 분석(725)된다. 임의의 통계적인 중요한 경계는 바람직한 8초 간격의 경계에서 또는 그에 가깝게 강조됨으로써 마킹(730)될 수 있다. 비디오 콘텐츠가 현재 모바일 디바이스를 통해 레코딩된 경우, 센서 데이터는 레코딩하는 동안 로깅(735)될 수 있다. 이는 디바이스의 가속도계로부터 모든 축 상의 디바이스의 움직임의 델타 및/또는 디바이스의 자이로스코프에 기초하여 모든 축 상의 디바이스의 회전의 델타를 포함할 수 있다. 이러한 로깅된 데이터는 움직임 시작 및 임의의 주어진 벡터에 대한 시간의 평균 크기에 관하여 통계적으로 중요한 델타를 발견하기 위해 분석될 수 있다. 이러한 델타는 바람직한 8초 간격에 근접한 경계의 강조를 통해 로깅(740)된다.
비디오 콘텐츠는 편집 선택을 통지할 수 있는 추가적인 신호들(cues)에 대해 더 지각적으로 분석될 수 있다. 디바이스 하드웨어, 펌웨어, 또는 OS가 얼굴 관심영역(ROI) 선택을 포함하는, 임의의 병합된 관심영역(ROI) 검출을 제공하는 경우, 씬에서 임의의 ROI들이 마킹되도록 활용(745)된다. 이러한 ROI들의 온셋 생성 또는 소멸(즉, 그들의 프레임 내에 나타나거나, 프레임에서 사라질 때와 가까운 순간들)은 바람직한 8초 간격에 근접한 경계 상의 강조를 통해 로깅될 수 있다.
전반적인 진폭 상의 오디오-기반 온셋 검출은 제로 교차, 잡음 플로어 또는 러닝 평균 파워 레벨에 관한 진폭에서의 통계적으로 중요한 변화(증가 또는 감소)를 기대할 것이다(750). 통계적으로 중요한 변화는 바람직한 8초 간격에 근접한 것들의 강조를 통해 로깅될 수 있다. 스펙트럼 띠 영역 내의 진폭 상의 오디오-기반 온셋 검출 은 FFT 알고리즘을 사용하여 오디오 신호를 많은 오버래핑 FFT 빈(bin)들로 전환하는 것에 의존할 것이다. 일단 전환되면, 각 빈은 러닝 평균에 관한 진폭에서의 통계적으로 중요한 변화에 대해 신중하게 분석될 수 있다. 모든 빈들은 모두 차례로 평균화되고, 모든 띠를 거쳐서 가장 통계적으로 중요한 결과는 바람직한 8초 간격에 근접한 것들의 강조를 통해 온셋으로서 로깅된다. 이러한 방법 안에서, 오디오는 띠를 선택적으로 강조/덜 강조하기 위하여 빗살형 필터(comb filter)를 통해 미리 처리될 수 있는데, 예를 들어, 일반 사람 스피치의 범위 내의 대역은 강조될 수 있는 반면 잡음과 밀접한 고 주파수 대역은 덜 강조될 수 있다.
콘텐츠 내의 평균 움직임의 시각적 분석은 적절한 분할 지점을 세우는 것을 돕도록 비디오 콘텐츠에 대해 결정될 수 있다(755). 실시간 행동 특성을 위해 요구될 때 제한된 프레임 해상도 및 샘플링 속도로, 프레임 내의 평균 움직임의 크기가 결정될 수 있고, 바람직한 8초 간격에 근접한 것들의 강조에 대한 결과를 로깅하면서 시간이 지남에 따라 통계적으로 중요한 변화를 찾도록 사용될 수 있다. 게다가, 콘텐츠의 평균 색 및 휘도는 바람직한 8초 간격에 근접한 것들의 강조를 통해 통계적으로 중요한 변화를 로깅하며, 레코딩된 데이터의 단순하고 낮은 해상도 분석을 사용하여 결정될 수 있다.
일단 임의의 또는 모든 전술된 분석이 완료되면, 최종 로깅된 출력이 각 결과를 전체 평균에 가중하여 분석될 수 있다(760). 이러한 분석 테이터의 후-프로세싱 통과는 모든 개별적인 분석 프로세스의 가중되고 평균화된 출력에 기초하여 제 시간에 가장 실행 가능한 지점을 찾는다. 마지막으로, 바람직한 8초 간격에서 또는 가까운 곳에서 가장 강한 평균 지점은 부분 편집 결정에 대한 모델을 형성하는 출력으로서 계산된다.
후 처리 단계(760)는, 이전에 언급된 임의의 또는 모든 비디오 상의 마킹된 지점을 선호하는 분할 지점의 지표로서 간주할 수 있다. 상이한 결정 요소는 가중될 수 있다. 또한, 8초와 같은 선호하는 분할 길이와는 너무 먼 결정 지점은 선호하는 분할 길이에 가장 가까운 지점보다 낮게 가중될 수 있다.
도 8을 참조하면, 본 발명의 일 양상에 따른 광 박스 어플리케이션(800)이 도시된다. 광 박스 어플리케이션은 비디오 및 미디어 시간-기반 편집을 개선하기 위해 목록-구동된(list-driven) 선택 프로세스를 사용하기 위한 방법 및 시스템을 나타낸다. 광 박스 어플리케이션은 수직(810) 배향 및 수평 배향(820) 두 가지 모두에서 도시된다. 광 박스 어플리케이션은 분할된 비디오가 저장된 후에 개시될 수 있다. 대안적으로, 광 박스 어플리케이션은 사용자 명령에 응답하여 개시될 수 있다. 각 분할들은 각각에 대해 시간순으로 생성된 프리뷰(preview)를 통해 처음에 목록화된다. 프리뷰는 비디오 분할 또는 비디오 분할의 부분으로부터 얻어진 단일 이미지일수 있다. 추가적인 미디어 콘텐츠 또는 데이터는 광 박스 어플리케이션에 추가될 수 있다. 예를 들어, 다른 소스로부터 수신된 사진 또는 비디오는 사용자가 수신된 콘텐츠를 공유 또는 수정하도록 허용하거나 또는 수신된 콘텐츠를 새롭게 생성된 콘텐츠와 결합하도록 허용하는 광 박스 리스트 내에 포함될 수 있다. 따라서, 어플리케이션은 단일 목록 구동된 선택 프로세스로 비디오 및 미디어 시간-기반 편집을 허용한다.
광 박스 어플리케이션은 편집과 관련된 결정을 공유하기 위해 중앙 지점으로서 사용될 수 있다. 광 박스는 사용자들이 콘텐츠를 쉽고 빠르게 볼 수 있게 하고, 유지하고 싶은 것, 버리고 싶은 것, 및 언제 어떻게 다른 사람들과 공유할 지를 결정할 수 있게 한다. 광 박스 기능은 카메라, 채널 브라우징을 통해 작동하거나 다른 장소로부터 중요한 미디어에 대한 지점으로서 작동할 수 있다. 광 박스 뷰(view)는 최근 미디어의 목록 또는 그룹화된 미디어 세트를 포함할 수 있다. 각 아이템, 이미지 또는 비디오는 캡션, 지속시간, 및 가능한 그룹 수를 갖는 썸네일(thumbnail)에서 디스플레이된다. 캡션은 자동으로 또는 사용자에 의해 생성될 수 있다. 지속 시간은 사용자에게 미디어 콘텐츠의 무게 및 속도를 나타내기 위하여 간소화될 수 있다. 광 박스 타이틀 바는 돌아가는 항해를 따라, 아이템 수를 갖는 광 박스 세트의 카테고리를 포함할 수 있고, 아이템을 가져오고 또는 메뉴를 열수 있다.
광 박스 풍경화 뷰(820)는 한 측면에 목록화된 미디어 아이템을 통해 그리고 선택적으로 다른 측면 상에 즉시 접근 가능한 몇 가지 형태의 공유 방법을 통해 상이한 레이아웃을 제공한다. 이는 링크 또는 페이스북, 트위터, 또는 다른 소셜 미디어 어플리케이션의 프리뷰를 포함할 수 있다.
도 9를 참조하면, 광 박스 어플리케이션 내에서 수행될 수 있는 다양한 예시적인 작동(900)이 도시된다. 통합된 카메라 특징에 의해 캡쳐된 미디어, 예를 들어, 가능하게 다른 어플리케이션이 레코딩되거나, 다른 어플리케이션에 의해 생성되거나, 또는 웹 기반 소스로부터 다운로드된 디바이스의 존재하는 미디어 라이브러리로부터 가져온 미디어, 또는 관련된 어플리케이션 내에서 직접 출판된 콘텐츠로부터 선별된 미디어는 모두 프리뷰 모드의 광 박스로 수집된다(905). 광 박스는 수집된 미디어 내에서 시간의 그룹화와 같은 이벤트에 기초하여 그룹으로 카테고리화된 단순 수직 목록의 미디어를 나타낸다. 각 아이템은 썸네일 또는 주어진 미디어 조각에 대한 간소화된 지속시간을 포함하는 목록 열에 의해 나타난다. 임의의 아이템을 탭핑 함으로써, 미디어는 항목에 직접 관련하여 디스플레이하는 확장된 패널 내에 프리뷰될 수 있다.
광 박스 어플리케이션은 아이템을 프리뷰하는 확장된 아이템 뷰(910)를 선택적으로 가질 수 있다. 확장된 아이템 뷰(910)는 미디어 아이템 프로세싱, 캡셔닝, 및 공유에 대한 옵션을 드러낸다. 닫기 버튼을 탭핑하는 것은 아이템을 마치게 하고 또는 그 아래 있는 다른 아이템을 탭핑하는 것은 그 아이템을 마치거나 다른 아이템을 열게 한다.
광 박스 어플리케이션 내에서 위, 아래로 스크롤링하는 것은 사용자가 미디어 아이템을 항해하는 것(915)을 허용한다. 헤더는 목록의 위에 남아있을 수 있고, 또는 콘텐츠 위에 떠있을 수도 있다. 목록의 끝에서 스크롤링 하는 것은 다른, 오래된 리스트로 항해하는 것(920)을 가능하게 할 수 있다. 오래된 목록의 헤드는 드래깅하는 동안 텐션 하에 드러날 수 있다. 지나간 텐션을 드래깅하는 것은 오래된 목록으로의 이행이다. 아이템 상의 홀딩 및 드래깅은 사용자가 아이템을 레코딩하도록 하거나, 한 아이템을 다른 아이템으로 드래깅함으로써 아이템을 결합(925)하도록 한다. 아이템을 왼쪽으로 스위핑하는 것은 광 박스로부터 아이템을 제거한다(930). 아이템을 제거하는 것은 디바이스로부터 아이템을 제거하는 것일 수도 아닐 수도 있고, 또는 단지 광 박스 어플리케이션으로부터 아이템을 제거하는 것일 수 있다. 다른 아이템 상에 아이템을 드래깅 또는 드롭핑하는 것은 그룹으로 아이템을 결합하기 위해 이용(935)될 수 있고, 또는 그룹으로 드래깅된 아이템을 결합하기 위해 이용될 수 있다. 아이템을 핀칭하는 것은 핀칭 범위 내의 모든 아이템을 그룹으로 함께 결합한다(940). 결합된 아이템을 프리뷰할 때, 그들은 순차적으로 재생하고, 프리뷰 윈도우 아래의 결합된 아이템을 확장하도록 탭 될 수 있는 아이템 수를 도시한다(945). 정규 광 박스 아이템은 그 후에 확장된 아이템들이 행으로서 디스플레이되도록 허용하기 위하여 아래로 푸쉬될 수 있다.
아이템들은 광 박스 어플리케이션 내로부터 그들 상에 드래그 함으로써 다루어질 수 있다. 아이템은 임의의 아이템을 왼쪽으로 드래깅함으로써 광 박스 어플리케이션으로부터 제거될 수 있다(930). 임의의 아이템을 오른쪽으로 드래그 함으로써, 아이템은 즉시 출판되도록 촉진될 수 있고(950), 이러한 스크린으로의 이행은 사용자가 하나 이상의 공유 위치 상에서 주어진 아이템들의 미디어를 공유하도록 한다(955). 프리뷰 할 때, 공유 버튼을 탭핑하는 것은 또한 아이템의 공유를 가능하게 할 수 있다. 드래그할 수 있는 임의의 아이템을 누르거나 홀딩함으로써, 전체적인 목록에서 그들의 위치를 재조직하기 위해 그 위치 지점에서 아이템은 위 아래로 드래그될 수 있다. 목록의 시간은 수직으로, 상하로 나타난다. 예를 들어, 상위 대부분 아이템은 먼저 미디어가 순차적으로 수행될 시간이다. 아이템들의 임의의 전체 그룹(단일 이벤트 헤딩 하를 유지하는)은 집합적으로 프리뷰되고(시간순으로 모든 아이템으로 구성된 단일 프리뷰로서 순차적으로 플레이되는), 동일한 제스처 및 단일 목록 아이템을 제어하는 방법을 이용하여 집합적으로 삭제되거나 발행될 수 있다. 비디오 또는 시간-기반 미디어를 포함하는 임의의 아이템을 프리뷰할 때, 재생은 관련된 목록 아이템 줄 상에서 좌우로 드래그함으로써 제어될 수 있다. 현재 위치는 사용자에 의해 재생되는 동안 오프셋 시간으로 드래그될 수 있는 작은 줄에 의해 마킹된다. 관련된 리트스 아이템 줄에서 두 손가락으로 수평적으로 핀칭함으로써, 비디오 또는 시간-기반 미디어를 포함하는 임의의 아이템을 프리뷰할 때, 선택 범위는 최종 재생 출력으로서 원본 미디어를 다듬기 위해 핀치되고 드래그될 수 있는 범위에 한정된다. 관련된 목록 아이템 줄에서 좌우 또는 우좌로 드래그함으로써, 이미지 또는 스틸 미디어를 포함하는 임의의 아이템을 프리뷰할 때, 임의의 추가적인 인접한 캡처된 프레임은 선택적으로 '스크럽(scrubbed)'일 수 있다. 예를 들어, 단일 사진 캡처동안 카메라가 출력의 몇 가지 프레임을 레코딩하는 경우, 이러한 제스처는 사용자가 순환하고 최종 스틸 프레임으로서 가장 좋은 프레임을 선택하도록 허용할 수 있다.
최근에 발행(하나 이상의 출판 목적지에 업로드 된)된 아이템은 광 박스 목록으로부터 자동으로 클리어된다. 시간이 지났거나, 또는 연장된 비 활성화 기간보다 더 오랫동안, 예컨대 몇 일간 광 박스에서 있었던 아이템들은 광 박스 목록으로부터 자동으로 클리어된다. 광 박스 미디어는, 디바이스 상에서 중앙의 유비쿼터스 저장 위치에 만들어지고, 이에 따라 동일한 광 박스 뷰를 포함하는 다른 어플리케이션들 모두가 미디어의 동일한 현재 풀로부터 공유한다. 이는 간단하고 동시에 편집하는 멀티미디어 자산에서 다중 어플리케이션 콜라보레이션을 만든다.
이제 도 10을 도시하면, 본 발명의 한 양상에 따라 예시적인 효과 제어 어플리케이션(1000)이 도시된다. 이러한 특정 예시적인 실시예에서, 효과 룩들은 부드러운, 제스처의 제어를 통해 사용자에게 액세스 가능한 강도 및 값들을 통해 비디오 또는 사진 상에서 실시간으로 제어된다. 이는 최종 생산물의 룩을 역동적으로 변경하는 동안 사용자에게 편집을 덜 좋아하고 예술적인 것을 더 좋아하는 경험을 제공한다. 효과 파라미터들은 스크린 상에서, 사진 또는 비디오 미디어 뷰 그 자체의 맨 위에서 직접 제어된다. 사용자에게 제공되기 위해 필요한 가시적인 제어는 없다. 대신, 사용자는 터치함으로써, 하나 또는 여러 손가락으로 드래그함으로써, 안으로 밖으로 핀칭함으로써, 임의의 주어진 효과의 특징을 제어하기 위해 회전함으로써 손짓할 수 있다. 사용자들은 사진 또는 비디오 콘텐츠 상에 바로 효과의 적용된 결과를 보는 형태로 실시간으로 피드백을 얻는다. 제스처가 발생하는 것을 강조하기 위하여 그들의 터치 위치의 작은 강조를 가능하게 디스플레이 되는 값, 파라미터 또는 범위의 가시적인 지표는 존재하지 않는다.
일반적으로, 효과 제어의 균일한 언어는 제스처가 개시되는 곳에서 터치하고 간결하게 누름으로써 적용된다. 피드백은 사용자의 터치 위치에서 그리고 그 주변에서 강조 원을 위치지정함으로써 제공될 수 있다. 디스플레이의 중앙 점(수평과 수직 축 모두의 가운데)은 효과가 적용되지 않는 0,0점으로 여겨질 수 있다. 디스플레이의 중앙에서 상부로 드래그함으로써, 컬러 룩 효과(예를 들어 LUT 색 등급)의 값은 증가하는 힘을 통해 소스로 믹스된다. 예를 들어, 중앙에서 상부까지 거리의 대략 50%에서 효과는 완전한 100%에서 믹스된다. 50%를 넘어, 100%까지, 효과는 더 극한 값으로 초과될 수 있다.
본 발명에 따른 예시적인 시스템의 다른 양상은 대조 및/또는 채도의 부스트와 같은 동일한 효과들 메뉴 상에서 유사한 효과들을 도입할 수 있다. 특정 무료 부스트는 룩 바이 룩(look-by-look) 기초 상에 창조적으로 결정된다. 좌에서 우로 드래그함으로써, 효과의 색 온도 또는 유사한 색 변경이 적용될 수 있다. 예를 들어, 좌에서 우로 단일 손가락 이동은 색 톤에서의 변경에 적용할 수 있다. 중앙에서 아래로 드래그함으로써, 보충 효과는, 창조적인 룩 관점으로부터 위로 드래그 할 때 적용되는 효과에 대해 보충과 유사하거나 보충적으로 적용될 수 있다. 예를 들어, 위 방향 벡터 상에 표준 블리치 바이패스 효과는 아래 방향 벡터 상의 표준 크로스 프로세스 효과와 페어링한다. 다른 경우에, 아래 방향으로 드래그는 간단히 색을 전환하고 그렇지 않으면 주요한, 위 방향으로, 효과 변경을 제어한다.
게다가, 사용자는 효과의 제 1 층으로부터 효과의 이차적인 층을 선택할 수 있다. 예를 들어, 터치하거나 두 손가락으로 누름으로써, 사용자는 출력 룩을 한정하는 효과의 이차적인 층을 제어하도록 핀치/회전 제스처를 개시할 수 있다. 안 및 밖으로 핀칭은 소스 미디어 맨 위에서 합성되는 오버레이-스타일 효과 층의 스케일 및 강도를 제어할 수 있다. 예를 들어, 비네트, '잡음' 또는 다른 심미적 오버레이, 방사형 또는 선형 블러, 보케, 또는 다른 것들은 심하게 층 또는 후처리를 양식화한다. 좌에서 우로 드래그는 소스에 관한 이러한 오버레이의 위치 또는 결국 타일 기반인 반복적인 오프셋을 제어할 수 있다. 가상의 중앙점 주변에서 서로에 대해 두 손가락을 회전하는 것 같이, 회전은 주어진 효과의 뉘앙스를 다르게 할 수 있는 '다이얼'로서 작용한다. 예를 들어, 비네트와 함께 이는 블러의 감쇠율을 제어할 수 있다. 본 발명에 따른 한 가지 바람직한 특징은 룩 기반 효과의 파라미터를 변형하기 위한 제스처를 정형화할 것이고, 따라서 사용자는 출력 결과의 형태에서 직접적인 피드백 및 탐험에 완전하게 의존하는 반면 효과를 제어하는 방법에 익숙해 질 것이다.
효과 제어는 룩 효과 메뉴(1005)를 이용하여 비디오 프리뷰 스크린(1003)으로부터 개시될 수 있다. 룩 효과 메뉴(1005)는 효과 아이콘을 탭핑함으로써 개시될 수 있다. 대안적으로, 룩 효과 메뉴(1005)는 스크린 상에 손가락을 누르고 그 후에 원과 같은 제스처를 수행함과 같은 제스처에 의해 개시될 수 있다. 룩 효과 메뉴(1005)는 대안적으로 동일한 위치에서 시간의 기간동안 접촉을 유지하는 스크린을 터치함으로써 개시될 수 있다. 일단 시간의 기간이 만나면, 룩 효과 메뉴(1005)는 개시될 것이다. 룩 효과 메뉴(1005)는 이러한 제스처를 반복함으로써 또는 효과 아이콘을 반복적으로 탭핑함으로써 열고 닫도록 전환될 수 있다. 룩 효과 메뉴(1005)는 각 효과가 현재 프레임의 스케일된 지표 상의 효과를 프로세싱하는 썸네일로서 묘사되는 스크롤링 스트림에서 일련의 효과를 나타낼 수 있다. 각 썸네일은 효과 라벨을 가질 수 있고 현재 강조된 효과는 활성화된다. 현재 효과를 탭핑하는 것은 효과 온오프를 켰다 껐다 할 수 있다.
안팎으로 핀칭(1020)은 선택된 룩 효과를 제어하도록 사용될 수 있다. 예를 들어, 안팎으로 핀칭은 설계된 비네트 또는 효과에 대해 스타일링된 오버레이의 강도를 제어할 수 있다. 효과의 의도된 룩에 따라서, 이는 더 어둡거나 밝게 하는 효과, 중앙 포커스 또는 블러, 색수차, 또는 다른 형식화된 후처리를 제어할 수 있다. 효과 강도 범위는 매우 가깝게 핀칭되는 값 0부터 완전히 떨어지도록 핀칭되는 값 1까지 다양할 수 있다. 완전히 떨어지도록 핀칭된 조건은 두 핀칭 점이 어떤 특정 임계치 거리를 초과할 때 충족될 수 있다.
회전(1025)은 또한, 선택된 룩 효과를 제어하도록 사용될 수 있다. 두 손가락을 좌에서 우로 회전하는 것은 임의의 조합된 오버레이 텍스쳐, 예컨대, 잡음, 그레인 등의 강도를 다이얼 돌릴 수 있다. 우측으로 턴은 텍스처 대조 및 가시성을 증가시키기 위해서 사용될 수 있고 좌측으로 턴은 이를 감소시킬 수 있다. 모든 효과들이 명백한 텍스처와 페어링될 필요는 없지만, 일반-목적 어플리케이션은 미묘한 잡음 또는 유사한 것을 추가하도록 페어링 될 수 있다.
효과 룩은 제스처 방식으로 비디오 상에서 개시되고 제어될 수 있다. 사용자는 실시간으로 최초 뷰파인더의 최상부에서 효과를 제어하기위해 스크린 상에서 행동할 수 있다. 예를 들어, 스크린 상의 점에서 간결하게 누름으로써, 효과 제어는 인에블링된다(1010). 간결한 누름은 포커스 또는 다른 기초 상호작용의 제어로부터 효과의 제어를 구분하도록 사용될 수 있다. 일단 제어하는 룩이 인에이블링(1015)되면, 4-극 계획을 이용하여 효과를 제어할 수 있는 모든 방향에서 드래그한다. 효과는 반대하는 Y축 상에서 두 보충 프로세스가 일어남에 따라 배열될 수 있는데, 예를 들어, 마이너스 1에서 0은 블리치 바이패스의 강도를 제어하고, 반면에, 0에서 1까지는 크로스 프로세스의 강도를 제어한다. 중심에서 또는 0값에서 효과는 오프되거나 거의 오프된다. 대략 0.5에서, 효과는 완전한 보통 강도에 있다. 대략 0.5 및 1.0 사이에서, 효과는 극단 또는 과장된 강도 레벨보다 더 통과할 수 있다. 한 예시적인 실시예에서, 색상의 색조 또는 다른 색 컨투어는 X축 상에서 제어된다.
이제 도 11을 참조하면, 본 발명의 한 양상에 따라 다른 예시적인 효과 제어 어플리케이션(1100)이 도시된다. 이러한 특정 예시적인 실시예에서, 효과 룩은 제스처의 제어를 통해 사용자에게 액세스 가능한 값 및 그들의 강도를 통해 비디오 또는 사진 상에서 실시간으로 제어된다. 비디오 스타일 편집을 위한 사용자 인터페이스는 비디오 또는 이미지 필터, 스타일 또는 효과가 사용자에 의해 쉬운 효과 제어를 위한 하나의 사용자 인터페이스에서 결합될 수 있는 시스템이다. 비디오 또는 이미지 필터들, 스타일 또는 효과들은 세피아 토닝, 인터레이싱, 블렌딩, 잡음, 가우시안 블러, 샤프닝, 리플, 퍼즐, 왜곡 등을 포함할 수 있다. 많은 필터들, 스타일 및 효과들은 존재하고 대부분은 이러한 시스템을 사용하여 구현될 수 있다.
하나의 예시적인 실시예에서, 이미지 또는 비디오는 모바일 폰 스크린(1102)과 같은 터치 감응 스크린 상에 디스플레이 된다. 인터페이스가 사용자 입력(1103)에 응답하여 인에이블링될 때, 디스플레이는 사분면으로 가상으로 분할되고, 각 사분면은 상이한 효과를 제어한다. 사용자 인터페이스는 메뉴 선택에 의해 개시될 수 있다. 일단 사용자 인터페이스가 개시되면, 사용자는 많은 시각 테마, 예컨대 70년대 룩, 색 반전, 흑백, 클래식 필름 그레인 등으로 나타날 수 있다. 많은 시각 룩 또는 효과들은 각 테마와 연관된다. 예를 들면, 70년대 테마로, 데미지, 코다크롬, 보케 및 빈티지 아날로그와 같은 룩들은 테마와 연관될 수 있다. 테마들의 다른 예시는 색, 에지, 대조 등일 수 있다.
예시적인 실시예에서, 일단 테마가 개시되면, 네 가지 룩들은 모바일 폰 스크린(1110)의 사분면에 적용된다. 도시적인 목적으로, 라인들(1112)은 사분면의 경계를 도시하기 위해 모바일 폰 스크린(1110)에 추가된다. 사분할(1117)의 가운데에서 터치 스크린(1115)을 터치하는 것은 테마에 따라 조합된 필터로 적용될 수 있고 또는 어떠한 효과도 적용하지 않을 수도 있다. 스크린(1120) 상의 중앙 지점으로부터 손가락을 움직이는 것은 사분할에 할당된 효과의 강도를 증가시킨다. 사분면 사이에서 이동은 사용자 입력의 위치에 의해, 중앙으로부터 거리 및 사분면 경계에 근접성에 의해 한정된 가중된 비율에서 효과(1125)를 합병한다. 따라서, 사용자가 높은 사분면의 중앙선으로부터 왼쪽으로 손가락을 제스처를 취할 때, 시스템은 지배되는 상부 사분면에 할당된 룩을 통해 결합된 효과를 적용한다. 사용자의 터치 입력이 왼쪽으로 사분면 경계에 걸쳐 움직일 때, 좌측 사분면에 할당된 효과는 더 지배적이되며, 상부 사분면의 효과는 덜 지배된다. 사용자의 터치가 좌측을 향해서 이동할 때, 좌측 사분면 효과의 강도는 더 커진다. 사용자가 중앙을 향해서 우측으로 이동할 때, 좌측 사분면 효과의 강도는 작아진다. 사용자의 터치는 우측으로 중앙 지점을 교차하여 이동될 때, 좌측 사분면 효과는 감소 또는 제거되고 우측 사분면 효과는 더 강해진다. 따라서, 사용자가 터치스크린에 걸쳐서 손가락을 이동할 때, 룩의 블렌드는 이미지 또는 비디오 효과들이 적용됨에 따라, 실시간으로 달성될 수 있다.
대안적인 실시예는 스크린상의 방향에 할당된 상이한 효과를 갖는다. 따라서, 70년대 테마의 이전의 예시를 이용하여, 데미지, 코다크롬, 보케 및 빈티지 아날로그와 같은 룩들은 각각 방향과 연관될 수 있다. 사용자가 스크린 위로 손가락을 슬라이딩하면, 위 방향으로 할당된 룩은 강해지고 아래 방향으로 할당된 룩은 약해진다. 이와 같이, 사용자가 왼쪽으로 손가락을 슬라이딩할 때, 좌측 방향으로 할당된 룩은 강해지고 우측 방향으로 할당된 룩은 약해진다. 사용자는 우측으로 슬라이딩 한 후 예를 들어, 스크린을 터치하지 않고 좌측으로 그들의 손가락을 이동하고 스크린을 재터치하고 다시 우측으로 슬라이딩한 후 그들의 손가락을 올릴 수 있다. 이는 우측 방향으로 할당된 룩을 더 강하게 하는 효과를 가질 것이다. 따라서, 테마와 연관된 룩에 할당된 영역 또는 사분면 대신, 방향은 룩과 연관된다. 대각선 상으로 슬라이딩하는 것은 두 개의 상이한 룩을 강화한다. 두 개의 룩이 강해지는 비율은 터치 슬라이드 사용자 입력의 각도에 의존한다.
정규화된 값은 터치 지표가 스크린의 중앙에서 에지로 이동됨에 따라 가중되어 적용될 수 있다. 효과들은, 예컨대 컬러에서의 변화를 가져오는 .5, 새로운 효과를 가져오는.9와 같은 어떤 특정 임계치 후에 변할 수 있다. 임의의 주어진 사용자 백터의 크기는, 일관된 미리 결정된 룩을 계획적으로 생성하는 레이어드된 일련의 개별 이미지 프로세스의 강도를 결정한다.
이제 도 12를 참조하면, 본 발명에 따라 비디오 스타일(1200)을 구현하는 방법이 도시된다. 방법은 이미지 또는 비디오를 디스플레이할 수 있는 카메라 또는 디바이스를 통해 임의의 디바이스에 의해 수행될 수 있다. 터치스크린은 터치 패드, 원격 제어 디바이스 또는 키패드에서 사용자 입력을 생성하도록 사용될 수 있다. 방법은 이미지 필터들을 적용함으로써 이미지 또는 비디오의 룩을 변경하도록 동작한다.
첫째로, 시스템은 디바이스의 스크린상에 이미지(1210)를 디스플레이 하도록 동작한다. 이미지는 필터 효과들 등이 구현 후 즉시 보여질 수 있고 사용자에게 실시간으로 이미지의 룩에 피드백을 주도록 프로세스를 통해 디스플레이 된다.
그리고나서 시스템은 제 1 사용자 입력(1220)을 수신하도록 동작한다. 사용자는 테마 선택 메뉴를 개시한다. 테마 선택 메뉴는 기존의 단어 메뉴 또는 도 11(1103)에 적용된 테마의 샘플을 통해 이미지를 묘사하는 메뉴일 수 있다. 일단 사용자가 테마를 선택하면, 제어 신호는 선택된 테마를 식별하도록 생성된다.
제 1 사용자 입력에 응답하여, 시스템은 테마(1230)를 개시한다. 그리고나서, 이미지는 테마와 연관된 룩과 연관된 이미지의 영역을 통해 스크린 상에 디스플레이된다. 경계들은 이미지상에 시각적으로 도시되거나 그렇지 않을 수 있다. 경계 디스플레이는 사용자 선택 가능한 옵션일 수 있다.
그리고나서, 시스템은 제 2 사용자 입력(1240)을 수신하도록 동작한다. 사용자는 터치 스크린의 부분에 터치 또는 압력을 적용한다. 제어 신호는 스크린 상의 위치를 타나내도록 생성된다. 예를 들어, 스크린이 100x100 행렬로서 나타나는 경우, 사용자는 행렬의 40, 56 지점에 터치를 적용할 수 있다. 이러한 예시에서, 상기 점은 아래 좌측 사분면이 특정 시각 룩과 연관될 때, 아래 좌측 사분면과 연관될 수 있다.
시스템은 제 2 사용자 입력에 응답하여 이미지에 적용(1250)하도록 시각 효과를 결정한다. 시스템은 터치 위치를 나타내는 제어 신호를 수신하도록 동작한다. 그리고나서 시스템은 어떤 시각 효과를 이미지에 적용할지 결정한다. 각 위치는 특정 필터에 할당된다. 따라서, 스크린을 따라 위치를 이동하는 것이 반드시 룩들이 비례하여 변경되는 것을 의미하지는 않는다. 룩은 위치가 예를 들어 사분면의 에지에 가깝게 이동할 때 기하급수적으로 강해질 수 있다. 시스템은 이미지(1260)에 시각 효과를 적용하고 이미지는 디스플레이된다. 이는 사용자에게 즉각적인 시각 피드백을 제공한다. 그리고나서 시스템은 위치에서 변화를 기다리기 위하여 단계(1240)로 돌아간다. 만약 위치에서 변화가 결정되면, 새로운 시각 룩은 이미지에 적용된다. 몇 가지 지점에서, 사용자는 이미지 또는 비디오를 저장 또는 전송하도록 명령을 개시할 수 있다. 이러한 명령에 응답하여, 이미지 또는 비디오는 최종 수신된 적용된 위치 정보와 연관된 시각 룩을 통해 메모리에 저장될 수 있다.
위에서 도시되고 논의된 요소들은 하드웨어, 소프트웨어 또는 이들의 조합의 다양한 형태로 구현될 수 있다는 것이 이해되어야한다. 바람직하게, 이러한 요소들은 하나 이상의 적절하게 프로그래밍된, 프로세서, 메모리 및 입/출력 인터페이스를 포함할 수 있는 범용 디바이스 상에서 하드웨어와 소프트웨어의 조합으로 구현된다. 본 기재는 본 개시의 원리를 도시한다. 따라서, 비록 명세서에 분명하게 기재되거나 도시되지 않았지만 본 개시의 원리를 구현하고 이 범위 내에 포함되는 다양한 방식을 고안할 수 있다는 것이 이해될 것이다. 모든 예시와 명세서에 언급된 조건부 언어는 독자가 추가적인 기술에 대해 발명자에 의해 기여된 본 개시의 원리 및 개념을 이해하는데 도움을 주기 위한 설명의 목적으로 의도되고, 이러한 특정하게 언급된 예시 및 조건에 제한되지 않고 이해될 것이다. 더욱이, 나열된 본 개시의 원리, 양상, 및 실시예뿐만 아니라 특정 예시들의 모든 서술은 구조적으로 그리고 기능적으로 모두 등가물을 포함하도록 의도된다. 게다가, 이러한 등가물은 현재 알려진 등가물뿐만 아니라 미래에 개발될 등가물, 즉, 구조에 관계없이 동일한 기능을 수행하는 개발된 임의의 요소들을 모두 포함하도록 의도된다. 따라서, 예를 들어, 본 개시의 원리를 구현하는 도시적인 회로의 개념 뷰를 나타내는 블록도가 당업자에의해 이해될 것이다. 유사하게, 임의의 플로우 차트, 흐름도, 상태 전이도, 의사코드 등이 컴퓨터 판독가능 매체에 실질적으로 나타날 수 있는 다양한 프로세스를 나타내고, 따라서 이러한 컴퓨터 또는 프로세서가 분명하게 도시되든지 그렇지 않든지 간에 컴퓨터 또는 프로세서에 의해 실행될 수 있다는 것이 이해될 것이다.
100 : 모바일 폰 110 :셀 네트워크 인터페이스
120 : 무선 네트워크 인터페이스 140 : 메인 카메라
170 : 터치 스크린 150 : 메인 프로세서
180: 입/출력(I/O)인터페이스 1220 : 제 1 사용자 입력
1240 : 제 2 사용자 입력

Claims (20)

  1. 이미지를 변경하는 방법으로서, 방법은,
    - 이미지를 디스플레이하는 단계;
    -제 1 사용자 개시된 선택에 대응하여 제 1 제어 신호를 수신하는 단계;
    -상기 제 1 제어 신호에 응답하여 제 1 효과 제어 모드를 개시하는 단계;
    -터치 스크린 상의 위치에 대응하는 제 2 제어 신호를 수신하는 단계;
    -상기 위치에 응답하여 시각 효과를 결정하는 단계로서, 상기 시각 효과는 제 1 이미지 효과와 제 2 이미지 효과의 조합인, 시각 효과를 결정하는 단계; 및
    -상기 시각 효과에 응답하여 상기 이미지의 변경된 버전을 디스플레이하는 단계를 포함하는, 이미지를 변경하는 방법.
  2. 제 1항에 있어서, 상기 이미지는 상기 제 2 제어 신호의 변경과 동시에 점진적으로 변경되는, 이미지를 변경하는 방법.
  3. 제 1항에 있어서, 상기 제 1 이미지 효과 및 상기 제 2 이미지 효과의 상기 조합은 상기 위치에서의 변경에 응답하여 변경되는, 이미지를 변경하는 방법.
  4. 제 1항에 있어서,
    -상기 이미지의 제 1 사분할 및 상기 이미지의 제 2 사분할을 한정하고 상기 제 1 사분할에 상기 제 1 이미지 효과를 할당하고 상기 제 2 사분할에 상기 제 2 이미지 효과를 할당하는 단계; 및
    -상기 제 1 사분할에 위치된 상기 위치에 응답하여 상기 제 1 이미지 효과를 변경하는 단계를 더 포함하는, 이미지를 변경하는 방법.
  5. 제 4항에 있어서, 상기 제 2 사분할 내에 위치된 상기 위치에 응답하여 상기 제 2 이미지 효과를 변경하고 상기 제 1 사분할을 향하여 이동하는 상기 위치에 응답하여 상기 제 1 이미지 효과를 변경하는 단계를 더 포함하는, 이미지를 변경하는 방법.
  6. 제 4항에 있어서, 상기 이미지의 제 3 사분할과 상기 이미지의 제 4 사분할을 한정하고, 상기 제 3 사분할에 상기 제 3 이미지 효과를 할당하고 상기 제 4 사분할에 상기 제 4 이미지 효과를 할당하는 단계를 더 포함하는, 이미지를 변경하는 방법.
  7. 제 6항에 있어서, 상기 이미지 상에 상기 제 1 사분할의 경계를 디스플레이하는 단계를 더 포함하는, 이미지를 변경하는 방법.
  8. 제 1항에 있어서, 제 1 효과 제어 모드는 이미지 효과 테마를 포함하고, 상기 이미지 효과 테마는 상기 제 1 이미지 효과 및 상기 제 2 이미지 효과와 연관되는, 이미지를 변경하는 방법.
  9. 제 1항에 있어서, 상기 제 1 이미지 효과는 상기 이미지의 중앙에서부터 상기 위치의 거리에 응답하여 비선형 강도에 적용되는, 이미지를 변경하는 방법.
  10. 장치로서,
    -사용자 개시 제스처를 수신하기 위한 터치 감응 제어 디바이스;
    -상기 사용자 개시 제스처에 응답하여 복수의 제어 신호를 생성하기 위한 제어부;
    -제 1 사용자 개시 선택에 대응하여 제 1 제어 신호를 수신하고, 상기 제 1 제어 신호에 응답하여 제 1 효과 제어 모드를 개시하고, 터치스크린 상의 위치에 대응하는 제 2 제어 신호를 수신하고, 상기 위치에 응답하여 시각 효과를 결정하며, 여기서 상기 시각 효과는 제 1 이미지 효과 및 제 2 이미지 효과의 조합이고, 상기 시각 효과에 응답하여 상기 이미지의 변경된 버전을 나타내는 디스플레이 신호를 생성하기 위한 프로세서; 및
    -상기 이미지를 디스플레이하도록 동작하는 디스플레이로서, 상기 디스플레이는 상기 이미지의 상기 변경된 버전을 디스플레이 하도록 더 동작하는, 디스플레이를 포함하는, 장치.
  11. 제 10항에 있어서, 상기 터치 감응 제어 디바이스, 상기 제어부 및 상기 디스플레이는 터치 스크린 디스플레이의 부분인, 장치.
  12. 제 11항에 있어서, 메모리를 더 포함하고, 여기서 상기 메모리는 상기 시각 효과, 상기 제 1 이미지 효과 및 상기 제 2 이미지 효과에 대응하는 데이터를 저장하는, 장치.
  13. 제 10항에 있어서, 상기 이미지는 상기 제 2 제어 신호의 변경과 동시에 점차적으로 변경되는, 장치.
  14. 제 10항에 있어서, 상기 제 1 이미지 효과 및 상기 제 2 이미지 효과의 상기 조합은 상기 위치의 변화에 응답하여 변경되는, 장치.
  15. 제 10항에 있어서, 상기 프로세서는 상기 이미지의 제 1 사분할 및 상기 이미지의 제 2 사분면을 한정하도록 더 동작하고, 상기 제 1 이미지 효과를 상기 제 1 사분면에 할당하고, 상기 제 이미지 효과를 상기 제 2 사분면에 할당하며, 상기 제 1 사분할 내에 위치된 상기 위치에 응답하여 상기 제 1 이미지 효과를 변경하는, 장치.
  16. 제 15항에 있어서, 상기 프로세서는 상기 제 2 사분면 내에 위치된 상기 위치에 응답하여 상기 제 2 이미지 효과를 변경하도록 더 작동하고, 상기 제 1 사분면을 향하여 이동하는 상기 위치에 응답하여 상기 제 1 이미지 효과를 변경하는, 장치.
  17. 제 15항에 있어서, 상기 프로세서는 상기 이미지의 제 3 사분면 및 상기 이미지의 제 4 사분면을 한정하고, 상기 제 3 이미지 효과는 상기 제 3 사분면에 할당하고 상기 제 4 이미지 효과를 상기 제 4 사분면에 할당하도록 더 동작하는, 장치.
  18. 제 15항에 있어서, 상기 디스플레이는 상기 이미지 상의 상기 제 1 사분면의 경계를 디스플레이하도록 더 동작하는, 장치.
  19. 제 10항에 있어서, 제 1 효과 제어 모드는 이미지 효과 테마를 포함하고, 여기서 상기 이미지 효과 테마는 상기 제 1 이미지 효과 및 상기 제 2 이미지 효과와 연관되는, 장치.
  20. 제 10항에 있어서, 상기 제 1 이미지 효과는 상기 이미지의 중앙으로부터 상기 위치의 거리에 응답하여 비선형 강도에 적용되는, 장치.
KR1020167006896A 2013-09-16 2014-08-29 스마트폰/카메라상에서 터치스크린을 통하여 비디오 편집을 하기 위한 제스처에 기초하여 상호작용하는 그래픽 사용자 인터페이스 KR20160055813A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US201361878245P true 2013-09-16 2013-09-16
US61/878,245 2013-09-16
US201462003281P true 2014-05-27 2014-05-27
US62/003,281 2014-05-27
PCT/US2014/053381 WO2015038356A1 (en) 2013-09-16 2014-08-29 Gesture based interactive graphical user interface for video editing on smartphone/camera with touchscreen

Publications (1)

Publication Number Publication Date
KR20160055813A true KR20160055813A (ko) 2016-05-18

Family

ID=51539355

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020167006543A KR20160056888A (ko) 2013-09-16 2014-08-27 여러 사용자 주석들을 검색하고 그것들을 콘텐트 내에 오버레이하여 비디오들을 브라우징하기
KR1020167006818A KR20160058103A (ko) 2013-09-16 2014-08-28 이미지들의 그룹에 대한 텍스트 칼라를 생성하는 방법 및 장치
KR1020167006896A KR20160055813A (ko) 2013-09-16 2014-08-29 스마트폰/카메라상에서 터치스크린을 통하여 비디오 편집을 하기 위한 제스처에 기초하여 상호작용하는 그래픽 사용자 인터페이스

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020167006543A KR20160056888A (ko) 2013-09-16 2014-08-27 여러 사용자 주석들을 검색하고 그것들을 콘텐트 내에 오버레이하여 비디오들을 브라우징하기
KR1020167006818A KR20160058103A (ko) 2013-09-16 2014-08-28 이미지들의 그룹에 대한 텍스트 칼라를 생성하는 방법 및 장치

Country Status (6)

Country Link
US (3) US20160227285A1 (ko)
EP (3) EP3047396A1 (ko)
JP (4) JP2016538657A (ko)
KR (3) KR20160056888A (ko)
CN (3) CN105580013A (ko)
WO (4) WO2015038338A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9401947B1 (en) * 2013-02-08 2016-07-26 Google Inc. Methods, systems, and media for presenting comments based on correlation with content
WO2015038338A1 (en) * 2013-09-16 2015-03-19 Thomson Licensing Browsing videos by searching multiple user comments and overlaying those into the content
US9942464B2 (en) * 2014-05-27 2018-04-10 Thomson Licensing Methods and systems for media capture and seamless display of sequential images using a touch sensitive device
US20150348325A1 (en) * 2014-05-27 2015-12-03 Thomson Licensing Method and system for stabilization and reframing
MX2017007462A (es) * 2014-12-12 2017-10-02 Nagravision Sa Metodo y procesador grafico para manejar colores de una interfaz de usuario.
US10109092B1 (en) * 2015-03-24 2018-10-23 Imagical LLC Automated text layout, color and other stylization on an image or video, and the tracking and application of user color preferences
CN104935980B (zh) * 2015-05-04 2019-03-15 腾讯科技(北京)有限公司 互动信息处理方法、客户端及服务平台
CN104936035B (zh) * 2015-06-19 2018-04-17 腾讯科技(北京)有限公司 一种弹幕处理方法及系统
US10671234B2 (en) * 2015-06-24 2020-06-02 Spotify Ab Method and an electronic device for performing playback of streamed media including related media content
CN104980809B (zh) * 2015-06-30 2019-03-12 北京奇艺世纪科技有限公司 一种弹幕处理方法和装置
CN105893012A (zh) * 2015-12-01 2016-08-24 乐视网信息技术(北京)股份有限公司 用于在安卓系统中生成视频截图的方法和装置
CN106940621B (zh) * 2016-01-05 2020-03-03 腾讯科技(深圳)有限公司 图片处理的方法和装置
CN105635822A (zh) * 2016-01-07 2016-06-01 天脉聚源(北京)科技有限公司 一种视频弹幕处理方法及装置
US10622021B2 (en) * 2016-02-19 2020-04-14 Avcr Bilgi Teknolojileri A.S Method and system for video editing
US9940007B2 (en) 2016-02-24 2018-04-10 International Business Machines Corporation Shortening multimedia content
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
CN106227737B (zh) * 2016-07-11 2019-12-03 北京创意魔方广告有限公司 快速生成广告图片平台
KR20180020473A (ko) * 2016-08-18 2018-02-28 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
CN106878632B (zh) * 2017-02-28 2020-07-10 北京知慧教育科技有限公司 一种视频数据的处理方法和装置
CN107172444B (zh) * 2017-03-30 2019-07-09 武汉斗鱼网络科技有限公司 一种网络直播重连方法及系统
DK201770719A1 (en) 2017-06-04 2019-02-01 Apple Inc. USER INTERFACE CAMERA EFFECTS
CN107818785A (zh) * 2017-09-26 2018-03-20 平安普惠企业管理有限公司 一种从多媒体文件中提取信息的方法及终端设备
US10587919B2 (en) 2017-09-29 2020-03-10 International Business Machines Corporation Cognitive digital video filtering based on user preferences
CN108600851B (zh) * 2018-03-26 2019-05-07 掌阅科技股份有限公司 用于电子书的直播方法、电子设备及计算机存储介质
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
CN108829845A (zh) * 2018-06-20 2018-11-16 北京奇艺世纪科技有限公司 一种音频文件播放方法、装置及电子设备
US10650861B2 (en) * 2018-06-22 2020-05-12 Tildawatch, Inc. Video summarization and collaboration systems and methods
CN109143628A (zh) * 2018-09-14 2019-01-04 武汉帆茂电子科技有限公司 一种在液晶模组实时显示Flick,Vcom数值的装置及方法
CN109408748A (zh) * 2018-10-15 2019-03-01 北京字节跳动网络技术有限公司 用于处理信息的方法和装置
CN109344318B (zh) * 2018-10-15 2020-05-15 北京字节跳动网络技术有限公司 用于处理信息的方法和装置
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
CN110366002A (zh) * 2019-06-14 2019-10-22 北京字节跳动网络技术有限公司 视频文件合成方法、系统、介质和电子设备
CN111752440A (zh) * 2020-06-29 2020-10-09 北京字节跳动网络技术有限公司 一种多媒体内容展示方法及装置

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910006465B1 (ko) * 1988-12-31 1991-08-26 삼성전자 주식회사 영상신호와 보색관계를 가지는 문자를 영상신호에 삽입하는 문자 합성장치
US6711291B1 (en) * 1999-09-17 2004-03-23 Eastman Kodak Company Method for automatic text placement in digital images
US20040128317A1 (en) * 2000-07-24 2004-07-01 Sanghoon Sull Methods and apparatuses for viewing, browsing, navigating and bookmarking videos and displaying images
WO2002008948A2 (en) * 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
JP2002049907A (ja) * 2000-08-03 2002-02-15 Canon Inc デジタルアルバム作成装置およびデジタルアルバム作成方法
KR20020026111A (ko) * 2000-09-30 2002-04-06 구자홍 디지털 방송 수신기의 자동 온스크린 디스플레이 색상변경방법
US7774817B2 (en) * 2001-01-31 2010-08-10 Microsoft Corporation Meta data enhanced television programming
US7050109B2 (en) * 2001-03-02 2006-05-23 General Instrument Corporation Methods and apparatus for the provision of user selected advanced close captions
KR100828354B1 (ko) * 2003-08-20 2008-05-08 삼성전자주식회사 자막 위치 제어 장치 및 방법
JP4704224B2 (ja) * 2005-03-04 2011-06-15 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
WO2007105918A1 (en) * 2006-03-15 2007-09-20 Ktf Technologies, Inc. Apparatuses for overlaying images, portable devices having the same and methods of overlaying images
US7735101B2 (en) * 2006-03-28 2010-06-08 Cisco Technology, Inc. System allowing users to embed comments at specific points in time into media presentation
US7646392B2 (en) * 2006-05-03 2010-01-12 Research In Motion Limited Dynamic theme color palette generation
FR2910769B1 (fr) * 2006-12-21 2009-03-06 Thomson Licensing Sas Procede de creation d'un resume d'un document audiovisuel comportant un sommaire et des reportages, et recepteur mettant en oeuvre le procede
JP4673862B2 (ja) * 2007-03-02 2011-04-20 株式会社ドワンゴ コメント配信システム、コメント配信サーバ、端末装置、コメント配信方法、及びプログラム
TR200709081A2 (tr) * 2007-12-28 2009-07-21 Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret A.Ş. Görüntü sistemleri için dinamik renkli kullanıcı.
JP5151753B2 (ja) * 2008-07-10 2013-02-27 株式会社Jvcケンウッド ファイル検索装置、ファイル検索方法および音楽再生装置ならびにプログラム
JP5346941B2 (ja) * 2008-09-16 2013-11-20 パナソニック株式会社 データ表示装置、集積回路、データ表示方法、データ表示プログラム及び記録媒体
WO2010095783A1 (ko) * 2009-02-23 2010-08-26 한국과학기술원 터치 스크린 제어 방법 및 이를 이용하는 터치 스크린 장치
US20110304584A1 (en) * 2009-02-23 2011-12-15 Sung Jae Hwang Touch screen control method and touch screen device using the same
US8860865B2 (en) * 2009-03-02 2014-10-14 Burning Moon, Llc Assisted video creation utilizing a camera
US20120019572A1 (en) * 2009-03-31 2012-01-26 Hewlett-Packard Development Company, L.P. Background and foreground color pair
US20100306232A1 (en) * 2009-05-28 2010-12-02 Harris Corporation Multimedia system providing database of shared text comment data indexed to video source data and related methods
US20100303365A1 (en) * 2009-05-29 2010-12-02 Min Zhang Methods and apparatus to monitor a multimedia presentation including multiple content windows
WO2010141260A1 (en) * 2009-06-01 2010-12-09 Telcordia Technologies, Inc. System and method for processing commentary that is related to content
US9542489B2 (en) * 2009-07-16 2017-01-10 Bluefin Labs, Inc. Estimating social interest in time-based media
CN101667188A (zh) * 2009-07-24 2010-03-10 刘雪英 一种在博客上实现音频视频留言和评论的方法和系统
US8780134B2 (en) * 2009-09-30 2014-07-15 Nokia Corporation Access to control of multiple editing effects
US20110090155A1 (en) * 2009-10-15 2011-04-21 Qualcomm Incorporated Method, system, and computer program product combining gestural input from multiple touch screens into one gestural input
US8436821B1 (en) * 2009-11-20 2013-05-07 Adobe Systems Incorporated System and method for developing and classifying touch gestures
US9628673B2 (en) * 2010-04-28 2017-04-18 Microsoft Technology Licensing, Llc Near-lossless video summarization
US20110280476A1 (en) * 2010-05-13 2011-11-17 Kelly Berger System and method for automatically laying out photos and coloring design elements within a photo story
US8811948B2 (en) * 2010-07-09 2014-08-19 Microsoft Corporation Above-lock camera access
US8588548B2 (en) * 2010-07-29 2013-11-19 Kodak Alaris Inc. Method for forming a composite image
US20130300761A1 (en) * 2010-11-12 2013-11-14 Colormodules Inc. Method and system for color matching and color recommendation
US20120127198A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Selection of foreground characteristics based on background
CN102547433A (zh) * 2010-12-07 2012-07-04 华录文化产业有限公司 一种基于播放时间点的互动评论方法和装置
CN102693242B (zh) * 2011-03-25 2015-05-13 开心人网络科技(北京)有限公司 一种网络评论信息的共享方法和系统
CN102780921B (zh) * 2011-05-10 2015-04-29 华为终端有限公司 在观看节目时获取评论信息的方法、系统和装置
US9066145B2 (en) * 2011-06-30 2015-06-23 Hulu, LLC Commenting correlated to temporal point of video data
WO2013027304A1 (ja) * 2011-08-25 2013-02-28 パナソニック株式会社 情報提示制御装置及び情報提示制御方法
US9354763B2 (en) * 2011-09-26 2016-05-31 The University Of North Carolina At Charlotte Multi-modal collaborative web-based video annotation system
US20130091522A1 (en) * 2011-10-05 2013-04-11 Sony Corporation, A Japanese Corporation Method to display additional information on screen
JP5845801B2 (ja) * 2011-10-18 2016-01-20 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
CN102523492B (zh) * 2011-11-18 2015-04-22 深圳创维-Rgb电子有限公司 一种互动评论系统的评论方法、电视机及移动终端
US20130145248A1 (en) * 2011-12-05 2013-06-06 Sony Corporation System and method for presenting comments with media
US20130204833A1 (en) * 2012-02-02 2013-08-08 Bo PANG Personalized recommendation of user comments
JP2015084004A (ja) * 2012-02-10 2015-04-30 パナソニック株式会社 通信装置
US9363220B2 (en) * 2012-03-06 2016-06-07 Apple Inc. Context-sensitive help for image viewing and editing application
US9131192B2 (en) * 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US9569078B2 (en) * 2012-03-06 2017-02-14 Apple Inc. User interface tools for cropping and straightening image
CN102722580A (zh) * 2012-06-07 2012-10-10 杭州电子科技大学 一种下载视频网站动态生成视频评论的方法
WO2014013689A1 (ja) * 2012-07-20 2014-01-23 パナソニック株式会社 コメント付き動画像生成装置およびコメント付き動画像生成方法
US9397844B2 (en) * 2012-09-11 2016-07-19 Apple Inc. Automated graphical user-interface layout
CN102905170B (zh) * 2012-10-08 2015-05-13 北京导视互动网络技术有限公司 视频的弹幕方法及系统
CN103034722B (zh) * 2012-12-13 2016-03-30 合一网络技术(北京)有限公司 一种网络视频评论聚合装置及方法
US20140188997A1 (en) * 2012-12-31 2014-07-03 Henry Will Schneiderman Creating and Sharing Inline Media Commentary Within a Network
WO2015038338A1 (en) * 2013-09-16 2015-03-19 Thomson Licensing Browsing videos by searching multiple user comments and overlaying those into the content

Also Published As

Publication number Publication date
JP2016539430A (ja) 2016-12-15
WO2015038356A1 (en) 2015-03-19
EP3047644A1 (en) 2016-07-27
CN105580013A (zh) 2016-05-11
CN105874780B (zh) 2019-04-09
EP3047362B1 (en) 2019-04-17
WO2015038351A1 (en) 2015-03-19
WO2015038338A1 (en) 2015-03-19
JP2016537744A (ja) 2016-12-01
WO2015038351A8 (en) 2016-07-21
CN105706437A (zh) 2016-06-22
EP3047396A1 (en) 2016-07-27
KR20160058103A (ko) 2016-05-24
EP3047644B1 (en) 2018-08-08
KR20160056888A (ko) 2016-05-20
US20160283097A1 (en) 2016-09-29
CN105874780A (zh) 2016-08-17
JP2019194904A (ja) 2019-11-07
JP2016538657A (ja) 2016-12-08
EP3047362B8 (en) 2019-06-12
US20160227285A1 (en) 2016-08-04
WO2015038342A1 (en) 2015-03-19
WO2015038356A9 (en) 2015-07-23
US20160232696A1 (en) 2016-08-11
EP3047362A1 (en) 2016-07-27

Similar Documents

Publication Publication Date Title
JP6170972B2 (ja) コンテンツ表示のためのギャラリアプリケーションに関する方法及びコンピュータ読み取り可能記録媒体
US20190278471A1 (en) Selectively emphasizing digital content
US9031389B2 (en) Image editing apparatus, image editing method and program
US20210104259A1 (en) Highlighting Media Through Weighting of People or Contexts
US9836207B2 (en) Facilitating the sending of multimedia as a message
US9032300B2 (en) Visual presentation composition
US9143683B2 (en) Camera and method for recording image files
US8972867B1 (en) Method and apparatus for editing heterogeneous media objects in a digital imaging device
KR101542274B1 (ko) 씬 클라이언트 상에서 동작하는 사용자 인터페이스의 빠르고 부드러운 스크롤링
US6738075B1 (en) Method and apparatus for creating an interactive slide show in a digital imaging device
US5963204A (en) Electronic camera with reproduction and display of images at the same timing
EP2302495B1 (en) Menu screen display method and menu screen display device
JP5499331B2 (ja) ストリーミングメディアのトリックプレー
EP2129111B1 (en) Imaging device, edition device, image processing method, and program
EP2068553B1 (en) Apparatus and method for capturing and editing moving image
JP2016538657A (ja) 複数のユーザコメントを検索してコンテンツにオーバーレイすることによるビデオのブラウジング
TWI253860B (en) Method for generating a slide show of an image
EP2219372B1 (en) Image processing device, dynamic image reproduction device, and processing method and program used in the devices
US8259208B2 (en) Method and apparatus for performing touch-based adjustments within imaging devices
JP5340895B2 (ja) 画像データ作成支援装置および画像データ作成支援方法
JP4145868B2 (ja) マルチメディア再生装置およびメニュー画面表示方法
JP5326910B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP4340806B2 (ja) 画像処理装置、方法及びプログラム
US10304231B2 (en) Image processing method and image processing device to create a moving image based on a trajectory of user input
US8957915B1 (en) Method, apparatus and system for dynamic images

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid