KR102092431B1 - 가상 버튼 및 제스처를 사용한 카메라 제어 방법 및 장치 - Google Patents

가상 버튼 및 제스처를 사용한 카메라 제어 방법 및 장치 Download PDF

Info

Publication number
KR102092431B1
KR102092431B1 KR1020157024096A KR20157024096A KR102092431B1 KR 102092431 B1 KR102092431 B1 KR 102092431B1 KR 1020157024096 A KR1020157024096 A KR 1020157024096A KR 20157024096 A KR20157024096 A KR 20157024096A KR 102092431 B1 KR102092431 B1 KR 102092431B1
Authority
KR
South Korea
Prior art keywords
response
capture
control signal
video
image
Prior art date
Application number
KR1020157024096A
Other languages
English (en)
Other versions
KR20150128688A (ko
Inventor
네일 디. 보스
Original Assignee
인터디지털 씨이 페이튼트 홀딩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 씨이 페이튼트 홀딩스 filed Critical 인터디지털 씨이 페이튼트 홀딩스
Publication of KR20150128688A publication Critical patent/KR20150128688A/ko
Application granted granted Critical
Publication of KR102092431B1 publication Critical patent/KR102092431B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H04N5/232—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H04N5/23245—
    • H04N5/23293—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Telephone Function (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

버튼, 가상 버튼, 및/또는 제스처를 사용하여 영상 및 비디오 포착 디바이스를 동적으로 제어하는 방법 및 장치가 개시된다. 본 시스템은 포착된 비디오를 영상으로서 저장할지 비디오 파일로서 저장할지를 사용자 명령을 통해 결정하는 것에 의해 사용자가 영상 포착 디바이스를 제어할 수 있게 한다. 예를 들어, 포착 버튼을 임계 시간을 초과하여 누르는 것은 포착이 비디오로서 저장되어야만 한다는 것을 나타내고, 포착 버튼을 임계 시간 이전에 해제하는 것은 포착이 영상으로서 저장되어야만 한다는 것을 나타낸다.

Description

가상 버튼 및 제스처를 사용한 카메라 제어 방법 및 장치{METHOD AND APPARATUS FOR CAMERA CONTROL USING A VIRTUAL BUTTON AND GESTURES}
본 출원은 2013년 3월 8일자로 출원된 미국 가출원 제61/775,391호를 기초로 우선권을 주장한다.
휴대용 전자 디바이스들이 점점 더 보편화되고 있다. 휴대폰, 음악 플레이어, 카메라, 태블릿 등과 같은 이들 디바이스는 종종 디바이스들의 조합을 포함하고, 따라서 다수의 물체들을 가지고 다니는 것을 불필요하게 만든다. 예를 들어, 애플 아이폰 또는 삼성 갤럭시 안드로이드폰과 같은 현재의 터치 스크린 휴대폰은 비디오 및 스틸 카메라, GPNS(global positioning navigation system), 인터넷 브라우저, 문자 및 전화, 비디오 및 음악 플레이어 등을 포함한다. 이들 디바이스는 종종 WiFi, 유선, 및 셀룰러, 예컨대 3G와 같은 다수의 네트워크들을 통해 데이터를 전송 및 수신할 수 있다.
휴대용 전자 장치에서의 보조 기능들의 품질이 계속 향상되고 있다. 예를 들어, 초기 "카메라 폰"은 고정 초점 렌즈(fixed focus lenses)를 가지며 플래시를 갖지 않는 저해상도 센서로 이루어져 있었다. 오늘날, 많은 휴대폰은 풀 HD(full high definition) 비디오 기능, 편집 및 필터링 도구는 물론, HD(high definition) 디스플레이를 포함한다. 이 개선된 기능에 의해, 많은 사용자들은 이들 디바이스를 자신의 주된 사진 촬영 디바이스(photography device)로서 사용하고 있다. 따라서, 훨씬 더 개선된 성능의 전문가용 내장형 사진 촬영 도구(professional grade embedded photography tool)가 요구되고 있다.
예를 들어, 많은 모바일 디바이스 사용자들은 카메라 기능을 비디오 또는 카메라 모드에서 사용할 수 있다. 사진 영상(photo image)을 촬영하는 동안, 사용자는 그 대신에 비디오를 촬영했기를 원할 수 있다. 마찬가지로, 사용자가 비디오를 촬영하기 시작할 수 있지만, 영상이 더 바람직했을 수 있다는 것을 깨달을 수 있다. 종종 모바일 디바이스 카메라 애플리케이션에서, 2개의 모드 사이의 전환은 혼동하기 쉽거나 시간이 걸린다. 사용자는 원하지 않는 포맷을 계속 사용할 수 있는데, 그 이유는 포맷을 전환하는 데 소요되는 시간으로 인해 사진 촬영 기회를 놓칠 수 있다고 생각하기 때문이다. 따라서, 모바일 전자 디바이스에 내장된 현재 카메라에서 이들 문제를 극복하는 것이 바람직하다.
버튼, 가상 버튼, 및/또는 제스처를 사용하여 영상 및 비디오 포착 디바이스를 동적으로 제어하는 방법 및 장치가 개시된다. 본 시스템은 포착된 비디오를 영상으로서 저장할지 비디오 파일로서 저장할지를 사용자 명령을 통해 결정하는 것에 의해 사용자가 영상 포착 디바이스를 제어할 수 있게 한다. 예를 들어, 포착 버튼을 임계 시간을 초과하여 누르는(hold) 것은 포착이 비디오로서 저장되어야만 한다는 것을 나타내고, 포착 버튼을 임계 시간 이전에 해제하는(release) 것은 포착이 영상으로서 저장되어야만 한다는 것을 나타낸다.
본 발명의 한 양태에 따르면, 방법은 포착 모드의 시작을 나타내는 제어 신호의 시작을 수신하는 단계, 상기 제어 신호의 상기 시작에 응답하여 포착 모드를 개시해서 포착된 비디오 데이터를 생성하는 단계, 상기 제어 신호의 상기 시작에 응답하여 타이머를 기동시키는 단계, 상기 제어 신호의 끝을 수신하는 단계, 상기 제어 신호의 상기 끝에 응답하여 상기 타이머를 종료시켜서 경과 시간을 생성하는 단계, 상기 경과 시간을 임계 시간과 비교하는 단계, 및 상기 경과 시간이 상기 임계 시간 미만인 것에 응답하여 상기 포착된 비디오 데이터의 일부분을 저장하는 단계를 포함한다.
본 발명의 다른 양태에 따르면, 영상을 포착하는 방법은 영상 포착 키(image capture key)를 터치 스크린 상에 디스플레이하는 단계, 상기 영상 포착 키의 작동에 응답하여 제어 신호를 생성하는 단계, 상기 제어 신호에 응답하여 영상 포착 모드를 개시하는 단계 - 상기 영상 포착 모드는 타이머를 기동시키는 것 및 비디오 데이터 스트림을 저장하는 것을 포함함 -, 상기 제어 신호의 끝에 응답하여 상기 타이머를 종료시켜서 경과 시간을 생성하는 단계, 상기 경과 시간을 임계 시간과 비교하는 단계, 및 상기 경과 시간이 상기 임계 시간 미만인 것에 응답하여 상기 비디오 데이터 스트림의 일부분을 저장하는 단계를 포함한다.
본 발명의 또 다른 양태에 따르면, 장치는 영상 포착 키를 디스플레이하고 상기 영상 포착 키의 활성화에 응답하여 제1 제어 신호를 그리고 상기 영상 포착 키의 비활성화에 응답하여 제2 제어 신호를 생성하는 터치 스크린, 임계 시간을 저장하는 제1 메모리, 상기 제1 제어 신호에 응답하여 포착 시퀀스(capture sequence)를 개시하고 - 상기 포착 시퀀스는 비디오 데이터를 저장하는 것을 포함함 - 상기 제2 제어 신호에 응답하여 상기 포착 시퀀스를 종료시키는 프로세서 - 상기 프로세서는 상기 제1 제어 신호에 응답하여 타이머를 기동시키고 상기 제2 제어 신호에 응답하여 상기 타이머를 종료시켜서 타이머 값을 생성하도록 추가로 동작하고, 상기 프로세서는 상기 타이머 값을 상기 임계 시간과 비교하도록 추가로 동작하며, 상기 비디오 데이터의 일부분은 상기 타이머 값이 상기 임계 시간보다 더 짧은 것에 응답하여 저장됨 -, 및 상기 비디오 데이터의 상기 일부분을 저장하는 제2 메모리를 포함한다.
본 개시 내용의 이들 및 다른 양태, 특징 및 장점이 첨부 도면과 관련하여 읽혀야 하는 바람직한 실시예들에 대한 이하의 상세한 설명으로부터 기술되거나 명백하게 될 것이다.
도면에서, 유사한 참조 번호들은 도면들 전체에 걸쳐 유사한 요소들을 나타낸다.
도 1은 모바일 전자 디바이스의 예시적인 실시예의 블록도를 도시한다.
도 2는 본 발명에 따른, 액티브 디스플레이(active display)를 갖는 예시적인 모바일 디바이스 디스플레이를 도시한다.
도 3은 본 개시 내용에 따른, 영상 안정화(stabilization) 및 리프레이밍(reframing)을 위한 예시적인 프로세스를 도시한다.
도 4는 본 발명에 따른, 포착 초기화(capture initialization)를 갖는 예시적인 모바일 디바이스 디스플레이(400)를 도시한다.
도 5는 본 개시 내용에 따른, 영상 또는 비디오 포착을 개시하기 위한 예시적인 프로세스(500)를 도시한다.
본 명세서에 기재된 예들은 본 발명의 바람직한 실시예들을 예시하고, 이러한 예들은 어떤 방식으로든 본 발명의 범주를 제한하는 것으로 해석되어서는 안 된다.
도 1을 참조하면, 모바일 전자 디바이스의 예시적인 실시예의 블록도가 도시되어 있다. 도시된 모바일 전자 디바이스가 휴대폰(100)이지만, 본 발명은 음악 플레이어, 카메라, 태블릿, GPNS(global positioning navigation system) 등과 같은 임의의 수의 디바이스들에서 동일하게 구현될 수 있다. 휴대폰은 전형적으로 전화 통화 및 문자 메시지를 송신 및 수신하고, 셀룰러 네트워크 또는 로컬 무선 네트워크를 통해 인터넷과 인터페이스하며, 사진 및 비디오를 촬영하고, 오디오 및 비디오 콘텐츠를 재생하며, 워드 프로세싱, 프로그램, 또는 비디오 게임과 같은 애플리케이션을 실행하는 기능을 포함한다. 많은 휴대폰은 GPS를 포함하고, 또한 터치 스크린 패널을 사용자 인터페이스의 일부로서 포함한다.
휴대폰은 다른 주요 구성요소들 각각에 결합되어 있는 주 프로세서(main processor)(150)를 포함한다. 주 프로세서 또는 프로세서들은 네트워크 인터페이스, 카메라(140), 터치 스크린(170), 및 다른 입출력(I/O) 인터페이스(180)와 같은 다양한 구성요소들 간에 정보를 라우팅한다. 주 프로세서(150)는 또한 디바이스 상에서 직접 또는 오디오/비디오 인터페이스를 통해 외부 디바이스 상에서 재생하기 위해 오디오 및 비디오 콘텐츠를 처리한다. 주 프로세서(150)는 카메라(140), 터치 스크린(170), 및 USB 인터페이스(130)와 같은 다양한 서브 디바이스들을 제어하도록 동작한다. 주 프로세서(150)는 컴퓨터와 유사하게 데이터를 조작하는 데 사용되는 서브루틴들을 휴대폰에서 실행하도록 추가로 동작한다. 예를 들어, 주 프로세서는 카메라 기능(140)에 의해 사진이 촬영된 후에 영상 파일을 조작하기 위해 사용될 수 있다. 이들 조작은 크로핑(cropping), 압축, 색 및 밝기 조절 등을 포함할 수 있다.
셀 네트워크 인터페이스(110)는 주 프로세서(150)에 의해 제어되고, 셀룰러 무선 네트워크를 통해 정보를 수신 및 전송하기 위해 사용된다. 이 정보는 TDMA(time division multiple access), CDMA(code division multiple access) 또는 OFDM(Orthogonal frequency-division multiplexing)과 같은 다양한 포맷으로 인코딩될 수 있다. 정보가 디바이스로부터 셀 네트워크 인터페이스(110)를 통해 전송 및 수신된다. 이 인터페이스는 정보를 전송을 위해 적절한 포맷으로 인코딩 및 디코딩하기 위해 사용되는 다수의 안테나 인코더, 복조기 등으로 이루어져 있을 수 있다. 셀 네트워크 인터페이스(110)는 음성 또는 문자 전송을 용이하게 하기 위해, 또는 인터넷으로부터 정보를 수신 및 전송하기 위해 사용될 수 있다. 이 정보는 비디오, 오디오, 및/또는 영상을 포함할 수 있다.
무선 네트워크 인터페이스(120), 또는 WiFi 네트워크 인터페이스는 WiFi 네트워크를 통해 정보를 전송 및 수신하기 위해 사용된다. 이 정보는 802.11g, 802.11b, 802.11ac 등과 같은 상이한 WiFi 표준들에 따라 다양한 포맷으로 인코딩될 수 있다. 이 인터페이스는 정보를 전송을 위해 적절한 포맷으로 인코딩 및 디코딩하고 정보를 복조를 위해 디코딩하기 위해 사용되는 다수의 안테나 인코더, 복조기 등으로 이루어져 있을 수 있다. WiFi 네트워크 인터페이스(120)는 음성 또는 문자 전송을 용이하게 하기 위해, 또는 인터넷으로부터 정보를 수신 및 전송하기 위해 사용될 수 있다. 이 정보는 비디오, 오디오, 및/또는 영상을 포함할 수 있다.
USB(universal serial bus) 인터페이스(130)는 정보를 유선 링크를 통해, 전형적으로 컴퓨터 또는 다른 USB 가능형 디바이스로, 전송 및 수신하기 위해 사용된다. USB 인터페이스(120)는 정보를 전송 및 수신하기 위해, 인터넷에 연결하기 위해, 음성 및 문자 통화를 전송 및 수신하기 위해 사용될 수 있다. 또한, 이 유선 링크는 USB 가능형 디바이스를 모바일 디바이스의 셀 네트워크 인터페이스(110) 또는 WiFi 네트워크 인터페이스(120)를 사용하여 다른 네트워크에 연결시키기 위해 사용될 수 있다. USB 인터페이스(120)는 구성 정보를 컴퓨터로 송신 및 수신하기 위해 주 프로세서(150)에 의해 사용될 수 있다.
메모리(160) 또는 저장 디바이스는 주 프로세서(150)에 결합될 수 있다. 메모리(160)는 모바일 디바이스의 동작에 관련되고 주 프로세서(150)가 필요로 하는 특정의 정보를 저장하기 위해 사용될 수 있다. 메모리(160)는 사용자에 의해 저장 및 검색되는 오디오, 비디오, 사진, 또는 다른 데이터를 저장하기 위해 사용될 수 있다.
입출력(I/O) 인터페이스(180)는 전화 통화, 오디오 녹음 및 재생, 또는 음성 활성화 제어에서 사용하기 위한 버튼, 스피커/마이크를 포함한다. 모바일 디바이스는 터치 스크린 제어기를 통해 주 프로세서(150)에 결합된 터치 스크린(170)을 포함할 수 있다. 터치 스크린(170)은 용량성 및 저항성 터치 센서 중 하나 이상을 사용하는 단일 터치 또는 다중 터치 스크린일 수 있다. 스마트폰은 또한 온/오프 버튼, 활성화 버튼, 볼륨 컨트롤, 벨소리 컨트롤, 및 다중 버튼 키패드 또는 키보드와 같은, 그러나 이들로 제한되지 않는 부가의 사용자 컨트롤들을 포함할 수 있다.
이제 도 2를 참조하면, 본 발명에 따른, 액티브 디스플레이(200)를 갖는 예시적인 모바일 디바이스 디스플레이가 도시되어 있다. 예시적인 모바일 디바이스 애플리케이션은 사용자가 임의의 프레이밍에서 기록하고 촬영 동안 자신의 디바이스를 자유롭게 회전시킬 수 있게 하며, 촬영 동안 디바이스의 뷰파인더 상에 오버레이 형태로 최종 출력을 시각화하고, 궁극적으로 최종 출력에서의 그의 배향을 정정하도록 동작한다.
예시적인 실시예에 따르면, 사용자가 촬영을 시작할 때, 그의 현재 배향이 고려되고, 장치의 센서에 기초한 중력 벡터가 수평선을 정렬(register)시키기 위해 사용된다. 디바이스의 화면 및 관련 광 센서가 폭보다 높이가 더 큰 세로 배향(portrait)(210), 또는 디바이스의 화면 및 관련 광 센서가 높이보다 폭이 더 큰 가로 배향(landscape)(250)과 같은 각각의 가능한 배향에 대해, 최적의 목표 종횡비가 선택된다. 주어진 (현재) 배향에 대한 원하는 최적의 종횡비를 고려하여 센서의 최대 경계에 가장 적합한 삽입 직사각형(inset rectangle)(225)이 전체 센서 내에 내접(inscribe)된다. 센서의 경계들(boundaries)은 정정을 위한 '여유 공간(breathing room)'을 제공하기 위해 약간 패딩되어(padded) 있다. 이 삽입 직사각형(225)은 회전(220, 230, 240)을 보상하기 위해 본질적으로 디바이스의 통합된 자이로스코프로부터 샘플링되는 디바이스 자신의 회전의 반대로 회전하는 것에 의해 변환된다. 변환된 내부 직사각형(225)은 전체 센서의 최대 이용가능 경계에서 패딩을 뺀 것 내부에 최적으로 내접된다. 디바이스의 현재 대부분인 배향에 따라, 변환된 내부 직사각형(225)의 치수들이 회전의 양에 대해 2개의 최적 종횡비 사이에서 보간(interpolate)되도록 조절된다.
예를 들어, 세로 배향에 대해 선택된 최적의 종횡비가 정사각형(1:1)이고 가로 배향에 대해 선택된 최적의 종횡비가 와이드(wide)(16:9)인 경우, 내접된 직사각형은 하나의 배향에서 다른 배향으로 회전될 때 1:1과 16:9 사이에서 최적으로 보간될 것이다. 내접된 직사각형이 샘플링되고, 이어서 최적의 출력 치수에 맞도록 변환된다. 예를 들어, 최적의 출력 치수가 4:3이고 샘플링된 직사각형이 1:1인 경우, 샘플링된 직사각형이 애스팩트 필(aspect filled)(1:1 영역을 광학적으로 완전히 채우고, 필요에 따라 데이터를 크로핑함)되거나 애스팩트 피트(aspect fit)(1:1 영역 내부에 광학적으로 완전히 맞추고, '레터 박싱(letter boxing)' 또는 '필러 박싱(pillar boxing)'으로 임의의 사용되지 않는 영역을 블랙 아웃(black out)함)될 것이다. 결국, 결과물은 콘텐츠 프레이밍(content framing)이 정정 동안 동적으로 제공되는 종횡비에 기초하여 조절되는 고정 애스팩트 자산(fixed aspect asset)이다. 따라서, 예를 들어, 1:1 내지 16:9 콘텐츠로 이루어진 16:9 비디오는 광학적으로 채워진 것(260)(16:9 부분 동안)과 필러 박싱으로 맞춤된 것(250)(1:1 부분 동안) 사이에서 왔다갔다(oscillate) 할 것이다.
모든 움직임의 총 집계(total aggregate)가 최적의 출력 종횡비의 선택에 고려되고 가중되는(weighed) 부가의 개선들(refinements)이 적절하다. 예를 들어, 사용자가 세로 콘텐츠는 소수이고 '대체로 가로'인 비디오를 녹화하는 경우, 출력 포맷은 가로 종횡비(세로 세그먼트를 필러 박싱함)일 것이다. 사용자가 대체로 세로인 비디오를 녹화하는 경우, 반대가 적용된다(비디오가 세로일 것이고 출력을 광학적으로 채우며, 출력 직사각형의 경계를 벗어나는 임의의 가로 콘텐츠를 크로핑함).
이제 도 3을 참조하면, 본 개시 내용에 따른, 영상 안정화 및 리프레이밍을 위한 예시적인 프로세스(300)가 도시되어 있다. 카메라의 포착 모드가 개시되는 것에 응답하여 시스템이 초기화된다. 이 초기화는 하드웨어 또는 소프트웨어 버튼에 따라 또는 사용자 동작에 응답하여 생성되는 다른 제어 신호에 응답하여 개시될 수 있다. 디바이스의 포착 모드가 개시되면, 사용자 선택에 응답하여 모바일 디바이스 센서가 선택된다(320). 사용자 선택은 터치 스크린 디바이스 상에서의 설정을 통해, 메뉴 시스템을 통해, 또는 버튼이 어떻게 작동되는지에 응답하여 행해질 수 있다. 예를 들어, 한번 눌러지는 버튼은 사진 센서를 선택할 수 있는 반면, 계속 누른 채로 있는 버튼은 비디오 센서를 나타낼 수 있다. 또한, 버튼을 미리 결정된 시간, 예컨대 3초 동안 누르고 있는 것은 비디오가 선택되었다는 것을 나타낼 수 있고 버튼이 재차 작동될 때까지 모바일 디바이스에서의 비디오 녹화가 계속될 것이다.
적절한 포착 센서가 선택되면, 본 시스템은 이어서 회전 센서에 측정을 요청한다(320). 회전 센서는 모바일 디바이스의 위치의 수평 및/또는 수직 표시를 결정하는 데 사용되는 자이로스코프, 가속도계, 축 배향 센서, 광 센서 등일 수 있다. 측정 센서는 주기적인 측정들을 제어 프로세서로 송신할 수 있고, 그로써 모바일 디바이스의 수직 및/또는 수평 배향을 계속하여 나타낼 수 있다. 이와 같이, 디바이스가 회전될 때, 제어 프로세서는 디스플레이를 계속하여 업데이트하고 연속적인 일관성 있는 수평선을 갖는 방식으로 비디오 또는 영상을 저장할 수 있다.
회전 센서가 모바일 디바이스의 수직 및/또는 수평 배향의 표시를 반환한 후에, 모바일 디바이스는 비디오 또는 영상의 포착된 배향을 나타내는 삽입 직사각형을 디스플레이 상에 묘사한다(340). 모바일 디바이스가 회전될 때, 시스템 프로세서는 삽입 직사각형을 회전 센서로부터 수신되는 회전 측정과 계속 동기화시킨다(350). 사용자는 선택적으로 선호하는 최종 비디오 또는 영상 비율, 예컨대 1:1, 9:16, 16:9, 또는 사용자에 의해 결정된 임의의 비율을 나타낼 수 있다. 시스템은 또한 모바일 디바이스의 배향에 따라 상이한 비율들에 대한 사용자 선택을 저장할 수 있다. 예를 들어, 사용자는 수직 배향으로 녹화되는 비디오에 대해서는 1:1 비율을 나타낼 수 있지만, 수평 배향으로 녹화되는 비디오에 대해서는 16:9 비율을 나타낼 수 있다. 이 경우에, 시스템은 모바일 디바이스가 회전될 때 비디오를 연속적으로 또는 증분적으로 재스케일링할 수 있다(360). 이와 같이, 비디오가 1:1 배향으로 시작할 수 있지만, 사용자가 촬영 동안 수직 배향으로부터 수평 배향으로 회전하는 것에 응답하여 점진적으로 재스케일링되어 16:9 배향으로 끝날 수 있다. 선택적으로, 사용자는 시작 배향 또는 종료 배향이 비디오의 최종 비율을 결정하는 것을 나타낼 수 있다.
이제 도 4를 참조하면, 본 발명에 따른, 포착 초기화를 갖는 예시적인 모바일 디바이스 디스플레이(400)가 도시되어 있다. 영상 또는 비디오를 포착하기 위한 터치 톤 디스플레이(touch tone display)를 나타내는 예시적인 모바일 디바이스가 도시되어 있다. 본 발명의 한 양태에 따르면, 예시적인 디바이스의 포착 모드가 다수의 동작들에 응답하여 개시될 수 있다. 포착 시퀀스를 개시하기 위해 모바일 디바이스의 하드웨어 버튼들(410) 중 임의의 것이 눌러질 수 있다. 대안으로서, 포착 시퀀스를 개시하기 위해 소프트웨어 버튼(420)이 터치 스크린을 통해 활성화될 수 있다. 소프트웨어 버튼(420)은 터치 스크린 상에 디스플레이되는 영상(430) 상에 오버레이될 수 있다. 영상(430)은 영상 센서에 의해 포착되는 현재 영상을 나타내는 뷰파인더로서 기능한다. 포착되는 영상 또는 비디오의 종횡비를 나타내기 위해, 앞서 기술된 바와 같은 내접된 직사각형(440)이 또한 영상에 오버레이될 수 있다.
포착 시퀀스는 소프트웨어 버튼 또는 하드웨어 버튼과 같은 버튼을 길게 누르는 것에 의해 활성화되고, 버튼을 해제하는 것에 의해 비활성화될 수 있다. 대안으로서, 포착 시퀀스는 버튼을 한번 누르는 것에 의해 활성화되고 이어서 버튼을 재차 누르는 것에 의해 비활성화될 수 있다. 상이한 제스처를 통해 타이머에 상관없이 비디오 녹화 모드가 개시될 수 있다. 이 상이한 제스처는 버튼을 두 번 탭핑하는 것, 버튼을 누른 채로 한쪽으로 스와이프(swipe)하는 것 등을 포함할 수 있다.
이제 도 5를 참조하면, 본 개시 내용에 따른, 영상 또는 비디오 포착을 개시하기 위한 예시적인 프로세스(500)가 도시되어 있다. 영상 소프트웨어(imaging software)가 개시되면, 시스템은 영상 포착을 개시하라는 표시를 기다린다. 영상 포착 표시가 주 프로세서에 의해 수신되면(510), 디바이스는 영상 센서로부터 송신되는 데이터를 저장하기 시작한다(520). 또한, 시스템은 타이머를 기동시킨다. 시스템은 이어서 영상 센서로부터의 데이터를 비디오 데이터로서 계속 포착한다. 포착이 중단되었다는 것을 나타내는 포착 표시로부터의 제2 표시에 응답하여(530), 시스템은 영상 센서로부터의 데이터를 저장하는 것을 중단하고 타이머를 종료시킨다.
시스템은 이어서 타이머 값을 미리 결정된 시간 임계치와 비교한다(540). 미리 결정된 시간 임계치는 예를 들어 1초와 같은, 소프트웨어 공급자에 의해 결정된 디폴트 값일 수 있거나, 사용자에 의해 결정되는 구성가능한 설정치일 수 있다. 타이머 값이 미리 결정된 임계치 미만인 경우(540), 시스템은 정지 영상이 요망된 것으로 결정하고 비디오 포착의 첫 번째 프레임을 정지 영상으로서 정지 영상 포맷, 예컨대 JPEG 등으로 저장한다(560). 시스템은 선택적으로 다른 프레임을 정지 영상으로서 선택할 수 있다. 타이머 값이 미리 결정된 임계치 초과인 경우(540), 시스템은 비디오 포착이 요망된 것으로 결정한다. 시스템은 이어서 포착 데이터를 비디오 파일로서 비디오 파일 포맷, 예컨대 MPEG 등으로 저장한다(550). 시스템은 이어서 초기화 모드로 되돌아가서, 포착 모드가 다시 개시되기를 기다릴 수 있다. 모바일 디바이스가 정지 영상 포착 및 비디오 포착을 위한 상이한 센서들을 갖추고 있는 경우, 시스템은 선택적으로 정지 영상 센서로부터의 정지 영상을 저장하고 비디오 영상 센서로부터의 포착 데이터를 저장하기 시작할 수 있다. 타이머 값이 미리 결정된 시간 임계치와 비교될 때, 원하는 데이터는 저장되는 반면, 원하지 않는 데이터는 저장되지 않는다. 예를 들어, 타이머 값이 임계 시간 값을 초과하는 경우, 비디오 데이터가 저장되고 영상 데이터는 폐기된다.
앞서 논의되고 도시된 요소들이 다양한 형태의 하드웨어, 소프트웨어 또는 이들의 조합들로 구현될 수 있다는 것을 이해하여야 한다. 바람직하게는, 이들 요소가 프로세서, 메모리 및 입출력 인터페이스를 포함할 수 있는 하나 이상의 적절히 프로그램된 범용 디바이스들 상에서 하드웨어와 소프트웨어의 조합으로 구현된다. 본 설명은 본 개시 내용의 원리들을 설명하고 있다. 따라서, 통상의 기술자가, 본 명세서에 명확히 기술되거나 도시되어 있지는 않지만, 본 개시 내용의 원리들을 구현하고 그의 범주 내에 포함되는 다양한 구성들을 안출할 수 있다는 것을 알 것이다. 본 명세서에 언급되는 모든 예들 및 조건적 표현은 본 개시 내용의 원리들 및 기술을 발전시키기 위해 발명자에 의해 기여된 개념들을 읽는 사람이 이해하는 데 도움을 주도록 정보 제공을 위한 것이며, 이러한 구체적으로 언급된 예들 및 조건들로 제한되는 것으로 해석되어서는 안 된다. 게다가, 본 개시 내용의 원리들, 양태들 및 실시예들은 물론 그의 구체적인 예들을 언급하는 본 명세서의 모든 서술들은 본 개시 내용의 구조적 및 기능적 등가물 둘 다를 포괄하기 위한 것이다. 또한, 이러한 등가물들이 현재 공지된 등가물들은 물론 장래에 개발되는 등가물들, 즉 구조에 상관없이 동일한 기능을 수행하는 개발된 임의의 요소들도 포함하는 것으로 의도되어 있다. 따라서, 예를 들어, 통상의 기술자는 본 명세서에 제시된 블록도가 본 개시 내용의 원리들을 구현하는 예시적인 회로의 개념도를 나타낸다는 것을 알 것이다. 마찬가지로, 임의의 플로우차트, 흐름도, 상태 천이도, 의사코드 등이, 실질적으로 컴퓨터 판독가능 매체에 표현되고 컴퓨터 또는 프로세서에 의해, 이러한 컴퓨터 또는 프로세서가 명시적으로 도시되어 있든 그렇지 않든 간에, 그와 같이 실행될 수 있는 다양한 프로세스들을 나타낸다는 것을 알 것이다.

Claims (20)

  1. 방법으로서,
    포착 키(capture key)의 활성화(activation)에 응답하여 생성된 포착 모드(capture mode)의 시작을 나타내는 제어 신호의 시작을 수신하는 단계;
    상기 제어 신호의 상기 시작에 응답하여 포착 모드를 개시해서 콘텐츠를 포착하고, 상기 콘텐츠의 포착이 시작되면 타이머를 시작시키는 단계;
    회전 센서 측정을 생성하여 포착 시간에 상기 콘텐츠의 위치 배치(positional disposition)를 결정하는 단계;
    상기 제어 신호의 끝을 수신하면, 상기 포착을 끝내고 상기 타이머를 종료시키는 단계;
    상기 포착의 시작과 끝 사이의 경과 시간이 일정 양 초과인지 결정하는 단계;
    상기 경과 시간이 제1 시간 지속기간 양(duration amount)보다 길면, 상기 경과 시간의 지속기간에 기초하여 상기 포착된 콘텐츠를 비디오 스트림으로서 비디오 파일로 저장하고, 상기 경과 시간이 상기 제1 시간 지속기간 양보다 짧으면 상기 포착된 콘텐츠를 이미지 파일로 저장하는 단계; 및
    상기 포착된 콘텐츠가 상기 이미지 파일 또는 상기 비디오 스트림으로 저장되는지에 따라 상기 위치 배치를 조정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 포착 키는 영상 포착 키(image capture key)이고, 상기 제어 신호의 상기 끝은 상기 영상 포착 키의 해제(release)에 응답하여 생성되는 방법.
  3. 제2항에 있어서, 상기 영상 포착 키는 터치 스크린 상에 디스플레이되는 방법.
  4. 제1항에 있어서, 상기 포착 모드는 상기 제어 신호의 상기 끝에 응답하여 종료되는 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 장치로서,
    비디오 데이터 스트림을 생성하는 영상 센서;
    사용자 입력을 수신하고 상기 사용자 입력에 응답하여 제어 신호를 생성하는 터치 스크린 - 상기 제어 신호의 시작은 상기 터치 스크린에 디스플레이된 영상 포착 키의 활성화에 응답하여 생성됨 -;
    상기 비디오 데이터 스트림의 적어도 일부분을 저장하는 메모리;
    회전 센서 측정을 생성하여 상기 장치의 위치 배치를 결정하는 센서; 및
    상기 제어 신호에 응답하여 타이머를 기동시키고 상기 비디오 데이터 스트림을 저장하는 프로세서 - 상기 프로세서는 상기 제어 신호의 변화에 응답하여 상기 타이머를 종료시켜서 시간 값을 생성하도록 추가로 동작하고, 상기 프로세서는 상기 시간 값이 제1 지속기간 미만인 것에 응답하여 상기 비디오 데이터 스트림의 일부분을 상기 메모리에 저장하도록 추가로 동작하고, 상기 프로세서는 상기 시간 값이 상기 제1 지속기간 미만이면 상기 비디오 데이터 스트림의 제1 프레임을 정지 영상으로서 저장하고, 상기 비디오 데이터 스트림은 상기 시간 값이 상기 제1 지속기간 초과인 것에 응답하여 비디오 파일로서 저장됨 -
    를 포함하는 장치.
  17. 제16항에 있어서, 상기 제어 신호의 상기 변화는 상기 영상 포착 키의 해제에 응답하여 생성되는 장치.
  18. 제16항에 있어서, 상기 비디오 데이터 스트림의 상기 저장은 상기 제어 신호의 상기 변화에 응답하여 종료되는 장치.
  19. 삭제
  20. 삭제
KR1020157024096A 2013-03-08 2013-06-19 가상 버튼 및 제스처를 사용한 카메라 제어 방법 및 장치 KR102092431B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361775391P 2013-03-08 2013-03-08
US61/775,391 2013-03-08
PCT/US2013/046470 WO2014137369A1 (en) 2013-03-08 2013-06-19 Method and apparatus for camera control using a virtual button and gestures

Publications (2)

Publication Number Publication Date
KR20150128688A KR20150128688A (ko) 2015-11-18
KR102092431B1 true KR102092431B1 (ko) 2020-03-23

Family

ID=48793525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157024096A KR102092431B1 (ko) 2013-03-08 2013-06-19 가상 버튼 및 제스처를 사용한 카메라 제어 방법 및 장치

Country Status (13)

Country Link
US (1) US10642403B2 (ko)
EP (1) EP2965504B1 (ko)
JP (2) JP2016519447A (ko)
KR (1) KR102092431B1 (ko)
CN (1) CN105009564A (ko)
CA (1) CA2902820C (ko)
ES (1) ES2718650T3 (ko)
HK (1) HK1220300A1 (ko)
MX (1) MX368454B (ko)
PL (1) PL2965504T3 (ko)
RU (1) RU2632468C2 (ko)
TR (1) TR201904818T4 (ko)
WO (1) WO2014137369A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160105388A1 (en) * 2014-10-09 2016-04-14 Footspot, Inc. System and method for digital media capture and related social networking
CN105354017B (zh) * 2015-09-28 2018-09-25 小米科技有限责任公司 信息处理方法及装置
US10225471B2 (en) * 2016-03-18 2019-03-05 Kenneth L. Poindexter, JR. System and method for autonomously recording a visual media
US20190174069A1 (en) * 2016-03-18 2019-06-06 Kenneth L. Poindexter, JR. System and Method for Autonomously Recording a Visual Media
CN109491803B (zh) * 2018-10-11 2021-08-24 腾讯科技（深圳）有限公司 一种页面处理方法、装置以及相关设备
JP2023535373A (ja) * 2020-07-17 2023-08-17 マーコウィツ，フィリップ ビデオエンハンストタイムトラッキングシステム及び方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002101331A (ja) * 2000-09-26 2002-04-05 Casio Comput Co Ltd 画像記録装置
JP2011060209A (ja) * 2009-09-14 2011-03-24 Sony Corp 情報処理装置、表示方法及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3555418B2 (ja) 1997-12-11 2004-08-18 株式会社日立製作所 撮影装置及び撮影方法
JPH11355617A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 画像表示器付きカメラ
JP3713973B2 (ja) * 1998-08-31 2005-11-09 カシオ計算機株式会社 電子スチルカメラおよび撮影方法
JP4253395B2 (ja) * 1999-04-07 2009-04-08 オリンパス株式会社 電子カメラ
JP4426708B2 (ja) 2000-08-29 2010-03-03 オリンパス株式会社 電子カメラ装置
US20040061788A1 (en) * 2002-09-26 2004-04-01 Logitech Europe S.A. Multiple mode capture button for a digital camera
US20040090533A1 (en) * 2002-11-11 2004-05-13 Dow James C. System and method for video image capture
US20050093988A1 (en) 2003-11-03 2005-05-05 Haas William R. Digital camera with automatic mode detection
US20050206771A1 (en) * 2004-03-18 2005-09-22 Chung-Lung Lin Digital video camcorder capable of recording and playing golfing actions
EP1667418B1 (en) * 2004-12-03 2013-01-16 Nikon Corporation Digital camera having video file creating function
JP2006174188A (ja) * 2004-12-17 2006-06-29 Casio Comput Co Ltd 動画記録装置、及び動画撮影方法
TWI394437B (zh) * 2006-09-28 2013-04-21 Casio Computer Co Ltd 攝影裝置、記錄電腦程式之記錄媒體及攝影控制方法
JP2010193031A (ja) * 2009-02-17 2010-09-02 Olympus Imaging Corp 撮影装置および撮影装置の制御方法
JP2009261024A (ja) 2009-08-10 2009-11-05 Fujifilm Corp ディスプレイ付き撮像装置
KR20110091378A (ko) * 2010-02-05 2011-08-11 삼성전자주식회사 카메라 동영상 처리 및 재생 방법 및 장치
JP5306266B2 (ja) * 2010-03-15 2013-10-02 キヤノン株式会社 撮像装置及びその制御方法
EP2407870A1 (en) * 2010-07-16 2012-01-18 Research in Motion Limited Camera focus and shutter control
JP2012151708A (ja) 2011-01-20 2012-08-09 Canon Inc 撮像装置
JP5855395B2 (ja) 2011-09-09 2016-02-09 オリンパス株式会社 カメラシステムおよび交換レンズ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002101331A (ja) * 2000-09-26 2002-04-05 Casio Comput Co Ltd 画像記録装置
JP2011060209A (ja) * 2009-09-14 2011-03-24 Sony Corp 情報処理装置、表示方法及びプログラム

Also Published As

Publication number Publication date
WO2014137369A1 (en) 2014-09-12
ES2718650T3 (es) 2019-07-03
HK1220300A1 (zh) 2017-04-28
EP2965504B1 (en) 2019-01-02
RU2632468C2 (ru) 2017-10-05
JP2016519447A (ja) 2016-06-30
CN105009564A (zh) 2015-10-28
PL2965504T3 (pl) 2019-06-28
MX2015011964A (es) 2016-04-15
KR20150128688A (ko) 2015-11-18
TR201904818T4 (tr) 2019-04-22
US20160004378A1 (en) 2016-01-07
CA2902820A1 (en) 2014-09-12
JP2018160280A (ja) 2018-10-11
RU2015142673A (ru) 2017-04-13
EP2965504A1 (en) 2016-01-13
US10642403B2 (en) 2020-05-05
MX368454B (es) 2019-10-03
CA2902820C (en) 2021-01-19

Similar Documents

Publication Publication Date Title
US9942464B2 (en) Methods and systems for media capture and seamless display of sequential images using a touch sensitive device
EP3149624B1 (en) Photo-video-camera with dynamic orientation lock and aspect ratio.
KR102092431B1 (ko) 가상 버튼 및 제스처를 사용한 카메라 제어 방법 및 장치
JP6175518B2 (ja) 自動ビデオセグメント化のための方法および装置
JP2012099889A (ja) カメラ、撮影方法、撮影プログラム
EP3149617B1 (en) Method and camera for combining still- and moving- images into a video.
RU2632215C2 (ru) Способ и система для стабилизации и центрирования изображения
JP6643008B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに記憶媒体
JP2018201076A (ja) 画像処理装置、その制御方法、および制御プログラム
WO2011039947A1 (ja) 撮像装置、その制御方法、撮像システム、及びプログラムが格納された非一時的なコンピュータ可読媒体
US11783525B2 (en) Method, device and storage medium form playing animation of a captured image
JP2014199280A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
KR20140089134A (ko) 듀얼 카메라를 구비하는 장치의 이미지 처리 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant