KR20180134761A - 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스 - Google Patents

다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스 Download PDF

Info

Publication number
KR20180134761A
KR20180134761A KR1020180064645A KR20180064645A KR20180134761A KR 20180134761 A KR20180134761 A KR 20180134761A KR 1020180064645 A KR1020180064645 A KR 1020180064645A KR 20180064645 A KR20180064645 A KR 20180064645A KR 20180134761 A KR20180134761 A KR 20180134761A
Authority
KR
South Korea
Prior art keywords
image
haptic
haptic effect
lens
events
Prior art date
Application number
KR1020180064645A
Other languages
English (en)
Other versions
KR102540100B1 (ko
Inventor
위그-앙트와느 올리버
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20180134761A publication Critical patent/KR20180134761A/ko
Application granted granted Critical
Publication of KR102540100B1 publication Critical patent/KR102540100B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H04N5/2254—
    • H04N5/2258—
    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Cameras In General (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Telephone Function (AREA)

Abstract

제1 이미지 센서, 제2 이미지 센서, 햅틱 출력 디바이스, 및 이미지 센서들과 햅틱 출력 디바이스에 결합된 프로세서를 포함하는 햅틱 효과 인에이블 시스템이 제공된다. 제1 이미지 센서는 제1 디지털 이미지를 생성하고, 제2 이미지 센서는 제2 디지털 이미지를 생성한다. 프로세서는 제1 또는 제2 디지털 이미지에 관한 이미지 이벤트의 통지를 수신한다. 프로세서는 이미지 이벤트에 대응하는 햅틱 효과를 결정하고, 그 햅틱 효과를 햅틱 출력 디바이스에 적용한다.

Description

다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스{HAPTIC ENABLED DEVICE WITH MULTI-IMAGE CAPTURING ABILITIES}
이 특허 문서는 햅틱 효과들에 관한 것이며, 보다 상세하게는 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스들(haptic enabled devices)에 관한 것이다.
디지털 카메라들, 스마트 폰들, 스마트 태블릿들, 비디오 레코더들 등과 같은 다중 이미지 캡처링 디바이스들은 일반적으로 단일 이미지 캡처링 디바이스로 획득될 수 있는 이미지들보다 향상된 이미지들을 그 디바이스의 사용자에게 제공할 수 있다. 특정 구성들에서, 다중 이미지 캡처링 디바이스들은 2개의 렌즈, 예를 들어 광각 렌즈 및 줌 렌즈, 및 2개의 대응하는 이미지 센서를 포함하며, 각각의 렌즈는 상이한 초점 길이를 갖고, 이미지 센서들에서 캡처링된 이미지들은 결합되어 향상된 세부 선명도를 갖는 단일 이미지를 생성한다. 다른 구성들에서, 다중 이미지 캡처링 디바이스들은 복수의 렌즈들 및 대응하는 이미지 센서들을 포함하며, 이미지 센서들의 일부분은 컬러 이미지들을 제공하는 반면, 이미지 센서들의 다른 부분은 흑백 이미지들을 제공하고, 다양한 센서들의 이미지들은 결합되어 향상된 해상도를 갖는 단일 이미지를 생성할 수 있다. 둘 이상의 렌즈 및 하나의 이미지 센서의 존재는 디바이스의 사용자에게 각각의 렌즈 및/또는 이미지 센서와 관련된 다양한 옵션들을 독립적으로 또는 조합하여 조정할 수 있는 능력을 제공한다. 그러나, 사용자는 조정이 발생 중이거나 발생하였을 때의 결정을 즉시 확인할 수 없다. 어떤 경우들에서는, 조정들의 시각적 통지들이 LCD 또는 다른 유형의 디스플레이 상에 제공될 수 있지만, 디스플레이를 체크하는 것은 사용자가 그 사진 대상에서 눈을 떼고 획득하려고 하는 이미지를 아마도 이동시키거나 아니면 건드릴 것을 요구한다.
이 특허 문서는 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스들에 관한 것이다.
일 양태에서, 본 특허 문서는 제1 이미지 센서, 제2 이미지 센서, 햅틱 출력 디바이스, 및 이미지 센서들과 햅틱 출력 디바이스에 결합된 프로세서를 포함하는 햅틱 효과 인에이블 시스템에 관한 것이다. 제1 이미지 센서는 제1 디지털 이미지를 생성하고, 제2 이미지 센서는 제2 디지털 이미지를 생성한다. 프로세서는 제1 또는 제2 디지털 이미지에 관한 이미지 이벤트의 통지를 수신한다. 프로세서는 이미지 이벤트에 대응하는 햅틱 효과를 결정하고, 그 햅틱 효과를 햅틱 출력 디바이스에 적용한다.
다른 양태에서, 본 특허 문서는 제1 이미지 센서, 제2 이미지 센서, 햅틱 출력 디바이스, 및 이미지 센서들과 햅틱 출력 디바이스에 결합된 프로세서를 포함하는 햅틱 효과 인에이블 시스템에 관한 것이다. 프로세서는 제1 디지털 이미지에 관한 제1 이미지 이벤트의 통지 및 제2 디지털 이미지에 관한 제2 이미지 이벤트의 통지를 수신한다. 프로세서는 제1 이미지 이벤트에 대응하는 제1 햅틱 효과 및 제2 이미지 이벤트에 대응하는 제2 햅틱 효과를 결정한다. 프로세서는 제1 햅틱 효과를 햅틱 출력 디바이스에 적용하고, 제1 햅틱 효과의 적용 후에 완료 햅틱 효과를 햅틱 출력 디바이스에 적용하며, 완료 햅틱 효과의 적용 후에 제2 햅틱 효과를 햅틱 출력 디바이스에 적용한다.
또 다른 양태에서, 본 특허 문서는 제1 이미지 센서로부터 제1 디지털 이미지를 수신하는 단계, 제2 이미지 센서로부터 제2 디지털 이미지를 수신하는 단계, 제1 디지털 이미지 또는 제2 디지털 이미지에 관한 이미지 이벤트의 통지를 수신하는 단계, 이미지 이벤트에 대응하는 햅틱 효과를 결정하는 단계, 및 햅틱 효과를 햅틱 출력 디바이스에 적용하는 단계를 포함하는 햅틱 효과 생성 방법에 관한 것이다.
도 1은 본 명세서에 개시된 다양한 실시예들에 따라 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스의 개략도이다.
도 2는 도 1의 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스에 의해 사용될 수 있는 2개의 이미지 캡처링 디바이스를 갖는 이미지 캡처링 시스템의 예시적인 실시예의 개략도이다.
도 3은 본 명세서에 개시된 다양한 실시예들에 따라 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스의 개략도이다.
도 4는 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스에 이미지 관련 이벤트들을 입력하는데 사용될 수 있는 사용자 인터페이스의 예이다.
도 5는 다중 이미지 캡처링 능력들을 갖는 디바이스에서 햅틱 효과들을 전달하기 위한 방법을 예시하는 흐름도이다.
도 6은 다중 이미지 캡처링 능력들을 갖는 디바이스에서 햅틱 효과들을 전달하기 위한 방법을 예시하는 흐름도이다.
도 7 내지 도 12는 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스들의 예시적인 실시예들을 도시한다.
다양한 실시예들이, 몇몇 도면들 전체에 걸쳐 유사한 도면 부호들이 유사한 부분들 및 어셈블리들을 나타내는 도면들을 참조하여 상세하게 설명될 것이다. 다양한 실시예들에 대한 참조는 본 명세서에 첨부된 청구항들의 범위를 제한하지 않는다. 또한, 본 명세서에 개시된 임의의 예들은 첨부된 청구항들에 대한 많은 가능한 실시예들 중 일부를 개시하기 위한 것이지 제한하려는 의도는 아니다.
언제든 적합할 때, 단수로 사용된 용어는 또한 복수를 포함할 것이고, 그 반대도 가능하다. 본 명세서에서 단수를 사용한다는 것은 달리 언급되거나 "하나 이상"의 사용이 명백하게 부적합한 경우를 제외하고는 "하나 이상"을 의미한다. "또는"의 사용은 달리 언급되지 않는 한 "및/또는"을 의미한다. "포함한다", "포함하는", "갖는다" 및 "갖는"의 사용은 상호 대체가능하며 제한하려는 의도는 아니다. "와 같은"이라는 용어는 또한 제한하려는 의도는 아니다. 예를 들어, "포함하는"이라는 용어는 "포함하지만, 이에 제한되지 않음"을 의미한다.
일반적인 면에서, 이 특허 문서는 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스들에 관한 것이다.
본 특허 문서의 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스들은 햅틱 인에이블 디바이스의 이미지 센서들에 의해 캡처링된 하나 이상의 이미지와 관련된 이미지 이벤트가 언제 시작되었거나 진행 중이거나 완료되었는지를 나타내기 위해 햅틱 피드백을 디바이스의 사용자에게 제공한다. 이미지 이벤트는 디바이스의 사용자에 의해 활성화되는 입력 센서들을 통해 또는 이미지 프로세서에 의해 수행되는 자동 이미지 이벤트들을 통해 개시될 수 있다. 상이한 유형들의 햅틱 피드백, 예를 들어 햅틱 효과들은 상이한 유형들의 이미지 이벤트들에 제공되어 그 디바이스의 사용자가 이러한 이벤트들의 상태를 나타내는 시각적 표시를 참조하지 않고도 이미지 이벤트를 감지할 수 있게 한다.
이미지 이벤트들은, 예를 들어 화이트 밸런스 설정, ISO 설정, 셔터 속도 설정, 피사계 심도 설정, 조리개 크기 설정, 줌 동작, 떨림 방지 특징, GPS 태그 특징, 플래시, 사진 크기, 얼굴 검출 특징, 필터, 계량 특징, 노출 보정, 장면 모드, 이미지 스티칭, 수동 자동 초점, 능동 자동 초점, 하이브리드 자동 초점, 제1 이미지로부터 제2 이미지로의 전환, 디바이스의 이미지 센서들에 의해 캡처링되거나 캡처링될 이미지들과 관련된 임의의 다른 이벤트에서의 변경의 시작, 중지 또는 진행 중의 발생을 포함할 수 있다. 하나 이상의 이미지 이벤트는 동시에 또는 개별적으로 하나 이상의 이미지 캡처링 디바이스에 적용될 수 있고, 상이한 이미지 이벤트들은 상이한 이미지 캡처링 디바이스들에 적용될 수 있다. 특정한 예시적인 실시예들에서, 모든 관련 이미지 이벤트들은 이미지 이벤트들이 다른 이미지 캡처링 디바이스에 적용되기 전에 하나의 이미지 캡처링 디바이스에 적용된다.
도 1을 참조하면, 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스(100)의 예가 도시되어 있다. 이 디바이스(100)는 하우징(102), 적어도 2개의 이미지 캡처링 디바이스(104), 액추에이터(112) 및 제어기(114)를 포함한다. 다양한 실시예들에서, 디바이스(100)는 입력 센서(116)를 추가로 포함할 수 있다. 일반적인 면에서, 제어기(114)는 이미지 캡처링 디바이스들(104) 또는 입력 센서(116)로부터 입력들을 수신하거나 이들과 관련된 데이터를 수신하도록 동작하고, 수신된 입력들 또는 데이터에 기반하여 하나 이상의 출력을 생성하도록 동작한다. 제어기로부터의 출력들 중 적어도 하나는 액추에이터(112)에게 지시하여 하우징(102)에서 햅틱 효과를 전달하게 한다. 햅틱 효과는 사용자에게 직접적으로 또는 간접적으로 전달되는 임의의 유형의 촉감일 수 있다. 햅틱 효과는 큐, 통지, 또는 더 복잡한 정보와 같은 메시지를 구현한다.
햅틱 인에이블 디바이스(100)는, 예를 들어 스마트 폰, 태블릿, 랩톱 컴퓨터, 데스크톱 컴퓨터, 게임 시스템, 텔레비전, 모니터, 스틸 픽처 카메라, 비디오 카메라, 스틸 및 비디오 복합 카메라, 또는 적어도 2개의 이미지 캡처링 디바이스(104)를 갖는 임의의 다른 디바이스를 포함할 수 있다.
도 2를 참조하면, 적어도 2개의 이미지 캡처링 디바이스(104) 각각은 렌즈(106) 및 이미지 센서(108)를 포함하고, 렌즈 구동기/액추에이터(110)를 추가로 포함할 수 있다.
각각의 렌즈(106)는, 예를 들어 고정 초점 길이의 렌즈, 줌 렌즈와 같은 가변 초점 길이의 렌즈, 고정 조리개를 갖는 렌즈, 조정가능한 조리개를 갖는 렌즈, 프리즘, 거울 또는 이미지 센서(108) 상에 광을 포커싱할 수 있는 임의의 다른 유형의 디바이스를 포함할 수 있다. 또한, 각각의 렌즈(106)는 광이 하나 이상의 이미지 센서(108)로 향하게 하는 단일 렌즈 또는 복수의 렌즈들, 예를 들어 렌즈 어셈블리를 포함할 수 있다. 다양한 예시적인 실시예들에서, 적어도 2개의 이미지 캡처링 디바이스(104) 중 하나는 제1 유형의 렌즈(106)를 사용하고, 적어도 2개의 이미지 캡처링 디바이스(104) 중 다른 하나는 상이한 유형의 렌즈(106)를 사용하는 반면, 다른 실시예들에서는 적어도 2개의 이미지 캡처링 디바이스(104)가 동일한 유형의 렌즈(106)를 사용한다. 렌즈 유형의 선택은 원하는 결과 이미지 유형, 예를 들어 3차원 이미지, 입체 이미지 또는 2차원 이미지에 기반할 수 있다.
각각의 이미지 센서(108)는 일반적으로 광 검출기, 예를 들어 전하 결합 디바이스(CCD), 상보적 금속 산화물 반도체(CMOS) 이미지 센서, 또는 입사 광선들을 캡처링하고 이들을 전기 신호들로 변환할 수 있는 임의의 다른 디바이스를 포함하며, 광은 가시광 또는 비가시광, 예를 들어 적외선 광일 수 있다. 각각의 이미지 센서(108)는 하나 이상의 렌즈(106)로부터의 광을 검출하도록 동작하는 단일 이미지 센서 또는 복수의 이미지 센서들을 포함할 수 있다. 각각의 이미지 센서(108)는 제어기(114)에 통신되는 하나 이상의 출력을 생성하고, 그 출력들은 이미지 센서(108)에 의해 캡처링되는 디지털 이미지를 생성하는데 사용된다. 다양한 예시적인 실시예들에서, 이미지 센서들(108)의 출력들은 이미지의 생성을 위해 이미지 프로세서(113)에 제공된다. 이미지 프로세서(113)는, 제어기(114)와 별도이지만 이와 통신하는 물리적 프로세서, 제어기(114)에 통합된 물리적 구성요소, 또는 제어기(114)의 소프트웨어 모듈(도 3의 이미지 처리 모듈(330) 참조)일 수 있다. 이미지 프로세서(113)는 이미지 센서들(108)의 출력들을 결합하여 원하는 결과 이미지 유형을 생성하도록 구성될 수 있거나 이미지 센서들(108) 각각의 출력들을 별도의 이미지로서 유지할 수 있다.
각각의 렌즈 구동기/액추에이터(110)는 렌즈(106)의 움직임을 제어하도록 동작하는 임의의 디바이스 또는 디바이스들의 조합일 수 있다. 예를 들어, 렌즈 구동기/액추에이터(110)는 보이스 코일 모터(VCM), 압전 모터, 스테퍼 모터 또는 마이크로 전자기계 시스템(MEMS) 기술을 포함할 수 있다. 각각의 렌즈 구동기/액추에이터(110)는 제어기(114)의 지시 하에 동작한다.
액추에이터(112)는 햅틱 효과의 전달을 위한 움직임을 개시하는 임의의 제어된 메커니즘 또는 다른 구조일 수 있다. 햅틱 효과는 디바이스(100)로부터 사용자에게 전달되는 임의의 유형의 촉감일 수 있다. 액추에이터들(112)의 예들은, 모터들, 선형 액추에이터들(예를 들어, 솔레노이드들), 자기 또는 전자기 메커니즘들과 같은 메커니즘들을 포함한다. 액추에이터들(112)의 추가적인 예들은 형상 기억 합금들, 압전 재료들, 전기활성 폴리머들, 및 스마트 유체들을 포함하는 재료들과 같은 스마트 재료들을 포함한다. 액추에이터(112)는 디바이스(100) 내에 제공되는 단일 액추에이터 또는 복수의 액추에이터들을 포함할 수 있다. 복수의 액추에이터들(112)의 경우에, 액추에이터들은, 액추에이터들(112)이 등거리 이격되거나 비등거리 이격되는 식으로, 액추에이터 어레이 내에 제공되거나 개별적으로 위치할 수 있으며, 복수의 액추에이터들은 동시에 또는 개별적으로 동작하여 동일하거나 상이한 햅틱 효과들을 전달할 수 있다. 햅틱 효과는, 예를 들어 진동촉각 햅틱 효과, 정전기 마찰(ESF) 햅틱 효과 또는 변형 햅틱 효과로서 전달될 수 있다. 액추에이터(112)는 제어기(114)의 지시 하에 동작한다.
제어기(114)는 이미지 센서들(108)에 의해 캡처링된 이미지들과 관련하여 제어기(114)에서 수신된 입력들 또는 데이터에 기반하여 액추에이터(111)의 동작을 제어하는 임의의 유형의 회로이다. 데이터는 본 명세서에 개시된 프로세서들, 프로그램 모듈들 및 다른 하드웨어에 의해 처리되는 임의의 유형의 파라미터들(예를 들어, 조건들 또는 이벤트들), 명령어들, 플래그들 또는 다른 정보일 수 있다.
입력 센서(116)는 자극을 수신하는 것에 응답하여 신호를 출력하는 임의의 계기 또는 다른 디바이스일 수 있고, 입력 센서(116)는 다양하고 상이한 조건들 또는 이벤트들을 검출하거나 감지하는데 사용될 수 있다. 입력 센서(116)는 제어기(114)에 배선되거나 제어기에 무선으로 연결될 수 있다. 또한, 입력 센서(116)는 디바이스(100) 내부 또는 외부에 포함되는 단일 센서 또는 복수의 센서들을 포함할 수 있다. 다양한 예시적인 실시예들에서, 입력 센서(116)는 디바이스(100)의 표면 뒤에 놓이는 터치 센서(예를 들어, 정전용량형 센서들, 힘 감지 저항들, 스트레인 게이지들, 압전 센서들 등)를 포함할 수 있다. 전자 디바이스(100)의 표면들은, 예를 들어 디바이스 하우징의 표면들, 디바이스 터치스크린의 표면들, 디바이스 디스플레이 스크린의 표면들, 또는 디바이스 버튼 또는 스위치의 표면들을 포함할 수 있다.
입력 센서들(116)의 다양한 다른 예들은 마이크로폰들과 같은 음향 또는 사운드 센서들, 진동 센서들, 전압 검출기들 또는 홀 효과 센서들과 같은 전기 및 자기 센서들, 유동 센서들, GPS 수신기들, 고도계들, 자이로스코프들 또는 가속도계들과 같은 항법 센서들 또는 계기들, 압전 재료들, 거리계들, 주행기록계들, 속도계들, 충격 검출기들과 같은 위치, 근접 및 움직임 관련 센서들, 전하 결합 디바이스들(CCD), CMOS 센서들, 적외선 센서들 및 광검출기들과 같은 이미징 및 다른 광학 센서들, 기압계들, 피에조미터들 및 촉각 센서들과 같은 압력 센서들, 온도계들, 열량계들, 서미스터들, 열전쌍들 및 고온계들과 같은 온도 및 열 센서들, 모션 검출기들, 삼각측량 센서들, 레이더들, 광 전지들, 소나들 및 홀 효과 센서들과 같은 근접 및 존재 센서들, 바이오칩들, 혈압 센서들, 맥박/산소 센서들, 혈당 센서들 및 심장 모니터들과 같은 생체 인식 센서들을 포함한다. 추가로, 센서들은 압전 폴리머들과 같은 스마트 재료들로 형성될 수 있으며, 이들은 일부 실시예들에서 센서와 액추에이터 모두로서 기능한다.
다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스(100)의 동작에 있어서, 이미지 캡처링 디바이스들(104)의 이미지 센서들(108)의 출력들로부터 생성된 하나 이상의 이미지와 관련한 이미지 이벤트가 입력 센서(116) 또는 이미지 프로세서(113)를 통해 발생한다. 생성된 이미지들은 시각적 형태로 존재할 수 있는, 예를 들어 디바이스(100)의 디스플레이 상에 제공될 수 있는 디지털 이미지들이거나 또는 비시각적 형태로 존재할 수 있는, 예를 들어 디바이스(100)의 메모리에 비트들로 표현될 수 있는 디지털 이미지들이다. 발생하는 이미지 이벤트들은, 이미지 센서들(108) 각각으로부터의 이미지들의 결합을 반영하는 단일 이미지에 관련되거나, 이미지 센서들(108)로부터의 다양한 이미지들의 상이한 결합들을 반영하는 복수의 이미지들에 관련되거나, 또는 이미지 센서들(108) 각각에 대응하는 개별 이미지들에 관련될 수 있다. 제어기(114)는 이미지 이벤트와 관련된 햅틱 효과를 결정하고 관련된 햅틱 효과를 햅틱 인에이블 디바이스(100)에서 적용하여 이미지 이벤트가 발생 중이거나 발생하였음을 햅틱 인에이블 디바이스(100)의 사용자에게 통지하도록 액추에이터(112)에 지시하는 식으로 이미지 이벤트에 응답한다.
도 3은 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스(300)의 예시적인 실시예의 보다 상세한 도해를 나타낸다. 도 1의 실시예와 유사하게, 디바이스(300)는 하우징(102), 적어도 2개의 이미지 캡처링 디바이스(104), 액추에이터(112), 제어기(114) 및 입력 센서(116)를 포함하며, 하나 이상의 액추에이터 구동 회로(318)가 또한 포함된다. 하나 이상의 액추에이터 구동 회로(318)는 제어기(114)로부터 햅틱 신호를 수신하는 회로들이다. 햅틱 신호는 햅틱 데이터를 구현하고, 햅틱 데이터는 액추에이터 구동 회로(318)가 햅틱 구동 신호를 생성하는데 사용하는 파라미터들을 정의한다. 햅틱 데이터에 의해 정의될 수 있는 파라미터들의 예들은 이벤트에 관련된 주파수, 진폭, 위상, 반전, 지속기간, 파형, 시작 시간(attack time), 상승 시간, 페이드 시간, 및 래그 또는 리드 시간을 포함한다. 햅틱 구동 신호는 하나 이상의 액추에이터(112)에 인가되어 액추에이터들(112) 내의 모션을 야기한다.
제어기(114)는 일반적으로 버스(320), 프로세서(322), 입/출력(I/O) 제어기(324) 및 메모리(326)를 포함한다. 버스(320)는 I/O 제어기(324) 및 메모리(326)를 포함하는 제어기(114)의 다양한 구성요소들을 프로세서(322)에 결합한다. 버스(320)는 전형적으로 제어 버스, 주소 버스 및 데이터 버스를 포함한다. 그러나, 버스(320)는 제어기(114) 내의 구성요소들 간에 데이터를 전송하는데 적합한 임의의 버스 또는 버스들의 조합일 수 있다.
프로세서(322)는 정보를 처리하도록 구성된 임의의 회로를 포함할 수 있으며, 적합한 아날로그 또는 디지털 회로를 포함할 수 있다. 프로세서(322)는 또한 명령어들을 실행시키는 프로그램가능한 회로를 포함할 수 있다. 프로그램가능한 회로들의 예들은 명령어들을 실행시키는데 적합한 마이크로프로세서들, 마이크로제어기들, 주문형 집적 회로들(application specific integrated circuits)(ASIC들), 프로그램가능한 게이트 어레이들(programmable gate arrays)(PGA들), 필드 프로그램가능한 게이트 어레이들(field programmable gate arrays)(FPGA들), 또는 임의의 다른 프로세서 또는 하드웨어를 포함한다. 다양한 실시예들에서, 프로세서(322)는 단일 유닛, 또는 둘 이상의 유닛들의 조합을 포함할 수 있고, 유닛들은 단일 제어기(114) 내에 또는 별도의 디바이스들 내에 물리적으로 위치된다.
I/O 제어기(324)는 제어기(114), 및 이미지 캡처링 디바이스들(104), 입력 센서(116) 및 액추에이터 구동 회로(318)와 같은 주변 또는 외부 디바이스들의 동작을 모니터링하는 회로를 포함한다. I/O 제어기(324)는 추가로 제어기(114)와 주변 디바이스들 간의 데이터 흐름을 관리하고, 주변 디바이스들의 모니터링 및 제어와 관련된 세부사항들을 프로세서(322)로부터 없앤다. I/O 제어기(324)가 인터페이싱할 수 있는 다른 주변 또는 외부 디바이스들(328)의 예들은 외부 저장 디바이스들, 모니터들, 키보드들, 마우스들 또는 푸시버튼들과 같은 입력 디바이스들, 외부 컴퓨팅 디바이스들, 모바일 디바이스들, 및 송신기들/수신기들을 포함한다.
메모리(326)는 랜덤 액세스 메모리(RAM)와 같은 휘발성 메모리, 판독 전용 메모리(ROM), 전기적 소거가능한 프로그램가능한 판독 전용 메모리(EEPROM), 플래시 메모리, 자기 메모리, 광학 메모리 또는 임의의 다른 적합한 메모리 기술을 포함할 수 있다. 메모리(326)는 또한 휘발성 및 비휘발성 메모리의 조합을 포함할 수 있다.
메모리(326)는 이미지 처리 모듈(330), 이벤트 검출 모듈(332) 및 효과 결정 모듈(334)을 포함하는, 프로세서(322)에 의해 실행시키기 위한 다수의 프로그램 모듈들을 저장한다. 각각의 프로그램 모듈은 하나 이상의 특정한 작업을 수행하는 데이터, 루틴들, 객체들, 호출들 및 다른 명령어들의 집합이다. 특정한 프로그램 모듈들이 본 명세서에 개시되어 있지만, 각각의 모듈에 대해 설명되는 다양한 명령어들 및 작업들은 다양한 실시예들에서 단일 프로그램 모듈, 모듈들의 상이한 조합, 본 명세서에 개시된 모듈들 이외의 모듈들, 또는 제어기(114)와 통신하는 원격 디바이스들에 의해 실행되는 모듈들에 의해 수행될 수 있다.
이미지 처리 모듈(330)은 입력 센서(116)로부터의 입력 데이터, 이미지 센서들(108)로부터의 이미지 데이터, 디바이스(300)와 통신하는 (디바이스(300)의 내부 또는 외부에 위치된) 임의의 다른 소스들 또는 센서들로부터의 입력들, 디바이스(300)의 다양한 프로그램 모듈들 중 임의의 것으로부터의 입력들 또는 이들의 임의의 조합을 수신하도록 프로그램된다. 이미지 처리 모듈(330)은 이미지 데이터로부터 이미지들을 생성하고, 입력 센서들(116)로부터의 입력 데이터, 다른 소스들 또는 센서들로부터의 입력, 또는 다양한 프로그램 모듈들로부터의 입력들(예를 들어, 프로그램된 자동 동작들)에 기반하여 (이미지가 생성되기 전 또는 후에) 이미지들과 관련된 이미지 이벤트들을 실행시킨다. 이미지 이벤트들은 디바이스(300)의 메모리에의 이미지 저장 동작 전에 또는 디바이스(300)의 메모리에의 이미지 저장 동작 후에 실행될 수 있다.
이미지 이벤트들은 다음에서의 변경의 시작, 중지 또는 진행 중의 발생을 포함할 수 있다.
(a) 디바이스(100, 300)의 화이트 밸런스 설정(예를 들어, 이미지를 더 따뜻하게 하거나 더 차게 하는 컬러 밸런스);
(b) 디바이스(100, 300)의 ISO 설정(예를 들어, 센서들(108)의 광에 대한 감도);
(c) 디바이스(100, 300)의 셔터 속도 설정(예를 들어, 셔터가 열려 있는 시간);
(d) 디바이스(100, 300)의 피사계 심도 설정(예를 들어, 허용가능한 초점 내에 있는 이미지에서의 가장 가까운 지점과 가장 먼 지점 간의 거리, 더 짧은 피사계 심도-작은 양의 초점 이미지(image in focus), 더 큰 피사계 심도-더 많은 양의 초점 이미지);
(e) 조리개 크기 설정(예를 들어, f-스톱 설정);
(f) 디바이스(100, 300)의 줌 동작(예를 들어, 렌즈를 줌 인(zoom-in)하는 것은 이미지가 생성될 이미지 센서(108)에 의해 사용되는 픽셀들의 수에서의 감소로 인해 이미지의 품질을 감소시키고, 렌즈를 줌 아웃(zoom-out)하는 것은 이미지 센서(108)에 의해 사용되는 추가적인 픽셀들로 인해 이미지의 품질을 증가시킨다.);
(g) 디바이스(100, 300)의 떨림 방지 특징;
(h) 디바이스(100, 300)의 GPS 태그 특징;
(i) 디바이스(100, 300)의 플래시;
(j) 디바이스(100, 300)에 의해 생성된 사진 크기;
(k) 디바이스(100, 300)의 얼굴 검출 특징;
(l) 디바이스(100, 300)의 필터;
(m) 디바이스(100, 300)의 계량 특징(예를 들어, 이미지의 피사체의 밝기를 측정하는 것);
(n) 디바이스(100, 300)의 노출 보정(예를 들어, 이미지를 더 밝거나 더 어둡게 하는 것);
(o) 디바이스(100, 300)의 장면 또는 장면 모드(예를 들어, 사전설정된 노출 모드);
(p) 디바이스(100, 300)에 의해 캡처링된 이미지에 템플릿을 적용하는 것;
(q) 디바이스(100, 300)의 타이머;
(r) 디바이스(100, 300)로 파노라마 이미지를 생성하기 위해 겹치는 이미지들의 이미지 스티칭/사진 스티칭;
(s) 디바이스(100, 300)에 의한 위상 검출(PD)을 사용한 수동 자동 초점 성능 또는 대비 검출을 사용한 수동 자동 초점 성능;
(t) 디바이스(100, 300)에 의한 능동 자동 초점 성능;
(u) 디바이스(100, 300)에 의한 하이브리드(예를 들어, 수동 및 능동의 조합) 자동 초점 성능;
(v) 이미지 센서들(108) 중 하나에 의해 캡처링된 제1 이미지와 관련된 이미지 이벤트들을 수행하는 것으로부터 이미지 센서들(108) 중 다른 하나에 의해 캡처링된 제2 이미지와 관련된 이미지 이벤트들을 수행하는 것으로 전환하는 것; 또는
(w) 디바이스(100, 300)의 이미지 센서들(108)에 의해 캡처링되거나 캡처링될 이미지들과 관련된 임의의 다른 이벤트.
특정한 예들에서, 이미지 이벤트들은 디바이스(100, 300)에 의한 임계값 또는 측정으로부터의 접근, 만남 또는 멀어지는 것을 포함할 수 있다. 예를 들어, 자동 초점 특징을 갖는 디바이스(100, 300)의 경우에, 어떤 유형의 방사선(예를 들어, 소나, 레이저, 구조형 광)이 장면을 향해 보내진다. 장면 내의 물체들로부터의 반사는 하나 이상의 이미지 센서(108)에 의해 캡처링되고 삼각측량을 사용하여 이미지 처리 모듈(330)에 의해 분석되어 카메라로부터 물체들의 거리를 결정하며, 거리의 결정은 햅틱 효과를 트리거링하는데 사용된다. 수동 자동 초점 특징을 갖는 디바이스(100, 300)의 경우에, 하나 이상의 이미지 센서(108)는 그 자신의 주변 광 조명 하에서 장면을 검출하는 반면, 위상 검출 또는 대비 검출 방식들은 장면 내의 물체 거리를 결정하는데 사용되며, 거리의 결정은 햅틱 효과를 트리거링하는데 사용된다. 이미지 처리 모듈(330)은 포커싱 또는 블러링(예를 들어, 얼굴을 식별하고 그 얼굴에 대응하는 픽셀들을 포커싱)하기 위해 이미지 내의 특정한 대상들에 대응하는 이미지 센서(들)(108) 상의 지점(spot)을 식별하기 위한 처리 알고리즘들을 포함할 수 있다. 포커싱 또는 블러링의 레벨 또는 임계값이 달성될 때, 햅틱 효과가 트리거링된다.
도 4는 입력 센서(들)(116)(도 1 및 도 3 참조)를 포함하는 하위 터치 센서들을 갖는 터치 스크린을 포함하는 디바이스(100 또는 300)와 함께 사용가능한 사용자 인터페이스(400)의 예를 제공한다. 디바이스(100 또는 300)의 사용자는 이 예에서 "카메라 1" 및 "카메라 2"로 식별되는 적어도 2개의 이미지 캡처링 디바이스(104) 각각에 대한 이미지 이벤트들을 사용자 인터페이스(400)를 통해 입력할 수 있다. 사용자 인터페이스(400)는 "카메라 1" 및 "카메라 2" 각각에, 화이트 밸런스에 대한 슬라이딩가능한 스케일(402) 조정, ISO 설정에 대한 슬라이딩가능한 스케일(404) 조정(예를 들어, 이미지 센서(108)의 광 감도의 조정), 셔터 속도에 대한 슬라이딩가능한 스케일(406) 조정, 및 초점 또는 초점 길이에 대한 슬라이딩가능한 스케일(408) 조정을 제공한다. 대안적으로, 사용자는 디바이스(300)가 이미지에 영향을 주는 언급된 조정들 및/또는 다른 이미지 이벤트들 각각을 자동으로 설정할 수 있게 하는 "자동" 아이콘(410)을 선택할 수 있다.
도 4의 예가 사용자 입력을 위한 인터페이스로서 슬라이딩가능한 스케일들을 도시하고 있지만, 데이터 입력을 위한 키보드, 푸시 버튼들, 선택기들, 또는 디바이스(100 또는 300)에의 사용자 입력을 가능하게 하는 임의의 다른 유형의 인터페이스와 같은 다른 사용자 인터페이스들이 사용될 수 있다. 사용자 인터페이스 및 사용자 입력들은 본 명세서에서 언급된 다양한 다른 이미지 이벤트들에 대한 옵션들을 추가적으로 또는 대안적으로 포함하도록 사용자 인터페이스(400) 내에 구성될 수 있다.
다시 한 번 도 3을 참조하면, 이미지 이벤트들에 대한 입력들이 제어기(114)에서 수신된다. 제어기(114)는 렌즈 구동기들(110), 이미지 센서들(108) 및/또는 이미지 이벤트들을 적용할 능력을 갖는 임의의 다른 구성요소/모듈에게 그 지정된 기능을 수행하도록 지시함으로써 이에 응답한다. 사용자 입력 또는 디바이스(300)의 자동 동작에 기반한 각각의 이미지 이벤트의 시작, 진행 중의 발생 또는 완료는 햅틱 이벤트 데이터가 이미지 처리 모듈(330)에 의해 생성될 수 있는 햅틱 이벤트로 간주될 수 있다.
이벤트 검출 모듈(332)은 이미지 처리 모듈(330)로부터 이미지 이벤트 데이터를 수신하고, 수신된 이미지 이벤트 데이터를 평가하여 그 이미지 이벤트 데이터가 햅틱 효과와 관련되는지를 결정하도록 프로그램된다. 이벤트 검출 모듈(332)이 이미지 이벤트 데이터가 햅틱 효과와 관련된다고 결정하면, 효과 결정 모듈(334)은 액추에이터(112)를 통해 전달할 햅틱 효과를 선택한다. 효과 결정 모듈(334)이 햅틱 효과를 선택하기 위해 사용할 수 있는 예시적인 기술은 햅틱 효과의 선택을 결정하도록 프로그램된 규칙들을 포함한다. 햅틱 효과를 선택하기 위해 효과 결정 모듈(334)에 의해 사용될 수 있는 다른 예시적인 기술은 햅틱 효과를 그 이벤트 데이터에 관련시키는 룩업 테이블들 또는 데이터베이스들을 포함한다.
햅틱 효과의 선택시, 제어기(114)는 액추에이터 구동 회로(318)에게 햅틱 명령 신호를 생성함으로써 하나 이상의 액추에이터(112)의 활성화를 지시하여 디바이스(100, 300)에서 햅틱 효과를 전달하게 한다. 액추에이터 구동 회로(318)는 액추에이터(112)에 전달되어 액추에이터 동작을 야기하는 대응하는 액추에이터 구동 신호를 생성한다.
본 명세서에서 언급된 바와 같이, 햅틱 명령 신호는 햅틱 데이터를 구현하고, 햅틱 데이터는 액추에이터 구동 회로(318)가 햅틱 구동 신호를 생성하는데 사용하는 파라미터들을 정의한다. 햅틱 데이터에 의해 정의될 수 있는 파라미터들의 예들은 이벤트에 관련된 주파수, 진폭, 위상, 반전, 지속기간, 파형, 시작 시간, 상승 시간, 페이드 시간, 및 래그 또는 리드 시간을 포함한다. 햅틱 구동 신호는 하나 이상의 액추에이터(112)에 인가되어 액추에이터들(112) 내의 모션을 야기함으로써 햅틱 효과를 디바이스의 사용자에게 전달한다. 햅틱 효과의 전달은, 예를 들어 진행 중인 이미지 조정, 이미지 조정의 시작 또는 이미지 조정의 완료를 나타내기 위해 디바이스(300)에 의해 행해지는 이미지 조정과 동시에, 그 전에 또는 그 후에 전달되도록 구성될 수 있으며, 상이한 햅틱 효과들이 상이한 조정들을 나타내는데 사용될 수 있다.
도 5는 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스에 대한 동작의 단순화된 방법(500)을 도시하는 흐름도를 제공한다. 이 방법(500)은 본 명세서에서 설명되는 다양한 실시예들 또는 실시예들의 조합 중 임의의 것에서 사용될 수 있다. 이 방법(500)은, 적어도 2개의 이미지 캡처링 디바이스에 의해 캡처링된 임의의 하나 이상의 이미지와 관련된 이미지 이벤트의 통지를 수신하는 단계(S502), 이미지 이벤트에 대응하는, 메모리에 저장된 햅틱 효과를 결정하고 그 햅틱 효과를 전달하도록 지시하는 단계(S504), 임의적으로, 디바이스가 적어도 2개의 이미지 캡처링 디바이스 중 하나에 관련된 이미지 이벤트들을 적용하는 것으로부터 이미지 이벤트들을 적어도 2개의 이미지 캡처링 디바이스 중 다른 하나에 적용하는 것으로 전환할 때 햅틱 효과를 전달하도록 지시하는 단계(S506), 및 디바이스의 하우징에서 햅틱 효과(들)를 전달하는 단계(S508)를 포함한다.
도 6은 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스에 대한 동작의 예시적인 방법(600)을 도시하는 보다 상세한 흐름도를 제공한다. 이 방법(600)은 본 명세서에서 설명되는 다양한 실시예들 또는 실시예들의 조합 중 임의의 것에서 사용될 수 있다. 이 방법(600)은 2개의 이미지 캡처링 디바이스를 포함하지만 추가적인 수의 이미지 캡처링 디바이스들을 포함하도록 확장될 수 있는 햅틱 인에이블 디바이스를 참조하여 설명된다. 이 방법(600)은 사용자가 다중 이미지 캡처링 디바이스로 획득한 하나 이상의 이미지를 수동으로 조정하기를 원하는지 여부를 결정하는 것으로 시작하며, 각각의 수동 조정은 이미지 이벤트이다. 사용자가 하나 이상의 이미지를 조정하기를 원하지 않으면(S602:아니오), 이 방법(600)은 종료된다(S604). 그러나, 사용자가 다중 이미지 캡처링 디바이스로 획득한 하나 이상의 이미지를 조정하기를 원한다면(S602:예), 사용자에게는 제1 이미지 캡처링 디바이스에 의해 캡처링되거나 캡처링될 이미지에 영향을 주는 이미지 조정들을 하기 위한 옵션이 제공된다(S606).
사용자가 제1 이미지 캡처링 디바이스에 의해 캡처링된 이미지에 영향을 주는 이미지 조정들을 하도록 선택하면(S606:예), 사용자는 디바이스의 입력 센서를 통해 원하는 조정을 입력함으로써 이미지의 화이트 밸런스를 조정하도록 선택할 수 있거나(S608:예), 또는 화이트 밸런스 조정을 입력하지 않도록 선택할 수 있다(S608:아니오). 사용자는 추가로 디바이스의 입력 센서를 통해 원하는 조정을 입력함으로써 이미지의 ISO 설정을 조정하도록 선택할 수 있거나(S610:예), 또는 ISO 설정 조정을 입력하지 않도록 선택할 수 있다(S610:아니오). 사용자는 또한 입력 센서를 통해 셔터 속도 조정을 입력함으로써 이미지와 관련하여 셔터 속도를 조정하도록 선택할 수 있거나(S612:예), 또는 셔터 속도를 조정하지 않도록 선택할 수 있다(S612:아니오). 사용자는 입력 센서를 통해 초점 조정을 입력함으로써 이미지의 초점을 조정하도록 선택할 수 있거나(S614:예), 또는 초점을 조정하지 않도록 선택할 수 있다(S614:아니오). 사용자는 원하는 조정, 파라미터, 설정 등을 입력함으로써 이미지에 영향을 주는 임의의 다른 이미지 이벤트를 적용하도록 선택할 수 있거나(S616:예), 또는 임의의 다른 이미지 이벤트를 적용하지 않도록 선택할 수 있다(S616:아니오). 사용자가 임의의 이미지 이벤트(들)를 원하면, 이미지 이벤트들은 이하에서 추가로 설명되는 햅틱 효과 하위 방법(650)에 제공된다. 이미지 이벤트들을 원하지 않으면, 이 방법은 이미지를 수동으로 조정할지 여부를 선택하는 단계로 복귀한다(S602).
사용자가 제1 이미지 캡처링 디바이스에 의해 캡처링된 이미지에 이미지 이벤트들을 적용하지 않도록 선택하면(S606:아니오), 사용자는 제2 이미지 캡처링 디바이스에 의해 캡처링된 이미지에 이미지 조정들/이벤트들을 적용하도록 선택할 수 있다(S618). 사용자가 이미지 조정들/이벤트들을 적용하지 않도록 선택하면(S618:아니오), 이 방법(600)은 종료한다. 사용자가 제2 이미지 캡처링 디바이스에 의해 캡처링된 이미지에 수동 이미지 조정들을 하도록 선택하면(S618:예), 사용자는 디바이스의 입력 센서를 통해 원하는 조정을 입력함으로써 이미지의 화이트 밸런스를 조정하도록 선택할 수 있거나(S620:예), 또는 화이트 밸런스 조정을 입력하지 않도록 선택할 수 있다(S620:아니오). 사용자는 추가로 디바이스의 입력 센서를 통해 원하는 조정을 입력함으로써 이미지의 ISO 설정을 조정하도록 선택할 수 있거나(S622:예), 또는 ISO 설정 조정을 입력하지 않도록 선택할 수 있다(S622:아니오). 사용자는 또한 입력 센서를 통해 셔터 속도 조정을 입력함으로써 이미지와 관련하여 셔터 속도를 조정하도록 선택할 수 있거나(S624:예), 또는 셔터 속도를 조정하지 않도록 선택할 수 있다(S624:아니오). 사용자는 입력 센서를 통해 초점 조정을 입력함으로써 이미지의 초점을 조정하도록 선택할 수 있거나(S626:예), 또는 초점을 조정하지 않도록 선택할 수 있다(S626:아니오). 사용자는 입력 센서를 통해 원하는 조정, 파라미터, 설정 등을 입력함으로써 이미지에 영향을 주는 임의의 다른 이미지 이벤트를 적용하도록 선택할 수 있거나(S628:예), 또는 이미지 이벤트를 적용하지 않도록 선택할 수 있다(S628:아니오). 사용자가 임의의 이미지 이벤트들을 원하면, 이미지 이벤트들은 이하에서 추가로 설명되는 햅틱 효과 하위 방법(650)에 제공된다. 이미지 이벤트들이 적용되지 않으면, 이 방법은 이미지를 수동으로 조정할지 여부를 선택하는 단계로 복귀한다(S602).
햅틱 효과 하위 방법(650)은 이미지 이벤트들 각각을 수신하고(S652), 수신된 이미지 이벤트에 대응하는, 메모리에 저장된 햅틱 효과가 있는지 여부를 결정하도록 동작한다(S654). 대응하는 햅틱 효과가 없다면(S654:아니오), 햅틱 효과 하위 방법이 종료된다(S656). 이미지 이벤트에 대응하는, 메모리에 저장된 햅틱 효과가 있다면(S654:예), 대응하는 햅틱 효과가 선택되고(S658), 선택된 햅틱 효과에 대한 햅틱 명령 신호가 생성된다(S660). 그 다음, 햅틱 명령 신호는 구동 회로에 제공되어(S662), 선택된 햅틱 효과를 전달하도록 액추에이터의 동작을 구동시키기 위한 구동 신호를 생성한다(S664). 햅틱 효과 하위 방법(650)의 동작은 햅틱 효과의 전달시에 종료된다(S656).
이 방법(600)의 단계들은 임의의 적합한 순서로 수행되어 적합한 햅틱 효과의 전달의 최종 결과를 달성할 수 있다. 다양한 이미지 조정들에 대한 상이한 햅틱 효과들은 동일하거나 상이한 액추에이터들을 통해 전달될 수 있으며, 동시 전달 방식, 겹침 전달 방식 또는 별개(예를 들어, 한 번에 하나의 햅틱 효과) 전달 방식으로 또한 전달될 수 있다. 위의 예는 햅틱 효과들에 대한 자극으로서 사용자 입력들을 예시하지만, 다중 이미지 캡처링 디바이스의 자동 동작이 예를 들어 이미지 프로세서에 의해 자동으로 이루어지는 각각의 이미지 조정에 기반한 햅틱 효과들의 전달을 또한 야기할 수 있다는 점에 유의해야 한다.
다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스의 예를 고려하면, 이 디바이스는 2개의 카메라 시스템(예를 들어, 2개의 이미지 캡처링 디바이스(104))을 통합하는 모바일 스마트 디바이스, 예를 들어 태블릿 또는 폰을 포함한다. 2개의 카메라 시스템은 관련된 이미지 센서를 갖는 광각의 제1 렌즈와 관련된 이미지 센서를 갖는 광학 줌의 제2 렌즈를 포함한다. 모바일 스마트 디바이스의 소프트웨어는 사용자가 제2 렌즈의 줌을 조정할 수 있는 사용자 인터페이스를 제공한다. 모바일 스마트 디바이스의 제어기가 사용자의 입력에 따라 제2 렌즈를 줌하도록 동작할 때, 제어기는 이미지 센서들의 한쪽 또는 양쪽에 의해 생성된 이미지(예를 들어, 결합된 이미지들)를 사용하여 줌을 추적하면서 또한 줌 동작에 대응하는 햅틱을 전달하기 위한 지시를 생성한다. 예를 들어, 줌 동안에 햅틱 효과 패턴이 계속 재생된다. 햅틱 효과 강도는 줌 위치 또는 이미지의 품질과 연관된다. 제2 렌즈의 원하는 줌이 완료되면, 제어기는 줌이 완료되었음을 나타내는 다른 햅틱 효과, 예를 들어 스냅인 효과(snap-in effect)의 전달을 지시한다. 따라서, 카메라들 및/또는 그 이미지들에 대한 조정들에 관한 정보 피드백을 제공하기 위해 카메라의 캡처링된 이미지의 상부에 중첩된 사용자 인터페이스 요소들을 사용하는 대신에, 동적 햅틱 효과들, 예를 들어 햅틱 피드백이 이러한 조정의 발생 및/또는 완료를 나타내기 위해 제공된다.
도 7 내지 도 12는 본 특허 문서에 따라 햅틱 효과들을 갖는 다중 이미지 캡처링 디바이스들의 추가적인 예들을 도시한다. 도 7은 17개의 이미지 캡처링 디바이스(704)를 통합하는 모바일 폰의 형태인 햅틱 인에이블 디바이스(700)의 예를 도시하며, 이미지 캡처링 디바이스들로부터의 이미지들은 결합되어 이미지 조정들/이벤트들 및 대응하는 햅틱 효과들을 기반으로 하는 단일 이미지를 형성할 수 있거나, 또는 이미지 캡처링 디바이스들로부터의 이미지들은 결합되어 이미지 조정들/이벤트들 및 대응하는 햅틱 효과들을 기반으로 하는, 다양한 이미지 캡처링 디바이스들(704)로부터 복수의 결합된 이미지들을 생성할 수 있거나, 또는 이미지 캡처링 디바이스들로부터의 이미지들은 이미지 조정들/이벤트들 및 대응하는 햅틱 효과들에 기반한, 이미지 캡처링 디바이스들(704) 각각에 대응하는 개별 이미지들로서 유지될 수 있다.
도 8은 복수의 이미지 캡처링 디바이스들(804)을 갖는 보안 카메라의 형태인, 천장 또는 벽에 장착된 회전식 햅틱 인에이블 디바이스(800)의 예를 도시한다. 도 9는 4개의 이미지 캡처링 디바이스(904)를 갖는 휴대용 카메라의 형태인 햅틱 인에이블 디바이스(900)의 예를 도시한다. 도 10은 예를 들어 360도 이미지를 생성하는데 사용될 수 있는 복수의 이미지 캡처링 디바이스들(1004)을 갖는 햅틱 인에이블 디바이스(1000)의 예를 도시한다. 도 11은 착용가능한 물체의 형태인 햅틱 인에이블 디바이스(1100)의 예, 예를 들어 적어도 2개의 이미지 캡처링 디바이스(1104)를 구비한 안경을 도시한다. 도 12는 적어도 2개의 이미지 캡처링 디바이스(1204)를 갖는 전용 비디오 레코더의 형태인 햅틱 인에이블 디바이스(1200)의 예를 도시한다.
전술한 다양한 실시예들은 단지 예시로서 제공되며, 본 명세서에 첨부되는 청구항들을 제한하는 것으로 해석되지 않아야 한다. 관련 기술분야의 통상의 기술자는 본 명세서에서 예시되고 설명되는 예시적인 실시예들 및 응용들을 따르지 않더라도 이하의 청구항들의 진정한 사상 및 범위를 벗어나지 않고서 이루어질 수 있는 다양한 수정들 및 변경들을 용이하게 인식할 것이다. 예를 들어, 다양한 실시예들 및 그 동작들은 단일 이미지 캡처링 디바이스만을 갖는 햅틱 인에이블 디바이스에 적용될 수 있다.

Claims (24)

  1. 햅틱 효과 인에이블 시스템으로서,
    제1 디지털 이미지를 생성하는 제1 이미지 센서;
    제2 디지털 이미지를 생성하는 제2 이미지 센서;
    햅틱 출력 디바이스;
    상기 제1 및 제2 이미지 센서 및 상기 햅틱 출력 디바이스에 결합된 프로세서
    를 포함하며, 상기 프로세서는,
    상기 제1 디지털 이미지 또는 상기 제2 디지털 이미지에 관한 이미지 이벤트의 통지를 수신하고,
    상기 이미지 이벤트에 대응하는 햅틱 효과를 결정하며,
    상기 햅틱 효과를 상기 햅틱 출력 디바이스에 적용하는 햅틱 효과 인에이블 시스템.
  2. 제1항에 있어서,
    상기 제1 이미지 센서는 제1 렌즈를 갖는 제1 이미지 캡처링 디바이스와 관련되며, 상기 제2 이미지 센서는 제2 렌즈를 갖는 제2 이미지 캡처링 디바이스와 관련되는 햅틱 효과 인에이블 시스템.
  3. 제2항에 있어서,
    상기 제1 및 제2 렌즈의 렌즈 유형은 광각 렌즈 또는 줌 렌즈를 포함하는 햅틱 효과 인에이블 시스템.
  4. 제2항에 있어서,
    상기 제1 렌즈의 렌즈 유형은 광각 렌즈를 포함하며, 상기 제2 렌즈의 렌즈 유형은 줌 렌즈를 포함하는 햅틱 효과 인에이블 시스템.
  5. 제1항에 있어서,
    상기 프로세서는 상기 제1 디지털 이미지 또는 상기 제2 디지털 이미지에 관한 복수의 이미지 이벤트들의 통지를 수신하며, 상기 프로세서는 상기 복수의 이미지 이벤트들 중 하나에 대응하는 햅틱 이벤트가 복수의 햅틱 이벤트들 중 다른 햅틱 이벤트에 대응하는 햅틱 효과들과 상이하다고 결정하는 햅틱 효과 인에이블 시스템.
  6. 제1항에 있어서,
    상기 프로세서는 복수의 이미지 이벤트들의 통지를 수신하고, 상기 복수의 이미지 이벤트들 중 적어도 하나는 상기 제1 디지털 이미지와 관련되며, 상기 복수의 이미지 이벤트들 중 적어도 다른 하나는 상기 제2 디지털 이미지와 관련되는 햅틱 효과 인에이블 시스템.
  7. 제6항에 있어서,
    상기 프로세서는 상기 복수의 이미지 이벤트들 중 적어도 하나에 대응하는 햅틱 효과를 결정하고, 상기 복수의 이미지 이벤트들 중 적어도 다른 하나에 대응하는 햅틱 효과를 결정하며, 상기 복수의 이미지 이벤트들 중 적어도 하나에 대응하는 햅틱 효과 및 상기 복수의 이미지 이벤트들 중 적어도 다른 하나에 대응하는 햅틱 효과는 상이한 시간에 적용되는 햅틱 효과 인에이블 시스템.
  8. 제6항에 있어서,
    상기 프로세서는 상기 복수의 이미지 이벤트들 중 적어도 하나에 대응하는 햅틱 효과를 결정하고, 상기 복수의 이미지 이벤트들 중 적어도 다른 하나에 대응하는 햅틱 효과를 결정하며, 상기 복수의 이미지 이벤트들 중 적어도 하나에 대응하는 햅틱 효과 및 상기 복수의 이미지 이벤트들 중 적어도 다른 하나에 대응하는 햅틱 효과는 적어도 2개의 햅틱 출력 디바이스를 사용하여 동시에 적용되는 햅틱 효과 인에이블 시스템.
  9. 제1항에 있어서,
    상기 이미지 이벤트는 화이트 밸런스에서의 변경, 국제 표준 기구(ISO) 설정에서의 변경, 셔터 속도 설정에서의 변경 또는 피사계 심도 설정에서의 변경을 포함하는 햅틱 효과 인에이블 시스템.
  10. 제1항에 있어서,
    상기 이미지 이벤트는 조리개 크기 조정, 줌 동작, 떨림 방지 동작, GPS 태그 동작, 플래시 동작, 사진 크기 조정, 얼굴 검출 동작, 필터 동작, 계량 동작, 노출 보정 동작, 장면 모드 동작, 이미지 스티칭 동작, 수동 자동 초점 동작, 능동 자동 초점 동작, 하이브리드 자동 초점 동작을 포함하는 햅틱 효과 인에이블 시스템.
  11. 햅틱 효과 인에이블 시스템으로서,
    제1 디지털 이미지를 생성하는 제1 이미지 센서;
    제2 디지털 이미지를 생성하는 제2 이미지 센서;
    햅틱 출력 디바이스;
    상기 제1 및 제2 이미지 센서 및 상기 햅틱 출력 디바이스에 결합된 프로세서
    를 포함하며, 상기 프로세서는,
    상기 제1 디지털 이미지에 관한 제1 이미지 이벤트의 통지를 수신하고,
    상기 제2 디지털 이미지에 관한 제2 이미지 이벤트의 통지를 수신하고,
    상기 제1 이미지 이벤트에 대응하는 제1 햅틱 효과를 결정하고,
    상기 제2 이미지 이벤트에 대응하는 제2 햅틱 효과를 결정하고,
    상기 제1 햅틱 효과를 상기 햅틱 출력 디바이스에 적용하고,
    상기 제1 햅틱 효과의 적용 후에 완료 햅틱 효과를 상기 햅틱 출력 디바이스에 적용하며,
    상기 완료 햅틱 효과의 적용 후에 상기 제2 햅틱 효과를 상기 햅틱 출력 디바이스에 적용하는 햅틱 효과 인에이블 시스템.
  12. 제11항에 있어서,
    동일한 햅틱 출력 디바이스가 상기 제1 햅틱 효과, 상기 완료 햅틱 효과 및 상기 제2 햅틱 효과 각각을 적용하는 햅틱 효과 인에이블 시스템.
  13. 제11항에 있어서,
    상기 햅틱 출력 디바이스는 적어도 2개의 햅틱 출력 디바이스를 포함하고, 상기 적어도 2개의 햅틱 출력 디바이스 중 하나는 상기 제1 햅틱 효과를 전달하며, 상기 적어도 2개의 햅틱 출력 디바이스 중 다른 하나는 상기 완료 햅틱 효과를 전달하는 햅틱 효과 인에이블 시스템.
  14. 제11항에 있어서,
    상기 제1 이미지 이벤트는 상기 제1 디지털 이미지에 관한 복수의 이미지 이벤트들을 포함하며, 상기 복수의 이미지 이벤트들에 대응하도록 결정된 모든 햅틱 효과들은 상기 완료 햅틱 효과를 상기 햅틱 출력 디바이스에 적용하기 전에 상기 햅틱 출력 디바이스에 적용되는 햅틱 효과 인에이블 시스템.
  15. 제11항에 있어서,
    상기 제1 이미지 센서는 제1 렌즈를 갖는 제1 이미지 캡처링 디바이스와 관련되며, 상기 제2 이미지 센서는 제2 렌즈를 갖는 제2 이미지 캡처링 디바이스와 관련되는 햅틱 효과 인에이블 시스템.
  16. 제15항에 있어서,
    상기 제1 렌즈의 렌즈 유형은 광각 렌즈를 포함하며, 상기 제2 렌즈의 렌즈 유형은 줌 렌즈를 포함하는 햅틱 효과 인에이블 시스템.
  17. 제11항에 있어서,
    상기 이미지 이벤트는 화이트 밸런스에서의 변경, 국제 표준 기구(ISO) 설정에서의 변경, 셔터 속도 설정에서의 변경 또는 피사계 심도 설정에서의 변경을 포함하는 햅틱 효과 인에이블 시스템.
  18. 제11항에 있어서,
    상기 이미지 이벤트는 조리개 크기 조정, 줌 동작, 떨림 방지 동작, GPS 태그 동작, 플래시 동작, 사진 크기 조정, 얼굴 검출 동작, 필터 동작, 계량 동작, 노출 보정 동작, 장면 모드 동작, 이미지 스티칭 동작, 수동 자동 초점 동작, 능동 자동 초점 동작, 하이브리드 자동 초점 동작을 포함하는 햅틱 효과 인에이블 시스템.
  19. 햅틱 효과를 생성하는 방법으로서,
    제1 이미지 센서로부터 제1 디지털 이미지를 수신하는 단계;
    제2 이미지 센서로부터 제2 디지털 이미지를 수신하는 단계;
    상기 제1 디지털 이미지 또는 상기 제2 디지털 이미지에 관한 이미지 이벤트의 통지를 수신하는 단계;
    상기 이미지 이벤트에 대응하는 햅틱 효과를 결정하는 단계; 및
    상기 햅틱 효과를 햅틱 출력 디바이스에 적용하는 단계
    를 포함하는 햅틱 효과 생성 방법.
  20. 제19항에 있어서,
    상기 제1 이미지 센서는 제1 렌즈를 갖는 제1 이미지 캡처링 디바이스와 관련되며, 상기 제2 이미지 센서는 제2 렌즈를 갖는 제2 이미지 캡처링 디바이스와 관련되는 햅틱 효과 생성 방법.
  21. 제20항에 있어서,
    상기 제1 렌즈는 광각 렌즈를 포함하며, 상기 제2 렌즈는 줌 렌즈를 포함하는 햅틱 효과 생성 방법.
  22. 제20항에 있어서,
    상기 이미지 이벤트는 화이트 밸런스에서의 변경, 국제 표준 기구(ISO) 설정에서의 변경, 셔터 속도 설정에서의 변경 또는 피사계 심도 설정에서의 변경을 포함하는 햅틱 효과 생성 방법.
  23. 제20항에 있어서,
    상기 이미지 이벤트는 조리개 크기 조정, 줌 동작, 떨림 방지 동작, GPS 태그 동작, 플래시 동작, 사진 크기 조정, 얼굴 검출 동작, 필터 동작, 계량 동작, 노출 보정 동작, 장면 모드 동작, 이미지 스티칭 동작, 수동 자동 초점 동작, 능동 자동 초점 동작, 하이브리드 자동 초점 동작을 포함하는 햅틱 효과 생성 방법.
  24. 제20항에 있어서,
    상기 햅틱 효과를 상기 제1 또는 제2 디지털 이미지에 적용한 후에 완료 햅틱 효과를 상기 햅틱 출력 디바이스에 적용하는 단계를 더 포함하는 햅틱 효과 생성 방법.
KR1020180064645A 2017-06-09 2018-06-05 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스 KR102540100B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/618,372 2017-06-09
US15/618,372 US10194078B2 (en) 2017-06-09 2017-06-09 Haptic enabled device with multi-image capturing abilities

Publications (2)

Publication Number Publication Date
KR20180134761A true KR20180134761A (ko) 2018-12-19
KR102540100B1 KR102540100B1 (ko) 2023-06-07

Family

ID=62748682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180064645A KR102540100B1 (ko) 2017-06-09 2018-06-05 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스

Country Status (5)

Country Link
US (2) US10194078B2 (ko)
EP (1) EP3413170B1 (ko)
JP (1) JP7178804B2 (ko)
KR (1) KR102540100B1 (ko)
CN (1) CN109040578A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6838994B2 (ja) * 2017-02-22 2021-03-03 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
US20190384399A1 (en) * 2018-06-15 2019-12-19 Immersion Corporation Piezoelectric displacement amplification apparatus
WO2020031527A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 信号生成装置、信号生成方法、プログラム、再生装置
WO2023216089A1 (en) * 2022-05-10 2023-11-16 Qualcomm Incorporated Camera transition for image capture devices with variable aperture capability

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246962A (ja) * 2008-03-28 2009-10-22 Fuji Xerox Co Ltd カメラシステム、カメラシステムによって実行される方法、及び、プログラム
US20160248955A1 (en) * 2015-02-23 2016-08-25 Motorola Mobility Llc Dual camera system zoom notification
JP2017017376A (ja) * 2015-06-26 2017-01-19 京セラ株式会社 電子機器及び電子機器の動作方法

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3948387B2 (ja) * 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
WO2006004894A2 (en) 2004-06-29 2006-01-12 Sensable Technologies, Inc. Apparatus and methods for haptic rendering using data in a graphics pipeline
JP3968665B2 (ja) * 2005-03-22 2007-08-29 ソニー株式会社 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体
SE532236C2 (sv) * 2006-07-19 2009-11-17 Scalado Ab Metod i samband med tagning av digitala bilder
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
JP5191115B2 (ja) * 2006-10-04 2013-04-24 イーストマン コダック カンパニー ユーザインタフェース装置およびデジタルカメラ
JP5016117B2 (ja) 2008-01-17 2012-09-05 アーティキュレイト テクノロジーズ インコーポレーティッド 口腔内触知フィードバックのための方法及び装置
KR101553842B1 (ko) * 2009-04-21 2015-09-17 엘지전자 주식회사 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
JP2011133684A (ja) * 2009-12-24 2011-07-07 Samsung Electronics Co Ltd 撮像装置及び撮像装置の状態量伝達方法
EP3336658B1 (en) * 2010-03-01 2020-07-22 BlackBerry Limited Method of providing tactile feedback and apparatus
WO2011127379A2 (en) 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
US9204026B2 (en) * 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
CN103621056A (zh) * 2011-06-23 2014-03-05 株式会社尼康 拍摄装置
JP5388238B2 (ja) * 2011-07-06 2014-01-15 Ｎｅｃシステムテクノロジー株式会社 触覚表示装置、触覚表示方法およびプログラム
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
US9325889B2 (en) * 2012-06-08 2016-04-26 Samsung Electronics Co., Ltd. Continuous video capture during switch between video capture devices
US9503632B2 (en) * 2012-12-04 2016-11-22 Lg Electronics Inc. Guidance based image photographing device and method thereof for high definition imaging
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
KR20140090318A (ko) 2013-01-07 2014-07-17 삼성전자주식회사 햅틱 기반 카메라 운용 지원 방법 및 이를 지원하는 단말기
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
JP6157215B2 (ja) 2013-05-23 2017-07-05 キヤノン株式会社 表示制御装置及びその制御方法
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
EP4083758A1 (en) 2013-07-05 2022-11-02 Rubin, Jacob A. Whole-body human-computer interface
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
KR101507242B1 (ko) 2013-10-21 2015-03-31 포항공과대학교 산학협력단 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법
JP6289100B2 (ja) 2014-01-06 2018-03-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2015130006A (ja) 2014-01-06 2015-07-16 キヤノン株式会社 触感制御装置、触感制御方法及びプログラム
EP3095023A1 (en) 2014-01-15 2016-11-23 Sony Corporation Haptic notification on wearables
KR102153436B1 (ko) * 2014-01-15 2020-09-08 엘지전자 주식회사 이동단말기 및 그 제어방법
JP2015138416A (ja) 2014-01-22 2015-07-30 キヤノン株式会社 電子機器、その制御方法及びプログラム
CN103795864B (zh) * 2014-01-29 2016-09-28 华为技术有限公司 移动终端前后摄像头的选择方法和移动终端
JP6381240B2 (ja) 2014-03-14 2018-08-29 キヤノン株式会社 電子機器、触感制御方法及びプログラム
JP6300604B2 (ja) 2014-04-01 2018-03-28 キヤノン株式会社 触感制御装置、触感制御方法及びプログラム
US9690370B2 (en) 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
EP2942936B1 (en) * 2014-05-06 2017-12-20 Nokia Technologies OY Zoom input and camera selection
US9507420B2 (en) * 2014-05-13 2016-11-29 Qualcomm Incorporated System and method for providing haptic feedback to assist in capturing images
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
EP3648072A1 (en) 2014-07-28 2020-05-06 CK Materials Lab Co., Ltd. A method for providing haptic information
US9742977B2 (en) 2014-09-02 2017-08-22 Apple Inc. Camera remote control
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
KR20160045269A (ko) * 2014-10-17 2016-04-27 엘지전자 주식회사 웨어러블 디바이스 및 상기 디바이스와 통신 가능한 이동 단말기
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
KR20160072687A (ko) * 2014-12-15 2016-06-23 삼성전기주식회사 카메라 모듈
US9658693B2 (en) * 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US9625990B2 (en) 2015-03-03 2017-04-18 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist systems including user eye tracking cameras
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
US9749543B2 (en) * 2015-07-21 2017-08-29 Lg Electronics Inc. Mobile terminal having two cameras and method for storing images taken by two cameras
US9851799B2 (en) 2015-09-25 2017-12-26 Oculus Vr, Llc Haptic surface with damping apparatus
US9990040B2 (en) * 2015-09-25 2018-06-05 Immersion Corporation Haptic CAPTCHA
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
JP6147829B2 (ja) * 2015-10-28 2017-06-14 京セラ株式会社 電子機器および電子機器の録画制御方法
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10055948B2 (en) 2015-11-30 2018-08-21 Nike, Inc. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US10477006B2 (en) 2016-01-22 2019-11-12 Htc Corporation Method, virtual reality system, and computer-readable recording medium for real-world interaction in virtual reality environment
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
KR20170112492A (ko) * 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10701256B2 (en) * 2016-06-12 2020-06-30 Apple Inc. Switchover control techniques for dual-sensor camera system
CN106066702A (zh) * 2016-08-03 2016-11-02 温州大学 一种基于多媒体数字化技术的文化空间模拟方法
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
CN114449163A (zh) * 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246962A (ja) * 2008-03-28 2009-10-22 Fuji Xerox Co Ltd カメラシステム、カメラシステムによって実行される方法、及び、プログラム
US20160248955A1 (en) * 2015-02-23 2016-08-25 Motorola Mobility Llc Dual camera system zoom notification
JP2017017376A (ja) * 2015-06-26 2017-01-19 京セラ株式会社 電子機器及び電子機器の動作方法

Also Published As

Publication number Publication date
EP3413170A2 (en) 2018-12-12
EP3413170A3 (en) 2019-01-02
US10194078B2 (en) 2019-01-29
CN109040578A (zh) 2018-12-18
US20190387162A1 (en) 2019-12-19
JP2019003639A (ja) 2019-01-10
KR102540100B1 (ko) 2023-06-07
US20180359412A1 (en) 2018-12-13
JP7178804B2 (ja) 2022-11-28
EP3413170B1 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
KR102540100B1 (ko) 다중 이미지 캡처링 능력들을 갖는 햅틱 인에이블 디바이스
US20060044399A1 (en) Control system for an image capture device
US8605188B2 (en) Camera having a rear-surface display section and an in-viewfinder display section
US7634184B2 (en) Digital camera with tiltable image sensor
JP7131647B2 (ja) 制御装置、制御方法および制御プログラム
JP5558852B2 (ja) 情報処理装置およびその制御方法およびプログラム
KR20160020791A (ko) 촬영 장치, 복수의 촬영 장치를 이용하여 촬영하는 촬영 시스템 및 그 촬영 방법
CN102957862A (zh) 摄像设备和摄像设备的控制方法
JP2008245055A (ja) 画像表示装置、撮影装置および画像表示方法
JP2019129410A (ja) 監視カメラ、監視カメラの制御方法、およびプログラム
JP2018152787A (ja) 撮像装置、外部装置、撮像システム、撮像方法、操作方法およびプログラム
US11095824B2 (en) Imaging apparatus, and control method and control program therefor
JP2013017125A (ja) 撮像装置及び撮像装置のモニタリング画像の表示方法
US7265790B2 (en) System and method for setting an image capture device to an operational mode
CN107800956B (zh) 摄像设备、控制方法和存储介质
JP2017118212A (ja) 撮像装置
KR20160088081A (ko) 영상 촬영 기기의 햅틱 인터페이스 및 이의 제어 방법
JP7446913B2 (ja) 電子機器、電子機器の制御方法、プログラム
JPH0495489A (ja) 立体ビデオ撮像装置
JP2008236799A5 (ko)
JP5473479B2 (ja) 撮像装置及び撮像装置の制御方法
JP6270508B2 (ja) 撮像装置および撮像装置の画像表示方法
JP5938268B2 (ja) 撮像装置およびその制御方法
JP2011234310A (ja) 撮像装置
JP2018006803A (ja) 撮像装置、撮像装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant