KR20200144057A - 전자기기, 그 제어 방법 및 기억매체 - Google Patents

전자기기, 그 제어 방법 및 기억매체 Download PDF

Info

Publication number
KR20200144057A
KR20200144057A KR1020200070008A KR20200070008A KR20200144057A KR 20200144057 A KR20200144057 A KR 20200144057A KR 1020200070008 A KR1020200070008 A KR 1020200070008A KR 20200070008 A KR20200070008 A KR 20200070008A KR 20200144057 A KR20200144057 A KR 20200144057A
Authority
KR
South Korea
Prior art keywords
operation member
gaze
state
amount
gaze input
Prior art date
Application number
KR1020200070008A
Other languages
English (en)
Other versions
KR102606743B1 (ko
Inventor
쇼 이치카와
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20200144057A publication Critical patent/KR20200144057A/ko
Application granted granted Critical
Publication of KR102606743B1 publication Critical patent/KR102606743B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • H04N5/232935—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/04—Viewfinders of direct vision type, e.g. frame, sighting mark
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/16—Viewfinders combined with focusing aids
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H04N5/23216—
    • H04N5/23219—
    • H04N5/232933—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02—Viewfinders
    • G03B2213/025—Sightline detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

접수부는 시선 추적 처리에 근거한 입력인 시선 입력을 접수하고, 제어부는 조작 부재에 대한 조작에 근거한 선택 위치의 이동을 제어한다. 제어부는, 상기 시선 입력에 근거하여 상기 선택 위치가 지정되지 않는 제1의 상태에서, 상기 조작 부재가 소정의 조작량에 의해 조작되는 것에 응답하여, 상기 선택 위치를 상기 조작 부재가 조작되기 전에 설정된 위치로부터 제1의 양만큼 이동하도록, 또한, 상기 시선 입력에 근거하여 상기 선택 위치가 지정되는 제2의 상태에서, 상기 조작 부재가 상기 소정의 조작량에 조작되는 것에 응답하여, 상기 선택 위치를 상기 시선 입력에 근거한 위치로부터, 상기 제1의 양보다 작은 제2의 양만큼 이동하도록, 제어를 행한다.

Description

전자기기, 그 제어 방법 및 기억매체{ELECTRONIC APPARATUS, METHOD FOR CONTROLLING THE ELECTRONIC APPARATUS AND STORAGE MEDIUM}
본 발명은, 전자기기, 전자기기의 제어 방법 및 기억매체에 관한 것으로, 특히 시선 추적 가능한 전자기기, 그 전자기기의 제어 방법 및 기억매체에 관한 것이다.
종래, 촬영자 또는 유저의 시선(눈길)을 검출하고, 촬영자가 뷰파인더의 시야내에서 보고 있는 영역(위치)을 검출하고, 자동초점조절 등의 촬영 기능을 제어하는 카메라가 제안되어 있다. 일본 특허공개 2015-22208에는, 유저가 뷰파인더를 들여다보면서 유저의 시선이 향하는 위치(시선 위치)를 검출하고, 그 시선 위치에 오토포커스(ＡＦ) 프레임을 표시하는 기술이 개시되어 있다. 일본 특허공개 2015-22208에는, 시선 위치가 유저가 원하는 위치가 아니었을 경우에, 카메라 본체의 8방향으로 조작가능한 조작 부재를 유저가 조작함으로써, 상기 표시된 시선 위치를 이동할 수 있는 것이 개시되어 있다.
뷰파인더외에 설치된 표시부를 터치 패드로서 사용함으로써, 유저가 뷰파인더를 들여다보면서 터치 조작에 의해 전술의 기능을 포함하는 여러가지 설정을 가능하게 하는 방법이 제안되어 있다. 일본 특허공개 2018-037893에는, 뷰파인더를 들여다보면서 터치 패드를 조작하는 터치 조작에 관한 설정을 유저가 임의로, 절대 위치 지정 또는 상대 위치 지정 중 어느 한쪽에 설정가능한 것이 개시되어 있다. 절대 위치 지정이 설정될 때, 터치다운 위치에 대응한 위치에 ＡＦ프레임을 표시시킬 수 있다. 상대 위치 지정이 설정될 때, 터치다운 위치에 대응한 위치에 ＡＦ프레임을 표시시키지 않고, 터치 무브 조작의 검출에 따라서 ＡＦ프레임을 이동시킬 수 있다.
일본 특허공개 2015-22208에서는, 시선 입력이 없을 때에 표시되어 있는 ＡＦ프레임 위치가 유저가 소망하는 위치에서 떨어져 있을 경우에는, 유저가 소망하는 위치에 ＡＦ프레임을 이동하기 위해 많은 조작 횟수가 필요하게 된다. 일본 특허공개 2018-037893에서는, 터치 무브 조작에 관련된 설정이 절대 위치 지정으로 설정될 때 터치 위치에 ＡＦ프레임이 표시된다. 따라서, ＡＦ프레임의 미세 이동 조작을 행하기 어렵다. 터치 무브 조작에 관련된 설정이 상대 위치 지정으로 설정될 때, 터치 무브량에 대한 ＡＦ프레임의 이동량이 클 경우는 미세 조정을 행하기 어렵고, ＡＦ프레임의 이동량이 작을 경우는 조작 횟수가 증가한다. 이것은 ＡＦ프레임을 이동하는 경우에 한정되지 않고, 특정한 목적으로 위치를 선택하는 경우에도 마찬가지다.
상술한 내용을 고려하여, 본 발명은, 선택 위치를 유저가 소망하는 위치로 재빠르고 정확히 이동시킬 수 있게 하는 것을 목적으로 한다.
본 발명의 일 국면에 따른 전자기기는, 시선 추적 처리에 근거한 입력인 시선 입력을 접수하는 접수부, 및 조작 부재에 대한 조작에 근거한 선택 위치의 이동을 제어하는 제어부로서, 기능하는 적어도 하나의 프로세서와, 적어도 하나의 메모리를 포함한다. 상기 제어부는, 상기 시선 입력에 근거하여 상기 선택 위치가 지정되지 않는 제1의 상태에서, 상기 조작 부재가 소정의 조작량에 의해 조작되는 것에 응답하여, 상기 선택 위치를 상기 조작 부재가 조작되기 전에 설정된 위치로부터 제1의 양만큼 이동하도록, 또한, 상기 시선 입력에 근거하여 상기 선택 위치가 지정되는 제2의 상태에서, 상기 조작 부재가 상기 소정의 조작량에 조작되는 것에 응답하여, 상기 선택 위치를 상기 시선 입력에 근거한 위치로부터, 상기 제1의 양보다 작은 제2의 양만큼 이동하도록, 제어를 행한다.
본 발명의 추가의 특징들은, 첨부도면을 참조하여 이하의 실시 형태들의 설명으로부터 명백해질 것이다.
도1a 및 1b는 본 발명의 실시 형태에 따른 디지탈 카메라를 나타내는 외관도다.
도2는 본 발명의 실시 형태에 따른 디지탈 카메라의 구성을 나타내는 블록도다.
도3a 및 3b로 이루어진 도3은 본 발명의 실시 형태에 따른, 오토포커스(ＡＦ) 프레임의 표시 위치에 관한 시선 입력과 터치 조작에 근거한 제어 처리를 나타내는 흐름도다.
도4는 본 발명의 실시 형태에 따른 ＡＦ에 관한 설정 화면의 표시 예를 나타낸다.
도5a, 5b, 5c, 5d, 5e 및 5f는 본 발명의 실시 형태에 따른, ＡＦ프레임의 표시 위치를 시선 입력과 터치 조작에 근거하여 이동하는 표시 예를 나타낸다.
도6a 및 6b는 본 발명의 실시 형태에 따른, 다른 조작 부재를 사용하는 경우나 뷰파인더를 사용하지 않는 경우의 실시 형태를 각각 나타내는 도면이다.
이하에, 첨부 도면을 참조해서 본 발명의 실시 형태에 대해서 상세히 설명한다.
이하의 실시 형태는, 본 발명을 구현하는 일례일 뿐이고, 본 발명을 적용하는 장치들의 개개의 구성과 여러 가지 조건에 따라 적절하게 수정 또는 변경될 수 있다는 것을 주목해야 한다. 따라서, 본 발명은, 결코 이하의 실시 형태에 한정되지 않는다.
이후, 본 발명의 실시 형태들을 첨부도면들을 참조하여 설명하겠다.
도1a 및 1b는 본 발명을 적용가능한 장치의 일례로서의 디지탈 카메라 100을 나타내는 외관도다. 도1a는 디지탈 카메라 100의 전방면 사시도이며, 도1b는 디지탈 카메라 100의 배면 사시도다. 도1a 및 1b에 있어서, 표시부 28은 화상이나 각종 정보를 표시하는, 카메라 배면에 설치된다. 터치패널 70a는, 표시부 28의 표시면(조작면)에 행해진 터치 조작을 검출할 수 있다. 뷰파인더외 표시부 43은, 카메라 상면에 설치된다. 셔터 속도와 조리개 값을 비롯한 카메라의 여러가지 설정 값이 뷰파인더외 표시부 43에 표시된다. 셔터 버튼 61은 촬영 지시를 내리기 위한 조작부다. 모드 선택 스위치 60은 각종 모드를 전환하기 위한 조작부다. 단자 커버 40은 외부기기와의 접속 케이블과 디지탈 카메라 100과를 접속하는 커넥터(도시되지 않음)를 보호하는 커버다. 메인 전자 다이얼 71은 조작부 70에 포함된 회전 조작 부재다. 이 메인 전자 다이얼 71을 회전시킴으로써, 셔터 속도와 조리개 값등의 설정 값을 변경할 수 있다. 전원 스위치 72는 디지탈 카메라 100의 전원의 ＯＮ 및 ＯＦＦ를 전환하는 조작 부재다. 서브 전자 다이얼 73은 조작부 70에 포함된 회전 조작 부재이며, 선택 프레임의 이동과 화상 이송을 행할 수 있다.
십자 키 74는 조작부 70에 포함되고, 4방향으로 가압될 수 있는 푸시 버튼을 가지는 조작 부재다. 십자 키 74가 눌린 방향에 따라 조작이 행해질 수 있다. ＳＥＴ버튼 75는 조작부 70에 포함된 푸시 버튼이며, 주로 선택 항목의 결정에 사용된다. 동화상 버튼 76은, 화상촬영(기록)의 정지 또는 이동하는 지시를 내리는데 사용된다. 자동노출(ＡＥ) 록(lock) 버튼 77은 조작부 70에 포함되고, 촬영 대기 상태로 가압됨으로써 노출 상태를 고정할 수 있다. 확대 버튼 78은 조작부 70에 포함되고, 촬영 모드의 라이브 뷰 표시에 있어서 확대 모드의 ＯＮ과 ＯＦＦ를 전환하기 위한 조작 버튼이다. 확대 모드를 ＯＮ으로 하고나서 메인 전자 다이얼 71을 조작 함에 의해, 라이브 뷰 화상의 확대 또는 축소를 행한다. 재생 모드에 있어서, 확대 버튼 78은, 재생 화상을 확대하고 확대율을 증가시키기 위한 확대 버튼으로서 기능한다. 재생 버튼 79는 조작부 70에 포함되고, 촬영 모드와 재생 모드를 전환하는 조작 버튼이다. 촬영 모드중에 재생 버튼 79를 누르는 것으로 디지탈 카메라 100을 재생 모드에 이행하고, 기록 매체 200에 기록된 화상 중에서 최신의 화상을 표시부 28에 표시시킬 수 있다. 메뉴 버튼 81은, 조작부 70에 포함된다. 메뉴 버튼 81이 눌림으로써, 각종의 설정가능한 메뉴 화면이 표시부 28에 표시된다. 유저는, 표시부 28에 표시된 메뉴 화면과, 십자 키 74와, ＳＥＴ버튼 75를 사용해서 직관적으로 각종 설정을 행할 수 있다. 통신 단자 10은 디지탈 카메라 100이 렌즈 유닛 150(후술한 착탈 가능)과 통신을 행하기 위한 통신 단자다. 접안부 16은, 접안 뷰파인더(들여다보기형의 뷰파인더)의 접안부다. 유저는, 접안부 16을 통해 내부의 전자 뷰파인더(ＥＶＦ) 29에 표시된 영상을 시인할 수 있다. 접안검지부 57은 접안부 16에 촬영자가 접안하고 있는 것인가 아닌가를 검지하는 센서다. 덮개 202는 기록 매체 200을 격납한 슬롯의 덮개다. 그립부 90은, 유저가 디지탈 카메라 100을 쥐었을 때에 오른손으로 쥐기 쉬운 형상을 갖는 보유부다. 그립부 90을 오른손의 소지, 약지, 중지로 쥐어서 디지탈 카메라 100을 보유한 상태에서, 오른손의 검지로 조작가능한 위치에 셔터 버튼 61 및 메인 전자 다이얼 71이 배치되어 있다. 또한, 같은 상태로, 오른손의 엄지로 조작가능한 위치에, 서브 전자 다이얼 73이 배치되어 있다.
도2는, 본 실시 형태에 따른 디지탈 카메라 100의 구성 예를 나타내는 블록도다. 도2에 있어서, 렌즈 유닛 150은, 교환가능한 촬영 렌즈를 구비하는 렌즈 유닛이다. 렌즈 103은 통상, 복수매의 렌즈로 구성되지만, 복수매의 렌즈는 단순화되어 1매의 렌즈만이 도2에 나타내어져 있다. 통신 단자 6은 렌즈 유닛 150이 디지탈 카메라 100과 통신을 행하기 위한 통신 단자다. 렌즈 유닛 150은, 이 통신 단자 6와 전술의 통신 단자 10을 통해 시스템 제어부 50과 통신하고, 내부의 렌즈 시스템 제어 회로 4에 의해 조리개 구동회로 2를 통해 조리개 1을 제어한다. 그 후, 오토포커스(ＡＦ) 구동회로 3을 통하여, 렌즈 103을 변위시켜서 초점을 조정한다.
셔터 101은, 시스템 제어부 50의 제어하에 촬상부 22의 노광 시간을 자유롭게 제어할 수 있는 포컬 플레인 셔터다.
촬상부 22는 광학상을 전기신호로 변환하는 전하결합소자(ＣＣＤ) 소자나 상보적 금속산화물 반도체(ＣＭＯＳ) 소자로 구성되는 촬상 소자다. 아날로그 대 디지탈(A/D) 변환기 23은, 촬상부 22로부터 출력되는 아날로그 신호를 디지털 신호로 변환하기 위해서 사용된다.
화상처리부 24는, A/D변환기 23으로부터의 데이터, 또는, (후술하는)메모리 제어부 15로부터의 데이터에 대하여 소정의 화소보간 또는 축소 등의 리사이즈 처리와, 색 변환처리를 행한다. 또한, 화상처리부 24에서는, 촬상한 화상 데이터를 사용해서 소정의 연산 처리를 행한다. 화상처리부 24에 의해 얻어진 연산 결과에 근거해서 시스템 제어부 50이 노광 제어, 측거제어를 행한다. 이에 따라, 스루 더 렌즈(ＴＴＬ)방식의 ＡＦ처리, ＡＥ처리, 전자 플래시 사전발광(ＥＦ) 처리가 행해진다. 화상처리부 24에서는 더욱, 촬상한 화상 데이터를 사용해서 소정의 연산 처리를 행하고, 얻어진 연산 결과에 근거해서 ＴＴＬ방식의 오토 화이트 밸런스(ＡＷＢ) 처리를 행한다.
메모리 제어부 15는, A/D변환기 23, 화상처리부 24 및 메모리 32 사이의 데이터 송수신을 제어한다. A/D변환기 23으로부터의 출력 데이터는, 화상처리부 24 및 메모리 제어부 15를 통하여, 혹은, 메모리 제어부 15를 통하여 메모리 32에 직접 기록된다. 메모리 32는, 촬상부 22에 의해 얻어지고 A/D변환기 23에 의해 디지탈 데이터로 변환된 화상 데이터와, 표시부 28 또는 ＥＶＦ 29에 표시되기 위한 화상 데이터를 격납한다. 메모리 32는, 소정매수의 정지 화상이나, 소정시간의 동화상 및 음성을 격납하기에 충분한 기억 용량을 갖는다.
또한, 메모리 32는 화상표시용의 메모리(비디오 메모리)를 겸하고 있다. 메모리 32에 기록되어 있는 표시용의 화상 데이터는, 메모리 제어부 15를 통해 표시부 28 또는 ＥＶＦ 29에 표시된다. 표시부 28과 ＥＶＦ 29는, 액정 디스플레이(ＬＣＤ)나 유기 일렉트로루미네선스(ＥＬ) 디스플레이 등의 표시기 위에, 메모리 제어부 15로부터의 신호에 따라 표시를 행한다. A/D변환기 23에 의해 A/D변환되어 메모리 32에 격납된 데이터를, 표시부 28 또는 ＥＶＦ 29에 순차로 전송해서 표시한다. 따라서, 라이브 뷰 표시(ＬＶ표시)를 행할 수 있다. 이하, 라이브 뷰로서 표시된 화상을, 라이브 뷰 화상(ＬＶ화상)이라고 칭한다.
적외발광 다이오드 166은, 뷰파인더 화면내에 있어서의 유저의 시선(눈길)이 향하는 위치를 검출하기 위한 발광 소자이며, 접안부 16에 접안한 유저의 안구(눈) 161에 적외광을 조사한다. 적외발광 다이오드 166으로부터 방출된 적외광은 안구(눈) 161에서 반사하고, 그 적외 반사광은 다이클로익 미러 162에 도달한다. 다이클로익 미러 162는 적외광만을 반사해서 가시 광을 투과시킨다. 광로를 변경된 적외 반사광은, 결상 렌즈 163을 통해 시선검지 센서 164의 촬상면에 결상한다. 결상 렌즈 163은 시선 추적 광학계에 구비된 광학부재다. 시선검지 센서 164는, ＣＣＤ형 이미지 센서 등의 촬상 디바이스로 이루어진다.
시선검지 센서 164는, 입사된 적외 반사광을 전기신호로 광전변환해서 시선검출 회로 165에 출력한다. 시선검출 회로 165는 적어도 1개의 프로세서를 포함하고, 시선검지 센서 164의 출력 신호에 근거하여, 유저의 안구(눈) 161의 화상 또는 움직임으로부터 시선 위치를 검출하고, 검출 정보를 시스템 제어부 50에 출력한다. 이렇게, 다이클로익 미러 162, 결상 렌즈 163, 시선검지 센서 164, 적외발광 다이오드 166 및 시선검출 회로 165에 의해 시선 추적 블록 160이 구성된다.
본 발명에서는, 시선 추적 블록 160을 사용하여, 각막반사법이라고 불리는 방식으로 시선을 검출한다. 각막반사법에서는, 적외발광 다이오드 166으로부터 방출된 적외광이 안구(눈) 161의 특히 각막에서 반사한 반사광과, 안구(눈) 161의 동공과의 위치 관계로부터, 시선과 시선위치를 검출한다. 각막반사법외에도, 눈의 검은 자위와 흰 자위 사이의 반사율의 차이를 이용하는 각막윤부(limbus) 반사법이라고 불리는 방식등, 시선과 시선 위치를 검출하는 방식이 여러 가지가 있다. 또한, 상술한 방식 이외의 시선 추적 방식은, 시선과 시선 위치를 검출 가능하면, 사용되어도 좋다.
뷰파인더외 표시부 43에는, 뷰파인더외 표시부 구동회로 44를 통하여, 셔터 속도와 조리개 값을 비롯한 카메라의 여러가지 설정 값이 표시된다.
불휘발성 메모리 56은 전기적으로 소거 및 기록가능한 메모리이며, 예를 들면 플래시 판독전용 메모리(ＲＯＭ)가 사용된다. 불휘발성 메모리 56에는, 시스템 제어부 50의 동작용의 정수와, 프로그램이 기억된다. 프로그램이란, 본 실시 형태에서 후술하는 각종 흐름도를 실행하기 위한 컴퓨터 프로그램이다.
시스템 제어부 50은, 적어도 1개의 프로세서 또는 회로로 이루어지는 제어부이며, 디지탈 카메라 100 전체를 제어한다. 전술한 불휘발성 메모리 56에 기록된 프로그램을 실행함으로써, 시스템 제어부 50은, 후술하는 본 실시 형태의 각 처리를 구현한다. 시스템 메모리 52로서는, 예를 들면 랜덤 액세스 메모리(ＲＡＭ)를 사용한다. 시스템 제어부 50의 동작용의 정수, 변수, 및 불휘발성 메모리 56으로부터 판독된 프로그램이 시스템 메모리 52에 로딩된다. 또한, 시스템 제어부 50은 메모리 32와 표시부 28을 제어함에 의해 표시 제어도 행한다.
시스템 타이머 53은, 각종 제어에 사용된 시간이나, 내장된 시계의 시간을 계측하는 시간 측정부다.
모드 선택 스위치 60, 제1셔터 스위치 62, 제2셔터 스위치 64 및 조작부 70은, 각각, 시스템 제어부 50에 각종의 동작 지시를 입력하기 위한 조작 부재다. 모드 선택 스위치 60은, 시스템 제어부 50의 동작 모드를 정지 화상 촬영 모드 또는 동화상 촬영 모드 중 어느 한쪽으로 전환한다. 정지 화상 촬영 모드는, 오토 촬영 모드, 오토 씬 판별 모드, 메뉴얼 모드, 조리개 우선 모드(Ａｖ모드), 셔터 속도 우선 모드(Ｔｖ모드) 및 프로그램ＡＥ모드(P모드)가 있다. 정지 화상 촬영 모드는, 촬영 씬별의 촬영 설정이 다른 각종 씬 모드로서, 커스텀 모드를 더 포함한다. 모드 선택 스위치 60에 의해, 유저는, 동작 모드를 이것들의 모드 중 어느 하나로 직접 전환할 수 있다. 혹은, 동작 모드는, 이하의 방식으로 전환되어도 된다. 모드 선택 스위치 60로 촬영 모드의 일람 화면으로 화면을 일단 전환한다. 그 후, 표시된 복수의 모드 중 어느 하나는, 또 하나의 조작 부재를 사용해서, 동작 모드를 상기 선택된 모드로 전환하도록 선택되어도 좋다. 마찬가지로, 동화상 촬영 모드에도 복수의 모드가 포함되어도 좋다.
제1셔터 스위치 62는, 디지탈 카메라 100에 설치된 셔터 버튼 61의 조작 도중 ＯＮ이 된다. 즉, 제1셔터 스위치 62는, 소위 반가압(즉, 촬영 준비 지시)으로 ＯＮ이 되어 제1셔터 스위치 신호ＳＷ1을 발생한다. 제1셔터 스위치 신호ＳＷ1에 응답하여, ＡＦ처리, ＡＥ처리, ＡＷＢ처리 및 ＥＦ처리 등의 촬영 준비 동작을 시작한다.
제2셔터 스위치 64는, 셔터 버튼 61의 조작 완료시 ＯＮ이 된다. 즉, 제2셔터 스위치 64는, 소위 완전 가압(즉, 촬영 지시)으로 ＯＮ이 되어, 제2셔터 스위치 신호ＳＷ2를 발생한다. 시스템 제어부 50은, 제2셔터 스위치 신호ＳＷ2에 응답하여, 촬상부 22로부터의 신호 판독으로부터 시작해서 촬상된 화상을 화상 파일로서 기록 매체 200에 기록할 때까지 일련의 촬영 처리의 동작을 시작한다.
조작부 70은, 유저로부터의 조작을 접수하는 각기 입력부로서의 각종 조작 부재다. 조작부 70에는, 적어도 이하의 조작부가 포함된다: 셔터 버튼 61, 터치패널 70a, 메인 전자 다이얼 71, 전원 스위치 72, 서브 전자 다이얼 73, 십자 키 74, ＳＥＴ버튼 75, 동화상 버튼 76, ＡＥ록 버튼 77, 확대 버튼 78, 재생 버튼 79, 및 메뉴 버튼 81.
전원제어부 80은, 전지검출 회로, 직류(ＤＣ)-ＤＣ컨버터, 및 통전하는 블록을 전환하는 스위치 회로로 구성된다. 전원제어부 80은, 전지의 장착의 유무, 전지의 종류, 및 전지잔량의 검출을 행한다. 또한, 전원제어부 80은, 그 검출 결과 및 시스템 제어부 50의 지시에 근거해서 ＤＣ-ＤＣ컨버터를 제어하고, 필요한 전압을 필요한 기간에 기록 매체 200을 포함하는 구성요소에 공급한다. 전원부 30은, 알칼리 전지나 리튬 전지등의 일차전지나, ＮｉＣｄ전지나 ＮｉＭＨ전지, Ｌｉ전지등의 이차전지, 및 교류(ＡＣ)어댑터로 이루어진다.
기록 매체 인터페이스(I/F) 18은, 메모리 카드나 하드 디스크 등의 기록 매체 200과의 인터페이스다. 기록 매체 200은, 촬영된 화상을 기록하기 위한 메모리 카드 등의 기록 매체이며, 반도체 메모리나 자기 디스크로 구성된다.
통신부 54는, 무선 또는 유선 케이블에 의해 접속되고, 영상신호와 음성신호를 송신 또는 수신한다. 통신부 54는 무선 근거리 통신망(ＬＡＮ) 및 인터넷과도 접속가능하다. 또한, 통신부 54는, Ｂｌｕｅｔｏｏｔｈ(등록상표)이나 Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ에 의해서도 외부기기와 접속될 수 있다. 통신부 54는, 촬상부 22로 촬상한 화상(라이브 뷰 화상을 포함한다)과, 기록 매체 200에 기록된 화상을 송신할 수 있다. 또한, 통신부 54는, 외부기기로부터 화상과 그 밖의 각종 정보를 수신할 수 있다.
자세검지부 55는 중력방향에 대한 디지탈 카메라 100의 자세를 검지한다. 자세검지부 55로 검지된 자세에 근거하여, 촬상부 22로 촬영된 화상이, 디지탈 카메라 100을 횡방향으로 쥐고 촬영한 화상인지, 종방향으로 쥐고 촬영한 화상인지를 판별할 수 있다. 시스템 제어부 50은, 자세검지부 55로 검지된 자세에 대응한 방향 정보를 촬상부 22로 촬영된 화상의 화상 파일에 부가하거나, 화상을 회전해서 기록하거나 하는 것이 가능하다. 자세검지부 55로서는, 가속도 센서나 자이로(gyro) 센서를 사용할 수 있다. 자세검지부 55인 가속도 센서나 자이로 센서를 사용하여, 디지탈 카메라 100의 움직임(팬(pan), 틸트, 들어올리기, 정지하고 있는 것인가 아닌가 등)을 검지하는 것도 가능하다.
접안검지부 57은 뷰파인더의 접안부 16에 대한 눈(물체) 161의 접근(접안) 및 이탈(이안)을 검지하는(접근 검지), 접안검지 센서다. 시스템 제어부 50은, 접안검지부 57로 검지된 상태에 근거하여, 표시부 28과 ＥＶＦ 29의 표시(표시 상태)/비표시(비표시 상태)를 전환한다. 보다 구체적으로는, 적어도 디지탈 카메라 100이 촬영 대기 상태에 있고, 촬상부 22로 촬영된 라이브 뷰 화상의 표시처의 전환설정이 자동전환설정으로 설정되면, 시선 161이 접안부 16에 비접안일 때는 표시처를 표시부 28로 설정하고, 그 표시를 ON으로 설정하고, ＥＶＦ 29를 비표시 상태로 한다. 시선 161이 접안부 16에 접안일 때는 표시처를 ＥＶＦ 29로 설정하고, 그 표시를 ON으로 설정하고, 표시부 28을 비표시 상태로 한다. 접안검지부 57로서는, 예를 들면 적외선 근접 센서를 사용할 수 있다. 접안검지부 57은, ＥＶＦ 29를 내장하는 뷰파인더의 접안부 16에의 어떠한 물체의 접근을 검지할 수 있다. 물체가 그 센서에 접근했을 경우는, 접안검지부 57의 투광부(도시되지 않음)로부터 투광한 적외선이 반사해서 적외선 근접 센서의 수광부(도시되지 않음)에 수광된다. 수광된 적외선의 양에 근거하여, 물체와 접안부 16 사이의 거리(접안거리)도 판별될 수 있다. 이렇게, 접안검지부 57은, 접안부 16에의 물체의 근접 거리를 검지하는 접안검지를 행한다. 본 실시 형태에서는, 접안검지부 57의 투광부 및 수광부는 전술의 적외발광 다이오드 166 및 시선검지 센서 164와는 별체의 디바이스인 것으로 한다. 단, 접안검지부 57의 투광부를 적외발광 다이오드 166로 겸해도 좋다. 또한, 수광부를 시선검지 센서 164로 겸해도 좋다. 눈 161이 접안부 16에 비접안한 비접안 상태(비접근 상태)로부터, 접안부 16으로부터 소정거리이내로 접안부 16에 다가오는 물체가 검출되었을 경우에, 여기서는 접안이 검출된 것으로 한다. 접안상태(접근 상태)로부터, 접안부 16에 접안한 물체가 소정거리이상 접안부 16으로부터 떨어졌을 경우에, 여기서는 이안이 검출된 것으로 한다. 접안을 검출하는 역치와, 이안을 검출하는 역치는, 예를 들면 히스테리시스를 제공함으로써 서로 상이하여도 좋다. 또한, 접안을 검출한 후는, 이안을 검출할 때까지 눈이 접안상태인 것으로 한다. 이안을 검출한 후는, 접안을 검출할 때까지 눈이 비접안상태인 것으로 한다. 적외선 근접 센서는 일례이며, 접안검지부 57로서는, 접안이라고 간주될 수 있는 눈이나 물체의 접근을 검지할 수 있으면, 또 하나의 센서를 채용해도 좋다.
시스템 제어부 50은 시선 추적 블록 160으로부터의 출력에 근거해서 이하의 조작 혹은 상태를 검지할 수 있다.
· 접안부 16에 접안한 유저의 시선을 새롭게 입력(검출)하는 조작, 다시 말해, 시선 입력의 시작.
· 접안부 16에 접안한 유저의 시선 입력이 입력되고 있는 상태.
· 접안부 16에 접안한 유저가 주시하고 있는 상태.
· 접안부 16에 접안한 유저가 시선을 돌리는 조작, 다시 말해, 시선 입력의 종료.
· 접안부 16에 접안한 유저가 시선을 입력하지 않은 상태.
여기에서 서술한 주시란, 유저의 시선 위치가 소정시간내에 소정의 이동량을 초과하지 않은 경우를 말한다.
터치패널 70a와 표시부 28은 일체로 형성될 수 있다. 예를 들면, 터치패널 70a는 빛의 투과율이 표시부 28의 표시를 방해하지 않도록 구성되고, 표시부 28의 표시면의 상층에 부착될 수 있다. 터치패널 70a에 있어서의 입력 좌표와, 표시부 28의 표시 화면상의 표시 좌표를 대응시킨다. 이러한 구조는, 마치 유저가 표시부 28 위에 표시된 화면을 직접적으로 조작가능하였던 것처럼 표시를 행하는 그래픽 유저 인터페이스(ＧＵＩ)를 제공할 수 있다. 시스템 제어부 50은 터치패널 70a에의 이하의 조작, 혹은 상태를 검출한다.
· 터치패널 70a에 터치하지 않고 있었던 손가락이나 스타일러스가 새롭게 터치패널 70a에 터치한 조작, 다시 말해, 터치패널 70a에 터치의 시작(이하, "터치다운(Ｔｏｕｃｈ-Ｄｏｗｎ)"이라고 칭한다).
· 터치패널 70a를 손가락이나 스타일러스로 터치하고 있는 상태(이하, "터치 온(Ｔｏｕｃｈ-Ｏｎ)"이라고 칭한다).
· 터치패널 70a를 손가락이나 스타일러스로 터치한 채 이동하고 있는 조작(이하, "터치 무브(Ｔｏｕｃｈ-Ｍｏｖｅ)"라고 칭한다).
· 터치패널 70a에 터치하고 있었던 손가락이나 스타일러스를 떨어지게 한 것, 다시 말해, 터치패널 70a에 터치의 종료(이하, "터치업(Ｔｏｕｃｈ-Ｕｐ)"이라고 칭한다).
· 터치패널 70a에 아무 것도 터치하지 않고 있는 상태(이하, "터치 오프(Ｔｏｕｃｈ-Ｏｆｆ)"이라고 칭한다).
터치다운이 검출되면, 동시에 터치 온도 검출된다. 터치다운 후, 터치업이 검출될 때까지, 통상은 터치 온이 계속 검출된다. 터치 무브가 검출되는 것도 터치 온이 검출되어 있는 상태다. 터치 온이 검출되어 있어도, 터치 위치가 이동하지 않으면 터치 무브는 검출되지 않는다. 터치하고 있었던 모든 손가락이나 스타일러스가 터치업 한 것이 검출된 후는, 터치 오프가 된다.
이것들의 조작과 상태나, 터치패널 70a 위에 손가락이나 스타일러스가 터치하고 있는 위치 좌표는 내부 버스를 통해서 시스템 제어부 50에 통지된다. 시스템 제어부 50은 통지된 정보에 근거해서 터치패널 70a 위에 어떤 조작(터치 조작)이 행하여졌는지를 판정한다. 터치 무브에 대해서는, 터치패널 70a 위에서 이동하는 손가락이나 스타일러스의 이동 방향도, 위치 좌표의 변화에 근거하여, 터치패널 70a 위의 수직성분과 수평성분마다 판정될 수 있다. 소정거리이상을 터치 무브 한 것이 검출되었을 경우는, 슬라이드 조작이 행하여졌다고 판정한다. 터치패널 위에 손가락을 터치한 채 어느정도의 거리만큼 재빠르게 옮기고, 이 상태로 손가락을 떼는 조작을 플릭이라고 부른다. 플릭은, 바꿔 말하면 터치패널 70a 위를 손가락으로 튕기는 것처럼 재빠르게 이동하는 조작이다. 소정거리이상을, 소정속도이상으로 터치 무브 한 것이 검출되어, 이 상태로 터치업이 검출되면, 플릭이 행하여졌다고 판정할 수 있다(슬라이드 조작에 계속되어서 플릭이 행하여졌다고 판정할 수 있다). 더욱, 복수개소(예를 들면, 2점)를 동시에 터치하고, 서로의 터치 위치를 가까이 하는 터치 조작을 "핀치 인(pinch-in)", 서로의 터치 위치를 멀리하는 터치 조작을 "핀치 아웃"이라고 칭한다. 핀치 아웃과 핀치 인을 총칭해서 핀치 조작(혹은, 단지 "핀치")이라고 칭한다. 터치패널 70a는, 저항막 방식이나 정전용량 방식, 표면탄성파 방식, 적외선 방식, 전자 유도방식, 화상인식 방식, 광 센서 방식등, 여러가지 방식의 터치패널 중 어느 하나의 방식의 것을 사용해도 좋다. 그 방식에 따라, 일부 터치 패널이 터치패널과의 접촉을 검출할 때의 터치를 검출하고, 나머지 터치 패널이, 터치패널에 대한 손가락이나 스타일러스의 접근을 검출할 때의 터치를 검출한다. 그들 중 어느 하나의 방식의 터치 패널이, 사용되어도 좋다.
접안상태로 터치 무브 조작이 행해지면, 유저는, 터치 무브 조작에 대응한 위치 좌표의 위치의 지정 방법을, 절대 위치 지정 또는 상대 위치 지정 중 어느 한쪽으로 설정할 수 있다. 예를 들면, 위치 좌표가 ＡＦ프레임으로 설정되면, 절대 위치 지정의 경우, 터치패널 70a가 터치되면, 터치된 위치(좌표입력된 위치)에 대응시켜진 ＡＦ위치가 설정된다. 즉, 터치 조작이 행해진 위치 좌표와, 표시부 28의 위치 좌표를 대응시킨다. 한편, 상대 위치 지정의 경우는, 터치 조작이 행해진 위치 좌표와 표시부 28의 위치 좌표는 대응시키지 않는다. 상대 위치 지정에서는, 터치패널 70a에 대한 터치다운 위치에 관계 없이, 현재 설정되어 있는 ＡＦ위치부터 터치 무브의 이동 방향으로 터치 무브의 이동량에 대응한 거리만큼, 터치 위치를 이동시킨다.
본 실시 형태에서는, 디지탈 카메라 100에 있어서의 시선 입력 조작과 터치 입력 조작에 근거한, ＡＦ프레임의 제어 처리에 대해서 설명한다.
도3a 및 3b는, ＡＦ프레임의 위치 선택을 시선 입력과 터치 조작에 근거하여 제어하는 처리를 나타내는 흐름도다. 이 제어 처리는, 시스템 제어부 50이, 불휘발성 메모리 56에 격납된 프로그램을 시스템 메모리 52에 로딩해서 실행 함에 의해 실현된다. 도3a 및 3b에 나타낸 흐름도는, 디지탈 카메라 100을 촬영 모드로 기동하고, 촬영 대기 상태에 있어서 유저가 뷰파인더를 들여다보고 있을 경우, 즉 접안부 16에 접안상태일 때에 개시된다.
단계 S301에서는, 시스템 제어부 50은 디지탈 카메라 100에 있어서, 유저가 터치패널 70a에의 터치 조작에 관한 설정 변경 조작을 행한 것인가 아닌가를 판정한다. 설정 변경 조작이 있었을 경우는(단계 S301에서 YES), 단계 S302의 처리로 진행된다. 설정 변경 조작이 없었을 경우는(단계 S301에서 NO), 단계 S303의 처리로 진행된다. 구체적으로는, 도4와 같이 디지탈 카메라 100의 메뉴 화면을 표시시키는 조작이 있었고, 또한 터치&드래그ＡＦ에 관한 설정 항목 402의 설정 변경이 있었던 것인가 아닌가를 판정한다. 도4는 ＥＶＦ 29 또는 표시부 28에 표시되는 촬영에 관한 설정메뉴 화면이다. 메뉴 화면에는 설정 항목 401∼404이 표시된다. 이 설정 항목 중, 설정 항목 402가 터치&드래그ＡＦ에 관한 설정 항목이다. 터치&드래그ＡＦ란, 유저가 뷰파인더를 들여다보면서 터치패널 70a에 터치 조작을 행하는 경우에, ＡＦ프레임의 이동의 방식에 관한 기능을 말한다. 설정 항목 402에 대해서, 유저는 임의로 설정가능하다. 설정 항목 402a를 선택하면, 터치&드래그ＡＦ설정은 절대 위치 지정으로 설정될 수 있다. 설정 항목 402b를 선택하면, 터치&드래그ＡＦ설정은 상대 위치 지정으로 설정될 수 있다. 도4는, 터치&드래그ＡＦ에 관한 설정이 상대 위치 지정으로 설정된 상태를 나타내고 있다.
단계 S302에서는, 시스템 제어부 50은, 단계 S301에서 변경된 설정을, 불휘발성 메모리 56에 보존한다.
단계 S303에서는, 시스템 제어부 50은, 디지탈 카메라 100에 있어서, 유저가 시선 입력에 관한 설정을 전환한 것인가 아닌가를 판정한다. 유저가 그 설정을 전환하였을 경우는(단계 S303에서 YES), 단계 S304의 처리로 진행된다. 유저가 그 설정을 전환하지 않았을 경우는(단계 S303에서 NO), 단계 S305의 처리로 진행된다. 구체적으로는, 시스템 제어부 50은, 도4와 같이 디지탈 카메라 100의 메뉴 화면을 표시시키는 조작이 있었고, 또, 시선 제어된 ＡＦ에 관한 설정 항목 403의 전환조작이 있었던 것인가 아닌가를 판정한다. 시선 제어된 ＡＦ란, 유저의 시선에 근거한 ＡＦ프레임의 이동에 관한 기능을 말한다. 시선 제어된 ＡＦ는 "유효(enabled)" 또는 "무효(disabled)" 중 어느 하나로 설정될 수 있다. 시선 제어된 ＡＦ를 "유효"로 설정하면, 시선에 근거한 ＡＦ프레임 위치의 선택 및 이동 조작이 가능하게 된다. 시선 제어된 ＡＦ를 "무효"로 설정하면, 시선에 근거한 ＡＦ프레임 위치의 선택 및 이동 조작이 행해질 수 없다. 설정 항목 403a를 선택함으로써 시선 제어된 ＡＦ설정을 유효로 할 수 있고, 설정 항목 403b를 선택함으로써 시선 제어된 ＡＦ설정을 무효로 할 수 있다. 도4는, 시선 제어된 ＡＦ 설정이 유효한 상태를 나타내고 있다.
단계 S304에서는, 시스템 제어부 50은, 단계 S303에서 변경된 설정을, 불휘발성 메모리 56에 보존한다.
단계 S305에서는, 시스템 제어부 50은, 불휘발성 메모리 56을 참조하여, 단계 S304에서 보존한 시선 입력 설정이 유효한 것인가 아닌가를 판정한다. 시선 입력 설정이 유효할 경우는(단계 S305에서 YES), 단계 S306의 처리로 진행된다. 시선 입력 설정이 무효할 경우는(단계 S305에서 NO), 단계 S317의 처리로 진행된다.
단계 S306에서는, 시스템 제어부 50은, 시선 입력의 유무를 판정한다. 시선 입력이 있으면, 즉 시선 추적 블록 160에 있어서 유저의 시선이 검출되었을 경우에는(단계 S306에서 YES), 단계 S307의 처리로 진행된다. 시선 입력이 없으면, 즉 시선 추적 블록 160에 있어서 유저의 시선이 검출되지 않을 경우에는(단계 S306에서 NO), 단계 S323의 처리로 진행된다. 시선 입력이 있었을 경우, 시스템 제어부 50은, 시선 입력이 시작된 시점부터의 시간을 계측한다. 시선 추적 블록 160에 있어서, 예를 들면 30밀리초마다 시선 위치를 검출하고, 검출된 시선 위치를 시스템 제어부 50에 보낸다. 시스템 제어부 50은, 시선 위치와 계측된 시간에 근거하여, 유저가 시선을 크게 움직이고 있는지(두리번두리번 하고 있는지), 어떤 위치를 응시하고 있는지(주시)를 판정한다. 주시에 대해서는 단계 S307에서 후술한다.
단계 S307에서는, 시스템 제어부 50은, 유저가 주시하고 있는 것인가 아닌가를 판정한다. 시스템 제어부 50은, 시선 위치와 계측시간에 근거하여, 소정시간내에 있어서의 시선 위치의 이동량이 소정의 역치이하일 경우에, 유저가 주시하고 있다고 판정한다. 예를 들면, 120밀리초 내에 시선 위치의 이동량이 소정의 역치이하이었을 경우에, 시스템 제어부 50은, 유저가 주시하고 있다고 판정한다. 유저가 주시하고 있다고 판정된 경우는(단계 S307에서 YES), 단계 S308의 처리로 진행된다. 시선 위치와 계측시간에 근거하여, 시선 위치의 이동량이 소정의 역치이상, 즉 유저가 시선을 크게 움직이고 있을 경우는, 시스템 제어부 50은 유저가 주시하고 있지 않다고 판정한다. 유저가 주시하고 있지 않다고 판정된 경우는(단계 S307에서 NO), 단계 S323의 처리로 진행된다. 본 예에서는, 시선 입력에 근거한 초점검출 영역(이하, "ＡＦ프레임")의 표시 위치의 이동에 대해서, 유저가 의도하는 시선 위치를 판정하는 조건으로서 주시를 사용하지만, 유저의 눈의 깜빡거림이나 음성 지시를 조건으로서 사용하여도 좋다. 또는, 주시를 검출하지 않고 시선의 검출 위치에 따라서 ＡＦ프레임을 이동해도 좋다(즉, 단계 S307을 생략하고, 단계 S306의 YES로부터 단계 S308의 처리로 진행되어도 좋다). 또한, 구체 예로서 주시라고 판정하는 계측 시간을 120밀리초로 설정하지만, 이 계측 시간은, 미리 설정되어도 좋거나 유저에 의해 자유롭게 설정되어도 좋거나, 표시된 시선 위치와 주시 위치와의 위치 관계에 따라서 변화되어도 좋다.
단계 S308에서는, 시스템 제어부 50은, ＥＶＦ 29에 있어서 검출된 시선(주시)위치에 ＡＦ프레임의 표시 위치를 이동한다. 본 실시 형태에서는, 시스템 제어부 50은, 단계 S309에서 판정하는 터치다운 조작이 없을 경우에 검출된 시선 위치, 혹은, 터치다운 조작의 개시 시점에서 검출된 시선 위치에, ＡＦ프레임의 표시 위치를 이동한다. 이에 따라, 터치패널 70a에 대한 조작전에 검출된 ＡＦ프레임 위치와 유저 소망의 ＡＦ프레임 위치가 크게 서로 떨어진 경우라도, 시선에 의해 재빠르게 ＡＦ프레임을 이동할 수 있다.
단계 S309에서는, 시스템 제어부 50은, 터치패널 70a에의 터치다운의 유무를 판정한다. 터치다운이 있었을 경우는(단계 S309에서 YES), 단계 S310의 처리로 진행된다. 터치다운이 없었을 경우는(단계 S309에서 NO), 단계 S315의 처리로 진행된다. 본 실시 형태에서는, 단계 S308에서 시선에 근거한 위치에 ＡＦ프레임 위치를 이동해서 표시한 후에, 터치다운의 유무를 확인하는 제어 처리를 행하지만, 그 제어 처리는 이것에 한정되지 않는다. 시선의 움직임에 근거하여 ＡＦ프레임이 항상 이동해서 표시됨으로써 유저가 신경 쓰게 되지 않도록, 터치다운 이전에는 시선에 따라 ＡＦ프레임의 이동은 행하지 않고, 터치다운후에 시선 위치에 ＡＦ프레임을 이동해도 좋다. 다시 말해, 단계 S308의 처리와 단계 S309의 처리를 역순으로 행하는 하는 제어 플로우가 행해져도 좋다.
단계 S310에서는, 시스템 제어부 50은, 시선 입력에 근거한 ＡＦ프레임 위치의 이동을 일시적으로 금지(제한)한다. 이것은, 유저에 의한 터치 조작 시작후의 조작중에, 유저가 시선 입력에 근거하여 이동된 ＡＦ프레임 위치의 미세 조정을 하기 위해서 터치 조작을 하고 있다고 상정되기 때문이다. 시선 입력에 근거한 ＡＦ프레임 이동의 금지(제한)중은, 주시가 검출한 경우에도, 시선 위치에 근거하는 ＡＦ프레임의 이동은 행해지지 않는다. 이것은, 유저가 터치 조작에 의해 미세 조정을 행한 ＡＦ프레임 위치가, 시선에 근거해 다른 위치에 이동되는 것을 방지할 수 있다.
단계 S311에서는, 시스템 제어부 50은, 터치패널 70a에 있어서의 터치 무브의 유무를 판정한다. 터치 무브가 있었을 경우는(단계 S311에서 YES), 단계 S312의 처리로 진행된다. 터치 무브가 없었을 경우는(단계 S311에서 NO), 단계 S313의 처리로 진행된다.
단계 S312에서는, 시스템 제어부 50은, ＥＶＦ 29에 있어서, 터치패널 70a에의 터치 무브 조작량에 제2의 계수를 곱한 제2의 양만큼 피사체상 위에 표시된 ＡＦ프레임을 상대적으로 이동시킨다. 제2의 계수 및 제2의 양에 대해서는 도5a 내지 5f를 참조하여 후술한다.
단계 S313에서는, 시스템 제어부 50은, 터치패널 70a로부터의 터치업의 유무를 판정한다. 터치업이 있었을 경우는(단계 S313에서 YES), 단계 S314의 처리로 진행된다. 터치업이 없었을 경우는(단계 S313에서 NO), 단계 S311의 처리로 되돌아간다.
단계 S314에서는, 시스템 제어부 50은, 시선 입력에 근거한 ＡＦ프레임의 이동을 허가(일시적인 금지/제한을 해제)한다. 이것은, 단계 S310에 있어서 일시적으로 금지(제한)한 시선 입력에 근거한 ＡＦ프레임의 이동을 허가(제한을 해제)하고, 다시 시선 입력을 접수한다(주시 위치에 근거해서 ＡＦ프레임을 이동시킨다)는 것을 의미한다. 이것은, 단계 S313에서 터치업에 의해 터치 조작이 종료했기 때문에, 단계 S310에서 서술한 것 같은 시선 입력과 터치 조작간에 경합이 생기지 않는다고 생각되기 때문이다.
단계 S315에서는, 시스템 제어부 50은, 터치다운 하지 않은 경우에 검출된 시선 입력의 위치가, 단계 S307에서 유저가 주시하고 있다고 판정할 때 검출된 시선 위치로부터, 전술의 소정의 역치이상 이동한 것인가 아닌가를 판정한다. 보다 구체적으로는, 단계 S307에서 판정한 주시 위치로부터 소정역치이상의 이동량이 있었을 경우에, 시선(주시)위치가 이동했다고 판정하고, 유저가 더 이상 주시하고 있지 않다고 판정한다.
단계 S316에서는, 시스템 제어부 50은, 시선 입력이 종료한 것인가 아닌가를 판정한다. 시선 추적 블록 160에 있어서 유저의 시선이 검출되지 않았을 경우에는, 시스템 제어부 50은, 유저가 시선 입력을 종료했다고 판정하고(단계 S316에서 YES), 단계 S332의 처리로 진행된다. 시선 추적 블록 160에 있어서 유저의 시선이 검출되어 있을 경우는, 시스템 제어부 50은 시선 입력이 계속되고 있다고 판정하고, 단계 S309의 처리로 되돌아간다.
단계 S317에서는, 시스템 제어부 50은, 시선 입력 설정이 무효할 경우 터치패널 70a에의 터치다운의 유무를 판정한다. 터치다운이 있었을 경우는(단계 S317에서 YES), 단계 S318의 처리로 진행된다. 터치다운이 없었을 경우는(단계 S317에서 NO), 단계 S305의 처리로 되돌아간다.
단계 S318에서는, 시스템 제어부 50은, 불휘발성 메모리 56을 참조하여, 단계 S302에 보존한 터치 기반 위치 지정에 관한 설정이 상대 위치 지정으로 설정된 것인가 아닌가를 판정한다. 보다 구체적으로는, 도4의 메뉴 설정 화면에 있어서 설정 항목 402의 터치&드래그ＡＦ의 설정이, 상대 위치 지정으로 설정된 것인가 아닌가를 판정한다. 설정이 상대 위치 지정으로 설정된 경우는(단계 S318에서 YES), 단계 S319의 처리로 진행된다. 설정이 상대 위치 지정으로 설정되지 않은 경우는(설정이 절대 위치 지정으로 설정된 경우)(단계 S318에서 NO), 단계 S321의 처리로 진행된다.
단계 S319에서는, 시스템 제어부 50은, 터치패널 70a에의 터치 무브 조작의 유무를 판정한다. 터치 무브가 있을 경우는(단계 S319에서 YES), 단계 S320의 처리로 진행된다. 터치 무브가 없을 경우는(단계 S319에서 NO), 단계 S322의 처리로 진행된다.
단계 S320에서는, 시스템 제어부 50은, 터치패널 70a에 대한 터치 무브 조작량에 제1의 계수를 곱한 제1의 양만큼, ＥＶＦ 29에 있어서 ＡＦ프레임의 위치를 상대적으로 이동시킨다. 제1의 계수와 제1의 양에 대해서는 도5a 내지 5f를 참조하여 후술한다.
단계 S321에서는, 시스템 제어부 50은, 터치패널 70a에의 터치 조작 위치에 대응하는 ＥＶＦ 29 위의 위치에 ＡＦ프레임을 이동시킨다(절대위치 지정). 이에 따라, 터치다운에 따라 터치다운 위치에 대응하는 위치에 ＡＦ프레임이 이동하고, 그 후 터치 무브에 의한 이동후의 터치 위치에 대응하는 위치에 ＡＦ프레임이 이동한다.
단계 S322에서는, 시스템 제어부 50은, 터치패널 70a로부터의 터치업의 유무를 판정한다. 터치업이 있었다고 판정된 경우는(단계 S322에서 YES), 단계 S305의 처리로 진행된다. 터치업이 없었다고 판정된 경우는(단계 S322에서 NO), 단계 S318의 처리로 되돌아간다.
단계 S323에서는, 시스템 제어부 50은, 터치패널 70a에의 터치다운의 유무를 판정한다. 터치다운이 있었을 경우는(단계 S323에서 YES), 단계 S325의 처리로 진행된다. 터치다운이 없었을 경우는(단계 S323에서 NO), 단계 S324의 처리로 진행된다.
단계 S324에서는, 시스템 제어부 50은, 단계 S323에 있어서 터치다운이 없었다고 판정되었을 경우에, 단계 S315와 마찬가지로, 유저에 의한 시선 입력 위치가 이동한 것인가 아닌가를 판정한다. 시선 입력 위치가 이동했을 경우는(단계 S324에서 YES), 단계 S332의 처리로 진행된다. 시선 입력 위치가 이동하지 않았을 경우는(단계 S324에서 NO), 단계 S306의 처리로 진행된다.
단계 S325에서는, 시스템 제어부 50은, 단계 S310에서와 같이, 시선 입력에 근거한 ＡＦ프레임의 이동을 일시적으로 금지(제한)한다.
단계 S326에서는, 시스템 제어부 50은, 단계 S318에서와 같이, 터치패널 70a에 대한 터치 기반 지정에 관한 설정(도4의 설정 항목 402에 있어서의 터치&드래그ＡＦ의 설정)이 상대 위치 지정으로 설정된 것인가 아닌가를 판정한다. 설정이 상대 위치 지정으로 설정된 경우는(단계 S326에서 YES), 단계 S327의 처리로 진행된다. 설정이 상대 위치 지정으로 설정되지 않은 경우(설정이 절대 위치 지정으로 설정된 경우)는(단계 S326에서 NO), 단계 S329의 처리로 진행된다.
단계 S327에서는, 시스템 제어부 50은, 터치패널 70a에의 터치 무브 조작의 유무를 판정한다. 터치 무브가 있었다고 판정한 경우는(단계 S327에서 YES), 단계 S328의 처리로 진행된다. 터치 무브가 없었다고 판정한 경우는(단계 S327에서 NO), 단계 S330의 처리로 진행된다.
단계 S328에서는, 시스템 제어부 50은, 단계 S320에서와 같이, 터치패널 70a에 행해진 터치 무브 조작량에 제1의 계수를 곱한 제1의 양만큼, ＥＶＦ 29에 있어서 ＡＦ프레임의 위치를 상대적으로 이동시킨다.
단계 S329에서는, 시스템 제어부 50은, 단계 S321에서와 같이, 터치패널 70a에의 터치 조작 위치에 대응하는 ＥＶＦ 29 위의 위치에 ＡＦ프레임을 이동시킨다(절대위치 지정).
단계 S330에서는, 시스템 제어부 50은, 터치패널 70a로부터의 터치업의 유무를 판정한다. 터치업이 있었을 경우는(단계 S330에서 YES), 단계 S331의 처리로 진행된다. 터치업이 없었을 경우는(단계 S330에서 NO), 단계 S325의 처리로 되돌아간다.
단계 S331에서는, 시스템 제어부 50은, 단계 S314에서와 같이, 시선 입력에 근거한 ＡＦ프레임의 이동을 허가(일시적인 금지/제한의 해제)한다.
단계 S332에서는, 시스템 제어부 50은, 단계 S306에서 시작한 주시라고 판정할 때까지의 타이머에 의해 계측된 시간을 리셋하고, 단계 S305의 처리로 되돌아간다.
도3a 및 3b의 제어 처리중에 제1셔터 스위치 62가 온이 되었을 경우는, 그 시점에서 표시된 ＡＦ프레임 위치에서 ＡＦ를 행한다. 보다 구체적으로는, 시선에 근거하여 ＡＦ프레임 위치가 표시되어 있을 경우는, 시선에 근거하여 표시된 ＡＦ프레임 위치에서 ＡＦ를 행한다. 시선에 근거한 ＡＦ프레임 위치가 표시되지 않은 경우는, 터치 조작전에 표시된 ＡＦ프레임 위치에서 ＡＦ를 행한다. 터치 무브 조작중에 제1셔터 스위치 62가 온이 되었을 경우는, 표시된 ＡＦ프레임 위치에서 ＡＦ를 행한다. 제어 처리중에 제2셔터 스위치 64가 온이 되었을 경우는, 제2셔터 스위치 64가 온이 된 시점에서 표시된 ＡＦ프레임을 사용하여 ＡＦ를 행하고, 촬영을 행한다.
또한, 도3a 및 3b에 나타낸 흐름도는, 접안검지부 57에 의해 접안부(16)에 대한 접안을 검지하는 경우에 행해지는 처리다. 접안검지부 57이 접안부(16)에 대한 접안을 검지하지 않은 경우는, 라이브 뷰 화상을 표시부 28에 표시한다. 이 때, 시스템 제어부 50은, 터치 조작에 근거한 위치 지정에 관한 설정(도4에 있어서의 터치&드래그ＡＦ 설정)을 따르지 않고, 터치다운에 따라 터치 위치에 ＡＦ프레임을 이동시킨다. 다시 말해, 접안부(16)에 대한 접안을 검지하지 않은 경우에, 시선에 근거하여 ＡＦ프레임의 이동은 행하지 않고, 터치 조작에 근거한 절대위치 지정에 근거하여 ＡＦ프레임이 이동된다.
도5a 내지 5f를 참조하여, 도3a 및 3b에 나타낸 처리에 의해 행해진 ＡＦ프레임의 위치 이동을 설명한다.
도5a는 유저에 의한 시선 입력이 없을(시선 입력 설정이 무효, 혹은 유효하고, 시선 추적 블록 160에의 시선(주시) 입력이 없을) 경우, 또한, 터치 기반 위치 지정에 관한 설정이 상대 위치 지정으로 설정되는 경우에, 터치패널 70a 위에 행해진 조작의 예를 나타낸다. 도5b는 도5a에 나타낸 조작 예에 대응하는 ＥＶＦ 29 위의 ＡＦ프레임의 표시 예다. 도5a에 나타낸 터치 위치 511a는 유저에 의해 입력된 터치다운 위치이며, 터치 위치 512a는 터치 위치 511a에 터치다운 행한 후 행해진 터치 무브 조작후에 설정된 터치 위치다. 도5b에 나타낸 ＡＦ프레임 514b는, 터치다운전에 설정된 ＡＦ프레임의 표시 위치(선택 위치)이며, ＡＦ프레임 515b는 터치다운 후에 행해진 터치 무브 조작후에 설정된 ＡＦ프레임의 표시 위치다. 이 위치들의 각각의 위치 좌표를 아래와 같이 정의한다:
Ｐｔ1(X1,Y1):터치다운 위치(511a),
Ｐｔ2(X2,Y2):터치 무브 후에 설정된 터치 위치(512a),
Ｐｓ1(x1, y1):터치다운전에 설정된 ＡＦ프레임의 위치(514b), 및
Ｐｓ2(x2, y2):터치 무브 후에 설정된 ＡＦ프레임의 위치(515b).
이 경우, 시스템 제어부 50은, Ｐｓ2의 x좌표와 y좌표를 아래와 같이 산출하고, 산출된 위치Ｐｓ2에 ＡＦ프레임을 표시한다(도3b의 단계 S318 및 S325의 동작):
x2=x1+A1(X2-X1);
y2=y1+A1(Y2-Y1); 및
A1: 제1의 계수.
이렇게, 터치 무브 조작량에 제1의 계수(A1)를 곱한 제1의 양만큼 ＡＦ프레임을 이동시킨다. 제1의 계수A1이 어느 정도 큰 계수이면, 작은 터치 무브 조작량일 때에도, 손가락의 반복 조작 횟수를 절감하고, 보다 재빠르게 ＡＦ프레임을 소망 위치에 이동할 수 있다. 작은 터치 무브량에 근거하여 ＡＦ프레임이 이동하기 때문에, 미세하게 유저 소망의 위치에 ＡＦ프레임의 위치를 조정하는 것이 어렵다.
다음에, 도5c는, 유저에 의한 시선 입력이 있을(시선 입력 설정이 유효하고, 유저가 주시하고 있다고 판정할) 경우에 터치패널 70a 위에 행해진 조작 예다. 도5d는, 도5c에 나타낸 조작 예에 대응하는 ＥＶＦ 29 위의 ＡＦ프레임의 표시 예다. 도5c에 나타낸 터치 위치 511a 및 512a는, 도5a에 나타낸 터치 위치와 같은 위치 좌표를 갖는다. 도5d에 나타낸 ＡＦ프레임 514b는 시선 입력에 근거하여 ＡＦ프레임의 이동전에 설정된 ＡＦ프레임의 표시 위치다. ＡＦ프레임 514d는 시선 입력에 근거한 ＡＦ프레임의 표시 위치이며, ＡＦ프레임 515d는 시선 입력에 근거하여 ＡＦ프레임의 이동후에 행해진 터치 무브 조작에 의해 한층 더 이동된 ＡＦ프레임의 표시 위치다. 터치 위치 511a, 512a와 ＡＦ프레임 514d, 515d의 각각의 위치 좌표를 아래와 같이 정의한다:
Ｐｔ1(X1,Y1):터치다운 위치(511a),
Ｐｔ2(X2,Y2):터치 무브 후 설정된 터치 위치(512a),
Ｐｓ3(x3,y3):시선 입력에 근거한 ＡＦ프레임의 위치(514d) 및
Ｐｓ4(x4,y4):시선 입력후 행해진 터치 무브 후에 설정된 ＡＦ프레임의 위치(515d).
이 경우에, 시스템 제어부 50은, Ｐｓ4의 x좌표, y좌표를 아래와 같이 산출하고, 산출된 위치Ｐｓ4에 ＡＦ프레임을 표시한다(도3a의 단계 S312의 처리):
x4=x3+A2(X2-X1);
y4=y3+A2(Y2-Y1); 및
A2: 제2의 계수(제1의 계수보다 작다(Ａ2 <A 1)).
이렇게, 우선, 시선 입력에 근거하여, ＡＦ프레임 514b의 원래의 위치로부터, 유저 소망의 위치 부근의 ＡＦ프레임 514d의 위치까지, ＡＦ프레임을 재빠르게 이동시킬 수 있다(도3a의 단계 S308의 처리). 그 시선 위치로부터 터치 무브 조작량에 제1의 계수(A1)보다도 작은 제2의 계수(A2)를 곱한 제2의 양만큼, 피사체상 위에 표시된 ＡＦ프레임을 이동시킨다. 제2의 계수 Ａ2가 제1의 계수 Ａ1보다도 작기(Ａ2 <A 1) 때문에, 큰 터치 무브 조작량만큼 ＡＦ프레임이 움직이지 않고, 같은 터치 무브 조작량이면 전술의 제1의 양보다도 작은 제2의 양만큼 ＡＦ프레임을 미세하게 이동시킬 수 있다. 다시 말해, 시선에 근거하여 대범한 ＡＦ프레임 위치의 이동을 행한 후, 터치 무브 조작에 의해 ＡＦ프레임 위치의 미세 조정을 행할 수 있다. 따라서, ＡＦ프레임의 위치를 유저 소망의 위치로 재빠르고 미세하게 이동시킬 수 있다. 단계 S312의 동작에서는, 단계 S302에서 보존한 터치 기반 위치 지정에 관한 설정이 상대 위치 지정인지 절대 위치 지정인지에 관계 없이, 상대 위치 지정에 따라 ＡＦ프레임을 이동시킨다. 다시 말해, 유저가 절대위치 지정을 미리 설정하는 경우에도, 시선에 근거한 ＡＦ프레임의 이동 후에 ＡＦ프레임의 터치 조작 이동은 상대 위치 지정에 따라 행해진다. 이러한 구성에 의해, 시선에 근거하여 대범한 ＡＦ프레임 위치의 결정후에 절대 위치 지정에 근거한 ＡＦ프레임의 큰 이동이 생기지 않는다. 이에 따라, 유저가 의도하지 않는 ＡＦ프레임의 큰 이동을 피할 수 있다.
도5e는 유저에 의한 시선 입력이 없을(시선 입력 설정이 무효 혹은 유효하고 시선(주시) 입력이 없을) 경우와, 터치 기반 위치 지정에 관한 설정이 절대 위치 지정으로 설정되는 경우에, 터치패널 70a 위에 행해진 조작 예다. 도5f는, 도5e에 나타낸 조작 예에 대응한 ＥＶＦ 29 위의 ＡＦ프레임의 표시 예다. 도5e에 나타낸 터치 위치 511a, 512a는 도5a에 나타낸 터치 위치와 같은 위치다. 도5f에 나타낸 ＡＦ프레임 514b는, 터치다운 전에 설정된 ＡＦ프레임의 표시 위치이며, 도5b에 나타낸 ＡＦ프레임 514b와 같은 위치다. ＡＦ프레임 514f는 터치다운 위치에 대응하는 위치에 표시된 ＡＦ프레임의 표시 위치다. ＡＦ프레임 515f는 터치 무브 조작후 설정된 ＡＦ프레임 표시 위치다. 도5e 및 5f에서는, 터치 기반 위치 지정에 관한 설정이 절대 위치 지정으로 설정된다. 이 때문에, 터치 위치와 ＥＶＦ 29에 표시된 ＡＦ프레임은 서로 대응시켜 표시된다. 이 때문에, 이 위치들의 각각의 좌표는 아래와 같이 나타낼 수 있다:
Ｐｔ1(X1,Y1):터치다운 위치(511a),
Ｐｔ2(X2,Y2):터치 무브 후 설정된 터치 위치(512a),
Ｐｓ5(x5,y5):터치다운 위치에 근거한 ＡＦ프레임 위치(514f), 및
Ｐｓ6(x6,y6):터치 무브 후의 터치 위치에 근거한 ＡＦ프레임 위치(515f).
위치 좌표Ｐｓ5, Ｐｓ6에서의 ＡＦ프레임의 표시는, 도3b의 단계 S329의 동작에 의해 행해진다.
여기서, 위치 좌표 Ｐｔ1 및 Ｐｓ5와, 위치 좌표 Ｐｔ2 및 Ｐｓ6는 대응시켜져 있기 때문에, 도5e에 나타낸 화살표로 나타낸 이동량 513의 터치패널 70a 위에서의 이동 비율은, 도5f에 나타낸 화살표로 나타낸 이동량 518의 ＥＶＦ 29 위에서의 이동 비율과 같다. 위치 좌표 Ｐｓ5와 Ｐｓ6은, 터치다운전에 설정된 ＡＦ프레임 514b의 위치에 영향을 받지 않는다.
이렇게, 본 실시 형태에서는, 시선 입력의 유무에 따라 터치패널 70a에 의한 ＡＦ프레임의 표시 위치의 이동 방법을 제어한다. 이에 따라, 시선 입력이 없을 경우에도 ＡＦ프레임을 유저 소망의 위치에 재빠르게 이동시킬 수 있다. 시선 입력이 있을 경우에는, 시선에 근거하여 ＡＦ프레임을 유저 소망의 위치에 재빠르게 이동시키고, 터치 무브 조작에 따라 ＡＦ프레임을 미세하게 조정할 수 있다.
상술의 실시 형태에서는, 뷰파인더를 들여다보는 유저의 시선을 검출하고, 터치패널에 의한 위치 지정 조작과 조합해서 위치 지정을 행하는 예를 설명했지만, 그 구성은 이것에 한정되는 것이 아니다. 도6a 및 6b는, 본 실시 형태에서의 터치 조작 부재이외의 또 하나의 조작 부재를 사용했을 경우나, ＥＶＦ 29를 사용하지 않을 경우의 실시 형태를 나타낸다.
도6a는 시선 입력이 가능한, ＥＶＦ 29와 터치 조작 부재이외의 다른 조작 부재를 사용하여 ＡＦ프레임의 이동을 행하는 예를 나타내고 있다. 보다 구체적으로는, 그 조작 부재는, 광학 트래킹 포인터(ＯＴＰ) 602, 8방향으로 조작가능한 방향 키(멀티 컨트롤러) 603 및 다이얼 604를 포함한다. 광학 트래킹 포인터는, 포인팅 디바이스의 일종으로, 주로 랩탑 컴퓨터에 채용되어 있다(본 실시 형태에서는 디지탈 카메라 100에 광학 트래킹 포인터가 탑재된 예를 나타낸다). 물리적 외관으로서, 광학 트래킹 포인터는, 짧은 막대 형상의 버튼이다. 광학 트래킹 포인터는, 부재표면인 헤드 부분 위를 손가락이 이동하는 조작 지시를 내린다. 이 헤드 부분에 발광 다이오드(ＬＥＤ) 등의 내부 광원으로부터 적외광이나 또 하나의 종류의 광이 조사되고, 손가락에서 반사한 광은 신호로서 접수된다. 이에 따라, 손가락의 움직임이 검출되고, 조작 지시로서 사용된다.
도6a에 있어서, 유저가 손 601에 의해 디지탈 카메라 100을 파지하고, ＯＴＰ 602를 엄지 손가락으로 조작한다. 뷰파인더를 들여다보면서 ＯＴＰ 602 위를 손가락으로 이동함으로써, 본 실시 형태에서 터치 무브 조작과 같은 조작이 행해질 수 있다. 구체적으로는, 시선 입력이 없을 경우에는, ＯＴＰ 602 위를 손가락으로 이동하는 터치 무브의 조작량에 제1의 계수를 곱한 제1의 양만큼, ＡＦ프레임을 상대적으로 이동시킨다. 또한, 시선 입력이 있을 경우에 시선에 근거한 ＡＦ프레임의 이동후, ＯＴＰ 602에 대해 행해진 터치 무브의 조작량에 제2의 계수(<제1의 계수)를 곱한 제2의 양(같은 터치 무브량일 때 제1의 양보다 작다)만큼, ＡＦ프레임을 상대 이동한다. 제2의 양은, 터치패널 70a에의 일회의 터치 조작으로는, 터치패널 70a의 화면의 끝으로부터 그 화면의 다른 끝까지 ＡＦ프레임을 이동할 수 없는 이동량이다.
시선 입력의 유무와 ＯＴＰ조작에 근거한 뷰파인더내에서의 ＡＦ프레임의 표시 위치는, 본 실시 형태의 도3a, 도3b, 도5a 내지 5f를 참조하여 설명한 처리와 마찬가지로 이동된다. 터치 조작 부재에 대응한 다른 조작 부재의 예로서 ＯＴＰ 602를 설명했지만, 방향 키 603이나 다이얼 604, 도1에 나타낸 십자 키 74의 방향별 가압 버튼도 마찬가지로 기능한다. 이것들의 부재에 있어서, 방향 키 603이나 십자 키 74를 특정 방향으로 1회 아래로 가압하는(밀어 넣는) 조작이나, 방향 키 603이나 십자 키 74를 소정의 시간이상 계속해서 아래로 가압하는(밀어 넣는) 조작은, 전술의 터치 무브 조작에 해당한다. 예를 들면, 방향 키 603이나 십자 키 74를 밀어 넣는 횟수에 전술의 제1의 계수 또는 제2의 계수를 곱한 이동량만큼 ＡＦ프레임을 이동시킨다. 또한, 예를 들면, 가압하는 계속 시간에 전술의 제1의 계수 또는 제2의 계수를 곱한 이동량만큼 ＡＦ프레임을 이동시킨다. 또한, 다이얼 604의 회전 부분을 회전시키는 조작은 전술의 터치 무브 조작에 해당한다. 보다 구체적으로는, 회전량에 전술의 제1의 계수 또는 제2의 계수를 곱한 이동량만큼 ＡＦ프레임을 이동시킨다.
도6b는 랩탑 컴퓨터의 트랙 패드를 사용하여 마우스 포인터를 이동하는 일례를 나타낸다. 도6b는, 본 실시 형태에서 서술한 터치패널 70a와 동일한 구성요소인 트랙 패드 605를 나타낸다. 랩탑 컴퓨터의 시선 추적 블록 160으로서, 독립적인 시선 추적기기 610을 랩탑 컴퓨터에 접속하고, 시선 추적 기기 610에 탑재된 카메라 611와, 그 랩탑 컴퓨터에 내장된 내장 카메라 612를 사용하여, 시선 위치를 판정한다. 랩탑 컴퓨터에서와 같이, 본 실시 형태와 같이, 시선 입력이 없을 경우는, 유저가 트랙 패드 605을 터치 무브 조작 함으로써, 모니터 위에 표시된 마우스 포인터를 제1의 양만큼 상대 이동할 수 있다. 시선 입력이 있을 경우는, 시선 입력에 따라서 마우스 포인터가 시선 위치로 이동한다. 트랙 패드 605에의 터치 무브 조작에 따라서, 시선 위치에 표시된 마우스 포인터가 터치 무브의 조작량에 제2의 계수(<제1의 계수)를 곱한 제2의 양(같은 터치 무브량이면 제1의 양보다 작다)만큼 상대 이동한다. 이에 따라 트랙 패드 605에 의해서도, 마우스 포인터를 미세 조정하는 것이 가능하다.
도6b는 다른 실시 형태로서 랩탑 컴퓨터를 나타내지만, 터치 조작 부재는 랩탑 컴퓨터의 트랙 패드 605에 한정되지 않는다. 예를 들면, 마우스, 포인팅 디바이스 또는 조이 스틱도 본 실시 형태에 적용될 수 있다. 트랙 패드, 마우스, 포인팅 디바이스 및 조이 스틱은, 랩탑 컴퓨터에 내장되지 않아도 되고, 외부에 부착되어도 된다.
또한, 포인터 등의 리모트 컨트롤러에 탑재되어 있는 터치 패드나 조이 스틱은, 본 실시 형태와 같이 터치 무브 조작 혹은 터치 무브에 상당하는 위치 이동 지시 조작도 행할 수 있다. 이 경우, 시선 추적 블록 160은, 외부 모니터나 프로젝터에 탑재 혹은 접속된다. 또한, 시선검출 센서는, 외부 모니터, 프로젝터 및 포인터와는 독립적으로 존재하여도 된다.
이상과 같이, 시선 입력에 근거하여 표시 위치가 이동되지 않고, 터치 기반 위치 지정에 관한 설정이 상대 위치 지정일 경우, 조작 부재의 조작량에 따라서, 표시 위치는, 조작전에 설정된 위치로부터, 조작량에 제1의 계수를 곱한 제1의 양만큼 상대적으로 이동된다. 터치 기반 위치 지정에 관한 설정이 절대 위치 지정일 경우, 조작 부재에의 조작이 개시된 조작 위치에 대응한 위치로 표시 위치를 이동시킨다. 시선 입력에 근거하여 표시 위치가 이동될 경우, 조작 부재의 조작량에 근거하여, 표시 위치를, 조작량에 제1의 계수보다도 작은 제2의 계수를 곱한 제2의 양만큼 시선 위치로부터 상대 이동시킨다. 이러한 구성에 의해, 터치 기반 위치 지정에 관한 설정이 상대 위치 지정일 경우, 시선 입력이 없을 경우에도, 조작 부재에의 조작에 응답하여 제2의 양보다도 큰 제1의 양만큼 ＡＦ프레임을 이동시킨다. 따라서, 표시 위치를 유저 소망의 위치에 재빠르게 이동시킬 수 있다. 시선 입력이 있을 경우에는, 시선에 근거하여 표시 위치를 유저 소망의 위치에 재빠르게 이동시킬 수 있어, 조작 부재에의 조작에 응답하여 표시 위치를 미세하게 조정할 수 있다. 시선 입력이 없을 경우에 터치 기반 위치 지정에 관한 설정이 절대 위치 지정으로 설정될 경우, 조작 부재의 조작 위치에 대응한 위치에 ＡＦ프레임이 이동된다. 따라서, 표시 위치를 유저 소망의 위치에 재빠르게 이동시킬 수 있다. 시선 입력이 있을 경우에는, 터치 기반 위치 지정에 관한 설정이 절대 위치 지정 또는 상대 위치 지정으로 설정되는 것에 관계 없이, 상대 위치 지정을 이용하고, 조작 부재에의 조작에 응답하여 제2의 양만큼 표시 위치를 이동시킨다. 이러한 구성에 의해, 시선에 근거하여 표시 위치를 유저 소망의 위치에 재빠르게 이동시킬 수 있고, 절대 위치 지정에 따라 표시 위치의 큰 이동이 생기지 않고, 조작 부재에의 조작에 응답하여 표시 위치를 미세하게 조정할 수 있다.
시스템 제어부 50이 행하는 것으로서 설명한 상술의 각종 제어는, 1개의 하드웨어 장치가 행해도 좋거나, 복수의 하드웨어(예를 들면, 복수의 프로세서나 회로) 장치가 처리를 분담함으로써 장치 전체를 제어해도 좋다.
본 발명의 실시 형태를 상세히 설명하였지만, 본 발명은 이 특정의 실시 형태에 한정되는 것이 아니고, 본 발명의 사상을 일탈하지 않고 여러가지 구성이 본 발명에 포함된다. 시선 입력과 조합해서 사용하는 위치 이동의 지시 부재로서 터치패널 70a의 예를 설명했지만, 버튼이나 다이얼등 터치패널 70a이외의 다른 조작 부재를 사용하여도 좋다. 표시 위치를 ＡＦ프레임으로서 다루었지만, 그 표시 위치는 아이콘 프레임이나 파라미터 설정 프레임, 또는 마우스 포인터등의 ＡＦ프레임과는 상이한 인디케이터 표시이어도 좋다. 주시의 판정 기준으로서, 시선 추적 블록 160에의 시선 입력이 시작하였을 때부터 계측된 시간을 사용하지만, 이 계측 시간은 미리 설정된 시간이어도 좋다. 표시된 ＡＦ프레임과 시선 위치와의 위치 관계에 따라서 시간은, 변화되어도 좋거나, 유저에 의해 임의로 설정 가능하여도 좋다. 본 실시 형태에서는, 유저가 의도한 시선 위치의 판정 기준으로서 주시를 사용하지만, 시선 위치는, 주시에 근거하여 판정되지 않아도 되고, 시선 입력 설정(도4의 설정 항목 403의 시선 제어된 ＡＦ)이 유효 또는 무효인지에 근거해서만 판정되어도 된다.
상술한 실시 형태에 있어서는, 본 발명을 디지탈 카메라에 적용한 예를 설명했지만, 적용 예는 이 예에 한정되지 않는다. 본 발명은, 전자기기가 시선 입력을 접수하는 접수부를 구비하면 임의의 전자기기에 적용될 수 있다. 또한, 실시 형태를 적절하게 조합하는 것도 가능하다. 본 실시 형태에서는, ＥＶＦ 29와 시선 추적을 사용하지만, 표시장치와 시선 추적을 사용하는 구성에서도 본 실시 형태를 실현할 수 있다. 보다 구체적으로, 본 발명은, 퍼스널 컴퓨터, 개인용 정보 단말기(ＰＤＡ), 휴대전화단말, 휴대형 화상 뷰어, 디스플레이를 구비하는 프린터 장치, 디지탈 포토 프레임, 음악 플레이어, 게임기, 전자 북 리더, 또는 헤드 마운트 디스플레이 등의 웨어러블 기기에 적용가능하다.
적용 예는 촬상 장치 본체에 한정되지 않고, 본 발명은 유선 또는 무선통신을 통해 촬상 장치(네트워크 카메라를 포함한다)와 통신하고, 촬상 장치를 원격으로 제어하는 제어장치에도 적용가능하다. 촬상 장치를 원격으로 제어하는 제어 장치의 예로서는, 스마트 폰, 태블릿 퍼스널 컴퓨터(ＰＣ), 및 데스크 톱 ＰＣ가 있다. 제어장치에서 행해진 조작이나 제어장치에서 행해진 처리에 근거하여, 제어장치로부터 촬상 장치에 각종 동작과 설정을 행하게 하는 커맨드를 통지함으로써, 촬상 장치를 원격으로 제어가능하다. 또한, 촬상 장치로 촬영한 라이브 뷰 화상을 유선 또는 무선통신을 통해 수신해서 제어장치가 표시해도 좋다.
본 발명의 실시 형태에 의하면, 선택 위치를 유저가 소망하는 위치로 재빠르고 정확하게 이동시킬 수 있다.
그 밖의 실시 형태
또한, 본 발명의 실시 형태(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시 형태(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시 형태(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 특정 용도 지향 집적회로(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령을 판독하고 실행하여 상기 실시 형태(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시 형태(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령을 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령을, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 발명을 실시 형태들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시 형태들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (30)

  1. 시선 추적 처리에 근거한 입력인 시선 입력을 접수하는 접수부; 및
    조작 부재에 대한 조작에 근거한 선택 위치의 이동을 제어하는 제어부이며, 상기 시선 입력에 근거하여 상기 선택 위치가 지정되지 않는 제1의 상태에서, 상기 조작 부재가 소정의 조작량에 의해 조작되는 것에 응답하여, 상기 선택 위치를 상기 조작 부재가 조작되기 전에 설정된 위치로부터 제1의 양만큼 이동하도록, 또한, 상기 시선 입력에 근거하여 상기 선택 위치가 지정되는 제2의 상태에서, 상기 조작 부재가 상기 소정의 조작량에 조작되는 것에 응답하여, 상기 선택 위치를 상기 시선 입력에 근거한 위치로부터, 상기 제1의 양보다 작은 제2의 양만큼 이동하도록, 제어하는 제어부를 포함하는, 전자기기.
  2. 제 1 항에 있어서,
    상기 조작 부재가 소정의 조작량에 의해 조작되는 것에 응답하여, 상기 선택 위치를, 상기 조작 부재가 조작되기 전에 설정된 위치에 근거하여, 해당 조작전에 설정된 상기 위치로부터 소정의 양만큼 이동하는 제1의 설정과,
    상기 조작 부재가 조작되는 것에 응답하여, 상기 조작전에 설정된 상기 선택 위치에 관계 없이, 상기 선택 위치를, 상기 조작 부재에의 조작이 개시된 조작 위치에 대응한 위치로 이동하는 제2의 설정을,
    포함하는 복수의 설정 중 어느 하나로 설정을 설정하는 설정부를 더 포함하고,
    상기 제어부는, 상기 제2의 상태에서, 상기 설정부가 무슨 설정을 설정하는지에 관계 없이, 상기 선택 위치를, 상기 시선 입력에 근거한 상기 위치로부터 상기 소정의 조작량의 조작에 응답하여 상기 제2의 양만큼 이동하도록, 제어를 행하는, 전자기기.
  3. 제 2 항에 있어서,
    상기 제어부는, 상기 제1의 상태에서 상기 조작 부재에의 조작에 관한 설정이 제1의 설정으로 설정되는 경우에, 상기 조작 부재가 상기 소정의 조작량에 의해 조작되는 것에 응답하여, 상기 선택 위치를, 상기 조작 부재가 조작되기 전에 설정된 위치에 근거하여, 해당 조작전에 설정된 상기 위치로부터 상기 제1의 양만큼 이동하도록, 제어를 행하고,
    상기 제어부는, 상기 제1의 상태에서 상기 조작 부재에의 조작에 관한 상기 설정이 제2의 설정으로 설정되는 경우에, 상기 조작 부재가 조작되는 것에 응답하여, 해당 조작전에 설정된 상기 선택 위치에 관계 없이, 상기 선택 위치를, 상기 조작 부재에의 조작이 개시된 조작 위치에 대응한 위치에 이동하도록, 제어를 행하는, 전자기기.
  4. 제 1 항에 있어서,
    표시 위치가 선택 위치인 것을 나타내는 인디케이터를 상기 선택 위치에 표시하는 표시 제어부를 더 포함하는, 전자기기.
  5. 제 4 항에 있어서,
    상기 인디케이터는, 상기 조작 부재가 유저에 의해 조작되는 것에 응답하여 표시되는, 전자기기.
  6. 제 1 항에 있어서,
    상기 제어부는, 상기 조작 부재가 조작중이 아닐 경우의 상기 시선 입력, 혹은, 조작 개시 시점에서의 상기 시선 입력에 근거하여, 상기 선택 위치를 이동하도록 제어를 행하고, 상기 조작 부재에 의한 조작 시작후에 행해진 조작 동안에는 상기 시선 입력에 근거하여 상기 선택 위치를 이동하지 않도록 제어를 행하는, 전자기기.
  7. 제 1 항에 있어서,
    상기 제1의 상태는, 상기 시선 입력에 관한 설정이 상기 시선 입력에 근거한 상기 선택 위치를 이동하지 않는 설정으로 설정되어 있는 상태이며, 상기 제2의 상태는, 상기 시선 입력에 관한 설정이 상기 시선 입력에 근거한 상기 선택 위치를 이동하는 설정으로 설정되어 있는 상태인, 전자기기.
  8. 제 1 항에 있어서,
    상기 제1의 상태는, 상기 접수부가 접수하는 시선 입력을 검출하는 검출부에 의해 시선 입력을 검출하지 않은 상태이며, 상기 제2의 상태는, 상기 검출부에 의해 시선 입력을 검출한 상태인, 전자기기.
  9. 제 1 항에 있어서,
    상기 제1의 양은 상기 소정의 조작량에 제1의 계수를 곱한 양이며, 상기 제2의 양은 상기 소정의 조작량에 제1의 계수보다 작은 제2의 계수를 곱한 양인, 전자기기.
  10. 제 1 항에 있어서,
    상기 제2의 양은, 상기 조작 부재에의 일회의 조작으로 상기 선택 위치를 화면의 끝에서 그 화면의 다른 끝까지 이동시키지 않는 이동량인, 전자기기.
  11. 제 1 항에 있어서,
    상기 조작 부재는, 터치 조작을 검지하는 터치 조작 부재인, 전자기기.
  12. 제 1 항에 있어서,
    상기 조작 부재는, 상기 조작 부재의 표면 위를 손가락으로 이동하는 것으로 상기 손가락의 이동 방향과 이동량을 산출하고, 상기 선택 위치를 이동하는 조작 부재와, 8방향으로 조작가능한 방향 키와, 조이 스틱과, 4방향으로 가압 가능한 가압 버튼을 갖는 방향 키 중, 어느 하나인, 전자기기.
  13. 제 1 항에 있어서,
    상기 제2의 상태는, 소정시간내에 있어서의 상기 시선 입력을 검출한 위치의 이동량이 소정의 역치이하인 상태인, 전자기기.
  14. 제 1 항에 있어서,
    상기 선택 위치는 초점검출 영역의 선택 위치인, 전자기기.
  15. 제 1 항에 있어서,
    촬상부;
    뷰파인더; 및
    상기 뷰파인더내의 표시부를 더 포함하고,
    상기 뷰파인더의 외부에 설치된 상기 조작 부재를 조작 함으로써, 상기 표시부의 피사체상 위에 표시된 상기 선택 위치를 이동할 수 있는, 전자기기.
  16. 컴퓨터를 청구항 1에 따른 전자기기의 각 부로서 기능시키기 위한 프로그램을 기억하는, 컴퓨터 판독 가능한 기억매체.
  17. 시선 추적 처리에 근거한 입력인 시선 입력을 접수하는 접수부; 및
    좌표입력을 행하는 조작 부재에 대한 조작에 근거하여 선택 위치의 이동을 제어하는 제어부이며, 상기 시선 입력에 근거하여 상기 선택 위치가 지정되지 않는 제1의 상태에서, 상기 조작 부재가 조작되는 것에 응답하여, 해당 조작전에 설정된 상기 선택 위치에 관계 없이, 상기 선택 위치를, 상기 조작 부재에의 조작이 개시된 조작 위치에 대응한 위치로 이동하도록, 또한, 상기 시선 입력에 근거하여 상기 선택 위치가 지정되는 제2의 상태에서, 상기 조작 부재가 조작되는 것에 응답하여, 상기 선택 위치를 상기 조작 부재에의 조작이 개시된 조작 위치에 대응한 위치에 이동하지 않고, 상기 선택 위치를, 상기 시선 입력에 근거하는 위치로부터, 상기 조작 부재에의 조작량에 대응한 이동량만큼 이동하도록, 제어하는 제어부를, 포함하는 전자기기.
  18. 제 17 항에 있어서,
    표시 위치가 선택 위치인 것을 나타내는 인디케이터를 상기 선택 위치에 표시하는 표시 제어부를 더 포함하는, 전자기기.
  19. 제 18 항에 있어서,
    상기 인디케이터는, 상기 조작 부재가 유저에 의해 조작되는 것에 응답하여 표시되는, 전자기기.
  20. 제 17 항에 있어서,
    상기 제어부는, 상기 조작 부재가 조작중이 아닐 경우의 상기 시선 입력, 혹은, 조작 개시 시점에서의 상기 시선 입력에 근거하여, 상기 선택 위치를 이동하도록 제어를 행하고, 상기 조작 부재에 의한 조작 시작후에 행해진 조작 동안에는 상기 시선 입력에 근거하여 상기 선택 위치를 이동하지 않도록 제어를 행하는, 전자기기.
  21. 제 17 항에 있어서,
    상기 제1의 상태는, 상기 시선 입력에 관한 설정이 상기 시선 입력에 근거한 상기 선택 위치를 이동하지 않는 설정으로 설정되어 있는 상태이며, 상기 제2의 상태는, 상기 시선 입력에 관한 설정이 상기 시선 입력에 근거한 상기 선택 위치를 이동하는 설정으로 설정되어 있는 상태인, 전자기기.
  22. 제 17 항에 있어서,
    상기 제1의 상태는, 상기 접수부가 접수하는 시선 입력을 검출하는 검출부에 의해 시선 입력을 검출하지 않은 상태이며, 상기 제2의 상태는, 상기 검출부에 의해 시선 입력을 검출한 상태인, 전자기기.
  23. 제 17 항에 있어서,
    상기 조작 부재는, 터치 조작을 검지하는 터치 조작 부재인, 전자기기.
  24. 제 17 항에 있어서,
    상기 조작 부재는, 상기 조작 부재의 표면 위를 손가락으로 이동하는 것으로 상기 손가락의 이동 방향과 이동량을 산출하고, 상기 선택 위치를 이동하는 조작 부재와, 8방향으로 조작가능한 방향 키와, 조이 스틱과, 4방향으로 가압 가능한 가압 버튼을 갖는 방향 키 중, 어느 하나인, 전자기기.
  25. 제 17 항에 있어서,
    상기 제2의 상태는, 소정시간내에 있어서의 상기 시선 입력을 검출한 위치의 이동량이 소정의 역치이하인 상태인, 전자기기.
  26. 제 17 항에 있어서,
    상기 선택 위치는 초점검출 영역의 선택 위치인, 전자기기.
  27. 제 17 항에 있어서,
    촬상부;
    뷰파인더; 및
    상기 뷰파인더내의 표시부를 더 포함하고,
    상기 뷰파인더의 외부에 설치된 상기 조작 부재를 조작 함으로써, 상기 표시부의 피사체상 위에 표시된 상기 선택 위치를 이동할 수 있는, 전자기기.
  28. 시선 추적 처리에 근거한 입력인 시선 입력을 접수하는 단계; 및
    조작 부재에 대한 조작에 근거한 선택 위치의 이동을 제어하는 단계이며, 상기 시선 입력에 근거하여 상기 선택 위치가 지정되지 않는 제1의 상태에서, 상기 조작 부재가 소정의 조작량에 의해 조작되는 것에 응답하여, 상기 선택 위치를 상기 조작 부재가 조작되기 전에 설정된 위치로부터 제1의 양만큼 이동하도록, 또한, 상기 시선 입력에 근거하여 상기 선택 위치가 지정되는 제2의 상태에서, 상기 조작 부재가 상기 소정의 조작량에 조작되는 것에 응답하여, 상기 선택 위치를 상기 시선 입력에 근거한 위치로부터, 상기 제1의 양보다 작은 제2의 양만큼 이동하도록, 제어하는 단계를 포함하는, 전자기기의 제어 방법.
  29. 시선 추적 처리에 근거한 입력인 시선 입력을 접수하는 단계; 및
    좌표입력을 행하는 조작 부재에 대한 조작에 근거하여 선택 위치의 이동을 제어하는 단계이며, 상기 시선 입력에 근거하여 상기 선택 위치가 지정되지 않는 제1의 상태에서, 상기 조작 부재가 조작되는 것에 응답하여, 해당 조작전에 설정된 상기 선택 위치에 관계 없이, 상기 선택 위치를, 상기 조작 부재에의 조작이 개시된 조작 위치에 대응한 위치로 이동하도록, 또한, 상기 시선 입력에 근거하여 상기 선택 위치가 지정되는 제2의 상태에서, 상기 조작 부재가 조작되는 것에 응답하여, 상기 선택 위치를 상기 조작 부재에의 조작이 개시된 조작 위치에 대응한 위치에 이동하지 않고, 상기 선택 위치를, 상기 시선 입력에 근거하는 위치로부터, 상기 조작 부재에의 조작량에 대응한 이동량만큼 이동하도록, 제어하는 단계를, 포함하는 전자기기의 제어 방법.
  30. 컴퓨터를 청구항 17에 따른 전자기기의 각 부로서 기능시키기 위한 프로그램을 기억하는, 컴퓨터 판독 가능한 기억 매체.
KR1020200070008A 2019-06-17 2020-06-10 전자기기, 그 제어 방법 및 기억매체 KR102606743B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2019-112314 2019-06-17
JP2019112314A JP7321786B2 (ja) 2019-06-17 2019-06-17 電子機器およびその制御方法

Publications (2)

Publication Number Publication Date
KR20200144057A true KR20200144057A (ko) 2020-12-28
KR102606743B1 KR102606743B1 (ko) 2023-11-27

Family

ID=70975720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200070008A KR102606743B1 (ko) 2019-06-17 2020-06-10 전자기기, 그 제어 방법 및 기억매체

Country Status (5)

Country Link
US (1) US11500458B2 (ko)
EP (1) EP3754422A1 (ko)
JP (1) JP7321786B2 (ko)
KR (1) KR102606743B1 (ko)
CN (1) CN112099618A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7301615B2 (ja) * 2019-06-17 2023-07-03 キヤノン株式会社 電子機器およびその制御方法
JP7253988B2 (ja) * 2019-07-03 2023-04-07 キヤノン株式会社 表示制御装置およびその制御方法、表示制御システム、並びにプログラム
JP7277306B2 (ja) * 2019-07-31 2023-05-18 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7451162B2 (ja) * 2019-12-13 2024-03-18 キヤノン株式会社 撮像装置
JP7383552B2 (ja) * 2020-03-31 2023-11-20 キヤノン株式会社 電子機器およびその制御方法
JP2022171056A (ja) * 2021-04-30 2022-11-11 キヤノン株式会社 視線情報取得装置、撮像装置、視線情報取得方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150103278A (ko) * 2013-03-05 2015-09-09 인텔 코포레이션 다수의 지각 감지 입력의 상호작용
US20170083145A1 (en) * 2015-09-17 2017-03-23 Canon Kabushiki Kaisha Electronic apparatus and control method thereof
KR20170063368A (ko) * 2015-11-30 2017-06-08 캐논 가부시끼가이샤 촬상 제어장치 및 그 제어 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100903A (ja) 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
JP5717510B2 (ja) * 2010-04-08 2015-05-13 キヤノン株式会社 撮像装置、その制御方法および記憶媒体
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
JP5858610B2 (ja) * 2010-11-30 2016-02-10 キヤノン株式会社 撮像装置
JP5669549B2 (ja) * 2010-12-10 2015-02-12 オリンパスイメージング株式会社 撮像装置
US9829971B2 (en) * 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
JP6257199B2 (ja) 2013-07-22 2018-01-10 キヤノン株式会社 光学機器、その制御方法、および制御プログラム
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
JP6397454B2 (ja) 2016-08-31 2018-09-26 キヤノン株式会社 撮像制御装置及びその制御方法、プログラム、並びに記憶媒体
JP6799475B2 (ja) * 2017-02-10 2020-12-16 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150103278A (ko) * 2013-03-05 2015-09-09 인텔 코포레이션 다수의 지각 감지 입력의 상호작용
US20170083145A1 (en) * 2015-09-17 2017-03-23 Canon Kabushiki Kaisha Electronic apparatus and control method thereof
KR20170063368A (ko) * 2015-11-30 2017-06-08 캐논 가부시끼가이샤 촬상 제어장치 및 그 제어 방법

Also Published As

Publication number Publication date
JP7321786B2 (ja) 2023-08-07
EP3754422A1 (en) 2020-12-23
CN112099618A (zh) 2020-12-18
US11500458B2 (en) 2022-11-15
US20200393898A1 (en) 2020-12-17
JP2020204914A (ja) 2020-12-24
KR102606743B1 (ko) 2023-11-27

Similar Documents

Publication Publication Date Title
KR102606743B1 (ko) 전자기기, 그 제어 방법 및 기억매체
JP7410629B2 (ja) 撮像装置およびその制御方法
JP7442331B2 (ja) 音声入力装置およびその制御方法ならびにプログラム
CN112104809B (zh) 电子装置、电子装置的控制方法及存储介质
WO2020255675A1 (ja) 電子機器およびその制御方法
JP7467071B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7346375B2 (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
EP3876517A1 (en) Electronic device, control method, program, and computer readable medium
JP7383552B2 (ja) 電子機器およびその制御方法
JP7492349B2 (ja) 撮像装置およびその制御方法、プログラム、並びに記憶媒体
JP7490372B2 (ja) 撮像制御装置及びその制御方法
JP7423248B2 (ja) 電子機器、電子機器の制御方法、プログラム及び記憶媒体
JP7346135B2 (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP2022018244A (ja) 電子機器およびその制御方法
JP2021152597A (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP7446913B2 (ja) 電子機器、電子機器の制御方法、プログラム
JP2021140590A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7451255B2 (ja) 電子機器及びその制御方法
JP2020197976A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
WO2024095888A1 (ja) 撮像装置、制御方法およびプログラム
JP2023160103A (ja) 電子機器
JP2022067578A (ja) 撮像装置及びその制御方法及びプログラム及び記録媒体
JP2022129065A (ja) 表示制御装置及びその制御方法及びプログラム及び記録媒体
JP2024066463A (ja) 撮像装置、制御方法およびプログラム
JP2022095306A (ja) 表示制御装置及びその制御方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant