KR20220047656A - 전자기기, 전자기기의 제어 방법, 및 컴퓨터 판독 가능한 기억 매체 - Google Patents

전자기기, 전자기기의 제어 방법, 및 컴퓨터 판독 가능한 기억 매체 Download PDF

Info

Publication number
KR20220047656A
KR20220047656A KR1020227009848A KR20227009848A KR20220047656A KR 20220047656 A KR20220047656 A KR 20220047656A KR 1020227009848 A KR1020227009848 A KR 1020227009848A KR 20227009848 A KR20227009848 A KR 20227009848A KR 20220047656 A KR20220047656 A KR 20220047656A
Authority
KR
South Korea
Prior art keywords
gif
viewpoint
image
electronic device
subject
Prior art date
Application number
KR1020227009848A
Other languages
English (en)
Other versions
KR102714379B1 (ko
Inventor
카즈마 사카토
히로야스 카타가와
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20220047656A publication Critical patent/KR20220047656A/ko
Application granted granted Critical
Publication of KR102714379B1 publication Critical patent/KR102714379B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H04N5/232945—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N5/2252—
    • H04N5/2253—
    • H04N5/2254—
    • H04N5/23212—
    • H04N5/23219—
    • H04N5/232933—
    • H04N5/2351—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H04N5/372—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/04—Partial updating of the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Exposure Control For Cameras (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자기기는, 입력 화상과 제1의 ＧＵＩ화상을 표시부에 표시하는 표시 제어 수단과, 상기 입력 화상에 있어서의 유저의 시점을 검출하는 제1의 검출 수단과, 상기 입력 화상에 있어서의 소정의 물체의 위치를 검출하는 제2의 검출 수단을 가지고, 상기 소정의 물체의 위치가 상기 시점에 근거하여 검출되는 경우에, 상기 표시 제어 수단은, 상기 소정의 물체의 위치가 상기 시점에 근거하지 않고 검출되는 경우와 비교하여, 상기 제1의 ＧＵＩ화상을 눈에 뜨이지 않게 한다.

Description

전자기기, 전자기기의 제어 방법, 프로그램 및 기억 매체
본 발명은, 전자기기, 전자기기의 제어 방법, 프로그램 및 기억 매체에 관한 것이다.
최근, 카메라의 자동화·인텔리전트화가 진행하고, 수동으로 물체의 위치를 입력하지 않더라도, 파인더를 들여다 보는 유저의 시선위치의 정보(시선정보; 시선입력 정보)에 근거하여 유저가 의도하는 물체를 검출하여, 초점제어를 행하는 기술이 제안되어 있다. 특허문헌 1에서는, 시선정보를 사용하여, 물체의 영역으로서 검출한 영역을 보정함으로써 물체의 검출 정밀도를 향상시키는 기술이 개시되어 있다.
특허문헌1: 일본 특허공개 2018-205648호 공보
여기에서, 유저의 시선위치를 취득할 때에, 유저가 원하는 영역(유저가 보고 싶은 영역)이외의 영역에 ＧＵＩ화상이 표시되어 있는 경우에, 유저의 시선은 표시되어 있는 ＧＵＩ화상을 향하기 쉬워, 시선을 원하는 영역에 유지하기 어렵다고 하는 문제가 있다. 그 때문에, 시선정보를 사용해도, 물체의 영역으로서 검출된 영역의 위치와 물체의 실제의 위치와의 어긋남이 생겨버리는 경우가 있었다.
그래서, 본 발명은, 유저의 시선을 원하는 영역을 향하기 쉽게 하는 것을 목적으로 한다.
본 발명의 일 양태는,
입력 화상과 제1의 ＧＵＩ화상을 표시부에 표시하는 표시 제어 수단과,
상기 입력 화상에 있어서의 유저의 시점을 검출하는 제1의 검출 수단과,
상기 입력 화상에 있어서의 소정의 물체의 위치를 검출하는 제2의 검출 수단을,
가지고,
상기 소정의 물체의 위치가 상기 시점에 근거하여 검출되는 경우에, 상기 표시 제어 수단은, 상기 소정의 물체의 위치가 상기 시점에 근거하지 않고 검출되는 경우와 비교하여, 상기 제1의 ＧＵＩ화상을 눈에 뜨이지 않게 하는,
것을 특징으로 하는 전자기기다.
본 발명에 의하면, 유저의 시선을 원하는 영역을 향하기 쉽게 할 수 있다.
[도1] 도1은, 본 실시 형태에 관계되는 카메라의 단면도다.
[도2] 도2는, 본 실시 형태에 관계되는 카메라의 블록도다.
[도3] 도3a∼도3c는, 본 실시 형태에 관계되는 파인더내 시야를 도시한 도면이다.
[도4] 도4는, 본 실시 형태에 관계되는 시야검출 방법의 원리를 설명하기 위한 도다.
[도5] 도5a 및 도5b는, 본 실시 형태에 관계되는 눈 화상을 도시한 도면이다.
[도6] 도6은, 본 실시 형태에 관계되는 시선검출 동작의 흐름도다.
[도7] 도7a∼도7d는, 종래의 라이브 뷰 화상의 표시 예를 도시한 도면이다.
[도8] 도8은, 실시 형태 1에 관계되는 추미 처리의 흐름도다.
[도9] 도9a∼도9d는, 실시 형태 1에 관계되는 라이브 뷰 화상의 표시 예를 도시한 도면이다.
[도10] 도10은, 실시 형태 2에 관계되는 추미 처리의 흐름도다.
[도11] 도11a∼도11d는, 실시 형태 2에 관계되는 라이브 뷰 화상의 표시 예를 도시한 도면이다.
[도12] 도12는, 실시 형태 3에 관계되는 카메라의 블록도다.
[도13] 도13은, 실시 형태 3에 관계되는 얼굴검출 처리의 흐름도다.
이하, 첨부의 도면을 참조하여 본 발명의 적합한 실시 형태를 설명한다.
(실시 형태 1)
<구성의 설명>
도1은, 본 실시 형태에 관계되는 카메라 1(디지털 스틸 카메라; 렌즈 교환식 카메라)의 단면도이며, 카메라 1의 대략적인 내부구성을 도시한다. 카메라 1은, 촬영 렌즈 유닛 1A, 카메라 케이스 1B를 포함한다.
촬영 렌즈 유닛 1A내에는, 2매의 렌즈 101, 102, 조리개 111, 조리개 구동부 112, 렌즈 구동 모터 113, 렌즈 구동부재 114, 포토커플러 115, 펄스판 116, 마운트 접점 117, 초점조절 회로 118 등이 포함되어 있다. 렌즈 구동부재 114는 구동 기어 등으로 이루어지고, 포토커플러 115는, 렌즈 구동부재 114에 연동하는 펄스판 116의 회전을 검지하고, 초점조절 회로 118에 전달한다. 초점조절 회로 118은, 포토커플러 115로부터의 정보와, 카메라 케이스 1B로부터의 정보(렌즈 구동량의 정보)에 근거하여, 렌즈 구동 모터 113을 구동하고, 렌즈 101을 이동시켜서 합초위치를 변경한다. 마운트 접점 117은, 촬영 렌즈 유닛 1A와 카메라 케이스 1B와의 인터페이스다. 또한, 간단하게 하기 위해서 2매의 렌즈 101, 102를 도시하였지만, 실제는 2매 보다 많은 렌즈가 촬영 렌즈 유닛 1A내에 포함되어 있다.
카메라 케이스 1B내에는, 촬상 소자 2, ＣＰＵ 3, 메모리부 4, 표시 디바이스 10, 표시 디바이스 구동회로 11, 접안 렌즈 12 등이 포함되어 있다. 촬상 소자 2는, 촬영 렌즈 유닛 1A의 예정 결상면에 배치되어 있다. ＣＰＵ 3은, 마이크로 컴퓨터의 중앙처리부이며, 카메라 1 전체를 제어한다. 메모리부 4는, 촬상 소자 2에 의해 촬상된 화상 등을 기억한다. 표시 디바이스 10은, 액정 등으로 구성되어 있어, 촬상된 화상(피사체상) 등을 표시한다. 표시 디바이스 구동회로 11은, 표시 디바이스 10을 구동한다. 접안 렌즈 12는, 표시 디바이스 10에 표시된 화상(시인용 화상)을 관찰하기 위한 렌즈다.
카메라 케이스 1B내에는, 광원 13a, 13b, 광분할기 15, 수광 렌즈 16, 눈용 촬상 소자 17 등도 포함되어 있다. 광원 13a, 13b는, 광의 각막반사에 의한 반사상(각막 반사상)과 동공의 관계로부터 시선방향을 검출하기 위해서 종래부터 일안 레플렉스 카메라 등에서 사용하고 있는 광원이며, 유저의 안구 14를 조명하기 위한 광원이다. 구체적으로는, 광원 13a, 13b는, 유저에 대하여 불감의 적외광을 발하는 적외발광 다이오드 등이며, 접안 렌즈 12의 주변에 배치되어 있다. 조명된 안구 14의 광학상(안구상; 광원 13a, 13b로부터 발해서 안구 14에서 반사한 반사광에 의한 상)은, 접안 렌즈 12를 투과하여, 광분할기 15에서 반사된다. 그리고, 안구상은, 수광 렌즈 16에 의해, ＣＣＤ등의 광전소자열을 2차원적으로 배치한 눈용 촬상 소자 17 위에 결상된다. 수광 렌즈 16은, 안구 14의 동공과 눈용 촬상 소자 17을 공역한 결상관계에 위치시키고 있다. 후술하는 소정의 알고리즘에 의해, 눈용 촬상 소자 17 위에 결상된 안구상에 있어서의 각막반사상의 위치로부터, 시선방향(시인용 화상에 있어서의 시점)이 검출된다.
도2는, 카메라 1내의 전기적 구성을 도시한 블록도다. ＣＰＵ 3에는, 시선검출 회로 201, 측광회로 202, 자동초점검출 회로 203, 표시 디바이스 구동회로 11, 광원구동회로 205, 추미 처리 회로 207 등이 접속되어 있다. 또한, ＣＰＵ 3은, 촬영 렌즈 유닛 1A내에 배치된 초점조절 회로 118과, 촬영 렌즈 유닛 1A내의 조리개 구동부 112에 포함된 조리개 제어 회로 206에, 마운트 접점 117을 통해 신호를 전달한다. ＣＰＵ 3에 부수된 메모리부 4는, 촬상 소자 2 및 눈용 촬상 소자 17로부터의 촬상 신호의 기억 기능과, 후술하는 시선의 개인차를 보정하는 시선보정 파라미터의 기억 기능을, 가진다.
시선검출 회로 201은, 눈용 촬상 소자 17(ＣＣＤ-ＥＹＥ) 위에 안구상이 결상한 상태에서의 눈용 촬상 소자 17의 출력(눈을 촬상한 눈 화상)을 A/D변환하여, 그 결과를 ＣＰＵ 3에 송신한다. ＣＰＵ 3은, 후술하는 소정의 알고리즘에 따라서 눈 화상으로부터 시선검출에 필요한 특징점을 추출하여, 특징점의 위치로부터 유저의 시선(시인용 화상에 있어서의 시점)을 산출한다.
측광회로 202는, 측광 센서의 역할을 겸한 촬상 소자 2로부터 얻어지는 신호, 구체적으로는 피사계의 밝기에 대응한 휘도신호의 증폭, 대수압축, A/D변환 등을 행하여, 그 결과를 피사계 휘도정보로서 ＣＰＵ 3에 보낸다.
자동초점검출 회로 203은, 촬상 소자 2에 있어서의 ＣＣＤ 속에 포함되는, 위상차 검출을 위해 사용되는 복수의 검출 소자(복수의 화소)로부터의 신호 전압을 A/D변환하여, ＣＰＵ 3에 보낸다. ＣＰＵ 3은, 복수의 검출 소자의 신호로부터, 각 초점검출 포인트에 대응하는 피사체까지의 거리를 연산한다. 이것은 촬상면 위상차ＡＦ로서 알려지는 공지의 기술이다. 본 실시 형태에서는, 일례로서, 도3a의 파인더내 시야상(시인용 화상)에 도시한 180군데에 대응하는 촬상면 위의 180군데의 각각에, 초점검출 포인트가 있다고 한다.
추미 처리 회로 207은, 촬상 소자 2에 의해 촬상된 화상에 근거하여 물체의 추미 처리를 행한다. 구체적으로는, 추미 처리 회로 207은, 현 프레임 화상(현재의 프레임 화상)과, 기준화상과의 매칭 처리를 행하여, 기준화상과 가장 유사도(상관도)가 높은 영역을 추미 대상물의 영역으로서 현 프레임 화상으로부터 추출(검출)한다. 본 실시 형태에서는, 기준화상은, 전프레임 화상(현재보다도 앞의 프레임 화상) 중, 추미 대상물의 영역으로서 검출한 영역의 화상(부분 화상)이다. 또한, 상기 유사도는, 화상의 특징량의 유사도이여도 좋다. 그리고, 추미 처리 회로 207은, 유사도에 따라서 추미를 계속할 것인가 아닌가를 판단한다. 또한, 추미 처리 회로 207은, 추미 신뢰도(추미 처리의 신뢰도; 추미의 상태값)를, 검출한 영역에 대응하는 유사도에 근거해서 산출하여, ＣＰＵ 3에 보낸다. 추미 처리는, 오토포커스 제어 등을 위해 행해지고, 추미 신뢰도는, 피사체를 나타내는 ＧＵＩ의 표시 제어 등에 사용된다.
도3a는, 파인더내 시야를 도시한 도면이며, 표시 디바이스 10이 동작한 상태(시인용 화상을 표시한 상태)를 도시한다. 도3a에 도시한 바와 같이, 파인더내 시야에는, 초점검출 영역 300, 180개의 측거점 지표 301, 시야 마스크 302 등이 있다. 180개의 측거점 지표 301의 각각은, 촬상면 위에 있어서의 초점검출 포인트에 대응하는 위치에 표시되도록, 표시 디바이스 10에 표시된 스루 화상(라이브 뷰 화상)에 포개어 표시된다. 또한, 180개의 측거점 지표 301 중, 현재의 시점A(추정 위치)에 대응하는 측거점 지표 301은, 프레임 등으로 강조되어서 표시된다.
<시선검출 동작의 설명>
도4, 도5a, 도5b, 도6을 사용하여, 시선검출 방법에 대해서 설명한다. 도4는, 시선검출 방법의 원리를 설명하기 위한 도면이며, 시선검출을 행하기 위한 광학계의 개략도다. 도4에 도시한 바와 같이, 광원 13a, 13b는 수광 렌즈 16의 광축에 대하여 대략 대칭으로 배치되어, 유저의 안구 14를 비춘다. 광원 13a, 13b로부터 발해서 안구 14에서 반사한 광의 일부는, 수광 렌즈 16에 의해, 눈용 촬상 소자 17에 집광한다. 도5a는, 눈용 촬상 소자 17로 촬상된 눈 화상(눈용 촬상 소자 17에 투영된 안구상)의 개략도이며, 도5b는 눈용 촬상 소자 17에 있어서의 ＣＣＤ의 출력 강도를 도시한 도면이다. 도6은, 시선검출 동작의 개략 흐름도를 나타낸다.
시선검출 동작이 개시하면, 도6의 스텝S601에서, 광원 13a, 13b는, 유저의 안구 14를 향해서 적외광을 발한다. 적외광에 의해 조명된 유저의 안구상은, 수광 렌즈 16을 통해서 눈용 촬상 소자 17 위에 결상되어, 눈용 촬상 소자 17에 의해 광전변환된다. 이에 따라, 처리가능한 눈 화상의 전기신호가 얻어진다.
스텝S602에서는, 시선검출 회로 201은, 눈용 촬상 소자 17로부터 얻어진 눈 화상(눈 화상신호; 눈 화상의 전기신호)을 ＣＰＵ 3에 보낸다.
스텝S603에서는, ＣＰＵ 3은, 스텝S602에서 얻어진 눈 화상으로부터, 광원 13a, 13b의 각막반사상Ｐｄ, Ｐｅ와 동공중심c에 대응하는 점의 좌표를 구한다.
광원 13a, 13b으로부터 발한 적외광은, 유저의 안구 14의 각막 142를 조명한다. 이때, 각막 142의 표면에서 반사한 적외광의 일부에 의해 형성되는 각막반사상Ｐｄ, Ｐｅ는, 수광 렌즈 16에 의해 집광되어, 눈용 촬상 소자 17 위에 결상하고, 눈 화상에 있어서의 각막반사상Ｐｄ', Ｐｅ'가 된다. 마찬가지로, 동공 141의 가장자리부a, b로부터의 광속도 눈용 촬상 소자 17 위에 결상하고, 눈 화상에 있어서의 동공 가장자리 상a', b'가 된다.
도5b는, 도5a의 눈 화상에 있어서의 영역α'의 휘도정보(휘도분포)를 도시한다. 도5b에서는, 눈 화상의 수평방향을 X축방향, 수직방향을 Y축방향으로 하여, X축방향의 휘도분포가 도시되어 있다. 본 실시 형태에서는, 각막반사상Ｐｄ', Ｐｅ'의 X축방향(수평방향)의 좌표를 Ｘｄ, Ｘｅ로 하고, 동공 가장자리상a', b'의 X축방향의 좌표를 Ｘａ, Ｘb로 한다. 도5b에 도시한 바와 같이, 각막반사상Ｐｄ', Ｐｅ'의 좌표Ｘｄ, Ｘｅ에서는, 극단적으로 높은 레벨의 휘도가 얻어진다. 동공 141의 영역(동공 141로부터의 광속이 눈용 촬상 소자 17 위에 결상하여 얻어지는 동공상의 영역)에 상당하는, 좌표Ｘａ로부터 좌표Ｘb까지의 영역에서는, 좌표Ｘｄ, Ｘｅ를 제외하고, 극단적으로 낮은 레벨의 휘도가 얻어진다. 그리고, 동공 141의 외측의 광채 143의 영역(광채 143으로부터의 광속이 결상하여 얻어지는, 동공상의 외측의 광채상의 영역)에서는, 상기 2종의 휘도의 중간의 휘도가 얻어진다. 구체적으로는, X좌표(X축방향의 좌표)가 좌표Ｘａ보다 작은 영역과, X좌표가 좌표Ｘb보다 큰 영역에서, 상기 2종의 휘도의 중간의 휘도가 얻어진다.
도5b에 도시한 것 같은 휘도분포로부터, 각막반사상Ｐｄ', Ｐｅ'의 Ｘ좌표Ｘｄ, Ｘｅ와, 동공 가장자리상a', b'의 Ｘ좌표Ｘａ, Ｘb를 얻을 수 있다. 구체적으로는, 휘도가 극단적으로 높은 좌표를 각막반사상Ｐｄ', Ｐｅ'의 좌표로서 얻을 수 있고, 휘도가 극단적으로 낮은 좌표를 동공 가장자리상a', b'의 좌표로서 얻을 수 있다. 또한, 수광 렌즈 16의 광축에 대한 안구 14의 광축의 회전각θx가 작은 경우에는, 동공중심c로부터의 광속이 눈용 촬상 소자 17 위에 결상하여 얻어지는 동공중심상c'(동공상의 중심)의 좌표Ｘｃ는, Ｘｃ≒(Ｘａ+Ｘb)/2로 표현할 수 있다. 즉, 동공 가장자리상a', b'의 Ｘ좌표Ｘａ, Ｘb로부터, 동공중심상c'의 좌표Ｘｃ를 산출할 수 있다. 이렇게 하여, 각막반사상Ｐｄ', Ｐｅ'의 좌표와, 동공중심상c'의 좌표를 어림잡을 수 있다.
스텝S604에서는, ＣＰＵ 3은, 안구상의 결상배율β를 산출한다. 결상배율β는, 수광 렌즈 16에 대한 안구 14의 위치에 의해 결정되는 배율이고, 각막반사상Ｐｄ', Ｐｅ'의 간격(Ｘｄ-Ｘｅ)의 함수를 사용하여 구할 수 있다.
스텝S605에서는, ＣＰＵ 3은, 수광 렌즈 16의 광축에 대한 안구 14의 광축의 회전각을 산출한다. 각막반사상Ｐｄ와 각막반사상Ｐｅ의 중점의 Ｘ좌표와 각막 142의 곡률중심O의 Ｘ좌표는, 거의 일치한다. 이 때문에, 각막 142의 곡률중심O로부터 동공 141의 중심c까지의 표준적인 거리를 Ｏｃ로 하면, Z-X평면(Y축에 수직한 평면)내에서의 안구 14의 회전각θx는, 이하의 식 1로 산출할 수 있다. Z-Y평면(X축에 수직한 평면)내에서의 안구 14의 회전각θy도, 회전각θx의 산출 방법과 마찬가지의 방법으로 산출할 수 있다.
β ×Ｏｃ×ＳＩＮθx≒{(Ｘｄ+Ｘｅ)/2}-Ｘｃ ...(식 1)
스텝S606에서는, ＣＰＵ 3은, 스텝S605에서 산출한 회전각θx, θy를 사용하여, 표시 디바이스 10에 표시된 시인용 화상에 있어서의 유저의 시점(시선이 쏟아진 위치; 유저가 보고 있는 위치)을 구한다(추정한다). 시점의 좌표(Ｈｘ, Ｈｙ)가 동공중심c에 대응하는 좌표라고 하면, 시점의 좌표(Ｈｘ, Ｈｙ)는 이하의 식 2, 3으로 산출할 수 있다.
Ｈｘ=m×(Ａｘ×θx+Bｘ) ...(식 2)
Ｈｙ=m×(Ａｙ×θy+Bｙ) ...(식 3)
식 2,3의 파라미터m은, 카메라 1의 파인더 광학계(수광 렌즈 16 등)의 구성으로 정해지는 정수다. 또한, 파라미터m은, 회전각θx, θy를 시인용 화상에 있어서 동공중심c에 대응하는 좌표로 변환하는 변환 계수이며, 미리 결정되어 메모리부 4에 격납되는 것으로 한다. 파라미터Ａｘ, Bｘ, Ａｙ, Bｙ는, 시선의 개인차를 보정하는 시선보정 파라미터이며, 후술하는 캘리브레이션 작업을 행하는 것으로 취득되어, 시선검출 동작이 개시하기 전에 메모리부 4에 격납되는 것으로 한다.
스텝S607에서는, ＣＰＵ 3은, 시점의 좌표(Ｈｘ, Ｈｙ)를 메모리부 4에 격납하고, 시선검출 동작을 종료한다.
상술의 설명에서는, 광원 13a, 13b의 각막반사상을 이용하여 표시 디바이스 위에서의 시점(주시점)의 좌표를 취득하는 방법에 대해서 설명했지만, 이것에 한정하지 않고, 촬상된 안구화상으로부터 시점의 좌표(안구회전 각도)를 취득하는 수법이면 적용할 수 있다.
<캘리브레이션 작업의 설명>
전술과 같이, 시선검출 동작에 있어서 눈 화상으로부터 안구 14의 회전각도θx, θy를 취득하여, 동공중심c의 위치를 시인용 화상 위에서의 위치로 좌표변환함으로써, 시점을 추정할 수 있다.
그러나, 인간의 안구의 형상의 개인차 등의 요인에 의해, 시점을 고정밀도로 추정할 수 없는 경우가 있다. 구체적으로는, 시선보정 파라미터Ａｘ, Ａｙ, Bｘ, Bｙ를 유저에게 적합한 값으로 조정하지 않으면, 도3b에 도시한 바와 같이, 실제의 시점B와 추정된 시점C와의 어긋남이 생겨버린다. 도3b에서는, 유저는 인물을 주시하고 있지만, 카메라 1은 배경이 주시되어 있다고 잘못 추정하고 있어, 적절한 초점검출 및 조정을 할 수 없는 상태에 빠져버려 있다.
그래서, 카메라 1이 촬상을 행하기 전에, 캘리브레이션 작업을 행하고, 유저에 적합한 시점 보정 파라미터를 취득하여, 카메라 1에 격납할 필요가 있다.
종래부터, 캘리브레이션 작업은, 촬상전에 도3c와 같은 위치의 상이한 복수의 지표를 시인용 화상으로 강조 표시하여, 유저에게 그 지표를 보이는 것으로 행해지고 있다. 그리고, 각 지표의 주시시에 시선검출 동작을 행하고, 산출된 복수의 시점(추정 위치)과, 각 지표의 좌표로부터, 유저에 적합한 시점 보정 파라미터를 구하는 기술이, 공지의 기술로서 알려져 있다. 또한, 유저가 볼 위치가 시사되면, 지표의 표시가 아니어도 좋고, 휘도나 색의 변경으로 위치가 강조되어도 좋다.
<종래의 추미 처리(종래 수법)>
도7a∼도7d는, 종래 수법에 있어서의 프레임 화상 701의 표시 예를 도시한 도면이다. 프레임 화상 701내에는, 피사체 702와 피사체를 추미한 영역을 나타내는 피사체ＧＵＩ 703이 표시되어 있다. 피사체ＧＵＩ 703은, 카메라가 움직임이 있는 피사체로서 식별하고 있는 영역(피사체 인식 영역; 인식 영역)을 나타내는 ＧＵＩ화상이다. 유저는 화면을 터치하는 등 해서 피사체 702가 추미 대상의 피사체인 것을 카메라에 지시하여, 피사체를 화면에 넣으면서 동화상을 촬영한다.
도7a는, 추미 대상의 물체(피사체)를 추미하기 개시한 직후이며, 피사체 702와 피사체ＧＵＩ 703이 일치하고 있는 상태를 도시한 도면이다. 이때, 피사체 702와 피사체ＧＵＩ 703으로 둘러싸여지는 영역과의 유사도(피사체 인식 영역의 확실성)를 표현하는 추미 신뢰도(예를 들면, 0∼100%)는 높은 값이 된다. 또한, 추미 신뢰도는, 피사체ＧＵＩ 703의 위치의 신뢰도라고 생각될 수도 있다. 도7b, 도7c는, 피사체 702가 고속으로 이동하거나, 또는 배경물체와 동화하거나 함으로써, 피사체ＧＵＩ 703이 피사체 702로부터 서서히 어긋나가는 양태를 도시한 도면이다. 도7d는, 추미 신뢰도가 역치Ｔｈ를 하회하고, 추미 처리를 정지하여 피사체ＧＵＩ 703이 비표시가 된 상태를 도시한 도면이다.
상술한 바와 같이, 종래의 추미 처리에서는, 피사체 702가 고속으로 이동하거나, 배경물체와 동화하는 경우에, 피사체를 적절하게 추미할 수 없는 경우가 있다. 여기에서, 피사체 702의 추미 처리에 있어서, 유저의 시선 704에 근거하여 피사체 인식 영역을 조정하는 것이 생각된다. 도7d에 도시한 바와 같이, 피사체ＧＵＩ 703이 비표시가 된 후이면, 시선 704가 피사체 702를 포착하기 쉽기 때문에, 시선 704에 근거하여 피사체 인식 영역을 조정하는 것은 유용하다. 그러나, 도7c에 도시한 바와 같이, 피사체 702로부터 어긋난 피사체ＧＵＩ 703이 표시되어 있으면, 시선 704는 피사체ＧＵＩ 703을 향하기 쉽고, 피사체 702에 유지하기 어렵다. 그 때문에, 도7c에 도시한 프레임 화상의 상태에 있어서, 시선 704에 근거하여 피사체 인식 영역을 조정하면, 피사체 인식 영역과 실제의 피사체와의 어긋남이 생겨버린다.
<시점을 사용한 추미 처리(본 실시 형태)>
도8은, 본 실시 형태에 관계되는 추미 처리의 예를 도시한 흐름도다. 이 흐름도에 있어서의 각 처리는, ＣＰＵ 3이, 메모리부 4에 격납되어 있는 프로그램을 실행함으로써 실현된다. 또한, 본 실시 형태에서는, 이 흐름도에 있어서의 처리는, 카메라의 전원이 ＯＮ으로 되면 개시된다.
스텝S801에서는, 카메라의 전원이 ＯＮ으로 되어서 촬상 소자 2에 의해 스루 화상(입력 화상)의 취득이 개시되면, ＣＰＵ 3은, 표시 디바이스 10에서의 스루 화상의 표시를 개시한다. 본 실시 형태에서는, 유저는, 파인더내의 표시 디바이스 10에 표시된 스루 화상을 보는 것으로 피사체를 시인한다.
스텝S802에서는, ＣＰＵ 3은, 시선입력이 ＯＮ인가 아닌가를 판정한다. 본 실시 형태에서는, ＣＰＵ 3은, 시선검출 기능(시선입력 기능)이 ＯＮ으로 되어 있는 경우에 시선입력이 ＯＮ이다고 판정하는 것으로 한다. 시선입력이 ＯＮ일 경우는 스텝S803에 진행되고, 그렇지 않을 경우는 스텝S808에 진행된다.
스텝S803에서는, ＣＰＵ 3은, 도6에 도시한 시선검출 루틴을 실행한다. 본 실시 형태에서는, 도6에서 도시한 시선검출 루틴을 실행함으로써, 표시 디바이스 10 위에서의 상술한 시점의 좌표(Ｈｘ, Ｈｙ)를 취득한다.
스텝S804에서는, ＣＰＵ 3은, 피사체의 위치를 나타내는 피사체ＧＵＩ와, 시점(시선의 위치; 추정 주시점)을 나타내는 시선ＧＵＩ가, 서로 겹치고 있는 것인가 아닌가를 판정한다. 서로 겹치고 있는 경우는 스텝S806에 진행되고, 그렇지 않을 경우는 스텝S805에 진행된다. 여기에서, 피사체ＧＵＩ와 시선ＧＵＩ가 서로 겹치고 있는 경우로서, 예를 들면, 피사체ＧＵＩ인 선과 시선ＧＵＩ인 선이 교차하고 있는 경우나, 피사체ＧＵＩ의 영역과 시선ＧＵＩ의 영역의 한쪽에 다른 쪽의 적어도 일부가 포함되는 경우 등을 들 수 있다. 또한, 피사체ＧＵＩ는 후술하는 스텝S813에서 표시되기 때문에, 피사체ＧＵＩ가 표시되지 않고 있는 경우(처리 개시 직후 등)는, 스텝S805에 진행되는 것으로 한다.
스텝S805에서는, ＣＰＵ 3은, 시선ＧＵＩ를 표시 디바이스 10에 표시한다. 본 실시 형태에서는, 시선ＧＵＩ는, 유저의 시선의 위치를 둘러싸는 프레임이다.
스텝S806에서는, ＣＰＵ 3은, 시선ＧＵＩ를 비표시로 한다. 이것은, 피사체에 피사체ＧＵＩ와 시선ＧＵＩ가 중복하여 표시되면, 해당 피사체가 보기 힘들게 되어, 유저에게 불쾌감을 줄 우려가 있기 때문이다. 또한, 피사체ＧＵＩ를 보기 쉽게 할 수 있으면 좋고, 시선ＧＵＩ의 색을 엷게 하거나, 시선ＧＵＩ를 작게 하거나 해서, 시선ＧＵＩ를 눈에 뜨이지 않게 해도 좋다.
스텝S807에서는, ＣＰＵ 3은, 역치Ｔｈ를 역치Ｔｈ1로 설정한다. 스텝S808에서는, ＣＰＵ 3은, 역치Ｔｈ를 역치Ｔｈ2(<역치Ｔｈ1)로 설정한다. 상세한 것은 후술하지만, 본 실시 형태에서는, 추미 신뢰도가 역치Ｔｈ이하로 되면 피사체ＧＵＩ를 지우는(비표시로 하는) 것으로, 피사체로부터 어긋난 피사체ＧＵＩ에 시선이 향하는 것을 막는다. 그 때문에, 시점을 검출하는 경우의 역치Ｔｈ1은, 시점을 검출하지 않은 경우의 역치Ｔｈ2와 비교하여 크게 하고 있다. 이에 따라, 시점을 검출하는 경우에, 피사체ＧＵＩ의 어긋나기 시작을 재빠르게 검지하여, 시선을 피사체를 향하기 쉽게 하는 것이 가능해진다. 본 실시 형태에서는, 역치Ｔｈ1을 70%, 역치Ｔｈ2를 50%로 하는 예에 대해서 설명한다.
스텝S809에서는, ＣＰＵ 3은, 추미 처리 회로 207을 제어하고, 동체검출(추미 처리)을 행한다. ＣＰＵ 3은, 시점에 근거하지 않고 물체의 위치를 추출하고 있다고 생각될 수도 있다. 동체검출 방법은, 기존의 여러 가지의 방법을 적용가능하다. 예를 들면, 상술한 바와 같이, 프레임간의 매칭 처리를 행하고, 프레임간의 유사도(상관도)가 가장 높은 영역을 피사체 인식 영역으로서 검출한다. 또한, ＣＰＵ 3은, 추미 처리 회로 207을 제어하고, 검출한 영역에 대응하는 유사도에 따라서 추미 신뢰도를 산출한다. 또한, 추미 신뢰도는, 유사도가 높을수록 높아진다.
스텝S810에서는, ＣＰＵ 3은, 스텝S809의 결과(동체의 영역의 검출 결과)를 피사체 위치 정보로서 설정한다. 피사체 위치 정보는, 예를 들면, 측거점으로서 사용된다.
스텝S811에서는, ＣＰＵ 3은, 추미 신뢰도가 역치Ｔｈ보다 낮은 것인가 아닌가를 판정한다. 추미 신뢰도가 역치Ｔｈ보다 낮은 경우는 스텝S812에 진행되고, 그렇지 않을 경우는, 스텝S813에 진행된다. 여기에서, 추미 신뢰도가 역치Ｔｈ보다 낮은 경우란, 피사체 위치와 피사체ＧＵＩ의 위치에 어긋남이 생기고 있는 경우다. 또한, 추미 신뢰도가 역치Ｔｈ보다 높은 경우란, 피사체 위치와 피사체ＧＵＩ의 위치가 대략 일치하고 있는 경우다.
스텝S812에서는, ＣＰＵ 3은, 피사체ＧＵＩ를 비표시로 한다. 또한, 피사체ＧＵＩ에 시선이 향하는 것을 막을 수 있으면 좋고, 피사체ＧＵＩ의 색을 엷게 하는 것이나, 피사체ＧＵＩ를 작게 하는 등을 행해서 피사체ＧＵＩ를 눈에 뜨이지 않게 해도 좋다. 또한, 피사체ＧＵＩ의 이외에도, 촬영 화면 위에는 촬영 설정 정보를 표시하는 ＯＳＤ(Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ)가 ＧＵＩ로서 표시되어 있는 경우가 있다. 이것들의 ＯＳＤ도, 시선이 피사체이외에 향해 버려, 시선정보를 사용한 추미 처리를 방해하는 요인이 될 수 있으므로, 피사체ＧＵＩ와 마찬가지로 ＯＳＤ의 표시 양태를 변경하면(ＯＳＤ를 눈에 뜨이지 않게 하면) 좋다. 또한, 피사체ＧＵＩ를 비표시로 하여 시선ＧＵＩ만이 표시됨으로써, 시선입력에 의해 추미 처리를 행하고 있는 것을 유저가 인식하기 쉽게 할 수도 있다.
스텝S813에서는, ＣＰＵ 3은, 피사체ＧＵＩ를 표시한다. 이것은, 피사체 위치와 피사체ＧＵＩ의 위치가 대략 일치하고 있을 가능성이 높기 때문이다.
스텝S814에서는, ＣＰＵ 3은, 시선정보에 근거하여 피사체 위치 정보를 갱신한다. 여기에서, 상술의 스텝S812에 있어서 피사체ＧＵＩ를 비표시로 하고 있기 때문에, 유저는 피사체를 주시하고 있을 가능성이 높다. 따라서, 시선의 위치와 피사체 인식 영역의 위치를 가중 가산해서 피사체 인식 영역을 보정함으로써, 피사체 인식 영역과 피사체와의 어긋남을 저감하고 있다. 또한, 시선의 위치를 포함하는 영역(시선ＧＵＩ에 대응하는 영역)을 그대로 피사체 인식 영역으로서 사용해도 좋다. 또한, 신뢰도가 역치Ｔｈ보다 낮은 경우에, ＣＰＵ 3은, 스텝S809에서 시점에 근거하지 않고 추출된 물체의 위치를 시점에 근거하여 보정한 물체의 위치를, 피사체 인식 영역(시점에 근거하여 검출된 위치)으로서 검출하고 있다고 생각될 수도 있다. 또한, 신뢰도가 역치Ｔｈ보다 높은 경우에, ＣＰＵ 3은, (시선에 근거하여 보정하지 않고) 추출된 물체의 위치를, 피사체 인식 영역(시선에 근거하지 않고 검출된 위치)으로서 검출하고 있다고 생각될 수도 있다.
스텝S815에서는, ＣＰＵ 3은, 유저의 조작에 의해서의 촬영 스위치(도시되지 않음)가 ＯＮ으로 된 것인가 아닌가를 판정한다. ＯＮ으로 되었을 경우는 스텝S816에 진행되고, 그렇지 않을 경우는 스텝S802에 되돌아간다.
스텝S816에서는, ＣＰＵ 3은, 촬영 동작을 행한다. 구체적으로는, ＣＰＵ 3은, 촬상 소자 2에 의해 취득된 화상신호를 메모리부 4에 기록한다.
스텝S817에서는, ＣＰＵ 3은, 촬영이 종료한 것인가 아닌가를 판정한다. 촬영이 종료한 경우는 본 처리 플로우를 종료하고, 그렇지 않을 경우는 스텝S802에 되돌아간다. 촬영이 종료한 경우란, 예를 들면, 전원이 ＯＦＦ로 된 경우다.
도9a∼도9d는, 각각 본 실시 형태에 있어서의 동화상이나 라이브 뷰에 있어서의 프레임 화상 701의 일례를 도시한다.
도9a는, 동체인 피사체 702를 추미하기 개시한 직후이며, 피사체 702와 피사체ＧＵＩ 703이 일치하고 있는 상태를 도시한 도면이다. 이때, 추미 신뢰도는 높은 값(예를 들면, 90%)이 된다. 또한, 도9a에는, ＯＳＤ 901, 시선ＧＵＩ 905가 표시되어 있다. 여기에서, 시선검출 기능이 온이기 때문에, 역치Ｔｈ는 역치Ｔｈ1(예를 들면, 70%)이다.
도9b는, 피사체 702의 위치와 피사체ＧＵＩ 703이 어긋나기 시작하고 있지만, 추미 신뢰도(예를 들면, 80%)가 역치Ｔｈ(역치Ｔｈ1)보다 높은 상태를 도시한 도면이다. 또한, 도9b는, 피사체ＧＵＩ 703과 시선ＧＵＩ 905가 서로 겹치고 있는 상태를 도시하고 있다. 시선ＧＵＩ 905와 피사체ＧＵＩ 703이 서로 겹치면 정보가 번잡해져, 유저에게 불쾌감을 줄 우려가 있다. 그 때문에, 본 실시 형태에서는, 피사체ＧＵＩ 703과 시선ＧＵＩ905가 서로 겹치는 경우에는, 피사체ＧＵＩ 703을 보기 쉽게 하는 것을 우선한다(도9b의 예에서는 시선ＧＵＩ 905를 비표시로 하고 있다).
도9c는, 피사체 702의 위치와 피사체ＧＵＩ 703이 크게 어긋나 있고, 추미 신뢰도(예를 들면, 60%)가 역치Ｔｈ(역치Ｔｈ1)를 하회한 상태를 도시한 도면이다. 도9c의 예에서는, 피사체ＧＵＩ 703을 비표시로 하여 눈에 뜨이지 않게 하고 있다. 또한, 도9c의 예에서는, ＯＳＤ 901의 색을 엷게 하여 눈에 뜨이지 않게 하고 있다. 본 실시 형태에서는, 시선검출 기능이 ＯＮ인 경우에, 비교적 큰 역치Ｔｈ1을 사용하는 것으로, 피사체ＧＵＩ 703의 어긋나기 시작을 재빠르게 검지하고 있다. 그리고, 피사체ＧＵＩ 703의 어긋나기 시작을 검지한 경우에, 피사체ＧＵＩ 703을 비표시로 하거나 ＯＳＤ 901의 색을 엷게 하는 것으로 유저의 시선을 피사체ＧＵＩ 703이나 ＯＳＤ 901을 향하기 어렵게 하고, 유저의 시선을 피사체 702를 향하기 쉽게 하고 있다.
도9d는, 시선의 위치에 근거하여 추미 처리를 행한 결과, 피사체ＧＵＩ 703의 위치와 피사체 702의 위치가 다시 대략 일치한 상태를 도시한 도면이다. 도9d의 예에서는, 추미 신뢰도(예를 들면, 90%)가 역치Ｔｈ(역치Ｔｈ1)보다 높아졌기 때문에, 피사체ＧＵＩ 703을 다시 표시하고, ＯＳＤ 901을 통상의 색으로 되돌리고 있다. 또한, 도9d의 예에서는, 시선ＧＵＩ 905는, 피사체ＧＵＩ 703에 겹치므로 비표시로 되어 있다.
이상과 같이, 본 실시 형태에서는, 시선검출 기능이 ＯＮ인 경우에, 추미 신뢰도를 평가하기 위한 역치Ｔｈ를 크게 한다. 이렇게 하여, 피사체ＧＵＩ와 피사체의 위치와의 어긋나기 시작을 재빠르게 검지하고, 피사체ＧＵＩ 703을 눈에 뜨이지 않게 함으로써, 유저의 시선을 피사체를 향하기 쉽게 하여, 시선정보를 사용한 추미 처리의 정밀도를 향상시킬 수 있다. 또한, 피사체ＧＵＩ를 눈에 뜨이지 않게 하는 것에 의하여, 유저에게 시선정보를 사용하여 추미 처리를 행하고 있는 것을 의식시킴으로써, 유저가 피사체를 주시하기 쉽게 하고 있다.
(실시 형태 2)
실시 형태 1에서는, 피사체ＧＵＩ의 위치와 시선위치가 서로 겹치는 경우를 제외하고, 시선ＧＵＩ를 상시 표시시키는 예에 대해서 설명했지만, 본 실시 형태에서는, 시선정보를 사용하여 추미 처리를 행하는 경우만 시선ＧＵＩ를 표시하는 예에 대해서 설명한다.
도10은, 본 실시 형태에 관계되는 추미 처리의 예를 도시하는 흐름도다. 이 흐름도에 있어서의 각 처리는, ＣＰＵ 3이, 메모리부 4에 격납되어 있는 프로그램을 실행함으로써 실현된다. 또한, 본 실시 형태에서는, 이 흐름도에 있어서의 처리는, 카메라의 전원이 ＯＮ으로 되면 개시된다. 또한, 도8에 도시한 처리와 같은 처리에 대해서는, 같은 번호를 첨부해서 설명을 생략한다.
본 실시 형태에서는, 도8에 도시한 스텝S804∼S806의 처리는 행하지 않기 때문에, 시선검출 루틴을 행한 직후에 시선ＧＵＩ를 표시하거나 비표시로 하거나 하는 처리는 행해지지 않는다. 시선ＧＵＩ가 표시되는 타이밍은, 스텝S811에서 추미 신뢰도가 역치Ｔｈ를 하회하고, 피사체ＧＵＩ 703이 비표시로 된 후의 타이밍(스텝S1018)이다. 또한, 시선ＧＵＩ가 비표시로 되는 타이밍은, 스텝S811에서 추미 신뢰도가 역치Ｔｈ를 상회하고, 피사체ＧＵＩ 703이 표시된 후의 타이밍(스텝S1019)이다.
이렇게 함으로써, 시선ＧＵＩ를 필요 이상으로 표시하여 유저에게 불쾌감을 주지 않고, 시선정보를 사용하여 추미 처리를 행하고 있는 것을 유저에게 인식시키는 것이 가능해진다.
도11a∼도11d는, 각각 본 실시 형태에 있어서의 동화상이나 라이브 뷰에 있어서의 프레임 화상 701을 도시하고 있다.
도11a는, 동체인 피사체 702을 추미하기 개시한 직후이며, 피사체 702와 피사체ＧＵＩ 703이 일치하고 있는(추미 신뢰도가 역치Ｔｈ1보다 높은) 상태를 도시한 도면이다. 이때, 시선ＧＵＩ 905와 피사체ＧＵＩ 703이 동시에 표시 디바이스 10 위에 표시되면, 표시 디바이스 10 위의 정보가 번잡해져, 유저에게 불쾌감을 줄 우려가 있기 때문에, 실시 형태 1과는 달리, 시선ＧＵＩ 905는 표시되지 않고 있다.
도11c는, 추미 신뢰도가 역치Ｔｈ를 하회한(스텝S811-Ｙｅｓ) 상태를 도시한 도면이다. 이 경우, 시선정보를 사용하여 추미 처리가 행해지는 것을 유저에게 인식시키기 위해서, 시선ＧＵＩ 905가 표시된다. 한편, 도11b, 도11d에서는, 추미 신뢰도가 역치Ｔｈ보다 높기(스텝S811-Ｎｏ) 때문에, 도11a와 마찬가지로 시선ＧＵＩ 905를 비표시로 하고 있다.
이상과 같이, 본 실시 형태에서는, 시선정보가 추미 처리에 사용되는 경우만 시선ＧＵＩ를 표시한다. 이렇게 함으로써, 표시 디바이스 10 위의 정보의 번잡함을 억제하면서, 유저의 시선을 피사체를 향하기 쉽게 하여, 시선정보를 사용한 추미 처리의 정밀도를 향상시킬 수 있다. 또한, 시선정보를 사용하여 추미 처리를 행하고 있는 것을 유저에게 인식시킬 수 있다.
(실시 형태 3)
상술의 실시 형태에서는, 동체의 추미 처리를 행할 때에 시선정보를 사용하는 예에 대해서 설명했지만, 본 실시 형태에서는, 얼굴검출을 행할 때에 시선정보를 사용하는 예에 대해서 설명한다.
도12는, 본 실시 형태에 있어서의 카메라 1내의 전기적 구성을 도시한 블록도다. 도12에서는, 도2에 있어서의 추미 처리 회로 207 대신에 얼굴검출 회로 208이 설치되어 있다.
얼굴검출 회로 208은, 미리 메모리부 4에 기억되는 사람의 얼굴의 템플릿 데이터를 사용하여, 프레임 화상내에서 해당 템플릿과의 유사도가 기준값이상이 되는 부분(영역)을 얼굴화상으로서 검출한다. 또한, 얼굴검출의 방법은 상기에 한정되지 않고, 공지의 여러 가지의 기술을 적용가능하다.
도13은, 본 실시 형태에 관계되는 얼굴검출 처리를 도시한 흐름도다. 이 흐름도에 있어서의 각 처리는, ＣＰＵ 3이, 메모리부 4에 격납되어 있는 프로그램을 실행함으로써 실현된다. 또한, 본 실시 형태에서는, 이 흐름도에 있어서의 처리는, 카메라의 전원이 ＯＮ으로 되면 개시된다. 또한, 도8에 도시한 처리와 같은 처리에 대해서는, 같은 번호를 첨부하여 설명을 생략한다.
스텝S1304에서는, ＣＰＵ 3은, 얼굴의 위치를 나타내는 얼굴ＧＵＩ와 시선ＧＵＩ가 서로 겹치고 있는 것인가 아닌가를 판정한다. 서로 겹치고 있는 경우는 스텝S806에 진행되고, 그렇지 않은 경우는 스텝S805에 진행된다. 여기에서, 얼굴ＧＵＩ와 시선ＧＵＩ가 서로 겹치고 있는 경우로서, 예를 들면, 얼굴ＧＵＩ인 선과 시선ＧＵＩ인 선이 교차하고 있는 경우나, 얼굴ＧＵＩ의 영역과 시선ＧＵＩ의 영역의 한쪽에 다른 쪽의 적어도 일부가 포함되는 경우 등을 들 수 있다. 또한, 얼굴ＧＵＩ는 후술하는 스텝S1313에서 표시되기 때문에, 얼굴ＧＵＩ가 표시되지 않고 있는 경우(처리 개시 직후 등)는, 스텝S805에 진행되는 것으로 한다.
스텝S1307에서는, ＣＰＵ 3은, 역치Ｔｈ를 역치Ｔｈ1로 설정한다. 스텝S1308에서는, ＣＰＵ 3은, 역치Ｔｈ를 역치Ｔｈ2(<역치Ｔｈ1)로 설정한다. 본 실시 형태에서는, 후술 처리에 의해 후술의 얼굴신뢰도가 역치Ｔｈ이하가 되면 얼굴ＧＵＩ를 지우는(비표시로 하는) 것으로, 얼굴로부터 어긋난 얼굴ＧＵＩ에 시선이 향하는 것을 막는다. 그 때문에, 시점을 검출하는 경우의 역치Ｔｈ(역치Ｔｈ1)은, 시점을 검출하지 않은 경우의 역치Ｔｈ(역치Ｔｈ2)와 비교하여 크게 하고 있다. 이에 따라, 시점을 검출하는 경우에, 얼굴ＧＵＩ의 어긋나기 시작을 검지하여, 시선을 얼굴을 향하기 쉽게 하는 것이 가능해진다. 본 실시 형태에서는, 역치Ｔｈ1을 70%, 역치Ｔｈ2를 50%로 하는 예에 대해서 설명한다.
스텝S1309에서는, ＣＰＵ 3은, 얼굴검출 회로 208을 제어하고, 얼굴검출을 행한다. 얼굴검출 방법은, 기존의 여러 가지의 방법을 적용가능하다. 예를 들면, 현재의 프레임에 있어서의 화상에 있어서, 기준화상과의 매칭 처리를 행하고, 기준화상과 가장 유사도(상관도)가 높은 영역을 추출한다. 기준화상은, 예를 들면, 미리 메모리부 4에 격납되어 있는 얼굴의 템플릿 화상이다. 또한, ＣＰＵ 3은, 얼굴검출 회로 208을 제어하고, 검출한 영역에 대응하는 유사도에 따라서 얼굴신뢰도를 산출한다. 또한, 얼굴신뢰도는, 유사도가 높을수록 높아진다.
스텝S1310에서는, ＣＰＵ 3은, 스텝S1309의 결과(얼굴의 영역의 검출 결과)를 얼굴위치 정보로서 설정한다. 얼굴위치 정보는, 예를 들면, 측거점으로서 사용된다.
스텝S1311에서는, ＣＰＵ 3은, 얼굴신뢰도가 역치Ｔｈ보다 낮은가 아닌가를 판정한다. 얼굴신뢰도가 역치Ｔｈ보다 낮은 경우는 스텝S812에 진행되고, 그렇지 않을 경우는, 스텝S813에 진행된다. 여기에서, 얼굴신뢰도가 역치Ｔｈ보다 낮은 경우란, 얼굴위치와 얼굴ＧＵＩ의 위치에 어긋남이 생겨 있는 경우다. 또한, 얼굴신뢰도가 역치Ｔｈ보다 높은 경우란, 얼굴위치와 얼굴ＧＵＩ의 위치가 대략 일치하고 있는 경우다.
스텝S1312에서는, ＣＰＵ 3은, 얼굴ＧＵＩ를 비표시로 한다. 이것은, 얼굴위치와 얼굴ＧＵＩ의 위치의 어긋남이 클 가능성이 높기 때문이다. 또한, 얼굴ＧＵＩ에 시선이 향하는 것을 막을 수 있으면 좋고, 얼굴ＧＵＩ의 색을 엷게 하거나, 얼굴ＧＵＩ를 작게 하거나 해서, 얼굴ＧＵＩ를 눈에 뜨이지 않게 해도 좋다. 또한, 실시 형태 1과 마찬가지로 ＯＳＤ의 표시 양태를 변경하면(눈에 뜨이지 않게 하면) 좋다. 또한, 얼굴ＧＵＩ를 비표시로 하여 시선ＧＵＩ만이 표시됨으로써, 시선입력에 의해 얼굴검출 처리를 행하고 있는 것을 유저가 인식하기 쉽게 할 수도 있다.
스텝S1313에서는, ＣＰＵ 3은, 얼굴ＧＵＩ를 표시한다. 이것은, 얼굴위치와 얼굴ＧＵＩ의 위치가 대략 일치하고 있을 가능성이 높기 때문이다.
스텝S1314에서는, ＣＰＵ 3은, 시선정보에 근거하여 얼굴위치 정보를 갱신한다. 예를 들면, 시선의 위치와 얼굴이라고 인식된 영역(얼굴인식 영역)의 위치를 가중 가산해서 얼굴인식 영역을 보정함으로써, 얼굴인식 영역과 얼굴과의 어긋남을 저감할 수 있다. 또한, 시선의 위치를 포함하는 영역(시선ＧＵＩ에 대응하는 영역)을 그대로 얼굴인식 영역으로서 사용해도 좋다.
이상 설명한 바와 같이 본 실시 형태에 의하면, 시선검출 기능을 사용하는 경우에, 얼굴신뢰도의 역치를 크게 하는 것으로, 얼굴ＧＵＩ와 얼굴위치의 어긋나기 시작을 재빠르게 검지하여, 얼굴ＧＵＩ를 비표시로 한다. 이에 따라, 시선이 얼굴을 향하기 쉬워지기 때문에, 시선정보를 사용한 얼굴검출 처리의 정밀도를 향상시키는 것이 가능해진다.
(변형 예)
상술의 실시 형태에서는, ＧＵＩ를 눈에 뜨이지 않게 하는 방법으로서, 비표시로 하거나 사이즈를 작게 하거나, 색을 엷게 하는 예에 대해서 설명했지만, 이것들에 한정되지 않는다. 예를 들면, 휘도나 색을 배경에 따라서(배경의 휘도나 색에 가깝게 하도록) 변경하거나, ＧＵＩ의 투과도(투명도)를 높게 하는 등에 의해 ＧＵＩ를 눈에 뜨이지 않게 해도 좋다.
상술의 실시 형태에서는, 피사체ＧＵＩ와 시선의 위치를 나타내는 시선ＧＵＩ가 서로 겹치고 있는 경우에, 피사체ＧＵＩ를 눈에 뜨이도록, 시선ＧＵＩ를 눈에 뜨이지 않게 하는 예에 대해서 설명했지만, 시선ＧＵＩ를 눈에 뜨이도록, 피사체ＧＵＩ를 눈에 뜨이지 않게 해도 좋다. 구체적으로는, 피사체ＧＵＩ와 시선의 위치를 나타내는 시선ＧＵＩ가 서로 겹치고 있는 경우에, 피사체ＧＵＩ의 휘도나 색, 사이즈 등을 변경함으로써 피사체ＧＵＩ를 눈에 뜨이지 않게 하면 좋다.
상술의 실시 형태에서는, 카메라에 있어서 피사체의 추미 처리나 얼굴검출 처리를 행하는 경우에, 피사체ＧＵＩ나 얼굴ＧＵＩ를 눈에 뜨이지 않게 함으로써, 유저의 시선을 원하는 영역(피사체나 얼굴을 포함하는 영역)을 향하기 쉽게 하는 예에 대해서 설명했다. 그러나, 추미 처리나 얼굴검출 처리를 행하지 않고 있는 경우에도 본 발명을 적용가능하다. 예를 들면, 표시장치에 있어서 유저의 시점(시선의 위치)의 검출이 행해지고 있는 경우에, 원하는 영역과 상이한 영역에 ＧＵＩ화상이 표시되어 있으면, 유저의 시선은 해당 ＧＵＩ화상을 향하기 쉽다. 그 때문에, 유저의 시선을 원하는 영역을 향하기 쉽게 하기 위해서, 유저의 시점(시선의 위치)의 검출을 행하고 있는 경우에, 해당 시점의 검출을 행하지 않고 있는 경우와 비교해서 ＧＵＩ화상을 눈에 뜨이지 않게 해도 좋다. 예를 들면, 본 발명은, 이하의 표시 제어부와 검출부를 구비하는, 전자기기로서 생각할 수도 있다. 여기에서, 표시 제어부는, 입력 화상과 ＧＵＩ화상을 표시부에 표시한다. 검출부는, 입력 화상에 있어서의 유저의 시점을 검출한다. 또한, 검출부는, 검출부가 시점의 검출을 행하고 있는 경우에, 표시 제어부가, 시점의 검출을 행하지 않고 있는 경우와 비교하여, ＧＵＩ화상을 눈에 뜨이지 않게 한다.
또한, 상술의 실시 형태에서는, 본 발명을 카메라에 적용한 예에 대해서 설명했지만, 이것에 한정되지 않는다. 예를 들면, 본 발명은, 시선입력을 접수 가능한 전자기기이면 적용가능하다. 예를 들면, 본 발명은 퍼스널 컴퓨터나 ＰＤＡ, 휴대전화단말, 디스플레이, ＨＭＤ(헤드마운트 디스플레이) 등에도 적용가능하다.
(그 밖의 실시 형태)
본 발명은, 상술의 실시 형태의 1이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 1개이상의 프로세서가 프로그램을 판독해 실행하는 처리로도 실현가능하다. 또한, 1이상의 기능을 실현하는 회로(예를 들면, ＡＳＩＣ)에 의해서도 실현가능하다.
본 발명은 상기 실시 형태에 제한되는 것이 아니고, 본 발명의 정신 및 범위로부터 이탈하지 않고, 여러 가지의 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 밝히기 위해서 이하의 청구항을 첨부한다.
본원은, 2019년 9월 6일 제출된 일본국 특허출원 특원 2019-162729를 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용의 모두를 여기에 인용한다.
1: 카메라 3: ＣＰＵ

Claims (18)

  1. 입력 화상과 제1의 ＧＵＩ화상을 표시부에 표시하는 표시 제어 수단과,
    상기 입력 화상에 있어서의 유저의 시점을 검출하는 제1의 검출 수단과,
    상기 입력 화상에 있어서의 소정의 물체의 위치를 검출하는 제2의 검출 수단을,
    가지고,
    상기 소정의 물체의 위치가 상기 시점에 근거하여 검출되는 경우에, 상기 표시 제어 수단은, 상기 소정의 물체의 위치가 상기 시점에 근거하지 않고 검출되는 경우와 비교하여, 상기 제1의 ＧＵＩ화상을 눈에 뜨이지 않게 하는,
    것을 특징으로 하는 전자기기.
  2. 제 1 항에 있어서,
    상기 소정의 물체의 위치가 상기 시점에 근거하여 검출되는 경우에, 상기 표시 제어 수단은, 상기 소정의 물체의 위치가 상기 시점에 근거하지 않고 검출되는 경우와 비교하여, 상기 제1의 ＧＵＩ화상을 눈에 뜨이지 않게 하도록 상기 제1의 ＧＵＩ화상의 휘도, 색, 사이즈 및 투명도 중 적어도 어느 하나를 바꾸는,
    것을 특징으로 하는 전자기기.
  3. 제 1 항에 있어서,
    상기 소정의 물체의 위치가 상기 시점에 근거하여 검출되는 경우에, 상기 표시 제어 수단은, 상기 제1의 ＧＵＩ화상을 표시하지 않는,
    것을 특징으로 하는 전자기기.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제2의 검출 수단은, 상기 입력 화상을 구성하는 프레임 화상을 사용해서 상기 소정의 물체를 추미하는,
    것을 특징으로 하는 전자기기.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 제1의 ＧＵＩ화상은, 상기 소정의 물체를 나타내는 ＧＵＩ화상을 포함하는,
    것을 특징으로 하는 전자기기.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 소정의 물체는 얼굴인,
    것을 특징으로 하는 전자기기.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 시점에 근거하지 않고 검출된 상기 소정의 물체의 위치의 신뢰도가 역치보다 낮은 경우에, 상기 제2의 검출 수단은, 상기 시점에 근거하여 상기 소정의 물체의 위치를 검출하는,
    것을 특징으로 하는 전자기기.
  8. 제 7 항에 있어서,
    상기 제2의 검출 수단은,
    상기 시점에 근거하지 않고 물체의 위치를 추출하고,
    상기 신뢰도가 상기 역치보다 낮은 경우에, 상기 추출된 상기 물체의 위치를 상기 시점에 근거하여 보정하고, 상기 보정된 물체의 위치를 상기 시점에 근거하여 검출된 위치로서 검출하고,
    상기 신뢰도가 상기 역치보다 높은 경우에, 상기 추출된 상기 물체의 위치를 상기 시점에 근거하여 보정하지 않고, 상기 추출된 상기 물체의 위치를 상기 시점에 근거하지 않고 검출된 위치로서 검출하는,
    것을 특징으로 하는 전자기기.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 제1의 검출 수단이 상기 시점을 검출하는 경우의 상기 역치는, 상기 시점을 검출하지 않은 경우와 비교하여 큰,
    것을 특징으로 하는 전자기기.
  10. 제 7 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 표시 제어 수단은,
    상기 입력 화상에 있어서의 유저의 시점을 나타내는 제2의 ＧＵＩ화상을 상기 표시부에 표시하고,
    상기 제1의 ＧＵＩ화상과 상기 제2의 ＧＵＩ화상이 서로 겹치는 경우에, 상기 제1의 ＧＵＩ화상이 상기 제2의 ＧＵＩ화상보다 눈에 뜨이도록 하는,
    것을 특징으로 하는 전자기기.
  11. 제 10 항에 있어서,
    상기 제1의 ＧＵＩ화상과 상기 제2의 ＧＵＩ화상이 서로 겹치는 경우에, 상기 표시 제어 수단은, 상기 제1의 ＧＵＩ화상이 상기 제2의 ＧＵＩ화상보다 눈에 뜨이도록 상기 제1의 ＧＵＩ화상의 휘도, 색, 사이즈 및 투명도 중 적어도 어느 하나를 바꾸는,
    것을 특징으로 하는 전자기기.
  12. 제 10 항 또는 제 11 항에 있어서,
    상기 제1의 ＧＵＩ화상과 상기 제2의 ＧＵＩ화상이 서로 겹치는 경우에, 상기 표시 제어 수단은, 상기 제1의 ＧＵＩ화상이 상기 제2의 ＧＵＩ화상보다 눈에 뜨이도록 상기 제2의 ＧＵＩ화상의 휘도, 색, 사이즈 및 투명도 중 적어도 어느 하나를 바꾸는,
    것을 특징으로 하는 전자기기.
  13. 제 10 항에 있어서,
    상기 제1의 ＧＵＩ화상과 상기 제2의 ＧＵＩ화상이 서로 겹치는 경우에, 상기 표시 제어 수단은, 상기 제2의 ＧＵＩ화상을 표시하지 않는,
    것을 특징으로 하는 전자기기.
  14. 제 7 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 표시 제어 수단은,
    상기 신뢰도가 상기 역치보다 낮은 경우에, 상기 입력 화상에 있어서의 유저의 시점을 나타내는 제2의 ＧＵＩ화상을 표시하고,
    상기 신뢰도가 상기 역치보다 높은 경우에, 상기 입력 화상에 있어서의 유저의 시점을 나타내는 제2의 ＧＵＩ화상을 표시하지 않는,
    것을 특징으로 하는 전자기기.
  15. 입력 화상과 ＧＵＩ화상을 표시부에 표시하는 표시 제어 수단과,
    상기 입력 화상에 있어서의 유저의 시점을 검출하는 검출 수단을,
    가지고,
    상기 검출 수단이 상기 시점의 검출을 행하고 있는 경우에, 상기 표시 제어 수단은, 상기 시점의 검출을 행하지 않고 있는 경우와 비교하여, 상기 ＧＵＩ화상을 눈에 뜨이지 않게 하는,
    것을 특징으로 하는 전자기기.
  16. 입력 화상과 제1의 ＧＵＩ화상을 표시부에 표시하는 표시 제어 스텝과,
    상기 입력 화상에 있어서의 유저의 시점을 검출하는 제1의 검출 스텝과,
    상기 입력 화상에 있어서의 소정의 물체의 위치를 검출하는 제2의 검출 스텝을,
    가지고,
    상기 소정의 물체의 위치가 상기 시점에 근거하여 검출되는 경우에, 상기 표시 제어 스텝에서는, 상기 소정의 물체의 위치가 상기 시점에 근거하지 않고 검출되는 경우와 비교하여, 상기 제1의 ＧＵＩ화상을 눈에 뜨이지 않게 하는,
    것을 특징으로 하는 전자기기의 제어 방법.
  17. 컴퓨터를, 청구항 1 내지 15 중 어느 한 항에 기재된 전자기기의 각 수단으로서 기능시키기 위한 프로그램.
  18. 컴퓨터를, 청구항 1 내지 15 중 어느 한 항에 기재된 전자기기의 각 수단으로서 기능시키기 위한 프로그램을 격납한 컴퓨터가 판독 가능한 기억 매체.
KR1020227009848A 2019-09-06 2020-07-27 전자기기, 전자기기의 제어 방법, 및 컴퓨터 판독 가능한 기억 매체 KR102714379B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019162729A JP7379028B2 (ja) 2019-09-06 2019-09-06 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JPJP-P-2019-162729 2019-09-06
PCT/JP2020/028738 WO2021044763A1 (ja) 2019-09-06 2020-07-27 電子機器、電子機器の制御方法、プログラムおよび記憶媒体

Publications (2)

Publication Number Publication Date
KR20220047656A true KR20220047656A (ko) 2022-04-18
KR102714379B1 KR102714379B1 (ko) 2024-10-11

Family

ID=74852649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227009848A KR102714379B1 (ko) 2019-09-06 2020-07-27 전자기기, 전자기기의 제어 방법, 및 컴퓨터 판독 가능한 기억 매체

Country Status (6)

Country Link
US (1) US20220329740A1 (ko)
EP (1) EP4027198A4 (ko)
JP (2) JP7379028B2 (ko)
KR (1) KR102714379B1 (ko)
CN (1) CN114342352A (ko)
WO (1) WO2021044763A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022122498A (ja) * 2021-02-10 2022-08-23 富士通株式会社 移動履歴変更方法及び移動履歴変更プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07283994A (ja) * 1994-04-12 1995-10-27 Canon Inc 撮像装置
JP2014068280A (ja) * 2012-09-27 2014-04-17 Canon Inc 撮像装置
JP2018129659A (ja) * 2017-02-08 2018-08-16 キヤノン株式会社 画像処理装置、撮像装置および制御方法
KR20180123117A (ko) * 2016-03-24 2018-11-14 캐논 가부시끼가이샤 화상 처리장치, 촬상장치 및 이들의 제어방법과, 기억매체
JP2018205648A (ja) 2017-06-09 2018-12-27 キヤノン株式会社 撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05304631A (ja) * 1991-12-09 1993-11-16 Canon Inc 撮像装置
JPH08125906A (ja) * 1994-10-20 1996-05-17 Canon Inc 撮像装置
JP2007133027A (ja) 2005-11-08 2007-05-31 Canon Inc 撮像装置
JP5304631B2 (ja) 2009-12-25 2013-10-02 ブラザー工業株式会社 画像形成装置
JP2017224909A (ja) * 2016-06-14 2017-12-21 キヤノン株式会社 制御装置、光学機器、撮像装置および制御方法
US10726307B2 (en) * 2017-06-30 2020-07-28 Ai Systems Co., Ltd. Real-time identification of moving objects in video images
JP2019162729A (ja) 2018-03-19 2019-09-26 株式会社リコー 立体造形物の製造装置及び立体造形物の製造方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07283994A (ja) * 1994-04-12 1995-10-27 Canon Inc 撮像装置
JP2014068280A (ja) * 2012-09-27 2014-04-17 Canon Inc 撮像装置
KR20180123117A (ko) * 2016-03-24 2018-11-14 캐논 가부시끼가이샤 화상 처리장치, 촬상장치 및 이들의 제어방법과, 기억매체
JP2018129659A (ja) * 2017-02-08 2018-08-16 キヤノン株式会社 画像処理装置、撮像装置および制御方法
JP2018205648A (ja) 2017-06-09 2018-12-27 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
JP7567012B2 (ja) 2024-10-15
EP4027198A1 (en) 2022-07-13
US20220329740A1 (en) 2022-10-13
WO2021044763A1 (ja) 2021-03-11
JP2024003037A (ja) 2024-01-11
JP7379028B2 (ja) 2023-11-14
JP2021044602A (ja) 2021-03-18
CN114342352A (zh) 2022-04-12
KR102714379B1 (ko) 2024-10-11
EP4027198A4 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
JP7358530B2 (ja) 被写体認識装置及び被写体認識装置の制御方法
US11509816B2 (en) Image processing apparatus, image pickup apparatus, and control method of image processing apparatus
JP7567012B2 (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
US20230013134A1 (en) Electronic device
US11829052B2 (en) Gaze detection apparatus, gaze detection method, and non-transitory computer readable medium
US12047703B2 (en) Electronic device, control method of electronic device, and non-transitory computer readable medium
JP2021125867A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、およびプログラム
US20240114228A1 (en) Line-of-sight detecting apparatus, image pickup apparatus, line-of-sight detecting method, and storage medium
JP7358130B2 (ja) 電子機器およびその制御方法
US11949981B2 (en) Display device, method for controlling display device, and non-transitory computer readable medium for reducing power consumption relating to image display
US20230396876A1 (en) Apparatus, method for apparatus, image capturing apparatus, and storage medium
JP7446898B2 (ja) 電子機器
US20230224561A1 (en) Display apparatus, finder apparatus, and imaging apparatus
US20230148300A1 (en) Electronic device, method of controlling the same, and storage medium
JP2023063023A (ja) 電子機器及び電子機器の制御方法
JP2023083695A (ja) 電子機器
JP2022185313A (ja) 撮像装置
JP2023087377A (ja) 視線検出装置
JP2022183552A (ja) 視線情報取得装置、撮像装置、視線情報取得方法、プログラム、及び、記憶媒体
JP2023063760A (ja) 識別装置
JP2024003432A (ja) 電子機器
JP2022165239A (ja) 撮像装置及びその制御方法、並びにプログラム
JP2023159741A (ja) 電子機器、電子機器の制御方法、プログラム、および記憶媒体
JP2021064928A (ja) 電子機器
JP2022171084A (ja) 撮像装置及びその制御方法、並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant