JP7423248B2 - 電子機器、電子機器の制御方法、プログラム及び記憶媒体 - Google Patents
電子機器、電子機器の制御方法、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP7423248B2 JP7423248B2 JP2019192894A JP2019192894A JP7423248B2 JP 7423248 B2 JP7423248 B2 JP 7423248B2 JP 2019192894 A JP2019192894 A JP 2019192894A JP 2019192894 A JP2019192894 A JP 2019192894A JP 7423248 B2 JP7423248 B2 JP 7423248B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- brightness value
- user
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 127
- 238000003860 storage Methods 0.000 title claims description 8
- 238000001514 detection method Methods 0.000 claims description 79
- 230000008859 change Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 103
- 210000001508 eye Anatomy 0.000 description 50
- 238000012545 processing Methods 0.000 description 35
- 230000007704 transition Effects 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 23
- 238000013459 approach Methods 0.000 description 13
- 210000003811 finger Anatomy 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000004397 blinking Effects 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000001028 reflection method Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000004301 light adaptation Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000004300 dark adaptation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Exposure Control For Cameras (AREA)
Description
しかし、視線方向の検出は、ユーザの眼の瞳孔径やファインダーへの覗き方、周囲の明るさ等によって精度が左右される。そこで、視線位置をデータとして取得し、取得したデータから視線位置を補正するキャリブレーションが行われている。
図1(a)、(b)に本発明を適用可能な電子機器の一例としてのカメラ100の外観図を示す。図1(a)は、本実施形態に係るカメラ100の前面斜視図であり、図1(b)は、本実施形態に係るカメラ100の背面斜視図である。
カメラ100は、レンズユニット150が装着される。
レンズ103は、通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子6は、レンズユニット150がカメラ100と通信を行うための通信端子である。レンズシステム制御回路4は、この通信端子6と前述の通信端子10を介してシステム制御部50と通信し、絞り駆動回路2を介して絞り1の制御を行う。その後AF駆動回路3を介して、レンズ103を変位させることで焦点を合わせる。
撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
画像処理部24は、A/D変換器23からのデータ、又は、後述するメモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。
また、画像処理部24では、撮像した画像データを用いて所定の演算処理を行う。画像処理部24により得られた演算結果に基づいて、システム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に書き込まれた表示用の画像データはメモリ制御部15を介して表示部28、EVF29により表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばFlash-ROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラムの他、各種のデータ等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータープログラムのことである。
モード切替スイッチ60、第1シャッタースイッチ62、及び第2シャッタースイッチ64等を含む操作部70は、システム制御部50に各種の動作指示を入力するための操作手段である。モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)等がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザはこれらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから撮像された画像を画像ファイルとして記録媒体200に書き込むまでの一連の撮影処理の動作を開始する。
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
より具体的には、少なくともカメラ100が撮影待機状態であって、かつ、撮像部22で撮像されたライブビュー画像の表示先の切替設定が自動切替設定である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。
・接眼部16に接眼したユーザの視線が新たに入力(検出)されたこと。すなわち、視線入力の開始。
・接眼部16に接眼したユーザの視線入力がある状態であること。
・接眼部16に接眼したユーザが注視している状態であること。
・接眼部16に接眼したユーザが入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部16に接眼したユーザが何も視線入力していない状態であること。
ここで述べた注視とは、ユーザの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。
システム制御部50は、視線入力がある状態や注視している状態を検知した場合、視線検出回路165からの検出情報に含まれる位置情報と、EVF29の表示座標との対応関係に基づいて、EVF29の表示画面上の視線位置を検出する。このように、システム制御部50は、表示画面上の視線位置を検出する機能を有しており、視線検出手段に対応する。
例えば、タッチパネル70aは、光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示画面上の表示座標とが対応付けられる。これにより、あたかもユーザが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザインターフェース)が構成される。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態であること(以下、タッチオン(Touch-On)と称する)。
・タッチパネル70aを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)。
・タッチパネル70aへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)。
・タッチパネル70aに何もタッチしていない状態であること(以下、タッチオフ(Touch-Off)と称する)。
接眼状態でタッチムーブ操作が行われると、ユーザはタッチムーブ操作に応じた位置指標の位置の指定方法を、絶対位置指定と相対位置指定のいずれかに設定することができる。例えば、位置指標がAF枠とすると、絶対位置指定の場合、タッチパネル70aがタッチされると、タッチされた位置(座標入力された位置)に対応付けられたAF位置が設定される。つまり、タッチ操作が行われた位置座標と、表示部28の位置座標とが対応付けられる。一方、相対位置指定の場合、タッチ操作が行われた位置座標と表示部28の位置座標とは対応付けられない。相対位置指定では、タッチパネル70aに対するタッチダウン位置に関わらず、現在設定されているAF位置からタッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、AF位置が移動される。
図3は、本第1の実施形態における、視線検出のキャリブレーションの開始から終了までの制御処理の流れを示すフローチャートである。この制御処理、及び後述の図4、図5の制御処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。
S301では、システム制御部50は、背景画像(LV画像)をEVF29に表示する。なお、背景画像(LV画像)は、撮像部22で撮像された画像に限られず、単色(例えば、白色、黒色、グレー)画像であってもよい。
S305では、システム制御部50は、ユーザ操作によってキャリブレーションモードの開始を指示するボタン(OKボタン)が押下されたか否かを判定する。システム制御部50がOKボタンが押下されたと判定した場合、処理はS400(キャリブレーションメイン処理)へ遷移する。システム制御部50がOKボタンが押下されていないと判定した場合、処理はS303に戻る。この場合、キャリブレーションを開始する旨のメッセージはEVF29に表示されたままである。
なお、キャリブレーションモードにおいて、キャリブレーション処理が正常に終了した場合、システム制御部50は、キャリブレーションモード内の図5に記載の制御処理で不揮発性メモリ56に保存された視線位置データを記録媒体200に記憶する。
図4は、本第1の実施形態に係るキャリブレーションメイン処理を示すフローチャートである。図4の制御処理は、背景画像上の視線注視枠の表示位置を変更しつつ視線位置データの登録処理を行った後、背景画像の輝度値を変更する処理である。この制御処理は、図3のS305において、システム制御部50がユーザ操作によってOKボタンが押下されたと判定した後に実行される。
S401では、システム制御部50は、背景画像(LV画像)を輝度値L1に設定してEVF29に表示する。輝度値L1の設定は、EVF表示器に応じて制御方法を変えてよい。例えば、EVF29上にLV画像を表示するためのバックライトの量や液晶に通す光量、カラーフィルターに通す光量(色輝度)を調整する方法があり、いずれの方法でもよい。
S402では、システム制御部50は、ユーザに視線注視させるための枠である視線注視枠をEVF29へ表示する。なお、本第1の実施形態において、視線注視枠の形状は、図6に示す通り四角形の形状としたが、視線を注視できるような形状であればいかなる形状でもよい。なお、視線注視枠が、本発明でいうアイテムに相当する。その後、処理はS500の視線位置データの登録処理へ遷移する。なお、S500の処理の詳細については、図5にて後述する。
S405では、システム制御部50は、EVF29に表示する背景画像(LV画像)の輝度値をL2に設定して表示する。本第1の実施形態では、輝度値を変更することによる目の負担や順応速度を考慮し、明順応させるようにする。すなわち、輝度値L2は輝度値L1よりも大きく、明るい画像が表示される。なお、輝度の明るい背景画像を先に表示し、全ての位置における視線位置の取得が終了した後に、背景画像の輝度を下げてもよい。一般的には、明順応の方が暗順応よりも要する時間が短いので、本第1の実施形態にあるように、先に輝度の低い背景画像を表示すると、ユーザが輝度を変えた後の画像により素早く順応でき、キャリブレーションをより素早く行うことができる。
S406では、システム制御部50は、EVF29に、輝度値L2での背景画像(LV画像)の表示状態で再度キャリブレーションを開始する旨のメッセージが表示されたダイアログ(図7(b))を表示する。
S408では、システム制御部50は、EVF29に表示する視線注視枠の表示位置を初期位置に戻す。
S500の処理が実行された後、S410では、システム制御部50は、輝度値L2に設定された状態で、かつ、視線位置データを登録する処理が全ての視線注視枠の表示位置で完了したか否かを判定する。すなわち、輝度値L2において、全ての視線注視枠の表示位置におけるユーザの視線情報を視線検出ブロック160が取得したか否かを判定する。システム制御部50が全ての視線注視枠の表示位置で視線位置データの登録が完了していると判定した場合、キャリブレーションメイン処理が終了する。システム制御部50が視線位置データの登録が完了していないと判定した場合、処理はS411へ遷移する。
S411では、システム制御部50は、視線注視枠の表示位置を別の位置へと変更する。その後、処理は再度S409の前まで遷移する。
S501では、システム制御部50は、注視対象の表示中に視線検出ブロック160から視線位置を取得する。なお、本第1の実施形態では、視線検出ブロック160で注視状態の出力が検知された場合に視線の位置を取得しているが、注視せずとも視線位置が取得できる場合は、その位置でもよい。
S502では、システム制御部50は、S501の取得結果に基づいて、目つむりや瞬き状態であるかを検出する。
S503では、システム制御部50は、目つむりや瞬き状態であるか否かを判定する。システム制御部50が目つむりや瞬き状態であると判定した場合、処理はS506へ遷移する。システム制御部50が目つむりや瞬き状態でないと判定した場合、処理はS504へ遷移する。
S505では、システム制御部50は、S504で保存した視線位置のデータ数が、所定の閾値以上であるか否かを判定する。システム制御部50が視線位置のデータ数が所定の閾値以上であると判定した場合、視線位置データの登録処理が終了する。そして、処理はキャリブレーションメイン処理に戻る。システム制御部50が視線位置のデータ数が所定の閾値未満であると判定した場合、処理はS501の前まで遷移する。そして、再度視線位置のデータが取得される。
S508では、システム制御部50は、キャリブレーションモード内で不揮発性メモリ56に保存していた視線位置データを削除する。
なお、エラーとしてS507、S508の処理が実行されるのは、本第1の実施形態のように、目つむりや瞬き状態が検出された回数が所定の回数以上である場合や、目つむりや瞬き状態が検出されている時間が所定の時間以上である場合に限られない。接眼部16からユーザの目が離れた場合や、カメラ100の電源が切られた場合、キャリブレーション可能な人数やメモリサイズを超えていた場合等においても、エラーとしてS507、S508の処理が実行されてもよい。
S508の処理が実行されると、処理は、図3のS304へ遷移する。そして、一連のキャリブレーション処理が終了する。
図6(a)~図6(e)は、輝度値がL1(暗い)状態で背景画像を表示したものであり、図6(g)~図6(j)は、輝度値がL2(明るい)状態で背景画像を表示したものである。図4、図5で説明した制御処理を実行することで画面が遷移する。
図6(e)まで視線位置データの登録処理が完了すると、システム制御部50はS405の処理により背景画像(LV画像)を輝度値L2にして、再度視線位置データの登録を開始する(図6(f)~図6(j))。図6(j)まで視線位置データの登録処理が完了すると、キャリブレーション処理が終了する。
図7(a)は、S302で表示される、キャリブレーションを開始する旨のメッセージダイアログの表示例である。
ダイアログ701には、キャリブレーションを開始する旨のメッセージが表示される。また、ユーザにキャリブレーションを開始させるためのボタン(OKボタン)702や、キャリブレーションを中止させるためのボタン(キャンセルボタン)703が配置されている。
キャリブレーション開始時にメッセージを表示して、かつ開始するか否かをユーザ操作によって決定させることで、意図せず制御処理が実行されユーザが混乱するリスクを低減させることができる。
本第1の実施形態では、輝度値がL1、L2のように異なる状態で、それぞれ視線位置データを取得・蓄積するキャリブレーション処理を行う。これにより、視線位置の精度向上や作業回数の低減を図ることができる。
また、本第1の実施形態では、輝度を明るくしたときに、S406、S407の処理を行って、輝度値を変えて再度キャリブレーションを行う必要があることをユーザに知らせている。これにより、明順応による視線位置のブレや目つむりによる検出精度の低下を抑制することができる。
なお、システム制御部50は、メッセージを表示せずに、一定時間経過してからキャリブレーション処理を続行させてもよい。また、視線注視枠を表示してユーザが視線注視していることを検出できた後で、キャリブレーション処理を続行させてもよい。
なお、エラーダイアログ706に表示されるメッセージ(ガイダンス、ガイド)は、キャリブレーション処理に失敗した旨のみに限定されない。例えば、キャリブレーション処理の失敗原因が、エラーダイアログ706内や、エラーダイアログ706とは異なる別のダイアログに表示されてもよい。
次に、図8及び図9を用いて、本第2の実施形態のカメラ100にける視線入力操作によるキャリブレーション処理を行う方法について説明する。本第2の実施形態のキャリブレーション処理は、キャリブレーション時に表示や輝度を変更するための制御処理であるキャリブレーションメイン処理が第1の実施形態と異なる。
上述の第1の実施形態のキャリブレーションメイン処理は、背景画像を同じ輝度値に設定した状態で背景画像上の視線注視枠の表示位置を変更しつつ視線位置データの登録処理を行った後、輝度値を変更する処理であった。一方で、本第2の実施形態のキャリブレーションメイン処理は、背景画像上の同じ位置に視線注視枠を表示した状態で背景画像の輝度値を変更しつつ視線位置データの登録処理を行った後、視線注視枠の表示位置を変更する処理である。以下、第1の実施形態との相違点について詳細に説明する。本第2の実施形態のハードウェア構成は、図1、2を用いて説明をしたカメラ100と同様である。また、図3及び図5の制御処理も同様に実行される。従って、第1の実施形態と同様の部分については同じ符号を用いてその説明を省略する。
S802では、システム制御部50は、ユーザに視線注視させるための枠である視線注視枠をEVF29へ表示する。なお、本第2の実施形態において、視線注視枠の形状は、図9に示す通り四角形の形状としたが、視線を注視できるような形状であればいかなる形状でもよい。その後、処理はS500の視線位置データの登録処理(図5)へ遷移する。
なお、システム制御部50が、EVF29に、輝度値L2での背景画像(LV画像)の表示状態で再度キャリブレーションを開始する旨のメッセージが表示されたダイアログ(図7(b))を表示してもよい。
S806では、システム制御部50は、視線注視枠の表示位置を別の位置へと変更する。その後、処理はS810へ遷移する。
S810で、処理はS801の前まで遷移し、再度S802からの処理へ移る。
図9(a)、図9(c)、図9(e)、図9(g)、図9(i)は、輝度値がL1(暗い)状態で背景画像を表示したもの、図9(b)、図9(d)、図9(f)、図9(h)、図9(j)は、輝度値がL2(明るい)状態で背景画像を表示したものである。図5、図8で説明した制御処理を実行することで画面が遷移する。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピューター(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
29:ファインダー内表示部(EVF)
50:システム制御部
56:不揮発性メモリ
100:カメラ
160:視線検出ブロック
165:視線検出回路
602,902:視線注視枠
Claims (18)
- ユーザの視線位置を検出する視線検出手段と、
表示部に表示される背景画像の輝度値を少なくとも2段階で変更可能な制御手段であって、
前記輝度値が第1の輝度値の際に、前記表示部の第1の位置にアイテムが表示された場合のユーザの前記視線位置と、前記表示部の第2の位置に前記アイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出手段が検出した後、前記輝度値を前記第1の輝度値から第2の輝度値に変更するように制御する制御手段とを有し、
前記視線検出手段は、前記輝度値が前記第2の輝度値の際に、ユーザの前記視線位置を検出し、
前記制御手段は、前記視線検出手段の検出結果に基づいて目つむり状態を検出し、目つむり状態を検出した回数が所定の回数以上であった場合及び目つむり状態を検出している時間が所定の時間以上であった場合のうち少なくともいずれか一方の場合に、エラーを表示する、もしくは記録した前記視線位置に関する情報を削除する、もしくは前記視線位置に関する情報を記録せずに、前記視線検出手段が前記視線位置を再度検出するように制御することを特徴とする電子機器。 - 前記輝度値が前記第2の輝度値に変更された後、前記表示部の前記第1の位置に前記アイテムが表示された場合のユーザの前記視線位置と、前記表示部の前記第2の位置にアイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出手段が検出することを特徴とする請求項1に記載の電子機器。
- 前記制御手段は、前記表示部の前記第1の位置に前記アイテムが表示された場合のユーザの前記視線位置を検出したことに応じて、前記表示部の前記第2の位置に前記アイテムを表示するように制御することを特徴とする請求項1又は2に記載の電子機器。
- 前記表示部に前記アイテムが表示されている位置と、当該アイテムの表示中に前記視線検出手段が検出したユーザの前記視線位置とが関連付けて記録されることを特徴とする請求項1乃至3何れか1項に記載の電子機器。
- 前記アイテムが、前記表示部の中央部及び上下左右の各端部のうちの少なくともいずれか1箇所に表示されることを特徴とする請求項1乃至4何れか1項に記載の電子機器。
- 前記制御手段は、前記表示部の光量を調整することで前記輝度値を変更するように制御することを特徴とする請求項1乃至5何れか1項に記載の電子機器。
- 前記制御手段は、前記輝度値を前記第1の輝度値から前記第1の輝度値よりも高い前記第2の輝度値へ少なくとも2段階で変更するように制御することを特徴とする請求項1乃至6何れか1項に記載の電子機器。
- 前記背景画像が単色の画像であることを特徴とする請求項1乃至7何れか1項に記載の電子機器。
- 前記制御手段は、前記背景画像の色を黒色から白色へ少なくとも2段階で変更するように制御することを特徴とする請求項1乃至8何れか1項に記載の電子機器。
- 前記制御手段は、前記輝度値を変更する場合に、前記輝度値を変更した状態で前記視線位置を検出する旨の通知を行うように制御することを特徴とする請求項1乃至9何れか1項に記載の電子機器。
- 前記輝度値を変更した後で一定時間経過した場合、もしくは前記アイテムに対して注視されていることが検出された場合に、前記視線検出手段がユーザの前記視線位置を検出することを特徴とする請求項1乃至10何れか1項に記載の電子機器。
- ユーザの視線位置を検出する視線検出手段と、
表示部に表示される背景画像の輝度値を少なくとも2段階で変更可能な制御手段であって、
前記輝度値が第1の輝度値であって、前記表示部の第1の位置にアイテムが表示された場合のユーザの前記視線位置を前記視線検出手段が検出した後、前記輝度値が第2の輝度値であって、前記表示部の前記第1の位置に前記アイテムが表示された場合のユーザの前記視線位置を前記視線検出手段が検出するように制御する制御手段と
を有し、
前記制御手段は、前記視線検出手段の検出結果に基づいて目つむり状態を検出し、目つむり状態を検出した回数が所定の回数以上であった場合及び目つむり状態を検出している時間が所定の時間以上であった場合のうち少なくともいずれか一方の場合に、エラーを表示する、もしくは記録した前記視線位置に関する情報を削除する、もしくは前記視線位置に関する情報を記録せずに、前記視線検出手段が前記視線位置を再度検出するように制御することを特徴とする電子機器。 - ユーザの視線位置を検出する視線検出ステップと、
表示部に表示される背景画像の輝度値を少なくとも2段階で変更可能な制御ステップであって、
前記輝度値が第1の輝度値の際に、前記表示部の第1の位置にアイテムが表示された場合のユーザの前記視線位置と、前記表示部の第2の位置に前記アイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出ステップが検出した後、前記輝度値を前記第1の輝度値から第2の輝度値に変更するように制御する制御ステップとを含み、
前記視線検出ステップは、前記輝度値が前記第2の輝度値の際に、ユーザの前記視線位置を検出し、
前記制御ステップは、前記視線検出ステップの検出結果に基づいて目つむり状態を検出し、目つむり状態を検出した回数が所定の回数以上であった場合及び目つむり状態を検出している時間が所定の時間以上であった場合のうち少なくともいずれか一方の場合に、エラーを表示する、もしくは記録した前記視線位置に関する情報を削除する、もしくは前記視線位置に関する情報を記録せずに、前記視線検出ステップで前記視線位置を再度検出するように制御することを特徴とする電子機器の制御方法。 - ユーザの視線位置を検出する視線検出ステップと、
表示部に表示される背景画像の輝度値を少なくとも2段階で変更可能な制御ステップであって、
前記輝度値が第1の輝度値であって、前記表示部の第1の位置にアイテムが表示された場合のユーザの前記視線位置を前記視線検出ステップが検出した後、前記輝度値が第2の輝度値であって、前記表示部の前記第1の位置に前記アイテムが表示された場合のユーザの前記視線位置を前記視線検出ステップが検出するように制御する制御ステップと
を含み、
前記制御ステップは、前記視線検出ステップの検出結果に基づいて目つむり状態を検出し、目つむり状態を検出した回数が所定の回数以上であった場合及び目つむり状態を検出している時間が所定の時間以上であった場合のうち少なくともいずれか一方の場合に、エラーを表示する、もしくは記録した前記視線位置に関する情報を削除する、もしくは前記視線位置に関する情報を記録せずに、前記視線検出ステップで前記視線位置を再度検出するように制御することを特徴とする電子機器の制御方法。 - コンピュータを、請求項1乃至11何れか1項に記載された電子機器の各手段として機能させるためのプログラム。
- コンピュータを、請求項12に記載された電子機器の各手段として機能させるためのプログラム。
- コンピュータを、請求項1乃至11何れか1項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
- コンピュータを、請求項12に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019192894A JP7423248B2 (ja) | 2019-10-23 | 2019-10-23 | 電子機器、電子機器の制御方法、プログラム及び記憶媒体 |
US17/073,081 US11335029B2 (en) | 2019-10-23 | 2020-10-16 | Electronic device, method for controlling electronic device, and storage medium |
CN202011141319.8A CN112702507B (zh) | 2019-10-23 | 2020-10-22 | 电子装置、电子装置的控制方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019192894A JP7423248B2 (ja) | 2019-10-23 | 2019-10-23 | 電子機器、電子機器の制御方法、プログラム及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021069008A JP2021069008A (ja) | 2021-04-30 |
JP7423248B2 true JP7423248B2 (ja) | 2024-01-29 |
Family
ID=75505540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019192894A Active JP7423248B2 (ja) | 2019-10-23 | 2019-10-23 | 電子機器、電子機器の制御方法、プログラム及び記憶媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11335029B2 (ja) |
JP (1) | JP7423248B2 (ja) |
CN (1) | CN112702507B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7423248B2 (ja) * | 2019-10-23 | 2024-01-29 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム及び記憶媒体 |
WO2023053556A1 (ja) * | 2021-09-30 | 2023-04-06 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006301201A (ja) | 2005-04-19 | 2006-11-02 | Canon Inc | 光学装置およびカメラシステム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3109870B2 (ja) * | 1991-09-27 | 2000-11-20 | キヤノン株式会社 | ビデオカメラ |
JP3309439B2 (ja) * | 1992-09-07 | 2002-07-29 | キヤノン株式会社 | 光学装置 |
JP2010160272A (ja) * | 2009-01-07 | 2010-07-22 | Canon Inc | 表示制御装置およびその制御方法 |
JP6099948B2 (ja) * | 2012-11-28 | 2017-03-22 | 京セラ株式会社 | 電子機器及び制御プログラム並びに表示制御方法 |
AU2015297036B2 (en) * | 2014-05-09 | 2017-09-28 | Google Llc | Systems and methods for discerning eye signals and continuous biometric identification |
JP7005334B2 (ja) * | 2017-12-22 | 2022-01-21 | キヤノン株式会社 | 電子機器、その制御方法およびプログラム |
JP7423248B2 (ja) * | 2019-10-23 | 2024-01-29 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム及び記憶媒体 |
-
2019
- 2019-10-23 JP JP2019192894A patent/JP7423248B2/ja active Active
-
2020
- 2020-10-16 US US17/073,081 patent/US11335029B2/en active Active
- 2020-10-22 CN CN202011141319.8A patent/CN112702507B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006301201A (ja) | 2005-04-19 | 2006-11-02 | Canon Inc | 光学装置およびカメラシステム |
Also Published As
Publication number | Publication date |
---|---|
CN112702507B (zh) | 2024-01-09 |
US11335029B2 (en) | 2022-05-17 |
US20210125375A1 (en) | 2021-04-29 |
JP2021069008A (ja) | 2021-04-30 |
CN112702507A (zh) | 2021-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11500458B2 (en) | Electronic apparatus, method for controlling the electronic apparatus, and storage medium | |
US11966155B2 (en) | Imaging apparatus that, under certain conditions, displays one or both of an autofocus frame and a line-of-sight pointer, and method for controlling the same | |
US20210281733A1 (en) | Electronic device, control method, and non-transitory computer readable medium | |
US11240419B2 (en) | Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium | |
JP7442331B2 (ja) | 音声入力装置およびその制御方法ならびにプログラム | |
JP7353811B2 (ja) | 電子機器およびその制御方法 | |
JP7301615B2 (ja) | 電子機器およびその制御方法 | |
JP7423248B2 (ja) | 電子機器、電子機器の制御方法、プログラム及び記憶媒体 | |
US11435648B2 (en) | Image capture apparatus and control method | |
US11381732B2 (en) | Image-capturing controller and method for controlling same | |
JP7446913B2 (ja) | 電子機器、電子機器の制御方法、プログラム | |
JP2022018244A (ja) | 電子機器およびその制御方法 | |
US11526264B2 (en) | Electronic apparatus for enlarging or reducing display object, method of controlling electronic apparatus, and non-transitory computer readable medium | |
US11711606B2 (en) | Display control apparatus, control method for controlling the same, and storage medium | |
US11985426B2 (en) | Electronic apparatus capable of performing line-of-sight input, control method for electronic apparatus, and storage medium | |
US11595567B2 (en) | Imaging apparatus, method for controlling, and recording medium | |
US20230328354A1 (en) | Electronic device, control method therefor, program, and storage medium | |
JP2021158502A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP2022172840A (ja) | 電子機器、電子機器の制御方法、プログラム、及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7423248 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |