JP7030427B2 - 視線検出機能を備える撮像装置 - Google Patents

Description

本発明は、視線入力機能を備える撮像装置および表示装置に関し、特に静止画撮影時の撮影者の視線位置を第三者に分かり易く表示することに関する。

従来より、静止画撮影を行う際、上級者がどこを・いつ目視確認して構図を決めているのかを第三者に視覚的・客観的に伝えることは困難であった。

特許文献１には、視線位置を検出するビデオカメラで、再生時に撮影者の注視点位置を再確認し得るビデオカメラを提供するという発明が開示されている。この発明で開示された方法を用いれば、撮影者の目線がどこに集中していたかを第三者も知ることができる。

特開平０５－０９１３９４号公報

しかしながら、上述の特許文献１に開示された従来技術では、撮影者が画角決定時に画面内のどこを注視していたのかを確認する目的において視線情報表示の見易さについては考慮がされていない。動画の表示に視線位置を重ねて表示するだけでは、視線の動きが早すぎて撮影者の確認ポイントが第三者に伝わらない可能性がある。

そこで、本発明の目的は、静止画撮影の撮影において、撮影者が画角を決定する時どこを注視していたのかを第三者が容易に確認することを可能にした撮像装置を提供することにある。

上記の目的を達成するために、本発明に係る画像処理装置は、デジタルの撮像データに基づく複数のフレーム画像を取得する取得手段と、ユーザーの視線方向を検出するセンサの出力から得られる、該ユーザーの視線に対応する前記センサ上の座標を、前記撮像データ上の座標に変換し前記フレーム画像に対応する視線入力情報として取得する視線入力手段と、前記フレーム画像と、該フレーム画像に対応する前記視線入力情報とを関連づけて記憶媒体に記録する記憶制御手段と、前記フレーム画像に関連づけられた前記視線入力情報を該フレーム画像に重ねて表示部に表示する表示制御手段と、を備え、前記表示制御手段は、１つの前記フレーム画像に対応する前記視線入力情報を、該フレーム画像と他のフレーム画像を含めた複数のフレーム画像にわたって重ねて表示することを特徴とする。
また、本発明に係る画像処理装置の制御方法は、デジタルの撮像データに基づく複数のフレーム画像を取得する取得ステップと、ユーザーの視線方向を検出するセンサの出力から得られる、該ユーザーの視線に対応する前記センサ上の座標を、前記撮像データ上の座標に変換し前記フレーム画像に対応する視線入力情報として取得する視線入力ステップと、前記フレーム画像と、該フレーム画像に対応する前記視線入力情報とを関連づけて記憶媒体に記録する記録制御ステップと、前記フレーム画像に関連づけられた前記視線入力情報を該フレーム画像に重ねて表示部に表示する表示制御ステップを備え、前記表示制御ステップは、１つの前記フレーム画像に対応する前記視線入力情報を、該フレーム画像と他のフレーム画像を含めた複数のフレーム画像にわたって重ねて表示することを特徴とする。

本発明によれば、撮影者が最終成果物である静止画を撮影するまでの間、どこに注目して撮影したのかを第三者に客観的に伝えることができる撮像装置を提供することができる。

ハードウェア構成図 実施例１の処理を説明するフローチャート 実施例１の処理を説明するフローチャート 実施例１の表示動作を説明する図 実施例１の移動量の算出方法を説明する図 実施例２の強調表示動作を説明する図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態に係るハードウェア構成図である。

以下、図１を参照して、本発明の第１の実施例による、ハードウェア構成について説明する。

図１は視線入力機能を備えるカメラ１００のハードウェア構成図である。

制御部１０１は中央演算処理装置で、制御部１０１のプログラムを格納しているＲＯＭ１０９、および、制御部１０１が動作中の様々なデータを保持するＲＡＭ１１０を内蔵している。

撮像部１０５は不図示の撮像素子や撮像データを一時的に保存するバッファなどで構成される。ユーザーが操作部１１３を操作することで制御部１０１がシャッター１０３を動作させると、レンズ１０２から入力された光束を撮像部１０５で受光し撮像データを生成する。撮像部１０５は撮像データの生成が完了すると、撮像データを生成したことを制御部１０１に通知する。

制御部１０１は、撮像部１０５から撮像データ生成の通知を受けて、撮像部１０５から撮像データを取得してＲＡＭ１１０に記録する。制御部１０１はＲＡＭ１１０に記録した撮像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の形式に加工した後、ファイルとして記憶媒体１０７に記録する。

また、ユーザーが操作部１１３を操作することによって画像ファイルの表示を指示されると、制御部１０１は、記憶媒体１０７に記録されたファイルを読み出して表示部１０６に表示する。制御部１０１は画像ファイルを表示する際、必要があれば関連付けられたデータファイルなどを記憶媒体１０７から読み出して利用する。

視線検出部１０４はユーザーの視線方向を一定周期で検出し、視線検出部が内蔵する不図示のＣＣＤ上の座標を出力する機能をもつ。ユーザーが操作部１１３を操作して視線入力を必要とするモードに切り替えた場合、制御部１０１は視線検出部１０４を制御して撮影者の視線検出を開始する。視線検出部から得たＣＣＤ上の座標を撮像面上の座標に変換し、視線入力情報としてＲＡＭ１１０に連続的に記録する。

以下、図２を参照して処理フローを説明する。

図２は視線検出と静止画撮影までの動画を合わせて記録する静止画撮影動作と、再生について説明する処理フローを表す。

図２（ａ）は静止画を撮影するまでの撮影者の注目領域を動画と合わせて表示するための撮影動作を説明する処理フローである。

ユーザーが操作部１１３を操作して視線入力動画を記録する静止画撮影モードを選択した状態で、ユーザーの視線検出を行う条件が整った時、制御部１０１は撮像部１０５、表示部１０６、ＲＡＭ１１０、記憶媒体１０７を制御して静止画に関連づけて記録する動画の撮影を開始する（Ｓ２０２）。また、制御部１０１は視線検出部１０４を制御して視線入力検知を開始する（Ｓ２０３）。視線検出を行う条件とは、たとえば、ファインダー撮影の場合、ファインダー内に設置した外光センサーが遮光されたことを検出した時など、ユーザーがファインダーを覗いている状態、すなわち、ユーザーの視線を検出できる状態を指す。

視線検出ができる状態の時は、制御部１０１は一定周期で視線検出部１０４から座標情報を取得し、撮像面上の座標に変換した視線入力情報をＲＡＭ１１０に蓄積する（Ｓ２０５）。

なお、デジタルカメラで撮影する動画のフレームレートは一般的に３０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）や６０ｆｐｓであり、本実施例の視線検出はこれより高い頻度で行う例を示しているが、１フレーム画像につき視線検出１回の頻度でもよい。動画のフレームレートと視線検出の頻度の好ましい関係は以下の式で表すことができる。

ｅ（Ｈｚ）＝ｍ（ｆｐｓ）×ｔ
ｅ：視線検出の頻度（周波数）
ｍ：フレームレート
ｔ：整数定数
続いて、制御部１０１は、動画のフレーム画像を記録するタイミングが来るまでＳ２０５を繰り返し行う。動画のフレーム画像を記録するタイミングが来たとき（Ｓ２０８）、制御部１０１は撮像部１０５から取得した動画のフレーム画像を記憶媒体１０７に記録（Ｓ２１１）する。更に、制御部１０１は当該フレーム画像を記録するまでにＲＡＭ１１０に蓄積していた視線入力情報群をフレーム画像に関連づけて記憶媒体１０７に記録する（Ｓ２１４）。ユーザーが操作部１１３を操作してレリーズするまで、Ｓ２０５からＳ２１４の動作を繰り返す。

ユーザーが操作部１１３を操作してレリーズを実施した時（Ｓ２１８）、制御部１０１は動画撮影を終了し（Ｓ２２０）、シャッター１０３、レンズ１０２、撮像部１０５を制御してフォーカシング精度および解像度の高い静止画を撮影する。制御部１０１は撮像部１０５から受信した画像データに画像処理を施した後、ファイルとして記憶媒体１０７に記録する（Ｓ２２１）。この時、静止画と関連づけて動画を記憶媒体１０７に記録する（Ｓ２２４）。ユーザーが操作部１１３を操作して視線入力動画を記録する静止画撮影モードをやめなければ、制御部１０１は動画撮影を再開する（Ｓ２０２）。

なお、動画は静止画に内蔵してもよいし、別ファイルとしてもよい。静止画に内蔵する方法としては、画像ファイルに一般的に付属するＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）のメーカーノートを利用することで動画データを静止画ファイル内に記録することができる。別ファイルの場合の関連づけは、静止画ファイルのＥｘｉｆメーカーノートに動画ファイルのファイル名などを記録する方法もあるし、単純に静止画ファイルの撮影日時と動画ファイルの撮影日時・撮影時間を比較する方法をとることもできる。

図２（ｂ）は静止画を撮影するまでの撮影者の注目領域を動画と合わせて表示する動作を説明する処理フローである。

ユーザーが操作部１１３の操作により静止画撮影時の視線入力動画再生を実行した時、制御部１０１は記憶媒体１０７から動画ファイルをＲＡＭ１１０に読み出しフレーム画像を表示部１０６に表示する（Ｓ２４１）。最初のフレームの場合、Ｓ２４８から始まる過去フレームの視線入力情報強調表示処理をスキップする（Ｓ２４５）。

制御部１０１は記憶媒体１０７からフレーム画像に関連づけて記録された視線入力情報をＲＡＭ１１０に読み出し、フレーム画像に合成して表示部１０６に強調表示を行う（Ｓ２５７）。同様に、当該フレーム画像に関連づく視線入力情報の強調表示を繰り返す（Ｓ２６１）。動画に含まれるフレームの再生が終わっていない場合（Ｓ２６４）、次のフレーム画像を表示部１０６に表示する（Ｓ２４１）。２番目以降のフレームでは、以前のフレームに合成して表示していた視線入力情報があるか確認する（Ｓ２４５）。

過去のフレームに関連づいて表示していた視線入力情報がある場合、制御部１０１は過去フレーム画像と最新のフレーム画像の特徴量の遷移から画角の変化量を算出する（Ｓ２４８）。続けて、制御部１０１は過去フレーム画像に関連づく視線入力情報の座標に画角の変化量を加算して表示部１０６に再表示を行う（Ｓ２５１）。同様に、制御部１０１は既定の数の過去フレームに関連づく視線入力情報の座標を修正して表示部１０６に再表示する（Ｓ２５４）。制御部１０１は、過去フレームに関連づくすべての視線入力情報を表示部１０６に表示後、現在のフレーム画像に関連づく視線入力情報を全て表示部１０６に表示する（Ｓ２５７、Ｓ２６１）。制御部１０１は以降、全フレーム画像を再生し終わるまでＳ２４１からの処理を繰り返す（Ｓ２６４）。

以下、図３を用いて図２（ｂ）のフローによって実行される表示部１０６の表示動作を説明する。ここでは現在の視線入力情報と合わせて過去２フレーム分の視線入力情報を動画に合成して表示する例を示す。

図３は静止画を撮影するまでの視線入力情報を表示する動画を、フレーム毎に時系列に並べた図である。

フレーム画像はフレーム１画像３００、フレーム２画像３１０、フレーム３画像３２０、フレーム４画像３３０、フレーム５画像３４０の順に新しくなる。

フレーム１画像３００には円柱３０１、直方体３０３、横倒しの円柱３０５が被写体として写っている。動画の撮影を開始してからフレーム１画像３００を記録するまでの間、撮影者の視線方向をプロットした視線入力情報３０７をフレーム１画像３００に重ねて表示している。

フレーム２画像３１０では、撮影者が直方体３０３に注目してカメラの方向を右に微調整している。フレーム１画像３００の記録からフレーム２画像３１０を記録する時までの間、撮影者が直方体３０３に注目していたため、視線入力情報３１３は直方体３０３の位置に集中している。この時、フレーム１画像３００を記録するまでの視線入力情報３０７は、フレーム２画像３１０で移動された画角に合わせて移動した位置３１１に表示する。

フレーム３画像３２０を記録する時には、撮影者は円柱３０１に注目して画角を左に移動している。最新の視線入力情報３１９と合わせて、フレーム１画像３００の視線入力情報３０７の座標を移動して３１５の位置に表示し、フレーム２画像３１０の視線入力情報３１３を３１７の位置に表示している。

フレーム４画像３３０を記録する時には、撮影者は構図の左上と右下に注目して下方向に画角を移動している。最新の視線入力情報３３１と合わせて、フレーム２の視線入力情報３１３の座標を移動して３３３の位置に表示し、フレーム３の視線入力情報３１９を３３５の位置に表示している。この例では過去の視線入力情報を表示する規定数は２なので、フレーム４画像３３０にはフレーム１画像３００の視線入力情報３０７は表示しない。

フレーム５画像３４０を記録する時には、撮影者は構図の右下に注目して右下方向に画角を移動している。最新の視線入力情報３４３と合わせて、フレーム３の視線入力情報３１９を３４５の位置に表示し、フレーム４画像３３０の視線入力情報３３１を３４１および３４３の位置に移動して表示している。フレーム５画像３４０ではフレーム２画像の視線入力情報３１３も表示しなくなる。

以下、図４を用いてフレーム画像間の画角の移動量を検出する方法の一例を説明する。

図４（ａ）のフレーム１画像４０１と、次フレームであるフレーム２画像４１１には合焦距離に３つのオブジェクトが写っている。フレーム１画像４０１とフレーム２画像４１１をそれぞれ輪郭抽出すると、図４（ｂ）のフレーム１画像の輪郭抽出画像４０３と、フレーム２画像の輪郭抽出画像４１３が得られる。輪郭抽出の方法は、２値化した画像のノイズを除去して境界線追跡アルゴリズムなどを使用すれば求めることができるが本発明では特に限定はしない。

ここで、合焦距離にある大きなオブジェクトの座標の重心を計算すると、フレーム１画像のオブジェクトの重心座標４０４と、フレーム２画像のオブジェクトの重心座標４１４の移動方向と移動量を求めることができる。

なお、オブジェクトの大きさや重心を求める時は、輪郭抽出の前に実施した２値化画像を用いる。２値化して連結したピクセル集合にラべリングを行い、ラべリングされたピクセル数の多いものが大きなオブジェクトであり、ラべリングされたピクセルのｘ座標平均、ｙ座標平均がオブジェクトの重心座標となる。

図４（ｃ）は図４（ｂ）の輪郭抽出されたフレーム１画像４０３とフレーム２画像４１３の合成画像である。

フレーム１画像の合焦距離にある最も大きなオブジェクト４０７と、フレーム２画像の合焦距離にあるもっとも大きなオブジェクト４１７を比較し、画角移動方向・移動量を求める。さらに、フレーム１画像の合焦距離にある次点の大きさのオブジェクト４０８と、同じくフレーム２画像の合焦距離にある次点の大きさのオブジェクト４１８を比較し、移動方向・移動量を求める。合焦距離にある複数のオブジェクトの移動距離と方向がほぼ一致すれば、画角が移動したものとして判断することができるので、過去フレームの視線入力情報の座標に画角の移動量を加算することで、新フレーム上に表示する座標を求めることができる。

実施例１では説明を簡略化するため、過去の視線入力情報を表示する規定数を２としたが、実際には１秒程度表示が継続することが望ましい。たとえば３０ｆｐｓの動画撮影を行う場合、１フレームの表示時間は約０．０３秒であるため、過去の視線入力情報を表示する規定数は３０程度が妥当である。

このように、過去数フレームの視線位置を画角の移動に合わせて強調表示することで撮影者が実際に見ていた時間より長く強調表示されるため、撮影者が素早くチェックした被写体や構図の位置についても漏れなく第三者が認識することができる。

以下、図５を用いて視線入力情報の新旧に応じて強調度合を変化させる表示部１０６の表示動作を説明する。

図５は図３で示した静止画を撮影するまでの視線入力情報を表示する動画をフレーム毎に時系列に並べた図上で、視線入力情報の表示を時間とともに強調を緩くする例を示している。

動画のフレーム画像は、フレーム１画像５００、フレーム２画像５１０、フレーム３画像５２０、フレーム４画像５３０、フレーム５画像５４０の順に新しくなる。

フレーム１画像５００には円柱５０１、直方体５０３、横倒しの円柱５０５が被写体として写っている。動画の撮影を開始してからフレーム１画像５００を記録するまでの間、撮影者の視線方向をプロットした視線入力情報５０７を重ねて表示している。

フレーム２画像５１０では、撮影者が直方体５０３に注目してカメラの方向を右に微調整している。フレーム１画像記録からフレーム２画像を記録する時までの間、撮影者が直方体５０３に注目していたため、視線入力情報５１３は直方体５０３の位置に集中している。この時、フレーム１画像５００を記録するまでの視線入力情報５０７は、フレーム２画像５１０で移動された画角に合わせて移動した位置５１１に表示するが、初期のものより色の濃さや視線情報をプロットするピクセルサイズを小さくするなど強調を和らげて表示する。

フレーム３画像５２０を記録する時には、撮影者は円柱５０１に注目して画角を左に移動して、フレーム２画像５１０で表示していたよりさらに強調を和らげ５１５の位置に表示する。フレーム２の視線入力情報５１３は、やはり初期の表示より強調を和らげて５１７の位置に表示する。

フレーム４画像５３０を記録する時には、撮影者は左上と右下に注目して下方向に画角を移動している。最新の視線入力情報５３１と合わせて、フレーム２画像５１０の視線入力情報５１３の座標を移動して、フレーム３画像５２０の表示よりさらに強調を緩和して５３３の位置に表示する。フレーム３画像５４０の視線入力情報５１９は初期の表示より強調を緩和して５３５の位置に表示する。この例では過去の視線入力情報を表示する規定数は２なので、フレーム４画像５３０にはフレーム１画像５００の視線入力情報５０７は表示しない。

フレーム５画像５４０を記録する時には、撮影者は右下に注目して右下方向に画角を移動している。最新の視線入力情報５４３と合わせて、フレーム３画像５２０の視線入力情報５１９をフレーム４画像５３０の表示よりさらに強調を緩和して５４５の位置に表示する。フレーム４画像５３０の視線入力情報５３１は、初期の表示より強調を緩和して５４１の位置に移動して表示する。フレーム５画像５４０ではフレーム２画像の視線入力情報５１１も表示しなくなる。

この例のように、過去の視線入力情報は古くなるに従い強調を緩和して表示することで、直近の注目領域と以前の注目領域が明確になり、撮影者の注目領域の変遷が第三者に認識しやすくなる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 視線入力機能を備えるカメラ、１０１ 制御部、１０２ レンズ、
１０３ シャッター、１０４ 視線検出部、１０５ 撮像部、１０６ 表示部、
１０７ 記憶媒体、１０９ ＲＯＭ、１１０ ＲＡＭ、１１３ 操作部

Claims (9)

1. デジタルの撮像データに基づく複数のフレーム画像を取得する取得手段と、
   ユーザーの視線方向を検出するセンサの出力から得られる、該ユーザーの視線に対応する前記センサ上の座標を、前記撮像データ上の座標に変換し前記フレーム画像に対応する視線入力情報として取得する視線入力手段と、
   前記フレーム画像と、該フレーム画像に対応する前記視線入力情報とを関連づけて記憶媒体に記録する記録制御手段と、
   前記フレーム画像に関連づけられた前記視線入力情報を該フレーム画像に重ねて表示部に表示する表示制御手段と、を備え、
   前記表示制御手段は、１つの前記フレーム画像に対応する前記視線入力情報を、該フレーム画像と他のフレーム画像を含めた複数のフレーム画像にわたって重ねて表示することを特徴とする画像処理装置。
2. 前記記録制御手段は、１つの前記フレーム画像に対して、対応する複数の前記視線入力情報を関連付けて前記記憶媒体に記録することを特徴とする請求項１に記載の画像処理装置。
3. 前記センサにより前記ユーザーの視線が検出される頻度は、前記撮像データのフレームレートの整数倍であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記記録制御手段は、前記視線入力情報が関連付けられた前記複数のフレーム画像による動画データと、デジタルの撮像データに基づく静止画データとを１つのファイルとして前記記憶媒体に記録することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記表示制御手段は、１つの前記フレーム画像に対応する前記視線入力情報を、該フレーム画像を含めた複数のフレーム画像にわたって重ねて表示し、該フレーム画像より時系列で新しいフレーム画像に重ねて表示される前記視線入力情報の方が該フレーム画像に重ねて表示される前記視線入力情報よりも強調を弱めて表示することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. レンズを介して入力された光束から前記撮像データを生成する撮像手段を備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記視線入力手段は、前記視線入力情報を必要とするモードへの変更がなされたことに応じて、前記視線入力情報の取得を開始することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記視線入力手段は、ユーザーがファインダを覗くことを検出したことに応じて、前記視線入力情報の取得を開始することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. デジタルの撮像データに基づく複数のフレーム画像を取得する取得ステップと、
   ユーザーの視線方向を検出するセンサの出力から得られる、該ユーザーの視線に対応する前記センサ上の座標を、前記撮像データ上の座標に変換し前記フレーム画像に対応する視線入力情報として取得する視線入力ステップと、
   前記フレーム画像と、該フレーム画像に対応する前記視線入力情報とを関連づけて記憶媒体に記録する記録制御ステップと、
   前記フレーム画像に関連づけられた前記視線入力情報を該フレーム画像に重ねて表示部に表示する表示制御ステップを備え、
   前記表示制御ステップは、１つの前記フレーム画像に対応する前記視線入力情報を、該フレーム画像と他のフレーム画像を含めた複数のフレーム画像にわたって重ねて表示することを特徴とする画像処理装置。

Images