JP6991746B2

JP6991746B2 - 撮像装置

Info

Publication number: JP6991746B2
Application number: JP2017113870A
Authority: JP
Inventors: 潔飯田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-06-09
Filing date: 2017-06-09
Publication date: 2022-01-13
Anticipated expiration: 2037-06-09
Also published as: JP2018205648A

Description

本発明は、動きのある物体（以下、動体と呼ぶ）を被写体として撮影する撮像装置に関し、特に視線入力情報を用いたオートフォーカスに関する。

動画撮影やライブビューにおいて、画像から得られる特徴量によって動体を被写体として追尾する際、人物の顔など識別しやすい領域が検出できない場合の動体の被写体認識には様々な方法がある。その方法は、大体において、ユーザーに指定された被写体領域にある色・輝度などの画像的特徴量の配置パターンを記憶しておき、フレーム画像間で配置パターンの変化量が少ない領域を被写体領域として識別している。

従来、動体の追尾においては光源や被写体のサイズが刻々と移り変わるため、画像的特徴量の配置パターンも新しいフレーム画像を得るたびに更新が必要となり、徐々に被写体認識領域と実際の被写体の位置がずれてしまうという問題があった。被写体認識領域がずれてしまう理由を、図２を用いて説明する。

図２の２０１、２０２、２０３、２０４は動画やライブビューのフレーム画像である。フレーム画像２０１の点線の枠２２１はカメラが動きのある被写体として識別している領域、すなわち被写体認識領域を示している。ユーザーは画面をタッチするなどして被写体２１２が追尾対象の被写体であることをカメラに指示し、被写体を画面内に収めながら動画を撮影する。動体を被写体として追尾しはじめた直後は、被写体認識領域２２１と被写体２１２の位置は一致している。

フレーム画像２０２では、被写体２１２が移動して、被写体認識において追尾の基準としている物体の大きさ、色・輝度の配置パターンがよく似た背景物体２３１と重なっている。被写体認識においては、背景と被写体の区別がつかないため、点線の楕円で示す領域２５１部分は被写体の一部として認識し、次フレームで被写体認識に用いる特徴量の配置パターンに背景が含まれてしまう。

フレーム画像２０３では、被写体２１２が更に移動して背景物体２３１を追い越そうとしているが、被写体２１２と背景物体２３１が被写体認識において同化してしまう領域２５２に引きずられて実際の被写体の位置からずれてしまう。

フレーム画像２０４では被写体２１２と背景物体２３１は重なっていないが、追尾対象の画像的特徴量の配置パターンは更新されているため、被写体認識領域２２４は実際の被写体２１２の位置からずれたままになってしまう。

このように、被写体認識に用いている動体の大きさ・色・輝度といった画像的特徴量の配置パターンが更新されていくことで、被写体認識領域は実際の被写体からずれてしまうことになる。

動きのある被写体を追尾するため、特許文献１には、視線検出を用いて主被写体をフォーカスし、さらに、まばたきした時など視線検出できない状況ではこれまでの視線入力から推定される追尾位置の情報を用いて主被写体追尾を行う発明が開示されている。

特許文献２には、視線入力による被写体認識位置と、光の強度分布などで得られた追尾位置とを比較して、撮影者が被写体を変更したか否かを判定する発明が開示されている。

特開平５－２３２３７４号公報特開平５－５３０４３号公報

しかしながら、上述の特許文献１に開示された従来技術では、視線検出できた場合必ず視線位置にフォーカスしてしまうため、ユーザーがなにかに気を取られてよそ見をした場合、意図せず追尾対象が切り替わってしまうという問題があった。

特許文献２で開示された従来技術では、視線入力による被写体認識位置と、光の強度分布などで得られた追尾位置を比較して、撮影者が被写体を変更したか否かを判定する処理が追加されているが、被写体の位置予測の補正については考慮されていないという問題があった。

そこで、本発明の目的は、視線入力情報を用いて動きのある被写体を追尾する際、ユーザーがよそ見をしても追尾対象の被写体が不本意に切り替わることがなく、また、被写体認識位置のずれを自動的に補正するカメラを提供することにある。

上記の目的を達成するために、本発明に係る画像処理装置は、撮像データに基づく複数のフレーム画像を取得する取得手段と、視線入力情報を取得する視線入力手段と、前記視線入力情報から前記複数のフレーム画像内の注目領域を決定する注目領域決定手段と、前記複数のフレーム画像内で、動体に対応する動体領域を検出する動体検出手段と、前記フレーム画像と、該フレーム画像内の前記注目領域と、該フレーム画像内の前記動体領域とを表示部に表示する表示制御手段と、前記注目領域と前記動体領域の位置を記憶する記憶手段と、前記動体検出手段により検出された前記動体領域と前記注目領域とに基づく領域を主被写体領域として決定し、該主被写体領域を追尾する追尾手段とを備え、前記追尾手段は、第一のフレーム画像における前記動体領域が予め定めたサイズよりも大きい場合、前記記憶手段に記憶された前記第一のフレーム画像における前記動体領域と前記注目領域の位置関係と、前記第一のフレーム画像とは異なる第二のフレーム画像における前記動体領域と前記注目領域の位置関係との変化に基づいて前記第二のフレーム画像における該主被写体領域を決定し、前記第一のフレーム画像における前記動体領域が予め定めたサイズ以下の場合、前記第二フレーム画像における前記動体領域を該主被写体領域として決定することを特徴とする。

また、本発明に係る画像処理装置の制御方法は、撮像データに基づく複数のフレーム画像を取得する取得ステップと、視線入力情報を取得する視線入力ステップと、前記視線入力情報から前記複数のフレーム画像内の注目領域を決定する注目領域決定ステップと、前記複数のフレーム画像内で、動体に対応する動体領域を検出する動体検出ステップと、前記フレーム画像と、該フレーム画像内の前記注目領域と、該フレーム画像内の前記動体領域とを表示部に表示する表示制御ステップと、前記注目領域と前記動体領域の位置を記憶する記憶ステップと、前記動体検出手段により検出された前記動体領域と前記注目領域とに基づく領域を主被写体領域として決定し、該主被写体領域を追尾する追尾ステップとを備え、前記追尾ステップは、第一のフレーム画像における前記動体領域が予め定めたサイズよりも大きい場合、前記記憶手段に記憶された前記第一のフレーム画像における前記動体領域と前記注目領域の位置関係と、前記第一のフレーム画像とは異なる第二のフレーム画像における前記動体領域と前記注目領域の位置関係との変化に基づいて前記第二のフレーム画像における該主被写体領域を決定し、前記第一のフレーム画像における前記動体領域が予め定めたサイズ以下の場合、前記第二フレーム画像における前記動体領域を該主被写体領域として決定することを特徴とする。

本発明によれば、動きのある被写体の追尾は画像認識を用いて行い、視線入力を用いて継続して被写体認識位置のズレを補正するため、追従性が良く、意図しない追尾対象の変更を防ぐカメラを提供することができる。

ハードウェア構成図従来の問題現象を説明する図実施例１の動作を説明する図実施例１の動作を説明する図実施例１の動作を説明する図注目領域算出を説明する図実施例１の処理を説明するフローチャート実施例１の処理を説明するフローチャート実施例１の処理を説明するフローチャート実施例２の動作を説明する図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわるハードウェア構成図である。

以下、図１を参照して、本発明の第１の実施例による、ハードウェア構成について説明する。図１は視線入力機能を備えるカメラ１００のハードウェア構成図である。

制御部１０１は中央演算処理装置で、制御部１０１のプログラムを格納しているＲＯＭ１０９、および、制御部１０１が動作中の様々なデータを保持するＲＡＭ１１０を内蔵している。

撮像部１０５は不図示の撮像素子や撮像データを一時的に保存するバッファなどで構成される。ユーザーが操作部１１３を操作することで制御部１０１がシャッター１０３を動作させると、レンズ１０２から入力された光束を撮像部１０５で受光し撮像データを生成する。撮像部１０５は撮像データの生成が完了すると、撮像データを生成したことを制御部１０１に通知する。

制御部１０１は、撮像部１０５から撮像データ生成の通知を受けて、撮像部１０５から撮像データを取得してＲＡＭ１１０に記録する。制御部１０１はＲＡＭ１１０に記録した撮像データをＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）等の形式に加工した後、ファイルとして記憶媒体１０７に記録する。

また、ユーザーが操作部１１３を操作することによって画像ファイルの表示を指示されると、制御部１０１は、記憶媒体１０７に記録されたファイルを読み出して表示部１０６に表示する。制御部１０１は画像ファイルを表示する際、必要があれば関連付けられたデータファイルなどを記憶媒体１０７から読み出して利用する。

視線検出部１０４はユーザーの視線方向を一定周期で検出し、視線検出部が内蔵する不図示のＣＣＤ上の座標を出力する機能をもつ。ユーザーが操作部１１３を操作して視線入力を必要とするモードに切り替えた場合、制御部１０１は視線検出部１０４を制御して撮影者の視線検出を開始する。視線検出部から得たＣＣＤ上の座標を撮像面上の座標に変換し、視線入力情報としてＲＡＭ１１０に連続的に記録する。

以下、図５のフローと、図３を参照して実施例１の動作の説明を行う。

図３（ａ）の３０１、３０２、３０３、３０４は制御部１０１が表示部１０６に表示させる動画またはライブビューのフレーム画像である。制御部１０１がフレーム画像３０１を表示部１０６に表示させた時点では、制御部１０１はまだオートフォーカスで追尾する主被写体を決定していない状態である。この状態から、追尾する被写体を決定する処理を図５（ａ）のフローに沿って説明する。

制御部１０１が表示部１０６にフレーム画像３０１を表示するまでの間、制御部１０１は視線検出部１０４から単一乃至複数の視線入力情報を取得し、ＲＡＭ１１０に蓄積する（Ｓ５０１、Ｓ５０２）。フレーム画像を更新するタイミングで、制御部１０１は撮像部１０５から新しいフレーム画像３０１を取得し、表示部１０６に表示する。（Ｓ５０３）。

制御部１０１はフレーム画像３０１を表示するタイミングまでＲＡＭ１１０に蓄積した視線入力情報を基にユーザーの注目領域３０８を算出する（Ｓ５０４）。制御部１０１はＲＡＭ１１０に記憶しておいた一つ前のフレーム画像とフレーム画像３０１を比較し、画像内の特徴量の配置の推移から画像内の動体領域３０５、３０６、３０７を検出する（Ｓ５０５）。動体領域３０６の重心位置と注目領域３０８の重心位置の距離が閾値２より小さい場合（Ｓ５０６）、制御部１０１はＲＡＭ１１０上に保持するカウンタをインクリメントする（Ｓ５０７）。制御部１０１は動体領域３０６のように注目領域３０８に近傍する動体領域が検出されない場合（Ｓ５０６）はＲＡＭ１１０上に保持するカウンタをクリア（Ｓ５０８）して次のステップにすすむ。

フレーム画像３０２、３０３、３０４のように、同じ動体領域３０６が注目領域３０８と近傍する回数が既定の回数以上になった場合（Ｓ５０９）、制御部１０１は動体領域を主被写体領域３１０として追尾を開始する（Ｓ５１０）。また、次フレーム画像における動体検出のために、主被写体領域の画像の特徴量の配置パターンをＲＡＭ１１０に記憶し（Ｓ５１１）、主被写体領域の位置ズレの補正に利用するため主被写体領域の重心位置と注目領域３０８の重心位置をＲＡＭ１１０に記憶する（Ｓ５１２）。

次に、図３（ｂ）を用いて被写体領域のズレを補正する処理を図５（ｂ）のフローに沿って説明する。

図３（ｂ）は制御部１０１が既に一つの動体を主被写体として追尾中の状態である。

図３（ｂ）の３１１、３１２、３１３、３１４は動画またはライブビューのフレーム画像である。

フレーム画像３１１において、視線入力情報から算出した注目領域の重心位置は３３１、フレーム画像間の特徴量の推移から算出した動体領域である現主被写体領域は３１５、主被写体領域３１５の重心位置を３２１で示している。ユーザーは動きのある被写体を撮影しており背景が移り変わる状況で、主被写体を構成する画像の特徴量の配置パターンがよく似た背景物３２５が写りこんでいる。

表示部１０６にフレーム画像３１１を表示してから、フレーム画像３１２を表示するまでの間、制御部１０１は視線検出部１０４から単一乃至複数の視線入力情報を取得し、ＲＡＭ１１０に蓄積する（Ｓ５１３、Ｓ５１４）。フレーム画像を更新するタイミングで、制御部１０１は撮像部１０５から新しいフレーム画像３１２を取得し、表示部１０６に表示する（Ｓ５１５）。また、制御部１０１はＲＡＭ１１０に蓄積した視線入力情報からユーザーの注目領域を算出する（Ｓ５１６）。

制御部１０１は、フレーム画像３１１とフレーム画像３１２の特徴量の配置パターンの推移から、フレーム画像３１２上の主被写体領域３１６を検出する（Ｓ５１７）。フレーム画像３１２では主被写体と背景物３２５が重なっているため、制御部１０１で実施する動体検出において主被写体領域３１６は背景物３２５に引きずられて位置と大きさにズレが生じており、記憶する特徴量の配置パターンにも歪みが生じている。しかしこの時点では注目領域の重心位置３３２と主被写体領域３２２の重心位置の距離は閾値１以上離れていない、すなわち大きくずれてはいないため、制御部１０１は注目領域の補正は行わない（Ｓ５１８）。

フレーム画像３１３では、被写体と背景物３２５が重なっており、注目領域の重心位置３３３と主被写体領域３１７の重心位置３２３が既定の距離を超えてずれている。そのため（Ｓ５１８）、制御部１０１は図３（ａ）のＳ５１２でＲＡＭ１１０に記憶した注目領域の重心位置と主被写体領域の重心位置の位置関係を崩さないように主被写体領域の位置を３１８の位置に補正する（Ｓ５１９）。補正後の主被写体領域３１８を基に、制御部１０１は主被写体の特徴量の配置パターンをＲＡＭ１１０に記憶して（Ｓ５２０）次のフレーム画像取得に向けて視線検出部１０４からの視線入力情報取得とＲＡＭ１１０への蓄積を再開する（Ｓ５１３）。

次に、図３（ｃ）を用いて主被写体を変更する処理を図５（ｃ）のフローに沿って説明する。

図３（ｃ）の３４０、３４１、３４２、３４３はフレーム画像である。フレーム画像３４０において、現在の主被写体領域は３４５であるが、ユーザーは動体３６０に視線を移している状況となっている。

撮像部１０５からフレーム画像３４０を取得した後、フレーム画像３４１を取得するまでの間制御部１０１は視線検出部１０４から視線入力情報を取得しＲＡＭ１１０に蓄積する（Ｓ５２１、Ｓ５２２）。

フレーム画像更新タイミングが来た時（Ｓ５２２）、制御部１０１は撮像部１０５からフレーム画像３４１を取得して表示部１０６に表示する（Ｓ５２３）。制御部１０１は、ＲＡＭ１１０に蓄積した視線入力情報からフレーム画像３４１上のユーザーの注目領域を算出する（Ｓ５２４）。

フレーム画像３４０とフレーム画像３４１の特徴量の配置パターンの推移から、制御部１０１は画像内の動体領域を検出する（Ｓ５２５）。この時、制御部１０１は注目領域の重心位置３６１と現在の主被写体領域の重心位置３４９の距離を算出する。主被写体領域より注目領域に近傍する別の動体領域３５０の重心位置３５１と注目領域の重心位置が閾値２で示す距離より近い場合（Ｓ５２６）、制御部１０１はＲＡＭ１１０上のカウンタをインクリメントする（Ｓ５２８）。それ以外の場合はＲＡＭ１１０上のカウンタをクリアし（Ｓ５２７）、ＲＡＭ上に記録していた主被写体の特徴量の配置パターンを更新する（Ｓ５３２）。

続いてフレーム画像３４２、フレーム画像３４３と表示を更新（Ｓ５２３）した時、カウンタが既定の回数を超えたため（Ｓ５２９）、制御部１０１はユーザーが主被写体を切り替えたとみなし、動体領域３５０を主被写体領域３４８として追尾を開始する（Ｓ５３０）。また、制御部１０１はＲＡＭ上に記憶していた主被写体領域と注目領域の位置関係を更新する（Ｓ５３１）。続いて制御部１０１は主被写体の特徴量の配置パターンをＲＡＭ１１０に記憶し（Ｓ５３２）、次のフレーム画像取得に向けて視線検出部１０４から取得した視線入力情報をＲＡＭ１１０に蓄積する（Ｓ５２１）。

続いて、図４を用いてフレーム画像毎に蓄積した視線入力情報から注目領域を算出する方法について説明する。

制御部１０１は、撮影部１０５からフレーム画像４０１を取得するまでの間、視線検出部１０４から視線入力情報を複数回取得する。図４における４０３のような黒い点は一つ一つが視線入力された位置をフレーム画像に重ねて表示したものである。

この実施例では、フレーム画像のどこに視線が集中しているかを判定するため、フレーム画像のピクセルの集合を等間隔のブロックで分割し、ブロック内に含まれる視線入力の個数をカウントする。図中４１０は、視線入力カウント数の上位３ブロックを斜線で表したものである。ユーザーの視線はこれらのブロックに集中しているため、ここを注目領域とみることができる。また、注目領域の重心位置は、注目領域に含まれるブロックの中心座標の平均によって求めることができる。

この例のように、注目領域を直接オートフォーカスの追尾領域にするのではなく、動体領域として検出した領域の補正のために注目領域を用いることで、ユーザーがよそ見をした時に追尾位置が過剰に反応してしまう問題を解決することができる。

また、フレーム画像間の画像の特徴量の配置パターンの推移から動体を検出する場合、光源の位置や光の強度が刻々と変化するため特徴量である色・輝度といった情報にはある程度の幅を持たせる必要がある。そのため、背景と近似している領域は動体領域として認識できない場合がある。注目領域と主被写体領域の位置関係を維持するように動体領域を補正することでこの問題を解決することができる。

主被写体領域が大きい場合、動体領域全体を追尾対象とするとフォーカシングが不十分となる。このような場合の被写体追尾について図６を用いて説明する。

フレーム画像６０１において、点線の矩形６０２は検出された動体領域を表している。その動体領域において注目領域は点線の矩形６０３に集中している。黒点６１０が注目領域の重心位置、黒点６２０が動体領域の重心位置である。

動体領域が一定のサイズを超える場合、動体の重心位置でフォーカスを合わせてしてしまうとピントが甘くなってしまう可能性があるため、追尾する領域は注目領域であることが望ましい。しかし、注目領域をそのまま追尾対象領域とすると、ユーザーがよそ見をした時に敏感に反応しすぎてしまう。

よって、動体領域が一定サイズを超える場合、制御部１０１は動体領域６０２を主被写体領域と決定した時にＲＡＭ１１０に記憶した動体領域と注目領域の重心位置（６２０、６１０）の位置関係と、現在の主被写体領域と注目領域の重心位置の位置関係を比較する。被写体領域の重心位置６２０から見た注目領域の重心位置６１０の距離と方向が、主被写体領域決定時のものと比較してそれぞれ既定の範囲内に収まっている場合、制御部１０１は注目領域６０３でフォーカシングを行う。また、制御部１０１は、ＲＡＭ１１０記憶していた主被写体領域と注目領域の重心位置の位置関係を最新のものに更新する。被写体領域の重心位置６２０から見た注目領域の重心位置６１０の距離と方向が、主被写体領域決定時のものと比較して既定の範囲外の場合、制御部１０１は主被写体領域の重心位置６２０からの相対位置に正しい主被写体領域があるものとしてフォーカシングを行う。

このように、主被写体である動体が大きな場合は、主被写体領域を決定した時の位置関係を利用して動体の位置から追尾位置を決定することで、ユーザーがよそ見をした時に追尾位置が過剰に反応してしまう問題を解決することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００カメラ、１０１制御部、１０２レンズ、１０３シャッター、
１０４視線検出部、１０５撮像部、１０６表示部、１０７記憶媒体、
１０９制御部１０１が内蔵するＲＯＭ、
１１０制御部１０１が内蔵するＲＡＭ、１１３操作部

Claims

撮像データに基づく複数のフレーム画像を取得する取得手段と、
視線入力情報を取得する視線入力手段と、
前記視線入力情報から前記複数のフレーム画像内の注目領域を決定する注目領域決定手段と、
前記複数のフレーム画像内で、動体に対応する動体領域を検出する動体検出手段と、
前記フレーム画像と、該フレーム画像内の前記注目領域と、該フレーム画像内の前記動体領域とを表示部に表示する表示制御手段と、
前記注目領域と前記動体領域の位置を記憶する記憶手段と、
前記動体検出手段により検出された前記動体領域と前記注目領域とに基づく領域を主被写体領域として決定し、該主被写体領域を追尾する追尾手段とを備え、
前記追尾手段は、第一のフレーム画像における前記動体領域が予め定めたサイズよりも大きい場合、前記記憶手段に記憶された前記第一のフレーム画像における前記動体領域と前記注目領域の位置関係と、前記第一のフレーム画像とは異なる第二のフレーム画像における前記動体領域と前記注目領域の位置関係との変化に基づいて前記第二のフレーム画像における該主被写体領域を決定し、前記第一のフレーム画像における前記動体領域が予め定めたサイズ以下の場合、前記第二フレーム画像における前記動体領域を該主被写体領域として決定することを特徴とする画像処理装置。
前記追尾手段は、前記第一のフレーム画像における前記位置関係と、前記第二のフレーム画像における前記位置関係の変化が予め定めた値の範囲内であるとき、前記注目領域を前記主被写体領域として決定することを特徴とする請求項１に記載の画像処理装置。
前記位置関係は前記動体領域の重心位置と前記注目領域の重心位置との間の距離、および前記動体領域の重心位置から見た前記注目領域の重心位置の向きであることを特徴とする請求項１または２に記載の画像処理装置。
レンズを介して入力された光束から前記撮像データを生成する撮像手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記視線入力手段は、ユーザーの視線方向を検出するセンサを備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記視線入力手段は、前記センサから得た前記センサ上の座標を前記撮像データ上の座標に変換し前記視線入力情報として取得することを特徴とする請求項５に記載の画像処理装置。
前記視線入力手段は、前記視線入力情報を必要とするモードへの変更がなされたことに応じて、前記視線入力情報の取得を開始することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記視線入力手段が取得する前記視線入力情報はＲＡＭに複数蓄積されることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
撮像データに基づく複数のフレーム画像を取得する取得ステップと、
視線入力情報を取得する視線入力ステップと、
前記視線入力情報から前記複数のフレーム画像内の注目領域を決定する注目領域決定ステップと、
前記複数のフレーム画像内で、動体に対応する動体領域を検出する動体検出ステップと、
前記フレーム画像と、該フレーム画像内の前記注目領域と、該フレーム画像内の前記動体領域とを表示部に表示する表示制御ステップと、
前記注目領域と前記動体領域の位置を記憶する記憶ステップと、
前記動体検出ステップにて検出された前記動体領域と前記注目領域とに基づく領域を主被写体領域として決定し、該主被写体領域を追尾する追尾ステップとを備え、
前記追尾ステップは、第一のフレーム画像における前記動体領域が予め定めたサイズよりも大きい場合、前記記憶ステップにて記憶された前記第一のフレーム画像における前記動体領域と前記注目領域の位置関係と、前記第一のフレーム画像とは異なる第二のフレーム画像における前記動体領域と前記注目領域の位置関係との変化に基づいて前記第二のフレーム画像における該主被写体領域を決定し、前記第一のフレーム画像における前記動体領域が予め定めたサイズ以下の場合、前記第二フレーム画像における前記動体領域を該主被写体領域として決定することを特徴とする画像処理装置の制御方法。