JP6700931B2 - 画像処理装置、撮像装置および制御方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置および制御方法に関する。

ズームレンズを駆動する光学ズームや撮影画像の一部を拡大する電子ズームを備える画像処理装置である撮像装置において、近年高倍率化が進んでいる。撮影に不慣れな撮影者が、このような高倍率機種を用いて望遠状態で撮影するとき、被写体を捉えることが難しく、また、捉えた被写体をすぐにフレームアウトさせてしまうことが頻繁に起こり得る。特許文献１は、装置の動き量に基づいて、ユーザが被写体を探す動作を行っていると判定した場合に、自動で撮影画角を広角側にズームアウトさせるフレーミングアシストズーム（ＦＡズーム）を行う撮像装置を開示している。

特開２００９−８８８６０号公報

ユーザは、被写体の動きが早く、被写体を急に見失った場合には、素早く被写体を探そうとする傾向がある。この時に、ズームアウトの速度が遅いと、被写体を画角に収めるまでの時間がかかり、ユーザが不快感を感じてしまう。一方、ユーザがズーム速度を最大速にして動かすと、動画撮影する場合などに、動画として良好な品位を保つことが困難である。特許文献１が開示する撮像装置は、ＦＡズーム機能を動作させた場合の適切な操作性を実現することができない。
本発明は、ＦＡズーム機能を動作させた場合の適切な操作性を実現することを可能とする画像処理装置の提供を目的とする。

本発明の一実施形態の情報処理装置は、装置の動き量を算出する算出手段と、前記算出手段により算出された第１の動き量に基づいてズーム速度を決定して撮影画角を変更する制御を実行する制御手段とを備える。前記制御手段は、前記第１の動き量が、第１の閾値を超える場合に、前記撮影画角を広角側にする第１の制御を実行し、前記第１の動き量が、第２の閾値を超える場合に、前記第１の制御のズーム速度を変更する。

本発明の画像処理装置によれば、ＦＡズーム機能を動作させた場合の適切な操作性を実現することが可能となる。

画像処理装置の構成例を示す図である。 ＦＡズームの例を説明する図である。 ＦＡズーム制御の一例を説明するフローチャートである。 動き量に応じたズームアウト速度の算出を説明する図である。 動き量に応じた広角側のズームイン速度の算出を説明する図である。 目標ズーム位置までのズームイン速度を説明する図である。 ズームイン速度を説明する図である。

図１は、本実施形態の画像処理装置の構成例を示す図である。
図１に示す撮像装置１００は、フレーミングアシスト機能（ＦＡズーム機能）を備える画像処理装置の一例である。以下、撮像装置１００の各構成部とその一例の動作について具体的に説明する。なお、本実施形態で説明する撮像装置１００は、ブレ補正機能を備えており、ブレ補正用に検出する撮像装置の振れ情報に基づきＦＡズーム用の撮像装置の動き量を算出する。撮像装置１００が、ＦＡズーム専用の動き量検出センサを備えてもよく、ＦＡズーム機能を実現する上で、ブレ補正機能を備えることは必須ではない。また、以下の説明において、ズームイン速度とは、ズームイン制御時のズーム速度を意味し、ズームアウト速度とは、ズームアウト制御時のズーム速度を意味する。

まず、ブレ補正機能に関する構成を説明する。振れ検出センサ１０１は、撮像装置１００に加わる振れを検出することで、撮像装置１００の動き量を算出する。振れ検出センサ１０１は、例えば、撮像装置１００の振れを角速度として検出する角速度センサである。振れ検出センサ１０１の出力に対して、マイクロコンピュータ（μＣＯＭ１０２）で信号処理を行う。

ブレ補正量算出部１０３は、振れ検出センサ１０１の出力に基づいて、ブレ補正量を算出する。ブレ補正量とは、撮像画像のブレを打ち消すためにブレ補正機構１０８を駆動させる値である。具体的には、ブレ補正量算出部１０３は、積分器を備えており、振れ検出センサ１０１が出力する角速度信号を角度換算して出力する。

減算器１０４は、ブレ補正量算出部１０３の出力からブレ補正機構１０８の位置データを減算して得られる偏差データを、制御フィルタ１０５に出力する。減算器１０４から供給された偏差データは、制御フィルタ１０５において、増幅器及び位相補償フィルタによる信号処理が行われた後、シフトレンズ制御部１０６に出力される。

シフトレンズ制御部１０６は、モータ制御量を、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ１０７を駆動させる。モータ１０７は、例えばボイス・コイル型モータであり、駆動されることにより、ブレ補正機構１０８が光軸と異なる方向に移動される。ブレ補正機構１０８は、例えば、光軸と異なる方向に移動可能なレンズユニットである。図１では、ブレ補正機構１０８と撮像素子１１０とを別個に記載したが、本発明は、光軸と異なる方向に移動可能な撮像素子を備えるブレ補正機構を採用することもできる。

位置検出センサ１０９は、磁石と、磁石に対向する位置に設けられたホール・センサとを有する。位置検出センサ１０９は、ブレ補正機構１０８の光軸と垂直な方向への移動量を検出して、減算器１０４に供給する。これにより、ブレ補正量算出部１０３の出力に対して、ブレ補正機構１０８の光軸と異なる方向への移動量を追従させる、フィードバック制御系が構成される。ブレ補正量に基づいてブレ補正機構１０８の移動が行われる結果、撮像装置１００の振れによって生じる撮像面上の被写体の縦または横方向のブレが補正された像が、撮像素子１１０に結像される。

撮像素子１１０は、被写体光を光電変換して撮影画像を出力する。具体的には、撮像素子１１０は、ブレ補正機構１０８を含む撮像光学系によって結像された被写体像を、電気信号である撮像画像信号に変換し、信号処理部１１１に供給する。信号処理部１１１は、撮像素子１１０により得られた信号から、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して、画像メモリ１１２に供給する。画像メモリ１１２から出力されるビデオ信号は、記録制御部１１３に供給される。記録制御部１１３は、記録開始や終了の指示に用いる操作部（不図示）によって映像信号の記録が指示された場合、画像メモリ１１２から供給されたビデオ信号を記録媒体１１４に出力し、記録させる。記録媒体１１４は、例えば半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。

次に、ＦＡズーム機能に関する構成を説明する。振れ検出センサ１０１の出力は、動き判定部１１５にも供給される。動き判定部１１５は、振れ検出センサ１０１が検出した撮像装置１００の動き量に基づいて、撮影者が被写体を探す動きをしているか否かを判定する。撮影者が被写体を見失った場合は、被写体を探すために撮像装置１００を大きく動かすことが想定される。したがって、動き判定部１１５は、第１の動き量（動き量Ａ１）が閾値以上の場合は、撮影者が被写体を探していると判定する。一方、安定して被写体を捉えられている場合は、撮像装置１００の動き量は小さくなる。したがって、動き判定部１１５は、動き量Ａ１が閾値未満の場合は、撮影者が被写体を捉えていると判定する。なお、動き量とは角速度、加速度、あるいは動き判定部１１５で角速度を積分して算出する角度の少なくとも１つである。また、動き判定の閾値は、動き判定閾値演算部１２０で算出した第１の閾値である閾値Ｔｈ１を用いる。

ズーム制御部１１６は、動き判定部１１５の判定結果を受けて、ズームアウトまたはズームインの駆動信号をズームモータ１１７に与える。すなわち、動き判定部１１５およびズーム制御部１１６は、第１の動き量に基づいてズーム速度を決定して撮影画角を変更する制御を実行する制御手段として機能する。ズームモータ１１７は、例えば、ステッピングモータであり、ステッピングモータが回転することにより、送りねじが回転し、ズームレンズ１１８が光軸方向に駆動される。ズーム制御部１１６は、ズームレンズ１１８を目標位置まで移動させるために必要なパルス数の駆動信号を算出して、ズームモータ１１７に入力する。

ズームレンズ１１８の保持枠には、ズームレンズの位置を検出するための不図示の位置スケールが固定されている。不図示のレンズ鏡筒部の、位置スケールと対向する箇所に、位置センサ１１９が固定されており、位置スケールには光軸方向に磁気パターン、光反射パターン等のスケールパターンが生成されている。位置センサ１１９が、スケールの位置に応じた磁気信号、光反射信号などを読み取ることで、ズームレンズ１１８の光軸方向の位置を検出できる。位置センサ１１９の検出信号が、ズーム制御部１１６に入力され、ズームレンズの位置制御に用いられる。

動き判定閾値演算部１２０は、ズーム制御部１１６から得られる現在のズーム位置情報に基づいて、閾値Ｔｈ１を算出する。撮像装置１００の動き量が一定であっても、ズーム位置が望遠側にある場合は、広角側にある場合と比べて被写体を見失いやすい。したがって、本実施形態では、ズーム位置が望遠側の場合は、より小さい動き量でも被写体を探していると判定され易くするために、ズーム位置に応じて異なる値をとる閾値Ｔｈ１を算出する。

図２は、ＦＡズームの例を説明する図である。
図２（Ａ）は、撮影者が移動被写体であるボールを捉えようとして撮像装置１００を図中左から右方向に動かしている様子を示す。図２（Ｂ）は時刻ｔ１における撮影画像、図２（Ｃ）は時刻ｔ２における撮影画像、図２（Ｄ）は時刻ｔ３における撮影画像を示す。図２（Ｅ）は、時間と撮像装置の動き量Ａ１との関係を示すグラフである。

時刻ｔ１までは、撮像装置１００は動かされておらず、動き量Ａ１は小さい値となっている。時刻ｔ１においてボールが放たれたとき、これを捉えようとして撮影者が撮像装置１００を動かし、振れ検出センサ１０１の出力が大きくなり始める。時刻ｔ２において、ボールがフレームから外れることを回避しようとして撮影者は撮像装置を動かし続け、動き量Ａ１はさらに大きくなる。動き量Ａ１が、動き判定閾値演算部１２０で算出した閾値Ｔｈ１を超えると、時刻ｔ２で、撮影者が被写体を探していると判定される。そして、ズーム制御部１１６が、ズームアウト制御、すなわち、撮影画角を広角側にする第１の制御を実行する。これにより、時刻ｔ２より後の時刻ｔ３においては、撮影画角が広角になり、被写体を捉え易くなる。

図１の説明に戻る。操作部１２１は、撮像装置１００に対する操作を受け付ける。特に操作部１２１は、ＦＡズームを中断させる操作に用いるものであり、操作の一例としてはメニュー操作、ズームキー操作、動画撮影開始操作、静止画撮影開始操作である。なお、ＦＡズームが有効となる状態と、動き量が大きくてもズームアウトしない通常撮影状態とは、不図示のＦＡズームＯＮ／ＯＦＦボタンにより切り替え可能である。

図３は、ＦＡズーム制御の一例を説明するフローチャートである。
まず、Ｓ１００において、ズーム制御部１１６が、撮影者が被写体を探しているかを判定する。具体的には、動き量Ａ１がＴｈ１を超えた場合に、ズーム制御部１１６は、撮影者が被写体を探していると判定する。撮影者が被写体を探していない場合は、処理がＳ１００に戻る。撮影者が被写体を探している場合は、処理がＳ１０１に進む。

Ｓ１０１において、ズーム制御部１１６が、目標ズーム位置ｆ１を算出する。目標ズーム位置の算出方法としては、固定ズーム位置としてｆ１を設定する方法や、メニュー設定などユーザの操作によって予めｆ１を決めておく方法や、動き判定部によって算出された動き量にＡ１に応じてｆ１を算出する方法がある。本実施形態では、どの方法で算出してもかまわない。また、ズーム制御部１１６は、現在のズーム位置ｆ０を基準ズーム位置として決定して、記憶する。

Ｓ１００において、ズーム制御部１１６が、撮影者が被写体を急に見失ったかを判定する。一般的に、被写体を急に見失った場合は、撮影者は被写体を急いで探そうとするので、動き量Ａ１が大きくなる。したがって、ズーム制御部１１６は、動き量Ａ１が第２の閾値である閾値Ｔｈ２を超えた場合に、被写体を急に見失ったと判定する。閾値Ｔｈ２は、第１の閾値以上（閾値Ｔｈ１以上）の値に設定されている。閾値Ｔｈ１と同様に、ズーム位置によって被写体を探そうとする動き量Ａ１が異なるので、閾値Ｔｈ２もズーム位置に応じて異なる値をとる。被写体を急に見失った場合は、処理がＳ１０６に進む。被写体を急に見失っていない場合については、後述する。

Ｓ１０６において、ズーム制御部１１６が、ユーザが被写体を急に見失った場合のズームアウト速度を算出する。ユーザが被写体を急に見失い被写体を探そうとして撮像装置を大きく動かす場合、被写体が早く見つかる方が、ユーザは好ましい操作性と感じる。したがって、被写体を急に見失った場合については、図４に示すように、動き量Ａ１と閾値Ｔｈ２との差の大きさに応じてズーム速度を変更する。これにより、動き量Ａ１が閾値Ｔｈ２を超えた量が大きいほどズームアウト速度が大きくなる。

次に、Ｓ１０７において、ズーム制御部１１６が、Ｓ１０６で算出したズームアウト速度で基準ズーム位置ｆ０から目標ズーム位置ｆ１までズームアウト制御を行う。Ｓ１０８において、ズーム制御部１１６が、撮影者が被写体を捉えているかを判定する。動き量Ａ２が、第３の閾値である閾値Ｔｈ３より小さい値に収束した場合に、ズーム制御部１１６が、撮影者が被写体を捉えていると判定する。動き量Ａ２は、ズームアウトの後に検出（算出）された第２の動き量である。ズーム制御部１１６は、以下のＳ１０９乃至Ｓ１１１により、ズームイン制御すなわち撮影画角を望遠側にする第２の制御を実行する。動き量Ａ２が閾値Ｔｈ３以上である場合は、ズーム制御部１１６は、ユーザが被写体を探していると判定する。この場合は、ズーム制御部１１６は、ズーム位置をｆ１に保持した状態で、撮影者が被写体を捉えていると判定されるまで待ち状態となる。

Ｓ１０９において、ズーム制御部１１６が、現在ズーム位置ｆ１から基準ズーム位置ｆ０に移動するまでの間のズーム速度を算出する。ＦＡズームにおいては、ユーザは広角側で被写体を捉えた状態になる。急に被写体を見失った場合においては、動画像の品位よりも優先してユーザは撮像装置を大きく動かしている。したがって、広角側で被写体を捉えた状態の後も、動画像の品位よりも優先して元の画角に戻ることが好ましいと感じる。一方、ズームイン速度を速くしすぎると、ズームインの途中で再び被写体を見失ってしまう可能性がある。したがって、急に見失った場合においては、確実に被写体を画角内に捉え、かつ被写体を見失いにくい広角側のズームイン速度を上昇させることで、ユーザへの好ましい操作性を実現する。

図５は、ＦＡズーム開始時の動き量Ａ１に応じた広角側のズームイン速度の算出例を説明する図である。
ＦＡズーム開始時の動き量がＡ１（Ａ１＞Ｔｈ２）である場合、ズーム制御部１１６は、Ａ１が閾値Ｔｈ２を超えている量に応じて、基準速度Ｖ１から速度を上昇させる。その結果Ｖ３という広角側におけるズームイン速度が算出される。算出されたズームイン速度に基づいて、ズームイン動作における広角側のズームレンズ制御が開始される。なお、図５に示す例では、ズームイン速度の算出に、図４に示す閾値Ｔｈ１，Ｔｈ２と同じ閾値を用いているが、異なる閾値を用いてもよい。すなわち、ズーム制御部１１６は、動き量Ａ１が所定の閾値を超える場合に、動き量Ａ１が所定の閾値以下である場合よりも大きいズーム速度でズームイン制御を開始する。より具体的には、ズーム制御部１１６は、動き量Ａ１と閾値Ｔｈ２との差の大きさに応じたズーム速度でズームイン制御を開始する。

図６は、目標ズーム位置までのズームイン速度を説明する図である。
図３のＳ１０９において、ズーム制御部１１６は、ズーム位置が、図６中のｆ１を開始点とする広角側の所定のズーム領域内である場合に、一定のズーム速度であるズームイン速度Ｖ３でズームイン制御を実行する。Ｓ１１１において、所定のズーム領域を超えて望遠側に近づくと、ズーム制御部１１６は、ズーム速度を変更し、通常時のズームイン速度２まで徐々にズーム速度を落としていく。ズーム位置が基準ズーム位置ｆ０に到達すると、ＦＡズーム制御を終了する。

また、Ｓ１０２においてユーザが急に被写体を見失ったと判定されなかった場合、Ｓ１０３において、ズーム制御部１１６が、ズームアウト制御を実行する。具体的には、ズーム制御部１１６は、通常の操作部材、例えば、シーソー型のレバーによるズーム操作と同じ速度でズームアウト制御を行う。ズーム位置が目標ズーム位置ｆ１に到達した時点で、処理がＳ１０４に進む。

Ｓ１０４において、ズーム制御部１１６が、撮影者が被写体を捉えているかを判定する。動き量Ａ２が閾値Ｔｈ３より小さい値に収束した場合に、ズーム制御部１１６が、撮影者が被写体を捉えていると判定する。撮影者が被写体を捉えていないと判定した場合は、処理がＳ１０４に戻る。撮影者が被写体を捉えていると判定した場合は、処理がＳ１０５に進む。Ｓ１０５において、ズーム制御部１１６が、通常のズーム速度でズームインを行う。

図７は、図３のステップＳ１０５におけるズームイン速度を説明する図である。
ズーム制御部１１６は、通常のズーム速度つまり、通常の操作部材、例えば、シーソー型のレバーによるズーム操作と同じ速度でズームアウト制御を行う。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。すなわち、撮像装置１００は必ずしも１台のメカで構成されていなくともよい。例えば、撮像装置１００がレンズ交換式のカメラであって、μＣＯＭ１０２、振れ検出センサ１０１、ブレ補正機構１０８、ズームレンズ１１８を交換式のレンズ内に含む構成も本発明に含まれる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ μＣＯＭ
１１６ ズーム制御部

Claims (10)

1. 装置の動き量を算出する算出手段と、前記算出手段により算出された第１の動き量に基づいてズーム速度を決定して撮影画角を変更する制御を実行する制御手段とを備え、
   前記制御手段は、前記第１の動き量が、第１の閾値を超える場合に、前記撮影画角を広角側にする第１の制御を実行し、前記第１の動き量が、第２の閾値を超える場合に、前記第１の制御のズーム速度を変更することを特徴とする画像処理装置。
2. 前記第１の閾値、前記第２の閾値は、それぞれ、ズーム位置に応じて異なる値をとることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の閾値は、前記第１の閾値以上の値であることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記制御手段は、前記第１の動き量が、前記第２の閾値を超える場合に、前記第１の動き量と前記第２の閾値との差の大きさに応じたズーム速度で前記第１の制御を実行することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記第１の制御の後に前記算出手段により算出された第２の動き量が第３の閾値より小さい場合に、前記撮影画角を望遠側にする第２の制御を実行することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、前記第２の動き量が所定の閾値を超える場合に、前記第２の動き量が所定の閾値以下である場合よりも大きいズーム速度で前記第２の制御を開始することを特徴とする請求項５に記載の画像処理装置。
7. 前記制御手段は、前記第２の動き量が所定の閾値を超える場合に、前記第２の動き量と前記閾値との差の大きさに応じたズーム速度で前記第２の制御を開始することを特徴とする請求項５または請求項６に記載の画像処理装置。
8. 前記制御手段は、ズーム位置が広角側の所定のズーム領域内である場合に、一定のズーム速度で前記第２の制御を実行し、ズーム位置が広角側の所定のズーム領域を超えた場合に、前記第２の制御のズーム速度を変更することを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
9. 被写体光を光電変換して撮影画像を出力する撮像素子を備えることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置として機能する撮像装置。
10. 装置の動き量を算出する算出工程と、前記算出工程により算出された第１の動き量に基づいてズーム速度を決定して撮影画角を変更する制御を実行する制御工程とを有し、
    前記制御工程では、前記第１の動き量が、第１の閾値を超える場合に、前記撮影画角を広角側にする第１の制御を実行し、
    前記第１の動き量が、第２の閾値を超える場合に、前記第１の制御のズーム速度を変更することを特徴とする画像処理装置の制御方法。

Images