JP4915420B2

JP4915420B2 - 電子カメラ

Info

Publication number: JP4915420B2
Application number: JP2008549200A
Authority: JP
Inventors: 真樹鈴木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-12-11
Filing date: 2007-12-11
Publication date: 2012-04-11
Anticipated expiration: 2027-12-11
Also published as: JP2012124916A; JPWO2008072374A1; US20100013977A1; WO2008072374A1; US8264545B2

Description

本発明は、被写体追尾機能を備えた電子カメラに関する。

従来より、カメラにおいて、比較的動きの大きな被写体（人物、動物、乗り物など）の撮影時に、ユーザが意図した構図を保ちつつフォーカス調整や露光条件のコントロールを行うために特許文献１に始まる被写体追尾技術が考えられている。

被写体追尾技術においては、主要被写体を自動的に追尾し、その主要被写体を中心にフォーカス調整や露光条件のコントロールが行われている。
特開昭６０−２６３５８４号公報

しかしながら、追尾対象である被写体が画角全体に比較して小さい場合には、ユーザがその被写体を判別しにくいことがある。また、画角内に複数の被写体が存在する場合にはさらに判別が困難になる。このような場合、ユーザは、追尾対象である被写体を判別するためにズーム操作（拡大）を行うことになる。しかし、ズーム操作を行うことにより、画角が狭まり、構図全体を俯瞰することができなくなる。つまり、追尾対象である被写体を頻繁に確認する必要がある状況において、ユーザは、拡大および縮小のためのズーム操作を繰り返し行うことになる。特に、動画像の撮影中に上記のようなズーム操作を行うと、画角・構図変化が全て記録されてしまう。このような「ユーザの意図に反した画角・構図変化」は鑑賞者にとっても不快なものとなる。

本発明の電子カメラは、追尾対象である被写体の詳細をより迅速かつ簡単に確認可能とすることを目的とする。

本発明の電子カメラは、被写体像を撮像して画像を生成する撮像部と、前記撮像部による撮像倍率を、電気的手法と光学的手法との少なくとも一方を用いて変更する倍率変更部と、前記撮像部により生成した前記画像に基づいて、前記撮像部による撮像時の焦点検出対象領域を継続的に選択する選択部と、前記選択部による前記焦点検出対象領域の選択精度を監視する監視部と、前記撮像部により生成した前記画像を表示可能な表示部と、前記撮像部により生成した前記画像から前記焦点検出対象領域に対応する部分を切り出して追尾対象確認用画像を生成する生成部と、前記撮像部による撮像時に、前記撮像部により生成した前記画像に基づく構図確認用のスルー画像と、前記追尾対象確認用画像とを重畳して前記表示部に表示するとともに、前記選択精度が所定の精度よりも低下した場合に、前記表示部に警告表示を行うことにより前記選択精度が所定の精度よりも低下したことをユーザに報知する制御部とを備え、前記制御部は、前記選択精度が所定の精度よりも低下した場合に、前記撮像倍率に応じて、前記追尾対象確認用画像を拡大または縮小して表示する。

また、好ましくは、前記制御部は、前記追尾対象確認用画像を前記焦点検出対象領域と重ならない位置に表示しても良い。

また、好ましくは、前記追尾対象確認用画像を表示する位置を指定するユーザ指示を受け付ける受付部をさらに備え、前記制御部は、前記ユーザ指示にしたがって、前記追尾対象確認用画像を表示しても良い。

また、好ましくは、前記追尾対象確認用画像の拡大倍率を指定するユーザ指示を受け付ける受付部をさらに備え、前記制御部は、前記ユーザ指示にしたがって、前記追尾対象確認用画像を拡大または縮小して表示しても良い。

また、好ましくは、前記撮像部により生成した前記画像と、撮像時の前記焦点検出対象領域の位置を示す位置情報とを関連付けて記録する記録部と、前記記録部に記録した前記画像を前記表示部に表示するユーザ指示を受け付ける受付部とをさらに備え、前記ユーザ指示を受け付けると、前記生成部は、前記位置情報に基づいて、前記画像から前記焦点検出対象領域に対応する部分を切り出して前記追尾対象確認用画像を生成し、前記制御部は、前記画像と前記追尾対象確認用画像とを重畳して前記表示部に表示しても良い。

また、好ましくは、前記撮像部により生成した前記画像と前記追尾対象確認用画像とを重畳した重畳画像を作成する作成部と、前記重畳画像を記録する記録部とをさらに備えても良い。

本発明の電子カメラによれば、追尾対象である被写体の詳細をより迅速かつ簡単に確認可能とすることができる。

電子カメラ１の背面外観図である。電子カメラ１の機能ブロック図である。追尾対象の被写体の選択について説明する図である。追尾対象確認用画像について説明する図である。警告表示について説明する図である。追尾対象確認用画像の表示位置について説明する図である。

以下、本発明の実施形態について説明する。本実施形態の電子カメラ１は、図１の背面外観図に示すように、上面に電源ボタン２、レリーズボタン３を備える。また、背面に液晶モニタ４、ズームボタン５、十字ボタン６を備える。電子カメラ１は、この他に、メニューボタン、モード選択ボタン、再生ボタン、ゴミ箱ボタンなどを備えても良い。

図２は、電子カメラ１の機能ブロック図である。電子カメラ１は、図２に示すように、不図示の撮影レンズや撮像素子などを含む撮像部１０、電源ボタン２、レリーズボタン３、ズームボタン５、十字ボタン６などを含む操作部１１、各部を制御する制御部１２、液晶モニタ４の表示内容を制御する表示処理部１３、撮像部１０により取得した画像データに対して画像処理を施す画像処理部１４、画像データなどを記録する記録部１５を備える。

図２において、撮像部１０、表示処理部１３、画像処理部１４、記録部１５は、制御部１２と相互に接続される。また、操作部１１の状態は制御部１２により検知され、表示処理部１３の出力は液晶モニタ４に接続される。

以上説明した構成の電子カメラ１は、ユーザが意図した構図を保ちつつフォーカス調整や露光条件のコントロールを行うための被写体追尾機能を備える。被写体追尾機能の詳細は、公知技術と同様であるため説明を省略する。また、電子カメラ１は、動画像撮影、静止画像撮影を含む撮影モードと、記録部１５に記録した画像を再生する再生モードとの２つのモードを有する。撮影モードにおいて、制御部１２は、撮像部１０を制御して画像を生成するとともに、生成した画像に基づいて、表示処理部１３および画像処理部１４を制御して、構図確認用のスルー画像を液晶モニタ４に表示する。一方、再生モードにおいて、制御部１２は、再生対象の画像を記録部１５から読み出し、表示処理部１３および画像処理部１４を制御して液晶モニタ４に表示する。

なお、上述した被写体追尾機能のＯＮ、ＯＦＦおよび撮影モード、再生モードの選択は、操作部１１を介したユーザ指示により行われる。

電子カメラ１が撮影モードに設定された状態で、被写体追尾機能がＯＮされると、制御部１２はこれを検知し、初期設定として追尾対象の被写体の選択をユーザに促す。以下では、図３に示す人物Ｐ１を追尾対象として選択する場合を例に挙げて説明する。この選択は、操作部１１を介して行われる。制御部１２は、追尾対象を選択するユーザ指示を受け付けると、これを検知し、表示処理部１３を制御して、液晶モニタ４に追尾対象枠Ｆ１を表示する。そして、後述する表示タイミングにおいて、液晶モニタ４に表示しているスルー画像に重畳して追尾対象確認用画像を表示する。

追尾対象確認用画像とは、追尾対象の被写体を部分的に拡大した画像である。図４に例を示す。図４において、追尾対象である人物Ｐ１の部分的な拡大画像Ｃ１が追尾対象確認用画像である。この画像の作成方法として、例えば、以下の２種類がある。１つ目は、スルー画像の一部を切り出し、デジタル的に拡大する方法である。この方法では、デジタル的な拡大により画質が多少低下するおそれはあるが、追尾対象の確認には十分な画像が得られるとともに、作成に必要な処理的な負荷を抑えることができる。２つ目の方法は、撮像部１０の撮像素子の解像度に応じて、スルー画像とは別に追尾対象確認用画像を作成する方法である。例えば、液晶モニタ４の解像度がＶＧＡサイズ（６４０×４８０ピクセル）であり、撮像素子の動画像取得能力がさらに高精細である場合（例えば、ＶＧＡの２倍相当＝１２８０×９６０ピクセル）には、スルー画像は縮小処理により生成される。そこで、撮像素子により取得した高精細な画像を縮小せずにそのまま追尾対象確認用画像として使用すれば良い。

また、追尾対象確認用画像をスルー画像に重畳して表示する際には、はめ込み合成により重畳しても良いし、加算合成により重畳しても良い。はめ込み合成により重畳する場合には、追尾対象確認用画像の表示精度向上が図れる。また、加算合成により重畳する場合には、スルー画像の全容を継続的に表示することができる。

制御部１２は、以下の何れかのタイミングで追尾対象確認用画像の液晶モニタ４への表示を開始する。

（１）追尾対象の初期設定後、常時表示する。

制御部１２は、ユーザにより被写体追尾機能の初期設定が行われると、追尾対象確認用画像の表示を開始する。

（２）追尾対象の選択精度が所定の精度よりも低下した場合に表示する。

制御部１２は、追尾対象の選択精度を監視し、選択精度が所定の精度よりも低下した場合に、追尾対象確認用画像の表示を開始する。追尾対象の選択精度は、例えば、パターンマッチング技術により追尾対象を選択している場合には、パターンマッチングにおける差分により求めれば良い。なお、追尾対象の選択精度は、例えば、追尾対象の被写体が振り向いた場合や、追尾対象の被写体が他の被写体と交錯した場合などに低下すると考えられる。

選択精度が所定の精度よりも低下した場合に、追尾対象確認用画像を表示することにより、選択精度が所定の精度よりも低下したことをユーザに報知することができる。

さらに、制御部１２は、選択精度が所定の精度よりも低下したことをユーザに報知するために、液晶モニタ４に警告表示を行っても良い。警告表示は、例えば、図５に示すように、拡大画像Ｃ１の枠を点滅させたり、枠の色を変更することにより行う。また、選択精度が所定の精度よりも低下したことを示すエラーメッセージを表示しても良い。

また、選択精度の程度に合わせて、段階的に警告表示を変化させても良い。

（３）追尾対象の大きさが、所定の大きさ以下になった場合に表示する。

制御部１２は、追尾対象として選択された被写体の大きさが、スルー画像において所定の大きさ以下になった場合に、追尾対象確認用画像の表示を開始する。追尾対象の大きさは、例えば、スルー画像の大きさに対する追尾対象の大きさの面積比により求めれば良い。そして、この面積比が所定の値より小さくなった場合に、追尾対象確認用画像を表示する。なお、追尾対象の大きさは、例えば、追尾対象が遠ざかった場合や、ユーザによるズーム操作が行われた場合などに小さくなると考えられる。

追尾対象の大きさが、所定の大きさ以下になった場合に、追尾対象確認用画像を表示することにより、ユーザによる視認補助を実現できる。

（４）ユーザ指示にしたがって表示する。

操作部１１を介したユーザ指示を受け付けると、制御部１２はこれを検知し、追尾対象確認用画像の表示を開始する。

なお、（１）から（４）で説明したように追尾対象確認用画像の表示を開始した後に、追尾対象確認用画像の表示を継続的に行う構成としても良いし、一定時間で自動的に終了する構成としても良いし、ユーザ指示にしたがって終了する構成としても良い。また、何れかをユーザにより選択可能とするのが好ましい。

制御部１２は、以下の何れかの方法で追尾対象確認用画像を液晶モニタ４に表示する位置を決定する。

（１）固定位置に表示する。

制御部１２は、予め定められた位置（例えば、右上部分）に追尾対象確認用画像を表示する。

（２）追尾対象枠と重ならない位置に表示する。

制御部１２は、追尾対象枠と重ならない位置に追尾対象確認用画像を表示する。例えば、図４で説明した状態から被写体が変化（移動）し、図６に示す状態になった場合には、図４に示した拡大画像Ｃ１と追尾対象枠Ｆ１とが重なってしまう。そこで制御部１２は、図６に示すように、追尾対象枠Ｆ１と重ならない位置に拡大画像Ｃ２を表示する。

このように、追尾対象枠と重ならない位置に追尾対象確認用画像を表示することにより、ユーザは追尾対象の確認と、画角（構図）の確認とを同時に行うことができる。

（３）ユーザ指示により指定された位置に表示する。

操作部１１を介したユーザ指示を受け付けると、制御部１２はこれを検知し、ユーザ指示にしたがって、追尾対象確認用画像を表示する位置を決定する。ユーザは、例えば、十字ボタン６を操作することにより、追尾対象確認用画像を表示する位置を決定する。

制御部１２は、以下の何れかの倍率で追尾対象確認用画像を拡大または縮小して液晶モニタ４に表示する。

（１）固定倍率で表示する。

制御部１２は、予め定められた倍率（例えば２倍、３倍など）で追尾対象確認用画像を表示する。

（２）撮像倍率に応じて拡大または縮小して表示する。

制御部１２は、電子カメラ１による撮像倍率（光学ズーム倍率、電子ズーム倍率の少なくとも一方を含む）に応じて、追尾対象確認用画像を拡大または縮小して表示する。

撮像倍率に応じて、追尾対象確認用画像を拡大または縮小して表示することにより、追尾対象確認用画像における被写体の大きさの大幅な変化を抑えることができるので、ユーザにとって好ましい視認補助を実現できる。

（３）ユーザ指示にしたがって拡大または縮小して表示する。

操作部１１を介したユーザ指示を受け付けると、制御部１２はこれを検知し、ユーザ指示にしたがって、追尾対象確認用画像を拡大または縮小して表示する。ユーザは、例えば、十字ボタン６を操作することにより、追尾対象確認用画像の表示倍率を決定する。なお、上述した追尾対象確認用画像を表示する位置の決定にも十字ボタン６を使用する場合には、切り替え操作などを組み合わせると良い。

制御部１２は、以下の何れかの方法で追尾対象確認用画像に関わる情報を記録する。

（１）生成した画像と追尾対象の位置情報とを関連付けて記録する。

制御部１２は、撮像部１０により生成した画像と、その画像の撮像時の追尾対象の被写体の位置情報とを関連付けて記録部１５に記録する。そして、再生モードにおいて、その画像の再生を行う際には、画像と位置情報とを記録部１５から読み出し、位置情報に基づいて追尾対象確認用画像と同様の画像を生成した上で、再生する画像と追尾対象確認用画像とを重畳して液晶モニタ４に表示する。

このような表示を行うことにより、ユーザは、再生している画像が撮像された時点における追尾対象の被写体の詳細を簡単に確認することができる。なお、再生モードにおいて重畳表示を行うか否かはユーザにより選択可能とすると良い。

また、再生モードにおいて、再生する画像と追尾対象確認用画像とを重畳して表示する代わりに、追尾対象枠（図４〜図６追尾対象枠Ｆ１参照）のみを、再生する画像に重畳して表示しても良い。このような表示を行うことにより、再生する画像の表示を妨げることなく、ユーザは、再生している画像が撮像された時点における追尾対象の被写体を簡単に確認することができる。

また、再生モードにおいて、追尾対象の位置情報と公知技術である顔検出技術とを組み合わせても良い。例えば、追尾対象の位置情報に基づいて生成した追尾対象確認用画像と同様の画像に対して顔検出を行い、顔部分のみを拡大した上で、再生する画像と重畳し、液晶モニタ４に表示しても良い。また、追尾対象確認用画像とは別に、顔検出結果に基づく確認用画像を生成し、この確認用画像を、再生する画像と重畳して液晶モニタ４に表示しても良い。このような表示を行うことにより、追尾対象の位置情報が被写体の顔部分に対応していなかった場合（例えば、胴体などに対応していた場合）でも、被写体の顔部分を確実に表示することができる。

また、生成した画像が動画像である場合、再生モードにおいて、追尾対象の位置情報に基づいてスキップ再生を行っても良い。例えば、動画像のうち、追尾対象の位置情報が存在しない部分は、主要被写体が存在しないと見なし、この部分を飛ばして再生する構成としても良い。この場合、フェードインおよびフェードアウトの技術などを用いて、ユーザに違和感を感じさせない自然な再生を行うのが好ましい。

また、追尾対象の位置情報に基づいて、一覧表示用のサムネイル画像を生成しても良い。追尾対象は主要被写体である確率が高いので、追尾対象の位置情報に基づいてサムネイル画像を生成して使用することにより、ユーザは画像の内容を把握しやすくなる。さらに、上述した追尾対象確認用画像を適宜縮小してサムネイル画像として利用する構成としても良い。

また、再生モードにおいて、再生する画像に別の画像をはめ込み合成して表示する際に、追尾対象の位置情報を用いても良い。例えば、別の電子カメラなどで撮像した動画像を無線などを用いて電子カメラ１で共有する場合、追尾対象の位置情報に基づいて、追尾対象と重ならない位置に共有先の画像を表示する。追尾対象は主要被写体である確率が高いので、このような表示を行うことにより、ユーザは主要被写体と共有先の画像との両方を視認することができる。

（２）重畳画像を作成して記録する。

制御部１２は、撮像部１０により生成した画像と、上述した追尾対象確認用画像とを重畳した重畳画像を作成して記録部１５に記録する。そして、再生モードにおいて、その重畳画像の再生を行う際には、重畳画像を記録部１５から読み出して液晶モニタ４に表示する。

このような表示を行うことにより、ユーザは、再生している画像が撮像された時点における追尾対象の被写体の詳細を簡単に確認することができる。なお、重畳画像を作成するか否かはユーザにより選択可能とすると良い。

また、上述した撮影モードにおいて説明した追尾に関する処理の一部または全部を、再生モードにおいても実行可能としても良い。このような構成とすることにより、再生モードにおいて、撮影時とは異なる被写体を追尾対象とすることができる。

＜変形例＞
液晶モニタ４をＴＦＴ液晶などの表示素子を備えたタッチパネル方式のモニタにより構成しても良い。この場合、ユーザは、液晶モニタ４に指やタッチペンなどで接触することにより、各種選択などを行うことができる。

この場合、例えば、追尾対象の初期設定時には、追尾対象として選択したい部分の選択を液晶モニタ４上で簡単に行うことができる。また、追尾対象確認用画像の表示開始指示、表示位置の決定、表示倍率の決定も同様に液晶モニタ４上で簡単に行うことができる。例えば、追尾対象枠を液晶モニタ４上でドラッグすることにより表示位置の決定（変更）を行っても良い。

以上説明したように、本実施形態によれば、被写体像を撮像して画像を生成する撮像部と、撮像部により生成した画像に基づいて、撮像部による撮像時の焦点検出対象領域を継続的に選択する選択部と、撮像部により生成した画像を表示可能な表示部と、撮像部により生成した画像から焦点検出対象領域に対応する部分を切り出して追尾対象確認用画像を生成する生成部とを備え、撮像部による撮像時に、撮像部により生成した画像に基づく構図確認用のスルー画像と、追尾対象確認用画像とを重畳して表示部に表示する。したがって、ユーザは、この表示部を目視することにより、追尾対象である被写体の詳細をより迅速かつ簡単に確認することができる。

なお、本実施形態では、背面に液晶モニタ４を備える電子カメラ１を用いて説明を行ったが、一眼レフタイプの電子カメラで、構図確認用のスルー画像を表示可能な表示部（いわゆる「電子ビューファインダ」）を備えた電子カメラにも本発明を同様に適用することができる。

また、本実施形態では、スルー画像と追尾対象確認用画像とを重畳して表示する例を示したが、スルー画像と追尾対象確認用画像とを切り替えて表示する構成としても良い。

また、本実施形態で説明した発明は、動画像撮影時にも静止画像撮影時にも同様に適用することができる。

また、本実施形態では、１つの被写体を追尾対象として説明したが、複数の被写体を追尾対象とする場合にも本発明を同様に適用することができる。例えば、複数の被写体を追尾対象候補とし、何れかの被写体をユーザに選択させる場合には、本実施形態で説明した追尾対象確認用画像の表示が非常に有効である。

また、本実施形態で説明した、追尾対象確認用画像の表示と組み合わせて、追尾対象の再設定を行っても良い。例えば、追尾対象確認用画像を表示した状態で、操作部１２を介して所定の操作を受け付けた場合には、追尾対象の再設定を可能とすると良い。また、上述したタッチパネル方式のモニタの場合には、追尾対象を表示した状態で、モニタ上の任意の位置を選択することにより追尾対象の再設定を可能とすると良い。

また、本実施形態で説明した技術は、携帯電話やコンピュータなどに内蔵された電子カメラにも同様に適用することができる。

Claims

被写体像を撮像して画像を生成する撮像部と、
前記撮像部による撮像倍率を、電気的手法と光学的手法との少なくとも一方を用いて変更する倍率変更部と、
前記撮像部により生成した前記画像に基づいて、前記撮像部による撮像時の焦点検出対象領域を継続的に選択する選択部と、
前記選択部による前記焦点検出対象領域の選択精度を監視する監視部と、
前記撮像部により生成した前記画像を表示可能な表示部と、
前記撮像部により生成した前記画像から前記焦点検出対象領域に対応する部分を切り出して追尾対象確認用画像を生成する生成部と、
前記撮像部による撮像時に、前記撮像部により生成した前記画像に基づく構図確認用のスルー画像と、前記追尾対象確認用画像とを重畳して前記表示部に表示するとともに、前記選択精度が所定の精度よりも低下した場合に、前記表示部に警告表示を行うことにより前記選択精度が所定の精度よりも低下したことをユーザに報知する制御部とを備え、
前記制御部は、前記選択精度が所定の精度よりも低下した場合に、前記撮像倍率に応じて、前記追尾対象確認用画像を拡大または縮小して表示する
ことを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記追尾対象確認用画像の拡大倍率を指定するユーザ指示を受け付ける受付部をさらに備え、
前記制御部は、前記ユーザ指示にしたがって、前記追尾対象確認用画像を拡大または縮小して表示する
ことを特徴とする電子カメラ。
請求項１または請求項２に記載の電子カメラにおいて、
前記撮像部により生成した前記画像と、撮像時の前記焦点検出対象領域の位置を示す位置情報とを関連付けて記録する記録部と、
前記記録部に記録した前記画像を前記表示部に表示するユーザ指示を受け付ける受付部とをさらに備え、
前記ユーザ指示を受け付けると、
前記生成部は、前記位置情報に基づいて、前記画像から前記焦点検出対象領域に対応する部分を切り出して前記追尾対象確認用画像を生成し、
前記制御部は、前記画像と前記追尾対象確認用画像とを重畳して前記表示部に表示する
ことを特徴とする電子カメラ。
請求項１から請求項３の何れか１項に記載の電子カメラにおいて、
前記撮像部により生成した前記画像と前記追尾対象確認用画像とを重畳した重畳画像を作成する作成部と、
前記重畳画像を記録する記録部とをさらに備える
ことを特徴とする電子カメラ。
請求項１から請求項４の何れか１項に記載の電子カメラにおいて、
前記制御部は、前記追尾対象確認用画像を前記焦点検出対象領域と重ならない位置に表示する
ことを特徴とする電子カメラ。
請求項１から請求項５の何れか１項に記載の電子カメラにおいて、
前記追尾対象確認用画像を表示する位置を指定するユーザ指示を受け付ける受付部をさらに備え、
前記制御部は、前記ユーザ指示にしたがって、前記追尾対象確認用画像を表示する
ことを特徴とする電子カメラ。