JP4025362B2 - 撮影装置および撮影方法 - Google Patents

撮影装置および撮影方法 Download PDF

Info

Publication number
JP4025362B2
JP4025362B2 JP2007526079A JP2007526079A JP4025362B2 JP 4025362 B2 JP4025362 B2 JP 4025362B2 JP 2007526079 A JP2007526079 A JP 2007526079A JP 2007526079 A JP2007526079 A JP 2007526079A JP 4025362 B2 JP4025362 B2 JP 4025362B2
Authority
JP
Japan
Prior art keywords
image
subject
zoom
movement
focal length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007526079A
Other languages
English (en)
Other versions
JPWO2007094219A1 (ja
Inventor
秀人 本村
克洋 金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP4025362B2 publication Critical patent/JP4025362B2/ja
Publication of JPWO2007094219A1 publication Critical patent/JPWO2007094219A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

本発明は、画像撮影に係り、撮影意図と映像を分離して記録する技術に関するものである。
近年、様々な機器のデジタル化と集積化技術の高度化によって、映像をデジタル記録できるカメラ、すなわち、デジタルビデオカメラが広く普及してきた。デジタル記録は、他のメディアとの親和性が高く、ネットワークでの配信や映像編集など、様々な利用形態が民生用途で広がりを見せている。
カメラは、図1Aに示すように、シーン1801の中から一部を切り出して画像データとして保存する。切り出す位置は撮影者が撮影意図に応じて決定し、シーンの中に切り出し枠1802を設定する意味合いでフレーミングと呼ばれる。フレーミングを決める要因は、カメラの位置1803、カメラの方向1804、カメラの角度1805(横向きに構えるか、縦向きに構えるか、斜めに構えるか)、カメラの画角1806の4つである。このうち、カメラの位置は、図1Bの表1807、および図1Cに示すように、トラッキング1808(左右に水平移動)、ブーミング1809(鉛直移動)、ドリーイング1810(前後に水平移動)で調整する。また、カメラの方向は、図1Dに示すように、パンニング1811(カメラ中心で水平方向に回転)、チルティング1812(カメラ中心で鉛直方向に回転)で調整する。また、カメラの回転は、図1Dに示すように、ローリング1813(光軸を中心に回転)で調整する。カメラの画角は、ドリーイング1810、ズーミング1814で調整する。ズーミングには、光学系の焦点距離を変更する光学ズームと、画像処理による電子ズームが利用される。以上のように、フレーミングは、トラッキング1808からズーミング1814までの7種類のカメラワークで撮影者によって決定される。
撮影者は、撮影意図に応じて、図1A〜図1Dに示したカメラワークを使い分けて、様々なフレーミングを作り出すことができる。たとえば、図2は、撮影者1901が被写体1902の側面から正面に回りこみながら、かつ、ビデオカメラ2001の多焦点レンズ2002の焦点距離を連続的に長くしてズーム倍率を上げる(ズームインする)撮影例を示す図である。ここで、画像IC1、画像IC2、画像IC3は、ビデオカメラ2001のファインダ2003に映し出される撮影画像を示し、それぞれ、撮影倍率1倍、2倍、4倍に相当する。この撮影例では、撮影者1901は、体の移動と回転でトラッキングとパンニングを行いつつ、同時に、ズーミングを行う。
以上のように、7種類のカメラワークを自由に使い分けることで、様々なフレーミングが設定でき、映像表現力を高めることができるが、同時に、自由度の高さ故に、カメラワークを撮影意図どおりに制御できず、フレーミングが不適正になる場合がある。たとえば、図3は、被写体1902が右方向に移動したため、トラッキングとパンニングの制御が適正に実行できず、被写体1902がフレームから外れて(フレームアウトして)撮りこぼした例であり、図2のように、常に被写体1902を画面の中央に捉えたい、という撮影意図どおりにフレーミングを設定できなかった。被写体1902は、時間T1、時間T2、時間T3と時間が進むごとに右に移動し、撮影者1901は、トラッキングとパンニングが適切に制御できず、画像IC4に示すように、時間T1で画面中央に捉えていた被写体1902が、画像IC5に示すように、時間T2では画面右側にずれ、次に、画像IC6に示すように、時間T3では画面右側にフレームアウトして、撮りこぼしが発生した。
以上のような撮影意図どおりにフレーミングが設定できない課題を解消するために、フレーミングを撮影後に再設定できる技術が開示されている(例えば、特許文献1参照)。すなわち、図4Aに示すように、ビデオカメラ2001の多焦点レンズ2002の焦点距離を短く(たとえば35mm)して、広角で撮影し、画角2101を確保して被写体1902を捉え、取りこぼしを防ぐ。撮影画像は、図4Bに示す画像IC7のように、被写体1902をフレーム内に捉えるが、トラッキングとパンニングが適切に制御できない影響で、画面の右側にずれたフレーミングになる。図3の画像IC6は、ビデオカメラ2001の多焦点レンズ2002の焦点距離を長く(たとえば140mm)して画角を画角2102のように狭め、ズーム倍率4倍の撮影画像をフレーム2201として得ている。そこで、図2の画像IC3のように、被写体1902を画面中央に捉えたい、という撮影意図に合致させるために、フレーム2202で画像IC8を切り出し、これをファインダ2003に表示する。撮影時のフレーミングはフレーム2201であったが、これを撮影後に、フレーム2202に再設定して、撮影意図どおりのフレーミングを確保している。
加えて、特許文献1では、画像処理によるズーミングである電子ズームで画質が劣化する対策として、画素数とライン数の多い高精細撮像素子を利用する。多焦点レンズ2002の焦点距離を、たとえば35mmから140mmに4倍長くすると、画角は、画角2101から画角2102に変更され、ファインダ2003には、画角2101の場合の4倍の大きさで被写体1902が映し出される。もし、ビデオカメラ2001の撮像素子の画素数とライン数がファインダ2003と同一で、たとえば640画素×480ラインであったとすると、被写体1902がフレームアウトしないように、画角2101で広角撮影すると、ファインダ2003に表示したい領域は1/4に小さくなる。そこで、画像IC7を640画素×480ラインで得た場合、切り出したいフレーム2202は、160画素×120ラインになり、640画素×480ラインのファインダ2003に表示するために、画像処理で4倍拡大を行う必要がある。特許文献1では、画像処置による画像拡大を避けるために、ビデオカメラ2001の撮像素子の画素数とライン数を増やし、切り出し処理のみで、画角2102の光学ズーム4倍と同等の画質を得る。すなわち、ファインダ2003の画像サイズが、640画素×480ラインであるとすると、撮像素子には、2560画素×1920ラインを用いる。
特開2005−12423号公報(図3) 日本ビクター株式会社、「ハードディスクムービー、主な仕様」、[平成18年2月10日検索]、インターネット<URL:http://www.jvc−victor.co.jp/dvmain/gz−mg70/spec.html>
しかしながら、従来の技術では、撮影画像が保存される記録メディアの記録容量が考慮されていない課題を有する。たとえば、2560画素×1920ラインの撮像素子を用いた場合、RGB24ビットのフレーム画像1枚の容量は約14.7MBであり、1秒間に30フレーム撮影すると、1秒間の記録容量は約441MBになる。たとえば、非特許文献1のビデオカメラを想定した場合、ハードディスクの容量が30GBであるので、特許文献1の方式で映像を記録すると、約68秒でディスク容量を使い切る。また、非特許文献1のビデオカメラを想定した場合、動画記録時間は7時間(画質モードを最高レベルにした場合)であるため、撮影画像を圧縮して、7時間分の映像を30GBのハードディスクに記録するには、約0.3%までデータ量を削減しなければならない。
そこで、本発明は上記の事情に鑑みてなされたものであり、被写体または撮影者が動いた場合であっても、被写体の撮りこぼしを最小限に抑え、かつ長時間録画することができる撮影装置および撮影方法を提供することを目的とする。
上記目的を達成するため、本発明に係る撮影装置は、多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影する撮影装置であって、前記被写体の動きを検出する被写体動き検出手段と、当該撮影装置の動きを検出する撮影装置動き検出手段と、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出手段と、前記多焦点光学レンズの焦点距離を前記焦点距離算出手段によって算出された焦点距離に合わせるように制御する焦点距離制御手段と、前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定手段と、前記フレーム領域設定手段によって切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理手段と、前記電子ズーム処理手段によって電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示手段と、前記ズーム倍率と前記光学ズーム画像とを保存する記録メディア手段とを備えることを特徴とする。
本発明に係る撮影装置および撮影方法によれば、被写体あるいはビデオカメラが動いて撮影意図どおりにフレーミングが制御できなかった場合に、広角撮影画像から画像を切り出すことでフレーミングを修正できる。また、フレーミングの再設定の可能性が低い場合、記録メディアへの記録容量を削減することで、映像の記録時間を長くすることができる。さらに、記録メディア上のデータ管理を、表示画像として利用される可能性の大小に応じた適応処理とすることで、映像の記録時間を長くすることができる。
本発明の実施の形態に係る撮影装置は、多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影する撮影装置であって、前記被写体の動きを検出する被写体動き検出手段と、当該撮影装置の動きを検出する撮影装置動き検出手段と、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出手段と、前記多焦点光学レンズの焦点距離を前記焦点距離算出手段によって算出された焦点距離に合わせるように制御する焦点距離制御手段と、前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定手段と、前記フレーム領域設定手段によって切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理手段と、前記電子ズーム処理手段によって電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示手段と、前記ズーム倍率と前記光学ズーム画像とを保存する記録メディア手段とを備えることを特徴とする。
具体的には、第1に、被写体または撮影装置が動いた場合、撮影意図に適さないフレーミングが発生しやすい、と想定して広角撮影を選択し、被写体の取りこぼしを防ぐ。すなわち、被写体あるいは撮影装置の動きが検出されたら、光学ズームを広角撮影に切り替え(多焦点レンズの焦点距離を短くする)、広い範囲でシーンを撮影し、被写体を画角内に捉える。撮影者がフレーミングを確認するファインダへの映像表示には、電子ズームを用い、たとえば、撮影者がズーム倍率を4倍に設定した場合は、広角撮影画像からズーム倍率4倍に対応した領域をフレーム領域として切り出し、電子ズームでファインダに表示する表示映像のサイズに拡大する。記録メディアには、光学ズームで決定された広角撮影映像と撮影者が指定したズーム倍率を保存する。ズーム倍率を参照すれば、撮影者がファインダで確認したフレーム領域を広角撮影映像上に特定でき、フレーム領域以外の外枠領域は、フレーミング再設定に利用できる。
第2に、被写体と撮影装置がともに静止している場合は、撮影意図どおりにフレーミングを制御しやすい、と想定して撮影時に設定されたフレーム領域のみが記録メディアに保存され、外枠領域は設けられない。そこで、撮影者がフレーミングを確認するファインダへの映像表示には、光学ズームで撮影された画像がそのまま使われ、電子ズームは動作しない(倍率1倍とする)。従って、被写体と撮影装置の両方で動きが検出されない場合は、表示に必要な画像サイズのみを記録メディアに保存して、記録容量を削減する。
これによって、ズーミングの光学的制御(光学ズーム)と電子的制御(電子ズーム)の両方を利用して撮影意図に応じたフレーミングを設定し、撮影者に撮影意図どおりの映像を表示することができる。また、被写体または撮影者が動いた場合であっても、被写体の撮りこぼしを最小限に抑え、かつ長時間録画することができる。
また、前記撮影装置は、さらに、前記記録メディア手段に保存された前記ズーム倍率、および前記ズーム倍率で決まるフレーム領域の前記光学ズーム画像上の位置のうち少なくとも1つを再設定するフレーミング再設定手段と、前記記録メディア手段に保存されている前記光学ズーム画像上の中から、前記フレーミング再設定手段によって再設定された前記ズーム倍率および前記フレーム領域の前記光学ズーム画像上の位置を用いて前記フレーム領域を切り出すフレーミング変更手段とを備えてもよい。
また、前記撮影装置は、さらに、前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除いた外枠領域とを個別の圧縮率で画像の圧縮符号化を行う圧縮符号化手段と、前記フレーム領域と前記外枠領域とを個別の圧縮率で圧縮符号化された画像の伸長復号化を行う伸長復号化手段とを備えてもよい。これによって、記録メディアの記録容量を削減することができる。すなわち、外枠領域は、フレーミングの再設定が行われない限り利用されず、また、外枠領域すべてがフレーミングの再設定で選択される可能性は低いため、外枠領域は相対的に圧縮率を高めて記録容量の削減を優先し、フレーム領域は相対的に圧縮率を低めて画質を優先することができる。
また、前記撮影装置は、さらに、前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除いた外枠領域とを前記記録メディア手段上で個別にアドレス管理を行うアドレス調整手段と、前記記録メディア手段の記録容量が上限に達した場合、前記フレーム領域のデータを前記外枠領域のアドレスに上書きする容量管理手段とを備えてもよい。これによって、撮影者にとって、より重要なフレーム領域の映像が記録される時間を長くすることができる。
また、前記フレーム領域設定手段は、前記撮影装置動き検出手段によって検出された当該撮影装置の動きから規則性を検出し、検出した前記規則性に基づいて、フレーミングを先読みするように前記光学ズーム画像の中の前記フレーム領域を移動させてもよい。これによって、撮影装置の動きに加え、フレーム領域が光学ズーム画像内で撮影装置の移動方向に移動するので、より短い時間で被写体を捉えることができ、撮りこぼしを最小限に抑えることができる。
また、前記フレーム領域設定手段は、前記被写体動き検出手段によって検出された前記被写体の動きが所定の変化以上である場合、前記被写体の動きが検出された領域へ前記光学ズーム画像の中の前記フレーム領域を移動させてもよい。これによって、例えば突然動きを早めた人物や、突然動きを止めた人物などにフレーム領域を移動することができるので、例えば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。
また、前記撮影装置は、さらに、前記光学ズーム画像の中から、特定の色および特定の画像パターンの少なくとも1つを検出する画像特徴検出手段を備え、前記焦点距離算出手段は、前記画像特徴検出手段によって前記特定の色および前記特定の画像パターンの少なくとも1つが検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記フレーム領域設定手段は、前記画像特徴検出手段によって検出された前記特定の色および前記特定の画像パターンを含むように、前記光学ズーム画像の中の前記フレーム領域を移動させてもよい。これによって、特定の色および特定の画像パターンを含む領域にフレーム領域を移動することができるので、例えば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。
なお、本発明は、このような撮影装置として実現することができるだけでなく、このような撮影装置が備える特徴的な手段をステップとする撮影方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以下、本発明の実施の形態につき図面を参照して詳細に説明する。
(実施の形態1)
本実施の形態では、被写体あるいはビデオカメラの動き検出に応じて光学ズームと電子ズームを使い分け、被写体が画角から外れる撮りこぼしの可能性を最小限に抑えて、かつ映像の記録容量も最小限に抑える撮影装置について説明する。
図5は本発明の実施の形態1に係る撮影装置の構成を示すブロック図である。
撮影装置100は、被写体200を撮影するための装置であり、多焦点光学レンズ部101、焦点距離制御部102、焦点距離算出部103、撮像素子部104、ズーム倍率設定部105、被写体動き検出部106、撮影装置動き検出部107、記録メディア部108、フレーミング再設定部109、フレーミング変更部110、フレーム領域設定部111、電子ズーム処理部112、フレーミング画像表示部113、および姿勢センサ部114を備えている。実線は映像データの流れを示し、点線は制御データの流れを示す。
多焦点光学レンズ部101は、焦点距離を変更することによって、撮像素子部104に結像される撮影画像ICの画角を変更する。焦点距離は、ズーム倍率設定部105で設定されたズーム倍率ZFに従って焦点距離算出部103で算出され、焦点距離制御部102を介して多焦点光学レンズ部101の焦点距離が設定される。図6は、焦点距離F、撮像される被写体200の長さ(画角に相当)L、被写体200と多焦点光学レンズ部101との距離D、撮像素子104の大きさSの関係を示し、これらは次の(式1)の関係を持つ。
Figure 0004025362
焦点距離Fと画角Lは反比例の関係にあり、たとえば、焦点距離Fが35mmから140mmへ4倍長くなった場合、画角Lは1/4狭くなり、倍率4倍の拡大画像が撮影できる。
ズーム倍率設定部105では、撮影者によってズーム倍率ZFが設定される。ズーム倍率ZFは、多焦点光学レンズ部101の焦点距離が最短で最も画角が広い状態を1倍とする。ズーム倍率設定部105で設定されたズーム倍率ZFは、焦点距離算出部103と記録メディア部108とフレーミング変更部109に入力する。
被写体動き検出部106は被写体200の動きを検出し、撮影装置動き検出部107は撮影装置100の動きを検出する。被写体200の動き、あるいは撮影装置100の動きの少なくとも一方が検出された場合、焦点距離算出部103に検出結果が入力され、焦点距離算出部103は焦点距離を最短(たとえば35mm)に設定し、多焦点光学レンズ部101は画角が最も広い光学ズーム1倍の状態に設定される。このような動作の目的は、被写体200と撮影装置100の少なくとも一方が動いた場合に、撮影者がフレーミングを撮影意図どおりに制御できなくなり、被写体200が画角から外れる可能性が高い、と想定して、画角が最も広い光学ズーム1倍に設定して、撮りこぼしを防止するところにある。逆に、被写体200に動きがなく、かつ撮影装置100に動きがない場合は、被写体200が画角から外れて撮りこぼしをする可能性は低いため、焦点距離算出部103はズーム倍率設定部105から与えられるズーム倍率ZF(たとえば4倍)を焦点距離制御部102に出力し、多焦点光学レンズ部101は光学ズーム4倍(たとえば35mmを1倍とした場合、140mm)に設定される。
本発明において、被写体動きの検出方法は任意であるが、たとえば、図7Aおよび図7Bに示すように、時間の異なる2つの画像の差分を求める方法などを利用する。図7Aは、時間T0から時間TEの間で被写体200が右方向に移動した場合であり、撮影装置100は静止していたとする。時間T0と時間TEの間で連続する時間Ti−1と時間Tiを考え、撮影画像をそれぞれ、撮影画像ICi−1、撮影画像ICiとする。時間Ti−1と時間Tiの間隔は、フレームレートに依存し、通常、1/30秒である。図7Bに示す画像ICOPTは、撮影画像ICi−1と撮影画像ICiを画素単位で差分を求めた結果であり、画素値が異なる画素を斜線で示した。実際はカメラノイズや、背景のわずかな動きなどを含めて様々なノイズが存在するために、差分値に閾値を設けて、閾値を超えた場合に動きありと判定する。また、閾値設定は、画素値だけでなく、画素数に対しても設定し、画素数に対する閾値を超えない場合はノイズと考えて無視する。
上記の説明では、撮影装置100が静止している仮定をおいた。逆に、被写体200が静止していて、撮影装置100が左側へトラッキングした場合、図7Aおよび図7Bと同じ撮影画像が得られる。そこで、撮影装置100の動きも図7Aおよび図7Bの原理で検出できる。しかし、図8に示すように、撮影装置100と被写体200が同時に移動して、時間Ti−1と時間Tiにおける相対的位置関係が保存され、撮影画像ICi−1と撮影画像ICiが同一になる場合が考えられる。この場合は、図7Aおよび図7Bに示した差分値を求める方法では、撮影装置100の動き、あるいは被写体200の動きを検出できない。そこで、図9に示すように、撮影装置100に姿勢センサ部114を内蔵し、撮影装置100の動きを検出する。図7Aおよび図7Bに示した被写体動き検出方法は一例であり、本発明は任意の被写体動き方法を利用できるが、いずれの方法を適用したとしても、撮影装置100の動きが独立に検出されれば、被写体200の動き検出の精度向上につながるため、姿勢センサ部114は有効に利用できる。姿勢センサ部114には、角速度センサや加速度センサなどを用いる。
記録メディア部108は、撮像素子部104から出力される撮影画像ICとズーム倍率設定部105から出力されるズーム倍率ZFを時間とともに保存する。撮影画像ICとズーム倍率ZFは記録された時間を参照することで、対応関係がわかる。被写体動き検出部106、あるいは撮影装置動き検出部107が、被写体200あるいは撮影装置100の動きを検出した際、多焦点光学レンズ部101は光学ズーム1倍に設定されるため、ズーム倍率ZFの設定値に関わらず、光学ズーム1倍の撮影画像ICが記録される。
フレーミング再設定部109とフレーミング変更部110は、撮影時には動作せず、記録した映像を再生してフレーミングを再設定する際に動作する。そこで、撮影時は、ズーム倍率設定部105から与えられたズーム倍率ZFがフレーミング変更部110を通過して、フレーム領域設定部111と電子ズーム処理部112に入力される。フレーミング再設定部109とフレーミング変更部110の動作説明は、撮影時の動作説明の後、再生時の動作説明として後述する。
フレーム領域設定部111は、ズーム倍率ZFに従って、撮像素子部104の出力である撮影画像ICから切り出すフレーム領域ICFを設定し、電子ズーム処理部112は、撮影画像ICからフレーム領域ICFを切り出して、画像処理による電子ズームでフレーミング画像IDFを生成し、フレーミング画像表示部113で撮影者にフレーミング画像IDFを表示する。
図10は、図5の撮影画像ICとフレーミング画像IDFの詳細を示す。撮影画像ICは、画素数PC、ライン数LCを有し、撮像素子部104の画素数とライン数に一致する。フレーミング画像IDFは、画素数PD、ライン数LDを有し、フレーミング画像表示部113の画素数とライン数に一致する。点線の交点は多焦点光学レンズ部101の光軸位置を表し、撮影画像ICとフレーミング画像IDFの中心と一致する。ズーム倍率ZFは、多焦点光学レンズ部101が最も広角の場合を倍率1とするため、ズーム倍率ZFに従って画角を狭めて切り出されるフレーム領域ICFの画素数は(PC)/(ZF)、ライン数は(LC)/(ZF)となる。
次にフレーム領域ICFをフレーミング画像表示部113に表示するために、画素数(PC)/(ZF)を画素数PDに、ライン数(LC)/(ZF)をライン数LDに変換する電子ズームを施す。画素数PDが画素数(PC)/(ZF)より大きい場合、あるいは、ライン数LDがライン数(LC)/(ZF)より大きい場合、電子ズームは画像拡大になる。本発明において、画像拡大方法は任意であり、図11と図12に画像拡大方法の例を示す。
図11は、線形補間法を説明する図である。実線は、被拡大画像(図10のフレーム領域ICFに相当)の画素位置を示し、実線の交点が画素を示す。画素P1は画素値S1を持ち、画素P2は画素値S2を持ち、画素P3は画素値S3を持ち、画素P4は画素値S4を持つ。点線は拡大画像(図10のフレーミング画像IDFに相当)の画素位置を示し、画素DFPの画素値SDを(式2)の線形補間演算で求める。
Figure 0004025362
図12は、データベース参照型の画像拡大方法を説明する図である。この場合、電子ズーム処理部112は、図12に示すように画像特徴解析部301、高密化データベース302、カテゴリ選定部303、および画像生成部307を備えている。また、高密化データベース302は、特徴カテゴリデータベース304、変換テーブルデータベース305、および高密化画像特徴量データベース306を備えている。
被拡大画像IS(図10のフレーム領域ICFに相当)は、画像特徴解析部301で画像特徴量FISに変換される。画像特徴量FISは、画像のテクスチャ(光沢感や凹凸感などを表す模様やパターンの総称)を表現する特徴量であり、たとえば、図13に示すように、ウェーブレット変換の係数を要素とする多次元ベクトルで表現する。すなわち、n回のスケーリングそれぞれにおいてウェーブレット変換の出力HL、LH、HH、LLを求め、これらを階層ごとに束ねることによって、(3n+1)次元ベクトルを得る。これが、画像特徴量FISに用いられる。高密化データベース302は、画像特徴量FISを空間的に密度の高い高密化画像特徴量FISHに変換する。高密化データベース302は、高密化のための画像特徴量の変換情報を画像特徴カテゴリごとに保有している。そこで、画像特徴量FISのカテゴリが、カテゴリ選定部303で選定され、図12の例では、画像特徴カテゴリ#2が選択されている。画像特徴カテゴリは、たとえば、被写体の材質の種類ごと(たとえば肌、木、石、生地など)に設定して画像特徴量を高密化すれば、材質のテクスチャを保存でき、拡大画像の画質を高品位に制御できる。カテゴリ選定部303で特定された画像特徴カテゴリは、画像特徴カテゴリデータベース304を参照して、最も類似するカテゴリを選択し、図12の例では、画像特徴カテゴリ#2が選択されている。画像特徴カテゴリデータベース304の参照によって、カテゴリ番号(この例では#2)が決定すると、変換テーブルデータベース305で同じカテゴリ番号が選択され、参照すべき高密化画像特徴量のカテゴリ番号(この例では#10)が得られる。高密化画像特徴量のカテゴリ番号に従って高密化画像特徴量データベース306から高密化画像特徴量が選択され、この例では、高密化画像特徴量#10が高密化画像特徴量FISHとして、画像生成部307に出力される。画像生成部307は画像特徴解析部301の処理の逆変換で高密化画像特徴量を拡大画像ILに変換する。画像特徴解析部301にウェーブレット変換を用いた場合は、ウェーブレット逆変換を適用する。
以上のように、被写体動き検出部106が被写体200の動きを検出するか、あるいは撮影装置動き検出部107が撮影装置100の動きを検出するか、少なくとも何れか一方が検出されると、被写体200を取りこぼす可能性が高いと想定して、画角を最も広く取り、外枠領域ICFを含めて撮影画像ICが記録メディア部108に保存される。逆に、被写体200と撮影装置100がともに静止している場合は、被写体200を取りこぼす可能性が低いと想定して、フレーム領域ICFのみが撮影画像ICとして記録メディア部108に保存される。このような動作原理により、撮りこぼしの可能性を最小限に抑えつつ、かつ記録メディア部108への記録容量を最大限に削減できる。
上記のように構成された撮影装置100を用いて撮影者が被写体200を撮影する場合の動作について説明する。
図14は、撮影装置100の動作を説明するフローチャートである。
撮影装置100は、起動されると初期設定(S101)として、焦点距離制御部102が多焦点光学レンズ部101の焦点距離を最短に設定し、ズーム倍率ZFを1にリセットする。フレーム領域設定部111と電子ズーム処理部112はズーム倍率ZFを1として動作するため、フレーミング画像表示部113にズーム倍率ZFが1の最も画角の広い画像が表示される(S102)。ズーム倍率設定部105が撮影者に解放され(S103)、撮影者は任意のタイミングでズーム倍率ZFを変更できる。撮影者が録画ボタンを押すと、被写体動き検出部106は、被写体の動きの監視を開始し、撮影装置動き検出部107は、撮影装置の動きの監視を開始する(S104)。被写体の動きと撮影装置の動きの少なくとも一方が検出されたら(S104でYES)、焦点距離算出部103はズーム倍率ZFが1となるように焦点距離を算出し、焦点距離制御部102が多焦点光学レンズ部101を倍率1に相当する広角に設定する(S105)。倍率1の広角画像からズーム倍率ZFに相当するフレーム領域ICFを設定し、電子ズーム処理部112はこのフレーム領域ICFを切り出す(S106)。そして、電子ズーム処理部112はフレーム領域ICFをフレーミング画像表示部113の画像サイズに合致するように、画像拡大、あるいは画像縮小を行う(S107)。電子ズーム画像をフレーミング画像表示部113に表示し(S108)、撮影画像ICとズーム倍率ZFとを記録メディア部108へ保存する(S109)。撮影終了の場合(S110でYES)は、動作が終了する。撮影が続いている場合(S110でNO)は被写体の動きおよび撮影装置の動きの少なくとも一方を検出するステップ(S104)へ戻る。一方、被写体の動きと撮影装置の動きがともに検出されなかったら(S104でNO)、多焦点光学レンズ部101を撮影者が設定したズーム倍率ZFに設定する(S112)。撮像素子部104の出力の撮影画像ICがフレーミング画像表示部113で表示される(S108)。
以上の説明は、撮影時の動作に関するものであったが、これらに加えて、再生時のフレーミング再設定の動作を次に説明する。
フレーミング再設定部109は、撮影時に設定したフレーミングを、撮影後に修正する手段であり、フレーム領域ICFの位置とズーム倍率ZFを変更できる。図15Aおよび図15Bは、フレーミングの再設定方法を説明する図である。画像ICToは撮影時に記録メディア部108に保存された撮影画像であり、外枠領域ICMを含んでいる。撮影意図は、右方向へ移動する人物の上半身を撮影する、とする。撮影画像ICToが記録される前は、被写体201の上半身を捉えるフレーミングであったが、撮影画像ICToが撮影された時点で、被写体202の身長が被写体201より大きいことがわかり、フレームアウトした。そこで、撮影画像ICT1のように、フレーミングを再設定したい、とする。すなわち、フレーム領域ICFoの中心位置ICFCoを、フレーム領域ICF1の中心位置ICFC1に移動し、かつ画角を広く(ズーム倍率を小さく)する。
フレーム領域の中心位置とズーム倍率の指定方法は、撮影時と同様で、撮影者は記録メディア部108に保存された撮影画像を再生し、フレーミング画像表示部113でフレーミングを確認しながら、修正したい方向へ撮影装置100を動かす。同時に、ズーム倍率設定部105を調整する。撮影装置100の動きは姿勢センサ部114(図9)で検出し、撮影画像ICにおける光軸位置の変化を読み取る。フレーミングの再設定時には、再生速度を落として(たとえば1/5秒)フレーミングの確認と操作に対して時間の余裕を与える。また、再生速度の変更を撮影者が行っても構わない。変更されたフレーム領域の中心位置ICFC1とズーム倍率ZFはフレーミング変更部110を介して記録メディア部108に保存される。この際、撮影者は、過去のデータを削除して新しい変更データのみを残す「上書きモード」や、過去のデータを残し、別途新しい変更データを記録する「コピーモード」を選択できる。また、コピーモードで仮修正をし、修正結果を再生してフレーミング画像表示部113で確認してから上書きモードを実行する「コピー上書きモード」も利用できる。さらに、変更データを作成した後に外枠領域ICMのデータを削除するか、残しておくかを撮影者が指示できる。なお、記録メディアの記録容量を節約するには、上書きモードを選択し、過去のデータと変更データの両方で外枠領域を削除することが望ましい。逆に、フレーミングの再設定を繰り返す可能性が残る場合は、過去のデータと変更データの両方で外枠領域を残すことが望ましい。フレーミングの再設定を繰り返す場合は、過去のデータに対して実施するか、変更データに対して追加の変更を実施するか、を撮影者が選択できる。以上のように、撮影時と同じ操作方法でフレーミングを再設定すると、撮影時のフレーミングの記録(撮影装置を上に向けるべきだった)を参考にできるため、再設定の操作がスムースになり、かつ、複数のフレーム画像からなる動画像を一気に修正できるメリットがある。
フレーム領域ICFoの大きさは、ズーム倍率ZFに従って決まり、フレーム領域ICFoに含まれる画素数は、画像ICTo全体の1/(ZF)^2にある。たとえば、ズーム倍率ZFが2倍の場合、1/4になり、ズーム倍率ZFが4倍の場合、1/16になる。外枠領域ICMに含まれる画素数は、画像ICTo全体からフレーム領域ICFoを差し引いた画素数であるから、ズーム倍率ZFが2倍の場合、3/4になり、ズーム倍率ZFが4倍の場合、15/16になる。相対的に見て、利用される可能性の低い外枠領域ICMが、利用される可能性の高いフレーム領域ICFよりも多くの画素を含むため、記録メディア部108の記録容量をある一定値(たとえば30GB)で考えた場合、録画時間を延ばすには、外枠領域の削除が効果的であることが容易に理解できる。たとえば、撮像素子部104の画像サイズを2560画素×1920ラインとし、記録メディア部108の記録容量を30GBとすると、RGB24ビット画像の場合、約86秒で記録容量の上限に達する。仮に、フレーミング画像表示部113の画像サイズを640画素×480ラインとした場合、フレーム領域ICFの画像サイズは撮影画像ICに対して画素数、ライン数ともに1/4であり、外枠領域ICMは15/16となる。そこで、被写体200と撮影装置100がともに静止している場合、あるいは、撮影後に外枠領域を削除した場合、記録容量が15/16に削減され、30GBの記録上限であれば、録画時間が約1080秒(約18分)まで延びる。
また、電子ズーム処理部112で図11や図12に例示した画像処理による電子ズームを実行すれば、撮像素子部104の画素数とライン数を少なくできる。たとえば、撮像素子部104を1280画素×960ラインにし、電子ズーム処理部112で2倍拡大を行えば2560画素×1920ライン相当のフレーム領域ICFを得られる。撮像素子部104の画素数とライン数がともに1/2に削減されるため、記録メディア部108への録画時間も4倍長くなり、たとえば、記録メディア部108の記録容量を30GBとすると、約334秒(5分34秒)となり、外枠領域ICMを保存しない場合は、72分に延びる。
なお、図5の説明では、被写体動き、あるいは撮影装置動きの少なくとも一方が検出された際に光学ズームを1倍に設定したが、本発明は光学ズームの倍率を限定するものではなく、たとえば、1.5倍であっても構わない。動作の本質は、被写体動き、あるいは撮影装置動きの少なくとも一方が検出された際に広角撮影に変更する、ところにあり、被写体の撮りこぼし防止に適する倍率であれば、その数値は任意に設定できる。
以上により、被写体と撮影者の動きを監視し、光学ズームと電子ズームを使い分けることで、被写体の撮りこぼしを最小限に抑え、かつ長時間録画が可能な撮影装置を提供できる。また、フレーミングの再設定は、撮影時と同様に撮影装置を動かし、ズーム倍率を変更するため、新たな操作方法を覚える必要がなく、かつ動画像をスムースに修正できる。
(実施の形態2)
本実施の形態では、フレーム領域と外枠領域で画像データの圧縮率を切り替えて撮影画像を記録メディアに保存する撮影装置について説明する。
図16は本発明の実施の形態2に係る撮影装置の構成を示すブロック図である。なお、図5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
撮影装置400は、被写体200を撮影するための装置であり、多焦点光学レンズ部101、焦点距離制御部102、焦点距離算出部103、撮像素子部104、ズーム倍率設定部105、被写体動き検出部106、撮影装置動き検出部107、記録メディア部108、フレーミング再設定部109、フレーミング変更部110、フレーム領域設定部111、電子ズーム処理部112、フレーミング画像表示部113、姿勢センサ部114、圧縮符号化部401、および伸長復号化部115を備えている。
圧縮符号化部401は、フレーム領域設定部111で設定されたフレーム領域ICFと外枠領域ICMに異なる圧縮率で画像圧縮処理を施して記録メディア部108へ出力する。相対的にみて、フレーム領域ICFは画像表示に利用される可能性が高く、外枠領域は画像表示に利用される可能性が低いため、記録容量の削減を目的に、外枠領域に高い圧縮率を適用し、録画時間を延ばす。圧縮率を高くすることで画質劣化を招くが、外枠領域を設けることで撮りこぼしを防ぐことはできる。たとえば、撮像素子部104の画像サイズを2560画素×1920ラインとし、記録メディア部108の記録容量を30GBとすると、RGB24ビット画像の場合、約86秒で記録容量の上限に達する。仮に、フレーミング画像表示部113の画像サイズを640画素×480ラインとした場合、フレーム領域ICFの画像サイズは撮影画像ICに対して画素数、ライン数ともに1/4であり、外枠領域ICMは15/16を占める。そこで、外枠領域ICMのデータ量を1/2に圧縮し、フレーム領域ICFのデータ量を3/4に圧縮した場合は、1フレームの記録容量は約7.6MBで、記録メディア部108の記録容量を30GBとすると、録画時間は約132秒(2分12秒)となり、録画時間が約1.5倍延びる。
伸長復号化部402は、圧縮符号化された撮影画像ICを伸長復号化し、電子ズーム処理部112へ出力する。
以上により、フレーム領域と外枠領域で画像データの圧縮率を切り替えて撮影画像を記録メディアに保存することにより、録画時間を長くする撮影装置を提供できる。なお、フレーム領域および外枠領域を同じ圧縮率で圧縮符号化しても構わないが、上記のように圧縮率を切り替えることによって、効率的に撮影画像を記録メディアに保存することができる。
(実施の形態3)
本実施の形態では、被写体の動きと撮影装置の動きの度合いに応じてフレーム領域の大きさ、あるいは圧縮率の少なくとも一方を制御する撮影装置について説明する。
図17は本発明の実施の形態3に係る撮影装置の構成を示すブロック図である。なお、図16に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
撮影装置500は、被写体200を撮影するための装置であり、多焦点光学レンズ部101、焦点距離制御部102、焦点距離算出部103、撮像素子部104、ズーム倍率設定部105、被写体動き検出部106、撮影装置動き検出部107、記録メディア部108、フレーミング再設定部109、フレーミング変更部110、フレーム領域設定部503、電子ズーム処理部112、フレーミング画像表示部113、姿勢センサ部114、圧縮符号化部501、および伸長復号化部502を備えている。
被写体動き検出部106は、被写体の動き検出結果を焦点距離算出部103へ出力するとともに、フレーム領域設定部503と圧縮符号化部501と伸長復号化部502へ被写体の動き検出結果を出力する。被写体動き検出部106は、フレーム領域設定部503と圧縮符号化部501と伸長復号化部502への出力において、動きのある/なしの2値情報だけではなく、被写体の動きの度合いを出力する。動きの度合いとは、撮影画像ICの中で被写体動きが検出された画素数の割合と、時間変化に注目した場合、被写体動きが検出された画素の集まりが撮影画像ICの中でどれだけ移動しているか、の2つの観点がある。
図7Aおよび図7Bに示したように、被写体の動きは時間的に前後する2枚の画像(図7Aおよび図7Bでは、時間Ti−1の画像ICi−1と時間Tiの画像ICi)の画素値の差分を画素ごとに求め、差分値を持つ画素に動きが発生したと判断する。そこで、差分値の分布を表す画像ICOPTの斜線部分の面積が広いほど、被写体の動きの度合いが大きいと判定する。被写体の動きの度合いが大きいほど、撮影意図どおりにフレーミングを設定できない可能性が高いため、フレーム領域ICFを小さく取り、外枠領域ICMを大きく取って、撮りこぼし防止の確度を高める。
図18Aおよび図18Bは、時間Ti−1、時間Ti、時間Ti+1に連続する3枚の撮影画像ICi−1、撮影画像ICi、撮影画像ICi+1を示す。時間Ti−1と時間Tiの差分が画像ICOPT1であり、時間Tiと時間Ti+1の差分が画像ICOPT2である。画像ICOPT1の斜線で示された動きのある画素の重心は点CP1であり、画像ICOPT2の斜線で示された動きのある画素の重心は点CP2であり、被写体の動きが検出された画素の集まりが、移動していることがわかる。すなわち、点CP1を通る垂直方向の点線CV1と点CP2を通る垂直方向の点線CV2が異なる位置にある。なお、被写体200は平行移動しているため、点CP1を通る水平方向の点線CH1と点CP2を通る水平方向の点線CH2は同じ位置にある。点線CV1と点線CV2の不一致から被写体の動きが時間Ti−1から時間Ti+1に至るまで連続していることが理解でき、被写体の動きの度合いが大きいと判定される。被写体の動きの度合いが大きいほど、撮影意図どおりにフレーミングを設定できない可能性が高いため、フレーム領域ICFを小さく取り、外枠領域ICMを大きく取って、撮りこぼし防止の確度を高める。被写体動きが検出された画素の集まりの重心位置を時間的に連続して監視し、重心位置が動き続けるほど、被写体の動きの度合いが大きいと判定する。
以上のように、被写体の動きの度合いに応じて、圧縮率を固定としてフレーム領域ICFの大きさを変更する方法を説明したが、同じ要領でフレーム領域ICFの大きさを固定として画像圧縮の圧縮率を制御しても構わない。すなわち、圧縮符号化部501は、入力された動きの度合いが大きい場合は外枠領域ICMを用いてフレーミングを再設定する可能性が高いため、外枠領域ICMに施す画像圧縮の圧縮率を低くして、画質レベルを高く保つ。
また、被写体の動きの度合いに応じたフレーム領域ICFの大きさ制御と外枠領域ICMの圧縮率の制御は、同時に実行できる。その際、フレーム領域ICFの大きさが小さくなるほど、電子ズーム処理部112が実行する画像拡大処理の拡大率が大きくなる。そこで、フレーム領域ICFの大きさが小さくなるほど、フレーム領域ICFに施す画像圧縮の圧縮率は低くし、画質レベルを維持する。
以上の説明では、被写体の動きを対象に図17の動作を説明したが、被写体の動きを撮影装置の動きと置き換えることができる。また、被写体の動き、あるいは撮影装置の動きの少なくとも一方が発生した場合に、動きの度合いを求めても構わない。
以上により、被写体の動きと撮影装置の動きの度合いに応じてフレーム領域の大きさ、あるいは圧縮率の少なくとも一方を制御する撮影装置を提供でき、被写体の撮りこぼしを最小限に抑え、かつ録画時間を長くできる。
(実施の形態4)
本実施の形態では、フレーム領域と外枠領域を記録メディア上で別々に管理し、記録容量の残量がなくなったら、外枠領域の保存領域に上書きする撮影装置について説明する。
図19は本発明の実施の形態4に係る撮影装置の構成を示すブロック図である。なお、図5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
撮影装置600は、被写体200を撮影するための装置であり、多焦点光学レンズ部101、焦点距離制御部102、焦点距離算出部103、撮像素子部104、ズーム倍率設定部105、被写体動き検出部106、撮影装置動き検出部107、記録メディア部604、フレーミング再設定部109、フレーミング変更部110、フレーム領域設定部111、電子ズーム処理部112、フレーミング画像表示部113、姿勢センサ部114、撮影画像データ部601、メモリアドレス調整部602、およびメモリ容量管理部603を備えている。
撮影画像データ部601は、図20に示すように、フレーム領域ICFの保存領域と外枠領域ICMの保存領域を別々に有し、メモリアドレスで識別する。この例では、メモリアドレスの0000から1FFFをフレーム領域に利用し、メモリアドレスの2000からFFFFを外枠領域に利用している。メモリアドレス調整部602は、フレーム領域設定部111から与えられるフレーム領域ICFと外枠領域ICMに応じて、メモリアドレスの割り振りを担当する。メモリ容量管理部603は、記録メディア部108の記録容量を監視し、残量がなくなった場合、メモリアドレス調整部602に指示を出して、フレーム領域ICFを外枠領域ICMのメモリアドレス空間に上書きしていく。このような動作によって、相対的に見て、利用される可能性の高いフレーム領域の記録時間を延ばして、録画時間を長くできる。
また、被写体動き検出部106と撮影装置動き検出部107から動きの度合いをメモリアドレス調整部602経由で撮影画像データ部に記録する。そこで、図20に示すように、すべての外枠領域ICMは動きの度合いを合わせ持つ。記録容量の残量がなくなって、外枠領域ICMのメモリ空間にフレーム領域を上書きする際には、動きの度合いの小さなデータから順に上書きする。このように動作させることで、相対的に見て、利用される可能性の少ない動きの少ない外枠領域から上書きし、撮りこぼしを最小限に抑え、かつ録画時間を延ばすことができる。
以上により、フレーム領域と外枠領域を記録メディア上で別々に管理し、記録要領の残量がなくなったら、外枠領域に上書きする撮影装置を提供でき、撮りこぼしを最小限に抑え、かつ録画時間を延ばすことができる。
(実施の形態5)
本実施の形態では、撮影者が撮影したい被写体が画角外にあり、これを撮影者が撮影装置を移動することで被写体を画角内に捉えるカメラワークにおいて、撮影装置が姿勢センサの動きから先読みした移動方向にフレーミング領域を移動して、より短い時間で被写体を捉える撮影装置について説明する。
図21は本発明の実施の形態5に係る撮影装置の構成を示すブロック図である。なお、図5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
撮影装置700は、被写体200を撮影するための装置であり、多焦点光学レンズ部101、焦点距離制御部102、焦点距離算出部103、撮像素子部104、ズーム倍率設定部105、被写体動き検出部106、撮影装置動き検出部107、記録メディア部108、フレーミング再設定部109、フレーミング変更部110、フレーム領域設定部701、圧縮符号化部401、伸長復号化部402、電子ズーム処理部112、フレーミング画像表示部113、および姿勢センサ部114を備えている。
姿勢センサ部114は、撮影装置700の姿勢情報をフレーム領域設定部701に出力する。フレーム領域設定部701は、姿勢情報を時間的に監視し続けて、撮影装置700の動きに一定の規則性(たとえば、右方向へのパンニングが2秒間続くなど)が見つかったら、撮影装置700は将来も同じ動きを続けると予測し、フレーム領域を撮影画像IC内で撮影装置の移動方向(たとえば、右方向へのパンニング)へ移動し、撮影装置の動きよりも早く被写体を捉える。たとえば、図22は、右方向へ撮影装置700をパンニングする例を示す。被写体は人物201、人物202、人物203であり、細い実線の四角が外枠ICMを示し、太い実線の四角がフレーム領域ICFを示す。撮影者はフレーム領域ICFをフレーミングするズーム倍率ZFを設定し、電子ズーム処理部112は、フレーム領域ICFを電子ズームしてフレーミング画像表示部113に表示する。図22の上段の1列は、従来例であり、フレーム領域ICFの中心が光軸に一致している。下段の1列は、フレーム領域ICFを先読みする一例である。時間Ti−3に至るまでの累積的な姿勢情報の監視(たとえば、右方向へのパンニングが2秒間続いた)から、連続する右方向へのパンニングを検出した、とする。そこで、時間Ti−2ではフレーム領域ICFTi−2が右方向に移動した。この時点で、撮影者は被写体203の顔がフレームアウトすることに気づき、時間Ti−1で撮影装置700を上方へチルティングし、時間Tiには被写体203の顔全体をフレーム領域ICFに捉えた。撮影者はフレーミング画像表示部113によって被写体203の顔全体を捉えたことを確認したため、撮影装置700を移動する必要はなくなり、時間Tiで撮影装置700の右方向へのパンニングは停止し、同時にフレーム領域ICFの先読みも停止した。そこで、フレーム領域ICTiの中心は光軸に戻った。一方、フレーム領域ICFの先読みがない上段では、時間Ti−1で被写体203のフレームアウトに気づき、時間Tiでは撮影装置700のチルティングの途中であり、被写体203の顔をフレーム領域ICFTiFOは捉え切れていない。つまり、上段では撮影装置700の動きのみで目的の被写体203の顔を追いかけたが、時間Tiではまだ完了しておらず、下段では撮影装置700の動きに加え、フレーム領域の先読みでより早く目的の被写体203の顔を捉えた。このように、撮影装置の動きに加え、フレーム領域が撮影画像IC内で撮影装置の移動方向に移動すれば、より短い時間で被写体を捉えられ、撮りこぼしを最小限に抑えることができる。
以上のような動きに加え、圧縮符号部401はフレーム領域ICFを低圧縮率で圧縮符号化し、外枠ICMを高圧縮率で圧縮符号化する。撮影装置700が移動しているということは、移動方向の先に撮影者にとって重要な被写体が存在することを意味し、これをフレーム領域内で捉えることが撮影意図であるため、撮影意図として重要なフレーム領域は画質劣化の少ない低圧縮率を用い、撮影意図として重要でない外枠ICMは画質劣化の大きい高圧縮率を用いる。なお、圧縮符号化部401と伸長復号部402の動作は、図16と同一である。
撮像装置を素早く移動すると、ブラーと呼ばれるボケが画像に生じ、被写体の詳細が確認できない画質劣化につながる。そこで、ブラーが発生しない範囲で撮影装置を動かし、さらにフレーム領域の先読みで撮影装置の動きをカバーすると、撮りこぼしの最小化と画質を両立できる。たとえば、無人の監視カメラなどでは、関心のある被写体を画角内に納めつつ、被写体の詳細を記録したいという、広角と狭角の両立が必要である。そこで、狭角カメラをパン・チルトで移動し、広角撮影を確保する方式が取られる。本実施の形態は、パン・チルトの最中に、監視カメラ映像を見ているオペレータが注目の被写体を検出し、いち早く、カメラを注目の被写体へ向ける際に、短い時間で目的を達成できる効果を発揮できる。
(実施の形態6)
本実施の形態では、動きに急激な変化が発生した領域へ自動的にズーム領域を動かしてズーム領域を先読みする撮影装置について説明する。
図23は本発明の実施の形態6に係る撮影装置の構成を示すブロック図である。なお、図5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
撮影装置800は、被写体200を撮影するための装置であり、多焦点光学レンズ部101、焦点距離制御部102、焦点距離算出部103、撮像素子部104、ズーム倍率設定部105、被写体動き検出部106、撮影装置動き検出部107、記録メディア部108、フレーミング再設定部109、フレーミング変更部110、フレーム領域設定部801、電子ズーム処理部112、フレーミング画像表示部113、および姿勢センサ部114を備えている。
被写体動き検出部106は被写体の動きの度合いをフレーム領域設定部801へ出力する。フレーム領域設定部801は、被写体の動きの度合いを監視し続け、急激な変化を検出すると、その領域へフレーム領域ICFを自動的に移動する。急激な動きの変化は、図18Aおよび図18Bで説明した動きの発生した画素の集まりの重心位置の変化で判断し、重心位置の変化量が閾値を越えたら、急激な動きが発生したとして、現時点の重心位置(図18Aおよび図18Bでは、CP2)にフレーム領域ICFの中心位置を移動する。逆に、一定時間に渡り移動し続ける重心位置が、突然停止した際にフレーム領域ICFの中心位置を停止した重心位置に自動的に移動する。
以上により、突然動きを早めた人物や、突然動きを止めた人物などに自動的にズーム領域が割り当てられ、たとえば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。
なお、本実施の形態を監視カメラに適用する場合は、パンニングとチルティングの自動制御と組み合わせることで、より広い範囲で注目領域にズーミングできる。すなわち、動きが検出された画素の集まりの重心が画角から外れそうになると、フレーム領域ICFは画角内に収まらず、撮影画像ICの外側に出てしまう。これは動きの激しい被写体が画角から外れそうな状態を意味するため、フレーム領域ICFが撮影画像ICの外側に外れた方向に撮影装置800の向きを変更すれば、被写体を画角内に捉えられる。フレーム領域ICFが撮影画像ICの横方向に外れた場合はパンニングを、フレーム領域ICFが撮影画像ICの縦方向に外れた場合は、チルティングを自動制御する。
(実施の形態7)
本実施の形態では、特定の色や画像パターン、音などを検出した場合、その検出方向へ自動的にズーム領域を動かしてズーム領域を先読みする撮影装置について説明する。
図24は本発明の実施の形態7に係る撮影装置の構成を示すブロック図である。なお、図5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
撮影装置900は、被写体200を撮影するための装置であり、多焦点光学レンズ部101、焦点距離制御部102、焦点距離算出部103、撮像素子部104、ズーム倍率設定部105、被写体動き検出部106、撮影装置動き検出部107、記録メディア部108、フレーミング再設定部109、フレーミング変更部110、フレーム領域設定部902、電子ズーム処理部112、フレーミング画像表示部113、姿勢センサ部114、画像特徴検出部901、音センサ部903、および音特徴検出部905を備えている。
画像特徴検出部901は、撮影画像IC中の特定の色や特定の画像パターンを検出する。特定の色とは、たとえば、RGB値がともに100−120であるグレーや、R値が200以上で、G値とB値が10以下である赤など、画素値で指定する。画素値の種類は任意であり、YUVやHVC、測色値であるXYZやLABなど、自由に選択できる。特定の画像パターンとは、撮影画像ICを、たとえば5×5画素のブロックに分け、25画素の画素値を要素として形成した特徴ベクトルなどである。たとえば、特定の文字を検出したい場合は、あらかじめ、文字画像をブロックに分け、特徴ベクトルを求めて、画像特徴検出部901に保持しておく。撮影画像ICのブロックごとに文字画像の特徴ベクトルとの内積を求め、内積が閾値を超えたら文字が検出されたとする。画像特徴検出部901は、特定の色や画像パターンを検出したら、検出位置の位置情報をフレーム領域設定部902に出力する。フレーム領域設定部902は、検出位置の中心位置にフレーム領域ICFの中心位置を移動させる。また、特定の色や画像パターンが同時に複数検出された場合には、フレーム領域設定部902は、これらすべてを含むように、フレーム領域ICFを移動させる。
以上により、特定の色やパターンを検出すると、自動的にズーム領域が割り当てられ、たとえば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。
音センサ部903は、音源904からの音をセンシングする。音源904の位置を特定するために、指向性を持つ複数本のマイクロフォンを内蔵し、音量の大小で音源904の位置を特定する。音特徴検出部905は、音量の変化に対する閾値を持ち、急激に大きな音がした場合、あるいは、急激に音量が落ちた場合、あるいは、特定の周波数パターンを持つ音を検出した場合に音源904の位置情報をフレーム領域設定部902に出力する。音源904の位置情報を受けたフレーム領域設定部902は、撮影画像ICのおける音源位置をフレーム領域ICFの中心位置としてフレーム領域ICFを設定する。
以上により、突然音量が大きくなったり、音量が小さくなったり、特定の周波数パターンを持つ音が発生するなど、特定のイベントを音の変化や発生で検知して、自動的にズーム領域が割り当てられ、たとえば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。
(実施の形態8)
本実施の形態では、実施の形態1から実施の形態7で説明した動作の詳細設定を撮影者が調整できる撮影装置について説明する。
図25は本発明の実施の形態8に係る撮影装置の概観を示し、図26は動作モードの選択画面を示し、図27から図34を用いて各動作モードの条件設定方法を説明する。
図25に示すように、撮影装置1000は、動作モード選択・調整ダイヤル部1001を持ち、これを操作することで、図26に示す動作モードの選択画面から設定を変更したい動作モードを選択する。動作モードには、仮に、被写体撮りこぼし防止モード1200、圧縮率可変モード1300、外枠上書きモード1400、フレーミング再設定モード1500、先読みモード1600と名称を与える。この例では、被写体撮りこぼし防止モード1200が選択されている。
図27は、フレーミング画像表示部113に表示された被写体撮りこぼし防止モード1200の設定画面である。各メニューに対して太線の四角BRが設定値として選択されている。被写体動き検出1201をONにすると図5の被写体動き検出部106が有効になる。被写体動き検出感度1202を高くすると、図7Aおよび図7Bに示した動き検出画素の画素数が相対的に少数でも被写体動きがあったと判定される。被写体動き検出感度1202を低くすると、図7Aおよび図7Bに示した動き検出画素の画素数が相対的に多数の場合に被写体動きがあったと判定される。撮影装置動き検出1203をONにすると図5の撮影装置動き検出部107が有効になる。撮影装置動き検出感度1204を高くすると、図9に示した姿勢センサ部114の変化量が相対的に小さくても撮影装置に動きがあったと判定される。撮影装置動き検出感度1204を低くすると、姿勢センサ部114の変化量が相対的に大きい場合に撮影装置に動きがあったと判定される。被写体動き反映度1205は、図17に示した被写体の動きの度合いに応じたフレーム領域ICFの大きさ調整の感度を表わす。被写体動き反映度1205が高いと、被写体の動きが相対的に遅くてもフレーム領域ICFのサイズは敏感に変化する。逆に、被写体動き反映度1205が低いと、被写体の動きが相対的に早くてもフレーム領域ICFのサイズは急激に変化しない。
図28は、フレーミング画像表示部113に表示された圧縮率可変モード1300の設定画面である。各メニューに対して太線の四角BRが設定値として選択されている。フレーム領域圧縮率1301は、図16の圧縮符号化部401がフレーム領域ICFに施す画像圧縮処理の圧縮率を設定する。外枠圧縮率1302は、圧縮符号化部401が外枠領域ICMに施す画像圧縮処理の圧縮率を設定する。この例では、フレーム領域ICFに低い圧縮率が、外枠領域ICMに高い圧縮率が設定されて、記録メディア部108への記録容量を削減している。被写体動き反映度1303は、図17に示した被写体の動きの度合いに応じたフレーム領域ICFの大きさ調整の感度を表わす。被写体動き反映度1304が高いと、被写体の動きが相対的に遅くてもフレーム領域圧縮率1301と外枠圧縮率1302の設定値が圧縮符号化部501に敏感に適用される。逆に、被写体動き反映度1304が低いと、被写体の動きが相対的に早くてもフレーム領域圧縮率1301と外枠圧縮率1302の設定値が圧縮符号化部501に急激には適用されない。フレーム領域サイズ連動圧縮可変制御1304をONにすると、フレーム領域ICFが小さい場合、圧縮率を低くし、フレーム領域ICFが大きい場合、圧縮率を高くする。図18Aおよび図18Bに示した方法で検出された被写体の動き、あるいは図9の姿勢センサ部114で検出された撮影装置100の動きの度合いが大きい場合、フレーム領域ICFはサイズが小さくなり、外枠領域を大きく取って取りこぼしを最小限に抑える。
図29は、フレーミング画像表示部113に表示された外枠上書きモード1400の設定画面である。各メニューに対して太線の四角BRが設定値として選択されている。記録時間順上書き1401は、外枠領域ICMが記録メディア部108に記録された順番に従ってフレーム領域ICFを上書きする。記録時間順上書き1401をONにすると、図19のメモリ容量管理部603が記録容量の残量なしをメモリアドレス調整部602に通知したとき、外枠領域ICMの記録時間を参照して最も古いデータから上書きしていく。被写体動き度合い順上書き1402は、図20の撮影画像データ部601に保存された被写体の動き度合いを参照して、被写体の動き度合いの小さいものから順にフレーム領域ICFを上書きする。被写体動き度合い順上書き1402をONにすると、図19のメモリ容量管理部603が記録容量の残量なしをメモリアドレス調整部602に通知したとき、被写体の動き度合いを参照して被写体の動き度合いの小さいデータから上書きしていく。撮影装置動き度合い順上書き1403は、図20の撮影画像データ部601に保存された撮影装置の動き度合いを参照して、撮影装置の動き度合いの小さいものから順にフレーム領域ICFを上書きする。撮影装置動き度合い順上書き1403をONにすると、図19のメモリ容量管理部603が記録容量の残量なしをメモリアドレス調整部602に通知したとき、撮影装置の動き度合いを参照して撮影装置の動き度合いの小さいデータから上書きしていく。図29の例では、被写体動き度合い順上書き1402と撮影装置動き度合い順上書き1403がONとなっているため、被写体と撮影装置の2つを合わせた動き度合いの小さい順に外枠領域ICMにフレーム領域ICFが上書きされる。被写体の動き度合いと撮影装置の動き度合いの合わせ方は、たとえば掛け算を用いる。
図30は、フレーミング画像表示部113に表示されたフレーミング再設定モード1500の設定画面である。各メニューに対して太線の四角BRが設定値として選択されている。再生速度1501は、撮影画像を記録メディア部108から読み出す際のスピードで、これがフレーミング画像表示部113でのフレーミング画像IDFのリフレッシュレートになる。フレーミングの再設定を行う際に、たとえば秒5枚画像を表示するなど、再生速度を変更したい場合に利用する。再設定フレーミングデータ上書きモード1502は、フレーミングの再設定を行った結果を撮影時のフレーミングデータに上書きする。すなわち、図5のフレーミング変更部110はフレーミングデータのみを書き換え、撮影画像にはアクセスしない。従って、フレーミングの再設定は引き続き可能である。再設定フレーミングデータコピーモード1503は、再設定されたフレーミングデータを新たに記録メディア部108に保存する。すなわち、記録メディア部108で消去されるデータはない。図30の例では、再設定フレーミングデータ上書きモード1502と再設定フレーミングデータコピーモード1503がONになっているため、コピーモードで仮修正をし、修正結果を再生してフレーミング画像表示部113で確認してから上書きモードが実行される。ファイナライズ1504は、フレーミングの再設定を確定する際に、外枠領域ICMを保存するか、削除するかを選択する。外枠領域ICMを保存すれば、繰り返しフレーミングを修正できるが、記録メディア部108の容量を大きく消費する。外枠領域ICMを削除すれば、記録メディア部108の容量は節約できるが、フレーミングの再設定はできない。
図31は、フレーミング画像表示部113に表示された先読みモード1600の設定画面である。各メニューに対して太線の四角BRが設定値として選択されている。撮影装置移動方向1601は、図22で説明したように、姿勢センサ部114からの姿勢情報を累積的に監視し、撮影装置700の移動方向にフレーム領域ICFを先回りして移動する。被写体動き変化1602は、図23で説明したように、被写体動き検出部106からの動き情報を累積的に監視し、急激に動きを早めたり、あるいは急激に動きを止めた被写体を検出し、動き検出の重心位置にフレーム領域ICFを移動する。色1603は、図24で説明したように、画像特徴検出部901に特定の色をRGB値やYUV値などで設定しておく。特定の色の指定は、図32に示すように、カラーパレット1606を用いる方法や、数値入力1607の方法、図33に示すように、撮影画像上でエリア1608を指定するエリア指定1609を用いる。図31のパターン1604は、画像特徴検出部901に特定のパターンを設定しておいて、撮影画像に同じパターンが検出されたら、フレーム領域ICFが検出パターンの位置に移動する。特定パターンの入力は、図33と同様に、撮影画像上でエリア1608を指定するエリア指定1609を用いる。音1605は、図24で説明したように、フレーム領域ICFを、急激な音量の変化が発生した方向や、特定の周波数パターンを持つ音が検出された方向へ移動させる。音特徴検出部905は、図34で設定される条件を保持し、音センサ部904からの音情報の音量変化量1611、音量変化方向1612、音パターン1613を検出する。音パターン1613は、あらかじめ音特徴検出部905が持つメモリに複数種類の人物の声(たとえば、男性、女性、子供、大人など)や、自動車、バス、電車、呼び鈴などを記録しておく。また、音特徴検出部905が持つメモリにユーザー定義領域を設けて、自分の声や、家族の声などを録音できる。
なお、すべてのモードでは、設定値の初期値が撮影装置立ち上げ用のメモリに記録されており、必要に応じて撮影者が設定を変更する。また、変更された設定値は、撮影装置立ち上げ用のメモリに記録され、次回立ち上げ時には撮影者の設定条件で動作を開始できる。
以上により、実施の形態1から実施の形態7で説明した動作を、機能ごとに複数のモードに分割し、モードごとに設定条件を撮影者が調整できる。そこで、被写体の撮りこぼし防止を確保しつつ、録画時間を優先させたり、画質を優先させたり、自由度の高い動画撮影が可能になる。
(実施の形態9)
本実施の形態では、光学ズーム画像と電子ズーム画像の表示方法を複数提供する撮影装置について説明する。
図35Aは本発明の実施の形態9に係る撮影装置の構成を示すブロック図である。なお、図5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
撮影装置1700は、被写体200を撮影するための装置であり、多焦点光学レンズ部101、焦点距離制御部102、焦点距離算出部103、撮像素子部104、ズーム倍率設定部105、被写体動き検出部106、撮影装置動き検出部107、記録メディア部108、フレーミング再設定部109、フレーミング変更部110、フレーム領域設定部701、電子ズーム処理部112、フレーミング画像表示部113、姿勢センサ部114、表示画像生成部1701、および表示方法設定部1702を備えている。
表示画像生成部1701は、撮像素子部104から光学ズーム画像ICOを得て、電子ズーム処理部112から電子ズーム画像IECを得る。被写体動き検出部106が歩行する被写体200の動きを捉えて、多焦点光学レンズ部101は広角に設定され、例えば図35Bに示す画像IDWのような広角画像が撮影されている。また、ズーム倍率設定部105から拡大撮影のためのズーム倍率ZF(たとえば4倍)が電子ズーム処理部112に与えられ、図35Cに示す画像IDFのような被写体200の顔を拡大する拡大画像が生成される。さらに、表示画像生成部1701は、表示方法設定部1702から、光学ズーム画像ICOのみをフレーミング画像表示部113に表示する(ICOモード)か、電子ズーム画像IECのみをフレーミング画像表示部113に表示する(ICEモード)か、光学ズーム画像ICOと電子ズーム画像IECの両方をフレーミング画像表示部113に表示する(ICOEモード)か、の表示方法の指示を受ける。ICOモードの場合、撮影者はフレーミング画像表示部113で画像IDWを見ることができ、すなわち、外枠領域ICMを含めた広角撮影のフレーミングを確認できる。また、ICEモードの場合、撮影者はフレーミング画像表示部113で画像IDFを見ることができ、すなわち、フレーム領域ICFの拡大撮影のフレーミングを確認できる。また、ICOEモードの場合、撮影者はフレーミング画像表示部113で図35Dに示す画像IDWFを見ることができ、すなわち、フレーム領域ICFの拡大撮影のフレーミングと外枠領域ICMを含めた広角撮影のフレーミングを同時に確認できる。
以上により、撮影者は、光学ズーム画像と電子ズーム画像を選択して、あるいは両方を同時に表示して、複数のフレーミングを確認できる。撮影者が光学ズーム画像を見ることでフレーミング再設定の余裕度を画像で確認できる。また、光学ズーム画像と電子ズーム画像を同時に見ることで、フレーミング領域ICFが捉えている画角の外側の様子を確認でき、突発的に発生したイベントを発見できたり、多焦点光学レンズ部101の画角内に入ってきた新しい被写体に早い段階で気づくことができ、撮影者は撮りこぼしを抑えつつ、電子ズームでのフレーミングも同時に決めることができる。
本発明にかかる撮影装置は、被写体の動き、あるいは撮影装置の動きが検出されると光学ズームを広角にして、被写体の撮りこぼしを最小限に抑え、電子ズームで表示画像を生成する。また、被写体と撮影装置にともに動きがない場合は、光学ズームの撮影画像のみを記録メディアに保存し、撮影時間を長くできる。そこで、民生用途のビデオカメラに搭載すれば、スポーツやエンターテイメントの撮影で安心してビデオ撮影ができる。また、監視カメラに搭載すれば、被写体の動きや色、パターン、音などを頼りに監視の目的上、重要な被写体を逃さず捉え、ズーミングで詳細な画像情報を記録できる。
図1Aは、本発明の背景技術を示す図である。 図1Bは、本発明の背景技術を示す図である。 図1Cは、本発明の背景技術を示す図である。 図1Dは、本発明の背景技術を示す図である。 図2は、本発明の背景技術を示す図である。 図3は、本発明の背景技術を示す図である。 図4Aは、本発明の背景技術を示す図である。 図4Bは、本発明の背景技術を示す図である。 図5は、本発明の実施の形態1に係る撮影装置の構成を示すブロック図である。 図6は、焦点距離F、画角L、撮影距離D、撮像素子の大きさSの関係を示す図である。 図7Aは、被写体動きの検出方法の一例を説明する図である。 図7Bは、被写体動きの検出方法の一例を説明する図である。 図8は、時間Ti−1と時間Tiにおける撮影装置と被写体の相対的位置関係が保存される例を説明する図である。 図9は、撮影装置の動きを検出する方法を説明する図である。 図10は、図5の撮影画像ICとフレーミング画像IDFの詳細を示す図である。 図11は、線形補間法を説明する図である。 図12は、データベース参照型の画像拡大方法を説明する図である。 図13は、画像特徴量FISをウェーブレット変換の係数で表現する方法を説明する図である。 図14は、撮影装置の動作を説明するフローチャートである。 図15Aは、フレーミングの再設定方法を説明する図である。 図15Bは、フレーミングの再設定方法を説明する図である。 図16は、本発明の実施の形態2に係る撮影装置の構成を示すブロック図である。 図17は、本発明の実施の形態3に係る撮影装置の構成を示すブロック図である。 図18Aは、被写体の動きの度合いを求める方法を説明する図である。 図18Bは、被写体の動きの度合いを求める方法を説明する図である。 図19は、本発明の実施の形態4に係る撮影装置の構成を示すブロック図である。 図20は、撮影画像データ部がフレーム領域ICFの保存領域と外枠領域ICMの保存領域をメモリアドレスで識別する方法を説明する図である。 図21は、本発明の実施の形態5に係る撮影装置の構成を示すブロック図である。 図22は、先読みの方法を右方向へ撮影装置をパンニングする例で説明する図である。 図23は、本発明の実施の形態6に係る撮影装置の構成を示すブロック図である。 図24は、本発明の実施の形態7に係る撮影装置の構成を示すブロック図である。 図25は、本発明の実施の形態8に係る撮影装置の概観図である。 図26は、動作モードの選択画面を示す図である。 図27は、被写体撮りこぼし防止モードの設定画面を示す図である。 図28は、圧縮率可変モードの設定画面を示す図である。 図29は、外枠上書きモードの設定画面を示す図である。 図30は、フレーミング再設定モードの設定画面を示す図である。 図31は、先読みモードの設定画面を示す図である。 図32は、画像特徴検出部における特定の色の指定に用いるカラーパレット1606を説明する図である。 図33は、画像特徴検出部における特定の色の指定に用いるエリア指定1609を説明する図である。 図34は、音特徴検出部における音指定の設定画面を示す図である。 図35Aは、本発明の実施の形態9に係る撮影装置の構成を示すブロック図である。 図35Bは、本発明の実施の形態9に係る撮影装置により撮影された画像を示す図である。 図35Cは、本発明の実施の形態9に係る撮影装置により撮影された画像を示す図である。 図35Dは、本発明の実施の形態9に係る撮影装置により撮影された画像を示す図である。
符号の説明
100、400、500、600、700、800、900、1000、1700 撮影装置
101 多焦点光学レンズ部
102 焦点距離制御部
103 焦点距離算出部
104 撮像素子部
105 ズーム倍率設定部
106 被写体動き検出部
107 撮影装置動き検出部
108 記録メディア部
109 フレーミング再設定部
110 フレーミング変更部
111 フレーム領域設定部
112 電子ズーム処理部
113 フレーミング画像表示部
114 姿勢センサ部
200 被写体

Claims (16)

  1. 多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影する撮影装置であって、
    前記被写体の動きを検出する被写体動き検出手段と、
    当該撮影装置の動きを検出する撮影装置動き検出手段と、
    前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出手段と、
    前記多焦点光学レンズの焦点距離を前記焦点距離算出手段によって算出された焦点距離に合わせるように制御する焦点距離制御手段と、
    前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定手段と、
    前記フレーム領域設定手段によって切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理手段と、
    前記電子ズーム処理手段によって電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示手段と、
    前記ズーム倍率と前記光学ズーム画像とを保存する記録メディア手段とを備える
    ことを特徴とする撮影装置。
  2. 前記撮影装置は、さらに、
    前記記録メディア手段に保存された前記ズーム倍率、および前記ズーム倍率で決まるフレーム領域の前記光学ズーム画像上の位置のうち少なくとも1つを再設定するフレーミング再設定手段と、
    前記記録メディア手段に保存されている前記光学ズーム画像上の中から、前記フレーミング再設定手段によって再設定された前記ズーム倍率および前記フレーム領域の前記光学ズーム画像上の位置を用いて前記フレーム領域を切り出すフレーミング変更手段とを備える
    ことを特徴とする請求項1記載の撮影装置。
  3. 前記被写体動き検出手段は、前記光学ズーム画像中の前記被写体の動きを検出する
    ことを特徴とする請求項1記載の撮影装置。
  4. 前記被写体動き検出手段は、複数の前記光学ズーム画像の輝度差および対応点追跡の少なくとも1つを用いて前記被写体の動きを検出する
    ことを特徴とする請求項3記載の撮影装置。
  5. 前記撮影装置動き検出手段は、角速度センサおよび加速度センサの少なくとも1つを用いて当該撮影装置の動きを検出する
    ことを特徴とする請求項1記載の撮影装置。
  6. 前記電子ズーム処理手段は、前記光学ズーム画像の画像座標と独立した画像特徴量を高密化して高密化画像特徴量を生成し、前記高密化画像特徴量から前記電子ズーム画像を生成する
    ことを特徴とする請求項1記載の撮影装置。
  7. 前記撮影装置は、さらに、
    前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除いた外枠領域とを個別の圧縮率で画像の圧縮符号化を行う圧縮符号化手段と、
    前記フレーム領域と前記外枠領域とを個別の圧縮率で圧縮符号化された画像の伸長復号化を行う伸長復号化手段とを備える
    ことを特徴とする請求項1記載の撮影装置。
  8. 前記圧縮符号化手段は、前記被写体の動きおよび前記撮影装置の動きの度合いが大きいほど、前記外枠領域の圧縮率を低く圧縮符号化を行う
    ことを特徴とする請求項7記載の撮影装置。
  9. 前記撮影装置は、さらに、
    前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除いた外枠領域とを前記記録メディア手段上で個別にアドレス管理を行うアドレス調整手段と、
    前記記録メディア手段の記録容量が上限に達した場合、前記フレーム領域のデータを前記外枠領域のアドレスに上書きする容量管理手段とを備える
    ことを特徴とする請求項1記載の撮影装置。
  10. 前記容量管理手段は、前記記録メディア手段の記録容量が上限に達した場合、前記フレーム領域のデータを、前記外枠領域の中で前記被写体の動きの度合いおよび前記撮影装置の動きの度合いが小さい外枠領域から順に上書きする
    ことを特徴とする請求項9記載の撮影装置。
  11. 前記フレーム領域設定手段は、前記撮影装置動き検出手段によって検出された当該撮影装置の動きから規則性を検出し、検出した前記規則性に基づいて、フレーミングを先読みするように前記光学ズーム画像の中の前記フレーム領域を移動させる
    ことを特徴とする請求項1記載の撮影装置。
  12. 前記フレーム領域設定手段は、前記被写体動き検出手段によって検出された前記被写体の動きが所定の変化以上である場合、前記被写体の動きが検出された領域へ前記光学ズーム画像の中の前記フレーム領域を移動させる
    ことを特徴とする請求項1記載の撮影装置。
  13. 前記撮影装置は、さらに、
    前記光学ズーム画像の中から、特定の色および特定の画像パターンの少なくとも1つを検出する画像特徴検出手段を備え、
    前記焦点距離算出手段は、前記画像特徴検出手段によって前記特定の色および前記特定の画像パターンの少なくとも1つが検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、
    前記フレーム領域設定手段は、前記画像特徴検出手段によって検出された前記特定の色および前記特定の画像パターンを含むように、前記光学ズーム画像の中の前記フレーム領域を移動させる
    ことを特徴とする請求項1記載の撮影装置。
  14. 前記フレーミング画像表示手段によって表示される画像を、前記光学ズーム画像、前記電子ズーム画像、および前記光学ズーム画像と電子ズーム画像との両方の中から選択を受け付ける表示方法設定手段を備え、
    前記フレーミング画像表示手段は、前記光学ズーム画像、前記電子ズーム画像、および前記光学ズーム画像と電子ズーム画像との両方の中から、前記表示方法設定手段によって選択された画像を表示する
    ことを特徴とする請求項1記載の撮影装置。
  15. 多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影する撮影方法であって、
    前記被写体の動きを検出する被写体動き検出ステップと、
    当該撮影装置の動きを検出する撮影装置動き検出ステップと、
    前記被写体動き検出ステップにおいて前記被写体の動き、および前記撮影装置動き検出ステップにおいて当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出ステップにおいて前記被写体の動き、および前記撮影装置動き検出ステップにおいて当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出ステップと、
    前記多焦点光学レンズの焦点距離を前記焦点距離算出ステップにおいて算出された焦点距離に合わせるように制御する焦点距離制御ステップと、
    前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定ステップと、
    前記フレーム領域設定ステップにおいて切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理ステップと、
    前記電子ズーム処理ステップにおいて電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示ステップと、
    前記ズーム倍率と前記光学ズーム画像とを保存する記録ステップとを含む
    ことを特徴とする撮影方法。
  16. 多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影するためのプログラムであって、
    前記被写体の動きを検出する被写体動き検出ステップと、
    当該撮影装置の動きを検出する撮影装置動き検出ステップと、
    前記被写体動き検出ステップにおいて前記被写体の動き、および前記撮影装置動き検出ステップにおいて当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出ステップにおいて前記被写体の動き、および前記撮影装置動き検出ステップにおいて当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出ステップと、
    前記多焦点光学レンズの焦点距離を前記焦点距離算出ステップにおいて算出された焦点距離に合わせるように制御する焦点距離制御ステップと、
    前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定ステップと、
    前記フレーム領域設定ステップにおいて切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理ステップと、
    前記電子ズーム処理ステップにおいて電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示ステップと、
    前記ズーム倍率と前記光学ズーム画像とを保存する記録ステップとをコンピュータに実行させる
    ことを特徴とするプログラム。
JP2007526079A 2006-02-15 2007-02-07 撮影装置および撮影方法 Active JP4025362B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006038683 2006-02-15
JP2006038683 2006-02-15
PCT/JP2007/052135 WO2007094219A1 (ja) 2006-02-15 2007-02-07 撮影装置および撮影方法

Publications (2)

Publication Number Publication Date
JP4025362B2 true JP4025362B2 (ja) 2007-12-19
JPWO2007094219A1 JPWO2007094219A1 (ja) 2009-07-02

Family

ID=38371406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007526079A Active JP4025362B2 (ja) 2006-02-15 2007-02-07 撮影装置および撮影方法

Country Status (4)

Country Link
US (1) US7701492B2 (ja)
JP (1) JP4025362B2 (ja)
CN (1) CN101375590B (ja)
WO (1) WO2007094219A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101244563B1 (ko) * 2008-06-27 2013-03-20 쿄세라 코포레이션 전자 기기 및 촬상 방법

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2928462B1 (fr) * 2008-03-04 2010-06-11 Thales Sa Dispositif optique mixte d'imagerie multi-focale et de calibration ir
JP4869270B2 (ja) * 2008-03-10 2012-02-08 三洋電機株式会社 撮像装置及び画像再生装置
US8861598B2 (en) * 2008-03-19 2014-10-14 Cisco Technology, Inc. Video compression using search techniques of long-term reference memory
US8620146B1 (en) * 2008-03-28 2013-12-31 Theresa Coleman Picture-in-picture video system for virtual exercise, instruction and entertainment
JP5240832B2 (ja) * 2008-06-04 2013-07-17 Necカシオモバイルコミュニケーションズ株式会社 音入力装置、音入力方法およびプログラム
JP5100606B2 (ja) * 2008-10-24 2012-12-19 三洋電機株式会社 撮像装置
US20100141734A1 (en) * 2008-10-28 2010-06-10 Hitachi Maxell, Ltd. Imaging apparatus and optical axis correction method of imaging apparatus
JP2010183564A (ja) * 2009-01-09 2010-08-19 Canon Inc 画像記録装置及びその制御方法、プログラム
JP4760918B2 (ja) * 2009-01-23 2011-08-31 カシオ計算機株式会社 撮像装置、被写体追従方法、及びプログラム
JP4875117B2 (ja) * 2009-03-13 2012-02-15 株式会社東芝 画像処理装置
US8184180B2 (en) * 2009-03-25 2012-05-22 Broadcom Corporation Spatially synchronized audio and video capture
JP4730569B2 (ja) * 2009-03-27 2011-07-20 カシオ計算機株式会社 撮影装置、撮像方法、及びプログラム
JP4784678B2 (ja) * 2009-04-22 2011-10-05 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP5455485B2 (ja) * 2009-07-21 2014-03-26 キヤノン株式会社 撮像装置
US8233352B2 (en) * 2009-08-17 2012-07-31 Broadcom Corporation Audio source localization system and method
JP2011071605A (ja) * 2009-09-24 2011-04-07 Fujifilm Corp 立体撮像装置及び立体撮像方法
WO2011039947A1 (ja) * 2009-10-01 2011-04-07 日本電気株式会社 撮像装置、その制御方法、撮像システム、及びプログラムが格納された非一時的なコンピュータ可読媒体
TWI426782B (zh) * 2010-05-19 2014-02-11 Hon Hai Prec Ind Co Ltd 手持裝置及利用其動態監控特定區域的方法
JP5700963B2 (ja) * 2010-06-29 2015-04-15 キヤノン株式会社 情報処理装置およびその制御方法
JP5748422B2 (ja) * 2010-06-29 2015-07-15 株式会社ザクティ 電子機器
JP5828070B2 (ja) * 2010-08-20 2015-12-02 パナソニックIpマネジメント株式会社 撮像装置および撮像方法
JP5748436B2 (ja) * 2010-09-10 2015-07-15 キヤノン株式会社 撮像装置及びその制御方法
US9578251B2 (en) 2010-09-13 2017-02-21 Canon Kabushiki Kaisha Imaging apparatus and control method for the same
JP5671957B2 (ja) * 2010-11-09 2015-02-18 ソニー株式会社 表示装置および表示方法
JP5984349B2 (ja) * 2011-08-23 2016-09-06 キヤノン株式会社 撮像装置およびその制御方法
US20130176463A1 (en) * 2012-01-09 2013-07-11 Nokia Corporation Method and Apparatus for Image Scaling in Photography
JP6006024B2 (ja) * 2012-07-02 2016-10-12 オリンパス株式会社 撮像装置、撮像方法およびプログラム
JP6091211B2 (ja) * 2012-12-28 2017-03-08 キヤノン株式会社 撮像装置及び制御方法
JP6249202B2 (ja) * 2013-05-10 2017-12-20 ソニー株式会社 画像表示装置、画像表示方法、およびプログラム
JP6518409B2 (ja) * 2014-06-30 2019-05-22 オリンパス株式会社 撮影装置及び撮影方法
JP6373121B2 (ja) * 2014-08-20 2018-08-15 キヤノン株式会社 画像処理装置およびその制御方法
US9886633B2 (en) * 2015-02-23 2018-02-06 Vivint, Inc. Techniques for identifying and indexing distinguishing features in a video feed
US11196997B2 (en) 2015-05-15 2021-12-07 Hewlett-Packard Development Company, L.P. Image compression
KR20210149542A (ko) * 2020-06-02 2021-12-09 삼성에스디에스 주식회사 이미지 촬영 및 판독 방법, 이를 위한 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2824716B2 (ja) 1992-07-22 1998-11-18 富士写真フイルム株式会社 ポリエチレンナフタレートの製造方法
JPH0641281U (ja) * 1992-10-30 1994-05-31 日本ビクター株式会社 ビデオカメラ装置
US6236431B1 (en) * 1993-05-27 2001-05-22 Canon Kabushiki Kaisha Video camera apparatus with distance measurement area adjusted based on electronic magnification
US6670989B2 (en) * 1997-05-16 2003-12-30 Canon Kabushiki Kaisha Optical system driving control device and camera using the same
JPH11289486A (ja) * 1998-04-02 1999-10-19 Sony Corp ビデオカメラ
JP4314043B2 (ja) * 2003-03-10 2009-08-12 キヤノン株式会社 撮像装置
KR20040110155A (ko) * 2003-06-18 2004-12-31 삼성테크윈 주식회사 폴더 아이콘들이 이동하는 휴대용 디지털 장치의 제어 방법
JP2005012423A (ja) 2003-06-18 2005-01-13 Fuji Photo Film Co Ltd 撮像装置及び信号処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101244563B1 (ko) * 2008-06-27 2013-03-20 쿄세라 코포레이션 전자 기기 및 촬상 방법

Also Published As

Publication number Publication date
US7701492B2 (en) 2010-04-20
CN101375590A (zh) 2009-02-25
WO2007094219A1 (ja) 2007-08-23
JPWO2007094219A1 (ja) 2009-07-02
CN101375590B (zh) 2010-12-22
US20090268079A1 (en) 2009-10-29

Similar Documents

Publication Publication Date Title
JP4025362B2 (ja) 撮影装置および撮影方法
JP2023041766A (ja) 撮像装置およびその設定画面
JP4118322B2 (ja) 撮影装置、携帯端末装置、撮影方法、およびプログラム
JP5309490B2 (ja) 撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム
JP4212109B2 (ja) 撮影装置および撮影方法
JP5538865B2 (ja) 撮像装置およびその制御方法
US8525894B2 (en) Camera and camera control method
US8571378B2 (en) Image capturing apparatus and recording method
US20090102942A1 (en) Composition determining apparatus, composition determining method, and program
JP2008288767A (ja) 情報処理装置および方法、並びにプログラム
JP2007036615A (ja) カメラ制御装置及び監視システム
JP2009272840A (ja) 画像記録再生装置、画像記録再生方法、画像処理装置、および画像処理方法
US8068699B2 (en) Imaging apparatus and imaging method
JP6721084B2 (ja) ズーム制御装置、ズーム制御方法およびプログラム
US8068144B2 (en) Image recording and reproducing apparatus
US7382401B2 (en) Data processing apparatus
JP2007124278A (ja) 撮像装置
JP7353821B2 (ja) 画像処理装置、その制御方法、プログラム
US20120219264A1 (en) Image processing device
WO2020189057A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2013009435A (ja) 撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム
JP2011101161A (ja) 撮像装置、その制御方法、再生装置およびプログラム
JP4438065B2 (ja) 撮影制御システム
JP4408397B2 (ja) 撮影装置および撮影方法およびプログラム
JP2003324723A (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071004

R150 Certificate of patent or registration of utility model

Ref document number: 4025362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131012

Year of fee payment: 6