WO2007094219A1 - 撮影装置および撮影方法 - Google Patents

Abstract

　被写体または撮影者が動いた場合であっても、被写体の撮りこぼしを最小限に抑え、かつ長時間録画することができる撮影装置および撮影方法を提供する。撮影装置（１００）は、動きが検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように多焦点光学レンズの焦点距離を算出し、動きが検出されなかった場合、設定されたズーム倍率となるように焦点距離を算出する焦点距離算出部（１０３）、撮影画像とズーム倍率を時間とともに保存する記録メディア部（１０８）、ズーム倍率に従って撮像素子部（１０４）の出力である撮影画像から切り出すフレーム領域ＩＣＦを設定するフレーム領域設定部（１１１）、フレーム領域（ＩＣＦ）から電子ズームでフレーミング画像（ＩＤＦ）を生成する電子ズーム処理部（１１２）、およびフレーミング画像（ＩＤＦ）を表示するフレーミング画像表示部（１１３）を備える。

Description

明 細 書

撮影装置および撮影方法

技術分野

[0001] 本発明は、画像撮影に係り、撮影意図と映像を分離して記録する技術に関するも のである。

背景技術

[0002] 近年、様々な機器のデジタルィ匕と集積ィ匕技術の高度化によって、映像をデジタル 記録できるカメラ、すなわち、デジタルビデオカメラが広く普及してきた。デジタル記 録は、他のメディアとの親和性が高ぐネットワークでの配信や映像編集など、様々な 利用形態が民生用途で広がりを見せている。

[0003] カメラは、図 1Aに示すように、シーン 1801の中力も一部を切り出して画像データと して保存する。切り出す位置は撮影者が撮影意図に応じて決定し、シーンの中に切 り出し枠 1802を設定する意味合いでフレーミングと呼ばれる。フレーミングを決める 要因は、カメラの位置 1803、カメラの方向 1804、カメラの角度 1805 (横向きに構え る力、縦向きに構える力 斜めに構えるか）、カメラの画角 1806の 4つである。このう ち、カメラの位置は、図 1Bの表 1807、および図 1Cに示すように、トラッキング 1808 ( 左右に水平移動）、ブーミング 1809 (鉛直移動）、ドリーイング 1810 (前後に水平移 動）で調整する。また、カメラの方向は、図 1Dに示すように、パンユング 1811 (カメラ 中心で水平方向に回転）、チルティング 1812 (カメラ中心で鉛直方向に回転)で調整 する。また、カメラの回転は、図 1Dに示すように、ローリング 1813 (光軸を中心に回 転)で調整する。カメラの画角は、ドリーイング 1810、ズーミング 1814で調整する。ズ 一ミングには、光学系の焦点距離を変更する光学ズームと、画像処理による電子ズ ームが利用される。以上のように、フレーミングは、トラッキング 1808からズーミング 1 814までの 7種類のカメラワークで撮影者によって決定される。

[0004] 撮影者は、撮影意図に応じて、図 1A〜図 1Dに示したカメラワークを使い分けて、 様々なフレーミングを作り出すことができる。たとえば、図 2は、撮影者 1901が被写体 1902の側面から正面に回りこみながら、かつ、ビデオカメラ 2001の多焦点レンズ 20 02の焦点距離を連続的に長くしてズーム倍率を上げる (ズームインする)撮影例を示 す図である。ここで、画像 IC1、画像 IC2、画像 IC3は、ビデオカメラ 2001のファイン ダ 2003に映し出される撮影画像を示し、それぞれ、撮影倍率 1倍、 2倍、 4倍に相当 する。この撮影例では、撮影者 1901は、体の移動と回転でトラッキングとパンユング を行いつつ、同時に、ズーミングを行う。

[0005] 以上のように、 7種類のカメラワークを自由に使 、分けることで、様々なフレーミング が設定でき、映像表現力を高めることができるが、同時に、自由度の高さ故に、カメラ ワークを撮影意図どおりに制御できず、フレーミングが不適正になる場合がある。たと えば、図 3は、被写体 1902が右方向に移動したため、トラッキングとパンユングの制 御が適正に実行できず、被写体 1902がフレーム力も外れて（フレームアウトして)撮 りこぼした例であり、図 2のように、常に被写体 1902を画面の中央に捉えたい、という 撮影意図どおりにフレーミングを設定できな力つた。被写体 1902は、時間 Tl、時間 Τ2、時間 Τ3と時間が進むごとに右に移動し、撮影者 1901は、トラッキングとパン- ングが適切に制御できず、画像 IC4に示すように、時間 T1で画面中央に捉えていた 被写体 1902が、画像 IC5に示すように、時間 Τ2では画面右側にずれ、次に、画像 I C6に示すように、時間 Τ3では画面右側にフレームアウトして、撮りこぼしが発生した

[0006] 以上のような撮影意図どおりにフレーミングが設定できな 、課題を解消するために 、フレーミングを撮影後に再設定できる技術が開示されている（例えば、特許文献 1 参照）。すなわち、図 4Αに示すように、ビデオカメラ 2001の多焦点レンズ 2002の焦 点距離を短く（たとえば 35mm)して、広角で撮影し、画角 2101を確保して被写体 1 902を捉え、取りこぼしを防ぐ。撮影画像は、図 4Bに示す画像 IC7のように、被写体 1902をフレーム内に捉えるが、トラッキングとパンユングが適切に制御できない影響 で、画面の右側にずれたフレーミングになる。図 3の画像 IC6は、ビデオカメラ 2001 の多焦点レンズ 2002の焦点距離を長く（たとえば 140mm)して画角を画角 2102の ように狭め、ズーム倍率 4倍の撮影画像をフレーム 2201として得ている。そこで、図 2 の画像 IC3のように、被写体 1902を画面中央に捉えたい、という撮影意図に合致さ せるために、フレーム 2202で画像 IC8を切り出し、これをファインダ 2003に表示する 。撮影時のフレーミングはフレーム 2201であった力 これを撮影後に、フレーム 220 2に再設定して、撮影意図どおりのフレーミングを確保している。

[0007] 力！]えて、特許文献 1では、画像処理によるズーミングである電子ズームで画質が劣 化する対策として、画素数とライン数の多い高精細撮像素子を利用する。多焦点レン ズ 2002の焦点距離を、たとえば 35mmから 140mmに 4倍長くすると、画角は、画角 2101力ら画角 2102に変更され、ファインダ 2003には、画角 2101の場合の 4倍の 大きさで被写体 1902が映し出される。もし、ビデオカメラ 2001の撮像素子の画素数 とライン数がファインダ 2003と同一で、たとえば 640画素 X 480ラインであったとする と、被写体 1902がフレームアウトしないように、画角 2101で広角撮影すると、フアイ ンダ 2003に表示したい領域は 1Z4に小さくなる。そこで、画像 IC7を 640画素 X 48 0ラインで得た場合、切り出したいフレーム 2202は、 160画素 X 120ラインになり、 6 40画素 X 480ラインのファインダ 2003に表示するために、画像処理で 4倍拡大を行 う必要がある。特許文献 1では、画像処置による画像拡大を避けるために、ビデオ力 メラ 2001の撮像素子の画素数とライン数を増やし、切り出し処理のみで、画角 2102 の光学ズーム 4倍と同等の画質を得る。すなわち、ファインダ 2003の画像サイズが、 640画素 X 480ラインであるとすると、撮像素子には、 2560画素 X 1920ラインを用 いる。

特許文献 1 :特開 2005— 12423号公報（図 3)

非特許文献 1 :日本ビクター株式会社、「ハードディスクムービー、主な仕様」、 [平成 18年 2月 10日検索]、インターネットく URL:http : //www. jvc— victor, co. jp Z dvmain/ gz— mg70/ spec. html>

発明の開示

発明が解決しょうとする課題

[0008] し力しながら、従来の技術では、撮影画像が保存される記録メディアの記録容量が 考慮されていない課題を有する。たとえば、 2560画素 X I 920ラインの撮像素子を 用いた場合、 RGB24ビットのフレーム画像 1枚の容量は約 14. 7MBであり、 1秒間 に 30フレーム撮影すると、 1秒間の記録容量は約 441MBになる。たとえば、非特許 文献 1のビデオカメラを想定した場合、ハードディスクの容量が 30GBであるので、特 許文献 1の方式で映像を記録すると、約 68秒でディスク容量を使い切る。また、非特 許文献 1のビデオカメラを想定した場合、動画記録時間は 7時間 (画質モードを最高 レベルにした場合)であるため、撮影画像を圧縮して、 7時間分の映像を 30GBのハ ードディスクに記録するには、約 0. 3%までデータ量を削減しなければならない。

[0009] そこで、本発明は上記の事情に鑑みてなされたものであり、被写体または撮影者が 動いた場合であっても、被写体の撮りこぼしを最小限に抑え、かつ長時間録画するこ とができる撮影装置および撮影方法を提供することを目的とする。

課題を解決するための手段

[0010] 上記目的を達成するため、本発明に係る撮影装置は、多焦点光学レンズの焦点距 離を制御することによってズーム倍率を替えて被写体を撮影する撮影装置であって、 前記被写体の動きを検出する被写体動き検出手段と、当該撮影装置の動きを検出 する撮影装置動き検出手段と、前記被写体動き検出手段によって前記被写体の動 き、および前記撮影装置動き検出手段によって当該撮影装置の動きのうち少なくとも 一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記 多焦点光学レンズの焦点距離を算出し、前記被写体動き検出手段によって前記被 写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きが検 出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズ の焦点距離を算出する焦点距離算出手段と、前記多焦点光学レンズの焦点距離を 前記焦点距離算出手段によって算出された焦点距離に合わせるように制御する焦 点距離制御手段と、前記多焦点光学レンズによって結像された前記光学ズーム画像 の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフ レーム領域設定手段と、前記フレーム領域設定手段によって切り出された前記フレ ーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズー ム処理手段と、前記電子ズーム処理手段によって電子ズームされた電子ズーム画像 、または前記光学ズーム画像を表示するフレーミング画像表示手段と、前記ズーム倍 率と前記光学ズーム画像とを保存する記録メディア手段とを備えることを特徴とする。 発明の効果

[0011] 本発明に係る撮影装置および撮影方法よれば、被写体あるいはビデオカメラが動 いて撮影意図どおりにフレーミングが制御できな力つた場合に、広角撮影画像力も画 像を切り出すことでフレーミングを修正できる。また、フレーミングの再設定の可能性 が低い場合、記録メディアへの記録容量を削減することで、映像の記録時間を長くす ることができる。さらに、記録メディア上のデータ管理を、表示画像として利用される可 能性の大小に応じた適応処理とすることで、映像の記録時間を長くすることができる 図面の簡単な説明

[図 1A]図 1Aは、本発明の背景技術を示す図である。

[図 1B]図 1Bは、本発明の背景技術を示す図である。

[図 1C]図 1Cは、本発明の背景技術を示す図である。

[図 1D]図 1Dは、本発明の背景技術を示す図である。

[図 2]図 2は、本発明の背景技術を示す図である。

[図 3]図 3は、本発明の背景技術を示す図である。

[図 4A]図 4Aは、本発明の背景技術を示す図である。

[図 4B]図 4Bは、本発明の背景技術を示す図である。

[図 5]図 5は、本発明の実施の形態 1に係る撮影装置の構成を示すブロック図である

[図 6]図 6は、焦点距離 F、画角 L、撮影距離 D、撮像素子の大きさ Sの関係を示す図 である。

[図 7A]図 7Aは、被写体動きの検出方法の一例を説明する図である。

[図 7B]図 7Bは、被写体動きの検出方法の一例を説明する図である。

[図 8]図 8は、時間 Ti 1と時間 Tiにおける撮影装置と被写体の相対的位置関係が 保存される例を説明する図である。

[図 9]図 9は、撮影装置の動きを検出する方法を説明する図である。

[図 10]図 10は、図 5の撮影画像 ICとフレーミング画像 IDFの詳細を示す図である。

[図 11]図 11は、線形補間法を説明する図である。

[図 12]図 12は、データベース参照型の画像拡大方法を説明する図である。

[図 13]図 13は、画像特徴量 FISをウェーブレット変換の係数で表現する方法を説明 する図である。

圆 14]図 14は、撮影装置の動作を説明するフローチャートである。

[図 15A]図 15Aは、フレーミングの再設定方法を説明する図である。

[図 15B]図 15Bは、フレーミングの再設定方法を説明する図である。

[図 16]図 16は、本発明の実施の形態 2に係る撮影装置の構成を示すブロック図であ る。

[図 17]図 17は、本発明の実施の形態 3に係る撮影装置の構成を示すブロック図であ る。

[図 18A]図 18Aは、被写体の動きの度合いを求める方法を説明する図である。

[図 18B]図 18Bは、被写体の動きの度合いを求める方法を説明する図である。

[図 19]図 19は、本発明の実施の形態 4に係る撮影装置の構成を示すブロック図であ る。

[図 20]図 20は、撮影画像データ部がフレーム領域 ICFの保存領域と外枠領域 ICM の保存領域をメモリアドレスで識別する方法を説明する図である。

[図 21]図 21は、本発明の実施の形態 5に係る撮影装置の構成を示すブロック図であ る。

[図 22]図 22は、先読みの方法を右方向へ撮影装置をパンニングする例で説明する 図である。

[図 23]図 23は、本発明の実施の形態 6に係る撮影装置の構成を示すブロック図であ る。

[図 24]図 24は、本発明の実施の形態 7に係る撮影装置の構成を示すブロック図であ る。

[図 25]図 25は、本発明の実施の形態 8に係る撮影装置の概観図である。

[図 26]図 26は、動作モードの選択画面を示す図である。

[図 27]図 27は、被写体撮りこぼし防止モードの設定画面を示す図である。

[図 28]図 28は、圧縮率可変モードの設定画面を示す図である。

[図 29]図 29は、外枠上書きモードの設定画面を示す図である。

[図 30]図 30は、フレーミング再設定モードの設定画面を示す図である。 [図 31]図 31は、先読みモードの設定画面を示す図である。

[図 32]図 32は、画像特徴検出部における特定の色の指定に用いるカラーパレット 16 06を説明する図である。

[図 33]図 33は、画像特徴検出部における特定の色の指定に用いるエリア指定 1609 を説明する図である。

[図 34]図 34は、音特徴検出部における音指定の設定画面を示す図である。

圆 35A]図 35Aは、本発明の実施の形態 9に係る撮影装置の構成を示すブロック図 である。

圆 35B]図 35Bは、本発明の実施の形態 9に係る撮影装置により撮影された画像を 示す図である。

圆 35C]図 35Cは、本発明の実施の形態 9に係る撮影装置により撮影された画像を 示す図である。

圆 35D]図 35Dは、本発明の実施の形態 9に係る撮影装置により撮影された画像を 示す図である。

符号の説明

100、 400、 500、 600、 700、 800、 900、 1000、 1700 撮景装置

101 多焦点光学レンズ部

102 焦点制御部

103 焦点距離算出部

104 撮像素子部

105 ズーム倍率設定部

106 被写体動き検出部

107 撮影装置動き検出部

108 記録メディア部

109 フレーミング再設定部

110 フレーミング変更部

111 フレーム領域設定部

112 電子ズーム処理部 113 フレーミング画像表示部

114 姿勢センサ部 114

200 被写体

発明を実施するための最良の形態

[0014] 本発明の実施の形態に係る撮影装置は、多焦点光学レンズの焦点距離を制御す ることによってズーム倍率を替えて被写体を撮影する撮影装置であって、前記被写 体の動きを検出する被写体動き検出手段と、当該撮影装置の動きを検出する撮影装 置動き検出手段と、前記被写体動き検出手段によって前記被写体の動き、および前 記撮影装置動き検出手段によって当該撮影装置の動きのうち少なくとも一方が検出 された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学 レンズの焦点距離を算出し、前記被写体動き検出手段によって前記被写体の動き、 および前記撮影装置動き検出手段によって当該撮影装置の動きが検出されなかつ た場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離 を算出する焦点距離算出手段と、前記多焦点光学レンズの焦点距離を前記焦点距 離算出手段によって算出された焦点距離に合わせるように制御する焦点距離制御 手段と、前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前 記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域 設定手段と、前記フレーム領域設定手段によって切り出された前記フレーム領域の 画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理手段 と、前記電子ズーム処理手段によって電子ズームされた電子ズーム画像、または前 記光学ズーム画像を表示するフレーミング画像表示手段と、前記ズーム倍率と前記 光学ズーム画像とを保存する記録メディア手段とを備えることを特徴とする。

[0015] 具体的には、第 1に、被写体または撮影装置が動いた場合、撮影意図に適さない フレーミングが発生しやすい、と想定して広角撮影を選択し、被写体の取りこぼしを 防ぐ。すなわち、被写体あるいは撮影装置の動きが検出されたら、光学ズームを広角 撮影に切り替え (多焦点レンズの焦点距離を短くする）、広い範囲でシーンを撮影し、 被写体を画角内に捉える。撮影者がフレーミングを確認するファインダへの映像表示 には、電子ズームを用い、たとえば、撮影者がズーム倍率を 4倍に設定した場合は、 広角撮影画像からズーム倍率 4倍に対応した領域をフレーム領域として切り出し、電 子ズームでファインダに表示する表示映像のサイズに拡大する。記録メディアには、 光学ズームで決定された広角撮影映像と撮影者が指定したズーム倍率を保存する。 ズーム倍率を参照すれば、撮影者がファインダで確認したフレーム領域を広角撮影 映像上に特定でき、フレーム領域以外の外枠領域は、フレーミング再設定に利用で きる。

[0016] 第 2に、被写体と撮影装置がともに静止している場合は、撮影意図どおりにフレーミ ングを制御しやす ヽ、と想定して撮影時に設定されたフレーム領域のみが記録メディ ァに保存され、外枠領域は設けられない。そこで、撮影者がフレーミングを確認する ファインダへの映像表示には、光学ズームで撮影された画像がそのまま使われ、電 子ズームは動作しない (倍率 1倍とする)。従って、被写体と撮影装置の両方で動きが 検出されない場合は、表示に必要な画像サイズのみを記録メディアに保存して、記 録容量を削減する。

[0017] これによつて、ズーミングの光学的制御（光学ズーム）と電子的制御（電子ズーム）の 両方を利用して撮影意図に応じたフレーミングを設定し、撮影者に撮影意図どおりの 映像を表示することができる。また、被写体または撮影者が動いた場合であっても、 被写体の撮りこぼしを最小限に抑え、かつ長時間録画することができる。

[0018] また、前記撮影装置は、さらに、前記記録メディア手段に保存された前記ズーム倍 率、および前記ズーム倍率で決まるフレーム領域の前記光学ズーム画像上の位置の うち少なくとも 1つを再設定するフレーミング再設定手段と、前記記録メディア手段に 保存されている前記光学ズーム画像上の中から、前記フレーミング再設定手段によ つて再設定された前記ズーム倍率および前記フレーム領域の前記光学ズーム画像 上の位置を用いて前記フレーム領域を切り出すフレーミング変更手段とを備えてもよ い。

[0019] また、前記撮影装置は、さらに、前記フレーム領域と、前記光学ズーム画像から前 記フレーム領域を除いた外枠領域とを個別の圧縮率で画像の圧縮符号化を行う圧 縮符号化手段と、前記フレーム領域と前記外枠領域とを個別の圧縮率で圧縮符号 化された画像の伸長復号化を行う伸長復号化手段とを備えてもよ!ヽ。これによつて、 記録メディアの記録容量を削減することができる。すなわち、外枠領域は、フレーミン グの再設定が行われない限り利用されず、また、外枠領域すべてがフレーミングの再 設定で選択される可能性は低いため、外枠領域は相対的に圧縮率を高めて記録容 量の削減を優先し、フレーム領域は相対的に圧縮率を低めて画質を優先することが できる。

[0020] また、前記撮影装置は、さらに、前記フレーム領域と、前記光学ズーム画像から前 記フレーム領域を除いた外枠領域とを前記記録メディア手段上で個別にアドレス管 理を行うアドレス調整手段と、前記記録メディア手段の記録容量が上限に達した場合 、前記フレーム領域のデータを前記外枠領域のアドレスに上書きする容量管理手段 とを備えてもよい。これによつて、撮影者にとって、より重要なフレーム領域の映像が 記録される時間を長くすることができる。

[0021] また、前記フレーム領域設定手段は、前記撮影装置動き検出手段によって検出さ れた当該撮影装置の動きから規則性を検出し、検出した前記規則性に基づいて、フ レーミングを先読みするように前記光学ズーム画像の中の前記フレーム領域を移動 させてもよい。これによつて、撮影装置の動きに加え、フレーム領域が光学ズーム画 像内で撮影装置の移動方向に移動するので、より短い時間で被写体を捉えることが でき、撮りこぼしを最小限の抑えることができる。

[0022] また、前記フレーム領域設定手段は、前記被写体動き検出手段によって検出され た前記被写体の動きが所定の変化以上である場合、前記被写体の動きが検出され た領域へ前記光学ズーム画像の中の前記フレーム領域を移動させてもよい。これに よって、例えば突然動きを早めた人物や、突然動きを止めた人物などにフレーム領 域を移動することができるので、例えば監視カメラなどで、自動的に重要な領域を詳 細に撮影することができる。

[0023] また、前記撮影装置は、さらに、前記光学ズーム画像の中から、特定の色および特 定の画像パターンの少なくとも 1つを検出する画像特徴検出手段を備え、前記焦点 距離算出手段は、前記画像特徴検出手段によって前記特定の色および前記特定の 画像パターンの少なくとも 1つが検出された場合、設定されたズーム倍率よりズーム 倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記フレーム領 域設定手段は、前記画像特徴検出手段によって検出された前記特定の色および前 記特定の画像パターンを含むように、前記光学ズーム画像の中の前記フレーム領域 を移動させてもよい。これによつて、特定の色および特定の画像パターンを含む領域 にフレーム領域を移動することができるので、例えば監視カメラなどで、自動的に重 要な領域を詳細に撮影することができる。

[0024] なお、本発明は、このような撮影装置として実現することができるだけでなぐこのよ うな撮影装置が備える特徴的な手段をステップとする撮影方法として実現したり、そ れらのステップをコンピュータに実行させるプログラムとして実現したりすることもでき る。そして、そのようなプログラムは、 CD— ROM等の記録媒体やインターネット等の 伝送媒体を介して配信することができるのは言うまでもない。

[0025] 以下、本発明の実施の形態につき図面を参照して詳細に説明する。

[0026] (実施の形態 1)

本実施の形態では、被写体あるいはビデオカメラの動き検出に応じて光学ズームと 電子ズームを使い分け、被写体が画角力 外れる撮りこぼしの可能性を最小限に抑 えて、かつ映像の記録容量も最小限に抑える撮影装置について説明する。

[0027] 図 5は本発明の実施の形態 1に係る撮影装置の構成を示すブロック図である。

[0028] 撮影装置 100は、被写体 200を撮影するための装置であり、多焦点光学レンズ部 1 01、焦点距離制御部 102、焦点距離算出部 103、撮像素子部 104、ズーム倍率設 定部 105、被写体動き検出部 106、撮影装置動き検出部 107、記録メディア部 108、 フレーミング再設定部 109、フレーミング変更部 110、フレーム領域設定部 111、電 子ズーム処理部 112、フレーミング画像表示部 113、および姿勢センサ部 114を備 えている。実線は映像データの流れを示し、点線は制御データの流れを示す。

[0029] 多焦点光学レンズ部 101は、焦点距離を変更することによって、撮像素子部 104に 結像される撮影画像 ICの画角を変更する。焦点距離は、ズーム倍率設定部 105で 設定されたズーム倍率 ZFに従って焦点距離算出部 103で算出され、焦点距離制御 部 102を介して多焦点光学レンズ部 101の焦点距離が設定される。図 6は、焦点距 離 F、撮像される被写体 200の長さ（画角に相当） L、被写体 200と多焦点光学レンズ 101との距離 D、撮像素子 104の大きさ Sの関係を示し、これらは次の（式 1)の関係 を持つ,

[0030] [数 1]

F = -D (式 1 )

[0031] 焦点距離 Fと画角 Lは反比例の関係にあり、たとえば、焦点距離 Fが 35mmから 14 Ommへ 4倍長くなつた場合、画角 Lは 1Z4狭くなり、倍率 4倍の拡大画像が撮影でき る。

[0032] ズーム倍率設定部 105では、撮影者によってズーム倍率 ZFが設定される。ズーム 倍率 ZFは、多焦点光学レンズ部 101の焦点距離が最短で最も画角が広い状態を 1 倍とする。ズーム倍率設定部 105で設定されたズーム倍率 ZFは、焦点距離算出部 1 03と記録メディア部 108とフレーミング変更部 109に入力する。

[0033] 被写体動き検出部 106は被写体 200の動きを検出し、撮影装置動き検出部 107は 撮影装置 100の動きを検出する。被写体 200の動き、あるいは撮影装置 100の動き の少なくとも一方が検出された場合、焦点距離算出部 103に検出結果が入力され、 焦点距離算出部 103は焦点距離を最短 (たとえば 35mm)に設定し、多焦点光学レ ンズ部 101は画角が最も広い光学ズーム 1倍の状態に設定される。このような動作の 目的は、被写体 200と撮影装置 100の少なくとも一方が動いた場合に、撮影者がフ レーミングを撮影意図どおりに制御できなくなり、被写体 200が画角力も外れる可能 性が高い、と想定して、画角が最も広い光学ズーム 1倍に設定して、撮りこぼしを防止 するところにある。逆に、被写体 200に動きがなぐかつ撮影装置 100に動きがない 場合は、被写体 200が画角力も外れて撮りこぼしをする可能性は低いため、焦点距 離算出部 103はズーム倍率設定部 105から与えられるズーム倍率 ZF (たとえば 4倍） を焦点距離制御部 102に出力し、多焦点光学レンズ部 101は光学ズーム 4倍 (たとえ ば 35mmを 1倍とした場合、 140mm)に設定される。

[0034] 本発明にお 、て、被写体動きの検出方法は任意である力 たとえば、図 7Aおよび 図 7Bに示すように、時間の異なる 2つの画像の差分を求める方法などを利用する。 図 7Aは、時間 TOから時間 TEの間で被写体 200が右方向に移動した場合であり、 撮影装置 100は静止していたとする。時間 TOと時間 TEの間で連続する時間 Ti— 1 と時間 Tiを考え、撮影画像をそれぞれ、撮影画像 ICi 1、撮影画像 ICiとする。時間 Ti— 1と時間 Tiの間隔は、フレームレートに依存し、通常、 1/30秒である。図 7Bに 示す画像 ICOPTは、撮影画像 ICi— 1と撮影画像 ICiを画素単位で差分を求めた結 果であり、画素値が異なる画素を斜線で示した。実際はカメラノイズや、背景のわず 力な動きなどを含めて様々なノイズが存在するために、差分値に閾値を設けて、閾値 を超えた場合に動きありと判定する。また、閾値設定は、画素値だけでなぐ画素数 に対しても設定し、画素数に対する閾値を超えない場合はノイズと考えて無視する。

[0035] 上記の説明では、撮影装置 100が静止している仮定をおいた。逆に、被写体 200 が静止していて、撮影装置 100が左側へトラッキングした場合、図 7Aおよび図 7Bと 同じ撮影画像が得られる。そこで、撮影装置 100の動きも図 7Aおよび図 7Bの原理 で検出できる。しかし、図 8に示すように、撮影装置 100と被写体 200が同時に移動 して、時間 Ti—1と時間 Tiにおける相対的位置関係が保存され、撮影画像 ICi 1と 撮影画像 ICiが同一になる場合が考えられる。この場合は、図 7Aおよび図 7Bに示し た差分値を求める方法では、撮影装置 100の動き、あるいは被写体 200の動きを検 出できない。そこで、図 9に示すように、撮影装置 100に姿勢センサ 114を内蔵し、撮 影装置 100の動きを検出する。図 7Aおよび図 7Bに示した被写体動き検出方法は一 例であり、本発明は任意の被写体動き方法を利用できるが、いずれの方法を適用し たとしても、撮影装置 100の動きが独立に検出されれば、被写体 200の動き検出の 精度向上につながるため、姿勢センサ 114は有効に利用できる。姿勢センサ 114に は、角速度センサや加速度センサなどを用いる。

[0036] 記録メディア部 108は、撮像素子部 104から出力される撮影画像 ICとズーム倍率 Z F設定部 105から出力されるズーム倍率 ZFを時間とともに保存する。撮影画像 ICと ズーム倍率 ZFは記録された時間を参照することで、対応関係がわかる。被写体動き 検出部 106、あるいは撮影装置動き検出部 107が、被写体 200あるいは撮影装置 1 00の動きを検出した際、多焦点光学レンズ部 101は光学ズーム 1倍に設定されるた め、ズーム倍率 ZFの設定値に関わらず、光学ズーム 1倍の撮影画像 ICが記録される [0037] フレーミング再設定部 109とフレーミング変更部 110は、撮影時には動作せず、記 録した映像を再生してフレーミングを再設定する際に動作する。そこで、撮影時は、 ズーム倍率設定部 105から与えられたズーム倍率 ZFがフレーミング変更部 110を通 過して、フレーム領域設定部 111と電子ズーム処理部 112に入力される。フレーミン グ再設定部 109とフレーミング変更部 110の動作説明は、撮影時の動作説明の後、 再生時の動作説明として後述する。

[0038] フレーム領域設定部 111は、ズーム倍率 ZFに従って、撮像素子部 104の出力であ る撮影画像 ICカゝら切り出すフレーム領域 ICFを設定し、電子ズーム処理部 112は、 撮影画像 ICカゝらフレーム領域 ICFを切り出して、画像処理による電子ズームでフレー ミング画像 IDFを生成し、フレーミング画像表示部 113で撮影者にフレーミング画像 I DFを表示する。

[0039] 図 10は、図 5の撮影画像 ICとフレーミング画像 IDFの詳細を示す。撮影画像 ICは 、画素数 PC、ライン数 LCを有し、撮像素子部 104の画素数とライン数に一致する。 フレーミング画像 IDFは、画素数 PD、ライン数 LDを有し、フレーミング画像表示部 1 13の画素数とライン数に一致する。点線の交点は多焦点光学レンズ部 101の光軸 位置を表し、撮影画像 ICとフレーミング画像 IDFの中心と一致する。ズーム倍率 ZF は、多焦点光学ズーム部 101が最も広角の場合を倍率 1とするため、ズーム倍率 ZF に従って画角を狭めて切り出されるフレーム領域 ICFの画素数は (PC) / (ZF)、ライ ン数は (LC)Z(ZF)となる。

[0040] 次にフレーム領域 ICFをフレーミング画像表示部 113に表示するために、画素数（ PC) / (ZF)を画素数 PDに、ライン数 (LC) / (ZF)をライン数 LDに変換する電子ズ ームを施す。画素数 PDが画素数 (PC)Z(ZF)より大きい場合、あるいは、ライン数 L Dがライン数 (LC)Z(ZF)より大きい場合、電子ズームは画像拡大になる。本発明に おいて、画像拡大方法は任意であり、図 11と図 12に画像拡大方法の例を示す。

[0041] 図 11は、線形補間法を説明する図である。実線は、被拡大画像（図 10のフレーム 領域 ICFに相当）の画素位置を示し、実線の交点が画素を示す。画素 P1は画素値 S 1を持ち、画素 P2は画素値 S2を持ち、画素 P3は画素値 S3を持ち、画素 P4は画素 値 S4を持つ。点線は拡大画像（図 10のフレーミング画像 IDFに相当）の画素位置を 示し、画素 DFPの画素値 SDを (式 2)の線形補間演算で求める。

[0042] [数 2]

S_D =S_A +w_L{S_B -S_A)

-S,) …… （式 2) S_B =S₃ +w_P{S₄ -S₃)

[0043] 図 12は、データベース参照型の画像拡大方法を説明する図である。この場合、電 子ズーム処理部 112は、図 12に示すように画像特徴解析部 301、高密化データべ ース 302カテゴリ選定部 303、および画像生成部 307を備えている。また、高密化デ ータベース 302は、特徴カテゴリデータベース 304、変換テーブルデータベース 305 、および高密化画像特徴量データベース 306を備えて 、る。

[0044] 被拡大画像 IS (図 10のフレーム領域 ICFに相当）は、画像特徴解析部 301で画像 特徴量 FISに変換される。画像特徴量 FISは、画像のテクスチャ (光沢感ゃ凹凸感な どを表す模様やパターンの総称)を表現する特徴量であり、たとえば、図 13に示すよ うに、ウェーブレット変換の係数を要素とする多次元ベクトルで表現する。すなわち、 n回のスケーリングそれぞれにおいてウェーブレット変換の出力 HL、 LH、 HH、 LLを 求め、これらを階層ごとに束ねることによって、（3n+l)次元ベクトルを得る。これが、 画像特徴量 FISに用いられる。高密化データベース 302は、画像特徴量 FISを空間 的に密度の高い高密化画像特徴量 FISHに変換する。高密化データベース 302は、 高密化のための画像特徴量の変換情報を画像特徴カテゴリごとに保有して ヽる。そ こで、画像特徴量 FISのカテゴリが、カテゴリ選定部 303で選定され、図 12の例では 、画像特徴カテゴリ #2が選択されている。画像特徴カテゴリは、たとえば、被写体の 材質の種類ごと (たとえば肌、木、石、生地など）に設定して画像特徴量を高密化す れば、材質のテクスチャを保存でき、拡大画像の画質を高品位に制御できる。カテゴ リ選定部 303で特定された画像特徴カテゴリは、画像特徴カテゴリデータベース 304 を参照して、最も類似するカテゴリを選択し、図 12の例では、画像特徴カテゴリ # 2が 選択されている。画像特徴カテゴリデータベース 304の参照によって、カテゴリ番号（ この例では # 2)が決定すると、変換テーブルデータベース 305で同じカテゴリ番号 が選択され、参照すべき高密化画像特徴量のカテゴリ番号 (この例では # 10)が得ら れる。高密化画像特徴量のカテゴリ番号に従って高密化画像特徴量データベース 3 06から高密化画像特徴量が選択され、この例では、高密化画像特徴量 # 10が高密 化画像特徴量 FISHとして、画像生成部 307に出力される。画像生成部 307は画像 特徴解析部 301の処理の逆変換で高密化画像特徴量を拡大画像 ILに変換する。 画像特徴解析部 301にウェーブレット変換を用いた場合は、ウェーブレット逆変換を 適用する。

[0045] 以上のように、被写体動き検出部 106が被写体 200の動きを検出する力、あるいは 撮影装置動き検出部 107が撮影装置 100の動きを検出するか、少なくとも何れか一 方が検出されると、被写体 200を取りこぼす可能性が高いと想定して、画角を最も広 く取り、外枠領域 ICFを含めて撮影画像 ICが記録メディア部 108に保存される。逆に 、被写体 200と撮影装置 100がともに静止している場合は、被写体 200を取りこぼす 可能性が低 ヽと想定して、フレーム領域 ICFのみが撮影画像 ICとして記録メディア部 108に保存される。このような動作原理により、撮りこぼしの可能性を最小限に抑えつ つ、かつ記録メディア部 108への記録容量を最大限に削減できる。

[0046] 上記のように構成された撮影装置 100を用いて撮影者が被写体 200を撮影する場 合の動作にっ 、て説明する。

[0047] 図 14は、撮影装置 100の動作を説明するフローチャートである。

[0048] 撮影装置 100は、起動されると初期設定 (S101)として、焦点距離制御部 102が多 焦点光学レンズ部 101の焦点距離を最短に設定し、ズーム倍率 ZFを 1にリセットする 。フレーム領域設定部 111と電子ズーム処理部 112はズーム倍率 ZFを 1として動作 するため、フレーミング画像表示部 113にズーム倍率 ZFが 1の最も画角の広 、画像 が表示される (S102)。ズーム倍率設定部 105が撮影者に解放され (S103)、撮影 者は任意のタイミングでズーム倍率 ZFを変更できる。撮影者が録画ボタンを押すと、 被写体動き検出部 106は、被写体の動きの監視を開始し、撮影装置動き検出部 107 は、撮影装置の動きの監視を開始する（S104)。被写体の動きと撮影装置の動きの 少なくとも一方が検出されたら (S104で YES)、焦点距離算出部 103はズーム倍率 Z Fが 1となるように焦点距離を算出し、焦点距離制御部 102が多焦点光学レンズ部 10 1を倍率 1に相当する広角に設定する（S105)。倍率 1の広角画像からズーム倍率 Z Fに相当するフレーム領域 ICFを設定し、電子ズーム処理部 112はこのフレーム領域 ICFを切り出す（S106)。そして、電子ズーム処理部 112はフレーム領域 ICFをフレ 一ミング画像表示部 113の画像サイズに合致するように、画像拡大、あるいは画像縮 小を行う（S107)。電子ズーム画像をフレーミング画像表示部 113に表示し (S108) 、撮影画像 ICとズーム倍率 ZFとを記録メディア部 108へ保存する（S 109)。撮影終 了の場合 (S110で YES)は、動作が終了する。撮影が続いている場合 (S 110で NO )は被写体の動きおよび撮影装置の動きの少なくとも一方を検出するステップ（S104 )へ戻る。一方、被写体の動きと撮影装置の動きがともに検出されな力つたら (S104 で NO)、多焦点光学レンズ部 101を撮影者が設定したズーム倍率 ZFに設定する（S 112)。撮像素子部 104の出力の撮影画像 ICがフレーミング画像表示部 113で表示 される（S108)。

[0049] 以上の説明は、撮影時の動作に関するものであった力 これらにカ卩えて、再生時の フレーミング再設定の動作を次に説明する。

[0050] フレーミング再設定部 109は、撮影時に設定したフレーミングを、撮影後に修正す る手段であり、フレーム領域 ICFの位置とズーム倍率 ZFを変更できる。図 15Aおよび 図 15Bは、フレーミングの再設定方法を説明する図である。画像 ICToは撮影時に記 録メディア部 108に保存された撮影画像であり、外枠領域 ICMを含んでいる。撮影 意図は、右方向へ移動する人物の上半身を撮影する、とする。撮影画像 ICToが記 録される前は、被写体 201の上半身を捉えるフレーミングであった力 撮影画像 ICT oが撮影された時点で、被写体 202の身長が被写体 201より大きくことがわかり、フレ ームアウトした。そこで、撮影画像 ICT1のように、フレーミングを再設定したい、とする 。すなわち、フレーム領域 ICFoの中心位置 ICFCoを、フレーム領域 ICF1の中心位 置 ICFC1に移動し、かつ画角を広く（ズーム倍率を小さく）する。

[0051] フレーム領域の中心位置とズーム倍率の指定方法は、撮影時と同様で、撮影者は 記録メディア部 108に保存された撮影画像を再生し、フレーミング画像表示部 113で フレーミングを確認しながら、修正したい方向へ撮影装置 100を動かす。同時に、ズ ーム設定部 105を調整する。撮影装置 100の動きは姿勢センサ 114 (図 9)で検出し 、撮影画像 ICにおける光軸位置の変化を読み取る。フレーミングの再設定時には、 再生速度を落として (たとえば 1Z5秒)フレーミングの確認と操作に対して時間の余 裕を与える。また、再生速度の変更を撮影者が行っても構わない。変更されたフレー ム領域の中心位置 ICFC 1とズーム倍率 ZFはフレーミング変更部 110を介して記録メ ディア部 108に保存される。この際、撮影者は、過去のデータを削除して新しい変更 データのみを残す「上書きモード」や、過去のデータを残し、別途新しい変更データ を記録する「コピーモード」を選択できる。また、コピーモードで仮修正をし、修正結果 を再生してフレーミング画像表示部 113で確認してから上書きモードを実行する「コ ピー上書きモード」も利用できる。さらに、変更データを作成した後に外枠領域 ICM のデータを削除する力、残しておくかを撮影者が指示できる。なお、記録メディアの 記録容量を節約するには、上書きモードを選択し、過去のデータと変更データの両 方で外枠領域を削除することが望ましい。逆に、フレーミングの再設定を繰り返す可 能性が残る場合は、過去のデータと変更データの両方で外枠領域を残すことが望ま しい。フレーミングの再設定を繰り返す場合は、過去のデータに対して実施するか、 変更データに対して追加の変更を実施するか、を撮影者が選択できる。以上のように 、撮影時と同じ操作方法でフレーミングを再設定すると、撮影時のフレーミングの記 録 (撮影装置を上に向けるべきだつた)を参考にできるため、再設定の操作がスムー スになり、かつ、複数のフレーム画像力もなる動画像を一気に修正できるメリットがあ る。

フレーム領域 ICFoの大きさは、ズーム倍率 ZFに従って決まり、フレーム領域 ICFo に含まれる画素数は、画像 ICTo全体の 1/ (ZF) '2にある。たとえば、ズーム倍率 Z Fが 2倍の場合、 1Z4になり、ズーム倍率 ZF力 倍の場合、 1Z16になる。外枠領域 ICMに含まれる画素数は、画像 ICTo全体力 フレーム領域 ICFoを差し引いた画素 数であるから、ズーム倍率 ZFが 2倍の場合、 3Z4になり、ズーム倍率 ZFが 4倍の場 合、 15Z16になる。相対的に見て、利用される可能性の低い外枠領域 ICM力 利 用される可能性の高いフレーム領域 ICFよりも多くの画素を含むため、記録メディア 部 108の記録容量をある一定値 (たとえば 30GB)で考えた場合、録画時間を延ばす には、外枠領域の削除が効果的であることが容易に理解できる。たとえば、撮像素子 部 104の画像サイズを 2560画素 X 1920ラインとし、記録メディア部 108の記録容量 を 30GBとすると、 RGB24ビット画像の場合、約 86秒で記録容量の上限に達する。 仮に、フレーミング画像表示部 113の画像サイズを 640画素 X 480ラインとした場合 、フレーム領域 ICFの画像サイズは撮影画像 ICに対して画素数、ライン数ともに 1Z 4であり、外枠領域 ICMは 15Z16となる。そこで、被写体 200と撮影装置 100がとも に静止している場合、あるいは、撮影後に外枠領域を削除した場合、記録容量が 15 Z16に削減され、 30GBの記録上限であれば、録画時間が約 1080秒 (約 18分)ま で延びる。

[0053] また、電子ズーム処理部 112で図 11や図 12に例示した画像処理による電子ズー ムを実行すれば、撮像素子部 104の画素数とライン数を少なくできる。たとえば、撮 像素子部 104を 1280画素 X 960ラインにし、電子ズーム処理部 112で 2倍拡大を行 えば 2560画素 X 1920ライン相当のフレーム領域 ICFを得られる。撮像素子部 104 の画素数とライン数がともに 1Z2に削減されるため、記録メディア部 108への録画時 間も 4倍長くなり、たとえば、記録メディア部 108の記録容量を 30GBとすると、約 334 秒（5分 34秒）となり、外枠領域 ICMを保存しない場合は、 72分に延びる。

[0054] なお、図 5の説明では、被写体動き、あるいは撮影装置動きの少なくとも一方が検 出された際に光学ズームを 1倍に設定したが、本発明は光学ズームの倍率を限定す るものではなぐたとえば、 1. 5倍であっても構わない。動作の本質は、被写体動き、 あるいは撮影装置動きの少なくとも一方が検出された際に広角撮影に変更する、とこ ろにあり、被写体の撮りこぼし防止に適する倍率であれば、その数値は任意に設定 できる。

[0055] 以上により、被写体と撮影者の動きを監視し、光学ズームと電子ズームを使い分け ることで、被写体の撮りこぼしを最小限に抑え、かつ長時間録画が可能な撮影装置 を提供できる。また、フレーミングの再設定は、撮影時と同様に撮影装置を動かし、ズ ーム倍率を変更するため、新たな操作方法を覚える必要がなぐかつ動画像をスム ースに修正できる。

[0056] (実施の形態 2)

本実施の形態では、フレーム領域と外枠領域で画像データの圧縮率を切り替えて 撮影画像を記録メディアに保存する撮影装置について説明する。

[0057] 図 16は本発明の実施の形態 2に係る撮影装置の構成を示すブロック図である。な お、図 5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省 略する。

[0058] 撮影装置 400は、被写体 200を撮影するための装置であり、多焦点光学レンズ部 1 01、焦点距離制御部 102、焦点距離算出部 103、撮像素子部 104、ズーム倍率設 定部 105、被写体動き検出部 106、撮影装置動き検出部 107、記録メディア部 108、 フレーミング再設定部 109、フレーミング変更部 110、フレーム領域設定部 111、電 子ズーム処理部 112、フレーミング画像表示部 113、姿勢センサ 114、圧縮符号ィ匕 部 401、および伸長復号ィ匕部 115を備えている。

[0059] 圧縮符号ィ匕部 401は、フレーム領域設定部 111で設定されたフレーム領域 ICFと 外枠領域 ICMに異なる圧縮率で画像圧縮処理を施して記録メディア部 108へ出力 する。相対的にみて、フレーム領域 ICFは画像表示に利用される可能性が高ぐ外 枠領域は画像表示に利用される可能性が低いため、記録容量の削減を目的に、外 枠領域に高い圧縮率を適用し、録画時間を延ばす。圧縮率を高くすることで画質劣 化を招くが、外枠領域を設けることで撮りこぼしを防ぐことはできる。たとえば、撮像素 子部 104の画像サイズを 2560画素 X 1920ラインとし、記録メディア部 108の記録容 量を 30GBとすると、 RGB24ビット画像の場合、約 86秒で記録容量の上限に達する 。仮に、フレーミング画像表示部 113の画像サイズを 640画素 X 480ラインとした場 合、フレーム領域 ICFの画像サイズは撮影画像 ICに対して画素数、ライン数ともに 1 Z4であり、外枠領域 ICMは 15Z16を占める。そこで、外枠領域 ICMのデータ量を 1Z2に圧縮し、フレーム領域 ICFのデータ量を 3Z4に圧縮した場合は、 1フレーム の記録容量は約 7. 6MBで、記録メディア部 108の記録容量を 30GBとすると、録画 時間は約 132秒（2分 12秒）となり、録画時間が約 1. 5倍延びる。

[0060] 伸長復号ィ匕部 402は、圧縮符号化された撮影画像 ICを伸長復号化し、電子ズー ム処理部 112へ出力する。

[0061] 以上により、フレーム領域と外枠領域で画像データの圧縮率を切り替えて撮影画像 を記録メディアに保存することにより、録画時間を長くする撮影装置を提供できる。な お、フレーム領域および外枠領域を同じ圧縮率で圧縮符号ィ匕しても構わないが、上 記のように圧縮率を切り替えることによって、効率的に撮影画像を記録メディアに保 存することができる。

[0062] (実施の形態 3)

本実施の形態では、被写体の動きと撮影装置の動きの度合いに応じてフレーム領 域の大きさ、あるいは圧縮率の少なくとも一方を制御する撮影装置について説明する

[0063] 図 17は本発明の実施の形態 3に係る撮影装置の構成を示すブロック図である。な お、図 16に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を 省略する。

[0064] 撮影装置 500は、被写体 200を撮影するための装置であり、多焦点光学レンズ部 1 01、焦点距離制御部 102、焦点距離算出部 103、撮像素子部 104、ズーム倍率設 定部 105、被写体動き検出部 106、撮影装置動き検出部 107、記録メディア部 108、 フレーミング再設定部 109、フレーミング変更部 110、フレーム領域設定部 503、電 子ズーム処理部 112、フレーミング画像表示部 113、姿勢センサ 114、圧縮符号ィ匕 部 501、および伸長復号ィ匕部 502を備えている。

[0065] 被写体動き検出部 106は、被写体の動き検出結果を焦点距離算出部 103へ出力 するとともに、フレーム領域設定部 503と圧縮符号化部 501と伸長復号化部 502へ 被写体の動き検出結果を出力する。被写体動き検出部 106は、フレーム領域設定部 503と圧縮符号ィ匕部 501と伸長復号ィ匕部 502への出力において、動きのある Zなし の 2値情報だけではなぐ被写体の動きの度合いを出力する。動きの度合いとは、撮 影画像 ICの中で被写体動きが検出された画素数の割合と、時間変化に注目した場 合、被写体動きが検出された画素の集まりが撮影画像 ICの中でどれだけ移動してい る力、の 2つの観点がある。

[0066] 図 7Aおよび図 7Bに示したように、被写体の動きは時間的に前後する 2枚の画像（ 図 7Aおよび図 7Bでは、時間 Ti— 1の画像 ICi— 1と時間 Tiの画像 ICi)の画素値の 差分を画素ごとに求め、差分値を持つ画素に動きが発生したと判断する。そこで、差 分値の分布を表す画像 ICOPTの斜線部分の面積が広 、ほど、被写体の動きの度 合いが大きいと判定する。被写体の動きの度合いが大きいほど、撮影意図どおりにフ レーミングを設定できない可能性が高いため、フレーム領域 ICFを小さく取り、外枠領 域 ICMを大きく取って、撮りこぼし防止の確度を高める。

[0067] 図 18Aおよび図 18Bは、時間 Ti— 1、時間 Ti、時間 Ti+ 1に連続する 3枚の撮影 画像 ICi— 1、撮影画像 ICi、撮影画像 ICi + 1を示す。時間 Ti— 1と時間 Tiの差分が 画像 ICOPT1であり、時間 Tiと時間 Ti+ 1の差分が画像 ICOPT2である。画像 ICO PT1の斜線で示された動きのある画素の重心は点 CP1であり、画像 ICOPT2の斜 線で示された動きのある画素の重心は点 CP2であり、被写体の動きが検出された画 素の集まりが、移動していることがわかる。すなわち、点 CP1を通る垂直方向の点線 CV1と点 CP2を通る垂直方向の点線 CV2が異なる位置にある。なお、被写体 200 は平行移動しているため、点 CP1を通る水平方向の点線 CH1と点 CP2を通る水平 方向の点線 CH2は同じ位置にある。点線 CV1と点線 CV2の不一致力も被写体の動 きが時間 Ti— 1から時間 Ti+ 1に至るまで連続していることが理解でき、被写体の動 きの度合いが大きいと判定される。被写体の動きの度合いが大きいほど、撮影意図ど おりにフレーミングを設定できな 、可能性が高 、ため、フレーム領域 ICFを小さく取り 、外枠領域 ICMを大きく取って、撮りこぼし防止の確度を高める。被写体動きが検出 された画素の集まりの重心位置を時間的に連続して監視し、重心位置が動き続ける ほど、被写体の動きの度合!、が大き!、と判定する。

[0068] 以上のように、被写体の動きの度合いに応じて、圧縮率を固定としてフレーム領域 I CFの大きさを変更する方法を説明したが、同じ要領でフレーム領域 ICFの大きさを 固定として画像圧縮の圧縮率を制御しても構わない。すなわち、圧縮符号化部 501 は、入力された動きの度合 、が大き!、場合は外枠領域 ICMを用いてフレーミングを 再設定する可能性が高!ヽため、外枠領域 ICMに施す画像圧縮の圧縮率を低くして 、画質レベルを高く保つ。

[0069] また、被写体の動きの度合いに応じたフレーム領域 ICFの大きさ制御と外枠領域 I CMの圧縮率の制御は、同時に実行できる。その際、フレーム領域 ICFの大きさが小 さくなるほど、電子ズーム処理部 112が実行する画像拡大処理の拡大率が大きくなる

。そこで、フレーム領域 ICFの大きさが小さくなるほど、フレーム領域 ICFに施す画像 圧縮の圧縮率は低くし、画質レベルを維持する。

[0070] 以上の説明では、被写体の動きを対象に図 17の動作を説明したが、被写体の動き を撮影装置の動きと置き換えてことができる。また、被写体の動き、あるいは撮影装置 の動きの少なくとも一方が発生した場合に、動きの度合いを求めても構わない。

[0071] 以上により、被写体の動きと撮影装置の動きの度合いに応じてフレーム領域の大き さ、あるいは圧縮率の少なくとも一方を制御する撮影装置を提供でき、被写体の撮り こぼしの最小限に抑え、かつ録画時間を長くできる。

[0072] (実施の形態 4)

本実施の形態では、フレーム領域と外枠領域を記録メディア上で別々に管理し、記 録容量の残量がなくなったら、外枠領域の保存領域に上書きする撮影装置について 説明する。

[0073] 図 19は本発明の実施の形態 4に係る撮影装置の構成を示すブロック図である。な お、図 5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省 略する。

[0074] 撮影装置 600は、被写体 200を撮影するための装置であり、多焦点光学レンズ部 1 01、焦点距離制御部 102、焦点距離算出部 103、撮像素子部 104、ズーム倍率設 定部 105、被写体動き検出部 106、撮影装置動き検出部 107、記録メディア部 604、 フレーミング再設定部 109、フレーミング変更部 110、フレーム領域設定部 111、電 子ズーム処理部 112、フレーミング画像表示部 113、姿勢センサ 114、撮影画像デ ータ部 601、メモリアドレス調整部 602、およびメモリ容量管理部 603を備えている。

[0075] 撮影画像データ部 601は、図 20に示すように、フレーム領域 ICFの保存領域と外 枠領域 ICMの保存領域を別々に有し、メモリアドレスで識別する。この例では、メモリ アドレスの 0000から 1FFFをフレーム領域に利用し、メモリアドレスの 2000から FFF Fを外枠領域に利用している。メモリアドレス調整部 602は、フレーム領域設定部 104 力 与えられるフレーム領域 ICFと外枠領域 ICMに応じて、メモリアドレスの割り振り を担当する。メモリ容量管理部 603は、記録メディア部 108の記録容量を監視し、残 量がなくなった場合、メモリアドレス調整部 602に指示を出して、フレーム領域 ICFを 外枠領域 ICMのメモリアドレス空間に上書きしていく。このような動作によって、相対 的に見て、利用される可能性の高いフレーム領域の記録時間を延ばして、録画時間 を長くできる。

[0076] また、被写体動き検出部 106と撮影装置動き検出部 107から動きの度合いをメモリ アドレス調整部 602経由で撮影画像データ部に記録する。そこで、図 20に示すよう に、すべての外枠領域 ICMは動きの度合いを合わせ持つ。記録容量の残量がなく なって、外枠領域 ICMのメモリ空間にフレーム領域を上書きする際には、動きの度合 いの小さなデータ力も順に上書きする。このように動作させることで、相対的に見て、 利用される可能性の少ない動きの少ない外枠領域力 上書きし、撮りこぼしを最小限 に抑え、かつ録画時間を延ばすことができる。

[0077] 以上により、フレーム領域と外枠領域を記録メディア上で別々に管理し、記録要領 の残量がなくなったら、外枠領域に上書きする撮影装置を提供でき、撮りこぼしを最 小限に抑え、かつ録画時間を延ばすことができる。

[0078] (実施の形態 5)

本実施の形態では、撮影者が撮影したい被写体が画角外にあり、これを撮影者が 撮影装置を移動することで被写体を画角内に捉えるカメラワークにおいて、撮影装置 が姿勢センサの動き力 先読みした移動方向にフレーミング領域を移動して、より短 Vヽ時間で被写体を捉える撮影装置にっ 、て説明する。

[0079] 図 21は本発明の実施の形態 5に係る撮影装置の構成を示すブロック図である。な お、図 5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省 略する。

[0080] 撮影装置 700は、被写体 200を撮影するための装置であり、多焦点光学レンズ部 1 01、焦点距離制御部 102、焦点距離算出部 103、撮像素子部 104、ズーム倍率設 定部 105、被写体動き検出部 106、撮影装置動き検出部 107、記録メディア部 108、 フレーミング再設定部 109、フレーミング変更部 110、フレーム領域設定部 701、圧 縮符号化部 401、伸長復号化部 402、電子ズーム処理部 112、フレーミング画像表 示部 113、および姿勢センサ 114を備えている。

姿勢センサ部 114は、撮影装置 700の姿勢情報をフレーム領域設定部 701に出力 する。フレーム領域設定部 701は、姿勢情報を時間的に監視し続けて、撮影装置 70 0の動きに一定の規則性 (たとえば、右方向へのパンユングが 2秒間続くなど）が見つ カゝつたら、撮影装置 700は将来も同じ動きを続けると予測し、フレーム領域を撮影画 像 IC内で撮影装置の移動方向（たとえば、右方向へのパン-ング)へ移動し、撮影 装置の動きよりも早く被写体を捉える。たとえば、図 22は、右方向へ撮影装置 700を パン-ングする例を示す。被写体は人物 201、人物 202、人物 203であり、細い実線 の四角が外枠 ICMを示し、太い実線の四角がフレーム領域 ICFを示す。撮影者はフ レーム領域 ICFをフレーミングするズーム倍率 ZFを設定し、電子ズーム処理部 112 は、フレーム領域 ICFを電子ズームしてフレーミング画像表示部 113に表示する。図 22の上段の 1列は、従来例であり、フレーム領域 ICFの中心が光軸に一致している。 下段の 1列は、フレーム領域 ICFを先読みする一例である。時間 Ti 3に至るまでの 累積的な姿勢情報の監視 (たとえば、右方向へのパンニングが 2秒間続 、た)から、 連続する右方向へのパンユングを検出した、とする。そこで、時間 Ti— 2ではフレーム 領域 ICFTi— 2が右方向に移動した。この時点で、撮影者は被写体 203の顔がフレ ームアウトすることに気づき、時間 Ti—1で撮影装置 700を上方へチルティングし、時 間 Tiには被写体 203の顔全体をフレーム領域 ICFに捉えた。撮影者はフレーミング 画像表示部 113によって被写体 203の顔全体を捉えたことを確認したため、撮影装 置 700を移動する必要はなくなり、時間 Tiで撮影装置 700の右方向へのパンユング は停止し、同時にフレーム領域 ICFの先読みも停止した。そこで、フレーム領域 ICTi の中心は光軸に戻った。一方、フレーム領域 ICFの先読みがない上段では、時間 Ti 1で被写体 203のフレームアウトに気づき、時間 Tiでは撮影装置 700のチルティン グの途中であり、被写体 203の顔をフレーム領域 ICFTiFOは捉え切れていない。つ まり、上段では撮影装置 700の動きのみで目的の被写体 203の顔を追いかけたが、 時間 Tiではまだ完了しておらず、下段では撮影装置 700の動きに加え、フレーム領 域の先読みでより早く目的の被写体 203の顔を捉えた。このように、撮影装置の動き に加え、フレーム領域が撮影画像 IC内で撮影装置の移動方向に移動すれば、より 短!、時間で被写体を捉えられ、撮りこぼしを最小限の抑えることができる。

[0082] 以上のような動きに加え、圧縮符号部 401はフレーム領域 ICFを低圧縮率で圧縮 符号化し、外枠 ICMを高圧縮率で圧縮符号化する。撮影装置 700が移動していると いうことは、移動方向の先に撮影者にとって重要な被写体が存在することを意味し、 これをフレーム領域内で捉えることが撮影意図であるため、撮影意図として重要なフ レーム領域は画質劣化の少な!ヽ低圧縮率を用い、撮影意図として重要でな!、外枠 I CMは画質劣化の大きい高圧縮率を用いる。なお、圧縮符号ィ匕部 401と伸長復号部 402の動作は、図 16と同一である。

[0083] 撮像装置を素早く移動すると、ブラーと呼ばれるボケが画像に生じ、被写体の詳細 が確認できない画質劣化につながる。そこで、ブラーが発生しない範囲で撮影装置 を動かし、さらにフレーム領域の先読みで撮影装置の動きをカバーすると、撮りこぼし の最小化と画質を両立できる。たとえば、無人の監視カメラなどでは、関心のある被 写体を画角内に納めつつ、被写体の詳細を記録したいという、広角と狭角の両立が 必要である。そこで、狭角力メラをパン'チルトで移動し、広角撮影を確保する方式が 取られる。本実施の形態は、パン'チルトの最中に、監視カメラ映像を見ているオペレ ータが注目の被写体を検出し、いち早ぐカメラを注目の被写体へ向ける際に、短い 時間で目的を達成できる効果を発揮できる。

[0084] (実施の形態 6)

本実施の形態では、動きに急激な変化が発生した領域へ自動的にズーム領域を 動力してズーム領域を先読みする撮影装置について説明する。

[0085] 図 23は本発明の実施の形態 6に係る撮影装置の構成を示すブロック図である。な お、図 5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省 略する。

[0086] 撮影装置 800は、被写体 200を撮影するための装置であり、多焦点光学レンズ部 1 01、焦点距離制御部 102、焦点距離算出部 103、撮像素子部 104、ズーム倍率設 定部 105、被写体動き検出部 106、撮影装置動き検出部 107、記録メディア部 108、 フレーミング再設定部 109、フレーミング変更部 110、フレーム領域設定部 801、電 子ズーム処理部 112、フレーミング画像表示部 113、および姿勢センサ 114を備えて いる。

[0087] 被写体動き検出部 106は被写体の動きの度合いをフレーム領域設定部 801へ出 力する。フレーム領域設定部 801は、被写体の動きの度合いを監視し続け、急激な 変化を検出すると、その領域へフレーム領域 ICFを自動的に移動する。急激な動き の変化は、図 18Aおよび図 18Bで説明した動きの発生した画素の集まりの重心位置 の変化で判断し、重心位置の変化量が閾値を越えたら、急激な動きが発生したとし て、現時点の重心位置（図 18Aおよび図 18Bでは、 CP2)にフレーム領域 ICFの中 心位置を移動する。逆に、一定時間に渡り移動し続ける重心位置が、突然停止した 際にフレーム領域 ICFの中心位置を停止した重心位置に自動的に移動する。

[0088] 以上により、突然動きを早めた人物や、突然動きを止めた人物などに自動的にズー ム領域が割り当てられ、たとえば監視カメラなどで、自動的に重要な領域を詳細に撮 影することができる。

[0089] なお、本実施の形態を監視カメラに適用する場合は、ノ ンニングとチルティングの 自動制御と組み合わせることで、より広い範囲で注目領域にズーミングできる。すな わち、動きが検出された画素の集まりの重心が画角力も外れそうになると、フレーム 領域 ICFは画角内に収まらず、撮影画像 ICの外側に出てしまう。これは動きの激しい 被写体が画角力 外れそうな状態を意味するため、フレーム領域 ICFが撮影画像 IC の外側に外れた方向に撮影装置 800の向きを変更すれば、被写体を画角内に捉え られる。フレーム領域 ICFが撮影画像 ICの横方向に外れた場合はパンユングを、フ レーム領域 ICFが撮影画像 ICの縦方向に外れた場合は、チルティングを自動制御 する。

[0090] (実施の形態 7)

本実施の形態では、特定の色や画像パターン、音などを検出した場合、その検出 方向へ自動的にズーム領域を動力してズーム領域を先読みする撮影装置について 説明する。

[0091] 図 24は本発明の実施の形態 7に係る撮影装置の構成を示すブロック図である。な お、図 5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省 略する。 [0092] 撮影装置 900は、被写体 200を撮影するための装置であり、多焦点光学レンズ部 1 01、焦点距離制御部 102、焦点距離算出部 103、撮像素子部 104、ズーム倍率設 定部 105、被写体動き検出部 106、撮影装置動き検出部 107、記録メディア部 108、 フレーミング再設定部 109、フレーミング変更部 110、フレーム領域設定部 902、電 子ズーム処理部 112、フレーミング画像表示部 113、姿勢センサ 114、画像特徴検 出部 901、音センサ部 903、および音特徴検出部 905を備えている。

[0093] 画像特徴検出部 901は、撮影画像 IC中の特定の色や特定の画像パターンを検出 する。特定の色とは、たとえば、 RGB値がともに 100— 120であるグレーや、 R値が 2 00以上で、 G値と B値が 10以下である赤など、画素値で指定する。画素値の種類は 任意であり、 YUVや HVC、測色値である XYZや LABなど、自由に選択できる。特 定の画像パターンとは、撮影画像 ICを、たとえば 5 X 5画素のブロックに分け、 25画 素の画素値を要素として形成した特徴ベクトルなどである。たとえば、特定の文字を 検出したい場合は、あら力じめ、文字画像をブロックに分け、特徴ベクトルを求めて、 画像特徴検出部 901に保持しておく。撮影画像 ICのブロックごとに文字画像の特徴 ベクトルとの内積を求め、内積が閾値を超えたら文字が検出されたとする。画像特徴 検出部 901は、特定の色や画像パターンを検出したら、検出位置の位置情報をフレ ーム領域設定部 902に出力する。フレーム領域設定部 902は、検出位置の中心位 置にフレーム領域 ICFの中心位置を移動させる。また、特定の色や画像パターンが 同時に複数検出された場合には、フレーム領域設定部 902は、これらすベてを含む ように、フレーム領域 ICFを移動させる。

[0094] 以上により、特定の色やパターンを検出すると、自動的にズーム領域が割り当てら れ、たとえば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。

[0095] 音センサ部 903は、音源 904からの音をセンシングする。音源 904の位置を特定す るために、指向性を持つ複数本のマイクロフォンを内蔵し、音量の大小で音源 904の 位置を特定する。音特徴検出部 905は、音量の変化に対する閾値を持ち、急激に大 きな音がした場合、あるいは、急激に音量が落ちた場合、あるいは、特定の周波数パ ターンを持つ音を検出した場合に音源 904の位置情報をフレーム領域設定部 902 に出力する。音源 904の位置情報を受けたフレーム領域設定部 902は、撮影画像 I Cのおける音源位置をフレーム領域 ICFの中心位置としてフレーム領域 ICFを設定 する。

[0096] 以上により、突然音量が大きくなつたり、音量が小さくなつたり、特定の周波数バタ ーンを持つ音が発生するなど、特定のイベントを音の変化や発生で検知して、自動 的にズーム領域が割り当てられ、たとえば監視カメラなどで、自動的に重要な領域を 詳細に撮影することができる。

[0097] (実施の形態 8)

本実施の形態では、実施の形態 1から実施の形態 7で説明した動作の詳細設定が 撮影者は調整できる撮影装置にっ ヽて説明する。

[0098] 図 25は本発明の実施の形態 8に係る撮影装置の概観を示し、図 26は動作モード の選択画面を示し、図 27から図 34を用いて各動作モードの条件設定方法を説明す る。

[0099] 図 25に示すように、撮影装置 1000は、動作モード選択'調整ダイヤル部 1001を 持ち、これを操作することで、図 26に示す動作モードの選択画面から設定を変更し たい動作モードを選択する。動作モードには、仮に、被写体撮りこぼし防止モード 12 00、圧縮率可変モード 1300、外枠上書きモード 1400、フレーミング再設定モード 1 500、先読みモード 1600と名称を与える。この例では、被写体撮りこぼし防止モード 1200が選択されている。

[0100] 図 27は、フレーミング画像表示部 113に表示された被写体撮りこぼし防止モード 1 200の設定画面である。各メニューに対して太線の四角 BRが設定値として選択され ている。被写体動き検出 1201を ONにすると図 5の被写体動き検出部 106が有効に なる。被写体動き検出感度 1202を高くすると、図 7Aおよび図 7Bに示した動き検出 画素の画素数が相対的に少数でも被写体動きがあつたと判定される。被写体動き検 出感度 1202を低くすると、図 7Aおよび図 7Bに示した動き検出画素の画素数が相 対的に多数の場合に被写体動きがあつたと判定される。撮影装置動き検出 1203を ONにすると図 5の撮影装置動き検出部 107が有効になる。撮影装置動き検出感度 1204を高くすると、図 9に示した姿勢センサ 114の変化量が相対的に小さくても撮影 装置に動きがあつたと判定される。撮影装置動き検出感度 1204を低くすると、姿勢 センサ 114の変化量が相対的に大きい場合に撮影装置に動きがあつたと判定される 。被写体動き反映度 1205は、図 17に示した被写体の動きの度合いに応じたフレー ム領域 ICFの大きさ調整の感度を表わす。被写体動き反映度 1205が高いと、被写 体の動きが相対的に遅くてもフレーム領域 ICFのサイズは敏感に変化する。逆に、被 写体動き反映度 1205が低いと、被写体の動きが相対的に早くてもフレーム領域 ICF のサイズは急激に変化しな!、。

[0101] 図 28は、フレーミング画像表示部 113に表示された圧縮率可変モード 1300の設 定画面である。各メニューに対して太線の四角 BRが設定値として選択されている。フ レーム領域圧縮率 1301は、図 16の圧縮符号ィ匕部 401がフレーム領域 ICFに施す 画像圧縮処理の圧縮率を設定する。外枠圧縮率 1302は、圧縮符号化部 401が外 枠領域 ICMに施す画像圧縮処理の圧縮率を設定する。この例では、フレーム領域 I CFに低い圧縮率が、外枠領域 ICMに高い圧縮率が設定されて、記録メディア部 10 8への記録容量を削減している。被写体動き反映度 1303は、図 17に示した被写体 の動きの度合 、に応じたフレーム領域 ICFの大きさ調整の感度を表わす。被写体動 き反映度 1304が高いと、被写体の動きが相対的に遅くてもフレーム領域圧縮率 130 1と外枠圧縮率 1302の設定値が圧縮符号ィ匕部 501に敏感に適用される。逆に、被 写体動き反映度 1304が低いと、被写体の動きが相対的に早くてもフレーム領域圧 縮率 1301と外枠圧縮率 1302の設定値が圧縮符号ィ匕部 501に急激には適用されな い。フレーム領域サイズ連動圧縮可変制御 1304を ONにすると、フレーム領域 ICF 力 S小さい場合、圧縮率を低くし、フレーム領域 ICFが大きい場合、圧縮率を高くする。 図 18 Aおよび図 18Bに示した方法で検出された被写体の動き、あるいは図 9の姿勢 センサ 114で検出された撮影装置 100の動きの度合 ヽが大き 、場合、フレーム領域 I CFはサイズが小さくなり、外枠領域を大きく取って取りこぼしを最小限に抑える。

[0102] 図 29は、フレーミング画像表示部 113に表示された外枠上書きモード 1400の設定 画面である。各メニューに対して太線の四角 BRが設定値として選択されている。記 録時間順上書き 1401は、外枠領域 ICMが記録メディア部 108に記録された順番に 従ってフレーム領域 ICFを上書きする。記録時間順上書き 1401を ONにすると、図 1 9のメモリ容量管理部 603が記録容量の残量なしをメモリアドレス調整部 602に通知 したとき、外枠領域 ICMの記録時間を参照して最も古 、データ力 上書きして 、く。 被写体動き度合 ヽ順上書き 1402は、図 20の撮影画像データ部 601に保存された 被写体の動き度合 、を参照して、被写体の動き度合 、の小さ!/、もの力も順にフレー ム領域 ICFを上書きする。被写体動き度合い順上書き 1402を ONにすると、図 19の メモリ容量管理部 603が記録容量の残量なしをメモリアドレス調整部 602に通知した とき、被写体の動き度合 、を参照して被写体の動き度合 、の小さ 、データ力も上書 きしていく。撮影装置動き度合い順上書き 1403は、図 20の撮影画像データ部 601 に保存された撮影装置の動き度合 ヽを参照して、撮影装置の動き度合 ヽの小さ!/ヽも のから順にフレーム領域 ICFを上書きする。撮影装置動き度合い順上書き 1403を O Nにすると、図 19のメモリ容量管理部 603が記録容量の残量なしをメモリアドレス調 整部 602に通知したとき、撮影装置の動き度合いを参照して撮影装置の動き度合い の小さいデータ力も上書きしていく。図 29の例では、被写体動き度合い順上書き 14 02と撮影装置動き度合い順上書き 1403が ONとなっているため、被写体と撮影装置 の 2つを合わせた動き度合いの小さい順に外枠領域 ICMにフレーム領域 ICFが上 書きされる。被写体の動き度合いと撮影装置の動き度合いの合わせ方は、たとえば 掛け算を用いる。

図 30は、フレーミング画像表示部 113に表示されたフレーミング再設定モード 150 0の設定画面である。各メニューに対して太線の四角 BRが設定値として選択されて いる。再生速度 1501は、撮影画像を記録メディア部 108から読み出す際のスピード で、これがフレーミング画像表示部 113でのフレーミング画像 IDFのリフレッシュレー トになる。フレーミングの再設定を行う際に、たとえば秒 5枚画像を表示するなど、再 生速度を変更したい場合に利用する。再設定フレーミングデータ上書きモード 1502 は、フレーミングの再設定を行った結果を撮影時のフレーミングデータに上書きする 。すなわち、図 5のフレーミング変更部 110はフレーミングデータのみを書き換え、撮 影画像にはアクセスしない。従って、フレーミングの再設定は引き続き可能である。再 設定フレーミングデータコピーモード 1503は、再設定されたフレーミングデータを新 たに記録メディア部 108に保存する。すなわち、記録メディア部 108で消去されるデ ータはない。図 30の例では、再設定フレーミングデータ上書きモード 1502と再設定 フレーミングデータコピーモード 1503が ONになっているため、コピーモードで仮修 正をし、修正結果を再生してフレーミング画像表示部 113で確認して力も上書きモー ドが実行される。フアイナライズ 1504は、フレーミングの再設定を確定する際に、外 枠領域 ICMを保存するか、削除するかを選択する。外枠領域 ICMを保存すれば、 繰り返しフレーミングを修正できる力 記録メディア部 108の容量を大きく消費する。 外枠領域 ICMを削除すれば、記録メディア部 108の容量は節約できる力 フレーミン グの再設定はできない。

図 31は、フレーミング画像表示部 113に表示された先読みモード 1600の設定画 面である。各メニューに対して太線の四角 BRが設定値として選択されている。撮影 装置移動方向 1601は、図 22で説明したように、姿勢センサ 114からの姿勢情報を 累積的に監視し、撮影装置 700の移動方向にフレーム領域 ICFを先回りして移動す る。被写体動き変化 1602は、図 23で説明したように、被写体動き検出部 106からの 動き情報を累積的に監視し、急激に動きを早めたり、あるいは急激に動きを止めた被 写体を検出し、動き検出の重心位置にフレーム領域 ICFを移動する。色 1603は、図 24で説明したように、画像特徴検出部 901に特定の色を RGB値や YUV値などで設 定しておく。特定の色の指定は、図 32に示すように、カラーパレット 1606を用いる方 法や、数値入力 1607の方法、図 33に示すように、撮影画像上でエリア 1608を指定 するエリア指定 1609を用いる。図 31のパターン 1604は、画像特徴検出部 901に特 定のパターンを設定しておいて、撮影画像に同じパターンが検出されたら、フレーム 領域 ICFが検出パターンの位置に移動する。特定パターンの入力は、図 33と同様に 、撮影画像上でエリア 1608を指定するエリア指定 1609を用いる。音 1605は、図 24 で説明したように、フレーム領域 ICFを、急激な音量の変化が発生した方向や、特定 の周波数パターンを持つ音が検出された方向へ移動させる。音特徴検出部 905は、 図 34で設定される条件を保持し、音センサ部 904からの音情報の音量変化量 1611 、音量変化方向 1612、音パターン 1613を検出する。音パターン 1613は、あらかじ め音特徴検出部 905が持つメモリに複数種類の人物の声 (たとえば、男性、女性、子 供、大人など)や、自動車、バス、電車、呼び鈴などを記録しておく。また、音特徴検 出部 905が持つメモリにユーザー定義領域を設けて、自分の声や、家族の声などを 録音できる。

[0105] なお、すべてのモードでは、設定値の初期値が撮影装置立ち上げ用のメモリに記 録されており、必要に応じて撮影者が設定を変更する。また、変更された設定値は、 撮影装置立ち上げ用のメモリに記録され、次回立ち上げ時には撮影者の設定条件 で動作を開始できる。

[0106] 以上により、実施の形態 1から実施の形態 7で説明した動作を、機能ごとに複数の モードに分割し、モードごとに設定条件を撮影者が調整できる。そこで、被写体の撮 りこぼし防止を確保しつつ、録画時間を優先させたり、画質を優先させたり、自由度 の高い動画撮影が可能になる。

[0107] (実施の形態 9)

本実施の形態では、光学ズーム画像と電子ズーム画像の表示方法を複数提供す る撮影装置について説明する。

[0108] 図 35Aは本発明の実施の形態 9に係る撮影装置の構成を示すブロック図である。

なお、図 5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を 省略する。

[0109] 撮影装置 1700は、被写体 200を撮影するための装置であり、多焦点光学レンズ部 101、焦点距離制御部 102、焦点距離算出部 103、撮像素子部 104、ズーム倍率設 定部 105、被写体動き検出部 106、撮影装置動き検出部 107、記録メディア部 108、 フレーミング再設定部 109、フレーミング変更部 110、フレーム領域設定部 701、電 子ズーム処理部 112、フレーミング画像表示部 113、姿勢センサ 114、表示画像生 成部 1701、および表示方法設定部 1702を備えて 、る。

[0110] 表示画像生成部 1701は、撮影素子部 104から光学ズーム画像 ICOを得て、電子 ズーム処理部 112から電子ズーム画像 IECを得る。被写体動き検出部 106が歩行す る被写体 200の動きを捉えて、多焦点光学レンズ部 101は広角に設定され、例えば 図 35Bに示す画像 IDWのような広角画像が撮影されている。また、ズーム倍率設定 部 105から拡大撮影のためのズーム倍率 ZF (たとえば 4倍）がズーム処理部 112に 与えられ、図 35Cに示す画像 IDFのような被写体 200の顔を拡大する拡大画像が生 成される。さら〖こ、表示画像生成部 1701は、表示方法設定部 1702から、光学ズー ム画像 ICOのみをフレーミング画像表示部 113に表示する（ICOモード)力 電子ズ ーム画像 IECのみをフレーミング画像表示部 113に表示する（ICEモード)か、光学 ズーム画像 ICOと電子ズーム画像 IECの両方をフレーミング画像表示部 113に表示 する（ICOEモード)力、の表示方法の指示を受ける。 ICOモードの場合、撮影者はフ レーミング画像表示部 113で画像 IDWを見ることができ、すなわち、外枠領域 ICM を含めた広角撮影のフレーミングを確認できる。また、 ICEモードの場合、撮影者は フレーミング画像表示部 113で画像 IDFを見ることができ、すなわち、フレーム領域 I CFの拡大撮影のフレーミングを確認できる。また、 ICOEモードの場合、撮影者はフ レーミング画像表示部 113で図 35Dに示す画像 IDWFを見ることができ、すなわち、 フレーム領域 ICFの拡大撮影のフレーミングと外枠領域 ICMを含めた広角撮影のフ レーミングを同時に確認できる。

[0111] 以上により、撮影者は、光学ズーム画像と電子ズーム画像を選択して、あるいは両 方を同時に表示して、複数のフレーミングを確認できる。撮影者が光学ズーム画像を 見ることでフレーミング再設定の余裕度を画像で確認できる。また、光学ズーム画像 と電子ズーム画像を同時に見ることで、フレーミング領域 ICFが捉えている画角の外 側の様子を確認でき、突発的に発生したイベントを発見できたり、多焦点光学レンズ 部 101の画角内に入ってきた新しい被写体に早い段階で気づくことができ、撮影者 は撮りこぼしを抑えつつ、電子ズームでのフレーミングも同時に決めることができる。 産業上の利用可能性

[0112] 本発明にかかる撮影装置は、被写体の動き、あるいは撮影装置の動きが検出され ると光学ズームを広角にして、被写体の撮りこぼしを最小限に抑え、電子ズームで表 示画像を生成する。また、被写体と撮影装置にともに動きがない場合は、光学ズーム の撮影画像のみを記録メディアに保存し、撮影時間を長くできる。そこで、民生用途 のビデオカメラに搭載すれば、スポーツやエンターテイメントの撮影で安心してビデ ォ撮影ができる。また、監視カメラに搭載すれば、被写体の動きや色、パターン、音 などを頼りに監視の目的上、重要な被写体を逃さず捉え、ズーミングで詳細な画像 情報を記録できる。

Claims

請求の範囲

[1] 多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体 を撮影する撮影装置であって、

前記被写体の動きを検出する被写体動き検出手段と、

当該撮影装置の動きを検出する撮影装置動き検出手段と、

前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検 出手段によって当該撮影装置の動きのうち少なくとも一方が検出された場合、設定さ れたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を 算出し、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置 動き検出手段によって当該撮影装置の動きが検出されな力つた場合、設定された前 記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算 出手段と、

前記多焦点光学レンズの焦点距離を前記焦点距離算出手段によって算出された 焦点距離に合わせるように制御する焦点距離制御手段と、

前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズー ム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定手 段と、

前記フレーム領域設定手段によって切り出された前記フレーム領域の画像を表示 する画像サイズとなるように電子ズームで変更する電子ズーム処理手段と、

前記電子ズーム処理手段によって電子ズームされた電子ズーム画像、または前記 光学ズーム画像を表示するフレーミング画像表示手段と、

前記ズーム倍率と前記光学ズーム画像とを保存する記録メディア手段とを備える ことを特徴とする撮影装置。

[2] 前記撮影装置は、さらに、

前記記録メディア手段に保存された前記ズーム倍率、および前記ズーム倍率で決 まるフレーム領域の前記光学ズーム画像上の位置のうち少なくとも 1つを再設定する フレーミング再設定手段と、

前記記録メディア手段に保存されて ヽる前記光学ズーム画像上の中から、前記フ レーミング再設定手段によって再設定された前記ズーム倍率および前記フレーム領 域の前記光学ズーム画像上の位置を用いて前記フレーム領域を切り出すフレーミン グ変更手段とを備える

ことを特徴とする請求項 1記載の撮影装置。

[3] 前記被写体動き検出手段は、前記光学ズーム画像中の前記被写体の動きを検出 する

ことを特徴とする請求項 1記載の撮影装置。

[4] 前記被写体動き検出手段は、複数の前記光学ズーム画像の輝度差および対応点 追跡の少なくとも 1つを用いて前記被写体の動きを検出する

ことを特徴とする請求項 3記載の撮影装置。

[5] 前記撮影装置動き検出手段は、角速度センサおよび加速度センサの少なくとも 1つ を用いて当該撮影装置の動きを検出する

ことを特徴とする請求項 1記載の撮影装置。

[6] 前記電子ズーム処理手段は、前記光学ズーム画像の画像座標と独立した画像特 徴量を高密化して高密化画像特徴量を生成し、前記高密化画像特徴量から前記電 子ズーム画像を生成する

ことを特徴とする請求項 1記載の撮影装置。

[7] 前記撮影装置は、さらに、

前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除 、た外枠領 域とを個別の圧縮率で画像の圧縮符号化を行う圧縮符号化手段と、

前記フレーム領域と前記外枠領域とを個別の圧縮率で圧縮符号化された画像の伸 長復号化を行う伸長復号化手段とを備える

ことを特徴とする請求項 1記載の撮影装置。

[8] 前記圧縮符号化手段は、前記被写体の動きおよび前記撮影装置の動きの度合 、 が大き!/ヽほど、前記外枠領域の圧縮率を低く圧縮符号化を行う

ことを特徴とする請求項 7記載の撮影装置。

[9] 前記撮影装置は、さらに、

前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除 、た外枠領 域とを前記記録メディア手段上で個別にアドレス管理を行うアドレス調整手段と、 前記記録メディア手段の記録容量が上限に達した場合、前記フレーム領域のデー タを前記外枠領域のアドレスに上書きする容量管理手段とを備える

ことを特徴とする請求項 1記載の撮影装置。

[10] 前記容量管理手段は、前記記録メディア手段の記録容量が上限に達した場合、前 記フレーム領域のデータを、前記外枠領域の中で前記被写体の動きの度合!/、およ び前記撮影装置の動きの度合!/ヽが小さ！/ヽ外枠領域から順に上書きする

ことを特徴とする請求項 9記載の撮影装置。

[11] 前記フレーム領域設定手段は、前記撮影装置動き検出手段によって検出された当 該撮影装置の動きから規則性を検出し、検出した前記規則性に基づいて、フレーミ ングを先読みするように前記光学ズーム画像の中の前記フレーム領域を移動させる ことを特徴とする請求項 1記載の撮影装置。

[12] 前記フレーム領域設定手段は、前記被写体動き検出手段によって検出された前記 被写体の動きが所定の変化以上である場合、前記被写体の動きが検出された領域 へ前記光学ズーム画像の中の前記フレーム領域を移動させる

ことを特徴とする請求項 1記載の撮影装置。

[13] 前記撮影装置は、さらに、

前記光学ズーム画像の中から、特定の色および特定の画像パターンの少なくとも 1 つを検出する画像特徴検出手段を備え、

前記焦点距離算出手段は、前記画像特徴検出手段によって前記特定の色および 前記特定の画像パターンの少なくとも 1つが検出された場合、設定されたズーム倍率 よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、 前記フレーム領域設定手段は、前記画像特徴検出手段によって検出された前記 特定の色および前記特定の画像パターンを含むように、前記光学ズーム画像の中の 前記フレーム領域を移動させる

ことを特徴とする請求項 1記載の撮影装置。

[14] 前記フレーミング画像表示手段によって表示される画像を、前記光学ズーム画像、 前記電子ズーム画像、および前記光学ズーム画像と電子ズーム画像との両方の中 力 選択を受け付ける表示方法設定手段を備え、

前記フレーミング画像表示手段は、前記光学ズーム画像、前記電子ズーム画像、 および前記光学ズーム画像と電子ズーム画像との両方の中から、前記表示方法設 定手段によって選択された画像を表示する

ことを特徴とする請求項 1記載の撮影装置。

[15] 多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体 を撮影する撮影方法であって、

前記被写体の動きを検出する被写体動き検出ステップと、

当該撮影装置の動きを検出する撮影装置動き検出ステップと、

前記被写体動き検出ステップにお!、て前記被写体の動き、および前記撮影装置動 き検出ステップにおいて当該撮影装置の動きのうち少なくとも一方が検出された場合 、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦 点距離を算出し、前記被写体動き検出ステップにおいて前記被写体の動き、および 前記撮影装置動き検出ステップにおいて当該撮影装置の動きが検出されな力つた 場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を 算出する焦点距離算出ステップと、

前記多焦点光学レンズの焦点距離を前記焦点距離算出ステップにおいて算出さ れた焦点距離に合わせるように制御する焦点距離制御ステップと、

前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズー ム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定ス テツプと、

前記フレーム領域設定ステップにお 、て切り出された前記フレーム領域の画像を 表示する画像サイズとなるように電子ズームで変更する電子ズーム処理ステップと、 前記電子ズーム処理ステップにお 、て電子ズームされた電子ズーム画像、または 前記光学ズーム画像を表示するフレーミング画像表示ステップと、

前記ズーム倍率と前記光学ズーム画像とを保存する記録ステップとを含む ことを特徴とする撮影方法。

[16] 多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体 を撮影するためのプログラムであって、

前記被写体の動きを検出する被写体動き検出ステップと、

当該撮影装置の動きを検出する撮影装置動き検出ステップと、

前記被写体動き検出ステップにお!、て前記被写体の動き、および前記撮影装置動 き検出ステップにおいて当該撮影装置の動きのうち少なくとも一方が検出された場合 、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦 点距離を算出し、前記被写体動き検出ステップにおいて前記被写体の動き、および 前記撮影装置動き検出ステップにおいて当該撮影装置の動きが検出されな力つた 場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を 算出する焦点距離算出ステップと、

前記多焦点光学レンズの焦点距離を前記焦点距離算出ステップにおいて算出さ れた焦点距離に合わせるように制御する焦点距離制御ステップと、

前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズー ム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定ス テツプと、

前記フレーム領域設定ステップにお 、て切り出された前記フレーム領域の画像を 表示する画像サイズとなるように電子ズームで変更する電子ズーム処理ステップと、 前記電子ズーム処理ステップにお 、て電子ズームされた電子ズーム画像、または 前記光学ズーム画像を表示するフレーミング画像表示ステップと、

前記ズーム倍率と前記光学ズーム画像とを保存する記録ステップとをコンピュータ に実行させる

ことを特徴とするプログラム。