WO2007060794A1

WO2007060794A1 - 撮影装置、携帯端末装置、撮影方法、およびプログラム

Info

Publication number: WO2007060794A1
Application number: PCT/JP2006/320499
Authority: WO
Inventors: Hideto Motomura; Katsuhiro Kanamori
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-11-22
Filing date: 2006-10-13
Publication date: 2007-05-31
Also published as: US20090136223A1; CN101233745B; US7609955B2; CN101233745A; JPWO2007060794A1; JP4118322B2

Abstract

　ズーミングが他のカメラワークと乖離することなく、撮影意図を直接反映して撮影することができる撮影装置（１００）は、焦点距離を変更することによって撮像センサ（１０２）で撮像される被写体（３００）の撮像範囲を変更する多焦点レンズ（１０１）と、被写体（３００）までの距離（撮影距離Ｄ）を計測する距離センサ（１０４）と、過去の時間Ｔi-1に計測した撮影距離Ｄi-1を一時的に保存する撮影距離バッファ部（１０５）と、距離センサ（１０４）で計測された現在の時間Ｔiの撮影距離Ｄiと、撮影距離バッファ部（１０５）から供給される撮影距離Ｄi-1に基づいて多焦点レンズ（１０１）の焦点距離Ｆを算出する焦点距離算出部（１０６）と、焦点距離算出部（１０６）で算出された焦点距離Ｆとなるように多焦点レンズ（１０１）の焦点距離を制御する焦点制御部（１０７）とを備える。

Description

明細書

撮影装置、携帯端末装置、撮影方法、およびプログラム

技術分野

[0001] 本発明は、ズーミングを行って被写体を撮像する撮影装置、携帯端末装置、撮影方法、およびプログラムに関するものである。

背景技術

[0002] 近年、様々な機器のデジタルィ匕と集積ィ匕技術の高度化によって、静止画や動画をデジタル記録できるカメラ、すなわち、デジタルスチルカメラとデジタルビデオカメラが広く普及してきた。デジタル記録は、他のメディアとの親和性が高ぐプリンタでの印刷やネットワークでの配信など、様々な利用形態が民生用途で広がりを見せている。

[0003] カメラは、図 1 (a)に示すように、シーン 1001の中から一部を切り出して画像データとして保存する。切り出す位置は撮影者が撮影意図に応じて決定し、シーンの中に切り出し枠 1002を設定する意味合、でフレーミングと呼ばれる。フレーミングを決める要因は、カメラの位置 1003、カメラの方向 1004、カメラの角度 1005 (横向きに構える力、縦向きに構える力、斜めに構えるか）、カメラの画角 1006の 4つである。このうち、カメラの位置は、図 1 (b)の表 1007、および図 1 (c)に示すように、トラッキング 10 08 (左右に水平移動）、ブーミング 1009 (鉛直移動）、ドリーイング 1010 (前後に水平移動）で調整する。また、カメラの方向は、図 1 (d)に示すように、パンニング 1011 ( カメラ中心で水平方向に回転）、チルチング 1012 (カメラ中心で鉛直方向に回転)で調整する。また、カメラの回転は、図 1 (d)に示すように、ローリング 1013 (光軸を中心に回転)で調整する。カメラの画角は、ドリーイング 1010、ズーミング 1014で調整する。ズーミングには、光学系の焦点距離を変更する光学ズームと、画像処理による電子ズームが利用される。以上のように、フレーミングは、トラッキング 1008からズーミング 1014までの 7種類のカメラワークで撮影者によって決定される。

[0004] ズーミング以外の 6つのカメラワーク（トラッキング 1008からローリング 1013)は、撮影者がカメラを移動することで実行される。一方、画角を調整するズーミング 1014は、画角を広げるのか、狭めるのか、その割合はどれくらいか、を撮影者力カメラに指示する必要があり、一般的にダイヤル操作が使われている（例えば、非特許文献 1参照 ) oすなわち、現在市販されているスチルカメラ 1101やムービーカメラ 1102は、多焦点レンズ 1103を搭載して、図 2 (a)に示すようにレンズ筐体 1103を回転させたり、図 2 (b)に示すようにレンズ筐体 1103をスライドさせたり、あるいは図 2 (c)に示すようにボタン 1106をスライドさせたり、図 2 (d)に示すようにダイヤル 1107を回転させたりすることによって画角変更が可能である。また、フレーミングの確認には、図 2 (e)および図 2 (f)に示すように、ファインダ 1108が利用され、撮影者は撮影画像を目視で確認できる。

非特許文献 1 :ペンタックス株式会社、 * istDs使用説明書 (48ページ）、 [平成 17年 11月 7日検索]、インター不ッ < URL : http://www.pentax.co.jp/japan/support/ma n-pdf/ istds.pdf >

発明の開示

発明が解決しょうとする課題

[0005] し力しながら従来のズーミングは、操作性の点で次のような課題を有している。

[0006] 第 1の課題は、図 1に示す 7種類のカメラワークのうち、ズーミング 1014のみが他のカメラワークから乖離しており、撮影意図通りにフレーミングを調整するにはある程度の訓練を要する点である。図 3は、撮影者 1201が被写体 1202の側面力も正面に回りこみながら、かつ、ビデオカメラ 1102の撮影倍率を連続的に上げていく（ズームィン)撮影例を示す図である。ここで、画像 IC1、画像 IC2、画像 IC3は、ビデオカメラ 1 102のファインダ 1108に映し出される撮影画像を示し、それぞれ、撮影倍率 1倍、 2 倍、 4倍に相当する。この撮影例では、撮影者は、体の移動と回転でトラッキングとパンユングを行いつつ、同時に、ダイヤル操作でズーミングを行う必要がある。撮影者の体の移動と回転と、う身体的な制御と、ダイヤル操作と 1、う機器へのコマンド入力を同時に実行することは容易ではなぐ特に直感的な操作性が望まれる民生用途では、大きな課題となる。

[0007] 第 2の課題は、ダイヤル操作そのものが直感的な操作ではない点にある。すなわち、レンズ筐体を撮影者が回転ある、はスライドさせる方式は多焦点レンズの機構に合わせた操作方法であり、撮影者がカメラの機構に合わせて操作方法を会得する必要がある。また、ボタンやダイヤル操作では、スライドや回転の方向をズームイン 'アウトの方向と対応させる必要があり、シーン全体を取り込みたい、あるいは特定のォブジェタトの細部を取り込みた、、 t 、う撮影意図を直接反映した操作方法とは言えな、

[0008] そこで、本発明は上記の事情に鑑みてなされたものであり、ズーミングが他のカメラワークと乖離することなぐ撮影意図を直接反映して撮影することができる撮影装置、携帯端末装置、撮影方法、およびプログラムを提供することを目的とする。

課題を解決するための手段

[0009] 上記目的を達成するため、本発明に係る撮影装置は、被写体との位置関係に応じて撮像画像を調整する撮影装置であって、多焦点レンズを用いて被写体を撮影する撮影部と、前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置力被写体までの距離を算出する距離算出部と、前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部とを備えることを特徴とする。

[0010] すなわち、本発明は、ズーミングを撮影装置の移動で制御する。撮影装置から被写体までの距離 (撮影距離)を計測し、撮影距離の変化に応じて画角を変更する。たとえば、撮影装置を被写体に近づけると画角を狭くして (ズームイン）、被写体の細部を取り込む。逆に、撮影装置を被写体力も遠ざけると画角を広くして (ズームアウト）、シーン全体を取り込む。撮影距離の計測には、超音波や赤外光等を利用した距離センサ、あるいは撮影画像のオプティカルフロー等で行う。

発明の効果

[0011] 本発明に係る撮影装置および撮影方法によれば、撮影者が撮影装置を動かすことによってズーミングが制御されるため、撮影装置の動きのみで撮影装置の画角を決定できる。これによつて、従来、撮影装置 (カメラ）の動きで制御する 6つのカメラヮーク（すなわち、トラッキング、ブーミング、ドリーイング、パンユング、チノレチング、ローリング）と操作方法が乖離していたズーミング力カメラの動きの中に組み込まれるため、操作方法に一貫性が生まれ、フレーミングの操作性が向上する。加えて、従来のズ一ミング操作は、レンズ筐体の回転やスライド、あるいはボタン'ダイヤルのスライド、回転など、機器によって多種多様であり、撮影者は機器ごとに異なる操作方法に対応なければならな!/ヽが、本発明ではズーミング操作がカメラと被写体との距離調整に

1本ィ匕されるため、直感的でわかりやすい。

図面の簡単な説明

[図 1]図 1は、本発明の背景技術を示す図である。

[図 2]図 2は、本発明の背景技術を示す図である。

[図 3]図 3は、本発明の背景技術を示す図である。

[図 4]図 4は、本発明の実施の形態 1に係る撮影装置を用いて被写体を撮影する様子を示す概略図である。

[図 5]図 5は、実施の形態 1に係る撮影装置の構成を示すブロック図である。

[図 6]図 6は、実施の形態 1に係る撮影装置における焦点距離の変更の動作の流れを示すフローチャートである。

[図 7]図 7は、焦点距離、画角、撮影距離、撮像センサの大きさの関係を示す図である。

[図 8]図 8は、撮影装置の位置と焦点距離の関係の一例を示す図である。

[図 9]図 9は、撮影装置の位置と焦点距離の時間的変化の一例を示す図である。

[図 10]図 10は、撮影距離の変化と画角の変化の関係を (式 4)に基づいて説明する図である。

[図 11]図 11は、撮影距離の変化と画角の変化の関係を (式 5)に基づいて説明する図である。

[図 12]図 12は、ズーム極性切り替えボタンを説明する図である。

[図 13]図 13は、実施の形態 2に係る撮影装置の構成を示すブロック図である。

[図 14]図 14は、撮影距離の変化によるオブジェクトの大きさの違いを説明する図である。

[図 15]図 15は、オプティカルフローにより撮影装置の移動方向を求める原理を説明する図である。 [図 16]図 16は、実施の形態 2に係る撮影装置における焦点距離の変更の動作の流れを示すフローチャートである。

〇

[図〇

17]図 17は、実施の形態 3に係る撮影装置の構成を示すブロック図である。

[図 18]図 18は、撮影距離の変化と切り出し範囲の変化の関係を (式 10)に基づいて説明する図である。

[図 19]図 19は、撮影距離の変化と切り出し範囲の変化の関係を (式 11)に基づいて説明する図である。

[図 20]図 20は、実施の形態 4に係る撮影装置の構成を示すブロック図である。

[図 21]図 21は、画角感度入力ボタンを説明する図である。

[図 22]図 22は、画角感度 exを変更した際の焦点距離の変化の一例を示す図である [図 23]図 23は、画角感度 ocを変更した際の焦点距離の変化の一例を示す図である符号の説明

400、 800、 900 撮影装置

101 多焦点レンズ

102 撮像センサ

103 ファインダ

104 距離センサ

105 撮影距離バッファ部

106、 403 焦点距離算出部

107 焦点制御部

108 メモリ部

109 画像記録部

110 ズーム極性受付部

111 ズーム極性切替部

200 撮影者

300 被写体 401 撮影距離変化量推定部

402 撮影画像バッファ部

404 表示画像バッファ部

801 切り出し範囲算出部

802 切り出し部

901 画角感度受付部

902 画角感度変更部

発明を実施するための最良の形態

[0014] 本発明の実施の形態に係る撮影装置は、被写体との位置関係に応じて撮像画像を調整する撮影装置であって、多焦点レンズを用いて被写体を撮影する撮影部と、前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部とを備えることを特徴とする。

[0015] これによつて、被写体までの距離に基づいて撮像される画像をズームすることができるので、撮影装置を動かすフレーミング動作の中にズーム調整が組み込まれるため、例えばボタンやダイヤル操作によるズーム調整よりも直接的な操作が可能になる

[0016] また、本発明の別の実施の形態に係る撮影装置は、被写体との位置関係に応じて撮像画像を調整する撮影装置であって、多焦点レンズを用いて被写体を撮影する撮影部と、前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置力被写体までの距離を算出する距離算出部と、前記被写体までの距離に基づいて前記撮像画像力切り出す画像範囲を算出する切り出し範囲算出部と、前記切り出し範囲算出部による算出結果に従って、前記撮像画像から一部を切り出す画像切り出し部とを備えてもよい。 [0017] これによつて、被写体までの距離に基づいて、撮像画像から切り出す画像範囲を制御することができるので、撮影装置を動かすフレーミング動作の中に切り出し画像範囲の制御が組み込まれるため、例えばボタンやダイヤル操作による切り出し画像範囲の制御よりも直接的な操作が可能になる。

[0018] また、前記焦点距離算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に基づ、て、前記多焦点レンズの焦点距離を算出してもよい。

[0019] また、前記焦点距離算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記多焦点レンズの焦点距離を長く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記多焦点レンズの焦点距離を短く算出してもよい。

[0020] また、前記切り出し範囲算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に基づいて、前記撮像画像から切り出す画像範囲を算出してもよい。

[0021] また、前記切り出し範囲算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短ヽ場合に、前記撮像画像の切り出し画像範囲を小さく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記撮像画像の切り出し画像範囲を大きく算出してもよい。

[0022] これによつて、被写体までの距離が短くなつた場合 (撮影装置を被写体に近づけた場合)、焦点距離または切り出し画像範囲を制御して撮像画角を狭くし、被写体の細部を取り込むことができる。逆に、被写体までの距離が長くなつた場合 (撮影装置を被写体力遠ざけた場合)、焦点距離または切り出し画像範囲を制御して撮像画角を広くし、シーン全体を取り込むことができる。

[0023] また、前記焦点距離算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記多焦点レンズの焦点距離を短く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記多焦点レンズの焦点距離を長く算出してもよい。 [0024] また、前記切り出し範囲算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短ヽ場合に、前記撮像画像の切り出し画像範囲を大きく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記撮像画像の切り出し画像範囲を小さく算出してもよい。

[0025] これによつて、撮影装置力も被写体までの距離が長くなつた場合 (撮影装置を被写体から遠ざけた場合)、焦点距離または切り出し画像範囲を制御して撮像画角を狭くし、被写体の細部を取り込むことができる。逆に、被写体までの距離が短くなつた場合 (撮影装置を被写体に近づけた場合)、焦点距離または切り出し画像範囲を制御して撮像画角を広くし、シーン全体を取り込むことができる。

[0026] また、前記焦点距離算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にしてもよい。

[0027] また、前記切り出し範囲算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にしてちょい。

[0028] これによつて、被写体までの距離の変化量と、焦点距離または切り出し画像範囲の変化量との関係を使用状況に応じて変えることができ、使用状況に対応した撮影が可會になる。

[0029] また、前記距離算出部は、前記撮像部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて、前記被写体までの距離を算出してもよい。

[0030] また、前記距離算出部は、前記基準図形との違いの計測を、前記基準図形の位置、大きさ、形状、明るさ、および色の少なくとも 1つに基づいて行ってもよい。

[0031] なお、本発明は、このような撮影装置として実現することができるだけでなぐこのような撮影装置が備える特徴的な構成要素をステップとする撮影方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、 CD— ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

[0032] 以下、本発明の実施の形態について図面を参照して詳細に説明する。

[0033] (実施の形態 1)

本実施の形態では、距離センサで被写体までの距離を計測し、この距離に応じて撮影画角を制御する撮影装置について説明する。

[0034] 図 4は撮影者が本発明の実施の形態 1に係る撮影装置を用いて被写体を撮影する様子を示す概略図であり、図 5は本発明の実施の形態 1に係る撮影装置の構成を示すブロック図である。

[0035] 撮影装置 100は、被写体 300を撮影するための装置であり、被写体との位置関係（被写体までの距離）に応じて撮像画像を調整 (ズーミング)する点に特徴を有し、図 5 に示すように多焦点レンズ 101、撮像センサ 102、ファインダ 103、距離センサ 104、撮影距離バッファ部 105、焦点距離算出部 106、焦点制御部 107、メモリ部 108、画像記録部 109、ズーム極性受付部 110およびズーム極性切替部 111を備えて、る。

[0036] 多焦点レンズ 101は、焦点距離を変更することによって、撮像センサ 102によって撮像される被写体 300の撮影範囲（つまり画角）を変更する。撮像センサ 102は、被写体 300を撮影するためのたとえば CCDセンサや CMOSセンサ等の撮像センサである。ファインダ 103は、多焦点レンズ 101を通して撮像センサ 102で撮像される被写体 300の画像を表示する。距離センサ 104は、たとえば超音波センサや赤外光センサなどを用いて、被写体 300までの距離 (撮影距離 D)を計測する。撮影距離バッファ部 105は、過去の時間 T に計測した撮影距離 D を一時的に保存する。焦点距

i-1 i-1

離算出部 106は、距離センサ 104で計測された現在の時間 Tの撮影距離 Dと、撮影距離バッファ部 105から供給される撮影距離 D に基づいて多焦点レンズ 101の焦

i-1

点距離 Fを算出する。焦点制御部 107は、焦点距離算出部 106で算出された焦点距離 Fとなるように多焦点レンズ 101の焦点距離を制御する。メモリ部 108は、撮影装置 100を起動する際に読み込まれる初期設定値を焦点距離算出部 106に与える。画像記録部 109は、録画時に撮像センサ 102によって撮像される被写体 300の撮影画像を記録する。ズーム極性受付部 110は、ズームイン (画角を狭めて画像を拡大）とズームアウト（画角を広げて画像を縮小）の切り替えを撮影者から受け付ける。ズーム極性切替部 111は、ズーム極性受付部 110で受け付けられた極性 (ズームイン、あるいはズームアウト）に従ってズーム極性を切り替え、焦点距離算出部 106にズーム極 '性を与える。

[0037] 次に、上記のように構成された撮影装置 100を用いて撮影者 200が被写体 300を撮影する場合の動作について説明する。

[0038] 図 6は撮影装置 100における焦点距離の変更の動作の流れを示すフローチャートである。

[0039] 撮影装置 100は、時間 Tにおいて、多焦点レンズ 101を通して撮像センサ 102で撮像される被写体 300の画像をファインダ 103へ表示する (ステップ S101)。同時に、距離センサ 104は、被写体 300までの距離 (撮影距離 D)を計測し、計測した撮影距離 Dを撮影距離バッファ部 105と焦点距離算出部 106へ出力する (ステップ S102 )。撮影距離バッファ部 105は、時間 Tより過去の時間 T に記録された撮影距離 D

i i-1 i-1 が設定されているか否かを判定する (ステップ S 103)。この判定の結果、撮影距離 D が設定されていない場合には、撮影距離バッファ部 105は、距離センサ 104より入

-1

力された撮影距離 Dを撮影距離 D として記録する (ステップ S104)。

i i-1

[0040] 一方、撮影距離 D が設定されている場合には、焦点距離算出部 106は、撮影距

i-1

離 D と撮影距離 Dとの差である移動量 Uを次の (式 1)で算出する (ステップ S 105) i-1 i i

[0041] [数 1] u, = A— A-i … （式¹ )

[0042] 移動量 Uが負になれば、撮影装置 100と被写体 300が近づいたことがわかり、正になれば、撮影装置 100と被写体 300が離れたことがわかる。

[0043] 次に、焦点距離算出部 106は、移動量 Uに基づいて、焦点距離 Fを算出する (ステップ S 106)。図 7に示すように、焦点距離を F、撮像される被写体 300の長さ（画角に相当）を L、被写体 300と多焦点レンズ 101との距離を D、撮像センサ 102の大きさを

Sとすると、これらの関係は、

[0044] [数 2] F = -D … （武 2 )

L

となり、焦点距離 Fと画角 Lは反比例の関係にある。たとえば、焦点距離 Fが 24mmから 192mmへ 8倍長くなつた場合、画角 Lは 1/8狭くなり、倍率 8倍の拡大画像が撮影できる。

[0045] 図 8は、撮影装置 100の位置と焦点距離 Fの関係の一例を示す図である。この例では、撮像者 200がファインダ 103の画像が認識でき、かつ撮像者 200の腕のまげ伸ばしによる移動範囲で撮影装置 100を被写体 300に最も近づけた位置 A (撮影距離 D )で焦点距離が 192mmとなり、撮影画像 Iのように最も大きく拡大された画像が撮

A A

影される。また、撮影装置 100を被写体 300から最も離れた位置 B (撮影距離 D )で

B

焦点距離が 24mmとなり、撮影画像 Iのように最も小さく縮小された画像が撮影され

B

る。従って、移動量 D -Dの範囲で焦点距離を 24mmから 192mmまで変更するこ

B A

とになる。撮影距離 Dが取る値の範囲は様々であるため、次の（式 3)に示すように移動量 Uを移動量 D -Dで除算して 0〜1に正規ィ匕する。

i B A

[0046] [数 3]

V. = ~ ^ ~ … （式 3 )

[0047] 図 9は、撮影装置 100の位置と焦点距離 Fの時間的変化の一例を示す図であり、図 8で説明した 1次元座標系を用いている。位置 Pは撮影装置 100を起動した時間

0

Tでの位置を示し、ここでは点 A (被写体 300に最も近い位置）と点 B (被写体 300か

0

ら最も遠、位置)の中点とする。撮影装置の位置と焦点距離は線形で関係付けるため、位置 Pでは焦点距離を中間の 108mm (= (24+ 192) /2)に設定する。例えば

0

、時間 Tで相対移動量 V =—0. 25が検出され、撮影装置の位置は Pへ移動したと

1 1 1

すると、焦点距離は 150mm ( = 108— (192- 24) X (-0. 25) )に変更される。また、時間 Tで相対移動量 V =0. 5が検出され、撮影装置の位置は Pへ移動したと

2 2 2

すると、焦点距離は 66mm( = 150—（192— 24) X 0. 5)に変更される。

[0048] 以上の例に従うと、時間 Tでの焦点距離 Fは、以下で表現できる。

[0049] [数 4] = 〗- - ） … （式 4 ) [0050] ここで、 F は時間 T での焦点距離、 F は焦点距離の最大値、 F は焦点距離の

1—1 1—1 max min

最小値である。（式 4)に従えば、図 10 (a)に示すように撮影装置 100を被写体 300 に近づけると、図 10 (b)に示すように画像が拡大するように機能する。つまり、時間 T 力時間 Tへ進んで撮影距離 Dが短くなり (撮影距離 D >撮影距離 D)、（式 3)よ

- 1 i i-1 i

り相対移動量が負になる。（式 4)で相対移動量 Vが負の場合、焦点距離 Fは長くなり、撮影画像が拡大される。また、（式 4)に従えば、図 10 (c)に示すように撮影装置 100を被写体 300から遠ざけると、図 10 (d)に示すように画像が縮小するように機能する。時間 T カゝら時間 Tへ進んで撮影距離 Dが長くなり (撮影距離 D く撮影距離

i-1 i i-1

D)、（式 3)より相対移動量 Vが正になる。（式 4)で相対移動量 V_;が正の場合、焦点距離 Fは短くなり、撮影画像が縮小される。

[0051] 一方、移動量 Vの正負と画像の拡大縮小の関係を逆に設定すると (式 5)になる。

[0052] [数 5]

F I. = F r. 、 + V-(F max - F nu■n )ノ ··· (式 5 )

[0053] (式 5)に従えば、図 11 (a)に示すように撮影装置 100を被写体 300に近づけると、図 11 (b)に示すように画像が縮小するように機能する。つまり、時間 T 力時間丁へ

i-1 i 進んで撮影距離 Dが短くなり (撮影距離 D >撮影距離 D)、（式 3)より相対移動量 V

i-1 i i が負になる。（式 5)で相対移動量 Vが負の場合、焦点距離 Fは短くなり、撮影画像が縮小される。また、（式 5)に従えば、図 11 (c)に示すように撮影装置 100を被写体 30 0力遠ざけると、図 11 (d)に示すように画像が拡大するように機能する。時間 T

i-1 ら時間 Tへ進んで撮影距離 Dが長くなり (撮影距離 D く撮影距離 D)、（式 3)より相 i i-1 i 対移動量 Vが正になる。（式 5)で相対移動量 Vが正の場合、焦点距離 Fは長くなり、撮影画像が縮小拡大される。

[0054] 以上のように、（式 4)、あるいは (式 5)より与えられる焦点距離 Fが焦点距離 Fとして焦点制御部 107へ出力される。ただし、（式 4)と (式 5)の焦点距離 Fが多焦点レンズ 101の焦点距離のレンジを越えた場合には、レンジ内に納まるように、クリッピングされる。

[0055] ここで、焦点距離算出部 106は、（式 4)と (式 5)の選択を、撮影装置 100の起動時に初期設定が格納されているメモリ部 108から読み込む。たとえば、工場出荷時には、メモリ部 108に（式 4)を記録しておき、初めての起動時には (式 4)が設定される。起動後、撮影者が逆の極性である（式 5)に切り替えたい場合には、図 12に示すズーム極性切り替えボタン 112を押すことで、ズーム極性受付部 110によって、ズーム極性を逆の極性である（式 5)が受け付けられる。ズーム極性切替部 111は、ズーム極性受付部 110で受け付けられた逆の極性である (式 5)を焦点距離算出部 106に与える。また、ズーム極性受付部 110は、受け付けたズーム極性を示すアイコン 113をファインダ 103に表示する。また、ズーム極性切り替えボタン 112が 1回押されるごとに、 ( 式 4)と（式 5)が切り替えられ、撮影者はファインダ 103に表示されるアイコン 113を見て、ズーム極性を確認できる。また、撮影装置 100を実際に移動させて、ファインダ 1 03に表示される画像の変化を目視確認してズーム極性を知ることも、もちろん可能である。撮影装置 100の電源を切って、終了処理に入ったら、焦点距離算出部 106は、ズーム極性（（式 4)か (式 5)力をメモリ部 108に記録し、次回起動時にメモリ部 108 からズーム極性を読み込むことで、次回起動時には同じ設定で利用開始できる。

[0056] ところで、（式 3)を計算するには、移動量 D— Dが必要になる。そこで、撮影装置

A B

100の起動時に移動量 D -Dをメモリ部 108から焦点距離算出部 106に入力する

A B

。移動量 D -Dは、図 8に示すように、腕を伸ばした状態の位置 Aから腕を縮めた

A B

状態の位置 Bの距離に相当する。実際の値を決める方法の例として、経験的方法、ユーザー入力方法、推定方法などが考えられる。経験的方法では、撮影装置の利用方法や利用シーンを想定して、これまでの経験に照らし合わせて適当な値を決める。あるいは、複数のモニタを募って移動量 D— Dを計測し、その平均値を採用しても

A B

いい。ユーザー入力方法では、撮影者 200が図 8の位置 Aと位置 Bに撮影装置 100 を移動し、撮影距離 Dと撮影距離 Dをある対象に向けて初期化する。推定方法で

A B

は、一旦、経験的方法で移動量 D— Dを設定し、一定期間、焦点距離 Fの動きを監

A B

視して、焦点距離算出部 106がより適する移動量 D— Dを推定する。つまり、図 9の

A B

例を用いて説明すると、位置 Aと位置 Bの間の焦点距離の可動範囲が 24mm力も 19 2mmまであるにも関わらず、たとえば、 80mmから 130mmの範囲内でしか焦点距離 Fが動いていない場合、移動量 D— Dが大きすぎると推測される。そこで、移動量

A B

D -Dを 50mm( = 130mm—80mm)に設定する。

A B

[0057] 撮影装置 100の起動時に、撮影装置 100の位置に応じて焦点距離 Fを設定すると、図 8のように腕を伸ばした状態力も縮めた状態までフルに利用できる。すなわち、図 9に示したように、撮影装置 100の位置が、位置 Aと位置 Bの中間ならば、焦点距離 F も中間の長さ (つまり、 108mm)に設定すると、腕の伸縮範囲全体で焦点距離を最長（つまり、 192mm)から最短（つまり、 24mm)までフルに制御できる。あるいは、位置 Aで撮影装置 100を起動する場合は、焦点距離を最長 (つまり、 192mm)に設定する。これらを実現するには、撮影者に明示的にインストラクションを与える必要があり、たとえば、撮影装置の電源投入は、位置 Aと位置 Bの中間位置、あるいは位置 A、あるいは位置 B、といった形で電源投入時の位置を規定する。または、ファインダ 103 にテキストやイラスト、画像などでガイダンスを示し、撮影者 200に腕を伸ばすように指示して位置 Aへ撮影装置 100を移動させ、規定時間内 (たとえば 3秒）に焦点距離を最長に設定する。規定時間経過後は、ファインダ 103でのガイダンスを通じて腕を伸ばす指示の解除を撮影者 200に伝える。位置 Bや位置 Aと位置 Bの中間につ、ても同様である。一方、撮影者にインストラクションを与えずに焦点距離を設定する場合には、メモリ部 108に初期設定値を与え、撮影装置起動時に、焦点距離算出部 106 に自動的に設定される。初期設定値としては、撮影者が撮影装置の電源投入時に自然と構える位置を想定し、これに相当する焦点距離をメモリ部 108に与える。

[0058] 次に、焦点制御部 107は、焦点距離算出部 106より入力された焦点距離 Fとなるように多焦点レンズ 101の焦点距離 Fを変更する (ステップ S 107)。

[0059] 以上のように動作するので、撮影者 200が撮影装置 100を手で持って動かすと、撮影距離 Dが変更され、多焦点レンズ 101の焦点距離 Fを変更することができる。そこで、図 3で説明したような複数のカメラワーク (この例では、トラッキングとパンユング）の中にズーミング動作が組み込まれ、フレーミングの操作性が向上する。図 3では被写体 1202が静止している力被写体 1202が移動した場合は、さらにフレーミングの難易度が増す。特に被写体 1202と撮影装置 1102の距離が変化すると、ズーム倍率の極性 (ズームインカゝズームアウトか）が変わる可能性が高まるが、本発明はズーム倍率の極性切り替えをズーム極性切り替えボタン 110で実行できる。

[0060] なお、上記説明において、焦点距離 Fを変更する装置として多焦点レンズを用いた 1S これに限られるものではなぐ画像処理によるデジタルズームや、光学ズームとデジタノレズームの糸且み合わせでも構わな、。

[0061] 以上により、撮影装置を動かすフレーミング動作の中にズーミングが組み込まれるため、ボタンやダイヤル操作による画角調整よりも直接的な操作が可能になる。よつて、たとえばスポーツや観光、記念撮像など目の前のシーンを映像として記録する映像エンタテイメント分野でより操作性の高い撮影装置を提供できる。

[0062] (実施の形態 2)

本実施の形態では、実施の形態 1の距離センサに替えて単体の撮像センサで被写体までの距離の変化量 (撮影距離の変化量)を推定し、この撮影距離の変化量に応じて画角を制御する撮影装置について説明する。

[0063] 図 13は本発明の実施の形態 2に係る撮影装置の構成を示すブロック図である。なお、図 5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。

[0064] 撮影装置 400は、被写体 300を撮像するための装置であり、被写体との位置関係（撮影距離の変化量）に応じて撮像画像を調整 (ズーミング)する点に特徴を有し、多焦点レンズ 101、撮像センサ 102、ファインダ 103、撮影距離変化量推定部 401、撮影画像バッファ部 402、焦点距離算出部 403、表示画像バッファ部 404、焦点制御部 107、メモリ部 108、画像記録部 109、ズーム極性受付部 110、およびズーム極性切替部 111を備えている。

[0065] 撮影距離変化量推定部 401は、時間 Tに撮像センサ 102で撮影された撮影画像 I k k と、撮影画像バッファ部 402に一時的に保存された過去の時間 T に撮像センサ 10 k-1

2で撮影された撮影画像 I をもとに、撮影装置 400と被写体 300との距離の変化量（ k-1

撮影距離の変化量 u )を推定する。

k

[0066] 撮影距離の変化量 Uの求め方を、図 14を用いて説明する。図 14 (a)は、時間 Tか k 0 ら時間 Tの間で撮影装置 400を被写体 300に近づけてヽつた場合の撮影画像を示している。テーブル 500に被写体 300が置かれていて、時間 Tでは撮影画像 Iのよう

0 0 に、被写体 300が小さく撮影される。時間 Tでは撮影装置 400が被写体 300に近づ

E

いたため、撮影画像 Iのように、被写体 300が大きく撮影される。すなわち、図 1に示

E

したドリーイング 1010によって画角が狭くなり、画像が拡大された。この時間 Tと時

0 間 Tの間で連続する時間 T と時間 Tを考え、撮影画像をそれぞれ、撮影画像 I 、

E k-1 k k-1 撮影画像 Iとする。時間 T と時間 Tの間隔は、フレームレートに依存し、通常、

k k-1 k 1Z3

0秒である。図 14 (b)に示す画像 600は、撮影画像 I と撮影画像 Iを重ね合わせた

k-1 k

画像で、点線で示すオブジェクト O が撮影画像 I の被写体 300に相当し、実線で

k-1 k-1

示すオブジェクト Oが撮影画像 Iの被写体 300に相当する。時間的に後になるォブ

k k

ジヱクト oの方が、オブジェクト

k o より大きくなる。そこで、オブジェクトの大きさの違

k-1

いを判定すれば、ドリーイング 1010の方向を検出でき、撮影装置 400が被写体 300 に近づヽて、るの力逆に遠ざかって、るのかがわ力る。

[0067] オブジェクトの大きさの違いは、オブジェクトに属する複数の注目点が、画像上でどのように移動するのかを解析することで可能であり、一般にオプティカルフローを求めることになる。たとえば、隣接画素と画素値が大きく異なるエッジ部の画素を注目点とし、オブジェクト O とオブジェクト Oで注目点をそれぞれ求め、画像 600に示すよう

k-1 k

に、時間 T 力も時間 Tの向きで注目点間に矢印を引く。このように、時間的に移動

k-1 k

する注目点を画素値に基づいて追跡し、図 15 (a)に示す画像 601のように得られた注目点の動き（つまり、矢印）をオプティカルフローと呼ぶ。図 14の例のように、画像が拡大される場合、オプティカルフローは画像の外側へ発散するような向きになる。一方、図 14の例とは逆に、画像が縮小される場合は、図 15 (b)の画像 602に示すように、オプティカルフローは画像の内側に収束するような向きになる。この拡散と収束の判定の具体例は、たとえば、時間 T のすベての注目点の重心 700を求めて、重

k-1

心 700から時間 T の注目点（図 15では 701)の距離 d と重心 700から時間 Tのォ

k-1 k-1 k プティカルフローの対応点（図 15では 702)の距離 dを比較すればいい。すなわち、

k

[0068] [数 6] 式 6

となる。ノイズの影響で注目点の検出精度が低下したり、すべてのオプティカルフロ拡定収

一が同じ方向に判定束散常されないなど、様々な原因で理想的な判定は通常、困難である

。そこで、（式 6)の判定をすベての注目点で行い、拡散、定常、収束の各状態で投票を行い、最大得票数を得た状態を判定結果にするなどの対策を取れば、撮影装置 400力 S被写体 300に近づいているの力、遠ざかつているのか、の 2値判定は安定に実現できる。引き続き、判定結果と一致したオプティカルフローのみを抽出して、距離 d と距離 dの差分を求め、これらの平均値を観察距離の変化量 Uとする。

k-1 k k

ところで、オプティカルフローはドリーイング 1010の検出を目的としているため、時間 k—1から時間 kへ移行する間は多焦点レンズの焦点距離を固定しておく必要がある。そこで、図 13に示した撮影装置 400は、図 16に示すフローチャートに従って動作する。すなわち、撮像センサ 102は時間 k— 1におヽて撮影画像 I を撮影し (ステ k-1

ップ S 201)、撮影画像 I は撮影画像バッファ部 402に保存される (ステップ S202)。

k-1

引き続き、撮像センサ 102は時間 kにおいて撮影画像 Iを撮影し (ステップ S 203)、 k

撮影画像 Iは撮影距離変化推定部 401に出力される。同時に撮影画像 I も撮影画 k k-1 像バッファ部 402から撮影距離変化推定部 401に出力される (ステップ S204)。撮影距離変化推定部 401は、図 15を用いて説明した方法でオプティカルフローを計算し、移動量 Uを算出する (ステップ S205)。以降、焦点距離 Fの算出 (ステップ S206) k k

と焦点距離の変更 (ステップ S207)は、それぞれ実施の形態 1のステップ S106とステツプ S107と同一であるため、説明を割愛する。最後に、焦点制御部 107は、多焦点レンズ 101の焦点距離の変更を終えた後に、画像書き込み許可信号 WESを表示画像バッファ部 404へ出力する。表示画像バッファ部 404は、撮像センサ 102の出力を保存し、ファインダ 103と画像記録部 109へ保存した画像を出力する。ただし、撮像センサ 102からの出力を表示画像バッファ部 404に書き込むには、画像書き込み許可信号 WESを有効にする必要があり、画像書き込み許可信号 WESが無効である場合は、撮像センサ 102からの出力を表示画像バッファ部 404に保存できない。この仕組みによって、図 14に説明したドリーイング 1010による画角変更の画像はフアインダ 103と画像記録部 109に出力されず、多焦点レンズ 101による画角変更の画像、つまりズーミング 1014による画角変更の画像のみがファインダ 103と画像記録部 109に出力される。また、焦点距離制御部 107は、移動量 Uが変更されない限り、 k

多焦点レンズ 101の焦点距離を動かすことはないため、撮影距離変化量推定部 401 でオプティカルフローの処理が行われる時間 k—1から時間 kの間にズーミング 1014 が動作することはなぐ移動量 Uはドリーイング 1010の動きのみで決定される。

k

[0070] なお、本発明はオブジェクトの大きさの違いの判定方法を制限するものではなぐ任意の方法を利用できる。たとえば、隣接画素との輝度や色の違いが大きい基準図形を特定し、基準図形の位置、大きさ、形状、明るさ、色などの変化から、ズーム極性と観察距離の変化量 Uを算出しても構わない。また、注目点検出やオプティカルフロ k

一の方向判定、検出されたオプティカルフローから観察距離の変化量 Uを求める方 k 法も一例であり、本発明に制約を与えるものではな、。

[0071] また、時間 T を時間 Tの 1Z30秒前とした力これは一例であり、本発明は時間 T k-1 k

の

k-1 設定方法に制約を与えるものではない。また、撮影画像バッファ部 402には時間

T

k-1の画像 1枚のみを保存した力過去の画像を複数枚保存しても構わない。

[0072] 以上のように、撮影距離変化量推定部 401、撮影画像バッファ部 402、焦点距離算出部 403、表示画像バッファ部 404以外の構成は実施の形態 1と同じであり、実現する機能も同一である。撮影距離計測に撮像センサを用いる効果は、センサの多様性にある。つまり、超音波センサや赤外光センサは距離計測専用であり、他の用途との併用が難しい。一方、撮像センサは画像撮像と距離計測の 2つの用途に適用可能である。よって、軽量性やコンパクト性が求められるカメラ付携帯電話などで有効に活用できる。また、現在、巿場に流通しているデジタルスチルカメラやデジタルビデオ力メラの構成をそのまま適用できるため、新しい距離計測用のセンサを追加することなく、カメラの動きでズーミングできる付加価値を与えることができる。

[0073] (実施の形態 3)

本実施の形態では、距離センサで被写体までの距離を計測し、この距離に応じて撮像画角を制御し、かつ撮像画像の一部を切り出す撮影装置について説明する。撮影画角調整は光軸を中心に撮影範囲が変化するが、画像上の任意の位置を切り出す機能を付加することで、より自由度の高いフレーミングが可能になる。

[0074] 図 17は本発明の実施の形態 3に係る撮影装置の構成を示すブロック図である。なお、図 5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。

[0075] 撮影装置 800は、被写体 300を撮像するための装置であり、実施の形態 1の特徴に加えて、被写体との位置関係 (被写体までの距離）に応じて撮像画像を調整 (切り出す範囲を調整)する点に特徴を有し、図 17に示すように多焦点レンズ 101、被写体撮像センサ 102、ファインダ 103、距離センサ 104、切り出し範囲算出部 801、画像切り出し部 802、焦点制御部 107、メモリ部 108、画像記録部 109、ズーム極性受付部 110、およびズーム極性切替部 111を備えて、る。

[0076] 切り出し範囲算出部 801は、（式 1)で与えられる移動量 Uに基づいて切り出し範囲を算出する。ここでは、切り出し範囲算出部 801は、画素数が幅 w、高さ hの画像に対する切り出し範囲を次の（式 7)のように比率 γで指定して算出する。

[0077] [数 7]

… （式 7 )

[0078] ここで、（x、y) は切り出し範囲を表す矩形の左上頂点の画像座標を、（x、y)

left, top right,b は切り出し範囲を表す矩形の右下頂点の画像座標を表す。ただし比率 γは 0〜1 ottom

である。この比率 γを、たとえば、

[0079] [数 8]

(式 8 )

のように相対移動量 Vと関連付けさせる。（式 8)に従えば、図 18 (a)に示すように撮影装置 100を被写体 300に近づけると、図 18 (b)に示すように切り出し範囲が広くなるように機能する。つまり、時間 T カゝら時間 Tへ進んで撮影距離 Dが短くなり (撮影

i-1 i

距離 D >撮影距離 D)、（式 3)より相対移動量 Vが負になる。（式 8)で相対移動量 i-1 i i

Vが負の場合、比率 γが大きくなり、切り出し範囲が広くなる。また、（式 8)に従えば、図 18 (c)に示すように撮影装置 100を被写体 300から遠ざけると、図 18 (d)に示すように切り出し範囲が狭くなるように機能する。時間 Τ から時間 Τへ進んで撮影距離 D

i-1 i

が長くなり (撮影距離 D く撮影距離 D)、（式 3)より相対移動量 Vが正になる。（式 8

i-1 i i

)で相対移動量 Vが正の場合、比率 γが小さくなり、切り出し範囲が狭くなる。

[0080] 一方、（式 9)に従えば、図 19 (a)に示すように撮影装置 100を被写体 300に近づけると、図 19 (b)に示すように切り出し範囲が狭くなるように機能する。つまり、時間 T 力時間 Tへ進んで撮影距離 Dが短くなり (撮影距離 D >撮影距離 D)、（式 3)よ

- 1 i i-1 i

り相対移動量 Vが負になる。（式 9)で相対移動量 Vが負の場合、比率 γが小さくなり、切り出し範囲が狭くなる。また、（式 9)に従えば、図 19 (c)に示すように撮影装置 10 0を被写体 300から遠ざけると、図 19 (d)に示すように切り出し範囲が広くなるように機能する。時間 Τ カゝら時間 Τへ進んで撮影距離 Dが長くなり (撮影距離 D く撮影

i-1 i i-1 距離 D)、（式 3)より相対移動量 Vが正になる。（式 9)で相対移動量 Vが正の場合、比率 γが大きくなり、切り出し範囲が広くなる。

[0081] 画像切り出し部 802は、多焦点レンズ 101を通して被写体撮像センサ 102で撮像される被写体 300の画像を、切り出し範囲算出部 801で算出された切り出し範囲で切り出し、ファインダ 103および画像記録部 108へ出力する。

[0082] 以上の構成から、撮像者 200が撮影装置 800を手で持って動かすと、撮影距離 D が変更され、多焦点レンズ 101の焦点距離を変更することができ、実施の形態 1と同じ構成と機能を有する。さらに、本実施の形態では、撮影距離 Dの移動量に応じて撮像センサ 102で撮像された画像の切り出し範囲を算出する切り出し範囲算出部 801 を備えて!/ヽるので、切り出し範囲を撮影距離 Dの移動量に連動して制御できる。

[0083] なお、切り出し範囲算出部 801が算出する切り出し範囲の位置については、たとえば (式 7)に示す左上頂点および右下頂点の画像座標を所定量移動させればよ!ヽ。このように、撮像者 200はファインダ 103を用いて撮像画角および切り出し範囲を含むフレーミングの目視確認が可能である。

[0084] 以上により、光軸を中心に撮影範囲が変化するズーミングにカ卩えて、任意の位置で映像を切り出すフレーミングが撮影装置の移動動作の中に組み込まれる。なお、本発明は画像切り出し部 802の機能を限定するものではな、ため、被切り出し画像は任意であり、たとえば画像記録部 109に記録した撮影画像を再生してディスプレイに表示する際に切り出しが実行されても構わない。

[0085] また、本実施の形態では、被写体までの距離に応じて焦点距離を調整するとともに撮像画像の切り出し範囲が調整されたが、本発明は、必ずしも、焦点距離と切り出し範囲の両方を制御する必要はない。つまり、本発明に係る撮影装置は、被写体までの距離に応じて撮像画像を切り出す範囲を調整する機能だけを備えて、てもよ、。この機能だけであっても、撮影者は、撮影装置の動きのみで撮影装置の画角を決定できるので、撮影操作が直感的で容易となる。さらに、切り出し範囲の調整方法の詳細については、実施の形態 1及び 2における「焦点距離の調整」を「切り出し範囲の調整」に置き換えることで、様々な調整方法が可能である。

[0086] (実施の形態 4)

本実施の形態では、実施の形態 1に加えて、撮影者が画角変更の感度を調整できる撮影装置について説明する。

[0087] 図 20は本発明の実施の形態 4に係る撮影装置の構成を示すブロック図である。なお、図 5に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。

[0088] 撮影装置 900は、被写体 300を撮像するための装置であり、被写体との位置関係（被写体までの距離）に応じて撮像画像を調整 (ズーミング)する際の感度を調整できる点に特徴を有し、多焦点レンズ 101、撮像センサ 102、ファインダ 103、距離センサ 104、撮影距離バッファ部 105、焦点距離算出部 106、焦点制御部 107、メモリ部 10 8、画像記録部 109、ズーム極性受付部 110、ズーム極性切替部 111、画角感度受付部 901、および画角感度変更部 902を備えている。

[0089] 画角感度受付部 901は相対移動量 Vに対する画角の変更量 (画角感度 ex )を撮影者力も受け付ける。画角感度変更部 902は、画角感度受付部 901によって受け付けられた画角感度 αに変更し、焦点距離算出部 106に与える。図 8では、多焦点レンズが持つ焦点距離の可動範囲すベてを移動量 D - Dに対応させたが、撮影者が

A B

意図するフレーミングによっては、焦点距離の可動範囲の一部（たとえば、 66mmから 150mm)を移動量 D — Dに対応させたい場合も考えられる。そこで、ファインダ 1

A B

03に表示される画像の画角変更の割合が大きすぎる場合、画角感度 αを低くして、移動量 D — Dに対する画角変更の割合を低くする。具体的には、次の（式 10)と（

A B

式 11)に示すように、相対移動量 Vに画角感度 αを乗算する。

[0090] [数 9]

^ = ^-, - ^ (^ - ^in ) - (式 1 0 )

F^ F^ + a^ iF^ - F^ ) … （式 1 1 ) [0091] 移動量 Vを固定した場合、画角感度 αを小さくすれば、焦点距離 F から焦点距離

i i-1

Fへの変化量は小さくなり、画角変更量は抑えられる。画角感度 αを低くした後に、撮影者のフレーミング意図が変わり、画角変更の割合を再び大きくしたい場合も考えられる。そこで、ファインダ 103に表示される画像の画角変更の割合が足りない場合、画角感度鼻を高くして、移動量 D — Dに対する画角変更の割合を高くする。ただ

A B

し、多焦点レンズ 101の可動範囲を超えて焦点距離を設定できないため、可動範囲を超える場合は、可動範囲の最小値、あるいは最大値で焦点距離をクリッピングする。画像処理による電子式デジタルズームを用いる場合も同様である。

[0092] 図 21は、撮影装置 900に設けられた画角感度入力ボタン 903の一例を示す図である。撮影者 200は、画角感度入力ボタン 903を押すことで、たとえば、画角感度 α を 1、 1. 5、 2、と川頁に大きくしたり、 1、 0. 5、 0. 25、 0. 125、と川頁に/ J、さくできる。大きくするの力、あるいは小さくするの力、という増減の方向は、たとえば、ズーム極性切り替えボタン 112で兼用し、画角感度入力ボタン 902を押した直後は、ズーム極性切り替えボタン 112が画角感度 ocの増減方向の切り替え用に機能する。

[0093] 次に、図 22と図 23を用いて、画角感度変更部 902の詳細を具体例で説明する。

[0094] 図 22は、画角感度 αを変更した際の焦点距離の変化の一例であり、起動時 Τで

0 は、図 9と同じように、位置 Αで焦点距離 192mm、位置 Bで焦点距離 24mmに設定されている。時間 Tでは、画角感度 aを 1、ズーム極性を (式 10)として撮影装置 900

0

を起動する。この時点では、図 9の場合と同様に、腕の伸縮範囲 (位置 Aと位置 Bの間）と焦点距離の可動範囲（24mmから 192mm)がー致する。その後、時間 T に至

i-1 るまで、画角感度 aは 1に設定され、時間 T にお、て、撮影装置 900は位置 Aと位

i-1

置 Bの中間に当たる位置 P にある。ここで、画角感度 α 力に設定され、焦点

i-1 i-1

距離の変更感度が半分に落ちる。相対移動量 V は 0. 5であり、時間 Tには撮影装

i-1 i

置 900は位置 Pに移動し、焦点距離 Fは（式 10)から、 66mmとなる。次に、時間 T

i i i+1 には撮影装置 900は位置 p に移動し、相対移動量 Vは— 0. 5に変更され、焦点距

i+1 i

離は（式 10)から 108mmに戻る。引き続き、時間 T には撮影装置 900は位置 Ρ に

i+2 i+2 移動し、相対移動量 V は— 0. 5が設定され、焦点距離は (式 10)から 150mmに設

i+1

定される。以上のように、画角感度 αを 1Z2に設定した場合、腕の伸縮による可動範囲では、焦点距離は 66mmから 150mmの間の 84mmの範囲で制御され、画角感度 αが 1の場合（168mmの範囲 = 192mm— 24mm)に比べて、半分の範囲になる。従って、画角感度 αを 1より小さくした場合、ピッチが細かくなり、より細かな焦点距離制御が可能になる。

図 23は、画角感度 αを変更した際の焦点距離の変化の一例であり、起動時 Τで

0

を起動する。この時点では、図 9の場合と同様に、腕の伸縮範囲 (位置 Aと位置 Bの間）と焦点距離の可動範囲（24mmから 192mm)がー致する。その後、時間 T に至る以前で画角感度 αが 1Z2に設定され、図 22と同じ要領で、時間 Τ において、位置 Αの焦点距離が 150mm、位置 Bの焦点距離が 66mmに設定された。引き続き、画角感度 aは 1Z2に設定され、時間 T で画角感度 aが 1に設定され、焦点距離の

i-1

変更感度が起動時と同じ状態に戻された。時間 T において、撮影装置 900は位置

i-1

Aと位置 Bの中間にある位置 P 〖こあり、時間 Tには位置 Pに移動し、相対移動量 V

i-1 i i i-1 は 0. 5となる。画角感度 α は 1であり、時間 Τにおける焦点距離 Fは（式 10)から、 2

i-1 i i

4mmとなり、起動時と同じ焦点距離に戻る。以上のように、画角感度 αを 1未満に設定して、その後、画角感度 αを 1に設定すれば、撮影装置 900の位置と焦点距離の関係は、起動時の状態に戻る。

[0096] 次に、画角感度 α力^に設定された後、時間 T には撮影装置 900は位置 Ρ に移

i i+1 i+1 動し、相対移動量 Vは— 0. 5となる。そこで、焦点距離は（式 10)から 192mmになる。以上のように、画角感度 αを 1より大きくした場合、画角感度ひが 1の場合に比べて、ピッチが大きくなり、小さな移動量で焦点距離を大きく変更できる。

[0097] 引き続き、画角感度 α は 2のままで、時間 Τ には撮影装置 900は位置 Ρ に移

i+1 i+2 i+2 動し、相対移動量 V は— 0. 5となり、焦点距離は（式 10)から、 360mmとなる。多

i+1

焦点レンズ 101の最長焦点距離は 192mmであるため、焦点距離算出部 106は 360 mmを 192mmにクリッピングし、多焦点レンズ 101は 192mmに設定される。従って、時間 T 力も時間 T へ進んでも、焦点距離は動かず、ファインダ 103に表示される i+1 i+2

撮影画像の画角は変わらな、。

[0098] 次に、画角感度 α は 1に設定された後、時間 Τ には撮影装置 900は位置 Ρ に

i+2 i+3 i+3 移動し、相対移動量 V は 0. 5となる。そこで、焦点距離は（式 10)から、 108mmとなる。以上のように、画角感度 αを、 1を超える値に設定し、その後、撮影装置 900を腕の伸縮の可動範囲端 (つまり、位置 Αあるいは位置 Β)まで移動し、画角感度 αを 1に設定すれば、撮影装置 900の位置と焦点距離の関係は、起動時の状態に戻る。

[0099] 以上より、画角感度 aを撮影装置の移動量に乗算することで、撮影装置の移動量と焦点距離の変化量の関係を変更でき、撮影者は、画角感度 αを低くすることで、ォブジエタトの細部を細かな画角変更で詳細に確認でき、たとえば電子商取引における商品のデザインの確認や、芸術品や動植物などの鑑賞等で有効に利用できる。一方、画角感度 αを高くすることで、視野全体とオブジェクトの細部を素早く切り替えられる。視野全体とオブジェクトの細部の切り替えは、たとえばスポーツ撮影で利用されることが多い。すなわち、野球の例では、ノッターがボールを打った瞬間に投手とバッターを捉える狭角撮影が観客席を含む広角撮影に切り替えられることが多い。また映像効果を高めるために画角を変える場合もあり、たとえば数十人で構成されるォーケストラの演奏のように、演奏者全員を捕らえる広角撮影力もある特定のパート (たとえばピアノ奏者)を捕らえる狭角撮影に切り替える際に画角感度 ocの調整が有効である。以上のように、画角感度 aの切り替えは、観察したい細部が目視確認できる拡大率を確保したり、スポーツ撮影のように動きが激、被写体をフレーム内に捉え続けるために有効に活用できる。

[0100] 上記各実施の形態において、撮像センサ 102は請求の範囲における撮像部に、距離センサ 104は請求の範囲における距離算出部に、焦点距離算出部 106は請求の範囲における焦点距離算出部に、焦点制御部 107は請求の範囲における焦点距離制御部にそれぞれ相当する。また、撮影距離変化量推定部 401および撮影画像バッファ部 402は、請求の範囲における距離算出部に相当する。さらに、切り出し範囲算出部 801は請求の範囲における切り出し範囲算出部に、画像切り出し部 802は請求の範囲における画像切り出し部にそれぞれ相当する。また、画角感度変更部 902 は請求の範囲における焦点距離制御部に相当する。

産業上の利用可能性

[0101] 本発明に係る撮影装置、撮影方法およびプログラムは、撮影者が撮影装置を動かすことによって焦点距離が制御されるため、撮影装置の動きのみで撮影画角を決定でき、例えばデジタルカメラ、スチルカメラ、ビデオカメラ、カメラ付き携帯電話等に用いるのに有用である。

Claims

請求の範囲

[1] 被写体との位置関係に応じて撮像画像を調整する撮影装置であって、

多焦点レンズを用いて被写体を撮影する撮影部と、

前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、

前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、

前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部と

を備えることを特徴とする撮影装置。

[2] 前記焦点距離算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記多焦点レンズの焦点距離を長く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記多焦点レンズの焦点距離を短く算出する

ことを特徴とする請求項 1記載の撮影装置。

[3] 前記焦点距離算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短、場合に、前記多焦点レンズの焦点距離を短く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記多焦点レンズの焦点距離を長く算出する

ことを特徴とする請求項 1記載の撮影装置。

[4] 前記焦点距離算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にする

ことを特徴とする請求項 1記載の撮影装置。

[5] 被写体との位置関係に応じて撮像画像を調整する撮影装置であって、

多焦点レンズを用いて被写体を撮影する撮影部と、

前記被写体までの距離に基づいて前記撮像画像力切り出す画像範囲を算出する切り出し範囲算出部と、

前記切り出し範囲算出部による算出結果に従って、前記撮像画像から一部を切り出す画像切り出し部とを備える

ことを特徴とする撮影装置。

[6] 前記切り出し範囲算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短!ヽ場合に、前記撮像画像の切り出し画像範囲を小さく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記撮像画像の切り出し画像範囲を大きく算出する

ことを特徴とする請求項 5記載の撮影装置。

[7] 前記切り出し範囲算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短!ヽ場合に、前記撮像画像の切り出し画像範囲を大きく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記撮像画像の切り出し画像範囲を小さく算出する

ことを特徴とする請求項 5記載の撮影装置。

[8] 前記切り出し範囲算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にすることを特徴とする請求項 5記載の撮影装置。

[9] 前記距離算出部は、前記基準図形との違いの計測を、前記基準図形の位置、大きさ、形状、明るさ、および色の少なくとも 1つに基づいて行う

ことを特徴とする請求項 1あるいは請求項 5に記載の撮影装置。

[10] 被写体を撮像する撮影装置を備える携帯端末装置であって、

請求項 1あるいは請求項 5に記載の撮影装置を備えることを特徴とする携帯端末装置。

[11] 被写体との位置関係に応じて撮像画像を調整する撮影方法であって、

多焦点レンズを用い被写体を撮像する撮像ステップと、

前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出ステップと、

前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出ステップと、

前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御ステップと

を含むことを特徴とする撮影方法。

[12] 被写体を撮像するためのプログラムであって、

請求項 11記載の撮影方法に含まれるステップをコンピュータに実行させることを特徴とするプログラム。