JP6846651B2 - 画像処理装置及び撮像装置 - Google Patents

Description

本開示は、画像データを処理する画像処理装置及び撮像装置に関する。

特許文献１は、表示装置において、表示面に対して正面からずれた位置において表示面を観察している視聴者が歪みのない画像を観察できる画像表示を行う方法を開示する。この方法は、視聴者が画像装置の表示面に表示される画像を観察する際、表示部に対する視聴者の位置を検出するステップと、その位置から表示面に表示された画像を観察した際、当該画像が表示面に対して垂直方向から観察する形状となる補正画像データを、画像のデータから生成するステップと、補正画像データを表示面に対して表示するステップとを含む。これにより、視聴者の視線方向に垂直な近平面に対して画像を歪まない形状（本来の画像の形状）で表示させることができる。よって、視聴者が歪みのない画像を観察できる。

特開２０１３−１２０３４７号公報

本開示は、カメラにより撮像された画像を観察者にとって自然に見える画像に補正する画像処理装置を提供する。

本開示の第１の態様において画像処理装置が提供される。画像処理装置は、画像データを入力し、入力した画像データを処理する画像補正部と、画像補正部で処理された画像データを出力する出力部と、を備える。画像補正部は、入力した画像データが示す入力画像を第１の平面に配置し、第１の平面に配置された入力画像の一部または全部の領域に含まれる各画素を所定の曲面上に写像し、曲面上の写像された各点を第２の平面上に写像することにより、新たな画像データを生成する。

本開示の第２の態様において撮像装置が提供される。撮像装置は、レンズを含む光学系と、光学系を介して入力した被写体像を撮像し、画像データを生成する撮像部と、撮像部で生成された画像データが示す撮像画像を処理する上記の画像処理装置と、を備える。

本開示の画像処理装置によれば、歪みが補正された画像やユーザの視線に応じた画像を生成でき、観察者にとって自然に見える画像を提供できる。

本開示に係る画像処理装置の一実施形態（画像処理部）を含むビデオカメラの構成を示す図 被写体の例を示した図 ビデオカメラの画像処理部により生成される２種類の画像を説明した図 広角画像に見られる広角歪みを説明するための図 広角画像に見られる広角歪みを説明するための図 広角画像に見られる歪みを補正するための原理を説明するための図 広角画像に見られる歪みを補正するための原理を説明するための図 広角画像に見られる歪みを補正するための原理を説明するための図 広角画像に見られる歪みを補正するための原理を説明するための図 広角画像に見られる歪みを補正するための原理を説明するための図 広角画像に見られる歪みを補正するための原理を説明するための図 視線方向における一部の画像の切り出しの方法を説明するための図 視線方向における一部の画像の切り出しの方法を説明するための図 視線方向における一部の画像の切り出しの方法を説明するための図 視線方向における一部の画像の切り出しの方法を説明するための図 視線方向における一部の画像の切り出しの方法を説明するための図 視線方向における一部の画像の切り出しの方法を説明するための図 視線方向における一部の画像の切り出しの方法を説明するための図 視線方向における一部の画像の切り出しの方法の別の例を説明するための図 視線方向における一部の画像の切り出しの方法の別の例を説明するための図 視線方向における一部の画像の切り出しの方法の別の例を説明するための図 画像処理部における全体画像補正部の処理を示すフローチャート 広角歪補正処理の前後における画素位置の対応関係を説明するための図 画像処理部における切り出し処理部の処理を示すフローチャート 視線変換処理の前後における画素位置の対応関係を説明するための図 全体画像における切り出し範囲を示した図 切り出し範囲の画像（歪み補正、視線方向変換前）を拡大して示した図 図１０に示す画像に対して歪み補正、視線方向変換を行った後の画像を示した図 図１１に示す画像における鉛直方向（矢印ＤＲ）を示した図 画像内のオブジェクトの鉛直方向（矢印ＤＲ）と画像の垂直方向とが一致するように生成された切り出し画像を示した図 全体画像から一部の画像を連続して切り出す際の切り出し範囲の変化（変化の軌跡が円弧を描くように変化）を説明した図 全体画像から一部の画像を連続して切り出す際の切り出し範囲の変化（変化の軌跡が直線状に変化）を説明した図 切り出し領域の変形による広角歪みを軽減する補正を説明した図 演出効果のための切り出し領域の形状の変化を説明した図 演出効果のための切り出し領域の形状の変化を説明した図 広角歪み補正のための台形形状の切り出し領域の例を説明した図 演出効果のための台形形状の切り出し領域の別の例を説明した図 演出効果のための台形形状の切り出し領域の例を説明した図 図１７Ａに示す切り出し領域で切り出された画像による表示例を説明した図 図１７Ｂに示す切り出し領域で切り出された画像による表示例を説明した図 図１７Ｃに示す切り出し領域で切り出された画像による表示例を説明した図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
［１−１．構成］
図１は、本開示に係る画像処理装置の一実施の形態である画像処理部を備えたビデオカメラの構成を示した図である。ビデオカメラ１００は動画または静止画が撮影可能な撮像装置である。図１に示すように、ビデオカメラ１００は、被写体を撮像し画像データを生成するカメラ部３０と、カメラ部３０により生成された画像データを処理する画像処理部５０とを備える。さらに、ビデオカメラ１００はユーザにより設定された設定情報を入力する設定入力部２２を備える。

カメラ部３０は、光学系１０と、光学系を介して入力した光学情報から画像データを生成する撮像部１２とを含む。光学系１０はフォーカスレンズ及びズームレンズを含む。フォーカスレンズ及びズームレンズはそれぞれ１つまたは複数のレンズの組み合わせにより構成される。撮像部１２は、光学情報を電気信号（アナログ信号）に変換する画像センサと、アナログ信号をデジタル信号（画像信号）に変換するＡＤコンバータと、画像信号に所定の処理を施し画像データを生成する画像処理回路とを含む。画像センサは例えばＣＣＤやＣＭＯＳイメージセンサである。本実施の形態のビデオカメラ１００における撮像部１２は８Ｋや６Ｋ等の高解像度の画像データを生成する。撮像部１２から出力される画像データには、画像撮像時の撮影条件（焦点距離、露出、シャッタスピード、画角、等）を示す情報であるメタデータが付加されている。

画像処理部５０は、撮像部１２で生成された画像データを入力し、入力した画像データを処理し、所望の画角の画像データを生成する画像補正部５５と、画像補正部５５により生成された画像データのサイズを変換するリサイズ処理部１６と、を備える。画像補正部５５は、入力した画像データから被写体領域全体を示す全体画像（広角画像）を生成する全体画像補正部１４と、全被写体領域の一部の領域（狭い画角）の画像を切り出した画像（以下「切り出し画像」という）を生成する切り出し処理部１８とを備える。さらに、画像処理部５０は、撮像画像から所定のオブジェクトを認識するオブジェクト認識部２０と、画像補正部３５で生成した画像データを出力する出力部２４と、光学系１０の画角の情報を取得するレンズ情報取得部２５と、を備える。

全体画像補正部１４は、撮像部１２で生成された撮像画像に含まれる歪みを補正した画像を生成する。ここで、全体画像補正部１４は、撮像部１２で生成された画像データが示す画像（以下「撮像画像」という）と同じかまたは略同じ画角の画像を生成する。リサイズ処理部１６は、全体画像補正部１４及び切り出し処理部１８により生成された画像のサイズを変更する。例えば、リサイズ処理部１６は、全体画像補正部１４または切り出し処理部１８により生成された画像のサイズ（例えば、８Ｋまたは６Ｋ）をＨＤ（ハイビジョン）サイズ（1920×1080画素）に変更する。

オブジェクト認識部２０は、撮像部１２で生成された撮像画像から所定のオブジェクト（例えば、人や物）を認識し、その位置を検出し、検出した位置を示す位置情報を出力する。なお、オブジェクト認識部２０は、全体画像補正部１４またはリサイズ処理部１６からの出力に基づいて所定のオブジェクトを認識してもよい。

切り出し処理部１８は、撮像画像の全体から一部の領域（切り出し領域）の画像を切り出し、切り出し画像を生成する。切り出し処理部１８は、オブジェクト認識部２０から入力した位置情報に基づき、切り出し画像の切り出し領域（範囲）を決定する。例えば、所定のオブジェクトの位置を含む所定の範囲を、切り出し領域（範囲）とする。なお、切り出し処理部１８は、設定入力部２２を介して受信した指定に基づき切り出し領域（範囲）を決定してもよい。

レンズ情報取得部２５は、撮像画像のメタデータから光学系１０の画像撮影時の画角を示す画角情報を取得する。レンズ情報取得部２５は画角情報を全体画像補正部１４及び切り出し処理部１８に送信する。入力部１３は、撮像部１２で生成された画像データを入力する。入力部１３は例えばデータバス、インタフェース回路及び／または出力端子で構成される。

設定入力部２２は、ユーザにより指定された切り出し位置、注目位置、オブジェクトの情報を入力するための回路である。設定入力部２２は例えばデータバス、インタフェース回路及び／または入力端子で構成される。

出力部２４は、全体画像補正部１４及び切り出し処理部１８で生成した画像データを出力する回路である。出力部２４は例えばデータバス、インタフェース回路及び／または出力端子で構成される。

画像処理部５０は例えばＦＰＧＡにより実現される。すなわち、画像処理部５０は種々のハードウェア回路（ＡＳＩＣ、ＤＳＰ等）またはハードウェアとソフトウェアの組み合わせ（ＣＰＵまたはＭＰＵとプログラムの組み合わせ等）により実現することができる。画像処理部５０は、少なくとも全体画像補正部１４及び切り出し処理部１８のいずれかを含んでおればよく、図１に示す構成に限定されない。例えば、画像処理部５０は、レンズ情報取得部２５やオブジェクト認識部２０を含まなくても良い。すなわち、出力部２４からの出力も、少なくとも全体画像データ及び切り出し画像データのいずれかを含んでいればよい。

以上のような構成を有するビデオカメラ１００は、撮影可能な画角全体の領域の被写体を撮影し、画角全体の領域を示す画像である全体画像と、画角全体の領域の中から一部の領域を切り出して得られる切り出し画像とを生成する。例えば、ビデオカメラ１００により図２に示すような被写体が撮影されると、図３に示すように、撮像部１２により８Ｋまたは６Ｋ等の高解像度の撮像画像３００が生成される。そして、全体画像補正部１４及びリサイズ処理部１６により、撮像画像３００において広角歪み（後述）が補正され、所望の画像サイズに変換された全体画像３５０が生成される。それとともに、切り出し処理部１８により、撮像画像３００の一部の領域が切り出された切り出し画像３５１が生成される。なお、切り出し処理部１８から出力された切り出し画像は、リサイズ処理部１６により所望のサイズに変換された後、出力される。

［１−２．動作］
以上のように構成されたビデオカメラ１００について、その動作を以下説明する。

［１−２−１．広角歪み補正］
最初に、本実施の形態のビデオカメラ１００において実施される広角歪み補正について説明する。一般に被写体を広角レンズで撮影した場合、撮像された画像の中心から離れるにしたがって被写体に歪みが見られる。本実施形態ではこのような画像の周縁部に見られる歪みを「広角歪み（またはボリューム歪み）」という。広角歪みは、画像の中心からの距離に応じてその歪みの程度が大きくなる。図４Ａは、図２に示す被写体を広角で撮影した場合に生成される撮像画像を示した図である。図４Ａに示すように、広角で撮影した場合、例えば、画像ＩＭ１の端の方では被写体８０、８２及びその近傍において、画像の中心からの距離に応じた、水平方向と垂直方向に幅が拡張された歪み（広角歪み）が生じる。

図４Ｂを参照し、広角歪みをより具体的に説明する。図４Ｂでは、被写体として、球Ａ、Ｂ、Ｃ、Ｄと、平面Ｅとが配置されている。球Ａ、Ｂ、Ｃ、Ｄはそれぞれ同じ形状大きさを有する。平面Ｅの長さは各球Ａ、Ｂ、Ｃ、Ｄの直径と同じであるとする。写像面Ｐｍに並行で、かつ球Ａ、平面Ｅ、球Ｂを通る平面を平面Ｐ１とする。ここで、写像面Ｐｍは撮像部１２における画像センサの撮像面に対応し、換言すれば、撮像部１２で生成される撮像画像に対応する。図４ＢにおいてＣoptは光学中心であり、光学系１０のフォーカスレンズの光学中心に対応する。写像面Ｐｍ上には、各被写体Ａ〜Ｅの像Ａ１〜Ｅ１が写像されている。

今、球Ａを基準として考えた場合、焦点距離が短いとき、平面Ｅのように写像面Ｐｍに平行に配置された被写体の場合、写像面上の写像Ｅ１において歪みは起こらない。一方、球Ｂのように画角の端に配置された被写体について、写像Ｂ１は球Ａと比較して歪みが大きくなる。この歪みが広角歪みである。球Ｃのように、平面Ｐ１よりも光学中心Ｃoptに近い位置にある被写体は、写像面Ｐｍ上の像（Ｃ１）が球Ａの像（Ａ１）よりも大きくなる。また、球Ｄのように、平面Ｐ１よりも光学中心Ｃoptから遠い位置にある被写体は、写像面Ｐｍ上の像（Ｄ１）が球Ａの像（Ａ１）よりも小さくなる。また、球Ｃと球Ｄは画像の中心から離れているため、その像（Ｃ１、Ｄ１）において若干の広角歪が見られる。

以上のように、被写体の位置（画像の中心からの位置のずれ）に応じて写像面Ｐｍ上に形成される像において広角歪みが見られる。本実施形態のビデオカメラ１００はこのような広角歪みを補正する機能を有する。

以下、図５Ａ〜５Ｆを参照して、本実施の形態におけるビデオカメラ１００により実施される広角歪み補正方法の原理を説明する。図４Ｂに示すように各被写体Ａ〜Ｅが配置されているとする。図５Ａにおいて、光学中心Ｃoptから、写像面Ｐｍ（画像センサにおける撮像可能領域に対応）に平行な面で球Ａを通る平面Ｐ１の左端から右端までを見渡したときに自然に（すなわち、広角歪みなく）見えるように、光学中心Ｃoptを中心とした球面Ｐｓを設定する。そして、写像面Ｐｍ上に撮像画像を仮想的に配置する。このとき、撮像画像の中心を通る写像面Ｐｍの法線が球面Ｐｓの中心を通るように撮像画像を配置する。写像面Ｐｍ上の撮像画像に対応する領域の全ての点（画素）を球面Ｐs上に写像する。このとき、写像面Ｐｍ上の各点と光学中心Ｃoptを結ぶ直線と、球面Ｐsとの交点に、写像面Ｐｍ上の各点が配置されるように写像する。図５Ｂは、このようにして写像面Ｐｍ上の各点が球面Ｐｓ上に写像されたときの状態を説明した図である。なお、図５Ａ〜５Ｆ（他の図も同様）では、説明の便宜上、球面Ｐｓの水平断面が示され、水平方向（ｘ方向）の一次元的な写像のみが示されているが、実際には、写像面Ｐｍ上の各点は二次元的に（水平方向（ｘ方向）、垂直方向（ｙ方向）において）球面Ｐｓ上に写像される。

次に、図５Ｃに示すように、写像面Ｐｍに平行に補正写像面Ｐｃを設定する。その補正写像面Ｐｃ上に、球面Ｐｓ上に写像された各点（画素）を正射影により写像する。すなわち、球面Ｐsから補正写像面Ｐｃ上に下ろした垂線の足の位置に、球面Ｐｓ上の各点が配置されるように写像する。図５Ｄは、このようにして球面Ｐｓ上の各点が補正写像面Ｐｃ上に写像されたときの状態を説明した図である。このとき、補正写像面Ｐｃ上の点が写像された領域は、元の写像面Ｐｍの領域よりも小さくなる。よって、図５Ｅに示すように、元の写像面Ｐｍと同じサイズに戻すように、補正写像面Ｐｃの各点を写像面Ｐｍに写像する（すなわち拡大する）。

図５Ｆは、以上のように写像が実施された後の写像面Ｐｍの最終的な状態を説明した図である。図５Ｆを参照すると、領域の端に配置され、大きな歪みを有していた球Ｂの写像（Ｂ４）は、図４Ｂに示すものと比較して歪みが小さくなっていることがわかる。すなわち、広角歪みが補正されていることがわかる。このように、写像面Ｐｍ上の画素を一旦球面Ｐｓ上へ写像し、その後球面Ｐｓから写像面Ｐｍへ写像することで広角画像に見られる広角歪みを補正している。

すなわち、下記のようにして広角歪みの補正を行っている。
０）写像面Ｐｍ上に撮像画像を、撮像画像の中心を通る写像面Ｐｍの法線が球Ｐｓの中心を通るように仮想的に配置
１）写像面Ｐｍから球面Ｐｓへ写像（写像Ｆ）（図５Ａ−５Ｂ） ２）球面Ｐｓから補正写像面Ｐｃへ写像（写像Ｇ）（図５Ｃ−５Ｄ）
３）補正写像面Ｐｃから写像面Ｐｍへ写像（写像Ｈ）（図５Ｅ−５Ｆ）

ここで、補正前の写像面Ｐｍ上の各画素をＰ0（ｘ0、ｙ0）、対応する補正後の写像面Ｐｍ上の各画素をＰ1（ｘ1、ｙ1）とすると下記式が成り立つ。
Ｐ1＝ＨＧＦ・Ｐ0

広角歪みの補正前の写像面Ｐｍ上の撮像画像における各画素の位置Ｐ0（ｘ0、ｙ0）と、補正後の画像における各画素の位置Ｐ1（ｘ1、ｙ1）との対応関係は写像Ｆ、Ｇ、Ｈが定まれば求められる。よって、その対応関係をあらかじめ求めておき、その関係を示す情報を全体画像補正部１４及び切り出し処理部１８に与えておくことで、全体画像補正部１４及び切り出し処理部１８は、その対応情報を用いて、広角補正後の画像における各画素に対応する、補正前の画像における画素を求めることができる。これにより撮像画像において広角歪みを補正することができる。

［１−２−２．切り出し、視線変換］
本実施形態のビデオカメラ１００は、カメラを動かさず固定したまま、ユーザの視線に応じた画像を擬似的に生成することができる。以下、図６Ａ〜図６Ｆを用いて、視線に応じた画像を擬似的に生成するための方法を説明する。

視線ＳＬはユーザにより設定される。例えば、ユーザにより画像中の一点Ｖo（注目点）が指定される。その指定された点Ｖoと光学中心（視点Ｖｐ）とを結ぶ線を視線に設定することができる。または、ユーザにより視線の傾き角度φが設定されてもよい。

特に動画像の場合、画像中の一点または視線の傾き角度が徐々に変化するが、この変化についてもユーザが指定してもよい。視線または視線の傾き角度が設定されると、視点Ｖｐを基準にして所定の範囲の領域の画像が切り出される。よって、画像中の一点または視線の傾き角度が変化した場合、それに伴い切り出し領域の位置も変化する。

図６Ａに示すように、ユーザの視線ＳＬの方向が、平面Ｐ１に直交する方向からφだけ傾いた方向であるとする。また、視線ＳＬに直交し、かつ球Ａを通る平面Ｐ２を設定する。また、球面Ｐｓの外側において視線ＳＬに直交する写像面Ｐｍ１を設定する。ここで、図６Ａに示す状態は、写像面Ｐｍ上の全ての画素が球面Ｐs上に写像された状態を示す（図５Ｂ参照）。

図６Ｂに示すように、写像面Ｐｍ１に並行に補正写像面Ｐｃ１を設定する。その補正写像面Ｐｃ１上に、球面Ｐｓ上に写像された各点を正射影（平行投射）で写像する。すなわち、球面Ｐsの各点から補正写像面Ｐｃ１上に下ろした垂線の足の位置に、球面Ｐｓ上の各点が配置されるように写像する。図６Ｃは、このようにして球面Ｐｓ上の各点が補正写像面Ｐｃ１上に写像されたときの状態を説明した図である。このとき、補正写像面Ｐｃ１上の画素が写像された領域は、元の写像面Ｐｍ１の領域よりも小さくなる。よって、図６Ｄに示すように、元の写像面Ｐｍ１と同じサイズに戻すように、補正写像面Ｐｃ１の各点を写像面Ｐｍ１に写像する。

図６Ｅは、以上のように写像が実施された後の写像面Ｐｍ１の最終的な状態を説明した図である。図６Ｆは、切り出し領域（切り出し範囲）を説明した図である。切り出し処理部１８は、撮像部１２により生成された画像データに基づいて、ユーザが注目する領域Ｒ１に対応する切り出し領域Ｒ２の画像を生成する。上述したような視線ＳＬを考慮した視線変換処理（回転処理）を行わない場合、本来であれば、図６Ｇに示すように写像面Ｐｍ（第１の平面）上の領域Ｒ３の範囲が切り出された画像が生成される。一方、本実施形態のような視線変換処理を行うことにより、球面Ｐｓ上の画素が写像面Ｐｍを基準として視線の傾き角度φだけ傾いた写像面Ｐｍ１（Ｐｃ１）上へ写像される。これにより、視線の向きに応じた広角歪み補正が可能となり、ユーザが注目する領域をそれに正対して見たときに見える画像を擬似的に生成でき、よって自然な画像を生成することができる。

図７Ａ〜図７Ｃは、視線に向けた画像を擬似的に生成するための別の方法を説明した図である。図６Ａ〜図６Ｆを用いて説明した方法では、球面Ｐsの各点を補正写像面Ｐｃ１上に正射影で写像を行った。これに対して、図７Ａ〜図７Ｃは、球面Ｐsの中心を投影中心とする中心射影（透視投影）による写像を用いた処理を説明している。すなわち、図７Ｂに示すように、切り出し領域Ｒに対応する範囲内において、球面Ｐsの各点における球面Ｐｓの法線と写像面Ｐｍ１との交点の位置に球面Ｐｓ上の各点が配置されるように、球面Ｐｓ上の各点を写像面Ｐｍ１に写像する（図７Ｃ参照）。このように中心射影による写像を用いて視線変換を行うこともできる。

［１−２−３．全体画像補正部の処理］
図８Ａは、全体画像補正部１４における広角歪の補正処理を説明したフローチャートである。図８Ｂは、広角歪補正処理の前後における画素位置の対応関係を説明するための図である。

全体画像補正部１４は、まず、球面Ｐｓの水平方向の半径ｒxを求める（Ｓ１１）。この半径ｒxは次式で求められる。
ｒx＝（Ｈ／２）／tan(Ａ／２) （１）
ここで、Ｈは撮像画像の水平方向のサイズ、Ａはビデオカメラ１００の画角。

次に、全体画像補正部１４は、補正後の画像における一の画素について、所定の対応関係に基づき撮像画像における対応画素を求める（Ｓ１２）。ここで、所定の対応関係について説明する。

本実施の形態では、図５Ａ〜５Ｆを用いて説明したように、２つの写像を行うことにより広角歪みの補正を行う。所定の対応関係は、２つの写像を実施したときに、２つの写像前の写像面Ｐｍ上の各点の水平方向の位置（ｘ）と２つの写像後の写像面Ｐｍ上の各点の水平方向の位置（ｘ‘）との間の対応関係を示す情報であり、次式で示される（図８Ｂ参照）。
ｘ＝ｒx・ｔａｎθ （２）
但し θ＝ａｓｉｎ（ｘ‘／ｒx） （２ｂ）
上式（２）により、補正後の画像における各点（画素）の水平方向の位置が、補正前の画像におけるどの位置に対応するかがわかる。

同様に、垂直方向の位置（ｙ）については、次式で求められる。
ｙ＝ｒｙ・ｔａｎθ （３）
但し θ＝ａｓｉｎ（ｙ‘／ｒｙ） （３ｂ）
ここで、ｙ‘は補正後の画像における画素の垂直方向の位置である。ｙは、補正後の画像における画素に対応する、撮像画像における対応画素の垂直方向の位置である。垂直方向に関する球面半径ｒｙは、視点Vpから写像面ｐｍまでの距離となる。すなわち、ｒｙは次式で求められる。
ｒｙ＝ｒｘ・ｃｏｓθ （４）

全体画像補正部１４は上式（２）、（３）を用いて、補正後の画像における各画素について、撮像画像におけるどの画素に対応するかを求めることができる。

画素毎に対応画素を求めると、全体画像補正部１４は、求めた対応画素の画素値を補正後の画像における一の画素の画素値として設定する（Ｓ１３）。

全体画像補正部１４は、補正後の画像における全ての画素について上記の処理Ｓ１２、Ｓ１３を行う（Ｓ１４）。以上の処理により、撮像画像において広角歪みを補正することができる。なお、上記の説明では、説明の便宜上、ビデオカメラ１００の俯角または仰角が０°の場合の例を説明した。ビデオカメラ１００が０°でない俯角または仰角を有する場合は、俯角または仰角に応じてさらにｒｘ，ｒｙの値を変更（補正）すればよい。すなわち、ビデオカメラ１００の俯角または仰角に応じて、写像面Ｐｍに対する写像面Ｐｍ１の傾け方を調整すればよい。カメラ内の撮像面の傾きが変化可能なチルトレンズカメラで取得した画像においても、俯角や仰角を持った場合と同様に処理することができる。

［１−２−４．切り出し処理部の処理］
図８Ｃは、切り出し処理部１８における切り出し処理（視線変換含む）を説明したフローチャートである。図８Ｄは、処理の前後における画素位置の対応関係を説明するための図である。本切り出し処理が開始される前に予め撮像画像において切り出し領域が設定されている。切り出し領域は、例えば、ユーザにより設定されたり、撮像画像において自動で認識されたオブジェクトの位置に基づき設定されたりする。ユーザの視線ＳＬ（すなわち、ユーザが注視する画像上の点）は予め指定されている。

切り出し処理部１８は、図６Ａ〜図６Ｆを用いて説明した正射影による写像または図７Ａ〜図７Ｃを用いて説明した中心射影による写像を用いて切り出し処理を行うが、以下では、図７Ａ〜７Ｃを用いて説明した中心射影を用いた切り出し処理を説明する。正射影を用いた切り出し処理の場合は、切り出し範囲の画素に対して、前述の全体画像補正部１４で説明した処理と同様の処理を行えばよい。

図８Ｃ、８Ｄを参照し、切り出し処理部１８は、まず球面Ｐｓの水平方向の半径ｒxを求める（Ｓ２１）。
ｒx＝（Ｈ／２）／tan(Ａ／２) （５）
ここで、Ｈは撮像画像の水平方向のサイズ、Ａはビデオカメラ１００の画角。

次に、切り出し処理部１８は、切り出し画像における一の画素について、所定の対応関係に基づき撮像画像における対応画素を求める（Ｓ２２）。

ここで、切り出し処理においては、図６Ａ〜６Ｆ、７Ａ〜７Ｃを用いて説明したように、視線ＳＬの向きに応じて切り出す領域が変化（回転）させている。この視線ＳＬの傾き角度φは次式で求められる。
φｘ＝ａｔａｎ（注目点の水平位置）／ｒｘ （６ａ）
φｙ＝ａｔａｎ（注目点の垂直位置）／ｒｘ （６ｂ）
ここで、φｘは水平方向の視線ＳＬの傾き角度、φｙは垂直方向の視線ＳＬの傾き角度である。注目点とはユーザが注目している画像上の点であり、例えば、写像面Ｐｍ上の位置ｘｓに対応する（図８Ｄ参照）。

よって、視線の向きを考慮した、切り出し画像における各画素に対応する、撮像画像上の画素の水平位置（ｘ）は次式で求められる（図８Ｄ参照）。
ｘ＝ｒx・ｔａｎ（θ＋φｘ） （７）
但し θ＝ａｔａｎ（ｘ‘／ｒx） （７ｂ）
上式（７）により、切り出し画像における各点（画素）の水平方向の位置（ｘ‘）が撮像画像におけるどの位置（ｘ）に対応するかがわかる。

同様に垂直方向の位置については次式で求められる。
ｙ＝ｒｙ・ｔａｎ（θ＋φｙ） （８）
但し θ＝ａｓｉｎ（ｙ‘／ｒｙ） （８ｂ）
ここで、ｙ‘は切り出し画像における画素の垂直方向の位置である。ｙは、切り出し画像における画素に対応する、撮像画像における対応画素の垂直方向の位置である。垂直方向に関する球面半径ｒｙは次式で求められる。
ｒｙ＝ｒｘ・ｃｏｓ（θ＋φｘ） （９）

切り出し処理部１８は上式（７）、（８）を用いて、切り出し画像における各画素について、撮像画像におけるどの画素に対応するかを求めることができる。

画素毎に対応画素を求めると、切り出し処理部１８は、求めた対応画素の画素値を切り出し画像における一の画素の画素値として設定する（Ｓ２３）。

切り出し処理部１８は、切り出し画像における全ての画素について上記の処理Ｓ２２〜Ｓ２３を行う（Ｓ２４）。これにより撮像装置から一部の領域を切り出した切り出し画像が得られる。また、このとき、切り出し領域をユーザの視線に応じて設定していることから、より自然に見える切り出し画像が得られる。

［１−２−５．画像の切り出し］
図９は、全体画像における切り出し領域を説明した図である。全体画像ＩＭ２において切り出し領域Ｒ４が設定されている。図１０に、切り出し領域Ｒ４の領域を拡大して表示している。図１１は、切り出し処理部１８により切り出し領域Ｒ４について切り出されて生成された切り出し画像ＩＭ３１を示した図である。図１１に示す切り出し画像ＩＭ３１には、広角歪み補正及び視線変換が適用されている。切り出し画像において、処理前の切り出し領域を全て含むように処理を行ってもよいし（元の切り出し範囲に含まれなかった範囲も処理後の画像に含まれる場合がある）、処理前の切り出し範囲の画素だけに対して処理を行っても良い（元の切り出し範囲に含まれていた範囲が処理後の画像に含まれない場合がある）。

カメラが俯角または仰角を持つ場合、撮像された画像における水平方向（ｘ軸）、垂直方向（ｙ軸）では、本来、実空間で地平に対して垂直方向に立っているべき物体が、画像内では垂直にならずに傾いて写ることがある。すなわち、切り出した画像内で、本来垂直方向に立っている物体が垂直にならず傾くことがある。例えば、図１２は切り出し画像ＩＭ３１を示す。図１２において、矢印ＤＲは、垂直方向に立っている物体の方向を示している。矢印ＤＲが示すように、図１２が示す画像では、垂直方向に立っている物体の方向が、垂直にならずに傾いていることが分かる。そこで、予めそのような事象が発生し得る場合には、本来垂直方向に立っている物体が、切り出した画像内でも垂直になるように所定の処理を行ってもよい。例えば、球面に投影したときに、俯角または仰角分だけ回転させたり、処理した画像の垂直方向のエッジを検出し、そのエッジの傾き分だけ回転させたりしてもよい。これにより見た目に自然な画像を得ることができる。図１３はこのような処理を施された結果の画像を示す。なお、回転により画素が欠損する可能性がある場合は、欠損しないように、切り出す前の画像で回転させるか、切り出し範囲よりも広い範囲で回転処理を行っても良い。または、欠損した部分を含まない範囲を出力サイズに合わせて拡大縮小してもよい。

切り出し位置を連続的に変化させながら切り出し画像を生成することで、本ビデオカメラ１００と同じ位置に配置され、本ビデオカメラ１００による切り出し画像のサイズと同じサイズの画像を出力する通常のビデオカメラをパン動作させたときに得られる画像と同等の画像が得られる。図１４は、切り出し領域の変化を説明した図である。切り出し処理部１８は、切り出し領域の中心の軌跡が円弧状となるように、切り出し領域Ｒｘを変化させている。図１４において、時刻ｎ、ｎ＋１、ｎ＋２、・・・の経過とともに、切り出し領域Ｒｎ、Ｒｎ＋１、Ｒｎ＋２、・・・と変化する。また、切り出し領域（長方形）の位置のみならず、切り出し領域（長方形）の傾きも、切り出し領域の位置とともに変化させている。例えば、本来垂直方向に立っているべき物体が、切り出した画像内でも垂直になるように、切り出し領域を設定してもよい。または、円弧の法線が切り出し領域の水平方向の辺と直交するように切り出し領域（長方形）の傾きを変化させてもよい。このように切り出し領域を変化させることにより、本ビデオカメラ１００と同じ位置に配置され、本ビデオカメラ１００による切り出し画像のサイズと同じサイズの画像を出力する通常のビデオカメラをパン動作させたときに得られる画像として自然な画像を得ることができる。

図１５に、切り出し領域の変化のさせ方の別の例を示す。図１５に示すように、切り出し領域の中心の軌跡が直線状となるように切り出し領域Ｒｎ、Ｒｎ＋１、Ｒｎ＋２、・・・の位置を変化させてもよい。この場合も、切り出し領域（長方形）の傾きを、切り出し領域の位置とともに変化させている。

既に撮影済みの動画像データの編集や表示時のように、あらかじめ取得されている動画像に対して切り出し位置を指定する場合は、切り出し領域の位置の変化量については所定の関数を用いて算出してもよい。その際、最初と最後のフレームにおける切り出し領域の位置はユーザが設定し、その間のフレームについての移動量は所定の関数を用いて算出してもよい。所定の関数は例えば線形補間でもよい。しかし、線形補間によれば等速直線運動になるが、実際にカメラマンがカメラを動かすときのパン動作は等速直線運動にならない。このため、線形補間を用いた場合、少々違和感を生じる場合がある。本来、人が台に乗ったカメラを手で動かすときには、カメラは、動き始めはゆっくりと移動し、徐々に速くなり、その後目的位置近傍で徐々にゆっくりになり、最後に停止する。このようなカメラの自然な動きに応じた切り出し位置の変化が得られるよう、正規分布の累積分布関数（所定の関数の一例）を用いて、切り出し領域の位置の変化量を算出してもよい。

［１−２−６．切り出し領域の変形による効果］
上述の例では、球面への写像により広角歪みを補正したが、広角歪みの補正方法はこれに限定されない。切り出し領域の変形によっても広角歪みを補正することができる。広角歪みは、画像の領域（画像内の位置）により歪みの程度（強さ）が異なる。すなわち、広角歪みは、画像の中心からより遠い領域ほど、すなわち画像の端に近い領域ほど顕著に発生し、元の被写体の形状に対して伸びが目立つ画像となる。このように広角歪みは画像内の位置に応じて歪みの程度が異なるため、広角歪みを補正するために、切り出し領域の形状を切り出し位置に応じて変化させてもよい。切り出し領域は必ずしも矩形とはならず、台形となる場合もある。そのような場合、台形の切り出し画像を矩形の画像に変換（台形補正）する。この変換によって広角歪みが補正される。

具体的には、切り出し領域が元の画像の端に近づく程度に応じて、変換後の画像において、画像の部分に応じて広角歪みにより伸びた分だけ縮小されるように、切り出し領域を設定してもよい。つまり、広角歪みがより大きい領域の画像ほど、変換においてより縮小される必要がある。よって、切り出し領域（矩形領域）の四辺それぞれの長さを、元の画像における切り出し領域の位置に応じて変化させる。このため、切り出し領域の形は、元の画像の端に近づくほど長方形から台形となり、元の画像の端側にある辺の長さが元の画像の内側にある辺の長さよりも長くなる。これにより、球面に写像せずとも簡易的に広角歪を軽減する効果が期待できる。

図１６Ａに示すように、切り出し領域Ｒが端に近づくほど、切り出し領域Ｒにおいて、ゴール側の辺を長くし、水平方向の辺を長くすることで、ゴール付近の被写体は縮小されて表示される。これにより、画像の端のほうで生じていた広角歪みによる被写体の伸びの変形を軽減することができる。この切り出し領域Ｒの台形の辺の長さや傾きの設定に関して、例えば、画像の切り出し位置に対する広角歪みの補正量に関するデータや、補正量を算出する計算式を予め保持しておく。そして、保持しているデータや計算結果に基づき、広角歪みを補正するように、辺の傾きと長さを設定する。

また、切り出し領域の変形は、広角歪みの補正とは別に画像に演出効果を付加する際にも有効である。例えば、切り出し領域の形状を注目オブジェクトの動き（移動方向、移動速度、位置等）に応じて変形させてもよい。これにより、様々な演出効果を期待することもできる。例えば、図１６Ｂに示すように、サッカーボール（注目オブジェクトの例）の動きに応じて、切り出し領域の大きさや形状を変形させてもよい。これにより様々な演出効果が期待できる。

より具体的には、サッカーボール（注目オブジェクトの例）の速度が速いほど切り出し領域のサイズを小さくし、サッカーボールの速度が遅いほど切り出し領域のサイズを大きくしてもよい。これにより、サッカーボールの移動速度が速いほど、サッカーボール及びその周辺の被写体がより大きく拡大されて表示される。また、矩形の切り出し領域の四辺それぞれの長さを、切り出し領域すなわち注目オブジェクトの位置に応じて変化させてもよい。例えば、切り出し領域Ｒにおける画面の端に近い方の辺の長さを、画面の中央に近い方の辺の長さよりも大きくしてもよい。また、台形の切り出し領域の高さ方向と注目オブジェクトの移動方向とが一致するように、台形の切り出し領域の向き（傾き）を設定してもよい。

図１６Ｂ（Ｃ）〜（Ｆ）に示すように、切り出し領域Ｒにおいて、ゴール側の辺を長くし、フィールド中央部側の辺を短くした場合、フィールド中央部の被写体は拡大され、ゴール付近の被写体は縮小されて表示される。これにより、ゴール付近の距離感がさらに強調される(すなわち、さらに遠くにあるように見える)。一方、図１６Ｃ（Ｃ）〜（Ｆ）に示すように、切り出し領域Ｒにおいて、ゴール側の辺を短くし、フィールド中央部側の辺を長くした場合、ゴール付近がより近くに見えるような演出となる。図１６Ｂ（Ｃ）〜（Ｅ）、図１６Ｃ（Ｃ）〜（Ｅ）では、注目オブジェクトであるボールがゴールに近づくにつれて切り出し領域Ｒを狭くしている。これにより、ズームインの効果を実現する。また、ボールの速度とともに切り出し領域Ｒの変形の度合いを強めている。ゴールが決まりボールの動きが少なくなると、その周辺の領域を含むように切り出すことでズームアウトの効果を実現する。なお、切り出し画像は、撮像部１２により生成された画像データまたは全体画像補正部１４もしくはリサイズ処理部１６で処理後の画像データから生成される。

具体的には、オブジェクト認識部２０は所定の注目オブジェクト（人物、サッカーボール、動物、車両等）を検出し、その検出結果を切り出し処理部１８に出力する。切り出し処理部１８は、オブジェクト認識部２０からの検出結果に基づき注目オブジェクトの動き（移動方向、移動速度、位置）を認識し、その動きに基づき切り出し領域の大きさや形状を変形させてもよい。例えば、切り出し処理部１８は、検出された物体の位置を基準とした所定の領域を切り出し領域として設定する。

図１７Ａ〜図１７Ｃは、台形形状を有する切り出し領域Ｒの例を示す図である。図１７Ａに示すように台形領域Ｒの画像を切り出し、射影変換して表示することで、図１８Ａに示すように広角歪が補正された表示画像が得られる。

また、図１７Ｂに示すように台形領域Ｒの画像を切り出し、射影変換して表示することで、図１８Ｂに示すようにボールが強調された表示画像が得られる。また、図１７Ｃに示すように台形領域Ｒの画像を切り出し、射影変換（下記式参照）して表示することで、図１８Ｃに示すように、画像の下側の像がより強調（拡大）された表示画像が得られる。なお、図１８Ａ〜図１８Cで示す画像は、出力画像サイズの画像である。
ｘ‘＝（ａ・ｘ＋ｂ・ｙ＋ｃ）／（ｇ・ｘ＋ｈ・ｙ＋１）
ｙ‘＝（ｄ・ｘ＋ｅ・ｙ＋ｆ）／（ｇ・ｘ＋ｈ・ｙ＋１）

以上のように、切り出し領域を画像の広角歪みの程度に応じて台形形状に設定することで、簡易的に広角歪を軽減できる。また、画像の歪みに依らず切り出し領域を変形させることで、わざと変形させた画像を表示でき、臨場感を与える表現やマンガ的表現が可能となり、演出効果を与える画像表示が可能となる。なお、注目オブジェクトは必ずしも切り出し領域の中央に位置せずとも良い。例えば、注目オブジェクトがボールである場合、そのボールを追う選手も含んだ領域を切り出したいため、注目オブジェクトが切り出した画像の進行方向寄りに位置するように切り出し領域を設定してもよい。

［１−３．効果等］
以上のように本実施の形態のビデオカメラ（撮像装置の一例）は、レンズを含む光学系１０と、光学系１０を介して入力した被写体像を撮像し、画像データを生成する撮像部１２と、撮像部１２で生成された画像データを処理する画像処理部５０（画像処理装置の一例）と、を備える。画像処理部５０は、画像データを入力し、入力した画像データを処理する画像補正部５５と、画像補正部５５で処理された画像データを出力する出力部２４とを備える。画像処理部５０（全体画像補正部１４及び切り出し処理部１８）は、撮像画像を写像面Ｐｍ（第１の平面の一例）に配置し、写像面Ｐｍに配置された撮像画像の一部または全部の領域に含まれる各画素を所定の球面Ｐｓ（曲面の一例）上に写像し、球面Ｐｓ上の写像された各点を写像面Ｐｍ、Ｐｍ１（第２の平面の一例）上に写像することにより画像データを生成する。

このように、撮像画像の画素を球面Ｐｓ上（曲面）へ一旦写像した後平面へ写像することで、広角歪みの補正や視線変換が可能になり、見た目に自然な画像の生成が可能になる。

画像処理部５０（全体画像補正部１４及び切り出し処理部１８）は、撮像画像の一部または全部の領域における各画素について、球面Ｐｓ上の写像された各点を正射影により写像面Ｐｍ、Ｐｍ１上に写像してもよい（図５Ａ〜５Ｆ、図６Ａ〜６Ｆ参照）
。これにより画像における広角歪みを補正することができる。

また、画像処理部５０における切り出し処理部１８は、撮像画像の一部または全部の領域における各画素について、球面Ｐｓ上の写像された各点を中心射影により平面上に写像してもよい。

切り出し処理部１８は、ユーザによる指定または画像内のオブジェクトの位置の基づき視線ＳＬの向きを判定し、視線ＳＬの向きに応じて、撮像画像を配置した元の写像面Ｐｍに対して写像面Ｐｍ１を傾けて配置してもよい（図６Ａ〜６Ｆ、図７Ａ〜７Ｃ参照）。このように写像面Ｐｍ１を傾けて配置することで、視線の向きに応じた広角歪み補正が可能となる。これにより、ユーザが注目する領域をそれに正対して見たときに見える画像を擬似的に生成でき、自然な画像を生成することができる。

また、切り出し処理部１８は、撮像画像における切り出し領域（一部の領域の一例）Ｒｎに含まれる各画素を所定の球面Ｐｓ上に写像し、球面Ｐｓ上の写像された各点を写像面Ｐｍ１上に写像することにより、切り出し画像データを生成してもよい。切り出し処理部１８は、その一部の領域の位置、向きを連続的に変化させながら、切り出し画像データを連続的に生成してもよい（図１４、図１５参照）。

その際、切り出し処理部１８は、切り出し領域Ｒｎの位置の軌跡が円弧状または直線状になるように一部の領域の位置を変化させてもよい。このように、ビデオカメラをパン動作させたときに撮影される画像として自然な画像を得ることができる。

切り出し処理部１８は、切り出し領域Ｒｎの位置の変化量を所定の関数を用いて算出してもよい。例えば、所定の関数として累積分布関数を用いても良い。累積分布関数を用いることでより自然なカメラの自然な動きに応じた切り出し位置の変化が得られる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

上記の実施形態では、カメラ部３０と画像処理部５０とが一体化して実装されたビデオカメラの例を説明した。本開示の思想は、交換レンズ式のカメラに適用できる。この場合、画角情報は、交換レンズからカメラ本体に通信により送信される。その場合、カメラ本体に設けたレンズ情報取得部２５は通信により交換レンズから画角情報を取得してもよい。

上記の実施の形態では、写像面Ｐｍから球面Ｐｓへまたは球面Ｐｓから写像面Ｐｍへ写像したが、球面に代えて円柱面（曲面の一例）を使用してもよい。すなわち、写像面Ｐｍから円柱の側面へまたは円柱の側面から写像面Ｐｍへ写像してもよい。この場合、例えば、図５Ａ、図６Ａ、図７Ａ等において球面を示す線Ｐｓが円柱面の側面（断面）を示していると考えれば良い。

上記の実施の形態において、切り出し領域は１つのみならず、元の画像において同時に複数の切り出し領域を設定してもよい。また、上記の切り出し領域に関する種々の制御は動画及び静止画の双方に対して適用することができる。

上記の実施の形態で説明した画像処理部５０（特に画像補正部３５）の処理（広角歪み補正処理及び視線変換処理）は、パーソナルコンピュータ等の情報処理装置における画像処理に適用することもできる。この場合、情報処理装置（画像処理装置の一例）のＣＰＵやＭＰＵにより上記の広角歪み補正処理及び視線変換処理が実行される。

上記の実施の形態では、本開示の広角歪み補正処理及び視線変換処理をビデオカメラに適用した例を説明したが、その適用範囲はビデオカメラに限定されない。本開示の広角歪み補正処理及び視線変換処理は、画像撮影が可能な他の電子機器（例えば、スマートフォン、携帯電話、ネットワークカメラ、モバイル端末等）にも適用することができる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示によれば、広角歪みを有する撮像画像を補正して見た目に自然な画像を生成できる。本開示は、特に広角レンズにより撮像された画像データを補正する画像処理装置に適用できる。

Claims (13)

1. 画像データを入力し、入力した画像データを処理する画像補正部と、
   前記画像補正部で処理された画像データを出力する出力部と、を備え、
   前記画像補正部は、
   ユーザによる指定または画像内のオブジェクトの位置に基づき視線の向きを判定し、前記視線の向きに基づいて前記入力した画像データから切り出し画像データを生成し、
   前記切り出し画像データが示す入力画像を仮想の第１の平面に配置し、前記第１の平面に配置された前記切り出し画像データに含まれる各画素を仮想の所定の曲面上に写像し、前記曲面上の写像された各点を仮想の第２の平面上に写像することにより得られる、新たな画像データを生成する、
   画像処理装置。
2. 前記画像補正部は、前記切り出し画像データにおける各画素について、前記曲面上の写像された各点を正射影により前記第２の平面上に写像する、
   請求項１に記載の画像処理装置。
3. 前記画像補正部は、前記切り出し画像データにおける各画素について、前記曲面上の写像された各点を中心射影により前記第２の平面上に写像する、
   請求項１に記載の画像処理装置。
4. 前記画像補正部は、
   前記視線の向きにおける角度の変化量を検出し、
   前記第１の平面に対して前記第２の平面を前記角度の変化量だけ傾けて配置する、
   請求項１から３のいずれかに記載の画像処理装置。
5. 前記画像補正部は、前記入力画像における一部の領域に含まれる各画素を所定の曲面上に写像し、前記曲面上の写像された各点を平面上に写像することにより、前記切り出し画像データを生成し、
   前記画像補正部は、前記一部の領域の位置、向きを連続的に変化させながら、前記切り出し画像データを連続的に生成する、
   請求項１から４のいずれかに記載の画像処理装置。
6. 前記画像補正部は、前記一部の領域の位置の軌跡が円弧状または直線状になるように前記一部の領域の位置を変化させる、
   請求項５に記載の画像処理装置。
7. 前記画像補正部は、前記一部の領域の位置の変化量を所定の関数を用いて算出する、
   請求項５に記載の画像処理装置。
8. 前記所定の関数は累積分布関数である、請求項７に記載の画像処理装置。
9. 前記画像補正部は、前記画像データを撮像したカメラの俯角または仰角に応じて、前記第１の平面に対して前記第２の平面を傾けて配置する、
   請求項１から８のいずれかに記載の画像処理装置。
10. 前記曲面は球面または円柱面である、請求項１から９のいずれかに記載の画像処理装置。
11. 前記画像データが示す画像は、画像の中心からの距離に応じて歪みの程度が大きくなる広角歪みを含む画像である、請求項１から１０のいずれかに記載の画像処理装置。
12. 前記画像補正部は、前記オブジェクトの種類を認識し、前記オブジェクトの動きに基づいて前記切り出し画像データの切り出し形状を変形する、請求項１から１１に記載の撮像装置。
13. レンズを含む光学系と
    前記光学系を介して入力した被写体像を撮像し、画像データを生成する撮像部と、
    前記撮像部で生成された画像データが示す画像を処理する、請求項１ないし１２のいずれかに記載の画像処理装置と、を備えた撮像装置。

Images