JP6525617B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は画像処理装置およびその制御方法に関し、特には被写体の距離情報を活用した画像処理技術に関する。

近年、撮像シーン内に存在する個々の被写体の距離情報（奥行き情報とも呼ばれる）を取得可能な撮像装置が知られている（特許文献１）。特許文献１では、個々の被写体の距離情報を用いて、シーン内の被写体の奥行き方向における位置関係と現在の合焦距離とを表す俯瞰マップを提示することで、現在どの被写体に合焦しているかを撮影者が容易に把握できるようにしている。

特開2010-177741号公報

しかしながら、従来、被写体の距離情報は、撮像時に装置で行われる画像処理に専ら用いられており、ユーザに利用させることが想定されていなかった。例えば、撮影画像に対する画像処理アプリケーションにおいて、被写体の距離情報を利用した画像処理をユーザが容易に行うための手法は提案されていなかった。

本発明はこのような従来技術の課題に鑑みなされたものであって、撮影画像の被写体の距離情報を、ユーザが容易に画像処理に利用することを可能にする画像処理装置およびその制御方法の提供を目的とする。

上述の目的は、撮影画像と、被写体の距離情報とを取得する取得手段と、距離情報に基づいて、撮影画像から、各々が個別の被写体距離の範囲に対応する複数の画像を生成する生成手段と、撮影画像の撮影距離および画角を変更する指示を入力するための操作手段と、複数の画像の少なくとも１つに対して画像処理を適用する画像処理手段と、画像処理が適用された画像を含む複数の画像を合成して、操作手段を通じて指示された、変更後の撮影距離および画角に対応した合成画像を生成する合成手段と、合成画像に画素の欠落した領域が発生するかどうかを判定する判定手段と、を有し、複数の画像には主画像が設定され、画像処理手段は、合成画像における主画像の大きさが撮影距離および画角の変更前と変更後とで変化しないように、複数の画像の少なくとも１つに対して画像処理を適用し、画像処理手段は、合成画像に画素の欠落した領域が発生すると判定された場合、複数の画像の少なくとも１つに対して、画素の欠落した領域に対応する隠蔽するための拡大処理または移動処理をさらに適用することを特徴とする画像処理装置によって達成される。

このような構成により本発明によれば、撮影画像の被写体の距離情報を、ユーザが容易に画像処理に利用することを可能にする画像処理装置およびその制御方法を提供できる。

本発明の一実施形態に係る画像処理装置の利用形態を模式的に示す図 図１におけるタブレット端末１０１とデジタルカメラ１０２の機能構成例を示すブロック図 実施形態に係る画像処理アプリケーションの全体的な処理の流れを説明するためのフローチャート 撮影画像、距離画像、および奥行き分割画像の例を示す図 実施形態に係る画像処理アプリケーションにおけるＧＵＩの例を示す図 図５と同様のＧＵＩ画面において、異なる撮影距離（画角）が設定されている場合の表示例を示す図 実施形態に係る画像処理アプリケーションの動作手順を説明するためのフローチャート 実施形態に係る画像処理アプリケーションにおける、実際にはあり得ない撮影条件の設定を許す場合のＧＵＩおよび画像の例を模式的に示す図 実施形態に係る画像処理アプリケーションにおける、無限大を超える焦点距離を設定可能に構成した場合の画像処理動作について説明するためのフローチャート 実施形態に係る画像処理アプリケーションにおける、オクルージョンが生じている状態の表示例を示す図 実施形態に係る画像処理アプリケーションにおける、オクルージョンを隠蔽する方法を説明するためのフローチャート

以下、図面を参照して、本発明の例示的な実施形態を詳細に説明する。
図１は、本発明の一実施形態に係る画像処理装置の利用形態を模式的に示している。ここでは、画像処理装置の具体例として、タブレット端末１０１、デジタルカメラ１０２、パーソナルコンピュータ（ＰＣ）１０５、およびサーバ１０７が示されている。タブレット端末１０１、デジタルカメラ１０２、およびＰＣ１０５は、ルータ１０９を通じて同一のローカルネットワーク（ＬＡＮ）に接続されている。また、サーバ１０７は広域ネットワーク（ＷＡＮ）の一例としてのインターネット１０６を通じて、ＬＡＮ上の機器と通信可能に接続されている。ＬＡＮ内のコネクションは無線であっても有線であっても両者が混在していてもよい。

図１には、画像処理の対象である撮影画像と、撮影画像で撮影されたシーンの距離情報とがデジタルカメラ１０２に存在し、タブレット端末１０１またはＰＣ１０５がデジタルカメラ１０２から撮影画像と距離情報を取得して画像処理を実施する形態を示している。しかしながら、タブレット端末１０１、デジタルカメラ１０２、パーソナルコンピュータ（ＰＣ）１０５、およびサーバ１０７のいずれもが本発明に係る画像処理装置として機能しうる。より一般的には、画像処理の対象である撮影画像と、撮影画像で撮影されたシーンの距離情報とを取得可能し、ユーザが撮影画像に対して距離情報を用いた画像処理を行うための画像処理アプリケーションを実行可能な任意の機器において、本発明を実施可能である。なお、画像処理アプリケーションがウェブアプリケーションのような形態を有する場合や、処理の一部を外部装置で実行する場合など、画像処理装置は複数の機器で実現されうることに留意されたい。

以下では、タブレット端末１０１が、撮影画像に対する画像処理アプリケーションを記憶、実行する場合について説明する。しかし、タッチ操作をマウス等のポインティングデバイスの操作や、キーボードのカーソルキーと実行キーとの組み合わせに置き換えることで、ＰＣ１０５やサーバ１０７で画像処理アプリケーションを実行する場合にも適用できる。デジタルカメラ１０２においても、タブレット端末１０１と同様のタッチ操作や、方向キーなどの操作に置き換えることで、同様の画像処理アプリケーションを実施可能である。

タブレット端末１０１は、撮影画像と、撮影画像に対応する距離情報とを、ＬＡＮ通じてデジタルカメラ１０２から取得する。取得方法に制限はなく、デジタルカメラ１０２からタブレット端末１０１に直接転送してもよいし、デジタルカメラ１０２からメールに添付してサーバに送信し、タブレット端末１０１でサーバからメールを受信することで取得してもよい。また、デジタルカメラ１０２とタブレット端末１０１とをケーブルで直接接続して転送してもよいし、メモリカードからタブレット端末１０１で読み取ってもよい。

図２は、図１におけるタブレット端末１０１とデジタルカメラ１０２の機能構成例を示すブロック図である。デジタルカメラ１０２は、光学系２１４と、撮像素子２１０と、制御部２０８と、記憶装置２１２と、表示部２１３と、操作部２１１と、通信部２０９とを備えている。なお、図１に示した以外の機能ブロックを備えてもよい。例えば、手ぶれ補正用にデジタルカメラ１０２の動きを検出するセンサを有していてもよい。

光学系２１４は、レンズ、シャッター、絞りを有し、制御部２０８から合焦距離、絞りの開口量、およびシャッターの開閉を制御することができる。撮像素子２１０は、光学系２１４が撮像面に結像する光学像を、各画素で電気信号に変換して出力する。

制御部２０８は、例えばプログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭのような不揮発性メモリと、ＲＡＭのような揮発性メモリとを有し、ＲＯＭに記憶されたプログラムをＣＰＵで実行し、各部を制御してデジタルカメラ１０２の機能を実現する。制御部２０８は撮像素子２１０で撮影された画像の輝度情報やコントラスト情報等に基づいて、自動露出制御（ＡＥ）や自動焦点検出（ＡＦ）を実現する。

記憶装置２１２は撮影画像や、距離画像などを記憶する。記憶装置２１２はメモリカードのような着脱可能な記録媒体を用いる構成であっても、固定された構成であっても、両方を有してもよい。

画像処理部２１５は、撮像素子２１０が出力する画像信号に対し、Ａ／Ｄ変換、ノイズ除去、エッジ強調処理、ガンマ補正処理などを行い、ＲＡＷ画像データを生成する。また、画像処理部２１５は、必要に応じてＲＡＷ画像データにホワイトバランス調整処理、デモザイク処理などの現像処理や、符号化処理などを行う。画像処理部２１５の一部または全部の機能は、制御部２０８によってソフトウェア的に実現されてもよい。

表示部２１３は、撮影スタンバイ時や動画撮影時におけるライブビュー画像、撮影画像、デジタルカメラ１０２の状態や各種設定値などの各種情報、メニュー画面のようなユーザインタフェースなどを表示する。表示部２１３は一般にフラットパネルディスプレイであり、タッチパネルを備えてもよい。

操作部２１１は、ユーザがデジタルカメラ１０２に各種の指示を与えるための入力デバイス群で、例えばボタン、キー、レバー、スイッチ、タッチパネルなどで構成される。撮影準備指示や撮影指示を与えるためのレリーズボタン、電源スイッチ、方向キー、決定ボタン、メニューボタンなどが含まれる。

通信部２０９は、外部装置と制御コマンドやデータの送受信を行うための通信インタフェースである。デジタルカメラにおいて一般的に外部装置と通信する際に用いられる通信プロトコルとしては、例えば以下の様なものがある。ＰＴＰ(Picture Transfer Protocol)やＭＴＰ(Media Transfer Protocol)。あるいは、ISO/IEC 14443 A/BやJIS X6319-4等のＮＦＣ(Near Field Communication)関連のプロトコル。なお、通信部２０９は、例えばＵＳＢ(Universal Serial Bus)やＨＤＭＩ(High-Definition Multimedia Interface：登録商標）のような規格に基づく有線接続で外部装置と通信を行ってもよい。また、無線ＬＡＮやBluetooth（登録商標）などの規格に基づく無線接続により外部装置と通信を行ってもよい。また、外部装置とは直接接続されてもよいし、サーバや、インターネットなどのネットワークを介して接続されてもよい。

なお、撮影画像や距離情報は、通常、通信部２０９を介して記憶装置２１２から外部装置に転送されるが、記録媒体が無線通信機能を有する場合には、通信部２０９を介さずに外部装置に転送されてよい。

デジタルカメラ１０２は撮像シーンの距離情報を生成する撮影モードを有し、この撮影モードが設定されている場合、通常の撮影動作に加え、距離情報の生成動作を実行する。本実施形態において、撮影画像の距離情報は、撮影画像と同じ画素数を有し、各画素の値が距離を表す距離画像の形式を有するものとするが、形式はこれに限定されない。例えば、撮影画像の画素数と距離画像の画素数は異なっていてもよい。距離画像は撮影画像の半分の解像度として、縦横それぞれ半分の画素数で構成するなど。あるいは、撮影シーン内に存在する特定被写体（例えば人物）の領域の位置および距離を表す情報であってもよい。また、撮影画像のデータと距離画像のデータは、個別に存在する形式であっても、一つのデータとしてまとまった形式であってもよい。なお、デジタルカメラを用いてこのような距離情報を作成する方法に特に制限は無く、例えば特許文献１にも記載されている様々な方法を始めとした任意の方法を用いることができる。制御部２０８は、生成した撮影画像と距離画像とを、記憶装置２１２に記憶する。

タブレット端末１０１は、一般には、ハードウェアキーボードを有さず、タッチパネルディスプレイを有するスレート形状を有する携帯情報端末であり、機能構成は一般的な情報処理装置（ＰＣ）と同様である。すなわち、タブレット端末１０１は、制御部２０１と、通信部２０２と、姿勢センサ２０３と、画像管理部２０４と、画像処理部２０５と、表示部２０６と、記憶装置２０７とを備えている。

通信部２０２は、外部装置と制御コマンドやデータの送受信を行うための通信インタフェースである。例えば、通信部２０２は同一ネットワークに接続されたデジタルカメラ１０２やＰＣ１０５、インターネット上のサーバ１０７などから、撮影画像と距離情報を受信する。通信部２０２は、デジタルカメラ１０２の通信部２０９と同様、様々な形態を有しうる。

制御部２０１は、例えばプログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭのような不揮発性メモリと、ＲＡＭのような揮発性メモリとを有し、ＲＯＭに記憶されたプログラムをＣＰＵで実行し、各部を制御してタブレット端末１０１の機能を実現する。

姿勢センサ２０３はタブレット端末１０１の姿勢を検出するセンサであり、例えば３軸のジャイロセンサなどであってよい。

画像処理部２０５は、取得した撮影画像と距離情報とに基づき、撮影画像を、複数の画像であって、個々の画像が特定の距離範囲の被写体のみを含むような複数の画像に分離する。画像処理部２０５はまた、取得した撮影画像が符号化されていれば復号処理、ＲＡＷ画像であれば現像処理を適用する。さらに、画像処理部２０５は、特定の被写体領域の一例としての顔領域の認識ならびに、登録された顔の特徴量に基づく個人認識処理を実行する。また、画像処理部２０５は、画像処理アプリケーションが一般的に提供する画像処理機能を提供する。なお、画像処理部２１５の一部または全部の機能は、制御部２０１によってソフトウェア的に実現されてもよい。

記憶装置２０７はＳＳＤやＨＤＤを代表とする不揮発性の記憶装置であり、ＯＳ、アプリケーション、画像データ等が記憶される。画像管理部２０４は、撮影画像や距離情報を始めとした、通信部２０２を通じて取得したデータや、画像処理部２０５が処理した画像データなどを管理する。例えば、画像処理アプリケーションにおけるアンドゥ処理を実現するための情報や、処理対象の画像と、対応する距離情報との関連付けなども画像管理部２０４が管理する。表示部２０６は、ＬＣＤ、有機ＥＬディスプレイなどのフラットパネルディスプレイであり、タッチパネルである操作部２０６１が設けられている。表示部２０６は、制御部２０１の制御に従い、ＯＳやアプリケーションのグラフィカルユーザーインターフェース（ＧＵＩ）を表示する。

次に、図３のフローチャートを用いて、本実施形態に係る画像処理アプリケーションの全体的な処理の流れについて説明する。
例えば表示部２０６に表示されている画像処理アプリケーションのアイコンが操作部（タッチパネル）２０６１を通じてタップ操作されるなどの起動操作が行われると、制御部２０１は記憶装置２０７から画像処理アプリケーションを読み出し、実行する。そして、表示制御手段としての制御部２０１は処理対象の画像を選択するためのＧＵＩ、例えばＯＳが提供するファイルブラウズＧＵＩを表示し、ユーザ指示を待機する。

ユーザが処理対象とする撮影画像ファイルを指定すると、取得手段としての制御部２０１は記憶装置２０７から、指定された撮影画像と、対応する距離情報（距離画像）とを取得する（Ｓ３０１、Ｓ３０２）。

Ｓ３０３で制御部２０１は画像処理部２０５を用い、撮影画像から複数の画像を生成する。具体的には、生成手段としての画像処理部２０５は、距離画像から被写体が存在する距離の分布を求め、被写体の距離範囲を複数に分割する。そして、画像処理部２０５は、分割された距離範囲ごとに、対応する被写体の画像領域を撮影画像から抽出し、撮影画像から複数の画像を生成する。以後、生成された個々の画像を奥行き分割画像と呼ぶ。画像処理部２０５は、生成した奥行き分割画像を、撮影画像および距離画像と関連付けて例えば記憶装置２０７に保存する。

図４に、撮影画像、距離画像、および奥行き分割画像の例を示す。距離画像４２は、撮影画像４１と同じ画素数を有し、画素値（輝度値）がその画素における被写体距離を表す単色画像である。画像処理部２０５は、距離画像４２の画素値の分布（すなわち、被写体距離の分布）に基づいて被写体距離の範囲を分割し、被写体距離の範囲ごとに、対応する撮影画像の領域を抽出して奥行き分割画像４３を生成する。図４の例では、被写体距離の範囲が４分割され、各範囲の奥行き分割画像４３が生成されている。奥行き分割画像４３は、図４に示すように、対応する距離範囲に存在する被写体領域を有し、他の距離範囲に存在する被写体の領域には画素を有さないか、透明な画素が配置される。

Ｓ３０４で制御部２０１は、生成された奥行き分割画像を、対応する距離の遠近が把握でき、かつ個別に選択できるような形式で、画像処理アプリケーションのＧＵＩ内の領域に表示し、ユーザによる選択操作を待機する。

図５は、本実施形態に係る画像処理アプリケーションにおいて、奥行き分割画像を利用した画像編集を行うＧＵＩ（編集画面）１００１の例を模式的に示す。編集画面の左半分には処理対象の撮影画像１００２と、対応する距離画像１００３およびヒストグラム１００４が、それぞれ別個の領域に表示されている。また、ヒストグラムには分割画像を生成する境界を表す指標１００４１が重畳表示されている。一方、編集画面の右半分には、生成された奥行き分割画像の表示領域１００５と、ズームスライダ１００６が設けられている。

本実施形態では、生成した奥行き分割画像１０１０、１０１１を、透視投影で用いられるビューボリュームの投影面のように、近距離に対応する奥行き分割画像ほど小さく、遠距離に対応する奥行き分割画像ほど大きくなるように表示する。しかし、これは単なる一例であり、他の方法で表示してもよい。また、表示する奥行き分割画像は、縮小画像であってよい。ここでは、近距離に対応する奥行き分割画像を手前に、遠距離に対応する奥行き分割画像を奥に、かつ全ての奥行き分割画像について少なくとも一部が見えるように表示している。

なお、図５の例では、複数の奥行き分割画像が重なっているような立体的な視覚効果を与えて表示しているが、このような視覚効果は必須ではない。また、手前から奥へという並べ方でなくてもよく、右から左に向かって距離が大きくなるように並べるなど、複数の奥行き分割画像が、対応する被写体距離が増加もしくは減少する方向で配置されれば、どのような表示形態であってもよい。

カメラアイコン１０１３は、撮影位置（撮影距離）を模式的に表している。図５では、ヒストグラム１００４に示された１つの境界１００４１に基づいて生成された、近距離側の被写体に対応する奥行き分割画像１０１０と遠距離側の被写体に対応する奥行き分割画像１０１１とが、ビューボリュームの最近面と最遠面として表示されている。ズームスライダ１００６は、焦点距離（画角）を変更することによって撮影画像１００２における奥行き分割画像の重なり方と大きさを変更することを可能にする。また、ズームスライダ１００６の下には、それぞれが異なる焦点距離（画角）に対応した複数のレンズアイコン１００７が表示される。ズームスライダ１００６とレンズアイコン１００７はいずれも画角を変更するための操作部材である。ズームスライダ１００６が連続的に画角を変更可能であるのに対し、レンズアイコン１００７はアイコンに対応する特定の画角を直接指定可能である点で異なる。

ズームスライダ１００６またはカメラアイコン１０１３をドラッグするなどによって連続的に移動させると、撮影画像１００２として、主被写体の大きさが変わらず、背景の撮影範囲が変化する画像が連続的に表示される。このような表示効果は、ドリーズーム（ドリーイン、ドリーアウト）とも呼ばれる。

本実施形態において、カメラアイコン１０１３、ズームスライダ１００６、およびレンズアイコン１００７の操作はいずれも、撮影画像の画角と撮影距離の両方を同時に変更する指示に相当する。より具体的には、制御部２０１は、画像処理部２０５を用い、奥行き分割画像単位に画像処理を適用して合成した合成画像を生成することにより、画像中の主被写体の大きさを変化させずに、撮影画像の画角と撮影距離が変化したような画像を生成する。

このような効果を実現するにあたり、画角と撮影距離とは一方が定まれば他方が一意に定まる関係を有する。そのため、カメラアイコン１０１３の操作による撮影距離の変更と、ズームスライダ１００６またはレンズアイコン１００７の選択による撮影画角の変更とのどちらを行っても、同様の効果が得られる。初期状態で、カメラアイコン１０１３は撮影時の画角と撮影距離に対応した位置に表示され、ズームスライダ１００６も、撮影時の画角に対応した位置に表示される。カメラアイコン１０１３の位置が変更されると、制御部２０１は、ズームスライダ１００６の表示位置を、対応する画角を示すように更新する。また、ズームスライダ１００６の位置が変更されると、制御部２０１は、カメラアイコン１０１３の表示位置を、対応する撮影距離を示すように更新する。レンズアイコン１００７のいずれかが選択されると、制御部２０１は、ズームスライダ１００６の表示位置を、選択されたレンズアイコンに対応する画角を示すように更新し、カメラアイコン１０１３の表示位置を、対応する撮影距離を示すように更新する。

なお、カメラアイコン１０１３、ズームスライダ１００６、およびレンズアイコン１００７のいずれかが操作された場合、制御部２０１は、奥行き分割画像の表示領域１００５内の奥行き分割画像の表示および、撮影画像１００２の表示についても更新する。具体的には、制御部２０１は、各奥行き分割画像の縮小・拡大および画角の変化が視認できるように奥行き分割画像の表示を更新し、また、奥行き分割画像の合成結果を撮影画像１００２として表示することで、画像処理結果を撮影画像１００２の表示に反映する。

ここで説明した表示内容の更新例について、図６を参照してさらに説明する。図６は、図５と同様のＧＵＩ画面において、異なる撮影距離（画角）が設定されている場合の表示例を示している。
図６では、奥行きが３つの境界１００４１で４分割され、手前側から奥に向かって４枚の奥行き分割画像１００９〜１０１２が生成され、奥行き分割画像の表示領域１００５に表示されている。図６（ｂ）は図６（ａ）に示す撮影時よりも遠い撮影距離（狭い画角）が設定されている状態を示しており、最も手前の奥行き分割画像１００９とカメラアイコン１０１３との距離が長い。図６（ｂ）は、撮影時よりも画角が狭く設定され、主分割画像より奥側の奥行き分割画像が拡大されているため、主被写体である人物の周囲に画素の欠落した領域１０２０が生じている。

図７は、図５および図６を用いて説明した処理を実行するための動作手順の概要を示したフローチャートである。ここでは、図３のＳ３０４で図５または図６に示したような画像処理アプリケーションのＧＵＩが表示された状態で、操作を待機しているものとする。

Ｓ７０２で制御部２０１は、ＧＵＩに対する操作内容を判別する。そして、奥行き分割画像の選択操作であればＳ７０３へ、撮影距離または画角の変更操作であればＳ７０４へ処理を進め、終了操作であれば、アプリケーションを終了する。
なお、奥行き分割画像の選択操作に特に制限は無いが、例えば奥行き分割画像の表示領域１００５に縮小表示されている奥行き分割画像のいずれかに対するタッチ操作であってよい。

Ｓ７０３で制御部２０１は、選択された奥行き分割画像を、主被写体の存在する奥行き分割画像（以下、主分割画像または主画像とよぶ）として設定し、処理をＳ７０２へ戻す。なお、主被写体の存在する奥行き分割画像は、ユーザによる選択によらず、自動的に選択されてもよい。予め定められた特定の被写体（例えば顔）が写っている、ピントが合っている、大きさ（例えば画像に占める割合）が一定以上の被写体が写っている、画像の中央付近に被写体が写っている、といった条件の１つ以上に基づいて１つの奥行き分割画像を選択できる。なお、処理をＳ７０２に戻す際、制御部２０１は、画角または撮影距離の変更操作を行うようユーザに促すメッセージ等を出力してもよい。

Ｓ７０２で、撮影距離または画角の変更操作（カメラアイコン１０１３、ズームスライダ１００６、およびレンズアイコン１００７のいずれかの操作）であると判定された場合、制御部２０１は、主分割画像が設定されているか判定する。ここで、主分割画像が設定されていなければ、制御部２０１はユーザにまず主分割画像を選択するように促して処理をＳ７０２へ戻してもよいし、上述した自動選択処理を行ってもよい。

Ｓ７０４で制御部２０１は、操作後の撮影距離または画角に基づいて、主分割画像（特には主被写体）の大きさが変わらない撮影距離と画角を計算する。この計算は、例えば主被写体の大きさを変えない撮影距離と画角との離散的な組み合わせを予め記憶したテーブルを用いた補間演算であってもよいし、主被写体の大きさを変えない撮影距離と画角との関係式を用いた計算であってもよい。

Ｓ７０５で制御部２０１は、撮影距離および画角の操作部材（カメラアイコン１０１３、ズームスライダ１００６、およびレンズアイコン１００７）のうち、Ｓ７０２で操作が検出されたもの以外の表示位置を、Ｓ７０４の計算結果に基づいて変更する。

Ｓ７０６で制御部２０１は、画像処理部２０５を用いて主分割画像以外の奥行き分割画像について画像処理を適用した後に全ての奥行き分割画像を合成し、変更後の撮影距離と画角を表す画像を生成する。

具体的には、変更後の撮影距離が変更前より長い場合には、主分割画像以外の奥行き分割画像について、画角を狭める（焦点距離を長くする）効果を実現する画像処理を画像処理部２０５によって適用する。画角を狭める効果は、例えば、画像を拡大する処理によって実現することができる。必要に応じて画像の周辺領域を減らすように切り出す処理を組み合わせてよい。また、変更後の撮影距離が変更前より短い場合には、主分割画像以外の奥行き分割画像について、画角を拡げる（焦点距離を短くする）効果を実現する画像処理を画像処理部２０５によって適用する。画角を拡げる効果は、例えば、画像の切り出し範囲を周辺に拡大する処理か、画像を縮小して周囲に余白を追加する処理によって実現することができる。

Ｓ７０７で制御部２０１は、Ｓ７０６で生成した合成画像を撮像画像１００２として表示して、処理をＳ７０２に戻す。

なお、ここでは、カメラアイコン１０１３の操作は撮影距離の変更であり、カメラの可動範囲を撮影時の光軸上に限定した場合について説明した。しかし、光軸に直交する方向への移動を可能としてもよい。この場合、カメラアイコン１０１３の操作は３次元的な視点位置の変更操作に相当する。この場合、Ｓ７０４の計算は、変更後の３次元視点位置の光軸上の距離について行う。また、Ｓ７０６において奥行き分割画像に対して適用する処理に、撮影時の光軸上の位置と３次元視点位置との差を反映させるための移動処理が追加される。例えば、変更後の視点位置が撮影時の光軸に対し鉛直上方に移動している場合、主分割画像より手前にある奥行き分割画像については鉛直上方に、奥にある奥行き分割画像については鉛直下方に、視点位置からの距離に応じた移動量だけ移動させる。

このように、本実施形態よれば、奥行き分割画像を単位として画像処理を適用することにより、カメラアイコン１０１３、ズームスライダ１００６、およびレンズアイコン１００７のいずれかの操作により、ドリーズーム効果のある画像を容易に生成できる。しかし、奥行き分割画像を単位とした画像処理は、他の効果の実現にも応用可能である。

例えば、原理上撮影できない画像を擬似的に生成することができる。レンズの焦点距離が大きいほど、また被写体から遠ざかるほど、被写体からレンズに入射する光は平行光線に近付くが、実際には完全に平行になることはない。また、平行以上の角度で入射することはあり得ない。しかし、奥行き分割画像単位での画像処理により、擬似的にそのような実際にはあり得ない条件で得られる画像を生成することができる。

図８は、このような、実際にはあり得ない撮影条件の設定を許す場合のＧＵＩおよび画像の例を模式的に示している。図８では、ズームスライダ１００６の目盛りに焦点距離が振られており、その１つに焦点距離「∞」が割り当てられている。また、無限大を超える焦点距離にズームスライダ１００６を移動可能に構成している。

図８では、ズームスライダ１００６が、レンズの焦点距離を無限大とする位置に設定されている。この場合、被写体からレンズに入射する光は平行光線となるため、画角を表す４本の直線１０５１も平行に描画され、カメラアイコンに収束しない。ズームスライダ１００６を左側に動かす（レンズの焦点距離を大きくする）ほど、主分割画像より遠い距離に対応する奥行き分割画像（背景等）はより拡大され（拡大率が高くなり）る。また、主分割画像より近い距離に対応する奥行き分割画像（前景等）はより縮小される（縮小率が高くなる）。ズームスライダ１００６の位置を、レンズの焦点距離を無限大より大きくする位置（図８の状態よりさらに左側）に設定することで、実際の撮影では不可能な構図の画像を生成することができる。

図９は、無限大を超える焦点距離にズームスライダ１００６を移動可能に構成した場合の画像処理動作について説明するためのフローチャートである。図９には、図７のＳ７０２で、操作が撮影距離または画角の変更操作であると判定された場合の処理について示しており、図７と同様の処理には図７と同じ参照数字を付してある。

Ｓ９０１で制御部２０１は、ズームスライダ１００６の位置が、無限大以上の焦点距離を設定する位置か否かを判定し、無限大未満の焦点距離を設定する位置であれば、図７で説明したＳ７０４以降の処理を行う。一方、無限大以上の焦点距離を設定する位置であれば、制御部２０１は処理をＳ９０５に移行する。

Ｓ９０５で制御部２０１は、ズームスライダ１００６の位置、より具体的には無限大を超える移動量、に応じた拡大・縮小係数を計算する。上述の通り、焦点距離を増加させるにつれ、主分割画像より遠い距離に対応する奥行き分割画像（背景等）はより拡大され（拡大率が高くなり）る。また、主分割画像より近い距離に対応する奥行き分割画像（前景等）はより縮小される（縮小率が高くなる）。

制御部２０１は、奥行き分割画像の合成画像における、主分割画像以外の奥行き分割画像の倍率が、ズームスライダ１００６が無限大未満の焦点距離から無限大以上の焦点距離に対応する位置への移動時に連続的に変化するよう、拡大・縮小係数を算出する。

Ｓ９０６で制御部２０１は、画像処理部２０５を用いて、Ｓ９０５で計算した拡大・縮小係数に応じて、各奥行き分割画像に拡大処理または縮小処理を適用する。
Ｓ９０７で制御部２０１は、画像処理部２０５を用いて、Ｓ９０６で拡大・縮小した新しいサイズの奥行き分割画像を合成し、ズームスライダ１００６の位置に対応した画像を生成する。
Ｓ９０８で制御部２０１は、Ｓ７０６またはＳ９０７で生成した、ズームスライダ１００６の位置に対応した画像を撮影画像１００２として表示する。

このようにして、本実施形態によれば、実際にはありえない撮影条件に対応した画像を生成することもできる。

なお、撮影距離や画角を撮影時から変更した効果を適用した画像を生成した際、図６（ｂ）の領域１０２０のような画素の欠落した領域が発生する場合がある。このような、手前にある被写体で隠されていた部分に生じる画素の欠落をオクルージョンと呼ぶ。図６（ｂ）の例では、領域１０２０は、撮影時に手前の人物で隠されていた背景部分のオクルージョンである。

オクルージョンが生じたままでは見栄えがよくないため、何らかの方法でオクルージョンを目立たなくすることが望ましいが、画像の補間は処理が煩雑になる場合がある。以下では、奥行き分割画像のサイズと位置を変更することで、オクルージョン領域を簡便な方法で隠蔽する方法について、図１０および図１１を用いて説明する。

図１０は、オクルージョンが生じている状態のＧＵＩ画面の例を示している。図１０では、画角を狭く（焦点距離を大きく）するような操作が行われた結果、背景の奥行き分割画像が拡大され、主被写体（人物）１０５５によって隠されていた部分１０５２の一部が、合成後の画像１００２にオクルージョン１０５３として現れている。

図１１のフローチャートを用いて、オクルージョンを隠蔽する方法について説明する。図１１も、図９と同様、図７のＳ７０２で、操作が撮影距離または画角の変更操作であると判定された場合の処理について示しており、図７と同様の処理には図７と同じ参照数字を付し、説明を省略する。

Ｓ１１０２で制御部２０１は、Ｓ７０４で計算した撮影距離および画角に応じた画像処理を適用した各奥行き分割画像の上下左右方向の移動によりオクルージョンを隠蔽可能かどうか判断する。例えば、オクルージョンが生じている奥行き分割画像よりも、オクルージョンの原因である手前の奥行き分割画像のほうが十分に大きければ、一方の奥行き分割画像を移動して、オクルージョン領域の上に手前の奥行き分割画像を重ね合わせれば隠蔽可能である。あるいは、オクルージョンが生じている奥行き分割画像の移動によって、オクルージョン領域を合成画像に用いられる領域の外に追い出し、撮影画像１００２上に現われなくすることは可能である。これらは単なる例示であり、他の条件に基づいて判定を行ってもよい。制御部２０１は、奥行き分割画像の上下左右方向の移動によってオクルージョンを隠蔽することが可能と判定されればＳ１１０４へ、隠蔽不能と判定されればＳ１１０３へ、処理を進める。

Ｓ１１０３で制御部２０１は、オクルージョンのある奥行き分割画像（背景の奥行き分割画像）に、所定の倍率の拡大処理を適用し、処理をＳ１１０２へ戻す。段階的に奥行き分割画像を拡大することで、必要最低限の拡大により、最終的にはオクルージョンの部分を合成画像に用いられる領域の外に完全に追い出すか、移動によって隠蔽できる大きさに縮小することができる。

Ｓ１１０４で制御部２０１は、Ｓ１１０３で設定した奥行き分割画像の拡大率を引き継いで、各奥行き分割画像の拡大率と位置を設定する。位置は、オクルージョンが合成後の画像に現れないように定めるが、各奥行き分割画像の位置は初期位置から不必要に移動させないようにする。例えば、制御部２０１は、オクルージョンが生じている奥行き分割画像のすぐ手前の奥行き分割画像について、オクルージョンを隠蔽するための移動方向と移動量を最初に決定する。次に、制御部２０１は、決定した移動方向と移動量だけ奥行き分割画像を移動することによって新たなオクルージョンが生じるかどうか判定し、新たなオクルージョンが生じなければそこで移動方向と移動量の算出を終了する。新たなオクルージョンが生じる場合、制御部２０１は、その奥行き分割画像を背景とする手前の奥行き分割画像について同様に移動方向と移動量を決定する。このような処理を順次手前側の奥行き分割画像について繰り返すことで、各奥行き分割画像について移動方向と移動量を決定する。

Ｓ１１０５で制御部２０１は、カメラアイコン１０１３の表示位置を、Ｓ７０４で計算した位置に移動する。また、制御部２０１は、奥行き分割画像のサイズ（拡大率）と位置を、Ｓ１１０４で計算した値に、画像処理部２０５を用いて変更する。以後、図７で説明したようにＳ７０６およびＳ７０７を実行する。

以上説明したように、本実施形態によれば、撮影画像の距離情報を利用して、撮影画像を被写体の距離範囲に応じて複数の画像に分割し、各画像を単位とした画像処理を行うことにより、従来は実現できなかった画像処理を容易に提供することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…タブレット端末、１０２…制御部、１０２…デジタルカメラ、１０７…サーバ、１０９…ルータ、２０１…制御部、２０２…通信部、２０４…画像管理部、２０５…画像処理部、２０６…表示部、２０７…記憶装置、２０８…制御部、２０９…通信部。

Claims (12)

1. 撮影画像と、被写体の距離情報とを取得する取得手段と、
   前記距離情報に基づいて、前記撮影画像から、各々が個別の被写体距離の範囲に対応する複数の画像を生成する生成手段と、
   撮影画像の撮影距離および画角を変更する指示を入力するための操作手段と、
   前記複数の画像の少なくとも１つに対して画像処理を適用する画像処理手段と、
   前記画像処理が適用された画像を含む前記複数の画像を合成して、前記操作手段を通じて指示された、変更後の撮影距離および画角に対応した合成画像を生成する合成手段と、
   前記合成画像に画素の欠落した領域が発生するかどうかを判定する判定手段と、を有し、
   前記複数の画像には主画像が設定され、前記画像処理手段は、前記合成画像における前記主画像の大きさが前記撮影距離および画角の変更前と変更後とで変化しないように、前記複数の画像の少なくとも１つに対して画像処理を適用し、
   前記画像処理手段は、前記合成画像に前記画素の欠落した領域が発生すると判定された場合、前記複数の画像の少なくとも１つに対して、前記画素の欠落した領域に対応する隠蔽するための拡大処理または移動処理をさらに適用することを特徴とする画像処理装置。
2. 撮影画像と、被写体の距離情報とを取得する取得手段と、
   前記距離情報に基づいて、前記撮影画像から、各々が個別の被写体距離の範囲に対応する複数の画像を生成する生成手段と、
   撮影画像の撮影距離および画角を変更する指示を入力するための操作手段と、
   前記複数の画像の少なくとも１つに対して画像処理を適用する画像処理手段と、
   前記画像処理が適用された画像を含む前記複数の画像を合成して、前記操作手段を通じて指示された、変更後の撮影距離および画角に対応した合成画像を生成する合成手段と、
   前記複数の画像と、前記合成手段が合成した画像とを表示装置に表示させる表示制御手段と、を有し、
   前記複数の画像には主画像が設定され、前記画像処理手段は、前記合成画像における前記主画像の大きさが前記撮影距離および画角の変更前と変更後とで変化しないように、前記複数の画像の少なくとも１つに対して画像処理を適用し、
   前記表示制御手段は、前記操作手段として複数のＧＵＩを表示し、前記複数のＧＵＩのうち１つが操作された場合、該ＧＵＩの操作後の位置に応じて、前記複数のＧＵＩの残りのＧＵＩの表示位置を更新することを特徴とする画像処理装置。
3. 前記画像処理手段は、前記複数の画像のうち、前記主画像以外の画像の少なくとも１つに対して拡大処理または縮小処理を適用することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記操作手段は、さらに、視点位置を変更する指示の入力が可能であり、
   前記画像処理手段は、視点位置の変更が指示された場合、前記複数の画像のうち、前記主画像以外の画像の少なくとも１つに対して移動処理を適用することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記複数の画像のうち、予め定められた条件を満たす１つを、前記主画像として設定する選択手段をさらに有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記予め定められた条件が、ユーザに選択された、予め定められた被写体が写っていること、ピントが合っていること、一定以上の大きさの被写体が写っていること、画像の中央付近に被写体が写っていること、の少なくとも１つであることを特徴とする請求項５に記載の画像処理装置。
7. 前記複数の画像と、前記合成手段が合成した画像とを表示装置に表示させる表示制御手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
8. 前記表示制御手段は、前記複数の画像とともに、位置を変更可能なグラフィカルユーザーインターフェース（ＧＵＩ）を、前記複数の画像の撮影位置に対応した位置に前記操作手段として表示することを特徴とする請求項２または７に記載の画像処理装置。
9. 前記表示制御手段は、レンズの焦点距離を指定するためのグラフィカルユーザーインターフェース（ＧＵＩ）を前記操作手段として表示することを特徴とする請求項２、７、および８のいずれか１項に記載の画像処理装置。
10. 画像処理装置の取得手段が、撮影画像と、被写体の距離情報とを取得する取得工程と、
    前記画像処理装置の生成手段が、前記距離情報に基づいて、前記撮影画像から、各々が個別の被写体距離の範囲に対応する複数の画像を生成する生成工程と、
    前記画像処理装置の操作手段が、撮影画像の撮影距離および画角を変更する指示を受け付ける受け付け工程と、
    前記画像処理装置の画像処理手段が、前記複数の画像の少なくとも１つに対して画像処理を適用する画像処理工程と、
    前記画像処理装置の合成手段が、前記画像処理が適用された画像を含む前記複数の画像を合成して、前記受け付け工程で受け付けた、変更後の撮影距離および画角に対応した合成画像を生成する合成工程と、
    前記画像処理装置の判定手段が、前記合成画像に画素の欠落した領域が発生するかどうかを判定する判定工程と、を有し、
    前記複数の画像には主画像が設定され、前記画像処理工程において前記画像処理手段は、前記合成画像における前記主画像の大きさが前記撮影距離および画角の変更前と変更後とで変化しないように、前記複数の画像の少なくとも１つに対して画像処理を適用し、
    前記画像処理工程において前記画像処理手段は、前記合成画像に前記画素の欠落した領域が発生すると判定された場合、前記複数の画像の少なくとも１つに対して、前記画素の欠落した領域に対応する隠蔽するための拡大処理または移動処理をさらに適用することを特徴とする画像処理装置の制御方法。
11. 画像処理装置の取得手段が、撮影画像と、被写体の距離情報とを取得する取得工程と、
    前記画像処理装置の生成手段が、前記距離情報に基づいて、前記撮影画像から、各々が個別の被写体距離の範囲に対応する複数の画像を生成する生成工程と、
    前記画像処理装置の操作手段が、撮影画像の撮影距離および画角を変更する指示を受け付ける受け付け工程と、
    前記画像処理装置の画像処理手段が、前記複数の画像の少なくとも１つに対して画像処理を適用する画像処理工程と、
    前記画像処理装置の合成手段が、前記画像処理が適用された画像を含む前記複数の画像を合成して、前記受け付け工程で受け付けた、変更後の撮影距離および画角に対応した合成画像を生成する合成工程と、
    前記画像処理装置の表示制御手段が、前記複数の画像と、前記合成工程で合成された画像とを表示装置に表示させる表示制御工程と、を有し、
    前記複数の画像には主画像が設定され、前記画像処理工程において前記画像処理手段は、前記合成画像における前記主画像の大きさが前記撮影距離および画角の変更前と変更後とで変化しないように、前記複数の画像の少なくとも１つに対して画像処理を適用し、
    前記表示制御工程において前記表示制御手段は、前記操作手段として複数のＧＵＩを表示し、前記複数のＧＵＩのうち１つが操作された場合、該ＧＵＩの操作後の位置に応じて、前記複数のＧＵＩの残りのＧＵＩの表示位置を更新することを特徴とする画像処理装置の制御方法。
12. コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。