JP6082484B2 - 情報処理装置、その処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、その処理方法及びプログラムに関する。

従来、被写体を多くの視点から撮影した画像をもとに、任意のフォーカス距離や被写界深度を求めたり、複数視点の画像を生成したりする手法が知られている。例えば、非特許文献１では、複数のカメラを２次元平面上に格子状に配置することで、視点の異なる複数の画像を取得する（以下、このような多視点画像を画像群と表記する）。そして、視点、フォーカス距離、開口径をパラメータとして与えることで、それら画像群から計算処理によって画像を生成する（以下、パラメータを与えて生成する画像を完成画像と表記する）。なお、パラメータ指定がなければ、デフォルト値による画像生成を行なう。一方で、特許文献１では、後からユーザが画像群を探し易いような画像を生成するパラメータを自動で設定する方法が開示されている。

特開２０１１−２２７９６号公報

Bennett Wilburn, Neel Joshi, Vaibhav Vaish, Eino-Ville Talvala, Emilio Antunez, Adam Barth, Andrew Adams, Marc Levoy, Mark Horowitz, "High Performance Imaging Using Large Camera Arrays", アメリカ, Proceedings of ACM SIGGRAPH 2005, 765-776頁.

しかし、パラメータのデフォルト値や、画像群を探すために設定されたパラメータ値から生成された画像は、誰かにあげたり、仲間や家族と鑑賞したり、記録として整理したりするといった、ユーザにとって良くある利用目的に即したパラメータが与えられた完成画像になるとは限らない。

利用目的に即したパラメータが与えられた画像が得られなかった場合、視点、フォーカス距離、深度等のパラメータ調整をユーザが行なう必要があり、手間が掛かる。また、ユーザのスキルによっては、パラメータ指定によってどのような画像を生成し得るか把握できていない場合も考えられ、パラメータ指定操作そのものが困難であることもある。

そこで、本発明は、上記課題に鑑みてなされたものであり、多視点の画像群からユーザにとって好適な画像を生成する技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様による情報処理装置は、以下の構成を備える。すなわち、多視点撮影した画像から、着目する被写体に焦点を合わせた合成画像を生成する情報処理装置であって、多視点撮影した画像を保持する画像保持手段と、前記合成画像の利用者を入力する入力手段と、被写体に関する情報と、前記合成画像の利用者と前記被写体との関係を示す関係情報と、を保持する被写体情報保持手段と、前記多視点撮影した画像に対し前記被写体に関する情報に基づいて被写体を認識する認識手段と、前記関係情報に基づいて、前記認識された被写体から着目する被写体を決定する決定手段と、前記着目する被写体に焦点を合わせた合成画像を前記多視点撮影した画像から生成する生成手段と、を備える。

本発明によれば、多視点の画像群からユーザにとって好適な画像を生成することができる。

本発明の一実施の形態に係わる情報処理装置を配して構成した情報処理システムの構成の一例を示す図。 撮像部の構成の一例を示す図。 情報処理装置３０の機能的な構成の一例を示す図。 関係情報の概要を示す図。 被写体認識部４３の処理により得られる画像の概要を示す図。 情報処理装置３０の処理の流れの一例を示すフローチャート。 情報処理装置３０の処理の流れの一例を示すフローチャート。 実施形態２に係わる情報処理装置３０の機能的な構成の一例を示す図。 実施形態３に係わる情報処理装置３０の機能的な構成の一例を示す図。 実施形態３に係わる情報処理装置３０の機能的な構成の一例を示す図。 変形例の概要を示す図。

以下、本発明の一実施の形態について添付図面を参照して詳細に説明する。

（実施形態１）
図１は、本発明の一実施の形態に係わる情報処理装置を配して構成した情報処理システムの構成の一例を示す図である。

情報処理システムは、撮像装置１０と、情報処理装置３０とを具備して構成され、これら装置間は、例えば、ＵＳＢ（Universal Serial Bus）等の通信手段を介して通信可能に接続されている。

情報処理装置３０は、各種画像（例えば、撮像装置１０により撮像された画像）を登録し管理する。情報処理装置３０には、例えば、コンピュータが内蔵されている。コンピュータには、ＣＰＵ（Central Processing Unit）等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。また、コンピュータにはその他、マウスやディスプレイ等の入出力手段、ネットワークカード等の通信手段等も具備されていても良い。なお、これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。

撮像装置１０は、複数の撮像部を備えた多眼方式が採用されている。ここで、撮像装置１０には、複数の撮像部１０１〜１０９と、ＲＯＭ２０１と、ＲＡＭ２０２と、ＣＰＵ２０３と、操作部２０５と、表示制御部２０７と、表示部２０６と、撮像部制御部２０８とを具備して構成される。撮像装置１０には、この他、デジタル信号処理部２０９、エンコーダ部２１０、外部メモリ制御部２１１、画像出力部２１２も設けられる。なお、撮像装置１０に設けられるこれら構成は、バス２０４等を介して通信可能に接続されている。

ＣＰＵ（Central Processing Unit）２０３は、各種入出力の制御やデータ処理等を行い、ＲＡＭ（Random Access Memory）２０２は、演算結果やデータを一時的に記憶する。ＲＯＭ（Read Only Memory）２０１は、本実施形態に係わる制御を実行するプログラムやデータを記憶する。撮像装置１０における各構成は、例えば、ＣＰＵ２０３が、ＲＡＭ２０２をワーク領域として、ＲＯＭ２０１に記憶されたプログラムを実行することで実現される。

操作部２０５は、例えば、ボタンやモードダイヤル等で実現され、ユーザからの各種指示を装置内に入力する。表示部２０６は、例えば、液晶ディスプレイ等で実現され、各種情報（例えば、撮影画像や文字等）をユーザに向けて表示する。表示制御部２０７は、各種情報を表示部２０６に表示制御する。なお、操作部２０５及び表示部２０６は、一体的に構成され、タッチスクリーンとして実現されても良い。

撮像部制御部２０８は、撮像系の制御を行なう。例えば、フォーカスの調整、シャッターを開く／閉じる、絞りの調節等を行なう。この制御は、ＣＰＵ２０３からの指示に基づいて行なわれる。

デジタル信号処理部２０９は、バス２０４を介して受信したデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行なう。エンコーダ部２１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する。外部メモリ制御部２１１は、撮像装置１０に挿入された外部メモリとの間の通信を制御する。外部メモリとしては、例えば、情報処理装置（例えば、ＰＣ（Personal Computer））の他、メディア（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）等が挙げられる。

撮像部１０１〜１０９は、カラー画像を取得する。複数の撮像部１０１〜１０９は、例えば、図２（ａ）に示すように、正方格子上に均等に配置されている。ユーザが撮影ボタン２１を押下すると、撮像部１０１〜１０９は、センサ（撮像素子）において、被写体の光情報を受光する。そして、撮像装置１０の内部において、当該受光した信号をＡ／Ｄ変換し、それにより、複数のカラー画像（デジタルデータ）を取得する。このような多眼方式の撮像装置１０により、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。

ここで、撮像部１０１〜１０９の構成について更に説明する。なお、撮像部１０１〜１０９は、基本的に同じ構成を有するため、代表して撮像部１０１の構成について説明する。撮像部１０１は、図２（ｂ）に示すように、複数のレンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０を具備して構成される。

複数のレンズ３０１〜３０３は、例えば、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３を含んで構成される。センサ３０９は、例えば、ＣＭＯＳ（Complimentary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Devices）等の撮像素子で実現され、上述した各構成を経由した光を検知する。Ａ／Ｄ変換部３１０は、当該センサ３０９により検知された光をデジタル値に変換し、それをデジタルデータとしてバス２０４に供給する。

画像出力部２１２は、撮像部１０１〜１０９で取得されたカラー画像群或いは、デジタル信号処理部２０９から出力されたカラー画像群を、同一の被写体を撮影した画像群として識別可能な状態で出力する。

以上が、撮像装置１０における機能的な構成の一例についての説明である。なお、上述した撮像装置１０の構成は、あくまで一例であり、上記構成に限定されず、必要に応じて適宜構成の追加や省略等を行なえば良い。

例えば、上述した説明では、撮像部の数が９個である場合を例に挙げて説明したが、撮像部の数は９個に限られない。すなわち、撮像装置が複数の撮像部を備えていれば良く、その数が何個備えられていても良い。また、９個の撮像部が正方格子上に均等に配置される場合を例に挙げて説明したが、これに限られず、撮像部の配置も任意に決めれば良い。例えば、放射状や直線状に配置しても良いし、また、全くランダムに配置しても良い。その他、撮像部１０１〜１０９で撮像される画像の一部又はその全てがモノクロ画像であっても良い。その場合には、図２（ｂ）に示すカラーフィルタ３０８の構成を省略すれば良い。

次に、図３を用いて、図１に示す情報処理装置３０の機能的な構成の一例について説明する。

情報処理装置３０は、その機能的な構成として、入力部３１と、出力部３２と、データベース３３と、画像処理部３４と、画像登録部３５とを具備して構成される。

入力部３１は、例えば、マウスやキーボード等を介したユーザからの指示を装置内に入力し、出力部３２は、例えば、液晶ディスプレイ等に対して各種情報を出力する。

データベース３３は、例えば、ＲＡＭや外部記憶装置等で実現され、画像や画像に関する情報を管理する画像管理手段として機能する。より具体的には、画像や、画像に関する属性情報、情報処理装置３０を利用しているユーザのユーザ情報等を管理する。

画像登録部３５は、データベース３３に画像を登録する。画像登録部３５には、被写体抽出部３６が設けられる。被写体抽出部３６は、登録対象となる画像に対して顔認証処理を実施し、それにより、被写体を特定しそれを抽出する。顔認証処理は、一般的な顔特徴による技術を用いて行なえば良く、特定対象となる人物の顔特徴を予め学習しておき、当該顔特徴と類似した特徴を持つ画像内の部分領域を、その人物であると特定する。なお、画像の登録に際しては、被写体抽出部３６の顔認識により特定された被写体の情報が被写体情報としてデータベース３３に登録される。

画像処理部３４は、データベース３３に登録された（多視点の）画像群に対して各種画像処理を行なう。画像処理部３４には、画像取得部４０と、関係情報生成部４１と、関係情報管理部４２と、被写体認識部４３と、着目対象決定部４４と、完成画像生成部４５とが具備される。

画像取得部４０は、データベース３３から画像群を取得する。関係情報生成部４１は、画像取得部４０により取得された画像群から被写体間の関係情報を生成する。この関係情報の生成に際しては、例えば、ユーザが管理している画像群全体から被写体を認識し、被写体毎の出現頻度や、同一画像中に共起する被写体の頻度（共起頻度）等を集計する。被写体毎の出現頻度では、例えば、ユーザが管理している画像群内における被写体の出現し易さが分かるので、これを利用してユーザと被写体との間の関係情報を生成することができる。また、被写体の共起頻度では、一緒に写真に写りこむ傾向が分かるので、これを利用して被写体同士の関係情報を生成することができる。なお、出現頻度をそのまま利用するのではなく、画像群の数に対する出現頻度の割合等を求めても良い。

なお、関係情報は、単純に関係があるという関係性を示す情報だけであっても良いが、関係が持つ属性情報を含んでいても良い。例えば、上述したような、被写体の出現頻度や共起頻度といった情報は、関係の強度を示す情報といえ、これを属性情報として関係情報に含めても良い。

勿論、属性情報は、これに限られない。例えば、ユーザが、情報処理装置３０に対して論理的な画像群を指定できるとする（例えば、一度の旅行で撮影した画像をまとめて管理するように指定できる）。この場合、論理的なまとまりの中で出現頻度等の情報を集計し、関係の属性情報として、そのようなまとまり毎に区別したことを示す情報を含めても良い。

その他、被写体間の関係について、お互いにどういう存在であるかといったロールの情報が分かる場合は、それを関係の属性情報として関係情報に含めても良い。例えば、被写体ＤとＭとが親子関係であれば、その情報を関係の属性情報として含めても良い。これらのロール情報は、どのような情報から取得しても良い。例えば、ユーザが情報処理装置３０に対して登録した情報から取得しても良い。

このようにして生成された関係情報は、例えば、図４に示すように、各ユーザや被写体をノードとしたネットワーク構造で表現できる。この場合、ノードＵはユーザを示しており、ノードＡ、Ｂ、Ｆ及びＧはユーザが管理する画像において、出現頻度が予め設定された閾値以上であるといった関係を示している。これに対し、ノードＣはユーザが管理する画像群における出現頻度が十分ではないため、ユーザとの関係はない。しかし、ノードＣは、ノードＡ及びＢとの共起頻度が、予め設定された閾値以上となるため、ノードＡ及びＢと同時に撮影される関係があることを示している。

なお、関係情報のデータ形式は、上記図４で説明したような構造を表現できる形式であれば良く、どのような形式であっても良い。各関係が、属性情報を含む可能性がある場合には、構造化情報を記述可能なＸＭＬ形式で関係情報を生成すれば良い。また、例えば、ＲＤＦ（Resource Description Framework）を利用したＸＭＬ形式の記述仕様（ＲＤＦ／ＸＭＬ）などで記述すれば良い。ＲＤＦは、人や物といったリソースとその関係とを記述する形式としてＷ３Ｃ（World Wide Web Consortium）で標準化されている。

関係情報管理部４２は、関係情報生成部４１により生成された関係情報を管理する。この関係情報管理部４２及びデータベース３３等を含む構成によって被写体情報管理が行なわれる。関係情報管理部４２においては、新たな関係情報の管理に際して、既存の関係情報とマージして管理する。例えば、人物Ａについて、新しい人物Ｘとの関係を検出すれば、既存のＡに関する関係の記述部分に、新たな関係とその属性情報、及び対象がＸである旨を追記する。

また、関係情報管理部４２は、被写体或いは関係やその属性情報などをキーとして含むクエリに対して、条件に合致する関係情報を検索し、その結果を応答する。クエリとしては、例えば、人物Ａについての関係とその関係先となっている人物の検索を指示するようなクエリが挙げられる。この検索には、例えば、Ｗ３Ｃで標準化されたＲＤＦ／ＸＭＬ形式のデータを探索するクエリの記述言語であるＳＰＡＲＱＬ（SPARQL Protocol and RDF Query Language）のようなクエリ言語を用いれば良い。なお、管理している関係情報や、応答する関係情報のデータ形式についても、関係情報生成部４１と同様に、例えば、ＲＤＦ／ＸＭＬ形式のような構造化情報を記述できるものであれば何でも良い。

被写体認識部４３は、画像取得部４０により取得された画像群に対して、焦点調整処理を行ないながら、顔認識処理を実施する。それにより、焦点のあった被写体の画像を取得する。より具体的には、各画像に対して焦点調整処理を行ない、各フォーカス距離にある対象（被写体）に焦点が合った画像を生成する。なお、焦点調整処理は、例えば、予め設定された任意の間隔でフォーカス距離を変更（増加）させるパラメータを設定していくことにより行なえば良い。

ここで、図５（ａ）〜図５（ｃ）を用いて、この被写体認識部４３の処理により得られる画像の概要について説明する。

Ａ〜Ｄ５１は、被写体を示している。ここでは、図中の下方向に撮像装置１０がある場合を示しており、撮像装置１０からの相対的な位置を示している。また、符号５２は、ある間隔で設定するフォーカス距離を示しており、これらのフォーカス距離をパラメータとした完成画像（パラメータを与えて生成する画像）をそれぞれ生成する。

符号５３は、フォーカス距離を示している。図５（ａ）のフォーカス距離では、少なくとも被写体Ａに焦点が合った完成画像が得られる。同様に、図５（ｂ）のフォーカス距離では、被写体Ｂ及びＤに焦点があっており、図５（ｃ）のフォーカス距離では、被写体Ｃに焦点が合っている。

被写体認識部４３においては、このようにして得られた各画像に対して顔認識処理を実施し、図５（ｄ）に示すように、予め設定された閾値よりも高い尤度で特定できた人物のリストを生成する。

着目対象決定部４４は、被写体認識部４３により特定された被写体の中から、着目する被写体（着目被写体）を決定する。例えば、画像群を登録したユーザにとって好適な完成画像を得る場合には、着目対象決定部４４は、当該ユーザを含む関係情報を関係情報管理部４２から取得する。そして、被写体認識部４３により特定された各人物の中から、当該関係情報に含まれている人物を選択し、当該人物を着目対象とする。

このとき、着目対象決定部４４により特定される人物（被写体）と、関係情報管理部４２により管理されている人物（被写体）とが対応付けられる必要がある。そこで、着目対象決定部４４においては、例えば、被写体抽出部３６により特定される被写体と、被写体認識部４３により特定される被写体との対応関係を保持する。なお、被写体間の対応付けができるのであれば、どのような方法を用いても良い。例えば、着目対象決定部４４と被写体抽出部３６とにおける顔認識処理を共有することで、両者の特定結果を共通化しても良い。

完成画像生成部４５は、着目対象決定部４４により決定された着目対象に関して焦点調整を行なった画像を生成する。本実施形態においては、着目対象となる人物を被写体認識部４３により特定したときのフォーカス距離情報及び顔位置を保持しておくようにする。そして、当該フォーカス距離を中心として、当該顔位置で焦点が合う距離を決定する。

具体的には、当該フォーカス距離を中心とした画像を生成し、当該画像からフォーカスを得るコントラスト方式のような汎用的なオートフォーカス方式を利用し焦点の合致を判定する。このとき最も焦点が合致した画像を完成画像とする。

なお、着目対象が複数の場合は、見つかった着目対象分の完成画像を生成する。勿論、このような方法に限られず、例えば、関係情報管理部４２で管理されている関係の属性情報として、頻度情報が得られるのであれば、頻度の多い順に被写体をソートし、その上位の被写体のうち、予め決められた数の完成画像を生成するようにしても良い。

以上が、情報処理装置３０の構成の一例についての説明である。なお、図３に示す情報処理装置３０の構成は、あくまで一例であり、この構成は適宜変更しても良い。例えば、画像処理部３４に実現される構成の一部又は全てが、外部装置に設けられていても良い（例えば、クラウド形式）。その場合、情報処理装置３０においては、当該外部装置から処理結果を受けて各種処理を行なう。

次に、図６及び図７を用いて、図１に示す情報処理装置３０の処理の流れの一例について説明する。まず、図６を用いて、関係情報を取得する際の処理の流れについて説明する。

情報処理装置３０は、画像取得部４０において、データベース３３から画像群を取得する（Ｓ１０１）。本実施形態においては、ユーザが情報処理装置３０に対して論理的なまとまりを予め定義しており、当該まとまりに画像が所属するように管理されているものとする。そのため、Ｓ１０１の処理においては、論理的なまとまり毎に画像群が取得される。

続いて、情報処理装置３０は、画像処理部３４において、データベース３３から画像群の被写体情報を取得する（Ｓ１０２）。上述した通り、画像の登録に際して、被写体抽出部３６の顔認識処理により特定された被写体の被写体情報がデータベース３３に登録されている。そのため、Ｓ１０２の処理では、データベース３３から当該被写体情報を取得する。

情報処理装置３０は、画像処理部３４において、Ｓ１０１の処理で取得した画像群を管理しているユーザの情報（ユーザ情報）を取得する（Ｓ１０３）。なお、ここでいうユーザとは、例えば、情報処理装置３０を利用しているユーザを指し、このＳ１０３の処理では、例えば、ログイン情報等によってユーザ情報を取得すれば良い。勿論、対象となるユーザ情報を個別に入力できる構成であっても良い。

ユーザ情報の取得が済むと、情報処理装置３０は、関係情報生成部４１において、Ｓ１０２の処理で取得した被写体情報を集計し、Ｓ１０３の処理で取得したユーザとの関係情報を生成する（Ｓ１０４）。そして、Ｓ１０３の処理で取得した被写体が、同一画像中で共起している頻度から、各被写体間の関係情報を生成する（Ｓ１０５）。その後、情報処理装置３０は、関係情報管理部４２において、当該生成された関係情報を登録して管理する（Ｓ１０６）。

次に、図７を用いて、画像群から完成画像を（自動で）生成する際の処理の流れについて説明する。この図７に示す処理は、例えば、画像登録時に実施され、図６で説明した処理が終わった後、続けて実行される。なお、勿論、ユーザ指示又は任意のタイミングで（自動的に）実施されても良い。

情報処理装置３０は、画像取得部４０において、画像群を取得する（Ｓ２０１）。そして、被写体認識部４３において、Ｓ２０１の処理で取得した画像群を処理し、焦点調整を行いながら当該画像群から被写体を（網羅的に）認識する（Ｓ２０２）。

続いて、情報処理装置３０は、画像処理部３４において、画像群を処理しようとしているユーザの情報（ユーザ情報）を取得する（Ｓ２０３）。ここでいうユーザとは、例えば、情報処理装置３０を利用しているユーザを指し、このＳ２０３の処理では、例えば、ログイン情報等によってユーザ情報を取得すれば良い。

ユーザ情報の取得が済むと、情報処理装置３０は、着目対象決定部４４において、Ｓ２０２の処理で認識した被写体の中から、Ｓ２０３の処理で取得したユーザと関係のある被写体を特定し、それを着目対象に決定する（Ｓ２０４）。

最後に、情報処理装置３０は、完成画像生成部４５において、Ｓ２０４の処理で決定した着目対象に関して焦点調整を行なった完成画像を取得（生成）する（Ｓ２０５）。

以上説明したように本実施形態によれば、画像群の登録に際して、着目対象に関して焦点調整が行なわれた完成画像（着目対象に関して焦点調整を行なった画像）が生成される。すなわち、複数の画像（フォーカス距離は様々）に基づいてユーザに関係の深い被写体にフォーカスが合った画像が生成される。そのため、ユーザにとって好適な画像が自動で生成されることになる。

これにより、パラメータ指定などをして完成画像を生成する際のユーザの手間を抑制できる。例えば、複数の画像群からの知人に関係する画像を送るような場合に、ユーザは、各画像について完成画像を生成するといった煩雑な操作を行なわずに済むので、ユーザの利便性が向上する。

（実施形態２）
次に、実施形態２について説明する。上述した実施形態１では、着目対象決定部４４において、被写体間の関係の有無等に基づいて着目対象を見つける場合を例に挙げて説明したが、これに限られない。その一例として、実施形態２においては、誰が何のために画像を利用するのかといったコンテキストに応じて着目対象の被写体を決定する場合について説明する。

実施形態２に係わる情報処理装置３０には、図８に示すように、画像処理部３４内にコンテキストを取得するコンテキスト取得部４６が新たに設けられる。

コンテキスト取得部４６は、例えば、ユーザへの出力機能の操作の過程で得られたコンテキストを取得する。そして、実施形態２に係わる着目対象決定部４４においては、当該コンテキストに従って上述した関係情報を評価した結果（重み付けした結果）に基づいて着目対象を決定する。なお、コンテキストに応じた重み付けは、例えば、予め設定されているものとする。コンテキストとしては、例えば、祖父母へのアルバムのプレゼント、結婚する娘の成長記録のスライドショー作成、旅行の写真を同行者達で閲覧、その他一般的な閲覧を補助するための情報が挙げられる。すなわち、コンテキストは、所定の画像群のまとまり毎に設定されている。

ここで、重み付けは、コンテキスト毎に、ある被写体や関係の属性に基づいて予め設定されている。例えば、祖父母へのアルバムのプレゼントであれば、孫が写っている画像を中心に選ばれることが望まれる。そのため、関係情報としてロール情報が設定されていれば、画像群からは、祖父母から見て孫に当たる被写体が着目対象となるように関係に対して重み付けを行なっておく。

また、結婚する娘の成長記録のスライドショー作成であれば、ユーザから見て娘に当たる被写体を着目対象として含むように重み付けを行なっておく。このとき、ある時期における共起頻度の分布のようなものを関係の属性として管理するようにしておけば、娘とその時期に良く共起している被写体も同時に着目する被写体となるような重み付けを行なうようにしても良い。

また、旅行の写真を同行者の一部で集まって閲覧するのであれば、ユーザの知人にあたる関係の被写体のうち、その場にいる人物を着目対象として含むように重み付けを行なう。或いは、一般的な閲覧であれば、コンテキストによらず重要とみなせる関係を重視する。重要とみなせる関係とは、例えば、ユーザにとって近い血縁関係であるとか、完成画像の生成時点から見て近い日時での共起頻度の高い関係であるとかを指す。

また、画像群が既知の年中行事（例えば、母の日やこどもの日、家族や知人の誕生日）の日程と合致するのであれば、その行事における主役となるような人物との関係を重み付けするようなルールであって良い。例えば、母の日に撮影された画像であれば、母や母と良く共起する被写体が着目対象となるように関係に重みを付ける。同様に、閲覧日が既知の年中行事と一致する際は、当該行事の中心となる被写体について、着目被写体となるように関係を重み付けするようにしても良い。

なお、このような重み付けは、排他的に利用する必要はなく、特に、一般的な閲覧のためのルールとして述べた内容については、特定のコンテキストに依存したものではないため、常に考慮するようにして構わない。

以上説明したように実施形態２によれば、コンテキスト依存の処理（アルバム生成やスライドショー生成等）において、より好適な画像が得られる。加えて、好適な完成画像を自動で得られるようになることから、ユーザが介在せずに、アプリケーション等での自動生成処理を実現できる。

（実施形態３）
次に、実施形態３について説明する。上述した実施形態１では、画像取得部４０により取得された画像群から関係情報を生成する場合について説明したが、これに限られない。例えば、ソーシャルネットワーキングサービス（以下、ＳＮＳ）のような関係情報管理サービスに登録されているユーザや被写体の人間関係等の情報を関係情報としても良い。すなわち、ユーザや被写体間の関係情報の生成や管理に関係情報管理サービスを利用しても構わない。

この場合、情報処理装置３０の構成としては、例えば、図９や図１０に示す構成となる。すなわち、画像処理部３４内に連携部４７が新たに設けられる。連携部４７は、情報処理装置３０が外部サービスに接続されている場合、当該外部サービスにネットワークインタフェース（不図示）を介してアクセスして連携する。これにより、関係情報生成部４１及び関係情報管理部４２における一部の機能（図９）又は全ての機能（図１０）を、当該関係情報管理サービスを利用して実現することができる。

ここで、関係情報管理サービス上の関係情報を利用する必要があるため、連携部４７は、少なくとも当該関係情報管理サービスにユーザとしてログインする機能と、ユーザの関係情報に関する情報を取得する機能とを有する。このとき、関係情報管理サービス上の関係情報と、情報処理装置３０内で扱う関係情報との対応付けが必要になる。この対応付けは、両方の管理対象の識別子を対応付ける表を作成し、それを連携部４７で管理するようにすれば良い。

また、この表に相当する情報は、ユーザが予め入力して設定しておけば良い。例えば、情報処理装置３０に認識対象として顔画像を登録する際に、登録対象の識別子として、関係情報管理サービス上でのユーザ名などの識別子を設定するようにしても良い。両者の対応付けの入力ができない、或いは、入力がなされていない場合であっても、両者で管理しているユーザ名やユーザの属性を使って対応付けを行なっても構わない。この場合、例えば、同一属性に同一の情報が入力されているか否かで対応付けを行なうか否かを判断すれば良い。

なお、関係情報管理サービスにおいては、画像から関係情報を生成できない場合も考えられる。このような場合には、関係情報生成部４１による処理結果を、連携部４７を経由して当該関係情報管理サービスにおける関係情報に追加できるようにしても良い。この場合、連携部４７は、関係情報管理サービス上の関係情報を編集する機能を有する。そして、関係情報生成部４１により生成されたあるユーザの関係情報を、当該ユーザが対応付けられている関係情報管理サービス上のユーザの関係情報として追加・更新する。

以上説明したように実施形態３によれば、ＳＮＳなどの外部サービスで関係情報の作成及び管理が行なわれている場合にはこれらと連携する。これにより、関係情報の管理が分散せず一元化して行なえることになる。また、このような関係情報を別々で管理する場合に比べて、登録やメンテナンスのコストを下げることができるとともに、相互の登録内容のズレを軽減できる。

以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。以下、いくつか変形例について説明する。

（変形例１）
上述した説明では、被写体抽出部３６や被写体認識部４３において、顔認識処理を実施し、顔画像から人物を特定する場合について説明したが、これに限られない。ペットやオブジェクトを被写体として認識処理を行なっても良い。例えば、実施形態２で説明した例でいえば、旅行の記録においては、旅先のランドマークが認識できれば、当該ランドマークと共起している人物の関係を重み付けすることで、ランドマークと人物とが着目対象となるようにしても良い。

（変形例２）
上述した説明では、複数の着目対象があった場合に、当該複数の着目対象に焦点が合うように完成画像を生成する場合について説明したが、これに限られない。例えば、着目対象それぞれのフォーカス距離を集計し、当該距離の中間点をフォーカス距離のパラメータとして設定し、且つフォーカス位置からの深度幅が深くなるように開口径のパラメータを絞った値を設定しても良い。このようにすることで、着目対象全体に焦点が合っているような完成画像を生成できる。

この処理について、図１１（ａ）を用いて更に具体的に説明する。ここで、Ａ及びＢは着目対象として選択された被写体を示しており、符号１０は、多視点画像を撮影するための撮像装置を示している。この場合、フォーカス位置を符号６１のように、Ａ及びＢの中間点に設定し、開口径のパラメータを調整して、深度幅６２がＡ及びＢをカバーするようにして完成画像を生成する。

なお、関係情報管理部４２に管理された着目対象間の関係情報を取得し、着目対象間に関係がある場合に、図１１（ａ）に示す処理を行なうようにしても構わない。すなわち、複数の着目対象の中から、関係情報に基づいて着目対象の組を生成し、当該組毎に完成画像を生成しても良い。

また、このとき、関係の属性情報として、各着目対象間の共起頻度等のような関係の強さを評価できる情報が得られるのであれば、共起するような関係の被写体同士を優先して、それらの被写体全体に焦点が合った完成画像を生成するようにしても良い。

また、実施形態２で説明したような関係の重み付けの情報が得られる場合は、コンテキストに沿った重要な関係の被写体全体に焦点が合った完成画像を生成するようにしても構わない。

以上説明したように変形例２によれば、複数の被写体全体に焦点が合っているような完成画像を生成する。これにより、このような画像を利用する場合にも、ユーザが画像を生成する手間を抑制できる。

（変形例３）
また更に、変形例２の処理に限られず、例えば、複数の着目対象それぞれの座標位置を含む曲面を求め、当該曲面に沿って焦点調整を行なうような技術（従来の技術）を利用しても構わない。

この処理について、図１１（ｂ）を用いて説明すると、Ａ〜Ｄまで４つの着目対象がある場合、曲面状仮想的な焦点面７０を設定し、この焦点面に合わせて焦点調整を行なった完成画像を生成する。なお、変形例２と同様に、着目対象間の関係情報を見て、着目対象の組み合わせを決めても勿論構わない。

以上説明したように変形例３によれば、撮像装置から各着目対象の距離の分布にばらつきがあったとしても、着目対象全体に注目した深度の浅い完成画像を生成できる。

（変形例４）
例えば、被写体抽出部３６における認識対象は、画像中のテキストオブジェクトの文字列情報であっても良い。この場合、文字列を認識し、画像中の被写体に関連するテキスト情報であることを判定し、文字列と当該被写体とが関係する場合には、両者に焦点が合うように焦点調整を行なった完成画像を生成する。

例えば、画像の中に看板が写っており、「入学式」の文字が含まれ、且つ自分の娘が写っていたとする。この状況において、娘の生年月日の情報、画像の撮影日時の情報、「入学式」に関する基本的な知識情報をそれぞれ参照することで、娘の入学時期であった場合、当該娘の顔とその看板両方に焦点を合わせた画像を作るなどしても良い。

（変形例５）
上述した実施形態においては、撮像装置１０により撮像された画像群が情報処理装置３０に入力される場合について説明したが、これに限られない。すなわち、情報処理装置３０には、焦点調整処理が可能な画像群が入力されれば良い。例えば、レンズが複数でセンサが一つの構成であっても同等の画像群が得られることが知られており、このようにして得られた画像群が情報処理装置３０に入力されても良い。

（変形例６）
上述した実施形態においては、完成画像生成部４５における焦点調整処理として、着目対象に焦点が合うようにする場合を例に挙げて説明したが、それ以外の部分、例えば、背景部分の焦点調整処理については特に言及していない。

この点について説明すると、着目対象以外の範囲については、できる限りぼかした画像にする場合や、それ以外の部分にもできる限りフォーカスが当たっている画像にする場合等が考えられる。例えば、コンテキストによっていずれか決めるようにしても良い。すなわち、コンテキスト取得部４６（図８参照）を含む構成で得られたコンテキストによって、着目対象以外の領域をどのように焦点調整するかを関係評価ルールと合わせて管理しておくようにすれば良い。そして、その内容に応じて、完成画像生成部４５が、完成画像を生成する。

或いは、より汎用的な例として、着目対象が人で、ある程度の大きさの顔が画像内で占めており、且つ他に認識できた被写体が無いようなケースでは、ポートレートのような画像をユーザがイメージして撮影した可能性が高い。このような場合は、顔部分を強調するために、背景をぼかした画像を生成する。そういった典型的なルールと、着目対象以外の部分の焦点調整の仕方を対応付けておくことで完成画像を生成するようにしても良い。この場合、当該ルールや着目対象以外の部分の焦点調整の仕方の対応付けの情報は、完成画像生成部４５に予め設定しておく等すれば良い。

（変形例７）
上述した実施形態においては、処理対象が静止画像である場合を例に挙げて説明したが、これに限られない。例えば、各フレームが多視点画像の情報を有するような動画像であっても良い。その場合は、動画像における１フレーム分を対象として上述した処理を行なえば良い。

但し、動画像として閲覧するには、フレーム毎に着目対象が細かく変動することは好ましくない。動画像は、写真のように瞬間的な場面を捉えたものであるよりも、あるシーンを撮影するケースが多い。よって、シーン全体としての着目対象を決定し、シーン全体に統一感のある着目対象に関する焦点調整を実施することが望ましい。

この場合、上述した画像処理部３４内の各構成は、当該シーンを表す時間内のフレーム画像全体に対して処理を行なう。すなわち、シーン内のフレーム全体の被写体を集計し、そこから関係を生成したり、着目対象を決定したりする。

また、動画像としての完成画像は、決定した着目被写体を追尾するような一般的な追尾処理によって、各フレームでの焦点調整を実施する領域を決め、当該領域に焦点が合うように各フレームの完成画像を生成する。

なお、着目被写体は、一時的に障害物に隠れたり、フレーム外に出てしまったりして、追尾できないフレームが生じることがある。それによってフォーカス距離が大きく変動することがないように、前後の追尾できているフレームでの被写体の領域及びフォーカス距離から、当該追尾できていないフレームでの被写体の領域及びフォーカス距離を補間するようにしても良い。

（その他の実施形態）
なお、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

３０ 情報処理装置、３１ 入力部、３２ 出力部、３３ データベース、３４ 画像処理部、３５ 画像登録部、３６ 被写体抽出部

Claims (13)

1. 多視点撮影した画像から、着目する被写体に焦点を合わせた合成画像を生成する情報処理装置であって、
   多視点撮影した画像を保持する画像保持手段と、
   前記合成画像の利用者を入力する入力手段と、
   被写体に関する情報と、前記合成画像の利用者と前記被写体との関係を示す関係情報と、を保持する被写体情報保持手段と、
   前記多視点撮影した画像に対し前記被写体に関する情報に基づいて被写体を認識する認識手段と、
   前記関係情報に基づいて、前記認識された被写体から着目する被写体を決定する決定手段と、
   前記着目する被写体に焦点を合わせた合成画像を前記多視点撮影した画像から生成する生成手段と、
   を備えることを特徴とする情報処理装置。
2. 多視点撮影した画像を保持する画像保持手段と、
   被写体に関する情報と、前記多視点撮影した画像の撮影者と前記被写体との関係を示す関係情報と、を保持する被写体情報保持手段と、
   前記多視点撮影した画像に対し前記被写体に関する情報に基づいて被写体を認識する認識手段と、
   前記関係情報に基づいて、前記認識された被写体から着目する被写体を決定する決定手段と、
   前記着目する被写体に焦点を合わせた合成画像を前記多視点撮影した画像から生成する生成手段と、
   を備えることを特徴とする情報処理装置。
3. 多視点撮影した画像から、着目する被写体に焦点を合わせた合成画像を生成する情報処理装置であって、
   多視点撮影した画像を保持する画像保持手段と、
   被写体に関する情報と、前記情報処理装置の利用者と前記被写体との関係を示す関係情報と、を保持する被写体情報保持手段と、
   前記多視点撮影した画像に対し前記被写体に関する情報に基づいて被写体を認識する認識手段と、
   前記関係情報に基づいて、前記認識された被写体から着目する被写体を決定する決定手段と、
   前記着目する被写体に焦点を合わせた合成画像を前記多視点撮影した画像から生成する生成手段と、
   を備えることを特徴とする情報処理装置。
4. 前記被写体に関する情報は、予め学習された被写体の特徴情報であることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記関係情報は、多視点撮影した画像における被写体の出現頻度を含み、
   前記生成手段は、前記着目する被写体に焦点を合わせた合成画像を前記多視点撮影した画像から、前記出現頻度が多い順に生成することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記決定手段が、複数の被写体を前記着目する被写体として決定した場合、
   前記生成手段は、前記着目する被写体それぞれのフォーカス距離に基づいたフォーカス距離と深度幅が複数の着目する被写体をカバーする開口径のパラメータとを設定し、複数の着目する被写体に焦点を合わせた合成画像を前記多視点撮影した画像から生成することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記被写体間の関係を示す情報を管理する外部サービスに前記情報処理装置が接続されている場合、該外部サービスにより管理された関係情報と、前記被写体情報保持手段により管理された関係情報とを連携させる連携手段を更に具備することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 多視点撮影した画像から、着目する被写体に焦点を合わせた合成画像を生成する情報処理装置の処理方法であって、
   画像保持手段が、多視点撮影した画像を保持する工程と、
   入力手段が、前記合成画像の利用者を入力する工程と、
   被写体情報保持手段が、被写体に関する情報と、前記合成画像の利用者と前記被写体との関係を示す関係情報と、を保持する工程と、
   認識手段が、前記多視点撮影した画像に対し前記被写体に関する情報に基づいて被写体を認識する工程と、
   決定手段が、前記関係情報に基づいて、前記認識された被写体から着目する被写体を決定する工程と、
   生成手段が、前記着目する被写体に焦点を合わせた合成画像を前記多視点撮影した画像から生成する工程と、
   を含むことを特徴とする処理方法。
9. 情報処理装置の処理方法であって、
   画像保持手段が、多視点撮影した画像を保持する工程と、
   被写体情報保持手段が、被写体に関する情報と、前記多視点撮影した画像の撮影者と前記被写体との関係を示す関係情報と、を保持する工程と、
   認識手段が、前記多視点撮影した画像に対し前記被写体に関する情報に基づいて被写体を認識する工程と、
   決定手段が、前記関係情報に基づいて、前記認識された被写体から着目する被写体を決定する工程と、
   生成手段が、前記着目する被写体に焦点を合わせた合成画像を前記多視点撮影した画像から生成する工程と、
   を備えることを特徴とする処理方法。
10. 多視点撮影した画像から、着目する被写体に焦点を合わせた合成画像を生成する情報処理装置の処理方法であって、
    画像保持手段が、多視点撮影した画像を保持する工程と、
    被写体情報保持手段が、被写体に関する情報と、前記情報処理装置の利用者と前記被写体との関係を示す関係情報と、を保持する工程と、
    認識手段が、前記多視点撮影した画像に対し前記被写体に関する情報に基づいて被写体を認識する工程と、
    決定手段が、前記関係情報に基づいて、前記認識された被写体から着目する被写体を決定する工程と、
    生成手段が、前記着目する被写体に焦点を合わせた合成画像を前記多視点撮影した画像から生成する工程と、
    を備えることを特徴とする処理方法。
11. 多視点撮影した画像から、着目する被写体に焦点を合わせた合成画像を生成する情報処理装置に備えられたコンピュータに、
    多視点撮影した画像を保持する画像保持工程と、
    前記合成画像の利用者を入力する入力工程と、
    被写体に関する情報と、前記合成画像の利用者と前記被写体との関係を示す関係情報と、を保持する被写体情報保持工程と、
    前記多視点撮影した画像に対し前記被写体に関する情報に基づいて被写体を認識する認識工程と、
    前記関係情報に基づいて、前記認識された被写体から着目する被写体を決定する決定工程と、
    前記着目する被写体に焦点を合わせた合成画像を前記多視点撮影した画像から生成する生成工程と、
    を実行させるためのプログラム。
12. 情報処理装置に備えられたコンピュータに、
    多視点撮影した画像を保持する画像保持工程と、
    被写体に関する情報と、前記多視点撮影した画像の撮影者と前記被写体との関係を示す関係情報と、を保持する被写体情報保持工程と、
    前記多視点撮影した画像に対し前記被写体に関する情報に基づいて被写体を認識する認識工程と、
    前記関係情報に基づいて、前記認識された被写体から着目する被写体を決定する決定工程と、
    前記着目する被写体に焦点を合わせた合成画像を前記多視点撮影した画像から生成する生成工程と、
    を実行させるためのプログラム。
13. 多視点撮影した画像から、着目する被写体に焦点を合わせた合成画像を生成する情報処理装置に備えられたコンピュータに、
    多視点撮影した画像を保持する画像保持工程と、
    被写体に関する情報と、前記情報処理装置の利用者と前記被写体との関係を示す関係情報と、を保持する被写体情報保持工程と、
    前記多視点撮影した画像に対し前記被写体に関する情報に基づいて被写体を認識する認識工程と、
    前記関係情報に基づいて、前記認識された被写体から着目する被写体を決定する決定工程と、
    前記着目する被写体に焦点を合わせた合成画像を前記多視点撮影した画像から生成する生成工程と、
    を実行させるためのプログラム。

Images