WO2014132816A1

WO2014132816A1 - 画像処理装置および方法、並びにプログラム

Info

Publication number: WO2014132816A1
Application number: PCT/JP2014/053481
Authority: WO
Inventors: 英史山田; 吉村　真一; 大木　光晴; 宗一小波; 真透舘; 裕考篠崎; 真由子丸山
Original assignee: ソニー株式会社
Priority date: 2013-02-27
Filing date: 2014-02-14
Publication date: 2014-09-04
Also published as: CN105027552B; EP2963910A4; US20150348301A1; AU2014222020A1; EP2963910A1; US20170163887A1; US9727993B2; CN105027552A

Abstract

　本技術は、より効果的に画像を表示するとともに、利便性を向上させることができるようにする画像処理装置および方法、並びにプログラムに関する。イン画像撮像部は、画像処理装置の表面側の方向にある被写体をイン画像として撮像し、アウト画像撮像部は、画像処理装置の裏面側の方向にある被写体をアウト画像として撮像する。信号処理部は、例えばイン画像を２値化して得られる２値画像を付加情報として、アウト画像の画像データに付加する。また、信号処理部は、アウト画像の再生時において、付加情報としての２値画像をアウト画像に合成し、その結果得られた画像を表示させる。このように、イン画像から得られる情報をアウト画像に付加情報として付加しておくことで、より効果的に画像を表示することができるとともに、利便性を向上させることができる。本技術は、画像処理装置に適用することができる。

Description

画像処理装置および方法、並びにプログラム

　本技術は画像処理装置および方法、並びにプログラムに関し、特に、より効果的に画像を表示するとともに、利便性を向上させることができるようにした画像処理装置および方法、並びにプログラムに関する。

　従来、２つのカメラが搭載されている撮像装置が知られている。このような撮像装置には、２つのカメラで同時に画像を撮像することができるものもある。

　例えば、そのような撮像装置として、メインカメラとサブカメラで画像を撮像し、サブマイクロホンで撮影者の音声が収音された場合には、メインカメラで得られた画像に対して、サブカメラで得られた画像を合成して記録するものもある（例えば、特許文献１参照）。

特開２０１１－２５０３４０号公報

　しかしながら、上述した技術では、メインカメラで得られた画像に対して、サブカメラで得られた画像が合成されてしまうと、その後は、画像合成が行なわれていない、メインカメラで得られた画像のみを表示させることができなくなってしまう。そのため、撮像された画像を十分効果的に表示することができなかった。

　また、画像合成を行なうか否かを切り替えようとすると、画像の撮像時にいちいち発話等による指示を行なわなければならないため面倒であった。そのため、撮影者は画像の撮像に集中できなくなってしまうことがあった。

　本技術は、このような状況に鑑みてなされたものであり、より効果的に画像を表示するとともに、利便性を向上させることができるようにするものである。

　本技術の一側面の画像処理装置は、第１の方向を撮像する第１の撮像部と、前記第１の方向とは異なる第２の方向を撮像する第２の撮像部と、前記第１の撮像部による撮像で得られた第１の画像に基づいて付加情報を生成する付加情報生成部と、前記第２の撮像部による撮像で得られた第２の画像の画像データに前記付加情報を付加する付加処理部とを備える。

　前記付加情報生成部には、前記第１の画像の情報量を圧縮することで、前記付加情報を生成させることができる。

　前記付加情報生成部には、前記第１の画像のサイズを圧縮することで、前記付加情報を生成させることができる。

　前記第１の撮像部には、前記画像処理装置を操作するユーザの方向を前記第１の方向として撮像させ、画像処理装置には、前記付加情報から得られる画像を前記第２の画像に合成する合成部をさらに設けることができる。

　前記第１の撮像部には、前記画像処理装置を操作するユーザの方向を前記第１の方向として撮像させ、前記付加情報生成部には、前記第１の画像に対する顔認識処理を行なうことで、前記第２の画像の撮影者情報を前記付加情報として生成させることができる。

　画像処理装置には、前記付加情報に基づいて、複数の前記第２の画像から特定の撮影者により撮像された前記第２の画像を検出する抽出部と、前記抽出部により検出された前記第２の画像のみを表示させる再生部とをさらに設けることができる。

　画像処理装置には、前記付加情報としての前記撮影者情報により定まる記録領域に前記第２の画像を記録させる分類部をさらに設けることができる。

　画像処理装置には、前記第１の撮像部が設けられた、前記画像処理装置を操作するユーザ側の面に設けられ、前記第２の画像の撮像時に前記第２の撮像部により取り込まれた画像を表示する表示部をさらに設け、前記付加情報生成部には、前記第１の画像に基づいて前記ユーザの視線方向を検出することで、前記第２の画像上の前記ユーザが注視していた注視領域を示す情報を前記付加情報として生成させることができる。

　画像処理装置には、前記付加情報に基づいて、前記第２の画像の表示を制御する再生部をさらに設けることができる。

　前記再生部には、前記付加情報に基づいて複数の前記第２の画像を重ねて表示させることができる。

　画像処理装置には、前記第２の画像に対して画角変換処理を施す画角変換部をさらに設け、前記付加情報生成部には、前記第１の画像上の主要な被写体を含む領域を切り出して得られたクロップ画像を前記付加情報とさせ、前記付加処理部には、前記画角変換処理が施された前記第２の画像の画像データに前記付加情報を付加させることができる。

　画像処理装置には、前記付加情報としての前記クロップ画像と、前記画角変換処理が施された前記第２の画像とを並べて合成することで、前記第２の撮像部により撮像された前記第２の画像と同じアスペクト比の合成画像を生成する合成部をさらに設けることができる。

　前記第１の撮像部には、前記画像処理装置を操作するユーザの方向を前記第１の方向として撮像させ、前記付加情報生成部には、前記第１の画像に基づいて前記ユーザの笑顔を検出するとともに前記ユーザの笑顔の度合いを前記付加情報として生成させ、前記第２の撮像部には、前記ユーザの笑顔が検出されたとき前記第２の方向を撮像させることができる。

　画像処理装置には、前記付加情報としての前記笑顔の度合いにより定まる記録領域に前記第２の画像を記録させる分類部をさらに設けることができる。

　前記第１の撮像部には、前記画像処理装置を操作するユーザの方向を前記第１の方向として撮像させ、前記付加情報生成部には、前記第１の画像に基づいて前記ユーザの笑顔を検出するとともに前記ユーザの笑顔の度合いを前記付加情報として生成させ、前記付加情報としての前記笑顔の度合いにより定まる記録領域に前記第２の画像を記録させる分類部をさらに設けることができる。

　本技術の一側面の画像処理方法またはプログラムは、第１の撮像部により第１の方向を撮像し、第２の撮像部により前記第１の方向とは異なる第２の方向を撮像し、前記第１の撮像部による撮像で得られた第１の画像に基づいて付加情報を生成し、前記第２の撮像部による撮像で得られた第２の画像の画像データに前記付加情報を付加するステップを含む。

　本技術の一側面においては、第１の撮像部により第１の方向が撮像され、第２の撮像部により前記第１の方向とは異なる第２の方向が撮像され、前記第１の撮像部による撮像で得られた第１の画像に基づいて付加情報が生成され、前記第２の撮像部による撮像で得られた第２の画像の画像データに前記付加情報が付加される。

　本技術の一側面によれば、より効果的に画像を表示するとともに、利便性を向上させることができる。

画像処理装置の外観の構成例を示す図である。アウト画像の表示について説明する図である。画像処理装置の構成例を示す図である。信号処理部の構成例を示す図である。撮像処理を説明するフローチャートである。ランレングスコードについて説明する図である。再生処理を説明するフローチャートである。信号処理部の構成例を示す図である。撮像処理を説明するフローチャートである。再生処理を説明するフローチャートである。アウト画像の一覧表示例を示す図である。アウト画像の一覧表示例を示す図である。信号処理部の構成例を示す図である。撮像処理を説明するフローチャートである。再生処理を説明するフローチャートである。アウト画像のスライドショー表示例を示す図である。合成画像について説明する図である。信号処理部の構成例を示す図である。撮像処理を説明するフローチャートである。再生処理を説明するフローチャートである。撮影者ごとのアウト画像の記録について説明する図である。信号処理部の構成例を示す図である。撮像処理を説明するフローチャートである。再生処理を説明するフローチャートである。信号処理部の構成例を示す図である。撮像処理を説明するフローチャートである。再生処理を説明するフローチャートである。笑顔の度合いごとのアウト画像の記録について説明する図である。信号処理部の構成例を示す図である。撮像処理を説明するフローチャートである。再生処理を説明するフローチャートである。撮像処理を説明するフローチャートである。コンピュータの構成例を示す図である。

　以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈本技術の概要について〉
　本技術は、例えば多機能型携帯電話機やデジタルカメラなど、互いに異なる方向を撮像可能な複数の撮像部を有する機器に関し、主となる撮像部で画像を撮像したときに、その画像と同時に撮像された他の画像から得られる情報を付加情報として生成するものである。本技術では、このような付加情報を生成することで、より効果的に画像を表示することができるようになる。また、付加情報を画像データに埋め込むことで、画像の撮像時に面倒な操作を必要とせずに、画像の再生時により自由度の高い表示制御を行なうことができるようになり、利便性を向上させることができる。

　図１は、本技術を適用した多機能型携帯電話機等の画像処理装置の外観の構成例を示す図である。

　図１では、矢印Ａ１１に示される画像処理装置１１の外観は、表面側、つまりユーザが画像処理装置１１を持って操作するときにユーザから見える側の外観を示している。また、矢印Ａ１２に示される画像処理装置１１の外観は、側面側、つまり矢印Ａ１１に示す画像処理装置１１を図中、左側または右側から見たときの外観を示している。さらに、矢印Ａ１３に示される画像処理装置１１の外観は、裏面側、つまり表面側とは反対側の面の外観を示している。

　矢印Ａ１１に示すように、画像処理装置１１の表面側には画像等が表示される表示部２１が設けられており、表示部２１には、ユーザが入力操作を行なうためのタッチパネルが重畳されて設けられている。また、画像処理装置１１の表面における表示部２１の図中、上側には画像処理装置１１の表面側の方向にある被写体を撮像するイン画像撮像部２２も設けられている。したがって、イン画像撮像部２２により撮像される画像は殆どの場合、画像処理装置１１を操作しているユーザの画像となる。なお、以下、イン画像撮像部２２により撮像される画像をイン画像と呼ぶこととし、イン画像としてユーザの画像が撮像されるものとして説明を続ける。

　さらに、矢印Ａ１３に示すように、画像処理装置１１の裏面には、画像処理装置１１の裏面側の方向にある被写体を撮像するアウト画像撮像部２３が設けられている。この例では、アウト画像撮像部２３は、イン画像撮像部２２の撮像方向とは反対方向を撮像するように設けられているが、イン画像撮像部２２とアウト画像撮像部２３は、互いに撮像方向が異なるように配置されていればよい。

　アウト画像撮像部２３により撮像される画像は、通常、ユーザが見ている風景や人物などの画像、つまりユーザが撮像したいと考えている被写体の画像となる。以下、アウト画像撮像部２３により撮像される画像をアウト画像と呼ぶこととする。

　このような画像処理装置１１でユーザが所望の被写体を撮像する場合、例えば図２の左側に示すように、ユーザＵ１１は、目的とする被写体Ｈ１１に画像処理装置１１のアウト画像撮像部２３を向けて、撮像を指示する。すると、画像処理装置１１は、ユーザＵ１１の撮像指示に応じて、イン画像とアウト画像を同時またはほぼ同時に撮像する。

　したがって、画像処理装置１１では、アウト画像として被写体Ｈ１１の画像が得られ、イン画像としてユーザＵ１１の画像が得られる。

　画像処理装置１１は、このようにして得られたイン画像に対して、必要に応じて符号化等の処理を行なって、その結果得られた画像を付加情報とする。そして、画像処理装置１１は、アウト画像の画像データに対して、得られた付加情報を付加する。

　ここで、付加情報は、アウト画像上に合成されるのではなく、アウト画像の画像データに付加的な情報として埋め込まれる。具体的には、付加情報は例えばExif（Exchangeable image file format）に準拠するアウト画像の画像データに対して、いわゆるExifデータとして、つまりアウト画像に関するメタデータとして埋め込まれる。

　また、アウト画像の再生時には、ユーザはアウト画像のみを表示させるか、またはアウト画像に付加情報から得られる画像を合成させて表示させるかを選択することができる。例えば、アウト画像に付加情報から得られる画像を合成させて表示させる場合、図中、右側に示すアウト画像が表示部２１に表示される。

　この例では、被写体Ｈ１１が写っているアウト画像に対して、付加情報から得られた画像ＩＰ１１が重畳表示されている。

　画像ＩＰ１１は、ユーザＵ１１の顔の画像となっているので、アウト画像を鑑賞するユーザは、誰がアウト画像を撮像したかや、アウト画像撮像時のユーザＵ１１の表情、つまり笑っているか、怒っているか、興奮しているかなどを知ることができる。

　このように、イン画像から得られた画像を、アウト画像の付加情報として画像データに埋め込み、アウト画像の再生時に必要に応じて付加情報を利用することで、アウト画像の撮像時の撮影者の状況を確認することができる。これにより、例えば旅行中などに撮像したアウト画像を、後で鑑賞するときに思い出としてより楽しむことができるようになる。

　また、画像処理装置１１によれば、アウト画像の撮像時の状況を画像として確認することができるので、例えば事故の調査時に参考情報としてアウト画像を撮像すれば、撮影者や、撮像環境、撮像場所などの情報を簡単に残しておくことができる。

〈画像処理装置の構成例〉
　次に、画像処理装置１１のより詳細な構成について説明する。

　図３は、画像処理装置１１のより詳細な構成例を示すブロック図である。なお、図３において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図３に示す画像処理装置１１は、表示部２１、イン画像撮像部２２、アウト画像撮像部２３、操作入力部５１、制御部５２、信号処理部５３、および記録部５４から構成される。

　操作入力部５１は、例えば表示部２１に重畳されて設けられたタッチパネルなどからなり、ユーザの操作に応じた信号を制御部５２に供給する。

　制御部５２は、操作入力部５１から供給された信号に応じて、画像処理装置１１の全体の動作を制御する。例えば、制御部５２は、イン画像撮像部２２やアウト画像撮像部２３に画像の撮像を指示したり、信号処理部５３にアウト画像の再生や記録を指示したりする。

　信号処理部５３は、イン画像撮像部２２から供給されたイン画像に基づいて付加情報を生成し、アウト画像撮像部２３から供給されたアウト画像に付加情報を付加するとともに、付加情報が付加されたアウト画像を記録部５４に供給して記録させる。また、信号処理部５３は、記録部５４からアウト画像を読み出して表示部２１に供給し、表示させる。

　記録部５４は、信号処理部５３から供給されたアウト画像を記録するとともに、必要に応じて記録しているアウト画像を信号処理部５３に供給する。

〈信号処理部の構成例〉
　また、図３の信号処理部５３は、より詳細には図４に示すように構成される。

　図４に示す信号処理部５３は、圧縮部８１、付加処理部８２、抽出部８３、復号部８４、および再生部８５から構成される。

　圧縮部８１は、イン画像撮像部２２から供給されたイン画像の情報量やサイズを圧縮することで付加情報を生成し、付加処理部８２に供給する。圧縮部８１は、情報量圧縮部９１、サイズ圧縮部９２、および符号化部９３を備えている。

　情報量圧縮部９１は、イン画像を２値化することでイン画像上の被写体の輪郭を抽出する。すなわち、２値化処理によりイン画像が２値画像に変換され、これによりイン画像の情報量が圧縮される。

　サイズ圧縮部９２は、情報量圧縮部９１で得られた２値画像のサイズを小さくすることで、２値画像のサイズを圧縮する。符号化部９３は、サイズ圧縮部９２によりサイズ圧縮された２値画像を符号化し、付加情報とする。なお、符号化部９３による符号化処理もイン画像（２値画像）の情報量を圧縮する処理であるということができる。

　付加処理部８２は、アウト画像撮像部２３から供給されたアウト画像の画像データに対して、圧縮部８１から供給された付加情報を付加し、記録部５４に供給する。

　抽出部８３は、記録部５４からアウト画像を読み出して、アウト画像から付加情報を抽出する。また、抽出部８３は、アウト画像を再生部８５に供給するとともに、アウト画像から抽出した付加情報を復号部８４に供給する。

　復号部８４は、抽出部８３から供給された付加情報を復号して、その結果得られた２値画像を再生部８５に供給する。また、復号部８４は伸長部９４を有しており、伸長部９４は、必要に応じて２値画像のサイズを伸長させる。

　再生部８５は、抽出部８３から供給されたアウト画像を表示部２１に供給して表示させる。また、再生部８５は合成部９５を有しており、合成部９５は、復号部８４から供給された２値画像をアウト画像に合成する。したがって、再生部８５は、必要に応じて２値画像が合成されたアウト画像を表示部２１に表示させることができる。

〈撮像処理の説明〉
　ところで、ユーザが操作入力部５１に対する操作を行なって、アウト画像に付加情報を付加するモードを選択し、所望の被写体の撮像を指示すると、画像処理装置１１は撮像処理を開始して、付加情報が埋め込まれたアウト画像を記録させる。以下、図５のフローチャートを参照して、画像処理装置１１による撮像処理について説明する。

　ステップＳ１１において、アウト画像撮像部２３は、制御部５２の指示に従ってアウト画像を撮像し、付加処理部８２に供給する。例えばアウト画像として、風景画像などが撮像される。

　ステップＳ１２において、イン画像撮像部２２は、制御部５２の指示に従ってイン画像を撮像し、圧縮部８１に供給する。例えばイン画像として、画像処理装置１１を操作しているユーザの顔の画像が撮像される。

　ステップＳ１３において、情報量圧縮部９１は、イン画像撮像部２２から供給されたイン画像を２値画像に変換する。例えば情報量圧縮部９１は、カラー画像であるイン画像を、２５６階調のモノクロ画像に変換し、さらにそのモノクロ画像を２値化して２値画像を生成する。

　これにより、例えばアウト画像を撮像したユーザの顔画像が２値画像として得られる。この２値画像は、アウト画像を撮像したときのユーザの顔の画像であるので、アウト画像撮像時のユーザの表情や気分などを知ることができる画像となる。

　ステップＳ１４において、サイズ圧縮部９２は、情報量圧縮部９１で得られた２値画像のサイズを圧縮する。例えばアウト画像と同じ大きさの２値画像が、160画素×120画素の大きさ、つまりサムネイルサイズの画像に縮小される。

　ステップＳ１５において、符号化部９３は、サイズ圧縮部９２によりサイズ圧縮された２値画像を符号化し、付加情報とする。

　例えば、符号化部９３は図６に示すように、２値画像ＲＰ１１に対してランレングス法により符号化を行い、その結果得られたランレングスコードを付加情報とする。

　なお、２値画像ＲＰ１１の各四角形は１つの画素を表している。特に、白い四角形は画素値として「１」を有する画素を表しており、黒い四角形は画素値として「０」を有する四角形を表している。

　また、図６では、２値画像ＲＰ１１における図中、横方向の位置を示す座標が示されており、例えば２値画像ＲＰ１１の図中、左端に位置する画素の座標は「１」とされ、図中、右端に位置する画素の座標は「１１」とされている。つまり、各画素の座標は、それらの画素が、２値画像ＲＰ１１の左端から何番目に位置する画素であるかを示している。

　２値画像ＲＰ１１がランレングス法で符号化される場合、２値画像ＲＰ１１は、図中、横方向に並ぶ画素列ごとにコード化が行なわれる。画素列のコード化では、画素値として「１」を有する画素からなる画素列の始点位置と、その画素列の長さとからなるランレングスコードによって、コード化対象となる画素列が表現される。

　具体的には、例えば２値画像ＲＰ１１の図中、最も上側にある画素列を注目画素列とすると、この注目画素列では、座標が「１」である画素が画素値「１」を有しており、その隣にある座標「２」の画素は画素値が「０」である。そのため、座標が「１」である画素を始点とする画素値が「１」である画素列を、画素列の「始点，長さ」で表現すると、「１，１」となる。

　同様にして、注目画素列において、座標が「４」の画素を始点とする画素値が「１」である画素からなる画素列を「始点，長さ」で表現すると、「４，３」となる。さらに、注目画素列において、座標が「１０」の画素を始点とする画素値が「１」である画素からなる画素列を「始点，長さ」で表現すると、「１０，２」となる。

　そこで、符号化部９３は、図中、右側に示すように、これらの３つの「始点，長さ」を示す符号を並べて得られるコード「１，１，４，３，１０，２」を、注目画素列のランレングスコードとする。符号化部９３は、このようにして２値画像ＲＰ１１の各画素列について得られたランレングスコードを、２値画像ＲＰ１１の付加情報とする。

　圧縮部８１は、符号化部９３による符号化によって得られた付加情報を、付加処理部８２に供給する。

　図５のフローチャートの説明に戻り、ステップＳ１６において、付加処理部８２は、アウト画像撮像部２３から供給されたアウト画像の画像データに、圧縮部８１から供給された付加情報を付加し、記録部５４に供給する。すなわち、アウト画像のメタデータとして付加情報がアウト画像の画像データに埋め込まれる。

　ステップＳ１７において、記録部５４は、付加処理部８２から供給されたアウト画像を記録し、撮像処理は終了する。

　以上のようにして、画像処理装置１１は、アウト画像と同時に撮像されたイン画像の情報を圧縮して付加情報とし、アウト画像に付加情報を付加する。このように、アウト画像に付加情報を付加することで、アウト画像の再生時に付加情報を利用して、より効果的に画像を表示することができるとともに、利便性を向上させることができる。

　例えば、画像処理装置１１では、アウト画像に付加情報が付加されるので、再生時にアウト画像のみを表示させるか、または付加情報を利用してアウト画像の表示を行なうかを指定することができる。したがって、より効果的にアウト画像を表示することができ、かつ利便性も向上させることができる。

　しかも、ユーザはアウト画像の撮像時に、イン画像から得られる画像のアウト画像への合成の指示操作などを行なう必要がなく、撮像作業に集中することができる。これにより、ユーザの利便性をさらに向上させることができる。

〈再生処理の説明〉
　記録部５４にアウト画像が記録されると、ユーザは操作入力部５１を操作して、記録されたアウト画像を再生させることができる。その際、ユーザは例えば操作入力部５１を操作することで、アウト画像のみを表示させるか、またはアウト画像に付加情報から得られる画像を合成表示させるかを選択することができる。

　以下、図７のフローチャートを参照して、ユーザによりアウト画像の再生が指示されたときに画像処理装置１１により行なわれる再生処理について説明する。

　ステップＳ４１において、抽出部８３は、制御部５２の指示に従ってユーザにより指定されたアウト画像を記録部５４から読み出す。

　ステップＳ４２において、抽出部８３は、読み出したアウト画像を再生部８５に供給するとともに、アウト画像の画像データから付加情報を読み出して復号部８４に供給する。

　ステップＳ４３において、復号部８４は、抽出部８３から供給された付加情報を復号する。例えば、付加情報がランレングスコードである場合、復号部８４は、ランレングスコードから２値画像を復元する。

　ステップＳ４４において、伸長部９４は、復号により得られた２値画像のサイズを伸長させる。例えば、160画素×120画素のサムネイルサイズの２値画像が、適切なサイズの２値画像に拡大される。

　復号部８４は、伸長部９４により伸長された２値画像を、付加情報から得られた画像として再生部８５に供給する。

　ステップＳ４５において、再生部８５は２値画像を再生するか否かを判定する。

　例えば、ユーザが操作入力部５１を操作して、付加情報から得られる２値画像をアウト画像に合成して表示させるように指示した場合、その旨の信号が制御部５２から信号処理部５３に供給される。再生部８５は、制御部５２から信号処理部５３に供給された信号が、２値画像をアウト画像に合成して表示させる旨の信号である場合、２値画像を再生すると判定する。

　ステップＳ４５において、２値画像を再生すると判定された場合、ステップＳ４６において、合成部９５は、抽出部８３から供給されたアウト画像に復号部８４から供給された２値画像を合成する。例えば、２値画像が合成されるアウト画像上の位置は、予め定められた位置やユーザにより指定された位置とされてもよいし、画像認識等により特定された、被写体（前景）のない背景領域の位置とされてもよい。

　再生部８５は、２値画像が合成されたアウト画像を表示部２１に供給し、アウト画像の表示を制御する。

　ステップＳ４７において、表示部２１は、再生部８５から供給された、２値画像が合成されたアウト画像を表示し、再生処理は終了する。

　また、ステップＳ４５において、２値画像を再生しないと判定された場合、再生部８５は、抽出部８３から供給されたアウト画像をそのまま表示部２１に供給し、処理はステップＳ４８に進む。この場合、２値画像が合成されていないアウト画像が表示部２１に供給される。

　ステップＳ４８において、表示部２１は、再生部８５から供給されたアウト画像を表示し、再生処理は終了する。

　このようにして画像処理装置１１は、ユーザの指示に応じて、アウト画像をそのまま表示させたり、アウト画像に付加されている付加情報から得られた２値画像をアウト画像に合成して表示させたりする。

　このようにアウト画像に付加された付加情報を利用すれば、ユーザのそのときの気分等に応じてアウト画像のみを表示させたり、２値画像が合成されたアウト画像を表示させたりすることができる。これにより、より効果的にアウト画像を表示させることができるとともに、利便性を向上させることができる。

　特に、アウト画像に２値画像を合成すれば、アウト画像を鑑賞するユーザは、アウト画像を撮像したときのユーザの顔の表情などを知ることができ、アウト画像の鑑賞をより楽しむことができる。

　なお、以上においては、イン画像の情報を圧縮する例として、イン画像のモノクロ化、２値化、サイズ縮小、および符号化を行なう場合について説明したが、これらの圧縮処理のうちの任意のものが適宜組み合わされて行なわれるようにしてもよい。例えば、イン画像のモノクロ化のみが行なわれて付加情報とされてもよいし、イン画像のモノクロ化と符号化が行なわれて付加情報とされてもよい。また、イン画像の一部の領域に対して圧縮が行なわれ、その結果得られた画像や符号（コード）が付加情報とされてもよい。

〈第２の実施の形態〉
〈信号処理部の構成例〉
　また、以上においては、付加情報としてイン画像から得られた２値画像を生成する例について説明したが、２値画像以外にも他の情報が付加情報として生成されるようにしてもよい。例えば、付加情報としてイン画像から得られた撮影者情報と、２値画像とが生成されるようにしてもよい。

　そのような場合、信号処理部５３は、例えば図８に示すように構成される。なお、図８において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図８に示す信号処理部５３は、圧縮部８１、付加処理部８２、抽出部８３、復号部８４、再生部８５、および顔認識部１２１から構成される。つまり、図８の信号処理部５３は、図４の信号処理部５３にさらに顔認識部１２１が設けられた構成とされている。

　顔認識部１２１は、記録部５４に予め記録されている登録情報を用いて、イン画像撮像部２２から供給されたイン画像に対する顔認識を行い、その認識結果を付加情報として付加処理部８２に供給する。

　例えば、記録部５４には、予め登録されたユーザの顔画像の特徴量や、ユーザの顔の識別器などと、そのユーザのユーザ名とが対応付けられ、登録情報として記録されている。顔認識部１２１は、登録情報とイン画像とを用いて、顔認識によりイン画像上のユーザを特定し、その特定結果（顔認識結果）を付加情報とする。

　付加処理部８２は、顔認識部１２１から供給された顔認識結果と、圧縮部８１から供給された２値画像とを付加情報として、アウト画像撮像部２３からのアウト画像に付加し、記録部５４に供給する。

〈撮像処理の説明〉
　次に、図９のフローチャートを参照して、信号処理部５３が図８に示す構成とされる場合に行なわれる撮像処理について説明する。

　なお、ステップＳ７１乃至ステップＳ７５の処理は、図５のステップＳ１１乃至ステップＳ１５の処理と同様であるので、その説明は省略する。但し、ステップＳ７２では、撮像により得られたイン画像が、イン画像撮像部２２から圧縮部８１および顔認識部１２１に供給される。

　ステップＳ７６において、顔認識部１２１は、記録部５４に記録されている登録情報を用いて、イン画像撮像部２２から供給されたイン画像に対する顔認識を行い、その認識結果を付加情報として付加処理部８２に供給する。例えば、付加情報として、顔認識の結果特定されたユーザのユーザ名、すなわち撮影者情報が付加処理部８２に供給される。

　なお、顔認識の結果、イン画像上のユーザが登録されていない新たなユーザ、つまり登録情報としてユーザ名が記録されていないユーザである場合には、必要に応じて登録処理などが行なわれる。

　ステップＳ７７において、付加処理部８２は、顔認識部１２１から供給された撮影者情報と、圧縮部８１から供給された、符号化された２値画像とを付加情報として、アウト画像撮像部２３からのアウト画像の画像データに付加し、記録部５４に供給する。

　ステップＳ７８において、記録部５４は、付加処理部８２から供給されたアウト画像を記録して、撮像処理は終了する。

　以上のようにして、画像処理装置１１は、付加情報としてイン画像から得られた２値画像と撮影者情報とをアウト画像に付加する。

　これにより、より効果的にアウト画像を表示することができるとともに、利便性を向上させることができる。例えば、付加情報として生成された撮影者情報を用いれば、特定の撮影者により撮像されたアウト画像を一覧表示させるなど、効果的にアウト画像を表示することができる。

〈再生処理の説明〉
　また、記録部５４にアウト画像が記録されると、ユーザは操作入力部５１を操作して、特定のユーザが撮像したアウト画像の一覧を表示させることができる。その際、ユーザは例えば操作入力部５１を操作することで、アウト画像のみを表示させるか、またはアウト画像に付加情報から得られる画像を合成表示させるかを選択することができる。

　以下、図１０のフローチャートを参照して、ユーザによりアウト画像の一覧表示が指示されたときに画像処理装置１１により行なわれる再生処理について説明する。

　ステップＳ１０１において、抽出部８３は、記録部５４に記録されている全てのアウト画像を読み出す。

　ステップＳ１０２において、抽出部８３は、読み出した各アウト画像に付加されている付加情報としての撮影者情報を読み出して、特定の撮影者により撮像されたアウト画像を検出する。

　例えば、特定の撮影者は、ユーザが操作入力部５１を操作することで入力された撮影者とされる。制御部５２は、操作入力部５１からの信号に基づいて、必要に応じて信号処理部５３を介して記録部５４から登録情報を読み出し、ユーザにより指定された撮影者を示す情報を信号処理部５３に供給する。すると、抽出部８３は、制御部５２から供給された情報に基づいて、特定の撮影者により撮像されたアウト画像を検出する。

　ステップＳ１０３において、抽出部８３は、検出された特定の撮影者のアウト画像のみを再生部８５に供給するとともに、特定の撮影者のアウト画像の画像データから、付加情報としての符号化された２値画像を読み出して復号部８４に供給する。例えば、符号化された２値画像として、ランレングスコードが復号部８４に供給される。

　アウト画像から付加情報が読み出されると、その後、ステップＳ１０４乃至ステップＳ１０７の処理が行なわれるが、これらの処理は、図７のステップＳ４３乃至ステップＳ４６の処理と同様であるので、その説明は省略する。

　但し、ステップＳ１０４乃至ステップＳ１０７では、特定の撮影者により撮像された全てのアウト画像について、そのアウト画像から読み出された付加情報としての符号化された２値画像が復号され、アウト画像に対する２値画像の合成が行なわれる。

　ステップＳ１０８において、表示部２１は、再生部８５から供給された、２値画像が合成されたアウト画像を一覧表示し、再生処理は終了する。

　これにより、例えば図１１に示すアウト画像ＳＭ１１－１乃至アウト画像ＳＭ１１－６が表示部２１に表示される。この例では、表示部２１上に６つのアウト画像ＳＭ１１－１乃至アウト画像ＳＭ１１－６が並べられて表示されている。そして、それらのアウト画像ＳＭ１１－１乃至アウト画像ＳＭ１１－６には、付加情報としての２値画像ＩＰ２１－１乃至２値画像ＩＰ２１－６が合成表示されている。

　このように、特定の撮影者のアウト画像のみを一覧表示させることで、ユーザは、より簡単に鑑賞したいアウト画像を探し出すことができるようになる。つまり、アウト画像をより効果的に表示することができる。

　例えば、アウト画像ＳＭ１１－１乃至アウト画像ＳＭ１１－６が一覧表示されると、ユーザは操作入力部５１を操作して、それらのアウト画像のうちの１つのみを表示部２１に表示させたり、それらのアウト画像をスライドショー表示させたりすることができる。

　なお、ここでは、各アウト画像に２値画像が合成表示される例について説明したが、予め登録情報としてユーザの顔画像を記録しておき、その顔画像がアウト画像に合成表示されるようにしてもよい。

　図１０のフローチャートの説明に戻り、ステップＳ１０６において、２値画像を再生しないと判定された場合、再生部８５は、抽出部８３から供給されたアウト画像をそのまま表示部２１に供給し、処理はステップＳ１０９に進む。

　ステップＳ１０９において、表示部２１は、再生部８５から供給されたアウト画像を一覧表示し、再生処理は終了する。

　これにより、例えば図１２に示すアウト画像ＳＭ１１－１乃至アウト画像ＳＭ１１－６が表示部２１に表示される。なお、図１２において、図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図１２の例では、表示部２１上に６つのアウト画像ＳＭ１１－１乃至アウト画像ＳＭ１１－６が並べられて表示されている。そして、それらのアウト画像ＳＭ１１－１乃至アウト画像ＳＭ１１－６には、付加情報としての２値画像は合成表示されていない。

　このように、特定の撮影者のアウト画像のみを一覧表示させることで、図１１の例と同様に、ユーザはより簡単に鑑賞したいアウト画像を探し出すことができるようになる。

　以上のようにして画像処理装置１１は、アウト画像に付加情報として付加されている撮影者情報を利用して、特定の撮影者のアウト画像を検出し、検出されたアウト画像を一覧表示させる。また、画像処理装置１１は、アウト画像を一覧表示させるときに、ユーザの指示に応じて、アウト画像に２値画像を合成表示する。

　このように、アウト画像に付加された付加情報としての撮影者情報を利用すれば、特定の撮影者のアウト画像のみを表示させるなど、より効果的にアウト画像を表示することができるとともに利便性を向上させることができる。また、付加情報としての符号化された２値画像を利用すれば、アウト画像を一覧表示するときに、アウト画像のみを表示させたり、２値画像が合成されたアウト画像を表示させたりすることができる。

〈第３の実施の形態〉
〈信号処理部の構成例〉
　また、以上においては、付加情報として符号化された２値画像と撮影者情報が生成される場合について説明したが、付加情報としてアウト画像上の注視領域を示す情報が生成されるようにしてもよい。ここで、注視領域とは、アウト画像の撮像時に撮影者であるユーザが注視していたアウト画像上の領域である。

　このように、注視領域を示す情報が付加情報として生成される場合、信号処理部５３は、例えば図１３に示すように構成される。なお、図１３において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図１３に示す信号処理部５３は、注視領域検出部１５１、付加処理部８２、抽出部８３、コスト計算部１５２、および再生部８５から構成される。すなわち、図１３の信号処理部５３は、図４の信号処理部５３における圧縮部８１と復号部８４に代えて、注視領域検出部１５１とコスト計算部１５２が設けられた構成となっている。

　注視領域検出部１５１は、イン画像撮像部２２から供給されたイン画像に基づいて、ユーザが注視しているアウト画像上の領域である注視領域を検出し、その検出結果を付加情報として付加処理部８２に供給する。

　付加処理部８２は、アウト画像撮像部２３から供給されたアウト画像の画像データに、注視領域検出部１５１から供給された注視領域の検出結果を示す情報を付加情報として付加し、記録部５４に供給する。

　コスト計算部１５２は、抽出部８３から供給された付加情報としての注視領域の検出結果を示す情報に基づいて、複数のアウト画像を同時または順番に重ねて表示させようとする場合における、注視領域の重なり度合いをコストとして計算し、再生部８５に供給する。

　再生部８５は、コスト計算部１５２から供給されたコストに基づいて表示部２１によるアウト画像の表示を制御し、各アウト画像の注視領域がなるべく重ならないように、複数のアウト画像を重ねて表示させる。

〈撮像処理の説明〉
　次に、図１４のフローチャートを参照して、信号処理部５３が図１３に示した構成とされる場合に行なわれる撮像処理について説明する。

　なお、ステップＳ１３１およびステップＳ１３２の処理は、図５のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。

　また、ステップＳ１３１では、アウト画像の撮像時に、アウト画像撮像部２３により取り込まれた画像がアウト画像のプレビュー画像として信号処理部５３の再生部８５を介して表示部２１に供給され、表示されるものとする。つまり、ユーザは、表示部２１にアウト画像のプレビュー画像が表示されている状態で、操作入力部５１を操作し、アウト画像の撮像を指示するものとする。

　ステップＳ１３３において、注視領域検出部１５１は、イン画像撮像部２２から供給されたイン画像に基づいて、アウト画像の撮像時におけるユーザの視線方向を検出することで、アウト画像上におけるユーザの注視領域を検出する。

　例えば、注視領域検出部１５１は、イン画像から人の顔の領域を検出して、検出された顔の領域上の目の領域を決定する。そして、注視領域検出部１５１は、決定された目の領域と、予め用意された学習データ群とを用いてパターンマッチングを行なうことで、ユーザの視線方向を求める。例えば、パターンマッチングでは、目の領域とのマッチングで得られるスコアが最も高い学習データに対応付けられている視線方向が、求めるべき視線方向とされる。

　さらに注視領域検出部１５１は、イン画像上のユーザの顔の位置および顔の大きさから、実際のユーザの顔の位置と、イン画像撮像部２２および表示部２１との相対的な位置関係を求め、その位置関係と視線方向から注視領域を検出する。つまり、イン画像の撮像時には、表示部２１にアウト画像のプレビュー画像が表示されているので、イン画像撮像時にユーザが注視していた表示部２１上の領域に表示されていたアウト画像の領域が、ユーザが注目している領域となるはずである。

　なお、視線を検出してユーザの注視領域を特定する技術は、例えば米国特許第６２４６７７９号明細書等に記載されている。

　注視領域検出部１５１は、イン画像に基づいてアウト画像上の注視領域を検出すると、その検出結果として、例えば注視領域を示すアウト画像上の矩形領域の座標（矩形座標）を付加情報として付加処理部８２に供給する。

　ステップＳ１３４において、付加処理部８２は、アウト画像撮像部２３から供給されたアウト画像の画像データに、注視領域検出部１５１から供給された付加情報を付加し、記録部５４に供給する。

　ステップＳ１３５において、記録部５４は、付加処理部８２から供給されたアウト画像を記録し、撮像処理は終了する。

　以上のようにして、画像処理装置１１は、アウト画像と同時に撮像されたイン画像に基づいて検出された、アウト画像の注視領域を示す情報を付加情報とし、アウト画像に付加情報を付加する。

　このように、アウト画像に付加情報を付加することで、アウト画像の再生時に付加情報を利用して、より効果的に画像を表示することができるとともに、利便性を向上させることができる。例えば、アウト画像を複数同時に表示させるときに、各アウト画像上の注視領域がなるべく重ならないように表示することが可能となる。付加情報として生成される注視領域を示す情報は、アウト画像の撮像時にしか得られない情報であり、アウト画像の表示時に利用すれば効果的にアウト画像を提示することができる。

〈再生処理の説明〉
　また、記録部５４にアウト画像が記録されると、ユーザは操作入力部５１を操作してアウト画像をスライドショー表示させることができる。その際、ユーザは例えば操作入力部５１を操作することで、アウト画像を１枚ずつ表示させるか、または複数のアウト画像を重ねて同時に表示させるかを選択することができる。

　以下、図１５のフローチャートを参照して、ユーザによりアウト画像のスライドショー表示が指示されたときに画像処理装置１１により行なわれる再生処理について説明する。

　なお、ステップＳ１６１およびステップＳ１６２の処理は、図７のステップＳ４１およびステップＳ４２の処理と同様であるので、その説明は省略する。

　但し、ステップＳ１６１では、例えばユーザにより指定されたフォルダ内にあるアウト画像など、複数のアウト画像が読み出される。また、ステップＳ１６２では、複数の各アウト画像から読み出された付加情報としての注視領域を示す情報が、抽出部８３からコスト計算部１５２に供給される。

　ステップＳ１６３において、コスト計算部１５２は、抽出部８３から供給された付加情報としての注視領域を示す情報に基づいて、被写体の重なり度合いをコストとして計算し、再生部８５に供給する。

　具体的にはコスト計算部１５２は、注視領域をサリエンシ（重要点）として、アウト画像の各領域の重要度を求める。例えば注視領域の重要度は高くされ、注視領域以外の領域の重要度は低くされる。このとき、注視領域の中心に近いほど重要度が高くされるようにしてもよい。

　コスト計算部１５２は、このようにして求めたアウト画像の各領域の重要度に基づいて、同時に表示される複数のアウト画像の重ね方について、各被写体の重なり度合いのコストを計算し、再生部８５に供給する。例えば、より重要度の高い領域が他のアウト画像と重なって見えなくなってしまう重ね方がされる場合には、コストがより高くなるようにコスト計算が行なわれる。

　ステップＳ１６４において、再生部８５は、複数のアウト画像を重ねて表示するか否かを判定する。

　ステップＳ１６４において、複数のアウト画像を重ねて表示すると判定された場合、ステップＳ１６５において、合成部９５は、コスト計算部１５２から供給されたコストに基づいて、抽出部８３から供給された複数のアウト画像を重ねて合成する。

　例えば、合成部９５は、コスト計算部１５２から供給された最も低いコストにより定まる重ね方で、複数のアウト画像を重ねて合成する。これにより、各アウト画像の主要な被写体がなるべく重ならないように、つまり注視領域が他のアウト画像に隠れてしまわないように、複数のアウト画像が重ねられる。

　再生部８５は、合成された複数のアウト画像を表示部２１に供給し、それらの複数のアウト画像のスライドショー表示を指示する。

　ステップＳ１６６において、表示部２１は、再生部８５から供給された、合成された複数のアウト画像を表示することで、複数のアウト画像が同時に表示された状態でアウト画像をスライドショー表示し、再生処理は終了する。

　これにより、表示部２１には、例えば図１６に示すアウト画像が表示される。

　図１６の例では、表示部２１に３つのアウト画像Ｐ１１－１乃至アウト画像Ｐ１１－３が表示されており、それらのアウト画像の一部が互いに重なっている。特に、この例では、各アウト画像の主要な被写体が他のアウト画像に隠れてしまわないように、３つのアウト画像が重ねられている。

　なお、複数のアウト画像を重ねて表示させる方法としては、アウト画像を１枚ずつ順番に重ねて表示していくようにしてもよいし、複数枚のアウト画像が重ねられて同時に表示された後、次の異なる複数枚のアウト画像が同時に表示されるようにしてもよい。

　このように、画像のサリエンシに基づいて複数の画像を重ねて表示する技術は、例えば米国特許第７５９５８０９号明細書等に記載されている。

　図１５のフローチャートの説明に戻り、ステップＳ１６４において、アウト画像を重ねて表示しないと判定された場合、再生部８５は、抽出部８３から供給されたアウト画像を順番に表示部２１に供給し、処理はステップＳ１６７に進む。

　ステップＳ１６７において、表示部２１は、再生部８５から供給されたアウト画像を順番に表示することで、アウト画像のスライドショー表示を行ない、再生処理は終了する。

　以上のようにして、画像処理装置１１は、アウト画像に付加情報として付加された注視領域を示す情報に基づいて、注視領域にできるだけ他のアウト画像が重ならないように複数のアウト画像を重ねて表示する。このように、アウト画像の撮像時にしか得ることのできない付加情報を利用することで、アウト画像をより効果的に表示させることができる。

　なお、以上においては、付加情報としての注視領域を示す情報を、アウト画像を重ねて表示させるために用いる例について説明したが、アウト画像の他の表示方法のために注視領域を示す情報が用いられるようにしてもよい。例えば、アウト画像が１枚ずつ順番に表示される場合に、注視領域を示す情報に基づいて、アウト画像の注視領域が拡大表示（ズーム）されるようにしてもよい。

〈第４の実施の形態〉
〈信号処理部の構成例〉
　また、イン画像の一部の領域が付加情報とされて、アウト画像の再生時に付加情報とされた画像がアウト画像に合成されるようにしてもよい。

　具体的には、例えば図１７に示すように、風景を被写体とするアウト画像ＯＴ１１と、ユーザを被写体とするイン画像ＩＮ１１とが撮像されたとする。

　この場合、アウト画像ＯＴ１１に対して画角変換処理が行なわれて、その結果得られた画像Ｔ１１が最終的なアウト画像とされる。この例では、画像Ｔ１１はアウト画像ＯＴ１１のアスペクト比を変換して得られる画像であり、画像Ｔ１１にはアウト画像ＯＴ１１上の全ての被写体が写っている。すなわち、画像Ｔ１１は、アウト画像ＯＴ１１が図中、横方向に縮小された画像となっている。

　また、イン画像ＩＮ１１に対して顔認識などの処理が行なわれて、イン画像ＩＮ１１から主要な被写体の領域が検出され、イン画像ＩＮ１１の主要な被写体の領域を含む領域が切り出されて、付加情報としての画像Ｃ１１とされる。特に、主要な被写体が人の顔である場合には、主要な被写体の領域に対して画像変形処理を施すと、人の顔が歪んでしまうが、ここでは主要な被写体の領域を切り出すことで、歪みのない画像が得られる。

　なお、画像Ｔ１１の図中、縦方向の長さと横方向の長さの比は、アウト側アスペクトパラメータとして予め指定されているものとする。同様に、画像Ｃ１１の図中、縦方向の長さと横方向の長さの比は、イン側アスペクトパラメータとして予め指定されているものとする。

　また、これらのアウト側アスペクトパラメータとイン側アスペクトパラメータは、画像Ｔ１１と画像Ｃ１１を図中、横方向に並べて１つの画像としたときに、得られる画像のアスペクト比が、元のアウト画像ＯＴ１１のアスペクト比と同じとなるように定められる。

　このようにして画像Ｃ１１が得られると、画像Ｃ１１が付加情報として画像Ｔ１１の画像データに付加される。

　そして、画像Ｔ１１の再生時には、ユーザは画像Ｔ１１をそのまま再生させるか、または画像Ｔ１１に付加情報としての画像Ｃ１１を合成させて表示させるかを選択することができる。

　例えば、画像Ｔ１１に画像Ｃ１１を合成した画像の表示が指示された場合、画像処理装置１１は、画像Ｔ１１と画像Ｃ１１を図中、横方向に並べて合成し、合成画像Ｐ２１を生成する。そして、画像処理装置１１は、得られた合成画像Ｐ２１を表示する。

　例えば、イン画像とアウト画像の一部を切り出して連結する場合には、主要な被写体や風景が削除されてしまう恐れがある。これに対して、合成画像Ｐ２１は、元のアウト画像ＯＴ１１の内容を全て残しつつ、そのアウト画像ＯＴ１１撮像時の撮影者の様子も含まれた画像となっており、より効果的に画像を表示することができる。

　また、イン画像とアウト画像を単純に並べて連結する場合には、画像のアスペクト比が変化し、表示部２１とのアスペクト比の違いなどにより、画像を小さく表示しなければならないなどの支障が生じてしまう。これに対して、合成画像Ｐ２１は、元のアウト画像ＯＴ１１と同じアスペクト比となるので、表示の際に支障をきたすこともない。

　このように、イン画像の一部の領域を切り出して付加情報とする場合、信号処理部５３は、例えば図１８に示すように構成される。なお、図１８において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図１８に示す信号処理部５３は、画角変換部１８１、付加処理部８２、主要領域検出部１８２、クロップ処理部１８３、抽出部８３、および再生部８５から構成される。

　画角変換部１８１は、指定されたアウト側アスペクトパラメータに基づいて、アウト画像が目標となるアスペクト比になるように、アウト画像撮像部２３から供給されたアウト画像に対して画角変換処理を行い、付加処理部８２に供給する。

　主要領域検出部１８２は、イン画像撮像部２２から供給されたイン画像から、主要な被写体の領域（以下、主要領域と称する）を検出し、その検出結果とイン画像をクロップ処理部１８３に供給する。

　クロップ処理部１８３は、主要領域検出部１８２から供給された主要領域の検出結果と、指定されたイン側アスペクトパラメータとに基づいて、イン画像の主要領域を含む領域を切り出してクロップ画像とし、付加処理部８２に供給する。すなわち、イン画像に対するクロップ処理によって得られたクロップ画像が、付加情報として付加処理部８２に供給される。

　付加処理部８２は、画角変換部１８１から供給されたアウト画像に、クロップ処理部１８３から供給されたクロップ画像を付加情報として付加し、記録部５４に供給する。

　抽出部８３は、記録部５４から読み出したアウト画像から付加情報を抽出し、アウト画像および付加情報を再生部８５に供給する。

〈撮像処理の説明〉
　次に、図１９のフローチャートを参照して、信号処理部５３が図１８の構成とされる場合に画像処理装置１１により行なわれる撮像処理について説明する。

　なお、ステップＳ１９１およびステップＳ１９２の処理は、図５のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。

　ステップＳ１９３において、画角変換部１８１は、指定されたアウト側アスペクトパラメータに基づいて、アウト画像撮像部２３から供給されたアウト画像に対して画角変換処理を行い、付加処理部８２に供給する。

　例えば、画角変換部１８１は、シームカービング処理によってアウト画像の画角を変換する。シームカービング処理では、アウト画像のアスペクト比が、アウト側アスペクトパラメータに示されるアスペクト比となるまで、コストが最小となる垂直方向のパスが求められ、そのパス上の画素が間引かれる処理が繰り返し行なわれる。つまり、元の画像からの絵柄の変化が最も少なくなるように、画素の間引きが行なわれる。

　これにより、例えば図１７に示した画像Ｔ１１が最終的なアウト画像として得られ、付加処理部８２に供給される。

　なお、アウト画像の画角を変換する画角変換処理として、シームカービング処理が行なわれる例について説明したが、画像の縮小処理が画角変換処理として行なわれてもよい。

　ステップＳ１９４において、主要領域検出部１８２は、イン画像撮像部２２から供給されたイン画像から主要領域を検出し、その検出結果とイン画像をクロップ処理部１８３に供給する。例えば、イン画像に対して顔認識処理が行なわれ、イン画像における人の顔の領域が主要領域とされる。

　ステップＳ１９５において、クロップ処理部１８３は、主要領域検出部１８２から供給された主要領域の検出結果と、指定されたイン側アスペクトパラメータとに基づいて、主要領域検出部１８２から供給されたイン画像に対してクロップ処理を行なう。

　すなわち、クロップ処理部１８３は、イン画像において主要領域を含み、イン側アスペクトパラメータにより示されるアスペクト比の領域をクロップ画像として切り出して付加処理部８２に供給する。これにより、例えば図１７に示した画像Ｃ１１がクロップ画像として得られる。このようにして得られたクロップ画像がアウト画像の付加情報とされる。

　ステップＳ１９６において、付加処理部８２は、画角変換部１８１から供給されたアウト画像の画像データに、クロップ処理部１８３から供給されたクロップ画像を付加情報として付加し、記録部５４に供給する。

　ステップＳ１９７において、記録部５４は、付加処理部８２から供給されたアウト画像を記録して、撮像処理は終了する。

　以上のようにして、画像処理装置１１は、イン画像の主要領域を含む領域を切り出して得られたクロップ画像を付加情報とし、アウト画像に付加する。このように、アウト画像にクロップ画像を付加情報として埋め込むことで、アウト画像のみを表示させたり、アウト画像にクロップ画像を合成して表示させたりすることができるようになる。これにより、アウト画像をより効果的に表示させることができるとともに、利便性を向上させることができる。

〈再生処理の説明〉
　また、記録部５４にアウト画像が記録されると、ユーザは操作入力部５１を操作してアウト画像を表示させることができる。その際、ユーザは例えば操作入力部５１を操作することで、アウト画像のみを表示させるか、またはアウト画像に付加情報としてのクロップ画像を合成して表示させるかを選択することができる。

　以下、図２０のフローチャートを参照して、ユーザによりアウト画像の再生が指示されたときに画像処理装置１１により行なわれる再生処理について説明する。

　ステップＳ２２１において、抽出部８３は、制御部５２の指示に従ってユーザにより指定されたアウト画像を記録部５４から読み出す。

　ステップＳ２２２において、抽出部８３は、アウト画像の画像データから付加情報としてのクロップ画像を読み出して、クロップ画像およびアウト画像を再生部８５に供給する。

　ステップＳ２２３において、再生部８５はアウト画像にクロップ画像を合成するか否かを判定する。

　ステップＳ２２３において、クロップ画像を合成すると判定された場合、ステップＳ２２４において、合成部９５は、抽出部８３から供給されたアウト画像にクロップ画像を合成する。具体的には、合成部９５は、アウト画像とクロップ画像を並べて、それらの画像の境界近傍の領域については、アウト画像とクロップ画像の重み付き加算処理を行なうことで、１つの合成画像を生成する。これにより、例えば図１７に示した合成画像Ｐ２１が得られる。

　ここで、重み付き加算処理で用いられる重みは、例えばアウト画像側にある位置ほど、アウト画像の重みが大きくなるように定められる。なお、より詳細には、重み付き加算処理が行なわれる場合には、アウト画像とクロップ画像のサイズは、重み付き加算処理に必要となる領域の分だけ大きくされ、最終的に得られる合成画像が元のアウト画像と同じアスペクト比となるようになされる。

　このようにして合成画像が得られると、再生部８５は合成画像を表示部２１に供給する。

　ステップＳ２２５において、表示部２１は、再生部８５から供給された合成画像を表示し、再生処理は終了する。

　また、ステップＳ２２３において、クロップ画像を合成しないと判定された場合、再生部８５は、抽出部８３から供給されたアウト画像をそのまま表示部２１に供給し、処理はステップＳ２２６に進む。

　ステップＳ２２６において、表示部２１は、再生部８５から供給されたアウト画像を表示し、再生処理は終了する。

　このようにして画像処理装置１１は、ユーザの指示に応じて、アウト画像をそのまま表示させたり、アウト画像に付加情報として付加されているクロップ画像を合成して表示させたりする。

　このようにアウト画像に付加された付加情報を利用すれば、アウト画像または合成画像のうちの所望の画像を表示させることができる。つまり、より効果的にアウト画像を表示させることができ、アウト画像の鑑賞をより楽しませることができる。

〈第５の実施の形態〉
〈信号処理部の構成例〉
　また、上述した第２の実施の形態では、アウト画像に付加情報として撮影者情報が付加される例について説明したが、付加情報としての撮影者情報に応じてアウト画像の記録領域が定められるようにしてもよい。

　例えば、図２１に示すように４つのアウト画像Ｐ４１乃至アウト画像Ｐ４４が撮像され、それらのアウト画像の付加情報として撮影者情報が得られたとする。この例では、アウト画像Ｐ４１乃至アウト画像Ｐ４４の再生時には、必要に応じてアウト画像Ｐ４１乃至アウト画像Ｐ４４に２値画像ＩＰ４１乃至２値画像ＩＰ４４が合成表示される。

　このようにアウト画像Ｐ４１乃至アウト画像Ｐ４４が得られた場合、これらのアウト画像は、そのアウト画像の撮影者情報に示される撮影者ごとのフォルダに記録される。

　例えば、図中、右側に示すように記録部５４には、予め撮影者ＡのフォルダＦＤ１１と、撮影者ＢのフォルダＦＤ１２が設けられている。

　いま、アウト画像Ｐ４１とアウト画像Ｐ４４に付加情報として付加されている撮影者情報が撮影者Ａを示す情報であり、アウト画像Ｐ４２とアウト画像Ｐ４３に付加情報として付加されている撮影者情報が撮影者Ｂを示す情報であるとする。そのような場合、アウト画像Ｐ４１とアウト画像Ｐ４４はフォルダＦＤ１１に記録され、アウト画像Ｐ４２とアウト画像Ｐ４３はフォルダＦＤ１２に記録される。

　このように撮影者情報により定まる記録領域として、撮影者ごとのフォルダにアウト画像が記録される場合、信号処理部５３は、例えば図２２に示すように構成される。なお、図２２において、図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図２２に示す信号処理部５３は、圧縮部８１、付加処理部８２、抽出部８３、復号部８４、再生部８５、顔認識部１２１、および分類部２１１から構成される。つまり、図２２の信号処理部５３は、図８の信号処理部５３にさらに分類部２１１が設けられた構成とされている。

　分類部２１１は、付加処理部８２からのアウト画像を記録部５４に供給して、記録部５４のフォルダのうち、アウト画像に付加された付加情報としての撮影者情報により定まるフォルダ内にアウト画像が格納されるようにアウト画像を記録させる。

〈撮像処理の説明〉
　次に、図２３のフローチャートを参照して、信号処理部５３が図２２に示す構成とされる場合に行なわれる撮像処理について説明する。

　なお、ステップＳ２５１乃至ステップＳ２５７の処理は、図９のステップＳ７１乃至ステップＳ７７の処理と同様であるので、その説明は省略する。但し、ステップＳ２５７では、付加情報として撮影者情報と符号化された２値画像とが付加されたアウト画像の画像データが、付加処理部８２から分類部２１１へと供給される。

　ステップＳ２５８において、分類部２１１は、付加処理部８２から供給されたアウト画像の付加情報に応じてアウト画像を記録部５４に記録させ、撮像処理は終了する。

　具体的には、例えば記録部５４に設けられた各フォルダには、撮影者情報が対応付けられており、分類部２１１は、アウト画像に付加された撮影者情報と同じ撮影者情報が対応付けられているフォルダを特定する。そして、分類部２１１は、特定したフォルダにアウト画像が格納されるようにアウト画像を記録部５４に供給し、記録させる。すなわち、特定したフォルダの領域とされている記録部５４の記録領域にアウト画像が記録される。

　以上のようにして、画像処理装置１１は、付加情報としてイン画像から得られた２値画像と撮影者情報とをアウト画像に付加し、撮影者情報により定まるフォルダにアウト画像を記録する。

　これにより、より効果的にアウト画像を表示することができるとともに、利便性を向上させることができる。例えば、付加情報として生成された撮影者情報を用いれば、特定の撮影者により撮像されたアウト画像を一覧表示させるなど、効果的にアウト画像を表示することができる。しかも、アウト画像の記録時には、撮影者情報に応じて撮影者ごとのフォルダにアウト画像が記録されるため、特定の撮影者のアウト画像を迅速に特定することができるようになる。

　以下、図２４のフローチャートを参照して、ユーザによりアウト画像の一覧表示が指示されたときに画像処理装置１１により行なわれる再生処理について説明する。

　ステップＳ２８１において、抽出部８３は、記録部５４の特定のフォルダに記録されている全てのアウト画像を読み出す。例えば抽出部８３は、操作入力部５１に対する操作によってユーザにより指定された任意のユーザ（撮影者）のフォルダに格納されているアウト画像を読み出す。

　また、例えば抽出部８３が画像処理装置１１にログインしているユーザ（撮影者）のフォルダに格納されているアウト画像を読み出すようにしてもよい。さらに、イン画像撮像部２２によりイン画像を撮像するとともに、顔認識部１２１により顔認識を行い、その顔認識の結果特定されたユーザ、つまり画像処理装置１１を操作しているユーザのフォルダに格納されているアウト画像が読み出されてもよい。

　このようにしてアウト画像が読み出されると、その後、ステップＳ２８２乃至ステップＳ２８８の処理が行なわれて再生処理は終了するが、これらの処理は図１０のステップＳ１０３乃至ステップＳ１０９の処理と同様であるので、その説明は省略する。

　以上のようにして画像処理装置１１は、アウト画像に付加情報として付加されている撮影者情報により示される撮影者ごとに設けられたフォルダからアウト画像を読み出し、アウト画像を一覧表示させる。また、画像処理装置１１は、アウト画像を一覧表示させるときに、ユーザの指示に応じて、アウト画像に２値画像を合成表示する。

　このように、アウト画像に付加された付加情報としての撮影者情報を利用すれば、特定の撮影者のアウト画像のみを表示させるなど、より効果的にアウト画像を表示することができる。また、付加情報としての撮影者情報により定まるフォルダにアウト画像を格納しておけば、より簡単かつ迅速に特定の撮影者のアウト画像を特定することができ、利便性を向上させることができる。

〈第６の実施の形態〉
〈信号処理部の構成例〉
　さらに、画像処理装置１１を操作するユーザの笑顔を検出し、笑顔が検出されたタイミングでアウト画像とイン画像を撮像するとともに、ユーザの笑顔の度合いが付加情報としてアウト画像に付加されるようにしてもよい。

　そのような場合、信号処理部５３は、例えば図２５に示すように構成される。なお、図２５において、図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図２５に示す信号処理部５３は、圧縮部８１、付加処理部８２、抽出部８３、復号部８４、再生部８５、顔認識部１２１、および笑顔検出部２４１から構成される。つまり、図２５の信号処理部５３は、図８の信号処理部５３にさらに笑顔検出部２４１が設けられた構成とされている。

　笑顔検出部２４１は、イン画像撮像部２２から供給されたイン画像から画像処理装置１１を操作するユーザ、つまりアウト画像の撮影者であるユーザの笑顔を検出し、その検出結果に応じて撮像タイミングとなった旨の情報を制御部５２に供給する。制御部５２は、笑顔検出部２４１から供給される、撮像タイミングとなった旨の情報に応じてアウト画像撮像部２３とイン画像撮像部２２を制御し、アウト画像とイン画像を撮像させる。

　また、笑顔検出部２４１は、イン画像から検出されたユーザの笑顔の度合いを付加情報として生成し、付加処理部８２に供給する。

〈撮像処理の説明〉
　次に、図２６のフローチャートを参照して、信号処理部５３が図２５に示す構成とされる場合に行なわれる撮像処理について説明する。この場合、ユーザにより操作入力部５１が操作され、アウト画像の撮像開始が指示されると撮像処理が開始される。

　ステップＳ３１１において、イン画像撮像部２２は、制御部５２の指示に従ってイン画像を撮像し、圧縮部８１、顔認識部１２１、および笑顔検出部２４１に供給する。

　ステップＳ３１２において、笑顔検出部２４１は、イン画像撮像部２２から供給されたイン画像からユーザの笑顔を検出する。

　例えば、笑顔検出部２４１は、予め定められた多数の笑顔について学習データを保持している。ここで、学習データは、特定の笑顔によらず微笑や大きな笑いなどの表情の人の顔の画像データなどとされる。

　笑顔検出部２４１は、各学習データから得られる特徴量と、イン画像から得られる特徴量とを比較してスコア値を算出することによって、イン画像上のユーザの笑顔の度合いを求める。このとき、イン画像との類似の度合いがイン画像上のユーザの笑顔の度合いとされる。また、例えば笑顔の度合いが特定の値以上である場合に、イン画像から笑顔が検出されたとされる。

　なお、笑顔の検出方法は、イン画像から笑顔を検出することができれば、どのような方法であってもよい。例えば笑顔検出部２４１が、予め定められた複数の笑顔の度合いについて、笑顔の度合いごとに学習データを保持しているようにしてもよい。ここで、学習データは、特定の笑顔の度合いである人の平均的な笑顔、つまり微笑や大きな笑いなどの特定の表情の人の平均的な顔の画像データなどとされる。

　笑顔検出部２４１は、各学習データから得られる特徴量と、イン画像から得られる特徴量とを比較して、各学習データのなかから最もイン画像に類似している学習データを特定することで、イン画像上のユーザの笑顔の度合いを求める。このとき、イン画像との類似の度合いが特定の値以上である学習データがある場合、イン画像から笑顔が検出されたとされ、最も類似の度合いの高い学習データの笑顔の度合いが、イン画像上のユーザの笑顔の度合いとされる。

　ステップＳ３１３において、笑顔検出部２４１は、イン画像から笑顔が検出されたか否かを判定する。

　ステップＳ３１３において笑顔が検出されなかったと判定された場合、処理はステップＳ３１１に戻り、上述した処理が繰り返される。

　これに対して、ステップＳ３１３において笑顔が検出されたと判定された場合、笑顔検出部２４１は、撮像タイミングとなった旨の情報を制御部５２に供給し、処理はステップＳ３１４に進む。また、笑顔検出部２４１は、笑顔検出により得られたイン画像上のユーザの笑顔の度合いをアウト画像の付加情報として付加処理部８２に供給する。

　なお、ここでアウト画像の付加情報とされる笑顔の度合いは、アウト画像を撮像する撮影者の笑顔（表情）を示す情報である。また、笑顔検出部２４１における笑顔の度合いの算出には、イン画像から検出されたユーザの顔における口の形状や、歯の領域の大きさなどが用いられるようにしてもよい。

　イン画像から笑顔が検出されると、その後、ステップＳ３１４乃至ステップＳ３１９の処理が行なわれるが、これらの処理は図９のステップＳ７１乃至ステップＳ７６の処理と同様であるので、その説明は省略する。但し、ステップＳ３１４およびステップＳ３１５では、制御部５２が笑顔検出部２４１から供給された撮像タイミングとなった旨の情報に基づいて、アウト画像撮像部２３およびイン画像撮像部２２にアウト画像およびイン画像を撮像させる。すなわち、撮影者の笑顔が検出されたタイミングでアウト画像とイン画像が撮像される。

　ステップＳ３２０において、付加処理部８２は、顔認識部１２１からの撮影者情報、圧縮部８１からの符号化された２値画像、および笑顔検出部２４１からの笑顔の度合いを付加情報として、アウト画像撮像部２３からのアウト画像の画像データに付加する。そして、付加処理部８２は、付加情報が付加されたアウト画像の画像データを記録部５４に供給する。

　ステップＳ３２１において、記録部５４は、付加処理部８２から供給されたアウト画像を記録して、撮像処理は終了する。

　以上のようにして、画像処理装置１１は、付加情報としてイン画像から得られた２値画像、撮影者情報、および笑顔の度合いをアウト画像に付加する。

　これにより、より効果的にアウト画像を表示することができるとともに、利便性を向上させることができる。例えば、付加情報としての笑顔の度合いを用いれば、撮像時に撮影者の表情が特定の表情、つまり特定の度合いの笑顔であったアウト画像を選択的に表示させることができるようになる。また、笑顔の度合いを付加情報とすることで、特定の笑顔の度合いのアウト画像を簡単かつ迅速に検出することができるようになり、利便性を向上させることができる。

〈再生処理の説明〉
　また、記録部５４にアウト画像が記録されると、ユーザは操作入力部５１を操作して、特定の笑顔の度合いのアウト画像をスライドショー表示させたり、一覧表示させたりすることができる。その際、ユーザは例えば操作入力部５１を操作することで、アウト画像のみを表示させるか、またはアウト画像に付加情報から得られる画像を合成表示させるかを選択することができる。

　以下、図２７のフローチャートを参照して、ユーザによりアウト画像のスライドショー表示が指示されたときに画像処理装置１１により行なわれる再生処理について説明する。

　ステップＳ３５１において、抽出部８３は、記録部５４に記録されている全てのアウト画像を読み出す。

　ステップＳ３５２において、抽出部８３は、読み出した各アウト画像に付加されている付加情報としての笑顔の度合いを読み出して、特定の笑顔の度合いのアウト画像を検出する。例えば、特定の笑顔の度合いは、ユーザにより予め指定される。

　特定の笑顔の度合いのアウト画像が検出されると、その後、ステップＳ３５３乃至ステップＳ３５７の処理が行なわれるが、これらの処理は図１０のステップＳ１０３乃至ステップＳ１０７の処理と同様であるので、その説明は省略する。但し、ステップＳ３５３では、特定の笑顔の度合いのアウト画像から付加情報が読み出されるとともに、それらのアウト画像が再生部８５に供給される。また、再生部８５は、２値画像が合成されたアウト画像を順番に表示部２１に供給する。

　ステップＳ３５８において、表示部２１は、再生部８５から供給された、２値画像が合成されたアウト画像を順番に表示し、再生処理は終了する。

　これに対して、ステップＳ３５６において２値画像を再生しないと判定された場合、再生部８５は、抽出部８３から供給されたアウト画像をそのまま表示部２１に供給し、処理はステップＳ３５９に進む。

　ステップＳ３５９において、表示部２１は、再生部８５から供給されたアウト画像を順番に表示し、再生処理は終了する。

　以上のようにして画像処理装置１１は、アウト画像に付加情報として付加されている笑顔の度合いを利用して、特定の笑顔の度合いのアウト画像を検出し、表示させる。また、画像処理装置１１は、アウト画像を表示させるときに、ユーザの指示に応じて、アウト画像に２値画像を合成表示する。

　このように、アウト画像に付加された付加情報としての笑顔の度合いを利用すれば、撮影者が特定の表情であるときに撮像されたアウト画像のみを表示させるなど、より効果的にアウト画像を表示することができる。

〈第７の実施の形態〉
〈信号処理部の構成例〉
　さらに、以上においてはアウト画像の付加情報として笑顔の度合いが付加される例について説明したが、付加情報としての笑顔の度合いに応じてアウト画像の記録領域が定められるようにしてもよい。

　例えば、図２８に示すように３つのアウト画像Ｐ５１乃至アウト画像Ｐ５３が撮像され、それらのアウト画像の付加情報として笑顔の度合いが得られたとする。この例では、アウト画像Ｐ５１乃至アウト画像Ｐ５３の再生時には、必要に応じてアウト画像Ｐ５１乃至アウト画像Ｐ５３に２値画像ＩＰ５１乃至２値画像ＩＰ５３が合成表示される。

　このようにアウト画像Ｐ５１乃至アウト画像Ｐ５３が得られた場合、これらのアウト画像は、撮影者の笑顔の度合いごとのフォルダに記録される。

　例えば、図中、右側に示すように記録部５４には、予め笑顔の度合いＡのフォルダＦＤ２１と、笑顔の度合いＢのフォルダＦＤ２２が設けられている。

　いま、アウト画像Ｐ５１とアウト画像Ｐ５３に付加情報として付加されている笑顔の度合いが笑顔の度合いＢを示す情報であり、アウト画像Ｐ５２に付加情報として付加されている笑顔の度合いが笑顔の度合いＡを示す情報であるとする。そのような場合、アウト画像Ｐ５２はフォルダＦＤ２１に記録され、アウト画像Ｐ５１とアウト画像Ｐ５３はフォルダＦＤ２２に記録される。

　このように撮影者の笑顔の度合いにより定まる記録領域として、笑顔の度合いごとのフォルダにアウト画像が記録される場合、信号処理部５３は、例えば図２９に示すように構成される。なお、図２９において、図２５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図２９に示す信号処理部５３は、圧縮部８１、付加処理部８２、抽出部８３、復号部８４、再生部８５、顔認識部１２１、笑顔検出部２４１、および分類部２７１から構成される。つまり、図２９の信号処理部５３は、図２５の信号処理部５３にさらに分類部２７１が設けられた構成とされている。

　分類部２７１は、付加処理部８２からのアウト画像を記録部５４に供給して、記録部５４のフォルダのうち、アウト画像に付加された付加情報としての笑顔の度合いにより定まるフォルダ内にアウト画像が格納されるようにアウト画像を記録させる。

〈撮像処理の説明〉
　次に、図３０のフローチャートを参照して、信号処理部５３が図２９に示す構成とされる場合に行なわれる撮像処理について説明する。

　なお、ステップＳ３８１乃至ステップＳ３９０の処理は、図２６のステップＳ３１１乃至ステップＳ３２０の処理と同様であるので、その説明は省略する。但し、ステップＳ３９０では、付加情報として撮影者情報、符号化された２値画像、および笑顔の度合いが付加されたアウト画像の画像データが、付加処理部８２から分類部２７１へと供給される。

　ステップＳ３９１において、分類部２７１は、付加処理部８２から供給されたアウト画像の付加情報に応じてアウト画像を記録部５４に記録させ、撮像処理は終了する。

　具体的には、例えば記録部５４に設けられた各フォルダには、笑顔の度合いが対応付けられており、分類部２７１は、アウト画像に付加された笑顔の度合いと同じ笑顔の度合いが対応付けられているフォルダを特定する。そして、分類部２７１は、特定したフォルダにアウト画像が格納されるようにアウト画像を記録部５４に供給し、記録させる。すなわち、特定したフォルダの領域とされている記録部５４の記録領域にアウト画像が記録される。

　以上のようにして、画像処理装置１１は、付加情報としてイン画像から得られた２値画像、撮影者情報、および笑顔の度合いをアウト画像に付加し、笑顔の度合いにより定まるフォルダにアウト画像を記録する。

　これにより、より効果的にアウト画像を表示することができるとともに、利便性を向上させることができる。例えば、付加情報として生成された笑顔の度合いを用いれば、特定の表情で撮像されたアウト画像を表示させるなど、効果的にアウト画像を表示することができる。しかも、アウト画像の記録時には、笑顔の度合いに応じて撮影者の表情ごとのフォルダにアウト画像が記録されるため、特定の笑顔の度合いのアウト画像を迅速に特定することができるようになり、利便性を向上させることができる。

　なお、ここでは撮影者によらず笑顔の度合いごとにフォルダが設けられる例について説明したが、各撮影者について、笑顔の度合いごとにフォルダが設けられるようにしてもよい。そのような場合、アウト画像の撮影者情報と笑顔の度合いとにより定まるフォルダにアウト画像が格納される。

〈再生処理の説明〉
　また、記録部５４にアウト画像が記録されると、ユーザは操作入力部５１を操作して、特定の表情でユーザが撮像したアウト画像を表示させたり、一覧表示させたりすることができる。その際、ユーザは例えば操作入力部５１を操作することで、アウト画像のみを表示させるか、またはアウト画像に付加情報から得られる画像を合成表示させるかを選択することができる。

　以下、図３１のフローチャートを参照して、ユーザによりアウト画像の表示が指示されたときに画像処理装置１１により行なわれる再生処理について説明する。

　ステップＳ４３１において、抽出部８３は、記録部５４の特定のフォルダに記録されている全てのアウト画像を読み出す。例えば抽出部８３は、操作入力部５１に対する操作によってユーザにより指定された任意の笑顔の度合いのフォルダに格納されているアウト画像を読み出す。

　このようにしてアウト画像を読み出されると、その後、ステップＳ４３２乃至ステップＳ４３８の処理が行なわれて再生処理は終了するが、これらの処理は図２７のステップＳ３５３乃至ステップＳ３５９の処理と同様であるので、その説明は省略する。

　以上のようにして画像処理装置１１は、アウト画像に付加情報として付加されている笑顔の度合いにより示される撮影者の表情ごとに設けられたフォルダからアウト画像を読み出し、アウト画像を表示させる。また、画像処理装置１１は、アウト画像を表示させるときに、ユーザの指示に応じて、アウト画像に２値画像を合成表示する。

　このように、アウト画像に付加された付加情報としての笑顔の度合いを利用すれば、撮影者が特定の表情のときに撮像されたアウト画像のみを表示させるなど、より効果的にアウト画像を表示することができる。また、付加情報としての笑顔の度合いにより定まるフォルダにアウト画像を格納しておけば、より簡単かつ迅速に特定の笑顔の度合いのアウト画像を特定することができ、利便性を向上させることができる。

〈第８の実施の形態〉
〈撮像処理の説明〉
　また、上述した第７の実施の形態では、イン画像から笑顔が検出されたときにアウト画像が撮像される例について説明したが、アウト画像とイン画像がユーザの指示に応じて撮像され、笑顔の度合いに応じたフォルダにアウト画像が記録されるようにしてもよい。

　そのような場合、信号処理部５３は例えば図２９に示した構成とされる。但し、この例では、笑顔検出部２４１から制御部５２には、撮像タイミングとなった旨の情報は供給されず、制御部５２は、操作入力部５１への操作に応じて、アウト画像撮像部２３とイン画像撮像部２２にアウト画像とイン画像の撮像を指示する。

　次に、図３２のフローチャートを参照して、アウト画像とイン画像がユーザの指示に応じて撮像され、笑顔の度合いに応じてアウト画像が記録される場合に画像処理装置１１により行なわれる撮像処理について説明する。

　なお、ステップＳ４６１乃至ステップＳ４６６の処理は、図２３のステップＳ２５１乃至ステップＳ２５６の処理と同様であるので、その説明は省略する。すなわち、これらの処理では、ユーザの操作に応じてアウト画像とイン画像が撮像されるとともに、アウト画像の付加情報として、符号化された２値画像と撮影者情報が生成される。

　ステップＳ４６７において、笑顔検出部２４１は、イン画像撮像部２２から供給されたイン画像からユーザの笑顔を検出し、その結果得られたイン画像上のユーザの笑顔の度合いを付加情報として付加処理部８２に供給する。例えばステップＳ４６７では、図２６のステップＳ３１２と同様の処理が行なわれる。

　ステップＳ４６８において、付加処理部８２は、顔認識部１２１からの撮影者情報、圧縮部８１からの符号化された２値画像、および笑顔検出部２４１からの笑顔の度合いを付加情報として、アウト画像撮像部２３からのアウト画像の画像データに付加する。そして、付加処理部８２は、付加情報が付加されたアウト画像の画像データを分類部２７１に供給する。

　ステップＳ４６９において、分類部２７１は、付加処理部８２から供給されたアウト画像の付加情報に応じてアウト画像を記録部５４に記録させ、撮像処理は終了する。

　具体的には、分類部２７１は、アウト画像に付加された笑顔の度合いと同じ笑顔の度合いが対応付けられているフォルダを特定し、そのフォルダにアウト画像が格納されるようにアウト画像を記録部５４に供給し、記録させる。すなわち、ステップＳ４６９では、図３０のステップＳ３９１と同様の処理が行なわれる。

　これにより、より効果的にアウト画像を表示することができるとともに、利便性を向上させることができる。例えば、付加情報として生成された笑顔の度合いを用いれば、特定の表情で撮像されたアウト画像を表示させるなど、効果的にアウト画像を表示することができる。しかも、アウト画像の記録時には、笑顔の度合いに応じて撮影者の表情ごとのフォルダにアウト画像が記録されるため、特定の笑顔の度合いのアウト画像を迅速に特定することができるようになる。

　また、記録部５４にアウト画像が記録されると、画像処理装置１１では、ユーザによる操作入力部５１への操作に応じて、特定の表情でユーザが撮像したアウト画像が表示される。なお、そのような場合、画像処理装置１１では、図３１を参照して説明した再生処理が行なわれる。すなわち、ユーザにより指定された笑顔の度合いのフォルダに格納されているアウト画像の表示が行なわれる。

　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図３３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

　入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、本技術は、以下の構成とすることも可能である。

［１］
　第１の方向を撮像する第１の撮像部と、
　前記第１の方向とは異なる第２の方向を撮像する第２の撮像部と、
　前記第１の撮像部による撮像で得られた第１の画像に基づいて付加情報を生成する付加情報生成部と、
　前記第２の撮像部による撮像で得られた第２の画像の画像データに前記付加情報を付加する付加処理部と
　を備える画像処理装置。
［２］
　前記付加情報生成部は、前記第１の画像の情報量を圧縮することで、前記付加情報を生成する
　［１］に記載の画像処理装置。
［３］
　前記付加情報生成部は、前記第１の画像のサイズを圧縮することで、前記付加情報を生成する
　［１］または［２］に記載の画像処理装置。
［４］
　前記第１の撮像部は、前記画像処理装置を操作するユーザの方向を前記第１の方向として撮像し、
　前記付加情報から得られる画像を前記第２の画像に合成する合成部をさらに備える
　［１］乃至［３］の何れかに記載の画像処理装置。
［５］
　前記第１の撮像部は、前記画像処理装置を操作するユーザの方向を前記第１の方向として撮像し、
　前記付加情報生成部は、前記第１の画像に対する顔認識処理を行なうことで、前記第２の画像の撮影者情報を前記付加情報として生成する
　［１］に記載の画像処理装置。
［６］
　前記付加情報に基づいて、複数の前記第２の画像から特定の撮影者により撮像された前記第２の画像を検出する抽出部と、
　前記抽出部により検出された前記第２の画像のみを表示させる再生部と
　をさらに備える［５］に記載の画像処理装置。
［７］
　前記付加情報としての前記撮影者情報により定まる記録領域に前記第２の画像を記録させる分類部をさらに備える
　［５］に記載の画像処理装置。
［８］
　前記第１の撮像部が設けられた、前記画像処理装置を操作するユーザ側の面に設けられ、前記第２の画像の撮像時に前記第２の撮像部により取り込まれた画像を表示する表示部をさらに備え、
　前記付加情報生成部は、前記第１の画像に基づいて前記ユーザの視線方向を検出することで、前記第２の画像上の前記ユーザが注視していた注視領域を示す情報を前記付加情報として生成する
　［１］に記載の画像処理装置。
［９］
　前記付加情報に基づいて、前記第２の画像の表示を制御する再生部をさらに備える
　［８］に記載の画像処理装置。
［１０］
　前記再生部は、前記付加情報に基づいて複数の前記第２の画像を重ねて表示させる
　［９］に記載の画像処理装置。
［１１］
　前記第２の画像に対して画角変換処理を施す画角変換部をさらに備え、
　前記付加情報生成部は、前記第１の画像上の主要な被写体を含む領域を切り出して得られたクロップ画像を前記付加情報とし、
　前記付加処理部は、前記画角変換処理が施された前記第２の画像の画像データに前記付加情報を付加する
　［１］に記載の画像処理装置。
［１２］
　前記付加情報としての前記クロップ画像と、前記画角変換処理が施された前記第２の画像とを並べて合成することで、前記第２の撮像部により撮像された前記第２の画像と同じアスペクト比の合成画像を生成する合成部をさらに備える
　［１１］に記載の画像処理装置。
［１３］
　前記第１の撮像部は、前記画像処理装置を操作するユーザの方向を前記第１の方向として撮像し、
　前記付加情報生成部は、前記第１の画像に基づいて前記ユーザの笑顔を検出するとともに前記ユーザの笑顔の度合いを前記付加情報として生成し、
　前記第２の撮像部は、前記ユーザの笑顔が検出されたとき前記第２の方向を撮像する
　［１］に記載の画像処理装置。
［１４］
　前記付加情報としての前記笑顔の度合いにより定まる記録領域に前記第２の画像を記録させる分類部をさらに備える
　［１３］に記載の画像処理装置。
［１５］
　前記第１の撮像部は、前記画像処理装置を操作するユーザの方向を前記第１の方向として撮像し、
　前記付加情報生成部は、前記第１の画像に基づいて前記ユーザの笑顔を検出するとともに前記ユーザの笑顔の度合いを前記付加情報として生成し、
　前記付加情報としての前記笑顔の度合いにより定まる記録領域に前記第２の画像を記録させる分類部をさらに備える
　［１］に記載の画像処理装置。

　１１　画像処理装置，　２１　表示部，　２２　イン画像撮像部，　２３　アウト画像撮像部，　５３　信号処理部，　８１　圧縮部，　８２　付加処理部，　８４　復号部，　８５　再生部，　１２１　顔認識部，　１５１　注視領域検出部，　１８１　画角変換部，　１８２　主要領域検出部，　１８３　クロップ処理部

Claims

　第１の方向を撮像する第１の撮像部と、
　前記第１の方向とは異なる第２の方向を撮像する第２の撮像部と、
　前記第１の撮像部による撮像で得られた第１の画像に基づいて付加情報を生成する付加情報生成部と、
　前記第２の撮像部による撮像で得られた第２の画像の画像データに前記付加情報を付加する付加処理部と
　を備える画像処理装置。
　前記付加情報生成部は、前記第１の画像の情報量を圧縮することで、前記付加情報を生成する
　請求項１に記載の画像処理装置。
　前記付加情報生成部は、前記第１の画像のサイズを圧縮することで、前記付加情報を生成する
　請求項２に記載の画像処理装置。
　前記第１の撮像部は、前記画像処理装置を操作するユーザの方向を前記第１の方向として撮像し、
　前記付加情報から得られる画像を前記第２の画像に合成する合成部をさらに備える
　請求項３に記載の画像処理装置。
　前記第１の撮像部は、前記画像処理装置を操作するユーザの方向を前記第１の方向として撮像し、
　前記付加情報生成部は、前記第１の画像に対する顔認識処理を行なうことで、前記第２の画像の撮影者情報を前記付加情報として生成する
　請求項１に記載の画像処理装置。
　前記付加情報に基づいて、複数の前記第２の画像から特定の撮影者により撮像された前記第２の画像を検出する抽出部と、
　前記抽出部により検出された前記第２の画像のみを表示させる再生部と
　をさらに備える請求項５に記載の画像処理装置。
　前記付加情報としての前記撮影者情報により定まる記録領域に前記第２の画像を記録させる分類部をさらに備える
　請求項５に記載の画像処理装置。
　前記第１の撮像部が設けられた、前記画像処理装置を操作するユーザ側の面に設けられ、前記第２の画像の撮像時に前記第２の撮像部により取り込まれた画像を表示する表示部をさらに備え、
　前記付加情報生成部は、前記第１の画像に基づいて前記ユーザの視線方向を検出することで、前記第２の画像上の前記ユーザが注視していた注視領域を示す情報を前記付加情報として生成する
　請求項１に記載の画像処理装置。
　前記付加情報に基づいて、前記第２の画像の表示を制御する再生部をさらに備える
　請求項８に記載の画像処理装置。
　前記再生部は、前記付加情報に基づいて複数の前記第２の画像を重ねて表示させる
　請求項９に記載の画像処理装置。
　前記第２の画像に対して画角変換処理を施す画角変換部をさらに備え、
　前記付加情報生成部は、前記第１の画像上の主要な被写体を含む領域を切り出して得られたクロップ画像を前記付加情報とし、
　前記付加処理部は、前記画角変換処理が施された前記第２の画像の画像データに前記付加情報を付加する
　請求項１に記載の画像処理装置。
　前記付加情報としての前記クロップ画像と、前記画角変換処理が施された前記第２の画像とを並べて合成することで、前記第２の撮像部により撮像された前記第２の画像と同じアスペクト比の合成画像を生成する合成部をさらに備える
　請求項１１に記載の画像処理装置。
　前記第１の撮像部は、前記画像処理装置を操作するユーザの方向を前記第１の方向として撮像し、
　前記付加情報生成部は、前記第１の画像に基づいて前記ユーザの笑顔を検出するとともに前記ユーザの笑顔の度合いを前記付加情報として生成し、
　前記第２の撮像部は、前記ユーザの笑顔が検出されたとき前記第２の方向を撮像する
　請求項１に記載の画像処理装置。
　前記付加情報としての前記笑顔の度合いにより定まる記録領域に前記第２の画像を記録させる分類部をさらに備える
　請求項１３に記載の画像処理装置。
　前記第１の撮像部は、前記画像処理装置を操作するユーザの方向を前記第１の方向として撮像し、
　前記付加情報生成部は、前記第１の画像に基づいて前記ユーザの笑顔を検出するとともに前記ユーザの笑顔の度合いを前記付加情報として生成し、
　前記付加情報としての前記笑顔の度合いにより定まる記録領域に前記第２の画像を記録させる分類部をさらに備える
　請求項１に記載の画像処理装置。
　第１の撮像部により第１の方向を撮像し、
　第２の撮像部により前記第１の方向とは異なる第２の方向を撮像し、
　前記第１の撮像部による撮像で得られた第１の画像に基づいて付加情報を生成し、
　前記第２の撮像部による撮像で得られた第２の画像の画像データに前記付加情報を付加する
　ステップを含む画像処理方法。
　第１の撮像部により第１の方向を撮像し、
　第２の撮像部により前記第１の方向とは異なる第２の方向を撮像し、
　前記第１の撮像部による撮像で得られた第１の画像に基づいて付加情報を生成し、
　前記第２の撮像部による撮像で得られた第２の画像の画像データに前記付加情報を付加する
　ステップを含む処理をコンピュータに実行させるプログラム。