JP6124658B2

JP6124658B2 - 画像処理装置、画像処理装置の制御方法

Info

Publication number: JP6124658B2
Application number: JP2013084170A
Authority: JP
Inventors: 松本　哲; 哲松本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-04-12
Filing date: 2013-04-12
Publication date: 2017-05-10
Anticipated expiration: 2033-04-12
Also published as: JP2014207572A

Description

本発明は、画像処理装置と画像処理装置の制御方法に関する。特に、静止画像または動画像を記録、再生する画像処理装置と、この画像処理装置の制御方法に関する。

従来の画像処理装置には、スライドショーで表示された表示画像と、前記表示画像が表示されている時に撮像された撮像画像とを関連付け、スライドショーにおいて、前記表示画像と撮像画像とを一画面中に表示できるものがある（特許文献１参照）。このような構成によれば、画像鑑賞の演出効果を高めることができる。

特開２００９−２１８９５６号公報

しかしながら、上述の特許文献に開示された従来技術では、表示画像に関連付けされて併せて表示される画像が、現在鑑賞する人物に無関係な人物である可能性がある。その場合には、鑑賞者は面白くない。そこで、本発明の目的は、表示画像に関連付けされて併せて表示される画像を、現在鑑賞する人物に関連する人物とし、画像鑑賞をより効果的に演出することを可能にした画像処理装置を提供することである。

本発明の画像処理装置は、画像を鑑賞する第１の鑑賞者を撮像する撮像手段と、前記撮像手段により撮像された画像から前記第１の鑑賞者を認証する認証手段と、前記認証手段により認証された前記第１の鑑賞者に関連し、前記第１の鑑賞者とは異なる人物であって、過去に画像を鑑賞する鑑賞者として前記撮像手段により撮像された第２の鑑賞者の画像を、前記第１の鑑賞者が鑑賞する画像と共に表示するように制御する表示制御手段と、を有することを特徴とする。

本発明によれば、表示画像に関連付けされて併せて表示される画像を、現在鑑賞する人物に関連する人物とすることにより、画像鑑賞をより効果的に演出することができる。

本発明を実施するための形態の構成ブロック図である。実施例におけるスライドショー表示画像に鑑賞者に関連する画像を重畳して表示する処理のフローチャートである。実施例におけるスライドショー表示画像の例を示す図である。実施例におけるスライドショー表示画像に関連画像を重畳表示するエリアを示す図である。実施例におけるスライドショーの現在の鑑賞者の画像が重畳表示された状態を示す図である。実施例における顔評価値の構成を模式的に示す図である。実施例における指定人物の関連画像を重畳して表示する処理のフローチャートである。実施例における不揮発性メモリ内に記録されている認証登録データベースの構成を模式的に示す図である。実施例におけるスライドショー表示画像とその関連画像との関係を模式的に示す図である。実施例におけるスライドショー表示画像の関連画像と鑑賞者との属性情報が一致しているか否かを判定する状態を模式的に示す図である。実施例における鑑賞者と属性情報が一致した関連画像をスライドショー表示画像に重畳表示された状態を模式的に示す図である。実施例におけるスライドショー表示画像の関連画像と鑑賞者との属性情報が一致しているか否かを判定する対象の鑑賞者を更新した状態を模式的に示す図である。

まず、本発明の実施形態にかかる画像処理装置１００の構成例について説明する。図１は、本実施形態による画像処理装置１００の構成例を示すブロック図である。
図１において、撮像レンズ１０３は、ズームレンズ、フォーカスレンズを含むレンズ群である。
シャッター１０１は、絞り機能を備えるシャッターである。
撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等の撮像素子を有する。撮像部２２は、撮像レンズ１０３とシャッター１０１を通じて受光し、受光した光学像（被写体像）をアナログ信号である画像データに変換して出力する。
Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２が出力するアナログ信号をデジタル信号に変換するために用いられる。
バリア１０２は、画像処理装置１００の撮像レンズ１０３を含む撮像系を覆う。これにより、バリア１０２は、撮像レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。
画像処理部２４は、Ａ／Ｄ変換器２３からの画像データやメモリ制御部１５からの画像データに対し、所定の画素補間や縮小などのリサイズ処理や、色変換処理を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいて、システム制御部５０が、露光制御や測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４は、更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器２３が出力した画像データは、画像処理部２４及びメモリ制御部１５を介して、または、メモリ制御部１５を介して、メモリ３２に直接書き込まれる。
メモリ３２は、撮像部２２が出力してＡ／Ｄ変換器２３によりデジタル信号に変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は、画像表示用のメモリを兼ねている。
表示部２８はＬＣＤ等から成る画像表示部である。メモリ３２に書き込まれた表示用の画像データは、メモリ制御部１５を介して表示部２８により表示される。システム制御部５０は、プログラムに従い表示制御信号を生成し、表示部２８に表示するための映像信号を生成して表示部２８に出力するように、画像処理装置１００の各部を制御する。
表示部２８は、出力された映像信号に基づいて映像を表示する。なお、画像処理装置１００が、表示部２８に表示させるための映像信号を出力するためのインターフェースを有し、表示部２８を内蔵しない構成であってもよい。この場合には、表示部２８を、外部のモニタ（テレビなど）によって構成してもよい。画像処理装置１００は、表示部２８を用いて撮像した画像データを逐次表示することにより、電子ファインダー機能を実現することが可能である。また、表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能である。表示をＯＦＦにした場合には、画像処理装置１００の電力消費を大幅に低減することが出来る。
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートに示す各処理を実行するためのコンピュータプログラム（コンピュータソフトウェア）のことである。
システム制御部５０は、画像処理装置１００の全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。また、システム制御部５０は、メモリ３２や表示部２８等を制御することにより表示制御も行う。
システムメモリ５２には、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０は、動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。
システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

操作部７０は、使用者がシステム制御部５０に各種の動作指示を入力するための操作手段である。
システム制御部５０は、表示部２８に種々の機能アイコンを表示させる。そしてシステム制御部５０は、使用者による機能アイコンを選択する操作を検出すると、検出した操作に応じて、操作部７０の各操作部材に場面ごとに適宜機能を割り当てる。これにより操作部７０の各操作部材は、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると、システム制御部５０は、表示部２８に、各種の設定可能なメニュー画面を表示させる。使用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に各種設定を行うことができる。
電源制御部８０は、電池検出回路と、ＤＣ−ＤＣコンバータと、通電するブロックを切り替えるスイッチ回路等とにより構成される。電源制御部８０は、電池の装着の有無や、電池の種類や、電池残量の検出を行う。また、電源制御部８０は、その検出結果とシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電力を必要な期間、記録媒体２００を含む各部へ供給する。
電源部３０は、アルカリ電池やリチウム電池等の一次電池や、ＮｉＣｄ電池やＮｉＭＨ電池やＬｉ電池等の二次電池や、ＡＣアダプター等からなる。
記録媒体Ｉ/Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。
記録媒体２００は、撮像された画像データを記録するためのメモリカード等の記録媒体である。記録媒体２００は、たとえば、半導体メモリや磁気ディスク等から構成される。

上述した画像処理装置１００は、中央１点ＡＦや顔ＡＦを用いた撮像が可能である。中央１点ＡＦとは、撮像画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは、顔検出機能によって検出された撮像画面内の顔に対してＡＦを行うことである。

ここで、顔検出機能について説明する。
システム制御部５０は、顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で、画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で、画像処理部２４は、処理された画像データに垂直方向バンドパスフィルタを作用させる。システム制御部５０は、これら水平及び垂直方向のバンドパスフィルタにより、画像データのエッジ成分を検出する。
その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対であると判断し、目の対があるもののみを目の候補群として絞り込む。そして、システム制御部５０は、絞り込まれた目の候補群と、それに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付ける。そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応付けられたパーツを、予め設定した非顔条件フィルタを通すことで、顔を検出する。
システム制御部５０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、システム制御部５０は、検出した顔の数などの特徴量を、システムメモリ５２に記憶する。

以上のように、システム制御部５０は、ライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出する。これにより、システム制御部５０は、被写体情報を検出することが可能である。本実施例では、被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。

なお、システム制御部５０や画像処理部２４は、顔ＡＦと同時に顔ＡＥ，顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは、検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは、検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。

以下、図２〜１３を参照して、本発明の実施例による、鑑賞者に関連する画像をスライドショー表示画像（本画像）に同時に重畳して表示する処理の例について説明する。
図２は、実施例において、鑑賞者に関連する画像をスライドショー表示画像（本画像）に同時に重畳して表示する処理のフローチャートである。この処理を行うためのコンピュータプログラムは、あらかじめ不揮発性メモリ５６（記録媒体）に格納されている。そして、システム制御部５０は、不揮発性メモリ５６に格納されたプログラムを、システムメモリ５２に展開して実行する。これにより、この処理が実現される。

Ｓ２０１では、システム制御部５０は、外部モニタに映像表示をしている否かを判定する。外部モニタに映像表示をしていない場合はＳ２０２へ進み、外部モニタに映像表示をしている場合はＳ２１０へ進む。
Ｓ２０２では、システム制御部５０は、撮像レンズ１０３、シャッター１０１、撮像部２２を介し、スライドショー表示画像３０１の鑑賞者を撮像する。
Ｓ２０３では、システム制御部５０は、スライドショー表示画像３０１に対し、Ｓ２０２にて撮像したスライドショー表示画像３０１（本画像）の鑑賞者の画像を同時に重畳して表示する。
図３は、スライドショー表示画像３０１（本画像）の例を示す図である。図４はスライドショー表示画像３０１（本画像）に関連画像５０１を重畳表示するためのエリア４０１を示す図である。説明の便宜上、「スライドショー表示画像３０１に関連画像５０１を重畳表示するためのエリア」を「重畳表示エリア」と称する。図５はスライドショー表示画像３０１の現在の鑑賞者の画像が、関連画像５０１としてスライドショー表示画像３０１（本画像）に重畳表示された状態を示す図である。

Ｓ２０４では、システム制御部５０は、鑑賞者の顔を検出する。
Ｓ２０５では、システム制御部５０は、Ｓ２０４において検出した顔について、顔評価値を算出する。図６は、実施例における顔評価値の構成の例である。顔評価値の要素は、顔の位置と、顔の大きさの２つである。この２つの要素の値の合計値が、顔評価値となる。
システム制御部５０は、顔の位置の値を、撮像領域（撮像された画像）における顔の位置に応じて決定する。たとえば、撮像領域の中心３０％の領域より内側に顔が存在する場合は、顔の位置の値は５である。撮像領域の中心３０〜５９％の領域に顔が存在する場合は、顔の位置の値は３である。撮像領域の中心５９％の領域より外側に顔が存在する場合は、顔の位置の値は１である。
システム制御部５０は、顔の大きさの値を、画素数に応じて決定する。たとえば、顔のサイズが２００×２００pixel以上の場合は、顔の大きさの値は５である。顔のサイズが５０×５０pixel〜１９９×１９９pixelの場合は、顔の大きさの値は３である。顔のサイズが４９×４９pixel以下の場合は、顔の大きさの値は１である。

Ｓ２０６では、システム制御部５０は、スライドショー表示画像３０１に同時に重畳して表示する画像を、どの人物の関連画像５０１にするかを決定する。具体的には、システム制御部５０は、Ｓ２０５において算出した顔評価値の最も高い人物を選択する。そして、システム制御部５０は、選択した人物の関連画像５０１を、表示する人物の関連画像５０１に決定する。そして、当該人物の関連画像５０１を重畳して表示する処理（Ｓ３００）へ移行する。このように、システム制御部５０は、撮像領域（撮像された画像）における顔の位置と大きさに基づいて、重畳して表示する人物を決定する。なお、説明の便宜上、Ｓ２０６において決定された人物を、「指定人物」と称する。

Ｓ２０７では、システム制御部５０は、Ｓ２０４において検出した顔に、Ｓ３００の処理を行った人物以外が存在するか否かを判定する。Ｓ２０４において検出した顔にＳ３００の処理を行った人物以外が存在する場合はＳ２０８へ進み、Ｓ２０４において検出した顔がＳ３００の処理を行った人物以外にない場合はＳ２０９へ進む。
Ｓ２０８では、システム制御部５０は、スライドショー表示画像３０１に重畳して表示する画像をどの人物の関連画像５０１にするかを、既にＳ３００の処理を行った人物を除く人物の中で、顔評価値の最も高い人物に決定する。そして、当該人物の関連画像５０１を重畳して表示する処理（Ｓ３００）へ移行する。
Ｓ２０９では、システム制御部５０は、スライドショー表示画像３０１に表示を行っていない重畳表示エリア４０１がまだ存在するか否かを判定する。表示を行っていない重畳表示エリア４０１がまだ存在する場合はＳ２１０へ進み、表示を行っていない重畳表示エリア４０１が存在しない場合は、本処理を終了する。
Ｓ２１０では、システム制御部５０は、重畳表示エリア４０１のうち、まだ関連画像５０１が表示されていない残りの重畳表示エリア４０１に表示する関連画像５０１をランダムに決定して表示し、本処理を終了する。

このように、システム制御部５０は、複数の鑑賞者が存在する場合には、複数の鑑賞者の関連画像５０１を表示する。この際、システム制御部５０は、当該複数の鑑賞者のうちの最も顔の評価値が高い人物を主な鑑賞者に特定する。そして、システム制御部５０は、特定した主な鑑賞者の関連画像５０１を他の鑑賞者の関連画像５０１に優先して表示する。

図７は、実施例において、指定人物の関連画像５０１を重畳して表示する処理のフローチャートである。指定人物とは、図２のＳ２０７において、表示する人物に決定された人物をいう。この処理を実行するためのプログラムは、あらかじめ不揮発性メモリ５６（記録媒体）に格納されている。そして、システム制御部５０は、不揮発性メモリ５６に格納されたプログラムを読み出し、システムメモリ５２に展開して実行する。これにより、この処理が実現される。

Ｓ３０１では、システム制御部５０は、指定人物の特徴データを生成し、認証データベース内の人物の特徴データと一致するか否かを判定する。なお、システム制御部５０は、指定人物の特徴データを、Ｓ２０２において撮像した画像を用いて生成する。指定人物と認証登録データベース内の人物が一致する場合はＳ３０２へ進み、指定人物と認証登録データベース内の人物が一致しない場合は本処理を終了する。
図８は、実施例における、不揮発性メモリ５６内に記録されている認証登録データベースの構成である。認証登録データベースは、個人の認証情報が登録されている。符号Ｉが付された認証情報は、登録人物の個人情報である。個人情報は、システム制御部５０が、使用者による操作部７０への入力操作に応じて記録する。符号ＩＩが付された認証情報は、“家族”、“友人”などといった登録人物の属性情報である。属性情報は、システム制御部５０が、使用者による操作部７０への入力操作に応じて記録する。ただし、入力操作がされなかった場合は、システム制御部５０は、当該人物についての属性情報を“Ｎｏｎｅ”に設定する。符号ＩＩＩが付された認証情報は、登録人物の特徴データである。符号ＩＶが付された画像は、登録人物のサムネイル画像である。

Ｓ３０２では、システム制御部５０は、Ｓ３０１において認証登録データベース内で一致した人物（すなわち、認証された人物）の属性情報が“Ｎｏｎｅ”であるか否かを判定する。属性情報が“Ｎｏｎｅ”でない場合はＳ３０３へ進み、属性情報が“Ｎｏｎｅ”である場合は本処理を終了する。
Ｓ３０３では、システム制御部５０は、図９と図１０に示すように、スライドショー表示画像３０１の関連画像５０１の属性情報と、認証された人物との属性情報とが一致しているか否かを判定する。図９は、スライドショー表示画像３０１とその関連画像５０１との関係を模式的に示す図である。図１０は、スライドショー表示画像３０１の関連画像５０１と鑑賞者との属性情報が一致しているか否かを判定する状態を模式的に示す図である。

認証された人物の属性情報とスライドショー表示画像３０１の関連画像５０１の属性情報が一致している場合はＳ３０４へ進み、認証された人物の属性情報とスライドショー表示画像３０１の関連画像５０１の属性情報が一致していない場合はＳ３０６へ進む。
Ｓ３０４では、システム制御部５０は、図１１に示すように、Ｓ３０３にて属性情報が一致した関連画像５０１を、スライドショー表示画像３０１に重畳して表示する。図１１は、鑑賞者と属性情報が一致した関連画像５０１が、スライドショー表示画像３０１に重畳表示された状態を模式的に示す図である。
Ｓ３０５では、システム制御部５０は、重畳表示エリア４０１がまだ存在するか否かを判定する。重畳表示エリア４０１がまだある場合は、Ｓ３０６へ進み、重畳表示エリア４０１がない場合は本処理を終了する。
Ｓ３０６では、システム制御部５０は、既にＳ３０３による判定を行ったスライドショー表示画像３０１の関連画像５０１を除き、まだ判定を行っていない関連画像５０１があるか否かを判定する。判定を行っていない関連画像５０１がある場合はＳ３０７へ進み、判定を行っていない関連画像５０１がない場合は本処理を終了する。
Ｓ３０７では、システム制御部５０は、スライドショー表示画像３０１に関連する次の関連画像５０１を、Ｓ３０３における判定対象とする。図１２は、スライドショー表示画像３０１の関連画像５０１と鑑賞者との属性情報が一致しているか否かを判定する対象の鑑賞者を更新した状態を模式的に示す図である。

以上のように、本実施例によれば、スライドショー表示画像３０１に重畳して表示する関連画像５０１は、現在の鑑賞者の属性情報と同じ画像が優先的に表示され、画像鑑賞をより効果的に演出することが可能となる。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するコンピュータ読取り可能なプログラム（ソフトウェア）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム及びプログラムを記憶した記録媒体は本発明を構成することになる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。本発明は、撮像手段と画像表示手段を有する装置であれば適用可能である。すなわち、本発明は、パーソナルコンピュータ、ＰＤＡ、携帯電話端末、携帯型の画像ビューワ、デジタルフォトフレーム、ゲーム機、電子ブックリーダーなどに適用可能である。

本発明は、画像処理装置および画像処理装置の制御方法に有効な技術である。そして、本発明によれば、表示画像に関連付けされて併せて表示される画像を、現在鑑賞する人物に関連する人物とすることにより、画像鑑賞をより効果的に演出することができる。

Claims

画像を鑑賞する第１の鑑賞者を撮像する撮像手段と、
前記撮像手段により撮像された画像から前記第１の鑑賞者を認証する認証手段と、
前記認証手段により認証された前記第１の鑑賞者に関連し、前記第１の鑑賞者とは異なる人物であって、過去に画像を鑑賞する鑑賞者として前記撮像手段により撮像された第２の鑑賞者の画像を、前記第１の鑑賞者が鑑賞する画像と共に表示するように制御する表示制御手段と、を有することを特徴とする画像処理装置。
前記表示制御手段は、
前記認証手段により認証された前記第１の鑑賞者の認証情報のうち属性が一致する第２の鑑賞者を検出し、前記検出した第２の鑑賞者の画像を、前記第１の鑑賞者が鑑賞する画像と共に表示するように制御することを特徴とする請求項１に記載の画像処理装置。
前記表示制御手段は、
更に、前記撮像手段により撮像された前記第１の鑑賞者の画像を、前記第１の鑑賞者が鑑賞している画像と共に表示するように制御することを特徴とする請求項１または２に記載の画像処理装置。
前記表示制御手段は、
前記第２の鑑賞者の画像を、前記第１の鑑賞者が鑑賞する画像に重畳して表示するように制御することを特徴とする請求項１ないし３の何れか１項に記載の画像処理装置。
前記表示制御手段は、
前記画像が前記画像処理装置の外部へ出力される場合、前記第１の鑑賞者に関連するか否かに関わらず、過去に前記撮像手段により撮像された鑑賞者の画像を、前記第１の鑑賞者が鑑賞する画像と共に表示するように制御することを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
前記表示制御手段は、
前記認証手段により複数の第１の鑑賞者が認証された場合、前記複数の第１の鑑賞者ごとに関連する第２の鑑賞者の画像を表示するように制御することを特徴とする請求項１ないし５の何れか１項に記載の画像処理装置。
前記表示制御手段は、
前記認証手段により複数の第１の鑑賞者が認証された場合、前記複数の第１の鑑賞者のうち特定された主な鑑賞者に関連する第２の鑑賞者の画像を優先して表示するように制御することを特徴とする請求項６に記載の画像処理装置。
画像を鑑賞する鑑賞者を撮像する撮像ステップと、
前記撮像ステップにより撮像された画像から第１の鑑賞者を認証する認証ステップと、
前記認証ステップにより認証された前記第１の鑑賞者に関連し、前記第１の鑑賞者とは異なる人物であって、過去に画像を鑑賞する鑑賞者として前記撮像ステップにより撮像された第２の鑑賞者の画像を、前記第１の鑑賞者が鑑賞する画像と共に表示するように制御する表示制御ステップと、を有することを特徴とする画像処理装置の制御方法。