JP6631607B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

人物を撮影した場合、瞳に適度な光が映り込んでいると人物が生き生きとした写真となる（図６（ａ）参照）。しかし、実際に撮影してみると、
１）瞳に映り込みが少なく目が生き生きしていない（図６（ｂ）参照）。
２）自撮りの場合はカメラや自分の手が映り込んでしまう（図６（ｃ）参照）。
といった問題が生じる場合がある。

そこで、これらの問題を解決するため、撮影した画像に含まれる目の輝点位置を特定し、特定した目の輝点位置に、過去に撮影された撮影画像の中からキャッチライト画像として選択された画像を合成する技術が提案されている（例えば、特許文献１参照）。

特開２０１０−２１７３９号公報

しかしながら、特許文献１においては、過去に撮影された画像をキャッチライト画像として合成しているため、撮影時の周囲とは異なるものが映り込み、不自然な画像となる場合があった。

本発明は、このような問題点に鑑みてなされたものであり、自然な映り込みのある画像を取得できるようにすることを目的とする。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
第１の撮像手段と、
前記第１の撮像手段とは撮像方向が異なる第２の撮像手段と、
撮影指示に応じて、前記第１の撮像手段により第１の画像を取得させるとともに前記第２の撮像手段により第２の画像を取得させる撮影制御手段と、
前記第１の画像から所定の領域を検出する領域検出手段と、
前記第１の画像に顔認識処理を行い、認識された顔が向いている方向を検出する顔方向検出手段と、
前記顔方向検出手段により検出された顔が向いている方向の画像を前記第２の画像から切り出す切り出し手段と、
前記第１の画像における前記所定の領域に、前記切り出し手段により切り出し処理が行われた前記第２の画像を合成する合成手段と、
を備える。

本発明によれば、自然な映り込みのある画像を取得することが可能となる。

（ａ）は、画像処理装置の正面図であり、（ｂ）は、画像処理装置の背面図である。 画像処理装置の機能的構成を示すブロック図である。 図２のＣＰＵにより実行される自撮り処理Ａを示すフローチャートである。 図２のＣＰＵにより実行される自撮り処理Ｂを示すフローチャートである。 図２のＣＰＵにより実行される再生制御処理を示すフローチャートである。 （ａ）は、瞳に適度な光が映り込んでいる撮影画像であり、（ｂ）は、瞳に映り込みが少ない撮影画像であり、（ｃ）は、自撮りでカメラや自分の手が映り込んだ撮影画像を示す図である。

以下、添付図面を参照して本発明に係る実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

＜第１の実施形態＞
［画像処理装置１の構成］
図１の（ａ）は、本発明の実施形態における画像処理装置１の正面図であり、（ｂ）は、画像処理装置１の背面図である。図１（ａ）に示すように、画像処理装置１の正面側には、画像処理装置１の正面方向を撮影するためのインカメラ１６のレンズ１６１が備えられ、図１（ｂ）に示すように、画像処理装置１の背面側には、画像処理装置１の背面方向を撮影するためのアウトカメラ１７のレンズ１７１が備えられている。

図２は、本発明に係る画像処理装置１の機能的構成を示すブロック図である。図２に示すように、画像処理装置１は、ＣＰＵ１１、ＲＡＭ１２、記憶部１３、操作部１４、表示部１５、インカメラ１６、アウトカメラ１７、通信部１８等を備えて構成されている。ＣＰＵ１１と各部はバスにより接続されている。

ＣＰＵ１１は、記憶部１３に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うプロセッサである。例えば、ＣＰＵ１１は、操作部１４により自撮りモードが設定され、撮影指示が入力されると、後述する自撮り処理Ａを実行し、撮影制御手段、検出手段、合成手段として機能する。

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、データを一時的に記憶する。

記憶部１３は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部１３には、ＣＰＵ１１で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

操作部１４は、各種機能ボタンを備え、ユーザによる各ボタンの押下入力を受け付けてその操作情報をＣＰＵ１１に出力する。また、操作部１４は、表示部１５の表面を覆うように透明電極を格子状に配置したタッチパネル等を有し、手指やタッチペン等による各種操作を検出し、その操作情報をＣＰＵ１１に出力する。

表示部１５は、ＬＣＤ（Liquid Crystal Display）等により構成され、ＣＰＵ１１からの表示制御信号に従って、画面上に各種表示を行う。

インカメラ１６は、画像処理装置１の正面方向の画像を取得するための撮像手段（第１の撮像手段）であり、例えば、自撮りモードでの撮影時に撮影者（ユーザ）を撮影する。インカメラ１６は、光学レンズユニット（レンズ１６１）、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ等からなる撮像素子、Ａ／Ｄ変換回路等を備えて構成され、レンズを通過した光学像を撮像素子により２次元の画像信号に変換し、第１の画像（インカメラ画像と呼ぶ）を取得する。

アウトカメラ１７は、画像処理装置１の背面方向の画像を取得するための撮像手段（第２の撮像手段）であり、装置背面側の風景や人物等を撮影する。アウトカメラ１７は、光学レンズユニット（レンズ１７１）、ＣＣＤやＣＭＯＳ等のイメージセンサ等からなる撮像素子、Ａ／Ｄ変換回路等を備えて構成され、レンズを通過した光学像を撮像素子により２次元の画像信号に変換し、第２の画像（アウトカメラ画像と呼ぶ）を取得する。

通信部１８は、外部の機器と無線又は有線によりデータ通信を行うためのインターフェースである。

［画像処理装置１の動作］
次に、画像処理装置１の動作について説明する。
図３は、画像処理装置１のＣＰＵ１１により実行される自撮り処理Ａを示すフローチャートである。自撮り処理Ａは、操作部１４により自撮りモードが設定され、撮影が指示された場合に、ＣＰＵ１１と記憶部１３に記憶されているプログラムとの協働により実行される。

まず、ＣＰＵ１１は、インカメラ１６とアウトカメラ１７により同時に撮像を行わせ、インカメラ画像とアウトカメラ画像を取得する（ステップＳ１）。
インカメラ１６では、ユーザ自身が映ったインカメラ画像を取得することができる。アウトカメラ１７では、ユーザの瞳に映り込むはずだった光景が映ったアウトカメラ画像を取得することができる。
なお、インカメラ１６とアウトカメラ１７は同時に撮像を行うことが好ましいが、わずかにそのタイミングがずれても構わない。

次いで、ＣＰＵ１１は、インカメラ画像から目の領域を検出する（ステップＳ２）。
例えば、ＣＰＵ１１は、インカメラ画像に顔認識処理を行って顔領域を認識し、認識した顔領域から目の領域を検出する。顔検出処理は、例えば、Ｈａａｒ−ｌｉｋｅ特徴等を用いた手法等、公知の画像処理技術を用いて行うことができる。また、目の領域の検出は、例えば、ＡＡＭ(Active Appearance Model)を用いた手法等の公知の画像処理技術を用いて行うことができる。検出された顔領域や目の領域の位置座標は、ＲＡＭ１２に記憶される。目の領域は、黒目のみの領域としてもよいし、黒目と白目を合わせた領域としてもよい。

次いで、ＣＰＵ１１は、インカメラ画像の目の領域に合成を行うか否かを判断する（ステップＳ３）。
ここで、本処理では、瞳（目）への光の映り込みが不足している場合に、人物の表情を生き生きとさせるためにアウトカメラ画像を合成する。そのため、瞳への光の映り込みが十分な場合は、合成は不要である。そこで、ＣＰＵ１１は、例えば、インカメラ画像の取得時にフラッシュ撮影が行われた場合、または瞳への光の映り込みが十分な場合は、合成は行わないと判断する。瞳への光の映り込みが十分であるか否かは、例えば、インカメラ画像の目の領域の輝度（例えば、ＹＵＶデータのＹ信号）が予め定められた閾値以上の領域が目の領域の所定の割合以上を占める場合に、瞳への光の映り込みが十分であると判断する。
なお、ステップＳ２において目の領域が検出されなかった場合についても、合成を行わないと判断する。

合成を行うと判断した場合（ステップＳ３；ＹＥＳ）、ＣＰＵ１１は、アウトカメラ画像に加工を施す（ステップＳ４）。
ステップＳ４において、ＣＰＵ１１は、まず、アウトカメラ画像の縮小処理を行う。例えば、インカメラ画像から検出された目の領域の大きさに基づいて縮小率を決定し、決定した縮小率でアウトカメラ画像を縮小する。次いで、ＣＰＵ１１は、例えば、縮小したアウトカメラ画像の中心を歪み中心として、縮小したアウトカメラ画像に歪加工処理を行う。次いで、ＣＰＵ１１は、歪み加工処理後のアウトカメラ画像と、インカメラ画像の合成対象の目の領域の大きさに基づいて、歪み加工処理後のアウトカメラ画像にトリミングを行う。
なお、アウトカメラ１７が全天周カメラであり、アウトカメラ画像が全天周画像である場合は、歪加工処理は省略してもよい。

次いで、ＣＰＵ１１は、インカメラ画像に加工を施す（ステップＳ５）。
例えば、インカメラ画像の目の領域にユーザの手や画像処理装置１が映っている場合がある（図６（ｃ）参照）。そこで、ステップＳ５においては、インカメラ画像の目の領域からこれらの不要な映り込みを除去する処理を行う。例えば、黒目の領域、白目の領域のそれぞれの画素値を、その領域の画素値の代表値（平均値、最大値、最小値、中央値等）に置き換える処理等を行う。

次いで、ＣＰＵ１１は、加工済みのアウトカメラ画像を加工済みのインカメラ画像の目の領域に合成して合成画像を生成する（ステップＳ６）。
例えば、インカメラ画像の目の領域の各画素の輝度値（例えば、ＹＵＶデータのＹ信号）を加工済みのアウトカメラ画像の対応する画素の輝度値により上書きすることにより合成する。あるいは、アルファブレンド等によりアウトカメラ画像を透過画像としてインカメラ画像の目の領域に合成することとしてもよい。これにより、合成画像に不自然さが生じないようにすることができる。

次いで、ＣＰＵ１１は、合成画像を記憶部１３に保存させ（ステップＳ７）、自撮り処理Ａを終了する。
一方、ステップＳ３において、合成を行わないと判断した場合（ステップＳ３；ＮＯ）、ＣＰＵ１１は、インカメラ画像を記憶部１３に保存させ（ステップＳ８）、自撮り処理Ａを終了する。

このように、自撮り処理Ａでは、インカメラ１６により取得されたインカメラ画像の目の領域に、アウトカメラ画像により取得されたアウトカメラ画像を合成する。したがって、ユーザの目の領域に撮影時にユーザの目の前に広がっていた光景が映り込んだ自然な映り込みのある画像を取得することが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
第２の実施形態における画像処理装置１の構成は、第１の実施形態で説明したものと同様であるので説明を援用し、以下、第２の実施形態の動作について説明する。

第２の実施形態において、画像処理装置１は、自撮りの静止画撮影モードと動画撮影モードを有している。操作部１４により自撮りの静止画撮影モードが設定され、撮影が指示されると、ＣＰＵ１１は、第１の実施形態で説明した自撮り処理Ａを実行する。操作部１４により自撮りの動画撮影モードが設定され、撮影が指示されると、ＣＰＵ１１は、自撮り処理Ｂを実行する。

図４は、ＣＰＵ１１により実行される自撮り処理Ｂを示すフローチャートである。自撮り処理Ｂは、ＣＰＵ１１と記憶部１３に記憶されているプログラムとの協働により実行される。

まず、ＣＰＵ１１は、インカメラ１６に静止画撮影を行わせてインカメラ画像（静止画像）を取得するとともに、アウトカメラ１７に所定時間の動画撮影を行わせてアウトカメラ画像（動画像。アウトカメラ動画像と呼ぶ）を取得する（ステップＳ１１）。

次いで、ＣＰＵ１１は、アウトカメラ動画像を記憶部１３に保存する（ステップＳ１２）。

次いで、ＣＰＵ１１は、インカメラ画像の目の領域に、アウトカメラ動画像の１番目のフレーム画像を合成して合成画像を生成する（ステップＳ１３）。
ステップＳ１３において、ＣＰＵ１１は、例えば、アウトカメラ動画像の１番目のフレーム画像をアウトカメラ画像として図３のステップＳ２、Ｓ４〜Ｓ６の処理を実行することにより、インカメラ画像の目の領域にアウトカメラ動画像の１番目のフレーム画像を合成する。

次いで、ＣＰＵ１１は、ステップＳ１２で記憶部１３に保存したアウトカメラ画像の保存先の情報を取得し、その保存先情報をリンク先情報として合成画像に付加するとともに、目の領域の位置情報を合成画像に付加して記憶部１３に保存し（ステップＳ１４）、自撮り処理Ｂを終了する。

操作部１４により上記自撮り処理Ｂにおいて生成された合成画像が選択され、表示が指示されると、ＣＰＵ１１は、再生制御処理を実行し、再生制御手段として機能する。

図５は、ＣＰＵ１１により実行される再生制御処理を示すフローチャートである。再生制御処理は、ＣＰＵ１１と記憶部１３に記憶されているプログラムとの協働により実行される。

まず、ＣＰＵ１１は、記憶部１３から合成画像を読み出して表示部１５に表示する（ステップＳ２１）。

次いで、ＣＰＵ１１は、表示された合成画像における目の領域のタッチ操作が操作部１４により検出されたか否かを判断する（ステップＳ２２）。
合成画像における目の領域のタッチ操作が操作部１４により検出されていないと判断した場合（ステップＳ２２；ＮＯ）、ＣＰＵ１１は、操作部１４により合成画像を閉じる指示が検出されたか否かを判断する（ステップＳ２３）。合成画像を閉じる操作が検出されていないと判断した場合（ステップＳ２３；ＮＯ）、ＣＰＵ１１は、ステップＳ２２に戻る。合成画像を閉じる操作が検出されたと判断した場合（ステップＳ２３；ＹＥＳ）、ＣＰＵ１１は、合成画像を閉じて再生制御処理を終了する。

合成画像における目の領域のタッチ操作が操作部１４により検出されたと判断した場合（ステップＳ２２；ＹＥＳ）、ＣＰＵ１１は、表示部１５に表示されている合成画像における目の領域をズームアップする（ステップＳ２４）。なお、目の領域をズームアップしながらアウトカメラ動画像へとモーフィングしながら切り替えることとしてもよい。

そして、ＣＰＵ１１は、合成画像に対応付けられているリンク先のアウトカメラ動画像を再生する（ステップＳ２５）。

このように、第２の実施形態においては、ユーザが自撮りした画像（インカメラ画像）の目の領域に、自撮り時にユーザの目の前に広がっていた光景の動画像（アウトカメラ動画像）を合成し、合成画像の目の領域をユーザがタッチすると、合成した動画像を再生するので、ユーザ自身と、撮影時にユーザの目の前に広がっていた光景をひとつの画像の中で同時に表現することができ、ユーザは、自撮り写真と、その写真の撮影時の光景を楽しむことが可能となる。

以上説明したように、画像処理装置１によれば、インカメラ１６と、インカメラ１６とは異なる方向を撮影するアウトカメラ１７とを備え、ＣＰＵ１１は、撮影指示に応じて、インカメラ１６によりインカメラ画像を取得させるとともにアウトカメラ１７によりアウトカメラ画像を取得させ、インカメラ画像から所定の領域を検出し、検出した領域にアウトカメラ画像を合成する。したがって、撮影時にユーザの目の前に広がっていた光景が映り込んだ自然な映り込みのある画像を取得することが可能となる。

なお、上記実施形態における記述内容は、本発明に係る画像処理装置の好適な一例であり、これに限定されるものではない。

例えば、上記実施形態において、ＣＰＵ１１は、アウトカメラ画像（アウトカメラ動画像も含む。以下同様。）の全体を加工してインカメラ画像に合成することとしたが、アウトカメラ画像から所定の領域を切り出して、切り出した画像を加工してインカメラ画像に合成することとしてもよい（切り出し手段）。例えば、アウトカメラ画像から輝度値（例えば、ＹＵＶデータのＹ信号）が予め定められた閾値以上の領域を抽出し、抽出した領域を切り出してもよい。これにより、瞳に十分な映り込みのある画像を得ることが可能となる。また、インカメラ画像から認識された顔領域に基づいて顔の向いている方向を検出し（顔方向検出手段）、アウトカメラ画像における、インカメラ画像の顔が向いている方向の画像を切り出してもよい。顔の向きは、例えば、顔から検出した左右の目の長さや黒目と白目の割合等により判断することができる。これにより、撮影時にユーザが見ていた方向の画像をインカメラ画像の目の領域に合成することができるので、より自然な映り込みのある画像を得ることが可能となる。

また、上記実施形態においては、インカメラ画像の目の領域にアウトカメラ画像を合成することとしたが、これに限定されず、例えば、インカメラ画像からアクセサリー、メガネ、サングラス等の、光が反射して外部の像が映り込む領域を検出して検出した領域にアウトカメラ画像を合成することとしてもよい。これにより、目以外の領域においても、自然な映り込みのある画像を得ることができる。

また、上記実施形態においては、インカメラ１６とアウトカメラ１７の２つの撮像手段を備えることとして説明したが、互いに異なる方向を撮影する３以上の複数の撮像手段を備える構成とし、一の撮像手段により取得された画像に他の複数の撮像手段により取得された画像を合成することとしてもよい。

また、上記実施形態においては、インカメラ１６とアウトカメラ１７でユーザの画像とユーザの目の前の光景の画像を取得することとしたが、一つのカメラでユーザを撮影してその撮影画像を取得してから向きを変えて撮影を行い、ユーザの目の前の光景の画像を取得することとしてもよい。そして、ユーザの撮影画像に上述のインカメラ画像と同じ加工を施し、光景の画像に上述のアウトカメラ画像と同じ加工を施して、ユーザの撮影画像の所定の領域（例えば、目の領域）に光景の画像を合成することとしてもよい。このようにしても、上記実施形態と同様に、自然な映り込みのある画像を取得することができる。

また、上記第２の実施形態においては、インカメラ画像の目の領域にアウトカメラ動画像の１番目のフレーム画像を合成しておき、目の領域がタッチされたらズームアップして動画像を再生することとしたが、アウトカメラ動画像の各フレーム画像に図３のステップＳ４で説明したような加工処理を施しておき、動画の再生が指示された場合、インカメラ画像の目の領域に順次フレーム画像をはめ込んで動画像が再生されるようにしてもよい。

また、上記第１及び第２の実施形態においては、画像処理装置１が撮像手段であるインカメラ１６とアウトカメラ１７を備えることとして説明したが、撮像手段を備えていない画像処理装置においても、上述の合成画像を生成することとしてもよい。例えば、画像処理装置において、外部装置のインカメラにより撮像されたインカメラ画像と、そのインカメラ画像の撮像と同時に上記外部装置のアウトカメラにより撮像されたアウトカメラ画像を対応付けて記憶部に記憶しておき、画像処理装置のＣＰＵは、プログラムとの協働により、記憶部に記憶されているインカメラ画像とアウトカメラ画像を用いて図３に示すステップＳ２〜Ｓ７の処理や図４に示すステップＳ１３〜Ｓ１４の処理を行って、アウトカメラ画像をインカメラ画像の所定の領域（例えば、目の領域）に合成することとしてもよい。

また、例えば、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリ等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。

その他、画像処理装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
第１の撮像手段と、
前記第１の撮像手段とは異なる方向を撮像する第２の撮像手段と、
撮影指示に応じて、前記第１の撮像手段により第１の画像を取得させるとともに前記第２の撮像手段により第２の画像を取得させる撮影制御手段と、
前記第１の画像から所定の領域を検出する検出手段と、
前記第１の画像における前記所定の領域に前記第２の画像を合成する合成手段と、
を備える画像処理装置。
＜請求項２＞
前記第２の画像に切り出し処理を行う切り出し手段を備え、
前記合成手段は、前記切り出し手段により前記第２の画像から切り出された画像を前記所定の領域に合成する請求項１に記載の画像処理装置。
＜請求項３＞
前記第１の画像に顔認識処理を行い、認識された顔が向いている方向を検出する顔方向検出手段を備え、
前記切り出し手段は、前記顔が向いている方向の画像を前記第２の画像から切り出す請求項２に記載の画像処理装置。
＜請求項４＞
前記撮影制御手段は、撮影指示に応じて、前記第１の撮像手段により第１の画像を取得させるとともに前記第２の撮像手段により第２の画像を略同時に取得させる請求項１〜３のいずれか一項に記載の画像処理装置。
＜請求項５＞
前記所定の領域は、目の領域又は外部の像が映り込む領域である請求項１〜４のいずれか一項に記載の画像処理装置。
＜請求項６＞
前記合成手段は、前記第２の画像に加工を施してから合成する請求項１〜５のいずれか一項に記載の画像処理装置。
＜請求項７＞
前記合成手段は、前記第１の画像に加工を施してから合成する請求項１〜６のいずれか一項に記載の画像処理装置。
＜請求項８＞
前記第２の撮像手段は、前記第２の画像として動画像を取得し、
前記合成手段は、前記第１の画像における前記所定の領域に前記動画像を合成する請求項１〜７のいずれか一項に記載の画像処理装置。
＜請求項９＞
前記所定の領域に前記動画像が合成された前記第１の画像を表示する表示手段と、
前記表示手段に表示された前記第１の画像の前記所定の領域がタッチされた際に、前記動画像の再生を開始するように制御する再生制御手段を備える請求項８に記載の画像処理装置。
＜請求項１０＞
第１の画像と、前記第１の画像の撮像と同時に前記第１の画像とは異なる方向を撮像することにより取得された第２の画像とを記憶する記憶手段と、
前記第１の画像から所定の領域を検出する検出手段と、
前記第１の画像における前記所定の領域に前記第２の画像を合成する合成手段と、
を備える画像処理装置。
＜請求項１１＞
第１の撮像手段と、前記第１の撮像手段とは異なる方向を撮像する第２の撮像手段と、を備える画像処理装置における画像処理方法であって、
撮影指示に応じて、前記第１の撮像手段により第１の画像を取得させるとともに前記第２の撮像手段により第２の画像を取得させる工程と、
前記第１の画像から所定の領域を検出する工程と、
前記第１の画像における前記所定の領域に前記第２の画像を合成する工程と、
を含む画像処理方法。
＜請求項１２＞
画像処理装置における画像処理方法であって、
第１の画像と、前記第１の画像の撮像と同時に前記第１の画像とは異なる方向を撮像することにより取得された第２の画像とを記憶手段に記憶する工程と、
前記第１の画像から所定の領域を検出する工程と、
前記第１の画像における前記所定の領域に前記第２の画像を合成する工程と、
を含む画像処理方法。
＜請求項１３＞
第１の撮像手段と、前記第１の撮像手段とは異なる方向を撮像する第２の撮像手段と、を備える画像処理装置に用いられるコンピュータを、
撮影指示に応じて、前記第１の撮像手段により第１の画像を取得させるとともに前記第２の撮像手段により第２の画像を取得させる撮影制御手段、
前記第１の画像から所定の領域を検出する検出手段、
前記第１の画像における前記所定の領域に前記第２の画像を合成する合成手段、
として機能させるためのプログラム。
＜請求項１４＞
コンピュータを、
第１の画像と、前記第１の画像の撮像と同時に前記第１の画像とは異なる方向を撮像することにより取得された第２の画像とを記憶する記憶手段、
前記第１の画像から所定の領域を検出する検出手段、
前記第１の画像における前記所定の領域に前記第２の画像を合成する合成手段、
として機能させるためのプログラム。

１ 画像処理装置
１１ ＣＰＵ
１２ ＲＡＭ
１３ 記憶部
１４ 操作部
１５ 表示部
１６ インカメラ
１７ アウトカメラ
１８ 通信部

Claims (12)

1. 第１の撮像手段と、
   前記第１の撮像手段とは撮像方向が異なる第２の撮像手段と、
   撮影指示に応じて、前記第１の撮像手段により第１の画像を取得させるとともに前記第２の撮像手段により第２の画像を取得させる撮影制御手段と、
   前記第１の画像から所定の領域を検出する領域検出手段と、
   前記第１の画像に顔認識処理を行い、認識された顔が向いている方向を検出する顔方向検出手段と、
   前記顔方向検出手段により検出された顔が向いている方向の画像を前記第２の画像から切り出す切り出し手段と、
   前記第１の画像における前記所定の領域に、前記切り出し手段により切り出し処理が行われた前記第２の画像を合成する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記撮影制御手段は、撮影指示に応じて、前記第１の撮像手段により第１の画像を取得させるとともに前記第２の撮像手段により第２の画像を略同時に取得させることを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の領域は、目の領域又は外部の像が映り込む領域であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記合成手段は、前記第２の画像に加工を施してから合成することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記合成手段は、前記第１の画像に加工を施してから合成することを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 第１の撮像手段と、
   前記第１の撮像手段とは撮像方向が異なる第２の撮像手段と、
   撮影指示に応じて、前記第１の撮像手段により画像を取得させるとともに前記第２の撮像手段により動画像を取得させる撮影制御手段と、
   前記画像から所定の領域を検出する領域検出手段と、
   前記画像における前記所定の領域に前記動画像を合成する動画合成手段と、
   前記所定の領域に前記動画像が合成された前記画像を表示する表示手段と、
   前記表示手段に表示された前記画像の前記所定の領域がタッチされた際に、前記動画像の再生を開始するように制御する再生制御手段と、
   を備えることを特徴とする画像処理装置。
7. 第１の画像と、前記第１の画像の撮像と同時に前記第１の画像とは異なる方向を撮像することにより取得された第２の画像とを記憶する記憶手段と、
   前記第１の画像から所定の領域を検出する領域検出手段と、
   前記第１の画像に顔認識処理を行い、認識された顔が向いている方向を検出する顔方向検出手段と、
   前記顔方向検出手段により検出された顔が向いている方向の画像を前記第２の画像から切り出す切り出し手段と、
   前記第１の画像における前記所定の領域に、前記切り出し手段により切り出し処理が行われた前記第２の画像を合成する合成手段と、
   を備えることを特徴とする画像処理装置。
8. 画像と、前記画像の撮像と同時に前記画像とは異なる方向を撮像することにより取得された動画像とを記憶する記憶手段と、
   前記画像から所定の領域を検出する領域検出手段と、
   前記画像における前記所定の領域に前記動画像を合成する動画合成手段と、
   前記所定の領域に前記動画像が合成された前記画像を表示する表示手段と、
   前記表示手段に表示された前記画像の前記所定の領域がタッチされた際に、前記動画像の再生を開始するように制御する再生制御手段と、
   を備えることを特徴とする画像処理装置。
9. 画像処理装置における画像処理方法であって、
   第１の画像と、前記第１の画像の撮像と同時に前記第１の画像とは異なる方向を撮像することにより取得された第２の画像とを記憶手段に記憶する工程と、
   前記第１の画像から所定の領域を検出する工程と、
   前記第１の画像に顔認識処理を行い、認識された顔が向いている方向を検出する工程と、
   前記顔が向いている方向を検出する工程により検出された顔が向いている方向の画像を前記第２の画像から切り出す工程と、
   前記第１の画像における前記所定の領域に、前記切り出す工程により切り出し処理が行われた前記第２の画像を合成する工程と、
   を含むことを特徴とする画像処理方法。
10. 画像処理装置における画像処理方法であって、
    画像と、前記画像の撮像と同時に前記画像とは異なる方向を撮像することにより取得された動画像とを記憶部に記憶する工程と、
    前記画像から所定の領域を検出する工程と、
    前記画像における前記所定の領域に前記動画像を合成する工程と、
    前記所定の領域に前記動画像が合成された前記画像を表示部に表示する工程と、
    前記表示された前記画像の前記所定の領域がタッチされた際に、前記動画像の再生を開始するように制御する工程と、
    を含むことを特徴とする画像処理方法。
11. コンピュータを、
    第１の画像と、前記第１の画像の撮像と同時に前記第１の画像とは異なる方向を撮像することにより取得された第２の画像とを記憶する記憶手段、
    前記第１の画像から所定の領域を検出する領域検出手段、
    前記第１の画像に顔認識処理を行い、認識された顔が向いている方向を検出する顔方向検出手段、
    前記顔方向検出手段により検出された顔が向いている方向の画像を前記第２の画像から切り出す切り出し手段、
    前記第１の画像における前記所定の領域に、前記切り出し手段により切り出し処理が行われた前記第２の画像を合成する合成手段、
    として機能させることを特徴とするプログラム。
12. コンピュータを、
    画像と、前記画像の撮像と同時に前記画像とは異なる方向を撮像することにより取得された動画像とを記憶部に記憶する記憶手段、
    前記画像から所定の領域を検出する領域検出手段、
    前記画像における前記所定の領域に前記動画像を合成する動画合成手段、
    前記所定の領域に前記動画像が合成された前記画像を表示部に表示する表示手段、
    前記表示手段に表示された前記画像の前記所定の領域がタッチされた際に、前記動画像の再生を開始するように制御する再生制御手段、
    として機能させることを特徴とするプログラム。