JP6257885B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、画像領域を複数の三角形状の部分領域に区切り、各三角形を変形させることで画像領域を変形させる画像処理方法が知られている（例えば、特許文献１）。

特許第４６１３３１３号公報

しかしながら、従来の画像処理方法は、画像領域の輪郭の位置及び形状を変化させるように画像領域を変形させていた。このため、変形の対象となった画像領域とその周囲の背景画像領域との間に空白の領域が生じたり、背景画像領域が歪んだりする等、画像が破綻してしまう虞があった。

本発明の課題は、画像内の所定の画像領域の態様の変更を適正に行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明の画像処理装置は、画像に含まれる所定の画像領域内で指定された指定点の位置を示す位置情報を取得する第１取得手段と、この第１取得手段により位置情報が取得された前記指定点を移動させるための第１の移動情報を取得する第２取得手段と、前記所定の画像領域の輪郭よりも内側の領域の画素の位置を示す位置情報を取得する第３取得手段と、前記第３取得手段により取得された前記画素と前記第１取得手段により取得された前記指定点との間の距離に応じて、前記第２取得手段により取得された前記第１の移動情報に含まれる移動量を補正して、前記第３取得手段により取得された前記画素を移動させるための第２の移動情報を取得する第４取得手段と、前記第１取得手段により取得された前記指定点の位置を前記第２取得手段により取得された前記第１の移動情報に基づいて当該画像領域内で移動させ、前記第３取得手段により取得された前記画素の位置を前記第４取得手段により取得された前記第２の移動情報に基づいて当該画像領域内で移動させる移動手段と、を備え、前記移動手段による前記指定点及び前記画素の移動により前記所定の画像領域の輪郭に変化が生じないことを特徴とする。

また、本発明の画像処理方法は、画像処理装置を用いた画像処理方法であって、画像に含まれる所定の画像領域内で指定された指定点の位置を示す位置情報を取得する第１取得ステップと、前記位置情報が取得された前記指定点を移動させるための第１の移動情報を取得する第２取得ステップと、前記所定の画像領域の輪郭よりも内側の領域の画素の位置を示す位置情報を取得する第３取得ステップと、前記第３取得ステップにより取得された前記画素と前記第１取得ステップにより取得された前記指定点との間の距離に応じて、前記第２取得ステップにより取得された前記第１の移動情報に含まれる移動量を補正して、前記第３取得ステップにより取得された前記画素を移動させるための第２の移動情報を取得する第４取得ステップと、前記第１取得ステップにより取得された前記指定点の位置を前記第２取得ステップにより取得された前記第１の移動情報に基づいて当該画像領域内で移動させ、前記第３取得ステップにより取得された前記画素の位置を前記第４取得ステップにより取得された前記第２の移動情報に基づいて当該画像領域内で移動させる移動ステップと、を有し、前記移動ステップによる前記指定点及び前記画素の移動により前記所定の画像領域の輪郭に変化が生じないことを特徴とする。

また、本発明のプログラムは、画像処理装置のコンピュータを、画像に含まれる所定の画像領域内で指定された指定点の位置を示す位置情報を取得する第１取得手段、前記位置情報が取得された前記指定点を移動させるための第１の移動情報を取得する第２取得手段、前記所定の画像領域の輪郭よりも内側の領域の画素の位置を示す位置情報を取得する第３取得手段、前記第３取得手段により取得された前記画素と前記第１取得手段により取得された前記指定点との間の距離に応じて、前記第２取得手段により取得された前記第１の移動情報に含まれる移動量を補正して、前記第３取得手段により取得された前記画素を移動させるための第２の移動情報を取得する第４取得手段、前記第１取得手段により取得された前記指定点の位置を前記第２取得手段により取得された前記第１の移動情報に基づいて当該画像領域内で移動させ、前記第３取得手段により取得された前記画素の位置を前記第４取得手段により取得された前記第２の移動情報に基づいて当該画像領域内で移動させる移動手段、として機能させ、前記移動手段による前記指定点及び前記画素の移動により前記所定の画像領域の輪郭に変化が生じないことを特徴とする。

本発明によれば、画像内の所定の画像領域の態様の変更を適正に行うことができる。

本発明を適用した一実施形態の画像処理装置の概略構成を示すブロック図である。 画像処理装置による画像処理の流れの一例を示すフローチャートである。 移動処理の流れの一例を示すフローチャートである。 被写体領域の抽出の一例を示す図である。 被写体領域内で指定された指定点及び終了点の一例を示す図である。 被写体領域の分割の一例を示す図である。 分割された被写体領域に含まれる各領域構成点の移動情報の一例を示す模式図である。 移動処理後の被写体領域及び各部分領域の一例を示す模式図である。 移動処理結果が反映された更新画像の一例を示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の画像処理装置１の概略構成を示すブロック図である。
図１に示すように、本実施形態の画像処理装置１は、記録媒体制御部１０１、中央制御部１０２、被写体領域抽出部１０３、表示部１０４、操作入力部１０５、指定点情報取得部１０６、分割処理部１０７、移動情報算出部１０８、移動処理部１０９、画像更新部１１０等を備える。これらの各構成のうち、指定点情報取得部１０６、分割処理部１０７、移動情報算出部１０８、移動処理部１０９、画像更新部１１０等は、例えば、図示しないカスタムＬＳＩとして設計されている。

記録媒体制御部１０１は、記録媒体Ｃが着脱自在に構成され、装着された記録媒体Ｃからのデータの読み出しや記録媒体Ｃに対するデータの書き込みを制御する。
記録媒体制御部１０１は、例えば、被写体を撮像する撮像装置により取得された画像データが記録された記録媒体Ｃから画像データを読み出して中央制御部１０２に出力する。ここで、記録媒体制御部１０１は、画像（例えば、図４（ａ）に示す画像Ｐ等）を取得する画像取得手段として機能する。

中央制御部１０２は、画像処理装置１の各部を制御するものである。具体的には、中央制御部１０２は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＲＯＭに記録された各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させる。
中央制御部１０２は、例えば、記録媒体制御部１０１により読み出された画像データを被写体領域抽出部１０３や表示部１０４等に出力する。

被写体領域抽出部１０３は、画像に含まれる被写体領域を所定の画像領域として抽出する抽出手段として機能する。
具体的には、被写体領域抽出部１０３は、図４（ａ）、（ｂ）に示すように、被写体領域Ｐ１と背景領域Ｐ２を含む画像Ｐから、所定の画像領域となる被写体領域Ｐ１を抽出する。被写体領域抽出部１０３は、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理によって被写体領域Ｐ１の候補となる画像領域（候補領域）を検出し、検出された候補領域の中で所定の識別条件を満たすものを被写体領域Ｐ１として抽出する。また、被写体領域抽出部１０３は、抽出された被写体領域Ｐ１を示すデータを表示部１０４に出力する。
なお、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。また、所定の識別条件としては、例えば、「ヒトの顔」や「ヒトの目、眉（例えば、図４（ａ）、（ｂ）等に示す目Ｅ１、眉Ｅ２等）、「物体」や「動物」などの形状を基準とするものや、画角全体の画像Ｐに対する割合（例えば、半分以上であるか）などの大きさを基準とするものや、明度や彩度が高く鮮やかな（派手な）色合いであるか否かや肌色であるか否かなどの色調を基準とするもの等が挙げられる。

なお、所定の識別条件を満たすものが複数検出された場合には、被写体領域抽出部１０３は、例えば、撮像距離が最も近いものや、大きさの最も大きいものや、画角内の最も中央寄りに位置しているものや、色合いが最も派手なものなどを優先して被写体領域Ｐ１として抽出するようにしてもよい。また、被写体領域抽出部１０３は、予め複数の所定の識別条件に優先順位を設定しておき、当該優先順位を考慮して被写体領域Ｐ１を抽出してもよい。

表示部１０４は、表示制御部１０４ａ、表示パネル１０４ｂ等を備える。
表示制御部１０４ａは、画像（例えば、画像Ｐ等）を表示パネル１０４ｂに表示させる制御を行う。具体的には、表示制御部１０４ａは、例えば、中央制御部１０２から出力された画像データを取得して、取得された画像データの表示態様に対応するビデオ信号を生成し、生成されたビデオ信号を表示パネル１０４ｂに出力する。また、表示制御部１０４ａは、例えば、被写体領域抽出部１０３から出力された被写体領域Ｐ１を示すデータに基づいて、抽出された被写体領域Ｐ１を明示的に表示させるためのビデオ信号を生成し、生成されたビデオ信号を表示パネル１０４ｂに出力する。
表示パネル１０４ｂは、例えば、液晶表示装置や有機エレクトロルミネッセンス（Electro-Luminescence）ディスプレイ等の表示装置であり、表示制御部１０４ａからのビデオ信号に基づいた表示出力を行う。具体的には、表示パネル１０４ｂは、例えば、図４（ｂ）に示すように、画像データに含まれる被写体領域Ｐ１が明示的に示された画像Ｐの表示出力を行う。

操作入力部１０５は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部１０２のＣＰＵに出力する。
また、例えば、操作入力部１０５としてタッチパネル（図示略）を表示部１０４の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。

本実施形態の画像処理に係り、操作入力部１０５は、表示パネル１０４ｂに表示された画像Ｐに含まれる被写体領域Ｐ１内の一点（指定点Ｔ１）の位置を指定入力するために用いられる。また、操作入力部１０５は、指定点Ｔ１を移動させるための移動情報（例えば、指定点Ｔ１の移動方向や移動量等）を入力するために用いられる。
具体的には、操作入力部１０５は、例えば、図５に示すように、ユーザにより指定された指定点Ｔ１及び終了点Ｔ２の２点の各々の位置を指定するためのユーザの指定入力に応じた信号を中央制御部１０２のＣＰＵに入力する。ここで、終了点Ｔ２は、移動後の指定点Ｔ１の位置に対応する。即ち、指定点Ｔ１と終了点Ｔ２との位置関係が、指定点Ｔ１の移動方向や移動量に対応することとなる。
図５に示す例では、眉Ｅ２の一端側（図の右側）に対応する画素が指定点Ｔ１として指定され、当該指定点Ｔ１の左上側の画素が終了点Ｔ２として指定されている。

指定点情報取得部１０６は、画像に含まれる所定の画像領域（例えば、被写体領域Ｐ１）内で指定された指定点Ｔ１の位置を示す位置情報を取得する第１取得手段として機能する。
具体的には、指定点情報取得部１０６は、例えば、操作入力部１０５を介して指定された指定点Ｔ１の位置に基づいて、指定点Ｔ１の位置に対応する画素位置情報を取得する。ここで、画素位置情報は、画像データを構成する複数の画素のうち、所定位置の画素（例えば、左上角の画素）を基準画素（０，０）とした位置情報（ｘ，ｙ）である。指定点情報取得部１０６は、基準画素の位置を原点とした、指定点Ｔ１の位置に対応する画素位置情報（ｘ１，ｙ１）を取得する（図５参照）。

また、指定点情報取得部１０６は、例えば、操作入力部１０５を介して指定された終了点Ｔ２の位置に対応する画素位置情報（ｘ２，ｙ２）を更に取得する（図５参照）。

分割処理部１０７は、所定の画像領域（例えば、被写体領域Ｐ１）を複数の部分領域に分割する分割手段として機能する。
具体的には、分割処理部１０７は、例えば、被写体領域Ｐ１内で互いに交差するように配置された複数の直線により被写体領域Ｐ１を複数の部分領域に分割する。また、分割処理部１０７は、指定点Ｔ１に対応する位置で二以上の直線が交差するように複数の直線を配置する。

図６に示す例では、分割処理部１０７は、各部分領域の形状が三角形状となるように複数の直線を配置して被写体領域Ｐ１を分割している。また、分割処理部１０７は、指定点Ｔ１が何れか一の三角形の頂点となるように被写体領域Ｐ１を複数の三角形状の部分領域に分割する三角パッチを被写体領域に適用する。ここで、分割処理部１０７により分割された各部分領域の頂点の位置は、例えば、被写体領域Ｐ１に含まれるいずれかの画素の位置に対応する。なお、三角パッチの適用に係る技術は、公知の技術であるので、ここでは詳細な説明を省略する。

移動情報算出部１０８は、位置情報が取得された指定点Ｔ１を移動させるための移動情報（第１の移動情報）を取得する第２取得手段として機能する。
具体的には、移動情報算出部１０８は、例えば、指定点Ｔ１の位置に対応する画素位置情報（ｘ１，ｙ１）と終了点Ｔ２の位置に対応する画素位置情報（ｘ２，ｙ２）との間の位置関係に基づいて、指定点Ｔ１の移動方向及び移動量を算出する。ここで、指定点Ｔ１の移動方向は、画素位置（ｘ１，ｙ１）から画素位置（ｘ２，ｙ２）に向かう方向に対応する。また、指定点Ｔ１の移動量は、画素位置（ｘ１，ｙ１）と画素位置（ｘ２，ｙ２）との間の距離に対応する。移動情報算出部１０８は、算出された指定点Ｔ１の移動方向及び移動量を指定点Ｔ１の移動情報として取得する。即ち、指定点Ｔ１の移動情報は、指定点Ｔ１を移動させるための移動ベクトルＶ１を示す情報である。
なお、移動情報算出部１０８は、終了点Ｔ２の画素位置情報（ｘ２，ｙ２）が所定の画像領域（例えば、被写体領域Ｐ１）の外側又は当該画像領域の輪郭に重なる位置を示している場合、指定点Ｔ１の移動範囲を当該画像領域内とするために移動量を減少させる。具体的には、移動情報算出部１０８は、例えば、算出された移動方向に沿って指定点Ｔ１の位置を終了点Ｔ２の位置に移動させた場合に、所定の画像領域の輪郭と重ならない位置であって、かつ当該画像領域内で終了点Ｔ２に最も近い位置に指定点Ｔ１を移動させる移動量を算出する。

また、移動情報算出部１０８は、所定の画像領域を構成し、所定の画像領域（例えば、被写体領域Ｐ１）の輪郭よりも内側の領域構成点（画素）の位置を移動させるための移動情報（第２の移動情報）を算出する。
例えば、移動情報算出部１０８は、まず、指定点Ｔ１との間の距離が所定の距離未満である円Ｒ内の各部分領域の頂点（例えば、図７に示す頂点Ｒ１〜Ｒ６、Ｑ１〜Ｑ３等）を抽出する抽出処理を行う。ここで、移動情報算出部１０８は、抽出された頂点のうち、被写体領域Ｐ１の輪郭に重なる頂点（例えば、図７に示す頂点Ｑ１〜Ｑ３等）を除外して、頂点を抽出する。即ち、移動情報算出部１０８は、被写体領域Ｐ１の輪郭に重なる頂点を移動させないように頂点を抽出する。
図７に示す例の場合、移動情報算出部１０８は、抽出処理を行うことで、頂点Ｒ１〜Ｒ６を抽出する。

また、移動情報算出部１０８は、抽出された頂点の各々と指定点との間の距離に応じて、指定点Ｔ１の移動情報に含まれる移動量を補正して、各頂点の移動情報を算出する。
具体的には、移動情報算出部１０８は、例えば、指定点Ｔ１の移動量を１００［％］として、抽出された各頂点の移動量をｎ［％］（０＜ｎ＜１００）とするように補正する。ここで、移動情報算出部１０８は、指定点Ｔ１により近い頂点の移動量がより大きくなるように各頂点の移動量を補正する。例えば、移動情報算出部１０８は、指定点Ｔ１との間の距離に比例するように各頂点の移動量を補正してもよいし、補正のための所定の演算式を用いて各頂点の移動量を算出することで補正してもよい。
移動情報算出部１０８は、指定点Ｔ１の移動情報に含まれる移動方向と同一の移動方向及び指定点との間の距離に応じて補正された移動量を示す移動情報を抽出された頂点の各々の移動情報として算出する。

移動処理部１０９は、移動情報算出部１０８により算出された移動情報に基づいて、所定の画像領域（例えば、被写体領域Ｐ１）の輪郭よりも内側の各領域構成点（画素）の位置を当該画像領域内で移動させる移動処理を行う。
具体的には、移動処理部１０９は、例えば、指定点Ｔ１の移動情報により示される移動方向及び移動量に応じて指定点Ｔ１を移動させる。即ち、移動処理部１０９は、指定点Ｔ１を終了点Ｔ２の位置に移動させる。
また、移動処理部１０９は、移動情報算出部１０８により抽出された頂点の各々の移動情報により示される移動方向及び移動量に応じて当該頂点の各々を移動させる。即ち、移動処理部１０９は、指定点Ｔ１との間の距離が所定の距離未満であって、かつ、被写体領域Ｐ１の輪郭に重ならない頂点の位置を指定点Ｔ１の移動方向に沿って指定点Ｔ１との間の距離に応じた各々の移動量に応じて移動させる。
そして、移動処理部１０９は、指定点Ｔ１及び指定点Ｔ１との間の距離が所定の距離未満である頂点の位置の移動に応じて、これらの頂点を有する部分領域に含まれる領域構成点（画素）を移動させる。

例えば、移動処理部１０９は、移動情報算出部１０８により算出された指定点Ｔ１及び頂点Ｒ１〜Ｒ６の移動情報に応じて各点の位置を移動させる。また、移動処理部１０９は、移動情報に応じて移動された点を頂点に含む各部分領域の辺の位置を当該頂点の移動に追従させるように移動させる。そして、移動処理部１０９は、頂点及び辺が移動された各部分領域を構成する各領域構成点（画素）の位置を当該頂点及び辺の移動に追従させるように移動させる。
結果、図８に示すように、被写体領域Ｐ１内の各部分領域のうち、指定点Ｔ１に対応する頂点及び頂点Ｒ１〜Ｒ６を有する部分領域が変形されるように各領域構成点の移動が行われる。これにより、被写体領域Ｐ１内の態様は、指定点Ｔ１の位置に対応する眉Ｅ２の一端側が左上側に向かうように変形されると共に、指定点Ｔ１との間の距離が所定の距離未満である画素を含んでいる目Ｅ１の一端側が左上側に膨らむように変形されることとなる。ここで、移動された各画素の移動量は、指定点Ｔ１との間の距離に応じて補正されているので、指定点Ｔ１と重なる又は極めて近接した位置にある眉Ｅ２の一端側の画素の移動量は、眉Ｅ２から離間した目Ｅ１の一端側の画素の移動量に比して大きい。
なお、図８に示す頂点ｒ１〜ｒ６の位置はそれぞれ、図７に示す頂点Ｒ１〜Ｒ６が移動された後の位置を示す。
また、移動処理に際して、被写体領域Ｐ１の輪郭に重なる頂点Ｑ１〜Ｑ３は移動されないので、被写体領域Ｐ１の輪郭の位置及び形状は変化しない。

このように、移動処理部１０９は、指定点情報取得部１０６により取得された指定点Ｔ１の位置情報と移動情報算出部１０８により取得された指定点Ｔ１の移動情報とに基づいて、所定の画像領域（例えば、被写体領域Ｐ１）の輪郭よりも内側の各領域構成点（画素）の位置を当該画像領域内で移動させる移動手段として機能する。
また、移動情報算出部１０８は、指定点Ｔ１と各領域構成点との距離及び指定点Ｔ１の移動情報に基づいて、各領域構成点を移動させるための移動情報を算出する算出手段として機能する。

なお、移動処理部１０９による各領域構成点の移動に伴い、各部分領域が移動方向に沿って拡張又は圧縮されるように変形するが、移動処理部１０９は、このような変形に対応させるように各部分領域内の画素を補間又は間引きする。各部分領域の拡張又は圧縮に伴う画素の補間又は間引きに係る具体的な処理は、公知の技術であるので、ここでは詳細な説明を省略する。

画像更新部１１０は、移動処理部１０９により各領域構成点の位置を移動させてなる被写体領域Ｐ１（例えば、図８に示す被写体領域Ｐ１）で、記録媒体制御部１０１により取得された画像Ｐに含まれる被写体領域Ｐ１を更新する更新手段として機能する。
具体的には、画像更新部１１０は、例えば、各領域構成点（画素）が移動された態様の被写体領域Ｐ１（図８参照）を画像Ｐに反映させる更新処理を行う。図９の例に示す更新処理後の画像Ｐａに含まれる被写体領域Ｐ１の態様は、更新処理前に比して被写体領域Ｐ１内の目Ｅ１の一端側（図の右側）及び眉Ｅ２の一端側が左上側に移動された態様となっている。

次に、画像処理装置１による処理の流れについて、図２、図３のフローチャートを参照して説明する。
図２は、画像処理装置１による画像処理の流れの一例を示すフローチャートである。
まず、記録媒体制御部１０１が、画像を取得する（ステップＳ１）。具体的には、記録媒体制御部１０１は、記録媒体Ｃから画像Ｐ（図４（ａ）参照）を読み出して取得する。
次に、被写体領域抽出部１０３が、取得された画像（例えば、画像Ｐ）に含まれる被写体領域（例えば、被写体領域Ｐ１）を所定の画像領域として抽出する（ステップＳ２）。また、中央制御部１０２は、被写体領域Ｐ１が抽出された画像Ｐを表示部１０４に表示させる（図４（ｂ）参照）。

次に、中央制御部１０２は、操作入力部１０５を介して被写体領域Ｐ１内で指定点Ｔ１が指定されたか否か判定する（ステップＳ３）。ここで、指定点Ｔ１が指定されたと判定された場合（ステップＳ３；ＹＥＳ）、指定点情報取得部１０６は、指定点Ｔ１の位置を示す位置情報を取得する（ステップＳ４）。具体的には、指定点情報取得部１０６は、例えば、画像データを構成する複数の画素のうち、所定位置の画素（例えば、左上角の画素）を基準画素（０，０）の位置を原点とした、指定点Ｔ１の位置に対応する画素位置情報（ｘ１，ｙ１）を取得する（図５参照）。
次に、分割処理部１０７が、被写体領域Ｐ１内を複数の部分領域に分割する（ステップＳ５）。具体的には、分割処理部１０７は、例えば、指定点がいずれかの部分領域の頂点となるように三角パッチを適用して、被写体領域Ｐ１内を複数の三角形状の部分領域に分割する（図６参照）。

次に、中央制御部１０２は、指定点Ｔ１の移動先を示す情報の入力が行われたと判定されるまで待機する（ステップＳ６；ＮＯ）。具体的には、中央制御部１０２は、例えば、操作入力部１０５を介してユーザにより終了点Ｔ２が指定されたか否か判定し、終了点Ｔ２が指定されるまで待機する。
指定点Ｔ１の移動先を示す情報の入力が行われたと判定された場合に（ステップＳ６；ＹＥＳ）、移動情報算出部１０８が、指定点Ｔ１の移動情報を取得する（ステップＳ７）。具体的には、例えば、指定点情報取得部１０６が、終了点Ｔ２の位置に対応する画素位置情報（ｘ２，ｙ２）を取得する。そして、移動情報算出部１０８は、指定点Ｔ１の位置に対応する画素位置情報（ｘ１，ｙ１）から終了点Ｔ２の位置に対応する画素位置情報（ｘ２，ｙ２）に向かう移動方向及び指定点Ｔ１の位置に対応する画素位置情報（ｘ１，ｙ１）と終了点Ｔ２の位置に対応する画素位置情報（ｘ２，ｙ２）との間の距離に対応する移動量を算出して、算出された移動方向及び移動量により示される移動ベクトルＶ１に対応する移動情報を取得する（図７参照）。

次に、画像処理装置１は、移動処理を行う（ステップＳ８）。ここで、移動処理について、図３のフローチャートを参照して説明する。
まず、移動情報算出部１０８は、分割処理部１０７により適用された三角パッチによって分割された各部分領域の各頂点のうち、指定点Ｔ１との間の距離が所定の距離未満である頂点であって、被写体領域Ｐ１の輪郭に重ならない頂点を抽出する（ステップＳ２１）。具体的には、移動情報算出部１０８は、例えば、指定点Ｔ１との間の距離が所定の距離未満である頂点（例えば、頂点Ｒ１〜Ｒ６及び頂点Ｑ１〜Ｑ３等）から、被写体領域Ｐ１の輪郭に重なる頂点（例えば、頂点Ｑ１〜Ｑ３等）を除外して、頂点（例えば、頂点Ｒ１〜Ｒ６等）を抽出する（図７参照）。

次に、移動情報算出部１０８は、ステップＳ２１にて抽出された全ての頂点に対応する移動情報の補正が完了したと判定されるまで（ステップＳ２２；ＮＯ）、各頂点に対応する移動情報の補正に係る処理を行う。
具体的には、移動情報算出部１０８は、抽出された頂点（例えば、頂点Ｒ１〜Ｒ６）のうち、一つの頂点と指定点Ｔ１との距離を取得する（ステップＳ２３）。
次に、移動情報算出部１０８は、ステップＳ２３にて取得された距離に応じて指定点Ｔ１の移動情報に含まれる移動量を補正し、補正された移動量と指定点Ｔ１の移動情報に含まれる移動方向を含む移動情報を、当該一つの頂点に対応して補正された移動情報として算出する（ステップＳ２４）。移動量の補正に際して、移動情報算出部１０８は、例えば、指定点Ｔ１の移動量を１００［％］として、指定点との間の距離に比例するように当該一つの頂点の移動量をｎ［％］（０＜ｎ＜１００）とする補正を行う。
ステップＳ２４の処理後、移動情報算出部１０８は、ステップＳ２２の処理に移行する。

ステップＳ２１にて抽出された全ての頂点に対応する移動情報の補正が完了したと判定されると（ステップＳ２２；ＹＥＳ）、移動処理部１０９は、まず、指定点Ｔ１の移動情報に基づいて、指定点Ｔ１の位置を移動させる（ステップＳ２５）。具体的には、移動処理部１０９は、指定点Ｔ１の位置を終了点Ｔ２の位置まで移動させる（図８参照）。
また、移動処理部１０９は、ステップＳ２４にて補正された移動情報に基づいて、ステップＳ２１にて抽出された頂点を移動させる（ステップＳ２６）。そして、移動処理部１０９は、指定点Ｔ１及び移動された各頂点の位置の移動に応じて各領域構成点を移動させる（ステップＳ２７）。具体的には、移動処理部１０９は、例えば、移動された指定点Ｔ１や抽出された頂点（例えば、頂点Ｒ１〜Ｒ６等）を頂点に含む各部分領域の辺の位置を当該頂点の移動に追従させるように移動させ、頂点及び辺が移動された各部分領域を構成する各領域構成点（画素）の位置を当該頂点及び辺の移動に追従させるように移動させる（図８、図９参照）。
ステップＳ２７の処理の完了により、画像処理装置１は、移動処理を抜ける。

図２のフローチャートに戻り、移動処理の完了後、画像更新部１１０は、移動処理が施された被写体領域Ｐ１の態様に基づいて、ステップＳ１にて取得された画像を更新する（ステップＳ９）。具体的には、画像更新部１１０は、例えば、各領域構成点（画素）が移動された態様の被写体領域Ｐ１を画像データに反映させる。
ステップＳ９の処理後、画像処理装置１は、ステップＳ３の処理に移行する。ステップＳ３にて、操作入力部１０５を介して被写体領域Ｐ１内で指定点Ｔ１が指定されなかった場合に（ステップＳ３；ＮＯ）、画像処理装置１は、画像処理を終了する。

以上、本実施形態の画像処理装置によれば、所定の画像領域（例えば、被写体領域Ｐ１）の輪郭よりも内側の各領域構成点（画素）の位置を当該画像領域内で移動させるので、当該画像領域の輪郭及び当該画像領域外に変化を生じさせることなく所定の画像領域内の態様を変形させることができる。即ち、所定の画像領域内外の間で破綻を生じさせることなく所定の画像領域内の態様を変化させることができることから、画像内の所定の画像領域の態様の変更を適正に行うことができる。

また、指定点Ｔ１と各領域構成点（例えば、頂点Ｒ１〜Ｒ６等）との距離及び指定点Ｔ１の移動情報に基づいて、各領域構成点を移動させるための移動情報を算出するので、各領域構成点の位置を指定点Ｔ１の位置の移動に準じるように移動させることができ、指定点Ｔ１の移動を基準とした各領域構成点の一体的な移動により所定の画像領域内の態様を変化させることができる。

また、分割された複数の部分領域のうち、少なくとも一の部分領域を構成する領域構成点（画素）の位置を移動させるので、部分領域単位で所定の画像領域内の態様を変形させることができる。
また、部分領域を複数の多角形状（例えば、三角形状）として、当該多角形状の部分領域の頂点に対応する領域構成点（画素）を移動させることで部分領域を変形させるので、部分領域の変形に係る処理を多角形状の部分領域の頂点の移動処理として単純化することができ、より簡易な処理により所定の画像領域を変形させることができる。

また、画像に含まれる被写体領域Ｐ１を所定の画像領域として抽出し、抽出された被写体領域Ｐ１内で指定された指定点Ｔ１の位置を示す位置情報を取得するので、態様が変更される所定の画像領域を予め被写体領域Ｐ１に限定することができ、画像に含まれる被写体領域Ｐ１の態様の変更を適正に行うことができる。

また、各領域構成点の位置を移動させてなる被写体領域Ｐ１（図８参照）で、画像に含まれる被写体領域Ｐ１を更新する（図９参照）ので、適正に変更が行われた被写体領域Ｐ１の態様を画像に反映することができ、変更後の被写体領域Ｐ１を含む更新後の画像をより容易に取り扱うことができる。
また、更新された画像を表示させて、指定点Ｔ１の位置を示す位置情報の取得に係る処理等を行うことで、更新後の態様による被写体領域Ｐ１をさらに変更することができ、複数回の被写体領域Ｐ１の変更をより容易に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。

例えば、上記実施形態にあっては、被写体領域Ｐ１を所定の画像領域として抽出しているが、一例であってこれに限られるものでない。画像内で周囲の画像領域との境界となる輪郭を有する任意の画像領域を所定の画像領域として抽出することができる。
また、上記実施形態では、指定点Ｔ１の位置の指定前に所定の画像領域を抽出しているが、一例であってこれに限られるものでない。例えば、指定点Ｔ１の位置を含む画像領域を所定の画像領域として抽出するようにしてもよい。

また、上記実施形態にあっては、指定点Ｔ１の位置や移動情報に係る各種の指定入力が操作入力部１０５を介してユーザにより行われているが、一例であってこれに限られるものでない。例えば、予め定められた移動方向や移動量に応じて、指定された指定点Ｔ１を自動的に移動させるようにしてもよい。また、画像に含まれる所定の画像領域（例えば、被写体領域Ｐ１）の抽出と同様に、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理によって指定点Ｔ１に対応する領域構成点（画素）が自動的に指定されるようにしてもよい。

また、上記実施形態にあっては、三角パッチの適用により所定の画像領域を複数の三角形状の部分領域に分割しているが、一例であってこれに限られるものでない。例えば、部分領域は四以上の頂点を有する多角形状であってもよい。また、指定点Ｔ１と所定の画素領域内の各領域構成点（画素）との位置関係（距離等）に基づいて画素毎に移動情報を算出してもよい。この場合、例えば、図７にて示された円Ｒ内であって、かつ、被写体領域Ｐ１の輪郭に重ならない各画素に対して個別に移動情報が算出される。
また、上記実施形態にあっては、指定点Ｔ１及び移動された各頂点の位置の移動に応じて各領域構成点を移動させるようにしたが、一例であってこれに限られるものでない。例えば、所定の画像領域が顔画像領域であるような場合は、目、口、眉等の動きが大きくなりやすい部分の画像領域については、移動量が大きくなるようにし、鼻、額等の動きが小さくなりやすい部分の画像領域については、移動量が小さくなるように、各領域構成点に重み付けをしてもよい。
また、上記実施形態にあっては、指定点の位置に基づいて、三角パッチによる所定の画像領域の分割を行っているが、一例であってこれに限られるものではない。例えば、三角パッチ等によって所定の画像領域を分割してから分割した多角形状の何れか１つの頂点をユーザが指定点として指定するようにしてもよい。この場合も、上記と同様の効果を得られる。
また、上記実施形態にあっては、各領域構成点の移動方向を指定点Ｔ１の移動方向と同一としているが、一例であってこれに限られるものでない。例えば、各領域構成点の移動方向は、指定点Ｔ１の移動方向を基準として収束又は拡散するように補正された移動方向であってもよい。

また、上記実施形態にあっては、記録媒体制御部１０１が記録媒体Ｃから画像を読み出して取得しているが、一例であってこれに限られるものでない。例えば、通信や所定のインタフェースを介して接続された外部の機器から画像を取得するようにしてもよい。

また、上記実施形態にあっては、中央制御部１０２のＣＰＵの制御下にて、記録媒体制御部１０１、指定点情報取得部１０６、移動情報算出部１０８、移動処理部１０９等が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵによって所定のプログラム等が実行されることにより実現される構成としてもよい。
即ち、プログラムを記録するプログラムメモリ（図示略）に、画像取得ルーチン、位置情報取得ルーチン、移動情報取得ルーチン、移動ルーチン等を含むプログラムを記録しておく。そして、画像取得ルーチンによりＣＰＵが、画像を取得するようにしてもよい。また、位置情報取得ルーチンによりＣＰＵが、画像に含まれる所定の画像領域内で指定された指定点の位置を示す位置情報を取得するようにしてもよい。また、移動情報取得ルーチンによりＣＰＵが、位置情報が取得された指定点を移動させるための移動情報を取得するようにしてもよい。また、移動ルーチンによりＣＰＵが、位置情報と移動情報とに基づいて、所定の画像領域の輪郭よりも内側の各領域構成点の位置を当該画像領域内で移動させるようにしてもよい。
上記実施形態の他の機能についても、上記の各ルーチンと同様に、ＣＰＵによって所定のプログラム等が実行されることにより実現される構成としてもよい。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像に含まれる所定の画像領域内で指定された指定点の位置を示す位置情報を取得する第１取得手段と、
この第１取得手段により位置情報が取得された前記指定点を移動させるための第１の移動情報を取得する第２取得手段と、
前記第１取得手段により取得された前記指定点の位置情報と前記第２取得手段により取得された前記第1の移動情報とに基づいて、前記所定の画像領域を構成し、前記所定の画像領域の輪郭よりも内側の各領域構成点の位置を当該画像領域内で移動させる移動手段と、
を備えることを特徴とする画像処理装置。
＜請求項２＞
前記指定点と前記領域構成点との距離及び前記第1の移動情報に基づいて、前記領域構成点を移動させるための第２の移動情報を算出する算出手段を更に備え、
前記移動手段は、前記算出手段により算出された第２の移動情報に基づいて、前記領域構成点の位置を移動させることを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記算出手段は、前記指定点と前記領域構成点との距離に応じて当該領域構成点の移動量を算出し、
前記移動手段は、前記算出手段により算出された前記移動量に基づいて、前記領域構成点の位置を移動させることを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記所定の画像領域を複数の部分領域に分割する分割手段を更に備え、
前記移動手段は、前記分割手段により分割された前記複数の部分領域のうち、少なくとも一の部分領域を構成する領域構成点の位置を移動させることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記分割手段は、更に、前記指定点が何れか一の多角形の頂点となるように前記所定の画像領域を複数の多角形状の部分領域に分割し、
前記移動手段は、前記分割手段により分割された複数の多角形状の部分領域の各頂点のうち、少なくとも一の頂点の位置を移動させて当該複数の多角形状の部分領域を変形させることを特徴とする請求項４に記載の画像処理装置。
＜請求項６＞
前記分割手段は、前記所定の画像領域を複数の多角形状の部分領域に分割し、
前記指定点は、前記多角形状の部分領域の各頂点のうち、何れか１つを指定したものであることを特徴とする請求項４に記載の画像処理装置。
＜請求項７＞
前記画像取得手段により取得された画像に含まれる被写体領域を前記所定の画像領域として抽出する抽出手段を更に備え、
前記第１取得手段は、前記抽出手段により抽出された被写体領域内で指定された前記指定点の位置を示す位置情報を取得することを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
前記移動手段は、前記被写体領域の輪郭よりも内側の領域構成点の位置を当該被写体領域内で移動させ、
前記移動手段により領域構成点の位置を移動させてなる被写体領域で、前記画像取得手段により取得された画像に含まれる被写体領域を更新する更新手段を更に備えることを特徴とする請求項７に記載の画像処理装置。
＜請求項９＞
画像処理装置を用いた画像処理方法であって、
画像に含まれる所定の画像領域内で指定された指定点の位置を示す位置情報を取得するステップと、
前記位置情報が取得された前記指定点を移動させるための移動情報を取得するステップと、
前記位置情報と前記移動情報とに基づいて、前記所定の画像領域を構成し、前記所定の画像領域の輪郭よりも内側の各領域構成点の位置を当該画像領域内で移動させるステップと、
を有することを特徴とする画像処理方法。
＜請求項１０＞
画像処理装置のコンピュータを、
画像に含まれる所定の画像領域内で指定された指定点の位置を示す位置情報を取得する手段、
前記位置情報が取得された前記指定点を移動させるための移動情報を取得する手段、
前記位置情報と前記移動情報とに基づいて、前記所定の画像領域を構成し、前記所定の画像領域の輪郭よりも内側の各領域構成点の位置を当該画像領域内で移動させる手段、
として機能させるプログラム。

１ 画像処理装置
１０１ 記録媒体制御部
１０２ 中央制御部
１０３ 被写体領域抽出部
１０４ 表示部
１０５ 操作入力部
１０６ 指定点情報取得部
１０７ 分割処理部
１０８ 移動情報算出部
１０９ 移動処理部
１１０ 画像更新部
Ｐ、Ｐａ 画像
Ｐ１ 被写体領域
Ｔ１ 指定点

Claims (11)

1. 画像に含まれる所定の画像領域内で指定された指定点の位置を示す位置情報を取得する第１取得手段と、
   この第１取得手段により位置情報が取得された前記指定点を移動させるための第１の移動情報を取得する第２取得手段と、
   前記所定の画像領域の輪郭よりも内側の領域の画素の位置を示す位置情報を取得する第３取得手段と、
   前記第３取得手段により取得された前記画素と前記第１取得手段により取得された前記指定点との間の距離に応じて、前記第２取得手段により取得された前記第１の移動情報に含まれる移動量を補正して、前記第３取得手段により取得された前記画素を移動させるための第２の移動情報を取得する第４取得手段と、
   前記第１取得手段により取得された前記指定点の位置を前記第２取得手段により取得された前記第１の移動情報に基づいて当該画像領域内で移動させ、前記第３取得手段により取得された前記画素の位置を前記第４取得手段により取得された前記第２の移動情報に基づいて当該画像領域内で移動させる移動手段と、を備え、
   前記移動手段による前記指定点及び前記画素の移動により前記所定の画像領域の輪郭に変化が生じないことを特徴とする画像処理装置。
2. 前記第４取得手段は、前記第２取得手段により取得された前記第１の移動情報に含まれる移動量より小さくなるように補正して、前記第３取得手段により取得された前記画素を移動させるための第２の移動情報を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記第３取得手段は、前記所定の画像領域の輪郭よりも内側の領域の複数の画素の位置を示す位置情報を取得し、
   前記第４取得手段は、前記第３取得手段により取得された前記複数の画素の移動量が、前記第１取得手段により取得された前記指定点により近い画素の移動量がより大きくなるように各画素の移動量を補正して、前記第３取得手段により取得された前記複数の画素を移動させるための第２の移動情報を取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記第３取得手段は、前記所定の画像領域の輪郭よりも内側の領域であり、前記指定点との間の距離が所定距離未満の画素の位置を示す位置情報を取得することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記所定の画像領域を複数の部分領域に分割する分割手段を更に備え、
   前記移動手段は、前記分割手段により分割された前記複数の部分領域のうち、少なくとも一の部分領域を構成する前記指定点と前記第３取得手段により取得された前記画素の位置を移動させることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記分割手段は、更に、前記指定点が何れか一の多角形の頂点となるように前記所定の画像領域を複数の多角形状の部分領域に分割し、
   前記移動手段は、前記分割手段により分割された複数の多角形状の部分領域の各頂点のうち、少なくとも一の頂点の位置を移動させて当該複数の多角形状の部分領域を変形させることを特徴とする請求項５に記載の画像処理装置。
7. 前記分割手段は、前記所定の画像領域を複数の多角形状の部分領域に分割し、
   前記指定点は、前記多角形状の部分領域の各頂点のうち、何れか１つを指定したものであることを特徴とする請求項５に記載の画像処理装置。
8. 前記画像取得手段により取得された画像に含まれる被写体領域を前記所定の画像領域として抽出する抽出手段を更に備え、
   前記第１取得手段は、前記抽出手段により抽出された被写体領域内で指定された前記指定点の位置を示す位置情報を取得することを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記移動手段は、前記被写体領域の輪郭よりも内側の前記指定点と前記第３取得手段により取得された前記画素の位置を当該被写体領域内で移動させ、
   前記移動手段により前記指定点の周囲の画素の位置を移動させてなる被写体領域で、前記画像取得手段により取得された画像に含まれる被写体領域を更新する更新手段を更に備えることを特徴とする請求項８に記載の画像処理装置。
10. 画像処理装置を用いた画像処理方法であって、
    画像に含まれる所定の画像領域内で指定された指定点の位置を示す位置情報を取得する第１取得ステップと、
    前記位置情報が取得された前記指定点を移動させるための第１の移動情報を取得する第２取得ステップと、
    前記所定の画像領域の輪郭よりも内側の領域の画素の位置を示す位置情報を取得する第３取得ステップと、
    前記第３取得ステップにより取得された前記画素と前記第１取得ステップにより取得された前記指定点との間の距離に応じて、前記第２取得ステップにより取得された前記第１の移動情報に含まれる移動量を補正して、前記第３取得ステップにより取得された前記画素を移動させるための第２の移動情報を取得する第４取得ステップと、
    前記第１取得ステップにより取得された前記指定点の位置を前記第２取得ステップにより取得された前記第１の移動情報に基づいて当該画像領域内で移動させ、前記第３取得ステップにより取得された前記画素の位置を前記第４取得ステップにより取得された前記第２の移動情報に基づいて当該画像領域内で移動させる移動ステップと、を有し、
    前記移動ステップによる前記指定点及び前記画素の移動により前記所定の画像領域の輪郭に変化が生じないことを特徴とする画像処理方法。
11. 画像処理装置のコンピュータを、
    画像に含まれる所定の画像領域内で指定された指定点の位置を示す位置情報を取得する第１取得手段、
    前記位置情報が取得された前記指定点を移動させるための第１の移動情報を取得する第２取得手段、
    前記所定の画像領域の輪郭よりも内側の領域の画素の位置を示す位置情報を取得する第３取得手段、
    前記第３取得手段により取得された前記画素と前記第１取得手段により取得された前記指定点との間の距離に応じて、前記第２取得手段により取得された前記第１の移動情報に含まれる移動量を補正して、前記第３取得手段により取得された前記画素を移動させるための第２の移動情報を取得する第４取得手段、
    前記第１取得手段により取得された前記指定点の位置を前記第２取得手段により取得された前記第１の移動情報に基づいて当該画像領域内で移動させ、前記第３取得手段により取得された前記画素の位置を前記第４取得手段により取得された前記第２の移動情報に基づいて当該画像領域内で移動させる移動手段、として機能させ、
    前記移動手段による前記指定点及び前記画素の移動により前記所定の画像領域の輪郭に変化が生じないことを特徴とするプログラム。

Images