JP4509063B2 - 画像処理装置，その制御方法およびその制御プログラム - Google Patents

Description

この発明は，画像処理装置，その制御方法およびその制御プログラムに関する。

被写体像の中から顔画像部分などの対象画像部分を検出する装置が実現されている。被写体像を表す画像データと検出された対象画像部分の位置を示すデータとをメモリ・カードなどに記録することにより，そのメモリ・カードから画像データと位置データとが読み出されると，読み出された画像データによって表される被写体像のうち，位置データによって示される位置に顔画像部分などの対象画像部分があることが分かる。顔画像部分などの対象画像部分が明るくなるような処理（たとえば，プリント）を実現できる。

画像処理を行うための参照部位の位置情報と画像処理制御データとを画像ファイルに記録するもの（特許文献１），ファイルの操作履歴情報などをファイルとは別に格納するもの（特許文献２），顔の画像部分を検出して顔の位置，大きさなどに応じて合成処理を行うもの（特許文献３）などが存在している。
特開2003−6666号公報 特開2005-18734号公報 特開2000-322588号公報

しかしながら，画像データとその画像データによって表される被写体像中の顔画像部分などの対象画像部分の位置を示すデータとがメモリ・カードなどの記録媒体に記録されていたとしても，画像データによって表される被写体像のトリミングなどが行われ，そのトリミング後の被写体像を表す画像データがメモリ・カードに記録されていると，位置データによって表される位置が，トリミング後の被写体像における対象画像部分を正確に表さないことがある。

この発明は，位置データによって表される位置が対象画像部分を正確に表すようにすることを目的とする。

この発明による画像処理装置は，被写体像を表す画像データおよび上記被写体像中における対象画像部分（顔，目，自動車など）の位置を示す位置データを，着脱自在な記録媒体から読み取る読み取り手段，上記読み取り手段によって読み取られた画像データによって表される被写体像の一部分の画像抽出処理を行う画像抽出手段，上記画像抽出手段によって抽出された画像中における対象画像部分の位置を決定する対象画像位置決定手段，ならびに上記対象画像位置決定手段によって決定された位置を示すデータおよび上記画像抽出手段によって抽出された画像を表す画像データを上記記録媒体に記録する記録制御手段を備えていることを特徴とする。

この発明は，上記画像処理装置に適した制御方法も提供している。すなわち，この方法は，読み取り手段が，被写体像を表す画像データおよび上記被写体像中における対象画像部分の位置を示す位置データを，着脱自在な記録媒体から読み取り，画像抽出手段が，上記読み取り手段によって読み取られた画像データによって表される被写体像の一部分の画像抽出処理を行い，対象画像位置決定手段が，上記画像抽出手段によって抽出された画像中における対象画像部分の位置を決定し，記録制御手段が，上記対象画像位置決定手段によって決定された位置を示すデータおよび上記画像抽出手段によって抽出された画像を表す画像データを上記記録媒体に記録するものである。

この発明は，上記画像処理装置の制御方法を実現するためのプログラムも提供している。

この発明によると，被写体像を表す画像データと上記被写体像中における対象画像部分の位置を示す位置データとが着脱自在な記録媒体から読み取られる。読み取られた画像データによって表される被写体像の一部分を抽出する画像抽出処理が行われる。抽出された画像の大きさは被写体像の大きさと異なる。このために，記録媒体から読み取られた位置データによって表される位置には，対象画像部分は存在しないことがある。この発明によると，抽出された画像中における対象画像部分の位置が新たに決定（検出，算出）される。新たに決定された位置を示すデータと抽出された画像を表す画像データとが記録媒体に記録される。画像抽出処理が行われると，その抽出された画像に合った対象画像部分の位置が決定され，決定された位置を示すデータと抽出された画像を表す画像データとが記録媒体に記録されるので，新たに決定された位置は抽出された画像中の対象画像部分を正確に表すものとなる。

上記画像抽出手段によって抽出された画像の大きさを，上記被写体像の大きさに拡大する拡大手段をさらに備えてもよい。この場合，上記対象画像位置決定手段は，上記拡大手段によって拡大された画像中における対象画像部分の位置を決定するものとなり，上記記録制御手段は，上記対象画像位置決定手段によって決定された位置を示すデータおよび上記拡大手段において拡大された画像を表す画像データを上記記録媒体に記録するものとなろう。

上記対象画像位置検出手段は，たとえば，上記画像抽出手段によって抽出された画像の中から対象画像部分を検出する対象画像部分検出手段をさらに備える。この場合，上記対象画像部分検出手段によって検出された対象画像部分の位置を上記抽出された画像における対象画像部分の位置と決定するものとなろう。

また，上記対象画像位置検出手段は，上記画像抽出手段によって抽出された画像の位置と上記読み取り手段によって読み取られた位置データによって示される位置とにもとづいて，上記画像抽出手段によって抽出された画像における対象画像部分の位置を算出するものでもよい。

さらに，上記記録制御手段は，上記対象画像位置決定手段によって決定された位置を示すデータ，および上記画像抽出手段によって抽出された画像を表す画像データに加えて，上記画像抽出手段による抽出処理が行われたことを示すデータを上記記録媒体に記録するものでもよい。

さらに，上記読み取り手段は，被写体像を表す画像データおよび対象画像部分の位置を示す位置データに加えて，上記画像抽出手段における抽出処理の回数を示す回数データを読み取るものでもよい。この場合，上記画像抽出手段における抽出処理が行われたことに応じて，上記読み取り手段によって読み取られた回数データによって示される回数をインクレメントするインクレメント手段をさらに備え，上記記録制御手段は，上記対象画像位置決定手段によって決定された位置を示すデータ，および上記画像抽出手段によって抽出された画像を表す画像データを上記記録媒体に記録することに加えて，上記インクレメント手段によりインクレメントされた回数を示すデータを，上記記録媒体に記録されている回数データに上書きするものとなろう。

図１は，この発明の実施例を示すもので，画像処理装置の電気的構成を示すブロック図である。

画像処理装置の全体の動作は，ＣＰＵ２によって統括される。画像処理装置には，ＣＰＵ２の周辺回路８が含まれている。この周辺回路８は，割り込み制御回路，シリアル制御回路などを含むものである。

画像処理装置には，操作装置１が含まれており，この操作装置１から出力される操作信号は，ＣＰＵ２に入力する。

画像処理装置には，着脱自在なメモリ・カード11が装着されている。メモリ・カード11からの画像データの読み取りおよびメモリ・カード11への画像データの書き込みは，メディア制御回路６によって制御される。メモリ・カード11に記録されている画像データはメディア制御回路６によって読み取られる。読み取られた画像データは，メモリ制御回路９によってメモリ10に一時的に記憶される。

メモリ・カード11から読み取られた画像データが圧縮されている場合には，画像データはメモリ10から読み出されて圧縮伸長処理回路５に与えられる。圧縮伸長処理回路５においてデータ伸長が行われる。データ伸長された画像データは，メモリ10に与えられ，再び記憶される。

また，画像処理装置には，画像データによって表される画像の一部の切り出し（トリミング，加工）などを行うディジタル信号処理回路３，画像データによって表される画像の中から顔画像部分を検出する顔検出回路４等も含まれている。

メモリ10に記憶されている画像データが読み出され，表示制御回路７に与えられると，読み出された画像データによって表される被写体像が表示装置12の表示画面上に表示される。たとえば，操作装置１を用いてユーザによって画像切り出し等の加工処理が行われると，加工された画像が表示装置12の表示画面上に表示される。

顔検出が行われる場合には，メモリ10に記憶された画像データはメモリ10から読み出されて顔検出回路４に入力する。顔検出回路４において，入力した画像データによって表される被写体像の中から顔画像部分が検出される。検出された顔画像部分の領域を表す顔位置情報がＣＰＵ２によって算出される。

算出された顔位置情報および切り出し等によって加工された画像を表す画像データがメモリ・カード11に記録される。メモリ・カード11に加工された回数が記録される場合には，その加工回数をインクレメントし，メモリ・カード11に上書きするようにしてもよい。必要であれば，加工回数をインクレメントするための加算回路が画像処理装置に設けられよう。さらに，画像データが加工されている場合には，加工されていることを示すデータをメモリ・カードに記録してもよい。加工されていることを示すデータを読み取ることによりメモリ・カードに記録されている画像データは加工処理が行われているものであることが分かる。

上述の実施例においては，顔画像検出回路４によって顔画像部分を検出し，検出された顔画像部分の位置を表す顔位置情報がメモリ・カード11に記録されているが，後述するようにメモリ・カード11に記録されている顔位置情報と切り出し等の処理により得られる情報（電子ズームの倍率等）とを用いて新たな顔位置情報を再計算するようにしてもよい。再計算により得られた新たな顔位置情報がメモリ・カード11に記録される。

メモリ・カード11に上述した動作プログラムが格納されている場合には，そのメモリ・カード11から動作プログラムを読み出して画像処理装置にインストールすることにより，上述の動作を画像処理装置に行わせることができる。

図２は，画像ファイルのファイル構造（データ構造）の一例である。

画像ファイルには，ヘッダ記録領域と画像データ記録領域とが含まれている。

画像データ記録領域には，サムネイル画像データおよび画像データ（原画像データ）が記録される。

ヘッダ記録領域には，画像ファイルの管理データを含む画像情報が記録される。また，この実施例においては，画像データ記録領域に記録されているサムネイル画像データおよび原画像データによって表される被写体像が加工された回数（複写回数），被写体像に含まれている顔画像の位置を示す顔位置情報などもヘッダ記録領域に記録される。

図３および図４は，被写体像の一例である。これらの図を参照して，被写体像の一部の画像部分を切り出して電子ズームにより拡大する処理，拡大前後の被写体像に含まれる顔画像の位置について説明する。

図３を参照して，メモリ・カード11に記録されている画像データによって表される被写体像21が表示装置12の表示画面に表示される。メモリ・カード11に記録されている画像データについて，すでに顔画像検出処理が行われていると上述したようにメモリ・カード11には顔位置情報が記録されている。その顔位置情報から被写体像21に含まれている顔画像部分を表す顔画像領域22が検出される。顔画像領域22は，水平方向（横方向）の座標をＸ座標，垂直方向（縦方向）の座標をＹ座標とすると，ｘ11，ｘ12，ｙ11およびｙ12によって囲まれる矩形の領域である。

顔画像領域22が規定されている被写体像21が表示装置12の表示画面上に表示される。顔画像領域22を表すための枠が示されているが，その枠は，表示されてもされなくとも良い。ユーザによって操作装置１を用いて切り出すべき領域23が指定される。この指定された領域23内の画像の大きさが元の被写体像21の大きさとなるように電子ズーム（必要であれば，画素補間が行われる）により拡大処理される。指定された領域23の原点の座標（領域23の左上の座標）は，（ｘ０，ｙ０）で表される。

図４は，拡大された被写体像31を示している。

拡大された被写体像31内には，上述したように，拡大前の被写体像21（図３参照）に含まれている顔画像領域22に対応する顔画像領域32が含まれている。顔画像領域32は，座標ｘ21，ｘ22，ｙ21およびｙ22によって囲まれる矩形の領域である。この顔画像領域32は，電子ズーム前の顔画像領域22を電子ズームのズーム倍率に応じて拡大されたものである。したがって，電子ズーム前の顔画像領域22の座標ｘ11，ｘ12，ｙ11およびｙ12と電子ズーム後の顔画像領域32の座標ｘ21，ｘ22，ｙ21およびｙ22とは，式１から式４によって表される。

ｘ21＝（ズーム倍率）×（ｘ11−ｘ０）・・・式１
ｘ22＝（ズーム倍率）×（ｘ12−ｘ０）・・・式２
ｙ21＝（ズーム倍率）×（ｙ11−ｙ０）・・・式３
ｙ22＝（ズーム倍率）×（ｙ12−ｙ０）・・・式４

このように，画像切り出しおよび電子ズームによる拡大処理が行われると，拡大後の被写体像31を表す画像データおよび拡大後の被写体像31における顔画像領域32を示す新たな顔位置情報（座標ｘ21，ｘ22，ｙ21およびｙ22）がメモリ・カードに記録される。被写体像の一部分が拡大された場合でも，新たな顔位置情報は，その拡大された被写体像における顔画像領域の位置を正確に表すものとなる。メモリ・カードに記録された拡大された被写体像を表す画像データによって表される被写体像における顔画像領域が，新たに記録された顔位置情報から検出できるようになる。

上述した実施例においては切り出された画像部分が拡大されているが，必ずしも拡大されなくともよい。拡大されない場合には，切り出された画像部分を表すデータと，その画像部分中における顔画像部分を示す顔位置情報がメモリ・カードに記録されることとなろう。

図５は，画像処理装置の再生処理手順を示すフローチャートである。

画像処理装置にメモリ・カード11が接続されると，そのメモリ・カード11に記録されている画像データが読み出されて再生処理が行われる（ステップ41）。

メモリ・カード11に顔位置情報が記録されていると（ステップ42でＹＥＳ），その顔位置情報が読み出されて画像処理装置のメモリ10に一時的に記憶される（ステップ43）。上述した画像切り出し処理が行われる場合には（ステップ44でＹＥＳ），メモリ・カード11から読み出された画像データによって表される被写体像が表示装置12の表示画面上に表示される（ステップ45）。被写体像が表示されると，上述のように，その被写体像の中から切り出し処理が行われ（ステップ46），その切り出された範囲に応じて電子ズーム処理が行われる。切り出された画像（電子ズームにより拡大された画像）にもとづいて顔位置情報が再計算される（ステップ47）。再計算により得られた新たな顔位置情報および拡大された画像を表す画像データがメモリ・カード11に記録される（ステップ48）。

再計算により得られた新たな顔位置情報および拡大された画像を表す画像データは，上述のようにメモリ・カード11から読み取られた画像データ等が記録されている画像ファイルに上書きされることとなるが，必ずしも上書きしなくともよい。新たな画像ファイルを生成して，メモリ・カード11に記録するようにしてもよい。

画像ファイルに上書きする場合には，その上書きされた回数（すなわち，切り出し処理が行われた回数，複写回数など）を，その画像ファイルに記録するようにしてもよい。また，切り出し処理等が行われたことを示す情報を画像ファイルに記録するようにしてもよい。上書きされた回数，切り出し処理等が行われた回数等を示す情報を参照することにより，画像データの上書き，切り出し等により，画像データによって表される被写体像中の顔画像の位置を，顔位置情報が正確に表していないことがあることが分かる。

画像処理装置の電気的構成を示すブロック図である。 画像ファイルのファイル構造の一例である。 被写体像の一例である。 拡大処理された被写体像の一例である。 再生処理手順を示すフローチャートである。

符号の説明

２ ＣＰＵ
４ 顔検出回路
６ メディア制御回路
11 メモリ・カード

Claims (6)

1. 被写体像を表す画像データおよび上記被写体像中における対象画像部分の位置を示す位置データを，着脱自在な記録媒体から読み取る読み取り手段，
   上記読み取り手段によって読み取られた画像データによって表される被写体像の一部分の領域内の画像の大きさがもとの被写体像の大きさとなるように拡大処理するズーム手段，
   上記読み取り手段によって読み取られた位置データによって表される対象画像部分の位置と上記ズーム手段のズーム倍率とを用いて上記対象画像部分の位置を再計算する手段，ならびに
   上記再計算する手段によって再計算された位置を示すデータおよび上記ズーム手段によって拡大された被写体像を表す画像データを上記記録媒体に記録する記録制御手段，
   を備えた画像処理装置。
2. 上記再計算する手段は，
   上記読み取り手段によって読み取られた位置データによって表される対象画像部分の位置が座標x11，x12，y11およびy22によって囲まれる矩形の領域の場合において，上記一部分の領域の左上の座標を(x0,y0)としたときに，x21=(ズーム倍率）×（x11−x0），x22 =(ズーム倍率）×（x12−x0），y21=(ズーム倍率）×（y11−y0），およびy22=(ズーム倍率）×（y12−y0）の座標の位置を再計算するものである，
   請求項１に記載の画像処理装置。
3. 上記記録制御手段は，
   上記再計算する手段によって再計算された位置を示すデータ，および上記ズーム手段によって拡大された被写体像を表す画像データに加えて，画像データが加工されていることを示すデータを上記記録媒体に記録するものである，
   請求項１または２に記載の画像処理装置。
4. 上記記録制御手段は，
   上記再計算する手段によって再計算された位置を示すデータおよび上記ズーム手段によって拡大された被写体像を表すデータを，上記読み取り手段によって読み取られた画像データおよび位置データに上書きするものであり，
   上書きされた回数を示すデータを，上記記録媒体に記録するものである，
   請求項１から３のうち，いずれか一項に記載の画像処理装置。
5. 読み取り手段が，被写体像を表す画像データおよび上記被写体像中における対象画像部分の位置を示す位置データを，着脱自在な記録媒体から読み取り，
   ズーム手段が，上記読み取り手段によって読み取られた画像データによって表される被写体像の一部分の領域内の画像の大きさがもとの被写体像の大きさとなるように拡大処理し，
   再計算する手段が，上記読み取り手段によって読み取られた位置データによって表される対象画像部分の位置と上記ズーム手段のズーム倍率とを用いて上記対象画像部分の位置を再計算し，
   記録制御手段が，上記再計算手段によって再計算された位置を示すデータおよび上記ズーム手段によって拡大された被写体像を表す画像データを上記記録媒体に記録する，
   画像処理装置の動作制御方法。
6. 被写体像を表す画像データおよび上記被写体像中における対象画像部分の位置を示す位置データを，着脱自在な記録媒体から読み取る手順，
   読み取られた画像データによって表される被写体像の一部分の領域内の画像の大きさがもとの被写体像の大きさとなるように拡大処理する手順，
   読み取られた位置データによって表される対象画像部分の位置と上記拡大処理のズーム倍率とを用いて上記対象画像部分の位置を再計算する手順，
   再計算された位置を示すデータおよび拡大された被写体像を表す画像データを上記記録媒体に記録する手順を画像処理装置の実行させるための画像処理装置の制御プログラム。

Images