JP3763293B2 - 画像処理装置、画像処理方法、及び撮像装置 - Google Patents
画像処理装置、画像処理方法、及び撮像装置 Download PDFInfo
- Publication number
- JP3763293B2 JP3763293B2 JP2002255865A JP2002255865A JP3763293B2 JP 3763293 B2 JP3763293 B2 JP 3763293B2 JP 2002255865 A JP2002255865 A JP 2002255865A JP 2002255865 A JP2002255865 A JP 2002255865A JP 3763293 B2 JP3763293 B2 JP 3763293B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- trimming
- mouth
- face
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、証明写真等の人物が撮像された画像における人物画像が印画紙内にて所定位置になるようトリミングする画像処理装置、画像処理方法、及び撮像装置に関する。
【０００２】
【従来の技術】
従来、図３５に示すように、証明写真を撮る撮像装置８００は、略矩形の筐体８０１を有し、この筐体８０１には、内部に撮像室８０２が設けられている。この筐体８０１には、撮像室８０２に入った被写体となる人物の顔を撮像する撮像部８０３と、撮像部８０３が撮像した画像を印刷するプリンタ８０４とが内蔵されている。また、筐体８０１には、撮像室８０２に入るための入り口８０５が設けられており、入り口８０５には、遮光カーテン８０６が取り付けられている。また、撮像室８０２には、被写体となる人物が着座する椅子８０７が設けられている。更に、撮像装置８００には、被写体を照射する照明器具８０９が設けられている他、図示しないコイン投入口や金庫等が設けられている。
【０００３】
このような撮像装置８００では、入り口８０５より被写体となる人物が撮像室８０２に入って椅子８０６に着座すると、撮像準備が完了した状態となる。そして、撮像装置８００では、椅子８０７に座っている被写体をフラッシュ撮像し、この撮像データをプリンタ８０４で出力する。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の撮像装置８００においては、顔が規定の位置に写るよう、具体的には、正面のミラー（撮像部）に頭頂部を合せるマーク（図示せず）が記されており、このマーク位置に頭頂部が一致するよう、椅子８０７を回転させ、その高さを手動で上下させ、頭頂部の位置を合わせなければならなかった。
【０００５】
また、例えば店頭等の簡易スタジオでは、カメラの角度等を変えることにより、顔の位置を決められた位置になるように合せていた。このように顔の位置を手動で合せると、できあがった写真は顔の位置が上下にばらつくことが多いという問題点がある。また、写真の最上部から頭頂部までの天部が広い間が抜けた写真になり、一方、天部が狭いと窮屈で見苦しい写真になってしまうという問題点がある。
【０００６】
また、一般の写真においても、主役となる被写体を画面の中心部に配置する傾向がある。このため不必要に天部の面積が大きくなる傾向にある。記念写真又はポートレートでは、顔部を画面中心に配置することにより、天部が広くなり間が抜けた写真に仕上ってしまう。更に、風景写真では空の部分が多くなり、主役の被写体が上手に表現されないという問題点もある。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、撮像された人物画像をトリミングにより自動的に見やすい写真に仕上げることができる画像処理装置、画像処理方法及び撮像装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理装置は、人物の画像から顔領域を抽出する顔領域抽出手段と、顔領域抽出手段により抽出された顔領域から人物の頭頂部、口及び眼の位置を検出する位置検出手段と、位置検出手段により検出された人物の頭頂部の位置及び口の位置から人物の頭頂部から口までの距離を算出するとともに、位置検出手段により検出された上記人物の頭頂部、口及び眼の位置の少なくとも一つから人物の顔を左右に等分する中心線とを算出する算出手段と、位置検出手段により検出された人物の頭頂部と、算出手段により算出された上記人物の頭頂部から口までの距離と、算出手段により算出された人物の顔を左右に等分する中心線とに基づきトリミング範囲を決定してトリミングを行い、位置検出手段が人物の口の位置を検出できなかったときには、画像の最上端をトリミング範囲の最上端にするとともに、画像の最上端から位置検出手段が検出した人物の頭頂部までを天部とし、天部の寸法と位置検出手段が検出した人物の頭頂部の位置と画像内に人物が有効に配される有効領域の幅とに基づきトリミング範囲の最下端を決定してトリミングをトリミング手段とを備えることを特徴とする。
【０００９】
また、本発明に係る画像処理方法は、人物の画像から顔領域を抽出する顔領域抽出工程と、顔領域から人物の頭頂部、口及び眼の位置を検出する位置検出工程と、人物の頭頂部から口までの距離と、人物の頭頂部、口及び眼の位置の少なくとも一つから人物の顔を左右に等分する中心線とを算出する算出工程と、人物の頭頂部の位置と、人物の頭頂部から口まで距離と、人物の顔を左右に等分する中心線とに基づきトリミング範囲を決定してトリミング行い、人物の口の位置が検出されていないときには、画像の最上端をトリミング範囲の最上端とし、画像の最上端から上記人物の頭頂部の位置までを天部とし、天部の寸法と人物の頭頂部の位置と画像内に人物が有効に配される有効領域の幅とに基づきトリミング範囲の最下端を決定してトリミングを行うトリミング工程とを有することを特徴とする。
【００１０】
更に、本発明に係る撮像装置は、人物を撮像する撮像手段と、撮像手段が撮像した人物の画像から顔領域を抽出する顔領域抽出手段と、顔領域抽出手段により抽出された顔領域から上記人物の頭頂部、口及び眼の位置を検出する位置検出手段と、位置検出手段により検出された人物の頭頂部の位置及び口の位置から人物の頭頂部から口までの距離を算出するとともに、位置検出手段により検出された人物の頭頂部、口及び眼の位置の少なくとも一つから人物の顔を左右に等分する中心線とを算出する算出手段と、位置検出手段により検出された人物の頭頂部と、算出手段により算出された人物の頭頂部から口までの距離と、算出手段により算出された人物の顔を左右に等分する中心線とに基づきトリミング範囲を決定してトリミングを行い、位置検出手段が人物の口の位置を検出できなかったときには、画像の最上端をトリミング範囲の最上端にするとともに、画像の最上端から位置検出手段が検出した人物の頭頂部までを天部とし、天部の寸法と位置検出手段が検出した人物の頭頂部の位置と画像内に人物が有効に配される有効領域の幅とに基づきトリミング範囲の最下端を決定してトリミングを行うトリミング手段とを備えることを特徴とする。
【００１１】
本発明においては、位置検出手段により人物の特徴となる頭頂部、口及び眼の位置を検出し、算出手段により、頭頂部、口及び眼のそれぞれの間隔や顔の縦方向の中心を算出し、トリミング手段が、人物の頭頂部の位置と、頭頂部から口までの距離と、顔の縦方向の中心とに基づきトリミング範囲を決定することで、顔部、胸部及び天部のバランスを自動的に調整して画像をトリミングすることで、常に見やすい写真を得ることができる。このため、撮像者は、被写体の顔が最適な位置になるようカメラ位置を考慮する必要がなく、また、フォトブースでは、被写体となる使用者が椅子の高さを調整する必要がない。
【００１２】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、撮像された画像から人物の顔領域である顔部を自動検出してオートトリミングする画像処理装置であって、顔部、胸部、及び天部の比率を規定することにより、人物画像をバランスよく自動配置し、自動的に見やすい写真に仕上げるための画像処理装置に適用したものである。
【００１３】
図１は、証明写真における人物の配置を示す模式図である。図１に示すように、証明写真６００において、証明写真の最上端６００ａから人物画像６０１の頭頂部ＴＯＨまでの垂直方向の大きさＡが天部寸法を示す。また、人物画像６０１の頭頂部ＴＯＨから口ＨＯＭまでの垂直方向の大きさＢが顔部寸法を示す。更に、人物画像６０１の口ＨＯＭから証明写真の最下端６００ｂまでの大きさＣが胸部寸法を示す。ここで、Ｄ（Ｄ＝Ａ＋Ｂ＋Ｃ）は、印画紙において証明写真６００が印刷された領域（以下、有効領域という。）の垂直方向の大きさを示す。ここで、この有効領域は、印画紙において証明写真が印刷されていない余白を含む場合、この余白を除いた領域を示す。また、Ｅは、有効領域の水平方向の大きさを示す。更に、ＣＯＨは、顔を左右に等分するＥの中間を示す線、いわゆる顔の中心線である。ここで、この有効領域（Ｄ×Ｅ）は、印画紙に証明写真が印刷されていない余白を含む場合、この余白を除いた領域を示す。
【００１４】
本実施の形態の画像処理装置は、被写体の顔領域が印画紙において本発明範囲、即ち顔部Ｂの寸法を基準とした場合、各部の比率を顔部Ｂ：胸部Ｃ：天部Ａ＝１：０．６〜１．０：０．２〜０．３の範囲となるようにトリミングを行うものである。
【００１５】
ここで、本画像処理装置は、証明写真装置等の写真ブースにおいて、画像処理で顔部を検出してオートトリミングする際に使用される。ここでは、先ず、本実施の形態の画像処理装置が設けられる写真ブースについて説明する。
【００１６】
Ａ．写真ブース
図２乃至図４に示すように、撮像装置１は、病院等に設置されて患者等の顔写真を撮像するために用いられる写真ブースを構成するものであり、本体部を構成する筐体１１を有する。この筐体１１は、背面部１２に相対向して設けられる側壁１３，１４と、側壁１３，１４間を閉塞し天井を構成する天板１５とを有し、背面部１２と一対の側壁１３，１４と天板１５とで構成される空間部に撮像室１６が設けられている。
【００１７】
被写体となる人物が撮像室１６に入ったときに対向する背面部１２には、その内部に、被写体を撮像するための撮像部１７、撮像部１７が撮像した画像を印刷するプリンタ１８，１９、撮像部１７の出力である画像信号をアナログ信号からディジタル信号に変換する等の画像処理を行う画像処理回路、全体の動作を制御する制御回路等の様々な電気回路が組み込まれたメイン基板２１等が内蔵されている。撮像部１７は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor device）等の撮像素子を有する撮像装置１７ａと、撮像室１６の被写体となる人物と向き合う面に設けられるハーフミラー１７ｂと、ハーフミラー１７ｂを透過した光を反射する反射板１７ｃとを有する。ハーフミラー１７ｂは、被写体を撮像するとき、ハーフミラー１７ｂで被写体からの光を所定量反射させることで被写体となる人物が自分の顔を見ることができるようにすると共に、残りの光を透過し、撮像装置１７ａが被写体を取り込むことができるようにする。ハーフミラー１７ｂを透過した光は、反射板１７ｃで反射されて撮像装置１７ａへと導かれ、これによって、撮像装置１７ａは、被写体を撮像する。撮像装置１７ａからの出力は、メイン基板２１の画像処理回路に出力され、ディジタル処理がなされ、これをプリンタ１８若しくは１９に出力する。
【００１８】
第１のプリンタ１８は、通常使用するメインプリンタであり、第２のプリンタ１９は、第１のプリンタ１８が故障したとき等に使用される補助プリンタである。ディジタル信号に変換された画像データは、第１のプリンタ１８若しくは第２のプリンタ１９に出力され、プリンタ１８，１９で印画紙に印刷される。その他に、筐体１１を構成する背面部１２には、電源スイッチ２０ａ、金庫２０ｂ等が内蔵されている。
【００１９】
側壁１３，１４は、このような背面部１２と一体的に、互いに略平行となすように設けられている。背面部１２を構成する外壁と共に側壁１３，１４は、鉄板等比較的比重の重い材料で形成することで、筐体１１の下側を重くし、安定して設置面２に設置できるように形成されている。一方の側壁１３は、他方の側壁１４より短くなるように形成されている。筐体１１は、長い側の他方の側壁１４が、壁に沿うように設置される。短い側となる一方の側壁１３には、設置面２と接続する転動防止部材２２が取り付けられる。転倒防止部材２２は、設置面２、一方の側壁１３のそれぞれをねじ止め等することで、筐体１１が一方の側壁１３側から押されたときにも倒れないようにしている。そして、他方の側壁１４は、一方の側壁１３より長く形成することで、一方の側壁１３側から力が加えられたときにも、筐体１１を十分支持できるように形成されている。
【００２０】
側壁１３，１４間に取り付けられる天板１５は、撮像室１６の天井を構成するものであり、長手方向の長さが長い側となる他方の側壁１４と略同じ若しくは他方の側壁１４よりやや長く形成されている。ここで、天板１５は、ポリプロピレン等の樹脂材料で形成されている。即ち、天板１５は、側壁１３，１４に比べて比重の軽い材料で形成されている。筐体１１は、側壁１３，１４を含む周面を鉄板等の比較的比重の重い材料で形成し、上方に位置する天板１５を比重の比較的軽い材料で形成し、下側が重くなるように形成することで、安定して設置面２に設置できるようになっている。
【００２１】
撮像室１６は、以上のような背面部１２と一体的に形成される一対の側壁１３，１４と天板１５とで構成され、一方の側壁１３の端部と他方の側壁１４の端部との間が撮像室１６の入り口２３とされている。即ち、被写体となる人物は、筐体１１の前面側からと一方の側壁１３側から撮像室１６に入ることができるようになっている。筐体１１は、底板が設けられておらず、従って、撮像室１６の床は、設置面２となっており、撮像室の床は、設置面２と面一になっている。したがって、従来のように、撮像室１６の入り口２３には、段差が無く、車椅子等に乗った患者も、車椅子等に乗ったまま撮像室１６に入ることができる。
【００２２】
ここで撮像室１６の詳細を説明すると、撮像室１６には、長い側の他方の側壁１４に回動支持された椅子２４が設けられている。この椅子２４には、被写体となる人物が座る。この撮像室１６には、車椅子等に乗った患者も入り口２３より入ることがあり、この場合は、椅子２４が邪魔となる。そこで、この椅子２４は、長い側の他方の側壁１４側に倒すことができ、撮像室１６より待避させることで、車椅子の患者が撮像室１６に入ることができるようになっている。具体的に、後述する検出部５９により椅子２４が側壁１４側に倒されているかいないか、即ち椅子２４が側壁１４側に退避されているかどうかを検出して、撮像装置１の各部が動作するようになっている。また、この椅子２４の高さは、車椅子の座る部分と略同じ高さとなっている。撮像部１７は、機構を簡素化するため、位置を変えることはできず固定となっている。被写体となる人物には、車椅子に乗った者と乗っていない者とがおり、それによって、顔の高さは異なる。そこで、椅子２４は、車椅子の高さと略同じとすることで、車椅子に乗っていない者が椅子２４に座ったときの顔の高さと車椅子に乗った者の顔の高さとが略同じになるようにし、撮像部１７が固定であっても確実に被写体となる人物の顔を確実に撮像することができるようにしている。なお、椅子２４の隣には、物置台２５が設けられおり、被写体となる人物が鞄等を置くことができるようになっている。
【００２３】
椅子２４に座った若しくは撮像室１６に入った車椅子に乗った患者と対向する第１の面１６ａは、撮像部１７を構成する撮像装置１７ａの光軸と垂直となるように形成されており、この面の被写体となる人物の顔と対向する位置には、撮像部１７を構成する略矩形のハーフミラー１７ｂが設けられている。このハーフミラー１７ｂは、椅子２４に座った若しくは車椅子に座っている患者がハーフミラー１７ｂで自分の顔を見ながら撮像を行うことができるようになっている。
【００２４】
このハーフミラー１７ｂが設けられた第１の面１６ａと左右に隣り合う第２及び第３の面１６ｂ，１６ｃは、互いに向き合う方向に、第１の面１６ａに対して傾斜するように設けられている。これら第２及び第３の面１６ｂ，１６ｃには、被写体となる人物を照らす照明器具２６，２７が設けられている。照明器具２６，２７は、発光体が内蔵されており、撮像時に点灯されることで、フラッシュ撮像を行うことができるようになっている。照明器具２６，２７は、従来、被写体の正面上方から光を照射していたのに対して、被写体の左右斜め前方から光を被写体に光を照射するようにし、被写体の顔の額と顎との間、即ち顔の上下で照明差が発生しないようにし、また、しわに影が発生することを防止してしわが目立たないようにしている。
【００２５】
ところで、図５に示すように、第２の面１６ｂに設けられた照明器具２６と第３の面１６ｃに設けられた照明器具２７とは、撮像装置１７ａの光軸Ｌと椅子のセンタＯ１とを結ぶ線と照明器具２６，２７のセンタＯ２，Ｏ３と椅子２４のセンタＯ１とを結ぶ線とがなす角θを有するように設けられている。θは、撮像時に、顔に滑らかな影ができ、眼鏡に照明の写り込みが無く、背景に影が出にくい角度に設定され、例えば３０°〜７０°、好ましくは５０°とされる。
【００２６】
また、写真に写し出された顔は、一般に左右で照明差があった方が看者によく見えるものである。そこで、照明装置２６，２７は、照明差が発生するように被写体を照射するようにしている。例えば、照明器具２６，２７は、照明差が例えば１：１．５〜１：３、好ましくは１：２となるように被写体を照射する。なお、光を強くする方の照明器具は、何れであってもよい。これによって、写真は、柔らかな影が形成され、平面的でなく立体的に被写体を写し出すことができる。なお、本撮像装置１では、撮像部１７の撮像装置１７ａにＣＣＤを用いている。ＣＣＤは、銀塩フィルムを用いるカメラ（銀塩カメラ）に比べてラティチュード（latitude）が狭い。そこで、この照明差は、銀塩カメラに比べて比が小さくなるように設定される。
【００２７】
なお、更に、この撮像室１６には、照明器具２６，２７他に、被写体を下側から照射する照明器具２８が設けられている。この照明器具２８は、第１の面１６ａであってハーフミラー１７ｂの下側に撮像室１６側に突出して形成された突出部２８ａの上側の面２８ｂに設けられ、照射方向が斜め上方となるように設けられている。
【００２８】
また、撮像室１６には、図２乃至図４に示すように、被写体の正面側であって、一方の側壁１３側に操作部を構成する料金投入部２９が設けられている。料金投入部２９は、コインを投球するコイン投入部２９ａと紙幣を投入する紙幣投入部２９ｂとからなり、これら投入部２９ａ，２９ｂは、人が椅子２４座ったとき、手で料金を投入し易い高さに設けられている。椅子２４は、上述したように車椅子の高さに合わせて設けられていることから、車椅子に乗った人も、容易に料金投入部２９に料金を投入することができる。なお、本例では、操作部として、料金投入部２９が設けられているのみであるが、その他に、撮像を開始する撮像開始ボタン、撮像した画像をプリンタ１８，１９で印刷する前に確認する確認ボタン等を設けるようにしてもよく、この場合、これらのボタンも、被写体の正面側であって、一方の側壁１３側に設けられる。
【００２９】
突出部２８ａの下側には、被写体となる人の撮像位置を位置決めするための位置決め凹部３１が設けられている。この位置決め凹部３１が設けられる位置は、椅子２４又は車椅子に座った人の膝を収めることができる高さに設けられている。撮像をするとき、被写体となる人は、椅子２４に座り、又は、撮像室１６に車椅子で入り口２３より入り、膝を位置決め凹部３１に係合させることによって、容易に撮像位置を位置決めすることができる。即ち、被写体となる人は、膝を位置決め凹部３１に係合させることによって、ハーフミラー１７ｂに対して正面を向くようになる。
【００３０】
また、撮像室１６には、撮像室１６に被写体が入ったかどうかを検出する被写体検出部３２が設けられている。被写体検出部３２は、天板１５の椅子２４の上に設けられ、被写体が撮像位置に居ることを検出することができるようになっている。被写体検出部３２は、被写体を検出すると、この検出信号を、メイン基板２１の制御回路に出力し、待機モードから写真撮影モードに切り換える。
【００３１】
なお、この被写体検出部３２は、上述した位置決め凹部３１内に設けるようにしてもよい。天板１５に被写体検出部３２を設けたときには、例えば被写体となる人が撮像室１６内で立っているとき等実際には撮像位置に居ないときも被写体を検出してしまうが、被写体検出部３２を位置決め凹部３１内に設けたときには、膝が位置決め凹部３１に係合していない限り被写体を検出することができないことから、確実に撮像位置にある被写体を検出することができる。
【００３２】
天板１５の入り口２３となる領域には、図示しないカーテンレールやフックが設けられており、このカーテンレールやフックには、遮光部材となるカーテン３３が垂下されており、入り口２３を開閉できるようになっている。このカーテン３３は、遮光性のものであり、撮像時に外光が撮像室１６内に入らないようにしている。このカーテン３３は、図６に示すように、撮像室１６へ出入りするときには簡単に移動させて容易に入ることができる。カーテン３３をフックに固定したときには、正面入口のカーテン３３にスリット３３ａを設けることにより入りやすくなる。カーテン３３の撮像室１６側の面であって、被写体の背後となる領域は、写真の背景となる領域である。このため、スリット３３ａは、写真の背景となる領域を除く領域に設けられている。
【００３３】
なお、遮光部材として、カーテン３３の他にプレート等を用いるようにしてもよい。
【００３４】
入り口２３を構成する短い側の側壁１３の端部の略中央領域には、垂直方向に第１の手摺り３４が設けられており、松葉杖をついた患者、車椅子に乗った患者等の身体障害者が入り口２３より撮像室１６内に入り易いようになっている。また、入り口２３を構成する長い側の他方の側壁１４の端部上方には、垂直方向に第２の手摺り３５が設けられ、例えば松葉杖をついた患者が入り口２３より撮像室１６内へ入り易いようになっている。更に、他方の側壁１４であって、操作部を構成する料金投入部２９と略同じ高さには、水平方向に第３の手摺り３６が設けられ、例えば椅子に座った被写体となる人や車椅子に乗った人が撮像位置の調整を容易に行うことができるようになっている。
【００３５】
なお、短い側の一方の側壁１３には、外面側に、プリンタ１８，１９で印刷された写真が排出される写真排出口３８が設けられている。
【００３６】
次に、背面部１２に内蔵されたメイン基板２１等に組み込まれた制御回路について図７を参照して説明すると、この制御回路７０は、装置の動作に必要なプログラムが記憶されるＲＯＭ（Read-Only Memory）７１と、装置の動作に必要なアプリケーションプログラム及び後述する画像抽出処理を行うプログラム等が記憶されるハードディスク等からなるプログラム記憶部７２と、ＲＯＭ７１やプログラム記憶部７２に保存されているプログラムがロードされるＲＡＭ（Random-Access Memory）７３と、料金投入部２９より投入された金額等を判断し課金処理を行う課金処理部７４と、音声を出力する音声出力部７５と、音声データを可聴音として出力するスピーカ７６と、外部記憶装置が装着されるドライブ７７と、全体の動作を制御するＣＰＵ（Central Processing Unit）７８とを備え、これらは、バス７９を介して接続されている。また、このバス７９には、撮像部１７を構成する撮像装置１７ａ、照明器具２６，２７，２８、撮像室１６に被写体が入ったかどうかを検出する被写体検出部３２、椅子２４が待機位置にあることを検出する検出部５９等が接続されている。
【００３７】
次に、図８を参照して、撮像装置１の動作を説明する。ステップＳ１において、ＣＰＵ７８は、椅子２４が待避位置にあるかどうか、即ち椅子２４が他方の側壁１４と略平行な状態となっており、車椅子が撮像室１６に進入可能な状態にあるかどうかを判断する。ＣＰＵ７８は、椅子２４が待避位置に無い、即ち撮像室２４に設置された状態にあると判断したとき、ステップＳ２に進み、通常モード、即ち被写体となる人が椅子２４に座って撮像するモードに移る。また、ＣＰＵ７８は、椅子２４が待避位置にあると判断したとき、ステップＳ９に進み、車椅子専用のモードに移る。車椅子専用のモードは、車椅子に乗った人は車椅子に乗っていない人に比べて撮像位置の位置決め等に時間がかかることから、撮像までの時間が長くなるようになっている。
【００３８】
通常のモードのとき、ステップＳ２において、ＣＰＵ７８は、ユーザが撮像位置についたかどうかを判断する。即ち、被写体検出部３２は、赤外線センサ等で構成されており、被写体となる人が椅子２４に座って膝を位置決め凹部３１に係合された撮像位置についているかを検出する。ＣＰＵ７８は、被写体検出部３２が撮像位置についていることを検出したとき、ステップＳ３に進み、検出していないときステップＳ２を繰り返す。
【００３９】
ステップＳ３において、ＣＰＵ７８は、音声出力部７５を介して料金を料金投入部２９に投入するようにアナウンスする。即ち、音声出力部７５は、「料金をお入れください。」等のメッセージをスピーカ７６より可聴音で出力する。
【００４０】
これを受けて、被写体となる人は、料金投入部２９より必要な料金を投入する。このとき、料金投入部２９は、比較的手に届き易い位置に設けられていることから、被写体となる人は、椅子２４若しくは車椅子に座ったままの状態で、容易に料金を料金投入部２９に投入することができる。また、料金投入部２９は、一方の側壁１３側に設けられていることから、介護者も入り口２３より手を伸ばして容易に料金投入部２９より料金を投入することができる。
【００４１】
ステップＳ４において、ＣＰＵ７８は、料金投入部２９より所定金額が投入されたかどうかを判断する。具体的に、課金処理部７４は、料金投入部２９より投入された金額を判断し、不足しているときは金額の追加を求め、多いときには、おつりを算出し返金する。そして、課金処理部７４は、課金が完了したことをＣＰＵ７８に出力し、これによって、ＣＰＵ７８は、課金処理が終了したかを判断する。ＣＰＵ７８は、課金処理が終了していないとき、ステップＳ３に戻り、再度、料金を投入するように再アナウンスする。
【００４２】
ステップＳ５において、ＣＰＵ７８は、音声出力部７５を介して写真撮影を開始する旨をアナウンスする。例えば、音声出力部７５は、「これより写真撮影を開始します。」等のメッセージをスピーカ７６より可聴音で出力する。
【００４３】
所定時間が経過すると、ＣＰＵ７８は、ステップＳ６において、被写体の撮像を行う。ＣＰＵ７８は、撮像装置１７ａを駆動すると、この撮像装置１７ａは、取り込んだ光を光電変換し出力する。このとき、照明器具２６，２７，２８は、発光体を発光する。照明器具２６，２７は、被写体の左右斜め前方から被写体に光を照射するようにすることで、被写体の顔の額と顎との間、即ち顔の上下で照明差が発生しないようにし、また、しわに影が発生しないように写真を撮ることができるようにする。また、照明器具２６，２７は、左右で照明差を設けて発光することから、柔らかな影を有する立体的な写真を撮ることができるようにする。
【００４４】
ステップＳ７において、ＣＰＵ７８は、音声出力部７５を介して写真撮影が終了した旨をアナウンスする。例えば、音声出力部７５は、「写真撮影を終了しました。」等のメッセージをスピーカ７６より可聴音で出力する。
【００４５】
ステップＳ８において、ＣＰＵ７８は、撮像装置１７ａのデータを第１のプリンタ１８若しくは第２のプリンタ１９に出力し、第１のプリンタ１８若しくは第２のプリンタ１９は、入力されたデータに基づいて印画紙に印刷をする。そして、第１のプリンタ１８若しくは第２のプリンタ１９は、画像を印刷した印画紙を写真排出口３８に排出する。
【００４６】
なお、ＣＰＵ７８は、ステップＳ１において、椅子２４が待避位置にあると判断したとき、車椅子の専用のモードとなり、ステップＳ９からステップＳ１４までの処理を行う。ステップＳ９からステップＳ１４までの処理は、上述したステップＳ２からステップＳ６までの処理と略同じであるため省略する。但し、ステップＳ１３は、ステップＳ１２の撮像開始のアナウンスから写真撮影を開始するまでの時間がステップＳ６の場合より長くなる。これは、車椅子に乗った者は、車椅子に乗っていない者と比べて写真撮影の準備に時間を要するためである。
【００４７】
また、ステップＳ１において、椅子２４が使用され待避位置にない場合、即ち、椅子２４が撮像室１６に広げられている場合、椅子取付け部材４１と椅子支持部材４４とを接続するリンク部材（図示せず）は、設置面２に対して略垂直な状態となっており、椅子２４を支持した状態にある。このような場合に、撮像室１６に車椅子に乗った患者等が入るために椅子２４を片づける必要があるときは、椅子２４は、患者が取っ手２４ａを持って回動操作される。椅子２４を他方の側壁１４側へ回動操作すると、支軸（図示せず）を介して椅子取付け部材４１と回転自在に取り付けられている椅子支持部材４４が回動する。そして、椅子２４を他方の側壁１４と略平行となすまで回動操作すると、椅子２４は、他方の壁１４に設けられた待避位置に椅子２４を保持するための保持機構（図示せず）により保持される。これによって、椅子２４は、他方の側壁１４と略平行な待避位置に保持される。
【００４８】
保持機構は、他方の側壁１４に一体的に設けられた支持片に保持部材が取り付けら、この保持部材は、中途部で支軸によって支持片に回動可能に支持されている。そして、保持部材の一端側に、椅子２４を係止する係止突部が設けられ、他端側に、椅子２４が待機位置にあることを検出する図７に示す検出部５９を押圧する押圧部が設けられており、保持部材の押圧部が検出部５９を押圧することにより、検出部５９は、椅子２４が待避位置にあることを検出することができる。
【００４９】
また、ドライブ７７には、記録可能な追記型若しくは書換え型の光ディスク、光磁気ディスク、磁気ディスク、ＩＣカード等のリムーバル記録媒体８０を装着することができる。これら、リムーバル記録媒体８０には、例えば撮像部１７で撮像した被写体の画像データが保存される。リムーバル記録媒体８０に保存された画像データは、例えば他の情報処理装置を用いて読み出し、電子カルテ等の患者の顔写真として用いることができる。この患者の画像データは、リムーバル記録媒体８０を用いるほか、ＬＡＮ（Local Area Network）等のネットワークに接続された送受信部を介して上記他の情報処理装置に送信するようにしてもよい。更に、このドライブ７７は、ＲＯＭ型の光ディスク等のリムーバル記録媒体８０を装着し、本装置１を動作させるのに必要なアプリケーションプログラムをプログラム記憶部７２にインストールするのに用いるようにしてもよい。勿論、プログラム記憶部７２等にインストールするプログラムは、上記送受信部を介してダウンロードしてインストールするようにしてもよい。
【００５０】
以上のように構成された撮像装置１では、撮像室の床が設置面２と面一になっていることから、段差が無く、車椅子等に乗った患者も、車椅子等に乗ったまま撮像室１６に入ることができる。また、この撮像装置１は、病院等に設置されるものであり、健常者だけでなく車椅子に乗った者や松葉杖をついた者の利用することから、例えば入り口２３より撮像室１６に入るときに、一方の側壁１３等に当たってしまうことがあるが、この撮像装置１は、他方の側壁１４を一方の側壁１３より長く形成し、また、一方の側壁１３を転倒防止部材２２で設置面２に固定し、更には、天板１５を側壁１３，１４より比重の軽い材料で形成し、重心が下方に来るように組み立てられていることから、利用者が撮像室１６に入るときにぶつかって衝撃が加わったときにも、設置位置がずれたり転倒することを確実に防止することができる。更に、撮像室１６に入るときには、第１乃至第３の手摺り３４〜３６を使うことができることから、撮像室１６に入る作業を容易に行うことができると共に撮像位置の位置決めも容易に行うことができる。
【００５１】
また、この撮像装置１では、椅子２４を撮像室１６より待避させることができる。したがって、車椅子に乗った患者は、椅子２４を折り畳むことで、車椅子に乗ったまま撮像室１６に入ることができる。この椅子２４は、撮像室１６に設置されているとき、椅子支持部材４４で確実に支持され、患者等の被写体は、安定した状態で椅子２４に座ることができる。また、この椅子は、折り畳むとき、取っ手２４ａが短い側の一方の側壁１３側に設けられていることで、取っ手２４ａが入り口２３側に位置し、車椅子に乗った患者やこれを介護する介護者が容易に椅子２４を回動操作して折り畳むことができる。また、料金を支払うときおいて、料金投入部２９は、一方の側壁１３側、即ち入り口２３の近くに設けられていることから、介護者が手を伸ばすだけで容易に料金を料金投入部２９に投入することができる。
【００５２】
また、撮像時において、撮像装置１は、照明器具２６，２７が被写体の左右斜め前方から光を被写体に光を照射することで、被写体の顔の額と顎との間、即ち顔の上下で照明差が発生しないようにし、また、照明器具２６，２７は、しわに影を写りにくくすることができる。また、左右照明に照明差を設けることで、写真に柔らかな影を形成し立体的に被写体を写し出すことができる。
【００５３】
更に、撮像装置１は、椅子２４が回動操作されて他方の側壁１４と略平行な状態にされ、撮像室１６より待避させることができることで、車椅子の専用モードとなり、撮像開始のアナウンスから撮像までの時間を長くする。これによって、車椅子に乗った者は、通常、車椅子に乗っていない者と比べて写真撮影の準備に時間を要するが、ゆとりを持って写真撮影の準備をすることができる。
【００５４】
Ｂ．画像処理
次に、上述の撮像装置１に設けられる画像処理装置について説明する。本実施の形態の画像処理装置は、上述したように、病院内等に備えられる撮像装置１に備えられるものであり、車椅子に乗った者や松葉杖をついた患者や健常者が写真撮影をする際に、頭の高さがそれぞれ異なることとなるが、撮像部１７を動かすことなく、撮像部１７により撮像された画像データを画像処理することで被写体となる人物の顔が中心とされたバランスの取れた画像を出力するものである。具体的に、画像処理装置は、上述の制御回路７０内のプログラム記憶部７２に記憶されたプログラムによって、撮像された入力画像から人物の顔領域を抽出してトリミングを行う処理を実行するものである。図９は、本実施の形態における画像処理装置を示すブロック図である。
【００５５】
図９に示すように、画像処理装置１００は、上述の撮像部１７から人物が撮像されたカラー画像が入力され、デジタルデータとして出力する画像入力部１０１と、画像データが入力されて肌色領域を検出する肌色領域抽出部２００と、検出された肌色領域から被写体の検出を行う被写体検出部３００と、検出された被写体のトリミングを行うトリミング部４００とから構成される。
【００５６】
肌色領域抽出部２００は、図１０に示すように、画像入力部１０１からのカラー画像の各画素値を色空間上の座標値に変換する色変換部である表色系変換部２１２と、この色空間上に変換された座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成部２１３と、このヒストグラムにおける出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出部２１４と、初期クラスタ抽出部２１４にて抽出された初期クラスタ及び画像入力部１０１から送られるカラー画像から上記初期クラスタを含む閉領域を抽出する初期領域抽出部２１５と、この初期領域内に複数の初期クラスタが抽出されている場合に初期クラスタを１つのクラスタとして統合するクラスタ統合部２１６と、この初期領域内の画素の分布状態に応じてこの初期領域を複数の領域に分割する領域分割部２１７と、人間の肌の色に対応するクラスタに属する画素が含まれる領域を抽出する領域抽出部２１８とから構成され、抽出した肌色領域を被写体検出部３００に供給する。
【００５７】
被写体検出部３００は、図１１に示すように、画像入力部１０１及び肌色領域抽出部２００から夫々カラー画像及び肌色領域が入力され、人物の頭頂部を検出する頭頂部検出部３１３と、肌色領域及びカラー画像が入力され、人物の口を検出する口検出部３１４と、カラー画像、肌色領域並びに頭頂部及び口のデータが入力され、人物の眼を検出する眼検出部３１５と、眼及び口のデータから人物の顎位置を算出する顎検出部３１６と、カラー画像及び口及び眼のデータが入力され人物の顔の中心線を検出する中心線検出部３１７と、頭頂部、眼、口及び顔の中心線のデータが入力され顔領域を修正する領域修正部３１８と、カラー画像と、肌色領域、眼、口、及び領域修正部３１８からの修正データとが入力され、抽出された肌色領域Ｖが人物の顔であるか否かを判定する判定部３１９とから構成され、顔と判定された肌色領域をトリミング部４００に供給する。
【００５８】
なお、肌色領域抽出部２００、被写体検出部３００において、複数の領域が顔と判定された場合、それらの中から対象となる領域を１つ選択してもよい。例えば、撮像された画像に複数の人物が存在している可能性がある場合、撮像時の指示等により、入力画像においてトリミングの対象となる人物の顔が最も画像中央に近い位置に存在することを期待できる場合には、抽出された顔領域の中心が画像中央に最も近いものを選択する。また、例えば子供の顔を撮像するために、親がその子供を抱いて撮像した場合、トリミングの対象となる子供の顔領域は、抽出された顔の領域の中で最も下部に位置すると考えられるため、顔領域のうち、中心が最も下部に位置するものを選択するようにすることができる。
【００５９】
また、これら対象領域選択の方法は、利用形態を考慮して予め設定しておく他に、例えばインターフェース（図示せず）を設けることにより、撮像者又は被撮像者が手動で設定できるようにすること等も可能である。
【００６０】
トリミング部４００は、被写体検出部３００から供給される被写体の顔領域（顔部）が印画紙における写真が印刷される領域である有効領域において、本発明範囲となるようにトリミングを行う。上述したような写真ブースにおいて、画像処理で顔部を検出してオートトリミングする際、印画紙にどのように人物画像を配置するかが重要になる。即ち、画面（印画紙の有効領域）最上端から人物の頭頂部までを天部、人物の頭頂部から口までを顔部、人物の口から画面（印画紙の有効領域）最下端までを胸部としたとき、これら天部、顔部及び胸部の寸法比率を本発明範囲、即ち、顔部：胸部：天部＝１:０．６〜１．０:０．２〜０．３となるようにトリミング範囲を決定して画像をトリミングすることにより、見やすく、落ち着いた証明写真を得ることができる。
【００６１】
以下、本実施の形態の画像処理装置の各部位について詳細に説明する。
【００６２】
（１）肌色領域抽出部
肌色領域抽出部２００においては、先ず、入力されたカラー画像の表色系を変換して色空間上の座標値に変換する（色変換工程）。次に、この色空間上の座標値の出現頻度を示すヒストグラムを生成する（ヒストグラム生成工程）。そして、このヒストグラムにおける出現頻度の極大点及びその極大点近傍の画素を初期クラスタとして抽出し、この初期クラスタの色空間上の分布を示すクラスタマップＣを生成する（初期クラスタ抽出工程）。各初期クラスタには、これらを識別するクラスタ番号ｎが設定される。次いで、クラスタマップＣ上の各初期クラスタを再び、元のカラー画像上の座標値に変換した領域マップＲを形成する。領域マップＲ上の各画素は、座標値と共にクラスタ番号ｎを有する。この領域マップＲ上で同一の初期クラスタに属する画素、即ち、同一のクラスタ番号ｎを有する画素の密度分布が所定の閾値以上である長方形の閉領域を初期領域として抽出する（初期領域抽出工程）。次に、任意の２つの初期クラスタを選択し、この２つの初期クラスタが、クラスタマップＣ上において近接し、且つ領域マップＲ上において近接する長方形領域に属するものである場合、この２つの初期クラスタを統合する（クラスタ統合工程）。初期クラスタを統合した統合クラスタに基づいて領域マップＲを更新し、この更新した領域マップに基づいて長方形領域も再設定する。次に、再設定した長方形領域内における同一のクラスタ番号ｎを有する画素の密度分布を算出し、この密度分布に基づいて必要に応じて長方形領域を分割する（領域分割工程）。こうして、入力カラー画像において、同一の色を有する複数の長方形領域が設定される。これらの長方形領域から、特定の色、即ち、本実施の形態においては、肌色を有する長方形領域を抽出する。以下、各工程について説明する。
【００６３】
（１−１）色変換工程
色変換工程では、表色系変換部２１２により、画像入力部１０１で得られた画像データを所望の領域を抽出するために適した表色系に変換する。過検出を極力軽減するためには、変換後の表色系は、その表色系による色空間において、抽出すべき領域の色ができるだけ狭い範囲に分布するようなものを選択することが好ましい。これは、抽出すべき領域の性質に依存するが、例えば本実施の形態のように、人物の顔の領域を抽出対象とする場合に効果的な表色系の１つとして、下記式（１）に示すｒ−ｇ表色系が知られている。
【００６４】
【数１】
【００６５】
ここで、Ｒ、Ｇ、ＢはＲＧＢ表色系の各座標値を表している。従って、画像入力部１０１の出力画像がＲＧＢ表色系で表されている場合、表色系変換部２１２では各画素毎に上記式（１）の演算が行なわれ、座標値（ｒ，ｇ）の値が算出される。こうして表色系が変換された画像データは、ヒストグラム生成部２１３に送られる。
【００６６】
なお、以下の説明では、このｒ−ｇ表色系を領域抽出に用いる場合を例に説明を行なう。また、特に入力カラー画像上の位置（座標）（ｘ，ｙ）における値を表す場合には、｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝と表現する。
【００６７】
（１−２）ヒストグラム生成工程
ヒストグラム生成工程では、ヒストグラム生成部２１３により、表色系変換部２１２によって表色系が変換されたデータ｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝の色空間上における出現頻度を示す２次元ヒストグラムを生成する。ヒストグラムの生成は、抽出すべき領域の色が十分に含まれる色の範囲に対してのみ行なわれる。このような色の範囲は、例えば、ｒ及びｇの各値に対する下限値及び上限値を定めることで下記式（２）のように表すことができる。
【００６８】
【数２】
【００６９】
ここで、ｒｍｉｎ及びｒｍａｘは、夫々ｒの下限値及び上限値、ｇｍｉｎ及びｇｍａｘは、夫々ｇの下限値及び上限値を示す。
【００７０】
画像上の位置（ｘ，ｙ）における｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝が上記式（２）の条件を満足する場合、先ず、これらの値が下記式（３）によって量子化され、ヒストグラム上の座標（ｉｒ，ｉｇ）に変換される。
【００７１】
【数３】
【００７２】
ここで、ｒｓｔｅｐ及びｇｓｔｅｐは、夫々ｒ及びｇに対する量子化ステップであり、ｉｎｔは括弧内の数値の小数点以下を切り捨てる演算を示す。
【００７３】
次に、算出された座標値に対応するヒストグラムの値を下記式（４）によってインクリメントすることで、座標値の出現頻度を示す２次元ヒストグラムＨが生成される。
【００７４】
【数４】
【００７５】
図１２は、簡単のため、本来２次元であるヒストグラムを１次元としたヒストグラムと抽出された初期クラスタとの関係を模式的に示すものである。図１２に示すように、出現頻度は、カラー画像上の例えば肌色等の各色領域の大きさに応じて大きさが異なる複数個の極大値を有する。
【００７６】
そして、生成されたヒストグラムＨは、例えばノイズを除去し、誤検出を防止するために必要に応じてローパスフィルタによって平滑化された後、初期クラスタ抽出部２１４に送られる。
【００７７】
（１−３）初期クラスタ生成工程
初期クラスタ生成工程では、初期クラスタ抽出部２１４により、ヒストグラム生成部２１３によって生成された各座標値の出現頻度を示す２次元ヒストグラムＨから、分布が集中している色の座標の集合を初期クラスタとして抽出する。具体的には、上述したｒ−ｇ表色系の座標値における出現頻度の極大値及びその近傍に存在する画素群を１つの初期クラスタとして抽出する。即ち、各極大点を、構成要素が１つの初期クラスタと見なし、これらを始点として、隣接する座標を併合することで初期クラスタの成長を行なう。初期クラスタの成長は、既に生成されているクラスタマップをＣとすると、このクラスタマップＣ上の各座標を走査し、新たに併合すべき座標を検出することにより行われる。
【００７８】
例えば、図１２においては、極大点１乃至３に対し、この極大点１乃至３を始点としてこの極大点１乃至３近傍の座標の画素群が併合され、夫々初期クラスタ２７１１乃至２７１３として抽出される。ここで、図１２に示すヒストグラムにおける出現頻度Ｈ（ｉｒ，ｉｇ）の極大値を始点とし、この始点に隣接する座標の画素から、出現頻度Ｈ（ｉｒ，ｉｇ）が閾値Ｔに至る座標（閾値Ｔ以下になる前の座標）の画素まで順次併合するが、その際、座標（ｉｒ，ｉｇ）がいずれのクラスタにも併合されておらず、その出現頻度が閾値Ｔよりも大きく、更にその隣接座標（ｉｒ＋ｄｒ，ｉｇ＋ｄｇ）のいずれかにおいて、既にいずれかの初期クラスタに併合されたものがあり、その隣接座標における出現頻度が、自らの出現頻度よりも大きい場合に、座標（ｉｒ，ｉｇ）を既に併合されている隣接座標と同一の初期クラスタに併合すべき座標として検出する。このように、出現頻度の閾値Ｔを設けることにより、出現頻度が小さい座標領域における座標を有する画素の抽出を防止する。初期クラスタは、２次元ヒストグラムＨの極大点の個数に応じて１つ以上の初期クラスタが抽出されるが、各初期クラスタには固有の番号が割り当てられ、識別される。こうして抽出された複数の初期クラスタは２次元配列であるクラスタマップＣ（ｉｒ，ｉｇ）上に多値画像として下記式（５）のように示される。
【００７９】
【数５】
【００８０】
即ち、上記式（５）は、色の座標（ｉｒ，ｉｇ）が初期クラスタｎに含まれていることを示す。図１３（ａ）及び（ｂ）は、夫々入力画像及びクラスタマップＣを示す模式図である。図１３（ａ）に示すように、入力カラー画像２０１における例えば（ｘ１，ｙ１）、（ｘ２，ｙ２）等の各画素値は、表色変換部２１２にて色座標（ｉｒ１，ｉｇ１）、（ｉｒ２，ｉｇ２）に変換され、その出現頻度から２次元ヒストグラムが生成されて、この２次元ヒストグラムに基づいて抽出された初期クラスタが図１３（ｂ）に示す横軸にｉｒ、縦軸にｉｇを取った２次元配列であるクラスタマップＣ上に初期クラスタ２７２，２７３として示される。
抽出された初期クラスタは図１３（ｂ）に示すクラスタマップＣとして、初期領域抽出部２１５及びクラスタ統合部２１６に送られる。
【００８１】
（１−４）初期領域抽出工程
初期領域抽出部２１５では、初期クラスタ抽出部２１４において得られた、例えば図１３（ｂ）に示す初期クラスタ２７２，２７３等の初期クラスタに含まれる色を有する画素のうち、同一初期クラスタに属する画素がカラー画像上で集中する長方形の領域を初期領域として抽出する。図１３（ｃ）は、領域マップＲを示す模式図である。初期クラスタ抽出部２１４で成長され生成された各初期クラスタから抽出された画素は、図１３（ｃ）に示す２次元配列である領域マップＲ（ｘ，ｙ）上にクラスタを識別するｎを有する多値画像として表現される。ここで、図１３（ａ）に示す入力カラー画像の位置（ｘ１，ｙ１），（ｘ２，ｙ２）における画素が、図１３（ｂ）に示す夫々初期クラスタ２７２，２７３に含まれるものであり、初期クラスタ２７２，２７３のクラスタ番号ｎを１，２としたとき、領域マップＲにおける座標（ｘ１，ｙ１），（ｘ２，ｙ２）は、そのクラスタ番号１，２を有するものとなる。即ち、画像上の位置（ｘ，ｙ）の画素の色がクラスタｎに含まれている場合、下記式（６）のように示される。
【００８２】
【数６】
【００８３】
そして、図１４に示す領域マップＲにおいて、抽出画素２７６の分布が集中する領域を囲む長方形領域２７７を算出する。各初期クラスタに対応して得られた長方形領域は、図１５に示すように、１つの対角線上で相対する２頂点の座標（ｓｒｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）で表現され、１次元配列である頂点リストＶ１に格納される。即ち、クラスタｎに対応して得られた長方形領域２７７の２つの頂点座標が（ｓｔｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）である場合、これらの座標は頂点座標Ｖ１（ｎ）に下記式（７）のように格納されるものとする。
【００８４】
【数７】
【００８５】
各初期クラスタに対応して得られた抽出画素及び長方形領域は、夫々領域マップＲ及び頂点リストＶ１としてクラスタ統合部２１６に送られる。
【００８６】
（１−５）クラスタ統合工程
クラスタ統合工程では、クラスタ統合部２１６により、初期クラスタ抽出部２１４で得られたクラスタマップＣ並びに初期領域抽出部２１５で得られた領域マップＲ及び頂点リストＶ１を使用して、本来１つの領域に含まれる色でありながら異なる初期クラスタとして抽出された複数の初期クラスタを統合する。
【００８７】
即ち、クラスタ統合部２１６は、初期クラスタ抽出部２１４で生成されたクラスタマップＣが入力されると、先ず、任意の２つの初期クラスタｍ及び初期クラスタｎの組み合わせを発生させる。そして、発生させた初期クラスタｍ，ｎとクラスタマップＣとから初期クラスタｍと初期クラスタｎとの色差が算出される。また、初期クラスタｍ，ｎ並びに初期領域抽出部２１５で生成された領域マップＲ及び頂点リストＶ１から、初期クラスタｍと初期クラスタｎとの重なり度が算出される。そして、初期クラスタｍ，ｎ、領域マップＲ及び頂点リストＶ１、色差、並びに重なり度から、初期クラスタｍ，ｎを統合するか否かの判定が行われ、色差が小さく、初期クラスタｍ，ｎが画像上で大きく重なり合って分布している場合にこれらのクラスタを統合する。
【００８８】
そして、初期クラスタの統合に応じて、領域マップＲ及び頂点リストＶ１が修正され、夫々領域マップＲ２及び頂点リストＶ２として領域分割部２１７に送られる。また修正された領域マップＲ２は領域抽出部２１８にも送られる。
【００８９】
（１−６）領域分割工程
領域分割工程では、領域分割部２１７により、クラスタ統合部２１６において修正された領域マップＲ２及び頂点リストＶ２を用いて、同一のクラスタ、即ち、初期クラスタ又は初期クラスタが統合された統合クラスタ（以下、単にクラスタという。）によって抽出された抽出画素の分布に応じて、頂点リストＶ２に格納されている頂点座標Ｖ２（ｎ）が示す長方形領域を分割する。即ち、クラスタ統合部２１６によって得られた新たな領域マップＲ２及び頂点リストＶ２（ｎ）が入力されると、頂点リストＶ２（ｎ）が示す長方形領域を水平又は垂直に２分割する主分割点が検出され、長方形領域が垂直に２分割された場合は、領域マップＲ２及び分割された２つの垂直分割長方形領域の頂点リストを使用して、各垂直分割長方形領域が水平に分割される。また、長方形領域が水平に２分割された場合は、領域マップＲ２及び分割された２つの水平分割長方形領域の頂点リストを使用して、各水平分割長方形領域が垂直に分割される。領域の分割には、例えば頂点リストＶ２で表される長方形領域内において、クラスタｎによって抽出された画素の数を水平方向及び垂直方向に累積した夫々ヒストグラムＨＨ及びＨＶ使用し、このヒストグラムの最小点となる点を検出し、これが予め設定された閾値よりも小さい場合に分割する。そして、領域マップＲ２及びこのように分割された長方形領域の頂点リストを使用して、長方形領域を修正する。
【００９０】
例えば、図１６に示すように、画像上で同一のクラスタによって抽出された抽出画素が、このクラスタに対応して得られた長方形領域２９５において複数の塊２９６ａ，２９６ｂを構成している場合、各塊２９６ａ，２９６ｂを異なる領域とみなし、長方形領域２９５の分割を行なう。この結果、１つの初期クラスタに属する長方形領域２９５内に、例えば塊２９６ａ，２９６ｂ等の複数の画素の塊が対応することになり、各画素の塊２９６ａ，２９６ｂを取り囲む分割長方形領域２９７ａ，２９７ｂを算出することができる。
【００９１】
分割長方形領域２９７ａ，２９７ｂは初期領域抽出部２１５と同様、図１５に示すように１つの対角線上で相対する２つの頂点座標で表され、新たな頂点リストＶ３（ｎ，ｍ）に格納される。即ち、クラスタｎに対応するｍ番目の長方形領域が｛（V3(n,m).stx,V3(n,m).sty），（V3(n,m).edx,V3(n,m).edy）｝で表される場合、これらの座標は新たな頂点リストＶ３（ｎ，ｍ）に下記式（８）のように格納されるものとする。新たな頂点リストＶ３（ｎ，ｍ）は、領域抽出部２１８に送られる。
【００９２】
【数８】
【００９３】
（１−７）領域抽出工程
領域抽出部２１８では、クラスタ統合部２１６において修正された領域マップＲ２と、領域分割部２１７において得られた新たな頂点リストＶ３を用いて、下記式（９）の条件を満たす画素の集合Ｓｎｍを抽出する。
【００９４】
【数９】
【００９５】
即ち、同一のクラスタから抽出された画素であっても、領域分割部２１７にて長方形領域が分割された場合、例えば図１６に示す長方形領域２９７ａ，２９７ｂ等のような分割された長方形領域を１つの集合と見なして抽出する。ここで抽出された複数の領域は図示せぬ判別処理部に送られ、所望の領域か否かの判別が行なわれる。
【００９６】
このように肌色領域抽出部２００では、クラスタ統合部２１６により、１つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、１つの領域として扱うことができ、また、領域分割部２１７により、同一の色を持つ物体が複数存在する場合、それらを分離して扱うことが可能となる。また、クラスタを抽出し、これを統合し、更に画素密度分布によって抽出領域を分割することにより、肌色領域を極めて正確に抽出することができる。
【００９７】
（２）被写体検出部
被写体検出部では、肌色領域抽出部２００によって抽出された各肌色領域を顔領域と仮定し、この肌色領域に対応する頂点座標Ｖ３（ｎ）が示す長方形領域から、特徴点検出部により各特徴点が検出される。特徴点検出部は、人物の頭頂部の位置を検出する頭頂部検出部３１３と、肌色領域内の赤みの強さに基づき、人物の口の位置を検出する口検出部３１４と、頭頂部及び口の位置に基づき検索範囲を設定して眼を検出する眼検出部３１５と、眼及び口の位置から顎の位置を算出する顎検出部３１６と、口の位置から口領域を設定し、この口領域内の赤み強度に基づいて顔の中心線を検出する中心線検出部３１７と、頭頂部、顎及び顔中心線の位置から、肌色領域抽出部２００にて算出された頂点座標Ｖ３（ｎ）を修正する領域修正部３１８と、抽出された肌色領域Ｖが人物の顔であるか否かを判定する判定部３１９とから構成される。以下、各検出部について更に詳細に説明する。
【００９８】
（２−１）人物の頭頂部の検出
頭頂部検出部３１３は、肌色領域を顔として有する人物の頭頂部を検出する。頭頂部の検出は、例えば人物以外の背景領域は単一色であること及び人物の上方、即ち、垂直座標が小さい側には背景領域のみが存在し得ることを仮定し、背景色とは異なる色を有する画素の中で垂直座標が最も小さい位置を検出する。以下、頭頂部の位置における垂直方向の座標を頭頂部の高さという。
【００９９】
具体的には、図１７に示すように、画像入力部１０１から送られる入力カラー画像３６０において、注目する肌色領域３６１に対応する長方形領域３６２の図中上方の領域、即ち、長方形領域３６２よりも垂直座標が小さい領域であって、V3(n).stx≦水平座標（ｘ座標）≦V3(n).edxの範囲に設定した頭頂部探索範囲３６３を図中上方から走査し、各画素の値と背景領域３６４の背景色との差ｄを下記式（１０）によって算出する。
【０１００】
【数１０】
【０１０１】
ここで、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）はカラー画像上の座標（ｘ，ｙ）における画素のＲ、Ｇ、Ｂの値であり、Ｒｂｇ、Ｇｂｇ、Ｂｂｇは背景色のＲ、Ｇ、Ｂの値である。この背景色としては、現在の注目画素よりも上方、即ち、垂直座標（ｙ座標）が小さい領域における画素の平均値、例えば画像３６０の最上端３６０ａから１０ライン目までの平均値を使用することができる。
【０１０２】
そして、上記式（１０）の色の差ｄを算出し、この値が所定の閾値Ｔよりも大きい画素が出現した時点で、その垂直座標ｙを頭頂部の高さＴＯＨとする。検出された頭頂部の高さＴＯＨは眼検出部３１５及び領域修正部３１８に送られる。
【０１０３】
（２−２）人物の口検出
次に、口検出部３１４は、肌色領域抽出部２００により抽出された各肌色領域に対し、口の高さを検出する。先ず、頂点リストＶ３（ｎ）によって表される長方形領域内において、肌色領域としては抽出されていない各画素（ｘ，ｙ）に対して、赤みの強さを示す下記式（１１）の値ｒｄｓｈ（ｘ，ｙ）を算出する。
【０１０４】
【数１１】
【０１０５】
算出された値ｒｄｓｈ（ｘ，ｙ）は、図１８に示すように水平方向（ｘ軸方向）に累積されて、下記式（１２）に示すヒストグラムＨｒｄｓｈ（ｙ）が生成される。
【０１０６】
【数１２】
【０１０７】
ここで、Ｖ３（ｎ）及びＲ（ｘ，ｙ）は、いずれも肌色領域抽出部２００から送られたデータであって、夫々肌色領域ｎに対応する長方形領域の頂点座標、及び領域マップを示す。
【０１０８】
次に、ヒストグラムＨｒｄｓｈ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、ヒストグラムＨｒｄｓｈ（ｙ）の最大値における垂直座標ｙが口の高さＨＯＭとして検出される。検出された口の高さＨＯＭは、眼検出部３１５、顎検出部３１６、中心線検出部３１７、及び判定部３１９に送られる。
【０１０９】
（２−３）人物の眼検出
次に、眼検出部３１５は、肌色領域抽出部２００で抽出された各肌色領域に対して眼の高さを検出する。先ず、頭頂部検出部３１３によって検出された頭頂部の高さＴＯＨと口検出部３１４によって検出された口の高さＨＯＭとから、垂直方向（ｙ軸方向）の眼の探索範囲を例えば下記式（１３）により算出する。
【０１１０】
【数１３】
【０１１１】
ここで、ｅ１及びｅ２は予め設定された係数である。ｅｔｏｐ及びｅｂｔｍは、夫々検索範囲の垂直座標における下限値及び上限値である。そして、これら垂直座標における下限値及び上限値に挟まれ、且つ注目する肌色領域に対応する長方形領域内に存在する画素に対して水平方向のエッジ（以下、水平エッジという。）の強度ｅｄｇｅ（ｘ，ｙ）を検出する。
【０１１２】
入力カラー画像の各座標において算出された水平エッジの強度ｅｄｇｅ（ｘ，ｙ）は、水平方向（ｘ軸方向）に累積されて、長方形領域内における垂直方向の水平エッジを示すヒストグラムＨｅｄｇｅ（ｙ）が下記式（１４）により算出される。
【０１１３】
【数１４】
【０１１４】
ここで、Ｖ３（ｎ）は肌色領域抽出部２００で得られた肌色領域ｎに対応する長方形領域の頂点座標である。図１９は、生成されたヒストグラムＨｅｄｇｅ（ｙ）を示す模式図である。ヒストグラムＨｅｄｇｅ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、その最大値に対応する垂直座標ｙが眼の高さＨＯＥとして検出される。
【０１１５】
また、上記式（１３）によって算出されるｅｂｔｍが、肌色領域を囲む長方形領域の頂点座標のV3(n).styより小さい場合、頭頂部の高さＴＯＨ又は口の高さＨＯＭの検出が適切に行なわれていない可能性が高い。そこで、このような場合には、対応する長方形領域の頂点座標Ｖ３（ｎ）に位置座標としては無効な値である例えば−１を格納して頂点リストＶを修正することができる。
【０１１６】
検出された眼の高さＨＯＥは、顎検出部３１６及び判定部３１９に送られる。また、修正された頂点リストＶは顎検出部３１６、中心線検出部３１７、及び領域修正部３１８に送られる。
【０１１７】
（２−４）人物の顎検出
顎検出部３１６では、眼検出部３１５において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、顎の高さを検出する。顎の高さの検出は、例えば図２０に示すように、人物の顔３８０においては顎と口との間の距離３８１と、眼と口との間の距離３８２との比がほぼ一定であると仮定して、下記式（１５）により推定することができる。
【０１１８】
【数１５】
【０１１９】
ここで、ｃは、予め設定された係数であり、ＨＯＣは顎の高さを示す。算出された顎の高さＨＯＣは領域修正部３１８に送られる。
【０１２０】
（２−５）人物の顔の中心線検出
次に、顔の中心線検出部３１７は、眼検出部３１５において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、顔を左右に分割する中心線の位置を検出する。
【０１２１】
ここでは、はじめに口検出部３１４で検出された口の高さＨＯＭを中心として垂直方向の座標における口探索範囲を設定する。この探索範囲は、例えば対応する長方形領域の垂直方向における幅から下記式（１６）により算出することができる。
【０１２２】
【数１６】
【０１２３】
ここで、ｍは予め設定された係数であり、Ｖ３（ｎ）は肌色領域ｎに対応する長方形領域の頂点座標である。上記式（１６）により算出された夫々ｍｔｏｐ及びｍｂｔｍを、探索範囲のｙ座標の夫々下限値及び上限値とする。また、水平方向の探索範囲は、長方形領域の水平方向の幅とすることができる。即ち、ｘ座標の上限及び下限は、長方形領域の夫々左端V3(n).stx及び右端V3(n).edxとすることができる。図２１は、肌色領域３９１に対応する長方形領域３９２における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【０１２４】
次に、設定された探索範囲に存在し、かつ肌色領域に含まれない画素に対して上記式（１１）により赤みの強さを算出し、図２１に示すように、赤みの強さの値が閾値よりも大きくなる画素の水平座標の平均値を中心線の水平座標位置ＣＯＨとして検出する。赤みの強さを算出する際に、肌色領域に属する画素を除くことにより、肌色領域に属する画素の影響を排除することができ、極めて高精度に顔の中心線を検出することができる。こうして、検出された顔中心線の位置ＣＯＨは領域修正部３１８及び判定部３１９に送られる。
【０１２５】
また、顔の中心線は、肌色領域における肌色画素の分布の平均位置を検出し、これを通る直線を顔の中心線とすることもできる。
【０１２６】
（２−６）長方形領域の修正
領域修正部３１８は、眼検出部３１５において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、長方形領域を改めて算出し、頂点リストＶの修正を行なう。例えば、頭頂部検出部３１３で得られた頭頂部の高さＴＯＨ、顎検出部３１６で得られた顎の高さＨＯＣ、及び中心線検出で得られた中心線の位置ＣＯＨを使用して、図２２に示すように、長方形領域５００を設定することができる。即ち、修正後の長方形領域５００を示す２つの頂点座標｛（stx、sty），（edx、edy）｝は下記式（１７）により算出することができる。
【０１２７】
【数１７】
【０１２８】
ここで、aspは人物の顔の幅に対する高さの比、即ちアスペクト比を示す係数、適当な値が予め設定されているものとする。
【０１２９】
肌色領域ｎに対して新たに算出された頂点座標は、頂点リストＶに上書きされ判定部３１９に送られる。
【０１３０】
（２−７）顔判定
判定部３１９は、領域修正部３１８において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、その肌色領域が顔領域であるか否かの判定を行なう。顔領域の判定は、例えば人物の顔領域では眼の部分及び口の部分に水平エッジが多く分布すること、また唇の色が他の部分に比べて赤みが強いことを利用し、これらの条件が口検出部３１３で検出された口の高さＨＯＭ、及び眼検出部３１４で検出された眼の高さＨＯＥにおいて成立しているか否かを検証することにより行なうことができる。判定結果は、顔領域であるか否かを表す２値のフラグｆａｃｅｆｌａｇとして出力される。
【０１３１】
このように、被写体検出部３００においては、抽出された肌色領域に対して、頭頂部及び口の位置を検出し、これらの位置から眼の検索範囲を設定して眼の位置を検出するため、極めて高精度に眼の位置を検出することができる。また、顎の位置は、眼と口の位置から算出することにより、顔と首との輝度及び色の差が小さく、高精度に検出することが難しい場合にも顎の位置の検出を正確に行うことができる。更に、顔の中心線は、口の赤みの強さに基づき検出されるため、極めて高精度に顔中心線を検出することができる。更にまた、顔判定部において、眼のパターンらしさ及び口のパターンらしさを判定し、この判定結果に基づき顔であるか否かの総合判定をするため、複数の顔が含まれている場合であっても、顔であるか否かの判定結果の信頼性が高い。
【０１３２】
また、判定部３１９により顔と判定される肌色領域が複数存在する場合に、複数の顔領域から、例えばその顔領域の位置に基づき１つの顔領域を選択する選択部（図示せず）を設けることもできる。これにより、例えば、複数の顔領域が存在する画像から１つの顔領域を抽出して、トリミング部４００にてトリミング処理を施すことができる。なお、判定部３１９に、顔領域を選択する機能をもたせるようにしてもよい。
【０１３３】
（３）トリミング部
トリミング部４００は、上述した如く、抽出した人物の顔領域を印画紙の有効領域に配置する際、天部、顔部及び胸部の寸法比率を所定比になるように画像をトリミングする。印画紙において画像が印刷される有効領域内の被写体における天部、顔部、胸部の各部のサイズ、即ち寸法比を規定することにより、見やすく、落ち着いた証明写真を得ることができる。
【０１３４】
証明写真をオートトリミングする時には、印画紙の有効領域内に、顔部をどのように配置するかにより証明写真のできばえが変わる。
【０１３５】
従って、図１に示すように、天部Ａ、顔部Ｂ及び胸部Ｃの各部において、顔部Ｂの寸法を基準とした場合、例えば、顔部Ｂ：胸部Ｃ：天部Ａ＝１：０．６〜１．０：０．２〜０．３の範囲であれば、見やすいバランスのとれた写真を得ることができる。
【０１３６】
図２３は、証明写真において、顔部Ｂに対する天部Ａ、胸部Ｃの寸法比率を変えたときの証明写真を示す模式図である。図２３（ｂ）は、本発明の実施例を示す図であり、天部Ａ，顔部Ｂ及び胸部Ｃの寸法比率が適切であるため、大変見やすい証明写真となっている。この実施例における天部Ａの比率は、顔部Ｂに対して０．２５である。
【０１３７】
一方、図２３（ａ）及び図２３（ｃ）は、上記の寸法比率から外れる夫々比較例１及び比較例２を示す図である。図２３（ａ）に示す比較例１は、天部Ａの寸法比率が顔部Ｂに対して０．４２と大きい場合である。証明写真は、顔部Ｂを中心に撮像すると、このような比較例１に示す証明写真になることが多い。このように、天部Ａの寸法が顔部Ｂに比して本発明範囲より大きいため、間が抜けたアンバランスな証明写真になっている。
【０１３８】
また、図２３（ｃ）に示す比較例２は、天部Ａの寸法比率が顔部Ｂに対して０．０４と小さい場合である。このように、天部Ａの寸法比率が小さいと、圧迫感のある写真になってしまう。
【０１３９】
図２４（ａ）及び（ｂ）は、顔部Ｂの画像が夫々小さい例及び大きい例の証明写真を示す模式図である。図２４（ａ）に示す例では、顔部Ｂに対して、天部Ａ及び胸部Ｃが著しく大きく、また、図２４（ｂ）に示す例では、顔部Ｂに対して、天部Ａ及び胸部Ｃが小さいため、いずれの写真も証明写真としては不適である。
【０１４０】
また、顔の中心位置が印画紙の有効領域内の中心から左右どちらにずれても、証明写真としては好ましくない。従って、上述した中心線検出部３１７により検出した顔中心線ＣＯＨを使用して顔部が印画紙の中心位置であって、且つ所定の寸法比になるようにトリミングすることが好ましい。
【０１４１】
このように画像をトリミングするトリミング部４００においては、制御回路７０のＣＰＵ７８により実行されるプログラムによりトリミング範囲を算出している。
【０１４２】
以上のように構成された画像処理装置は、撮像した画像データから人物の顔が適切なバランスとなるように配置された画像をトリミングして、見やすく、落ち着いた画像を得ることができる。
【０１４３】
なお、上述したように画像処理装置においては、病院内等で使用される撮像装置１に備えられるものであり、写真撮影をする者が、車椅子に乗っていたり、松葉杖をついたり、子供を抱きかかえている場合などが考えられるため、撮像した画像データの中心に常に顔が位置しているわけではないが、そのような場合でも、自動的に画像をトリミングして、見やすく、落ち着いた画像を得ることができる。
【０１４４】
次に、画像処理装置の各部の動作について説明する。図２５は、画像抽出方法を示すフローチャートである。また、図２６は、画像抽出の各工程を示す模式図である。
【０１４５】
図２５及び図２６に示すように、先ず、ステップＳ２１において、画像入力部１０１は、図２６（ａ）に示すような撮像された元画像７００をダウンサンプリングして、図２６（ｂ）に示すダウンサンプリング画像データ７０１を得る。
【０１４６】
次に、ステップＳ２２において、肌色領域抽出部２００は、画像データ７０１から肌色領域を抽出する。
【０１４７】
次に、ステップＳ２３において、被写体検出部３００は、被写体の検出を行う。このとき、図２６（ｃ）に示すように、ダウンサンプリング画像データ７０１には、複数の肌色領域７０２ａ〜７０２ｃが抽出される場合がある。被写体の検出は、これらの肌色領域７０２ａ〜７０２ｃ全て、又は、特定に肌色領域を選択して行う。ここでは、図２６（ｄ）に示すように、例えば最も中央に位置する肌色領域７０２ａを選択して、この肌色領域７０２ａを使用し、被写体検出部３００により被写体を検出する場合について説明する。
【０１４８】
次に、ステップＳ２４において、被写体検出部３００により、肌色領域７０２ａにおいて被写体が検出された場合、即ち、肌色領域７０２ａが顔であると判定された場合は、このデータがトリミング部４００に供給され、トリミング部４００にてトリミング処理が施される。即ち、元画像７００において、被写体を示す肌色領域７０２ａの顔部Ｂに対して天部Ａ及び胸部Ｃが上述の寸法比となるよう有効領域（トリミング領域）７１１が算出され、図２６（ｆ）に示すように、所定の寸法比になるように切り取られたこの有効領域７１１がプリンタ１８又は１９等に出力される。
【０１４９】
次に、ステップＳ２３の被写体の検出方法について更に詳細に説明する。図２７は、被写体検出部３００の被写体の検出方法を示すフローチャートである。
【０１５０】
先ず、ステップＳ３１において、頭頂部検出部３１３は、頭頂部を検出する。頭頂部の検出は、上述したように、例えば、入力画像において上から１０ライン目までを背景とし、この背景と肌色領域の上部の画素とを比較し、その変化が大きくなった位置を頭頂部ＴＯＨとして検出する。
【０１５１】
次に、ステップＳ３２において、中心線検出部３１７は、肌色領域における肌色画素の分布の平均位置を通る線分を顔の中心線ＣＯＨとして検出する。上述したように、口、又は眼の検出結果を使用して顔の中心線を検出してもよい。
【０１５２】
次に、ステップＳ３３において、口検出部３１４は、肌色領域内で赤みを利用して口の位置ＭＯＨを検出する。
【０１５３】
次に、ステップＳ３４において、眼検出部３１５は、肌色領域内でエッジ密度が高いことを利用して眼の位置ＥＯＨを検出する。
【０１５４】
次に、ステップＳ３５において、顎検出部３１６は、口及び眼の位置の検出結果を使用して顎部の位置を算出する。
【０１５５】
次に、ステップＳ３６において、判定部３１９は、口及び眼の位置の検出結果からステップＳ３１にて検出された頭頂部の位置の妥当性を判定し、検出された頭頂部の位置が妥当でないと判定された場合は、口及び眼の検出結果から頭頂部の位置を算出する。このように、頭頂部の位置をチェックすることにより、誤検出を防止する。
【０１５６】
次に、ステップＳ３７において、領域修正部３１８は、肌色領域を囲む長方形領域を計算する。
【０１５７】
次に、ステップＳ３８において、判定部３１９は、眼及び口におけるエッジ密度が所定の閾値以上であって、且つ口の赤みが所定の閾値以上であること等の条件を利用して、顔か否かの判定を行う。
【０１５８】
最後に、ステップＳ３９において、複数顔が検出された場合に顔抽出領域を選択し、この顔領域をトリミング部４００に供給する。
【０１５９】
なお、判定部３１９により上述したような顔判定を行い、顔領域を選択するは、例えば、撮像された画像データ内に子供を抱えた母親が一緒に写っている場合に、顔領域が複数検出されて子供の顔領域をうまく抽出することができなくなってしまうのを防ぐためである。例えば、判定部３１９では、撮像された画像データ全体の中心に近い顔領域を選択する。
【０１６０】
トリミング部４００は、ＣＰＵ７８の計算により、図２８に示すように、入力された顔領域に基づき、元画像データ９０１内の人物９０２がバランスよく配置されるようにトリミング領域９０３を算出してトリミングを行う。また、トリミング部４００は、ＣＰＵ７８により、図２９に示すように、入力された顔領域に基づき、元画像データ９０４内に人物９０５及び９０６の２人が配されている場合、より中央に近い人物９０５を基準にトリミング範囲９０７を算出してトリミングを行う。更に、トリミング部４００は、ＣＰＵ７８の計算により、図３０に示すように、入力された顔領域に基づき、元画像データ９０８内の人物の眼や口の位置が特定できない場合、頭頂部の位置を基準に推定被写体領域９０９を算出し、元画像データ９０８内の有効領域をトリミング領域９１０とする。
【０１６１】
以下では、元画像データ９０１，９０４，９０８の画像サイズを幅×高さが９６０×１２８０画素であるとして、顔領域が供給された後のトリミング部４００の画像処理の動作を、図３１乃至図３２に基づき説明する。図３１及び図３２は、トリミング部４００のトリミング方法を示すフローチャートである。また、以下では、上述の被写体検出部３００の各部で検出した頭頂部、眼及び口の位置と、顔の中心線が、ＲＡＭ７３に記憶されているものとして説明する。
【０１６２】
先ず、図３１に示すように、ステップＳ４１において、ＣＰＵ７８は、頭頂部検出部３１３により検出された頭頂部の位置をＲＡＭ７３から読み出す。以下では、ＲＡＭ７３から読み出した頭頂部の位置をＴＯＨとする。
【０１６３】
次に、ＣＰＵ７８は、ステップＳ４２において、口検出部３１４により検出された口の位置をＲＡＭ７３から読みだす。以下では、ＲＡＭ７３から読み出した口の位置をＭＯＵＴＨとする。
【０１６４】
次に、ステップＳ４３において、ＣＰＵ７８は、頭頂部から口までの長さをＴＯＨ＿ＭＯＵＴＨとして算出する。即ちＣＰＵ７８は、ＴＯＨ＿ＭＯＵＴＨ＝ＭＯＵＴＨ−ＴＯＨとする計算を行う。
【０１６５】
次に、ステップＳ４４において、ＣＰＵ７８は、頭上マージン、即ち天部の長さを頭頂部から口までの長さの１／４として、天部＝（ＴＯＨ＿ＭＯＵＴＨ×１／４）とする計算を行う。
【０１６６】
次に、ステップＳ４５において、ＣＰＵ７８は、トリミング領域９０３の上部開始位置を頭頂部の位置から天部の長さ分だけ上方であるとして、上部開始位置ｓｔｙ１＝ＴＯＨ−（ＴＯＨ＿ＭＯＵＴＨ×１／４）とする計算を行う。
【０１６７】
次に、ステップＳ４６において、ＣＰＵ７８は、上部開始位置ｓｔｙ１が、元画像データ９０１から上方にはみ出た位置にあるかどうかを判断する。即ちＣＰＵ７８は、上部開始位置ｓｔｙ１＜０であるかを判断し、上部開始位置ｓｔｙ１＜０である場合に処理をステップＳ４７に進め、上部開始位置ｓｔｙ１≧０である場合に処理をステップＳ４８に進める。
【０１６８】
ステップＳ４７において、ＣＰＵ７８は、上部開始位置ｓｔｙ１が、元画像データ９０１から上方にはみ出た位置にある場合、上部開始位置ｓｔｙ１を元画像データ９０１の上端とする、即ち上部開始位置＝０とする計算を行う。そしてＣＰＵ７８は、ステップＳ４８に処理を進める。
【０１６９】
次に、ステップＳ４８において、ＣＰＵ７８は、口の位置から下部終了位置までの距離が頭頂部から口までの距離に等しいとして、下部終了位置ｅｄｙ１＝ＭＯＵＴＨ＋（ＴＯＨ＿ＭＯＵＴＨ×１／１）とする計算を行う。
【０１７０】
次に、ステップＳ４９において、ＣＰＵ７８は、下部終了位置ｅｄｙ１が、元画像データ９０１から下方にはみ出た位置にあるかどうかを判断する、即ち下部終了位置ｅｄｙ１＞１２７９であるかを判断し、下部終了位置ｅｄｙ１＞１２７９である場合に処理をステップＳ５０に進め、下部終了位置ｅｄｙ１≦１２７９である場合に処理をステップＳ５１に進める。
【０１７１】
ステップＳ５０において、ＣＰＵ７８は、下部終了位置ｅｄｙ１が、元画像データ９０１から下方にはみ出た位置にある場合、下部終了位置ｅｄｙ１を元画像データ９０１の下端とする、即ち下部終了位置ｅｄｙ１＝１２７９とする計算を行い、処理をステップＳ５１に進める。
【０１７２】
ステップＳ５１において、ＣＰＵ７８は、トリミング領域９０３の縦方向の高さを画像高さＹとして、画像高さＹ＝下部終了位置ｅｄｙ１―上部開始位置ｓｔｙ１とする計算を行う。
【０１７３】
次に、図３２に示すように、ステップＳ５２において、ＣＰＵ７８は、画像高さＹと元画像データ９０１の高さとを比較し、画像高さＹが元画像データ９０１の高さよりも小さい場合に処理をステップＳ６０に進め、画像高さＹが元画像データ９０１の高さよりも大きい場合に処理をステップＳ５３に進める。
【０１７４】
ステップＳ５３において、ＣＰＵ７８は、眼の位置をＲＡＭ７３から読み出す。以下では、ＲＡＭ７３から読み出した眼の位置をＥＹＥとする。
【０１７５】
次に、ステップＳ５４において、ＣＰＵ７８は、眼から口までの長さをＥＹＥ＿ＭＯＵＴＨとして、ＴＯＨ＿ＭＯＵＴＨ＝ＭＯＵＴＨ−ＴＯＨとする計算を行う。
【０１７６】
次に、ステップＳ５５において、ＣＰＵ７８は、ＥＹＥ＿ＭＯＵＴＨと口から下部終了位置ｅｄｙ２までの長さとの比が１：２となるように下部終了位置ｅｄｙ２を算出する。即ちＣＰＵ７８は、ｅｄｙ２＝ｍｏｕｔｈ＋（ｅｙｅ＿ｍｏｕｔｈ×２／１）とする計算を行う。
【０１７７】
次に、ステップＳ５６において、ＣＰＵ７８は、下部終了位置ｅｄｙ２が、元画像データ９０１から下方にはみ出た位置にあるかどうかを判断する、即ち下部終了位置ｅｄｙ２＞１２７９であるかを判断し、下部終了位置ｅｄｙ２＞１２７９である場合に処理をステップＳ５７に進め、下部終了位置ｅｄｙ１≦１２７９である場合に処理をステップＳ５８に進める。
【０１７８】
ステップＳ５７において、ＣＰＵ７８は、下部終了位置ｅｄｙ２が、元画像データ９０１から下方にはみ出た位置にある場合、下部終了位置ｅｄｙ２を元画像データ９０１の下端とする、即ち下部終了位置ｅｄｙ２＝１２７９とする計算を行い、処理をステップＳ５８に進める。
【０１７９】
ステップＳ５８において、ＣＰＵ７８は、ｅｄｙ１とｅｄｙ２の大きさの比較を行い、ｅｄｙ１＞ｅｄｙ２である場合、処理をステップＳ５９に進め、ｅｄｙ１≦ｅｄｙ２である場合、処理をステップＳ６０に進める。
【０１８０】
ステップＳ５９において、ＣＰＵ７８は、トリミング領域９０３の縦方向の高さを画像高さＹとして、画像高さＹ＝下部終了位置ｅｄｙ２−上部開始位置ｓｔｙ１とする計算を行い、処理をステップＳ６０に進める。
【０１８１】
ステップＳ６０において、ＣＰＵ７８は、トリミング領域９０３の横方向の幅を画像幅Ｘとして、画像幅Ｘ及び画像高さＹのアスペクト比が１．４２であることから、画像幅Ｘ＝画像高さＹ／１．４２とする計算を行う。
【０１８２】
次に、ステップＳ６１において、ＣＰＵ７８は、中央線検出部３１７により検出された頭頂部の位置をＲＡＭ７３から読み出す。以下では、ＲＡＭ７３から読み出した中央線の位置をＣＯＨとする。
【０１８３】
次に、ステップＳ６２において、ＣＰＵ７８は、中央線の位置ＣＯＨを中心に、画像幅Ｘとなるように、トリミング範囲の最左端を左端開始位置ｓｔｘ１、最右端を右端終了位置ｅｄｘ１として、これらｓｔｘ１及びｅｄｘ１を算出する。
【０１８４】
次に、ステップＳ６３において、ＣＰＵ７８は、左部開始位置ｓｔｘ１が、元画像データ９０１から左側にはみ出た位置にあるかどうかを判断する、即ち左部開始位置ｓｔｘ１＜０であるかを判断し、左部開始位置ｓｔｘ１＜０である場合に処理をステップＳ６４に進める。また、ステップＳ６３において、ＣＰＵ７８は、右部終了位置ｅｄｘ１が、元画像データ９０１から右側にはみ出た位置にあるかどうかを判断する、即ち右部終了位置ｅｄｘ１＞９５９であるかを判断し、右部終了位置ｅｄｘ１＞９５９である場合に処理をステップＳ６４に進める。なお、ステップＳ６３において、ＣＰＵ７８は、左部開始位置ｓｔｘ１≧０である場合で、且つ右部終了位置ｅｄｘ≦９５９である場合に処理をステップＳ６５に進める。
【０１８５】
ステップＳ６４において、ＣＰＵ７８は、元画像データ９０１からはみ出た部分に白紙領域を追加するために、元画像データ９０１に画像データを加え、処理をステップＳ６５に進める。
【０１８６】
ステップＳ６５において、ＣＰＵ７８は、ｓｔｙ１，ｅｄｙ１（ｅｄｙ２），ｓｔｘ１，ｅｄｘ１に基づきトリミング範囲９０３を決定し元画像データ９０１からトリミングを行う。
【０１８７】
以上のような処理によりトリミング部４００は、元画像データ９０１からトリミング範囲９０３をトリミングする。
【０１８８】
トリミング部４００は、このような処理により、顔部：胸部：天部の寸法比率が１：１：０．２５なるようにトリミング範囲９０３を決定することができるとともに、顔の位置が左右どちらかによってしまった場合も空白領域を元画像データ９０１に付け加えることで、顔の位置が中心となるようにトリミング範囲９０３を決定することができる。
【０１８９】
また、トリミング部４００は、印画紙のアスペクト比が決まっていることから、画像高さを算出した後に画像幅を容易に算出することができる。
【０１９０】
ここで、被写体検出部３００の各部が位置検出に失敗した場合のトリミング部４００の画像処理の動作を図３３に基づいて説明する。図３３は、トリミング部４００のトリミング方法を示すフローチャートである。
【０１９１】
先ず、ステップＳ７１において、ＣＰＵ７８は、頭頂部検出部３１３により頭頂部の位置が検出されているかを判断し、検出されていなければ処理をステップＳ７３に進め、検出されていれば処理をステップＳ７２に進める。
【０１９２】
ステップＳ７２において、ＣＰＵ７８は、頭頂部検出部３１３により検出された頭頂部の位置をＲＡＭ７３から読み出す。以下では、ＲＡＭ７３から読み出した頭頂部の位置をＴＯＨとする。
【０１９３】
次に、ステップＳ７４において、ＣＰＵ７８は、トリミング領域９１０の最上端から元画像データ９０８の高さの１／１０の位置となるように上部開始位置ｓｔｙ１を算出する。即ち、ＣＰＵ７８は、上部開始位置ｓｔｙ１＝ｔｏｈ−（１２８０／１０）なる計算を行い、処理をステップＳ７５に進める。
【０１９４】
一方、ステップＳ７１において、頭頂部が検出されていないと判断された場合、ステップＳ７３において、ＣＰＵ７８は、トリミング領域９１０の上端を元画像データ９０８の上端として上部開始位置ｓｔｙ１を算出する。即ち、ＣＰＵ７８は、上部開始位置ｓｔｙ１＝０なる計算を行い、処理をステップＳ７５に進める。
【０１９５】
ステップＳ７５において、ＣＰＵ７８は、トリミング領域９１０の最下端を、元画像データ９０８の最下端として下部終了位置ｅｄｙ１を算出する。即ち、ＣＰＵ７８は、下部終了位置ｅｄｙ１１２７９なる計算を行う。
【０１９６】
次に、ステップＳ７６において、ＣＰＵ７８は、トリミング領域９１０の縦方向の高さを画像高さＹとして、画像高さＹ＝下部終了位置ｅｄｙ１―上部開始位置ｓｔｙ１とする計算を行う。
【０１９７】
次に、ステップＳ７７において、ＣＰＵ７８は、トリミング領域９１０の横方向の幅を画像幅Ｘとして、画像幅Ｘ及び画像高さＹのアスペクト比が１．４２であることから、画像幅Ｘ＝画像高さＹ／１．４２とする計算を行う。
【０１９８】
次に、ステップＳ７８において、ＣＰＵ７８は、中央線の位置ＣＯＨを中心に、画像幅Ｘとなるように、トリミング範囲の最左端を左端開始位置ｓｔｘ１、最右端を右端終了位置ｅｄｘ１として、これらｓｔｘ１及びｅｄｘ１を算出する。なお、中央線の位置ＣＯＨが検出されていない場合は、元画像データ９０８の有効領域全体の幅の中心をＣＯＨに替えて用いてもよい。
【０１９９】
次に、ステップＳ７９において、ＣＰＵ７８は、ｓｔｙ１，ｅｄｙ１，ｓｔｘ１，ｅｄｘ１に基づきトリミング範囲９１０を決定し元画像データ９０８からトリミングを行う。
【０２００】
以上のような処理によりトリミング部４００は、元画像データ９０８からトリミング範囲９１０をトリミングする。
【０２０１】
トリミング部４００は、被写体検出部３００が頭頂部や口の位置が検出できなかった場合でも、トリミング範囲９０３を適切に決定することができる。ここで、被写体検出部３００が頭頂部や口の位置が検出できなかった場合とは、撮像装置１を設置する場所が病院であるということから例えば、包帯をしている場合、めがねをかけている場合、マスクをしている場合等が考えられる。トリミング部４００は、写真撮影をする者がそのような状態であっても適切にトリミングを行うことができる。
【０２０２】
なお、被写体検出部３００において、頭頂部、眼及び口が検出できなかった場合、トリミング部４００は、図３４に示すように、全画像データ９００内に人物９０２が写された領域である有効領域９０１の画像幅に基づいて、アスペクト比から画像高さを算出するようにしてもよい。ここで、図３４に示す、人物９０２が写された領域以外の帯部Ｂ１とＢ２は、撮像装置１の構造により写りこむ影であり、何も写されていない部分である。この帯部Ｂ１とＢ２は、撮像装置１において、縦方向にスリットが設けられ、このスリットを介して撮像部１７が撮像を行うために発生する。トリミング部４００は、この帯部Ｂ１とＢ２とが互いに平行であるため、全画像データ９００から有効領域９０１切り出すときに、これらの間を画像幅となるようにトリミングを行う。
【０２０３】
本実施の形態において、画像処理装置が撮像した入力画像から顔領域を検出してオートトリミングするため、被撮像者は、撮像装置の椅子に座るのみで、図２３（ｂ）に示すようなバランスがよい証明写真を常に得ることができる。このような画像処理装置を撮像装置１が備えることで、写真撮影をする者が椅子の高さを調節する必要がなくなり、使用者への利便性が向上する。
【０２０４】
また、本実施の形態において、画像処理装置は、病院内等で使用される撮像装置１に備えられるものであり、写真撮影をする者が、車椅子に乗っていたり、松葉杖をついたり、母親が子供を抱きかかえている場合等が考えられるため、撮像した画像データの中心に常に顔が位置するわけではないが、そのような場合でも、自動的に画像をトリミングして、顔がバランスよく配された画像を得ることができる。
【０２０５】
更に、本実施の形態において、画像処理装置は、病院内等で使用される撮像装置１に備えられるものであり、写真撮影をする者が、顔に包帯をしていたり、めがねをかけていたり、マスクをしていたりする場合等が考えられるため、頭頂部、眼及び口の検出に失敗することがあるが、そのような場合でも、自動的に画像をトリミングして、顔がバランスよく配された画像を得ることができる。
【０２０６】
以上、病院等に設置される写真ブースを例にとり説明したが、本発明は、これに限定されるものではなく、例えば街角等に設置される証明写真装置やゲームセンタ等に設置される装置に適用することもできる。これによって、街角やゲームセンタ等に設置された装置も、身体障害者にとって使いやすいものとなる。
【０２０７】
また、上述の実施の形態では、トリミング部４００以外についてハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、トリミング部４００と同様に、ＣＰＵ７８にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【０２０８】
【発明の効果】
以上詳述したように、本発明によれば、天部、顔部、胸部が最適の比率でトリミングされるため、撮像者はカメラ位置を変えることなく、また、フォトブースでは、被写体となる使用者が椅子の高さを調整することなく、自動的に顔の大きさ及び位置が最適に配置された見やすい写真を常に得ることができる。
【図面の簡単な説明】
【図１】証明写真における人物の配置を示す模式図である。
【図２】本発明の実施の形態に係る撮像装置を正面側から見た斜視図である。
【図３】上記撮像装置を背面側から見た斜視図である。
【図４】上記撮像装置の透視平面図である。
【図５】撮像室に設けられた左右一対の照明器具を説明する平面図である。
【図６】上記撮像装置を正面側から見た図であって、カーテンを閉めた状態を説明する図である。
【図７】上記撮像装置の制御回路を説明するブロック図である。
【図８】上記制御回路の動作を説明するフローチャートである。
【図９】本発明の実施の形態に係る画像処理装置を示すブロック図である。
【図１０】本発明の実施の形態に係る画像処理装置における肌色領域抽出部を示すブロック図である。
【図１１】本発明の実施の形態に係る画像処理装置における顔領域抽出部を示すブロック図である。
【図１２】横軸に座標をとり、縦軸に出現頻度をとって、出現頻度を示すヒストグラムとクラスタとの関係を模式的に示すグラフ図である。
【図１３】（ａ）乃至（ｃ）は、夫々入力画像、クラスタマップＣ及び領域マップＲを示す模式図である。
【図１４】本発明の実施の形態における肌色領域抽出部において作成された領域マップＲを示す模式図である。
【図１５】本発明の実施の形態における肌色領域抽出部において抽出される長方形領域を示す模式図である。
【図１６】本発明の実施の形態における肌色領域抽出部の領域分割部にて分割される長方形領域を示す模式図である。
【図１７】カラー画像における人物の頭頂部を検索する際の検索範囲を示す模式図である。
【図１８】長方形領域の水平方向の赤み強度が累積されて生成されたヒストグラムＨｒｄｓｈと長方形領域との関係を示す模式図である。
【図１９】人物の眼、口及び顎の位置の関係を示す模式図である。
【図２０】エッジを構成する画素が水平方向に累積されて生成されたヒストグラムＨｅｄｇｅ（ｙ）と肌色領域に対応する長方形領域との関係を示す模式図である。
【図２１】肌色領域に対応する長方形領域における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【図２２】修正後の長方形領域の頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝を示す模式図である。
【図２３】証明写真において、顔部Ｂに対する天部Ａ、胸部Ｃの寸法比率を変えたときの証明写真を示す模式図であって、（ｂ）は、本発明の実施例を示す図であり、（ａ）及び（ｃ）は、夫々比較例１及び比較例２を示す図である。
【図２４】（ａ）及び（ｂ）は、顔部Ｂの画像が夫々小さい例及び大きい例の証明写真を示す模式図である。
【図２５】本発明の実施の形態における画像処理方法を示すフローチャートである。
【図２６】本発明の実施の形態における画像処理方法の各工程を示す模式図である。
【図２７】本発明の実施の形態における画像処理装置の被写体検出方法を示すフローチャートである。
【図２８】本発明の実施の形態における画像処理装置のトリミング部がトリミング範囲と、画像データとの模式図である。
【図２９】画像データに人物が２人写っている場合のトリミング範囲を説明する模式図である。
【図３０】頭頂部を検出できなかった場合を説明する模式図である。
【図３１】本発明の実施の形態における画像処理装置のトリミング部の処理の流れを示すフローチャートである。
【図３２】本発明の実施の形態における画像処理装置のトリミング部の処理の流れを示す図３１に続くフローチャートである。
【図３３】本発明の実施の形態における画像処理装置のトリミング部の処理の流れを示すフローチャートである。
【図３４】画像データの有効領域を説明するための模式図である。
【図３５】従来の撮像装置を説明する側面図である。
【符号の説明】
１ 撮像装置、２ 設置面、１１ 筐体、１２ 背面部、１３ 一方の側壁、１４ 他方の側壁、１５ 天板、１６ａ 第１の面、１６ｂ 第２の面、１６ｃ 第３の面、１７ 撮像部、１７ａ 撮像装置、１７ｂ ハーフミラー、１７ｃ 反射板、１８，１９ プリンタ、２２ 転動防止部材、２３ 入口、２４ 椅子、２４ａ 取っ手、２９ 料金投入部、３１ 位置決め凹部、３２ 被写体検出部３２ カーテン、３３ａ スリット、３４ 第１の手摺り、３５ 第２の手摺り、３６ 第３の手摺り、４０ 回動支持機構、４１ 椅子取付部材、４２ 回動支持部、４４ 椅子支持部材、４６ リンク部材、４８ ガイド孔、４９ 係合突起、５１ ダンパ、５４ 保持機構、５６ 保持部材、５８ 係止突部、５９ 検出部、６０ 押圧部、７０ 制御回路、１００ 画像抽出装置、１０１ 画像入力部、２００ 肌色領域抽出部、２１２ 表色系変換部、２１３ ヒストグラム生成部、２１４ 初期クラスタ抽出部、２１５ 初期領域抽出部、２１６クラスタ統合部、２１７ 領域分割部、２１８ 領域抽出部、３００ 被写体検出部、３１３ 頭頂部検出部、３１４ 口検出部、３１５ 眼検出部、３１６顎検出部、３１７ 中心線検出部、３１８ 領域修正部、３１９ 判定部、４００ トリミング部、６００ 証明写真、６００ａ 最上端、６００ｂ 最下端、６０１ 人物画像
【発明の属する技術分野】
本発明は、証明写真等の人物が撮像された画像における人物画像が印画紙内にて所定位置になるようトリミングする画像処理装置、画像処理方法、及び撮像装置に関する。
【０００２】
【従来の技術】
従来、図３５に示すように、証明写真を撮る撮像装置８００は、略矩形の筐体８０１を有し、この筐体８０１には、内部に撮像室８０２が設けられている。この筐体８０１には、撮像室８０２に入った被写体となる人物の顔を撮像する撮像部８０３と、撮像部８０３が撮像した画像を印刷するプリンタ８０４とが内蔵されている。また、筐体８０１には、撮像室８０２に入るための入り口８０５が設けられており、入り口８０５には、遮光カーテン８０６が取り付けられている。また、撮像室８０２には、被写体となる人物が着座する椅子８０７が設けられている。更に、撮像装置８００には、被写体を照射する照明器具８０９が設けられている他、図示しないコイン投入口や金庫等が設けられている。
【０００３】
このような撮像装置８００では、入り口８０５より被写体となる人物が撮像室８０２に入って椅子８０６に着座すると、撮像準備が完了した状態となる。そして、撮像装置８００では、椅子８０７に座っている被写体をフラッシュ撮像し、この撮像データをプリンタ８０４で出力する。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の撮像装置８００においては、顔が規定の位置に写るよう、具体的には、正面のミラー（撮像部）に頭頂部を合せるマーク（図示せず）が記されており、このマーク位置に頭頂部が一致するよう、椅子８０７を回転させ、その高さを手動で上下させ、頭頂部の位置を合わせなければならなかった。
【０００５】
また、例えば店頭等の簡易スタジオでは、カメラの角度等を変えることにより、顔の位置を決められた位置になるように合せていた。このように顔の位置を手動で合せると、できあがった写真は顔の位置が上下にばらつくことが多いという問題点がある。また、写真の最上部から頭頂部までの天部が広い間が抜けた写真になり、一方、天部が狭いと窮屈で見苦しい写真になってしまうという問題点がある。
【０００６】
また、一般の写真においても、主役となる被写体を画面の中心部に配置する傾向がある。このため不必要に天部の面積が大きくなる傾向にある。記念写真又はポートレートでは、顔部を画面中心に配置することにより、天部が広くなり間が抜けた写真に仕上ってしまう。更に、風景写真では空の部分が多くなり、主役の被写体が上手に表現されないという問題点もある。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、撮像された人物画像をトリミングにより自動的に見やすい写真に仕上げることができる画像処理装置、画像処理方法及び撮像装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理装置は、人物の画像から顔領域を抽出する顔領域抽出手段と、顔領域抽出手段により抽出された顔領域から人物の頭頂部、口及び眼の位置を検出する位置検出手段と、位置検出手段により検出された人物の頭頂部の位置及び口の位置から人物の頭頂部から口までの距離を算出するとともに、位置検出手段により検出された上記人物の頭頂部、口及び眼の位置の少なくとも一つから人物の顔を左右に等分する中心線とを算出する算出手段と、位置検出手段により検出された人物の頭頂部と、算出手段により算出された上記人物の頭頂部から口までの距離と、算出手段により算出された人物の顔を左右に等分する中心線とに基づきトリミング範囲を決定してトリミングを行い、位置検出手段が人物の口の位置を検出できなかったときには、画像の最上端をトリミング範囲の最上端にするとともに、画像の最上端から位置検出手段が検出した人物の頭頂部までを天部とし、天部の寸法と位置検出手段が検出した人物の頭頂部の位置と画像内に人物が有効に配される有効領域の幅とに基づきトリミング範囲の最下端を決定してトリミングをトリミング手段とを備えることを特徴とする。
【０００９】
また、本発明に係る画像処理方法は、人物の画像から顔領域を抽出する顔領域抽出工程と、顔領域から人物の頭頂部、口及び眼の位置を検出する位置検出工程と、人物の頭頂部から口までの距離と、人物の頭頂部、口及び眼の位置の少なくとも一つから人物の顔を左右に等分する中心線とを算出する算出工程と、人物の頭頂部の位置と、人物の頭頂部から口まで距離と、人物の顔を左右に等分する中心線とに基づきトリミング範囲を決定してトリミング行い、人物の口の位置が検出されていないときには、画像の最上端をトリミング範囲の最上端とし、画像の最上端から上記人物の頭頂部の位置までを天部とし、天部の寸法と人物の頭頂部の位置と画像内に人物が有効に配される有効領域の幅とに基づきトリミング範囲の最下端を決定してトリミングを行うトリミング工程とを有することを特徴とする。
【００１０】
更に、本発明に係る撮像装置は、人物を撮像する撮像手段と、撮像手段が撮像した人物の画像から顔領域を抽出する顔領域抽出手段と、顔領域抽出手段により抽出された顔領域から上記人物の頭頂部、口及び眼の位置を検出する位置検出手段と、位置検出手段により検出された人物の頭頂部の位置及び口の位置から人物の頭頂部から口までの距離を算出するとともに、位置検出手段により検出された人物の頭頂部、口及び眼の位置の少なくとも一つから人物の顔を左右に等分する中心線とを算出する算出手段と、位置検出手段により検出された人物の頭頂部と、算出手段により算出された人物の頭頂部から口までの距離と、算出手段により算出された人物の顔を左右に等分する中心線とに基づきトリミング範囲を決定してトリミングを行い、位置検出手段が人物の口の位置を検出できなかったときには、画像の最上端をトリミング範囲の最上端にするとともに、画像の最上端から位置検出手段が検出した人物の頭頂部までを天部とし、天部の寸法と位置検出手段が検出した人物の頭頂部の位置と画像内に人物が有効に配される有効領域の幅とに基づきトリミング範囲の最下端を決定してトリミングを行うトリミング手段とを備えることを特徴とする。
【００１１】
本発明においては、位置検出手段により人物の特徴となる頭頂部、口及び眼の位置を検出し、算出手段により、頭頂部、口及び眼のそれぞれの間隔や顔の縦方向の中心を算出し、トリミング手段が、人物の頭頂部の位置と、頭頂部から口までの距離と、顔の縦方向の中心とに基づきトリミング範囲を決定することで、顔部、胸部及び天部のバランスを自動的に調整して画像をトリミングすることで、常に見やすい写真を得ることができる。このため、撮像者は、被写体の顔が最適な位置になるようカメラ位置を考慮する必要がなく、また、フォトブースでは、被写体となる使用者が椅子の高さを調整する必要がない。
【００１２】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、撮像された画像から人物の顔領域である顔部を自動検出してオートトリミングする画像処理装置であって、顔部、胸部、及び天部の比率を規定することにより、人物画像をバランスよく自動配置し、自動的に見やすい写真に仕上げるための画像処理装置に適用したものである。
【００１３】
図１は、証明写真における人物の配置を示す模式図である。図１に示すように、証明写真６００において、証明写真の最上端６００ａから人物画像６０１の頭頂部ＴＯＨまでの垂直方向の大きさＡが天部寸法を示す。また、人物画像６０１の頭頂部ＴＯＨから口ＨＯＭまでの垂直方向の大きさＢが顔部寸法を示す。更に、人物画像６０１の口ＨＯＭから証明写真の最下端６００ｂまでの大きさＣが胸部寸法を示す。ここで、Ｄ（Ｄ＝Ａ＋Ｂ＋Ｃ）は、印画紙において証明写真６００が印刷された領域（以下、有効領域という。）の垂直方向の大きさを示す。ここで、この有効領域は、印画紙において証明写真が印刷されていない余白を含む場合、この余白を除いた領域を示す。また、Ｅは、有効領域の水平方向の大きさを示す。更に、ＣＯＨは、顔を左右に等分するＥの中間を示す線、いわゆる顔の中心線である。ここで、この有効領域（Ｄ×Ｅ）は、印画紙に証明写真が印刷されていない余白を含む場合、この余白を除いた領域を示す。
【００１４】
本実施の形態の画像処理装置は、被写体の顔領域が印画紙において本発明範囲、即ち顔部Ｂの寸法を基準とした場合、各部の比率を顔部Ｂ：胸部Ｃ：天部Ａ＝１：０．６〜１．０：０．２〜０．３の範囲となるようにトリミングを行うものである。
【００１５】
ここで、本画像処理装置は、証明写真装置等の写真ブースにおいて、画像処理で顔部を検出してオートトリミングする際に使用される。ここでは、先ず、本実施の形態の画像処理装置が設けられる写真ブースについて説明する。
【００１６】
Ａ．写真ブース
図２乃至図４に示すように、撮像装置１は、病院等に設置されて患者等の顔写真を撮像するために用いられる写真ブースを構成するものであり、本体部を構成する筐体１１を有する。この筐体１１は、背面部１２に相対向して設けられる側壁１３，１４と、側壁１３，１４間を閉塞し天井を構成する天板１５とを有し、背面部１２と一対の側壁１３，１４と天板１５とで構成される空間部に撮像室１６が設けられている。
【００１７】
被写体となる人物が撮像室１６に入ったときに対向する背面部１２には、その内部に、被写体を撮像するための撮像部１７、撮像部１７が撮像した画像を印刷するプリンタ１８，１９、撮像部１７の出力である画像信号をアナログ信号からディジタル信号に変換する等の画像処理を行う画像処理回路、全体の動作を制御する制御回路等の様々な電気回路が組み込まれたメイン基板２１等が内蔵されている。撮像部１７は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor device）等の撮像素子を有する撮像装置１７ａと、撮像室１６の被写体となる人物と向き合う面に設けられるハーフミラー１７ｂと、ハーフミラー１７ｂを透過した光を反射する反射板１７ｃとを有する。ハーフミラー１７ｂは、被写体を撮像するとき、ハーフミラー１７ｂで被写体からの光を所定量反射させることで被写体となる人物が自分の顔を見ることができるようにすると共に、残りの光を透過し、撮像装置１７ａが被写体を取り込むことができるようにする。ハーフミラー１７ｂを透過した光は、反射板１７ｃで反射されて撮像装置１７ａへと導かれ、これによって、撮像装置１７ａは、被写体を撮像する。撮像装置１７ａからの出力は、メイン基板２１の画像処理回路に出力され、ディジタル処理がなされ、これをプリンタ１８若しくは１９に出力する。
【００１８】
第１のプリンタ１８は、通常使用するメインプリンタであり、第２のプリンタ１９は、第１のプリンタ１８が故障したとき等に使用される補助プリンタである。ディジタル信号に変換された画像データは、第１のプリンタ１８若しくは第２のプリンタ１９に出力され、プリンタ１８，１９で印画紙に印刷される。その他に、筐体１１を構成する背面部１２には、電源スイッチ２０ａ、金庫２０ｂ等が内蔵されている。
【００１９】
側壁１３，１４は、このような背面部１２と一体的に、互いに略平行となすように設けられている。背面部１２を構成する外壁と共に側壁１３，１４は、鉄板等比較的比重の重い材料で形成することで、筐体１１の下側を重くし、安定して設置面２に設置できるように形成されている。一方の側壁１３は、他方の側壁１４より短くなるように形成されている。筐体１１は、長い側の他方の側壁１４が、壁に沿うように設置される。短い側となる一方の側壁１３には、設置面２と接続する転動防止部材２２が取り付けられる。転倒防止部材２２は、設置面２、一方の側壁１３のそれぞれをねじ止め等することで、筐体１１が一方の側壁１３側から押されたときにも倒れないようにしている。そして、他方の側壁１４は、一方の側壁１３より長く形成することで、一方の側壁１３側から力が加えられたときにも、筐体１１を十分支持できるように形成されている。
【００２０】
側壁１３，１４間に取り付けられる天板１５は、撮像室１６の天井を構成するものであり、長手方向の長さが長い側となる他方の側壁１４と略同じ若しくは他方の側壁１４よりやや長く形成されている。ここで、天板１５は、ポリプロピレン等の樹脂材料で形成されている。即ち、天板１５は、側壁１３，１４に比べて比重の軽い材料で形成されている。筐体１１は、側壁１３，１４を含む周面を鉄板等の比較的比重の重い材料で形成し、上方に位置する天板１５を比重の比較的軽い材料で形成し、下側が重くなるように形成することで、安定して設置面２に設置できるようになっている。
【００２１】
撮像室１６は、以上のような背面部１２と一体的に形成される一対の側壁１３，１４と天板１５とで構成され、一方の側壁１３の端部と他方の側壁１４の端部との間が撮像室１６の入り口２３とされている。即ち、被写体となる人物は、筐体１１の前面側からと一方の側壁１３側から撮像室１６に入ることができるようになっている。筐体１１は、底板が設けられておらず、従って、撮像室１６の床は、設置面２となっており、撮像室の床は、設置面２と面一になっている。したがって、従来のように、撮像室１６の入り口２３には、段差が無く、車椅子等に乗った患者も、車椅子等に乗ったまま撮像室１６に入ることができる。
【００２２】
ここで撮像室１６の詳細を説明すると、撮像室１６には、長い側の他方の側壁１４に回動支持された椅子２４が設けられている。この椅子２４には、被写体となる人物が座る。この撮像室１６には、車椅子等に乗った患者も入り口２３より入ることがあり、この場合は、椅子２４が邪魔となる。そこで、この椅子２４は、長い側の他方の側壁１４側に倒すことができ、撮像室１６より待避させることで、車椅子の患者が撮像室１６に入ることができるようになっている。具体的に、後述する検出部５９により椅子２４が側壁１４側に倒されているかいないか、即ち椅子２４が側壁１４側に退避されているかどうかを検出して、撮像装置１の各部が動作するようになっている。また、この椅子２４の高さは、車椅子の座る部分と略同じ高さとなっている。撮像部１７は、機構を簡素化するため、位置を変えることはできず固定となっている。被写体となる人物には、車椅子に乗った者と乗っていない者とがおり、それによって、顔の高さは異なる。そこで、椅子２４は、車椅子の高さと略同じとすることで、車椅子に乗っていない者が椅子２４に座ったときの顔の高さと車椅子に乗った者の顔の高さとが略同じになるようにし、撮像部１７が固定であっても確実に被写体となる人物の顔を確実に撮像することができるようにしている。なお、椅子２４の隣には、物置台２５が設けられおり、被写体となる人物が鞄等を置くことができるようになっている。
【００２３】
椅子２４に座った若しくは撮像室１６に入った車椅子に乗った患者と対向する第１の面１６ａは、撮像部１７を構成する撮像装置１７ａの光軸と垂直となるように形成されており、この面の被写体となる人物の顔と対向する位置には、撮像部１７を構成する略矩形のハーフミラー１７ｂが設けられている。このハーフミラー１７ｂは、椅子２４に座った若しくは車椅子に座っている患者がハーフミラー１７ｂで自分の顔を見ながら撮像を行うことができるようになっている。
【００２４】
このハーフミラー１７ｂが設けられた第１の面１６ａと左右に隣り合う第２及び第３の面１６ｂ，１６ｃは、互いに向き合う方向に、第１の面１６ａに対して傾斜するように設けられている。これら第２及び第３の面１６ｂ，１６ｃには、被写体となる人物を照らす照明器具２６，２７が設けられている。照明器具２６，２７は、発光体が内蔵されており、撮像時に点灯されることで、フラッシュ撮像を行うことができるようになっている。照明器具２６，２７は、従来、被写体の正面上方から光を照射していたのに対して、被写体の左右斜め前方から光を被写体に光を照射するようにし、被写体の顔の額と顎との間、即ち顔の上下で照明差が発生しないようにし、また、しわに影が発生することを防止してしわが目立たないようにしている。
【００２５】
ところで、図５に示すように、第２の面１６ｂに設けられた照明器具２６と第３の面１６ｃに設けられた照明器具２７とは、撮像装置１７ａの光軸Ｌと椅子のセンタＯ１とを結ぶ線と照明器具２６，２７のセンタＯ２，Ｏ３と椅子２４のセンタＯ１とを結ぶ線とがなす角θを有するように設けられている。θは、撮像時に、顔に滑らかな影ができ、眼鏡に照明の写り込みが無く、背景に影が出にくい角度に設定され、例えば３０°〜７０°、好ましくは５０°とされる。
【００２６】
また、写真に写し出された顔は、一般に左右で照明差があった方が看者によく見えるものである。そこで、照明装置２６，２７は、照明差が発生するように被写体を照射するようにしている。例えば、照明器具２６，２７は、照明差が例えば１：１．５〜１：３、好ましくは１：２となるように被写体を照射する。なお、光を強くする方の照明器具は、何れであってもよい。これによって、写真は、柔らかな影が形成され、平面的でなく立体的に被写体を写し出すことができる。なお、本撮像装置１では、撮像部１７の撮像装置１７ａにＣＣＤを用いている。ＣＣＤは、銀塩フィルムを用いるカメラ（銀塩カメラ）に比べてラティチュード（latitude）が狭い。そこで、この照明差は、銀塩カメラに比べて比が小さくなるように設定される。
【００２７】
なお、更に、この撮像室１６には、照明器具２６，２７他に、被写体を下側から照射する照明器具２８が設けられている。この照明器具２８は、第１の面１６ａであってハーフミラー１７ｂの下側に撮像室１６側に突出して形成された突出部２８ａの上側の面２８ｂに設けられ、照射方向が斜め上方となるように設けられている。
【００２８】
また、撮像室１６には、図２乃至図４に示すように、被写体の正面側であって、一方の側壁１３側に操作部を構成する料金投入部２９が設けられている。料金投入部２９は、コインを投球するコイン投入部２９ａと紙幣を投入する紙幣投入部２９ｂとからなり、これら投入部２９ａ，２９ｂは、人が椅子２４座ったとき、手で料金を投入し易い高さに設けられている。椅子２４は、上述したように車椅子の高さに合わせて設けられていることから、車椅子に乗った人も、容易に料金投入部２９に料金を投入することができる。なお、本例では、操作部として、料金投入部２９が設けられているのみであるが、その他に、撮像を開始する撮像開始ボタン、撮像した画像をプリンタ１８，１９で印刷する前に確認する確認ボタン等を設けるようにしてもよく、この場合、これらのボタンも、被写体の正面側であって、一方の側壁１３側に設けられる。
【００２９】
突出部２８ａの下側には、被写体となる人の撮像位置を位置決めするための位置決め凹部３１が設けられている。この位置決め凹部３１が設けられる位置は、椅子２４又は車椅子に座った人の膝を収めることができる高さに設けられている。撮像をするとき、被写体となる人は、椅子２４に座り、又は、撮像室１６に車椅子で入り口２３より入り、膝を位置決め凹部３１に係合させることによって、容易に撮像位置を位置決めすることができる。即ち、被写体となる人は、膝を位置決め凹部３１に係合させることによって、ハーフミラー１７ｂに対して正面を向くようになる。
【００３０】
また、撮像室１６には、撮像室１６に被写体が入ったかどうかを検出する被写体検出部３２が設けられている。被写体検出部３２は、天板１５の椅子２４の上に設けられ、被写体が撮像位置に居ることを検出することができるようになっている。被写体検出部３２は、被写体を検出すると、この検出信号を、メイン基板２１の制御回路に出力し、待機モードから写真撮影モードに切り換える。
【００３１】
なお、この被写体検出部３２は、上述した位置決め凹部３１内に設けるようにしてもよい。天板１５に被写体検出部３２を設けたときには、例えば被写体となる人が撮像室１６内で立っているとき等実際には撮像位置に居ないときも被写体を検出してしまうが、被写体検出部３２を位置決め凹部３１内に設けたときには、膝が位置決め凹部３１に係合していない限り被写体を検出することができないことから、確実に撮像位置にある被写体を検出することができる。
【００３２】
天板１５の入り口２３となる領域には、図示しないカーテンレールやフックが設けられており、このカーテンレールやフックには、遮光部材となるカーテン３３が垂下されており、入り口２３を開閉できるようになっている。このカーテン３３は、遮光性のものであり、撮像時に外光が撮像室１６内に入らないようにしている。このカーテン３３は、図６に示すように、撮像室１６へ出入りするときには簡単に移動させて容易に入ることができる。カーテン３３をフックに固定したときには、正面入口のカーテン３３にスリット３３ａを設けることにより入りやすくなる。カーテン３３の撮像室１６側の面であって、被写体の背後となる領域は、写真の背景となる領域である。このため、スリット３３ａは、写真の背景となる領域を除く領域に設けられている。
【００３３】
なお、遮光部材として、カーテン３３の他にプレート等を用いるようにしてもよい。
【００３４】
入り口２３を構成する短い側の側壁１３の端部の略中央領域には、垂直方向に第１の手摺り３４が設けられており、松葉杖をついた患者、車椅子に乗った患者等の身体障害者が入り口２３より撮像室１６内に入り易いようになっている。また、入り口２３を構成する長い側の他方の側壁１４の端部上方には、垂直方向に第２の手摺り３５が設けられ、例えば松葉杖をついた患者が入り口２３より撮像室１６内へ入り易いようになっている。更に、他方の側壁１４であって、操作部を構成する料金投入部２９と略同じ高さには、水平方向に第３の手摺り３６が設けられ、例えば椅子に座った被写体となる人や車椅子に乗った人が撮像位置の調整を容易に行うことができるようになっている。
【００３５】
なお、短い側の一方の側壁１３には、外面側に、プリンタ１８，１９で印刷された写真が排出される写真排出口３８が設けられている。
【００３６】
次に、背面部１２に内蔵されたメイン基板２１等に組み込まれた制御回路について図７を参照して説明すると、この制御回路７０は、装置の動作に必要なプログラムが記憶されるＲＯＭ（Read-Only Memory）７１と、装置の動作に必要なアプリケーションプログラム及び後述する画像抽出処理を行うプログラム等が記憶されるハードディスク等からなるプログラム記憶部７２と、ＲＯＭ７１やプログラム記憶部７２に保存されているプログラムがロードされるＲＡＭ（Random-Access Memory）７３と、料金投入部２９より投入された金額等を判断し課金処理を行う課金処理部７４と、音声を出力する音声出力部７５と、音声データを可聴音として出力するスピーカ７６と、外部記憶装置が装着されるドライブ７７と、全体の動作を制御するＣＰＵ（Central Processing Unit）７８とを備え、これらは、バス７９を介して接続されている。また、このバス７９には、撮像部１７を構成する撮像装置１７ａ、照明器具２６，２７，２８、撮像室１６に被写体が入ったかどうかを検出する被写体検出部３２、椅子２４が待機位置にあることを検出する検出部５９等が接続されている。
【００３７】
次に、図８を参照して、撮像装置１の動作を説明する。ステップＳ１において、ＣＰＵ７８は、椅子２４が待避位置にあるかどうか、即ち椅子２４が他方の側壁１４と略平行な状態となっており、車椅子が撮像室１６に進入可能な状態にあるかどうかを判断する。ＣＰＵ７８は、椅子２４が待避位置に無い、即ち撮像室２４に設置された状態にあると判断したとき、ステップＳ２に進み、通常モード、即ち被写体となる人が椅子２４に座って撮像するモードに移る。また、ＣＰＵ７８は、椅子２４が待避位置にあると判断したとき、ステップＳ９に進み、車椅子専用のモードに移る。車椅子専用のモードは、車椅子に乗った人は車椅子に乗っていない人に比べて撮像位置の位置決め等に時間がかかることから、撮像までの時間が長くなるようになっている。
【００３８】
通常のモードのとき、ステップＳ２において、ＣＰＵ７８は、ユーザが撮像位置についたかどうかを判断する。即ち、被写体検出部３２は、赤外線センサ等で構成されており、被写体となる人が椅子２４に座って膝を位置決め凹部３１に係合された撮像位置についているかを検出する。ＣＰＵ７８は、被写体検出部３２が撮像位置についていることを検出したとき、ステップＳ３に進み、検出していないときステップＳ２を繰り返す。
【００３９】
ステップＳ３において、ＣＰＵ７８は、音声出力部７５を介して料金を料金投入部２９に投入するようにアナウンスする。即ち、音声出力部７５は、「料金をお入れください。」等のメッセージをスピーカ７６より可聴音で出力する。
【００４０】
これを受けて、被写体となる人は、料金投入部２９より必要な料金を投入する。このとき、料金投入部２９は、比較的手に届き易い位置に設けられていることから、被写体となる人は、椅子２４若しくは車椅子に座ったままの状態で、容易に料金を料金投入部２９に投入することができる。また、料金投入部２９は、一方の側壁１３側に設けられていることから、介護者も入り口２３より手を伸ばして容易に料金投入部２９より料金を投入することができる。
【００４１】
ステップＳ４において、ＣＰＵ７８は、料金投入部２９より所定金額が投入されたかどうかを判断する。具体的に、課金処理部７４は、料金投入部２９より投入された金額を判断し、不足しているときは金額の追加を求め、多いときには、おつりを算出し返金する。そして、課金処理部７４は、課金が完了したことをＣＰＵ７８に出力し、これによって、ＣＰＵ７８は、課金処理が終了したかを判断する。ＣＰＵ７８は、課金処理が終了していないとき、ステップＳ３に戻り、再度、料金を投入するように再アナウンスする。
【００４２】
ステップＳ５において、ＣＰＵ７８は、音声出力部７５を介して写真撮影を開始する旨をアナウンスする。例えば、音声出力部７５は、「これより写真撮影を開始します。」等のメッセージをスピーカ７６より可聴音で出力する。
【００４３】
所定時間が経過すると、ＣＰＵ７８は、ステップＳ６において、被写体の撮像を行う。ＣＰＵ７８は、撮像装置１７ａを駆動すると、この撮像装置１７ａは、取り込んだ光を光電変換し出力する。このとき、照明器具２６，２７，２８は、発光体を発光する。照明器具２６，２７は、被写体の左右斜め前方から被写体に光を照射するようにすることで、被写体の顔の額と顎との間、即ち顔の上下で照明差が発生しないようにし、また、しわに影が発生しないように写真を撮ることができるようにする。また、照明器具２６，２７は、左右で照明差を設けて発光することから、柔らかな影を有する立体的な写真を撮ることができるようにする。
【００４４】
ステップＳ７において、ＣＰＵ７８は、音声出力部７５を介して写真撮影が終了した旨をアナウンスする。例えば、音声出力部７５は、「写真撮影を終了しました。」等のメッセージをスピーカ７６より可聴音で出力する。
【００４５】
ステップＳ８において、ＣＰＵ７８は、撮像装置１７ａのデータを第１のプリンタ１８若しくは第２のプリンタ１９に出力し、第１のプリンタ１８若しくは第２のプリンタ１９は、入力されたデータに基づいて印画紙に印刷をする。そして、第１のプリンタ１８若しくは第２のプリンタ１９は、画像を印刷した印画紙を写真排出口３８に排出する。
【００４６】
なお、ＣＰＵ７８は、ステップＳ１において、椅子２４が待避位置にあると判断したとき、車椅子の専用のモードとなり、ステップＳ９からステップＳ１４までの処理を行う。ステップＳ９からステップＳ１４までの処理は、上述したステップＳ２からステップＳ６までの処理と略同じであるため省略する。但し、ステップＳ１３は、ステップＳ１２の撮像開始のアナウンスから写真撮影を開始するまでの時間がステップＳ６の場合より長くなる。これは、車椅子に乗った者は、車椅子に乗っていない者と比べて写真撮影の準備に時間を要するためである。
【００４７】
また、ステップＳ１において、椅子２４が使用され待避位置にない場合、即ち、椅子２４が撮像室１６に広げられている場合、椅子取付け部材４１と椅子支持部材４４とを接続するリンク部材（図示せず）は、設置面２に対して略垂直な状態となっており、椅子２４を支持した状態にある。このような場合に、撮像室１６に車椅子に乗った患者等が入るために椅子２４を片づける必要があるときは、椅子２４は、患者が取っ手２４ａを持って回動操作される。椅子２４を他方の側壁１４側へ回動操作すると、支軸（図示せず）を介して椅子取付け部材４１と回転自在に取り付けられている椅子支持部材４４が回動する。そして、椅子２４を他方の側壁１４と略平行となすまで回動操作すると、椅子２４は、他方の壁１４に設けられた待避位置に椅子２４を保持するための保持機構（図示せず）により保持される。これによって、椅子２４は、他方の側壁１４と略平行な待避位置に保持される。
【００４８】
保持機構は、他方の側壁１４に一体的に設けられた支持片に保持部材が取り付けら、この保持部材は、中途部で支軸によって支持片に回動可能に支持されている。そして、保持部材の一端側に、椅子２４を係止する係止突部が設けられ、他端側に、椅子２４が待機位置にあることを検出する図７に示す検出部５９を押圧する押圧部が設けられており、保持部材の押圧部が検出部５９を押圧することにより、検出部５９は、椅子２４が待避位置にあることを検出することができる。
【００４９】
また、ドライブ７７には、記録可能な追記型若しくは書換え型の光ディスク、光磁気ディスク、磁気ディスク、ＩＣカード等のリムーバル記録媒体８０を装着することができる。これら、リムーバル記録媒体８０には、例えば撮像部１７で撮像した被写体の画像データが保存される。リムーバル記録媒体８０に保存された画像データは、例えば他の情報処理装置を用いて読み出し、電子カルテ等の患者の顔写真として用いることができる。この患者の画像データは、リムーバル記録媒体８０を用いるほか、ＬＡＮ（Local Area Network）等のネットワークに接続された送受信部を介して上記他の情報処理装置に送信するようにしてもよい。更に、このドライブ７７は、ＲＯＭ型の光ディスク等のリムーバル記録媒体８０を装着し、本装置１を動作させるのに必要なアプリケーションプログラムをプログラム記憶部７２にインストールするのに用いるようにしてもよい。勿論、プログラム記憶部７２等にインストールするプログラムは、上記送受信部を介してダウンロードしてインストールするようにしてもよい。
【００５０】
以上のように構成された撮像装置１では、撮像室の床が設置面２と面一になっていることから、段差が無く、車椅子等に乗った患者も、車椅子等に乗ったまま撮像室１６に入ることができる。また、この撮像装置１は、病院等に設置されるものであり、健常者だけでなく車椅子に乗った者や松葉杖をついた者の利用することから、例えば入り口２３より撮像室１６に入るときに、一方の側壁１３等に当たってしまうことがあるが、この撮像装置１は、他方の側壁１４を一方の側壁１３より長く形成し、また、一方の側壁１３を転倒防止部材２２で設置面２に固定し、更には、天板１５を側壁１３，１４より比重の軽い材料で形成し、重心が下方に来るように組み立てられていることから、利用者が撮像室１６に入るときにぶつかって衝撃が加わったときにも、設置位置がずれたり転倒することを確実に防止することができる。更に、撮像室１６に入るときには、第１乃至第３の手摺り３４〜３６を使うことができることから、撮像室１６に入る作業を容易に行うことができると共に撮像位置の位置決めも容易に行うことができる。
【００５１】
また、この撮像装置１では、椅子２４を撮像室１６より待避させることができる。したがって、車椅子に乗った患者は、椅子２４を折り畳むことで、車椅子に乗ったまま撮像室１６に入ることができる。この椅子２４は、撮像室１６に設置されているとき、椅子支持部材４４で確実に支持され、患者等の被写体は、安定した状態で椅子２４に座ることができる。また、この椅子は、折り畳むとき、取っ手２４ａが短い側の一方の側壁１３側に設けられていることで、取っ手２４ａが入り口２３側に位置し、車椅子に乗った患者やこれを介護する介護者が容易に椅子２４を回動操作して折り畳むことができる。また、料金を支払うときおいて、料金投入部２９は、一方の側壁１３側、即ち入り口２３の近くに設けられていることから、介護者が手を伸ばすだけで容易に料金を料金投入部２９に投入することができる。
【００５２】
また、撮像時において、撮像装置１は、照明器具２６，２７が被写体の左右斜め前方から光を被写体に光を照射することで、被写体の顔の額と顎との間、即ち顔の上下で照明差が発生しないようにし、また、照明器具２６，２７は、しわに影を写りにくくすることができる。また、左右照明に照明差を設けることで、写真に柔らかな影を形成し立体的に被写体を写し出すことができる。
【００５３】
更に、撮像装置１は、椅子２４が回動操作されて他方の側壁１４と略平行な状態にされ、撮像室１６より待避させることができることで、車椅子の専用モードとなり、撮像開始のアナウンスから撮像までの時間を長くする。これによって、車椅子に乗った者は、通常、車椅子に乗っていない者と比べて写真撮影の準備に時間を要するが、ゆとりを持って写真撮影の準備をすることができる。
【００５４】
Ｂ．画像処理
次に、上述の撮像装置１に設けられる画像処理装置について説明する。本実施の形態の画像処理装置は、上述したように、病院内等に備えられる撮像装置１に備えられるものであり、車椅子に乗った者や松葉杖をついた患者や健常者が写真撮影をする際に、頭の高さがそれぞれ異なることとなるが、撮像部１７を動かすことなく、撮像部１７により撮像された画像データを画像処理することで被写体となる人物の顔が中心とされたバランスの取れた画像を出力するものである。具体的に、画像処理装置は、上述の制御回路７０内のプログラム記憶部７２に記憶されたプログラムによって、撮像された入力画像から人物の顔領域を抽出してトリミングを行う処理を実行するものである。図９は、本実施の形態における画像処理装置を示すブロック図である。
【００５５】
図９に示すように、画像処理装置１００は、上述の撮像部１７から人物が撮像されたカラー画像が入力され、デジタルデータとして出力する画像入力部１０１と、画像データが入力されて肌色領域を検出する肌色領域抽出部２００と、検出された肌色領域から被写体の検出を行う被写体検出部３００と、検出された被写体のトリミングを行うトリミング部４００とから構成される。
【００５６】
肌色領域抽出部２００は、図１０に示すように、画像入力部１０１からのカラー画像の各画素値を色空間上の座標値に変換する色変換部である表色系変換部２１２と、この色空間上に変換された座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成部２１３と、このヒストグラムにおける出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出部２１４と、初期クラスタ抽出部２１４にて抽出された初期クラスタ及び画像入力部１０１から送られるカラー画像から上記初期クラスタを含む閉領域を抽出する初期領域抽出部２１５と、この初期領域内に複数の初期クラスタが抽出されている場合に初期クラスタを１つのクラスタとして統合するクラスタ統合部２１６と、この初期領域内の画素の分布状態に応じてこの初期領域を複数の領域に分割する領域分割部２１７と、人間の肌の色に対応するクラスタに属する画素が含まれる領域を抽出する領域抽出部２１８とから構成され、抽出した肌色領域を被写体検出部３００に供給する。
【００５７】
被写体検出部３００は、図１１に示すように、画像入力部１０１及び肌色領域抽出部２００から夫々カラー画像及び肌色領域が入力され、人物の頭頂部を検出する頭頂部検出部３１３と、肌色領域及びカラー画像が入力され、人物の口を検出する口検出部３１４と、カラー画像、肌色領域並びに頭頂部及び口のデータが入力され、人物の眼を検出する眼検出部３１５と、眼及び口のデータから人物の顎位置を算出する顎検出部３１６と、カラー画像及び口及び眼のデータが入力され人物の顔の中心線を検出する中心線検出部３１７と、頭頂部、眼、口及び顔の中心線のデータが入力され顔領域を修正する領域修正部３１８と、カラー画像と、肌色領域、眼、口、及び領域修正部３１８からの修正データとが入力され、抽出された肌色領域Ｖが人物の顔であるか否かを判定する判定部３１９とから構成され、顔と判定された肌色領域をトリミング部４００に供給する。
【００５８】
なお、肌色領域抽出部２００、被写体検出部３００において、複数の領域が顔と判定された場合、それらの中から対象となる領域を１つ選択してもよい。例えば、撮像された画像に複数の人物が存在している可能性がある場合、撮像時の指示等により、入力画像においてトリミングの対象となる人物の顔が最も画像中央に近い位置に存在することを期待できる場合には、抽出された顔領域の中心が画像中央に最も近いものを選択する。また、例えば子供の顔を撮像するために、親がその子供を抱いて撮像した場合、トリミングの対象となる子供の顔領域は、抽出された顔の領域の中で最も下部に位置すると考えられるため、顔領域のうち、中心が最も下部に位置するものを選択するようにすることができる。
【００５９】
また、これら対象領域選択の方法は、利用形態を考慮して予め設定しておく他に、例えばインターフェース（図示せず）を設けることにより、撮像者又は被撮像者が手動で設定できるようにすること等も可能である。
【００６０】
トリミング部４００は、被写体検出部３００から供給される被写体の顔領域（顔部）が印画紙における写真が印刷される領域である有効領域において、本発明範囲となるようにトリミングを行う。上述したような写真ブースにおいて、画像処理で顔部を検出してオートトリミングする際、印画紙にどのように人物画像を配置するかが重要になる。即ち、画面（印画紙の有効領域）最上端から人物の頭頂部までを天部、人物の頭頂部から口までを顔部、人物の口から画面（印画紙の有効領域）最下端までを胸部としたとき、これら天部、顔部及び胸部の寸法比率を本発明範囲、即ち、顔部：胸部：天部＝１:０．６〜１．０:０．２〜０．３となるようにトリミング範囲を決定して画像をトリミングすることにより、見やすく、落ち着いた証明写真を得ることができる。
【００６１】
以下、本実施の形態の画像処理装置の各部位について詳細に説明する。
【００６２】
（１）肌色領域抽出部
肌色領域抽出部２００においては、先ず、入力されたカラー画像の表色系を変換して色空間上の座標値に変換する（色変換工程）。次に、この色空間上の座標値の出現頻度を示すヒストグラムを生成する（ヒストグラム生成工程）。そして、このヒストグラムにおける出現頻度の極大点及びその極大点近傍の画素を初期クラスタとして抽出し、この初期クラスタの色空間上の分布を示すクラスタマップＣを生成する（初期クラスタ抽出工程）。各初期クラスタには、これらを識別するクラスタ番号ｎが設定される。次いで、クラスタマップＣ上の各初期クラスタを再び、元のカラー画像上の座標値に変換した領域マップＲを形成する。領域マップＲ上の各画素は、座標値と共にクラスタ番号ｎを有する。この領域マップＲ上で同一の初期クラスタに属する画素、即ち、同一のクラスタ番号ｎを有する画素の密度分布が所定の閾値以上である長方形の閉領域を初期領域として抽出する（初期領域抽出工程）。次に、任意の２つの初期クラスタを選択し、この２つの初期クラスタが、クラスタマップＣ上において近接し、且つ領域マップＲ上において近接する長方形領域に属するものである場合、この２つの初期クラスタを統合する（クラスタ統合工程）。初期クラスタを統合した統合クラスタに基づいて領域マップＲを更新し、この更新した領域マップに基づいて長方形領域も再設定する。次に、再設定した長方形領域内における同一のクラスタ番号ｎを有する画素の密度分布を算出し、この密度分布に基づいて必要に応じて長方形領域を分割する（領域分割工程）。こうして、入力カラー画像において、同一の色を有する複数の長方形領域が設定される。これらの長方形領域から、特定の色、即ち、本実施の形態においては、肌色を有する長方形領域を抽出する。以下、各工程について説明する。
【００６３】
（１−１）色変換工程
色変換工程では、表色系変換部２１２により、画像入力部１０１で得られた画像データを所望の領域を抽出するために適した表色系に変換する。過検出を極力軽減するためには、変換後の表色系は、その表色系による色空間において、抽出すべき領域の色ができるだけ狭い範囲に分布するようなものを選択することが好ましい。これは、抽出すべき領域の性質に依存するが、例えば本実施の形態のように、人物の顔の領域を抽出対象とする場合に効果的な表色系の１つとして、下記式（１）に示すｒ−ｇ表色系が知られている。
【００６４】
【数１】
ここで、Ｒ、Ｇ、ＢはＲＧＢ表色系の各座標値を表している。従って、画像入力部１０１の出力画像がＲＧＢ表色系で表されている場合、表色系変換部２１２では各画素毎に上記式（１）の演算が行なわれ、座標値（ｒ，ｇ）の値が算出される。こうして表色系が変換された画像データは、ヒストグラム生成部２１３に送られる。
【００６６】
なお、以下の説明では、このｒ−ｇ表色系を領域抽出に用いる場合を例に説明を行なう。また、特に入力カラー画像上の位置（座標）（ｘ，ｙ）における値を表す場合には、｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝と表現する。
【００６７】
（１−２）ヒストグラム生成工程
ヒストグラム生成工程では、ヒストグラム生成部２１３により、表色系変換部２１２によって表色系が変換されたデータ｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝の色空間上における出現頻度を示す２次元ヒストグラムを生成する。ヒストグラムの生成は、抽出すべき領域の色が十分に含まれる色の範囲に対してのみ行なわれる。このような色の範囲は、例えば、ｒ及びｇの各値に対する下限値及び上限値を定めることで下記式（２）のように表すことができる。
【００６８】
【数２】
ここで、ｒｍｉｎ及びｒｍａｘは、夫々ｒの下限値及び上限値、ｇｍｉｎ及びｇｍａｘは、夫々ｇの下限値及び上限値を示す。
【００７０】
画像上の位置（ｘ，ｙ）における｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝が上記式（２）の条件を満足する場合、先ず、これらの値が下記式（３）によって量子化され、ヒストグラム上の座標（ｉｒ，ｉｇ）に変換される。
【００７１】
【数３】
ここで、ｒｓｔｅｐ及びｇｓｔｅｐは、夫々ｒ及びｇに対する量子化ステップであり、ｉｎｔは括弧内の数値の小数点以下を切り捨てる演算を示す。
【００７３】
次に、算出された座標値に対応するヒストグラムの値を下記式（４）によってインクリメントすることで、座標値の出現頻度を示す２次元ヒストグラムＨが生成される。
【００７４】
【数４】
図１２は、簡単のため、本来２次元であるヒストグラムを１次元としたヒストグラムと抽出された初期クラスタとの関係を模式的に示すものである。図１２に示すように、出現頻度は、カラー画像上の例えば肌色等の各色領域の大きさに応じて大きさが異なる複数個の極大値を有する。
【００７６】
そして、生成されたヒストグラムＨは、例えばノイズを除去し、誤検出を防止するために必要に応じてローパスフィルタによって平滑化された後、初期クラスタ抽出部２１４に送られる。
【００７７】
（１−３）初期クラスタ生成工程
初期クラスタ生成工程では、初期クラスタ抽出部２１４により、ヒストグラム生成部２１３によって生成された各座標値の出現頻度を示す２次元ヒストグラムＨから、分布が集中している色の座標の集合を初期クラスタとして抽出する。具体的には、上述したｒ−ｇ表色系の座標値における出現頻度の極大値及びその近傍に存在する画素群を１つの初期クラスタとして抽出する。即ち、各極大点を、構成要素が１つの初期クラスタと見なし、これらを始点として、隣接する座標を併合することで初期クラスタの成長を行なう。初期クラスタの成長は、既に生成されているクラスタマップをＣとすると、このクラスタマップＣ上の各座標を走査し、新たに併合すべき座標を検出することにより行われる。
【００７８】
例えば、図１２においては、極大点１乃至３に対し、この極大点１乃至３を始点としてこの極大点１乃至３近傍の座標の画素群が併合され、夫々初期クラスタ２７１１乃至２７１３として抽出される。ここで、図１２に示すヒストグラムにおける出現頻度Ｈ（ｉｒ，ｉｇ）の極大値を始点とし、この始点に隣接する座標の画素から、出現頻度Ｈ（ｉｒ，ｉｇ）が閾値Ｔに至る座標（閾値Ｔ以下になる前の座標）の画素まで順次併合するが、その際、座標（ｉｒ，ｉｇ）がいずれのクラスタにも併合されておらず、その出現頻度が閾値Ｔよりも大きく、更にその隣接座標（ｉｒ＋ｄｒ，ｉｇ＋ｄｇ）のいずれかにおいて、既にいずれかの初期クラスタに併合されたものがあり、その隣接座標における出現頻度が、自らの出現頻度よりも大きい場合に、座標（ｉｒ，ｉｇ）を既に併合されている隣接座標と同一の初期クラスタに併合すべき座標として検出する。このように、出現頻度の閾値Ｔを設けることにより、出現頻度が小さい座標領域における座標を有する画素の抽出を防止する。初期クラスタは、２次元ヒストグラムＨの極大点の個数に応じて１つ以上の初期クラスタが抽出されるが、各初期クラスタには固有の番号が割り当てられ、識別される。こうして抽出された複数の初期クラスタは２次元配列であるクラスタマップＣ（ｉｒ，ｉｇ）上に多値画像として下記式（５）のように示される。
【００７９】
【数５】
即ち、上記式（５）は、色の座標（ｉｒ，ｉｇ）が初期クラスタｎに含まれていることを示す。図１３（ａ）及び（ｂ）は、夫々入力画像及びクラスタマップＣを示す模式図である。図１３（ａ）に示すように、入力カラー画像２０１における例えば（ｘ１，ｙ１）、（ｘ２，ｙ２）等の各画素値は、表色変換部２１２にて色座標（ｉｒ１，ｉｇ１）、（ｉｒ２，ｉｇ２）に変換され、その出現頻度から２次元ヒストグラムが生成されて、この２次元ヒストグラムに基づいて抽出された初期クラスタが図１３（ｂ）に示す横軸にｉｒ、縦軸にｉｇを取った２次元配列であるクラスタマップＣ上に初期クラスタ２７２，２７３として示される。
抽出された初期クラスタは図１３（ｂ）に示すクラスタマップＣとして、初期領域抽出部２１５及びクラスタ統合部２１６に送られる。
【００８１】
（１−４）初期領域抽出工程
初期領域抽出部２１５では、初期クラスタ抽出部２１４において得られた、例えば図１３（ｂ）に示す初期クラスタ２７２，２７３等の初期クラスタに含まれる色を有する画素のうち、同一初期クラスタに属する画素がカラー画像上で集中する長方形の領域を初期領域として抽出する。図１３（ｃ）は、領域マップＲを示す模式図である。初期クラスタ抽出部２１４で成長され生成された各初期クラスタから抽出された画素は、図１３（ｃ）に示す２次元配列である領域マップＲ（ｘ，ｙ）上にクラスタを識別するｎを有する多値画像として表現される。ここで、図１３（ａ）に示す入力カラー画像の位置（ｘ１，ｙ１），（ｘ２，ｙ２）における画素が、図１３（ｂ）に示す夫々初期クラスタ２７２，２７３に含まれるものであり、初期クラスタ２７２，２７３のクラスタ番号ｎを１，２としたとき、領域マップＲにおける座標（ｘ１，ｙ１），（ｘ２，ｙ２）は、そのクラスタ番号１，２を有するものとなる。即ち、画像上の位置（ｘ，ｙ）の画素の色がクラスタｎに含まれている場合、下記式（６）のように示される。
【００８２】
【数６】
そして、図１４に示す領域マップＲにおいて、抽出画素２７６の分布が集中する領域を囲む長方形領域２７７を算出する。各初期クラスタに対応して得られた長方形領域は、図１５に示すように、１つの対角線上で相対する２頂点の座標（ｓｒｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）で表現され、１次元配列である頂点リストＶ１に格納される。即ち、クラスタｎに対応して得られた長方形領域２７７の２つの頂点座標が（ｓｔｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）である場合、これらの座標は頂点座標Ｖ１（ｎ）に下記式（７）のように格納されるものとする。
【００８４】
【数７】
各初期クラスタに対応して得られた抽出画素及び長方形領域は、夫々領域マップＲ及び頂点リストＶ１としてクラスタ統合部２１６に送られる。
【００８６】
（１−５）クラスタ統合工程
クラスタ統合工程では、クラスタ統合部２１６により、初期クラスタ抽出部２１４で得られたクラスタマップＣ並びに初期領域抽出部２１５で得られた領域マップＲ及び頂点リストＶ１を使用して、本来１つの領域に含まれる色でありながら異なる初期クラスタとして抽出された複数の初期クラスタを統合する。
【００８７】
即ち、クラスタ統合部２１６は、初期クラスタ抽出部２１４で生成されたクラスタマップＣが入力されると、先ず、任意の２つの初期クラスタｍ及び初期クラスタｎの組み合わせを発生させる。そして、発生させた初期クラスタｍ，ｎとクラスタマップＣとから初期クラスタｍと初期クラスタｎとの色差が算出される。また、初期クラスタｍ，ｎ並びに初期領域抽出部２１５で生成された領域マップＲ及び頂点リストＶ１から、初期クラスタｍと初期クラスタｎとの重なり度が算出される。そして、初期クラスタｍ，ｎ、領域マップＲ及び頂点リストＶ１、色差、並びに重なり度から、初期クラスタｍ，ｎを統合するか否かの判定が行われ、色差が小さく、初期クラスタｍ，ｎが画像上で大きく重なり合って分布している場合にこれらのクラスタを統合する。
【００８８】
そして、初期クラスタの統合に応じて、領域マップＲ及び頂点リストＶ１が修正され、夫々領域マップＲ２及び頂点リストＶ２として領域分割部２１７に送られる。また修正された領域マップＲ２は領域抽出部２１８にも送られる。
【００８９】
（１−６）領域分割工程
領域分割工程では、領域分割部２１７により、クラスタ統合部２１６において修正された領域マップＲ２及び頂点リストＶ２を用いて、同一のクラスタ、即ち、初期クラスタ又は初期クラスタが統合された統合クラスタ（以下、単にクラスタという。）によって抽出された抽出画素の分布に応じて、頂点リストＶ２に格納されている頂点座標Ｖ２（ｎ）が示す長方形領域を分割する。即ち、クラスタ統合部２１６によって得られた新たな領域マップＲ２及び頂点リストＶ２（ｎ）が入力されると、頂点リストＶ２（ｎ）が示す長方形領域を水平又は垂直に２分割する主分割点が検出され、長方形領域が垂直に２分割された場合は、領域マップＲ２及び分割された２つの垂直分割長方形領域の頂点リストを使用して、各垂直分割長方形領域が水平に分割される。また、長方形領域が水平に２分割された場合は、領域マップＲ２及び分割された２つの水平分割長方形領域の頂点リストを使用して、各水平分割長方形領域が垂直に分割される。領域の分割には、例えば頂点リストＶ２で表される長方形領域内において、クラスタｎによって抽出された画素の数を水平方向及び垂直方向に累積した夫々ヒストグラムＨＨ及びＨＶ使用し、このヒストグラムの最小点となる点を検出し、これが予め設定された閾値よりも小さい場合に分割する。そして、領域マップＲ２及びこのように分割された長方形領域の頂点リストを使用して、長方形領域を修正する。
【００９０】
例えば、図１６に示すように、画像上で同一のクラスタによって抽出された抽出画素が、このクラスタに対応して得られた長方形領域２９５において複数の塊２９６ａ，２９６ｂを構成している場合、各塊２９６ａ，２９６ｂを異なる領域とみなし、長方形領域２９５の分割を行なう。この結果、１つの初期クラスタに属する長方形領域２９５内に、例えば塊２９６ａ，２９６ｂ等の複数の画素の塊が対応することになり、各画素の塊２９６ａ，２９６ｂを取り囲む分割長方形領域２９７ａ，２９７ｂを算出することができる。
【００９１】
分割長方形領域２９７ａ，２９７ｂは初期領域抽出部２１５と同様、図１５に示すように１つの対角線上で相対する２つの頂点座標で表され、新たな頂点リストＶ３（ｎ，ｍ）に格納される。即ち、クラスタｎに対応するｍ番目の長方形領域が｛（V3(n,m).stx,V3(n,m).sty），（V3(n,m).edx,V3(n,m).edy）｝で表される場合、これらの座標は新たな頂点リストＶ３（ｎ，ｍ）に下記式（８）のように格納されるものとする。新たな頂点リストＶ３（ｎ，ｍ）は、領域抽出部２１８に送られる。
【００９２】
【数８】
（１−７）領域抽出工程
領域抽出部２１８では、クラスタ統合部２１６において修正された領域マップＲ２と、領域分割部２１７において得られた新たな頂点リストＶ３を用いて、下記式（９）の条件を満たす画素の集合Ｓｎｍを抽出する。
【００９４】
【数９】
即ち、同一のクラスタから抽出された画素であっても、領域分割部２１７にて長方形領域が分割された場合、例えば図１６に示す長方形領域２９７ａ，２９７ｂ等のような分割された長方形領域を１つの集合と見なして抽出する。ここで抽出された複数の領域は図示せぬ判別処理部に送られ、所望の領域か否かの判別が行なわれる。
【００９６】
このように肌色領域抽出部２００では、クラスタ統合部２１６により、１つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、１つの領域として扱うことができ、また、領域分割部２１７により、同一の色を持つ物体が複数存在する場合、それらを分離して扱うことが可能となる。また、クラスタを抽出し、これを統合し、更に画素密度分布によって抽出領域を分割することにより、肌色領域を極めて正確に抽出することができる。
【００９７】
（２）被写体検出部
被写体検出部では、肌色領域抽出部２００によって抽出された各肌色領域を顔領域と仮定し、この肌色領域に対応する頂点座標Ｖ３（ｎ）が示す長方形領域から、特徴点検出部により各特徴点が検出される。特徴点検出部は、人物の頭頂部の位置を検出する頭頂部検出部３１３と、肌色領域内の赤みの強さに基づき、人物の口の位置を検出する口検出部３１４と、頭頂部及び口の位置に基づき検索範囲を設定して眼を検出する眼検出部３１５と、眼及び口の位置から顎の位置を算出する顎検出部３１６と、口の位置から口領域を設定し、この口領域内の赤み強度に基づいて顔の中心線を検出する中心線検出部３１７と、頭頂部、顎及び顔中心線の位置から、肌色領域抽出部２００にて算出された頂点座標Ｖ３（ｎ）を修正する領域修正部３１８と、抽出された肌色領域Ｖが人物の顔であるか否かを判定する判定部３１９とから構成される。以下、各検出部について更に詳細に説明する。
【００９８】
（２−１）人物の頭頂部の検出
頭頂部検出部３１３は、肌色領域を顔として有する人物の頭頂部を検出する。頭頂部の検出は、例えば人物以外の背景領域は単一色であること及び人物の上方、即ち、垂直座標が小さい側には背景領域のみが存在し得ることを仮定し、背景色とは異なる色を有する画素の中で垂直座標が最も小さい位置を検出する。以下、頭頂部の位置における垂直方向の座標を頭頂部の高さという。
【００９９】
具体的には、図１７に示すように、画像入力部１０１から送られる入力カラー画像３６０において、注目する肌色領域３６１に対応する長方形領域３６２の図中上方の領域、即ち、長方形領域３６２よりも垂直座標が小さい領域であって、V3(n).stx≦水平座標（ｘ座標）≦V3(n).edxの範囲に設定した頭頂部探索範囲３６３を図中上方から走査し、各画素の値と背景領域３６４の背景色との差ｄを下記式（１０）によって算出する。
【０１００】
【数１０】
ここで、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）はカラー画像上の座標（ｘ，ｙ）における画素のＲ、Ｇ、Ｂの値であり、Ｒｂｇ、Ｇｂｇ、Ｂｂｇは背景色のＲ、Ｇ、Ｂの値である。この背景色としては、現在の注目画素よりも上方、即ち、垂直座標（ｙ座標）が小さい領域における画素の平均値、例えば画像３６０の最上端３６０ａから１０ライン目までの平均値を使用することができる。
【０１０２】
そして、上記式（１０）の色の差ｄを算出し、この値が所定の閾値Ｔよりも大きい画素が出現した時点で、その垂直座標ｙを頭頂部の高さＴＯＨとする。検出された頭頂部の高さＴＯＨは眼検出部３１５及び領域修正部３１８に送られる。
【０１０３】
（２−２）人物の口検出
次に、口検出部３１４は、肌色領域抽出部２００により抽出された各肌色領域に対し、口の高さを検出する。先ず、頂点リストＶ３（ｎ）によって表される長方形領域内において、肌色領域としては抽出されていない各画素（ｘ，ｙ）に対して、赤みの強さを示す下記式（１１）の値ｒｄｓｈ（ｘ，ｙ）を算出する。
【０１０４】
【数１１】
算出された値ｒｄｓｈ（ｘ，ｙ）は、図１８に示すように水平方向（ｘ軸方向）に累積されて、下記式（１２）に示すヒストグラムＨｒｄｓｈ（ｙ）が生成される。
【０１０６】
【数１２】
ここで、Ｖ３（ｎ）及びＲ（ｘ，ｙ）は、いずれも肌色領域抽出部２００から送られたデータであって、夫々肌色領域ｎに対応する長方形領域の頂点座標、及び領域マップを示す。
【０１０８】
次に、ヒストグラムＨｒｄｓｈ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、ヒストグラムＨｒｄｓｈ（ｙ）の最大値における垂直座標ｙが口の高さＨＯＭとして検出される。検出された口の高さＨＯＭは、眼検出部３１５、顎検出部３１６、中心線検出部３１７、及び判定部３１９に送られる。
【０１０９】
（２−３）人物の眼検出
次に、眼検出部３１５は、肌色領域抽出部２００で抽出された各肌色領域に対して眼の高さを検出する。先ず、頭頂部検出部３１３によって検出された頭頂部の高さＴＯＨと口検出部３１４によって検出された口の高さＨＯＭとから、垂直方向（ｙ軸方向）の眼の探索範囲を例えば下記式（１３）により算出する。
【０１１０】
【数１３】
ここで、ｅ１及びｅ２は予め設定された係数である。ｅｔｏｐ及びｅｂｔｍは、夫々検索範囲の垂直座標における下限値及び上限値である。そして、これら垂直座標における下限値及び上限値に挟まれ、且つ注目する肌色領域に対応する長方形領域内に存在する画素に対して水平方向のエッジ（以下、水平エッジという。）の強度ｅｄｇｅ（ｘ，ｙ）を検出する。
【０１１２】
入力カラー画像の各座標において算出された水平エッジの強度ｅｄｇｅ（ｘ，ｙ）は、水平方向（ｘ軸方向）に累積されて、長方形領域内における垂直方向の水平エッジを示すヒストグラムＨｅｄｇｅ（ｙ）が下記式（１４）により算出される。
【０１１３】
【数１４】
ここで、Ｖ３（ｎ）は肌色領域抽出部２００で得られた肌色領域ｎに対応する長方形領域の頂点座標である。図１９は、生成されたヒストグラムＨｅｄｇｅ（ｙ）を示す模式図である。ヒストグラムＨｅｄｇｅ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、その最大値に対応する垂直座標ｙが眼の高さＨＯＥとして検出される。
【０１１５】
また、上記式（１３）によって算出されるｅｂｔｍが、肌色領域を囲む長方形領域の頂点座標のV3(n).styより小さい場合、頭頂部の高さＴＯＨ又は口の高さＨＯＭの検出が適切に行なわれていない可能性が高い。そこで、このような場合には、対応する長方形領域の頂点座標Ｖ３（ｎ）に位置座標としては無効な値である例えば−１を格納して頂点リストＶを修正することができる。
【０１１６】
検出された眼の高さＨＯＥは、顎検出部３１６及び判定部３１９に送られる。また、修正された頂点リストＶは顎検出部３１６、中心線検出部３１７、及び領域修正部３１８に送られる。
【０１１７】
（２−４）人物の顎検出
顎検出部３１６では、眼検出部３１５において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、顎の高さを検出する。顎の高さの検出は、例えば図２０に示すように、人物の顔３８０においては顎と口との間の距離３８１と、眼と口との間の距離３８２との比がほぼ一定であると仮定して、下記式（１５）により推定することができる。
【０１１８】
【数１５】
ここで、ｃは、予め設定された係数であり、ＨＯＣは顎の高さを示す。算出された顎の高さＨＯＣは領域修正部３１８に送られる。
【０１２０】
（２−５）人物の顔の中心線検出
次に、顔の中心線検出部３１７は、眼検出部３１５において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、顔を左右に分割する中心線の位置を検出する。
【０１２１】
ここでは、はじめに口検出部３１４で検出された口の高さＨＯＭを中心として垂直方向の座標における口探索範囲を設定する。この探索範囲は、例えば対応する長方形領域の垂直方向における幅から下記式（１６）により算出することができる。
【０１２２】
【数１６】
ここで、ｍは予め設定された係数であり、Ｖ３（ｎ）は肌色領域ｎに対応する長方形領域の頂点座標である。上記式（１６）により算出された夫々ｍｔｏｐ及びｍｂｔｍを、探索範囲のｙ座標の夫々下限値及び上限値とする。また、水平方向の探索範囲は、長方形領域の水平方向の幅とすることができる。即ち、ｘ座標の上限及び下限は、長方形領域の夫々左端V3(n).stx及び右端V3(n).edxとすることができる。図２１は、肌色領域３９１に対応する長方形領域３９２における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【０１２４】
次に、設定された探索範囲に存在し、かつ肌色領域に含まれない画素に対して上記式（１１）により赤みの強さを算出し、図２１に示すように、赤みの強さの値が閾値よりも大きくなる画素の水平座標の平均値を中心線の水平座標位置ＣＯＨとして検出する。赤みの強さを算出する際に、肌色領域に属する画素を除くことにより、肌色領域に属する画素の影響を排除することができ、極めて高精度に顔の中心線を検出することができる。こうして、検出された顔中心線の位置ＣＯＨは領域修正部３１８及び判定部３１９に送られる。
【０１２５】
また、顔の中心線は、肌色領域における肌色画素の分布の平均位置を検出し、これを通る直線を顔の中心線とすることもできる。
【０１２６】
（２−６）長方形領域の修正
領域修正部３１８は、眼検出部３１５において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、長方形領域を改めて算出し、頂点リストＶの修正を行なう。例えば、頭頂部検出部３１３で得られた頭頂部の高さＴＯＨ、顎検出部３１６で得られた顎の高さＨＯＣ、及び中心線検出で得られた中心線の位置ＣＯＨを使用して、図２２に示すように、長方形領域５００を設定することができる。即ち、修正後の長方形領域５００を示す２つの頂点座標｛（stx、sty），（edx、edy）｝は下記式（１７）により算出することができる。
【０１２７】
【数１７】
ここで、aspは人物の顔の幅に対する高さの比、即ちアスペクト比を示す係数、適当な値が予め設定されているものとする。
【０１２９】
肌色領域ｎに対して新たに算出された頂点座標は、頂点リストＶに上書きされ判定部３１９に送られる。
【０１３０】
（２−７）顔判定
判定部３１９は、領域修正部３１８において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、その肌色領域が顔領域であるか否かの判定を行なう。顔領域の判定は、例えば人物の顔領域では眼の部分及び口の部分に水平エッジが多く分布すること、また唇の色が他の部分に比べて赤みが強いことを利用し、これらの条件が口検出部３１３で検出された口の高さＨＯＭ、及び眼検出部３１４で検出された眼の高さＨＯＥにおいて成立しているか否かを検証することにより行なうことができる。判定結果は、顔領域であるか否かを表す２値のフラグｆａｃｅｆｌａｇとして出力される。
【０１３１】
このように、被写体検出部３００においては、抽出された肌色領域に対して、頭頂部及び口の位置を検出し、これらの位置から眼の検索範囲を設定して眼の位置を検出するため、極めて高精度に眼の位置を検出することができる。また、顎の位置は、眼と口の位置から算出することにより、顔と首との輝度及び色の差が小さく、高精度に検出することが難しい場合にも顎の位置の検出を正確に行うことができる。更に、顔の中心線は、口の赤みの強さに基づき検出されるため、極めて高精度に顔中心線を検出することができる。更にまた、顔判定部において、眼のパターンらしさ及び口のパターンらしさを判定し、この判定結果に基づき顔であるか否かの総合判定をするため、複数の顔が含まれている場合であっても、顔であるか否かの判定結果の信頼性が高い。
【０１３２】
また、判定部３１９により顔と判定される肌色領域が複数存在する場合に、複数の顔領域から、例えばその顔領域の位置に基づき１つの顔領域を選択する選択部（図示せず）を設けることもできる。これにより、例えば、複数の顔領域が存在する画像から１つの顔領域を抽出して、トリミング部４００にてトリミング処理を施すことができる。なお、判定部３１９に、顔領域を選択する機能をもたせるようにしてもよい。
【０１３３】
（３）トリミング部
トリミング部４００は、上述した如く、抽出した人物の顔領域を印画紙の有効領域に配置する際、天部、顔部及び胸部の寸法比率を所定比になるように画像をトリミングする。印画紙において画像が印刷される有効領域内の被写体における天部、顔部、胸部の各部のサイズ、即ち寸法比を規定することにより、見やすく、落ち着いた証明写真を得ることができる。
【０１３４】
証明写真をオートトリミングする時には、印画紙の有効領域内に、顔部をどのように配置するかにより証明写真のできばえが変わる。
【０１３５】
従って、図１に示すように、天部Ａ、顔部Ｂ及び胸部Ｃの各部において、顔部Ｂの寸法を基準とした場合、例えば、顔部Ｂ：胸部Ｃ：天部Ａ＝１：０．６〜１．０：０．２〜０．３の範囲であれば、見やすいバランスのとれた写真を得ることができる。
【０１３６】
図２３は、証明写真において、顔部Ｂに対する天部Ａ、胸部Ｃの寸法比率を変えたときの証明写真を示す模式図である。図２３（ｂ）は、本発明の実施例を示す図であり、天部Ａ，顔部Ｂ及び胸部Ｃの寸法比率が適切であるため、大変見やすい証明写真となっている。この実施例における天部Ａの比率は、顔部Ｂに対して０．２５である。
【０１３７】
一方、図２３（ａ）及び図２３（ｃ）は、上記の寸法比率から外れる夫々比較例１及び比較例２を示す図である。図２３（ａ）に示す比較例１は、天部Ａの寸法比率が顔部Ｂに対して０．４２と大きい場合である。証明写真は、顔部Ｂを中心に撮像すると、このような比較例１に示す証明写真になることが多い。このように、天部Ａの寸法が顔部Ｂに比して本発明範囲より大きいため、間が抜けたアンバランスな証明写真になっている。
【０１３８】
また、図２３（ｃ）に示す比較例２は、天部Ａの寸法比率が顔部Ｂに対して０．０４と小さい場合である。このように、天部Ａの寸法比率が小さいと、圧迫感のある写真になってしまう。
【０１３９】
図２４（ａ）及び（ｂ）は、顔部Ｂの画像が夫々小さい例及び大きい例の証明写真を示す模式図である。図２４（ａ）に示す例では、顔部Ｂに対して、天部Ａ及び胸部Ｃが著しく大きく、また、図２４（ｂ）に示す例では、顔部Ｂに対して、天部Ａ及び胸部Ｃが小さいため、いずれの写真も証明写真としては不適である。
【０１４０】
また、顔の中心位置が印画紙の有効領域内の中心から左右どちらにずれても、証明写真としては好ましくない。従って、上述した中心線検出部３１７により検出した顔中心線ＣＯＨを使用して顔部が印画紙の中心位置であって、且つ所定の寸法比になるようにトリミングすることが好ましい。
【０１４１】
このように画像をトリミングするトリミング部４００においては、制御回路７０のＣＰＵ７８により実行されるプログラムによりトリミング範囲を算出している。
【０１４２】
以上のように構成された画像処理装置は、撮像した画像データから人物の顔が適切なバランスとなるように配置された画像をトリミングして、見やすく、落ち着いた画像を得ることができる。
【０１４３】
なお、上述したように画像処理装置においては、病院内等で使用される撮像装置１に備えられるものであり、写真撮影をする者が、車椅子に乗っていたり、松葉杖をついたり、子供を抱きかかえている場合などが考えられるため、撮像した画像データの中心に常に顔が位置しているわけではないが、そのような場合でも、自動的に画像をトリミングして、見やすく、落ち着いた画像を得ることができる。
【０１４４】
次に、画像処理装置の各部の動作について説明する。図２５は、画像抽出方法を示すフローチャートである。また、図２６は、画像抽出の各工程を示す模式図である。
【０１４５】
図２５及び図２６に示すように、先ず、ステップＳ２１において、画像入力部１０１は、図２６（ａ）に示すような撮像された元画像７００をダウンサンプリングして、図２６（ｂ）に示すダウンサンプリング画像データ７０１を得る。
【０１４６】
次に、ステップＳ２２において、肌色領域抽出部２００は、画像データ７０１から肌色領域を抽出する。
【０１４７】
次に、ステップＳ２３において、被写体検出部３００は、被写体の検出を行う。このとき、図２６（ｃ）に示すように、ダウンサンプリング画像データ７０１には、複数の肌色領域７０２ａ〜７０２ｃが抽出される場合がある。被写体の検出は、これらの肌色領域７０２ａ〜７０２ｃ全て、又は、特定に肌色領域を選択して行う。ここでは、図２６（ｄ）に示すように、例えば最も中央に位置する肌色領域７０２ａを選択して、この肌色領域７０２ａを使用し、被写体検出部３００により被写体を検出する場合について説明する。
【０１４８】
次に、ステップＳ２４において、被写体検出部３００により、肌色領域７０２ａにおいて被写体が検出された場合、即ち、肌色領域７０２ａが顔であると判定された場合は、このデータがトリミング部４００に供給され、トリミング部４００にてトリミング処理が施される。即ち、元画像７００において、被写体を示す肌色領域７０２ａの顔部Ｂに対して天部Ａ及び胸部Ｃが上述の寸法比となるよう有効領域（トリミング領域）７１１が算出され、図２６（ｆ）に示すように、所定の寸法比になるように切り取られたこの有効領域７１１がプリンタ１８又は１９等に出力される。
【０１４９】
次に、ステップＳ２３の被写体の検出方法について更に詳細に説明する。図２７は、被写体検出部３００の被写体の検出方法を示すフローチャートである。
【０１５０】
先ず、ステップＳ３１において、頭頂部検出部３１３は、頭頂部を検出する。頭頂部の検出は、上述したように、例えば、入力画像において上から１０ライン目までを背景とし、この背景と肌色領域の上部の画素とを比較し、その変化が大きくなった位置を頭頂部ＴＯＨとして検出する。
【０１５１】
次に、ステップＳ３２において、中心線検出部３１７は、肌色領域における肌色画素の分布の平均位置を通る線分を顔の中心線ＣＯＨとして検出する。上述したように、口、又は眼の検出結果を使用して顔の中心線を検出してもよい。
【０１５２】
次に、ステップＳ３３において、口検出部３１４は、肌色領域内で赤みを利用して口の位置ＭＯＨを検出する。
【０１５３】
次に、ステップＳ３４において、眼検出部３１５は、肌色領域内でエッジ密度が高いことを利用して眼の位置ＥＯＨを検出する。
【０１５４】
次に、ステップＳ３５において、顎検出部３１６は、口及び眼の位置の検出結果を使用して顎部の位置を算出する。
【０１５５】
次に、ステップＳ３６において、判定部３１９は、口及び眼の位置の検出結果からステップＳ３１にて検出された頭頂部の位置の妥当性を判定し、検出された頭頂部の位置が妥当でないと判定された場合は、口及び眼の検出結果から頭頂部の位置を算出する。このように、頭頂部の位置をチェックすることにより、誤検出を防止する。
【０１５６】
次に、ステップＳ３７において、領域修正部３１８は、肌色領域を囲む長方形領域を計算する。
【０１５７】
次に、ステップＳ３８において、判定部３１９は、眼及び口におけるエッジ密度が所定の閾値以上であって、且つ口の赤みが所定の閾値以上であること等の条件を利用して、顔か否かの判定を行う。
【０１５８】
最後に、ステップＳ３９において、複数顔が検出された場合に顔抽出領域を選択し、この顔領域をトリミング部４００に供給する。
【０１５９】
なお、判定部３１９により上述したような顔判定を行い、顔領域を選択するは、例えば、撮像された画像データ内に子供を抱えた母親が一緒に写っている場合に、顔領域が複数検出されて子供の顔領域をうまく抽出することができなくなってしまうのを防ぐためである。例えば、判定部３１９では、撮像された画像データ全体の中心に近い顔領域を選択する。
【０１６０】
トリミング部４００は、ＣＰＵ７８の計算により、図２８に示すように、入力された顔領域に基づき、元画像データ９０１内の人物９０２がバランスよく配置されるようにトリミング領域９０３を算出してトリミングを行う。また、トリミング部４００は、ＣＰＵ７８により、図２９に示すように、入力された顔領域に基づき、元画像データ９０４内に人物９０５及び９０６の２人が配されている場合、より中央に近い人物９０５を基準にトリミング範囲９０７を算出してトリミングを行う。更に、トリミング部４００は、ＣＰＵ７８の計算により、図３０に示すように、入力された顔領域に基づき、元画像データ９０８内の人物の眼や口の位置が特定できない場合、頭頂部の位置を基準に推定被写体領域９０９を算出し、元画像データ９０８内の有効領域をトリミング領域９１０とする。
【０１６１】
以下では、元画像データ９０１，９０４，９０８の画像サイズを幅×高さが９６０×１２８０画素であるとして、顔領域が供給された後のトリミング部４００の画像処理の動作を、図３１乃至図３２に基づき説明する。図３１及び図３２は、トリミング部４００のトリミング方法を示すフローチャートである。また、以下では、上述の被写体検出部３００の各部で検出した頭頂部、眼及び口の位置と、顔の中心線が、ＲＡＭ７３に記憶されているものとして説明する。
【０１６２】
先ず、図３１に示すように、ステップＳ４１において、ＣＰＵ７８は、頭頂部検出部３１３により検出された頭頂部の位置をＲＡＭ７３から読み出す。以下では、ＲＡＭ７３から読み出した頭頂部の位置をＴＯＨとする。
【０１６３】
次に、ＣＰＵ７８は、ステップＳ４２において、口検出部３１４により検出された口の位置をＲＡＭ７３から読みだす。以下では、ＲＡＭ７３から読み出した口の位置をＭＯＵＴＨとする。
【０１６４】
次に、ステップＳ４３において、ＣＰＵ７８は、頭頂部から口までの長さをＴＯＨ＿ＭＯＵＴＨとして算出する。即ちＣＰＵ７８は、ＴＯＨ＿ＭＯＵＴＨ＝ＭＯＵＴＨ−ＴＯＨとする計算を行う。
【０１６５】
次に、ステップＳ４４において、ＣＰＵ７８は、頭上マージン、即ち天部の長さを頭頂部から口までの長さの１／４として、天部＝（ＴＯＨ＿ＭＯＵＴＨ×１／４）とする計算を行う。
【０１６６】
次に、ステップＳ４５において、ＣＰＵ７８は、トリミング領域９０３の上部開始位置を頭頂部の位置から天部の長さ分だけ上方であるとして、上部開始位置ｓｔｙ１＝ＴＯＨ−（ＴＯＨ＿ＭＯＵＴＨ×１／４）とする計算を行う。
【０１６７】
次に、ステップＳ４６において、ＣＰＵ７８は、上部開始位置ｓｔｙ１が、元画像データ９０１から上方にはみ出た位置にあるかどうかを判断する。即ちＣＰＵ７８は、上部開始位置ｓｔｙ１＜０であるかを判断し、上部開始位置ｓｔｙ１＜０である場合に処理をステップＳ４７に進め、上部開始位置ｓｔｙ１≧０である場合に処理をステップＳ４８に進める。
【０１６８】
ステップＳ４７において、ＣＰＵ７８は、上部開始位置ｓｔｙ１が、元画像データ９０１から上方にはみ出た位置にある場合、上部開始位置ｓｔｙ１を元画像データ９０１の上端とする、即ち上部開始位置＝０とする計算を行う。そしてＣＰＵ７８は、ステップＳ４８に処理を進める。
【０１６９】
次に、ステップＳ４８において、ＣＰＵ７８は、口の位置から下部終了位置までの距離が頭頂部から口までの距離に等しいとして、下部終了位置ｅｄｙ１＝ＭＯＵＴＨ＋（ＴＯＨ＿ＭＯＵＴＨ×１／１）とする計算を行う。
【０１７０】
次に、ステップＳ４９において、ＣＰＵ７８は、下部終了位置ｅｄｙ１が、元画像データ９０１から下方にはみ出た位置にあるかどうかを判断する、即ち下部終了位置ｅｄｙ１＞１２７９であるかを判断し、下部終了位置ｅｄｙ１＞１２７９である場合に処理をステップＳ５０に進め、下部終了位置ｅｄｙ１≦１２７９である場合に処理をステップＳ５１に進める。
【０１７１】
ステップＳ５０において、ＣＰＵ７８は、下部終了位置ｅｄｙ１が、元画像データ９０１から下方にはみ出た位置にある場合、下部終了位置ｅｄｙ１を元画像データ９０１の下端とする、即ち下部終了位置ｅｄｙ１＝１２７９とする計算を行い、処理をステップＳ５１に進める。
【０１７２】
ステップＳ５１において、ＣＰＵ７８は、トリミング領域９０３の縦方向の高さを画像高さＹとして、画像高さＹ＝下部終了位置ｅｄｙ１―上部開始位置ｓｔｙ１とする計算を行う。
【０１７３】
次に、図３２に示すように、ステップＳ５２において、ＣＰＵ７８は、画像高さＹと元画像データ９０１の高さとを比較し、画像高さＹが元画像データ９０１の高さよりも小さい場合に処理をステップＳ６０に進め、画像高さＹが元画像データ９０１の高さよりも大きい場合に処理をステップＳ５３に進める。
【０１７４】
ステップＳ５３において、ＣＰＵ７８は、眼の位置をＲＡＭ７３から読み出す。以下では、ＲＡＭ７３から読み出した眼の位置をＥＹＥとする。
【０１７５】
次に、ステップＳ５４において、ＣＰＵ７８は、眼から口までの長さをＥＹＥ＿ＭＯＵＴＨとして、ＴＯＨ＿ＭＯＵＴＨ＝ＭＯＵＴＨ−ＴＯＨとする計算を行う。
【０１７６】
次に、ステップＳ５５において、ＣＰＵ７８は、ＥＹＥ＿ＭＯＵＴＨと口から下部終了位置ｅｄｙ２までの長さとの比が１：２となるように下部終了位置ｅｄｙ２を算出する。即ちＣＰＵ７８は、ｅｄｙ２＝ｍｏｕｔｈ＋（ｅｙｅ＿ｍｏｕｔｈ×２／１）とする計算を行う。
【０１７７】
次に、ステップＳ５６において、ＣＰＵ７８は、下部終了位置ｅｄｙ２が、元画像データ９０１から下方にはみ出た位置にあるかどうかを判断する、即ち下部終了位置ｅｄｙ２＞１２７９であるかを判断し、下部終了位置ｅｄｙ２＞１２７９である場合に処理をステップＳ５７に進め、下部終了位置ｅｄｙ１≦１２７９である場合に処理をステップＳ５８に進める。
【０１７８】
ステップＳ５７において、ＣＰＵ７８は、下部終了位置ｅｄｙ２が、元画像データ９０１から下方にはみ出た位置にある場合、下部終了位置ｅｄｙ２を元画像データ９０１の下端とする、即ち下部終了位置ｅｄｙ２＝１２７９とする計算を行い、処理をステップＳ５８に進める。
【０１７９】
ステップＳ５８において、ＣＰＵ７８は、ｅｄｙ１とｅｄｙ２の大きさの比較を行い、ｅｄｙ１＞ｅｄｙ２である場合、処理をステップＳ５９に進め、ｅｄｙ１≦ｅｄｙ２である場合、処理をステップＳ６０に進める。
【０１８０】
ステップＳ５９において、ＣＰＵ７８は、トリミング領域９０３の縦方向の高さを画像高さＹとして、画像高さＹ＝下部終了位置ｅｄｙ２−上部開始位置ｓｔｙ１とする計算を行い、処理をステップＳ６０に進める。
【０１８１】
ステップＳ６０において、ＣＰＵ７８は、トリミング領域９０３の横方向の幅を画像幅Ｘとして、画像幅Ｘ及び画像高さＹのアスペクト比が１．４２であることから、画像幅Ｘ＝画像高さＹ／１．４２とする計算を行う。
【０１８２】
次に、ステップＳ６１において、ＣＰＵ７８は、中央線検出部３１７により検出された頭頂部の位置をＲＡＭ７３から読み出す。以下では、ＲＡＭ７３から読み出した中央線の位置をＣＯＨとする。
【０１８３】
次に、ステップＳ６２において、ＣＰＵ７８は、中央線の位置ＣＯＨを中心に、画像幅Ｘとなるように、トリミング範囲の最左端を左端開始位置ｓｔｘ１、最右端を右端終了位置ｅｄｘ１として、これらｓｔｘ１及びｅｄｘ１を算出する。
【０１８４】
次に、ステップＳ６３において、ＣＰＵ７８は、左部開始位置ｓｔｘ１が、元画像データ９０１から左側にはみ出た位置にあるかどうかを判断する、即ち左部開始位置ｓｔｘ１＜０であるかを判断し、左部開始位置ｓｔｘ１＜０である場合に処理をステップＳ６４に進める。また、ステップＳ６３において、ＣＰＵ７８は、右部終了位置ｅｄｘ１が、元画像データ９０１から右側にはみ出た位置にあるかどうかを判断する、即ち右部終了位置ｅｄｘ１＞９５９であるかを判断し、右部終了位置ｅｄｘ１＞９５９である場合に処理をステップＳ６４に進める。なお、ステップＳ６３において、ＣＰＵ７８は、左部開始位置ｓｔｘ１≧０である場合で、且つ右部終了位置ｅｄｘ≦９５９である場合に処理をステップＳ６５に進める。
【０１８５】
ステップＳ６４において、ＣＰＵ７８は、元画像データ９０１からはみ出た部分に白紙領域を追加するために、元画像データ９０１に画像データを加え、処理をステップＳ６５に進める。
【０１８６】
ステップＳ６５において、ＣＰＵ７８は、ｓｔｙ１，ｅｄｙ１（ｅｄｙ２），ｓｔｘ１，ｅｄｘ１に基づきトリミング範囲９０３を決定し元画像データ９０１からトリミングを行う。
【０１８７】
以上のような処理によりトリミング部４００は、元画像データ９０１からトリミング範囲９０３をトリミングする。
【０１８８】
トリミング部４００は、このような処理により、顔部：胸部：天部の寸法比率が１：１：０．２５なるようにトリミング範囲９０３を決定することができるとともに、顔の位置が左右どちらかによってしまった場合も空白領域を元画像データ９０１に付け加えることで、顔の位置が中心となるようにトリミング範囲９０３を決定することができる。
【０１８９】
また、トリミング部４００は、印画紙のアスペクト比が決まっていることから、画像高さを算出した後に画像幅を容易に算出することができる。
【０１９０】
ここで、被写体検出部３００の各部が位置検出に失敗した場合のトリミング部４００の画像処理の動作を図３３に基づいて説明する。図３３は、トリミング部４００のトリミング方法を示すフローチャートである。
【０１９１】
先ず、ステップＳ７１において、ＣＰＵ７８は、頭頂部検出部３１３により頭頂部の位置が検出されているかを判断し、検出されていなければ処理をステップＳ７３に進め、検出されていれば処理をステップＳ７２に進める。
【０１９２】
ステップＳ７２において、ＣＰＵ７８は、頭頂部検出部３１３により検出された頭頂部の位置をＲＡＭ７３から読み出す。以下では、ＲＡＭ７３から読み出した頭頂部の位置をＴＯＨとする。
【０１９３】
次に、ステップＳ７４において、ＣＰＵ７８は、トリミング領域９１０の最上端から元画像データ９０８の高さの１／１０の位置となるように上部開始位置ｓｔｙ１を算出する。即ち、ＣＰＵ７８は、上部開始位置ｓｔｙ１＝ｔｏｈ−（１２８０／１０）なる計算を行い、処理をステップＳ７５に進める。
【０１９４】
一方、ステップＳ７１において、頭頂部が検出されていないと判断された場合、ステップＳ７３において、ＣＰＵ７８は、トリミング領域９１０の上端を元画像データ９０８の上端として上部開始位置ｓｔｙ１を算出する。即ち、ＣＰＵ７８は、上部開始位置ｓｔｙ１＝０なる計算を行い、処理をステップＳ７５に進める。
【０１９５】
ステップＳ７５において、ＣＰＵ７８は、トリミング領域９１０の最下端を、元画像データ９０８の最下端として下部終了位置ｅｄｙ１を算出する。即ち、ＣＰＵ７８は、下部終了位置ｅｄｙ１１２７９なる計算を行う。
【０１９６】
次に、ステップＳ７６において、ＣＰＵ７８は、トリミング領域９１０の縦方向の高さを画像高さＹとして、画像高さＹ＝下部終了位置ｅｄｙ１―上部開始位置ｓｔｙ１とする計算を行う。
【０１９７】
次に、ステップＳ７７において、ＣＰＵ７８は、トリミング領域９１０の横方向の幅を画像幅Ｘとして、画像幅Ｘ及び画像高さＹのアスペクト比が１．４２であることから、画像幅Ｘ＝画像高さＹ／１．４２とする計算を行う。
【０１９８】
次に、ステップＳ７８において、ＣＰＵ７８は、中央線の位置ＣＯＨを中心に、画像幅Ｘとなるように、トリミング範囲の最左端を左端開始位置ｓｔｘ１、最右端を右端終了位置ｅｄｘ１として、これらｓｔｘ１及びｅｄｘ１を算出する。なお、中央線の位置ＣＯＨが検出されていない場合は、元画像データ９０８の有効領域全体の幅の中心をＣＯＨに替えて用いてもよい。
【０１９９】
次に、ステップＳ７９において、ＣＰＵ７８は、ｓｔｙ１，ｅｄｙ１，ｓｔｘ１，ｅｄｘ１に基づきトリミング範囲９１０を決定し元画像データ９０８からトリミングを行う。
【０２００】
以上のような処理によりトリミング部４００は、元画像データ９０８からトリミング範囲９１０をトリミングする。
【０２０１】
トリミング部４００は、被写体検出部３００が頭頂部や口の位置が検出できなかった場合でも、トリミング範囲９０３を適切に決定することができる。ここで、被写体検出部３００が頭頂部や口の位置が検出できなかった場合とは、撮像装置１を設置する場所が病院であるということから例えば、包帯をしている場合、めがねをかけている場合、マスクをしている場合等が考えられる。トリミング部４００は、写真撮影をする者がそのような状態であっても適切にトリミングを行うことができる。
【０２０２】
なお、被写体検出部３００において、頭頂部、眼及び口が検出できなかった場合、トリミング部４００は、図３４に示すように、全画像データ９００内に人物９０２が写された領域である有効領域９０１の画像幅に基づいて、アスペクト比から画像高さを算出するようにしてもよい。ここで、図３４に示す、人物９０２が写された領域以外の帯部Ｂ１とＢ２は、撮像装置１の構造により写りこむ影であり、何も写されていない部分である。この帯部Ｂ１とＢ２は、撮像装置１において、縦方向にスリットが設けられ、このスリットを介して撮像部１７が撮像を行うために発生する。トリミング部４００は、この帯部Ｂ１とＢ２とが互いに平行であるため、全画像データ９００から有効領域９０１切り出すときに、これらの間を画像幅となるようにトリミングを行う。
【０２０３】
本実施の形態において、画像処理装置が撮像した入力画像から顔領域を検出してオートトリミングするため、被撮像者は、撮像装置の椅子に座るのみで、図２３（ｂ）に示すようなバランスがよい証明写真を常に得ることができる。このような画像処理装置を撮像装置１が備えることで、写真撮影をする者が椅子の高さを調節する必要がなくなり、使用者への利便性が向上する。
【０２０４】
また、本実施の形態において、画像処理装置は、病院内等で使用される撮像装置１に備えられるものであり、写真撮影をする者が、車椅子に乗っていたり、松葉杖をついたり、母親が子供を抱きかかえている場合等が考えられるため、撮像した画像データの中心に常に顔が位置するわけではないが、そのような場合でも、自動的に画像をトリミングして、顔がバランスよく配された画像を得ることができる。
【０２０５】
更に、本実施の形態において、画像処理装置は、病院内等で使用される撮像装置１に備えられるものであり、写真撮影をする者が、顔に包帯をしていたり、めがねをかけていたり、マスクをしていたりする場合等が考えられるため、頭頂部、眼及び口の検出に失敗することがあるが、そのような場合でも、自動的に画像をトリミングして、顔がバランスよく配された画像を得ることができる。
【０２０６】
以上、病院等に設置される写真ブースを例にとり説明したが、本発明は、これに限定されるものではなく、例えば街角等に設置される証明写真装置やゲームセンタ等に設置される装置に適用することもできる。これによって、街角やゲームセンタ等に設置された装置も、身体障害者にとって使いやすいものとなる。
【０２０７】
また、上述の実施の形態では、トリミング部４００以外についてハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、トリミング部４００と同様に、ＣＰＵ７８にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【０２０８】
【発明の効果】
以上詳述したように、本発明によれば、天部、顔部、胸部が最適の比率でトリミングされるため、撮像者はカメラ位置を変えることなく、また、フォトブースでは、被写体となる使用者が椅子の高さを調整することなく、自動的に顔の大きさ及び位置が最適に配置された見やすい写真を常に得ることができる。
【図面の簡単な説明】
【図１】証明写真における人物の配置を示す模式図である。
【図２】本発明の実施の形態に係る撮像装置を正面側から見た斜視図である。
【図３】上記撮像装置を背面側から見た斜視図である。
【図４】上記撮像装置の透視平面図である。
【図５】撮像室に設けられた左右一対の照明器具を説明する平面図である。
【図６】上記撮像装置を正面側から見た図であって、カーテンを閉めた状態を説明する図である。
【図７】上記撮像装置の制御回路を説明するブロック図である。
【図８】上記制御回路の動作を説明するフローチャートである。
【図９】本発明の実施の形態に係る画像処理装置を示すブロック図である。
【図１０】本発明の実施の形態に係る画像処理装置における肌色領域抽出部を示すブロック図である。
【図１１】本発明の実施の形態に係る画像処理装置における顔領域抽出部を示すブロック図である。
【図１２】横軸に座標をとり、縦軸に出現頻度をとって、出現頻度を示すヒストグラムとクラスタとの関係を模式的に示すグラフ図である。
【図１３】（ａ）乃至（ｃ）は、夫々入力画像、クラスタマップＣ及び領域マップＲを示す模式図である。
【図１４】本発明の実施の形態における肌色領域抽出部において作成された領域マップＲを示す模式図である。
【図１５】本発明の実施の形態における肌色領域抽出部において抽出される長方形領域を示す模式図である。
【図１６】本発明の実施の形態における肌色領域抽出部の領域分割部にて分割される長方形領域を示す模式図である。
【図１７】カラー画像における人物の頭頂部を検索する際の検索範囲を示す模式図である。
【図１８】長方形領域の水平方向の赤み強度が累積されて生成されたヒストグラムＨｒｄｓｈと長方形領域との関係を示す模式図である。
【図１９】人物の眼、口及び顎の位置の関係を示す模式図である。
【図２０】エッジを構成する画素が水平方向に累積されて生成されたヒストグラムＨｅｄｇｅ（ｙ）と肌色領域に対応する長方形領域との関係を示す模式図である。
【図２１】肌色領域に対応する長方形領域における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【図２２】修正後の長方形領域の頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝を示す模式図である。
【図２３】証明写真において、顔部Ｂに対する天部Ａ、胸部Ｃの寸法比率を変えたときの証明写真を示す模式図であって、（ｂ）は、本発明の実施例を示す図であり、（ａ）及び（ｃ）は、夫々比較例１及び比較例２を示す図である。
【図２４】（ａ）及び（ｂ）は、顔部Ｂの画像が夫々小さい例及び大きい例の証明写真を示す模式図である。
【図２５】本発明の実施の形態における画像処理方法を示すフローチャートである。
【図２６】本発明の実施の形態における画像処理方法の各工程を示す模式図である。
【図２７】本発明の実施の形態における画像処理装置の被写体検出方法を示すフローチャートである。
【図２８】本発明の実施の形態における画像処理装置のトリミング部がトリミング範囲と、画像データとの模式図である。
【図２９】画像データに人物が２人写っている場合のトリミング範囲を説明する模式図である。
【図３０】頭頂部を検出できなかった場合を説明する模式図である。
【図３１】本発明の実施の形態における画像処理装置のトリミング部の処理の流れを示すフローチャートである。
【図３２】本発明の実施の形態における画像処理装置のトリミング部の処理の流れを示す図３１に続くフローチャートである。
【図３３】本発明の実施の形態における画像処理装置のトリミング部の処理の流れを示すフローチャートである。
【図３４】画像データの有効領域を説明するための模式図である。
【図３５】従来の撮像装置を説明する側面図である。
【符号の説明】
１ 撮像装置、２ 設置面、１１ 筐体、１２ 背面部、１３ 一方の側壁、１４ 他方の側壁、１５ 天板、１６ａ 第１の面、１６ｂ 第２の面、１６ｃ 第３の面、１７ 撮像部、１７ａ 撮像装置、１７ｂ ハーフミラー、１７ｃ 反射板、１８，１９ プリンタ、２２ 転動防止部材、２３ 入口、２４ 椅子、２４ａ 取っ手、２９ 料金投入部、３１ 位置決め凹部、３２ 被写体検出部３２ カーテン、３３ａ スリット、３４ 第１の手摺り、３５ 第２の手摺り、３６ 第３の手摺り、４０ 回動支持機構、４１ 椅子取付部材、４２ 回動支持部、４４ 椅子支持部材、４６ リンク部材、４８ ガイド孔、４９ 係合突起、５１ ダンパ、５４ 保持機構、５６ 保持部材、５８ 係止突部、５９ 検出部、６０ 押圧部、７０ 制御回路、１００ 画像抽出装置、１０１ 画像入力部、２００ 肌色領域抽出部、２１２ 表色系変換部、２１３ ヒストグラム生成部、２１４ 初期クラスタ抽出部、２１５ 初期領域抽出部、２１６クラスタ統合部、２１７ 領域分割部、２１８ 領域抽出部、３００ 被写体検出部、３１３ 頭頂部検出部、３１４ 口検出部、３１５ 眼検出部、３１６顎検出部、３１７ 中心線検出部、３１８ 領域修正部、３１９ 判定部、４００ トリミング部、６００ 証明写真、６００ａ 最上端、６００ｂ 最下端、６０１ 人物画像
Claims (13)
- 人物の画像から顔領域を抽出する顔領域抽出手段と、
上記顔領域抽出手段により抽出された顔領域から上記人物の頭頂部、口及び眼の位置を検出する位置検出手段と、
上記位置検出手段により検出された上記人物の頭頂部の位置及び口の位置から上記人物の頭頂部から口までの距離を算出するとともに、上記位置検出手段により検出された上記人物の頭頂部、口及び眼の位置の少なくとも一つから上記人物の顔を左右に等分する中心線とを算出する算出手段と、
上記位置検出手段により検出された上記人物の頭頂部と、上記算出手段により算出された上記人物の頭頂部から口までの距離と、上記算出手段により算出された上記人物の顔を左右に等分する中心線とに基づきトリミング範囲を決定してトリミングを行い、上記位置検出手段が上記人物の口の位置を検出できなかったときには、上記画像の最上端を上記トリミング範囲の最上端にするとともに、上記画像の最上端から上記位置検出手段が検出した上記人物の頭頂部までを天部とし、上記天部の寸法と上記位置検出手段が検出した上記人物の頭頂部の位置と上記画像内に人物が有効に配される有効領域の幅とに基づき上記トリミング範囲の最下端を決定してトリミングをトリミング手段とを備えることを特徴とする画像処理装置。 - 上記トリミング手段は、上記位置検出手段により検出された上記人物の頭頂部の位置から上記人物の口の位置までを顔部、上記位置検出手段により検出された上記人物の口の位置からトリミング範囲の最下端までを胸部、上記トリミング範囲の最上端から上記位置検出手段により検出された上記人物の頭頂部までを天部として、顔部、胸部及び天部の寸法比率が１：０．６乃至１：０．２乃至０．３となるように、上記トリミング範囲の最上端及び最下端を決定し、トリミングを行うことを特徴とする請求項１記載の画像処理装置。
- 上記トリミング手段は、決定された上記トリミング範囲の最上端から最下端までの距離から、アスペクト比が１．４２となるように、上記トリミング範囲の横方向の幅を決定し、上記算出手段により算出された上記人物の顔を左右に等分する中心線に基づき上記トリミング範囲の最左端及び最右端を決定し、トリミングを行うことを特徴とする請求項２記載の画像処理装置。
- 上記トリミング手段は、さらに、上記位置検出手段が上記人物の頭頂部及び口の位置を検出できなかったときには、上記画像内に人物が有効に配される有効領域の全体を上記トリミング範囲としてトリミングを行うことを特徴とする請求項１記載の画像処理装置。
- 人物の画像から顔領域を抽出する顔領域抽出工程と、
上記顔領域から上記人物の頭頂部、口及び眼の位置を検出する位置検出工程と、
上記人物の頭頂部から口までの距離と、上記人物の頭頂部、口及び眼の位置の少なくとも一つから上記人物の顔を左右に等分する中心線とを算出する算出工程と、
上記人物の頭頂部の位置と、上記人物の頭頂部から口まで距離と、上記人物の顔を左右に等分する中心線とに基づきトリミング範囲を決定してトリミング行い、上記人物の口の位置が検出されていないときには、上記画像の最上端を上記トリミング範囲の最上端とし、上記画像の最上端から上記人物の頭頂部の位置までを天部とし、上記天部の寸法と上記人物の頭頂部の位置と上記画像内に人物が有効に配される有効領域の幅とに基づき上記トリミング範囲の最下端を決定してトリミングを行うトリミング工程と
を有することを特徴とする画像処理方法。 - 上記トリミング工程では、上記人物の頭頂部からの位置から上記人物の口の位置までを顔部、上記人物の口の位置からトリミング範囲の最下端までを胸部、上記トリミング範囲の最上端から上記人物の頭頂部までを天部として、顔部、胸部及び天部の寸法比率が１：０．６乃至１：０．２乃至０．３となるように、上記トリミング範囲の最上端及び最下端を決定し、トリミングを行うことを特徴とする請求項５記載の画像処理方法。
- 上記トリミング工程では、決定された上記トリミング範囲の最上端から最下端までの距離から、アスペクト比が１．４２となるように、上記トリミング範囲の横方向の幅を決定し、上記人物の顔を左右に等分する中心線に基づき上記トリミング範囲の最左端及び最右端を決定し、トリミングを行うことを特徴とする請求項６記載の画像処理方法。
- 上記トリミング工程では、さらに、上記人物の頭頂部及び口の位置を検出されていないときには、上記画像内に人物が有効に配される有効領域の全体を上記トリミング範囲としてトリミングを行うことを特徴とする請求項５記載の画像処理方法。
- 人物を撮像する撮像手段と、
上記撮像手段が撮像した人物の画像から顔領域を抽出する顔領域抽出手段と、上記顔領域抽出手段により抽出された顔領域から上記人物の頭頂部、口及び眼の位置を検出する位置検出手段と、
上記位置検出手段により検出された上記人物の頭頂部の位置及び口の位置から上記人物の頭頂部から口までの距離を算出するとともに、上記位置検出手段により検出された上記人物の頭頂部、口及び眼の位置の少なくとも一つから上記人物の顔を左右に等分する中心線とを算出する算出手段と、
上記位置検出手段により検出された上記人物の頭頂部と、上記算出手段により算出された上記人物の頭頂部から口までの距離と、上記算出手段により算出された上記人物の顔を左右に等分する中心線とに基づきトリミング範囲を決定してトリミングを行い、上記位置検出手段が上記人物の口の位置を検出できなかったときには、上記画像の最上端を上記トリミング範囲の最上端にするとともに、上記画像の最上端から上記位置検出手段が検出した上記人物の頭頂部までを天部とし、上記天部の寸法と上記位置検出手段が検出した上記人物の頭頂部の位置と上記画像内に人物が有効に配される有効領域の幅とに基づき上記トリミング範囲の最下端を決定してトリミングを行うトリミング手段とを備えることを特徴とする撮像装置。 - 上記トリミング手段は、上記位置検出手段により検出された上記人物の頭頂部の位置から上記人物の口の位置までを顔部、上記位置検出手段により検出された上記人物の口の位置からトリミング範囲の最下端までを胸部、上記トリミング範囲の最上端から上記位置検出手段により検出された上記人物の頭頂部までを天部として、顔部、胸部及び天部の寸法比率が１：０．６乃至１：０．２乃至０．３となるように、上記トリミング範囲の最上端及び最下端を決定し、トリミングを行うことを特徴とする請求項９記載の撮像装置。
- 上記トリミング手段は、決定された上記トリミング範囲の最上端から最下端までの距離から、アスペクト比が１．４２となるように、上記トリミング範囲の横方向の幅を決定し、上記算出手段により算出された上記人物の顔を左右に等分する中心線に基づき上記トリミング範囲の最左端及び最右端を決定し、トリミングを行うことを特徴とする請求項９記載の撮像装置。
- 上記トリミング手段は、さらに、上記位置検出手段が上記人物の頭頂部及び口の位置を検出できなかったときには、上記画像内に人物が有効に配される有効領域の全体を上記トリミング範囲としてトリミングを行うことを特徴とする請求項９記載の撮像装置。
- 更に、上記トリミング手段によりトリミングされた画像を印刷する印刷手段を備えることを特徴とする請求項９記載の撮像装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002255865A JP3763293B2 (ja) | 2002-08-30 | 2002-08-30 | 画像処理装置、画像処理方法、及び撮像装置 |
| EP03808870A EP1558015B1 (en) | 2002-08-30 | 2003-08-28 | Image extraction device, image extraction method, image processing device, image processing method, and imaging device |
| US10/493,938 US8098293B2 (en) | 2002-08-30 | 2003-08-28 | Image extraction device, image extraction method, image processing device, image processing method, and imaging device |
| DE60329620T DE60329620D1 (de) | 2002-08-30 | 2003-08-28 | Bildextraktionseinrichtung, bildextraktionsverfahren, bildverarbeitungseinrichtung,bildverarbeitungsverfahren und abbildungseinrichtung |
| KR1020047006362A KR100980915B1 (ko) | 2002-08-30 | 2003-08-28 | 화상 처리 장치 및 처리 방법 및 촬영 장치 |
| PCT/JP2003/010986 WO2004036900A1 (ja) | 2002-08-30 | 2003-08-28 | 画像抽出装置及び方法、画像処理装置及び処理方法、並びに撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002255865A JP3763293B2 (ja) | 2002-08-30 | 2002-08-30 | 画像処理装置、画像処理方法、及び撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004096487A JP2004096487A (ja) | 2004-03-25 |
| JP3763293B2 true JP3763293B2 (ja) | 2006-04-05 |
Family
ID=32061245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002255865A Expired - Fee Related JP3763293B2 (ja) | 2002-08-30 | 2002-08-30 | 画像処理装置、画像処理方法、及び撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3763293B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006215685A (ja) | 2005-02-02 | 2006-08-17 | Funai Electric Co Ltd | フォトプリンタ |
| JP4683339B2 (ja) * | 2006-07-25 | 2011-05-18 | 富士フイルム株式会社 | 画像トリミング装置 |
| JP4837595B2 (ja) * | 2007-02-19 | 2011-12-14 | 富士フイルム株式会社 | マスク領域決定装置、方法、およびプログラム |
| JP4947018B2 (ja) * | 2008-09-12 | 2012-06-06 | 大日本印刷株式会社 | 顔画像の自動トリミング装置 |
| JP2013214234A (ja) | 2012-04-03 | 2013-10-17 | Sony Corp | 移動制御装置、移動制御方法、およびプログラム |
| JP6919833B2 (ja) * | 2017-06-23 | 2021-08-18 | 大日本印刷株式会社 | 証明写真作製システム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3643988B2 (ja) * | 1992-01-22 | 2005-04-27 | コニカミノルタホールディングス株式会社 | 撮影装置 |
| JP2002051315A (ja) * | 2000-05-24 | 2002-02-15 | Sony Corp | データ伝送方法およびその装置、並びにデータ伝送システム |
-
2002
- 2002-08-30 JP JP2002255865A patent/JP3763293B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004096487A (ja) | 2004-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100980915B1 (ko) | 화상 처리 장치 및 처리 방법 및 촬영 장치 | |
| JP3855939B2 (ja) | 画像処理装置、画像処理方法及び撮影装置 | |
| JP2004318204A (ja) | 画像処理装置、画像処理方法及び撮影装置 | |
| JP4085677B2 (ja) | 撮影装置 | |
| US7289664B2 (en) | Method of detecting and correcting the red eye | |
| JP3657769B2 (ja) | 画像処理方法および画像処理装置 | |
| JP4718952B2 (ja) | 画像補正方法および画像補正システム | |
| EP1276315A2 (en) | A method for processing a digital image to adjust brightness | |
| US20110109749A1 (en) | Method for activating a function, namely an alteration of sharpness, using a colour digital image | |
| JP2000350123A (ja) | 画像選択装置、カメラ、画像選択方法及び記録媒体 | |
| KR20060112663A (ko) | 화상 판별 방법 및 화상 처리 장치 | |
| JP3763293B2 (ja) | 画像処理装置、画像処理方法、及び撮像装置 | |
| JP5748651B2 (ja) | 画像処理装置、画像処理方法、並びにプログラム | |
| JP2000347278A (ja) | カメラ及び撮影方法 | |
| JP2004318205A (ja) | 画像処理装置、画像処理方法及び撮影装置 | |
| JP2008059534A (ja) | 画像トリミング装置、画像トリミング方法およびそのプログラム | |
| JP2004234571A (ja) | 画像処理装置、画像処理方法及び撮影装置 | |
| JP2000347277A (ja) | カメラ及び撮影方法 | |
| JP2004096486A (ja) | 画像抽出装置、画像抽出方法、及び撮影装置 | |
| JP2001197296A (ja) | 画像処理方法および装置 | |
| JPH11316845A (ja) | 主要被写体抽出方法および装置 | |
| US6458492B1 (en) | Mask changing the brightness profile of a photographic copy | |
| JP2005308966A (ja) | 写真撮影装置 | |
| JP3964796B2 (ja) | 赤目検出および修正方法 | |
| JP3576809B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050927 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060109 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090127 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100127 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100127 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120127 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120127 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130127 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140127 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |