JP6685094B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、人物であるユーザを被写体として写真撮影し、撮影結果が出力された所定の写真シールシート又は写真データを得ることができる撮影遊戯機に関し、ユーザのポーズによらず好適な撮影結果が得られる撮影遊戯機における画像処理装置、画像処理方法及びコンピュータプログラムに関する。

ユーザが複数人で又は一人で、自身を撮影して得られる写真シールシートを排出する装置が撮影遊戯機として提供されている。撮影遊戯機では、複数人のユーザが入ることができる程度に広い撮影空間に、自動的に撮影を行なう撮影装置、フラッシュ及び反射板を含む撮影機器が設けられている。

そして撮影遊戯機における撮影機器は、撮影空間内に存在する人物の腰から上の範囲を撮影する場合と、全身を正面から又は斜め上方から撮影する場合とで俯角及び画角が夫々設定されている。腰から上の範囲を撮影する場合と、全身を斜め上方から撮影する場合とでは特に、俯角を大きくすることで被写体のユーザの目線を上げさせ、小顔に写る効果と目を大きくする効果とが得られる。

更に撮影遊戯機は、撮影で得られた写真画像に対し、小顔に見えるように輪郭を加工する処理、及び目が大きく見えるように強調する加工処理など、被写体が可愛く見えるように補正加工を行なう。上述したように俯角を大きくして全身を撮影する場合、脚が短く写りやすいため、脚部分を伸長すると共に胴体部分を短縮する加工を行なうことが提案されている（特許文献１）。

被写体となるユーザは撮影空間内で直立した姿勢で写されるとは限らない。特に全身を撮影する設定ではユーザは、様々な動きのあるポーズで写ることが多い。特許文献２には、足が床面から離れている場合には脚部分の伸長処理を行なわないようにして不自然さを解消することが提案されている。

特開２０１２−１６９９８７号公報 特開２０１３−１６２４５１号公報

しかしながら全身を撮影する場合は、特許文献１に開示されているように脚部分が不自然に短く写ることが多いので、特許文献２に開示されているように脚部分の伸長処理を行なわないとすると得られる写真シールシート及び写真データに対する満足度が低減する。また、画像内から抽出した人物被写体領域に基づいて、特許文献１，２に開示されているような腹部位置及び膝位置を特定することは非常に困難である。被写体であるユーザがとるポーズは千差万別であり、脚を組む姿勢、脚を交差させる姿勢、また衣服によっては膝位置を特定することは非常に困難だからである。

本発明は斯かる事情に鑑みてなされたものであり、撮影遊戯機にて撮影された写真画像内で脚が直立状態でない可能性が高い場合であっても脚部分が自然に且つ理想的な体型に見えるような加工を実現する画像処理装置、画像処理方法及びコンピュータプログラムを提供することを目的とする。

本発明に係る画像処理装置は、人物被写体を撮影する撮影装置から画像データを取得する取得手段と、取得した画像データに基づく画像から人物被写体領域を抽出する抽出手段とを備え、前記画像の前記人物被写体領域を含む範囲を前記人物被写体の身長方向に伸長させる画像処理を行なう画像処理装置において、前記画像内の人物被写体の脚が曲げられた状態であるか否かを判断する判断手段と、前記判断手段により脚が曲げられた状態であると判断されたか否かに応じて、前記人物被写体の脚部分の領域を相異なるパターンで伸長する伸長手段とを備えることを特徴とする。

本発明に係る画像処理装置は、前記伸長手段は、前記判断手段により脚が曲げてられていない状態であると判断された場合、前記人物被写体領域の内の膝下部分に対応する領域を他領域よりも長く伸長する第１伸長手段と、前記判断手段により脚が曲げられた状態であると判断された場合、前記人物被写体の脚部分の領域を、複数箇所に分散させて伸長する第２伸長手段とを有することを特徴とする。

本発明に係る画像処理装置は、前記判断手段は、前記人物被写体領域の輪郭を特定する手段と、特定された輪郭の内、脚部分が含まれる所定範囲内における輪郭線の画像内における前記身長方向に対する向きを特定する向き特定手段とを備え、該特定手段により特定された向きが横向きと判断された場合に、脚を曲げている状態であると判断することを特徴とする。

本発明に係る画像処理装置は、前記特定手段は、輪郭線上に所定間隔で複数の点を特定する手段と、前記複数の点における前記輪郭線の接線の前記画像内の横方向における大きさの合計を算出する手段と、算出された合計が所定値よりも大きいか否かを判断する手段とを備え、該手段により大きいと判断された場合に横向きと判断することを特徴とする。

本発明に係る画像処理装置は、前記第２伸長手段は、曲げられた脚部分以外の箇所で伸長を分散させることを特徴とする。

本発明に係る画像処理方法は、人物被写体を撮影する撮影装置から画像データを取得する手段、取得した画像データに基づく画像から人物被写体領域を抽出する手段を備える画像処理装置が、前記画像の前記人物被写体領域を含む範囲を前記人物被写体の身長方向に伸長させる画像処理を行なう画像処理方法において、前記画像処理装置は、前記画像内の人物被写体の脚が曲げられた状態であるか否かを判断し、脚が曲げられた状態であると判断されたか否かに応じて、前記人物被写体の脚部分の領域を相異なるパターンで伸長することを特徴とする。

本発明に係るコンピュータプログラムは、撮影装置と接続されるコンピュータに、前記撮像装置から画像データを取得し、該画像データに基づく画像から人物被写体領域を抽出し、前記画像の前記人物被写体領域を含む範囲を人物被写体の身長方向に伸長させる画像処理を実行させるコンピュータプログラムにおいて、前記コンピュータに、画像内の人物被写体の脚が曲げられた状態であるか否かを判断するステップ、及び脚が曲げられた状態であると判断されたか否かに応じて、前記人物被写体の脚部分の領域を相異なるパターンで伸長するステップを実行させることを特徴とする。

本発明では、画像内に写っている人物被写体のポーズとして脚の姿勢が推定判断され、脚の状態が曲がっている状態であるか否かによって、脚部分の領域が相異なるパターンで伸長される。即ち、脚の姿勢に応じて適切な伸長処理が行なわれる。

本発明では、脚が曲げられていないと判断された場合には、脚部分の領域が膝下部分で特に引き伸ばされるように伸長される。一方脚が曲げられていると判断された場合には、脚部分の領域の身長方向への伸長が複数箇所に分散される。これにより、脚が曲がっていることが推定判断される場合には、脚の特定箇所が極端に伸長されることがない。

本発明では、脚が曲がっているか否かの判断が、人物被写体領域の内の脚が写っているであろうと推定される所定範囲内における輪郭線の向き（身長方向に対する向き）基づいて行なわれる。人物被写体の輪郭は他の処理でも利用するので、判断処理のためだけの処理による負荷を低減することも可能である。

本発明では、輪郭線上の複数の点における輪郭線に対する接線の向きの成分の合計値が所定値よりも大きいか否かにより向きが特定される。合計値を算出してから所定値と比較することにより、人物被写体領域の内の脚が写っているであろうと推定される所定範囲内全体での輪郭線の向きの傾向から判断がなされ、脚の状態が精度よく推定される。

本発明では、脚が曲げられた状態であると判断された場合には、曲げた脚の部分以外を人物被写体の身長方向に複数箇所で伸長させる。これにより、身長方向に対して横向きに曲げられた脚以外が伸長され、脚長に見える効果がより期待できる。

本発明による場合、画像内に写っている人物被写体が直立状態でない可能性が高い場合には、脚の伸長箇所が複数箇所に分散されて伸長されるので、人物被写体が自然に且つ理想的な体型に見えるように補正することが可能となる。

本実施の形態における撮影遊戯機の外観を示す斜視図である。 本実施の形態における撮影遊戯機の構成を示すブロック図である。 本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。 スタイル補正処理の手順の一例を示すフローチャートである。 脚の状態の推定判断の処理手順の一例を示すフローチャートである。 全身撮像により得られる画像の一例を示す説明図である。 脚の状態の推定判断の過程を示す説明図である。 脚の状態の推定判断の過程を示す説明図である。 脚の状態の推定判断の過程を示す説明図である。 脚の状態の推定判断の過程を示す説明図である。 スタイル補正処理における２つの伸長処理の差異を示す説明図である。 図６に示した画像に対するスタイル補正処理の結果を示す説明図である。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。

図１は、本実施の形態における撮影遊戯機の外観を示す斜視図である。撮影遊戯機は全体として、複数のユーザが入り込むことが可能な略直方体形状の箱型の装置である。撮影遊戯機は、おおまかに撮影エリアＡ及び編集エリアＢに分けることができ、夫々のエリアＡ，Ｂに複数の機器が設けられて構成される。

撮影エリアＡには、事前接客部１及び撮影部２に係る機器が設けられている。事前接客部１は撮影エリアＡの外側に向けて設けられているコイン投入口、タッチパネル式のディスプレイ及びスピーカ等を含んで構成されており、ユーザの撮影前のコインの投入、名前の登録等の操作を受け付ける。撮影部２は、撮影エリアＡ内部の壁面に内側に向けて設置されているカメラ２１、ディスプレイ２２、照明装置群２３、及びスピーカ２４（図２参照）を含んで構成されており、ユーザに撮影ガイドを表示し、音声で案内しながら複数回に分けて画像を撮影し、撮影された画像を編集部へ出力する処理を行なう。

編集エリアＢには、第１編集部３ａ、第２編集部３ｂ（図２参照）及び印刷部４に係る機器が設けられている。第１編集部３ａは編集エリアＢの中央部に操作画面表示用のマルチタッチパネル式のディスプレイ３０ａをユーザが操作しやすい高さに露出させた装置を含んで構成されている。第１編集部３ａは更にスピーカ３３ａ及び照明装置、並びにディスプレイ３０ａ用のタッチペン３１ａ，３２ａ（図２参照）を備えている。第１編集部３ａは、ユーザを撮影した撮影画像に基づく画像への落書き操作をディスプレイ３０ａ及びタッチペン３１ａ，３２ａにて受け付け、受け付けられた操作に対応する画像処理を実行する。第２編集部３ｂは第１編集部３ａ同様に構成され（図示省略）、第１編集部３ａと背中合わせの位置に設けられている。印刷部４は、編集エリアＢの第１編集部３ａ、第２編集部３ｂを含む装置の筐体内に設けられるプリンタを含んで構成され、画像処理後の画像が印刷された写真シールシートを筐体の表面に設けられている吐出口から吐き出す。

図２は、本実施の形態における撮影遊戯機の構成を示すブロック図である。撮影遊戯機は、撮影エリアＡ及び編集エリアＢにおけるユーザから視認可能な範囲に上述の事前接客部１、撮影部２、第１編集部３ａ、第２編集部３ｂ及び印刷部４を備えているほか、撮影エリアＡ内の壁面に隠された箇所、又は編集エリアＢの装置の筐体内部等に、通信部５と制御機構とを備えている。

通信部５は、インターネット等の外部ネットワークに接続して撮影された画像を含むデータの送受信を実現する。通信部５は制御機構に接続されており、制御機構は通信部５を介して外部ネットワーク上のサーバ装置と通信し、データの送受信を行なうことが可能である。本実施の形態における撮影遊戯機では、通信部５が撮影によって得られた画像データを撮影遊戯機のメーカが管理するサーバ装置へ送信する。これによりユーザはサーバ装置から自身の撮影画像を、所謂スマートフォン、タブレット端末、ＰＣ（Personal Computer ）等の情報端末装置によってダウンロードし、情報端末装置内の記憶装置に記憶させることが可能である。

制御機構は、上述した各ハードウェアを制御するＰＣと、各ハードウェアが接続されているバス１００を含む制御基板と、各ハードウェアに電力を供給する図示しない電源部とにより構成される。ＰＣは１つのＰＣで構成されてもよいが、処理を円滑化するために、事前接客部１を制御するＰＣ、撮影部２を制御するＰＣ、第１編集部３ａを制御するＰＣ、第２編集部３ｂを制御するＰＣ、並びに印刷部４及び通信部５を制御するＰＣ、のように制御対象毎に異なるＰＣを用いてもよい。なお以下の説明では、印刷部４における処理の前段階となる合成画像の作成処理について主に説明する。このため、仮想的に第１ＰＣと第２ＰＣとに分別して説明する。第１ＰＣは、事前接客部１及び撮影部２における処理を制御する制御部６に対応する。第２ＰＣは、撮影部２により得られた画像に対する所定の加工処理、第１編集部３ａ及び第２編集部３ｂによる編集の受け付け、及び、これらに基づく合成を含む画像処理を制御し、印刷部４における印刷出力、及び通信部５からのデータ送信を指示する画像処理部７に対応する。

制御部６は、第１ＰＣに備えられたＣＰＵ（Central Processing Unit ）６０と、メモリ６１と、ＨＤＤ（Hard Disk Drive）６２と、キャプチャ・クロマキーボード６３とを含む。メモリ６１はＤＲＡＭ（Dynamic Random Access Memory）又はＳＤＲＡＭ（Synchronous DRAM）等のＲＡＭを用い、ＨＤＤ６２に替えてフラッシュメモリ、又はＳＳＤ（Solid State Drive ）等の他の不揮発性記憶装置を用いてもよい。

ＣＰＵ６０は、ＨＤＤ６２に記憶されている制御プログラム６Ｐを読み出し、メモリ６１に各種情報を読み書きしながら前記制御プログラム６Ｐを実行することにより、以下の各機能を実現する。

ＣＰＵ６０は、事前接客部１のコイン投入口にて所定料金の投入を受け付けた場合に事前接客部１から出力される制御信号を入力し、タッチパネル式のディスプレイに操作画面を出力させ、スピーカから案内音声を出力させる。また、ＣＰＵ６０は、事前接客部１のディスプレイに表示されている操作画面上の操作に対応する情報を事前接客部１から入力する。具体的にはＣＰＵ６０は、ディスプレイ上の操作により、ユーザの名前、通信部５からの送信先アドレスに係る情報等を入力する。

ＣＰＵ６０は、撮影部２にてカメラ２１から得られるモニタ用の映像信号をキャプチャ・クロマキーボード６３が入力するように制御し、キャプチャ・クロマキーボード６３から映像信号に含まれる各フレームの画像データを取得し、取得したフレームの画像データに基づいてライブ画面用の画像の映像信号を作成し、作成した画像信号をディスプレイ２２へ出力する。またＣＰＵ６０は、撮影開始及び案内をユーザに通知するための撮影ガイドの画像信号をディスプレイ２２へ出力し、音声信号をスピーカ２４へ出力する。

ＣＰＵ６０は、撮影部２のカメラ２１による撮影と照明装置群２３によるフラッシュ点灯とを同期させて撮影を行なう。なおＣＰＵ６０は、カメラ２１による撮影を複数回実行する。ＣＰＵ６０は、撮影により得られる画像の複数の画像データをカメラ２１から取得し、夫々を区別できるように識別情報を付与してＨＤＤ６２に記憶すると共に、複製して画像処理部７へ出力する。

ＨＤＤ６２は、ＣＰＵ６０が参照する各種情報を記憶する。ＨＤＤ６２は、ＣＰＵ６０が実行する制御プログラム６Ｐを予め記憶している。ＨＤＤ６２は、制御プログラム６Ｐのほかに、事前接客部１のディスプレイ及び撮影部２のディスプレイ２２に表示する画像及びフォントデータ、事前接客部１のスピーカ及び撮影部２のスピーカ２４から出力させる音声及び音楽等のデータを予め記憶している。また、ＨＤＤ６２には、撮影部２における写真撮影で得られる画像データが記憶される。

キャプチャ・クロマキーボード６３は、キャプチャ機能及びクロマキー機能を有する回路基板である。キャプチャ・クロマキーボード６３は、映像信号から毎秒３０（２９．９７）枚のフレームの画像データを取得して静止画像として出力するキャプチャ機能を有する。またキャプチャ・クロマキーボード６３は、静止画像から一定の範囲で所定の色調及び明度を有すると判断される画素を抽出し、抽出した画素に対してα値（透明度）を設定することにより一部の色を透明化して出力するクロマキー機能を有する。キャプチャ・クロマキーボード６３は、カメラ２１からのモニタ用の映像信号から順次フレームをキャプチャし、キャプチャして得られた静止画像に必要に応じてクロマキー処理を実行し、内蔵するメモリに書き込む。ＣＰＵ６０は、キャプチャ・クロマキーボード６３内蔵のメモリから静止画像を順次読み出して、撮影部２のディスプレイ２２に表示するライブ画面用の画像の画像信号を作成する。

画像処理部７は、第２ＰＣに備えられたＣＰＵ７０と、メモリ７１と、ＨＤＤ７２と、グラフィックボード７３とを備える。メモリ７１は、ＤＲＡＭ又はＳＤＲＡＭ等のＲＡＭを用いる。

ＣＰＵ７０は、ＨＤＤ７２に記憶されている画像処理プログラム７Ｐを読み出し、メモリ７１に各種情報を読み書きしながら前記画像処理プログラム７Ｐに基づく画像処理を実行する。またＣＰＵ７０は、制御部６から出力された画像データを、付与されている識別情報と共にメモリ７１又はＨＤＤ７２に記憶し、該画像データを基に加工処理を行なう。加工処理には、画像中の人物の顔を小顔にする加工、顔の頬部分の色味を明るくする（チーク）加工、髪に艶を出す加工、髪色を明るくする加工、目を大きくする加工、体のラインを細く見せるための加工、脚を長く見えるようにする加工等、種々の加工が含まれる。加工処理については詳細を後述する。なおこれらの加工処理の内の一部では、加工具合の強弱（多少）を複数の段階に分けて実行してもよい。ＣＰＵ７０は、加工の種類毎に段階数分だけ複製した画像データをメモリ７１又はＨＤＤ７２に記憶し、各画像データに夫々の段階で加工処理を実行し、加工後の複数の画像データをメモリ７１又はＨＤＤ７２に記憶する。

更にＣＰＵ７０は、メモリ７１又はＨＤＤ７２に記憶してある撮影により得られた上述の加工処理前及び加工処理後の複数の画像データに基づき、第１編集部３ａ又は第２編集部３ｂにて落書き操作を受け付ける。ＣＰＵ７０は、落書き操作として受け付けた操作の内容に応じて、後述する落書き用操作画面のプレビュー表示部に表示する手書き文字又はメイクを含むスタンプ等の画像データを作成する。ＣＰＵ７０は、作成した画像データを第１編集部３ａ又は第２編集部３ｂのディスプレイへ出力する。更にＣＰＵ７０は、落書き用操作画面のプレビュー表示部に表示されている確定した編集内容に応じて合成画像データを作成する。更にＣＰＵ７０は、作成された合成画像データに基づき画像を写真シールシートに印刷出力する処理、合成画像データ又は合成処理前の画像データを通信部５から外部サーバ装置へ送信する処理を実行する。

なおＨＤＤ７２は、ＣＰＵ７０が参照する各種情報を記憶する。ＨＤＤ７２は、ＣＰＵ７０が実行する画像処理プログラム７Ｐを予め記憶している。ＨＤＤ７２は、第１編集部３ａ及び第２編集部３ｂのディスプレイに表示する案内用の文字画像、合成用の素材である文字、フォントデータ又は画像、スピーカから出力させる音楽及び音声等のデータを予め記憶している。ＨＤＤ７２は、合成用の素材である文字、フォントデータ、背景画像、及び前景画像等のデータを予め記憶している。ＨＤＤ７２は、受け付けた編集に基づく画像処理により得られた画像データ、合成後の画像の画像データが記憶される。

グラフィックボード７３は、入力した画像データ及び描画命令に基づいて画像を描画し、描画した画像の画像データを出力するハードウェアである。ＣＰＵ７０は、制御部６から取得して記憶した画像データに対する画像処理を、グラフィックボード７３を用いて行なう。具体的には、ＣＰＵ７０は画像データと、目的の画像を得るための描画命令とをグラフィックボード７３に与えて処理を行なわせ、描画処理によって得られた画像の画像データをグラフィックボード７３内蔵のメモリから入力する。描画処理には、拡縮、回転、移動、クロマキー機能、トリミング機能、α化機能、明度又は色調等の調整機能、フィルタ機能、合成機能等が含まれる。

図３は、本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。以下の処理は、事前接客部１のタッチパネル式のディスプレイにおける操作及びコイン投入を制御部６のＣＰＵ６０によって検知した場合に開始される。

ＣＰＵ６０は、事前接客部１のタッチパネル式のディスプレイにて、ユーザの名前の入力、撮影コースの選択、出力されるシートデザイン（背景）の選択、又はアングル選択等を受け付ける（ステップＳ１０１）。ＣＰＵ６０は、撮影エリアＡの空き状況を確認した上で、撮影エリアＡが空いている場合には移動を促す移動案内画面をディスプレイに表示させると共に案内音声を出力する（ステップＳ１０２）。

次にＣＰＵ６０は、撮影エリアＡ内にて撮影部２のディスプレイ２２に、ステップＳ１０１で選択された撮影モード又はシートデザインに応じた撮影内容の案内画面を表示させ、案内音声及びＢＧＭをスピーカ２４から出力させる（ステップＳ１０３）。このとき案内画面には、撮影部２のカメラ２１のモニタ出力に基づくライブ映像と、各撮影回のポーズ見本とが含まれるとよい。

ＣＰＵ６０は、ステップＳ１０１で選択された撮影モード又はシートデザインに応じて、制御部２のカメラ２１及び照明装置群２３を制御して複数回の撮影を実行する（ステップＳ１０４）。ＣＰＵ６０は、各回の撮影により得られる画像データを相互に識別することが可能にＨＤＤ６２に記憶する（ステップＳ１０５）。ステップＳ１０４における複数回の撮影では、ステップＳ１０１で選択された撮影モード又はシートデザインに応じて、腰から上のアップの撮影及び足先も含む全身の撮影を区別する。そして各回の撮影では、アップ撮影なのか、全身撮影なのか等に応じて適切なカメラ２１の傾き（俯角）、画角、照明の明暗で撮影が実行されるように制御するとよい。

撮影が完了するとＣＰＵ６０は、編集エリアＢの空き状況を確認した上で、空いている場合には編集エリアＢの第１編集部３ａ又は第２編集部３ｂのいずれかへの移動を促す案内画面をディスプレイ２２に表示させると共に、案内音声をスピーカ２４から出力させ（ステップＳ１０６）、制御部６における処理を終了する。なお以下の説明は第１編集部３ａへ移動を促した場合を例に説明するが、第２編集部３ｂへ促した場合も同様の処理となるので詳細な説明は省略する。

次に画像処理部７における処理へ移行する。画像処理部７のＣＰＵ７０は、制御部６のＣＰＵ６０によりＨＤＤ６２に記憶された画像データを取得する（ステップＳ１０７）。ＣＰＵ７０は、取得した複数のデータ毎に、所定の画像処理を実行する（ステップＳ１０８）。ここで所定の画像処理とは例えば以下のような処理である。ＣＰＵ７０はステップＳ１０８において、得られた複数の画像データに基づく画像から夫々、人物被写体を特定し、特定された人物被写体のマスク画像を作成し、人物被写体が適切に納まるようにトリミングを実行する。更にＣＰＵ７０は、抽出した１又は複数の人物被写体領域毎に、顔認識技術に基づいて顔領域（輪郭）、並びに顔領域内の目、鼻、及び口の領域を特定する。ＣＰＵ７０は、特定された領域に基づいて顔を小顔にする加工、顔の頬部分の色味を明るくする（チーク）加工、髪に艶を出す加工、髪色を明るくする加工、目を大きくする加工、体のラインを細く見せるための加工、脚を長く見せる加工等の加工処理を実行する。なおこれらの加工処理の内、体のラインを細く見せ、且つ脚を長く見せる加工を含むスタイル補正処理について、詳細を後述する。

ＣＰＵ７０は、ステップＳ１０８の画像処理後、次の落書き操作画面を第１編集部３ａのディスプレイ３０ａに表示させると共に、案内音声及び音楽をスピーカ３３ａから出力させる（ステップＳ１０９）。ＣＰＵ７０は、落書き操作画面上でディスプレイ３０ａ及びタッチペン３１ａにより落書き操作を受け付ける（ステップＳ１１０）。

ＣＰＵ７０は、撮影により得られた画像データに基づくステップＳ１０８の画像処理後の画像に、ステップＳ１０１で選択されたシートデザインの画像と、ステップＳ１０９の落書き操作で受け付けた文字又は画像とを合成する処理を実行する（ステップＳ１１１）。ＣＰＵ７０は、合成処理後の写真シールシートのプレビュー含む画面をディスプレイ３０ａに表示させる（ステップＳ１１２）。

ＣＰＵ７０は、印刷部４のプリンタが使用中であるか否かを確認した上で、使用中でない場合に印刷部４のプリンタにて写真シールシートの印刷出力を開始させる（ステップＳ１１３）。印刷出力処理が行なわれている間に、ＣＰＵ７０は、撮影された複数の画像の内、情報端末装置から入手可能とする画像の選択、情報の送信先アドレスの入力等の操作を第１編集部３ａのディスプレイ３０ａにて受け付ける（ステップＳ１１４）。ＣＰＵ７０は、受け付けた操作に応じて選択された画像の画像データを外部サーバ装置へ送信する（ステップＳ１１５）。ＣＰＵ７０は印刷出力処理が終了するまで、第１編集部３ａのディスプレイ３０ａにゲーム待機中画面を表示し（ステップＳ１１６）、印刷出力処理が完了した場合にはディスプレイ３０ａに印刷部４の前への移動を促す案内画面を表示させると共に、案内音声を出力させて（ステップＳ１１７）、処理を終了する。

図３のフローチャートに示した処理が行なわれることにより、ユーザらは、撮影遊戯機における撮影自体を楽しむと共に、印刷出力された写真シールシートと、外部サーバ装置を介した画像データとを得ることができる。

上述のステップＳ１０８において実行される所定の画像処理の内、スタイル補正処理について説明する。図４は、スタイル補正処理の手順の一例を示すフローチャートである。ＣＰＵ７０は、全身撮影により得られた画像を取得する（ステップＳ２１）。予め選択されたシートデザイン、アングル等（図３のＳ１０１）の設定に応じて、撮影の回数毎の画角及び俯角、照明の明暗が設定され、その設定情報が一回のプレイ毎に記憶される。設定情報に基づいて撮影部２はカメラ２１の俯角及び画角、照明装置群２３を制御する。そして画像処理部７のＣＰＵ７０は該設定情報に基づいて、全身撮影による画像データを特定して取得することが可能である。

ＣＰＵ７０は、取得した画像に対して抽出されている人物被写体領域に基づいて、人物被写体の脚の状態を推定判断する（ステップＳ２２）。ステップＳ２２の脚の状態の推定判断処理については詳細を後述する。

ＣＰＵ７０は推定判断された脚の状態が、脚を曲げている状態であるか否かを判断する（ステップＳ２３）。ここで脚を曲げている状態とは例えば片方の脚の膝から先を、後ろ向き又は横方向へ持ち上げ、膝から先の脚部分が床に対して垂直でない方向に向かっている状態である。持ち上げている脚の足先は床に着いていてもよい。また、両脚を交差させて立っている状態であって脚部分が床に対して垂直でない状態も含まれてもよいし、一方の脚をカメラ２１側へ伸ばして出している状態であってもよい。

ステップＳ２３にて脚を曲げている状態でないと判断された場合（Ｓ２３：ＮＯ）、人物被写体は脚を曲げずに写っていると推定されるのでＣＰＵ７０は、膝下部分に対応する領域を特に伸長するスタイル補正処理を実行する（ステップＳ２４）。ステップＳ２４におけるスタイル補正処理は例えば、取得された矩形画像を全体として縦方向に伸長させる。画角及び俯角で予め判別されている画像内における床面を含まない範囲であって、統計的に膝部分が写る高さとしてＨＤＤ７２に記憶されている位置から下の領域を他領域よりも高い割合で縦方向に伸長させて行なわれる。

ステップＳ２３にて脚を曲げている状態であると判断された場合（Ｓ２３：ＹＥＳ）、人物被写体は脚を曲げて写っているか、又は脚ではないもの（カバン、スカート等）が大きく写っていると推定される。曲げた脚部分又は脚ではないものを、上述のステップＳ２４のように一部を特に伸長させた場合、極端に歪んで見える。そこでステップＳ２３で脚を曲げている状態であると判断された場合（Ｓ２３：ＹＥＳ）、ＣＰＵ７０は、脚部分を含む領域の伸長を複数箇所で分散して全体的に伸長させるスタイル補正処理を実行する（ステップＳ２５）。ステップＳ２５における伸長処理は例えば、画角及び俯角で予め判別されている画像内における床面を含まない範囲であって、統計的に股下が写る高さとしてＨＤＤ７２に記憶されている位置から下の領域を均等な割合で縦方向に伸長させて行なわれる。

ステップＳ２２における脚の状態の推定判断処理について詳細に説明する。図５は、脚の状態の推定判断の処理手順の一例を示すフローチャートである。

ＣＰＵ７０は、取得した画像に対して抽出されている人物被写体領域についてのマスク画像（人物被写体領域に対応する画素がα化されている画像）を取得する（ステップＳ３０１）。なおＣＰＵ７０は、取得したマスク画像は例えば画像サイズ（縦横）を１／１０に縮小してから以下の処理を実行する。

ＣＰＵ７０は、マスク画像から脚部分を含む矩形領域を抽出する（ステップＳ３０２）。ステップＳ３０２で抽出される矩形領域は、画角及び俯角で予め判別されている画像内における床面を含まない範囲であって、統計的に股下が写る高さとしてＨＤＤ７２に記憶されている位置から下の領域である。

ＣＰＵ７０は、抽出した矩形領域内の人物被写体領域の輪郭を特定する（ステップＳ３０３）。輪郭の特定はグラフィックボード７３のフィルタ処理を利用してもよい。ＣＰＵ７０は、画像内における所定の向き（例えば、画像の左上から下方向及び右方向）に順に、輪郭上に所定間隔で代表点を特定する（ステップＳ３０４）。所定間隔とは例えば、元の画像サイズが約３０００ピクセル×５０００ピクセルであって、マスク画像を１／１０に縮小してから用いる場合、１５ピクセル間隔とする。所定間隔は画像サイズ及び縮小率から定められてもよいし、又は画像内における顔、頭、肩幅等の身体の大きさに応じて決められてもよい。

ＣＰＵ７０は、各代表点における輪郭に対する接線ベクトルを算出する（ステップＳ３０５）。接線ベクトルは長さが規準化（例えば１０ピクセル分の長さ）されているとよい。算出された各接線ベクトルに対してＣＰＵ７０は、画像における横方向の成分の長さを算出し（ステップＳ３０６）、全代表点の横方向の成分の長さの合計を算出する（ステップＳ３０７）。

ＣＰＵ７０は、算出された合計値がＨＤＤ７２に記憶されてある所定値以上であるか否かを判断する（ステップＳ３０８）。合計値が所定値以上であると判断された場合（Ｓ３０８：ＹＥＳ）、ＣＰＵ７０は脚を曲げている状態であると判断して（ステップＳ３０９）、処理を図４のステップＳ２３へ戻す。

ステップＳ３０８にて合計値が所定値未満であると判断された場合（Ｓ３０８：ＮＯ）、ＣＰＵ７０は脚を曲げていない状態であると判断して（ステップＳ３１０）、処理を図４のステップＳ２３へ戻す。

なおステップＳ３０４で特定した代表点の数が所定数以上である場合には、脚が写るべき領域に脚以外の物例えば、カバン、スカート等の服飾、又は他の人の脚以外体の一部が写っていることが推定されるので、ステップＳ３０５の処理は行なわないようにしてもよい。この場合は脚を曲げている状態と特定し、膝下部分を特に伸長させる処理（Ｓ２４）を行なわないようにしてもよい。

図５のフローチャートに示した例では、マスク画像に基づいて輪郭を特定し、特定した輪郭から脚と推定される部分が曲がっているか否かを判断した。しかしながら脚の状態を推定判断する処理は図５のフローチャートに示した手順に限られないことは勿論である。
更には例えば異なる方向から撮影するカメラを用いて、複数の方向からの画像に基づいて３次元的に脚部分の状態を推定するか、又は赤外線ＬＥＤ及び赤外線ＬＥＤからの反射光を検知するセンサを用いて脚部分の状態を立体的に捉えるなどしてもよい。

次に、図４のフローチャートに示した処理手順の内のステップＳ２４及びステップＳ２５の伸長処理、並びに図５のフローチャートに示した脚の状態の推定判断処理について、具体例を挙げて説明する。図６は、全身撮像により得られる画像の一例を示す説明図である。図６に示す画像は、図３におけるステップＳ１０８の所定の画像処理を行なう前の画像である。

図６に示す例では、図中右側に写っている人物は身体をカメラ２１に対して右側へ向け、左足を後ろ側に跳ね上げた姿勢を取っている。これにより図６中では人物被写体領域における脚の領域が横向き（外向き）に写っている。この右側に写っている人物も含めて二人の脚部分を伸長させるべく、例えば、床面より上の範囲であって膝下の部分を伸長させる処理を行なった場合、脚が横向きになっているので特に脹脛部分が極端に太く加工される可能性がある。

図７〜図１０は、脚の状態の推定判断の過程を示す説明図である。図７は図６に示す画像に対して作成されたマスク画像（人物被写体領域）から、ステップＳ３０２により抽出された矩形領域を示している。図７中白抜き部分はα値が比較的高い領域であり、人物被写体領域に対応する。図７中の２本の一点鎖線の内、下部に存在する一点鎖線は画像内における床面の背景側の境界に対応している。画像内における床面の背景側の境界の位置は、ＨＤＤ７２に予め記憶されている。また上部に存在する一点鎖線は、統計的に股下が写る高さに対応する。画像内における股下が写る高さについても、ＨＤＤ７２に予め記憶されている。

図８は、ステップＳ３０２で抽出された矩形領域内の輪郭上で特定された代表点を示し、図９は代表点上で算出された接線ベクトルを太線で示し、図１０は接線ベクトルの１つの拡大図である。図８のように、画像処理部７のＣＰＵ７０によるステップＳ３０４の処理で所定間隔毎に代表点が特定された場合、各代表点上での接線ベクトルは図９のように画像内の左上から輪郭をなぞるようにして算出される。図１０の拡大図に示すように、輪郭に対する接線ベクトルは画像における縦方向の成分と横方向の成分とに分解され、接線ベクトルの大きさを例えば１０とした場合の各成分の長さ（スカラ値）が算出される。図６の画像の場合、図９に示す各代表点上の接線ベクトルの横方向の成分の長さの合計値は、脚が横向きに写っているために所定値以上であると判断される。

このように、奥行き方向の情報がない二次元の撮影画像から輪郭の接線ベクトルの横方向の成分の長さの合計を算出し、所定値と比較することで脚が曲がっているか否かを判断する。各代表点で抽出された矩形領域内全体での横向き成分の長さの合計をとることによって、全体として脚が横向きに曲がっている状態を推定判断できる可能性が高まるとの知見が得られたためである。

図１１は、スタイル補正処理における２つの伸長処理の差異を示す説明図である。図１１中の上部の矩形はスタイル補正処理前の矩形画像を示しており、更に該矩形画像を横８、及び縦１０に分割するメッシュ線が示されている。下部の２つの矩形の内のＡは、図４のフローチャートにおけるステップＳ２４の処理に対応し、膝下範囲を他領域よりも長く伸長させる場合のメッシュの変形態様を示している。２つの矩形の内のＢは、図４のフローチャートにおけるステップＳ２５の処理に対応し、脚部分を全体的に複数箇所で分散させるようにして伸長させる場合のメッシュの変形態様を示している。

図１１にて示されているように、ステップＳ２４に対応するメッシュの変形（Ａ）では脚の膝下部分が写るであろう領域が、他領域よりも極端に長く縦方向に伸長されている。具体的には、脚部分領域を２０％縦方向に伸長させるとした場合、図１１の変形（Ａ）では特に伸長させている部分（矢印に示す膝下部分）でほぼ２０％伸長させる。これにより脚長に見える効果が期待できる。また腰の周辺の領域では、胴体が短めに写るように他領域よりも縦方向に収縮されている。これにより、同様にして脚長に見える効果が期待できる。そしてスタイル補正のために、全体的に画像の上部の横幅を下部の横幅よりも縮小させるように変形されている。つまり人物被写体領域の上部が画像の奥行き方向における奥側へ倒されるような変形とされている。これにより、人物被写体領域が全体的に縦方向に引き伸ばされ、手足が長くすらっとしたスタイルへの補正が実現される。更にステップＳ２４に対応するメッシュの変形では、撮影空間の中での撮影では足（靴）は大きめに写るから、床面に対応する領域は縦方向に収縮させるように変形されている。

そして図１１に示されているように、ステップＳ２５に対応するメッシュの変形（Ｂ）では、ステップＳ２４に対応するメッシュの変形と比較して他領域よりも極端に長く伸長されている領域はない。具体的には、上述のメッシュの変形（Ａ）では膝下部分で２０％伸長させていたのに対し、変形（Ｂ）では膝下部分を５％として残りの脚領域に対応するメッシュ部分で各２％ずつ伸長させる。ステップＳ２５に対応する変形でも腰の周辺の領域では、胴体が短めに写るように他領域よりも縦方向に収縮されているが、脚部分における領域の伸長の程度は全体的に均等に分散している。これにより、一部の領域が極端に引き伸ばされていることで逆に目立つことが回避されつつも、脚長に見える効果が期待できる。ステップＳ２５に対応する変形でも同様に、全体的に画像の上部の横幅を下部の横幅よりも縮小させるように変形されている。つまり人物被写体領域の上部が画像の奥行き方向における奥側へ倒されるような変形とされている。人物被写体領域が全体的に縦方向に引き伸ばされ、手足が長くすらっとしたスタイルへの補正が実現される。

なお図１１のステップＳ２５に対応するメッシュの変形（Ｂ）では、脚部分における領域の伸長の程度は全体的に均等である。しかしながらこれに限らず、横向きの成分の長さが比較的大きな接線ベクトルが算出される代表点を含む範囲は伸長させないように構成してもよい。この場合、他の範囲で伸長させるように伸長の程度に差異を設けるようにしてもよい。更に、横向きの成分の長さに応じて、伸長の程度を全体に均等としたパターンから膝下部分をより強調して伸ばすパターンとの中間の段階を含む複数のパターンで脚部分を伸長させ、選択可能な構成としてもよい。

図１２は、図６に示した画像に対するスタイル補正処理の結果を示す説明図である。なお図１２は、図６の画像の内の特に脚の部分のみを拡大して示している。図１２中の上部には図１１のＡのメッシュの変形を適用した場合（Ｓ２４）のスタイル補正の結果を示し、下部には図１１のＢのメッシュの変形を適用した場合（Ｓ２５）のスタイル補正の結果を示している。図１２の上部及び下部を比較した場合、上部のスタイル補正の結果では右側に写っている人物の左脚が横向きになっているので特に脹脛部分が極端に太く見えるように加工されている。下部のスタイル補正の結果では、脚の領域の特定の箇所が極端に太く、又は極端に細長く加工されていることはなく、全体として縦方向に伸長されていることが明らかである。

上述に示したメッシュに基づく伸長処理は、全身撮影により得られた画像に対して行なわれる。カメラ２１の画角又は俯角に応じてメッシュに基づく伸長処理をするかしないかの設定を行なったり、伸長処理を行なう場合でも画角又は俯角に応じてメッシュの変形態様を調整したりするとよい。これにより自然に且つスタイル良く写る撮影結果が得られる。

なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

７ 画像処理部
７０ ＣＰＵ
７１ メモリ
７２ ＨＤＤ
７３ グラフィックボード
７Ｐ 画像処理プログラム

Claims (7)

1. 人物被写体を撮影する撮影装置から画像データを取得する取得手段と、取得した画像データに基づく画像から人物被写体領域を抽出する抽出手段とを備え、前記画像の前記人物被写体領域を含む範囲を前記人物被写体の身長方向に伸長させる画像処理を行なう画像処理装置において、
   前記画像内の人物被写体の脚が曲げられた状態であるか否かを判断する判断手段と、
   前記判断手段により脚が曲げられた状態であると判断された場合と、前記状態でないと判断された場合とで、前記人物被写体の脚部分を含む１つの矩形領域を、相異なるパターンで伸長する伸長手段と
   を備えることを特徴とする画像処理装置。
2. 前記伸長手段は、前記矩形領域を、縦横に複数の領域に区分し、
   前記判断手段により脚が曲げられた状態でないと判断された場合、前記伸長手段は、区分された前記複数の領域の膝下部分に対応する領域を、他領域よりも長く伸長する第１伸長手段と、
   前記判断手段により脚が曲げられた状態であると判断された場合、区分された複数の領域の脚部分に対応する領域を略均等に身長方向へ伸長する第２伸長手段と
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記判断手段は、
   前記人物被写体領域の輪郭を特定する手段と、
   特定された輪郭の内、脚部分が含まれる所定範囲内における輪郭線の画像内における前記身長方向に対する向きを特定する向き特定手段と
   を備え、
   該向き特定手段により特定された向きが横向きと判断された場合に、脚を曲げている状態であると判断する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記向き特定手段は、
   輪郭線上に所定間隔で複数の点を特定する手段と、
   前記複数の点における前記輪郭線の接線の前記画像内の横方向における大きさの合計を算出する手段と、
   算出された合計が所定値よりも大きいか否かを判断する手段と
   を備え、
   該判断する手段により大きいと判断された場合に横向きと判断する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第２伸長手段は、区分された前記複数の領域の内、曲げられた脚部分を含まない領域を伸長させる
   ことを特徴とする請求項２に記載の画像処理装置。
6. 人物被写体を撮影する撮影装置から画像データを取得する手段、取得した画像データに基づく画像から人物被写体領域を抽出する手段を備える画像処理装置が、前記画像の前記人物被写体領域を含む範囲を前記人物被写体の身長方向に伸長させる画像処理を行なう画像処理方法において、
   前記画像処理装置は、
   前記画像内の人物被写体の脚が曲げられた状態であるか否かを判断し、
   脚が曲げられた状態であると判断された場合と、前記状態でないと判断された場合とで、前記人物被写体の脚部分を含む１つの矩形領域を、相異なるパターンで伸長する
   ことを特徴とする画像処理方法。
7. 撮影装置と接続されるコンピュータに、前記撮影装置から画像データを取得し、該画像データに基づく画像から人物被写体領域を抽出し、前記画像の前記人物被写体領域を含む範囲を人物被写体の身長方向に伸長させる画像処理を実行させるコンピュータプログラムにおいて、
   前記コンピュータに、
   画像内の人物被写体の脚が曲げられた状態であるか否かを判断するステップ、及び
   脚が曲げられた状態であると判断された場合と、前記状態でないと判断された場合とで、前記人物被写体の脚部分を含む１つの矩形領域を、相異なるパターンで伸長するステップ
   を実行させることを特徴とするコンピュータプログラム。