JPWO2007020789A1 - 顔画像表示装置、顔画像表示方法及び顔画像表示プログラム - Google Patents

顔画像表示装置、顔画像表示方法及び顔画像表示プログラム Download PDF

Info

Publication number
JPWO2007020789A1
JPWO2007020789A1 JP2006551132A JP2006551132A JPWO2007020789A1 JP WO2007020789 A1 JPWO2007020789 A1 JP WO2007020789A1 JP 2006551132 A JP2006551132 A JP 2006551132A JP 2006551132 A JP2006551132 A JP 2006551132A JP WO2007020789 A1 JPWO2007020789 A1 JP WO2007020789A1
Authority
JP
Japan
Prior art keywords
face
area
moving image
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006551132A
Other languages
English (en)
Other versions
JP4538008B2 (ja
Inventor
津田 宗孝
宗孝 津田
平松 修治
修治 平松
鈴木 章
章 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of JPWO2007020789A1 publication Critical patent/JPWO2007020789A1/ja
Application granted granted Critical
Publication of JP4538008B2 publication Critical patent/JP4538008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

人物の顔を表す画像を表示する場合に、顔に着目した動画像として表示できる顔画像表示装置を提供する。顔領域検出部(21)が、複数の人物の顔を表す対象画像の中から、顔が表された顔領域を検出し、動的抽出領域生成部(22)が、前記顔領域検出手段により検出される前記顔領域に基づいて、前記対象画像中において位置又は面積の少なくとも一方を時間とともに変化させる動的抽出領域を生成し、動画像出力部(27)が、前記動的抽出領域中の画像を順に抽出して動画像として出力する顔画像表示装置である。

Description

本発明は、人物の顔を表す画像を表示する顔画像表示装置、顔画像表示方法及び顔画像表示プログラムに関する。
通常、人物などが撮像された写真などの画像データを画像表示装置が表示する場合、画像の全体を表示する。また、動きを伴う動画像として画像を表示する場合は、暗転した状態から画像全体の明度を徐々に上げて表示したり、画像の所定の位置から徐々にズームアウトすることで全体の画像を表示したりするなどの方法を用いる場合がある。
しかしながら、上記従来例による動画像は、画像の内容に着目して生成されたものではないため、比較的単調であり、利用者にとって娯楽性に欠ける。また、画像の中で重要度の比較的低い部分に利用者の注意を向けさせてしまうことになるという問題がある。
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、人物の顔を表す画像を表示する場合に、顔に着目した動画像として表示できる顔画像表示装置、顔画像表示方法及び顔画像表示プログラムを提供することにある。
上記課題を解決するための、本発明に係る顔画像表示装置は、複数の人物の顔を表す対象画像の中から、顔が表された顔領域を検出する顔領域検出手段と、前記顔領域検出手段により検出される前記顔領域に基づいて、前記対象画像中において位置又は面積の少なくとも一方を時間とともに変化させる動的抽出領域を生成する動的抽出領域生成手段と、前記動的抽出領域中の画像を順に抽出して動画像として出力する動画像出力手段と、を含むことを特徴とする。
また、本発明に係る顔画像表示方法は、コンピュータを用いて、複数の人物の顔を表す対象画像の中から、顔が表された顔領域を検出するステップと、前記顔領域検出手段により検出される前記顔領域に基づいて、前記対象画像中において位置又は面積の少なくとも一方を時間とともに変化させる動的抽出領域を生成するステップと、前記動的抽出領域中の画像を順に抽出して動画像として出力するステップと、を実行することを特徴とする。
また、本発明に係る顔画像表示プログラムは、複数の人物の顔を表す対象画像の中から、顔が表された顔領域を検出する顔領域検出手段、前記顔領域検出手段により検出される前記顔領域に基づいて、前記対象画像中において位置又は面積の少なくとも一方を時間とともに変化させる動的抽出領域を生成する動的抽出領域生成手段、及び前記動的抽出領域中の画像を順に抽出して動画像として出力する動画像出力手段、としてコンピュータを機能させることを特徴とする。
また、本発明に係る情報記録媒体は、複数の人物の顔を表す対象画像の中から、顔が表された顔領域を検出する顔領域検出手段、前記顔領域検出手段により検出される前記顔領域に基づいて、前記対象画像中において位置又は面積の少なくとも一方を時間とともに変化させる動的抽出領域を生成する動的抽出領域生成手段、及び前記動的抽出領域中の画像を順に抽出して動画像として出力する動画像出力手段、としてコンピュータを機能させるプログラムを格納したコンピュータで読み取り可能な情報記録媒体である。
本発明の実施の形態に係る顔画像表示装置の構成を表すブロック図である。 本発明の実施の形態に係る顔画像表示装置の機能を表す機能ブロック図である。 本発明の実施の形態に係る顔画像表示装置による処理の対象となる、対象画像の一例を模式的に表す図である。 動的抽出領域決定部が移動経路を決定する場合における、対象画像上の動的抽出領域の移動経路の一例を表す図である。 動的抽出領域決定部が移動経路を決定する場合における、対象画像上の動的抽出領域の移動経路の別の一例を表す図である。 動的抽出領域決定部が移動経路に基づいて動的抽出領域を決定する場合における、動的抽出領域の移動速度の一例を模式的に表すグラフである。 動的抽出領域決定部が決定する動的抽出領域の一例を表す図である。 動画像出力部が出力する画像の一例を表す図である。
本発明の一実施形態に係る顔画像表示装置においては、顔領域検出手段が、複数の人物の顔を表す対象画像の中から、顔が表された顔領域を検出する。そして、動的抽出領域生成手段が、前記顔領域検出手段により検出される前記顔領域に基づいて、前記対象画像中において位置又は面積の少なくとも一方を時間とともに変化させる動的抽出領域を生成する。さらに、動画像出力手段が、前記動的抽出領域中の画像を順に抽出して動画像として出力する。
これにより、本実施形態に係る顔画像表示装置は顔領域に着目した動画像を出力できる。
ここで、前記動的抽出領域生成手段は、前記顔領域を1又は複数含む注目領域を決定する注目領域決定手段と、前記注目領域を抽出する抽出順序を所定の条件に基づいて決定する抽出順序決定手段と、前記注目領域及び前記抽出順序に基づいて前記動的抽出領域を決定する動的抽出領域決定手段と、を含むこととしてもよい。
さらに、上記の場合において、前記抽出順序決定手段は、前記注目領域に表された顔の数、前記注目領域の大きさ又は前記注目領域の前記対象画像内の位置のうち少なくともいずれか一つに基づいて抽出順序を決定することとしてもよい。
これにより、本実施形態に係る顔画像表示装置は、顔領域を含む注目領域の特徴に応じた順序により、注目領域を表示する動画像を出力できる。
また、前記動的抽出領域決定手段は、前記動的抽出領域を、前記注目領域の前記対象画像中の位置に基づいて決定する移動経路に沿って、前記対象画像中において位置を時間とともに変化させるように決定することとしてもよい。
これにより、本実施形態に係る顔画像表示装置は、顔領域を含む注目領域に合わせて移動しながら、対象画像の一部を順次表示する動画像を出力できる。
また、本実施形態に係る顔画像表示装置は、前記動画像出力手段が複数の対象画像に基づいて前記動画像を出力する場合に、前記顔領域検出手段が1又は複数の他の対象画像の中から顔領域を検出する検出時間を予測する検出時間予測手段をさらに含み、前記動画像出力手段は、前記検出時間予測手段により予測された検出時間に基づいて決定した時間にわたり前記動画像を出力し、前記顔領域検出手段は、前記動画像出力手段による前記動画像の出力期間中に、前記1又は複数の他の対象画像に含まれる顔領域を検出することとしてもよい。
これにより、本実施形態に係る顔画像表示装置は、顔領域の検出にかかる時間によりユーザを待たせることなく、複数の対象画像に表される注目領域を連続して表示する動画像を出力できる。
また、本実施形態に係る顔画像表示装置において、前記動的抽出領域生成手段は、前記検出された顔領域の数、前記検出された顔領域の大きさ又は前記顔領域の前記対象画像内の位置のうち少なくともいずれか一つに基づいて、所定の動画像のパターン候補の中から動画像のパターンを選択し、当該選択したパターンに基づいて前記動的抽出領域を生成し、前記動画像出力手段は、前記選択したパターンに基づく動画像を出力することとしてもよい。
これにより、本実施形態に係る顔画像表示装置は、検出された顔領域に応じたパターンの動画像を出力できる。
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
本発明の実施の形態に係る顔画像表示装置は、図1に示すように、制御部11、記憶部12、表示部13及び操作部14を含んで構成されている。
ここで、制御部11は、例えばCPU等で構成されており、記憶部12に格納されているプログラムを実行する。記憶部12は、RAMやROM等のメモリ素子及び/又はディスクデバイス等を含んで構成されている。この記憶部12には、制御部11によって実行されるプログラムや本実施の形態において処理の対象となる対象画像のデータなどが格納されている。また、記憶部12は、制御部11のワークメモリとしても動作する。
表示部13は、例えばディスプレイ等であって、制御部11から出力された指示に従って、画像を表示する。操作部14は、ユーザの指示操作を受け付けて、当該指示操作の内容を制御部11に出力する。操作部14は、キーボードやマウスであってもよいし、家庭用ゲーム機のコントローラ等であってもよい。
本実施の形態に係る顔画像表示装置は、機能的には、図2に示すように、顔領域検出部21、動的抽出領域生成部22、検出時間予測部26及び動画像出力部27を含んで構成されている。
顔領域検出部21は、まず本実施の形態において処理の対象となる対象画像を取得する。対象画像は、記憶部12に保持されていてもよいし、図示しない通信部によりネットワークを介して取得することとしてもよい。そして、顔領域検出部21は、対象画像の中から顔が表された画像領域を、顔領域として検出する。
具体的には、例えば顔領域を矩形領域として検出する場合、顔領域の位置及び大きさを、対象画像の画素の大きさを単位として決定し、記憶部12に保持する。この場合、例えば矩形領域の左上の点や中心に位置する点を顔領域の代表点とし、顔領域の位置は当該代表点の対象画像上の位置座標として決定する。また、顔領域の大きさは、矩形領域の幅及び高さの二つの値として決定する。また、顔領域を円形の領域として検出する場合、円形の領域の中心点を代表点とし、大きさは円の半径を表す一つの値として決定する。あるいは、顔領域を楕円形の領域として決定してもよい。この場合には、楕円の中心を代表点とし、長軸及び短軸それぞれの半径を表す値により顔領域の大きさを特定する。
顔領域検出部21が顔領域を検出する方法は特に限定されず、様々な技術を用いることができる。例えば、顔領域検出部21は、予め学習によって獲得した顔の形状パターンに関する統計データを用いて、顔領域の検出を行うこととしてもよい。このような統計的手法を用いて顔領域を検出する場合、顔領域を検出するとともに、検出した領域が実際に顔を表す部分を含んでいる可能性を表す、尤度に関する値が得られる。これは、いわば当該領域の顔らしさを表す値であり、この顔らしさの値を後に抽出順序決定部24で用いることとしてもよい。また、顔の形状パターンから顔の向きを決定し、この情報を後に抽出順序決定部24で用いることとしてもよい。
さらに、顔領域検出部21は、顔領域の検出とともに、当該領域に含まれるのがどの人物の顔であるかを照合する処理を行ってもよい。過去に検出した顔領域がどの人物の顔に該当するかについて、ユーザが既に登録した顔情報などがあれば、顔領域検出部21は、例えば固有顔法などの顔照合技術により、検出した顔領域がどの人物の顔であるかを特定することができる。この情報は、後に抽出順序決定部24により注目領域の抽出順序を決定する際に用いることができる。これにより、例えばユーザの家族の写真などの画像を表示する場合に、写真に写っている人物に応じて表示するか否かを決定したり、人物に応じた表示順序及び表示方法で画像を表示したりすることができる。
また、顔領域検出部21は、検出した顔領域の属性に関する属性情報を取得してもよい。この属性情報には、例えば顔領域に表されている人物の若さ(年齢)に関する情報や、当該人物の表情に関する情報などが含まれる。具体的に、顔領域検出部21は、顔領域に対する周波数分析の結果や、顔領域に含まれる注目点(目や鼻、口の位置など)の位置関係等に基づいて、当該顔領域に含まれる人物の若さや表情などを推定することにより、このような属性情報を取得できる。この属性情報は、後に抽出順序決定部24が注目領域の抽出順序を決定する際に用いられる。これにより、例えば子供の顔を表す顔領域を優先して動画像の表示を行うなどの処理が実現できる。
動的抽出領域生成部22は、顔領域検出部21により検出される顔領域に基づいて、動的抽出領域を生成する。ここで、動的抽出領域は、対象画像中において位置又は面積の少なくとも一方が時間とともに変化する領域であり、時間の情報と対象画像中の位置及び大きさの情報を関連づけた情報により特定される。動画像出力部27は、当該領域に基づいて対象画像をクリッピングすることで、出力する動画像に表される画像を取得する。動的抽出領域を顔領域に基づいて決定することで、本実施の形態に係る顔画像表示装置は顔領域に注目した動画像を出力できる。
ここでは、動的抽出領域生成部22が、1又は複数の顔領域を含む画像領域を注目領域として決定し、注目領域を所定の条件に基づいた順序で抽出する動的抽出領域を生成する場合の例について説明する。この場合、動的抽出領域生成部22は、機能的に注目領域決定部23、抽出順序決定部24及び動的抽出領域決定部25を含んで構成される。
注目領域決定部23は、顔領域検出部21が検出した複数の顔領域について、これらの顔領域を必要に応じて所定の条件に従ってグルーピングすることにより、注目領域を決定する。注目領域は、1又は複数の顔が表された、対象画像の中に含まれる画像領域である。注目領域は、顔領域と同様に対象画像上の位置及び大きさを表す値により、特定される。
複数の顔領域をグルーピングする方法としては、例えば以下のようなものがある。すなわち、ある2つの顔領域が重複する場合に、重複する部分の面積が所定の閾値以上の場合に同じグループであると判定する。あるいは、単に重複する領域が存在すれば、同じグループであると判定してもよい。また、2つの顔領域について、それぞれの顔領域の代表点をP,Qとすると、PQ間の距離が所定の閾値以下の場合に同じグループであると判定してもよい。また、2つの顔領域について、当該2つの顔領域の隣接辺の間の距離が所定の閾値以下であるか、又は顔領域の大きさに対して所定の比率によって定まる値以下である場合に同じグループと判定してもよい。ここで、隣接辺は、2つの顔領域の外周を構成するそれぞれの辺(顔領域が円形や楕円形の領域である場合には、当該顔領域に外接する長方形の辺)のうち、一方の顔領域の辺と他方の顔領域の辺との間で最も距離が小さくなるような2つの辺の組である。注目領域決定部23は、これらの条件によって同じグループに属すると判定された1又は複数の顔領域に基づいて、注目領域を決定する。ここで、注目領域は、対象とする顔領域を全て包含するような大きさであってもよいし、それぞれの顔領域を所定の割合以上含むような大きさであってもよい。また、顔領域の周囲の、所定の画素数分の領域を含むような大きさであってもよい。あるいは、顔領域に含まれる顔の向きに応じて、例えば顔の下方向の領域を、顔領域の大きさに対して所定の比率によって定まる画素数分だけ含むように注目領域の大きさを決定してもよい。これにより、例えばバストアップの構図となるように人物の顔を含んだ注目領域を決定することができる。また、注目領域が顔領域を一つだけ含む画像領域である場合には、注目領域の形状及び大きさは顔領域と一致することとしてもよい。
また、注目領域決定部23は、顔領域を1つ含む注目領域を決定する場合などにおいて、注目領域の大きさを当該注目領域に含まれる顔領域の大きさに応じて決定してもよい。例えば注目領域決定部23は、前述したように顔領域の周囲の所定の画素数分の領域を含む領域を注目領域とする場合に、この所定の画素数を、顔領域の大きさに基づいて決定する。具体例として、注目領域決定部23は、所定の画素数を、顔領域の大きさが大きいほど小さい値に、逆に顔領域の大きさが小さいほど大きい値に決定する。こうすれば、注目領域決定部23が決定する注目領域の大きさは、顔領域検出部21が検出する顔領域の大きさほどばらつきが生じず、比較的近い大きさとなる。これにより、例えば後述するように動的抽出領域決定部25が注目領域に向かってズームインする動画パターンに応じた動的抽出領域を決定する場合に、動的抽出領域の大きさが時間とともに急激に変化することを抑制することができる。
注目領域決定部23により、対象画像に含まれる人物の顔を表す部分が、それぞれいずれかの注目領域に含まれるように、注目領域が決定される。例えば、図3により模式的に表される対象画像I1からは、3つの顔領域を含む注目領域A、1つの顔領域を含む注目領域B、2つの顔領域を含む注目領域Cがそれぞれ得られる。そして、以降の処理により、動的抽出領域生成部22は、この注目領域を所定の順序に基づいて抽出するように動的抽出領域を生成する。
抽出順序決定部24は、注目領域決定部23が決定した注目領域の中から、動画像出力部27が抽出する対象とする注目領域を決定し、抽出対象とする注目領域を所定の条件に基づいて並べ替えて、抽出順序を決定する。
具体的には、抽出順序決定部24は、例えばそれぞれの注目領域について、注目領域の特徴を表す値などに基づいてスコア値を算出する。そして、このスコア値に基づいて注目領域を抽出対象とするか否か、及び抽出対象とする注目領域をどのような順序で抽出するかを決定する。スコア値は、注目領域に表された顔の数や、注目領域の面積などに基づいて算出できる。また、スコア値は、注目領域に含まれる顔領域について、顔領域検出部21で得られた顔らしさに関する値や、その顔が誰の顔であるかなどの情報を用いて決定してもよい。
また、抽出順序決定部24は、スコア値を、注目領域に含まれる顔領域について前述した顔領域検出部21が取得した属性情報に基づいて決定してもよい。
さらに、スコア値は、これらの注目領域に関する情報を組み合わせて算出されることとしてもよい。例えば、注目領域に表された顔の数と、注目領域の面積に基づいてスコア値を算出する場合、対象画像I1において、注目領域A,B,Cのそれぞれのスコア値をSC,SC,SCとすると、以下の計算式によりスコア値を求めることができる。
SC=(S×a1)+(N×a2)
SC=(S×a1)+(N×a2)
SC=(S×a1)+(N×a2)
ここで、N,N,Nはそれぞれ注目領域A,B,Cに表された顔の数であり、S,S,Sはそれぞれ注目領域A,B,Cの面積を表す値である。また、a1,a2は予め定められた重み係数である。
それぞれの注目領域についてのスコア値を算出した後、抽出順序決定部24は、抽出順序を決定する。具体的には、例えばスコア値の大きい順に注目領域を並べ替えて、並べ替えた順序により抽出することとする。また、スコア値が所定の閾値以下の注目領域については、抽出対象から除外することとしてもよい。例えば上述の例において、SC>SC>SCであって、所定の閾値SCminに対してSC>SCmin,SCmin≧SCが成り立っている場合、抽出順序決定部24は注目領域Cを動的抽出領域決定部25による処理の対象から除外し、注目領域A,Bをこの順序で抽出するように抽出順序を決定する。このようにすれば、例えば風景を撮影した写真の画像などにおいて、背景に写ってしまった小さな人物の顔などは、処理の対象から除外することができる。
また、抽出順序決定部24は、スコア値により抽出順序を決定する方法に代えて、顔の向きに関する情報や、注目領域の位置により抽出順序を決定してもよい。この場合、例えば対象画像中において左側に位置する注目領域から順に抽出するように抽出順序を決定する。また、対象画像に写っている被写体のカメラからの距離に関する情報を、ピントに関する情報や被写体の像の重なりなどに基づいて取得できる場合、これらの情報に基づいて顔領域を手前から奥、又は奥から手前に並べた順序を決定し、この順序により抽出順序を決定してもよい。また、このような注目領域の情報によらずに、ランダムに抽出順序を決定してもよい。さらに、スコア値によらずに抽出順序を決定する場合であっても、前述した例と同じように注目領域についてスコア値を算出し、スコア値が所定の閾値以下である注目領域については、動画像出力部27が抽出する対象から除外することとしてもよい。
ここで、注目領域の位置に基づいて抽出順序を決定する方法の具体例について、説明する。例えば抽出順序決定部24は、対象画像中において所定の範囲内に含まれる注目領域を、抽出対象から除外する。こうすれば、例えば対象画像の外周の近傍にある注目領域を無視して、動的抽出領域を生成できる。また、抽出順序決定部24は、抽出対象から除外されない注目領域の中から、互いに最も距離の離れた2つの注目領域を検出し、当該2つの注目領域の一方を最初とし、他の一方を最後とするように、抽出順序を決定してもよい。
また、抽出順序決定部24は、抽出対象とする注目領域の決定と併せて、抽出対象とする注目領域が所定の条件を満たす場合、2以上の抽出対象となる注目領域に含まれている顔領域が1つの注目領域に含まれるように、注目領域を再設定することとしてもよい。例えば、抽出対象となる注目領域の数が所定の数以下の場合、これら抽出対象となる注目領域に含まれる顔領域を全て含むように注目領域の位置及び大きさを再設定する。あるいは、ある2つの注目領域について、2つの注目領域の代表点間の距離が所定の閾値以下の場合に、この2つの注目領域に含まれる顔領域を全て含むように注目領域を再設定することとしてもよい。これにより、例えば抽出対象となる注目領域の数が少ない場合などに応じて、望ましい注目領域を抽出することができる。
動的抽出領域決定部25は、注目領域決定部23が決定した注目領域と、抽出順序決定部24が決定した抽出順序に基づいて、対象画像中において位置又は面積の少なくとも一方を時間とともに変化させる動的抽出領域を決定する。具体的には、注目領域を抽出順序に従って抽出するように動的抽出領域を決定する。ここで、動的抽出領域決定部25は、動画像出力部27が出力する動画像のパターンに基づいて動的抽出領域を決定する。また、動的抽出領域の形状は、上記動画像のパターンにより決定される。
動画像出力部27が出力する動画像のパターンとして、後述するモーフィング処理を用いるパターンや、フェードイン・フェードアウトによるパターンを用いる場合、動的抽出領域決定部25は、動的抽出領域の位置及び面積を以下のように決定する。すなわち、まず1番目の抽出順序に対応する注目領域を含むように、対象画像中の位置及び面積を決定する。次いで、所定の条件により決定した単位時間が経過した後、次の抽出順序に対応する注目領域を含む対象画像中の位置及び面積に変化させるように動的抽出領域を決定する。これを繰り返して、抽出順序決定部24が決定した抽出順序で、注目領域を含む位置及び面積に順次動的抽出領域を変化させる。
ここで、前述した単位時間は、予め定められた時間であってもよいし、当該対象画像に基づいて生成した動画像全体を出力する標準出力時間Tminに基づいて決定してもよい。ここで、標準出力時間Tminは、予め定められた時間であってもよいし、表示する注目領域の数に基づいて決定した時間であってもよい。また、標準出力時間Tminと後述する検出時間予測部26により算出された予測時間に基づいて、単位時間を決定してもよい。
これとは別の動画像出力部27が出力する動画像のパターンとしては、注目領域の対象画像中の位置に基づいて決定した移動経路に沿って動的抽出領域を移動させることにより、対象画像中を移動する動画像を出力するパターンがある。以下では、この場合に動的抽出領域決定部25が動的抽出領域を決定する処理について、詳しく説明する。
まず、動的抽出領域決定部25は、対象画像上で動的抽出領域を移動させる移動経路を決定する。移動経路は、例えば注目領域の代表点を抽出順序決定部24が決定した順序で通るように決定される。移動経路は、各代表点を直線で結んだ折れ線であってもよいし、各代表点を通過するようなスプライン曲線であってもよい。また、ベジェ曲線を用いて移動経路を決定してもよいが、この場合最終的に動的抽出領域が注目領域を通過するようにベジェ曲線を補正する必要がある。これにより、動的抽出領域決定部25は抽出すべき注目領域を所定の順序により通過するように動的抽出領域を決定するため、動画像出力部27は注目領域を所定の順序で表示する動画像を出力できる。
図4は、図3に示した対象画像I1の例において、注目領域A,B,Cをこの順に表示する場合の、移動経路の例を示す図である。この図において、注目領域A,B,Cの代表点がそれぞれC,C,Cであり、移動経路はこの3点を結ぶ曲線Rとなる。動的抽出領域は、この移動経路Rに沿って点C,C,Cをこの順で経由して移動するように決定される。
また、移動経路は必ずしも注目領域の代表点上を通過しなくともよい。例えば、各注目領域の外周上の全ての点について、各点から移動経路までの距離hが所定の閾値以下になるように移動経路を決定する。そして、上記の距離hのうち、最大となる距離hmaxに基づいて、動的抽出領域の大きさを決定する。これにより、移動経路が注目領域の代表点を通過しない場合でも、動画像出力部27は動的抽出領域によりクリッピングした画像を順次取得することにより、注目領域を表示させる動画像を出力できる。
具体的には、例えば各代表点の位置を直線で近似し、当該直線を最大距離hmaxが最小となるように平行移動して、得られた直線を移動経路とする。これにより、注目領域がほぼ直線上に並んでおり、抽出順序決定部24が注目領域の抽出順序を注目領域の位置に基づいて決定した場合には、動的抽出領域を当該直線上で移動させることにより注目領域を表示する動画像を出力できる。図5は、図3に示した対象画像I1の例において、注目領域Cを抽出対象とせず、注目領域A,Bをこの順に表示する場合の、直線による移動経路R′の例を示す図である。ここでは、移動経路R′は注目領域Aの下辺と注目領域Bの上辺の中間を通るように決定され、最大距離hmaxは移動経路R′と注目領域Bの上辺との距離、及び移動経路R′と注目領域Aの下辺との距離に相当する。なお、この場合、動的抽出領域を、縦方向の大きさがhmaxの2倍の矩形領域として決定する。
移動経路を決定すると、動的抽出領域決定部25は移動経路に沿って、動的抽出領域の位置を順次変更させるように動的抽出領域を決定する。具体的には、動的抽出領域の代表点を注目領域と同じように領域の中心点などに設定したとすると、その代表点が前述の移動経路上を移動するように動的抽出領域の位置を順次変化させる。動的抽出領域の最初の位置は、1番目に表示すべき注目領域の位置であってもよいし、移動経路が対象画像の外周と交差する点であってもよい。移動経路が対象画像の外周と交差する点を最初の位置とする場合、動画像出力部27は対象画像の周辺部から画像の抽出を開始することとなる。
動的抽出領域決定部25が動的抽出領域の位置を順次変化させる場合に、動的抽出領域が移動経路上を移動する速さは、1の画像を抽出した後に次の画像を抽出する際に動的抽出領域の位置を移動させる移動経路上の長さによって表される。この動的抽出領域の速さは、予め定められた値であってもよいし、所定の方法により算出してもよい。具体的には、例えば1の注目領域から次の注目領域までの移動経路の長さを、予め決定する出力時間Tの間に動画像出力部27が出力するフレーム画像の数で割って算出することとする。この場合、動的抽出領域は1の注目領域から次の注目領域まで移動経路上を一定の速さで移動することとなる。
また、移動経路上の速さは、注目領域の近傍の領域が表示される時間が長くなるように算出することとしてもよい。具体的には、例えば注目領域Aから注目領域Bまで動的抽出領域を移動させる場合には、図6に示すような模式的なグラフにより、移動経路上の速さを決定する。ここで、グラフの横軸は注目領域Aから注目領域Bまで移動する際の時間を表し、動的抽出領域が注目領域Aの代表点に位置する時点を時刻0、注目領域Bの代表点に位置する時点を時刻Tとする。また、縦軸は注目領域Aから注目領域Bまでの移動経路上の距離を表し、注目領域Aの位置を移動距離0、注目領域Bの位置を移動距離Lとする。図4に示す移動経路の例においては、点Cと点Cの間の曲線Rの長さがLに相当する。図6のグラフにおいて、移動距離0及びLの近傍でグラフの傾きは緩やかになり、中間付近で傾きは急になっている。そのため、このグラフに従って決定した移動距離に基づいて動的抽出領域を決定すると、動的抽出領域が注目領域の近傍を移動する速さが遅くなり、注目領域から離れた位置においては移動する速さが速くなる。これにより、対象画像内を移動しながら、特に人物の顔のある位置の近傍ではゆっくり移動するような動画像を出力でき、より顔に注目した演出が可能となる。また、最初の注目領域と最後の注目領域を抽出する際にはこのグラフに従って動的抽出領域の速度を決定し、途中の注目領域を抽出する際には一定の速さで移動するように動的抽出領域の速度を決定してもよい。
ここで、1の注目領域から次の注目領域まで動的抽出領域が移動する時間を表す出力時間Tは、所定の時間であってもよいし、移動距離Lの値に基づいて決定することとしてもよい。また、後述する検出時間予測部26により算出された予測時間に基づいて、出力時間Tを決定することとしてもよい。
ここで、動的抽出領域決定部25は、動的抽出領域の位置を順次変更するとともに、注目領域を含む大きさとなるように、動的抽出領域の大きさを順次変更することとしてもよい。例えば、注目領域が矩形領域であるとし、注目領域Aの大きさが幅w、高さh、注目領域Bの大きさが幅w、高さhで表されるとする。この場合、動的抽出領域を注目領域Aの位置から注目領域Bの位置に移動させるのと同時に、動的抽出領域の幅をwからwに徐々に変化させ、また動的抽出領域の高さをhからhに徐々に変化させる。この大きさを変化させた動的抽出領域で対象画像をクリッピングすることで、注目領域の大きさに合わせて対象画像内の表示範囲が変化する動画像を出力できる。この場合の幅及び高さの変化量は、常に変化量が一定になるように決定してもよいし、動的抽出領域の移動の速度に合わせて変化するように決定してもよい。
検出時間予測部26は、本実施の形態に係る顔画像表示装置が複数の対象画像の中から顔領域を検出し、当該顔領域に基づいて生成した動画像を連続して出力する場合に、1又は複数の対象画像について、その中に含まれる顔領域を検出する処理にかかる時間を予測する。例えば2つの対象画像I1,I2のそれぞれに基づいて生成した動画像を連続して出力する場合の例について、以下に説明する。ここで、対象画像I1に基づいて生成した動的抽出領域中の画像を順に抽出して得られる動画像を動画像A1、対象画像I2に基づいて生成した動的抽出領域中の画像を順に抽出して得られる動画像を動画像A2とすると、検出時間予測部26は、まず対象画像I2の中から顔領域を検出する処理に必要な時間を予測する。そして、その結果得られた予測時間Tnextは、動画像出力部27が動画像A2の一つ前に出力する動画像A1の出力時間を動的抽出領域生成部22が決定する際に、当該出力時間を調整するために用いられる。
具体的に、検出時間予測部26は、例えば対象画像のファイルサイズや解像度などに基づいて予測時間を算出する。また、事前に粗い解像度で簡易に対象画像の顔認識を行う粗認識の処理によって、予測時間を算出してもよい。さらに、検出時間予測部26は、顔領域検出部21による顔領域検出の処理だけでなく、顔領域をグルーピングして注目領域を決定する処理や、決定した注目領域を抽出する抽出順序を決定する処理など、対象画像I2に関して動画像A2の出力を開始するために必要な処理にかかる時間を予測し、算出する予測時間Tnextに含めてもよい。
なお、検出時間予測部26が、予測時間を算出する対象とするのは、動画像出力部27が現在出力している動画像の次に出力する対象画像に限られない。例えば、2つ以上の対象画像の顔領域を検出する処理を並列して実行する場合などは、複数の対象画像について予測時間を算出する。このように、現時点より後に表示する1又は複数の対象画像に関する処理が、予測時間を算出する対象となる。
ここで、動画像出力部27が2つの対象画像I1,I2のそれぞれの中から検出した顔領域を表示する動画像A1,A2を連続して出力する場合の、動画像の出力時間の制御について説明する。動的抽出領域生成部22は、対象画像I1に基づく動画像A1を出力する標準出力時間Tminが、検出時間予測部26により算出された次の動画像A2の顔領域を検出するために必要な予測時間Tnextを下回る場合には、動画像A1の出力時間としてTnextを用いることとする。そして、動画像出力部27が動画像A1を出力する処理を実行するのと同時に、顔領域検出部21が、次に表示の対象となる対象画像I2について、顔領域を検出する処理を行う。これにより、動画像A1の出力が完了するまでに動画像A2を出力するために必要な準備を行うことができ、ユーザを待たせることなく、動画像を連続して表示させることができる。
また、検出時間予測部26は、既に算出された次の対象画像に対する予測時間に基づいて、動画像出力部27が動画像A1を出力する処理を実行する途中であっても、1又は複数の所定のタイミングにおいて、対象画像I2の中から顔領域を検出する処理に要する残りの時間を予測し直してもよい。この再度算出された予測時間は、現在動画像出力部27が出力している動画像A1の残りの出力時間を、随時調整するために用いられる。この場合、再度算出された予測時間に基づいて、動的抽出領域生成部22が動的抽出領域を再生成することにより、動画像の残りの出力時間が調整される。
具体的には、例えばある時点において、動画像A1の残りの出力時間がTnowであって、Trest>Tnowの場合、動的抽出領域決定部25は、動的抽出領域の位置を変化させる場合にそれぞれの位置にある時間を長くするように動的抽出領域を再決定して、動画像A1の残りの出力時間がTrestより長くなるように調整を行う。これにより、当初の予測時間よりも動画像A2に関する処理に時間がかかっている場合にも、適宜動画像A1の出力時間を調整することで、ユーザにとって動画像の表示を待つ時間を無くすことができる。
さらに、検出時間予測部26が算出した予測時間を超えて次の対象画像I2の顔領域検出などの処理に時間がかかり、結果として動画像A1を出力し終えた時点で次の動画像A2の出力を開始できない場合には、動画像出力部27は、必要な処理が完了するまで現在の状態のままで待つか、あるいは動画像A1を再度繰り返して出力するとよい。また、対象画像I1に含まれる顔領域を表示する、別のパターンの動画像を出力することとしてもよい。
なお、動的抽出領域を移動経路に沿って移動させる動画像のパターンにおいては、次の対象画像の顔領域の検出に当初算出した予測時間よりも多くの時間がかかっている場合、動的抽出領域の移動速度を調整することにより現在の動画像の出力時間を増加させることができる。また、動的抽出領域の移動距離が長くなるように、対象画像I1上の移動経路を変更することにより、現在の動画像A1の出力時間を長くしてもよい。
動画像出力部27は、動的抽出領域生成部22が生成した動的抽出領域に基づいて、対象画像をクリッピングし動的抽出領域中の画像を順に抽出する。そして、抽出した画像を必要に応じて所定の動画像のパターンに基づいて加工して動画像として生成し、表示部13に対して出力する。
動画像出力部27が出力する動画像のパターンとしては、例えば以下のようなものがある。すなわち、まず抽出順序が1番目である注目領域を含む動的抽出領域中の画像を抽出し、続いてモーフィング処理により当該画像が2番目の注目領域を含む画像に徐々に変化するような画像を生成し、生成された画像を順次表示することにより、次の注目領域を含む動的抽出領域中の画像に徐々に変化するような動画像である。これを動的抽出領域の位置及び面積を注目領域を含む位置及び面積に変化させながら繰り返すことにより、順次注目領域を表示させる動画像を出力できる。
また、注目領域を含む画像をフェードイン・フェードアウトさせる動画像のパターンであってもよい。この場合、まず抽出順序が1番目である注目領域を含む動的抽出領域中の画像を抽出し、この画像をフェードアウトさせ、続いて抽出順序が2番目の注目領域をフェードインさせる画像を順次出力する。これをモーフィング処理のパターンと同様に、動的抽出領域の位置及び面積を注目領域を含む位置及び面積に変化させながら繰り返すことにより、順次注目領域を表示させる動画像を出力できる。この場合、例えば抽出した画像の明るさを徐々に変化させることでフェードイン・フェードアウトを実現する。また、画像の透明度を徐々に増加させることで抽出した注目領域を透明にし、次の注目領域を最初は完全透明の状態から透明度を徐々に減少させることで表示する動画像であってもよい。
また、移動経路に沿って動的抽出領域を移動させるパターンにおいては、動的抽出領域により抽出した画像を加工せずにそのまま出力するか、あるいは拡大又は縮小を行って出力することで、対象画像中を移動するような動画像を出力できる。
なお、動的抽出領域の大きさは通常注目領域の大きさに基づいて時間とともに変化するが、動画像出力部27が動的抽出領域により抽出した画像を順次出力する場合、表示部13が表示できる画像の大きさに合わせてクリッピングにより取得した画像を拡大又は縮小することにより、同じ大きさの画像として表示部13に表示させることとしてもよい。
動画像出力部27が、以上説明したような複数の動画像のパターンのうち、どのパターンを用いるかについては、ユーザが選択することとしてもよいし、ランダムで選択されることとしてもよい。また、表示する注目領域の数に基づいて決定することも可能である。例えば、表示する注目領域が所定の数以上の場合はフェードイン・フェードアウトによる動画像を表示することとし、表示する注目領域が所定の数を下回る場合には動的抽出領域を移動させることにより表示することとしてもよい。
また、対象画像に抽出対象とする注目領域が含まれていなかった場合や抽出対象とする注目領域が1つしか含まれていない場合には、対象画像全体を表示するような所定のパターンによる動画像を出力することとしてもよい。さらに、注目領域が含まれていない対象画像については、動画像出力部27が動画像を出力する対象から除外することとしてもよい。
以上説明した本発明の実施の形態によれば、人物の顔を表す画像を表示する場合に、顔領域に着目して生成した動画像を表示することができる。
なお、本実施の形態においては、顔領域を注目領域決定部23がグルーピングすることで、注目領域を決定したが、この注目領域決定部23はなくてもよい。その場合、顔領域検出部21が検出した顔領域を、そのまま1つの顔を表す注目領域として、本実施の形態による処理を実行することで、顔領域に着目した動画像を表示することができる。
また、本実施の形態に係る顔画像表示装置においては、以上説明したような動画像のパターンのほかに、以下のようなパターンによる動画像を出力することができる。すなわち、顔領域を含む1又は複数の注目領域に対して、ズームイン・ズームアウトする動画像である。この場合、動的抽出領域決定部25は、まず対象画像全体を含むように動的抽出領域の位置及び面積を決定する。次いで、動的抽出領域の位置及び面積を、1番目に抽出すべき注目領域を含む最小の大きさになるように徐々に変化させるように動的抽出領域を決定する。例えば、図7に模式的に示される対象画像I1の例において、注目領域Aにズームインする動画像を出力したい場合、動的抽出領域を対象画像全体に一致する領域から注目領域Aに一致する領域に徐々に変化させる。ここで、図中の破線で表された矢印は、動的抽出領域の対象画像中における変化の過程を表している。続いて、これと逆に対象画像全体を含む大きさまで動的抽出領域の位置及び面積を徐々に変化させる。さらに、抽出対象となる注目領域が複数ある場合には、その数だけ以上説明した変化を繰り返すように動的抽出領域を決定する。動画像出力部27は、動的抽出領域決定部25が決定した動的抽出領域中の画像を、動的抽出領域の大きさに関わらず所定の大きさに拡大して出力する。これにより、ズームイン・ズームアウトにより注目領域を表示する動画像を出力できる。
なお、本実施の形態に係る顔画像表示装置は、1つの対象画像に対して、ズームイン又はズームアウトのいずれか一方の動画像のパターンによる動画像を出力することとしてもよい。
また、別の動画像のパターンとして、1又は複数の注目領域にワイプイン・ワイプアウトする動画像のパターンを用いてもよい。この場合、ズームイン・ズームアウトのパターンと同様に動的抽出領域を決定する。そして、動画像出力部27は、出力する出力画像を、以下のように生成する。すなわち、当該出力画像は対象画像I1全体の大きさの画像であって、動的抽出領域中の画像を動的抽出領域の位置及び面積をそのまま保って当該出力画像中に表し、それ以外の領域は黒色又は他の所定の色で塗りつぶした画像となる。このような画像を、動的抽出領域の変化に伴って順に生成して出力する。例えば、対象画像I1において注目領域Aにワイプインする場合、図8に模式的に示されるような画像が出力される。この図においても、破線で表された矢印は動的抽出領域の変化の過程を表している。なお、この図の例においては、注目領域及び動的抽出領域の形状は楕円形であるとしている。これにより、ワイプイン・ワイプアウトにより注目領域を表示する動画像を出力できる。
なお、本実施形態に係る顔画像表示装置は、1つの対象画像に対して、ワイプイン又はワイプアウトのいずれか一方の動画像のパターンによる動画像を出力することとしてもよい。
また、別の動画像のパターンとして、レンズブラー効果を用いた動画像のパターンによる動画像を出力してもよい。この動画像のパターンにおいては、動的抽出領域は例えば上述したワイプイン・ワイプアウトのパターンと同様に決定される。そして、動画像出力部27は、出力する出力画像を以下のように生成する。すなわち、当該出力画像は対象画像I1全体の大きさの画像であって、動的抽出領域中の画像を動的抽出領域の位置及び面積をそのまま保って当該出力画像中に表し、それ以外の領域については対象画像Iの対応する領域に対して所定の画像処理を施した画像となる。ここで所定の画像処理は、当該領域にレンズブラー効果を生じさせる画像処理である。具体的には、例えば領域内の各画素に対して、当該画素及び当該画素の周囲の画素の画素値の平均値を算出し、各画素の画素値を算出された平均値で置き換える処理である。これにより動的抽出領域以外の領域における画像は、ピントが合わずにぼけが生じた様子を表す画像となる。
ここで、動画像出力部27は、このレンズブラー効果を生じさせる画像処理において用いられる所定のパラメタを徐々に変化させることとしてもよい。例えば動画像出力部27は、画素値の平均値を算出する対象となる周囲の画素の範囲を増加させながら、出力画像を生成する処理を繰り返すこととする。これにより、動画像出力部27は、注目領域以外の領域において徐々にピントのずれが大きくなる様子を示す動画像を出力できる。このような動画像のパターンによれば、人物の顔を表す領域以外の領域のピントがずれていくことにより、人物の顔を表す部分が浮かび上がってくるかのような演出を実現できる。なお、このレンズブラー効果の動画像のパターンにおいて、動的抽出領域は選択された1つの注目領域に応じた、位置及び大きさの変化しない固定の領域であってもよい。
ここで、本実施形態に係る顔画像表示装置が、前述した複数の動画像のパターンのうち、いずれかの動画像のパターンを選択する処理の別の例について、説明する。
例えば動的抽出領域生成部22は、顔領域検出部21により検出された顔領域の数、顔領域の大きさ又は顔領域の対象画像内の位置のうち少なくともいずれか一つに基づいて、所定の動画像のパターン候補の中から動画像のパターンを選択し、当該選択したパターンに基づいて前記動的抽出領域を生成する。そして、動画像出力部27は、動的抽出領域生成部22によって選択された動画像のパターンに基づいて、動的抽出領域のクリッピング及び画像処理を行い、動画像を出力する。
この場合において、動的抽出領域生成部22が選択するパターン候補は、具体的には、前述した動的抽出領域を移動経路に沿って移動させる動画像のパターン(パン画像のパターン)や、モーフィング処理を用いる動画像のパターン、フェードイン又はフェードアウトによる動画像のパターン、ズームイン又はズームアウトの動画像のパターン、ワイプイン又はワイプアウトの動画像のパターン、レンズブラー効果を用いた動画像のパターンなどである。また、パターン候補は、これらの動画像のパターンを組み合わせたパターンであってもよい。例えば、パターン候補は、注目領域以外の領域にレンズブラー効果を施しながら、注目領域にズームインする動画像のパターンなどであってもよい。
具体的に、動的抽出領域生成部22は、例えば検出された顔領域の数が複数ある場合には、パン画像のパターンを含むパターン候補の中から動画像のパターンを選択し、検出された顔領域の数が1つの場合にはパン画像のパターンを除いたパターン候補の中から動画像のパターンを選択することとする。
また、顔領域が1つも検出されなかった場合であっても、これらのパターン候補の中から動画像のパターンが選択されることとしてもよい。この場合、動的抽出領域生成部22は、注目領域に代えて、例えば対象画像の中心位置や、所定の候補位置の中からランダムに選択された基準位置などに基づいて、動的抽出領域を生成することとしてもよい。
なお、動的抽出領域生成部22は、選択しうるパターン候補の中から、ランダムで動画像のパターンを選択してもよい。また、これから出力しようとしている動画像より前に動画像出力部27が出力した動画像において用いられた動画像のパターンに応じて、動画像のパターンを選択してもよい。例えば動的抽出領域生成部22は、これから出力しようとしている動画像より1つ前に出力された動画像において用いられた動画像のパターンと異なる動画像のパターンを、これから出力する動画像について用いる動画像のパターンとして選択する。こうすれば、連続して対象画像に基づく動画像を出力する場合に同じパターンに基づく動画像が連続することを避けることができ、単調な表示となってしまうことを防ぐことができる。
また、本実施形態に係る顔画像表示装置が、複数の対象画像に基づく動画像を順に表示する場合、以下のような処理を実行することとしてもよい。すなわち、動画像出力部27は、現在表示中の動画像の最後の所定時間分の出力画像の明度を徐々に減少させて、フェードアウトする動画像を出力する。その後、次に表示すべき動画像の最初の所定時間分の画像の明度を徐々に増加させて、フェードインする動画像を出力する。
あるいは、動画像出力部27は、現在表示中の動画像の最後の所定時間分の出力画像と、次に表示すべき動画像の最初の所定時間分の出力画像とを、半透明合成して表示することとしてもよい。この場合において、現在表示中の動画像における出力画像に対する透明度を徐々に上げるとともに、次に表示すべき動画像における出力画像に対する透明度を徐々に下げながら、2つの出力画像を合成することとしてもよい。こうすれば、現在表示中の動画像がフェードアウトすると同時に、次に表示すべき動画像がフェードインする様子を示す動画像を表示できる。

Claims (9)

  1. 複数の人物の顔を表す対象画像の中から、顔が表された顔領域を検出する顔領域検出手段と、
    前記顔領域検出手段により検出される前記顔領域に基づいて、前記対象画像中において位置又は面積の少なくとも一方を時間とともに変化させる動的抽出領域を生成する動的抽出領域生成手段と、
    前記動的抽出領域中の画像を順に抽出して動画像として出力する動画像出力手段と、
    を含むことを特徴とする顔画像表示装置。
  2. 請求の範囲第1項に記載の顔画像表示装置において、
    前記動的抽出領域生成手段は、
    前記顔領域を1又は複数含む注目領域を決定する注目領域決定手段と、
    前記注目領域を抽出する抽出順序を所定の条件に基づいて決定する抽出順序決定手段と、
    前記注目領域及び前記抽出順序に基づいて前記動的抽出領域を決定する動的抽出領域決定手段と、
    を含むことを特徴とする顔画像表示装置。
  3. 請求の範囲第2項に記載の顔画像表示装置において、
    前記抽出順序決定手段は、前記注目領域に表された顔の数、前記注目領域の大きさ又は前記注目領域の前記対象画像内の位置のうち少なくともいずれか一つに基づいて抽出順序を決定することを特徴とする顔画像表示装置。
  4. 請求の範囲第2項に記載の顔画像表示装置において、
    前記動的抽出領域決定手段は、前記動的抽出領域を、前記注目領域の前記対象画像中の位置に基づいて決定する移動経路に沿って、前記対象画像中において位置を時間とともに変化させるように決定することを特徴とする顔画像表示装置。
  5. 請求の範囲第1項に記載の顔画像表示装置において、
    前記動画像出力手段が複数の対象画像に基づいて前記動画像を出力する場合に、前記顔領域検出手段が1又は複数の他の対象画像の中から顔領域を検出する検出時間を予測する検出時間予測手段をさらに含み、
    前記動画像出力手段は、前記検出時間予測手段により予測された検出時間に基づいて決定した時間にわたり前記動画像を出力し、
    前記顔領域検出手段は、前記動画像出力手段による前記動画像の出力期間中に、前記1又は複数の他の対象画像に含まれる顔領域を検出することを特徴とする顔画像表示装置。
  6. 請求の範囲第1項に記載の顔画像表示装置において、
    前記動的抽出領域生成手段は、前記検出された顔領域の数、前記検出された顔領域の大きさ又は前記顔領域の前記対象画像内の位置のうち少なくともいずれか一つに基づいて、所定の動画像のパターン候補の中から動画像のパターンを選択し、当該選択したパターンに基づいて前記動的抽出領域を生成し、
    前記動画像出力手段は、前記選択したパターンに基づく動画像を出力する
    ことを特徴とする顔画像表示装置。
  7. コンピュータを用いて、
    複数の人物の顔を表す対象画像の中から、顔が表された顔領域を検出するステップと、
    前記顔領域検出手段により検出される前記顔領域に基づいて、前記対象画像中において位置又は面積の少なくとも一方を時間とともに変化させる動的抽出領域を生成するステップと、
    前記動的抽出領域中の画像を順に抽出して動画像として出力するステップと、
    を実行することを特徴とする顔画像表示方法。
  8. 複数の人物の顔を表す対象画像の中から、顔が表された顔領域を検出する顔領域検出手段、
    前記顔領域検出手段により検出される前記顔領域に基づいて、前記対象画像中において位置又は面積の少なくとも一方を時間とともに変化させる動的抽出領域を生成する動的抽出領域生成手段、及び
    前記動的抽出領域中の画像を順に抽出して動画像として出力する動画像出力手段、
    としてコンピュータを機能させることを特徴とする顔画像表示プログラム。
  9. 複数の人物の顔を表す対象画像の中から、顔が表された顔領域を検出する顔領域検出手段、
    前記顔領域検出手段により検出される前記顔領域に基づいて、前記対象画像中において位置又は面積の少なくとも一方を時間とともに変化させる動的抽出領域を生成する動的抽出領域生成手段、及び
    前記動的抽出領域中の画像を順に抽出して動画像として出力する動画像出力手段、
    としてコンピュータを機能させるプログラムを格納したコンピュータで読み取り可能な情報記録媒体。
JP2006551132A 2005-08-12 2006-07-31 顔画像表示装置、顔画像表示方法及び顔画像表示プログラム Active JP4538008B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005234739 2005-08-12
JP2005234739 2005-08-12
PCT/JP2006/315144 WO2007020789A1 (ja) 2005-08-12 2006-07-31 顔画像表示装置、顔画像表示方法及び顔画像表示プログラム

Publications (2)

Publication Number Publication Date
JPWO2007020789A1 true JPWO2007020789A1 (ja) 2009-02-19
JP4538008B2 JP4538008B2 (ja) 2010-09-08

Family

ID=37757454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006551132A Active JP4538008B2 (ja) 2005-08-12 2006-07-31 顔画像表示装置、顔画像表示方法及び顔画像表示プログラム

Country Status (6)

Country Link
US (3) US8803886B2 (ja)
EP (1) EP1923835A4 (ja)
JP (1) JP4538008B2 (ja)
KR (2) KR100892022B1 (ja)
CN (1) CN101052996B (ja)
WO (1) WO2007020789A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080055315A1 (en) * 2006-09-05 2008-03-06 Dale Ducharme Method and System to Establish and Animate a Coordinate System for Content on a Display
JP4364266B2 (ja) * 2007-08-01 2009-11-11 株式会社東芝 画像処理装置およびプログラム
JP5464799B2 (ja) * 2007-11-16 2014-04-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5061987B2 (ja) * 2008-03-25 2012-10-31 セイコーエプソン株式会社 画像処理方法およびそのプログラム並びに画像処理装置
US8212860B2 (en) * 2008-10-23 2012-07-03 Pentax Ricoh Imaging Company, Ltd. Digital camera having an image mover
EP2352118B1 (en) 2008-11-25 2017-08-16 Sony Interactive Entertainment Inc. Image display device, method for displaying image and information storing medium
KR101599872B1 (ko) * 2009-02-25 2016-03-04 삼성전자주식회사 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
JP2011176747A (ja) * 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
CN102948157B (zh) * 2010-06-22 2016-05-11 富士胶片株式会社 立体图像显示设备及立体图像显示方法
EP2614489B1 (en) * 2010-09-10 2014-04-16 Deutsche Telekom AG Method and system for obtaining a control information related to a digital image
US8935259B2 (en) * 2011-06-20 2015-01-13 Google Inc Text suggestions for images
KR20130078676A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP2012095363A (ja) * 2012-02-15 2012-05-17 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP5780249B2 (ja) * 2012-02-27 2015-09-16 株式会社デンソー 画像処理装置及び、当該画像処理装置を用いた車両制御システム
JP5982884B2 (ja) * 2012-03-08 2016-08-31 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータ読み取り可能な記録媒体
JP6071289B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5368614B2 (ja) * 2012-08-07 2013-12-18 オリンパスイメージング株式会社 画像検索装置および画像検索方法
JP5613304B2 (ja) * 2013-09-11 2014-10-22 オリンパスイメージング株式会社 画像検索装置および画像検索方法
JP5935779B2 (ja) * 2013-09-30 2016-06-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10049477B1 (en) 2014-06-27 2018-08-14 Google Llc Computer-assisted text and visual styling for images
JP6372696B2 (ja) 2014-10-14 2018-08-15 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
US10839601B2 (en) 2016-03-31 2020-11-17 Sony Corporation Information processing device, information processing method, and program
US9892326B2 (en) * 2016-03-31 2018-02-13 International Business Machines Corporation Object detection in crowded scenes using context-driven label propagation
JP6798183B2 (ja) 2016-08-04 2020-12-09 株式会社リコー 画像解析装置、画像解析方法およびプログラム
WO2018096661A1 (ja) 2016-11-25 2018-05-31 日本電気株式会社 画像生成装置、顔照合装置、画像生成方法、およびプログラムを記憶した記憶媒体
JP6859765B2 (ja) * 2017-03-13 2021-04-14 株式会社リコー 画像処理装置、画像処理方法およびプログラム
JP2022102461A (ja) * 2020-12-25 2022-07-07 株式会社リコー 動画生成装置、動画生成方法、プログラム、記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173512A (ja) * 1997-03-10 1999-03-16 Yuseisho Tsushin Sogo Kenkyusho 領域抽出装置および領域抽出方法
JP2002092626A (ja) * 2000-09-19 2002-03-29 Sharp Corp 画像処理装置
JP2002215180A (ja) * 2001-01-17 2002-07-31 Digital Media Lab Inc 通信装置

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4276570A (en) * 1979-05-08 1981-06-30 Nancy Burson Method and apparatus for producing an image of a person's face at a different age
JP3363039B2 (ja) * 1996-08-29 2003-01-07 ケイディーディーアイ株式会社 動画像内の移動物体検出装置
US6044168A (en) * 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6184926B1 (en) * 1996-11-26 2001-02-06 Ncr Corporation System and method for detecting a human face in uncontrolled environments
JP3970520B2 (ja) * 1998-04-13 2007-09-05 アイマティック・インターフェイシズ・インコーポレイテッド 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉
WO1999060522A1 (en) * 1998-05-19 1999-11-25 Sony Computer Entertainment Inc. Image processing apparatus and method, and providing medium
US6362850B1 (en) * 1998-08-04 2002-03-26 Flashpoint Technology, Inc. Interactive movie creation from one or more still images in a digital imaging device
JP2001209802A (ja) * 1999-11-15 2001-08-03 Fuji Photo Film Co Ltd 顔抽出方法および装置並びに記録媒体
US6504546B1 (en) * 2000-02-08 2003-01-07 At&T Corp. Method of modeling objects to synthesize three-dimensional, photo-realistic animations
US6883140B1 (en) * 2000-02-24 2005-04-19 Microsoft Corporation System and method for editing digitally represented still images
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
GB2372658A (en) * 2001-02-23 2002-08-28 Hewlett Packard Co A method of creating moving video data from a static image
JP4778158B2 (ja) * 2001-05-31 2011-09-21 オリンパス株式会社 画像選出支援装置
JP2003296713A (ja) * 2002-04-04 2003-10-17 Mitsubishi Electric Corp 顔画像合成装置、顔画像合成方法およびその方法を実行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用端末による通信方法
US6828972B2 (en) * 2002-04-24 2004-12-07 Microsoft Corp. System and method for expression mapping
CN1276388C (zh) * 2002-07-26 2006-09-20 佳能株式会社 检测图象中的人脸的方法和设备
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
JP4068485B2 (ja) * 2002-09-30 2008-03-26 株式会社東芝 画像合成方法、画像合成装置、画像合成プログラム
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
EP1422668B1 (en) * 2002-11-25 2017-07-26 Panasonic Intellectual Property Management Co., Ltd. Short film generation/reproduction apparatus and method thereof
US20060109283A1 (en) * 2003-02-04 2006-05-25 Shipman Samuel E Temporal-context-based video browsing interface for PVR-enabled television systems
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
JP2004348674A (ja) * 2003-05-26 2004-12-09 Noritsu Koki Co Ltd 領域検出方法及びその装置
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7274822B2 (en) * 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
US7209601B2 (en) * 2003-07-22 2007-04-24 Omnivision Technologies, Inc. CMOS image sensor using high frame rate with frame addition and movement compensation
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
JP2005135169A (ja) * 2003-10-30 2005-05-26 Nec Corp 携帯端末およびデータ処理方法
JP2005165984A (ja) * 2003-12-05 2005-06-23 Seiko Epson Corp 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム
JP2005182196A (ja) * 2003-12-16 2005-07-07 Canon Inc 画像表示方法および画像表示装置
KR100602576B1 (ko) * 2003-12-17 2006-07-19 학교법인 한양학원 얼굴 인식 방법 및 이를 이용한 인물 검색/표시 방법
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
US20060114327A1 (en) * 2004-11-26 2006-06-01 Fuji Photo Film, Co., Ltd. Photo movie creating apparatus and program
KR101159847B1 (ko) * 2005-01-20 2012-06-25 삼성전자주식회사 졸음운전 감지용 얼굴 검출 정규화 장치 및 방법
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
JP4926416B2 (ja) * 2005-06-15 2012-05-09 キヤノン株式会社 画像表示方法、プログラム、記録媒体及び画像表示装置
US20080309662A1 (en) * 2005-12-14 2008-12-18 Tal Hassner Example Based 3D Reconstruction
IES20070229A2 (en) * 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173512A (ja) * 1997-03-10 1999-03-16 Yuseisho Tsushin Sogo Kenkyusho 領域抽出装置および領域抽出方法
JP2002092626A (ja) * 2000-09-19 2002-03-29 Sharp Corp 画像処理装置
JP2002215180A (ja) * 2001-01-17 2002-07-31 Digital Media Lab Inc 通信装置

Also Published As

Publication number Publication date
US9852323B2 (en) 2017-12-26
US20100066745A1 (en) 2010-03-18
JP4538008B2 (ja) 2010-09-08
US20140321722A1 (en) 2014-10-30
US20160063311A1 (en) 2016-03-03
CN101052996B (zh) 2011-06-15
EP1923835A4 (en) 2017-10-25
US9247156B2 (en) 2016-01-26
CN101052996A (zh) 2007-10-10
KR20070067712A (ko) 2007-06-28
KR20090016767A (ko) 2009-02-17
KR101103115B1 (ko) 2012-01-04
WO2007020789A1 (ja) 2007-02-22
KR100892022B1 (ko) 2009-04-07
US8803886B2 (en) 2014-08-12
EP1923835A1 (en) 2008-05-21

Similar Documents

Publication Publication Date Title
JP4538008B2 (ja) 顔画像表示装置、顔画像表示方法及び顔画像表示プログラム
US11450146B2 (en) Gesture recognition method, apparatus, and device
JP5423379B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN102893595B (zh) 图像处理装置和方法以及程序
US9240047B2 (en) Recognition apparatus, method, and computer program product
KR20180022969A (ko) 이미지들의 스트림을 디스플레이하기 위한 시스템 및 방법
JP2005157679A (ja) 対象物検出装置及び方法、並びに集団学習装置及び方法
JP2006318341A (ja) 検知対象画像判定装置、検知対象画像判定方法および検知対象画像判定プログラム
JP2007065844A (ja) 顔検出方法および装置並びにプログラム
JP6766662B2 (ja) 画像処理装置、画像投影装置、および画像処理方法
CN112135041B (zh) 一种人脸特效的处理方法及装置、存储介质
JP2009026326A (ja) 集団学習装置及び方法
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
US10939044B1 (en) Automatically setting zoom level for image capture
CN108140251A (zh) 视频循环生成
JP6645076B2 (ja) 画像処理装置
US8223220B2 (en) Image processing device, image processing method, and information storage medium
JP2000125179A (ja) デジタルカメラおよびその処理を実行するためのプログラムを記録した記録媒体
JP7074171B2 (ja) 画像処理装置、画像投影装置、および画像処理方法
CN116966558A (zh) 虚拟场景的显示控制方法、装置、电子设备及存储介质
JP2009237611A (ja) 対象画像からの顔領域の検出
JP2006279556A (ja) 画像処理装置、画像表示装置、画像撮像装置、画像処理方法、プログラムおよび記録媒体
JP2009124491A (ja) カメラおよび画像選択プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100618

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4538008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070314

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250