JP5276111B2 - セルフ撮影の際に顔の構図を決定できるようにサポートする方法及びシステム - Google Patents

セルフ撮影の際に顔の構図を決定できるようにサポートする方法及びシステム Download PDF

Info

Publication number
JP5276111B2
JP5276111B2 JP2010531969A JP2010531969A JP5276111B2 JP 5276111 B2 JP5276111 B2 JP 5276111B2 JP 2010531969 A JP2010531969 A JP 2010531969A JP 2010531969 A JP2010531969 A JP 2010531969A JP 5276111 B2 JP5276111 B2 JP 5276111B2
Authority
JP
Japan
Prior art keywords
face
angle
user
subject
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010531969A
Other languages
English (en)
Other versions
JP2011504316A (ja
Inventor
ジョー、ヒョンゲン
リュウ、ジョンヒ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2011504316A publication Critical patent/JP2011504316A/ja
Application granted granted Critical
Publication of JP5276111B2 publication Critical patent/JP5276111B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は、セルフ撮影を行う際に、顔の構図を決定できるようにサポートする方法及びシステムに関するものであり、具体的には、カメラなどのデジタル機器のシャッタを押しデジタルデータを生成する前に、デジタル機器の画面を通じて表示されるプレビュー状態で、被写体に対して顔検出技術及び顔トラッキング技法を適用して被写体の構図を認識し、被写体の顔全体が写真フレーム内に収まっているか否か、または被写体の顔の角度が撮影前に選択したテンプレートに含まれている顔の角度または向きと同一であるか否かを確認して、ユーザにリアルタイムで知らせることによって、セルフ撮影の際にもユーザが希望する構図によって容易に撮影できるようにサポートする方法及びシステムに関するものである。
近年では、カメラ、携帯電話、PCカメラなどの撮影専用のデジタル機器や、撮影装置を搭載したデジタル機器(移動通信端末、MP3プレーヤなど)が広く普及し、そのような機器を使用するユーザの人数が大幅に増加している。
しかし、カメラなどの様々な撮影機器を使用してユーザがセルフ撮影(ユーザ自身による自分の撮影)を行う際は、自分が望むポーズが撮れたかどうかを確認しながら自分が満足するまで繰り返し撮影する必要があった。また、撮影の際に自分の画像を見ることができるようにするためには、撮影機器のレンズと同一方向に別途の液晶画面または凸レンズなどの追加デバイスが必要であった。
前述したような従来技術の問題点を解決するためになされた本発明は、ユーザがセルフ撮影を行う際に、カメラ、携帯電話、PCカメラなどのデジタル機器のプレビュー状態で被写体を検出及びトラッキングして、ユーザの顔全体が写真フレーム内に入るようにユーザイにフィードバックを提供することにより、繰り返し撮影したり撮影機器にさらなるデバイスを追加したりすることなく、ユーザが自分の意図するポーズで容易に撮影できるようにすることを目的とする。
また、本発明は、デジタル機器のプレビュー状態で被写体を検出及びトラッキングしてユーザの動きを正確に検出し、顔の角度が撮影前に選択したテンプレートに含まれている顔の角度と同一であるか否かを確認してユーザにフィードバックを提供することによって、ユーザが自分が意図する顔の角度で維持したままで、セルフ撮影を簡単に行うことができるようにすることを他の目的とする。
上記のような本発明の目的を達成し、後述する本発明の特徴的な機能を遂行するための構成は、下記のようである。
本発明の一態様によれば、ユーザがデジタル機器を用いて少なくとも1人の被写体を撮影する際に、前記被写体全員の顔全体を含む画像のデジタルデータを生成するために前記ユーザを補助するための方法であって、(a)前記デジタル機器の前記画面に前記被写体の顔が表示されたプレビュー状態において、前記被写体の顔を顔検出技術を用いて検出し、前記検出された顔を顔トラッキング技術を用いてトラッキングするステップと、(b)前記検出された顔の全体領域が、前記デジタル機器の画面における予め定められた領域であるフレーム内に収まっているか否かを判断するステップと、(c)前記検出された顔の全体領域が前記画面の前記フレーム内に収まるまで、前記検出された顔の全体領域の少なくとも一部が前記フレーム内に収まっていないというフィードバックを前記ユーザに提供するステップとを含む方法が提供される。
本発明の他の態様によれば、ユーザがデジタル機器を用いて少なくとも1人の被写体を撮影する際に、前記被写体の顔がユーザの所望する顔角度で撮影された画像のデジタルデータを生成するために前記ユーザを補助するための方法であって、(a)顔の角度または向きに関する情報を含んでいる少なくとも1つのテンプレートから或るテンプレートを選択するステップと、(b)前記デジタル機器の前記画面に前記被写体の顔が表示されたプレビュー状態において、前記被写体の顔を顔検出技術を用いて検出するステップと、(c)前記検出された顔の角度または向きが、前記或るテンプレートに含まれている顔の角度または向きと互いに一致するか否かを判断するステップと、(d)前記検出された顔の角度または向きが前記或るテンプレートに含まれている顔の角度または向きと一致するまで、前記検出された顔の角度または向きが前記或るテンプレートに含まれている顔の角度または向きと互いに一致していないというフィードバックを前記ユーザに提供するステップとを含む方法が提供される。
また、上記目的を解決するために、本発明のさらに他の実施形態によれば、前述の方法を実行するためのコンピュータプログラムを記録したコンビュータ読み取り可能な記録媒体が提供される。
本発明によれば、セルフ撮影を行う際に、ユーザが希望する構図の写真が撮影できるまで、繰返して撮影し、該撮影された写真の構図を毎回確認しなければならない面倒さを除去すると共に、撮影する途中で自分の様子を確認できるようにするための、撮影機器のレンズと同一の方向に設けられる別途の液品画面または凸レンズなどの追加の装置がなくても、自分の顔が撮影機器の画面の特定のフレームの中に正常に含まれた好適な構図に、試行錯誤なしに、セルフ撮影を容易に遂行することができる。
さらに、カメラ、携帯電話、PCカメラなどのデジタル機器のプレビュー状態で、被写体を検出及びトラッキングして、ユーザが選択したテンプレートに含まれている顔の角度と同一の角度であるか否かをリアルタイムでフィードバックして、容易にユーザが希望する顔の角度または向きでセルフ撮影を行うことができる。
本発明の一実施形態によって、カメラ、携帯電話、PCカメラなどのデジタル機器を用いるユーザのセルフ撮影をサポートするための、全体システム100の構成図である。 顔の検出及び顔トラッキング技術を用いて、顔が写真フレーム内に全て含まれているかを容易に検査するための例を示した図面である。 本発明の一実施形態に係るシステムを用いてユーザが被写体全員の顔が写真フレーム内に含まれるようにセルフ撮影を行う例を示した図面である。 顔の検出及び顔トラッキング技術を用いて、ユーザが選択したテンプレートに含まれている顔の角度と被写体の顔の角度とが同一であるか否かを容易に確認するための例を示した図面である。 本発明の他の実施形態に係るシステムを用いてユーザが選択したテンプレートに含まれている顔の角度と被写体の顔の角度とが同一となるようにセルフ撮影を行う例を示した図面である。
以下、本発明を実施できる特定実施形態を例示として示す添付図面を参照して本発明について詳細に説明する。後述するこれらの実施形態は当業者が本発明を十分に実施できるように詳細に説明する。本発明の多様な実施形態は互いに異なるが、相互排他的である必要はないと理解しなければならない。例えば、ここに記載されている特定様子、構造及び特性は一実施形態に関連して本発明の技術的思想及びその範囲から逸脱せずに他の実施形態として具現することができる。また、ここに開示したそれぞれの実施形態のうち、個別構成要素の位置または配置は、本発明の技術的思想及びその範囲から逸脱せずに変更できることを理解するべきである。したがって、後述する詳細な説明は限定的な意味で扱うものでなく、本発明の技術的範囲は、適切に説明されるならば、その請求項に記載された本発明と均等な全ての技術的範囲と共に添付した特許請求範囲によって定められる。
図1は、本発明の例示的な実施形態による、カメラ、携帯電話、PCカメラなどのデジタル機器を用いて、ユーザが所望する構図でセルフ撮影(ユーザによる自分自身の撮影)を行うための全体システム100の構成図である。
本発明を適用する例は、主に、写真などの静止画を生成する場合について説明するが、本発明は動画の場合にも同様に適用できることはもちろんである。
図1に示すように、全体システム100には、構図助言部(pose suggesting part)110、テンプレートデータベース(DB)120、コンテンツデータベース(DB)130、インターフェース部140、通信部150、制御部160などが含まれ得る。
本発明では、構図助言部110、テンプレートデータベース120、コンテンツデータベース130、インターフェース部140及び通信部150の少なくともいくつかは、カメラなどのユーザ端末に含めてもよいし、あるいは、ユーザ端末と通信可能なプログラムモジュールであってもよい(ただし、図1では、構図助言部110、テンプレートデータベース120、コンテンツデータベース130、インターフェース部140及び通信部150は全てユーザ端末に含まれていることを例示している)。前記プログラムモジュールは、オペレーティングシステム、アプリケーションプログラムモジュール及びその他のプログラムモジュールの形態でユーザ端末に含めてもよいし、あるいは、公知の記憶装置に物理的に格納してもよい。また、前記プログラムモジュールは、ユーザ端末と通信可能な遠隔記憶装置に格納してもよい。前記プログラムモジュールは、本発明に従って後述する特定のタスクまたは特定の抽象データ型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されるものではない。
構図助言部110には、顔検出部110A、顔トラッキング部110B、構図判断部110Cなどが含まれ得る。ここで、顔検出部110A、顔トラッキング部110B及び構図判断部110Cは、顔を検出して画面(スクリーン)の特定のフレーム内に写る顔の位置及び角度を認識するための機能を実行するために便宜上分類したものであり、これに限定されるものではない。
顔検出部110Aは、プレビュー状態において、デジタル機器の画面のフレーム内に収められた少なくとも1人の被写体の顔領域を検出する役割を果たす。プレビュー状態とは、デジタル機器のシャッタを押してデジタルデータを生成する前に、被写体が画面に表示された状態である。ここで、フレームとは、画面上の予め決められた領域を意味し、画面の一部領域であってもよいし、場合によっては画面の全体領域であってもよい。
顔トラッキング部110Bは、前記検出された顔領域を、周期的または非周期的な時間間隔で頻繁にトラッキングする。
構図判断部110Cは、前記検出された顔領域または前記トラッキングされた顔領域が前記フレーム内に完全に収まっているか否かを判断することにより、ユーザにフィードバックを提供する役割を果たす。あるいは、構図判断部110Cは、前記検出された顔領域における顔の角度を、ユーザにより選択されたテンプレートにおける顔の角度と一致させるためのフィードバック(例えば、音声案内、LEDまたは画面)を提供する。以下、図2及び図4を参照して、顔の検出のプロセス、顔のトラッキングのプロセス、及び構図判断のプロセスについて詳細に説明する。
図2は、顔の検出及びトラッキングの方法の一例を説明するための図面である。
図2に示すように、カメラなどのデジタル機器を用いて写真などのデジタルデータを生成する前は、デジタル機器の画面には、被写体の状態、表情、ポーズなどを観察するためのプレビュー状態の画像が表示される。
図2は、プレビュー状態において、前記検出された顔領域に対して、例えば1秒ごとにトラッキングを行い、プレビュー状態が開始されてから5秒後にユーザがシャッタを押してデジタルデータを生成した例を示す。
具体的には、前記検出された顔領域に対するトラッキングは、プレビュー状態の開始後、1秒ごとに行われる。1秒後、2秒後及び3秒後は、全ての被写体の顔の全体が写真フレーム内に含まれている。4秒後に、2人の被写体のうちの1人の顔が写真フレームから外れる。プレビュー状態が開始されてから5秒後にシャッタを押してデジタルデータを生成した際には、写真フレーム内に全ての被写体の顔が含まれている。
図2に示すように、構図判断部110Cは、プレビュー状態の期間にトラッキング作業が行われるたびに、トラッキングされた顔領域がフレーム内に完全に含まれているかどうかを確認する。そして、構図判断部110Cは、4秒後に2人の被写体のうちの1人の顔が写真フレームから外れていることを把握して、ユーザに音声案内などでフィードバックを提供する。
顔検出部110Aに適用される技術としては、顔の各部位のうちの目の部位に関する特徴データを比較する顔マッチングに関連する技術が考えられる。具体的には、Baker、S.他1人が著し、2004年にIJCV(Internation Journal of Computer Vision)に掲載された「Lucas-Kanade 20 Years On: A Unifying Framework」という論文が挙げられる。この論文には、テンプレートマッチング方法を用いることにより人間の顔を含む画像から目の位置を効率良く検出する方法が記載されている。この論文は例示的なものであり、本発明の顔検出部110Aに適用される技術は、この論文に記載された技術に限定されるのではない。
顔検出部110Aは、上述した技術により検出された目の位置に基づいて鼻及び口の位置を推定することができる。推定された顔の各部位は、顔トラッキング部110Bにより周期的または非周期的にトラッキングされる。また、構図判断部110Cは、このようにして検出及びトラッキングされた顔の各部位を参照して、写真フレーム内に顔の全体領域が含まれているか否かを判断する。
目、鼻及び口などの顔の各部位の検出は、顔の検出方法と同様に、P.N. Belhumeur他2人が著し、1997年にIEEE TRANSACTIONS ON PATTERN ALAYSIS AND MACHINE INTELLIGENCEに掲載された「Eigenfaces vs. Fisherfaces : Recognition Using Class Specific Linear Projection」という論文に記載された「線形判別法」などの技術を用いて行うことができる。
テンプレートDB120には、様々な人間の顔写真などのデジタルデータがテンプレートとして格納されている。このことにより、ユーザがテンプレートDB120に格納されているテンプレートから或るテンプレートを選択し、選択されたテンプレートに含まれている顔の角度と同一の顔角度でユーザがセルフ撮影することが可能となる。このことに関して、図4及び図5を参照して詳細に説明する。
コンテンツDB130には、過去に撮影したデジタルデータが格納されている。
本発明で言及されているテンプレートDB120、コンテンツDB130等の各種DBには、狭義のデータベースだけでなく、ファイルシステムに基づくデータログなどの広義のデータベースも含まれる。また、前記各種DBは、システム100内に含めてもよいし、あるいは、システム100と通信可能な遠隔記憶装置に存在するようにしてもよい。
インターフェース部140は、デジタル機器の画面に、プレビュー状態、あるいは、シャッタを押して生成した画像を表示させることができる。
通信部150は、システム100に含まれる各構成モジュール間で信号を送受信したり、様々な外部装置とデータを送受信したりする役割を果たす。
本発明による制御部160は、構図助言部110、テンプレートDB120、コンテンツDB130、インターフェース部140及び通信部150の間でのデータの流れを制御する機能を果たす。つまり、本発明による制御部160は、通信部150を通じて各構成モジュール間で送受信される信号を制御することによって、構図助言部110、テンプレートDB120、コンテンツDB130及びインターフェース部140が、それぞれの特有の機能を実行するように制御する。
図3は、本発明の例示的実施形態による、セルフ撮影中に被写体の顔が写真フレーム内に収まっているか否かをリアルタイムで知らせる例を示す図である。
カメラなどのデジタル機器を用いてセルフ撮影する際に、被写体の静止画(または動画)を表示するプレビュー状態において周期的または非周期的に被写体の顔を検出し、検出された顔を頻繁にトラッキングし、ユーザ端末(デジタル機器)の画面のフレーム内に被写体全員の顔が含まれているか否かを確認し、その確認結果を音や発光素子(例えばLED)または画面などを用いて知らせる。
図3に示すように、「OK!」という音声が発せられたときに、ユーザがシャッタを押すことによって、被写体全員の顔の全体が含まれている写真を撮影することができる。しかし、このことに限定されるものではなく、被写体全員の顔の全体がフレーム内に入ったときに、自動的に写真が撮影されるようにしてもよい。
図4は、ユーザが選択したテンプレートに含まれているモデルの顔の向きの角度と同一の角度でユーザの顔を撮影するために、顔を検出及びトラッキングする方法の一例を示す図である。
図4に示すように、プレビュー状態において、顔トラッキング部110Bは、顔検出部110Aによって検出された顔領域に対して1秒ごとにトラッキングを行う。そして、プレビュー状態が開始されてから5秒後に、ユーザがシャッタを押してデジタルデータを生成した。
具体的には、顔領域に対するトラッキングは、プレビュー状態が開始されてから1秒ごとに(すなわち、プレビュー状態が開始されてから1秒後、2秒後、3秒後、4秒後に)行われる。1秒後には被写体の後ろ姿が、2秒後には少し回転した横顔が、3秒後にはさらに回転した横顔が、4秒後には少し回転した横顔が、画面に表示される。プレビュー状態が開始されてから5秒後にユーザがシャッタを押して、横顔を撮影する場合を想定する。顔検出部110A及び顔トラッキング部110Bは、顔領域の検出及びトラッキングを行うことにより、プレビュー状態で画面に表示された顔の角度(向き)を把握することができる。このような顔の角度(向き)に関する情報は、トラッキングされる顔の各部位の相対的な位置及び大きさを把握することにより取得することができる。顔の各部位には、目、鼻、口のうちの少なくとも1つが含まれ得る。
構図判断部110Cは、図4で説明したプロセスにより把握されたプレビュー状態における顔の角度(向き)を、ユーザにより選択されたテンプレートに含まれているモデルの顔の角度(向き)と比較する。このようなテンプレートの選択及びその適用の例について、図5を参照してさらに説明する。
図5は、本発明の例示的実施形態による、セルフ撮影の際に、ユーザが選択したテンプレートに含まれているモデルの顔の角度(向き)と同一の角度(向き)で自分の顔を容易に撮影できるようにサポートするための具体的な例を示す図である。
図5の左側部分には、ユーザが希望するテンプレートを選択するためのユーザーインターフェースが示されており、左上のテンプレートが選択された場合を示している。
構図判断部110Cは、図4に示すようなプレビュー状態において被写体の顔を周期的にまたは非周期的に検出し、被写体の顔の角度(向き)と前記選択されたテンプレートに含まれている顔の角度(向き)とを比較し、その比較結果をユーザに対してフィードバックする。例えば、構図判断部110Cが、ユーザの顔の角度がユーザにより選択されたテンプレートに含まれている顔の角度と互いに異なると判断した場合、ユーザに対してフィードバックを提供することによって、ユーザが所望する或る角度(テンプレートに含まれている顔の角度)でセルフ撮影を行うことを可能にする。フィードバックは、インターフェース部140等を介して、「首をもっと右側に傾けて…」(顔の各部位が位置する平面そのものを3次元的に調整(面外調整)する場合)または「首をもっと時計方向に回転させて…」(顔の各部位が位置する平面内で2次元的に調整(面内調整)する場合)などの音声情報や、LEDなどを用いた発光情報により行うことができる。あるいは、フィードバックは、モニタを用いて行うこともできる(フロントビューカメラ/回転式カメラを使用する場合、画面に顔及び顔向きのガイドについての情報を表示する)。しかし、このことに限定されるものではなく、顔の角度がテンプレートの条件に一致すれば、自動的に写真が撮影されるようにすることもできる。図5に図示されているように、プレビュー状態において選択されたテンプレートを被写体画像と共に画面に表示することができる。また、図5に図示されているように、プレビュー状態において表示される選択されたテンプレートは、テンプレートに含まれている顔の角度についての情報を画面で画像として表示することができる。さらに、図5に図示されているように、プレビュー状態において表示される被写体の画像に顔トラッキング技術による被写体の顔の角度の情報を示す視覚的なインジケータを重ね合わせて表示してもよい。
以上、セルフ撮影の場合について説明したが、必ずしもこれに限定されるものではなく、デジタル機器のユーザが他人の写真を撮影する場合にも、本発明を同様に適用することができる。
本発明に係る実施形態における方法は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。コンピュータ読取可能な記録媒体としては、プログラム命令、データファイル、データ構造などを単独または組合せて含むことができる。この媒体に記録されるプログラム命令は本発明のために特別に設計され構成されたものでもよく、コンピュータソフトウェアの当業者に公知され使用できるものでもよい。コンピュータ読取可能な記録媒体の例は、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスク(Floptical disk)のような磁気−光媒体、及びリードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、フラッシュメモリなどのようなプログラム命令を格納して行うように特別に構成されたハードウェア装置を含む。プログラム命令の例には、コンパイラーにより作られるような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行されることのできる高級言語コードが含まれる。前述したハードウェア装置は本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
以上のように、本発明では具体的な構成要素などのような特定事項と限定された実施形態及び図面により説明したが、これは本発明のより全体的な理解を助けるために提供されたものであり、本発明は前述の実施形態に限定されるものではなく、本発明が属する分野で通常的な知識を持った者であれば、このような記載から多様な修正及び変形が可能であるはずである。
以上、本発明の詳細な説明では具体的な実施形態について説明したが、本発明の要旨から逸脱しない範囲内で多様に変形できる。よって、本発明の権利範囲は、上述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。
100 システム
110 構図助言部
110a 顔検出部
110b 顔トラッキング部
110c 構図判断部
120 テンプレートデータベース(DB)
130 コンテンツデータベース(DB)
140 インターフェース部
150 通信部
160 制御部

Claims (13)

  1. ユーザがデジタル機器を用いて被写体を撮影する際に、前記被写体の顔をユーザの所望する顔角度で撮影した画像のデジタルデータを生成するためにユーザを補助するための方法であって、
    (a)顔の角度に関する情報を含む複数のテンプレートからテンプレートを選択するステップと、
    (b)デジタル機器の画面に被写体の顔が表示されたプレビュー状態において、顔検出技術を用いて前記被写体の顔を検出するステップと、
    (c)前記検出された顔の角度が、前記選択されたテンプレートに含まれている顔の角度に関する情報と互いに一致するか否かを判断するステップと、
    (d)前記検出された顔の角度が前記選択されたテンプレートに含まれている顔の角度に関する情報と一致するまで、前記検出された顔の角度が前記選択されたテンプレートに含まれている顔の角度に関する情報と互いに一致していないというフィードバックを前記ユーザに提供するステップとを含み、
    前記プレビュー状態で、前記選択されたテンプレートが含む前記顔の角度に関する情報が前記デジタル機器の画面で顔の角度を表す画像として前記被写体の映像と共に表示され、前記被写体の顔の映像に応じて状態が変化する前記被写体の顔の角度を示すインジケータが前記画面上で前記被写体の顔の映像に重ね合わせて表示されることにより、前記ユーザが、前記被写体の顔の角度を前記選択されたテンプレートの顔の角度を表す画像の角度に合わせるのを補助することを特徴とする方法。
  2. 請求項1に記載の方法であって、
    前記ステップ(b)は、前記プレビュー状態において、顔トラッキング技術を用いて前記検出された顔をトラッキングするステップを含むことを特徴とする方法。
  3. 請求項2に記載の方法であって、
    前記トラッキングは、前記デジタルデータが生成されるまで、前記デジタル機器を用いて行われることを特徴とする方法。
  4. 請求項2に記載の方法であって、
    前記デジタルデータは、静止画データまたは動画データであることを特徴とする方法。
  5. 請求項2に記載の方法であって、
    前記ステップ(c)は、前記トラッキングされた顔の角度が、前記選択されたテンプレートに含まれている顔の角度と互いに一致するか否かを判断するステップを含むことを特徴とする方法。
  6. 請求項5に記載の方法であって、
    前記ステップ(d)は、前記トラッキングされた顔の角度が、前記選択されたテンプレートに含まれている顔の角度と互いに一致した場合に、自動的に前記デジタルデータを生成するステップを含むことを特徴とする方法。
  7. 請求項6に記載の方法であって、
    前記ステップ(d)は、前記トラッキングされた顔の角度が、前記選択されたテンプレートに含まれている顔の角度と互いに一致するまで、前記トラッキングされた顔の角度が前記選択されたテンプレートに含まれている顔の角度と一致していないというフィードバックを前記ユーザに提供するステップを含むことを特徴とする方法。
  8. 請求項7に記載の方法であって、
    前記角度に関する情報は、前記顔の各部位が位置する平面そのものを3次元的に調整(面外調整)する場合の角度に関する情報と、前記顔の各部位が位置する平面内で2次元的に調整(面内調整)する場合の角度に関する情報とが含まれることを特徴とする方法。
  9. 請求項1に記載の方法であって、
    前記フィードバックは、音声、発光素子及び画面のうちの少なくとも1つを用いて提供されることを特徴とする方法。
  10. 請求項1に記載の方法であって、
    前記被写体が、前記ユーザであることを特徴とする方法。
  11. 請求項1に記載の方法であって、
    前記テンプレートに含まれている顔の角度に関する情報は、前記テンプレートに含まれている顔の各部位の位置及び大きさを把握することにより得られることを特徴とする方法。
  12. 請求項11に記載の方法であって、
    前記顔の各部位は、目、鼻、口のうちの少なくとも1つを含むことを特徴とする方法。
  13. 請求項1ないし12のいずれか1つに記載の方法を実行するためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2010531969A 2007-11-13 2008-11-03 セルフ撮影の際に顔の構図を決定できるようにサポートする方法及びシステム Expired - Fee Related JP5276111B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2007-0115351 2007-11-13
KR1020070115351A KR100840023B1 (ko) 2007-11-13 2007-11-13 셀프 촬영 시 얼굴의 구도를 잡도록 도와주는 방법 및시스템
PCT/KR2008/006472 WO2009064086A1 (en) 2007-11-13 2008-11-03 Method and computer-readable recording medium for adjusting pose at the time of taking photos of himself or herself

Publications (2)

Publication Number Publication Date
JP2011504316A JP2011504316A (ja) 2011-02-03
JP5276111B2 true JP5276111B2 (ja) 2013-08-28

Family

ID=39772014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010531969A Expired - Fee Related JP5276111B2 (ja) 2007-11-13 2008-11-03 セルフ撮影の際に顔の構図を決定できるようにサポートする方法及びシステム

Country Status (5)

Country Link
US (1) US20100266206A1 (ja)
EP (1) EP2210410A4 (ja)
JP (1) JP5276111B2 (ja)
KR (1) KR100840023B1 (ja)
WO (1) WO2009064086A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726966B (zh) * 2008-10-10 2012-03-14 深圳富泰宏精密工业有限公司 自拍系统及方法
KR101615290B1 (ko) * 2009-08-26 2016-04-26 삼성전자주식회사 촬영 방법 및 시스템
KR101635102B1 (ko) * 2009-11-30 2016-06-30 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US8957981B2 (en) * 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
KR101146297B1 (ko) 2010-07-02 2012-05-21 봄텍전자 주식회사 전안촬영시스템 및 이 시스템의 안내선 표시방법
JP2012244245A (ja) * 2011-05-16 2012-12-10 Olympus Imaging Corp 撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラム
JP5786463B2 (ja) 2011-06-01 2015-09-30 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US9536132B2 (en) 2011-06-24 2017-01-03 Apple Inc. Facilitating image capture and image review by visually impaired users
KR101832959B1 (ko) * 2011-08-10 2018-02-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US10089327B2 (en) 2011-08-18 2018-10-02 Qualcomm Incorporated Smart camera for sharing pictures automatically
US20130201344A1 (en) * 2011-08-18 2013-08-08 Qualcomm Incorporated Smart camera for taking pictures automatically
CN104204940B (zh) * 2012-03-13 2016-04-27 富士胶片株式会社 带投影仪摄影装置及其控制方法
US20130293686A1 (en) * 2012-05-03 2013-11-07 Qualcomm Incorporated 3d reconstruction of human subject using a mobile device
US20130335587A1 (en) * 2012-06-14 2013-12-19 Sony Mobile Communications, Inc. Terminal device and image capturing method
US9064184B2 (en) 2012-06-18 2015-06-23 Ebay Inc. Normalized images for item listings
US9554049B2 (en) * 2012-12-04 2017-01-24 Ebay Inc. Guided video capture for item listings
US9503632B2 (en) * 2012-12-04 2016-11-22 Lg Electronics Inc. Guidance based image photographing device and method thereof for high definition imaging
KR102000536B1 (ko) * 2012-12-28 2019-07-16 삼성전자주식회사 합성 이미지를 촬영하는 촬영 장치 및 그 방법
KR102092571B1 (ko) 2013-01-04 2020-04-14 삼성전자 주식회사 카메라를 구비하는 장치의 인물 촬영장치 및 방법
US9106821B1 (en) * 2013-03-13 2015-08-11 Amazon Technologies, Inc. Cues for capturing images
KR101431651B1 (ko) * 2013-05-14 2014-08-22 중앙대학교 산학협력단 시각 장애인용 모바일 사진 촬영 장치 및 방법
KR20150026358A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
US20150201124A1 (en) * 2014-01-15 2015-07-16 Samsung Electronics Co., Ltd. Camera system and method for remotely controlling compositions of self-portrait pictures using hand gestures
CN106462032A (zh) * 2014-04-02 2017-02-22 夫斯特21有限公司 用于面部识别系统的灯光指示装置及其使用方法
US9762791B2 (en) * 2014-11-07 2017-09-12 Intel Corporation Production of face images having preferred perspective angles
KR200481553Y1 (ko) * 2014-11-25 2016-10-17 주식회사 뉴런 스마트 디바이스를 활용한 실시간 atm영상 인증 전송 시스템
KR102365393B1 (ko) * 2014-12-11 2022-02-21 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105120144A (zh) * 2015-07-31 2015-12-02 小米科技有限责任公司 图像拍摄方法和装置
WO2017039348A1 (en) 2015-09-01 2017-03-09 Samsung Electronics Co., Ltd. Image capturing apparatus and operating method thereof
JP6590630B2 (ja) * 2015-10-15 2019-10-16 キヤノン株式会社 撮像装置、制御方法及びプログラム
TWI557526B (zh) * 2015-12-18 2016-11-11 林其禹 自拍無人飛機系統及其執行方法
US10440261B2 (en) * 2017-04-03 2019-10-08 International Business Machines Corporation Automatic selection of a camera based on facial detection
WO2019216593A1 (en) * 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for pose processing
KR102537784B1 (ko) 2018-08-17 2023-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7378934B2 (ja) * 2019-01-29 2023-11-14 キヤノン株式会社 情報処理装置、情報処理方法及びシステム
WO2023273372A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 手势识别对象确定方法及装置
CN113784039B (zh) * 2021-08-03 2023-07-11 北京达佳互联信息技术有限公司 头像处理方法、装置、电子设备及计算机可读存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835616A (en) * 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
US6154559A (en) * 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
JP2000311242A (ja) * 1999-04-28 2000-11-07 Nippon Telegraph & Telephone East Corp 遠隔制御による撮影映像保存・供覧方法及びシステム
JP4227257B2 (ja) * 1999-08-12 2009-02-18 キヤノン株式会社 カメラ
JP4309524B2 (ja) * 1999-09-27 2009-08-05 オリンパス株式会社 電子カメラ装置
JP2002330318A (ja) * 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd 携帯端末装置
EP1600898B1 (en) * 2002-02-05 2018-10-17 Panasonic Intellectual Property Management Co., Ltd. Personal authentication method, personal authentication apparatus and image capturing device
KR100469727B1 (ko) * 2003-03-07 2005-02-02 삼성전자주식회사 통화자의 얼굴을 화면 가운데에 위치시킬 수 있는화상통신용 통신단말기 및 방법
JP4333223B2 (ja) * 2003-06-11 2009-09-16 株式会社ニコン 自動撮影装置
JP4970716B2 (ja) * 2004-09-01 2012-07-11 株式会社ニコン 電子カメラ
KR20060035198A (ko) * 2004-10-21 2006-04-26 주식회사 팬택앤큐리텔 얼굴인식 기법을 이용한 카메라 자동 줌 시스템 및 이를탑재한 이동통신 단말기 및 얼굴인식 기법을 이용한카메라 자동 줌 방법
JP2006311276A (ja) * 2005-04-28 2006-11-09 Konica Minolta Photo Imaging Inc 写真撮影装置
JP2007013768A (ja) * 2005-07-01 2007-01-18 Konica Minolta Photo Imaging Inc 撮像装置
JP2007043263A (ja) * 2005-08-01 2007-02-15 Ricoh Co Ltd 撮影システム、撮影方法及び該方法を実行するためのプログラム
EP1962497B1 (en) * 2005-11-25 2013-01-16 Nikon Corporation Electronic camera and image processing device
JP4867365B2 (ja) * 2006-01-30 2012-02-01 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
JP4665780B2 (ja) * 2006-01-30 2011-04-06 ソニー株式会社 顔重要度判定装置、方法、および撮像装置
JP2007249366A (ja) * 2006-03-14 2007-09-27 Tatsumi:Kk 髪型選択支援装置および方法
JP4725377B2 (ja) * 2006-03-15 2011-07-13 オムロン株式会社 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
JP4657960B2 (ja) * 2006-03-27 2011-03-23 富士フイルム株式会社 撮像方法および装置
JP4507281B2 (ja) * 2006-03-30 2010-07-21 富士フイルム株式会社 画像表示装置、撮像装置および画像表示方法
JP4765732B2 (ja) * 2006-04-06 2011-09-07 オムロン株式会社 動画編集装置
JP4218711B2 (ja) * 2006-08-04 2009-02-04 ソニー株式会社 顔検出装置、撮像装置および顔検出方法
JP2008244804A (ja) * 2007-03-27 2008-10-09 Fujifilm Corp 撮像装置及び撮像方法並びに制御プログラム
GB2448221B (en) * 2007-04-02 2012-02-01 Samsung Electronics Co Ltd Method and apparatus for providing composition information in digital image processing device
WO2009067738A1 (en) * 2007-11-27 2009-06-04 Wavefront Biometric Technologies Pty Limited Biometric authentication using the eye
US8437513B1 (en) * 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication

Also Published As

Publication number Publication date
US20100266206A1 (en) 2010-10-21
WO2009064086A1 (en) 2009-05-22
EP2210410A1 (en) 2010-07-28
EP2210410A4 (en) 2010-12-15
JP2011504316A (ja) 2011-02-03
KR100840023B1 (ko) 2008-06-20

Similar Documents

Publication Publication Date Title
JP5276111B2 (ja) セルフ撮影の際に顔の構図を決定できるようにサポートする方法及びシステム
KR101444103B1 (ko) 상태 정보를 이용하여 미디어 신호를 생성하는 방법 및장치
KR101795601B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체
CN106131413B (zh) 一种拍摄设备的控制方法及拍摄设备
US8760551B2 (en) Systems and methods for image capturing based on user interest
KR20100048600A (ko) 인물 구도 제안 영상 촬영 장치 및 방법
JP2006115406A (ja) 撮像装置
KR20100027700A (ko) 촬영 방법 및 장치
CN109478227A (zh) 计算设备上的虹膜或其他身体部位识别
JP2010183187A (ja) 撮像装置およびその制御方法、プログラム
JP2009117975A (ja) 撮影装置および撮影方法
CN109451240A (zh) 对焦方法、装置、计算机设备和可读存储介质
JP2016189544A (ja) 画像撮影装置、画像撮影方法、プログラムおよび記録媒体
JP2009239347A (ja) 画像処理装置および画像処理プログラム
JP2009015518A (ja) 眼画像撮影装置及び認証装置
JP2010178259A (ja) デジタルカメラ
JP6323548B2 (ja) 撮影補助システム、撮像装置、情報処理装置、撮影補助プログラム及び撮影補助方法
JP2015008385A (ja) 画像選択装置、撮像装置および画像選択プログラム
JP2008072183A (ja) 撮像装置および撮像方法
JP6494455B2 (ja) 映像処理装置、映像処理方法、及びプログラム
JP2009260630A (ja) 画像処理装置および画像処理プログラム
JP2008219450A (ja) 撮像装置およびその制御方法
JP2015012535A (ja) 撮影機器及び撮影方法
JP5408348B2 (ja) ポインタ情報処理装置、ポインタ情報処理プログラムおよび会議システム
JP2009205203A (ja) 虹彩認証装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120127

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120905

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121005

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121024

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20121029

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130418

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130501

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130516

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees