JP6264665B2 - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
JP6264665B2
JP6264665B2 JP2015512315A JP2015512315A JP6264665B2 JP 6264665 B2 JP6264665 B2 JP 6264665B2 JP 2015512315 A JP2015512315 A JP 2015512315A JP 2015512315 A JP2015512315 A JP 2015512315A JP 6264665 B2 JP6264665 B2 JP 6264665B2
Authority
JP
Japan
Prior art keywords
image
frame
image processing
feature point
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015512315A
Other languages
English (en)
Other versions
JPWO2014171142A1 (ja
Inventor
冨田 裕人
裕人 冨田
フウ グエン
フウ グエン
忠則 手塚
忠則 手塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2014171142A1 publication Critical patent/JPWO2014171142A1/ja
Application granted granted Critical
Publication of JP6264665B2 publication Critical patent/JP6264665B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、画像を認識して画像処理を行う画像処理方法、およびその装置に関するものである。
従来、顔画像にコンピュータ上で画像処理によりメイクアップ処理を行い、仮想の化粧後の顔を実現するメイクアップシミュレーションの技術が知られている。メイクアップシミュレーションは、顔画像に対して認識技術を用いることで、口、目、鼻、および顔輪郭などの特徴点を抽出し、その特徴点に基づいて、口紅などの各化粧アイテムを画像処理により合成することで実現される。特に、動画として撮影したユーザの顔画像に対してリアルタイムにシミュレーション結果を表示すれば、鏡の前で実際に化粧を行っているかのような臨場感の高いメイクアップシミュレーションをユーザに提供できる(例えば、特許文献1および特許文献2参照)。このようなメイクアップシミュレーションでは、ユーザから視認できるモニタと、ユーザの顔を撮影するためのカメラを、モニタの上などに設置したシステムを用いるのが一般的である。
特許第5191665号公報 特許第3984191号公報 特開2007−49371号公報
しかしながら、各化粧アイテムを操作してメイクアップシミュレーションを行うためには、モニタに映ったユーザ自身の顔画像を注視しながら操作パネルを操作する必要がある。そのため、ユーザの顔の向きがカメラの方向からずれてしまい、正面向きの顔と比べて特徴点の検出精度が低下して、シミュレーション結果の品質低下につながる問題がある。また、メイクアップシミュレーションに係る演算処理により、モニタに映るユーザ自身の顔画像は現実のユーザの動きより遅れて映るため、ユーザが動いていると操作が行いづらい問題がある。
本発明は、前記従来の課題を解決するもので、画面操作中の処理画像を適切に選択する画像処理方法を提供することを目的とする。
前記従来の課題を解決するために、本発明の画像処理方法は、入力された動画像に対して画像処理を行い、画像処理の結果を表示するシステムにおける画像処理方法であって、前記システムの動作モード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかの判定処理と、前記判定処理の結果に応じたモード別処理とを含み、前記操作モードにおける前記モード別処理は、前記動画像を構成する複数のフレーム画像の中から画像処理の対象物が適正に表れているフレーム画像を選んで静止画として表示し、前記対象物に対する画像処理に係る操作を受け付ける処理を含み、前記確認モードにおける前記モード別処理は、前記動画像の各フレームに対して画像処理を行ってユーザの確認に供するために表示する処理を含み、前記画像処理は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に行われることを特徴とする。
本発明の画像処理方法によれば、画像処理の対象物が適切に表れている静止画を画面操作中の処理画像として適切に選択することができる。
本発明の実施の形態1におけるメイクアップシミュレータのブロック図。 本発明の実施の形態1におけるメイクアップシミュレータの外観図。 本発明の実施の形態1におけるメイクアップシミュレータの動作モード設定手順を示すフローチャート。 本発明の実施の形態1におけるメイクアップシミュレータのフレームごとの動作を示すフローチャート。 顔特徴点検出手順を示すフローチャート。 目の開閉確認手順を示すフローチャート。 目の特徴点位置を説明する図。 本発明の実施の形態1におけるメイクアップシミュレータのメイクアップシミュレーションを行う際のフレームごとの動作を示すフローチャート。 本発明の実施の形態1の補足(7)におけるメイクアップシミュレータのメイクアップシミュレーションを行う際のフレームごとの動作を示すフローチャート。 本発明の実施の形態2におけるメイクアップシミュレータのフレームごとの動作を示すフローチャート。 本発明の実施の形態2におけるメイクアップシミュレータのメイクアップシミュレーションを行う際のフレームごとの動作を示すフローチャート。 本発明の実施の形態2の補足(2)におけるメイクアップシミュレータのメイクアップシミュレーションを行う際のフレームごとの動作を示すフローチャート。 本発明の実施の形態2における平均顔特徴点位置の再算出手順を示すフローチャート モード切り替えに応じたフェーズを示す図。 (a)は、フレーム画像Fxと、フレーム画像Fx+mとにおいて検出された特徴点群を示す。(b)は、フレーム画像Fxと、フレーム画像Fx+mとの間の特徴点の変換を規定する変換行列を示す。 (a)は、フレーム画像Fx、フレーム画像Fx+mに存在する複数の特徴点を示す図。(b)は、変換行列の一例。(c)は、静止画に対して手塗りイメージが描画されている状況を示す図。 動作モードが、確認モードから操作モードに切り替えられた場合において、確認モードのベースとなる静止画が確定するまで経緯を示す図。 操作モードにおけるメイクアップ処理に関する入力受付を示すフローチャート。
≪発明者が得た知見≫
リアルタイム処理を行うメイクアップシミュレータでは、ユーザに向けたカメラで撮像し、撮像したユーザの画像に画像処理を施してモニタに表示する。ここで、ユーザがメイクアップシミュレーションを行うためには、モニタと一体化したタッチパネルや、別途設けられた操作パネルなどを操作し、口紅やチーク、マスカラといった化粧品を選んで顔に塗布操作などを行う必要がある。そのため、操作中は顔の向きや目線が操作パネルやモニタに移ってしまい、カメラに対して正面を向いた画像が取得できなくなる。このような、顔の向きや目線がカメラから外れた画像に対しては、特徴点の検出精度が低下してしまうため、特徴点の誤検出により、化粧アイテムの位置がずれてしまい、メイクアップシミュレーション品質が低下することがある。
さらに、リアルタイム処理においては、ハードウェアの処理能力に依存した遅延が発生することがある。メイクアップ処理は動画像のフレーム単位で行うため、少なくとも1フレーム分の遅延が発生する。さらに、特徴点の検出処理、化粧パーツの変形処理と合成処理が発生するため、0.1秒以上の遅延が発生することがある。このような場合、ユーザがモニタ上の自画像にタッチ操作を行おうとすると、モニタ上の自画像はユーザ自身の動きを遅れて再現するため、ユーザは想定外の動きがあるように感じ、自画像上の意図した位置をタッチするのが難しい。
このような課題を解決する方法としては、化粧に係る操作などを行う際には静止画を表示することが考えられる。動画表示と静止画表示とを切り替える方法としては、特許文献3に開示されているように、撮像操作を機に動画表示から静止画表示に切り替える方法がある。
化粧に係る操作を行うための静止画としては、正面を向き、目線がカメラに向いている画像が適している。上述したように特徴点が検出しやすく、ユーザにとっても操作しやすいためである。しかしながら、ユーザの撮像操作により静止画を撮像した場合、必ずしもこのような画像が得られるとは限らない。撮像操作をするために目線や顔の向きが操作パネルに向かっていたり、操作を行うために姿勢が崩れていたりすることがあり得るからである。
そこで、発明者らは、ユーザが静止画表示に切り替える操作を行った後、動画像を撮像し続け、当該動画像を構成する各フレームの特徴点を検出し、上述した化粧に係る操作を行うための静止画として適した画像が得られれば、そのフレームを静止画としてメイクアップ処理のための処理画像とする、という知見を得た。このようにすることで、ユーザの操作の時点直後に制約されることなく、メイクアップ処理に適した画像をベースとしてシミュレーションを実施することができる。
≪実施の形態≫
以下本発明の実施の形態について、図面を参照しながら説明する。
≪実施の形態1≫
<構成>
本実施の形態に係るメイクアップシミュレータのブロック図を図1に示す。メイクアップシミュレータ1は、カメラ2と、特徴点検出部11と、フレームメモリ12と、制御部13と、画像処理部14と、タッチパネルモニタ3とを備える。
カメラ2は、撮像光学系(図示無し)、撮像素子(図示無し)、A/D変換回路(図示無し)などで構成される。撮像光学系は、フォーカス制御を行うフォーカスレンズ、シャッタ・絞りによる露出制御部などで構成される。ズーム動作を行うズームレンズを備えても良い。撮像素子は、CCDセンサまたCMOSセンサで構成される光電変換素子であり、撮像光学系により形成された被写体像を撮像して映像信号を出力する。A/D変換回路は、撮像素子より出力されたアナログ信号である映像信号を、デジタル信号に変換する変換器である。A/D変換回路から出力されるデジタルデータが、カメラ2の出力である撮像画像となる。カメラ2は、特徴点検出部11に、動画としてのデジタルデータを、構成するフレーム画像単位で出力する。
特徴点検出部11は、カメラ2から出力された動画としてのデジタルデータを構成するフレーム画像のそれぞれに対して、顔の検出を行い、次いで、目の輪郭、鼻の輪郭、口の輪郭、顔の輪郭などを検出し、その位置情報を特徴点として制御部13と画像処理部14に出力する。特徴点検出部11は、まず、動画としてのデジタルデータを、フレーム単位で、縦Mピクセル×横Nピクセルの画像に変換する。次に、特許文献1、特許文献2などに開示されている方法で、まず、目、鼻、口、輪郭、髪などから顔の領域を検出し、次に、顔のパーツである目、鼻、口、輪郭などのそれぞれについて、特徴点を検出する。特徴点検出部11は、検出した特徴点の座標を、制御部13に出力する。
また、特徴点検出部11は、制御部13から画像出力指示を受け付けると、カメラ2から出力されたフレーム画像をフレームメモリに転送する。
フレームメモリ12は、特徴点検出部11から出力されたフレーム画像を受け取り、処理画像として保持する。フレームメモリ12は、保持している処理画像を、画像処理部14に出力する。フレームメモリ12は、例えば、DRAM、フラッシュメモリなどの半導体メモリデバイスや、HDDなどの磁気記憶デバイスなどの記憶デバイスで実現される。
制御部13は、メイクアップシミュレータ1の動作モードを管理し、また、画像処理の内容をユーザから受け付けて保持する。具体的には、現在の動作モードが確認モードであるか操作モードであるか管理するとともに、ユーザから、動作モードの切り替え指示を受け付ける。また、操作モードである場合、処理画像が確定済みか否かを管理するとともに、確定済みでない場合、特徴点検出部11が出力する特徴点の座標から、現在処理中のフレーム画像が処理画像として適しているかを判断する。また、操作モードであって操作画像が確定済みの場合、メイクアップ処理に関するユーザの入力を受け付け、以降のフレーム画像に対する画像処理に反映する。
画像処理部14は、制御部13が出力する画像処理指示と、特徴点検出部11が出力する特徴点座標とを用いて、フレームメモリ12が保持している処理画像に対して画像処理を行い、結果をタッチパネルモニタ3に出力する。
タッチパネルモニタ3は、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機ELなどで構成される表示デバイスであるとともに、静電容量方式、赤外線方式などのタッチセンサで位置検出を行う位置入力デバイスでもある。タッチパネルモニタ3は、画像処理部14が出力する画像を表示デバイスに表示し、また、ユーザがタッチセンサを用いて入力を行った場合にその座標を制御部13に入力する。
上述した特徴点検出部11、制御部13、画像処理部14はそれぞれ、例えば、プロセッサなどのプログラマブルデバイスとソフトウェア、あるいは、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Ingegrated Circuit)などのハードウェアにより実現される。
<概要>
メイクアップシミュレータ1の外観と動作の概要について説明する。
メイクアップシミュレータ1の外観を図2(a)に示す。ユーザはメイクアップシミュレータ1の前に位置し、タッチパネルモニタ3の上に位置するカメラ2でユーザ自身の画像を撮影する。
タッチパネルモニタ3に表示される画像を図2(b)に示す。タッチパネルモニタ3に表示される内容は、カメラ2により撮影されたユーザの画像に画像処理を行ったものを表示する画像表示部分と、タッチセンサを介してユーザの操作を受け付けるためのガイドを表示する操作表示部分とに分けられる。
メイクアップシミュレータ1の動作モードには、「確認モード」と「操作モード」とがある。「確認モード」である場合、メイクアップシミュレータ1は、カメラ2により撮影されたユーザの画像に画像処理を行ったものをリアルタイムで動画として画面表示部分に表示する。したがって、画像処理後の画像、すなわち、シミュレート結果がユーザの目の前に表示されるので、メイクアップシミュレータ1はメイクアップ機能を有したデジタルミラーとなり、ユーザは鏡に映る自身の顔を見るように、メイクアップシミュレーション後の自身の顔を確認することが可能である。一方、「操作モード」である場合、メイクアップシミュレータ1は、ユーザの操作をタッチパネルモニタ3のタッチセンサを介して受け付ける。ユーザは、操作表示部分に表示されたメイクのアイテム(口紅、頬紅など)を選択し、色、塗布形状、塗布位置なども操作・選択する。塗布形状や塗布位置は、画面表示部分に表示されているユーザ自身の画像に対して指定してもよい。ユーザの操作・選択情報は、タッチパネルモニタ3を介して制御部13に入力され、制御部13はその操作・選択情報に応じて画像処理部14に画像処理内容の変更を指示する。これにより、画面表示部分に表示されているユーザ自身の画像に行われるメイクアップが、ユーザの操作・選択情報に合わせて即時に変更される。そのため、ユーザはメイクアップの結果を即時に確認することができ、気軽にメイクアップシミュレーションを行うことができる。
<モードの切り替え>
図3を用いて、動作モードの設定動作について説明する。
メイクアップシミュレータ1は、動作モードを設定するためのGUIをタッチパネルモニタ3の操作表示部分に表示する(S1)。表示されるGUIは、例えば、「確認モード」を示す「再生」のアイコンと、「操作モード」を示す「一時停止」のアイコンである。メイクアップシミュレータ1は、ユーザの指示、例えば、ユーザがタッチパネルモニタ3上のモード切替アイコンをタッチすることにより、ステップS1の動作を開始する。
次に、メイクアップシミュレータ1は、タッチパネルモニタ3の操作表示部分を介して、動作モードを選択する入力がユーザによってなされたか否かを確認する(S2)。なお、このとき、ユーザによって選択されたアイコンの色を反転させたり、アイコン枠を強調させたりなどの方法で、ユーザに指示内容の確認を行ってもよい。
タッチパネルからの入力が「確認モード」を選択するものであった場合(S3で確認モード)、メイクアップシミュレータ1は、動作モードを確認モードに設定する(S4)。具体的には、制御部13の動作モードレジスタに、動作モードが「確認モード」であることを示す情報を書き込む。
一方、タッチパネルからの入力が「操作モード」を選択するものであった場合(S3で操作モード)、メイクアップシミュレータ1は、動作モードを操作モードに設定する(S5)。具体的には、制御部13の動作モードレジスタに、動作モードが「操作モード」であることを示す情報を書き込む。
タッチパネルからの入力が「確認モード」または「操作モード」のいずれかを選択するものであった場合、ステップS4またはS5の後、処理画像決定フラグを初期化する(S6)。具体的には、制御部13の処理画像決定レジスタの内容を消去する。これは、フレームメモリに画像が保持されている場合に、フレームメモリに新たに画像を書き込めない事態を防ぐためである。詳細は後述する。
なお、動作モードを選択する入力がユーザによってなされなかった場合は(S2でNo)、メイクアップシミュレータ1は、動作モード設定を終了する。
<フレーム単位の動作>
次に、図4を用いてフレーム単位の動作を説明する。なお、ここでは、画像処理(メイクアップ処理)は行わず、単にデジタルミラーとして動作する場合について説明する。
メイクアップシミュレータ1のカメラ2は、ユーザを撮影した動画の1つのフレーム画像(静止画)を出力する(S11)。
次に、メイクアップシミュレータ1の制御部13は、メイクアップシミュレータ1の動作モードを判定する(S12)。具体的には、制御部13は、動作モードレジスタから設定情報を読み出す。
動作モードが確認モードであった場合、メイクアップシミュレータ1は、フレームメモリ12を、カメラ2が出力した静止画で上書きする(S13)。具体的には、制御部13は特徴点検出部11に画像出力指示を送信し続け、フレームメモリ12は、カメラ2が出力した静止画を特徴点検出部11を経由して受け取って自身に格納する。このようにすることで、カメラ2が撮像した最新のフレーム画像がそのままフレームメモリに格納されることになる。
一方、動作モードが操作モードであった場合、以下のような処理となる。
まず、メイクアップシミュレータ1の制御部13は、処理画像が決定済みであるか否かを判定する(S14)。具体的には、制御部13は、処理画像決定レジスタに、処理画像が決定済みであることを示す情報が格納されているか否かを確認する。
処理画像が決定済みであれば(S14でYes)、メイクアップシミュレータ1はそのフレームに対して処理を終了する。この場合、制御部13は特徴点検出部11に画像出力指示を送信せず、フレームメモリには1フレーム以上前のフレーム画像である、決定済みの処理画像がそのまま保持されることになる。
処理画像が決定済みでない場合(S14でNo)、メイクアップシミュレータ1の特徴点検出部11は、フレーム画像から顔の特徴点を検出する(S15)。
図5を用いてステップS15の処理について説明する。まず、特徴点検出部11は、フレーム画像から、顔を検出してその領域を特定し、その座標を特徴点として出力する(S151)。次に、特徴点検出部13は、顔の領域から、目、鼻、口、眉などの、顔の各パーツを検出し、その輪郭線を特定するための座標を特徴点として出力する(S152)。
図4に戻って説明を続ける。次に、メイクアップシミュレータ1の制御部13は、検出した特徴点の位置を確認する(S16)。具体的には、制御部13は、当該フレーム画像がメイクアップ処理などの画像処理のベースとなる画像として適正であるか否かの指標として、顔の特徴点位置から、顔の向きや状態を確認する。
図6を用いてステップS16の処理の一例について説明する。ここでは、目が閉じている画像は処理画像として適正でないという観点から、目の開閉状態を確認している。図7に示すように、ステップS15において、目の特徴点として、目頭A(Xa,Ya)、目尻B(Xb,Yb)、目の上端C(Xc,Yc)、目の下端D(Xd,Yd)の4つが取得されているものとする。
まず、目の水平方向の大きさを算出する(S161)。目の水平方向の大きさLhは、以下に示すように、目頭Aと目尻Bとの間の距離で算出できる。
Figure 0006264665
次に、目の垂直方向の大きさを算出する(S162)。目の垂直方向の大きさLvは、以下に示すように、目の上端Cと目の下端Dとの間の距離で算出できる。
Figure 0006264665
次に、目の垂直方向の大きさを正規化する(S163)。具体的には、目の垂直方向の大きさLvを、目の水平方向の大きさLhで除算し、正規化した目の垂直方向の大きさLvn=Lv/Lhを得る。
最後に、正規化した目の垂直方向の大きさLvnが所定のしきい値を超えるか否かにより、目の開閉状態を確認する(S164)。
図4に戻って説明を続ける。メイクアップシミュレータ1の制御部13は、ステップS16の特徴点位置確認の結果を基に、当該フレーム画像を処理画像として決定するか否かを判定する(S17)。ここでは、上述した目の開閉状態が「開いている」状態であれば、当該フレーム画像を処理画像として決定し、そうでなければ当該フレーム画像を処理画像として決定しない。
当該フレーム画像を処理画像として決定する場合(ステップS17でYes)、メイクアップシミュレータ1の制御部13は、処理画像決定フラグをセットする(S18)。具体的には、処理画像決定レジスタに、処理画像が決定済みであることを示す情報を格納する。これにより、動作モードが確認モードに切り替わり処理画像決定フラグがクリアされるまで、以降のフレーム画像によりフレームメモリが上書きされることがなくなるため、当該フレーム画像が処理画像としてフレームメモリに格納されたままとなる。
最後に、当該フレーム画像を処理画像として、フレームメモリに格納する(S19)。これにより、当該フレーム画像が処理画像となるため、ユーザは操作に適した静止画を用いて、シミュレーション処理の設定変更等を行うことができる。
一方、当該フレーム画像を処理画像として決定しない場合(ステップS17でNo)、メイクアップシミュレータ1は、フレームメモリ12を、カメラ2が出力した静止画で上書きする(S13)。具体的には、制御部13は特徴点検出部11に画像出力指示を送信し、フレームメモリ12は、フレーム画像を格納する。このようにすることで、カメラ2が撮像した最新のフレーム画像がそのままフレームメモリに格納され、改めて次フレーム以降のフレーム画像から処理画像を選択し直すことになる。
<メイクアップシミュレーション時の動作>
図8に、メイクアップシミュレーションを行う場合のメイクアップシミュレータ1の動作を示す。なお、図3と同様の動作については、同じステップ番号を付し、説明を省略する。
処理画像がフレームメモリに格納された後、特徴点検出部13はフレームメモリから処理画像を読み出し、目、鼻、口、眉などの特徴点や、輪郭の特徴点等、メイクアップシミュレーションの対象となる顔の部位の特徴点を検出する(S20)。
次に、画像処理部15がメイクアップ処理を行う(S21)。メイクアップ処理の内容は、操作モード中において、タッチパネルモニタ3の操作部分と画像表示部分とを用いてユーザから受け付ける。例えば、操作モード中において、ユーザが画像表示部分に表示されている口紅Aを選択して唇をなぞった場合、口紅Aを唇に塗るメイクアップ処理が行われる。この場合、ステップS20で検出した口の特徴点から唇の位置を特定し、口紅Aのレイヤを作成し、処理画像と合成する。
最後に、タッチパネルモニタ3に、画像処理部15が生成した処理後の画像を表示する(S22)。
<まとめ>
かかる構成によれば、ユーザが任意のタイミングで操作モードに設定しても、特徴点位置確認S105を行うことにより、瞬きなどに影響されずにメイクシミュレーションに対して良好な画像を得ることが可能である。そのため、ユーザは気軽にメイクアップシミュレーション結果を確認できるため、実際の化粧品を試す手間を軽減することができる。
<補足>
(1)ステップS2において、ユーザによって選択されたアイコンの色を反転させたり、アイコン枠を強調させたりなどの方法で、ユーザに指示内容の確認を行うとしたが、特定の音によりその動作モードの変化を通知してもよい。
(2)ステップS1およびS2において、メイクアップシミュレータ1はGUIをタッチパネルモニタ3に表示し、ユーザの入力を確認するとしたが、ステップS2におけるユーザからの指示はタッチパネルモニタ3への入力に限らず、マウスなどの他の入力デバイスからの入力であってもよいし、あるいは、カメラ1が撮像した画像から認識できるジェスチャ動作であってもよい。
または、次のように動作モードを設定してもよい。例えば、タッチパネルモニタ3の画像表示部分へのタッチ操作を、動作モード変更を指示する入力であるとし、画像表示部分へのタッチ操作があれば、操作モードから確認モードに、または、確認モードから操作モードに切り替えを行うとしてもよい。
(3)ステップS1において、ユーザがタッチパネルモニタ3の画像表示部分にタッチすることで動作モード設定の処理を開始するとしたが、例えば、特定のシーンを検出して、自動的に動作モード設定を行うとしてもよい。具体的には、ユーザが急に動いたときや、影が出来て急に暗くなったときなど環境変化が発生した場合に、一時的に操作モードに切り替えることで、表示に不適切な画像を表示することを防ぐことが可能である。この場合、環境の安定を確認して自動で確認モードに復帰してもよいし、ユーザ指示により確認モードに戻っても良い。
(4)ステップS16において、目の垂直方向の大きさの正規化に、目の水平方向の大きさを利用したが、他の値、例えば、顔の大きさを用いて目の垂直方向の大きさの正規化を行うとしてもよい。
また、目の水平方向の大きさLhについて、単に、Lh=Xa−Xbとしてもよいし、同様に、目の垂直方向の大きさLvについて、単に、Lv=Yd−Ycとしてもよい。
(5)ステップS16において、正規化した目の垂直方向の大きさを目の開閉確認に用いたが、例えば、次のようにして目の開閉確認を行ってもよい。すなわち、目の特徴点位置から黒目の位置を推定して、黒目位置に相当する箇所付近の明るさもしくは色で確認する。黒目位置は、目頭と目尻を結ぶ直線、目上端と目下端を結ぶ直線の交点位置を黒目位置と推定することが出来る。目の開閉判断としては、交点位置の画素の明度が暗い場合もしくは色が黒い場合は目が開いていると判断し、明度が明るい場合もしくは色が肌色の場合は目が閉じていると判断する。
(6)ステップS16、ステップS17において、フレーム画像がメイクアップ処理などの画像処理のベースとなる画像として適正であるか否かの指標として、目の開閉状態を確認したが、例えば、口付近を確認し、笑顔度を検出して笑顔の状態を指標として用いてもよい。この場合、例えば、口角が上がっているか否か等で判定を行うことができる。また、指標として、複数の特徴を用いてもよい。
(7)ステップS20において、特徴点検出部11が処理画像の特徴点を検出するとしたが、ステップS20はステップS15と全く同じ処理であってもよいし、あるいは、ステップS21のメイクアップ処理に必要な特徴点のみを検出するとしてもよい。または、ステップS15の特徴点検出の結果を保持しておき、ステップS21のメイクアップ処理で保持された特徴点を用いてもよい。図9にフローチャートを示す。ステップS23において、ステップS15の結果を保持し、ステップS21において、ステップS20の結果に代えて使用する。このようにすることで、フレームメモリに処理画像が保持されている場合に、同一の処理画像に対し、繰り返しステップS20の特徴点検出を実施する必要がなくなり、処理量を削減することができる。
(8)実施の形態1では、タッチパネルモニタ3には画像表示部分と操作部分のみが表示されるとしたが、例えば、お勧めのメイク情報なども合わせて表示してもよい。このようにすることで、ユーザの利便性をより高めることが出来る。
≪実施の形態2≫
実施の形態1では、操作モードで用いる処理画像についてフレーム処理単位で、または1度だけ特徴点位置の確認をする場合について説明したが、本実施の形態では複数のフレーム画像から特徴点位置を補間する場合について説明する。
本実施の形態に係る動作を示すフローチャートを図10に示す。図10において、図4と同じ動作については同じステップ番号を付し、説明を省略する。
<特徴点位置のフィルタ演算>
ステップS31において、制御部13は、予め設定された指定時間が経過したか否かを確認する。具体的には、「指定時間×フレームレート」だけのフレーム画像を処理したか否かを確認する。例えば、指定時間が2秒で、フレームレートが秒間60フレーム(60fps)の場合、120フレームを処理したか否かを確認する。ここで、指定時間のカウントの開始は、直前の指定時間の経過時、または、動作モードが操作モードに切り替わった時のうち、いずれか遅い方である。具体的には、制御部13はカウンタを備え、カウンタは、ステップS31がYesの場合、および、ステップS6において初期化される。
ステップS31でNoの場合、フレーム画像の特徴点位置を保持し(S32)、処理画像が決定しなかった場合(S17でNo)と同様の処理を行う。一方、ステップS31でYesの場合、ステップS16で特徴点位置を確認し、ステップS17で処理画像として保持するか否かを判断する。
処理画像が決定した場合(S17でYes)、ステップS19でフレームメモリに処理画像を保持した後、特徴点位置の平均を算出する(S34)。
以下、ステップS34の詳細について説明する。まず、ステップS32で保持した特徴点位置について、特徴点ごとに平均値を算出する。例えば、図7に従って説明すると、保持されている複数の目頭Aの座標の平均置を算出し、同様に、目尻Bの座標の平均値、目の上端Cの座標の平均値、目の下端Dの座標の平均値を算出する。第nフレームの目頭Aの座標を(Xan,Yan)とすると、平均値(Xaave,Yaave)は、以下の式で算出される。
Figure 0006264665
このようにすることで、特徴点の位置が時間方向に平均化されるため、特徴点の誤検出や、特徴点のずれ等による、ノイズ的な特徴点の影響を抑え、安定した特徴点位置を得ることが可能となる。
<メイクアップシミュレーション>
メイクアップシミュレーションを行う場合のフローチャートを図11に示す。図4、図8、および、図9と同じ処理については同じステップ番号を用い、説明を省略する。
操作モードにおいて、処理画像が決定済みである場合、ステップS34で算出した特徴点位置の平均を用いて、ステップS21のメイクアップ処理を行う。例えば、メイクアップ処理が付けまつ毛の付加の場合、上述した目頭A、目尻B、目の上端C、目の下端Dのそれぞれの座標の平均値を目の特徴点の座標として瞼および睫の位置を検出し、付けまつ毛を付加する。
かかる処理により、特徴点位置が安定するため、メイクアップシミュレーションも安定化させることが可能となる。
<補足>
(1)ステップS34において、座標の時間方向における加算平均を行うものとしたが、フィルタ演算はこの場合に限られず、例えば、メディアンフィルタのように、時間的に前後の特徴点位置について中央値のみを選択してもよい。
(2)ステップS34において、特徴点位置の平均を算出するとしたが、再計算をさらに行うとしてもよい。図12にフレーム処理のフローチャートを示す。ステップS34において特徴点位置の平均を算出した後、特徴点位置の平均を再算出する(S35)。
図13を用いてステップS35の処理を説明する。保持されている各特徴点について、Loop1を実施する。Loop1において、指定期間内の各フレーム画像について、Loop2を実施する。Loop2において、ステップS34で算出した特徴点の平均と、当該特徴点の位置とを比較し、差異が所定以上か否かを判断する(S351)。差異が所定以上であれば、当該特徴点を除外する(S351)。このようにすることで、各特徴点について、平均から外れたものを、フィルタの対象から除外する。そして、Loop2、Loop1の完了後、除外されていない特徴点位置の平均を算出する(S353)。
これらの処理により、さらに特徴点位置の安定化を図ることができる。
≪実施の形態3≫
本実施の形態では、操作モードと確認モードとについて詳細に説明する。
図14に、モード切替に応じた3つのフェーズを示す。左側のフェーズph1は、操作モードに切り替わった直後のフェーズである。第1段目に示すように、このフェーズはユーザがタッチパネルモニタ3に操作モードの開始を示す操作を行うことで開始され、タッチパネルモニタ3には、動画像を構成する個々のフレーム画像がリアルタイムで表示される。上述したように、表示されるフレーム画像が処理画像として適している画像であれば、当該フレーム画像が処理画像として選択され、メイクアップ操作の対象となる静止画が定まる。
真ん中のフェーズph2は、処理画像としての静止画をベースとしたメイクアップ操作を受け付けるフェーズである。Ph2の第1段目は、モードが操作モードに設定されていることを示す。第2段目は、メイクアップ操作がなされている状況を示す。この第2段目におけるフレーム画像Fxは、フェーズph1において選択された静止画としての処理画像である。このフェーズでは、静止画としてキャプチャされた自画像であるフレーム画像Fxがタッチパネルモニタ3の画像表示部分に表示されていて、このタッチパネルモニタ3の表面をユーザが指でなぞる操作を行う。この指なぞり操作により、眉毛の手塗イメージ、頬紅の手塗イメージ、口紅の手塗イメージが静止画に合成されている。
右端のフェーズph3は、操作モードでの手塗操作の後、確認モードへの切り替えがなされている状況を示す。ここで、フレーム画像Fx+mは、確認モードで表示される動画像のうち、任意の一枚のフレーム画像を意味する。このフェーズでは、後続するフレームのうち、顔の眉、頬、唇に該当する部位に、フェーズph2で行われた操作に対応する、眉毛の手塗イメージ、頬紅の手塗イメージ、口紅の手塗イメージがマッピングされている。
上記の手塗イメージのマッピングは、各フレームから各部位の輪郭を規定する特徴点を抽出し、フレーム画像に存在する特徴点の群を、別のフレーム画像の特徴点に変換する変換行列を求めることでなされる。
フレーム画像Fx、フレーム画像Fx+mからは、上述したように、ステップS20において、複数の特徴点からなる特徴点群が検出される(ないし、ステップS15において検出された特徴点群がステップS23で保持されている)。これらの特徴点は、対象物における部位の輪郭形状を規定するものである。メイクアップシミュレータ1は、静止画として設定されたフレーム画像Fxと、後続するフレーム画像Fx+mとで対応点検索を行うことで、特徴点の対応付けを行う。ここで、フレーム画像間の対応点検索は、各画素に対して輝度値等に基づく相関値を算出し、その相関値が最も高い画素を検出することでなされる。静止画に現される何らかの部位に対して手塗によるメイクアップ操作が行われれば、後続するフレーム画像における部位であって、対応点探索により操作に係る部位との対応付けがなされたものに、操作に係る手塗イメージをマッピングする。
図15(a)は、フレーム画像Fxと、フレーム画像Fx+mとにおいて検出された特徴点群を示す。
図15(a)における特徴点群gp1、gp2、gp3、gp4は、フレーム画像Fxにおける顔画像の代表的な部位(眉、唇、頬)を取り囲んで、当該部位の輪郭形状を規定している。図中の特徴点群gp11、gp12、gp13、gp14は、フレーム画像Fx+mにおける顔画像の代表的な部位を取り囲んで、当該部位の輪郭形状を規定している。矢印sr1、sr2、sr3、sr4は、フレーム画像Fxにおける特徴点と、フレーム画像Fx+mにおける特徴点との間でなされる対応点検索の過程を模式的に示したものである。この対応点検索により、フレーム画像Fxにおける眉を規定する特徴点群と、フレーム画像Fx+mにおける眉を規定する特徴点群との対応関係が規定される。
図15(b)は、フレーム画像Fxと、フレーム画像Fx+mとの間の特徴点の変換を規定する変換行列を示す。図15(b)におけるH1、H2、H3、H4は、対応する部位間の特徴点変換を規定する変換行列を示す。これらの変換行列を利用して、フレーム画像Fxに対する手塗操作で得られた手塗イメージを、フレーム画像Fx+mにマッピングする。これにより、手塗イメージはフレーム画像Fx+mにおける特徴点の現れ方に応じて変形されて表示される。
図16(a)の上段左側に存在する複数の特徴点i1、i2、i3、i4、…、i8は、フレームFxの顔画像における眉毛の形状を特徴づけるものである。図16(a)の上段右側に存在する複数の特徴点j1、j2、j3、j4、…、j8は、フレームFx+mの顔画像における眉毛の形状を特徴づけるものである。
図16(b)における変換行列Hは、フレーム画像Fxにおける特徴点i1、i2、i3、i4、…、i8を、フレームFx+mの特徴点j1、j2、j3、j4、…、j8に変換する行列であり、8×8の行列成分から構成される。
処理画像となる静止画が確定した際に、この静止画から、顔の各部位の特徴点を抽出するとともに、確認モードにおいて、後続するフレーム画像のそれぞれが処理画像となるたび、新たな処理画像の特徴点を抽出する。そして、静止画の特徴点と、新たな処理画像の特徴点との間で両者の関係を規定する変換行列を求め、この変換行列により、手塗イメージを各フレーム画像にマッピングする。これにより、確認モードにおける後続するフレーム画像に対してメイクアップシミュレーションを実現する。
図16(c)は、静止画に対して手塗イメージが描画されている状況を示す。図中の軌跡trk1は、タッチパネルモニタ3の画像表示部分に描かれた顔を指でなぞった軌跡であり、この軌跡が手塗イメージとして特定される。真ん中の矢印cv1は、図16(b)に示した変換行列Hを用いた手塗イメージの変換を模式的に示す。図中の手塗イメージtrk2は、かかる変換行列Hを用いた変換を経て、フレーム画像Fx+mに合成された手塗イメージである。以上のように変換行列Hを用いた変換を行うことで、静止画中の顔画像を指でなぞることで得られた手塗イメージは、フレーム画像Fx+mにマッピングされることになる。
図17は、動作モードが、確認モードから操作モードに切り替えられた場合において、確認モードのベースとなる静止画が確定されるまでの経緯を示す。第1段目は動作モードの設定の遷移を示し、第2段目はカメラ2から入力されるフレーム画像、第3段目は特徴点検出に従った顔部品検出、第4段目はフレームメモリ12に格納される画像を示す。時点t1は、動作モードが確認モードから操作モードに切り替わった時点である。
フレーム画像Ft1は、時点t1でキャプチャされたフレーム画像である。時点t1はユーザがタッチパネルモニタ3の操作部分を操作した瞬間であるので、係るフレーム画像Ft1において、顔が正面を向いていない。したがって、ステップS16の特徴点位置確認において、視線方向がおかしいことを検出し、ステップS17において処理画像として決定を行わない。
フレーム画像Ft5は、ユーザが目を閉じた瞬間をとらえたフレーム画像である。ステップS16の特徴点位置確認において、ユーザの目が閉じていることが検出できるので、ステップS17において処理画像として決定を行わない。
フレーム画像Ft9は、時点t1以降に初めて、ユーザがカメラ正面を向いたところを捉えたフレーム画像である。ステップS16の特徴点位置確認において、ユーザが正面を向いていて、目が開いていることが検出できるので、ステップS17において、当該フレーム画像を処理画像とすべき静止画であると決定する。したがって、フレーム画像Ft9がフレームメモリ12に保持され、タッチパネルモニタ3の画像表示部分がリアルタイム動画表示からフレーム画像Ft9を表示する静止画表示に切り替わり、操作モードのベースとなってユーザによる手塗操作が受け付けられる。
図18は、操作モードにおけるメイクアップ処理に関する入力受付を示すフローチャートである。操作モードにおいて処理画像とすべき静止画が確定した後(ステップS17でYes)、ステップS101〜ステップS103のループに移行する。このループは、化粧アイテムへのタッチが発生したか(S101)、静止画における顔へのタッチが発生したか(S102)、確認モードへの切り替えが発生したか(S103)を判断するものである。ステップS101がYesであれば、タッチされた当該化粧アイテムを選択する(S104)。また、顔画像へのタッチが発生すれば、タッチされた部位を特定して(S105)、指塗操作が継続しているか否かを判定する(S106)。継続していれば、操作に追従して手塗イメージに対応した描画を継続する(S107)。操作が終了すると、これまでの操作で描画された手塗イメージを、メイクアップシミュレーションの設定として保持する(S108)。
操作モードから確認モードへの切り替えが発生すれば、後続するフレーム画像のそれぞれについて、ステップS21において、ステップS108で保持した設定に従ってメイクアップシミュレーションを実行する。具体的には、後続するフレーム画像から顔の特徴点を抽出し(ステップS20)、この特徴点に従い、フレーム画像におけるマッピング部位を特定し、手塗イメージをマッピングする。
<まとめ>
かかる構成によれば、ユーザは必要であれば化粧ツールを選択したのち、タッチパネルモニタ上の自身の顔画像に手塗操作を行うという簡易な操作だけで、所望の化粧を行った状態の自身の顔を確認することができる。そのため、実際に化粧を行うことなく、様々なメイクアップを試すことができ、ユーザにとって最適な化粧品を提案することが可能となる。
≪その他変形例≫
(1)実施の形態1〜3では、メイクアップシミュレータ1はカメラ2とタッチパネルモニタ3とを有するとしたが、本発明は必ずしもこの場合に限定されない。例えば、メイクアップシミュレータ1はカメラ2を備えず、外部のカメラ等から画像を取得するとしてもよい。また、例えば、タッチパネルモニタ3に代えて、表示機能のみを有するモニタと、モニタとは別の入力デバイスを備えてもよい。この場合、モニタは、画面表示部分のみを表示してよい。
(2)実施の形態3では、メイクアップに関する指示は手塗指示であるとしたが、本発明は必ずしもこの場合に限定されない。例えば、すでに行ったメイクアップ指示について、化粧品の色を変更する指示を受け付けてもよい。このようにすることで、色のみが異なる同一部位に用いる化粧品同士の比較を容易に行うことができる。
(3)実施の形態1〜3では、顔に対するメイクアップ処理のシミュレーションを行うとしたが、本発明は必ずしもこの場合に限定されない。例えば、上半身や全体像から肩や腕、胸、腰などの特徴点を検出し、ドレスアップシミュレーションを行ってもよい。
また、被写体は人物に限らず、例えば、自動車の外観像から天井、フロントガラス、ミラー等の特徴点を検出し、ホイールやエアロパーツ等の装着シミュレーション、または、塗装変更シミュレーションを行ってもよい。このようにすることで、真正面や側面等を含めて被写体の周囲を回りながら撮影するだけでシミュレーションが可能となる。
(4)本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
なお、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
(補足)
以下に、実施の形態に係る画像処理方法、画像処理装置、画像処理プログラムの構成及び効果について説明する。
(1)実施の形態に係る画像処理方法は、入力された動画像に対して画像処理を行い、画像処理の結果を表示するシステムにおける画像処理方法であって、前記システムの動作モード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかの判定処理と、前記判定処理の結果に応じたモード別処理とを含み、前記操作モードにおける前記モード別処理は、前記動画像を構成する複数のフレーム画像の中から画像処理の対象物が適正に表れているフレーム画像を選んで静止画として表示し、前記対象物に対する画像処理に係る操作を受け付ける処理を含み、前記確認モードにおける前記モード別処理は、前記動画像の各フレームに対して画像処理を行ってユーザの確認に供するために表示する処理を含み、前記画像処理は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に行われることを特徴とする。
また、実施の形態に係る画像処理装置は、動画像入力に対して画像処理を行い、画像処理の結果を表示する画像処理装置であって、前記画像処理装置のモード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかを判定する動作モード判定部と、前記動作モード判定部の判定結果に応じたモード別処理を行う画像処理部と、前記画像処理部が画像処理を行った画像を表示する表示部とを含み、前記操作モードにおいて、前記画像処理部は、動画像を構成する複数のフレーム画像の中から、画像処理の対象物が適正に表れている静止画を選んで画像処理の結果として出力し、前記対象物に対する画像処理に係る操作を受け付け、前記確認モードにおいて、前記画像処理部は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に前記操作がなされていれば、後続するフレーム画像に現れる対象物に画像処理を行い、ユーザの確認に供することを特徴とする。
また、実施の形態に係る画像処理プログラムは、動画像入力に対して画像処理を行い、画像処理の結果を表示するシステムにおいて、プロセッサに画像処理を行わせるプログラムであって、前記画像処理は、前記システムのモード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかの判定と、判定結果に応じたモード別処理とを含み、前記操作モードにおける前記モード別処理は、動画像を構成する複数のフレーム画像の中から画像処理の対象物が適正に表れている静止画を選んで静止画として表示し、前記対象物に対する画像処理に係る操作を受け付ける処理を含み、前記確認モードにおける前記モード別処理は、前記動画像の各フレームに対して画像処理を行ってユーザの確認に供するために表示する処理を含み、前記画像処理は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に行われることを特徴とする。
このようにすることで、画像処理の対象物が適切に表れている静止画を画面操作中の処理画像として適切に選択することができる。
(2)また、実施の形態に係る上記(1)の画像処理方法は、前記システムは、動画像を構成する1のフレーム画像をフレームメモリに格納することで、画像処理の対象となる処理画像を保持し、前記フレームメモリに格納されているフレーム画像を前記モード別処理の対象とし、前記システムの動作モード設定が確認モードである場合、動画像を構成するフレーム画像の入力があれば、そのフレーム画像を用いて、前記フレームメモリに格納された処理画像を上書きすることで、処理画像の更新を行い、前記システムの動作モード設定が操作モードである場合、対象物が適正に表れているとして選ばれた静止画を前記フレームメモリに格納し、前記フレームメモリに前記静止画を格納してから前記システムのモード設定が確認モードに切り替わるまでの間、前記フレームメモリに格納されている画像を更新しない、としてもよい。
このようにすることで、処理画像のみをフレームメモリ内に保持することができ、不必要なフレーム画像を保持する必要がなくなる。
(3)また、実施の形態に係る上記(2)の画像処理方法は、前記システムの動作モード設定が操作モードである場合、前記モード別処理は、さらに、入力されたフレーム画像を対象とした特徴点位置の検出と、特徴点位置を確認する特徴点位置の確認とを含み、前記特徴点位置の確認の結果に応じて、現在入力されているフレーム画像に適正に対象物が現れているかどうかを判断する、としてもよい。
このようにすることで、対象物がフレーム画像に適正に表れているか否かを確実に見分けることができる。
(4)また、実施の形態に係る上記(3)の画像処理方法は、前記対象物は、人の顔であって、前記特徴点位置の検出において、顔の目の特徴点を検出し、前記特徴点位置の確認において、検出された前記目の特徴点の位置から目の開閉状態を確認し、前記目の開閉状態が開いている状態の場合、前記現在入力されているフレーム画像を前記フレームメモリに前記静止画として保持し、前記目の開閉状態が閉じている状態の場合、後続するフレーム画像を用いて前記フレームメモリを更新する、としてもよい。
このようにすることで、目が閉じている画像を処理画像とすることを防ぐことができる。
(5)また、実施の形態に係る上記(3)の画像処理方法は、前記対象物は、人の顔であって、前記特徴点位置の検出において、顔の向きを検出し、前記特徴点位置の確認において、検出された前記顔の向きから顔が正面向きか否かを確認し、前記顔の向きが正面向きである場合、前記現在入力されているフレーム画像を前記フレームメモリに前記静止画として保持し、前記顔の向きが正面向きでない場合、後続するフレーム画像を用いて前記フレームメモリを更新する、としてもよい。
このようにすることで、正面を向いていない画像を処理画像とすることを防ぐことができる。
(6)また、実施の形態に係る上記(1)の画像処理方法は、前記操作モードに対応する前記モード別処理は、前記処理画像から顔の特徴点位置を検出する特徴点位置の検出を含み、前記確認モードに対応する前記モード別処理は、前記処理画像に現れた対象物のうち、検出された前記特徴点位置に存在する部位に対してメイクアップを施すメイクアップ処理と、前記メイクアップ処理が施された画像の表示とを含む、としてもよい。
このようにすることで、処理画像の特徴点を用いてメイクアップ処理を行うことができる。
(7)また、実施の形態に係る上記(6)の画像処理方法は、前記メイクアップ処理は、見本色の選択をユーザから受け付けて、前記処理画像に現された対象物のうち、前記特徴点位置に存在する部位を構成する複数の画素の値を、選択された前記見本色のカラーレンジにマッピングすることである、としてもよい。
このようにすることで、口紅やアイシャドーなどの塗布エリアが特徴点から明白なメイクアップ処理を単純な指示で行うことができる。
(8)また、実施の形態に係る上記(6)の画像処理方法は、前記メイクアップ処理は、見本色の選択と、静止画に現された対象物に対する指塗操作とをユーザから受け付け、指塗操作に係る形状をなす描画パターンであって、選択された前記見本色の画素で構成されるものを、処理対象に現された対象物のうち、前記特徴点位置に存在する部位にマッピングすることである、としてもよい。
このようにすることで、頬紅などの塗布エリアが複雑なメイクアップ処理を行うことができる。
(9)また、実施の形態に係る上記(6)の画像処理方法は、前記特徴点は、対象物における部位の輪郭形状を規定するものであって、前記メイクアップ処理は、前記処理画像として設定されたフレーム画像と、後続するフレーム画像とで対応点検索を行うことで、特徴点の対応付けを行い、前記処理画像に現されるいずれかの部位に対して手塗操作が行われれば、後続するフレーム画像における部位であって、前記特徴点検索により前記手塗操作に係る部位との対応付けがなされたものに、前記手塗操作に係る手塗イメージをマッピングすることである、としてもよい。
このようにすることで、メイクアップ処理と顔のパーツとの対応を確実に取ることができる。
(10)また、実施の形態に係る上記(6)の画像処理方法は、前記操作モードに対応する前記モード別処理は、前記特徴点位置の保持をさらに含み、前記メイクアップ処理の対象となる部位は、保持されている前記特徴点位置に存在する、としてもよい。
このようにすることで、操作モードにおいて、対象物が適正に表れているか否かの指標として用いた特徴点をそのままメイクアップ処理に用いることができ、演算量の削減に奏功する。
(11)また、実施の形態に係る上記(3)の画像処理方法は、前記操作モードに対応する前記モード別処理は、あらかじめ指定された期間における特徴点位置の保持と、保持された指定期間の特徴点位置について、特徴点位置に存在する画素ごとにフィルタ処理を行う特徴点位置フィルタ演算とを含み、前記確認モードに対応する前記モード別処理は、前記処理画像を入力として、特徴点位置を検出する特徴点位置検出を含み、前記動作モードが操作モードである場合、前記特徴点位置検出で検出された特徴点位置に代えて、前記特徴点位置フィルタ演算の結果である特徴点位置を用いて特徴点位置の確認を行う、としてもよい。
このようにすることで、対象物が適正に表れているか否かの指標として用いる特徴点について、一時的に検出精度が低下しても適正に特徴点を検出できる。
(12)また、実施の形態に係る上記(11)の画像処理方法は、前記特徴点フィルタ演算で行われるフィルタ処理は平均である、としてもよい。
このようにすることで、単純な演算により特徴点のフィルタ処理が可能となる。
(13)また、実施の形態に係る上記(11)の画像処理方法は、前記特徴点位置フィルタ演算において、前記フィルタ処理を行った後、前記保持されている特徴点位置と前記フィルタ処理後の特徴点位置とを比較し、差異が閾値より大きい特徴点位置を前記保持されている特徴点位置から除外してから、前記フィルタ処理を再度実行する、としてもよい。
このようにすることで、検出精度の悪い特徴点を除外し、精度の高いフィルタ処理が可能となる。
(14)また、実施の形態に係る上記(11)の画像処理方法は、処理画像に現れた対象物のうち、特徴点位置で指定された部位に対するメイクアップ処理と、メイクアップ処理が施された画像の表示と、前記システムのモードの設定とを含み、前記メイクアップ処理は、見本色の選択をユーザから受け付けて、特徴点位置で指定された部位を構成する複数画素の値を、選択された見本色のカラーレンジにマッピングすることでなされる、としてもよい。
このようにすることで、フィルタ処理後の特徴点を用いた位置ずれを起こしにくいメイクアップ処理が可能となる。
(15)また、実施の形態に係る上記(1)の画像処理方法は、前記システムのモードの設定はユーザによりなされる、としてもよい。
このようにすることで、ユーザの必要に合わせて動作モードを変更できる。
(16)また、実施の形態に係る上記(15)の画像処理方法は、前記システムのモードの設定は、前記システムが備えるタッチパネルの特定領域へユーザがタッチ操作することでなされる、としてもよい。
このようにすることで、簡易な構成でユーザの動作モード変更指示を受け付けることができる。
(17)また、実施の形態に係る上記(16)の画像処理方法は、前記システムのモードの設定がなされた際に、前記モード設定の変更をユーザに通知する、としてもよい。
このようにすることで、ユーザはシステムの動作モードが変更されたことを確実に知ることができる。
(18)また、実施の形態に係る上記(17)の画像処理方法は、前記通知は、動作モードの表示によりなされる、としてもよい。
このようにすることで、ユーザは視覚的にシステムの動作モードを確認することができる。
(19)また、実施の形態に係る上記(17)の画像処理方法は、前記通知は、音声出力によりなされる、としてもよい。
このようにすることで、ユーザは画面を注視していなくてもシステムの動作モードを確認することができる。
本発明にかかる画像処理方法は、画面操作中のメイクアップシミュレーション用の処理画像に関して適切な選択方法を有し、メイクアップシミュレータ端末等として有用である。またメイクアップシミュレーション機能を有したデジタルサイネージ等の用途にも応用できる。
また、メイクアップシミュレーションに限らず、ドレスアップシミュレーション等、人物や物体の外観に係るシミュレータとして有用である。
1 メイクアップシミュレータ
2 カメラ
11 特徴点検出部
12 フレームメモリ
13 制御部
14 画像処理部
3 タッチパネルモニタ

Claims (21)

  1. 入力された動画像に対して画像処理を行い、画像処理の結果を表示するシステムにおける画像処理方法であって、
    前記システムの動作モード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかの判定処理と、
    前記判定処理の結果に応じたモード別処理とを含み、
    前記操作モードにおける前記モード別処理は、前記動画像を構成する複数のフレーム画像の中から画像処理の対象物が適正に表れているフレーム画像を選んで静止画として表示し、前記対象物に対する画像処理に係る操作を受け付ける処理を含み、
    前記確認モードにおける前記モード別処理は、前記動画像の各フレームに対して画像処理を行ってユーザの確認に供するために表示する処理を含み、前記画像処理は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に行われ、
    前記操作モードにおける前記モード別処理は、前記動画像を構成する複数のフレーム画像のうち、1つのフレーム画像について前記システムへの入力があった際、前記1つのフレーム画像を対象として、前記画像処理の対象物が適正に表れているか否かの判定を行うフレーム判定処理を含み、
    前記画像処理の対象物が適正に表れていると判定されると、前記1つのフレーム画像を前記静止画として確定し、前記動画像を構成する複数のフレーム画像のうち、前記1つのフレーム画像に後続するフレーム画像を、前記フレーム判定処理の対象から除外し、
    前記システムの動作モード設定が前記操作モードから前記確認モードに切り替わった場合、前記画像処理は、前記動画像を構成する複数のフレーム画像のうち、前記1つのフレーム画像に後続するフレーム画像に対して行われる
    ことを特徴とする画像処理方法。
  2. 前記システムは、動画像を構成する1のフレーム画像をフレームメモリに格納することで、画像処理の対象となる処理画像を保持し、
    前記フレームメモリに格納されているフレーム画像を前記モード別処理の対象とし、
    前記システムの動作モード設定が確認モードである場合、動画像を構成するフレーム画像の入力があれば、そのフレーム画像を用いて、前記フレームメモリに格納された処理画像を上書きすることで、処理画像の更新を行い、
    前記システムの動作モード設定が操作モードである場合、対象物が適正に表れているとして選ばれた静止画を前記フレームメモリに格納し、前記フレームメモリに前記静止画を格納してから前記システムのモード設定が確認モードに切り替わるまでの間、前記フレームメモリに格納されている画像を更新しない
    ことを特徴とする請求項1に記載の画像処理方法。
  3. 前記フレーム判定処理は、さらに、入力されたフレーム画像を対象とした特徴点位置の検出と、特徴点位置を確認する特徴点位置の確認とを含み、
    前記特徴点位置の確認の結果に応じて、現在入力されているフレーム画像に適正に対象物が現れているかどうかを判断する
    ことを特徴とする請求項2に記載の画像処理方法。
  4. 前記対象物は、人の顔であって、
    前記特徴点位置の検出において、顔の目の特徴点を検出し、
    前記特徴点位置の確認において、検出された前記目の特徴点の位置から目の開閉状態を確認し、
    前記目の開閉状態が開いている状態の場合、前記現在入力されているフレーム画像を前記フレームメモリに前記静止画として保持し、
    前記目の開閉状態が閉じている状態の場合、後続するフレーム画像を用いて前記フレームメモリを更新する
    ことを特徴とする請求項3に記載の画像処理方法。
  5. 前記対象物は、人の顔であって、
    前記特徴点位置の検出において、顔の向きを検出し、
    前記特徴点位置の確認において、検出された前記顔の向きから顔が正面向きか否かを確認し、
    前記顔の向きが正面向きである場合、前記現在入力されているフレーム画像を前記フレームメモリに前記静止画として保持し、
    前記顔の向きが正面向きでない場合、後続するフレーム画像を用いて前記フレームメモリを更新する
    ことを特徴とする請求項3に記載の画像処理方法。
  6. 前記操作モードに対応する前記モード別処理は、前記処理画像から顔の特徴点位置を検出する特徴点位置の検出を含み、
    前記確認モードに対応する前記モード別処理は、前記処理画像に現れた対象物のうち、検出された前記特徴点位置に存在する部位に対してメイクアップを施すメイクアップ処理と、前記メイクアップ処理が施された画像の表示とを含む
    ことを特徴とする請求項1に記載の画像処理方法。
  7. 前記メイクアップ処理は、見本色の選択をユーザから受け付けて、前記処理画像に現された対象物のうち、前記特徴点位置に存在する部位を構成する複数の画素の値を、選択された前記見本色のカラーレンジにマッピングすることである
    ことを特徴とする請求項6に記載の画像処理方法。
  8. 前記メイクアップ処理は、見本色の選択と、静止画に現された対象物に対する指塗操作とをユーザから受け付け、指塗操作に係る形状をなす描画パターンであって、選択された前記見本色の画素で構成されるものを、処理対象に現された対象物のうち、前記特徴点位置に存在する部位にマッピングすることである
    ことを特徴とする請求項6に記載の画像処理方法。
  9. 前記特徴点は、対象物における部位の輪郭形状を規定するものであって、
    前記メイクアップ処理は、前記処理画像として設定されたフレーム画像と、後続するフレーム画像とで対応点検索を行うことで、特徴点の対応付けを行い、前記処理画像に現されるいずれかの部位に対して手塗操作が行われれば、後続するフレーム画像における部位であって、前記特徴点検索により前記手塗操作に係る部位との対応付けがなされたものに、前記手塗操作に係る手塗イメージをマッピングすることである
    ことを特徴とする請求項6に記載の画像処理方法。
  10. 前記操作モードに対応する前記モード別処理は、前記特徴点位置の保持をさらに含み、
    前記メイクアップ処理の対象となる部位は、保持されている前記特徴点位置に存在する
    ことを特徴とする請求項6に記載の画像処理方法。
  11. 前記操作モードに対応する前記モード別処理は、あらかじめ指定された期間における特徴点位置の保持と、保持された指定期間の特徴点位置について、特徴点位置に存在する画素ごとにフィルタ処理を行う特徴点位置フィルタ演算とを含み、
    前記確認モードに対応する前記モード別処理は、前記処理画像を入力として、特徴点位置を検出する特徴点位置検出を含み、
    前記動作モードが操作モードである場合、前記特徴点位置検出で検出された特徴点位置に代えて、前記特徴点位置フィルタ演算の結果である特徴点位置を用いて特徴点位置の確認を行う
    ことを特徴とする請求項3に記載の画像処理方法。
  12. 前記特徴点フィルタ演算で行われるフィルタ処理は平均である
    ことを特徴とする請求項11に記載の画像処理方法。
  13. 前記特徴点位置フィルタ演算において、前記フィルタ処理を行った後、前記保持されている特徴点位置と前記フィルタ処理後の特徴点位置とを比較し、差異が閾値より大きい特徴点位置を前記保持されている特徴点位置から除外してから、前記フィルタ処理を再度実行する
    ことを特徴とする請求項11に記載の画像処理方法。
  14. 処理画像に現れた対象物のうち、特徴点位置で指定された部位に対するメイクアップ処理と、
    メイクアップ処理が施された画像の表示と、
    前記システムのモードの設定とを含み、
    前記メイクアップ処理は、見本色の選択をユーザから受け付けて、特徴点位置で指定された部位を構成する複数画素の値を、選択された見本色のカラーレンジにマッピングすることでなされる
    ことを特徴とする請求項11に記載の画像処理方法。
  15. 前記システムのモードの設定はユーザによりなされる
    ことを特徴とする請求項1に記載の画像処理方法。
  16. 前記システムのモードの設定は、前記システムが備えるタッチパネルの特定領域へユーザがタッチ操作することでなされる
    ことを特徴とする請求項15に記載の画像処理方法。
  17. 前記システムのモードの設定がなされた際に、前記モード設定の変更をユーザに通知する
    ことを特徴とする請求項16に記載の画像処理方法。
  18. 前記通知は、動作モードの表示によりなされる
    ことを特徴とする請求項17に記載の画像処理方法。
  19. 前記通知は、音声出力によりなされる
    ことを特徴とする請求項17に記載の画像処理方法。
  20. 動画像入力に対して画像処理を行い、画像処理の結果を表示する画像処理装置であって、
    前記画像処理装置のモード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかを判定する動作モード判定部と、
    前記動作モード判定部の判定結果に応じたモード別処理を行う画像処理部と、
    前記画像処理部が画像処理を行った画像を表示する表示部とを含み、
    前記操作モードにおいて、前記画像処理部は、動画像を構成する複数のフレーム画像の中から、画像処理の対象物が適正に表れている静止画を選んで画像処理の結果として出力し、前記対象物に対する画像処理に係る操作を受け付け、
    前記確認モードにおいて、前記画像処理部は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に前記操作がなされていれば、後続するフレーム画像に現れる対象物に画像処理を行い、ユーザの確認に供し、
    前記操作モードにおいて、前記画像処理部は、前記動画像を構成する複数のフレーム画像のうち、1つのフレーム画像について前記画像処理装置への入力があった際、前記1つのフレーム画像を対象として、前記画像処理の対象物が適正に表れているか否かの判定を行い、
    前記画像処理部は、前記画像処理の対象物が適正に表れていると判定すると、前記1つのフレーム画像を前記静止画として確定し、前記動画像を構成する複数のフレーム画像のうち、前記1つのフレーム画像に後続するフレーム画像を、前記判定の対象から除外し、
    前記画像処理装置の動作モード設定が前記操作モードから前記確認モードに切り替わった場合、前記画像処理部は、前記動画像を構成する複数のフレーム画像のうち、前記1つのフレーム画像に後続するフレーム画像に対して前記画像処理を行う
    ことを特徴とする画像処理装置。
  21. 動画像入力に対して画像処理を行い、画像処理の結果を表示するシステムにおいて、プロセッサに画像処理を行わせるプログラムであって、前記画像処理は、
    前記システムのモード設定が、静止画を表示する操作モード、動画を表示する確認モードの何れであるかの判定と、
    判定結果に応じたモード別処理とを含み、
    前記操作モードにおける前記モード別処理は、動画像を構成する複数のフレーム画像の中から画像処理の対象物が適正に表れている静止画を選んで静止画として表示し、前記対象物に対する画像処理に係る操作を受け付ける処理を含み、
    前記確認モードにおける前記モード別処理は、前記動画像の各フレームに対して画像処理を行ってユーザの確認に供するために表示する処理を含み、前記画像処理は、前記操作モードにおいて受け付けた前記操作に係る対象物であって、前記動画像の各フレームに現れる対象物に行われ、
    前記操作モードにおける前記モード別処理は、前記動画像を構成する複数のフレーム画像のうち、1つのフレーム画像について前記システムへの入力があった際、前記1つのフレーム画像を対象として、前記画像処理の対象物が適正に表れているか否かの判定を行うフレーム判定処理を含み、
    前記画像処理の対象物が適正に表れていると判定されると、前記1つのフレーム画像を前記静止画として確定し、前記動画像を構成する複数のフレーム画像のうち、前記1つのフレーム画像に後続するフレーム画像を、前記フレーム判定処理の対象から除外し、
    前記システムの動作モード設定が前記操作モードから前記確認モードに切り替わった場合、前記画像処理は、前記動画像を構成する複数のフレーム画像のうち、前記1つのフレーム画像に後続するフレーム画像に対して行われる
    ことを特徴とするプログラム。
JP2015512315A 2013-04-17 2014-04-16 画像処理方法および画像処理装置 Active JP6264665B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013086341 2013-04-17
JP2013086341 2013-04-17
PCT/JP2014/002170 WO2014171142A1 (ja) 2013-04-17 2014-04-16 画像処理方法および画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2014171142A1 JPWO2014171142A1 (ja) 2017-02-16
JP6264665B2 true JP6264665B2 (ja) 2018-01-24

Family

ID=51731104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015512315A Active JP6264665B2 (ja) 2013-04-17 2014-04-16 画像処理方法および画像処理装置

Country Status (5)

Country Link
US (1) US9968176B2 (ja)
EP (1) EP2988486B1 (ja)
JP (1) JP6264665B2 (ja)
CN (1) CN105164999B (ja)
WO (1) WO2014171142A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210038619A (ko) * 2018-09-29 2021-04-07 애플 인크. 심도 기반 주석을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11797146B2 (en) 2020-02-03 2023-10-24 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11808562B2 (en) 2018-05-07 2023-11-07 Apple Inc. Devices and methods for measuring using augmented reality
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US12020380B2 (en) 2022-01-04 2024-06-25 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106257415A (zh) * 2015-06-19 2016-12-28 阿里巴巴集团控股有限公司 实现动态图片预览的方法和装置、表情包展示方法和装置
US10007845B2 (en) * 2015-07-06 2018-06-26 Pixart Imaging Inc. Eye state detecting method and eye state detecting system
CN106709400A (zh) * 2015-11-12 2017-05-24 阿里巴巴集团控股有限公司 一种感官张闭状态的识别方法、装置及客户端
CN108292165B (zh) * 2015-12-23 2021-06-22 英特尔公司 触摸姿势检测评估
GB201603495D0 (en) * 2016-02-29 2016-04-13 Virtual Beautician Ltd Image processing system and method
EP3485762A4 (en) * 2016-07-14 2019-07-24 Panasonic Intellectual Property Management Co., Ltd. MAKE-UP ASSISTANCE AND MAKE-UP ASSISTANCE PROCEDURES
CN107665350A (zh) * 2016-07-29 2018-02-06 广州康昕瑞基因健康科技有限公司 图像识别方法及系统和自动聚焦控制方法及系统
US20180092595A1 (en) * 2016-10-04 2018-04-05 Mundipharma Laboratories Gmbh System and method for training and monitoring administration of inhaler medication
JP7121034B2 (ja) * 2016-12-06 2022-08-17 コーニンクレッカ フィリップス エヌ ヴェ ガイダンス・インジケータのユーザに対する表示
CN108804975A (zh) 2017-04-27 2018-11-13 丽宝大数据股份有限公司 唇彩指引装置及方法
JP7013786B2 (ja) * 2017-10-16 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
CN107888845B (zh) * 2017-11-14 2022-10-21 腾讯数码(天津)有限公司 一种视频图像处理方法、装置及终端
JP2019109813A (ja) * 2017-12-20 2019-07-04 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法、画像形成装置及び画像処理プログラム
CN108958610A (zh) * 2018-07-27 2018-12-07 北京微播视界科技有限公司 基于人脸的特效生成方法、装置和电子设备
CN109034110A (zh) * 2018-08-17 2018-12-18 潘小亮 枪战片计算机分类方法
US10789746B2 (en) * 2018-08-20 2020-09-29 The Lash Lounge Franchise, Llc Systems and methods for creating custom lash design
CN111324274A (zh) * 2018-12-13 2020-06-23 北京京东尚科信息技术有限公司 虚拟试妆方法、装置、设备及存储介质
US11690435B2 (en) 2020-07-07 2023-07-04 Perfect Mobile Corp. System and method for navigating user interfaces using a hybrid touchless control mechanism
WO2022164774A1 (en) * 2021-01-28 2022-08-04 Laks Gil Joseph Interactive storage system, apparatus, and related methods
CN114581291A (zh) * 2022-03-04 2022-06-03 合众新能源汽车有限公司 座舱内呈现人脸美妆图像的方法和系统

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
US6392710B1 (en) * 1998-04-03 2002-05-21 Avid Technology, Inc. Graphical user interface for field-based definition of special effects in a video editing system
US6649925B2 (en) * 1999-11-26 2003-11-18 Amos Talmi Methods of calibrating a position measurement device
US6449019B1 (en) * 2000-04-07 2002-09-10 Avid Technology, Inc. Real-time key frame effects using tracking information
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置
JP3984191B2 (ja) 2002-07-08 2007-10-03 株式会社東芝 仮想化粧装置及びその方法
WO2005006772A1 (ja) * 2003-07-09 2005-01-20 Matsushita Electric Industrial Co., Ltd. 画像表示装置及び画像表示方法
EP1710746A1 (en) * 2004-01-30 2006-10-11 Digital Fashion Ltd. Makeup simulation program, makeup simulation device, and makeup simulation method
JP4404650B2 (ja) * 2004-01-30 2010-01-27 デジタルファッション株式会社 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム
US7450268B2 (en) * 2004-07-02 2008-11-11 Hewlett-Packard Development Company, L.P. Image reproduction
US8403852B2 (en) * 2004-10-20 2013-03-26 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus and control method thereof
JP2006313223A (ja) * 2005-05-09 2006-11-16 Konica Minolta Photo Imaging Inc 撮影装置
JP2007049371A (ja) 2005-08-09 2007-02-22 Fujifilm Holdings Corp デジタルカメラ及び撮影画像表示制御方法
JP5191665B2 (ja) 2006-01-17 2013-05-08 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US8107672B2 (en) * 2006-01-17 2012-01-31 Shiseido Company, Ltd. Makeup simulation system, makeup simulator, makeup simulation method, and makeup simulation program
US7634108B2 (en) * 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
KR100813978B1 (ko) * 2006-02-22 2008-03-17 삼성전자주식회사 멀티미디어 데이터를 기록 및 재생하는 방법 및 장치
US20080024389A1 (en) * 2006-07-27 2008-01-31 O'brien-Strain Eamonn Generation, transmission, and display of sub-frames
JP2009064423A (ja) 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US20090087114A1 (en) * 2007-09-28 2009-04-02 Advanced Micro Devices Response Time Compression Using a Complexity Value of Image Information
WO2011025451A1 (en) * 2009-08-24 2011-03-03 Singapore Health Services Pte Ltd A method and system of determining a grade of nuclear cataract
US8773470B2 (en) * 2010-05-07 2014-07-08 Apple Inc. Systems and methods for displaying visual information on a device
JP5525923B2 (ja) * 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5731505B2 (ja) * 2010-07-16 2015-06-10 富士フイルム株式会社 放射線撮像装置、放射線撮像システム、放射線撮像方法、及びプログラム
US8717381B2 (en) * 2011-01-11 2014-05-06 Apple Inc. Gesture mapping for image filter input parameters
KR101223046B1 (ko) * 2011-02-08 2013-01-17 경북대학교 산학협력단 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
WO2013008305A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 瞼検出装置
DE102012107954A1 (de) * 2011-09-02 2013-03-07 Samsung Electronics Co. Ltd. Anzeigetreiber, Betriebsverfahren davon, Host zum Steuern des Anzeigetreibers und System mit dem Anzeigetreiber und dem Host
CN104023625A (zh) * 2011-09-08 2014-09-03 Apn健康有限责任公司 R波检测方法
WO2013084233A1 (en) * 2011-12-04 2013-06-13 Digital Makeup Ltd Digital makeup
US9118876B2 (en) * 2012-03-30 2015-08-25 Verizon Patent And Licensing Inc. Automatic skin tone calibration for camera images
US20150212694A1 (en) * 2012-05-02 2015-07-30 Google Inc. Internet browser zooming
CN102799367B (zh) * 2012-06-29 2015-05-13 鸿富锦精密工业(深圳)有限公司 电子设备及其触摸控制方法
US20140153832A1 (en) * 2012-12-04 2014-06-05 Vivek Kwatra Facial expression editing in images based on collections of images
US11228805B2 (en) * 2013-03-15 2022-01-18 Dish Technologies Llc Customized commercial metrics and presentation via integrated virtual environment devices

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11808562B2 (en) 2018-05-07 2023-11-07 Apple Inc. Devices and methods for measuring using augmented reality
KR20210038619A (ko) * 2018-09-29 2021-04-07 애플 인크. 심도 기반 주석을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
KR102522079B1 (ko) 2018-09-29 2023-04-14 애플 인크. 심도 기반 주석을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US11818455B2 (en) 2018-09-29 2023-11-14 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US11797146B2 (en) 2020-02-03 2023-10-24 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US12020380B2 (en) 2022-01-04 2024-06-25 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality

Also Published As

Publication number Publication date
WO2014171142A1 (ja) 2014-10-23
EP2988486A1 (en) 2016-02-24
EP2988486B1 (en) 2020-03-11
CN105164999B (zh) 2018-08-10
US9968176B2 (en) 2018-05-15
CN105164999A (zh) 2015-12-16
US20160058158A1 (en) 2016-03-03
EP2988486A4 (en) 2016-04-20
JPWO2014171142A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6264665B2 (ja) 画像処理方法および画像処理装置
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
US9838597B2 (en) Imaging device, imaging method, and program
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
US10165199B2 (en) Image capturing apparatus for photographing object according to 3D virtual object
CN105705993B (zh) 利用面部检测来控制摄像机
KR102407190B1 (ko) 영상 촬영 장치 및 그 동작 방법
US20180088682A1 (en) Head mounted display
KR20170026164A (ko) 가상 현실 디스플레이 장치 및 그 장치의 표시 방법
CN106104650A (zh) 经由凝视检测进行远程设备控制
KR101537948B1 (ko) 얼굴 포즈 추정을 이용한 촬영 방법 및 장치
US9521329B2 (en) Display device, display method, and computer-readable recording medium
JP5886479B2 (ja) 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体
US11587255B1 (en) Collaborative augmented reality eyewear with ego motion alignment
JP2011152593A (ja) ロボット操作装置
US11477433B2 (en) Information processor, information processing method, and program
JP2022120681A (ja) 画像処理装置および画像処理方法
US20220244788A1 (en) Head-mounted display
JP6485629B2 (ja) 画像処理装置および画像処理方法
US11949976B2 (en) Systems and methods for obtaining a smart panoramic image
KR20180074124A (ko) 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치
JP6547012B2 (ja) 生体情報解析装置及びその基礎化粧解析方法
KR20180017897A (ko) 스티커 영상을 위한 오브젝트 추출 방법 및 그 장치
JP2012065049A (ja) 画像処理装置及び画像処理方法
JP7241628B2 (ja) 動画合成装置、動画合成方法、および動画合成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171207

R151 Written notification of patent or utility model registration

Ref document number: 6264665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151