JP6961797B2 - プレビュー写真をぼかすための方法および装置ならびにストレージ媒体 - Google Patents

Description

本開示の実施形態は、画像処理の分野に関し、詳細には、プレビュー写真をぼかすための方法および装置ならびにそのコンピュータ可読媒体に関する。

撮影された被写体を強調し、撮影された画像内の撮影された被写体に焦点を合わせるために、通常、撮影された画像の背景領域にリアルタイムのぼかし処理を行うことがある。

現在、撮影された画像の背景領域にリアルタイムのぼかし処理を行う場合、通常、画像センサによって取得したフレーム写真を表示する過程で、フレーム写真の被写界深度情報が計算される。次いで、計算された被写界深度情報に従って背景領域の部分にぼかし処理が行われる。しかしながら、撮影された写真にそのようなやり方でぼかし処理を行う場合、撮影された写真の被写界深度情報の計算に比較的長い時間を必要とする。さらに、撮影された被写体が揺れた場合、撮影された写真の被写界深度情報を更新するのに十分な時間がなく、そのため被写体の一部をぼかす可能性があり、これにより全体的なぼかし効果にさらに影響を与え、ユーザ・エクスペリエンスを悪化させる。

本出願は、画像処理に関し、詳細には、プレビュー写真をぼかすための方法および装置ならびにストレージ媒体に関する。

一態様において、プレビュー写真をぼかすための方法が提供される。第１のプレビュー写真に対してポートレート認識を行って、第１のプレビュー写真の第１のポートレートの情報を決定する。第１のポートレート情報の情報は、第１のポートレートのエリアを含む。第１のポートレートの情報に従って保護対象領域を決定する。プレビュー写真を切り替える際に、第２のプレビュー写真において対象領域以外の領域にぼかし処理を行う。

別の態様では、第１の決定モジュール、第２の決定モジュール、およびぼかし処理モジュールを含む、プレビュー写真をぼかすための装置が提供される。第１の決定モジュールは、第１のプレビュー写真に対してポートレート認識を行って、第１のプレビュー写真の第１のポートレートの情報を決定するように構成され、第１のポートレートの情報が第１のポートレートのエリアを含む。第２の決定モジュールは、第１のポートレートの情報に従って保護対象領域を決定するように構成されている。ぼかし処理モジュールは、プレビュー写真を切り替える際に、第２のプレビュー写真において対象領域以外の領域をぼかすように構成されている。

さらに別の態様では、プロセッサおよびメモリを含むプレビュー写真をぼかすための装置が提供される。メモリは、プロセッサによって実行されると、プロセッサに、第１のプレビュー写真に対してポートレート認識を行って第１のプレビュー写真の第１のポートレートの情報を決定する動作であって、第１のポートレートの情報が第１のポートレートのエリアを含む、動作と、第１のポートレートの情報に従って保護対象領域を決定する動作と、プレビュー写真を切り替える際に、第２のプレビュー写真において対象領域以外の領域をぼかす動作と、を実施させる命令を記憶するように構成されている。

さらに別の態様では、端末機器のプロセッサによる実行命令が記憶されたコンピュータ可読ストレージ媒体が提供される。実行命令は、実行されると、プレビュー写真をぼかすための方法を実施するように構成されている。

本出願のさらなる態様および利点は、以下の説明において部分的に提示され、以下の説明から部分的に明らかになるか、または本出願を実施することによって理解されるであろう。

本出願の上述のおよび／またはさらなる態様ならびに利点は、図面と組み合わせて以下の実施形態に対して行われる説明から明らかとなり、理解するのが容易になるであろう。
本出願の実施形態によるプレビュー写真をぼかすための方法の流れ図である。 本出願の実施形態による第１のプレビュー写真に対してポートレート認識を行う流れ図である。 本出願の別の実施形態によるプレビュー写真をぼかすための方法の流れ図である。 本出願の実施形態によるプレビュー写真をぼかすための装置の構造図である。 本出願の実施形態による端末機器の構造図である。 本出願の実施形態による画像処理回路の構造図である。

本出願の実施形態について、以下で詳細に説明する。実施形態の例は、図面に示されており、同一または同様の参照符号は、常に、同一または同様の構成要素あるいは同一または同様の機能を備えた構成要素を表す。図面を参照して以下で説明する実施形態は、例示であり、本出願を説明することが意図されており、本出願に対する限定として理解されるべきではない。

従来技術では、プレビュー写真の背景領域にぼかし処理を行う場合、撮影された写真の被写界深度情報を計算するのに比較的長い時間を必要とするだけではなく、撮影された写真の被写体が揺れた場合、撮影された写真の被写界深度情報を更新するのに十分な時間がなく、そのため被写体の一部をぼかす可能性があり、撮影された写真の全体的なぼかし効果にさらに影響を与え、ユーザ・エクスペリエンスを悪化させる。この問題を解決するために、プレビュー写真をぼかすための方法が提供される。

本出願において提供される方法によると、第１のプレビュー写真に対してポートレート認識が行われ、第１のプレビュー写真の第１のポートレートの情報が決定され、第１のポートレートの情報が第１のポートレートのエリアを含む。第１のポートレートの決定された情報に従って、保護対象領域を決定する。プレビュー写真の切り替え中に、第２のプレビュー写真において対象領域以外の領域にぼかし処理を行う。したがって、プレビュー写真にぼかし処理を行うとき、プレビュー写真のぼかし処理速度が向上し、時間が節約される。さらに、撮影された被写体が揺れた場合にぼけることが防止されるため、プレビュー写真のぼかし効果が向上し、ユーザの満足度が向上する。

本出願の実施形態に基づいたぼかし画像を取得する方法について、図面を参照して以下に説明する。

図１は、本出願の実施形態によるプレビュー写真をぼかすための方法の流れ図である。

図１に示すように、本出願のプレビュー写真をぼかすための方法は、以下の動作を含むことができる。

１０１において、第１のプレビュー写真に対してポートレート認識を行って第１のプレビュー写真の第１のポートレートの情報を決定し、第１のポートレートの情報が第１のポートレートのエリアを含む。

具体的には、本出願の実施形態において提供される方法は、本出願において提供されるプレビュー写真をぼかすための装置によって実行することができる。本装置は、プレビュー写真にぼかし制御を実施するための端末機器内に構成される。

本実施形態では、端末機器は、撮影機能を備えた任意のハードウェア機器、例えば、スマートフォン、カメラ、パーソナルコンピュータ（ＰＣ）であってもよい。本出願では、これらに特に限定されない。

任意選択で、本実施形態の端末機器はまた、ダブル・カメラを備えたハードウェア機器であってもよい。ダブル・カメラとは、２つの背面カメラを指す。

本実施形態では、２つの背面カメラは、水平方向または垂直方向のいずれかに配置することができることに留意されたい。

本明細書では、水平方向とは、端末機器の短辺に平行な方向を指し、垂直方向とは、端末機器の長辺に平行な方向を指す。

本明細書では、ポートレートとは、撮影された被写体の顔または身体の少なくとも１つを指すことに留意されたい。

動作１０１が具体的に実行されると、本実施形態では、図２に示す動作を通して第１のプレビュー写真に対してポートレート認識が行うことができる。図２では、顔認識を例にしている。

具体的には、プレビュー写真に対してポートレート認識が行う動作は、以下の動作を含むことができる。

２０１において、第１のプレビュー写真の顔領域に対応する深度情報を決定する。

特定の実施中に、第１のプレビュー写真の顔を任意の形態の顔認識技術によって認識することができる。例えば、最初に、第１のプレビュー写真に含まれる目を捕捉することができ、次いで、捕捉した顔に従って顔領域が決定され、端末機器のカメラの数に従って異なるやり方で、顔領域に対応する深度情報が取得される。

例えば、端末機器が単一のカメラを有する場合、第１のプレビュー写真を超音波レーダによりスキャンして、顔領域に対応する深度情報を取得することができる。

端末機器がダブル・カメラを有する場合、被写体の深度情報、すなわち、被写体とダブル・カメラが位置する平面との間の距離は、三角測量測距原理に従って、および被写体に対するダブル・カメラ間の差に従って計算することができる。

２０２において、深度情報に従って第１のプレビュー写真のポートレート輪郭を決定する。

具体的には、実際のアプリケーション中に、端末機器によって撮影された写真は、通常、前景領域および背景領域を含む。前景領域と背景領域との間には、比較的明白な深度変化がある。したがって、本実施形態では、顔領域に対応する深度情報を取得した後、深度情報に従って第１のプレビュー写真のポートレート輪郭を決定することができる。

２０３において、ポートレート輪郭に対応する深度変化値がしきい値よりも大きいかどうかを判断する。イエスの場合、動作２０４が実行され、そうでない場合は、動作２０５が実行される。

しきい値は、第１のプレビュー写真のポートレートの撮影条件に従って適応的に設定されてもよく、本出願では特に限定されない。

具体的には、第１のプレビュー写真のポートレート輪郭を取得した後、顔輪郭の深度変化値をしきい値とさらに比較して、顔輪郭が正確に取得されかどうかを判定することができる。顔輪郭の深度変化値がしきい値よりも大きい場合、動作２０２で判定されたポートレート輪郭が要件を満たしていることを示す。深度変化がしきい値よりも小さい場合、動作２０２で判定されたポートレート輪郭が要件を満たしていないことを示す。最終的に決定されたポートレート輪郭をより正確にするためにポートレート輪郭を補正する必要がある。

２０４において、決定されたポートレート輪郭をポートレート認識結果として決定する。

２０５において、ポートレート輪郭の各ピクセルおよび隣接ピクセルの色情報に従ってポートレート輪郭を修正する。

具体的には、ポートレート輪郭のピクセルおよびその隣接ピクセルの色情報が取得される。次いで、ポートレート輪郭によって分割された隣接ピクセル間の色変化が比較によって明白であるかどうかが判定される。ノーの場合、判定されたポートレート輪郭が不正確であることを示す。したがって、ポートレート輪郭を外側に拡張するか、または内側に縮小させることできる。ポートレート輪郭によって分割された隣接ピクセル間の色差が明白な場合、ポートレート輪郭は、最終的なポートレート認識結果として決定される。

さらに、第１のプレビュー写真の第１のポートレートの情報は、決定されたポートレート輪郭に従って決定されてもよい。

本明細書では、第１のポートレートは、第１のプレビュー写真の任意の領域に位置してもよく、これは、本出願では特に限定されない。

特定の実施中に、本実施形態では、第１のプレビュー写真のポートレートの数は１つまたは複数、例えば、２つ、３つ、および５つであってもよく、これは、本出願では特に限定されない。

プレビュー写真をぼかすための装置を介して第１のプレビュー写真に対してポートレート認識が行われる場合、１つまたは複数のそのような決定された第１のポートレートがあり得る。

本実施形態の可能性のある実施態様では、第１のプレビュー写真のポートレートが、保護する必要がないポートレートを含むと認識されると、ユーザは、第１のポートレートを手動で選択することができる。すなわち、ユーザは、端末の表示インタフェースで軌線をスケッチして、第１のポートレートを選択することができる。

次いで、プレビュー写真をぼかすための装置は、ユーザによってスケッチされた軌線に従って第１のポートレートのエリア情報を決定する。

本明細書では、端末の表示インタフェース上のユーザによってスケッチされた軌線は、閉じた曲線または閉じていない曲線であってもよく、これは、本出願では特に限定されない。

代替の実施形態では、第１のポートレートは、端末によって事前撮影された画像に従って決定することもできる。すなわち、第１のキャラクタの写真が撮影され、端末機器によって保存される。背景ぼかし効果を有する画像が撮影されると、端末機器は、第１のポートレートの事前撮影された写真に従って、プレビュー・インタフェースにおいて認識されたポートレートから第１のポートレートに似たポートレートを自動的に見つけ、見つけたポートレートを第１のポートレートとして決定する。

１０２において、第１のポートレートの情報に従って保護対象領域を決定する。

具体的には、背景のぼけた画像を実際に撮影するとき、撮影される被写体が揺れることがあり、または撮影ボタンを押すときに、撮影者の手が震えることがあり、その結果、撮影された被写体がぼけた状態が撮影された写真に存在することがある。そのような状態の発生を回避するために、本出願では、プレビュー写真の第１のポートレートを含む領域を、決定された第１のポートレート情報に従って決定することができ、第１のポートレートを含む領域が保護対象領域として決定される。

特定の実施中に、本実施形態では、保護対象領域は、以下のやり方で決定することができる。以下で例を用いて説明を行う。

第１の実施のやり方
第１のポートレートのエリアは、事前設定された係数だけ拡大され、対象領域のエリアが決定される。

本明細書では、本実施形態におけるポートレートのエリアの事前設定された拡大係数は、デフォルトとして端末によって決定されてもよく、実際の要件に従ってユーザによって適応的に設定されてもよく、これは、本出願では限定されない。

具体的には、本出願では、第１のプレビュー写真の第１のポートレートのエリアが拡大され、後続の取得フレーム写真において第１のポートレートを拡大された領域に位置するように保持し、それにより、その後プレビュー写真に背景ぼかし処理を行うときに、撮影された写真のポートレートがぼけるのを防ぐことができ、それによってポートレートの完全性が確保される。

第２の実施のやり方
対象領域のエリアは、第１のポートレートの情報とポートレート・テンプレートのライブラリ内の事前設定されたポートレート・テンプレートとの一致度に従って決定される。

本明細書では、本実施形態のポートレート・テンプレートのライブラリは、多数のポートレート画像サンプルに従ってトレーニングすることによって取得することができ、これは、本出願では限定されない。

ポートレート・テンプレートのライブラリは、異なる属性とポートレート・テンプレートと最大エリアとの間の対応関係を規定するように構成される。

特定の実施中に、本実施形態では、認識された第１のポートレートをポートレート・テンプレートのライブラリと照合して、第１のポートレートの属性を決定することができ、次いで、第１のポートレートの属性に従って対象領域のエリアを決定する。

本明細書では、第１のポートレートの属性情報は、年齢または性別であってもよいが、これは、本出願では特に限定されない。

例えば、認識された第１のポートレートをポートレート・テンプレートのライブラリと照合して、第１のポートレートの属性が子どもであると判定された場合、子どもに対応する対象領域のエリア情報について、属性および対象領域エリア・マッピング・テーブルを検索することができる。

本出願では、認識されたポートレートをポートレート・テンプレートのライブラリと照合して保護対象領域を決定するため、プレビュー写真をぼかすための時間を節約することができ、ユーザ・エクスペリエンスがさらに向上することを理解することができる。

１０３において、プレビュー写真の切り替え中に、第２のプレビュー写真において対象領域以外の領域にぼかし処理を行う。

具体的には、第１のプレビュー写真が第２のプレビュー写真に切り替えられると、プレビュー写真をぼかすための装置は、決定された保護対象領域に従って、第２のプレビュー写真において保護対象領域以外の領域にぼかし処理を行うことができ、それによって、プレビュー写真のポートレートがぼけるのを防ぎ、プレビュー写真のぼかし効果を向上させる。

実際の撮影プロセスでは、ユーザは、プレビュー画像の各フレームに対してぼかし操作を実行しないことに留意されたい。本実施形態のプレビュー写真をぼかすための装置が上述したようにプレビュー画像の各フレームにぼかし処理を行う場合、端末機器に過度に高い処理負荷がかかる可能性がある。

したがって、端末機器の処理負荷を軽減するために、本出願においてプレビュー写真の対象領域以外の領域にぼかし処理を行う前に、以下の操作をさらに行うことができる。

第１の操作
ポートレート・エッジを保護するための命令を取得する。

具体的には、プレビュー写真をぼかすための装置において、ある特定のプレビュー写真にぼかし処理を行う必要がある場合、ユーザは、プレビュー写真をぼかすための装置を介して、ポートレート・エッジを保護するための命令を入力する複数のやり方を提供することができる。

本明細書では、ポートレート・エッジを保護するための命令は、手動押圧方式、音声入力方式、手動スライド方式などで入力されてもよく、これは、本出願では限定されない。

第２の操作
撮影端末の揺れ振幅が第１のしきい値よりも高いと判定される。

本明細書では、第１のしきい値は、撮影端末の実際の撮影条件に従って適応的に設定されてもよく、これは、本出願では特に限定されない。

具体的には、実際の撮影プロセスでは、撮影端末は、通常、外的要因のために振動することがある。そのような揺れにより、撮影された写真の撮影された被写体と端末との間に相対的な変位差が生じる場合がある。したがって、本出願では、撮影端末が揺れて、揺れ振幅が第１のしきい値よりも大きい場合に、撮影された被写体がぼけない鮮明な写真を確実に撮影することができるように、決定された保護対象領域に従って、第２のプレビュー写真において保護対象領域以外の領域にぼかし操作が実行され、第１のポートレートが強調され、背景部分がぼかされた画像を取得することができる。

本出願の実施形態のプレビュー写真をぼかすための方法によると、第１のプレビュー写真に対してポートレート認識を行って、第１のプレビュー写真の第１のポートレートを決定し、次いで、決定された第１のポートレート情報に従って保護対象領域を決定し、プレビュー写真の切り替え中に、第２のプレビュー写真において対象領域以外の領域にぼかし処理が行われる。したがって、プレビュー写真にぼかし処理を行うとき、プレビュー写真をぼかすための時間が節約される。さらに、撮影された被写体が揺れた場合に誤ってぼけてしまうことが防止されるため、プレビュー写真のぼかし効果が向上し、ユーザの満足度が向上する。

上記の分析から、第１のプレビュー写真に対してポートレート認識を行って、第１のポートレートの情報を決定し、次いで、保護対象領域を決定し、プレビュー写真の切り替え中に、第２のプレビュー写真において対象領域以外の領域にぼかし処理が行われる。特定の実施中に、本出願では、第１のポートレートの情報に従った保護対象領域の決定は、以下のやり方で実施されてもよい。第１のやり方は、第１のポートレートの情報とポートレート・テンプレートのライブラリとを照合して保護対象領域を決定することであり、第２のやり方は、第１のポートレートのエリアを事前設定された係数で拡大し、保護対象領域を決定することである。本実施形態において第１のやり方を採用して保護対象領域を決定する場合、最初にポートレート・テンプレートのライブラリを確立する必要があり、次いで、保護対象領域が、ポートレート・テンプレートの確立されたライブラリと第１のポートレートの情報との照合に従って決定される。本実施形態におけるポートレート・テンプレートのライブラリの確立は、図３と組み合わせて以下で詳細に説明する。

図３は、本出願によるプレビュー写真をぼかすための別の方法の流れ図である。

図３に示すように、本出願のプレビュー写真をぼかすための方法は、以下の操作を含むことができる。

３０１において、ポートレート画像のサンプルセットを取得し、サンプルセットは、ポートレートのポーズおよび向きの様々な写真を含む。

本明細書では、ポートレートのポーズおよび向きの様々な写真は、ポートレート、ポートレート・ポーズなどの異なる表現として理解されてもよい。

特定の実施中に、本実施形態のポートレート画像のサンプルセットは、端末が配送されるときに事前に構成されてもよく、またはサーバ側から取得されてもよい。本実施形態では、これに限定されない。

後で確立されるポートレート・テンプレートのライブラリの説得力を確実にするために、本実施形態で取得されるポートレート画像のサンプルセットは、数万、１０万を超える、さらには数百万の画像を含むことができ、これは、本出願では特に限定されないことに留意されたい。

３０２において、ポートレート画像のサンプルセットをトレーニングして、異なる属性を備えたユーザに対応するポートレート・テンプレートおよび最大のポートレート・エリアを決定し、ポートレート・テンプレートのライブラリを確立する。

具体的には、本出願では、ポートレート画像のサンプルセットを取得した後、取得したポートレート画像サンプルを分析して、ポートレート画像のサンプルセットのポートレート画像のそれぞれの属性情報を決定することができる。次いで、ポートレート画像のサンプルセットの属性情報に従ってトレーニングを行って、異なる属性を有するポートレート画像に対応するポートレート・テンプレートおよび最大のポートレート・エリアを取得する。次いで、ポートレート・テンプレートのライブラリは、ポートレート画像サンプルとポートレート・テンプレートと最大のポートレート・エリアとの間の対応関係に従って確立される。

３０３において、第１のプレビュー写真に対してポートレート認識を行って第１のプレビュー写真の第１のポートレート情報を決定し、第１のポートレートの情報が第１のポートレートのエリアを含む。

３０４において、第１のポートレートの情報とポートレート・テンプレートのライブラリの事前設定されたポートレート・テンプレートのそれぞれとの一致度に従って第１のポートレートの属性を決定する。

具体的には、第１のプレビュー写真の第１のポートレートの情報が決定された後、決定された第１のポートレート情報を、ポートレート・テンプレートのライブラリのポートレート・テンプレートのそれぞれと照合することができ、一致度が最も高いポートレート・テンプレートに対応する属性情報を第１のポートレートの属性として決定する。

特定の実施中に、ポートレート・テンプレートのライブラリが最初に取得されてもよい。ポートレート・テンプレートのライブラリは、ポートレート属性とポートレート・テンプレートと最大のポートレート・エリアとの間の対応関係を含む。次いで、第１のポートレートを、取得したポートレート・テンプレートのライブラリのポートレート・テンプレートのそれぞれと照合して、第１のポートレートと一致度が最も高いポートレート・テンプレートを決定することができる。このポートレート・テンプレートに対応するポートレート属性が第１のポートレートの属性として決定される。

さらに、本出願の実施形態では、ポートレート・テンプレートのライブラリの精度を改善するために、ポートレート・テンプレートのライブラリは、端末によって実際に撮影された画像に従って定期的に更新することもできる。

例えば、異なるユーザが使用する端末は、通常、異なる被写体を撮影することがあり、異なる対象被写体のポートレート特徴は、異なる。例えば、一部の撮影被写体は、撮影時に頭を優しく動かし、一部の撮影被写体は、撮影時に頭を激しく動かす。あるいは、一部の撮影被写体は、撮影時に頭を左に傾ける習慣があり、一部の撮影被写体は、撮影時に頭を右に傾ける習慣がある。

したがって、端末機器は、実際のアプリケーション中に、事前設定された時間内に取得されたポート画像に従ってポートレート・テンプレートのライブラリを更新することができる。したがって、ポートレート・テンプレートの更新されたライブラリを使用して各端末によって決定された対象領域は、より正確でより信頼性がある。

例えば、事前設定された時間内に端末機器Ａによって取得されたポートレート画像のポートレートが左に傾く習慣がある場合、ポートレート・テンプレートの初期のライブラリの最大のポートレート・エリアは、ポートレート・エリア＋ａ＋ｂに等しく、ここでａは、ポートレートの左側に広がるエリアを表し、ｂは、ポートレートの右側に広がるエリアを表す。取得したポートレート画像に従ってポートレート・テンプレートのライブラリを更新した後に端末機器Ａによって決定された最大のポートレート・エリアは、ポートレート・エリア＋ａ＋ｂ＋ｃであってもよく、ここで、ｃは、取得したポートレート画像のポートレートの習慣に従って決定され、ポートレートの左側に沿って拡大されたエリアである。

本明細書では、事前設定された時間は、実際の状況に従って、例えば、週および月に設定されてもよい。本出願ではこれに限定されない。

本実施形態では、ポートレート・テンプレートの初期のライブラリは、異なる属性を備えたユーザに対応するポートレート・テンプレートおよび最大のポートレート・エリアを含むテンプレート・ライブラリである。

すなわち、本実施形態では、ポートレート・テンプレートの初期のライブラリは、不定期に更新される。そのため、ポートレートの属性をその後、更新されたポートレート・テンプレートに対して決定する際に、認識精度をさらに向上させることができ、認識失敗率を低下させることができ、ユーザ・エクスペリエンスをさらに向上させる。

３０５において、第１のポートレートの属性に従って対象領域のエリアを決定する。

具体的には、ポートレート属性とポートレート・テンプレートと最大のポートレート・エリアとの間の対応関係が、ポートレート・テンプレートのライブラリに記憶されているため、本出願では、第１のポートレートの属性を決定した後、ポートレート属性とポートレート・テンプレートと最大のポートレート・エリアとの間の対応関係を照会して、ポートレートの属性に従って第１のポートレートの対象領域のエリアを決定することができる。

３０６において、プレビュー写真の切り替え中に、ポートレート・エッジを保護するための命令を取得する。

具体的には、本実施形態では、端末機器のプレビュー写真ぼかし処理負担を軽減するために、ぼかし処理が必要なプレビュー写真にぼかし処理を行う前に、プレビュー写真をぼかすための装置を介して提供される複数の入力方法でユーザによって入力されるポートレート・エッジを保護するための命令を最初に受信することができる。

本明細書では、ポートレート・エッジを保護するための命令は、手動押圧方式、音声入力方式、手動スライド方式などで入力されてもよく、これは、本出願では限定されない。

３０７において、ポートレート・エッジを保護するために取得した命令に従って、および領域と対象領域との間の距離に従って、領域に異なる程度のぼかし処理が行われる。

具体的には、ユーザによって入力されたポートレート・エッジを保護するための命令を取得した後、プレビュー写真をぼかすための装置は、ポートレート・エッジを保護するための命令に従ってプレビュー写真の背景をぼかすことができる。

さらに、本出願では、ぼかし処理をしてプレビュー写真の被写体を強調し、背景部分をより滑らかで、より自然に遷移させるために、プレビュー写真の他の領域にぼかし処理を行う際、プレビュー写真に、低いぼかし度から高いぼかし度へとぼかし処理を行うことができる。

本明細書では、本出願においてプレビュー写真の背景領域に、低いぼかし度から高いぼかし度へとぼかし処理を行うため、保護領域とぼかし領域との間の遷移がより滑らかになり、撮影されたプレビュー写真に提示される画像がより自然になる。

本出願の実施形態のぼかし画像を取得するための方法によると、最初にポートレート・テンプレートのライブラリを確立するために、ポートレート画像の異なるサンプルセットを取得して、トレーニングする。ポートレート・テンプレートのライブラリは、ポートレート属性とポートレート・テンプレートと最大のポートレート・エリアとの間の対応関係を含む。第１のプレビュー写真に対してポートレート認識をさらに行って第１のプレビュー写真の第１のポートレートの情報を決定した後、第１のポートレートの情報を、ポートレート・テンプレートのライブラリのポートレート・テンプレートのそれぞれとさらに照合して、第１のポートレートの属性を取得することができ、次いで、対象領域のエリアを第１のポートレートの属性に従って決定する。プレビュー写真の切り替え中に、決定した対象領域とポートレート・エッジを保護するための命令とに従って、プレビュー写真において対象領域以外の領域に異なる程度のぼかし処理が行われる。したがって、プレビュー写真にぼかし処理を行うとき、プレビュー写真のぼかし処理速度が向上し、時間が節約される。さらに、撮影された被写体が揺れた場合にぼけることが防止されるため、プレビュー写真のぼかし効果が向上し、ユーザの満足度が向上する。

上述の実施形態を実施するために、本出願は、プレビュー写真をぼかすための装置をさらに提供する。

図４は、本開示の実施形態によるプレビュー写真をぼかすための装置の構造図である。

図４に示すように、本出願のプレビュー写真をぼかすための装置は、第１の決定モジュール１１、第２の決定モジュール１２、およびぼかし処理モジュール１３を含む。

第１の決定モジュール１１は、第１のプレビュー写真に対してポートレート認識を行って第１のプレビュー写真の第１のポートレート情報を決定するように構成されている。第１のポートレートの情報は、第１のポートレートのエリアを含む。

第２の決定モジュール１２は、第１のポートレートの情報に従って保護対象領域を決定するように構成されている。

ぼかし処理モジュール１３は、プレビュー写真の切り替え中に、第２のプレビュー写真において対象領域以外の領域にぼかし処理を行うように構成されている。

プレビュー写真をぼかすための方法の実施形態に関する説明および記述は、本実施形態のプレビュー写真をぼかすための装置にも適用されることに留意されたい。その実施原理は、同様であり、本明細書では詳述しない。

本実施形態のプレビュー写真をぼかすための装置によると、第１のプレビュー写真に対してポートレート認識を行って第１のプレビュー写真の第１のポートレートを決定し、次いで、保護対象領域を第１のポートレートの決定された情報に従って決定し、プレビュー写真の切り替え中に、第２のプレビュー写真において対象領域以外の領域にぼかし処理が行われる。したがって、プレビュー写真にぼかし処理を行うとき、プレビュー写真をぼかすための時間が節約される。さらに、撮影された被写体が揺れた場合に誤ってぼけてしまうことが防止されるため、プレビュー写真のぼかし効果が向上し、ユーザの満足度が向上する。

上述の実施形態を実施するために、本出願は、端末機器をさらに提供する。

図５は、本開示の実施形態による端末機器の構造図である。

図５を参照すると、本出願の端末機器は、メモリ２１、プロセッサ２２、および撮影モジュール２３を含む。

撮影モジュール２３は、シナリオの画像を取得するように構成されている。

メモリ２１は、実行可能プログラム・コードを記憶するように構成されている。

プロセッサ２２は、メモリ２１に記憶された実行可能プログラム・コードを読み取り、実行可能プログラム・コードに対応するプログラムを実行して、実施形態の第１の態様によるプレビュー写真をぼかすための方法を実施するように構成されている。プレビュー写真をぼかすための方法は、第１のプレビュー写真に対してポートレート認識を行って、第１のプレビュー写真の第１のポートレートの情報を決定するステップを含み、第１のポートレートの情報が第１のポートレートのエリアを含み、保護対象領域は、第１のポートレートの情報に従って決定され、プレビュー写真の切り替え中に、第２のプレビュー写真において対象領域以外の領域にぼかし処理が行われる。

本実施形態では、端末機器は、撮影機能を備えた任意のハードウェア機器、例えば、スマートフォン、カメラ、およびＰＣであってもよい。本出願では、これらに特別な限定はない。

一態様において、本実施形態の端末機器もダブル・カメラを備えたハードウェア機器であってもよい。ダブル・カメラとは、２つの背面カメラを指す。別の態様では、前面カメラがさらに含まれる。

プレビュー写真をぼかすための方法の実施形態に関する説明および記述は、本実施形態の端末機器にも適用され、その実施原理は、同様であり、本明細書では詳述されないことに留意されたい。

さらに、本出願の端末機器は、画像処理回路２４をさらに含むことができる。

メモリ２１は、プロセッサ２２によって実行可能な命令を記憶するように構成されている。

プロセッサ２２は、メモリ２１内のプログラム・コードを呼び出して、画像処理回路２４によって出力されたぼけた写真に従って、実施形態の第１の態様によるプレビュー写真をぼかすための方法を実施するように構成されている。

具体的には、画像処理回路２４は、ハードウェアおよび／またはソフトウェアコンポーネントによって実施されてもよく、画像信号処理（ＩＳＰ）パイプラインを規定する様々な処理ユニットを含むことができる。

図６は、本開示の実施形態による画像処理回路の概略図である。図６に示すように、本出願の実施形態と関連する画像処理技術の各態様は、説明の便宜のためにのみ示されている。

図６に示すように、画像処理回路２４は、撮像機器１１４０、ＩＳＰユニット１１５０、および制御論理ユニット１１６０を含む。撮像機器１１４０は、１つまたは複数のレンズ１１４１と、画像センサ１１４２と、構造化光プロジェクタ１１４３と、を備えたカメラを含むことができる。構造化光プロジェクタ１１４３は、検出された被写体に構造化光を投影する。構造化光のパターンは、レーザ干渉縞、グレー・コード、正弦干渉縞、無作為に配置されたスペックル・パターンなどであってもよい。画像センサ１１４２は、検出された被写体に投影することによって形成される構造化光画像を捕捉して、構造化光画像をＩＳＰユニット１１５０に送り、次いで、ＩＳＰユニット１１５０が構造化光画像を復調して検出された被写体の深度情報を取得する。一方、画像センサ１１４２は、検出された被写体の色情報を捕捉することもできる。もちろん、検出された被写体の構造化光画像および色情報は、２つの画像センサ１１４２によってそれぞれ捕捉することもできる。

例えば、スペックル構造化光の場合、ＩＳＰユニット１１５０は、具体的には以下を含むように構造化光画像を復調する。すなわち、検出された被写体のスペックル画像が構造化光画像から取得され、所定のアルゴリズムに従って、検出された被写体のスペックル画像および基準スペックル画像に基づいて画像データ計算が行われ、基準スペックル画像内の基準スペックル点に対する検出された被写体上のスペックル画像の各スペックル点の移動距離が取得され、スペックル画像の各スペックル点の深度値が三角測量変換を使用して計算され、検出された被写体の深度情報が深度値に従って取得される。

もちろん、深度画像情報などは、両眼視法または飛行時間（ＴＯＦ）ベースの方法を使用して取得することもできる。本明細書では、限定されない。検出された被写体の深度情報を取得または計算することができるいかなる方法も、実施モードの範囲内にあるものとする。

ＩＳＰユニット１１５０は、検出された被写体の、画像センサ１１４２によって捕捉された色情報を受信した後、検出された被写体の色情報に対応する画像データを処理することができる。ＩＳＰユニット１１５０は、画像データを分析して、ＩＳＰユニットおよび／または撮像機器１１４０の１つまたは複数の制御パラメータを決定するように構成可能な画像統計情報を取得する。画像センサ１１４２は、色フィルタ・アレイ（例えば、ベイヤー・フィルタ）を含むことができ、画像センサ１１４２は、画像センサ１１４２の各撮像ピクセルによって捕捉された光強度および波長情報を取得し、処理可能な原画像データのセットをＩＳＰユニット１１５０に提供することができる。

ＩＳＰユニット１１５０は、複数のフォーマットに従って原画像データをピクセルごとに処理する。例えば、各画像ピクセルは、８、１０、１２、または１４ビットのビット深度を有することができる。ＩＳＰユニット１１５０は、原画像データに対して１つまたは複数の画像処理操作を行い、画像データに関する画像統計情報を収集することができ、画像処理操作は、同じまたは異なるビット深度精度に従って実行されてもよい。

ＩＳＰユニット１１５０は、画像メモリ１１７０から画素データをさらに受信することができる。画像メモリ１１７０は、メモリ・デバイス、ストレージ機器、または電子機器の独立した専用メモリの一部であってもよく、ダイレクト・メモリ・アクセス（ＤＭＡ）機能を含むことができる。

原画像データを受信すると、ＩＳＰユニット１１５０は、１つまたは複数の画像処理操作を実行することができる。

ＩＳＰユニット１１５０は、検出された被写体の色情報および深度情報を取得した後、それらを統合して三次元画像を取得することができる。ここで、検出された被写体の対応する特徴は、外部輪郭抽出方法または輪郭特徴抽出方法のうちの少なくとも１つを使用して抽出することができる。例えば、検出された被写体の特徴は、アクティブ形状モデル（ＡＳＭ）、アクティブ外観モデル（ＡＡＭ）、主成分分析（ＰＣＡ）、離散的コサイン変換（ＤＣＴ）などの方法を使用して抽出され、これらは、本明細書では限定されない。登録および特徴統合処理は、検出された被写体の深度情報から抽出された特徴、および検出された被写体の色情報から抽出された特徴に対してそれぞれ行われる。本明細書で言及する統合処理とは、深度情報および色情報から抽出された特徴を直接組み合わせることを指し、組合せのために異なる画像の同じ特徴に重み設定を行うことを指すこともあり、別の統合方式も採用され得る。統合された特徴に従って、三次元画像が最終的に生成される。

三次元画像の画像データは、表示前に他の処理のために画像メモリ１１７０に送られてもよい。ＩＳＰユニット１１５０は、画像メモリ１１７０から処理されたデータを受け取り、処理されたデータに対して、元のドメインならびに赤、緑、青（ＲＧＢ）およびＹＣｂＣｒの色空間において画像データ処理を行う。三次元画像の画像データは、ユーザが見るためにおよび／またはグラフィック処理ユニット（ＧＰＵ）によってさらに処理するために、ディスプレイ１１８０に出力することができる。加えて、ＩＳＰユニット１１５０の出力は、画像メモリ１１７０にさらに送られてもよく、ディスプレイ１１８０は、画像メモリ１１７０から画像データを読み取ることができる。一実施形態において、画像メモリ１１７０は、１つまたは複数のフレームバッファーを実装するように構成されてもよい。さらに、ＩＳＰユニット１１５０の出力は、画像データを符号化／復号化するために、符号化器／復号化器１１９０に送られてもよい。符号化された画像データは、記憶されてもよく、ディスプレイ１１８０に表示される前に解凍される。符号化器／復号化器１１９０は、中央処理ユニット（ＣＰＵ）またはＧＰＵまたはコプロセッサによって実装されてもよい。

ＩＳＰユニット１１５０によって決定された画像統計情報は、制御論理ユニット１１６０に送られてもよい。制御論理ユニット１１６０は、１つまたは複数のルーチン（例えば、ファームウェア）を実行するプロセッサおよび／マイクロコントローラを含むことができ、１つまたは複数のルーチンは、受信した画像統計的データに従って撮像機器１１４０の制御パラメータを決定することができる。

本実施形態で提供される端末機器によると、第１のプレビュー写真に対してポートレート認識を行って第１のプレビュー写真の第１のポートレートを決定し、次いで、決定された第１のポートレートの情報に従って保護対象領域が決定され、プレビュー写真の切り替え中に、第２のプレビュー写真において対象領域以外の領域にぼかし処理が行われる。したがって、プレビュー写真にぼかし処理を行うとき、プレビュー写真のぼかし処理時間が節約される。さらに、撮影された被写体が揺れた場合に誤ってぼけることが防止されるため、プレビュー写真のぼかし効果が向上し、ユーザの満足度が向上する。

本出願は、コンピュータ可読ストレージ媒体をさらに提供する。

コンピュータ・プログラムは、コンピュータ可読ストレージ媒体に記憶され、コンピュータ・プログラムは、プロセッサによって実行され、本実施形態の第１の態様によるプレビュー写真をぼかすための方法を実施する。プレビュー写真をぼかすための方法は、第１のプレビュー写真に対してポートレート認識を行って、第１のプレビュー写真の第１のポートレート情報を決定するステップを含み、第１のポートレートの情報が第１のポートレートのエリアを含み、保護対象領域は、第１のポートレートの情報に従って決定され、プレビュー写真の切り替え中に、第２のプレビュー写真において対象領域以外の領域にぼかし処理が行われる。

本出願では、特に明確に指定および限定されない限り、「設定」、「接続」などの用語は広く理解されるべきである。例えば、本用語は、機械的接続を指してもよく、電気的接続を指す場合もあり、直接接続を指してもよく、媒体を介して実施される間接接続を指す場合もあり、特に明確に限定されない限り、２つの構成要素の内部通信または２つの構成要素間の相互作用関係をさらに指す場合がある。当業者にとって、本開示におけるこれらの用語の特定の意味は、特定の状況に従って理解することができる。

本明細書の説明において、「一実施形態」、「一部の実施形態」、「例」、「特定の例」、「一部の例」などの用語を参照して行われる説明は、実施形態または実施例と組み合わせて説明される特定の特徴、構造、材料、または特性が、本開示の少なくとも１つの実施形態または実施例に含まれていることを指す。

加えて、「第１」および「第２」という用語は、単に説明のために採用されており、相対的重要性を示したり、または暗示したり、あるいは示された技術的特徴の数を暗黙に示したりすると理解されるべきではない。したがって、「第１」または「第２」によって規定される特徴は、そのような特徴が少なくとも１つ含まれていることを明示的にまたは暗黙的に示すことがある。

流れ図の、または別のやり方で本明細に説明されるあらゆるプロセスまたは方法は、特定の論理機能またはプロセスの動作を実現するように構成された１つまたは複数の実行命令のコードを含むモジュール、セグメント、または部分を表すと理解することができ、さらに、本開示の好ましい実施モードの範囲は、本明細書で示したまたは論じた順序ではなく、関連する機能に従って基本的に同時にまたは逆の順序で機能を実行することを含む、他の実施態様を含む。これは、本開示の実施形態の当業者によって理解されるはずである。

本開示の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せによって実施することができることを理解されたい。上述の実施モードでは、複数の動作または方法は、メモリに記憶された、適切な命令実行システムによって実行されるソフトウェアまたはファームウェアによって実施されてもよい。例えば、ハードウェアで実施する場合、別の実施モードと同様に、当技術分野でよく知られている以下の技術のいずれか１つまたは組合せを実施するために採用することができ、すなわち、データ信号の論理機能を実現するように構成された論理ゲート回路を備えたディスクリート論理回路、適切に組み合わされた論理ゲート回路を備えた特定用途向け集積回路、プログラマブル・ゲート・アレイ（ＰＧＡ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などである。

当業者は、上述の実施形態の方法の動作のすべてまたは一部を、プログラムによって命令される関連ハードウェアを介して完了することができ、プログラムは、コンピュータ可読ストレージ媒体に記憶されてもよく、プログラムが実行されるときに、方法の実施形態の動作の１つまたは組合せが含まれることを理解すべきである。

ストレージ媒体は、読み取り専用メモリ、磁気ディスク、光ディスクなどであってもよい。本開示の実施形態について上に示し、または説明した。しかしながら、上述の実施形態は、例示であって、本開示に対する限定として理解されるべきではなく、当業者は、本開示の範囲内で上述の実施形態に対する変形、修正、置換、変換を行うことができることを理解することができる。

Claims (11)

1. 第１のプレビュー写真に対してポートレート認識を行って前記第１のプレビュー写真の第１のポートレートの情報を決定するステップであって、前記第１のポートレートの前記情報が前記第１のポートレートのエリアを含むステップ（１０１）と、
   前記第１のポートレートの前記情報に従って保護対象領域を決定するステップ（１０２）と、
   プレビュー写真を切り替える際に、第２のプレビュー写真において前記保護対象領域以外の領域をぼかすステップ（１０３）と、
   を含み、
   前記第１のポートレートの前記情報に従って前記保護対象領域を決定するステップが、
   前記第１のポートレートの前記情報とポートレート・テンプレートのライブラリの事前設定されたポートレート・テンプレートのそれぞれとの一致度に従って前記第１のポートレートの属性を決定するステップ（３０４）と、
   前記第１のポートレートの前記属性に従って前記保護対象領域のエリアを決定するステップ（３０５）と、
   を含み、
   前記第１のポートレートの前記属性を決定する前に、
   ポートレート・テンプレートの前記ライブラリを取得するステップであって、ポートレート・テンプレートの前記ライブラリがポートレートの属性とポートレート・テンプレートと前記ポートレートの最大エリアとの間の対応関係を含むステップ、
   をさらに含む、プレビュー写真をぼかすための方法。
2. ポートレート・テンプレートの前記ライブラリを取得するステップが、
   ポートレート画像のサンプルセットを取得するステップであって、前記サンプルセットがポートレートのポーズおよび向きの様々な写真を含む、ステップ（３０１）と、
   ポートレート画像の前記サンプルセットをトレーニングして、異なる属性を備えたユーザに対応するポートレート・テンプレートおよびポートレートの最大エリアを決定する、ステップ（３０２）と、
   を含む、請求項１に記載の方法。
3. ポートレート・テンプレートの前記ライブラリを取得するステップが、
   ポートレート・テンプレートの初期のライブラリを取得するステップであって、ポートレート・テンプレートの前記初期のライブラリが、異なる属性を備えたユーザに対応する前記ポートレート・テンプレートおよびポートレートの前記最大エリアを含む、ステップと、
   事前設定された時間内に取得されたポートレート画像に従ってポートレート・テンプレートの前記初期のライブラリを更新するステップと、
   を含む、請求項１に記載の方法。
4. ポートレート・エッジを保護するための命令を取得した場合、または撮影端末の揺れ振幅が第１のしきい値よりも高いと判定した場合に、前記第２のプレビュー写真において前記保護対象領域以外の前記領域をぼかす、請求項１から３のいずれか一項に記載の方法。
5. ポートレート・エッジを保護するために取得した命令に従って、および前記領域と前記保護対象領域との間の距離に従って、前記領域に異なる程度のぼかし処理を行うステップ
   をさらに含む、請求項１から３のいずれか一項に記載の方法。
6. 前記第１のプレビュー写真に対してポートレート認識を行うステップが、
   前記第１のプレビュー写真の顔領域に対応する深度情報を決定するステップ（２０１）と、
   前記深度情報に従って前記第１のプレビュー写真のポートレート輪郭を決定するステップ（２０２）と、
   前記ポートレート輪郭に対応する深度変化値がしきい値よりも大きいかどうかを判定するステップ（２０３）と、
   前記ポートレート輪郭に対応する前記深度変化値が前記しきい値よりも大きいという判定に応答して、前記ポートレート輪郭の各ピクセルおよびその隣接ピクセルの色情報に従って前記ポートレート輪郭を補正するステップ（２０５）と、
   を含む、請求項１から３のいずれか一項に記載の方法。
7. 第１のプレビュー写真に対してポートレート認識を行って、前記第１のプレビュー写真の第１のポートレートの情報を決定するように構成された第１の決定モジュール（１１）であって、前記第１のポートレートの前記情報が前記第１のポートレートのエリアを含む、第１の決定モジュール（１１）と、
   前記第１のポートレートの前記情報に従って保護対象領域を決定するように構成された第２の決定モジュール（１２）と、
   プレビュー写真を切り替える際に、第２のプレビュー写真において前記保護対象領域以外の領域をぼかすように構成されたぼかし処理モジュール（１３）と、
   を含み、
   前記第１のポートレートの前記情報に従って前記保護対象領域を決定する動作が、
   前記第１のポートレートの前記情報とポートレート・テンプレートのライブラリの事前設定されたポートレート・テンプレートのそれぞれとの一致度に従って前記第１のポートレートの属性を決定するステップ（３０４）と、
   前記第１のポートレートの前記属性に従って前記保護対象領域のエリアを決定するステップ（３０５）とを含み、
   前記第１のポートレートの前記属性を判定する前記動作の前に、前記動作が、
   ポートレート・テンプレートの前記ライブラリを取得するステップであって、ポートレート・テンプレートの前記ライブラリがポートレートの属性とポートレート・テンプレートと前記ポートレートの最大エリアとの間の対応関係を含む、ステップ、
   をさらに含む、プレビュー写真をぼかすための装置。
8. ポートレート・テンプレートの前記ライブラリを取得する前記動作が、
   ポートレート画像のサンプルセットを取得するステップであって、前記サンプルセットがポートレートのポーズおよび向きの様々な写真を含む、ステップ（３０１）と、
   ポートレート画像の前記サンプルセットをトレーニングして、異なる属性を備えたユーザに対応するポートレート・テンプレートおよびポートレートの最大エリアをする決定するステップ（３０２）と、
   を含む、請求項７に記載の装置。
9. ポートレート・テンプレートの前記ライブラリを取得する前記動作が、
   ポートレート・テンプレートの初期のライブラリを取得するステップであって、ポートレート・テンプレートの前記初期のライブラリが、異なる属性を備えたユーザに対応する前記ポートレート・テンプレートおよびポートレートの前記最大エリアを含む、ステップと、
   事前設定された時間内に取得されたポートレート画像に従ってポートレート・テンプレートの前記初期のライブラリを更新するステップと、
   を含む、請求項７に記載の装置。
10. プロセッサによる実行命令が記憶されたコンピュータ可読ストレージ媒体であって、前記実行命令は、実行されると、請求項１から６のいずれか一項に記載の方法を実行するように構成されている、コンピュータ可読ストレージ媒体。
11. プロセッサ（２２）と、
    前記プロセッサによって実行されると前記プロセッサに請求項１から６のいずれか一項に記載の方法を実行させる命令を記憶するメモリ（２１）と、
    を備える、プレビュー写真をぼかすための装置。

Images