JP7371264B2 - 画像処理方法、電子機器及びコンピュータ可読記憶媒体 - Google Patents

Description

（関連出願の相互参照）
本開示は、２０２０年１月２２日に国家知的財産局に提出された、出願番号が２０２０１００７５８１５．１、出願名称「画像処理方法、電子機器及びコンピュータ可読記憶媒体」の中国特許出願の優先権を主張しており、同出願の内容の全ては、本出願に参照として取り込まれる。

本発明は、画像技術分野に関し、特に画像処理方法、電子機器及びコンピュータ可読記憶媒体に関する。

撮影業界では、ティルトシフトレンズで撮影してミニチュアモデル効果のあるティルトシフト写真を形成することが一般的になっている。

携帯電話、タブレットパソコンなどの電子機器のサイズの制限により、電子機器に大型のティルトシフトレンズを取り付けることは困難であり、電子機器でティルトシフト写真を撮影するというユーザの需要を満たすために、写真を合成することによりティルトシフト効果を模擬する方法が既に存在している。写真を撮影する時、異なる写真のイメージフィールド情報を記録し、イメージフィールド情報に基づいて異なる写真を合成することにより、ティルトシフト効果を模擬する。

しかしながら、既存の合成方法で記録されたイメージフィールド情報は、実際の空間内の撮影された対象の距離関係を反映することが難しいため、ミニチュアモデル効果は不自然であり、形成されたティルトシフト効果は比較的低い。

本発明の実施例は、既存の写真合成方法で形成されたティルトシフト効果が比較的低いという問題を解決できる画像処理方法、電子機器及びコンピュータ可読記憶媒体を提供する。

上記技術問題を解決するために、本発明は、以下のように実現される。

第一方面によれば、本発明の実施例は、電子機器に用いられる画像処理方法を提供する。前記方法は、
Ｎ枚の画像を取得することであって、前記Ｎ枚の画像は、同一の撮影位置で撮影して得られ、且つ合焦主体がそれぞれ異なり、異なる合焦主体は、異なる合焦距離に対応することと、
前記Ｎ枚の画像のうちの基準画像を決定することであって、前記基準画像は、ターゲットティルトシフト対象の鮮明度が予め設定された閾値よりも大きい画像であることと、
ユーザによって入力されたティルトシフトパラメータを取得することであって、前記ティルトシフトパラメータは、ターゲット合焦面の方位及びティルトシフト領域の範囲を指示するためのものであることと、
前記ティルトシフトパラメータに従って、前記ターゲット合焦面と交差する合成待ち画像を決定することと、
前記合成待ち画像と前記基準画像との合焦距離に基づいて、前記Ｎ枚の画像を画像合成し、ターゲットティルトシフト画像を出力することとを含む。

第二方面によれば、本発明の実施例は、電子機器をさらに提供する。前記電子機器は、
Ｎ枚の画像を取得するための画像取得モジュールであって、前記Ｎ枚の画像は、同一の撮影位置で撮影して形成され、且つ合焦主体がそれぞれ異なり、異なる合焦主体は、異なる合焦距離に対応する画像取得モジュールと、
前記Ｎ枚の画像のうちの基準画像を決定するための基準画像決定モジュールであって、前記基準画像は、ターゲットティルトシフト対象の鮮明度が予め設定された閾値よりも大きい画像である基準画像決定モジュールと、
ユーザによって入力されたティルトシフトパラメータを取得するためのティルトシフトパラメータ受信モジュールであって、前記ティルトシフトパラメータは、ターゲット合焦面の方位及びティルトシフト領域の範囲を指示するためのものであるティルトシフトパラメータ受信モジュールと、
前記ティルトシフトパラメータに従って、前記ターゲット合焦面と交差する合成待ち画像を決定するための合成待ち画像決定モジュールと、
前記合成待ち画像と前記基準画像との合焦距離に基づいて、前記Ｎ枚の画像を画像合成処理し、ターゲットティルトシフト画像を出力するための合成処理モジュールとを含む。

第三の方面によれば、本発明の実施例は、電子機器をさらに提供する。プロセッサと、メモリと、前記メモリに記憶され、且つ前記プロセッサ上で運行できるコンピュータプログラムとを含み、前記コンピュータプログラムが前記プロセッサによって実行される時、第一の方面に記載の画像処理方法のステップを実現させる。

第四の方面によれば、本発明の実施例は、コンピュータ可読記憶媒体をさらに提供する。前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行される時、第一の方面に記載の画像処理方法のステップを実現させる。

本発明の実施例では、異なる合焦主体を備えたＮ枚の画像から基準画像と合成待ち画像をそれぞれ決定し、基準画像は、ターゲットティルトシフト対象の鮮明度が予め設定された閾値よりも大きい画像、即ち、ティルトシフト効果で鮮明に見える必要のある撮影対象に対応する画像である。合成待ち画像は、ターゲット合焦面の方位及びティルトシフト領域の範囲に従って決定されたターゲット合焦面と交差する他の画像である。そのため、基準画像と合成待ち画像には異なる合焦主体の合焦距離情報がそれぞれ記録されており、これらの距離情報は、画像画面内の異なる合焦主体の空間位置関係を反映でき、合成待ち画像と基準画像との合焦距離に従って合成処理を行うことにより、合成後のティルトシフト画像内の鮮明な領域とぼやけた領域の移行がより自然且つ緩やかになり、ティルトシフト効果の模擬がより自然になり、ミニチュアモデル効果がよりリアルになる。

本発明の実施例による画像処理方法のフローチャートを示す。 本発明の実施例におけるビューファインダーフレームのウィンドウの概略図を示す。 本発明の実施例のＮ枚の画像の概略図を示す。 本発明の実施例のティルトシフト画像の概略図を示す。 本発明の実施例のティルトシフトパラメータの概略図を示す。 本発明の実施例による電子機器の構造ブロック図を示す。 本発明の実施例による電子機器の構造ブロック図を示す。

以下は、本発明の実施例における添付図面を結び付けながら、本発明の実施例における技術案を明瞭且つ完全に記述する。明らかに、記述された実施例は、本発明の一部の実施例であり、全部の実施例ではない。本発明における実施例に基づき、当業者が創造的な労力を払わない前提で得られたすべての他の実施例は、いずれも本発明の保護範囲に属する。

理解すべきことは、明細書全文に言及された「一つの実施例」又は「一実施例」は、実施例に関連する特定の特徴、構造又は特性が本発明の少なくとも一つの実施例に含まれることを意味する。そのため、明細書全文の様々な位置に出現した「一つの実施例では」又は「一実施例では」は、必ずしも同じ実施例を指しているわけではない。なお、これらの特定の特徴、構造又は特性は、一つ又は複数の実施例において、任意の適切な方式で組み合わせられてもよい。

本発明の各実施例では、理解すべきことは、下記各プロセスの番号の大きさは、実行順序の先後を意味するものではなく、各プロセスの実行順序は、その機能と固有のロジックによって決定されるものであり、本発明の実施例に係る実施プロセスを限定するものではない。

図１を参照すると、図１は、本発明の実施例による画像処理方法のフローチャートを示す。この方法のステップは、以下のとおりである。

ステップ１０１、Ｎ枚の画像を取得し、そのうち、前記Ｎ枚の画像は、同一の撮影位置で撮影して得られ、且つ合焦主体がそれぞれ異なり、異なる合焦主体は、異なる合焦距離に対応する。容易に理解できるように、ティルトシフトは、広角レンズによる透視歪みを補うことができる一方、光軸の変化により、ミニチュアモデルのような視覚効果を実現することができる。従来のカメラ分野では、ミニチュアモデル効果を実現するために、シャインプルーフの原理に基づいてティルトシフトレンズを使用して、撮影された写真の一部の領域を鮮明にし、他の部分の領域をぼやけさせ、鮮明な領域とぼやけた領域を相互に対比し、観客にミニチュアモデルを視覚的に体験させる。

本発明の実施例では、このようなミニチュアモデル効果を実現するために、Ｎ枚の画像を取得してもよく、Ｎ枚の画像は、少なくとも以下の条件を満たす必要がある。各画像が同一の撮影位置で撮影され、且つ合焦主体がそれぞれ異なる。Ｎ枚の画像のうちの各画像が異なる位置で撮影される場合、各画像の画面内容が完全に同じではないため、後期でそれらを整列して合成できない。理解できるように、画像の合成を実現するために、Ｎは、少なくとも２である。同一の位置で撮影することを確保するために、ユーザは、撮影時に機器を三脚に固定して撮影してもよく、又は機器を手で把持して画面の仮想水準器により撮影角度及び方位を提示して固定したままにしてもよい。

Ｎ枚の画像のうちの各画像の合焦主体が異なると、異なる画像で鮮明に見える主体対象が異なり、ある写真を撮影する時、カメラの位置が固定されており、カメラの前方の撮影された対象の遠近距離がそれぞれ異なるため、この写真の生画像符号化データ（ｒａｗと通称される）に各合焦主体の合焦距離が記録されてもよい。この合焦距離は、カメラと合焦主体との距離であり、具体的には、この距離は、通常、画像センサと合焦主体との距離を指す。

下記図２に示す撮影シーンを例として、ビューファインダーフレームを通じて、カメラの前方に、近い所から遠い所へ、人、車、木、山が分布していることを観察できる。図３に示すように、合焦点が人を合焦主体として選択する場合、撮影された画像Ｐ１内で、人は鮮明な主体であり、人以外の要素はぼやけている。合焦点が車を合焦主体として選択する場合、撮影された画像Ｐ２内で、車は鮮明な主体であり、車以外の要素はぼやけている。合焦点が木を合焦主体として選択する場合、撮影された画像Ｐ３内で、木は鮮明な主体であり、木以外の要素はぼやけている。合焦点が山を合焦主体として選択する場合、撮影された画像Ｐ４内で、山は鮮明な主体であり、山以外の要素はぼやけている。容易に理解できるように、Ｐ１、Ｐ２、Ｐ３及びＰ４の４枚の画像のｒａｗにはそれぞれの合焦主体の合焦距離がそれぞれ記録されている。

理解できるように、このようなＮ枚の画像は、ユーザによって他の機器で撮影され、メモリカード又は無線方式を介して他の機器から現在画像処理を行っている機器に伝送されるものであってもよく、現在画像処理を行っている機器自体によって撮影して取得されるものであってもよい。

具体的には、ステップ１０１における画像の取得は、以下の方式１又は方式２の方法で実現されてもよい。

方式１、電子機器が撮影操作を実行する時に記憶する。

サブステップ１、Ｎ個の異なる合焦主体に対してそれぞれ撮影操作を実行して、Ｎ枚の画像を得る。

ユーザが電子機器を使って撮影する時、電子機器をある位置に固定し、スクリーン上にリアルタイムで表示されたビューイング画面をタッチすることにより、異なる撮影対象を選択することができ、即ち、異なる合焦主体を選択することができる。一つの合焦主体を選択した後、ユーザの長押し操作を受信すると、カメラは、合焦位置を自動的にロックすることにより、焦点ずれによる合焦失敗を回避することができる。例えば、ユーザが車を合焦主体として選択する場合、カメラは、車を合焦主体として一時的にロックすることができる。ユーザが人を合焦主体として選択する場合、カメラは、人を合焦主体として一時的にロックすることができる。異なる合焦主体に対してそれぞれ撮影操作を実行した後、合焦主体と同じ数のＮ枚の写真を得ることができる。

サブステップ２、前記Ｎ枚の画像を記憶する。具体的には、以下を含んでもよい。

Ａ、前記Ｎ個の異なる合焦主体のうちの各合焦主体からカメラまでの合焦距離を決定する。

実際のシーンでは各合焦主体が三次元の空間にあるため、自然にレンズの前で遠近関係があり、カメラの超音波、赤外線又はレーザーなどのモジュールによって対応する合焦主体とカメラの合焦距離を測定することにより、画像合成のための距離パラメータの根拠を提供することができる。

Ｂ、合焦距離の遠近順序に応じて、Ｎ枚の画像を並べ替える。

各画像の合焦主体が異なるため、各画像に対応する合焦距離が完全に同じではなく、Ｎ枚の画像上の合焦主体の合焦距離の遠近順序の正順序又は逆順序に応じて、順次配列することができる。例えば、図５では、画像Ｐ１の合焦主体は、カメラに最も近い人であり、画像Ｐ２の合焦主体は、カメラに二番目に近い車である。画像Ｐ３の合焦主体は、カメラに比較的遠い木である。画像Ｐ４の合焦主体は、カメラに最も遠い山である。Ｎ枚の画像を合焦距離の遠近順序に応じて配列することにより、画像プロセッサが合成待ち画像を探す時の演算量を減少させ、計算リソースを節約し、画像処理効率を向上させるのに役立つ。

Ｃ、並べ替えられた前記Ｎ枚の画像を記憶する。

並べ替えられたＮ枚の画像をグループの形式でメモリに記憶してもよく、このＮ枚の画像の探しを容易にするために、記憶時にこのＮ枚の画像の属性情報に特定の識別符号を追加してもよい。

方式２、他の電子機器から取得する。

サブステップ１、取り外し可能な記憶媒体又は無線方式を介して、ターゲット機器にアクセスする。

本出願による画像処理方法を実施する時、現在の機器によってリアルタイムで撮影して得られた画像を処理する以外、メモリカード、Ｕディスクなどの取り外し可能な記憶媒体、又はブルートゥース、ＷｉＦｉ、移動通信ネットワークなどの無線方式を介して、他のターゲット機器、例えば、他の携帯電話、コンピュータ、サーバなどにアクセスしてもよい。

サブステップ２、前記ターゲット機器に予め記憶されたＮ枚の画像を取得する。

ターゲット機器のメモリに予め記憶されたＮ枚の画像を読み取ることにより、現在の機器以外の他の機器の画像を処理して、ティルトシフト画像を生成することができる。理解できるように、ここのターゲット機器におけるＮ枚の画像は、依然として前記ステップ１０１の撮影要求を満たす必要がある。

ステップ１０２、前記Ｎ枚の画像のうちの基準画像を決定し、そのうち、前記基準画像は、ターゲットティルトシフト対象の鮮明度が予め設定された閾値よりも大きい画像である。

なお、ミニチュアモデル効果は、画像処理が完了した後に形成された視覚効果であり、画像内のどれらの被写体に対してティルトシフト処理を行うかは、ユーザの心理的需要によって決定される。つまり、電子機器としては、ユーザの処理需要に応じて、Ｎ枚の画像から一枚の基準画像を決定する必要があり、この基準画像は、ターゲットティルトシフト対象の鮮明度が予め設定された閾値よりも大きい画像である。つまり、既に取得されたＮ枚の画像に基づき、各画像のそれぞれの鮮明な領域が異なり、例えば、図３に示すように、画像Ｐ１の人が鮮明であり、画像Ｐ２の車が鮮明であり、画像Ｐ３の木が鮮明であり、画像Ｐ４の山が鮮明である。本発明の実施例では、各画像の各領域に対してコントラスト識別を行うことにより、異なる領域のコントラスト量に従って、どの領域が鮮明であるか、どの領域がぼやけているかを決定してもよく、Ｎ枚の画像から、ユーザがティルトシフト処理を行う必要のある、ターゲットティルトシフト対象の鮮明度が予め設定された閾値よりも大きい画像を基準画像として探してもよい。この予め設定された閾値は、当業者によって予め設定されてもよく、理解できるように、鮮明度が予め設定された閾値よりも大きい画像が複数枚存在する場合、それに対応して、異なる画像の鮮明度の数値に対して、そのうちの最も鮮明な一枚を選択してもよい。この基準画像で表示された画面は、ターゲットティルトシフト対象領域が鮮明に見え、ターゲットティルトシフト対象以外の領域がぼやけている。

具体的には、ステップ１０２における基準画像の決定は、以下の方法で実現されてもよい。

サブステップ１、ユーザによって入力されたターゲットティルトシフト対象の対象位置情報を受信し、そのうち、前記対象位置情報は、前記Ｎ枚の画像内でのターゲットティルトシフト対象の位置する位置領域を含む。

前述したＮ枚の画像のうちの各画像には同じ画面要素が記録されている。例えば、図３に示すように、画像Ｐ１～画像Ｐ４のうちの各画像は、いずれも人、車、木及び山の組み合わせであり、相違点は、合焦主体の違いにある。電子機器では、ユーザが見られるのは複数のレイヤを重ね合わせた視覚効果であり、各レイヤ上にはそれぞれ一枚の画像があり、最上位層は透明レイヤであり、この透明レイヤは、ユーザの入力制御情報を受信するためのものである。この入力制御情報は、対象位置情報であり、一つの座標点又は複数の座標点によって取り囲まれた領域であってもよく、対象位置情報は、Ｎ枚の画像内でのターゲットティルトシフト対象の位置する位置領域を表す。この透明レイヤ上で、ユーザは、撮影されたすべての対象を見ることができ、ティルトシフト結果に従ってある対象をターゲットティルトシフト対象として決定する必要がある。例えば、車をターゲットティルトシフト対象とする場合、ユーザは、表示スクリーン上の車に対応する位置をタッチすると、透明レイヤは、点又は領域に対するタッチ信号を受信することで、ユーザがどの撮影対象をターゲットティルトシフト対象として選択したかを把握することができる。

サブステップ２、前記対象位置情報に基づいて、前記Ｎ枚の画像から基準画像を決定する。具体的には、以下を含んでもよい。

Ａ、前記Ｎ枚の画像のうちの各画像の鮮明度を取得する。

ｒａｗ画像は、画像センサがキャプチャされた光信号をデジタル信号に変換する生データである。ｒａｗファイルは、カメラセンサの生情報を記憶しているとともに、カメラの撮影によって生じたいくつかの生データ（例えば、感度、シャッター速度、絞り値、ホワイトバランスなど）を記録しているファイルである。各画像上の合焦主体がそれぞれ異なることは、ｒａｗファイルでは、画素情報の違いとして具現化され、ｒａｗデータを解析することにより、Ｎ枚の画像のうちの各画像の鮮明度を取得することができ、具体的には、いずれの画像の異なる領域の鮮明度の違いを把握することができる。

Ｂ、ターゲットティルトシフト対象の鮮明度が予め設定された閾値よりも大きい画像を基準画像とする。

電子機器が既にユーザによって入力されたターゲットティルトシフト対象についての対象位置情報を受信しており、より具体的には、電子機器が既にユーザによってタッチされた位置の情報を得たため、この対象位置情報に基づいて、電子機器は、この位置の鮮明度、即ち、ターゲットティルトシフト対象の鮮明度を把握することができる。各画像内のこの位置の鮮明度を予め設定された閾値と比較して、予め設定された閾値よりも大きい画像を基準画像として選別することができる。理解できるように、この予め設定された閾値は、設定時に、経験データに従って設定する必要があり、少なくとも一枚の基準画像を選別できることを確保する必要がある。

ステップ１０３、ユーザによって入力されたティルトシフトパラメータを取得し、そのうち、前記ティルトシフトパラメータは、ターゲット合焦面の方位及びティルトシフト領域の範囲を指示するためのものである。

基準画像が選択された後、電子機器は、この基準画像上でのユーザの操作を受信する。例えば、ユーザは、図４における車に対してティルトシフト処理を行おうとする場合、ターゲットティルトシフト対象は車であり、対応する基準画像は画像Ｐ２として決定される。ユーザによって基準画像上で入力されたティルトシフトパラメータを取得し、ユーザによって操作インターフェース上で入力されたティルトシフトパラメータを介して、ターゲット合焦面の方位及びティルトシフト領域の範囲を決定することができる。ターゲット合焦面は、撮影対象によって連結されたティルトシフト軸線の位置する平面であり、ティルトシフト領域は、ティルトシフト効果に対応する領域である。

具体的には、上記ティルトシフトパラメータは、ターゲットティルトシフトポイント、ティルトシフト傾斜角及び被写界深度幅を含んでもよい。ターゲットティルトシフトポイントは、ターゲットティルトシフト対象の位置する座標位置を表す。ユーザによって基準画像上で入力されたターゲットティルトシフトポイントは、ターゲットティルトシフト対象の位置する座標位置を表す。なお、ターゲットティルトシフトポイントは、ユーザのタッチ信号に基づいて決定された一つの座標点であってもよく、ユーザのタッチ信号に基づいて決定された若干の座標点によって取り囲まれた領域であってもよい。例えば、ターゲットティルトシフト対象によって画像の画面で占められた画素の比率が比較的小さい場合、一つの点（例えば、広角レンズで撮影された一匹の鳥）であってもよく、ターゲットティルトシフト対象によって画像画面で占められた画素の比率が比較的大きい場合、一つの領域（例えば、広角レンズで撮影された一棟の建物）であってもよい。ティルトシフト傾斜角は、ターゲットティルトシフトポイントの位置するターゲット合焦面と基準画像の結像平面とのなす角であり、ターゲット合焦面は、撮影対象によって連結されたティルトシフト軸線の位置する平面である。被写界深度幅は、ティルトシフト効果の位置する領域の幅である。

上記ティルトシフトパラメータの取得は、タッチスクリーン上で入力ボックスを設定することにより、ユーザがパラメータを能動的に入力することであってもよく、タッチスクリーン上でスライドバー又は仮想の操作基準線を設定することにより、ユーザがリアルタイムの視覚フィードバックに基づいて設定を調整して入力の目的を達成することであってもよく、本出願の実施例ではこれを限定しない。

ステップ１０４、前記ティルトシフトパラメータに従って、前記ターゲット合焦面と交差する合成待ち画像を決定する。

電子機器は、上記ティルトシフトパラメータを取得すると、ティルトシフトパラメータを介してユーザの需要に合致するターゲット合焦面を構築することができる。ターゲット合焦面が各画像上の要素の組み合わせであるため、ターゲット合焦面は、各画像と仮想の交差関係を形成する。しかしながら、ターゲット合焦面と交差する画像については、必ずしもすべての画像が使用されるわけではないため、その中から合成待ち画像を決定する必要がある。理解できるように、本出願の実施例では、ターゲット合焦面が各画像と交差するため、ターゲット合焦面は、常に仮想の平面である。

具体的には、上記ティルトシフトパラメータがターゲットティルトシフトポイント、ティルトシフト傾斜角及び被写界深度幅を含む場合、ステップ１０４における合成待ち画像の決定は、以下の方法で実現されてもよい。

サブステップ１、前記ターゲットティルトシフトポイントと前記ティルトシフト傾斜角に従って、前記ターゲット合焦面のティルトシフト方位を決定する。

受信されたターゲットティルトシフトポイントとティルトシフト傾斜角に基づけば、ターゲット合焦面のティルトシフト方位を唯一に決定することができる。図４と図５の図示を結び付けると、ターゲット合焦面の方位を決定する必要があり、ターゲットティルトシフトポイントＯが得られると、ターゲット合焦面Ｍの位置が決定され、さらにティルトシフト傾斜角αを結び付けて、そのずれの方向を知ることができる。それにより、ティルトシフト軸線ｍに対応する仮想のターゲット合焦面Ｍを見つけることができる。

図４に示すように、ユーザが車をタッチしてそれをターゲットティルトシフト対象として選択した後、スクリーン上に仮想の直線ｍを表示することができ、この直線ｍは、常に前述したターゲットティルトシフトポイントＯを通し、ユーザは、スクリーン上に提供されたスライドレール、つまみなどの仮想調整ボタン又は入力ボックスなどを介して直線ｍの方向を制御することにより、この直線ｍが、ティルトシフト処理を必要とする画面上の他の撮影対象を通すようにすることができる。

さらに木と人にティルトシフト効果を形成させる必要がある場合、同時に木と人を通すように直線ｍを制御する必要があり、この時、ユーザによって入力されたこの直線ｍのティルトシフト傾斜角を受信する必要がある。車、木及び人によって連結された直線ｍは、ティルトシフト軸線であり、ターゲット合焦面Ｍは、直線ｍの位置する平面であり、このターゲット合焦面Ｍは、ユーザの入力情報に基づいて決定されたものであり、仮想の合焦面であり、カメラにおけるレンズの焦点に対応する合焦面と異なる。基準画像Ｐ２は、レンズのセンサに近い側にセンサと平行な結像平面を有するが、結像平面が画像Ｐ２と平行であるため、結像平面を単独に示していない。図５に示すように、ティルトシフト傾斜角は、ターゲットティルトシフトポイントＯの位置するターゲット合焦面Ｍと基準画像Ｐ２の結像平面とのなす角αを表し、このなす角αと図４における直線ｍの異なる方位のなす角には一対一で対応する関係が存在するため、ユーザは、表示インターフェースで操作して直線ｍの方位を制御するだけで、なす角αの入力を完了させることができる。

そのため、ターゲットティルトシフトポイントとティルトシフト傾斜角に従って、ターゲット合焦面のティルトシフト方位を決定することができる。

サブステップ２、前記ティルトシフト方位と前記被写界深度幅に基づいて、前記ターゲット合焦面と交差する合成待ち画像を決定する。

ティルトシフト効果は、画像内のティルトシフト領域以外の領域に対してぼやけ処理を行うことであるため、逆に、ティルトシフト領域に対してシャープネス処理を行うこととして見なされてもよい。それに対応して、さらに、ティルトシフト軸線ｍの片側又は両側の処理を必要とする幅範囲、即ち、ティルトシフト効果の位置する領域の幅、即ち、図４に示すａとｂのうちの少なくとも一つのパラメータを知る必要がある。前記内容を結び付けて、容易に理解できるように、ティルトシフト境界直線ｐは、仮想の合焦面Ｐに対応し、ティルトシフト境界直線ｑは、仮想の合焦面Ｑに対応する。なお、このａとｂは、ユーザが入力ボックスを介して入力すること又は仮想のスライドバーをスライドすることにより決定されてもよい。

ターゲット合焦面のティルトシフト方位を決定した後、さらに被写界深度幅を結び付けると、処理を必要とするティルトシフト領域範囲を容易に算出でき、図４では、このティルトシフト領域範囲は、直線ｐと直線ｑとの間のストリップ状領域で示され、図５では、このティルトシフト領域範囲は、平面Ｐと平面Ｑとの間の空間領域で示される。

図５の図示を結び付けると、このティルトシフト領域において、ターゲット合焦面Ｍは、Ｎ枚の画像と交差する。交差は、対応する画像にティルトシフト処理を必要とする撮影対象が存在することを意味し、それにより、ターゲット合焦面と交差するこれらの画像を後続の合成に参加する合成待ち画像として決定してもよい。

なお、上述したターゲット合焦面と交差する合成待ち画像は、第一の合成待ち画像と第二の合成待ち画像とのうちの少なくとも一つを含み、そのうち、第一の合成待ち画像は、Ｎ枚の画像のうちの合焦距離が基準距離よりも小さい画像であり、第二の合成待ち画像は、Ｎ枚の画像のうちの合焦距離が基準距離よりも大きい画像であり、そのうち、基準距離は、基準画像の合焦距離である。

図５の図示を例とすると、基準画像Ｐ２の合焦距離、即ち、基準距離はｌ₂であり、画像Ｐ１の合焦距離はｌ₁であり、画像Ｐ３の合焦距離はｌ₃であり、画像Ｐ４の合焦距離はｌ₄であり、ｌ₁＞ｌ₂＞ｌ₃＞ｌ₄となる。合成待ち画像Ｐ１とＰ３の選別方法は、以下のとおりである。

ユーザによって入力されたティルトシフト傾斜角α及び被写界深度幅ａとｂに基づいて、合成待ち画像に対応する合焦距離がｌ_合成待ち＝ｌ₂－ａ＊ｔａｎα且つｌ’_合成待ち＝ｌ₂＋ｂ＊ｔａｎα、ｌ_合成待ち＜ｌ₂、ｌ’_合成待ち＞ｌ₂であると容易に算出でき、理解できるように、そのうち、ａとｂとのうちのいずれか一つをゼロにすることができるが、両方を同時にゼロにすることができない。合焦距離がｌ_合成待ちとｌ₂との間にある画像は、第一の合成待ち画像であり、合焦距離がｌ₂とｌ’_合成待ちとの間にある画像は、第二の合成待ち画像である。

ターゲットティルトシフトポイント、ティルトシフト傾斜角及び被写界深度幅といったパラメータを受信することにより、ユーザが画像内のどれらの対象に対してティルトシフト処理を行う必要があるか及びティルトシフト処理の範囲を決定することができ、且つ合成待ち画像を具体的に決定することができる。

ステップ１０５、前記合成待ち画像と前記基準画像との合焦距離に基づいて、前記Ｎ枚の画像を画像合成し、ターゲットティルトシフト画像を出力する。

基準画像で表示された画面がターゲットティルトシフト対象が鮮明に見える画面であり、合成待ち画像の画面にはティルトシフト処理を必要とする他の撮影対象が含まれるとともに、異なる画像の合焦距離がそれぞれ異なるため、各画像の合焦距離に基づいて合成することにより、異なる合焦主体の遠近距離を結び付けてボカシ処理又はシャープネス処理の範囲を決定でき、それにより、ティルトシフト画像のミニチュアモデル効果がよりリアルかつ自然になる。

具体的には、ステップ１０５における画像合成プロセスは、以下のサブステップ１又はサブステップ２によって実現されてもよい。

サブステップ１、前記合成待ち画像の合焦主体が前記ターゲット合焦面と交差する場合、前記合成待ち画像と前記基準画像を重ね合わせ合成する。

得られた複数枚の合成待ち画像に対して、各画像は、いずれも画像とターゲット合焦面の交差関係に基づいて決定されたものである。しかしながら、合成待ち画像内で、ターゲット合焦面と交差する位置は、必ずしも合焦主体の位置する領域であるとは限らず、つまり、相互に交差する位置は、必ずしも鮮明な画面であるとは限らない。

そのため、合成待ち画像の合焦主体がターゲット合焦面と交差する場合、各画像内でターゲット合焦面と交差する領域が鮮明であり、ティルトシフト効果の需要を満たすことを知ることができ、マッティングアルゴリズムを利用して合焦主体を切り取って基準画像と重ね合わせ合成することができ、合成プロセスでは、合焦距離に基づいてティルトシフト領域に対して線形処理を行うことができ、例えば、基準合焦距離がｌ₂であり、レンズに最も近い合焦主体の合焦距離がｌ₁であり、シャープネスがｓｌｓであり、レンズに最も遠い合焦主体の合焦距離がｌ₃であり、シャープネスがｓｌｅであり、ティルトシフト領域のシャープネスをｓ１ｓ－（ｌ₃－ｌ₂）（ｓ１ｓ－ｓ１ｅ）／（ｌ₃－ｌ₁）に調整することができる。なお、シャープネスが高いほど、画像は鮮明になり、シャープネスが低いほど、画像はぼやけている。シャープネスの調整は、高く又は低く調整することであってもよい。

サブステップ２、前記合成待ち画像の合焦主体が前記ターゲット合焦面と交差しない場合、前記Ｎ枚の画像のうちの合焦主体が前記ターゲット合焦面と交差する画像に基づいて、前記合成待ち画像の合焦主体に対して鮮明度処理を行い、前記合成待ち画像と前記基準画像を重ね合わせ合成する。

合成待ち画像の合焦主体がターゲット合焦面と交差しない場合、各画像内でターゲット合焦面と交差する領域がぼやけており、ティルトシフト効果の需要を満たさないことを知ることができ、このティルトシフト効果の需要を満たさない画像に隣接する画像に基づいて鮮明度合いを決定することができる。例えば、基準合焦距離がｌ₂であり、レンズに最も近い合焦主体の合焦距離がｌ₁であり、シャープネスがｓｌｓであり、レンズに最も遠い合焦主体の合焦距離がｌ₃であり、シャープネスがｓｌｅであり、画像Ｐ１と画像Ｐ２又は画像Ｐ２と画像Ｐ３との間に合焦主体がぼやけている合成待ち画像が存在する場合、画像Ｐ１と画像Ｐ３の鮮明度合いを参照して、合焦主体がぼやけている合成待ち画像のティルトシフト領域のシャープネスをｓ１ｓ－（ｌ₃－ｌ₂）（ｓ１ｓ－ｓ１ｅ）／（ｌ₃－ｌ₁）に調整することができる。

具体的には、サブステップ１又はサブステップ２における画像の合成は、以下の合成方法を参照してもよい。

Ａ、前記合成待ち画像から合焦主体を切り取って前景レイヤとして設定する。

選別された合成待ち画像に対して、その合焦主体領域の画面を利用する必要があるため、ベイジアンマッティングアルゴリズムなどの成熟したアルゴリズムを利用して合焦主体を合成待ち画像から切り取ることができる。一般化して理解できるように、マッティング処理された各合成待ち画像内で、合焦主体以外の領域は透明領域である。理解できるように、合成待ち画像が複数枚存在する場合、複数の合焦主体を切り取る必要がある。それに対応して、すべての合焦主体を前景レイヤとして、ティルトシフト領域の画面要素を構成する。

Ｂ、前記基準画像を背景レイヤとして設定する。

知るべきことは、基準画像が画像処理の初期段階でユーザによって選択された画像であり、この画像の鮮明な領域とぼやけた領域の分布が使用要件を満たすため、それを背景レイヤとして直接設定する。

Ｃ、前記前景レイヤと前記背景レイヤを重ね合わせ合成する。

各画像が同じ位置で撮影されたため、合成時の各画面要素の整列を確保することができる。それにより、前景レイヤと背景レイヤを重ね合わせ合成した後、マッティング処理された合成待ち画像の合焦主体は、基準画像内の同じ撮影主体をカバーする。それにより、最終的に、画面にストリップ状の領域がある模擬ティルトシフト画像を得ることができる。

本発明の実施例では、異なる合焦主体を備えたＮ枚の画像から基準画像と合成待ち画像をそれぞれ決定し、基準画像は、ターゲットティルトシフト対象が鮮明な画像、即ち、ティルトシフト効果で鮮明に見える必要のある撮影対象に対応する画像である。合成待ち画像は、ターゲットティルトシフトポイント、ティルトシフト傾斜角及び被写界深度幅に従って決定された、ターゲット合焦面と交差する他の画像である。そのため、基準画像と合成待ち画像には異なる合焦主体の合焦距離情報がそれぞれ記録されており、これらの距離情報は、画像画面内の異なる合焦主体の空間位置関係を反映でき、合成待ち画像と基準画像との合焦距離に従って合成処理を行うことにより、合成後のティルトシフト画像内の鮮明な領域とぼやけた領域の移行がより自然且つ緩やかになり、ティルトシフト効果の模擬がより自然になり、ミニチュアモデル効果がよりリアルになる。そして、さらにティルトシフト画像に対してターゲットティルトシフト対象の前後の異なる撮影対象の画像を合成待ち画像とし、合焦距離を十分に利用することにより、ティルトシフト効果のリアルさを向上させる。なお、並べ替えられた複数枚の画像を利用して画像処理を行うことは、画像処理効率の向上にも役立つ。

図６を参照すると、図６は、電子機器のブロック図を示す。前記電子機器は、以下のモジュールを含む。

画像取得モジュール２０１は、Ｎ枚の画像を取得するためのものであり、そのうち、前記Ｎ枚の画像のうちの各画像は、同一の撮影位置で撮影して形成され、且つ合焦主体がそれぞれ異なり、異なる合焦主体は、異なる合焦距離に対応する。

基準画像決定モジュール２０２は、前記Ｎ枚の画像のうちの基準画像を決定するためのものであり、そのうち、前記基準画像は、ターゲットティルトシフト対象の鮮明度が予め設定された閾値よりも大きい画像である。

ティルトシフトパラメータ受信モジュール２０３は、ユーザによって入力されたティルトシフトパラメータを取得するためのものであり、そのうち、前記ティルトシフトパラメータは、ターゲット合焦面の方位及びティルトシフト領域の範囲を指示するためのものである。

選択的に、前記ティルトシフトパラメータは、ターゲットティルトシフトポイント、ティルトシフト傾斜角及び被写界深度幅を含み、そのうち、前記ターゲットティルトシフトポイントは、前記ターゲットティルトシフト対象の位置する座標位置であり、前記ティルトシフト傾斜角は、前記ターゲットティルトシフトポイントの位置する前記ターゲット合焦面と前記基準画像の結像平面とのなす角であり、前記ターゲット合焦面は、撮影対象によって連結されたティルトシフト軸線の位置する平面であり、前記被写界深度幅は、ティルトシフト効果の位置する領域の幅である。

合成待ち画像決定モジュール２０４は、前記ティルトシフトパラメータに従って、前記ターゲット合焦面と交差する合成待ち画像を決定するためのものである。

選択的に、前記ティルトシフトパラメータがターゲットティルトシフトポイント、ティルトシフト傾斜角及び被写界深度幅を含む場合、合成待ち画像決定モジュール２０４は、
前記ターゲットティルトシフトポイントと前記ティルトシフト傾斜角に従って、前記ターゲット合焦面のティルトシフト方位を決定するための方位決定サブモジュールと、
前記ティルトシフト方位と前記被写界深度幅に基づいて、前記ターゲット合焦面と交差する合成待ち画像を決定するための画像決定サブモジュールとを含んでもよい。

選択的に、前記合成待ち画像は、第一の合成待ち画像と第二の合成待ち画像とのうちの少なくとも一つを含み、そのうち、前記第一の合成待ち画像は、前記Ｎ枚の画像のうちの合焦距離が基準距離よりも小さい画像であり、前記第二の合成待ち画像は、前記Ｎ枚の画像のうちの合焦距離が基準距離よりも大きい画像であり、前記基準距離は、前記基準画像の合焦距離である。

合成処理モジュール２０５は、前記合成待ち画像と前記基準画像との合焦距離に基づいて、前記Ｎ枚の画像を画像合成処理し、ターゲットティルトシフト画像を出力するためのものである。

選択的に、前記合成処理モジュール２０５は、
前記合成待ち画像の合焦主体が前記ターゲット合焦面と交差する場合、前記合成待ち画像と前記基準画像を重ね合わせ合成するための第一の合成処理サブモジュールと、
前記合成待ち画像の合焦主体が前記ターゲット合焦面と交差しない場合、前記Ｎ枚の画像のうちの合焦主体が前記ターゲット合焦面と交差する画像に基づいて、前記合成待ち画像の合焦主体に対して鮮明度処理を行い、前記合成待ち画像と前記基準画像を重ね合わせ合成するための第二の合成処理サブモジュールとを含んでもよい。

選択的に、第一の合成処理サブモジュール又は第二の合成処理サブモジュールは、
前記合成待ち画像から合焦主体を切り取って前景レイヤとして設定するための前景設定ユニットと、
前記基準画像を背景レイヤとして設定するための背景設定ユニットと、
前記前景レイヤと前記背景レイヤを重ね合わせ合成するための重ね合わせ合成ユニットとを含んでもよい。

この電子機器の実施例は、方法の実施例と実質的に同じであるため、比較的簡単に記述されており、関連内容及び有益な効果は、方法の実施例の説明部分を参照すればよい。

本発明の実施例は、電子機器をさらに提供する。

プロセッサと、メモリと、前記メモリに記憶され、且つ前記プロセッサ上で運行できるコンピュータプログラムとを含み、前記コンピュータプログラムが前記プロセッサによって実行される時、前記実施例による画像処理方法のステップを実現させる。本発明の実施例による電子機器は、図１～図５の方法の実施例において電子機器によって実現された各プロセスを実現することができる。説明の繰り返しを回避するために、ここではこれ以上説明しない。

図７は、本発明の各実施例を実現する電子機器のハードウェア構造概略図である。

この電子機器５００は、無線周波数ユニット５０１、ネットワークモジュール５０２、オーディオ出力ユニット５０３、入力ユニット５０４、センサ５０５、表示ユニット５０６、ユーザ入力ユニット５０７、インターフェースユニット５０８、メモリ５０９、プロセッサ５１０、及び電源５１１などの部材を含むが、それらに限らない。当業者であれば理解できるように、図７に示される電子機器の構造は、電子機器に対する限定を構成せず、電子機器は、図示される部材の数よりも多くまたは少ない部材、またはなんらかの部材の組み合わせ、または異なる部材の配置を含んでもよい。本発明の実施例では、電子機器は、携帯電話、タブレットパソコン、ノートパソコン、パームトップコンピュータ、車載端末、ウェアラブルデバイス、及び歩数計などを含むが、それらに限らない。

そのうち、プロセッサ５１０は、Ｎ枚の画像を取得することであって、前記Ｎ枚の画像は、同一の撮影位置で撮影して得られ、且つ合焦主体がそれぞれ異なり、異なる合焦主体は、異なる合焦距離に対応することと、
前記Ｎ枚の画像のうちの基準画像を決定することであって、前記基準画像は、ターゲットティルトシフト対象の鮮明度が予め設定された閾値よりも大きい画像であることと、
ユーザによって入力されたティルトシフトパラメータを取得することであって、前記ティルトシフトパラメータは、ターゲット合焦面の方位及びティルトシフト領域の範囲を指示するためのものであることと、
前記ティルトシフトパラメータに従って、前記ターゲット合焦面と交差する合成待ち画像を決定することと、
前記合成待ち画像と前記基準画像との合焦距離に基づいて、前記Ｎ枚の画像を画像合成し、ターゲットティルトシフト画像を出力することに用いられる。

本発明の実施例では、異なる合焦主体を備えたＮ枚の画像から基準画像と合成待ち画像をそれぞれ決定し、基準画像は、ターゲットティルトシフト対象が鮮明な画像、即ち、ティルトシフト効果で鮮明に見える必要のある撮影対象に対応する画像である。合成待ち画像は、ターゲットティルトシフトポイント、ティルトシフト傾斜角及び被写界深度幅に従って決定された、ターゲット合焦面と交差する他の画像である。そのため、基準画像と合成待ち画像には異なる合焦主体の合焦距離情報がそれぞれ記録されており、これらの距離情報は、画像画面内の異なる合焦主体の空間位置関係を反映でき、合成待ち画像と基準画像との合焦距離に従って合成処理を行うことにより、合成後のティルトシフト画像内の鮮明な領域とぼやけた領域の移行がより自然且つ緩やかになり、ティルトシフト効果の模擬がより自然になり、ミニチュアモデル効果がよりリアルになる。

理解すべきことは、本発明の実施例では、無線周波数ユニット５０１は、情報の送受信または通話中の信号の送受信に用いられてもよい。具体的には、基地局からの下りリンクデータを受信してから、プロセッサ５１０に処理させてもよい。また、上りリンクデータを基地局に送信してもよい。一般的には、無線周波数ユニット５０１は、アンテナ、少なくとも一つの増幅器、送受信機、カプラ、低雑音増幅器、デュプレクサなどを含むが、それらに限らない。なお、無線周波数ユニット５０１は、無線通信システムやネットワークを介して他の機器との通信を行ってもよい。

電子機器は、ネットワークモジュール５０２によってユーザに無線のブロードバンドインターネットアクセスを提供し、例えば、ユーザへ電子メールの送受信、ウェブページの閲覧、ストリーミングメディアへのアクセスなどを支援する。

オーディオ出力ユニット５０３は、無線周波数ユニット５０１またはネットワークモジュール５０２によって受信されたまたはメモリ５０９に記憶されたオーディオデータをオーディオ信号に変換するとともに、音声として出力することができる。そして、オーディオ出力ユニット５０３はさらに、電子機器５００によって実行された特定の機能に関連するオーディオ出力（例えば、呼び信号受信音、メッセージ着信音など）を提供することができる。オーディオ出力ユニット５０３は、スピーカ、ブザー及び受話器などを含む。

入力ユニット５０４は、オーディオまたはビデオ信号を受信するために用いられる。入力ユニット５０４は、グラフィックスプロセッサ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）５０４１とマイクロホン５０４２を含んでもよい。グラフィックスプロセッサ５０４１は、ビデオキャプチャモードまたは画像キャプチャモードにおいて画像キャプチャ装置（例えば、カメラ）によって得られた静止画像またはビデオの画像データを処理する。処理された画像フレームは、表示ユニット５０６に表示されてもよい。グラフィックスプロセッサ５０４１によって処理された画像フレームは、メモリ５０９（または他の記憶媒体）に記憶されてもよく、または無線周波数ユニット５０１またはネットワークモジュール５０２を介して送信されてもよい。マイクロホン５０４２は、音声を受信することができるとともに、このような音声をオーディオデータとして処理することができる。処理されたオーディオデータは、電話の通話モードにおいて、無線周波数ユニット５０１を介して移動通信基地局に送信することが可能なフォーマットに変換して出力されてもよい。

電子機器５００は、少なくとも一つのセンサ５０５、例えば、光センサ、モーションセンサ及び他のセンサをさらに含む。具体的には、光センサは、環境光センサ及び接近センサを含み、そのうち、環境光センサは、環境光の明暗に応じて、表示パネル５０６１の輝度を調整することができ、接近センサは、電子機器５００が耳元に移動した時、表示パネル５０６１及び／又はバックライトをオフにすることができる。モーションセンサの一種として、加速度計センサは、各方向（一般的には、三軸）での加速度の大きさを検出することができ、静止時、重力の大きさ及び方向を検出することができ、電子機器姿勢（例えば、縦横スクリーン切り替え、関連ゲーム、磁力計姿勢校正）の識別、振動識別関連機能（例えば、歩数計、タップ）などに用いることができる。センサ５０５は、指紋センサ、圧力センサ、虹彩センサ、分子センサ、ジャイロ、気圧計、湿度計、温度計、赤外線センサなどをさらに含んでもよい。ここではこれ以上説明しない。

表示ユニット５０６は、ユーザによって入力された情報またはユーザに提供される情報を表示するために用いられる。表示ユニット５０６は、表示パネル５０６１を含んでもよい。液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＯＬＥＤ）などの形式で表示パネル５０６１を配置してもよい。

ユーザ入力ユニット５０７は、入力された数字または文字情報の受信、電子機器のユーザによる設置及び機能制御に関するキー信号入力の発生に用いられてもよい。具体的には、ユーザ入力ユニット５０７は、タッチパネル５０７１および他の入力機器５０７２を含む。タッチパネル５０７１は、タッチスクリーンとも呼ばれ、その上または付近でのユーザによるタッチ操作（例えば、ユーザが指、タッチペンなどの任意の適切な物体または付属品を使用してタッチパネル５０７１上またはタッチパネル５０７１付近で行う操作）を収集することができる。タッチパネル５０７１は、タッチ検出装置とタッチコントローラの二つの部分を含んでもよい。そのうち、タッチ検出装置は、ユーザによるタッチ方位を検出し、タッチ操作による信号を検出し、信号をタッチコントローラに伝送する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、それをタッチポイント座標に変換してから、プロセッサ５１０に送信し、プロセッサ５１０から送信されてきた指令を受信して実行する。なお、抵抗式、静電容量式、赤外線及び表面音波などの様々なタイプを用いてタッチパネル５０７１を実現してもよい。タッチパネル５０７１以外、ユーザ入力ユニット５０７は、他の入力機器５０７２をさらに含んでもよい。具体的には、他の入力機器５０７２は、物理的なキーボード、機能キー（例えば、ボリューム制御ボタン、スイッチボタンなど）、トラックボール、マウス、操作レバーを含んでもよいが、それらに限らない。ここではこれ以上説明しない。

さらに、タッチパネル５０７１は、表示パネル５０６１上に覆われてもよい。タッチパネル５０７１は、その上または付近でのタッチ操作を検出すると、プロセッサ５１０に伝送して、タッチイベントのタイプを特定し、その後、プロセッサ５１０は、タッチイベントのタイプに応じて表示パネル５０６１上で該当する視覚出力を提供する。図７では、タッチパネル５０７１と表示パネル５０６１は、二つの独立した部材として電子機器の入力と出力機能を実現するものであるが、なんらかの実施例では、タッチパネル５０７１と表示パネル５０６１を集積して電子機器の入力と出力機能を実現してもよい。具体的には、ここでは限定しない。

インターフェースユニット５０８は、外部装置と電子機器５００との接続のためのインターフェースである。例えば、外部装置は、有線または無線ヘッドフォンポート、外部電源（または電池充電器）ポート、有線または無線データポート、メモリカードポート、識別モジュールを有する装置への接続用のポート、オーディオ入力／出力（Ｉ／Ｏ）ポート、ビデオＩ／Ｏポート、イヤホンポートなどを含んでもよい。インターフェースユニット５０８は、外部装置からの入力（例えば、データ情報、電力など）を受信するとともに、受信した入力を電子機器５００内の一つまたは複数の素子に伝送するために用いられてもよく、または電子機器５００と外部装置との間でデータを伝送するために用いられてもよい。

メモリ５０９は、ソフトウェアプログラム及び各種のデータを記憶するために用いられてもよい。メモリ５０９は、主に記憶プログラム領域および記憶データ領域を含んでもよい。そのうち、記憶プログラム領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラム（例えば、音声再生機能、画像再生機能など）などを記憶することができ、記憶データ領域は、電子機器の使用によって作成されるデータ（例えば、オーディオデータ、電話帳など）などを記憶することができる。なお、メモリ５０９は、高速ランダムアクセスメモリを含んでもよく、非揮発性メモリ、例えば、少なくとも一つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、または他の非揮発性ソリッドステートメモリデバイスをさらに含んでもよい。

プロセッサ５１０は、電子機器の制御センターであり、各種のインターフェースと線路によって電子機器全体の各部分に接続され、メモリ５０９内に記憶されたソフトウェアプログラム及び／又はモジュールを運行又は実行すること、及びメモリ５０９内に記憶されたデータを呼び出し、電子機器の各種の機能を実行し、データを処理することにより、電子機器全体をモニタリングする。プロセッサ５１０は、一つまたは複数の処理ユニットを含んでもよい。好ましくは、プロセッサ５１０は、アプリケーションプロセッサとモデムプロセッサを集積してもよい。そのうち、アプリケーションプロセッサは、主にオペレーティングシステム、ユーザインターフェースおよびアプリケーションプログラムなどを処理するためのものであり、モデムプロセッサは、主に無線通信を処理するためのものである。理解できるように、上記モデムプロセッサは、プロセッサ５１０に集積されなくてもよい。

電子機器５００はさらに、各部材に電力を供給する電源５１１（例えば、電池）を含んでもよい。選択的に、電源５１１は、電源管理システムによってプロセッサ５１０にロジック的に接続されてもよい。それにより、電源管理システムによって充放電管理及び消費電力管理などの機能を実現することができる。

また、電子機器５００は、いくつかの示されていない機能モジュールを含む。ここではこれ以上説明しない。

本発明の実施例は、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサによって実行される時、上記画像処理方法の実施例の各プロセスを実現させ、且つ同じ技術的効果を達成することができる。説明の繰り返しを回避するために、ここではこれ以上説明しない。そのうち、前記コンピュータ可読記憶媒体は、例えば、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭと略称される）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭと略称される）、磁気ディスクまたは光ディスクなどである。

なお、本明細書において、「含む」、「包含」という用語またはその他の任意の変形は、非排他的な「含む」を意図的にカバーするものであり、それにより、一連の要素を含むプロセス、方法、物品または装置は、それらの要素を含むだけではなく、明確にリストアップされていない他の要素も含み、またはこのようなプロセス、方法、物品または装置に固有の要素も含む。それ以上の制限がない場合に、「……を１つ含む」という文章で限定された要素について、この要素を含むプロセス、方法、物品または装置には他の同じ要素も存在することが排除されるものではない。

以上の実施の形態の記述によって、当業者であればはっきりと分かるように、上記実施例の方法は、ソフトウェアと必要な汎用ハードウェアプラットフォームの形態によって実現されてもよい。無論、ハードウェアによっても実現されるが、多くの場合、前者は、好適な実施の形態である。このような理解を踏まえて、本発明の技術案は、実質にはまたは従来技術に寄与した部分がソフトウェア製品の形式によって表われてもよい。このコンピュータソフトウェア製品は、一つの記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、一台の端末（携帯電話、コンピュータ、サーバ、エアコン、またはネットワーク機器などであってもよい）に本発明の各実施例に記載の方法を実行させるための若干の指令を含む。

以上は、添付図面を結び付けながら、本発明の実施例を記述したが、本発明は、上述した具体的な実施の形態に限らず、上述した具体的な実施の形態は例示的なものに過ぎず、制限性のあるものではない。当業者は、本発明の示唆を基にして、本発明の趣旨や請求項が保護する範囲から逸脱しない限り、多くの形式の変更を行うことができ、それらは、いずれも本発明の請求範囲に入っている。

Claims (15)

1. 画像処理方法であって、
   Ｎ枚の画像を取得することであって、前記Ｎ枚の画像は、同一の撮影位置で撮影して得られ、且つ合焦主体がそれぞれ異なり、異なる合焦主体は、異なる合焦距離に対応することと、
   前記Ｎ枚の画像のうちの基準画像を決定することであって、前記基準画像は、ターゲットティルトシフト対象の鮮明度が予め設定された閾値よりも大きい画像であることと、
   ユーザによって入力されたティルトシフトパラメータを取得することであって、前記ティルトシフトパラメータは、ターゲット合焦面の方位及びティルトシフト領域の範囲を指示するためのものであることと、
   前記ティルトシフトパラメータに従って、前記ターゲット合焦面と交差する合成待ち画像を決定することと、
   前記合成待ち画像と前記基準画像との合焦距離に基づいて、前記Ｎ枚の画像を画像合成し、ターゲットティルトシフト画像を出力することとを含む、画像処理方法。
2. 前記ティルトシフトパラメータは、ターゲットティルトシフトポイント、ティルトシフト傾斜角及び被写界深度幅を含み、
   そのうち、前記ターゲットティルトシフトポイントは、前記ターゲットティルトシフト対象の位置する座標位置であり、前記ティルトシフト傾斜角は、前記ターゲットティルトシフトポイントの位置する前記ターゲット合焦面と前記基準画像の結像平面とのなす角であり、前記ターゲット合焦面は、撮影対象によって連結されたティルトシフト軸線の位置する平面であり、前記被写界深度幅は、ティルトシフト効果の位置する領域の幅である、請求項１に記載の方法。
3. 前述した、前記ティルトシフトパラメータに従って、前記ターゲット合焦面と交差する合成待ち画像を決定することは、
   前記ターゲットティルトシフトポイントと前記ティルトシフト傾斜角に従って、前記ターゲット合焦面のティルトシフト方位を決定することと、
   前記ティルトシフト方位と前記被写界深度幅に基づいて、前記ターゲット合焦面と交差する合成待ち画像を決定することとを含む、請求項２に記載の方法。
4. 前記合成待ち画像は、第一の合成待ち画像と第二の合成待ち画像とのうちの少なくとも一つを含み、
   そのうち、前記第一の合成待ち画像は、前記Ｎ枚の画像のうちの合焦距離が基準距離よりも小さい画像であり、前記第二の合成待ち画像は、前記Ｎ枚の画像のうちの合焦距離が基準距離よりも大きい画像であり、前記基準距離は、前記基準画像の合焦距離である、請求項１に記載の方法。
5. 前述した、前記合成待ち画像と前記基準画像との合焦距離に基づいて、前記Ｎ枚の画像を画像合成し、ターゲットティルトシフト画像を出力することは、
   前記合成待ち画像の合焦主体が前記ターゲット合焦面と交差する場合、前記合成待ち画像と前記基準画像を重ね合わせ合成することと、
   前記合成待ち画像の合焦主体が前記ターゲット合焦面と交差しない場合、前記Ｎ枚の画像のうちの合焦主体が前記ターゲット合焦面と交差する画像に基づいて、前記合成待ち画像の合焦主体に対して鮮明度処理を行い、前記合成待ち画像と前記基準画像を重ね合わせ合成することとを含む、請求項１に記載の方法。
6. 前記合成待ち画像と前記基準画像を重ね合わせ合成することは、
   前記合成待ち画像から合焦主体を切り取って前景レイヤとして設定することと、
   前記基準画像を背景レイヤとして設定することと、
   前記前景レイヤと前記背景レイヤを重ね合わせ合成することとを含む、請求項５に記載の方法。
7. 前述した、Ｎ枚の画像を取得することは、
   Ｎ個の異なる合焦主体に対してそれぞれ撮影操作を実行して、Ｎ枚の画像を得ることと、
   前記Ｎ枚の画像を記憶することとを含む、請求項１に記載の方法。
8. 前述した、Ｎ枚の画像を取得することは、
   取り外し可能な記憶媒体又は無線方式を介して、ターゲット機器にアクセスすることと、
   前記ターゲット機器に予め記憶されたＮ枚の画像を取得することとを含む、請求項１に記載の方法。
9. 前述した、前記Ｎ枚の画像を記憶することは、
   前記Ｎ個の異なる合焦主体のうちの各合焦主体からカメラまでの合焦距離を決定することと、
   合焦距離の遠近順序に応じて、Ｎ枚の画像を並べ替えることと、
   並べ替えられた前記Ｎ枚の画像を記憶することとを含む、請求項７に記載の方法。
10. 前述した、前記Ｎ枚の画像のうちの基準画像を決定することは、
    ユーザによって入力されたターゲットティルトシフト対象の対象位置情報を受信することであって、前記対象位置情報は、前記Ｎ枚の画像内でのターゲットティルトシフト対象の位置する位置領域を含むことと、
    前記対象位置情報に基づいて、前記Ｎ枚の画像から基準画像を決定することとを含む、請求項１に記載の方法。
11. 前述した、前記対象位置情報に基づいて、前記Ｎ枚の画像から基準画像を決定することは、
    前記Ｎ枚の画像のうちの各画像の鮮明度を取得することと、
    ターゲットティルトシフト対象の鮮明度が予め設定された閾値よりも大きい画像を基準画像とすることとを含む、請求項１０に記載の方法。
12. 電子機器であって、
    Ｎ枚の画像を取得するための画像取得モジュールであって、前記Ｎ枚の画像は、同一の撮影位置で撮影して形成され、且つ合焦主体がそれぞれ異なり、異なる合焦主体は、異なる合焦距離に対応する画像取得モジュールと、
    前記Ｎ枚の画像のうちの基準画像を決定するための基準画像決定モジュールであって、前記基準画像は、ターゲットティルトシフト対象の鮮明度が予め設定された閾値よりも大きい画像である基準画像決定モジュールと、
    ユーザによって入力されたティルトシフトパラメータを取得するためのティルトシフトパラメータ受信モジュールであって、前記ティルトシフトパラメータは、ターゲット合焦面の方位及びティルトシフト領域の範囲を指示するためのものであるティルトシフトパラメータ受信モジュールと、
    前記ティルトシフトパラメータに従って、前記ターゲット合焦面と交差する合成待ち画像を決定するための合成待ち画像決定モジュールと、
    前記合成待ち画像と前記基準画像との合焦距離に基づいて、前記Ｎ枚の画像を画像合成処理し、ターゲットティルトシフト画像を出力するための合成処理モジュールとを含む、電子機器。
13. プロセッサと、メモリと、前記メモリに記憶され、且つ前記プロセッサ上で運行できるコンピュータプログラムとを含み、前記コンピュータプログラムが前記プロセッサによって実行される時、請求項１～１１のいずれか１項に記載の画像処理方法のステップを実現させる、電子機器。
14. コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行される時、請求項１～１１のいずれか１項に記載の画像処理方法のステップを実現させる、コンピュータ可読記憶媒体。
15. 少なくとも一つのプロセッサによって実行されて、請求項１～１１のいずれか１項に記載の画像処理方法を実現させる、コンピュータプログラム。

Images