JP6730690B2 - シーン内に存在する不要なオブジェクトの除去に基づくシーンの画像の動的生成 - Google Patents

Description

[0002] 開示の様々な実施形態は、画像取り込み及び画像処理技術に関する。より具体的には、開示の様々な実施形態は、シーンの画像を、シーンに存在する不要なオブジェクトの除去に基づいて動的に生成するための画像取り込み装置に関する。

[0003] デジタルカメラ、及び一体型カメラを持つスマートフォンのようなスマート電子装置の出現で、写真撮影の人気は著しく増加した。ユーザーにとって、これらの装置を用いて望ましい画像を時刻又は場所に関係なく取り込むことが可能になった。画像又はビデオの取り込み中に、ユーザーは、シーンに存在することがある他の不要なオブジェクトではなくシーン内の興味があるオブジェクトに、焦点を合わせることができる。現在、デジタルカメラ又はスマートフォンは、カメラの視野角内にある、シーンの全てのオブジェクトを取り込む。そのような場合、ユーザーは、異なる視野角からシーンを取り込むことを試み、興味があるオブジェクトを取り込んで望ましい画像とすることができる。代替的に、ユーザーは、撮影された画像のうちの不要なオブジェクトを、画像編集のような後処理によって取り除くことができる。しかしながら、撮り直しは煩わしいことがあり、それは、周辺環境条件が変化するせいで、興味があるオブジェクトを望まない状態で撮影する可能性を増加させることがある。さらに、撮影された画像から不要なオブジェクトを除去することは、退屈であり、処理された画像の中に画像人工物を残すことがある。例えば、取り込まれたシーンのうち不要なオブジェクトに対応する除去部分は、正確に元の状態に戻せないことがある。

[0004] 従来のしかも伝統的な取り組みにおけるさらなる制限及び欠点が、本出願の残りの部分に記述され、図面を参照する説明されたシステムと、本開示のいくつかの態様との比較を通して当業者に明らかになる。

[0005] シーンの画像を、シーン内に存在する不要なオブジェクトの除去に基づいて動的に生成するための画像取り込み装置及び方法が、図面の少なくとも１つの図に示され及び／又はこれに関連して記載され、請求項により完全に記述されて、実質的に提供される。

[0006] 本開示のこれらの及び他の特徴及び利点は、本開示の以下の詳細な説明を添付の図面とともに再検討することによって理解することができ、添付の図面では、全体を通じて同様の参照番号が同様の部分を指している。

本開示の実施形態に従って、シーンの画像をシーンに存在する不要なオブジェクトの除去に基づいて動的に生成する、一般的な動作環境を図示するブロック図である。 本開示の実施形態に従って、一般的な画像取り込み装置を図示するブロック図である。 本開示の実施形態に従って、シーンの画像をシーンの２つの所望のオブジェクト間に存在する不要なオブジェクトの除去に基づいて動的に生成する、開示された画像取り込み装置及び方法を実施するための第１の一般的なシナリオを示す図である。 本開示の実施形態に従って、シーンの画像をシーンの縁に存在する不要なオブジェクトの除去に基づいて動的に生成する、開示された画像取り込み装置及び方法を実施するための第２の一般的なシナリオを示す図である。 本開示の実施形態に従って、シーンの画像をシーンの背景オブジェクトと重なることなしに、シーンに存在する不要なオブジェクトの除去に基づいて動的に生成する、開示された画像取り込み装置及び方法を実施するための第３の一般的なシナリオを一緒に示す図である。 本開示の実施形態に従って、シーンの画像をシーンの背景オブジェクトと重なることなしに、シーンに存在する不要なオブジェクトの除去に基づいて動的に生成する、開示された画像取り込み装置及び方法を実施するための第３の一般的なシナリオを一緒に示す図である。 本開示の実施形態に従って、シーンの画像をシーンで所望のオブジェクトに重なる不要なオブジェクトの除去に基づいて動的に生成する、開示された画像取り込み装置及び方法を実施するための第４の一般的なシナリオを示す図である。 本開示の実施形態に従って、シーンの画像をシーンでテキスト背景に重なる不要なオブジェクトの除去に基づいて動的に生成する、開示された画像取り込み装置及び方法を実施するための第５の一般的なシナリオを示す図である。 本開示の実施形態に従って、シーンの画像をシーンで２つの所望のオブジェクト間の距離の縮小によって動的に生成する、開示された画像取り込み装置及び方法を実施するための第６の一般的なシナリオを示す図である。 本開示の実施形態に従って、シーンの画像をシーンに存在する不要なオブジェクトの除去に基づいて動的に生成するための、一般的な動作を図示する一緒に描いたフローチャートである。 本開示の実施形態に従って、シーンの画像をシーンに存在する不要なオブジェクトの除去に基づいて動的に生成するための、一般的な動作を図示する一緒に描いたフローチャートである。 本開示の実施形態に従って、シーンの画像をシーンに存在する不要なオブジェクトの除去に基づいて動的に生成するための、一般的な動作を図示する一緒に描いたフローチャートである。 本開示の実施形態に従って、シーンの画像をシーンに存在する不要なオブジェクトの除去に基づいて動的に生成するための、一般的な動作を図示する一緒に描いたフローチャートである。

[0016] 様々な実施は、シーンの画像をシーンに存在する不要なオブジェクトの除去に基づいて動的に生成するための画像取り込み装置及び方法に見出すことができる。開示の一般的な態様は、シーンの画像を、シーンの選択的な取り込みによるシーンの不要なオブジェクトの除去に基づいて、動的に生成するための方法を備えることができる。方法は、少なくとも回路類、メモリ及びディスプレイを含み得る、画像取り込み装置で実施することができる。ディスプレイは、画像取り込み装置によって取り込まれるシーンの第１のプレビューを備える、アプリケーションインターフェイスをレンダリングするように構成することができる。シーンの第１のプレビューは、少なくとも第１のオブジェクトを備えることができる。回路類は、シーンのプレビュー中の不要なオブジェクトを、シーンのプレビュー中の少なくとも第１のオブジェクトの選択に基づいて検出するように構成することができる。回路類は、検出した不要なオブジェクトをシーンの第１のプレビューから取り除くようにさらに構成することができる。回路類は、シーンの第１のプレビューのうちシーンの第１のプレビュー中の除去された不要なオブジェクトに対応する部分を塗りつぶすようにさらに構成することができる。部分は、背景領域又は前景領域の少なくとも一方で塗りつぶすことができる。回路類は、シーンの第２のプレビューを、検出した不要なオブジェクトを取り除きかつ部分を背景領域又は前景領域の何れかで塗りつぶすことに基づいて、生成するようにさらに構成することができる。回路類は、シーンの画像を生成された第２のプレビューに基づいて生成するようにさらに構成することができる。

[0017] 実施形態に従って、第１のオブジェクトの選択は、タッチベースの入力に基づくことができる。一部の実施形態では、第１のオブジェクトの選択は、音声ベースの入力又はテキストベースの入力の少なくとも一方にさらに基づくことができる。回路類は、検出した不要なオブジェクトの境界の座標を計算するようにさらに構成することができる。検出した不要なオブジェクトの境界の座標は、検出された不要なオブジェクトの位置、大きさ又は形状に基づいて計算することができる。回路類は、検出した不要なオブジェクトを、検出した不要なオブジェクトの境界の計算した座標に基づいて、シーンの第１のプレビューから取り除くようにさらに構成することができる。

[0018] 実施形態に従って、回路類は背景領域を生成するようにさらに構成することができ、生成は、画像取り込み装置のメモリに記憶され又はクラウドサーバーからアクセスされた参照画像のライブラリの少なくとも１つの参照画像に基づく。さらに、少なくとも１つの参照画像は、参照画像のライブラリを、検出された不要なオブジェクトの位置、大きさ又は境界の座標のうちの１つに基づいて検索することによって選択することができる。回路類は、背景領域を取り除いた不要なオブジェクトに対応する部分の近くにある画素に基づいて生成するようにさらに構成することができる。回路類は、背景領域を少なくとも１つの以前に取り込まれた画像に基づいて生成するようにさらに構成することができる。実施形態に従って、回路類は、部分を、メモリ又はクラウドに記憶された参照画像のライブラリから第２のオブジェクトを選択することに基づいて前景領域で取り替えるようにさらに構成することができる。

[0019] 実施形態に従って、画像取り込み装置によって取り込まれるシーンの第１のプレビュー中の少なくとも３つのオブジェクトの存在に基づいて、回路類は、シーンの第１のプレビュー中の少なくとも３つのオブジェクトのうち２つのオブジェクト間の距離を縮小するようにさらに構成することができる。２つのオブジェクト間の距離は、シーンの第１のプレビュー中の少なくとも３つのオブジェクトから検出した不要なオブジェクトを取り除いた後に縮小することができる。回路類は、シーンの第１のプレビュー中の２つのオブジェクト間の距離を、距離を縮小するためのユーザー入力に基づいて縮小するようにさらに構成することができる。シーンの第１のプレビュー中の２つのオブジェクト間の距離は、少なくとも２つのオブジェクトをオブジェクト方向で光学的に画像拡大することに基づいてさらに縮小することができる。

[0020] 実施形態に従って、回路類は、シーンの第１のプレビュー中の異なる層を、異なる層の少なくとも深さ情報に基づいて決定するようにさらに構成することができる。回路類は、異なる層から少なくとも１層を、少なくとも１つの層の選択に基づいて取り除くようにさらに構成することができる。

[0021] 図１は、開示の実施形態に従って、シーンの画像を、シーンに存在する不要なオブジェクトの除去に基づいて、動的に生成する一般的な動作環境を図示するブロック図である。図１を参照すると、一般的な動作環境１００が示されている。一般的な動作環境１００は、画像取り込み装置１０２を含むことができる。示すように、画像取り込み装置１０２は、ディスプレイ１０４及びメモリ１０６を含む。図１を参照すると、画像取り込み装置１０２によって取り込まれるシーン１０８がさらに示されている。シーン１０８は、少なくとも第１のオブジェクト１１０をさらに備えることができる。画像取り込み装置１０２はユーザー１１２が保持することができる。

[0022] 画像取り込み装置１０２は、適切な論理、回路類、インターフェイス及び／又はコードを備えることができ、これらは、シーン１０８の画像（又はビデオ）を取り込むように構成することができ、取り込みは、画像（又はビデオ）の取り込みの間に、シーン１０８に存在する第１のオブジェクト１１０のような不要なオブジェクトを取り除くことに基づいている。画像取り込み装置１０２は、シーン１０８の第１のプレビュー中の不要なオブジェクトを、第１のオブジェクト１１０の選択に基づいて検出することができる。画像取り込み装置１０２は、シーン１０８の第１のプレビューのうち取り除いた不要なオブジェクトに対応する部分を、背景領域又は前景領域の少なくとも一方で塗りつぶすことができる。不要なオブジェクトを取り除くこと及び塗りつぶすことに基づいて、シーン１０８の第２のプレビューが、画像取り込み装置１０２によって生成される。画像取り込み装置１０２は、シーン１０８の画像をシーン１０８の第２のプレビューに基づいて生成することができる。シーン１０８の第２のプレビューの構成は、シーン１０８の第１のプレビューとは異なることができる。画像取り込み装置１０２の例は、制限されないが、デジタルカメラ、デジタルビデオカメラ、ブリッジカメラ、スマートフォンのようなカメラ付き携帯電話、小形カメラ、有線テレビ（ＣＣＴＶ）カメラ、ダッシュボードカメラ、ラップトップコンピューター、タブレット、又は一体型カメラを備えたスマート電気器具を含む。

[0023] ディスプレイ１０４は、適切な論理、回路類、インターフェイス及び／又はコードを備えることができ、これらは、画像取り込み装置１０２によって取り込まれるシーン１０８の第１のプレビューを備えるアプリケーションインターフェイスをレンダリングするように構成することができる。ユーザー１１２のようなユーザーは、メモリ１０６に記憶されたファインダーアプリケーションを立ち上げ、画像取り込み装置１０２を取り込まれるシーン１０８に向けることができる。シーン１０８の第１のプレビューは、カメラファインダーインターフェイスのようなアプリケーションインターフェイスで見ることができる。一部の実施形態では、ディスプレイ１０４は、画像取り込み装置１０２に一体化することができる。一部の実施形態では、ディスプレイ１０４は、通信チャンネル（図示しない）を介して、画像取り込み装置１０２と通信可能に結合することができる。そのような場合、ディスプレイ１０４は、内視鏡装置、パソコン、ラップトップコンピューター、コンピューターワークステーション、汎用コンピュータ、手持ち式コンピュータ、携帯情報端末、スマートフォン、スマート電気器具、ビデオプレーヤ、又はテレビのような外部装置に関連付けることができる。

[0024] メモリ１０６は、適切な論理、回路類、インターフェイス及び／又はコードを備えることができ、これらは、画像取り込み装置１０２によって取り込まれるシーン１０８を一時的に記憶するように構成することができる。例えば、メモリ１０６は、シーン１０８を処理に備えてメモリ１０６内の画像バッファーに一時的に記憶することができる。メモリ１０６は、参照画像のライブラリを記憶するようにさらに構成することができる。メモリ１０６は、画像取り込み装置１０２によって実行可能な一連の命令を記憶して、シーン１０８から不要なオブジェクトを取り除くことに基づいて、シーン１０８の画像を生成するようにさらに構成することができる。メモリ１０６は、画像取り込み装置１０２のオペレーティングシステム及び関連するアプリケーションを記憶するようにさらに構成することができる。メモリ１０６の例は、制限されないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリＲＡＭ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、サイリスタランダムアクセスメモリ（Ｔ−ＲＡＭ）、ゼロコンデンサランダムアクセスメモリ（Ｚ−ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、セキュアデジタル（ＳＤ）カード、フラッシュドライブ、キャッシュメモリー及び／又は他の揮発性メモリを含むことができる。

[0025] シーン１０８は、少なくとも１つのオブジェクト、例えば第１のオブジェクト１１０を備える領域の視界に対応することができる。第１のオブジェクト１１０は、生物（例えば人間、動物又は植物）又は無生物（例えば車両、家、彫刻又は岩）に対応することができる。第１のオブジェクト１１０は、水域、天体、陸上オブジェクト又はその組み合わせにさらに対応することができる。シーン１０８は、空間内における特別の位置及び向きから、画像取り込み装置１０２を通して可視領域の視界に対応することができる。シーン１０８はまた、例えばパノラマ写真撮影において、一定の又は異なる向きを持つ同じ又は異なる位置に関連しており、かつ画像取り込み装置１０２を通して可視領域の視野に対応することができる。

[0026] 動作時、ユーザー１１２は、画像取り込み装置１０２に設けたカメラファインダーアプリケーション（例えば画像取り込みアプリケーション）を立ち上げることができ、画像取り込み装置１０２をシーン１０８の方へ向けることができる。ユーザー１１２は、カメラファインダーアプリケーションでオブジェクト選択モード（望ましい又は不要なオブジェクト選択モード）を選択することができる。画像取り込み装置１０２のディスプレイ１０４は、望ましい／不要のオブジェクト選択モードでアプリケーションインターフェイスをレンダリングするように構成することができる。アプリケーションインターフェイス（例えば、カメラファインダーアプリケーションのグラフィカルユーザーインターフェイス（ＧＵＩ））は、シーン１０８の第１のプレビューを備えることができる。
シーン１０８の第１のプレビューは、画像取り込み装置１０２を通して視覚化されるようなシーン１０８の生のプレビューを指すことができる。シーン１０８の第１のプレビューは、画像バッファーとしてメモリ１０６に一時的に記憶することができる。

[0027] 一部の実施形態では、シーン１０８の第１のプレビューは、複数のオブジェクトと背景とを備えることができる。複数のオブジェクトのうち一部のオブジェクトは所望のオブジェクトとし、他のオブジェクトは不要なオブジェクトとすることができる。所望のオブジェクトは、ユーザー１１２のようなユーザーが、画像取り込み装置１０２によって取り込まれる画像に含めることを希望するオブジェクトにすることができる。不要なオブジェクトは、ユーザーが、画像取り込み装置１０２によって取り込まれる画像中で、取り除くことを希望するオブジェクトにすることができる。例えば、図１を参照して、シーン１０８の第１のプレビューは、第１のオブジェクト１１０を備えることができる。ユーザー１１２は、第１のユーザー１１０がないシーン１０８の背景にすることができる、夕暮れの景色を取り込むことを希望することができる。ディスプレイ１０４上にシーン１０８の第１のプレビューをレンダリングすることに基づいて、画像取り込み装置１０２により、画像取り込み装置１０２のユーザー１１２が、シーン１０８の第１のプレビューから不要なオブジェクトを選択することが可能になる。画像取り込み装置１０２のユーザーは、シーン１０８の第１のプレビュー中の第１のオブジェクト１１０を不要なオブジェクトとして選択するために、第１のユーザー入力を与えることができる。第１のユーザー入力は、タッチベースの入力、音声ベースの入力又はテキストベースの入力の少なくとも１つに対応することができる。第１のオブジェクト１１０の選択に基づいて、画像取り込み装置１０２は、シーン１０８の第１のプレビュー中の不要なオブジェクトを検出することができる。例えば、シーン１０８の第１のプレビュー中の第１のオブジェクト１１０は、ユーザー１１２による第１のオブジェクト１１０の選択に基づいて、不要なオブジェクトとして検出することができる。シーン１０８の第１のプレビュー中の不要なオブジェクトの検出は、例えば図３Ａから図３Ｇに詳しく説明されている。

[0028] 画像取り込み装置１０２は、検出した不要なオブジェクト（例えば第１のオブジェクト１１０）をシーン１０８の第１のプレビューから取り除くように構成することができる。検出した不要なオブジェクト（例えば、第１のオブジェクト１１０）を取り除くプロセスでは、画像取り込み装置１０２は、検出した不要なオブジェクトの境界の座標を計算するように構成することができる。検出した不要なオブジェクト（例えば、第１のオブジェクト１１０）の境界の座標は、シーン１０８の第１のプレビューにある検出した不要なオブジェクトの位置、大きさ又は形状に基づいて計算することができる。検出した不要なオブジェクトの境界につき計算された座標に基づいて、画像取り込み装置１０２は、検出した不要なオブジェクトをシーン１０８の第１のプレビューから取り除くことができる。検出した不要なオブジェクトの除去は、例えば図３Ａから図３Ｇを参照して、詳しく説明されている。

[0029] 画像取り込み装置１０２は、シーン１０８の第１のプレビューの部分を、背景領域又は前景領域の少なくとも一方で塗りつぶすように構成することができる。シーン１０８の第１のプレビューの部分は、シーン１０８の第１のプレビューから取り除かれた不要なオブジェクト（例えば、第１のオブジェクト１１０）に対応することができる。部分を塗りつぶすことに先立って、背景領域又は前景領域の少なくとも一方は、画像取り込み装置１０２によって判定することができる。一部の実施形態では、画像取り込み装置１０２は、背景領域を参照画像のライブラリのうち少なくとも１つの参照画像に基づいて生成するように構成することができる。参照画像のライブラリは、画像取り込み装置１０２のメモリ１０６に記憶し、又はクラウドサーバー（図示しない）からアクセスすることができる。さらに、参照画像（即ち、少なくとも１つの参照画像）は、参照画像のライブラリ内で検索することによって選択することができる。検索は、検出した不要なオブジェクトの位置、大きさ又は境界の座標に基づいて実行することができる。一部の実施形態では、取り込み装置１０２は、背景領域を取り除いた不要なオブジェクトに対応する部分の近くにある画素の画素値に基づいて生成するように構成することができる。部分の近くにある画素は、検出された不要なオブジェクトの境界の計算された座標の近くにある画素に対応することができる。一部の実施形態では、画像取り込み装置１０２は、背景領域を、以前に取り込まれた画像の少なくとも１つに基づいて生成するように構成することができる。一部の実施形態では、画像取り込み装置１０２は、部分を、参照画像のライブラリから第２のオブジェクトを選択したことに基づいて前景領域で取り替えるように構成することができる。例えば、画像取り込み装置１０２は、参照画像のライブラリ内の第２のオブジェクトを、ユーザー１１２によって提供される入力に基づいて検索することができる。シーン１０８の第１のプレビュー中の部分を塗りつぶすことは、例えば図３Ａから図３Ｇに詳しく説明されている。

[0030] 画像取り込み装置１０２は、シーン１０８の第２のプレビューを、検出した不要なオブジェクトの除去と塗りつぶす動作とに基づいて生成するように構成することができる。シーン１０８の第２のプレビューは、取り除いた第１のオブジェクト１１０を含む。シーン１０８の生成された第２のプレビューに基づいて、画像取り込み装置１０２は、ユーザー１１２によって望まれるようなシーン１０８の画像を生成するように構成することができる。

[0031] 所定のシナリオでは、画像取り込み装置１０２によって取り込まれるシーン１０８のようなシーン中に、３つ以上のオブジェクトが存在することができる。例えば、不要なオブジェクトは、シーン１０８の第１のプレビュー中に見えるような２つの所望のオブジェクト間に存在することができる。不要なオブジェクトは、上述したように、アプリケーションインターフェイスを介して選択され、同様のプロセスで取り除くことができる。シーン１０８の第１のプレビューにおいて２つの所望のオブジェクト間に位置する不要なオブジェクトを取り除いた後、ユーザー１１２は、２つの所望のオブジェクトの位置を変更するために入力を与えることができる。例えば、ユーザー１１２は、第１のプレビュー中で２つの所望のオブジェクトに２本の指を置き、それらをドラッグして互いに近づけることによって、２つの所望のオブジェクトを選択することができる。画像取り込み装置１０２は、シーン１０８の第１のプレビュー中の２つの所望のオブジェクト間の距離を、受け取ったユーザー入力に基づいて縮小するように構成することができる。

[0032] 一部の実施形態では、画像取り込み装置１０２は、シーン１０８の第１のプレビュー中の２つの所望のオブジェクト間の距離を、距離値に基づいて縮小するように構成することができる。例えば、ユーザー１１２は、距離値を与え（例えば、テキストベースの入力を通じて）、距離値を用いて２つの所望のオブジェクト間の距離は、画像取り込み装置１０２によって縮小することができる。一部の実施形態では、画像取り込み装置１０２は、少なくとも２つの所望のオブジェクト間の距離をオブジェクト方向に光学的に画像拡大することに基づいて縮小するようにさらに構成することができる。シーン１０８の第１のプレビュー中の２つのオブジェクト間の距離の縮小は、例えば図３Ａ及び図３Ｇに詳しく説明されている。

[0033] 画像取り込み装置１０２は、シーン１０８の第１のプレビュー中の異なる層を決定するように構成することができる。シーン１０８の第１のプレビュー中の異なる層は、異なる層の少なくとも深さ情報に基づいて決定することができる。画像取り込み装置１０２は、異なる層から、少なくとも１つの層の選択に基づいて、少なくとも１つの層を取り除くようにさらに構成することができる。例えば、ユーザー１１２は、異なる層から少なくとも１つの層を選択するために入力を与えることができる。

[0034] 図２は、本開示の実施形態に従って、一般的な画像取り込み装置を図示するブロック図である。図２は、図１の構成要素とともに説明されている。図２を参照すると、画像取り込み装置１０２のような一般的な画像取り込み装置のブロック図が示されている。
画像取り込み装置１０２は、画像プロセッサ２０２、モードセレクタ２０４、オブジェクト検出器２０６、入出力（Ｉ／Ｏ）装置２０８、及びオブジェクトセレクタ２１０のような回路類を含むことができる。入出力装置２０８は、ディスプレイ１０４（図１）を備えることができる。画像取り込み装置１０２は、ネットワークインターフェイス２１２をさらに含むことができる。図２を参照すると、図１のメモリ１０６がさらに示されている。

[0035] 実施形態に従って、画像プロセッサ２０２は、ディスプレイ１０４、メモリ１０６、モードセレクタ２０４、オブジェクト検出器２０６、入出力装置２０８、オブジェクトセレクタ２１０、及びネットワークインターフェイス２１２に通信的に結合することができる。ネットワークインターフェイス２１２は、画像プロセッサ２０２の制御のもとで、通信チャンネル（図示しない）によって、外部の演算装置又はサーバー（図示しない）との通信を助長するように構成することができる。

[0036] 画像プロセッサ２０２は、適切な論理、回路類、インターフェイス及び／又はコードを備えることができ、これらは、メモリ１０６に記憶された一連の命令を実行するように構成することができる。画像プロセッサ２０２は、画像取り込み装置１０２によって取り込まれるシーン１０８の１つ以上のプレビューを生成するように構成することができる。画像プロセッサ２０２は、シーン１０８の第１のプレビューで検出される不要なオブジェクトを、シーン１０８の選択的な取り込みに基づいて取り除くように構成することができる。画像プロセッサ２０２は、当技術分野で公知の多くのプロセッサ技術に基づいて実施することができる。画像プロセッサ２０２の例は、Ｘ８６ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複数命令セットコンピュータ（ＣＩＳＣ）プロセッサ、及び／又は他の制御回路とすることができる。

[0037] モードセレクタ２０４は、適切な論理、回路類、インターフェイス及び／又はコードを備えることができ、これらは、画像取り込み装置１０２におけるオブジェクト選択モードを与えることができるように構成され、画像取り込み装置１０２において、ユーザー１１２は、画像又はビデオの取り込み中に、１つ以上の所望のオブジェクト又は不要なオブジェクトを選択することができる。ユーザー１１２が、シーン（例えば、シーン１０８）の取り込み中に、アプリケーションインターフェイスを使用することによってオブジェクト選択モードを「スイッチオン」にしたとき、画像取り込み装置１０２により、ユーザー１１２は、シーン１０８の生成されたプレビュー中の１つ以上の所望のオブジェクト又は不要なオブジェクトを選択することが可能になる。ユーザー１１２によって選択された１つ以上の所望のオブジェクト又は不要なオブジェクトに基づいて、画像プロセッサ２０２は、所望のオブジェクトの選択的な取り込み及び不要なオブジェクトの除去に基づいて、シーン１０８の望ましい画像を生成することができる。モードセレクタ２０４は、ＡＳＩＣ又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）で実施することができる。

[0038] オブジェクト検出器２０６は、適切な論理、回路類、インターフェイス及び／又はコードを備えることができ、これらは、シーン１０８の第１のプレビュー中の１つ以上のオブジェクト（例えば、第１のオブジェクト１１０）を検出するように構成することができる。シーン１０８の第１のプレビューは、画像取り込み装置１０２を通して視覚化されるシーン１０８の生のプレビューを指すことができる。１つ以上のオブジェクトは、二次元（２Ｄ）オブジェクト又は三次元（３Ｄ）オブジェクトの少なくとも一方に対応することができる。オブジェクト選択モードが「スイッチオン」状態であるとき、１つ以上のオブジェクトは、シーン１０８の第１のプレビューで検出することができる。オブジェクト検出器２０６は、シーン１０８の第１のプレビュー中の１つ以上のオブジェクトの境界を、１つ以上の境界検出アルゴリズムを使用することによって検出するようにさらに構成することができる。境界検出アルゴリズムの例は、限定されないが、人間の形状ベースのオブジェクト境界検出、特定する前の形状ベースの又はテンプレートベースのオブジェクト境界検出、Ｃａｎｎｙ縁検出器、Ｓｏｐｅｌオペレーターの使用によるような傾斜ベースの境界検出、及びＰｒｅｗｉｔｔオペレーターを含むことができる。オブジェクト検出器２０６は、シーン１０８の第１のプレビュー中の１つ以上の層を、背景を含む１つ以上のオブジェクトに関連した少なくとも深さ情報に基づいて検出するようにさらに構成することができる。オブジェクト検出器２０６は、ＡＳＩＣ又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）で実施することができる。

[0039] 入出力装置２０８は、適切な論理、回路類、インターフェイス及び／又はコードを備えることができ、これらは、画像取り込み装置１０２のユーザーから１つ以上のユーザー入力を受け取り、又は画像取り込み装置１０２のユーザーに１つ以上の対応する出力を供給するように構成することができる。入力装置の例は、限定されないが、ビデオカメラ、タッチスクリーン、ジョイスティック、マイクロホン、運動センサー、ゲーム装置、光センサー及び／又はドッキングステーションを含むことができる。出力装置の例は、限定されないが、ディスプレイ、映写スクリーン及び／又はスピーカーを含むことができる。

[0040] オブジェクトセレクタ２１０は適切な論理、回路類、インターフェイス及び／又はコードを備えることができ、これらは、ユーザー１１２によって入出力装置２０８を介して供給された１つ以上のユーザー入力に基づいて、１つ以上の所望のオブジェクト又は不要なオブジェクトを選択するように構成することができる。オブジェクトセレクタ２１０は、シーン１０８の１つ以上の層を、１つ以上のユーザー入力に基づいて選択する（又は廃棄する）ようにさらに構成することができる。オブジェクトセレクタ２１０は、ＡＳＩＣ又はＦＰＧＡ上で実施することができる。実施では、オブジェクトセレクタ２１０は、オブジェクト検出器２０６と同じＡＳＩＣ又はＦＰＧＡ上で実施することができる。

[0041] ネットワークインターフェイス２１２は、適切な論理、回路類、インターフェイス及び／又はコードを備えることができ、これらは、通信チャンネルを介して、外部の演算装置又はサーバーと通信するように構成することができる。ネットワークインターフェイス２１２は、公知技術の適用によって実施することができ、画像取り込み装置１０２と通信チャンネルとの有線又は無線通信をサポートする。ネットワークインターフェイス２１２の構成要素は、制限されないが、アンテナ、無線周波数（ＲＦ）トランシーバー、１つ以上のアンプ、チューナー、１つ以上の発振器、デジタル信号プロセッサ、コーダ・デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、又はローカルバッファーを含むことができる。

[0042] 動作時、画像取り込み装置１０２は、ユーザー１１２によって動作され、第１のオブジェクト１１０のような１つ以上のオブジェクトを備えるシーン１０８の画像を取り込むことができる。ユーザー１１２は、画像取り込み装置１０２をシーン１０８に合焦させて、シーン１０８の画像を取り込むことができる。しかしながら、シーン１０８の取り込み中に、画像取り込み装置１０２のユーザー１１２は、シーン１０８の１つ以上のオブジェクトから少なくとも１つの不要なオブジェクトを取り込むのを望まないことができる。換言すれば、ユーザー１１２は、シーン１０８の望ましい画像が画像取り込み装置１０２によって取り込まれ、結果として取り込まれた画像は不要なオブジェクトを含まないのを好むことができる。例えば、ユーザー１１２は、画像取り込み装置１０２によってシーン１０８の背景（例えば、山に沿った夕日）に合焦して、シーン１０８を取り込むことができる。しかしながら、シーン１０８には、ユーザー１１２が取り込むことを望まない第１のオブジェクト１１０（例えば、シーン１０８の背景中の適切な夕暮れの景色を遮ることがある人間）がさらに含まれることがある。従って、ユーザー１１２が希望するようなシーン１０８を取り込むために、ユーザーは、画像取り込み装置１０２がオブジェクト選択モードで動作するのを希望することができる。ユーザー１１２は、ディスプレイ１０４上にレンダリングされたアプリケーションインターフェイスから画像取り込み装置１０２のオブジェクト選択モードを選択することができる。モードセレクタ２０４は、シーン１０８の取り込みに先立って、スイッチを「オン」し又はオブジェクト選択モードを作動させるように構成することができる。ユーザー１１２は、ユーザー１１２によるタッチベースの入力、音声ベースの入力又はテキストベースの入力の少なくとも１つに基づいて、モードセレクタ２０４の状態をスイッチの「オン」状態に変更し、又はオブジェクト選択モードを作動させることができる。

[0043] モードセレクタ２０４による「オン」状態に基づいて、画像プロセッサ２０２は、画像取り込み装置１０２によって取り込まれるシーン１０８の第１のプレビューを生成するように構成することができる。シーン１０８の第１のプレビューは、１つ以上のオブジェクト、例えば第１のオブジェクト１１０及び背景を備えることができる。ディスプレイ１０４は、第１のオブジェクト１１０及び背景を備えるシーン１０８の第１のプレビューを含む、アプリケーションインターフェイスをレンダリングするように構成することができる。オブジェクト検出器２０６は、シーン１０８の第１のプレビュー中の第１のオブジェクト１１０を検出するように構成することができる。オブジェクト検出器２０６は、シーン１０８の第１のプレビュー中の１つ以上のオブジェクト、例えば第１のオブジェクト１１０を強調するのを促進できる。

[0044] 画像プロセッサ２０２は、画像取り込み装置１０２のユーザー１１２がディスプレイ１０４上にレンダリングしたシーン１０８の第１のプレビュー中の所望のオブジェクト又は不要なオブジェクトを選択可能なように構成することができる。例えば、第１のオブジェクト１１０を備えるシーン１０８のレンダリングされた第１のプレビューに基づいて、画像プロセッサ２０２は、第１のオブジェクト１１０を選択する第１のユーザー入力を、所望のオブジェクト又は不要なオブジェクトの一方として受け取るように構成することができる。一部の実施形態では、第１のユーザー入力は、音声ベースの入力に対応することができる。例えば、ユーザー１１２は、第１のオブジェクト１１０の少なくとも特質を話して、第１のオブジェクト１１０を、所望のオブジェクト又は不要なオブジェクトの一方として選択することができる。第１のオブジェクト１１０の特質は、第１のオブジェクト１１０の名前、性、高さ、大きさ、位置、形状又は色の少なくとも１つに対応することができる。例えば、音声ベースの入力は、「不要なオブジェクトとして少年を選択する」に対応することができる。そのようなシナリオでは、シーン１０８の第１のプレビュー中の少年（例えば、第１のオブジェクト１１０）は、オブジェクトセレクタ２１０によって不要なオブジェクトとして選択される。一部の実施形態では、第１のユーザー入力はまた、テキストベースの入力又はタッチベースの入力の少なくとも一方に対応して、シーン１０８の第１のプレビュー中の１つ以上のオブジェクトから所望のオブジェクト又は不要なオブジェクトを選ぶことができる。テキストベースの入力では、ユーザー１１２は、入出力装置２０８（例えばディスプレイ１０４上の仮想キーボード）を利用して、第１のオブジェクト１１０の特質を入力することができる。タッチベースの入力では、ユーザー１１２は、ディスプレイ１０４上の第１のオブジェクト１１０に触れて、第１のオブジェクト１１０を、所望のオブジェクト又は不要なオブジェクトの一方として選択することができる。
一部の実施形態では、タッチベースの入力は、１つ以上の規定されたパターンに関連し、所望のオブジェクト又は不要なオブジェクトを選択することができる。例えば、ディスプレイ１０４上にレンダリングされたシーン１０８の第１のプレビューの第１のオブジェクト１１０上にダブルタッチすることに基づいて、オブジェクトセレクタ２１０は、不要なオブジェクトとして第１のオブジェクト１１０を選択することができる。同様に、ディスプレイ１０４上にレンダリングされたシーン１０８の第１のプレビュー中の第１のオブジェクト１１０にシングルタッチすることに基づいて、オブジェクトセレクタ２１０は、所望のオブジェクトとして第１のオブジェクト１１０を選択することができる。従って、画像取り込み装置１０２のユーザーによる第１のユーザー入力に基づいて、オブジェクトセレクタ２１０は、第１のオブジェクト１１０を所望のオブジェクト又は不要なオブジェクトの一方として選択することができる。しかしながら、ディスプレイ１０４上のシーン１０８の第１のプレビューをレンダリングした後の規定時間中にオブジェクトセレクタ２１０がユーザー入力を受け取らないシナリオでは、第１のオブジェクト１１０が所望のオブジェクトとして選択される。その後、オブジェクトセレクタ２１０による選択に基づいて、オブジェクト検出器２０６は、選択したオブジェクトを、所望のオブジェクト又は不要なオブジェクトの一方として検出することができる。この場合、シーン１０８の第１のプレビュー中の第１のオブジェクト１１０は、必要に応じて、不要なオブジェクト及び背景として選択することができる。

[0045] 画像プロセッサ２０２は、検出した不要なオブジェクトの境界の座標を計算するように構成することができる。検出した不要なオブジェクトの境界の座標は、シーン１０８の第１のプレビュー中の検出した不要なオブジェクトの位置、大きさ又は形状に基づいて計算することができる。画像プロセッサ２０２は、境界追跡アルゴリズム（例えば、Ｓｑｕａｒｅ追跡アルゴリズム、Ｍｏｏｒｅ−Ｎｅｉｇｈｂｏｒ追跡アルゴリズム又はＴｈｅｏ Ｐａｖｌｉｄｉｓのアルゴリズム）、或いは境界検出アルゴリズムに基づくプロセスを実行して、検出した不要なオブジェクトの境界を追跡し及び目立たせることができる。境界追跡アルゴリズムは、シーン１０８の第１のプレビュー中で検出した不要なオブジェクト（例えば、第１のオブジェクト１１０）の位置、大きさ又は形状に基づいて実施することができる。検出した不要なオブジェクト（例えば、第１のオブジェクト１１０）の境界の追跡に基づいて、画像プロセッサ２０２は、検出した不要なオブジェクト（例えば、第１のオブジェクト１１０）の境界の座標を計算するように構成することができる。画像プロセッサ２０２は、検出した不要なオブジェクト（例えば第１のオブジェクト１１０）を、検出した不要なオブジェクトの境界の演算した座標に基づいて、シーン１０８の第１のプレビューから取り除くようにさらに構成することができる。

[0046] シーン１０８の第１のプレビューから取り除かれた不要なオブジェクト（例えば、第１のオブジェクト１１０）に基づいて、画像プロセッサ２０２は、シーン１０８の第１のプレビューのうち取り除いた不要なオブジェクトに対応する部分を塗りつぶす（又は加える）ように構成することができる。シーン１０８の第１のプレビューの部分は、背景領域又は前景領域の少なくとも一方で塗りつぶす（又は取り替える）ことができる。画像プロセッサ２０２は、シーン１０８の第１のプレビューのうち取り除いた不要なオブジェクトに対応する部分を塗りつぶす（又は取り替える）の前に、背景領域又は前景領域の少なくとも一方を決定することができる。

[0047] 一部の実施形態では、画像プロセッサ２０２は、背景領域をメモリ１０６又はクラウドサーバーに記憶された参照画像のライブラリに基づいて生成するように構成することができる。参照画像のライブラリは、異なる角度又は照明条件で取り込まれた異なる現実の世界のオブジェクトの有名な場所、オブジェクト及びユーザー取り込み画像の、異なる一連の画像のコレクションである。画像プロセッサ２０２は、参照画像のライブラリを検索して、選択した不要なオブジェクトにマッチングする（又は類似する）、少なくとも１つの参照画像の存在を判定することができる。適切な参照画像は、検出された不要なオブジェクトの境界の位置、大きさ又は座標に基づいて決定することができる。背景又は前景が利用可能な場合、参照画像の背景又は前景は、現在の画像上で使用することができ、他の背景は、隣接する座標からの画素値を予測すること及び利用することによって生成される。

[0048] 参照画像のライブラリ中に適切な参照画像が存在するとの決定に基づいて、画像プロセッサ２０２は、参照画像のライブラリから参照画像を選択することができる。画像プロセッサ２０２は、選択した参照画像に基づいて背景領域を生成するようにさらに構成することができる。一部の実施形態では、画像プロセッサ２０２は、参照画像のライブラリに基づいて、部分が欠けているオブジェクトのための背景領域を生成するように構成することができる。例えば、検出した不要なオブジェクトの背景に重なったオブジェクトがあるシナリオを検討する。そのようなシナリオでは、画像プロセッサ２０２は、重なったオブジェクトの可視部分を利用して、参照画像のライブラリ内の同様のオブジェクトを検索することができる。重なったオブジェクトの可視部分と参照画像のライブラリからの適切なオブジェクトとの間のマッチングの場合、画像プロセッサ２０２は、欠けている部分を、参照画像のライブラリ内で見つけた最も密接にマッチングする参照画像に基づいて生成することができる。しかしながら、参照画像のライブラリにマッチングが見つからない場合、画像プロセッサ２０２は、重なったオブジェクトを取り除くことができる。マッチングは、規定された範囲内におけるＲＧＢ画素の値、形状、大きさ及び輝度の類似性に対応する。

[0049] 実施形態に従って、参照画像のライブラリ内に適切な参照画像がなければ、画像プロセッサ２０２は、背景領域を、以前に取り込まれた画像の少なくとも１つに基づいて生成するように構成することができる。以前に取り込まれた画像は、シーン１０８の第１のプレビューの前に、画像取り込み装置１０２によってリアルタイム又はほぼリアルタイムに取り込まれた画像に対応することができる。検出した不要なオブジェクト（例えば、第１のオブジェクト１１０）が移動オブジェクトであるとき、背景領域は、以前に取り込まれた画像の少なくとも１つに基づいて生成することができる。しかしながら、静止オブジェクトの場合、すなわち検出した不要なオブジェクト（例えば、第１のオブジェクト１１０）が静止したオブジェクトである場合、画像プロセッサ２０２は、背景領域を部分の近くにある画素の画素値に基づいて生成するように構成することができる。部分の近くにある画素は、検出した不要なオブジェクトの境界の計算された座標の近くにある画素（例えば、隣接する座標からの画素値）に対応することができる。部分の近くにある画素は、シーン１０８の第１のプレビューに対応する画像フレームを持つ画素間の空間相関を利用する、検索技術に基づいて判定することができる。この検索技術では、除去した不要なオブジェクトの周辺の利用可能な背景領域は、規定されたブロックサイズの画素ブロックに分割される。複数画素ブロックの各画素ブロックは、隣接する画素ブロックと比較される。比較に基づいて、各画素ブロックに対して最も接近している隣接する画素ブロックが決定される。複数画素ブロックの各々の中で最も近い隣接する画素ブロックに基づいて、画像プロセッサ２０２は、背景領域を生成することができる。様々な場合のために背景領域を生成することは、例えば図３Ａから図３Ｇに、実施例とともに説明されている。

[0050] 一部の実施形態では、画像プロセッサ２０２は、部分を前景領域で取り替えるように構成することができる。前景領域は、第２のユーザー入力に基づいて決定して第２のオブジェクトを選択することができ、例えば、ユーザーは、参照画像のライブラリから、所望のオブジェクトを選ぶ（又は手動で選択する）ことができる。画像プロセッサ２０２は、参照画像のライブラリから第２のユーザー入力に基づいて第２のオブジェクトを検索することができる。第２のユーザー入力は、第２のオブジェクトに対するユーザーの好みを含むことができる。第２のオブジェクトの検索に基づいて、画像取り込み装置１０２は、部分を、第２のオブジェクトに対応する前景領域で取り替えることができる。シーン１０８の取り込み中のそのような取り替えにより、たとえ第２のオブジェクトがシーン１０８の取り込み中に実際には見つからなくても、ユーザー１１２に現実的な感じをもたらすことができる。取り替えを実行するために、ユーザー１１２は、入出力装置２０８を使用して第２のユーザー入力を入力することができる。例えば、ユーザーは、ディスプレイ１０４に触れ、例えば「２秒」のような規定された時間よりも長くディスプレイ１０４上に触れることができる。第２のユーザー入力（例えば、タッチ入力）に応じて、画像プロセッサ２０２は、メモリ１０６に記憶された参照画像のライブラリー（例えば、フォトギャラリー）を開くことができる。ユーザーは、参照画像のライブラリをスクロールダウンして、第２のオブジェクトを選択することができる。選択しれた第２のオブジェクトに基づいて、画像プロセッサ２０２は、部分を選択した第２のオブジェクトで取り替えることができる。

[0051] 部分を背景領域又は前景領域の少なくとも一方で塗りつぶした後、画像プロセッサ２０２は、フィルタープロセスを実行して、シーン１０８の第１のプレビュー中の部分を塗りつぶす間に広がった可能性がある人工品を取り除くように構成することができる。フィルタープロセスは、ローパス補間フィルタープロセスに対応することができる。人工品を取り除くために、４タップ線形補間フィルターが垂直及び水平に使用できる。

[0052] 上述したように、画像取り込み装置１０２によって実行された除去プロセス、塗りつぶしプロセス及びフィルタープロセスに基づいて、画像プロセッサ２０２は、シーン１０８の第２のプレビューを生成することができる。シーン１０８の第２のプレビューの構成要素は、シーン１０８の第１のプレビューとは異なる。ディスプレイ１０４は、アプリケーションインターフェイス上のシーン１０８の第２のプレビューをレンダリングするようにさらに構成することができる。シーン１０８の生成された第２のプレビューに基づいて、画像プロセッサ２０２は、シーン１０８の画像を、シーン１０８の取り込み中にユーザー１１２が希望するような、異なる構成要素で取り込み及び生成することができる。

[0053] 実施形態に従って、画像プロセッサ２０２は、シーン１０８の第１のプレビュー中の少なくとも２つのオブジェクト間の距離を縮小するように構成することができる。例えば、画像取り込み装置１０２によって取り込まれるシーン１０８の第１のプレビュー中に少なくとも３つのオブジェクトがあるシナリオを検討する。シーン１０８の第１のプレビュー中の３つのオブジェクト間に存在する検出した不要なオブジェクトを取り除いた後、画像プロセッサ２０２は、シーン１０８の第１のプレビュー中の残りの２つのオブジェクト間の距離を縮小させるように構成することができる。２つのオブジェクト間の距離は、距離を縮小するためにユーザーが提供する第３のユーザー入力に基づいて縮小することができる。同様の仕方で、画像プロセッサ２０２は、シーン１０８の第１のプレビューから不要なオブジェクトを取り除いた後、２つのオブジェクト間の距離を増大させることができる。一部の実施形態では、ユーザー１１２は、タッチベースの入力を使用して、少なくとも２つのオブジェクト間の距離を縮小し又は増大するために、２つのオブジェクトの少なくとも一方を１つ以上の方向（例えば水平に、垂直に又は対角線上に）にドラッグすることができる。一部の実施形態では、画像プロセッサ２０２は、シーン１０８の第１のプレビュー中の２つのオブジェクト間の距離を、２つのオブジェクトに関連している少なくともオブジェクト方向の光学的な画像拡大要因に基づいて縮小することができる。２つのオブジェクト間の距離の縮小は、例えば図３Ｇに詳しく記載されている。

[0054] 実施形態に従って、画像プロセッサ２０２は、不要なオブジェクトを取り除いた後に、シーン１０８の第１のプレビュー中の２つのオブジェクトの位置を切り替えるように構成することができる。ユーザー１１２は、シーン１０８の第１のプレビュー中で所定のポイントを選択することができる。選択したポイントに基づいて、少なくとも３つのオブジェクトのうち２つのオブジェクトは、シーン１０８の画像を実際に取り込む前に、画像プロセッサ２０２によって切り替えることができる。一部の実施形態では、画像プロセッサ２０２は、シーン１０８の第１のプレビュー中の２つのオブジェクトの位置を交換することができる。一部の実施形態では、画像プロセッサ２０２は、シーン１０８の第１のプレビューのうち取り除いた不要なオブジェクトに対応する部分を、２つのオブジェクトの一方で取り替えることができる。

[0055] 実施形態に従って、画像プロセッサ２０２は、シーン１０８の第１のプレビュー中の異なる層を決定するように構成することができる。シーン１０８の第１のプレビュー中の異なる層は、取り込まれるシーン１０８のようなオブジェクト又はシーンの背景に関連した、少なくとも深さ情報に基づいて決定することができる。画像プロセッサ２０２は、層を取り除くためのユーザー入力に基づいて、異なる層から層を取り除くようにさらに構成することができる。一部の実施形態では、画像プロセッサ２０２は、異なる層に関連した１つ以上の層オブジェクトを識別するようにさらに構成することができる。例えば、１つ以上の層オブジェクトは、絞り値に基づいて動的に識別することができる。例えば、小さい絞り値（例えば２．８）は、第１のオブジェクトに合焦することができる。大きい絞り値（例えば４．５）は、第１のオブジェクト及び第２のオブジェクトに合焦することができる。次に大きい値（例えば７．５）は、第１のオブジェクト、第２のオブジェクト及び第３のオブジェクトに合焦することができる。この層状化技術を使用して、画像プロセッサ２０２は、シーンの取り込み時に必要とされず従って所望のオブジェクトだけを保持する、１つ以上の層オブジェクトを動的に分離することができる。

[0056] 図３Ａは、本開示の実施形態に従って、シーンの画像を、シーンの２つの物品間の不要なオブジェクトの除去によって動的に生成する、開示された画像取り込み装置及び方法を実施するための一般的なシナリオを図示する。図３Ａは、図１及び図２の構成要素とともに説明されている。

[0057] 図３Ａを参照すると、画像取り込み装置１０２（図１）によって取り込まれる、シーン３００Ａのような一般的なシーンが示されている。シーン３００Ａは、３つのオブジェクト３０２、３０４及び３０６を備えている。オブジェクト３０２及び３０６は、シーン３００Ａの縁（例えば左縁及び右縁）の近くに存在している。オブジェクト３０４は、画像取り込み装置１０２を通して見ると、２つのオブジェクト３０２及び３０６の間に存在している。

[0058] ユーザー１１２は、ディスプレイ１０４上にレンダリングされたアプリケーションインターフェイスから、画像取り込み装置１０２のオブジェクト選択モードを選ぶことができる。モードセレクタ２０４は、シーン１０８の取り込みに先立って、オブジェクト選択モードのスイッチを「オン」するように構成することができる。オブジェクト選択モードが「オン」状態であるとき、オブジェクト検出器２０６は、画像取り込み装置１０２によって取り込まれる、シーン３００Ａの第１のプレビュー中の３つのオブジェクト３０２から３０６を検出することができる。ディスプレイ１０４は、シーン３００Ａの第１のプレビューを備えるアプリケーションインターフェイスをレンダリングするように構成することができる。画像取り込み装置１０２のユーザー１１２は、入出力装置２０８を介して入力を与え、所望のオブジェクト又は不要なオブジェクトの少なくとも一方として、オブジェクト３０２から３０６を選択することができる。入力は、タッチベースの入力、音声ベースの入力又はテキストベースの入力の１つに対応することができる。例えば、ユーザー１１２は、不要なオブジェクトとしてオブジェクト３０４を選択するために、ディスプレイ１０４上にレンダリングされたシーン３００Ａの第１のプレビュー中のオブジェクト３０４をダブルタップすることができる。同様に、ユーザー１１２は、所望のオブジェクトとしてオブジェクト３０２及び３０６を選択するために、シーン３００Ａの第１のプレビュー中のオブジェクト３０２及び３０６をシングルタップすることができる。画像プロセッサ２０２は、所望のオブジェクト及び不要なオブジェクトとして３つのオブジェクト３０２から３０６を、ユーザー１１２による入力に基づいて目立たせることができる。選択した不要なオブジェクト（即ち、この場合のオブジェクト３０４）に基づいて、画像プロセッサ２０２は、不要なオブジェクトが所望のオブジェクト（即ち、オブジェクト３０２及び３０６）間に存在すると決定することができる。画像プロセッサ２０２は、検出した不要なオブジェクト（即ち、オブジェクト３０４）は、示すように、シーン３００Ａの背景にもっぱら重なり、シーン３００Ａの縁にないことをさらに決定することができる。そのようなシナリオでは、画像プロセッサ２０２は、シーン３００Ａの第１のプレビューから不要なオブジェクト（即ち、オブジェクト３０４）を取り除くことができる。さらに、画像プロセッサ２０２は、シーン３００Ａの第１のプレビューのうち除去した不要なオブジェクト（即ち、オブジェクト３０４）に対応する部分を、ユーザー１１２の好みに基づいて、前景領域又は背景領域の一方で塗りつぶす（又は置き替える）ことができる。例えば、画像プロセッサ２０２は、メモリ１０６又はクラウドサーバーに記憶された参照画像のライブラリから選択した参照画像に基づいて、背景領域を生成することができる。参照画像は、検出された不要なオブジェクト（即ち、オブジェクト３０４）の位置、大きさ又は形状に基づいて、参照画像のライブラリから選択することができる。一部の実施形態では、画像取り込み装置１０２は、取り除いた部分の近くにありかつ取り除いた不要なオブジェクトに対応する画素の画素値に基づき、背景領域を生成して取り除いた部分を塗りつぶすように構成することができる。取り除いた部分の近くにある画素は、取り除いた不要なオブジェクトの境界の計算された座標の近くにある画素に対応することができる。少なくとも上述した除去及び塗りつぶしに基づいて、画像プロセッサ２０２は、ユーザー１１２が希望するようなシーン３００Ａの画像を取り込み及び生成することができる。

[0059] 図３Ｂは、本開示の実施形態に従って、シーンの画像を、シーンの縁にある不要なオブジェクトの除去によって動的に生成する、開示された画像取り込み装置及び方法を実施するための一般的なシナリオを図示する。図３Ｂは、図１及び図２の構成要素とともに説明されている。

[0060] 図３Ｂを参照すると、画像取り込み装置１０２（図１）によって取り込まれるシーン３００Ｂのような一般的なシーンが示されている。シーン３００Ｂは、３つのオブジェクト３０８、３１０及び３１２を備えている。示すように、オブジェクト３０８及び３１２は、シーン３００Ｂの縁（例えば、左縁及び右縁）の近くに位置することができる。オブジェクト３１０は、２つのオブジェクト３０８及び３１２の間に存在することができる。

[0061] 装置１０２は、ユーザー１１２が行った選択をディスプレイ１０４上にレンダリングされたアプリケーションインターフェイスを通して受け取り、受け取った選択により、画像取り込み装置１０２のオブジェクト選択モードが選択される。オブジェクト検出器２０６は、シーン３００Ｂ内の３つのオブジェクト３０８から３１２を検出し、３つの検出したオブジェクト３０８から３１２を、所望のオブジェクト又は不要なオブジェクトとして選択するために目立たせることができる。例えば、ユーザー１１２は、ディスプレイ１０４上のシーン３００Ｂの第１のプレビュー中のオブジェクト３１２を選択して、オブジェクト３１２を所望のオブジェクトとして、オブジェクト３０８及び３１０を不要なオブジェクトとして選択することができる。画像プロセッサ２０２は、示すように選択した不要なオブジェクト（例えば、この場合のオブジェクト３１２）がシーン３００Ｂの縁に存在すると決定するように構成することができる。画像プロセッサ２０２は、示すように検出した不要なオブジェクト（即ち、オブジェクト３１２）がシーン３００Ｂの背景にもっぱら重なっているとさらに決定できる。所定のシナリオでは、オブジェクト３１２が小さなオブジェクト（例えば、オブジェクト３１２のサイズが特定された閾値サイズ未満である）であれば、背景の生成は、図３Ａに記載したプロセスと同様に実行することができ、そうでなければ、オブジェクト３１２が、大きい（オブジェクト３１２のサイズが特定の閾値サイズよりも大きい）又はシーン高さに近ければ（シーン３００Ｂに示すように）、そのようなシナリオでは、画像プロセッサ２０２は、シーン３００Ｂの第１のプレビュー中に取り込まれる視野を縮小することができる。シーン３００Ｂの第２のプレビューが生成され、それは、検出した不要なオブジェクト（即ち、オブジェクト３１２）を含む縁部分を排除している。所望のオブジェクト（例えば、オブジェクト３０８及び３１０）を含むシーン３００Ｂの残りの部分は、取り込まれて、シーン３３０Ｂの画像を、第１のプレビューとは組成が異なる生成された第２のプレビューに基づいて生成する。

[0062] 図３Ｃ及び図３Ｄは、本開示の実施形態に従って、シーンの画像を、シーンの背景オブジェクトと重なることなく存在する不要なオブジェクトの除去によって動的に生成する、開示された画像取り込み装置及び方法を実施するための一般的なシナリオを一緒に図示する。図３Ｃ及び図３Ｄは、図１及び図２の構成要素とともに説明されている。

[0063] 図３Ｃ及び３Ｄを参照すると、画像取り込み装置１０２（図１）によって取り込まれるシーン３００Ｃのような一般的なシーンが示されている。シーン３００Ｃは、２つのオブジェクト３１４及び３１６を備えている。ユーザー入力に基づいて、オブジェクト３１４は不要なオブジェクトとして選択することができ、オブジェクト３１６は所望のオブジェクトとして選択することができる。図３Ｃ及び図３Ｄを参照すると、以下のこと、すなわち不要なオブジェクト（即ち、オブジェクト３１４）は、何れの別の背景オブジェクト（即ち、画像取り込み装置１０２の視野においてオブジェクト３１４の後ろに存在する別のオブジェクト）とも重ならないことがさらに示される。そのようなシナリオでは、シーン３００Ｃの第１のプレビューから不要なオブジェクト（即ち、オブジェクト３１４）を取り除いた後、画像プロセッサ２０２は、シーン３００Ｃの第１のプレビューのうち取り除いた不要なオブジェクトに対応する部分を、背景領域で塗りつぶすことができる。部分のための背景領域は、取り除いた不要なオブジェクト（即ち、オブジェクト３１４）に対応する部分の近くにある画素の画素値に基づいて生成することができる。例えば、背景領域に隣接する領域は、画素ブロック（例えば、サイズ「４×４画素」ブロックを持つ画素ブロック）に基づいて、取り囲む左側、右側、底部、頂部又は対角線上で利用可能な画素ブロックから生成することができる。背景領域に隣接する領域は、最もマッチングする隣接する画素ブロックに基づいて生成することができる。画像プロセッサ２０２は、検出した不要なオブジェクト（即ち、オブジェクト３１４）に隣接する背景を、予め規定されたサイズ、例えば「４×４画素」ブロックの１つ以上のブロックに仕切るように構成することができる。

[0064] 図３Ｄを参照すると、画素ブロック３１８のような一般的なブロックが示されている。画素ブロック３１８の周辺地域において左側、右側、底部、頂部又は対角線に位置する画素ブロックに基づいて、画像プロセッサ２０２は、画素ブロック３１８の近くにある画素値のマッチングするパターンを決定することができる。画像プロセッサ２０２は、背景領域を生成して、取り除いた不要なオブジェクト（即ち、オブジェクト３１４）に対応する部分を、決定されたマッチングするパターンに基づいて塗りつぶすことができる。
例えば、背景領域は、取り込まれる画像のフレームに対応する、同じフレーム内で隣接する画素ブロックの相関に基づいて生成することができる。画像プロセッサ２０２は、エラーがあってもこれを最小化することができ、これは、以下の式（１）に基づく線形モデル予測方法を用いることによる背景領域の生成のおかげであり、

式中、

は予測画素ブロックを表わし、

は隣接する左側、右側、底部、頂部又は対角線の画素ブロックの、ダウンサンプリングされかつ再構成されたサンプルを表わす。パラメーターα及びβは、隣接する再構成された画素ブロックサンプル間の回帰エラーを最小化することによって抽出することができる。背景の欠けた部分に隣接する画素ブロックのために計算されたパラメーターに基づいて、画像プロセッサ２０２は、取り除いた不要なオブジェクト（即ち、オブジェクト３１４）に対応する部分における処理のもとで、現行のブロックのような現行の画素ブロックの背景部分を生成することができる。

[0065] 図３Ｅは、本開示の実施形態に従って、シーンの画像を、シーンで所望のオブジェクトに重なる不要なオブジェクトの除去によって動的に生成する、開示された画像取り込み装置及び方法を実施するための一般的なシナリオを図示する。図３Ｅは、図１及び図２の構成要素とともに説明されている。

[0066] 図３Ｅを参照すると、画像取り込み装置１０２（図１）によって取り込まれるシーン３００Ｅのような一般的なシーンが示されている。シーンに３００Ｅに少なくとも２つのオブジェクト３２０及び３２２が示されている。画像取り込み装置１０２のユーザー１１２による入力に基づいて、オブジェクト３２０（例えば、川）は所望のオブジェクトとして検出することができ、オブジェクト３２２（例えば、岩）は不要なオブジェクトとして検出することができる。図３Ｅを参照すると、以下のことがさらに示され、すなわちシーン３００Ｅ内で不要なオブジェクト（即ち、オブジェクト３２２）は、所望のオブジェクト（即ち、オブジェクト３２０）のような別のオブジェクトと部分的に重なる。そのようなシナリオでは、シーン３００Ｅの第１のプレビューから不要なオブジェクト（即ち、オブジェクト３２２）を取り除いた後、画像プロセッサ２０２は、シーン３００Ｅの第１のプレビューのうち取り除いた不要なオブジェクトに対応する部分を背景領域で塗りつぶすことができる。一部の実施形態では、部分のための背景領域は、取り除いた不要なオブジェクト（即ち、オブジェクト３２２）に対応する部分の近くにある画素の画素値に基づいて生成することができる。一部の実施形態では、部分のための背景領域は、メモリ１０６又はクラウドサーバーに記憶された参照画像のライブラリから選択した、少なくとも１つの参照画像に基づいて生成することができる。画像プロセッサ２０２は、望ましい背景オブジェクト（即ち、オブジェクト３２０）の大きさに基づいて以下のこと、すなわち部分のための背景領域は、部分の近くにある画素又は参照画像のライブラリから選択した参照画像の何れかに基づいて生成する必要があるかどうかを判定することができる。例えば、望ましい背景オブジェクト（即ち、オブジェクト３２０）のうち不要なオブジェクト（即ち、オブジェクト３２２）と重なっている残りの部分の大きさが、その大きさの規定された値（例えば４０パーセント）よりも大きければ、画像プロセッサ２０２は、参照画像のライブラリから選択した少なくとも１つの参照画像に基づいて背景領域を生成することができる。しかしながら、望ましい背景オブジェクト（即ち、オブジェクト３２０）のうち不要なオブジェクト（即ち、オブジェクト３２２）と重なっている残りの部分の大きさが、その大きさの規定された値（例えば４０パーセント）未満であれば、画像プロセッサ２０２は、シーン３００Ｅの第１のプレビューから望ましい背景オブジェクトを廃棄することができる。そのような場合では、背景領域は、取り除いた不要なオブジェクト（即ち、オブジェクト３２０及び３２２）に対応する部分の近くにある画素の画素値に基づいて生成することができる。

[0067] 実施形態に従って、重なったオブジェクト（オブジェクト３２０のような）の可視領域は、参照画像のライブラリ内の同様のオブジェクトを検索するために利用することができる。画像プロセッサ２０２は、参照画像のライブラリ内にマッチングするオブジェクトが見つかるかどうか確かめるように構成することができる。マッチングするオブジェクトが見つかる場合、画像プロセッサ２０２は、重なったオブジェクトの欠けた領域を最も密接にマッチングする画像基準から生成するように構成することができる。重なったオブジェクト（全体画像中の部分領域）上に画像フィルターを適用することができ、欠けた領域に重なったオブジェクトを滑らかに混合し、結果として重なったオブジェクト全体が、生成後輝度、クロミナンス及び全体の質感のようなパラメーターに関して連続してかつ本物であるように見える。マッチングするオブジェクトが見つからない場合、画像プロセッサ２０２は、重なったオブジェクト（オブジェクト３２０のような）を、シーン３００Ｅの第１のプレビューの背景から取り除くように構成することができる。

[0068] 図３Ｆは、本開示の実施形態に従って、シーンの画像を、シーンでテキスト背景に重なる不要なオブジェクトの除去によって動的に生成する、開示された画像取り込み装置及び方法を実施するための一般的なシナリオを図示する。図３Ｆは、図１及び図２の構成要素とともに説明されている。

[0069] 図３Ｆを参照すると、画像取り込み装置１０２（図１）によって取り込まれるシーン３００Ｆのような一般的なシーンが示されている。シーン３００Ｆは、テキスト背景３２４及びオブジェクト３２６を備えている。示すように、オブジェクト３２６（例えば、人間）は、テキスト背景３２４の前に立っていることができる。さらに、テキスト背景３２４は、所望のオブジェクトとして検出されることができ、オブジェクト３２６（例えば、立っている少年）は、画像取り込み装置１０２のユーザー１１２による入力に基づいて不要なオブジェクトとして検出することができる。図３Ｆを参照すると、以下のこと、すなわちシーン３００Ｆの第１のプレビューで見ると、所定のテキストを含む領域は、テキスト背景３２４で部分的に見えて、別の所定のテキストを含む領域は隠れていることがさらに示されている。そのようなシナリオでは、不要なオブジェクト（即ち、オブジェクト３２６）をシーン３００Ｆの第１のプレビューから取り除いた後、画像プロセッサ２０２は、シーン３００Ｅの第１のプレビューのうち取り除いた不要なオブジェクトに対応する部分を、１つ以上の文字又は文字（例えば、単語）の組み合わせで塗りつぶすことができる。一部の実施形態では、テキスト背景３２４内の1つ以上の単語のうち１つ又は２つの英字、或いは英字の閾値パーセント、例えば英字の５０〜７０パーセント未満が欠けている場合、画像プロセッサ２０２は、１つ以上の単語の欠けている文字を予測するように構成することができる。予測された文字に基づいて、テキスト背景３２４の部分は塗りつぶすことができる。一部の実施形態では、２つ以上の単語が欠けているとき、画像プロセッサ２０２は、単語のデータベースにわたって検索を実行して同様の文脈を見つけるように構成することができ、見つかれば、部分を見つかった単語で塗りつぶす。一部の実施形態では、同様の文脈が見つからないとき、画像プロセッサ２０２は、重なった領域にあるテキストを廃棄することができる。そのような場合、重なった領域に対応するテキスト背景は、テキスト背景３２４内の隣接する画素に基づいて生成することができる。一部の実施形態では、テキスト部分の予測中に、以前に学習した機械学習モデルが利用されて、重なった領域に対応するテキスト背景を指すテキスト領域を適切に塗りつぶすことができる。

[0070] 図３Ｇは、本開示の実施形態に従って、シーンの画像をシーンにある２つの所望のオブジェクト間の距離の縮小によって動的に生成する、開示された画像取り込み装置及び方法を実施するための一般的なシナリオを図示する。図３Ｇは、図１及び図２とともに説明されている。

[0071] 図３Ｇを参照すると、画像取り込み装置１０２（図１）によって取り込まれるシーン３００Ｇのような一般的なシーンが示されている。シーン３００Ｇは、３つのオブジェクト３２８、３３０及び３３２を備えている。オブジェクト３２８及び３３２は所望のオブジェクトとして検出されることができ、オブジェクト３３０は不要なオブジェクトとして検出されることができ、検出は、画像取り込み装置１０２のユーザー１１２がオブジェクト選択モードで受け取った入力選択に基づく。さらに、不要なオブジェクト（即ち、オブジェクト３３０）は、所望のオブジェクト（即ち、オブジェクト３２８及び３３２）の間に位置することができ、その結果オブジェクト３３０は、オブジェクト３２８から距離「Ｘ１」にあり、オブジェクト３３２から距離「Ｘ２」にある。距離「Ｘ１」及び「Ｘ２」に基づいて、画像プロセッサ２０２は、シーン３００Ｇの第１のプレビューから不要なオブジェクト（即ち、オブジェクト３３０）を取り除いた後に、オブジェクト３２８及び３３２の間の距離を縮小することができる。例えば、不要なオブジェクト（即ち、オブジェクト３３０）を取り除いた後、オブジェクト３２８及び３３２が距離「Ｘ」（＝Ｘ１＋Ｘ２）だけ離れていれば、画像プロセッサ２０２は、オブジェクト３２８及び３３２の間の距離の縮小を、オブジェクト方向に光学的に画像拡大する要因（「Ｚ」）に基づいて制御することができ、その結果オブジェクト３２８及び３３２の間の距離が「Ｘ」未満になる。例えば、拡大比１．２５Ｘのために、オブジェクト３２８及び３３２の間の距離は「０．７５^*Ｘ」まで縮小することができる。同様に、拡大比１．５Ｘ及び１．７５Ｘのために、オブジェクト３２８及び３３２の間の距離は、それぞれ「０．５Ｘ」及び「０．２５^*Ｘ」まで縮小することができる。

[0072] 実施形態に従って、シーン３００Ｇの第１のプレビュー中の２つの所望のオブジェクト（例えばオブジェクト３２８及び３３２）間にある不要なオブジェクト（オブジェクト３３０のような）を取り除いた後、ユーザー１１２は、２つの所望のオブジェクト（例えばオブジェクト３２８及び３３２）の位置を変更するためにタッチ入力を与えることができる。例えば、ユーザー１１２は、２つの所望のオブジェクト（例えばオブジェクト３２８及び３３２）に２本の指を置くことによって、２つの所望のオブジェクト（例えばオブジェクト３２８及び３３２）を選択することができ、第１のプレビュー中で２本の指を互いに接近するようにドラッグすることができる。画像取り込み装置１０２は、シーン３００Ｇの第１のプレビュー中の２つの所望のオブジェクト間の距離を、受け取ったユーザー入力に基づいて縮小するように構成することができる。

[0073] 図４Ａから図４Ｄは、本開示の実施形態に従って、シーンの画像を、シーンから不要なオブジェクトを取り除くことに基づいて動的に生成するための、一般的な動作を図示するフローチャートを一緒に描いている。図４Ａから図４Ｄを参照すると、フローチャート４００が示されている。フローチャート４００は、例えば図１、図２及び図３Ａから図３Ｇとともに説明されている。方法は、４０２にて開始し、４０４に進む。

[0074] ４０４にて、取り込まれるシーン（例えば、シーン１０８）の第１のプレビューを備えるアプリケーションインターフェイスが、画像取り込み装置１０２上にレンダリングすることができる。ディスプレイ１０４は、画像取り込み装置１０２によって取り込まれるシーンの第１のプレビューを備えるアプリケーションインターフェイスをレンダリングするように構成することができる。

[0075] ４０６にて、画像取り込み装置１０２によって取り込まれるシーン（例えばシーン１０８）に合焦することができる。画像取り込み装置１０２のユーザー１１２は、シーン１０８に合焦し、例えば、シーンの所定のオブジェクト又は背景に合焦し、合焦は、光学ズーム調整、又はシーン１０８を取り込むための画像取り込み装置１０２の位置及び向きの調整に基づくことができる。シーンは、１つ以上のオブジェクトと背景とを備えることができる。

[0076] ４０８にて、オブジェクト選択モードが選択されているかどうかを、アプリケーションインターフェイスを介して判定することができる。画像プロセッサ２０２は、オブジェクト選択モードが選択されているかどうかをモードセレクタ２０４の使用によって判定するために、検査を実行するように構成することができる。オブジェクト選択モードが選択されている場合、制御は４１０に移動することができ、そうでなければ４６２（図４Ｄ）に移動することができる。オブジェクト選択モードを選択しないことにより、ユーザー１１２はシーンの画像を標準カメラモードで取り込むことを希望していることが示される。従って、そのような場合、画像取り込み装置１０２は、シーン１０８の画像を直ちに取り込むことができる。一部の実施形態では、ユーザープロンプトが生成されてアプリケーションインターフェイス上に表示され、ユーザー１１２にオブジェクト選択モードを選択することを思い出させることができる。

[0077] ４１０にて、シーンの第１のプレビュー中の１つ以上のオブジェクトを検出することができる。オブジェクト検出器２０６は、シーンの第１のプレビュー中のオブジェクト、例えば第１のオブジェクト１１０を検出するように構成することができる。一部の実施形態では、シーンの第１のプレビュー中の１つ以上のオブジェクトを検出した後、オブジェクト検出器２０６は、第１のプレビュー中の１つ以上のオブジェクトを目立たせるように構成することができる。

[0078] ４１２にて、シーンの第１のプレビュー中で不要なオブジェクトが、オブジェクト（例えば第１のオブジェクト１１０）の選択に基づいて検出することができる。例えば、ユーザー１１２は、ディスプレイ１０４上にレンダリングされたシーンの第１のプレビュー中のオブジェクトをダブルタップして、このオブジェクトを不要なオブジェクトとして選択することができる。同様に、ユーザー１１２は、シーンの第１のプレビュー中に他のオブジェクトが存在すればシングルタップして、他のオブジェクトを所望のオブジェクトとして選択することができる。オブジェクトセレクタ２１０は、第１のプレビュー中のオブジェクトを不要なオブジェクトとして選択し、この選択は、ユーザーによって入出力装置２０８を介して与えられている、タッチベースの入力、音声ベースの入力又はテキストベースの入力の少なくとも１つに基づくことができる。

[0079] ４１４にて、検出した不要なオブジェクト（例えば、第１のオブジェクト１１０）の境界の座標を計算することができる。画像プロセッサ２０２は、検出した不要なオブジェクトの境界の座標を、検出した不要なオブジェクトの位置、大きさ及び形状に基づいて計算するように構成することができる。

[0080] ４１６にて、検出した不要なオブジェクト（例えば、第１のオブジェクト１１０）は、シーン１０８の第１のプレビューから取り除くことができる。画像プロセッサ２０２は、検出した不要なオブジェクト（例えば、第１のオブジェクト１１０）を、検出した不要なオブジェクトの境界の計算された座標に基づいて、シーン１０８の第１のプレビューから取り除くように構成することができる。

[0081] ４１８にて、ユーザー１１２のようなユーザーが以下のこと、すなわちシーン１０８の第１のプレビューのうち取り除いた不要なオブジェクト（例えば、第１のオブジェクト１１０）に対応する部分が所望のオブジェクトと取り替えられることを希望するかどうかを判定することができる。画像プロセッサ２０２は、検査を実行して、部分が所望のオブジェクトで塗りつぶすことをユーザーが希望するかどうか判定するように構成することができる。検査は、ユーザーが入出力装置２０８を介して与える入力に基づいて実行して、メモリ１０６又はクラウドサーバーに記憶された参照画像のライブラリから第２のオブジェクトを選択する。第２のオブジェクトは、ユーザーが選択した所望のオブジェクト（友達又は既知の実在物のような）であって、取り込まれるシーンの画像に含めることをユーザーが希望する所望のオブジェクトを指す。第２のオブジェクトは、第１のプレビューの中で見ると、取り込まれるシーン中に実際には存在しない実在物をさらに指す。部分を所望のオブジェクト（例えば第２のオブジェクト）と取り替えることをユーザーが希望する場合、制御は４２０に移動し、そうでなければ制御は４２２に移動する。

[0082] ４２０にて、シーン１０８の第１のプレビューのうち取り除いた不要なオブジェクト（例えば、第１のオブジェクト１１０）に対応する部分は、前景領域と取り替えることができる。画像プロセッサ２０２は、第２のオブジェクトが、メモリ１０６（又はクラウドサーバー）に記憶された参照画像のライブラリから選択されたことに基づいて、部分を前景領域と取り替えるように構成することができる。オブジェクトセレクタ２１０は、ユーザーが入出力装置２０８を介して与える入力に基づいて、参照画像のライブラリから第２のオブジェクトを所望のオブジェクトとして選択するように構成することができる。制御は４５０に移動する。一部の実施形態では、制御は４２０の後に４５６に移動し、４５６ではフィルターをかけることは不要である。

[0083] ４２２にて、取り除いた不要なオブジェクト（例えば、第１のオブジェクト１１０）が移動オブジェクトかどうかを判定することができる。画像プロセッサ２０２は、取り除いた不要なオブジェクト（例えば、第１のオブジェクト１１０）が移動オブジェクト又は静止オブジェクトかどうか判定するために検査を実行するように構成することができる。不要なオブジェクト（例えば、第１のオブジェクト１１０）が移動オブジェクトである場合、制御４２４に移動し、そうでなければ制御は４３６に移動する。

[0084] ４２４にて、シーン１０８の第１のプレビューのうち取り除いた不要なオブジェクト（例えば、第１のオブジェクト１１０）に対応する部分は、背景領域で塗りつぶすことができる。画像プロセッサ２０２は、バーストモードを作動させて、部分をバーストモードで得た一連の画像からの背景領域で塗りつぶすように構成することができる。一部の実施形態では、様々なシナリオのための背景領域の生成は、４２６から４４６によって説明されている。

[0085] ４２６にて、少なくとも１つの参照画像が、参照画像のライブラリ内の検索に基づいて選択することができる。画像プロセッサ２０２は、参照画像のライブラリを、検出された不要なオブジェクト（例えば、第１のオブジェクト１１０）の境界の位置、大きさ又は座標に基づいて検索するように構成することができる。一部の実施形態では、参照画像のライブラリは、バーストモードで得られた一連の画像も含む。

[0086] ４２８にて、少なくとも１つの参照画像が選択されているかどうかを判定することができる。画像プロセッサ２０２は、参照画像の選択を判定するための検査を、参照画像のライブラリ内の検索に基づいて実行するように構成することができる。参照画像が選択された場合、制御は４３０に移動し、そうでなければ、制御は４３２に移動する。

[0087] ４３０にて、シーンの第１のプレビューの取り除いた不要なオブジェクトに対応する、シーンの第１のプレビューの部分の背景領域を生成することができる。画像プロセッサ２０２は、参照画像のライブラリから選択した少なくとも１つの参照画像に基づいて、背景領域を生成するように構成することができる。制御は４４８に移動する。

[0088] ４３２にて、取り込まれるシーンのために以前に取り込まれた画像が利用可能かどうかを判定することができる。画像プロセッサ２０２は、メモリ１０６中の以前に取り込まれた画像の利用可能性を判定するために検査を実行するように構成することができる。一部の実施形態では、以前に取り込まれた画像は、バーストモードで得られた一連の画像を含む。以前に取り込まれた画像が利用可能である場合、制御は４３４に移動し、そうでなければ、制御は４３６に移動する。

[0089] ４３４にて、シーンの第１のプレビューの部分のための背景領域は、以前に取り込まれた画像に基づいて生成することができる。画像プロセッサ２０２は、以前に取り込まれた画像に基づいて背景領域を生成するように構成することができる。以前に取り込まれた画像は、ユーザー１１２のような同じユーザーによって取り込まれた同じシーンの画像に対応し、取り込みは、第１のプレビューを見るよりも以前の所定時間（例えば少し前）に画像取り込み装置１０２において同じ又は同様の照明状態のもとで行われる。以前に取り込まれた画像は、第１のプレビューとしてレンダリングされたビデオストリームからの画像に対応することができる。オブジェクトが移動オブジェクトであるので、背景領域は、シーンを画像取り込み装置１０２を通して第１のプレビュー中に見ることができる間に、シーン内に存在するオブジェクトが移動するにつれて所定の画像フレームに見ることができる。背景領域は、次いで同じ背景領域の存在が検出される第１のプレビューのビデオストリームの画像から抽出することができる。制御は４４８に移動する。

[0090] ４３６にて、第１のプレビュー中の取り除いた不要なオブジェクトに対応する部分が第１のプレビュー中の別のオブジェクトに重なるかどうかを判定することができる。別のオブジェクトは重なったオブジェクトと呼ぶことができ、重なったオブジェクトは、シーンの取り込み時に、シーン内で不要なオブジェクトの後ろに位置し又は部分的に隠れている。画像プロセッサ２０２は、不要なオブジェクトの背景にオブジェクト検出器２０６の形状コーダーによって検出されるような重なったオブジェクトがあるかどうかを検査するように構成することができる。第１のプレビュー中の除いた不要なオブジェクトに対応する部分が第１のプレビュー中の別のオブジェクトと重なる場合、制御は４３８に移動し、そうでなければ、制御は４４６に移動する。

[0091] ４３８にて、重なったオブジェクトの見える領域は、参照画像のライブラリ内の同様のオブジェクトを検索するために利用することができる。画像プロセッサ２０２は、重なったオブジェクトの可視領域を利用して、参照画像のライブラリ内の同様のオブジェクトを検索するように構成することができる。

[0092] ４４０にて、重なったオブジェクトの可視領域内のためのマッチングするオブジェクトが、参照画像のライブラリ内に見つかるかどうかを確かめることができる。画像プロセッサ２０２は、参照画像のライブラリ内にマッチングするオブジェクトが見つかるかどうかを確かめるように構成することができる。マッチングするオブジェクトが見つかった場合、制御は４４２に移動し、そうでなければ、制御は４４４に移動する。

[0093] ４４２にて、最も密接にマッチングする画像基準から重なったオブジェクトの欠けている領域を生成することができる。画像プロセッサ２０２は、最も密接にマッチングする画像基準から重なったオブジェクトの欠けた領域を生成するように構成することができる。欠けた領域を重なったオブジェクトに滑らかに混合させるために、重なったオブジェクト（画像全体中の部分領域）上に画像フィルターが適用でき、結果として重なったオブジェクト全体は、生成後に輝度、クロミナンス及び全体質感のようなパラメーターに関して、連続してかつ本物であるように見える。制御は４４８に移動する。

[0094] ４４４にて、画像プロセッサ２０２は、重なったオブジェクトをシーン１０８の第１のプレビューの背景から取り除くことができる。重なったオブジェクトは、マッチングするオブジェクトが参照画像のライブラリ内に見つからない場合、シーンの第１のプレビューから取り除くことができる。第１のプレビュー中で重なったオブジェクトの欠けた領域を生成する例は、例えば図３Ｅに示されかつ説明されている。

[0095] ４４６にて、背景領域は、シーン１０８の第１のプレビューのうち取り除いた不要なオブジェクト（例えば第１のオブジェクト１１０）に対応する部分の近くにある画素の画素値に基づいて生成することができる。画像プロセッサ２０２は、背景領域を生成するように構成することができる。背景領域を部分の近くにある画素の画素値に基づいて生成する例は、例えば、図３Ｃ及び図３Ｄに示されかつ説明されている。

[0096] ４４８にて、シーン１０８の第１のプレビューのうち取り除いた不要なオブジェクト（例えば、第１のオブジェクト１１０）に対応する部分は、生成された背景領域で塗りつぶすことができる。画像プロセッサ２０２は、部分を生成された背景領域又は前景領域で塗りつぶすように構成することができる。

[0097] ４５０にて、シーンの第１のプレビューは、部分を生成された背景領域又は前景領域の少なくとも一方で塗りつぶした後、フィルターをかけることができる。画像プロセッサ２０２は、部分を塗りつぶす間に広がった可能性がある人工品を取り除くためにフィルタープロセスを実行するように構成することができる。フィルタープロセスは、ローパス補間フィルタープロセスに対応することができる。

[0098] ４５２にて、ユーザー入力を受け取るために第１のユーザープロンプトが生成され、これにより２つの所望のオブジェクト間の距離を調整することをユーザーが希望するどうかが検査される。ユーザー入力により、２つの所望のオブジェクト間の距離を調整することをユーザーが希望していることが確かめられる場合、制御は、４５４に移動し、そうでなければ４５６に移動する。

[0099] ４５４にて、シーンの第１のプレビュー中の少なくとも３つのオブジェクトのうち２つのオブジェクト間の距離は、シーン１０８の第１のプレビュー中の少なくとも３つのオブジェクトから検出した不要なオブジェクトを取り除いた後に、受け取ったユーザー入力に基づいて、縮小することができる。例えば、画像取り込み装置１０２によって取り込まれるシーン１０８の第１のプレビュー中の少なくとも３つのオブジェクトの存在に基づいて、画像プロセッサ２０２は、少なくとも３つのオブジェクトから検出した不要なオブジェクトを取り除いた後に、２つのオブジェクト間の距離を縮小するように構成することができる。２つのオブジェクト間の距離は、ユーザーが入出力装置２０８を介して与える距離を縮小するための入力に基づいて縮小される。画像プロセッサ２０２は、２つのオブジェクト間の距離を、少なくとも２つのオブジェクトをオブジェクト方向に光学的に画像拡大することに基づいてさらに縮小することができる。２つのオブジェクト間の距離を縮小させる例は、例えば図３Ｇに示されかつ説明されている。

[0100] ４５６にて、ユーザー入力を受け取るために第２のユーザープロンプトが生成され、これによりシーン１０８の第１のプレビュー中の層を除去のために選択することをユーザーが希望するかどうかが検査される。ユーザー入力により、層を取り除くことをユーザーが希望することが確かめられた場合、制御は４５８に移動し、そうでなければ４６２に移動する。

[0101] ４５８にて、シーン１０８の第１のプレビュー中の異なる層を決定することができる。画像プロセッサ２０２は、取り込まれるオブジェクト又はシーン１０８のような、シーンの背景に関連した少なくとも深さ情報に基づいて、異なる層を決定するように構成することができる。

[0102] ４６０にて、異なる層から少なくとも１つの層を取り除くことができる。画像プロセッサ２０２は、少なくとも１つの層を、少なくとも１つの層を取り除くためにユーザーによって入出力装置２０８を介して提供される入力に基づいて、異なる層から取り除くように構成することができる。

[0103] ４６２にて、画像プロセッサ２０２は、シーン１０８の第２のプレビューを生成することができる。シーン１０８の第２のプレビューは、除去及び塗りつぶしに基づいて生成することができる。ディスプレイ１０４は、アプリケーションインターフェイス上のシーンの生成された第２のプレビューのディスプレイを制御するようにさらに構成することができる。

[0104] ４６４にて、生成された第２のプレビューに基づいて画像が生成される。画像プロセッサ２０２は、画像を、シーン１０８の生成された第２のプレビューに基づいて取り込み及び生成するように構成することができる。４６６にて、画像はメモリ１０６に記憶される。画像プロセッサ２０２は、画像をメモリ１０６に記憶することができる。制御は終了４６８に移動する。

[0105] 本開示の実施形態に従って、シーンの画像をシーン内の不要なオブジェクトの除去に基づいて動的に生成する画像取り込み装置が開示されている。画像取り込み装置１０２（図１に示す）は、ディスプレイ１０４（図１に示す）及び回路類を備えている。回路類は、例えば画像プロセッサ２０２、モードセレクタ２０４、オブジェクト検出器２０６、入出力装置２０８及びオブジェクトセレクタ２１０（図２に示す）に対応することができる。ディスプレイ１０４は、画像取り込み装置１０２によって取り込まれるシーン１０８の第１のプレビューを備える、アプリケーションインターフェイスをレンダリングするように構成することができる。シーン１０８の第１のプレビューは、少なくとも第１のオブジェクト１１０を備えることができる。回路類は、シーン１０８のプレビュー中の不要なオブジェクトを検出するように構成することができる。不要なオブジェクトは、シーン１０８のプレビュー中の第１のオブジェクト１１０の選択に基づいて検出することができる。回路類は、検出した不要なオブジェクトをシーン１０８の第１のプレビューから取り除くようにさらに構成することができる。回路類は、シーン１０８の第１のプレビュー中のうち取り除いた不要なオブジェクトに対応する部分を塗りつぶすようにさらに構成することができる。部分は、背景領域又は前景領域の少なくとも一方で塗りつぶすことができる。回路類は、シーン１０８の第２のプレビューを除去及び塗りつぶしに基づいて生成するようにさらに構成することができる。回路類は、シーン１０８の画像を生成された第２のプレビューに基づいて生成するようにさらに構成することができる。

[0106] 画像取り込み装置１０２は、デジタルカメラと、例えばカメラを有するスマートフォンであるスマート電子装置とに応用され、シーンの望ましい画像を、シーンから不要なオブジェクト（例えば、第１のオブジェクト１１０）を取り除くことに基づいて、動的に生成する選択的な取り込み能力を供給する。画像取り込み装置１０２のユーザー１１２は、シーンの画像内に存在することをユーザーが望まない可能性がある１つ以上の不要なオブジェクト（例えば、第１のオブジェクト１１０）を含むシーンに、画像取り込み装置１０２を合焦させることができる。オブジェクト選択モードのスイッチを「オン」することによって、選択的な取り込み機能は、画像取り込み装置１０２のオブジェクトモードセレクタ２０４によってスイッチが「オン」され、この状態ではユーザー１１２は、シーンの画像を実際に取り込む前に、取り除かれる１つ以上の不要なオブジェクトを選択することができる。画像取り込み装置１０２は、シーンから１つ以上の不要なオブジェクト（例えば、第１のオブジェクト１１０）を取り除くことができる。さらに、１つ以上の取り除いた不要なオブジェクトに対応する部分は、前景領域又は背景領域の少なくとも一方で塗りつぶすことができる。シーン１０８の取り込み中の除去及び塗りつぶしに基づいて、１つ以上の不要なオブジェクトを含まないシーン１０８の画像を生成することができる。従って、従来のカメラ装置は、そのカメラの視界角の範囲内にある所望のオブジェクト及び不要なオブジェクトを含む全てのオブジェクトを取り込むが、これと比べて、画像取り込み装置１０２は、所望のオブジェクトだけを含むシーンの画像を選択的に取り込むことができる。従って、ユーザー１１２は、不要なオブジェクトを廃棄するために取り込み画像をトリミングする又は取り込み画像を後処理する必要がない。従って、トリミング又は後処理を実行するために、他のソフトウェア又はハードウェアに依存することが除外され、結果的にユーザー１１２のための時間が節約され、実際の現実世界のシーンを選択的に取り込む能力が得られる。画像取り込み装置１０２は、シーンの生のプレビューのような第１のプレビューで見たとき、シーンのフレームから静止オブジェクトを廃棄する選択肢をさらに提供する。画像取り込み装置１０２は、友達の分節した体のような所望のオブジェクトを、予め記憶されたイメージライブラリから実時間又はほぼ実時間で挿入する選択肢をさらに提供する。従って、シーンに人が存在しなくても、シーンの取り込み画像は、人を、シーンの取り込み中に予め記憶されたライブラリから選択した人の写真に基づいて含むことができる。画像取り込み装置１０２の選択的な取り込み機能により、画像／ビデオを取り込みながら同じフレームにおいて特別な人（所望のオブジェクト）に合焦し、かつ他の未知の人々又は無用のオブジェクト（不要なオブジェクト）を廃棄する能力が画像取り込み装置１０２にもたらされる。さらに、同じタイプの多数のオブジェクトがあるとき、オブジェクト選択／除去のための音声ベースの案内が提供される。例えば、ユーザー１１２は、所望のオブジェクト又は不要なオブジェクトを予め規定された設定値通りに選択するために人の名前を話すことができる。背景が利用できない可能性がある静止オブジェクトでは、上述したように、すぐ近くの座標の画素が、不要なオブジェクトに対応する除去部分を塗りつぶす（又は取り替える）ために使用することができる。さらに、不要なオブジェクトの位置及び大きさに基づいて画像の参照ライブラリを検索し、最も密接なマッチングを見つけかつ参照画像を使用して、取り除いた部分を、背景の残りの部分とうまく混合する前景又は背景領域で取り替えることができる。

[0107] 本開示の様々な実施形態は、非一時的なコンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又はこれに記憶される記憶媒体、機械コード及び／又はコンピュータプログラムに、機械及び／又はコンピュータによって実行可能な少なくとも１つのコードセクションを提供して、シーンの画像をシーンの不要なオブジェクトの除去に基づいて動的に生成する。少なくとも１つのコードセクションにより、機械及び／又はコンピュータが動作を実行し、動作は、画像取り込み装置１０２によって取り込まれるシーン１０８の第１のプレビューを備える、アプリケーションインターフェイスをレンダリングすることを備えている。シーンの第１のプレビューは、第１のオブジェクト１１０を少なくとも備えている。画像取り込み装置１０２の少なくとも１つのコードセクションにより、機械及び／又はコンピュータは、シーン１０８のプレビュー中の不要なオブジェクトを、第１のオブジェクト１１０の選択に基づいて検出するために動作を実行することを備えている。画像取り込み装置１０２の少なくとも１つのコードセクションにより、機械及び／又はコンピュータは、検出した不要なオブジェクトをシーン１０８の第１のプレビューから取り除くために動作を実行することをさらに備えている。画像取り込み装置１０２の少なくとも１つのコードセクションにより、機械及び／又はコンピュータは、シーン１０８の第１のプレビューのうちシーン１０８の第１のプレビューの取り除いた不要なオブジェクトに対応する部分を、背景領域又は前景領域の少なくとも一方で塗りつぶすために動作を実行することをさらに備えている。画像取り込み装置１０２中の少なくとも１つのコードセクションにより、機械及び／又はコンピュータは、シーン１０８の第２のプレビューを、除去及び塗りつぶしに基づいて生成するために動作を実行することをさらに備えている。画像取り込み装置１０２中の少なくとも１つのコードセクションにより、機械及び／又はコンピュータは、シーン１０８の画像を生成された第２のプレビューに基づいて生成する動作を実行することをさらに備えている。

[0108] 本開示は、ハードウェア、又はハードウェアとソフトウェアとの組み合わせで実現することができる。本開示は、少なくとも１つのコンピュータシステムにおいて集中方式で、又は異なる構成要素が複数の相互接続されたコンピュータシステムにわたって広がっている分散方式で実現することができる。本明細書に記載した方法を実行するように適合されたコンピュータシステム又は他の装置が適切なことがある。ハードウェアとソフトウェアとの組み合わせは、コンピュータプログラムを持つ汎用コンピュータシステムとすることができ、コンピュータプログラムは、ロードされ実行されたとき、コンピュータシステムをそれが本明細書に記載した方法を実施するように制御する。本開示は、他の機能も実行する集積回路の部分を備えるハードウェアで実現することができる。

[0109] 本開示はまた、コンピュータプログラムに埋め込むことができ、コンピュータプログラムは、本明細書に記載した方法の実施を可能にする全ての特徴を備え、コンピュータプログラムは、コンピュータシステムにロードされたとき、これらの方法を実施可能である。コンピュータプログラムは、本文脈において、意図した一連の命令の任意の言語、コード又は表記法による任意の表現を意味し、情報処理能力を持つシステムが、直接的に、又は次に述べるａ）別の言語、コード又は表記法への変換、ｂ）異なる材料形態での再生、の何れか又は両方の後に、特定の機能を実行することが可能になる。

[0110] 所定の実施形態を参照して本開示が説明されたが、当業者であれば、本開示の範囲から逸脱することなく様々な変更がなされ、均等物が置換されることを理解する。さらに、特定の状況又は材料を本開示の教示に適合させるために、多くの修正が本発明の範囲から逸脱することなくなされる。従って、本開示は、開示された特定の実施形態に限定されず、むしろ本開示は、添付の特許請求の範囲内に属する全ての実施形態を含むことを意図している。

１００ 動作環境
１０２ 画像取り込み装置
１０４ ディスプレイ
１０６ メモリ
１０８ シーン
１１０ オブジェクト

Claims (21)

1. 画像取り込み装置であって、
   前記画像取り込み装置によって取り込まれるシーンの第１のプレビューを備え、前記シーンの前記第１のプレビューは少なくとも第１のオブジェクトを備えるアプリケーションインターフェイスをレンダリングするように構成されたディスプレイと
   回路類であって、
   前記シーンの第１のプレビュー中の不要なオブジェクトを前記第１のオブジェクトの選択に基づいて検出し、
   前記検出した不要なオブジェクトを前記シーンの前記第１のプレビューから取り除き、
   前記シーンの前記第１のプレビューのうち前記シーンの前記第１のプレビュー中の前記取り除いた不要なオブジェクトに対応する部分を、背景領域又は前景領域の少なくとも一方で塗りつぶし、
   前記シーンの第２のプレビューを、前記取り除き及び前記塗りつぶしに基づいて生成し、
   前記シーンの画像を、前記生成された第２のプレビューに基づいて生成するように構成されている回路類と、を備え、
   前記画像取り込み装置によって取り込まれる前記シーンの前記第１のプレビュー中の少なくとも３つのオブジェクトの存在に基づいて、前記回路類は、前記シーンの前記第１のプレビュー中の前記少なくとも３つのオブジェクトから前記検出した不要なオブジェクトを取り除いた後に、前記シーンの前記第１のプレビュー中の前記少なくとも３つのオブジェクトのうち２つのオブジェクト間の距離を縮小するようにさらに構成されていることを特徴とする画像取り込み装置。
2. 前記第１のオブジェクトの前記選択は、音声ベースの入力に基づいている、請求項１に記載の画像取り込み装置。
3. 前記第１のオブジェクトの前記選択は、タッチベースの入力、音声ベースの入力又はテキストベースの入力の少なくとも１つに基づいている、請求項１に記載の画像取り込み装置。
4. 前記回路類は、前記検出した不要なオブジェクトの境界の座標を、前記検出した不要なオブジェクトの位置、大きさ及び形状に基づいて計算するようにさらに構成されている、請求項１に記載の画像取り込み装置。
5. 前記回路類は、前記検出した不要なオブジェクトを前記シーンの前記第１のプレビューから前記検出した不要なオブジェクトの前記境界の前記計算された座標に基づいて取り除くようにさらに構成されている、請求項４に記載の画像取り込み装置。
6. 前記回路類は、前記背景領域を、前記画像取り込み装置のメモリ又は前記画像取り込み装置に通信可能に連結されたクラウドサーバーに記憶された参照画像のライブラリ内の少なくとも１つの参照画像に基づいて生成するようにさらに構成されており、
   前記少なくとも１つの参照画像は、前記参照画像の前記ライブラリ内の検索によって、前記検出した不要なオブジェクトの境界の位置、大きさ又は座標の少なくとも１つに基づいて選択されている、請求項１に記載の画像取り込み装置。
7. 前記回路類は、前記背景領域を、前記取り除いた不要なオブジェクトに対応する前記部分の近くにある画素の画素値に基づいて生成するようにさらに構成されている、請求項１に記載の画像取り込み装置。
8. 前記回路類は、前記背景領域を、以前に取り込まれた画像の少なくとも１つに基づいて生成するようにさらに構成されている、請求項１に記載の画像取り込み装置。
9. 前記回路類は、前記部分を、前記画像取り込み装置のメモリ又はクラウドサーバーに記憶された参照画像のライブラリから第２のオブジェクトを選択することに基づいて、前記前景領域と取り替えるようにさらに構成されている、請求項１に記載の画像取り込み装置。
10. 前記回路類は、前記シーンの前記第１のプレビュー中の前記２つのオブジェクト間の前記距離を、前記距離を縮小する距離値に基づいて縮小するようにさらに構成されている、請求項１に記載の画像取り込み装置。
11. 前記回路類は、前記シーンの前記第１のプレビュー中の前記２つのオブジェクト間の距離を、前記少なくとも２つのオブジェクトのオブジェクト方向の光学的な画像拡大に基づいて縮小するようにさらに構成されている、請求項１０に記載の画像取り込み装置。
12. 前記回路類は、前記シーンの前記第１のプレビュー中の異なる層を、前記異なる層の少なくとも深さ情報に基づいて決定するようにさらに構成されている、請求項１に記載の画像取り込み装置。
13. 前記回路類は、少なくとも１つの層を、前記少なくとも１つの層の選択に基づいて前記異なる層から取り除くようにさらに構成されている、請求項１２に記載の画像取り込み装置。
14. 画像取り込み方法であって、
    画像取り込み装置によって取り込まれるシーンの第１のプレビューを備え、前記シーンの前記第１のプレビューは少なくとも第１のオブジェクトを備えるアプリケーションインターフェイスを、ディスプレイによってレンダリングする工程と、
    前記シーンの前記第１のプレビュー中の不要なオブジェクトを、前記第１のオブジェクトの選択に基づいて回路類によって検出する工程と、
    前記検出した不要なオブジェクトを、前記シーンの前記第１のプレビューから前記回路類によって取り除く工程と、
    前記シーンの前記第１のプレビューのうち前記シーンの前記第１のプレビュー中の前記取り除いた不要なオブジェクトに対応する部分を、前記回路類によって背景領域又は前景領域の少なくとも一方で塗りつぶす工程と、
    前記シーンの第２のプレビューを、前記取り除き及び前記塗りつぶしに基づいて前記回路類によって生成する工程と、
    前記シーンの画像を、前記生成された第２のプレビューに基づいて前記回路類によって生成する工程と、
    前記画像取り込み装置によって取り込まれる前記シーンの前記第１のプレビュー中の少なくとも３つのオブジェクトの存在に基づいて、前記シーンの前記第１のプレビュー中の少なくとも３つのオブジェクトのうち２つのオブジェクト間の距離を、前記シーンの前記第１のプレビュー中の少なくとも３つのオブジェクトから前記検出した不要なオブジェクトを取り除いた後に前記回路類によって縮小する工程と、
    を備えることを特徴とする画像取り込み方法。
15. 前記検出した不要なオブジェクトは、前記シーンの前記第１のプレビューから、前記検出した不要なオブジェクトの境界の座標に基づいて取り除かれる、請求項１４に記載の画像取り込み方法。
16. 前記背景領域を、前記部分の近くにある画素の画素値に基づいて前記回路類によって生成する工程をさらに備える、請求項１４に記載の画像取り込み方法。
17. 前記部分を、前記画像取り込み装置のメモリ又は前記画像取り込み装置に通信可能に連結されたクラウドサーバーに記憶された参照画像のライブラリから第２のオブジェクトを選択することに基づいて、前記回路類によって前記背景領域と取り替える工程をさらに備える、請求項１４に記載の画像取り込み方法。
18. 前記シーンの前記第１のプレビュー中の異なる層を、前記異なる層の少なくとも深さ情報に基づいて前記回路類によって決定する工程をさらに備える、請求項１４に記載の画像取り込み方法。
19. 少なくとも１つの層を、前記少なくとも１つの層の選択に基づいて前記異なる層から前記回路類によって取り除く工程をさらに備える、請求項１８に記載の画像取り込み方法。
20. 前記背景領域を前記回路類によって生成して、前記シーンの前記第１のプレビューのうち前記取り除いた不要なオブジェクトに対応する部分を、バーストモードで取り込まれた一連の画像に基づいて塗りつぶす工程をさらに備えており、前記バーストモードは、画像取り込み装置で作動されて前記一連の画像を、前記取り除いた不要なオブジェクトの検出に基づいて移動オブジェクトとして取り込む、請求項１４に記載の画像取り込み方法。
21. 前記部分を取り囲む領域において検出された人工品を取り除くためのフィルタープロセスを、前記シーンの前記第１のプレビューのうち前記シーンの第１のプレビュー中の取り除いた不要なオブジェクトに対応する前記部分が背景領域又は前景領域の少なくとも一方で塗りつぶされた後、前記回路類によって実行する工程をさらに備える、請求項１４に記載の画像取り込み方法。

Images