JP6907274B2 - 撮像装置及び撮像方法 - Google Patents

Description

本開示は、撮影技術に関し、特に、撮像装置及び撮像方法に関する。

アクションカメラは、一般に、コンパクトさ、携帯性、および校正に関して高い要求を有する。アクションカメラの携帯性の要件のために、アクションカメラは一般に、小さい画面と、ユーザが対話するためのいくつかのボタンとを有する。このように、ユーザは、プロのカメラまたは携帯電話のように画像のフレーミングおよび合成を完成させるためにアクションカメラで一連の操作を容易かつ手軽に行うことができず、したがってユーザはアクションカメラを用いて手動で画像を撮影することがあまりない。

しかしながら、市場に出回っているカメラは一般に、高度な自動トリガおよび自動合成（自動フレーミングとも呼ばれる）機能を欠いている。オートトリガ機能は、タイム撮影またはタイムラプス撮影に限られる。カメラには、センサやプロセッサなどの高度な検出および識別コンポーネントは含まれていない。ライブビュービデオ画面上の３点線や横線、あるいは顔の位置枠や色ヒストグラム、シーン、焦点などの下位の画像情報に従って、構図や撮影を実現するためには、ユーザはより多くの操作を行う必要がある。そのため、自動合成の効果が得られない。

そのため、ユーザによる操作を必要とせずに、より高画質の画像を取得するためには、オートトリガ、オートコンポジションなどを有するモーションカメラが必要となる。

本発明のある態様は、撮像装置である。当該撮像装置は、所定の条件が満たされたときに画像撮影装置の撮像動作をトリガする撮影選択部と、前記画像撮影装によって得られた撮影画像を合成して補正画像を生成する画像合成部と、前記補正画像を出力する画像出力部と、を備える。なお、本明細書において、「撮像動作」とは、メモリなど記録媒体に格納される画像データを取得するために画像撮影装置を動作させることを意味し、「撮像動作」をトリガする前に画像撮影装置を用いて、現在のシーンの画像を一時的または仮に取得してもよい。
本発明の他の態様は、撮像方法である。当該撮像方法は、所定の条件が満たされたときに画像撮影装置の撮像動作をトリガするステップと、前記画像撮影装置によって得られた撮影画像を合成して補正画像を生成するステップと、前記補正画像を出力するステップと、を備える。

図１Ａ−１Ｃは、本開示の実施形態による撮影装置の適用シナリオを概略的に示す図である。 図２は、本開示の実施形態に係る撮影装置の概略図である。 図３は、図２の撮影装置によって実行される回転補正処理のフローチャートである。 図４は、図２の撮影装置によって実行される画像処理のフローチャートである。 図５Ａ−５Ｄは、図２の撮影装置によって実行される処理のフローチャートを示す。 図６は、本開示の実施形態による別の撮影装置の概略図である。 図７は、本開示の実施形態による別の撮影装置の概略図である。 図８は、本開示の実施形態による別の撮影装置の概略図である。 図９は、本開示の実施形態に係る撮影方法のフローチャートである。 図１０は、本開示の実施形態による別の撮影方法のフローチャートである。 図１１は、本開示の実施形態による別の撮影方法のフローチャートである。 図１２は、本開示の実施形態による別の撮影方法のフローチャートである。 図１３は、本開示の実施形態による別の撮影方法のフローチャートである。

以下、本開示と一致する実施形態を図面を参照しながら説明するが、これらの図面は例示目的のための単なる例であり、本開示の範囲を限定することを意図するものではない。可能な限り、同じまたは類似の部分を指すために図面全体を通して同じ参照番号が使用される。

本開示は、自動トリガ、自動回転補正、自動構図、および／または自動画像選択機能を有する撮影装置を提供することにより、少ないユーザ操作で自動撮影を実現する。図１Ａ−図１Ｃは、本開示と整合性のある撮影装置の例示的な適用シナリオを概略的に示す図である。図１Ａに示すように、ユーザは自分の体または腕に直接またはリストバンドなどの他の付属品を介して間接的に自分の体または腕に撮影装置を装着することができる。例えば、ユーザが外出して撮影装置を装着している場合、旅行中に撮影装置が自動的に美的に楽しい画像を撮影することができる。ツアー終了後、ユーザは、撮影装置によって自動的に撮影された画像を見て、美的に楽しい画像を得ることができる。いくつかの実施形態では、撮影装置は、自動撮影のために移動可能な物体（図１Ｂに示す自転車または自動車など）に取り付けることができ、それによってシーンの広範囲の変化または特別な撮影のニーズを満たすことができる。いくつかの他の実施形態では、図１Ｃに示すように、撮影装置は、壁、テーブルなどの静止物に配置されるか、または固定的に取り付けられることができる。このシナリオでは、撮影装置は動いていないが、撮影装置はシーン内で変化する内容の画像を撮影し、人生の瞬間を捉えることができる。

図２は、本開示と整合性のある例示的な撮像装置２００の概略図である。図２に示すように、撮像装置２００は、画像撮影装置（カメラ）２０１と、画像撮影装置２０１に接続された撮影選択回路２０２と、画像撮影装置２０１に接続された画像回転補正回路２０３と、画像回転補正回路２０３に接続された画像合成回路２０４と、画像合成回路２０４と画像撮影装置２０１とを接続する画像選択回路２０５と、画像合成回路２０４と画像撮影装置２０１とを接続する画像表示回路２０６とを含む。

画像撮影装置２０１は、カメラ、カムコーダ、光センサなどとすることができる。画像撮影装置２０１は、カメラレンズ、画像センサ、画像処理チップ、メモリ、スクリーン、インターフェースなどを含むことができる。いくつかの実施形態では、カメラレンズは、例えば１２０度を超える視野（ＦＯＶ）を有する広角レンズを含むことができる。いくつかの他の実施形態では、カメラレンズは複数のレンズを含むことができる。画像センサは、例えば、電荷結合素子（ＣＣＤ）センサまたは相補型金属酸化膜半導体（ＣＭＯＳ）センサを含むことができる。画像処理チップは画像センサに結合することができる。画像撮影装置２０１は、カメラレンズと撮像素子を介して撮像し、撮像素子を介して撮像画像を画像処理チップに入力することができる。画像処理チップは、例えば、画像に対してノイズ低減、色補正、フォーマット変換（例えば、ＲＧＢからＹＵＶへ）、スケーリングなどを実行することによって画像を処理することができる。画像処理チップは、カメラレンズおよび／または画像センサを制御する、例えば３Ａパラメータ、すなわち自動露出（ＡＥ）、自動ホワイトバランス（ＡＷＢ）、オートフォーカス（ＡＦ）を調整するように構成することもできる。画像処理チップは、例えば、デジタル信号処理（ＤＳＰ）チップとすることができる。メモリは、取り込まれた画像データを一時的または恒久的に格納するように構成することができる。インターフェースは、画像伝送用のユニバーサルシリアルバス（ＵＳＢ）インターフェース、米国電気電子技術者協会１３９４（ＩＥＥＥ １３９４）インターフェースなどのような任意の種類の電気的インターフェースを含むことができる。

撮影選択回路２０２は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、特定用途向け集積回路（ＡＳＩＣ）、またはＡＳＩＣの一部を含むことができ、画像撮影装置２０１の撮像動作を自動的にトリガし、ソフトウェアとハードウェアの組み合わせを使用して現在のシーンの画像を撮影するように構成することができる。いくつかの実施形態では、撮影選択回路２０２は、現在のシーンにおいて特定の意味を有するオブジェクトが検出されると、撮像動作をトリガすることができる。特定の意味は、例えば、人々、動物、顔、または笑顔を含み得るが、これらに限定されない。例えば、現在のシーンにおいて顔が検出されると、撮影選択回路２０２は自動的に画像撮影装置２０１の撮像動作をトリガすることができる。現在のシーン内のオブジェクトを検出するために任意のオブジェクト認識アルゴリズム、例えば、本明細書で限定されない顔認識アルゴリズムを使用することができる。

いくつかの実施形態では、撮影選択回路２０２は、現在のシーンの奥行き（ｄｅｐｔｈ）の変化に応答して撮像動作をトリガすることができる。現在のシーンの奥行きは、例えば、画像撮影装置２０１が現在のシーンに面しているときのカメラ２０１の焦点距離を指すことができる。これは、例えば、画像撮影装置２０１から現在のシーン内のオブジェクトまでの距離とすることができる。いくつかの実施形態では、現在のシーンの奥行きは、奥行きセンサ、例えば飛行時間（ＴｏＦ）センサを介して取得することができる。現在のシーンの奥行きの変化は、現在のシーンの奥行きが前のシーンの奥行きと異なることを指すことができる。

いくつかの実施形態では、撮影選択回路２０２は、現在のシーンの焦点の変化に応答して撮像動作をトリガすることができる。現在のシーンの焦点は、画像撮影装置２０１が現在のシーン内のオブジェクトに焦点を合わせるときの、画像撮影装置２０１の焦点位置を指すことができる。いくつかの実施形態では、現在のシーンの焦点は焦点センサを介して得ることができる。現在のシーンの焦点の変化は、現在のシーンの焦点が前のシーンの焦点とは異なることを指すことができる。

いくつかの実施形態では、撮影選択回路２０２は音声コマンドを介して撮像動作をトリガすることができる。例えば、撮影選択回路２０２は音声-ユーザインタフェース（ＶＵＩ）を含むことができる。ユーザは音声コマンドを話すことができ、ＶＵＩは音声コマンドを撮影するためにユーザの音声を検出することができ、例えば、音声選択アルゴリズムを使用して音声コマンドをテキストに変換し、撮影選択回路２０２が変換されたテキストに従って撮像操作をトリガすることができる。ＶＵＩは、例えば、ユーザの音声を検出するように構成されたマイクロフォン、および音声コマンドを変換するように構成されたプロセッサ（マイクロプロセッサまたは特定用途向け集積回路（ＡＳＩＣ）など）を含むことができる。

いくつかの実施形態では、撮影選択回路２０２は、制御プロセスを通して撮像動作をトリガすることができる。制御処理としては、タイマー撮影、タイムラプス撮影等が挙げられる。例えば、撮影選択回路２０２は、タイマー撮影を用いて予め設定された時間に撮像動作をトリガすることができる。他の例として、撮影選択回路２０２は、タイムラプス撮影を用いて、予め設定された時間間隔、例えば５秒ごとに撮像動作をトリガすることができる。

いくつかの実施形態では、撮影選択回路２０２は、上記の異なる基準の任意の組み合わせに従って撮像動作をトリガすることができる。例えば、撮影選択回路２０２は、特定の意味を有するオブジェクトがプリセット時間に検出された場合、タイマー撮影を使用してプリセット時間に撮像動作をトリガすることができる。別の例として、撮影選択回路２０２は、特定の意味を有するオブジェクトが事前設定された期間に検出された場合、タイムラプス撮影を使用して事前設定された期間に撮像動作をトリガすることができる。

画像回転補正回路２０３は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、画像撮影装置２０１から撮影画像を受信して自動的に実行するように構成することができる。撮影画像の回転補正いくつかの実施形態では、画像回転補正回路２０３は、慣性測定ユニット（ＩＭＵ）などの、画像撮影装置２０１に取り付けられた、またはそれに結合された１つまたは複数の姿勢センサを通して画像撮影装置２０１の姿勢情報を得ることができる。姿勢情報は、画像撮影装置２０１のヨー軸情報、ピッチ軸情報、および／またはロール軸情報を含むことができる。例えば、１つ以上の姿勢センサ、例えばＩＭＵは、画像撮影装置２０１の画像センサの裏側に配置され、画像撮影装置２０１の姿勢情報を取得することができる。画像撮影装置２０１が目標姿勢にあるときに画像が取り込まれたかのように、画像撮影装置２０１の姿勢情報と目標姿勢との差（このような差を「姿勢差」ともいう）に応じて撮像画像を回転させることで、回転画像の姿勢を調整することができる。画像撮影装置２０１の姿勢情報と目標姿勢との差を算出するのに適した任意の方法を採用することができる。

図３は、例えば撮像装置２００により実現可能な回転補正処理の一例を示すフローチャートである。例えば、図１０に示す回転補正処理は、ＣＰＵ１０１により実行される。撮像装置２００の画像回転補正回路２０３により、図３に示すような画像回転補正回路２０３を実現することができる。図３に示すように、画像撮影装置２０１のイメージセンサ等のイメージセンサ３１２により、ベイヤー形式の撮像画像の生データ３１０と、各撮像画像に同期したＶＳＹＮＣ（垂直同期）信号３１１とが出力される。ＩＭＵ３１４のジャイロデータ３１３およびＶＳＹＮＣ信号３１１は、ＩＭＵ３１４のドライバ回路によって取得することができる。ＩＭＵ３１４の各ジャイロデータ３１３は、各撮影画像に対応するＶＳＹＮＣ信号３１１のシーケンス番号でラベル付けされている。メッシュ計算器３１６によって画像撮影装置２０１のパラメータ（図３においてカメラ情報３１５として示される）およびジャイロデータ３１３が得られた後、ジャイロデータ３１３と目標姿勢（例えば、０度ヨー角、０度ロール角、および０度ピッチ角を有する姿勢）との差に従って、メッシュ計算器３１６によってメッシュテーブル３１７を計算することができる。メッシュテーブル３１７は、デワープ（Ｄｅｗａｒｐ）エンジン３１８によって目標姿勢を有する回転画像を生成するために取り込まれた画像をそれに従って回転させることができる回転行列を含むことができる。メッシュ計算器３１６は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができる。いくつかの実施形態では、生データ３１０は、デワープエンジン３１８に送信する前に処理することができる。処理された画像データは、Ｓｒｃ＿ｉｍｇデータ３１９として示され、これは、取り込まれた画像の生データ３１０とは異なる。理解されるように、デワープエンジン３１８に送信される画像データ（例えば、Ｓｒｃ＿ｉｍｇデータ３１９）に対応するＶＳＹＮＣ信号３１１のシーケンス番号は、メッシュテーブル内のＶＳＹＮＣ信号３１１のシーケンス番号と一致する。目標姿勢を有する回転画像を生成するために画像を回転させることができる。回転された画像の画像データは、図３の修正Ｓｒｃ＿ｉｍｇデータ３２０によって示される。すなわち、Ｓｒｃ＿ｉｍｇデータ３１９がデワープエンジンに送られる時点ｔ２は、撮像画像を正しく回転させて目標姿勢の回転画像を生成できるようにメッシュテーブルを生成する時点ｔ１よりも早い。いくつかの実施形態では、回転範囲は、回転された画像の視野（ＦＯＶ）をＦＯＶ閾値より小さくないように設定することができる。回転範囲とは、画像を回転させることができる最大角度のことである。ＦＯＶ閾値は実際の要求に従って決定することができる。回転範囲は、ヨー方向の回転範囲、ピッチ方向の回転範囲、および／またはロール方向の回転範囲を含むことができる。画像撮影装置２０１の姿勢情報と目標姿勢との差が回転範囲より大きければ、回転範囲に応じて撮像画像を回転させたり、回転させずに撮像画像を維持したりすることができる。例えば、画像撮影装置２０１の姿勢情報と目標姿勢との差が、撮像画像をロール方向に２０°回転させても、ロール方向の回転範囲が１５°しかない場合には、撮像画像を撮像する。画像はロール方向に１５°回転させることも、回転させないこともできる。

いくつかの他の実施形態では、水平方向の線または垂直方向の線などの既知の傾斜角を有する線をロール方向の傾斜角を得るために撮影画像内で検出し、傾斜角に応じて、撮影画像をロール方向に回転させることができる。水平線または垂直線を検出するのに適した任意の方法を使用することができる。例えば、撮像画像における空と地面との色やコントラストなどの差を満たす複数の直線を得ることができる。撮影画像内の水平線を得るために、これらの直線のそれぞれに対して曲線当てはめを実行することができる。いくつかの実施形態では、傾斜角は、撮像画像内で検出された水平線と画像撮影装置２０１の幅方向に平行な直線との間の角度を計算することによって得ることができる。いくつかの他の実施形態では、傾斜角は、撮像画像内で検出された垂直線と画像撮影装置２０１の長さ方向に平行な直線との間の角度を計算することによって得ることができる。場合によっては、ロールの方向への撮影された画像の傾斜は、ユーザの意図的な振る舞いから生じる可能性があり、したがって、ロールの方向への撮影された画像の回転は必要とされない。いくつかの実施形態では、ロール方向の傾斜閾値が設定されてもよく、ロール方向の傾斜閾値以上であるロール方向の傾斜角は、ユーザが意図的に画像撮影装置２０１を傾けて画像を撮影したことを示し得る。従って、取り込まれた画像は回転することなく維持され得る。

いくつかの実施形態では、ピッチ方向の傾斜角は、角度センサなどの、画像撮影装置２０１に取り付けられたまたはそれに結合された１つまたは複数のセンサを介して取得することができる。例えば、１つ以上のセンサ、例えば角度センサは、画像撮影装置２０１の画像センサの裏側に配置され、ピッチ方向における画像撮影装置２０１の傾斜角を得ることができる。時々、ピッチ方向への撮影された画像の傾斜は、ユーザの意図的な行動に起因し得、したがって、撮影された画像をピッチ方向に回転させることは必要とされない。いくつかの実施形態では、ピッチ方向の傾斜閾値が設定されてもよく、ピッチ方向の傾斜閾値以上であるピッチ方向の傾斜角は、ユーザが意図的に画像撮影装置２０１を傾斜させて画像を撮像したことを示してもよい。アクションカメラは一般にユーザによって装着されているか、または移動装置に配置されているため、撮影プロセス中にユーザが構図に積極的に参加していない場合、カメラの姿勢の傾きは変化する。例えば、カメラは、撮影画像がヨー方向、ピッチ方向、ロール方向に投影変形している場合に発生する。そのため、撮影画像に対して回転補正を行い、姿勢の傾きを補正する必要がある。しかしながら、現在市販されているほとんどのカメラは、撮影プロセス中の姿勢の修正を実現するためにジンバルなどの補助装置を使用する必要があり、そのためユーザは撮影を完了するために追加の装置を携帯しなければならず、アクションカメラの携帯性の利点が奪われる。したがって、自動回転補正機能を有する撮像装置２００は、補助装置を必要とせずに撮影中の姿勢補正を実現することができ、携帯性の利点を実現することができる。

いくつかの実施形態では、撮像装置２００は、画像回転補正回路２０３および／または画像撮影装置２０１に結合された画像歪み補正回路（図２には図示せず）をさらに含み得る。画像歪み補正回路は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、撮影画像を回転させる前または後に歪み補正を実行するように構成することができる。歪み補正の方法は、歪みの種類に応じて選択することができ、任意の適切な方法が採用され得る。例えば、広いＦＯＶを有する画像には樽型の歪みが存在する可能性がある。樽型歪みの補正方法としては、偶数次多項式モデル、多項式モデル、無パラメータモデル、除算モデルなどを用いることができる。

実施形態によっては、撮像装置２００は、画像歪み補正回路および画像回転補正回路２０３の代わりに画像補正回路を備えていてもよい。画像補正回路は、撮像画像に対して歪み補正と回転補正の両方を行うように構成することができる。

アクションカメラで使用されている超広角レンズは、動いているシーンで広いＦＯＶを有する画像を撮影することを可能にする。しかし、超広角レンズによる光学歪みのために、撮影画像の端部にはひずみと圧縮が激しい。歪み補正を使用することによって、ある範囲の歪みを補正することができるが、歪み補正後の画像の視覚効果は依然として受け入れられない。そのため、歪み補正機能を有する撮像装置２００は、より視覚効果の高い画像を得ることができる。画像合成回路２０４は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができる。そして、回転画像を画像回転補正回路２０３から受け取り、回転画像を自動的に合成して補正画像を生成するように構成することができる。いくつかの実施形態では、画像合成回路２０４は、顕著性検出および合成規則に基づいて回転画像を合成するように構成することができる。合成規則は、中央合成規則、トライアド合成規則、水平線合成規則、対称合成規則、および対角線合成規則などを含むことができる。

例えば、画像合成回路２０４は、回転画像内の顕著な物体を検出することができる。回転画像における顕著な物体の位置およびサイズ情報を得ることができる。回転された画像は、合成規則および顕著なオブジェクトの位置およびサイズの情報に従って、合成画像を得るために切り取ることができる。例えば、合成規則が中心合成規則である場合、回転オブジェクトを切り取って、顕著オブジェクトの位置およびサイズ情報に従って、顕著オブジェクトを合成画像の中心または中心付近に配置することができる。いくつかの実施形態では、合成画像を補正画像として出力することができる。いくつかの他の実施形態では、合成画像は、例えば、画像撮影装置２０１のスクリーンまたは画像撮影装置２０１の外部のディスプレイのアスペクト比に従って、補正画像を得るためにスケーリングまたはさらにトリミングすることができる。補正画像のアスペクト比は、画像撮影装置２０１の画面またはディスプレイのアスペクト比と一致し得る。顕著オブジェクトを検出するのに適した任意の方法、例えば、ディープラーニングに基づく方法（例えば、階層的ディープネットワーク、マルチスケール、マルチコンテキストディープラーニングフレームワーク、対称ネットワークなど）、周波数領域分析、スパース表現、セルオートマトン、ランダムウォーク、低ランク回復、ベイズ理論などが実行されうる。

いくつかの実施形態では、回転画像において複数の顕著な物体を得ることができる。画像内の顕著なオブジェクトの分布を示す顕著性マップは、複数の顕著なオブジェクトの位置およびサイズ情報に従って計算することができる。顕著な物体の分布は、画像内の顕著な物体の空間分布を指すことがある。画像合成回路２０４は、顕著性マップおよび合成規則に基づいて回転画像を合成することができる。例えば、合成規則が対称的合成規則である場合、回転された画像を切り取って、顕著なオブジェクトの分布を合成画像内で対称またはほぼ対称にすることができる。

いくつかの他の実施形態では、画像合成回路２０４は、ネットワークモデルまたは木構造を介して回転画像を構成するように構成することができる。いくつかの実施形態において、ネットワークモデルは、最小モデル誤差に収束するために損失関数を必要とする最適化プロセスを使用して複数のサンプルに基づいてトレーニングすることによって得ることができる。損失関数は、例えば、クロスエントロピー、二乗平均誤差などを含み得るが、これらに限定されない。ネットワークモデルを訓練するのに適した任意の方法を採用することができる。複数のサンプルは複数の画像サンプルを含むことができる。画像サンプルは、例えば、画像撮影装置２０１によって取得される、インターネットからダウンロードされる、画像ライブラリから取得される、および／または同様のものとすることができる。回転された画像は、ネットワークモデルまたはツリー構造に入力され、クロッピング座標および／または倍率を得るためにネットワークモデルまたはツリー構造に従って処理されることができる。すなわち、ネットワークモデルまたはツリー構造の入力は回転画像であり、ネットワークモデルまたはツリー構造の出力は回転画像のクロッピング座標および／または倍率である。回転された画像は、クロッピング座標に従って合成画像を得るためにクロッピングすることができ、補正画像は、スケーリングファクタに従って合成画像をスケーリングすることによって得ることができる。

図４は、例えば撮像装置２００により実現可能な画像処理の一例を示すフローチャートである。図４に示すように、４１１において、ソフトウェアおよびハードウェアの組み合わせを使用して現在のシーンの画像４１０２を取り込むために、画像撮影装置２０１の撮像動作を取り込み選択回路２０２によってトリガすることができる。例えば、撮影画像４１０２は、（Ｗ＿ｓｒｃ、Ｈ＿ｓｒｃ）、例えば（４０００，３０００）の解像度を有するＮＶ１６フォーマットの画像であり得る。ＮＶ１６フォーマットは、ＹＵＶ ４２２とも呼ばれる。

４１３で、ＩＭＵによって取得されたジャイロデータ４１００に従って、画像回転補正回路２０３によって回転補正を撮影画像４１０２に対して実行して、回転画像４１０４を生成することができる。図４において、画像４１５２は回転画像４１０４の一例である。回転画像４１０４のフォーマットおよび解像度は、撮影画像４１０２のフォーマットおよび解像度と同じである。撮影画像４１０２を取得するために撮像動作がトリガされたときに同期してジャイロデータ４１００を取得することができる。回転補正処理は、図１０の処理と同様である。その詳細な説明は省略する。

４１５で、回転画像４１０４が画像合成回路２０４によって合成される。いくつかの実施形態では、重心補間（ＵＶ補間とも呼ばれる）を実施して、ＮＶ１６フォーマットの回転画像４１０４をＹＵＶ４４４フォーマットの回転画像４１０６に変換することができる。フォーマットＹＵＶ４４４は一般に画像データの４つのＹサンプルごとに４つのＵ値および４つのＶ値を有し、フォーマットＮＶ１６は一般に４つのＹサンプルごとに２つのＵ値および２つのＶ値を有する。したがって、４つのＹサンプルごとに２つの値のＵおよびＶにＵおよびＶを補間することによって、４つのＹサンプルごとに２つの値のＵおよびＶを４つのＹサンプルごとに４つの値に変換することができる。いくつかの実施形態では、回転画像４１０４は補間される前に拡大縮小することができる。例えば、回転画像４１０４は、顕著性の処理効率を向上させるために、解像度を（Ｗ＿ｓｒｃ、Ｈ＿ｓｒｃ）から（Ｗ１、Ｈ１）へ、例えば（４０００，３０００）から（４８０，３６０）へ変換するようにスケーリングすることができる。回転画像の検出そのため、ＹＵＶ４４４フォーマットの回転画像４１０６の解像度は、ＮＶ１６フォーマットの回転画像４１０４の解像度よりも小さい。

いくつかの実施形態において、ＹＵＶ色空間における回転画像４１０６は、ＣＩＥ Ｌ ＊ ａ ＊ ｂ色空間における回転画像４１０８にさらに変換され得る。例えば、回転画像４１０６の色空間は、任意の適切な変換式に従って、ＹＵＶ色空間からＲＧＢ（赤-緑-青）色空間に変換することができる。いくつかの実施形態では、回転画像４１０６の全体の明るさを制御するために、ＲＧＢ色空間において回転画像４１０６に対してガンマ補正を実行することができる。ガンマ補正のガンマ値は実際の要求に従って決定することができる。ガンマ補正後の回転画像４１０６の色空間は、任意の適切な変換式に従って、ＲＧＢ色空間からＣＩＥ Ｌ ＊ ａ ＊ ｂ色空間に変換することができる。変換式は、例えば、画像撮影装置２０１の撮像素子の仕様等に応じて決定することができる。いくつかの実施形態では、色温度調整は、ガンマ補正後の回転画像４１０６または回転画像４１０８に対しても実行することができる。

４１５１において、回転画像４１０８に対して顕著性検出が行われ、回転画像４１０８の顕著性マップ４１１０が得られる。顕著性マップ４１１０を取得するために、任意の適切な顕著性検出方法を使用することができる。例えば、回転画像４１０８の特徴を抽出することができる。特徴は、色、強度、および／または向きを含むことができるが、それらに限定されない。回転画像４１０８の各画素の色は、例えば、ＣＩＥ Ｌ ＊ ａ ＊ ｂ色空間において得ることができる。回転画像４１０８の各画素の強度は、例えば回転画像４１０８をグレースケールに変換することによって得ることができる。回転画像４１０８の各画素の向きは、例えば、４つの角度に関してガボールフィルタを使用して得ることができる。上述したこれらの処理された画像の全ては、特徴マップを生成するためにガウスピラミッドを作成するために使用することができる。特徴マップは３つの特徴のそれぞれに関して生成することができ、顕著性マップ４１１０は３つの特徴マップの平均である。図４において、画像４１５６は顕著性マップ４１１０の一例である。回転画像４１０８内の顕著なオブジェクト（例えば、画像４１５２内の家）の位置およびサイズ情報は、顕著性マップ４１１０に従って取得することができる。

４１５３で、回転画像４１０４を顕著性マップ４１１０に従って合成して、合成画像４１１２を得ることができる。例えば、回転画像４１０４内の顕著オブジェクト（例えば、画像４１５２内の家）の位置及びサイズ情報は、回転画像４１０８内の顕著オブジェクトの位置及びサイズ情報に従って得ることができる。中心構図規則を選択することができ、したがって回転された画像４１８０を切り取って、顕著なオブジェクト（例えば、画像４１５２内の家）を合成画像４１１２の中心に配置することができる。そのため、合成画像４１１２の解像度は、回転画像４１０４の解像度よりも小さい。図４において、画像の中央に家がある画像４１５４が合成画像４１１２の一例である。

人間の目の最大可視範囲は約１７０度であるが、人間の目の鮮明な撮像範囲は約６０度に過ぎず、そのため、超広視野角を有する画像は人間の目の視覚的快適性要件を満たさない。人間の目は一般に画像の中心に焦点を合わせているので、画像の端のシーンは冗長である。したがって、合成画像を得るために回転画像を切り取ることは、人間の目の視覚的快適さの要求に対してより適している。

４１７では、画像選択回路２０５により合成画像４１１２に対して選択処理が行われ、詳細な説明は後述する。

４１９および４２１では、選択処理の判定結果に応じて合成画像４１１２を画像表示回路２０６に格納して表示させることができる。詳細は後述する。

いくつかの実施形態では、画像撮影装置２０１は、画像回転補正回路２０３を迂回して、撮影した画像を直接合成のために画像合成回路２０４に送ることができる。いくつかの他の実施形態では、画像回転補正回路２０３を全く省略することができる。これらの実施形態（画像回転補正回路２０３を迂回するかまたは全く省略するかのいずれか）では、画像合成回路２０４を画像撮影装置２０１に結合することができ、補正画像を得るために自動的に撮影画像を合成することができる。

いくつかの実施形態では、画像回転補正回路２０３は、画像合成回路２０４を迂回して回転画像を画像選択回路２０５に直接送ることができる。いくつかの他の実施形態では、画像合成回路２０４は全く省略することができる。これらの実施形態（画像合成回路２０４を迂回するかまたは全く省略するかのいずれか）では、回転画像を補正画像と見なすことができ、画像選択回路２０５を画像回転補正回路２０３に結合することができる。

いくつかの実施形態では、画像撮影装置２０１は、画像回転補正回路２０３および画像合成回路２０４を迂回して、撮影した画像を画像選択回路２０５に直接送ることができる。他の実施形態では、画像回転補正回路２０３と画像合成回路２０４の両方を全く省略することができる。これらの実施形態（画像回転補正回路２０３および画像合成回路２０４のいずれかがバイパスされるかまたは全く省略される）において、画像選択回路２０５は画像撮影装置２０１に結合することができる。

画像選択回路２０５は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、画像合成回路２０４または画像回転補正から補正画像を受け取るように構成することができる。そして、補正後の画像に対して選択処理を行う。例えば、画像選択回路２０５は、補正画像に対して選択処理を行って、補正画像を画像撮影装置２０１のメモリに格納するか、画像撮影装置２０１の画面に表示するか、あるいは、画像撮影装置２０１のディスプレイの外部に表示するかを決定することができる。

いくつかの実施形態では、画像選択回路２０５は審美的規則に従って補正画像のスコアを決定することができる。得点は審美的得点とも呼ぶことができる。いくつかの実施形態では、審美的規則は、信号対雑音比（ＳＮＲ）、コントラスト、ヒストグラム分布、画像飽和度、情報エントロピー、ＡＥ値、ＡＦ値、ＡＷＢ値、または人物、笑顔、日の出、ペットなどの候補画像の高得点オブジェクトのうちの少なくとも１つに従って決定できる。いくつかの他の実施形態では、審美的規則は訓練されたモデルに従って決定することができる。訓練されたモデルは、事前評価されたスコアのデータセットを使用して訓練することによって取得できる。例えば、事前評価スコアは、異なる人によって事前評価された画像の審美的な満足スコアであり得る。訓練されたモデルは、任意の適切な機械学習アルゴリズムを使用して訓練することによって得ることができる。

いくつかの実施形態では、スコアが事前設定された閾値より低い場合、画像選択回路２０５は補正画像を破棄または削除すると決定することができる。スコアが予め設定された閾値以上である場合、画像選択回路２０５は、補正された画像を現在のアルバムに格納すること、および／または補正された画像を画像表示回路２０６に送信することを決定することができる。例えば、現在のアルバムを画像撮影装置２０１のメモリに設定することができる。

いくつかの他の実施形態では、画像選択回路２０５はまた、補正画像と現在のアルバム内の画像との間の類似性を判定するために、補正画像から少なくとも１つの画像特徴を抽出することができる。少なくとも１つの画像特徴は、ヒストグラム、シフト特徴、画像モーメント、または画像の指紋のうちの少なくとも１つを含むことができる。画像の指紋は、知覚的特徴または画像の簡単な要約、例えば知覚過酷（ｐＨａｓｈ）などである。いくつかの実施形態では、画像選択回路２０５は、抽出された少なくとも１つの画像特徴に従って、修正画像に類似する現在のアルバム内の１つまたは複数の類似画像を決定することができる。補正画像のスコアが１つまたは複数の類似画像の最低スコアよりも低い場合、画像選択回路２０５は補正画像を破棄することを決定することができる。補正画像のスコアが１つまたは複数の類似画像の最低スコア以上である場合、画像選択回路２０５は、補正画像を現在のアルバムに格納すると決定することができる。いくつかの実施形態では、補正された画像のスコアよりも低いスコアを有する１つまたは複数の類似の画像を現在のアルバムから削除することができる。

いくつかの他の実施形態では、補正画像のスコアが１つまたは複数の類似画像の最高スコアより低い場合、画像選択回路２０５は補正画像を破棄することを決定することができる。補正画像のスコアが１つまたは複数の類似画像の最高スコア以上である場合、画像選択回路２０５は、補正画像を現在のアルバムに格納することを決定することができ、１つまたは複数の類似画像を現在のアルバムから削除することができる。

画像表示回路２０６は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、補正画像を出力するように構成することができる。いくつかの実施形態では、現在のアルバム内の画像は、それらの画像のスコアに従ってキュー内に配置することができる。画像表示回路２０６は、画像選択回路２０５から補正画像を受け取り、補正画像のスコアに応じて現在のアルバムのキューに挿入することができる。ここでは、補正後の画像を現在のアルバムの候補画像とも呼ぶことができる。

画像表示回路２０６は、現在のアルバムのキューを画像撮影装置２０１の画面に表示するように構成することができる。いくつかの実施形態では、現在のアルバムのキューを順番に表示することができ、その結果、ユーザは、より優れた美的満足感スコアを有する画像を最初に見ることができる。いくつかの他の実施形態では、現在のアルバムの待ち行列は、ユーザが画像をバッチとして見ることができるように、９つの正方グリッドに表示することができる。

図５Ａ−図５Ｄは、例えば撮像装置２００によって実現され得る処理の一例のフローチャートを示す。図５Ａを参照すると、５１０において、自動モードがオンにされる。例えば、撮像装置２００は、ユーザインタフェース（ＵＩ）から自動モードオンの指示を受けた場合に、自動モードをオンにすることができる。５１１で、初期化プロセスが開始される。撮像装置２００は、オートモードをオンにした後に初期化を開始することができる。図５Ｃを参照すると、５１２において、撮像装置２００に格納されているフィンガープリントデータベースが初期化される。５１３において、撮像装置２００に格納されている審美性データベースが初期化される。５１４において、撮像装置２００に格納されている画像名データベースを初期化する。画像指紋データベース、審美性データベース、および画像名データベースは、例えば、画像撮影装置２０１のメモリに格納することができる。図５Ｄを参照すると、５１５で、初期化プロセスが終了する。いくつかの実施形態では、５１６において、新しい画像アルバムを画像撮影装置２０１のメモリ内に作成することができる。新しいイメージアルバムを現在のアルバムとして使用できる。

図５Ａに戻り、５１７において、ソフトウェアおよびハードウェアの組み合わせを使用して現在のシーンの画像を取り込むために、画像撮影装置２０１の撮像動作が撮影選択回路２０２によって自動的にトリガされる。５１８では、画像回転補正回路２０３により、撮像画像に対して回転補正が自動的に行われる。５１９において、画像選択回路２０５による回転画像に対する選択処理が実行される。

図５Ｂを参照すると、５２０で、回転された画像が現在のアルバムの最初の画像であるかどうかが判定される。回転画像が第１の画像である場合（５２０：Ｙｅｓ）、５２１において、画像合成回路２０４によって回転画像に対して顕著性の検出を実行することができる。回転された画像が最初の画像ではない場合（５２０：Ｎｏ）、５２２において、現在のアルバム内に回転された画像に類似する１つまたは複数の類似の画像があるかどうかを判定することができる。５２２において、１つまたは複数の類似画像の数が所定の閾値以上であるかどうかを判定することができる。１つ以上の類似画像の数が所定の閾値以上である場合（５２２：Ｙｅｓ）、５２３において、回転画像の審美性スコアと１つ以上の類似画像の審美性スコアとが比較される。さらに、５２４で、取り込まれた画像（すなわち、最も新しい取り込まれた画像）を削除（または破棄）するかどうかが決定される。回転画像の審美性スコアが１つ以上の類似画像の最高審美性スコアまたは最低審美性よりも高い場合、画像選択回路２０５は、取り込まれた画像を削除しないと決定することができ（５２４：Ｎｏ）、その後５２１で例えば、画像合成回路２０４により回転画像に対して顕著性検出を行うことができる。回転画像の審美性スコアが１つ以上の類似画像の最高審美性スコアまたは最低審美性よりも小さい場合、画像選択回路２０５は、取り込まれた画像を削除すると決定することができる（５２４：Ｙｅｓ）。

１つ以上の類似画像の数が所定の閾値未満である場合（５２２：Ｎｏ）、次に５２５で、現在のアルバム内の画像の数が最大数以上であるかどうかが判定される。現在のアルバム内の画像の数が最大数以上である場合（５２５：Ｎｏ）、５２１で、画像合成回路２０４によって回転画像に対して顕著性検出を実行することができる。現在のアルバム内の画像の数が最大数を超える場合（５２５：Ｙｅｓ）、次に５２６で、回転された画像の審美性スコアと現在のアルバム内のすべての画像の審美性スコアとが比較され、比較が行われる。５２４で結果を使用して、取り込まれた画像を削除するかどうかを決定することができる。例えば、回転画像の審美性スコアが現在のアルバム内の画像の最低審美性よりも小さい場合、画像選択回路２０５は、取り込まれた画像を削除すると決定することができる（５２４：Ｙｅｓ）。回転画像の審美性スコアが現在のアルバム内の画像の最低審美性以上である場合、画像選択回路２０５は、取り込まれた画像を削除しないと決定することができ（５２４：Ｎｏ）、次に５２１で、顕著性検出は可能である。画像合成回路２０４によって回転された画像に対して実行される。

５２７で、回転画像を合成することができるかどうかが判定される。いくつかの実施形態では、回転画像を合成することができるかどうかは、顕著性マップに従って決定することができる。例えば、顕著性マップの分布が散在しすぎる場合、画像合成回路２０４は、回転画像を合成することができないと決定することができる。別の例として、回転画像内に顕著オブジェクトが検出されない場合、画像合成回路２０４は回転画像を合成することができないと決定することができる。回転画像が合成可能であると判断された場合（５２７：Ｙｅｓ）、５２８（図５Ｃに示す）において、回転画像は補正画像を得るために画像合成回路２０４によって合成される。

図５Ｃを参照すると、５２９で、補正された画像の指紋がフィンガープリントデータベースに入れられる。補正画像の指紋を補正画像から抽出することができ、補正画像の指紋をフィンガープリントデータベースの待ち行列に追加することができる。５３０において、補正された画像の審美性スコアが審美性データベースに入れられる。補正画像の審美性スコアは、審美性データベースの待ち行列に追加することができる。例えば、審美性データベースの待ち行列は、審美性スコアの順序に従って配置することができる。５３１において、補正された画像の画像名が画像名データベースのキューに入れられる。補正画像の画像名は、数字、文字、単語などを含むことができるが、これらに限定されない。いくつかの実施形態では、フィンガープリントデータベースのキューおよび画像名データベースのキューは、審美的なキューと同じ順序で配置することができ、これはデータ検索に便利である。

取り込まれた画像が最初の画像である場合（５２０：Ｙｅｓ）、または１つまたは複数の類似画像の数が所定の閾値未満であり（５２２：Ｎｏ）、現在のアルバム内の画像の数が最大数を超えない。番号（５２５：Ｎｏ）の場合、次に５３２（図５Ｄに示す）で補正画像を出力し、補正画像を一時記憶するためのメモリ内のバッファを切り取ることができる。いくつかの実施形態では、図５Ｄを参照すると、５３３において、出力された補正画像は、画像撮影装置２０１のメモリ、例えば、セキュアデジタル（ＳＤ）カードに格納される。いくつかの実施形態では、５３３において、補正された画像も格納の前後に符号化される。

撮影画像が最初の画像ではない場合（５２０：Ｎｏ）、１以上の類似画像の数が所定の閾値以上である場合（５２２：Ｙｅｓ）または１以上の類似画像の数が所定の閾値（５２２：Ｎｏ）であるが現在のアルバム内の画像の数が最大数以上である場合（５２５：Ｙｅｓ）、次に５３４で（図５Ｄに示すように）補正された画像が画像撮影装置２０１のメモリに記憶される。いくつかの実施形態では、５３４において、補正画像が出力され、補正画像のスコアよりも低いスコアを有する１つまたは複数の類似画像の名前が出力され、補正画像を一時記憶するためのメモリ内のバッファが切り取られうる。図５Ｄを参照すると、いくつかの実施形態では、５３５で、出力された補正画像が画像撮影装置２０１のメモリ、例えばセキュアデジタル（ＳＤ）カードに格納される。いくつかの実施形態では、５３５において、補正画像は格納の前後に符号化される。いくつかの実施形態では、５３５において、補正画像のスコアより低いスコアを有する１つまたは複数の類似の画像が、画像撮影装置２０１のメモリから削除される。

撮影画像が削除可能であると判断された場合（５２４：Ｙｅｓ）または作成できないと判断された場合（５２７：Ｎｏ）、撮影画像を削除する（５３６）。図５Ｄを参照すると、５３７でプロセスは終了する。

図５Ａを参照すると、５３８で、自動モードがオフにされる。例えば、撮像装置２００は、ＵＩから自動モード解除の指示を受けた場合に、自動モードを解除することができる。脱初期化プロセスが開始される（５３９）。例えば、フィンガープリントデータベース、審美性データベース、および画像名データベースに対して脱初期化プロセスを実行することができる。初期化解除プロセスは、初期化プロセスの逆のプロセスである。図５Ｄを参照すると、５４０で、脱初期化プロセスが終了する。

本開示によれば、ユーザは、撮像装置２００を着用したり、撮像装置２００を固定した場所に配置したりすることができ、ユーザの参加を必要とせずに撮像装置２００の作業時間中に自動的に画像を撮影できる。取り込まれた画像は、画像の任意の角度でゼロチルトを確実にするために自動的に回転させることができ、回転された画像は、シーンの内容に従って自動的に合成され、より良いＦＯＶおよび妥当なレイアウトを有する画像を得ることができる。さらに、歪み補正を自動的に行うことで歪みの影響を弱めることができる。また、心地よい美観を有する画像を得ることができる。さらに、画像を自動的に選択することによって、多くの重複または類似の画像および無意味なショットを削除することができ、その結果、ユーザは、より良い品質を有する特定の数の画像だけを得て、見やすい方法で画像を見ることができる。

図６は、本開示と一致する他の例示的な撮像装置３００の概略図である。図６に示すように、撮像装置３００は、画像撮影装置３０１と、画像撮影装置３０１に接続された撮影選択回路３０２と、画像撮影装置３０１と撮影選択回路３０２とに接続された画像選択回路３０３と、画像回転補正回路３０４とを備える。３０４は画像撮影装置３０１に接続され、画像合成回路３０５は画像回転補正回路３０４および画像撮影装置３０１に接続され、画像表示回路３０６は画像合成回路３０５および画像撮影装置３０１に接続されている。画像撮影装置３０１は、画像撮影装置２０１と同様であり、詳細な説明は省略する。

画像選択回路３０３は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、ライブビュー画像内のライブビュー画像に対して選択処理を実行するように構成することができる。画像撮影装置３０１はリアルタイムで動作する。例えば、画像選択回路３０３は、ライブビュー中のライブビュー画像に対して選択処理を行い、ライブビュー画像を撮像するか否かを判定することができる。ライブビュー画像とは、画像撮影装置３０１のライブビューにおける現在のシーンの画像をいう。ここで、ライブビュー画像と現在のシーンは互換的に使用することができる。

いくつかの実施形態では、画像選択回路３０３は、審美的規則に基づいてライブビュー内のライブビュー画像をリアルタイムでスコア付けして、ライブビュー画像のスコアを決定することができる。審美的規則を決定する方法は、画像選択回路２０５が使用する方法と同様であり、その詳細な説明はここでは省略する。いくつかの実施形態では、スコアが事前設定された閾値より低い場合、画像選択回路３０３は、画像撮影装置３０１のライブビュー内のライブビュー画像を撮影しないと決定することができる。スコアが予め設定された閾値以上である場合、画像選択回路３０３は、画像撮影装置３０１のライブビュー内のライブビュー画像を撮影すると決定することができる。

いくつかの他の実施形態では、画像選択回路３０３はまた、ライブビュー画像と画像撮影装置３０１の現在のアルバム内の画像との間の類似性を判定するために、ライブビュー画像から少なくとも１つの画像特徴を抽出することができる。少なくとも１つの画像特徴は、ヒストグラム、シフト特徴、画像モーメント、または画像の指紋のうちの少なくとも１つを含むことができる。ライブビュー画像のスコアが、ライブビュー画像に類似する１つまたは複数の類似画像の最低スコアより低い場合、画像選択回路３０３は、ライブビュー画像を撮影しないと決定することができる。ライブビュー画像のスコアが１つまたは複数の類似画像の最低スコア以上である場合、画像選択回路３０３はライブビュー画像を撮影すると決定することができる。いくつかの実施形態では、ライブビュー画像のスコアよりも低いスコアを有する１つまたは複数の類似の画像を現在のアルバムから削除することができる。

いくつかの他の実施形態では、ライブビュー画像のスコアが１つまたは複数の類似の画像の最高スコアよりも低い場合、画像選択回路３０３はライブビュー画像を撮影しないと決定することができる。ライブビュー画像のスコアが１つまたは複数の類似画像の最高スコア以上である場合、画像選択回路３０３は、ライブビュー内のライブビュー画像を取り込むと決定することができ、１つまたは複数の類似画像は、現在のアルバムから削除される。

いくつかの実施形態では、画像選択回路３０３は、ライブビュー画像のスコアが閾値以上であるかどうかを示す判定結果を撮影選択回路３０２に送信することができ、撮影選択回路３０２は自動的にカメラの撮像動作をトリガすることができる。画像選択回路３０３の判定結果に応じて、画像撮影装置３０１を制御する。いくつかの実施形態では、画像選択回路３０３は撮影選択回路３０２を迂回することができる。いくつかの他の実施形態では、撮影選択回路３０２は全く省略することができる。これらの実施形態（撮影選択回路３０２がバイパスされるか省略されるかのいずれか）では、画像選択回路３０３は、画像撮影装置３０１に結合され、画像選択回路３０３の判断結果に従って画像撮影装置３０１の撮像動作を直接トリガすることができる。

撮影選択回路３０２は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含み、画像撮影装置３０１の撮像動作を自動的にトリガしてライブビューのライブ画像を撮影するように構成することができる。いくつかの実施形態では、撮影選択回路３０２は、ライブビュー画像のスコアと１つまたは複数の他の基準との組み合わせに従って撮像動作をトリガすることができる。いくつかの実施形態では、撮影選択回路３０２は、特定の意味を有するオブジェクトが現在のシーンで検出され、ライブビュー画像のスコアが閾値以上であるときに撮像動作をトリガすることができる。特定の意味は、例えば、人々、動物、顔、または笑顔を含み得るが、これらに限定されない。いくつかの実施形態では、撮影選択回路３０２は、現在のシーンの奥行きの変化が検出され、ライブビュー画像のスコアが閾値以上であるときに撮像動作をトリガすることができる。いくつかの実施形態では、撮影選択回路３０２は、現在のシーンの焦点の変化が検出され、ライブビュー画像のスコアが閾値以上であるときに撮像動作をトリガすることができる。いくつかの実施形態では、撮影選択回路３０２は、音声コマンドが受信され、ライブビュー画像のスコアが閾値以上であるときに撮像動作をトリガすることができる。いくつかの実施形態では、撮影選択回路３０２は、制御プロセスとライブビュー画像のスコアとの組み合わせに基づいて撮像動作をトリガすることができる。制御処理としては、タイマー撮影、タイムラプス撮影等が挙げられる。例えば、撮影選択回路３０２は、プリセット時間におけるライブビュー画像のスコアが閾値以上である場合、タイマー撮影を使用してプリセット時間に撮像動作をトリガすることができる。別の例として、撮影選択回路２０２は、設定された期間におけるライブビュー画像のスコアが閾値以上である場合、タイムラプス撮影を使用して設定された期間で撮像動作をトリガすることができる。

画像回転補正回路３０４は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、画像撮影装置３０１から撮影画像を受信して自動的に実行するように構成することができる。撮影画像の回転補正画像回転補正回路３０４は、画像回転補正回路２０３と同様であるため、詳細な説明は省略する。

画像合成回路３０５は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、画像回転補正回路２０３から回転された画像を受け取り、自動的に回転画像を合成し、補正画像を生成することができる。回転画像の合成方法は、画像合成回路２０４の方法と同様であるため、詳細な説明は省略する。

いくつかの実施形態では、画像合成回路３０５は、回転画像を構成する前に回転画像に対して選択プロセスを実行するように構成することもできる。いくつかの実施形態では、画像合成回路３０５は、顕著性検出に基づいて選択プロセスを実行することができる。例えば、回転画像において顕著な物体が検出されない場合、画像合成回路３０５は回転画像を破棄することができる。回転画像において少なくとも１つの顕著なオブジェクトが検出された場合、画像合成回路３０５は、回転画像における少なくとも１つの顕著なオブジェクトの位置およびサイズ情報に基づいて回転画像を構成することができる。別の例として、回転画像内で複数の顕著な物体が検出されたが画像内の顕著な物体の分布が好ましいものではない場合、画像合成回路３０５は回転画像を破棄することができる。回転画像は、回転画像内の複数の顕著な対象の分布に基づいている。例えば、画像内の顕著なオブジェクトの分布が好ましいかどうかは、分布が集中または分散する傾向に従って決定することができ、これは本明細書では限定されない。

いくつかの実施形態では、画像撮影装置３０１は、画像回転補正回路３０４および画像合成回路３０５を迂回することができる。他の実施形態では、画像回転補正回路３０４および画像合成回路３０５を全く省略することができる。これらの実施形態（画像回転補正回路３０４および画像合成回路３０５を迂回するか省略することができる）において、画像表示回路３０６は画像撮影装置３０１に結合することができ、撮影した画像を画像撮影装置３０１の現在のアルバムに直接記憶するように構成できる。

いくつかの実施形態では、画像撮影装置３０１は、画像回転補正回路３０４を迂回して、撮影した画像を画像合成回路３０５に直接送ることができる。いくつかの他の実施形態では、画像回転補正回路３０４を省略することができる。これらの実施形態（画像回転補正回路３０４をバイパスするか省略するかのいずれか）では、画像合成回路３０５を画像撮影装置３０１に結合することができ、補正画像を得るために取込画像を自動的に構成することができる。

いくつかの実施形態において、画像回転補正回路３０４は、画像合成回路３０５を迂回し、回転された画像を画像表示回路３０６に直接送ることができる。いくつかの他の実施形態では、画像合成回路３０５を全く省略することができる。これらの実施形態（画像合成回路３０５をバイパスするか省略するかのいずれか）では、回転画像を補正画像と見なすことができ、画像表示回路３０６は回転画像を直接、画像撮影装置３０１の現在のアルバムに格納することができる。

いくつかの実施形態では、撮像装置３００は、画像回転補正回路３０４および／または画像撮影装置３０１に結合された画像歪み補正回路（図６には図示せず）をさらに含み得る。画像歪み補正回路は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、撮影画像を回転させる前または後に歪み補正を実行するように構成することができる。歪みの補正方法は、歪みの種類に応じて選択することができ、任意の適切な方法が採用され得る。

撮像装置３００は、画像歪み補正回路および画像回転補正回路３０４の代わりに画像補正回路を備えてもよい。画像補正回路は、撮像画像に対して歪み補正と回転補正の両方を行うように構成することができる。

画像表示回路３０６は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、補正画像を出力するように構成することができる。例えば、画像表示回路３０６は、画像選択回路３０５から補正画像を受け取り、補正画像のスコアに応じて補正画像を現在のアルバムのキューに挿入し、現在のアルバムのキューを９つの正方グリッド中に表示することができる。画像表示回路３０６は、画像表示回路２０６と同様であるため、詳細な説明は省略する。

本開示と一致して、ユーザの参加を必要とせずに、撮像装置２００の作業時間中に心地よい美観を有する画像を自動的に撮影するようにトリガすることができる。撮影された画像は、より良いＦＯＶと妥当なレイアウトを有する画像が得られるように自動的に回転され合成されることができる。さらに、画像を自動的に選択することによって、多くの重複または類似の画像および無意味なショットを削除することができ、その結果、ユーザは、より良い品質を有する特定の数の画像のみを得て、見やすい方法で画像を見ることができる。

図７は、本開示と一貫した他の例示的な撮像装置４００の概略図である。図７に示すように、撮像装置４００は、画像撮影装置４０１と、画像撮影装置４０１に接続された撮影選択回路４０２と、画像撮影装置４０１に接続された画像回転補正回路４０３と、画像回転補正回路４０３に接続された画像選択回路４０４と、画像選択回路４０４および画像撮影装置４０１に接続された画像合成回路４０５、ならびに画像合成回路４０５および画像撮影装置４０１に接続された画像表示回路４０６とを含む。

画像撮影装置４０１は、画像撮影装置２０１と同様であり、詳細な説明は省略する。撮影選択回路４０２は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、画像撮影装置４０１の撮像動作を自動的にトリガして、ソフトウェアとハードウェアの組み合わせを使用して現在のシーンの画像を撮影するように構成することができる。撮影選択回路４０２は、撮影選択回路２０２と同様であり、詳細な説明は省略する。画像回転補正回路４０３は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、画像撮影装置４０１から撮影画像を受信して自動的に実行するように構成することができる。撮影画像の回転補正画像回転補正回路４０３は、画像回転補正回路２０３と同様であるため、詳細な説明は省略する。

画像選択回路４０４は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、画像回転補正回路２０３から回転画像を受け取り、回転画像に選択処理を実行するように構成することができる。いくつかの実施形態では、画像選択回路４０４は審美的規則に従って回転画像のスコアを決定することができる。審美的規則を決定する方法は、画像選択回路２０５が使用する方法と同様であり、その詳細な説明はここでは省略する。いくつかの実施形態では、スコアが予め設定された閾値より低い場合、画像選択回路４０４は回転された画像を破棄することを決定することができる。スコアが予め設定された閾値以上である場合、画像選択回路４０４は、合成のために回転画像を画像合成回路４０５に送ることを決定することができる。

いくつかの他の実施形態では、画像選択回路４０４はまた、回転画像と画像撮影装置４０１の現在のアルバム内の画像との間の類似性を判断するために、回転画像から少なくとも１つの画像特徴を抽出することができる。少なくとも１つの画像特徴は、ヒストグラム、シフト特徴、画像モーメント、または画像の指紋のうちの少なくとも１つを含むことができる。回転画像のスコアが、回転画像に類似する１つまたは複数の類似画像の最低スコアよりも低い場合、画像選択回路４０４は、回転画像を破棄することを決定することができる。回転画像のスコアが１つまたは複数の類似画像の最低スコア以上である場合、画像選択回路４０４は、合成のために回転画像を画像合成回路４０５に送ることを決定することができる。いくつかの実施形態では、回転された画像のスコアより低いスコアを有する１つまたは複数の類似の画像を現在のアルバムから削除することができる。

いくつかの他の実施形態では、回転画像のスコアが１つまたは複数の類似画像の最高スコアより低い場合、画像選択回路４０４は回転画像を破棄することを決定することができる。ライブビュー画像のスコアが１つまたは複数の類似画像の最高スコア以上である場合、画像選択回路４０４は、回転画像を合成のために画像合成回路４０５に送ることを決定することができ、１つまたは複数の類似画像が現在のアルバムから削除されうる。

画像合成回路４０５は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、回転画像を自動的に構成して正しい画像を生成するように構成することができる。回転画像の合成方法は、画像合成回路２０４の方法と同様であるため、詳細な説明は省略する。

いくつかの実施形態では、回転画像は現在のアルバム内に類似画像を有さず、回転画像を合成した後の補正画像は現在アルバム内に１つまたは複数の類似画像を有することができることを考慮し、合成回路４０５によって類似性判定が実施される。例えば、画像合成回路４０５は、補正画像と画像撮影装置４０１の現在のアルバム内の画像との間の類似性を判定するために、補正画像から少なくとも１つの画像特徴を抽出するように構成することができる。類似判定による選択処理は、画像選択回路２０５による選択処理と同様であるため、詳細な説明は省略する。

いくつかの実施形態では、画像撮影装置４０１は、画像回転補正回路４０３を迂回して、撮影した画像を画像選択回路４０４に直接送ることができる。いくつかの他の実施形態では、画像回転補正回路４０３を全く省略することができる。これらの実施形態では（画像回転補正回路４０３をバイパスするかまたは全く省くかのいずれかである）、画像選択回路４０４を画像撮影装置４０１に結合することができる。

いくつかの実施形態では、画像選択回路４０４は、画像合成回路４０５を迂回して回転画像を画像表示回路４０６に送ることができる。いくつかの他の実施形態では、画像合成回路４０５はまったく省略することができる。これらの実施形態（画像合成回路４０５がバイパスされるかまたは全く省略される）において、画像選択回路４０４は画像表示回路４０６に結合され得る。

いくつかの実施形態では、撮像装置４００は、画像回転補正回路４０３および／または画像撮影装置４０１に結合された画像歪み補正回路（図７には図示せず）をさらに含み得る。画像歪み補正回路は、例えば、マイクロプロセッサ、マイクロプロセッサの一部、ＡＳＩＣ、またはＡＳＩＣの一部を含むことができ、撮影画像を回転させる前または後に歪み補正を実行するように構成することができる。歪みの補正方法は、歪みの種類に応じて選択することができ、任意の適切な方法が採用され得る。

撮像装置４００は、画像歪み補正回路および画像回転補正回路４０３の代わりに画像補正回路を備えてもよい。画像補正回路は、撮像画像に対して歪み補正と回転補正の両方を行うように構成することができる。

画像表示回路４０６は、補正画像を出力するように構成することができる。例えば、画像表示回路４０６は、画像合成回路４０５または画像選択回路４０４から補正画像を受け取り、補正画像のスコアに応じて現在のアルバムのキューに補正画像を挿入し、９つの正方グリッド内に現在のアルバムのキューを表示することができる。画像表示回路４０６は、画像表示回路２０６と同様であるため、詳細な説明は省略する。

そのため、図２〜図４に示すように、撮影装置は、カメラのアルバムが存在しないことが保証されていれば、画像保存前、ライブビュー画像の撮影前、または回転画像の合成前に、画像選択回路による選択処理を実行できる。画像を複製し、アルバムに格納された画像は、ユーザの興味を満たすために高い審美的価値を有することができる。

図８は、本開示と一致する他の例示的な画像撮影装置５００の概略図である。図８に示すように、撮像装置５００は、画像撮影装置５０１と、画像撮影装置５０１に接続されたプロセッサ５０２と、プロセッサ５０２に接続されたメモリ５０３とを備える。画像撮影装置５０１は、画像撮影装置２０１と同様であり、詳細な説明は省略する。プロセッサ５０２およびメモリ５０３は一緒に、本開示と整合性のある画像処理装置を形成することができる。

プロセッサ５０２は、画像プロセッサ、画像処理エンジン、画像処理チップ、グラフィックプロセッサ（ＧＰＵ）、マイクロプロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、ネットワークプロセッサ（ＮＰ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェア成分などの任意の適切なハードウェアプロセッサであり得る。メモリ５０３は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ、フラッシュメモリ、揮発性メモリ、ハードディスク記憶装置、または光媒体などの非一時的コンピュータ可読記憶媒体を含むことができる。メモリ５０３は、コンピュータプログラム命令、画像撮影装置５０１によって撮影された画像、プロセッサ５０２によって処理された画像などを記憶することができる。

いくつかの実施形態では、プロセッサ５０２は、メモリ５０３に格納されたコンピュータプログラム命令を実行して、撮影選択回路２０２、画像回転補正回路２０３、画像合成回路２０４、画像選択回路２０５の機能を実現するように構成できる。また、撮影選択回路３０２、画像選択回路３０３、画像回転補正回路３０４、画像合成回路３０５、および／または撮像装置２００の画像表示回路２０６の機能を実現する。撮像装置３００の画像表示回路３０６、または撮影選択回路４０２、画像回転補正回路４０３、画像選択回路４０４、画像合成回路４０５、および／または撮像装置４００の画像表示回路４０６の機能を実現する。

いくつかの実施形態では、プロセッサ５０２は、メモリ５０３に格納されたコンピュータプログラム命令を実行して、後述の例示的な写真撮影方法のうちの１つなどの本開示と一致する写真撮影方法を実行するように構成できる。

例えば、プロセッサ５０２は、ソフトウェアおよびハードウェアの組み合わせを使用して画像を撮影するために画像撮影装置５０１の撮像動作をトリガし、撮影された画像を修正して修正画像を生成し、修正された画像を出力するためのコンピュータプログラム命令を実行するように構成され得る。

別の例として、プロセッサ５０２は、ソフトウェアおよびハードウェアの組み合わせを使用して現在のシーンの画像を撮影するために画像撮影装置５０１の撮像動作をトリガし、撮影された画像に対して回転補正を実行し、回転画像を合成して補正画像を生成し、補正画像に対して選択処理を行い、補正画像を出力するためのコンピュータプログラム命令を実行するように構成され得る。

別の例として、プロセッサ５０２は、ソフトウェアおよびハードウェアの組み合わせを使用して現在のシーンの画像を撮影し、撮影されたオブジェクトに対して選択プロセスを実行し、撮影した画像を出力するためにコンピュータプログラム命令を実行して画像撮影装置５０１の撮像動作をトリガするように構成され得る。

別の例として、プロセッサ５０２は、ソフトウェアおよびハードウェアの組み合わせを使用して現在のシーンの画像を撮影し、回転画像に対して選択処理を行い、回転画像を出力するために画像撮影装置５０１の撮像動作をトリガし、撮影された画像に対して回転補正を実行するためのコンピュータプログラム命令を実行するように構成され得る。

別の例として、プロセッサ５０２は、ソフトウェアおよびハードウェアの組み合わせを使用して現在のシーンの画像を撮影し、補正画像に対して選択処理を行い、補正画像を出力するために画像撮影装置５０１の撮像動作をトリガし、撮影された画像を合成して画像を生成するようにコンピュータプログラム命令を実行するように構成され得る。

別の例として、プロセッサ５０２は、リアルタイムで画像撮影装置５０１のライブビュー内のライブビュー画像に対して選択処理を実行し、画像の撮像動作をトリガしてライブビュー画像のスコアに従ってライブビュー内のライブビュー画像を撮像し、撮像画像に対して回転補正を行い、回転画像を合成して補正画像を生成し、補正画像を出力するようにコンピュータプログラム命令を実行するように構成することができる。

別の例として、プロセッサ５０２は、コンピュータプログラム命令を実行して、リアルタイムで画像撮影装置５０１のライブビュー内のライブビュー画像に対して選択処理を実行し、画像の撮像動作をトリガして、ライブビュー画像のスコアに従ってライブビュー内のライブビュー画像を撮影し、撮影された画像を合成して補正画像を生成し、補正画像を出力するように構成することができる。

別の例として、プロセッサ５０２は、リアルタイムで画像撮影装置５０１のライブビュー内のライブビュー画像に対して選択処理を実行し、画像の撮像動作をトリガしてライブビュー画像のスコアに従ってライブビュー画像内のライブビュー画像を撮影し、撮影された画像に対して回転補正を実行し、回転された画像を出力するようにコンピュータプログラム命令を実行するように構成することができる。

例えば、プロセッサ５０２は、リアルタイムで画像撮影装置５０１のライブビュー内のライブビュー画像に対して選択プロセスを実行し、撮像の撮像動作をトリガしてライブビュー画像のスコアに従ってライブビュー画像内のライブビュー画像を撮影し、撮影した画像を出力するようにコンピュータプログラム命令を実行するように構成することができる。

別の例として、プロセッサ５０２は、ソフトウェアおよびハードウェアの組み合わせを使用して現在のシーンの画像を撮影するために画像撮影装置５０１の撮像動作をトリガし、撮影された画像に対して回転補正を実行するためのコンピュータプログラム命令を実行するように構成され得る。そして、回転画像に対して選択処理を行い、回転画像を合成して補正画像を生成し、出力する。

いくつかの実施形態において、プロセッサ５０２およびメモリ５０３は、画像撮影装置５０１に統合することができる。すなわち、プロセッサ５０２を画像撮影装置５０１の画像処理チップとし、メモリ５０３を画像撮影装置５０１のメモリとすることができる。

本開示と一致する例示的な撮影方法を、以下でさらに詳細に説明する。本開示に係る撮影方法は、上述した撮像装置２００、撮像装置３００、撮像装置４００、または撮像装置５００などの本開示に係る撮影装置において実施することができる。

図９は、本開示と整合性のある例示的な撮影方法６００のフローチャートである。撮影方法６００は、上述した撮像装置２００または撮像装置５００において実施することができる。

図９を参照すると、６０１で、ソフトウェアとハードウェアの組み合わせを使用してカメラの撮像動作が自動的にトリガされて画像を取り込む。いくつかの実施形態では、カメラの撮像動作は、特定の意味を有するオブジェクトが現在のシーンで検出されたときにトリガすることができる。特定の意味は、例えば、人々、動物、顔、または笑顔を含み得るが、これらに限定されない。いくつかの実施形態では、現在のシーンの奥行きの変化に応答してカメラの撮像動作をトリガすることができる。いくつかの実施形態では、カメラの撮像動作は、現在のシーンの焦点の変化に応答してトリガされ得る。いくつかの実施形態では、カメラの撮像動作は音声コマンドを介してトリガすることができる。いくつかの実施形態では、カメラの撮像動作は制御プロセスを介してトリガすることができる。制御処理としては、タイマー撮影、タイムラプス撮影等が挙げられる。いくつかの実施形態では、カメラの撮像動作は、上述した異なる基準の任意の組み合わせに従って起動することができる。

６０１の処理は、上述した撮像装置２００の撮影選択回路２０２または撮像装置５００のプロセッサ５０２において実現可能であるため、詳細な説明は省略する。

６０２において、取り込まれた画像は自動的に回転される。いくつかの実施形態では、カメラの姿勢情報は、例えば、ＩＭＵなどの、カメラに取り付けられたまたはカメラに結合された１つまたは複数の姿勢センサを介して取得することができる。姿勢情報は、カメラのヨー軸情報、ピッチ軸情報、またはロール軸情報のうちの少なくとも１つを含み得る。カメラの姿勢情報に応じて、撮影画像を回転させることができる。例えば、カメラの姿勢情報と目標姿勢との差に応じて撮影画像を回転させることができる。いくつかの他の実施形態では、取り込まれた画像内の水平線または垂直線を検出して、ロール方向の傾斜角を得ることができる。傾斜角が閾値より小さいとき、撮影画像は傾斜角に従ってロール方向に回転することができる。

いくつかの実施形態では、歪み補正は、取り込まれた画像を回転させる前または後に実行することができる。

６０２の処理は、上述した撮像装置２００の画像回転補正回路２０３または撮像装置５００のプロセッサ５０２において実現可能であるため、ここでの詳細な説明は省略する。

６０３で、回転画像は自動的に合成されて補正画像が生成される。いくつかの実施形態では、回転された画像は、顕著性検出および合成規則に基づいて合成することができる。１つまたは複数の顕著な物体は、取り込まれた画像内で検出することができる。回転された画像における１つ以上の顕著な物体の位置およびサイズ情報、または１つ以上の顕著な物体の分布が得られ得る。回転された画像は、回転された画像内の１つまたは複数の顕著なオブジェクトの位置およびサイズ情報または分布規則および合成規則に従って、切り取られて合成画像を得ることができる。合成規則は、中央合成規則、トライアド合成規則、水平線合成規則、対称合成規則、対角線合成規則などを含むことができるが、これらに限定されない。合成画像は、例えば、カメラの画面またはカメラの外部のディスプレイのアスペクト比に従って、補正された画像を得るために拡大縮小またはさらにトリミングすることができる。

いくつかの他の実施形態では、回転画像はネットワークモデルまたはツリー構造を介して合成することができる。ネットワークモデルは、複数のサンプルに基づくトレーニングによって得ることができる。回転画像は、ネットワークモデルまたは木構造に入力することができる。回転された画像は、クロッピング座標および倍率を得るために、ネットワークモデルまたは木構造に従って処理することができる。回転された画像は、クロッピング座標に従って合成画像を得るためにクロッピングすることができ、スケーリング係数に従って補正画像を得るために合成画像をスケーリングすることができる。

６０３の処理は、上述した撮像装置２００の画像合成回路２０４または撮像装置５００のプロセッサ５０２において実現可能であるため、詳細な説明は省略する。

６０４において、選択プロセスは補正画像に対して実行され得る。選択プロセスは、補正された画像を記憶するか表示するかを決定するように構成することができる。いくつかの実施形態では、補正画像のスコアは審美的規則に従って決定することができる。スコアが予め設定された閾値より低い場合、補正された画像は破棄されることができ、そしてスコアが予め設定された閾値以上である場合、補正された画像は記憶されることができる。いくつかの実施形態では、審美的規則は、信号対雑音比（ＳＮＲ）、コントラスト、ヒストグラム分布、画像飽和度、情報エントロピー、ＡＥ値、ＡＦ値、ＡＷＢ値、または人物、笑顔、日の出、ペットなどの候補画像の高得点オブジェクトのうちの少なくとも１つに従って決定できる。いくつかの他の実施形態では、審美的規則は訓練されたモデルに従って決定することができる。訓練されたモデルは、事前評価されたスコアのデータセットを使用して訓練することによって取得できる。

いくつかの実施形態では、少なくとも１つの画像特徴に従って、補正された画像に類似する１つまたは複数の類似の画像を現在のアルバム内で決定することができる。いくつかの実施形態では、補正画像のスコアが１つまたは複数の類似画像の最低スコアよりも低い場合、補正画像を破棄することができる。補正画像のスコアが１つ以上の類似画像の最低スコア以上である場合、補正画像を記憶することができる。いくつかの実施形態では、補正された画像のスコアよりも低いスコアを有する１つまたは複数の類似の画像を現在のアルバムから削除することができる。いくつかの他の実施形態では、補正画像のスコアが１つまたは複数の類似画像の最高スコアよりも低い場合、補正画像を破棄することができる。補正画像のスコアが１つ以上の類似画像の最高スコア以上である場合、補正画像を記憶することができる。いくつかの実施形態では、１つまたは複数の類似の画像を現在のアルバムから削除することができる。

６０４の処理は、上述した撮像装置２００の画像選択回路２０５または撮像装置５００のプロセッサ５０２において実現可能であるため、詳細な説明は省略する。

６０５において、補正画像が出力される。いくつかの実施形態では、補正画像のスコアに従って、補正画像を現在のアルバムのキューに挿入することができる。現在のアルバムのキューは、順番に表示することも、９つの正方グリッドに表示することもできる。

６０５の処理は、上述した撮像装置２００の画像表示回路２０６または撮像装置５００のプロセッサ５０２において実現可能であるため、ここでの詳細な説明は省略する。

いくつかの実施形態では、６０２および／または６０３のプロセスは省略することができる。例えば、６０２の処理を省略した場合は、撮像画像を直接合成することができる。他の例として、６０３の処理を省略した場合は、回転画像に対して直接選択処理を行うことができる。他の例として、６０２、６０３の処理を省略した場合は、撮像画像に対して直接選択処理を行うことができる。

図１０は、本開示と一貫した他の例示的な撮影方法７００のフローチャートである。撮影方法７００は、上述した撮像装置３００または撮像装置５００において実施することができる。

図１０を参照すると、７０１で、審美的規則に基づいてライブビュー内のライブビュー画像に対して選択プロセスがリアルタイムで実行され、ライブビュー画像のスコアが決定される。審美的規則は、信号対雑音比（ＳＮＲ）、コントラスト、ヒストグラム分布、画像飽和度、情報エントロピー、自動露出値、オートフォーカス値、オートホワイトバランス値、オートホワイトバランス値またはライブビュー画像の高得点オブジェクトの少なくとも１つに従って決定することができる。

７０２で、ライブビュー画像のスコアが閾値以上である場合、撮像動作が自動的にトリガされる。例えば、スコアが予め設定された閾値より低い場合、ライブビュー画像を撮影するための撮像動作はトリガされない。スコアが予め設定された閾値以上である場合、ライブビュー画像を撮影するために撮像動作が自動的にトリガされ得る。いくつかの実施形態では、ライブビュー画像とカメラの現在のアルバム内の画像との間の類似性を判定するために、少なくとも１つの画像特徴をライブビュー画像からさらに抽出することができる。ライブビュー画像のスコアが、現在のアルバム内のライブビュー画像に類似する１つまたは複数の類似の画像の最低スコアまたは最高スコア以上である場合、撮像動作は自動的にトリガされ得る。

７０１および７０２の処理は、上述した撮像装置３００の画像選択回路３０３または撮像装置５００のプロセッサ５０２において実現可能であるため、詳細な説明は省略する。

７０３で、取り込まれた画像は自動的に回転される。いくつかの実施形態では、カメラの姿勢情報は、例えば、ＩＭＵなどの、カメラに取り付けられたまたはカメラに結合された１つまたは複数の姿勢センサを介して取得することができる。姿勢情報は、カメラのヨー軸情報、ピッチ軸情報、またはロール軸情報のうちの少なくとも１つを含み得る。カメラの姿勢情報に応じて、撮影画像を回転させることができる。例えば、カメラの姿勢情報と目標姿勢との差に応じて撮影画像を回転させることで、回転画像の姿勢を目標姿勢に合わせることができる。いくつかの他の実施形態では、取り込まれた画像内の水平線または垂直線を検出して、ロール方向の傾斜角を得ることができる。傾斜角が閾値より小さいとき、撮影画像は傾斜角に従ってロール方向に回転することができる。

いくつかの実施形態では、歪み補正は、取り込まれた画像を回転させる前または後に実行することができる。

７０３の処理は、上述した撮像装置３００の画像回転補正回路３０４または撮像装置５００のプロセッサ５０２において実現可能であるため、詳細な説明は省略する。

７０４で、回転画像は自動的に合成されて補正画像が生成される。いくつかの実施形態では、回転された画像は、顕著性検出および合成規則に基づいて合成することができる。１つまたは複数の顕著な物体は、取り込まれた画像内で検出することができる。回転された画像における１つ以上の顕著な物体の位置およびサイズ情報、または１つ以上の顕著な物体の分布が得られ得る。回転された画像は、回転された画像内の１つまたは複数の顕著なオブジェクトの位置およびサイズ情報または分布規則および合成規則に従って、切り取られて合成画像を得ることができる。合成規則は、中央合成規則、トライアド合成規則、水平線合成規則、対称合成規則、対角線合成規則などを含むことができるが、これらに限定されない。合成画像は、例えば、カメラの画面またはカメラの外部のディスプレイのアスペクト比に従って、補正された画像を得るために拡大縮小またはさらにトリミングすることができる。

いくつかの他の実施形態では、回転画像はネットワークモデルまたはツリー構造を介して合成することができる。ネットワークモデルは、複数のサンプルに基づくトレーニングによって得ることができる。回転画像は、ネットワークモデルまたは木構造に入力することができる。回転された画像は、クロッピング座標および倍率を得るために、ネットワークモデルまたは木構造に従って処理することができる。回転された画像は、クロッピング座標に従って合成画像を得るためにクロッピングすることができ、スケーリング係数に従って補正画像を得るために合成画像をスケーリングすることができる。

７０４の処理は、上述した撮像装置３００の画像合成回路３０５または撮像装置５００のプロセッサ５０２において実現可能であるため、詳細な説明は省略する。

７０５において、補正画像が出力される。いくつかの実施形態では、補正画像のスコアに従って、補正画像を現在のアルバムのキューに挿入することができる。現在のアルバムのキューは、順番に表示することも、９つの正方グリッドに表示に表示することもできる。

７０５の処理は、上述した撮像装置３００の画像表示回路３０６または撮像装置５００のプロセッサ５０２において実現可能であるため、ここでの詳細な説明は省略する。

いくつかの実施形態では、７０３および／または７０４のプロセスは省略することができる。例えば、７０３の処理を省略した場合は、撮像画像を直接合成することができる。他の例として、７０４の処理を省略した場合は、回転画像をそのまま出力することができる。他の例として、７０３、７０４の処理を省略した場合は、撮像画像を直接出力することができる。

図１１は、本開示と一貫した他の例示的な撮影方法８００のフローチャートである。撮影方法８００は、上述した撮像装置３００または撮像装置５００において実施することができる。

図１１を参照すると、８０１で、審美的規則に基づいて、ライブビュー内のライブビュー画像に対して選択プロセスがリアルタイムで実行され、ライブビュー画像のスコアが決定される。８０１の処理は、上述した撮像装置３００の画像選択回路３０３または撮像装置５００のプロセッサ５０２において実現可能であるため、詳細な説明は省略する。

８０２で、ライブビュー画像のスコアと１つまたは複数の他の基準との組み合わせに従って、撮像動作が自動的にトリガされる。いくつかの実施形態では、特定の意味を有するオブジェクトが現在のシーンで検出され、ライブビュー画像のスコアが閾値以上であるときに、撮像動作を自動的にトリガすることができる。特定の意味は、例えば、人々、動物、顔、または笑顔を含み得るが、これらに限定されない。いくつかの実施形態では、現在のシーンの奥行きの変化が検出され、ライブビュー画像のスコアが閾値以上であるときに、撮像動作を自動的にトリガすることができる。いくつかの実施形態では、現在のシーンの焦点の変化が検出され、ライブビュー画像のスコアが閾値以上であるときに、撮像動作を自動的にトリガすることができる。いくつかの実施形態では、音声コマンドが受信され、ライブビュー画像のスコアが閾値以上であるときに、撮像動作を自動的にトリガすることができる。いくつかの実施形態では、制御プロセスとライブビュー画像のスコアとの組み合わせに基づいて、撮像動作を自動的にトリガすることができる。制御処理としては、タイマー撮影、タイムラプス撮影等が挙げられる。

８０２の処理は、上述した撮像装置３００の撮影選択回路３０２または撮像装置５００のプロセッサ５０２において実現可能であるため、詳細な説明は省略する。

８０３で、取り込まれた画像は自動的に回転される。８０３の処理は７０３の処理と同様であるため、詳細な説明は省略する。８０３の処理は、上述した撮像装置３００の画像回転補正回路３０４または撮像装置５００のプロセッサ５０２において実現することができる。

８０４で、回転画像は自動的に合成されて補正画像が生成される。８０４の処理は７０４の処理と同様であるため、詳細な説明は省略する。８０４の処理は、上述した撮像装置３００の画像合成回路３０５または撮像装置５００のプロセッサ５０２において実現可能であるため、詳細な説明は省略する。

８０５において、補正画像が出力される。８０５の処理は７０５の処理と同様であるため、詳細な説明は省略する。８０５の処理は、上述した撮像装置３００の画像表示回路３０６または撮像装置５００のプロセッサ５０２において実現可能であるため、詳細な説明は省略する。

いくつかの実施形態では、８０３および／または８０４のプロセスは省略することができる。例えば、８０３の処理を省略した場合は、撮像画像を直接合成することができる。他の例として、８０４の処理を省略した場合は、回転画像をそのまま出力することができる。他の例として、８０３、８０４の処理を省略した場合は、撮像画像を直接出力することができる。

図１２は、本開示と一貫した他の例示的な撮影方法９００のフローチャートである。撮影方法９００は、上述した撮像装置４００または撮像装置５００において実施することができる。

図１２に示すように、９０１で、ソフトウェアとハードウェアの組み合わせを使用してカメラの撮像動作が自動的にトリガされて画像を取り込む。９０１の処理は、６０１の処理と同様であり、詳細な説明は省略する。９０１の処理は、上述した撮像装置４００の撮影選択回路４０２または撮像装置５００のプロセッサ５０２において実現することができる。

９０２において、取り込まれた画像は自動的に回転される。９０２の処理は、６０２の処理と同様であり、詳細な説明は省略する。９０２の処理は、上述した撮像装置４００の画像回転補正回路４０３または撮像装置５００のプロセッサ５０２において実現することができる。

９０３で、回転処理された画像に対して選択プロセスが実行される。いくつかの実施形態では、回転された画像のスコアは審美的規則に従って決定することができる。スコアが事前設定されたしきい値より低い場合、回転した画像は破棄される可能性がある。スコアが予め設定された閾値以上である場合、回転された画像はさらなる処理のために保持され得る。いくつかの他の実施形態では、回転画像とカメラの現在のアルバム内の画像との間の類似性を判断するために、回転画像から少なくとも１つの画像特徴を抽出することができる。回転画像のスコアが、回転画像に類似する１つまたは複数の類似画像の最低スコアまたは最高スコアよりも低い場合、回転画像は破棄することができる。回転画像のスコアが１つ以上の類似画像の最低スコアまたは最高スコア以上である場合、回転画像はさらなる処理のために保持され得る。いくつかの実施形態では、回転された画像のスコアより低いスコアを有する１つまたは複数の類似の画像を現在のアルバムから削除することができる。

９０３の処理は、上述した撮像装置４００の画像選択回路４０４または撮像装置５００のプロセッサ５０２において実現可能であるため、ここでの詳細な説明は省略する。

９０４で、回転画像は自動的に合成されて補正画像が生成される。９０４の処理は、６０３の処理と同様であり、詳細な説明は省略する。９０４の処理は、上述した撮像装置４００の画像合成回路４０５または撮像装置５００のプロセッサ５０２において実現することができる。

９０５において、補正画像が出力される。９０５の処理は、６０５の処理と同様であるため、詳細な説明は省略する。９０５の処理は、上述した撮像装置４００の画像表示回路４０６または撮像装置５００のプロセッサ５０２において実現可能であるため、詳細な説明は省略する。

図１３は、本開示と整合する別の例示的な撮影方法１０００のフローチャートである。撮影方法１０００は、例えば上述した撮像装置５００において実施することができる。

図１３を参照すると、１００１において、ソフトウェアとハードウェアの組み合わせを使用してカメラの撮像動作が自動的にトリガされて画像を取り込む。１００１の処理は、６０１の処理と同様であるため、詳細な説明は省略する。１００１の処理は、上述した撮像装置５００のプロセッサ５０２内で実施することができる。

１００２で、撮影画像を補正して補正画像を生成する。いくつかの実施形態では、選択プロセスは撮影画像に対して実行することができ、選択後の撮影画像は補正画像とすることができる。選択処理は、６０４の処理で説明した選択処理と同様であり、詳細な説明は省略する。いくつかの実施形態では、撮影画像を回転させて補正画像（すなわち回転画像）を生成することができる。回転補正方法は、６０２の処理で説明した回転補正方法と同様であり、詳細な説明は省略する。いくつかの実施形態では、取り込まれた画像を回転させて回転画像を生成することができ、回転画像を合成して補正画像を生成することができる。合成方法は、６０３の処理で説明した合成方法と同様であり、詳細な説明は省略する。いくつかの実施形態では、取り込まれた画像は、補正画像を生成するように構成することができる。いくつかの他の実施形態では、歪み補正は、取り込まれた画像または回転された画像に対して実行することができる。

１００３において、補正画像が出力される。１００３の処理は６０５の処理と同様であるため、詳細な説明は省略する。１００３の処理は、上述した撮像装置５００のプロセッサ５０２内で実施することができるので、詳細な説明は省略する。

簡略化の目的で、例示的な方法のプロセスの詳細な説明は省略されることがあり、例示的な装置の説明を参照することができる。

開示された装置および方法は、本明細書に記載されていない他の方法で実施されてもよい。例えば、上述の装置は単なる例示である。例えば、ユニットの分割は論理的な機能分割のみであり得、ユニットを分割する他の方法があり得る。例えば、複数のユニットまたは構成要素を組み合わせてもよく、または別のシステムに統合してもよく、あるいはいくつかの特徴を無視してもよく、または実行しなくてもよい。

別々の構成要素として説明されているユニットは、物理的に分離されていてもいなくてもよく、ユニットとして示されている構成要素は物理的ユニットであってもなくてもよい。すなわち、ユニットは一箇所に配置されていてもよいし、複数のネットワーク要素にわたって分散されていてもよい。本開示の目的を達成するために実際の必要性に応じて構成要素のいくつかまたはすべてを選択することができる。

さらに、本開示の様々な実施形態における機能ユニットは、１つの処理ユニットに統合されてもよく、または各ユニットは個々の物理的ユニットであってもよく、あるいは２つ以上のユニットが１つのユニットに統合されてもよい。

本開示の他の実施形態は、本明細書の考察および本明細書に開示された実施形態の実施から当業者には明らかであろう。明細書および実施例は例示としてのみ考慮されるべきであり、本開示の範囲を限定するものではなく、本発明の真の範囲および精神は特許請求の範囲によって示されることが意図される。

Claims (27)

1. 所定の条件が満たされたときに画像撮影装置の撮像動作をトリガする撮影選択部と、
   前記画像撮影装置によって得られた撮影画像を合成して補正画像を生成する画像合成部と、
   前記補正画像を出力する画像出力部と、
   を備え、
   前記撮影選択部は、少なくとも、特定の意味を有する、人、動物、顔、または笑顔のうちの少なくとも１つを含むオブジェクトが検出されたとき、及び現在のシーンの奥行きまたは焦点に変化が生じたときに前記撮像動作をトリガし、
   前記画像出力部は、審美的規則に従って決定される前記補正画像のスコアに従って、前記補正画像を現在のアルバムのキューに挿入し、現在のアルバムのキューを表示する撮像装置。
2. 前記撮影選択部は、音声コマンドが受信されたときに前記撮像動作をトリガする請求項１に記載の撮像装置。
3. 前記撮影選択部は、タイマー撮影またはタイムラプス撮影を含む制御処理が実行されたときに前記撮像動作をトリガする請求項１または２に記載の撮像装置。
4. 前記撮影選択部は、審美的規則に基づいてライブビュー画像をリアルタイムで採点することによって得られたスコアが閾値以上である場合に、前記撮像動作をトリガする請求項１から３のいずれか一項に記載の撮像装置。
5. 前記審美的規則は、信号対雑音比（ＳＮＲ）、コントラスト、ヒストグラム分布、画像飽和度、情報エントロピー、自動露出値、オートフォーカス値、オートホワイトバランス値、またはライブビュー画像の高得点オブジェクトのうちの少なくとも１つに従って定められる請求項１から４のいずれか一項に記載の撮像装置。
6. 前記画像合成部は、前記撮影画像内の特徴的なオブジェクトを検出し、前記特徴的なオブジェクトの位置およびサイズ情報を取得し、合成規則と、前記特徴的なオブジェクトの位置およびサイズ情報とに従って合成画像を取得し、前記合成画像を拡大縮小して補正画像を取得する請求項１から５のいずれか一項に記載の撮像装置。
7. 前記合成規則は、中央合成規則、トライアド合成規則、水平線合成規則、対称合成規則、または対角合成規則のうちの少なくとも１つを含む、請求項６に記載の撮像装置。
8. 前記画像合成部は、ネットワークモデルまたはツリー構造を取得し、前記ネットワークモデルまたは前記ツリー構造に従って前記撮影画像を処理して、クロッピング座標および倍率を取得し、前記クロッピング座標に従って取り込まれた画像をトリミングして合成画像を取得し、前記倍率に従って前記合成画像をスケーリングして補正画像を得る請求項１から７のいずれか一項に記載の撮像装置。
9. 所定の条件が満たされたときに画像撮影装置の撮像動作をトリガする撮影選択部と、
   前記画像撮影装置によって得られた撮影画像を合成して補正画像を生成する画像合成部と、
   前記補正画像を出力する画像出力部と、
   を備え、
   前記撮影選択部は、少なくとも、特定の意味を有する、人、動物、顔、または笑顔のうちの少なくとも１つを含むオブジェクトが検出されたとき、及び現在のシーンの奥行きまたは焦点に変化が生じたときに前記撮像動作をトリガし、
   前記画像合成部は、ネットワークモデルまたはツリー構造を取得し、前記ネットワークモデルまたは前記ツリー構造に従って前記撮影画像を処理して、クロッピング座標および倍率を取得し、前記クロッピング座標に従って取り込まれた画像をトリミングして合成画像を取得し、前記倍率に従って前記合成画像をスケーリングして補正画像を得る撮像装置。
10. 前記ネットワークモデルは、複数のサンプルに基づいて訓練することによって得られる請求項８または９に記載の撮像装置。
11. 前記画像合成部は、前記撮影画像を合成する前に前記撮影画像を回転させる、請求項１から１０のいずれか一項に記載の撮像装置。
12. 前記画像合成部は、ヨー軸情報、ピッチ軸情報、またはロール軸情報のうちの少なくとも１つを含む、前記画像撮影装置の姿勢情報に従って撮影画像を回転させる、請求項１１に記載の撮像装置。
13. 前記画像合成部は、前記撮影画像内の水平線を検出して、ロール方向の傾斜角を取得し、前記傾斜角が閾値よりも小さい場合に、前記傾斜角に従って前記撮影画像をロール方向に回転させる、請求項１２に記載の撮像装置。
14. 前記画像合成部は、前記撮影画像を回転させる前または後に、前記撮影画像に対して歪み補正を実行する請求項１３に記載の撮像装置。
15. 得られた前記撮影画像または前記補正画像である候補画像に対して選択処理を行う画像選択部をさらに備える、請求項１から１４のいずれか一項に記載の撮像装置。
16. 前記画像選択部は、審美的規則に従って前記候補画像のスコアを決定する、請求項１５に記載の撮像装置。
17. 前記画像選択部は、前記スコアが予め設定された閾値より低い場合、前記候補画像を破棄し、前記スコアが予め設定された閾値以上である場合、候補画像を保存する請求項１６に記載の撮像装置。
18. 前記画像選択部は、少なくとも１つの画像特徴に従って、前記候補画像に類似する現在のアルバム内の１つ以上の類似画像を決定し、
    前記候補画像のスコアが１つまたは複数の類似画像の最低スコアよりも低い場合、前記候補画像を破棄し、
    候補画像のスコアが１つまたは複数の類似画像の最低スコア以上である場合、前記候補画像を記憶する請求項１６または１７に記載の撮像装置。
19. 所定の条件が満たされたときに画像撮影装置の撮像動作をトリガする撮影選択部と、
    前記画像撮影装置によって得られた撮影画像を合成して補正画像を生成する画像合成部と、
    前記補正画像を出力する画像出力部と、
    を備え、
    前記撮影選択部は、少なくとも、特定の意味を有する、人、動物、顔、または笑顔のうちの少なくとも１つを含むオブジェクトが検出されたとき、及び現在のシーンの奥行きまたは焦点に変化が生じたときに前記撮像動作をトリガし、
    得られた前記撮影画像または前記補正画像である候補画像に対して選択処理を行う画像選択部をさらに備え、
    前記画像選択部は、審美的規則に従って前記候補画像のスコアを決定し、
    少なくとも１つの画像特徴に従って、前記候補画像に類似する現在のアルバム内の１つ以上の類似画像を決定し、
    前記候補画像のスコアが１つまたは複数の類似画像の最低スコアよりも低い場合、前記候補画像を破棄し、
    候補画像のスコアが１つまたは複数の類似画像の最低スコア以上である場合、前記候補画像を記憶する撮像装置。
20. 前記画像選択部は、少なくとも１つの画像特徴に従って、前記候補画像に類似する現在のアルバム内の１つ以上の類似画像を決定し、
    前記候補画像のスコアが１つ以上の類似画像の最高スコアよりも低い場合、前記候補画像を破棄し、
    前記候補画像のスコアが１つまたは複数の類似画像の最高スコア以上である場合、前記候補画像を記憶する請求項１６から１９のいずれか一項に記載の撮像装置。
21. 所定の条件が満たされたときに画像撮影装置の撮像動作をトリガする撮影選択部と、
    前記画像撮影装置によって得られた撮影画像を合成して補正画像を生成する画像合成部と、
    前記補正画像を出力する画像出力部と、
    を備え、
    前記撮影選択部は、少なくとも、特定の意味を有する、人、動物、顔、または笑顔のうちの少なくとも１つを含むオブジェクトが検出されたとき、及び現在のシーンの奥行きまたは焦点に変化が生じたときに前記撮像動作をトリガし、
    得られた前記撮影画像または前記補正画像である候補画像に対して選択処理を行う画像選択部をさらに備え、
    前記画像選択部は、審美的規則に従って前記候補画像のスコアを決定し、
    少なくとも１つの画像特徴に従って、前記候補画像に類似する現在のアルバム内の１つ以上の類似画像を決定し、
    前記候補画像のスコアが１つ以上の類似画像の最高スコアよりも低い場合、前記候補画像を破棄し、
    前記候補画像のスコアが１つまたは複数の類似画像の最高スコア以上である場合、前記候補画像を記憶する撮像装置。
22. 前記少なくとも１つの画像特徴は、ヒストグラム、シフト特徴、画像モーメント、または画像の指紋のうちの少なくとも１つを含む、請求項１８から２１のいずれか一項に記載の撮像装置。
23. 前記審美的規則は、信号対雑音比（ＳＮＲ）、コントラスト、ヒストグラム分布、画像飽和度、情報エントロピー、自動露出値、オートフォーカス値、オートホワイトバランス値、または候補画像の高得点オブジェクトのうちの少なくとも１つに従って決定される、請求項１６から２２のいずれか一項に記載の撮像装置。
24. 前記候補画像の前記スコアは、事前評価済みスコアのデータセットに基づくトレーニング済みモデルに従って決定される請求項１６から２３のいずれか一項に記載の撮像装置。
25. 前記画像出力部は、審美的規則に従って決定される前記補正画像のスコアに従って、前記補正画像を現在のアルバムのキューに挿入し、現在のアルバムのキューを表示する請求項１を引用しない請求項９から２４のいずれか一項に記載の撮像装置。
26. 前記画像出力部は、９つの正方グリッドに前記現在のアルバムのキューを表示する、請求項１から８及び２５のいずれか一項に記載の撮像装置。
27. 請求項１から２６のいずれか一項に記載の撮像装置による撮像方法であって、
    所定の条件が満たされたときに画像撮影装置の撮像動作をトリガするステップと、
    前記画像撮影装置によって得られた撮影画像を合成して補正画像を生成するステップと、
    前記補正画像を出力するステップと、
    を備える撮像方法。

Images