JP5864783B2 - 操作者不在画像キャプチャのための方法および装置 - Google Patents

操作者不在画像キャプチャのための方法および装置 Download PDF

Info

Publication number
JP5864783B2
JP5864783B2 JP2014555624A JP2014555624A JP5864783B2 JP 5864783 B2 JP5864783 B2 JP 5864783B2 JP 2014555624 A JP2014555624 A JP 2014555624A JP 2014555624 A JP2014555624 A JP 2014555624A JP 5864783 B2 JP5864783 B2 JP 5864783B2
Authority
JP
Japan
Prior art keywords
image
score
face
subject
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014555624A
Other languages
English (en)
Other versions
JP2015512190A (ja
JP2015512190A5 (ja
Inventor
ウ、フン−シン
シャンムガバディベル、カルティケヤン
リウ、シジョン
マ、ワン・シュン・ビンセント
ゴリケリ、アダルシュ・アブハイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015512190A publication Critical patent/JP2015512190A/ja
Publication of JP2015512190A5 publication Critical patent/JP2015512190A5/ja
Application granted granted Critical
Publication of JP5864783B2 publication Critical patent/JP5864783B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

[0001] 本願の実施形態は、画像化デバイスに関し、より詳細には、画像化デバイスを用いた画像の操作者不在(unattended)キャプチャのための方法および装置に関する。
[0002] デジタル画像化デバイスの1つの一般的な使用は、操作者不在画像キャプチャである。操作者不在画像キャプチャモードは、グループのすべてのメンバが画像に含まれることを望む場合に使用されうる。この事例では、画像がキャプチャされる際、だれも画像化デバイスを操作する(attend to)ことができない可能性がある。これは特に、画像化デバイス上に位置付けられた典型的な「シャッタリリース」ボタンを使用して画像がキャプチャされる場合に当てはまる。この使用事例に対処するために、デジタル画像化デバイスの特徴として「セルフタイマ」が定着している。セルフタイマは、シャッタリリースが押されてから画像がキャプチャされるまでの間に遅延を提供する。この遅延は、シャッタリリースボタンを押して、撮影されるシーンに入り込む機会を撮影者に提供する。タイマが満了になると、撮影者が画像の中で成功裏に位置につく(position themselves)ことができたか否かに関わらず、かつ、タイマが満了になったときに画像のその他の被写体の準備が整っていたか否かに関わらず画像がキャプチャされる。
[0003] セルフタイマに加え、いくつかの画像化デバイスは、操作者不在画像キャプチャを助けるために遠隔制御能力を提供する。遠隔制御能力がある場合、セルフタイマを使用する必要性はそれ程ない可能性がある。代わりに、遠隔制御を有する「撮影者」は、画像化デバイスによってキャプチャされるシーン内で位置につくことができる。遠隔制御上の「シャッタリリース」ボタンをアクティブ化することは、画像をキャプチャするように画像化デバイスに遠隔でコマンドするだろう。遠隔制御が写真に写らないように撮影者がそれを配置することができた場合、遠隔制御は、操作者不在画像キャプチャについて良い解決策を提供することができる。
[0004] 残念ながら、カメラの後ろに撮影者がいない状態で画像をキャプチャしようと試みる際に生じうる多くの問題が存在する。これは、少なくとも部分的に、画像がキャプチャされる前に撮影者がシーンをプレビュできないことが原因でありうる。シーンは動的な場合が多く、シーンの被写体が撮影される準備をするのに伴って変化しうる。例えば、撮影者が最初にファインダを覗いたとき、または、電子ディスプレイを介してシーンを初めてプレビュしたとき、いくつかの被写体は、画像フレーム内で適切に位置についていない可能性がある。加えて、いくつかの被写体は、カメラを見ていないか、または、所望の写真を得るための適切な表情をしていない可能性がある。しかしながら、しかるべき瞬間を待つことで、被写体の位置が改善され、被写体がカメラの方を向いて笑顔になることができ、それによって、撮影者は所望の画像を得ることができる。次に、撮影者は、スナップショット画像をキャプチャしうる。
[0005] いくつかの撮影者は、ふさわしい(right)瞬間を待つだけではなく、代わりに、撮影される被写体に指示を出す(provide guidance)ことも行いうる。例えば、撮影者は、ある被写体に対して、別の被写体に近づくように、または、画像の中心に寄るよう求めることができる。撮影者はまた、例えば、笑顔になるように、および、カメラを見るように被写体に求めることにより、表情について被写体を指導しうる。次に、撮影者が、画像化されるシーンが所望のスナップショットを生成することとなる位置へと被写体を指導すると、撮影者は、スナップショット画像をキャプチャしうる。
[0006] しかしながら、セルフタイマは、被写体がシーン内で適切に位置につくのを待たず、代わりに、特定の時間量が経過した後に画像をキャプチャする。すべての被写体が適切に位置についているか否かに関わらずスナップショットがキャプチャされる。遠隔制御を使用してスナップショット画像をキャプチャすることで、遠隔制御を有する「撮影者」は、被写体に指示する役割を担うことができるが、シーン内の撮影者のロケーションは、キャプチャされたときに画像がどのように見える(appear)こととなるかについての視点(perspective)を彼または彼女に与えない可能性がある。これは、彼らが提供するあらゆる指示の実用性を制限しうる。例えば、彼らは、すべての被写体が適切に位置についているか否か、または、写真のすべての被写体が所望の表情をしているか否かについてコメントすることができない可能性がある。
[0007] 本願の実施形態のいくつかは、デジタル画像化デバイスを用いて画像をキャプチャする方法を含みうる。方法は、画像センサを用いてシーンの画像をキャプチャすることと、画像内の複数の被写体を決定することと、画像内の2つ以上の被写体の各々について被写体スコアを決定することと、被写体スコアに少なくとも部分的に基づいて画像スコアを決定することと、画像スコアが閾値を上回る場合、画像センサを用いてシーンのスナップショット画像をキャプチャし、このスナップショット画像をデータ記憶装置に記憶することと、画像スコアが閾値を下回る場合、被写体のスコアに基づいてプロンプト(prompt)を出力することとを含む。いくつかの実施形態において、方法はまた、キャプチャされた画像内の顔を検出することを含む。いくつかの実施形態において、方法はまた、検出された顔と名称(name)を関連付けるために、検出された顔に対して顔認識を実行することを含む。いくつかの実施形態において、プロンプトを出力することは、この名称に基づく。
[0008] いくつかの他の実施形態において、画像をスコアリングすることは、顔位置スコア、顔オブスキュレーションスコア(face obscuration score)、顔ブリンクスコア(face blink score)、顔スマイルスコア(face smile score)、または、顔注視スコア(face gaze score)に少なくとも部分的に基づく。いくつかの実施形態において、画像をスコアリングすることは、画像安定性スコア(image stability score)、画像焦点スコア(image focus score)、画像露光スコア(image exposure score)、または画像オーディオスコア(image audio score.)に少なくとも部分的に基づく。
[0009] いくつかの実施形態において、方法は、画像スコアに基づいてスナップショット画像をキャプチャすることと、このスナップショット画像を記憶装置に記憶することとを含む。いくつかの実施形態において、方法はまた、マイクロフォンからのオーディオ信号を受信することと、オーディオ信号内のキーワードまたはキーサウンドを検出することと、検出されたキーワードまたはキーサウンドに基づいて、キャプチャされた画像をスコアリングすることとを含む。
[0010] 別の態様は、画像をキャプチャするための装置である。装置は、画像センサと、この画像センサに動作可能に結合されたプロセッサとを含む。装置はまた、画像センサを用いてシーンの画像をキャプチャするように構成された画像センサ制御モジュールと、キャプチャされた画像内の複数の被写体を検出するように構成された被写体検出モジュールと、キャプチャされた画像内で検出された複数の被写体のうちの2つ以上の各々についてスコアを決定するように構成された被写体スコアリングモジュールと、被写体スコアに少なくとも部分的に基づいて画像スコアを決定するように構成された画像スコアリングモジュールと、あらかじめ決められた画像スコア閾値を画像スコアが上回る場合、画像センサを用いてスナップショット画像をキャプチャするように構成されたスナップショットキャプチャモジュールと、画像スコアに少なくとも部分的に基づいてプロンプトを決定するように構成されたプロンプト決定モジュールと、プロンプトを出力するように構成されたユーザ対話モジュールとを含む。
[0011] いくつかの実施形態において、装置はまた、検出された被写体のうちの1つと名称を関連付けるように構成された顔認識モジュールを含み、プロンプトを出力することは、この名称にも基づく。いくつかの実施形態において、画像をスコアリングすることは、顔位置スコア、顔オブスキュレーションスコア、顔ブリンクスコア、顔スマイルスコア、または顔注視スコアに少なくとも部分的に基づく。いくつかの実施形態において、画像をスコアリングすることは、画像安定性スコア、画像焦点スコア、画像露光スコア、または画像オーディオスコアに少なくとも部分的に基づく。
[0012] いくつかの実施形態において、装置はまた、マイクロフォンと、このマクロフォンを使用して、画像に関連付けられたオーディオ信号をキャプチャするように構成されたオーディオキャプチャモジュールとを含み、画像スコアは、キャプチャされたオーディオ信号にも基づく。
[0013] 開示される別の態様は、画像キャプチャデバイスである。画像キャプチャデバイスは、画像センサを用いてシーンの画像をキャプチャするための手段と、画像内の複数の被写体を決定するための手段と、複数の被写体のうち2つ以上の各々をスコアリングするための手段と、被写体のスコアに少なくとも部分的に基づいて画像をスコアリングするための手段と、画像スコアが閾値を上回る場合、画像センサを用いてシーンの画像をキャプチャし、この画像をデータ記憶装置に記憶するための手段と、画像スコアが閾値を下回る場合、被写体のスコアに基づいてプロンプトを出力するための手段とを含む。
[0014] いくつかの実施形態において、画像キャプチャデバイスはさらに、画像に関連付けられたオーディオをキャプチャするための手段を含む。画像スコアはさらに、キャプチャされたオーディオに基づく。いくつかの実施形態において、複数の被写体の各々をスコアリングするための手段は、顔位置スコアを決定するための手段、顔オブスキュレーションスコアを決定するための手段、顔ブリンクスコアを決定するための手段、顔スマイルスコアを決定するための手段、または顔注視スコアを決定するための手段を含む。いくつかの実施形態において、画像をスコアリングするための手段は、画像安定性スコアを決定するための手段、画像焦点スコアを決定するための手段、画像露光スコアを決定するための手段、または画像オーディオスコアを決定するための手段を含む。
[0015] 開示される別の態様は、命令を記憶した非一時的なコンピュータ読取可能な媒体であり、これら命令は、プロセッサによって実行されると、プロセッサに対して、画像センサを用いてシーンの画像をキャプチャすることと、画像内の複数の被写体を決定することと、複数の被写体のうち2つ以上をスコアリングすることと、被写体のスコアに少なくとも部分的に基づいて画像をスコアリングすることと、画像スコアが閾値を上回る場合、画像センサを用いてシーンの画像をキャプチャし、この画像をデータ記憶装置に記憶することと、画像スコアが閾値を下回る場合、被写体のスコアに基づいてプロンプトを出力することと、からなる方法を行わせる。
[0016] いくつかの実施形態において、画像をスコアリングすることは、顔位置スコア、顔オブスキュレーションスコア、顔ブリンクスコア、顔スマイルスコア、顔注視スコア、画像安定性スコア、画像焦点スコア、画像露光スコア、または画像オーディオスコアに少なくとも部分的に基づく。いくつかの実施形態において、コンピュータ読取可能な媒体はさらに命令を含み、これら命令は、実行されると、キャプチャされた画像内の顔を検出すること、および、検出された顔と名称を関連付けるために、検出された顔に対して顔認識を実行することを含むように方法を拡張し、ここで、プロンプトを出力することは、この名称に基づく。
[0017] 開示される態様は、以降、添付の図面に関して説明され、開示される態様を限定するためでなく例示するために提供されるだろう。ここで、同様の称号は、同様の要素を指す。
図1は、複数の被写体を含むシーンの画像を含む画像化環境を示す。 図2は、開示される方法および装置の少なくとも一例を実現する画像化デバイスの機能ブロック図である。 図3は、画像をキャプチャする方法の1つの実現のフローチャートである。 図4は、1つ以上の識別された顔をスコアリングするための方法の1つの実現を示すフローチャートである。 図5は、画像をスコアリングする方法の1つの実現のフローチャートである。 図6は、プロンプト可能な画像スコア構成要素を優先順位付けするための方法の1つの実現のフローチャートである。 図7は、複数の被写体を含むシーンの画像を含む画像化環境を示す。
[0025] 本発明の実施形態は、画像化デバイスが操作者不在である場合に、画像化デバイスを用いて画像をキャプチャするための方法および装置に関する。一実施形態において、画像化デバイスは、プロンプティング(prompting)を介して、撮影される被写体に指示を出す(give guidance)ソフトウェアおよびハードウェアを含む。プロンプティングは、視覚プロンプティングおよび聴覚プロンプティングのいずれかでありうるか、いくつかの事例では、視覚および聴覚の両方のプロンプティングである。システムは、シーン内の被写体の位置または表情を測定し、次に、シーン内の認識された被写体に対して、彼らの位置または顔の表情を変更するよう求める。例えば、一実施形態において、以下で説明される方法および装置は、位置を変更するように被写体に指示して、彼らを画像フレームにおいてより中心に寄せうる。いくつかの実施形態において、方法および装置は、被写体の位置を測定し、それらの全形または顔が、キャプチャされる画像の一部であることを確実にしうる。方法および装置はまた、より望ましい写真を提供するために、被写体に対して、彼らの表情を変更するように指示し、例えば、笑顔になるようにまたはカメラを見るように彼らに働きかけうる。
[0026] 一実施形態において、画像化デバイスによる個々の被写体のプロンプティングは、顔スコアリングおよび画像スコアリングプロセスを使用して達成される。いくつかの実現において、複数の被写体を含むシーンのプレビュ画像がキャプチャされる。画像化システムは次に、プレビュ画像によってキャプチャされたシーン内の1つ以上の被写体を、例えば、顔検出プロセスを介して検出する。1つの実現において、方法および装置は次に、そのシーンにおいて検出された各々の顔を認識しようと試みる。顔認識を容易にするために、既知の顔のデータベースが維持されうる。顔が認識されると、検出または認識された各々の顔は、顔が瞬きしているか、笑顔であるか、注視しているか、を含む様々な属性についてスコアリングされうる。全体画像スコアを生成するために、各被写体の個々の構成要素顔スコアが、全体プレビュ画像に関連した他のスコアと組み合わせられうる。
[0027] 全体画像のスコアは、各被写体から集められた複数の構成要素スコアに基づき、それは、上述された顔スコアに加え、全体画像の属性に関連したスコアを含みうる。これらは、画像の露光、画像の安定性、全体画像の焦点、または画像に関連付けられたオーディオに関連したスコアを含みうる。
[0028] 画像品質基準は、いくつかの実現において、スナップショット画像がいつキャプチャされうるかを決定するために確立されうる。スナップショット画像は、プレビュ画像とは異なりうる。いくつかの実現ではプレビュ画像が連続してキャプチャされるが、プレビュ画像は一般的に、短い一時的な期間よりも長い間メモリに記憶されない。露光、開口(aperture)、またはセンサ感度のような画像化パラメータの調整を容易にするために、画像処理方法がプレビュ画像に対して実行されうる。それらはまた、スナップショット画像のキャプチャを容易にするために、ディスプレイ上で画像化デバイスのユーザに表示されうる。スナップショット画像は、いくつかの実現において、プレビュ画像よりも高い解像度でありうる。プレビュ画像が典型的に、安定した記憶装置に記憶されない一方で、スナップショット画像はまた、内蔵メモリ、フラッシュドライブ、コンパクトフラッシュ(登録商標)カード、セキュアデジタル&マルチメディアカード(登録商標)、xDピクチャカード(登録商標)、メモリスティック(登録商標)、マイクロドライブ(登録商標)、スマートメディアカード(登録商標)のような安定した記憶装置、または、他の安定した記憶装置に記憶されうる。
[0029] いくつかの実現において、スナップショットキャプチャ品質基準は、全体画像スコアに対する閾値を含みうる。画像の改善された特性を示すためにより高いスコアを利用する実現では、全体画像スコアが閾値を上回る場合、プレビュ画像の品質は、所望のスナップショット画像を生成するのに十分であると決定される。これらの実現では、全体画像スコアが閾値を上回る場合に、スナップショット画像が画像化デバイスによって自動的にキャプチャされうる。画像の改善された特性を示すためにより低いスコアを利用するいくつかの他の実現では、全体画像スコアが閾値を下回る場合に、以前の画像の品質は、所望のスナップショット画像を生成するのに十分であると決定されうる。これらの実現では、全体画像スコアが閾値を下回る場合に、スナップショット画像が画像化デバイスによって自動的にキャプチャされうる。
[0030] 他の実現は、より広範囲に及ぶ(more extensive)スナップショットキャプチャ品質基準を有しうる。例えば、いくつかの実現は、画像スコアの個々の構成要素に対しるあらかじめ決められた基準および/または閾値を含むことができ、それは、顔スコアの個々の構成要素に対する1つ以上のあらかじめ決められた基準または閾値の使用を含む。基準は、1つ以上のスコアが、1つ以上の閾値よりも大きいか、それよりも小さいか、それ以上であるか、またはそれ以下であるかを決定することを含みうる。いくつかの実施形態において、個々のスコアは各々、対応する閾値を有しうる。他の実施形態において、複数のスコアは、品質基準が満たされるか否かを決定するために同じ閾値を利用しうる。いくつかの実現において、構成要素スコアのいずれかがそれらの閾値を下回る場合、スナップショット画像はキャプチャされない可能性がある。他の実現は、スナップショット画像を自動的にキャプチャする否かを決定する際に、品質基準を満たす画像スコア構成要素の割合を測定しうる。例えば、品質基準を満たす画像スコア構成要素の割合が70%、75%、80%、85%、90%、95%、または99%よりも高い場合、画像がキャプチャされうる。
[0031] プレビュ画像のスコアがスナップショット画像品質基準を満たさない場合、いずれのスナップショット画像も画像化デバイスによってキャプチャされない可能性がある。代わりに、画像の構成要素スコアが、1つ以上のプロンプティング基準に対して評価されうる。例えば、プレビュ画像内の検出された各々の顔のスコアは、全体画像スコアに対するそれらの負のインパクトに基づいて優先順位付けされうる。次に、最も優先順位の高いスコアを有する顔の被写体が、プロンプティングのために選択されうる。
[0032] プロンプトは、前もって決定された認識情報に基づき、選択された被写体向けにカスタマイズされうる。例えば、プレビュ画像内の被写体の顔を認識することで、画像化システムは、プロンプティングのために選択された被写体に名称を関連付けうる。したがって、システムは、顔認識を実行して、Bobの顔に記憶されている事前データに基づき、被写体のうちの1つを「Bob」として認識しうる。Bobが被写体のうちの1つであるとわかり、かつ、それらの顔構成要素スコアの少なくとも一部が最も優先順位の高いスコアであると決定されると、オーディオプロンプトは、例えば、画像化デバイスに一体化されているか、またはそれに取り付けられているスピーカを通して「Bobさん笑ってください!」と音声認識可能に(audibly)発することで、それらに直接的に取り組みうる(address)。
[0033] 図1は、複数の被写体を含むシーン100の画像を含む画像化環境を示す。示されるように、このシーンの写真を望ましくないものであると考える人もいるかもしれない。例えば、被写体102および104など、被写体の多くは、カメラを見ていない。加えて、被写体106は、彼の頭部がシーン100の外に過剰にはみでているため、このシーン内で適切に位置についていない。さらに、被写体のうちのいくつかは、所望の写真を作り出さない可能性のある表情をしている。例えば、被写体108は、遠くを注視しているように見える。被写体110は、瞬きをしているか、または目を細めている可能性がある。被写体112および114は、カメラを見ていない。加えて、被写体112は、被写体116の顔を部分的に覆い隠している。
[0034] カメラ150は、シーンを画像化するものとして示されている。カメラ150はまた、聴覚プロンプト155および156を使用してシーン内の被写体にプロンプティングしている状態が示されている。例えば、プロンプト156は、現在カメラを見ていないKaleb、被写体104に向けられる。プロンプト155は、顔が、Lynelle、被写体112によって部分的にブロックされているFred、被写体116に向けられる。より詳細に以下で説明されるように、カメラ150の実施形態は、シーンの被写体に対して顔認識を実行し、次に、認識された顔を、カメラ150内に記憶されている顔の表またはデータベースと比較するモジュールを含む。この表またはデータベースから、カメラは、認識された被写体の各々の名称を決定し、次に、その情報を使用して、各被写体と音声認識可能に通信することができる。
[0035] 図2は、画像化デバイス内で使用される方法の少なくとも1つの実施形態を実現する画像化デバイス150の機能ブロック図である。画像化デバイス150は、プロセッサ220を含む。プロセッサ220は、画像化センサ215、加速度計280、ワーキングメモリ205、マイクロフォン208、記憶装置210、出力デバイス290、およびメモリ230に動作的に結合されうる。
[0036] メモリ230は、画像化デバイス150の機能を実行するようにプロセッサ220を構成する命令を含むモジュールを記憶する。センサ制御モジュール235は、画像化センサ215を制御するようにプロセッサ220を構成する命令を含む。例えば、センサ制御モジュール235内の命令は、画像化センサの開口、シャッタ速度、または感度のような、画像化センサ215の1つ以上のパラメータを調整するようにプロセッサ220を構成しうる。センサ制御モジュール235はまた、画像化センサ215に対して1つ以上の画像をキャプチャするようにコマンドすることをプロセッサ220に行わせる命令を含みうる。そのため、センサ制御モジュール235内の命令は、画像センサを用いてシーンの画像をキャプチャするための1つの手段を表しうる。
[0037] 被写体検出モジュール250は、画像化センサ215によってキャプチャされた画像内の1つ以上の被写体を検出するようにプロセッサ220を構成する命令を含む。いくつかの実現において、被写体検出モジュールは、画像内の対象(object)を検出しうる。そのため、被写体検出モジュール250内の命令は、画像内の複数の被写体を決定するための1つの手段を表しうる。被写体は、様々な対象を含みうる。例えば、被写体は、建物、自動車、人物、あるいは、馬、犬、猫、または牛といった動物でありうる。
[0038] 顔検出モジュール251は、画像化センサ215によってキャプチャされた画像内の1つ以上の顔を検出するようにプロセッサ220を構成する命令を含む。いくつかの実現において、顔検出モジュール250は、被写体検出モジュール250によって検出された被写体または対象の顔を検出しうる。他の実現において、顔検出モジュール251は、被写体検出モジュール250から独立して動作し、画像化センサ215によってキャプチャされた画像内の顔を直接的に検出しうる。
[0039] 顔認識モジュール252は、被写体検出モジュール250によって検出された、または、画像化センサ215によってキャプチャされた画像内に存在する被写体のうちの少なくともいくつかにおける顔を認識および識別するようにプロセッサ220を構成する命令を含む。顔認識モジュール252は、認識機能を実行するために、既知の顔のデータベースを探索しうる。既知の顔のデータベースは、例えば、記憶装置210に記憶されうる。顔認識モジュール252はまた、顔認識を実行するために、当技術分野で知られている顔認識方法のいずれかを使用しうる。
[0040] 顔スコアリングモジュール255は、顔検出モジュール250によって検出された、または、顔認識モジュール252によって認識された顔の各々をスコアリングするようにプロセッサ220を構成する命令を含む。顔スコアリングモジュール255は、例えば、顔が、瞬きしているか、笑顔であるか、または睨みつけているかに基づいて1つ以上の顔をスコアリングしうる。ある実現において、顔検出モジュール251は、目の端(corner)のロケーション、目のロケーション、鼻孔のロケーション、および唇の端のロケーションを提供しうる。これらのロケーションは、「キーポイント」として扱われうる。これらキーポイント間の空間的関係(spatial relation)に基づいて、顔スコアリングモジュール255は、笑顔の程度(smile degree)、瞬きの程度(blink degree)、または注視方向を決定しうる。例えば、目の最上部と最下部のキーポイント間の垂直距離を測定することによって、目の瞬きが決定されうる。
[0041] 顔スコアリングモジュール255はまた、顔がカメラを見ているか否か、または、顔が画像内の他の対象によって部分的または全体的に覆い隠されているか否かに基づいて1つ以上の顔をスコアリングしうる。ある実施形態において、顔スコアリングモジュール255は、何個のキーポイントが顔上で検出されたかをカウントすることによって、顔が部分的に覆い隠されているか否かを決定することができる。例えば、左目のキーポイントだけが顔上で検出された場合、顔の右目は覆い隠されている可能性がある。別の実現において、顔スコアリングモジュールは、顔をスコアリングするために複数の画像フレームを利用しうる。これらの実現において、第1のフレームでは検出されたが後続の第2のフレームでは検出されなかった第1の顔は、第2の顔が第1のフレームにおいて第1の顔の位置の閾値近接性(threshold proximity)内にある場合、覆い隠されている可能性がある。1つの実現において、顔は、画像内のその位置に基づいてスコアリングされうるか、または、他の被写体または顔と相対的にスコアリングされうる。
[0042] 1つの実現において、ユーザは、顔が画像フレーム内に位置付けられることを好むかについての選択が与えられうる。これらの実現において、ロケーションスコアは、選択されたロケーションからの検出された顔の距離に基づいて決定されうる。いくつかの実現では、被写体検出モジュール250によって検出された被写体において顔が検出されうるため、顔スコアリングモジュール255内の命令は、複数の被写体をスコアリングするための1つの手段を表しうる。顔スコアリングモジュール255内の命令は、顔位置スコアを決定するたの1つの手段、顔オブスキュレーションスコアを決定するための1つの手段、顔ブリンクスコアを決定するための1つめの手段、顔スマイルスコアを決定するための1つの手段、または、顔注視スコアを決定するための1つの手段を表しうる。
[0043] 画像スコアリングモジュール256は、画像化センサ215によってキャプチャされた画像をスコアリングするようにプロセッサ220を構成する命令を含む。画像スコアは、画像の焦点、安定性、露光、または画像内で検出された1つ以上の顔のスコアに基づいて、画像スコアリングモジュール240内の命令によって決定されうる。画像スコアはまた、デバイス150によってキャプチャされ、画像に関連付けられたオーディオに基づきうる。例えば、画像スコアリングモジュール内の命令は、キーワードまたはキーサウンドを決定するために、画像に関連付けられたオーディオデータを分析しうる。例えば、キーサウンドは、「待ってください」または「写真を撮ってください」といった、特定の可聴の単語または表現を含みうる。キーサウンドはまた、笑い声のサウンド、あるいは、シャッフルまたは移動のサウンドのようなサウンドを含みうる。キーサウンドはまた、相対的な静けさの期間でありうる。次に、画像オーディオスコアを決定するためにこれらキーワードまたはキーサウンドの有無が使用されうる。例えば、いくつかの実現は、検出されると、画像のスナップショットがスナップショットキャプチャモジュール260によってキャプチャされるように、検出されたサウンドと同時にキャプチャされた画像がスコアリングされること、を引き起こす1つ以上のキーサウンドを定義しうる(以下で説明される)。例えば、笑い声のサウンド、または、「写真を撮ってくだたい」といったコマンドの検出は、スナップショット画像がキャプチャされることをトリガしうる。同様に、いくつかの実現は、スナップショットが阻止されるように同時にキャプチャされた画像がスコアリングされること、を引き起こす1つ以上のキーサウンドを定義しうる。例えば、「待ってください」というサウンドは、スナップショット画像のキャプチャを阻止しうる。
[0044] 画像内の検出された顔はまた、いくつかの実現では、被写体でありうる。そのため、いくつかの実現では、画像スコアリングモジュール256内の命令は、少なくとも、決定された2つの被写体のスコアに少なくとも部分的に基づいて画像をスコアリングするための1つの手段でありうる。画像スコアリングモジュール256内の命令はまた、画像安定性スコアを決定するための1つの手段、画像焦点スコアを決定するための1つの手段、画像露光スコアを決定するための1つの手段、または、オーディオスコアを決定するための1つの手段を表しうる。
[0045] スナップショットキャプチャモジュール260は、スナップショットキャプチャ品質基準に基づいてシーンのスナップショットをキャプチャするようにプロセッサ220を構成する命令を含みうる。例えば、いくつかの実現において、スナップショットキャプチャ品質基準は、1つ以上のスコア閾値を含みうる。いくつかの実現において、画像キャプチャモジュールは、プレビュ画像の全体画像スコアを、スコア閾値と比較して、スナップショット画像がキャプチャされるべきか否かを決定しうる。プレビュ画像の全体画像スコアが閾値を上回る場合、画像キャプチャモジュールは、スナップショット画像をキャプチャしうる。そのため、スナップショットキャプチャモジュール260内の命令は、画像センサを用いて、シーンのスナップショット画像をキャプチャするための1つの手段でありうる。
[0046] いくつかの実現において、スナップショットキャプチャ品質基準は、いくつかの構成要素スコア閾値を含みうる。例えば、スナップショットキャプチャ品質基準は、顔スマイルスコア閾値、顔位置スコア閾値、顔ブリンクスコア閾値、顔注視スコア閾値、または、顔オブスキュレーションスコア閾値のうち1つ以上を含みうる。これらのスコアおよび閾値がどのように適用されるかについての例は、図7を参照して以下に提示される。次に、スナップショットキャプチャモジュール260は、これら構成要素スコア閾値のうちの1つ以上を、プレビュ画像の構成要素スコアと比較しうる。いくつかの実現において、構成要素スコアのいずれかが対応構成要素スコア閾値よりも低い品質レベルを示す場合、スナップショットキャプチャモジュール260は、スナップショット画像をキャプチャしない可能性がある。いくつかの他の実現において、より低い品質レベルを示す構成要素スコアの割合が割合閾値を上回る場合、スナップショットキャプチャモジュール260は、スナップショット画像をキャプチャしない可能性がある。いくつかの他の実現において、より低い品質レベルを示す構成要素スコアの数が品質閾値を上回る場合、スナップショットキャプチャモジュール260は、スナップショット画像をキャプチャしない可能性がある。
[0047] いくつかの他の実現は、構成要素スコアを少なくとも2つのグループにグルーピングしうる。これら実現において、第1のグループ内の構成要素スコアのグループは、スナップショットキャプチャモジュール260がスナップショット画像をキャプチャすることとなる前に、それらの対応構成要素スコア閾値(上述された)を上回らなければならない。スナップショットキャプチャモジュール260はまた、スナップショット画像がキャプチャされる前に、第2のグループ内の構成要素スコアの数または割合がそれらの対応構成要素スコア閾値を上回ることを要求しうる。
[0048] プロンプト決定モジュール265は、どのプロンプトが画像化デバイス150によって生成または出力されるべきかを決定するようにプロセッサ220を構成する命令を含む。プロンプト決定モジュール265は、例えば、顔スコアリングモジュール255および画像スコアリングモジュール256によって生成されたスコアを優先順位付けしうる。いくつかの実現において、スコアは、画像スコアリングモジュール256によって決定された全体画像スコアに対するスコアの影響に基づいて優先順位付けされうる。
[0049] ユーザ対話モジュール270は、上述されたプロンプト決定モジュール265の出力に基づいて1つ以上のプロンプトを生成または出力しうる。例えば、1つの実現において、ユーザ対話モジュール270は、プロンプト決定モジュール265によって決定されたような最も優先順位の高いスコアを有する1つ以上の被写体を識別しうる。次に、ユーザ対話モジュール270は、顔認識モジュール252によって実行される顔認識に基づいて、これらの被写体の名称を決定しうる。次に、被写体の名称は、ユーザ対話モジュール270によって生成または出力される視覚プロンプトまたはオーディオプロンプトに含まれうる。プロンプトは、被写体に対して、彼らの位置または顔の表情を変更するよう指示するために設計されうる。被写体がプロンプトの指示に従うと、上述された画像スコアおよび顔スコアを決定するために使用されたプレビュ画像と比べて、新しいプレビュ画像の全体画像スコアは改善しうる。
[0050] 例えば、ユーザ対話モジュール270は、信号を出力デバイス290に送るようにプロセッサ220を構成することによって、プロンプトを生成または出力しうる。いくつかの実現において、出力デバイス290は、スピーカであることができ、ユーザ対話モジュール270は、出力デバイス290を使用してオーディオプロンプトを生成または出力しうる。いくつかの他の実現において、出力デバイス290は、ディスプレイであることができ、ユーザ対話モジュール270は、出力デバイス290を使用して視覚プロンプトを生成または出力しうる。
[0051] いくつかの実現において、ユーザ対話モジュールは、それがプロンプトを生成すべきか否かを決定するために画像スコアを評価しうる。そのため、ユーザ対話モジュール270内の命令は、画像スコアが閾値を下回る場合に、被写体のスコアに基づいてプロンプトを出力するための1つの手段を表しうる。
[0052] オーディオキャプチャモジュール272は、マイクロフォン208を用いてオーディオをキャプチャするようにプロセッサ220を構成する命令を含む。オーディオキャプチャモジュール272に含まれる命令によってキャプチャされたオーディオは、いくつかの実現において、画像化センサ215によってキャプチャされた画像に関連付けられうる。例えば、いくつかの実現において、画像は、オーディオキャプチャモジュール272によってオーディオがキャプチャされるのとほぼ同時に画像センサ215によってキャプチャされうる。そのため、オーディオキャプチャモジュール272内の命令は、画像に関連付けられたオーディオをキャプチャするための1つの手段を表しうる。
[0053] 図3は、画像をキャプチャするプロセス300の1つの実現のフローチャートである。プロセス300は、一実施形態において、図2に示された画像化デバイス150によって実現されうる。プロセス300は、ブロック305から開始し、次に、画像化センサを用いてシーンの画像がキャプチャされる処理ブロック310に移動する。いくつかの実現において、処理ブロック310は、図2に示された画像センサ制御モジュール235に含まれる命令によって実現されうる。プロセス300は次に、画像に関連付けられたオーディオがキャプチャされる処理ブロック312に移動する。いくつかの実現において、マイクロフォンからのオーディオ信号は、処理ブロック310において画像がキャプチャされる前のある時間期間(a time period)の間にキャプチャされうる。例えば、オーディオは、処理ブロック310において画像がキャプチャされる0.5秒前から10秒前までの間にキャプチャされうる。いくつかの実現は、処理ブロック312を含まない可能性がある。
[0054] プロセス300は次に、画像内の複数の被写体が検出される処理ブロック315に移動する。処理ブロック315は、両方とも図2に示された被写体検出モジュール250または顔検出モジュール251に含まれる命令によって実現されうる。プロセス300は次に、画像内の複数の顔が検出される処理ブロック318に移動する。ブロック318は、図2に示された顔検出モジュール251に含まれる命令によって実現されうる。いくつかの実現では、処理ブロック250および処理ブロック251の機能が組み合わせられうる。
[0055] プロセス300は次に、検出された顔がスコアリングされる処理ブロック320に移動する。処理ブロック320は、顔スコアリングモジュール255に含まれる命令によって実現されうる。いくつかの実現において、検出された被写体は、顔と顔以外のもの(non-face)の両方を含みうる。
[0056] 処理ブロック320において、いくつかの構成要素顔スコアが、検出された顔の各々について決定されうる。これらの構成要素スコアは、例えば、顔が、瞬きしているか、睨み付けているか、笑顔であるかに関連しうる。顔スコアはまた、顔がカメラを見ているか否か、または、顔が部分的に覆い隠されているか否かに少なくとも部分的に基づきうる。プロセス300は次に、処理ブロック310においてキャプチャされた画像がスコアリングされるブロック325に移動する。画像は、少なくとも、識別された2つの被写体のスコアに少なくとも部分的に基づいてスコアリングされる。プロセス300は次に、画像スコアが閾値を上回るか否かを決定する決定ブロック330に移動する。決定ブロック330は、図2に示されたスナップショットキャプチャモジュール260に含まれる命令によって実現されうる。いくつかの実現において、決定ブロック330は、図2に示されたユーザ対話モジュール270に含まれる命令によって実現されうる。
[0057] スコアが閾値を上回る場合、プロセス300は、シーンのスナップショット画像が、画像センサを用いてキャプチャされる処理ブロック345に移動する。処理ブロック345は、図2に示された画像キャプチャモジュール260に含まれる命令によって実現されうる。いくつかの実現において、処理ブロック310においてキャプチャされた画像は、第1の解像度を有し、処理ブロック345でキャプチャされた画像は、第1の解像度よりも高い第2の解像度を有しうる。例えば、いくつかの実現において、処理ブロック310においてキャプチャされた画像は、プレビュ画像とみなされ、処理ブロック345でキャプチャされた画像は、スナップショット画像とみなされうる。ブロック345で画像がキャプチャされた後、プロセス300は、画像がデータ記憶装置に記憶される処理ブロック350に移動する。プロセス300は次に、終了ブロック355に移動する。
[0058] 決定ブロック330は、ブロック325で決定された画像スコアを閾値と比較するように示されているが、他の実現は、処理ブロック345に移動するか処理ブロック335に移動するかを決定する際、それらのスコアの評価が異なりうる。例えば、いくつかの実現は、ブロック320または325で決定された構成要素スコアを、各構成要素スコアについて定義されたか、または、それに対応する1つ以上の閾値と比較しうる。任意のスコアがその対応する閾値を下回る場合、これらの実現において、プロセス300は、決定ブロック330からブロック335に移動しうる。
[0059] 示される実現において、処理ブロック325で決定される画像スコアが閾値を上回らない場合、プロセス300は、プロンプト可能な画像スコア構成要素が決定される処理ブロック335に移動する。プロンプト可能な画像スコア構成要素は、全体画像スコアが基づくすべての構成要素スコアのサブセットでありうる。いくつかの実現において、いくつかの構成要素スコアは、プロンプトの生成を介して改善可能ではない可能性がある。例えば、画像スコアが画像焦点スコアに少なくとも部分的に基づく場合、プロンプトの生成は画像の焦点を改善しない可能性がある。これらの実現では、構成要素画像焦点スコアは、プロンプト可能な画像スコア構成要素とみなされない可能性がある。
[0060] 処理ブロック335は、図2に示されたプロンプト決定モジュール265に含まれる命令によって実現されうる。処理ブロック335はまた、プロンプト可能な画像スコア構成要素を、例えば、ブロック325で決定された画像スコアに対するそれらの影響に基づいて、優先順位付けしうる。例えば、いくつかの実現において、画像スコアに対するプロンプト可能な画像スコア構成要素の影響は、スコアと、画像スコア構成要素に割り当てられた1つ以上の重みとの関数でありうる。
[0061] プロセス300は次に、最も優先順位の高い構成要素スコアを有する被写体に対して1つ以上のプロンプトが生成または出力されうる処理ブロック340に移動する。処理ブロック340は、ユーザ対話モジュール270に含まれる命令によって実現されうる。処理ブロック340で生成されたプロンプトは、例えば、スピーカまたは電子ディスプレイによって生成されるオーディオまたは視覚プロンプトでありうる。プロンプトが処理ブロック340で生成または出力された後、プロセス300は、処理ブロック310に戻り、別の画像がキャプチャされる。プロセスは次に、上で説明されたように繰り返す。
[0062] 図4は、1つ以上の識別された顔をスコアリングするための方法の1つの実現を示すフローチャートである。プロセス320は、図2に示された顔スコアリングモジュール255に含まれる命令によって実現されうる。プロセス320はブロック405から開始し、次に、より多くの顔がスコアリングされる必要があるか否かを決定する決定ブロック415に移動する。顔がスコアリングされる必要がない場合、プロセス320は終了ブロック410に移動する。より多くの顔がスコアリングされる必要がある場合、プロセス320は、スコアリングされるべき次の顔が得られるブロック418に移動する。決定ブロック419において、顔は、それが覆い隠されているか否かを決定するために評価される。顔が覆い隠されている場合、それは、瞬きしていること、笑顔であること、注視していること、または注視方法に関して、適切に評価されない可能性がある。顔が覆い隠されている場合、プロセス320は、決定ブロック415に戻る。顔が覆い隠されていない場合、プロセス320は次に、顔ブリンクスコアが決定される処理ブロック420に移動する。例えば、顔が瞬きをしているように見える場合、ブロック420で決定されるスコアは、負のスコアでありうる。顔が瞬きをしているように見えない、例えば、目が大きく開いている場合、ブロック420で決定されるスコアは、正のスコアでありうる。当技術分野で知られているブリンク検出の方法のいずれかが処理ブロック420において実現されうる。例えば、検出された顔にある口の4つの端を表すキーポイントの距離に基づいて笑顔の程度が算出されうるのと同じように、ブリンクスコアもまた、検出された顔の目の最上部または最下部を表すキーポイントの距離の類似した測定値に基づきうる。
[0063] ブロック420において顔ブリンクスコアが決定された後、プロセス320は、顔スマイルスコアが決定される処理ブロック425に移動する。いくつかの実現おいて、不機嫌そうな顔は、負のスマイルスコアが割り当てられ、笑っている顔は、正のスマイルスコアが割り当てられうにる。当技術分野で知られている笑顔検出方法のいずれかが、処理ブロック425を実現するために使用されうる。顔スマイルスコアが決定された後、プロセス320は、顔注視スコアが決定される処理ブロック430に移動する。注視していると決定された顔は、処理ブロック430において負のスコアを受信し、注視以外の表情をしている顔は、正の注視スコアを受信しうる。当技術分野で知られている顔注視検出方法のいずれかが処理ブロック430を実現するために使用されうる。
[0064] プロセス320は次に、顔位置スコアが決定されるブロック435に移動する。例えば、顔位置スコアは、例えば、顔が他の顔にどれだけ近いかに基づきうる。他の顔への近接性(proximity)に基づいた顔位置スコアは、画像の被写体が画像においてまとめてグルーピングされることを確実にするために、ユーザ対話モジュールによって使用されうる。いくつかの実現において、顔位置スコアはまた、顔が、キャプチャされるシーンの画像のエッジにどれだけ近いかに基づきうる。画像フレームのエッジから閾値距離内にある顔は、負の顔位置スコアを受信し、画像の中心により近い顔は、正の顔位置スコアを受信しうる。
[0065] プロセス320は次に、顔方向スコアが決定される処理ブロック437に移動する。顔方向スコアは、画像をキャプチャする画像化センサの方向を顔がどれだけまっすぐに見ていると決定されるかに基づきうる。画像化センサをまっすぐに見ていると決定された顔は、高い顔方向スコアを受信し、カメラから目をそらしていると決定された顔は、より低いまたは負の顔方向スコアを受信しうる。
[0066] ある実現において、注視方向は、眼球または瞳孔とともに、目の最下部、最上部、左端、右端に位置付けられたキーポイントを含む目のキーポイント間の分布に基づいて算出されうる。眼球または瞳孔と、目の4つの端との距離に基づいて、注視方向が決定されうる。
[0067] プロセス320は次に、顔の認識を試みるために、処理ブロック440に移動しうる。顔認識は、いくつかの実現において、キャプチャされた画像内の顔属性または識別子を、画像化デバイス内に記憶されている個々の名称にマッピングする顔認識データベースに基づきうる。名称は、画像化デバイス上の構成インターフェースに入力されたままの、個々の正式または非正式な名称でありうる。顔認識データベースは、ユーザによって事前に構成され、図2に示された記憶装置210のような記憶装置に記憶されうる。処理ブロック440の顔認識はまた、当技術分野で知られている顔認識方法のいずれかを使用しうる。
[0068] プロセス320は次に、顔がスコアリングされるブロック445に移動しうる。示された実現において、顔は、1つ以上の「構成要素」顔スコアに基づいてスコアリングされる。プロセス320において、構成要素顔スコアは、顔ブリンクスコア、顔注視スコア、顔位置スコア、顔オブスキュレーションスコア、および顔方向スコアである。いくつかの実現において、これら構成要素スコアの重み付けされた平均が、顔スコアを決定するために使用されうる。代替的に、特定の閾値が、上述された構成要素スコアごとに、ユーザによって確立されうるか、または、デバイスにおいて事前に設定されうる。対応する「容認可能な(acceptable)」閾値よりも低い任意の構成要素スコアは、他のスコアよりも比例して高い重みが割り当てられうる。これは、対応する「容認可能な」閾値よりも構成要素スコアが低い任意の顔の場合、負のまたは容認不可能な顔スコアに帰着しうる。処理ブロック450において、顔のアイデンティティのような顔スコアおよび認識データがメモリに記憶される。メモリは、図2に示された記憶装置210のような記憶装置、または、図2に示されたワーキングメモリ205のようなメモリでありうる。処理ブロック450に記憶された認識データは、処理ブロック440において認識された顔の名称または他の識別情報を含みうる。プロセス320は次に、決定ブロック415に戻る。
[0069] 図4に示されたすべての処理ブロックがすべての実現に存在するわけではない。例えば、いくつかの実現は、処理ブロック420、425、430、435、436、437、440、または445のうち1つ以上を含まない可能性がある。加えて、図4の示された実現は、例えば、処理ブロック425の前に処理ブロック420がくるような処理順序を示すが、他の実現は、図4の処理ブロックの機能を、示されたものとは異なる順序で実行しうる。
[0070] 図5は、画像をスコアリングする方法の1つの実現のフローチャートである。プロセス325は、図2に示された画像スコアリングモジュール256に含まれる命令によって実現されうる。プロセス325はブロック505から開始し、次に、画像の焦点スコアが決定されるブロック510に移動する。いくつかの実現において、焦点スコアは、画像の鮮明さ(sharpness)に基づきうる。いくつかの他の実現では、画像内の関心領域(region of interest)が検出されることができ、焦点スコアは、この関心領域のうちの1つ上における鮮明さに基づきうる。当技術分野で知られている画像の焦点を評価する他の方法は、処理ブロック510を実現するために使用されうる。プロセス325は次に、画像についての安定性スコアが決定されるブロック515に移動する。画像の安定性スコアは、いくつかの実現において、画像内に存在するぼけ(blur)の量に基づきうる。プロセス325は次に、画像について露光スコアが決定される処理ブロック520に移動する。いくつかの実現において、露光スコアは、第1の閾値を上回る画素値の数、および第2の閾値を下回る画素値の数に基づきうる。
[0071] プロセス325は次に、画像についてのオーディオスコアが決定される処理ブロック525に移動する。処理ブロック525は、画像に関連付けられたオーディオデータを分析しうる。例えば、オーディオ信号は、画像がキャプチャされたのとほぼ同時にキャプチャされうる。処理ブロック525におけるオーディオの分析は、オーディオ信号の1つ以上の特性、キーワード、またはキーサウンドを検出または認識しうる。処理ブロック525において、例えば、笑い声、会話、静けさ、ランニング、またはウォーキングの有無が、画像についてのオーディオスコアを決定するために使用されうる。いくつかの実現が、画像についての全体スコアの決定においてオーディオスコアの決定を含まない可能性があることに留意されたい。
[0072] 処理ブロック530において、画像がスコアリングされる。いくつかの実現において、画像スコアは、処理ブロック510−525において決定されたスコアの重み付けされた平均スコアでありうる。他の実現において、画像スコアはまた、図4に示されるように、プロセス320によって決定された顔スコアにも基づきうる。プロセス325は次に、終了ブロック540に移動する。
[0073] 図5に示されたすべての処理ブロックがすべての実現に存在するわけではない。例えば、いくつかの実現は、処理ブロック510、515、520、または525のうち1つ以上を含まない可能性がある。加えて、図5の処理ブロックは特定の順序で図5に示され、上述されているが、これら処理ブロックの順序は、他の実現では異なりうる。例えば、図5は、処理ブロック510を処理ブロック515の前に示すが、他の実現は、処理ブロック510の前に処理ブロック515を実行しうる。他の処理ブロックの順序もまた、他の実現では異なりうる。
[0074] 図6は、プロンプト可能な画像スコア構成要素を優先順位付けする方法の1つの実現のフローチャートである。プロセス335は、図2に示されたスコア優先順位付けモジュール265に含まれる命令によって実現されうる。プロセス335はブロック605から開始し、次に、画像スコア構成要素が識別されるブロック610に移動する。ブロック610で識別された画像スコア構成要素は、図5のプロセス325または図4のプロセス320で決定された画像スコア構成要素のいずれかでありうる。プロセス335は次に、プロンプト可能な画像スコア構成要素が決定される処理ブロック612に移動する。いくつかの実現では、すべての画像スコア構成要素が、視覚またはオーディオプロンプトの生成または出力によって改善されうるわけではない。例えば、いくつかの実現において、画像焦点スコアは、プロンプトの生成では改善しない可能性がある。
[0075] 処理ブロック615において、プロンプト可能な画像スコア構成要素の各々について重みが決定される。いくつかの実現において、プロンプト可能な画像スコアの各々の重みは、満足のいく写真に対するスコア構成要素の相対的重要度(relative importance)に基づいて決定されうる。例えば、いくつかの実現は、カメラから目をそらしている画像の被写体が瞬きをしている画像の被写体よりも重要であるとみなされるように設計されうる。これらの実現において、図4のプロセス320の処理ブロック437において決定される顔方向スコアに割り当てられる重みは、プロセス320の処理ブロック420で決定されるブリンクスコアに割り当てられる重みよりも大きい可能性がありうる。同様に、瞬きしている被写体が一時的な条件を表すため、ブリンクスコアは、顔オブスキュレーションスコアまたは顔位置スコアのような、より安定した条件を表すと判断されうる他のスコアよりも低い重みが割り当てられると想定して、いくつかの実現が設計されうる。
[0076] 処理ブロック620において、プロンプト可能な画像スコアの各々は、処理ブロック615で決定されたその対応する重みに基づいて調整される。ブロック625において、重み付けされたスコアが分類(sort)される。プロセス335は次に、終了ブロック630に移動し、終了する。
[0077] 図6に示されたすべての処理ブロックがすべての実現に存在しうるわけではない。例えば、いくつかの実現は、処理ブロック612、615、または620のうち1つ以上を含まない可能性がある。加えて、図6の処理ブロックは、特定の順序で図6に示され、上述されているが、処理ブロックの順序は、他の実現では異なりうる。例えば、図6は、処理ブロック612を処理ブロック615の前に示すが、他の実現は、処理ブロック612よりも前に処理ブロック615を実行しうる。他の処理ブロックの順序もまた、他の実現では異なりうる。
[0078] 図7は、複数の被写体を含むシーンの画像を含む。以下の表1は、図7の画像100内の検出された被写体についての1つの実現の構成要素スコアを示す。
[0079] 表1は、画像化デバイスによっていくつかの被写体が検出されていることを示す。これら被写体は、一例として、図2に示されたような、被写体検出モジュール250に含まれる命令によって検出されている可能性がある。これら被写体は、列1にリストされる。表1の列2は、図7における識別番号をリストすることで、被写体を識別する。列3は、実現により既知の場合、被写体の名称をリストする。例えば、列1にリストされている被写体は、図2の顔認識モジュール252によって識別されている可能性がある。結果として、被写体のうちの少なくともいくつかの名称が知られている。いくつかの実現において、名称は、実現により生成されうる。例えば、いくつかの実現は、画像内の被写体の位置に基づいて名称を生成しうる。例えば、4つの被写体を含む画像において、実現は、「左上の被写体」、「左下の被写体」、「右上の被写体」、および「右下の被写体」といった名称を生成しうる。
[0080] 被写体6および7など、表1に示される他の被写体は名称を有さない。被写体6、アイテム108は、検出された顔を有しており、したがって、顔に関連付けられた構成要素スコアを有する。被写体7は、検出された顔を有しておらず、したがって、列4−6および8などの、検出された顔に関連した構成要素スコアを含まない。列4−7は、検出された被写体の各々についての、スマイル、注視、位置、方向についての構成要素スコアを表す。示される実現におけるスコアは、列1で識別された被写体の少なくとも1つの属性の相対的な妥当性に関連する。示された実現において、ゼロ(0)を上回る構成要素スコアは、容認可能であるとみなされる。この実現において、すべての構成要素スコアがゼロを上回る場合、例えば、図2に示されたスナップショットキャプチャモジュール260によって、スナップショット画像が自動的にキャプチャされる。いくつかの実現において、スナップショット画像をキャプチャすることは、画像をメモリバッファに保存することを備えうる。負のスコアは、スナップショット画像が自動的にキャプチャされないようにしうる。
[0081] 構成要素スコアのうちいくつかがゼロを下回るため、スナップショット画像は、示された実現によって自動的にキャプチャされない。代わりに、プロンプト可能な構成要素画像スコアを決定するために、表1の構成要素スコアが優先順位付けされうる。そのような優先順位付けは、いくつかの実現では以下の表2に類似したデータを使用して実行されうる。
[0082] 表2は、優先順位が付けられた後の表1の構成要素スコアの一部を示す。優先順位付けは、構成要素スコアから導出された重み付けされたスコアと、割り当てられた重みとに基づきうる。表の行が行1内の最も優先順位の高い被写体およびスコアから最も優先順位の低い被写体およびスコアへと順序付けさるような表における順序にしたがって優先順位付けが示される。いくつかの実現において、重みは、スコアタイプに基づいて割り当てられうる。他の実現は、構成要素スコアに重みを割り当てる他の方法を有しうる。
[0083] Lynelle、被写体2、参照番号112、の方向スコアは、示された実現において、最も高い優先順位が付けられている。図7のプレビュ画像100で示されるように、Lynelleの顔112は、それがプレビュ画像100でほぼ認識でないほど下を向いている。優先順位が次なのは、被写体2、参照番号104、Kalebであり、彼の顔も同様に画像において容易に観察できないほど同様に下を向いている。被写体8、参照番号110が、Kalebよりも低く優先順位付けされているのに対して、この実現は、「スコアタイプ」列によって示されるように、方向スコアが低かったためKalebを優先させている。被写体8は低いスマイルスコアを有しているが、その重みは、方向スコアの重みよりも低く、結果として、LynelleまたはKalebのどちらよりも低い優先順位に帰着する。
[0084] いくつかの実現は次に、優先順位付けされたスコアに基づいて、1つ以上のプロンプトを生成しうる。これら実現は、最も優先順位の高いスコアを有するプロンプトの生成を開始しうる。例えば、上記の表2を利用する実現は、行1のVikasのオブスキュレーションスコアに基づいて、第1のプロンプトを生成しうる。いくつかの実現は、上述された分析の結果として、1よりも多くのプロンプトを生成しうる。例えば、上記表2を利用する実現は、行2のKalebの方向スコアに基づいて、第2のプロンプトを生成しうる。いくつかの実現は、分析の結果として、例えば、3つ、4つ、または5つのプロンプトなど、追加のプロンプトを生成しうる。いくつかの実現は次に、提供されたプロンプトに被写体が反応するための時間的余裕を与える(allow time)ため、分析を再度実行する前にある時間期間待ちうる。
[0085] プロンプトを選択するために、実現は、以下の表3に類似したデータ構造を利用しうる。
[0086] 表3は、表2で提供されたスコアのタイプに基づいてプロンプトがどのように決定されうるかを示す簡単な例示としてのみ提供される。表2を使用してプロンプティングのために最も優先順位の高いスコアが選択されると、表2内の選択されたスコアのスコアタイプを、表3のスコアタイプと一致させることで、プロンプトが生成されうる。プロンプトは、文字列として示され、それは、被写体を識別するための代用文字列「%s」を含む。いくつかの実現は、表1の名称フィールドを、表3のプロンプトフィールドで示される代用文字列と置き換えうる。次に、当技術分野で知られているような音声変換能力(text to speech capability)は、表3のプロンプト列に基づいてオーディオプロンプトを生成しうる。代替的に、いくつかの実現は、内部にオーディオファイルを記憶しており、1つ以上のプロンプトを生成する際にこのオーディオファイルを再生しうる。
[0087] この技術は、多数の他の汎用または専用コンピューティングシステム環境または構成と動作可能である。本発明との使用に適切でありうる周知のコンピューティングシステム、環境、および/または構成の例には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、プロセッサベースのシステム、プログラマブル消費者電子機器、ネットワークPC、マイクロコンピュータ、メインフレームコンピュータ、任意の上記システムまたはデバイスを含む分散コンピューティング環境、等が含まれるがそれらに限定されるわけではない。
[0088] 本明細書で使用される場合、命令は、システム内の情報を処理するためのコンピュータ実現ステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアで実現され、システムの構成要素によって実行される任意のタイプのプログラマブルステップを含みうる。
[0089] プロセッサは、Pentium(登録商標)プロセッサ、Pentium(登録商標)Proプロセッサ、8051プロセッサ、MIPS(登録商標)プロセッサ、PowerPC(登録商標)プロセッサ、またはAlpha(登録商標)プロセッサのような、従来の汎用のシングルチッププロセッサまたはマルチチッププロセッサでありうる。加えて、プロセッサは、デジタルシグナルプロセッサまたはグラフィックプロセッサのような任意の従来の専用プロセッサでありうる。プロセッサは典型的に、従来のアドレスライン、従来のデータライン、および1つ以上の従来の制御ラインを有する。
[0090] システムは、詳細に説明されたような様々なモジュールから成る。当業者によって認識されうるように、モジュールの各々は、様々なサブルーチン、プロシージャ、定義ステートメント、およびマクロを備える。モジュールの各々は典型的に、別々にコンパイルされ、単一の実行可能プログラムへとリンク付けされうる。そのため、モジュールの各々についての説明は、便宜上、好ましいシステムの機能を説明するために使用される。したがって、モジュールの各々によって経験されるプロセスは、他のモジュールのうちの1つに任意に再分散されうるか、単一のモジュールへと互いに組み合わせられうるか、または、例えば、共有可能な動的リンクライブラリで利用可能にされうる。
[0091] システムは、Linux(登録商標)、UNIX(登録商標)、またはMicrosoft Windows(登録商標)といった様々なオペレーティングシステムに関連して使用されうる。
[0092] システムは、C、C++、BASIC、Pascal、またはJava(登録商標)といった任意の従来のプログラミング言語で書かれており、従来のオペレーティングシステムで動作されうる。C、C++、BASIC、Pascal、Java、およびFORTRANは、実行可能コードを作り出すために多くの商業コンパイラが使用されうる業界標準プログラミング言語である。システムはまた、Perl、Python、またはRubyといった組み込み言語を使用して書かれうる。
[0093] 当業者は、本明細書に開示された実施形態に関連して説明された様々な実例となる論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、またはその両方の組み合わせとして実現されうることをさらに認識するであろう。このハードウェアおよびソフトウェアの互換性を明確に示すために、多様な実例となる構成要素、ブロック、モジュール、回路、およびステップが、概ねそれらの機能の観点から上記で説明されている。そのような機能がハードウェアとして実現されるかソフトウェアとして実現されるかは、特定のアプリケーションとシステム全体に課された設計制約とに依存する。当業者は、特定アプリケーションごとに様々な方法で上に説明された機能性を実現することができるが、このような実施の決定は、本開示の範囲からの逸脱の原因になるとして解釈されるべきではない。
[0094] 本明細書で開示された実施形態に関連して説明された様々な実例となる論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェア構成要素、あるいは本明細書に説明された機能を実行するように設計されたこれらの任意の組み合わせで、実現または実行されうる。汎用プロセッサはマイクロプロセッサでありうるが、代替的に、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでありうる。プロセッサはまた、例えば、DSPと、1つのマクロプロセッサ、複数のマイクロプロセッサ、DSPコアに結合した1つ以上のマイクロプロセッサ、または任意のそのような他の構成との組み合わせといったコンピューティングデバイスの組み合わせとしても実現されうる。
[0095] 1つ以上の例示的な実施形態では、説明された機能および方法は、ハードウェア、ソフトウェア、またはプロセッサ上で実行されるファームウェア、あるいはこれらの任意の組み合わせで実現されうる。ソフトウェアで実現された場合、この機能は、コンピュータ読取可能な媒体上の1つ以上の命令またはコードとして記憶または送信されうる。コンピュータ読取可能な媒体は、コンピュータ記憶媒体と、ある箇所から別の箇所へのコンピュータプログラム移送を容易にする任意の媒体を含む通信媒体とを両方含む。記憶媒体は、コンピュータによってアクセスされることができる任意の入手可能な媒体でありうる。限定ではなく例として、このようなコンピュータ読取可能な媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、データ構造または命令の形式で所望のプログラムコードを記憶または搬送するために使用可能であり、かつコンピュータによってアクセスされうる他の任意の媒体を備えうる。また、任意の接続は厳密にはコンピュータ読取可能な媒体と呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、または他の遠隔ソースから送信される場合、この同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。本明細書で使用される場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスク、およびブルーレイ(登録商標)ディスクを含み、ここでディスク(disk)は通常、磁気的にデータを再生し、ディスク(disc)は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ読取可能な媒体の範囲内に含まれるべきである。
[0096] 先の説明は、本明細書で開示されたシステム、デバイス、および方法の特定の実施形態を詳述している。しかしながら、前述の内容がテキストでどれだけ詳細に表されていても、システム、デバイス、および方法が、多くの方法で実施されうることは認識されるべきである。これもまた上述されているが、以下のことに留意されたい。本発明の特定の特徴または態様を説明する際の特定の用語の使用は、その用語が関連付けられた本技術の特徴または態様の任意の特定の特性を含むことに、本明細書においてその用語が限定されると再定義されていることを意味するものと受け取られるべきでない、
[0097] 様々な変更および変化が、説明された用語の範囲から逸脱することなく行われうることは当業者によって認識されるだろう。そのような変更または変化は、実施形態の範囲内であることが意図される。1つの実施形態に含まれている部分が他の実施形態と入れ替えられること、描写された実施形態の1つ以上の部分が任意の組み合わせで描写された他の実施形態と含まれうることも当業者によって認識されるだろう。例えば、本明細書で説明されたおよび/または図に描写された様々な構成要素のいずれかは、他の実施形態と組み合わせられるか、それと入れ替えられうるか、またはそこから取り除かれうる。
[0098] 本明細書における実質的に任意の複数形および/または単数形の用語の使用に関して、当業者は、文脈および/またはアプリケーションに適切なように、複数形から単数形に、および/または単数形から複数形に変換することができるだろう。様々な単数形および複数形の置き換えは、明瞭さのために本明細書において明確に示されうる。
[0099] 一般的に、本明細書で使用される用語が大抵「開放的な(open)」用語として意図されうることは当業者によって理解されることとなる(例えば、「〜を含む(including)」という用語は、「〜を含むが限定されるわけではない」と解釈されるべきであり、「〜を有する」という用語は、「〜を少なくとも有する」として解釈されるべきであり、「〜を含む」という用語は、「〜を含むが限定されるわけでない」と解釈されるべきである)。導入される特定の数の請求項の記載が意図される場合、そのような意図は、請求項において明示的に記載されることとなり、よって、そのような記載が無い場合、そのような意図は存在しないことが当業者によってさらに理解されるべきである。例えば、理解する目的として、以下に添付される特許請求の範囲は、請求項の記載を導入するために、「少なくとも1つ(の)」および「1つ以上(の)」という前置きな表現の使用を含みうる。しかしながら、そのような表現の使用は、同じ請求項が、「1つ以上(の)」または「少なくとも1つ(の)」という前置きの表現ならびに「a」および「an」のような不定冠詞(例えば、「a」および/または「an」は、「少なくとも1つ(の)」または「1つ以上(n)」を意味することが典型的に解釈されうる)を含む場合であっても、「a」または「an」という不定冠詞による請求項の記載の導入が、導入されたそのような請求項の記載を含む任意の特定の請求項を、たった1つのそのような記載を含む実施形態に限定すること、を意味するものと解釈されるべきではなく、請求項の記載を導入するために使用される定冠詞の使用についても同じことが言える。加えて、特定の数の導入された請求項の記載が明示的に記載されている場合であっても、そのような記載は記載された数を少なくとも意味する(例えば、修飾語のない「2つの記載」という記載そのものは典型的に、少なくとも2つの記載または2つ以上の記載、を意味する)ものであると典型的に解釈されるべきことを当業者は認識するだろう。さらに、「A、B、およびC、等のうちの少なくとも1つ」に類似した表記法が使用されるそれらの例において、一般的に、そのような構成は、当業者がその表記法(例えば、「A、B、およびCのうちの少なくとも1つを有するシステム」が、Aを単独で、Bを単独で、Cを単独で、AとBを同時に、BとCを同時に、および/または、A、B、およびCを同時に有するシステムを含むがそれらに限定されないであろうこと)を理解するだろうことを意味することが意図される。「A、B、またはC、等のうちの少なくとも1つ」に類似した表記法が使用されるそれらの例において、一般的に、そのような構成は、当業者がその表記法(例えば、「A、B、またはCのうちの少なくとも1つを有するシステム」が、Aを単独で、Bを単独で、Cを単独で、AとBを同時に、BとCを同時に、および/または、A、B、またはCを同時に有するシステムを含むがそれらに限定されないであろうこと)を理解するだろうことがある意味意図される。事実上、2つ以上の代替用語を表す任意の離接的な用語および/または表現が、詳細な説明にある場合であっても、特許請求の範囲にある場合であっても、または、図面にある場合であっても、それら用語のうち1つ、それら用語のうちのいずれか、または両方の用語、を含む可能性を予期するものと理解されるべきであることは、当業者によってさらに理解されるだろう。例えば、「AまたはB」という表現は、「A」、または「B」、または「AおよびB」の可能性を含むことが理解されるだろう。
[0100] 様々な態様および実施形態が本明細書で開示されているが、他の態様および実施形態は当業者に明確であろう。本明細書で開示された様々な態様および実施形態は、例示を目的としており、限定するものであることは意図されない。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1] 画像をキャプチャする方法であって、
画像センサを用いてシーンの画像をキャプチャすることと、
前記画像内の複数の被写体を決定することと、
前記画像内の2つ以上の被写体の各々について被写体スコアを決定することと、
前記被写体スコアに少なくとも部分的に基づいて画像スコアを決定することと、
前記画像スコアが閾値を上回る場合、前記画像センサを用いて前記シーンのスナップショット画像をキャプチャし、前記スナップショット画像をデータ記憶装置に記憶することと、
前記画像スコアが閾値を下回る場合、前記被写体のスコアに基づいてプロンプトを出力することと
を備える方法。
[C2] 前記キャプチャされた画像内の顔を検出することをさらに備える、C1に記載の方法。
[C3] 名称を前記検出された顔に関連付けるために、前記検出された顔に対して顔認識を実行することをさらに備える、C2に記載の方法。
[C4] 前記プロンプトを出力することは、前記名称に基づく、C3に記載の方法。
[C5] 前記画像をスコアリングすることは、顔位置スコア、顔オブスキュレーションスコア、顔ブリンクスコア、顔スマイルスコア、または顔注視スコアに少なくとも部分的に基づく、C2に記載の方法。
[C6] 前記画像をスコアリングすることは、画像安定性スコア、画像焦点スコア、画像露光スコア、または画像オーディオスコアに少なくとも部分的に基づく、C1に記載の方法。
[C7] 前記画像スコアに基づいてスナップショット画像をキャプチャすることと、
前記スナップショット画像を記憶装置に記憶することと
をさらに備える、C1に記載の方法。
[C8] マイクロフォンからオーディオ信号を受信することと、前記オーディオ信号内のキーワードまたはキーサウンドを検出することと、前記検出されたキーワードまたはキーサウンドに基づいて前記キャプチャされた画像をスコアリングすることとをさらに備える、C1に記載の方法。
[C9] 画像をキャプチャするための装置であって、
画像センサと、
前記画像センサに動作可能に結合されたプロセッサと
前記画像センサを用いてシーンの画像をキャプチャするように構成された画像センサ制御モジュールと、
前記キャプチャされた画像内の複数の被写体を検出するように構成された被写体検出モジュールと、
前記キャプチャされた画像内で検出された前記複数の被写体のうちの2つ以上の各々についてスコアを決定するように構成された被写体スコアリングモジュールと、
前記被写体スコアに少なくとも部分的に基づいて画像スコアを決定するように構成された画像スコアリングモジュールと、
前記画像スコアがあらかじめ決められた画像スコア閾値を上回る場合、前記画像センサを用いてスナップショット画像をキャプチャするように構成されたスナップショットキャプチャモジュールと、
前記画像スコアに少なくとも部分的に基づいてプロンプトを決定するように構成されたプロンプト決定モジュールと、
前記プロンプトを出力するように構成されたユーザ対話モジュールと
を備える装置。
[C10] 前記検出された被写体のうちの1つと名称を関連付けるように構成された顔認識モジュールをさらに備え、前記プロンプトの出力は、前記名称にも基づく、C9に記載の装置。
[C11] 前記画像をスコアリングすることは、顔位置スコア、顔オブスキュレーションスコア、顔ブリンクスコア、顔スマイルスコア、または顔注視スコアに少なくとも部分的に基づく、C9に記載の装置。
[C12] 前記画像をスコアリングすることは、画像安定性スコア、画像焦点スコア、画像露光スコア、または画像オーディオスコアに少なくとも部分的に基づく、C9に記載の装置。
[C13] マイクロフォンと、
前記マクロフォンを使用して、前記画像に関連付けられたオーディオ信号をキャプチャするように構成されたオーディオキャプチャモジュールと
をさらに備え、前記画像スコアは、前記キャプチャされたオーディオ信号にも基づく、C9に記載の装置。
[C14] 画像キャプチャデバイスであって、
画像センサを用いてシーンの画像をキャプチャするための手段と、
前記画像内の複数の被写体を決定するための手段と、
前記複数の被写体のうちの2つ以上の各々をスコアリングするための手段と、
前記被写体の前記スコアに少なくとも部分的に基づいて前記画像をスコアリングするための手段と、
前記画像スコアが閾値を上回る場合、前記画像センサを用いて前記シーンの画像をキャプチャし、前記画像をデータ記憶装置に記憶するための手段と、
前記画像スコアが閾値を下回る場合、前記被写体のスコアに基づいてプロンプトを出力するための手段と
を備える画像キャプチャデバイス。
[C15] 前記画像に関連付けられたオーディオをキャプチャするための手段をさらに備え、前記画像スコアはさらに、前記キャプチャされたオーディオに基づく、C14に記載の画像キャプチャデバイス。
[C16] 前記複数の被写体の各々をスコアリングするための前記手段は、顔位置スコアを決定するための手段、顔オブスキュレーションスコアを決定するための手段、顔ブリンクスコアを決定するための手段、顔スマイルスコアを決定するための手段、または顔注視スコアを決定するための手段を含む、C14に記載の画像キャプチャデバイス。
[C17] 前記画像をスコアリングするための前記手段は、画像安定性スコアを決定するための手段、画像焦点スコアを決定するための手段、画像露光スコアを決定するための手段、または画像オーディオスコアを決定するための手段を含む、C14に記載の画像キャプチャデバイス。
[C18] 命令を記憶した非一時的なコンピュータ読取可能な媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに対して、
画像センサを用いてシーンの画像をキャプチャすることと、
前記画像内の複数の被写体を決定することと、
前記複数の被写体のうち2つ以上をスコアリングすることと、
前記被写体の前記スコアに少なくとも部分的に基づいて前記画像をスコアリングすることと、
前記画像スコアが閾値を上回る場合、前記画像センサを用いて前記シーンの画像をキャプチャし、前記画像をデータ記憶装置に記憶することと、
前記画像スコアが閾値を下回る場合、前記被写体のスコアに基づいてプロンプトを出力することと
からなる方法を実行させる、コンピュータ読取可能な媒体。
[C19] 前記画像をスコアリングすることは、顔位置スコア、顔オブスキュレーションスコア、顔ブリンクスコア、顔スマイルスコア、顔注視スコア、画像安定性スコア、画像焦点スコア、画像露光スコア、または画像オーディオスコアに少なくとも部分的に基づく、C18に記載のコンピュータ読取可能な媒体。
[C20] 前記コンピュータ読取可能な媒体は、命令を記憶しており、前記命令は、プロセッサによって実行されると、前記プロセッサに対して、
前記キャプチャされた画像内の顔を検出することと、
名称を前記検出された顔に関連付けるために、前記検出された顔に対して顔認識を実行することと
からなる方法をさらに行わせ、前記プロンプトを出力することは、前記名称に基づく、C18に記載のコンピュータ読取可能な媒体。

Claims (21)

  1. 画像をキャプチャする方法であって、
    画像センサを用いてシーンの画像をキャプチャすることと、
    前記画像内の複数の被写体を決定することと、
    前記画像内の2つ以上の被写体の各々について被写体スコアを決定することと、を備え、ここにおいて、被写体の被写体スコアを決定することは、
    前記キャプチャされた画像内の前記被写体の顔を検出することと、
    前記検出された顔に基づいて、顔位置スコアを決定することと、
    前記顔位置スコアに少なくとも部分的に基づいて、前記被写体スコアを決定することと、を備え、
    前記被写体スコアに少なくとも部分的に基づいて画像スコアを決定することと、
    前記画像スコアが閾値を上回る場合、前記画像センサを用いて前記シーンのスナップショット画像をキャプチャし、前記スナップショット画像をデータ記憶装置に記憶することと、
    前記画像スコアが閾値を下回る場合、最も優先順位の高いスコアを有する被写体に対してプロンプトを出力することと
    を備える方法。
  2. 前記キャプチャされた画像内の顔を検出することと、
    名称を前記検出された顔に関連付けるために、前記検出された顔に対して顔認識を実行し、前記名称を含むオーディオプロンプトとして前記プロンプトを出力することと、
    をさらに備える、請求項1に記載の方法。
  3. 顔注視スコアに少なくとも部分的に基づいて、前記画像をスコアリングすることをさらに備える、請求項に記載の方法。
  4. 前記画像を前記スコアリングすることはさらに、顔ブリンクスコアに少なくとも部分的に基づく、請求項に記載の方法。
  5. 前記画像をスコアリングすることはさらに、顔オブスキュレーションスコアに少なくとも部分的に基づく、請求項に記載の方法。
  6. 前記顔位置スコアは、前記画像の中心への前記被写体の顔の近接性に基づく、請求項1に記載の方法。
  7. 前記顔位置スコアは、第2の検出された顔への前記被写体の顔の近接性に基づく、請求項1に記載の方法。
  8. 前記画像内の少なくとも2つの被写体のプロンプト可能な画像スコア構成要素を決定することと、
    前記少なくとも2つの被写体の前記プロンプト可能な画像スコア構成要素を優先順位付けすることと、
    前記優先順位付けされたプロンプト可能な画像スコア構成要素に基づいて前記プロンプトを出力することと、
    をさらに備える、請求項1に記載の方法。
  9. 画像をキャプチャするための装置であって、
    画像センサと、
    前記画像センサに動作可能に結合されたプロセッサと
    前記画像センサを用いてシーンの画像をキャプチャするように構成された画像センサ制御モジュールと、
    前記キャプチャされた画像内の複数の被写体を検出するように構成された被写体検出モジュールと、
    前記キャプチャされた画像内で検出された前記複数の被写体のうちの2つ以上の各々についてスコアを決定するように構成された被写体スコアリングモジュールと、を備え、ここにおいて、被写体スコアを決定することは、
    前記キャプチャされた画像内の前記被写体の顔を検出することと、
    前記検出された顔に基づいて、顔位置スコアを決定することと、
    前記顔位置スコアに少なくとも部分的に基づいて、前記被写体スコアを決定することと、を備え、
    前記被写体スコアに少なくとも部分的に基づいて画像スコアを決定するように構成された画像スコアリングモジュールと、
    前記画像スコアがあらかじめ決められた画像スコア閾値を上回る場合、前記画像センサを用いてスナップショット画像をキャプチャするように構成されたスナップショットキャプチャモジュールと、
    前記画像スコアが前記あらかじめ決められた画像スコア閾値を下回る場合、最も優先順位の高いスコアを有する被写体に対してプロンプトを決定するように構成されたプロンプト決定モジュールと、
    前記決定されたプロンプトを出力するように構成されたユーザ対話モジュールと
    を備える装置。
  10. 前記検出された被写体のうちの1つと名称を関連付けるように構成された顔認識モジュールをさらに備え、前記プロンプトはオーディオプロンプトであり、前記プロンプトの出力はまた、前記名称に基づく、請求項9に記載の装置。
  11. 前記画像をスコアリングすることは、前記被写体の目のキーポイントの分布に基いた顔方向スコアに少なくとも部分的に基づく、請求項9に記載の装置。
  12. 前記顔位置スコアは、第2の検出された顔への前記被写体の顔の近接性に基づく、請求項9に記載の装置。
  13. 前記顔方向がさらに、目の瞳孔と前記目の4つの端との距離に基づく、請求項11に記載の装置。
  14. 画像キャプチャデバイスであって、
    画像センサを用いてシーンの画像をキャプチャするための手段と、
    前記画像内の複数の被写体を決定するための手段と、
    前記複数の被写体のうちの2つ以上の各々をスコアリングするための手段と、を備え、ここにおいて、前記スコアリングするための手段は、被写体スコアを
    前記キャプチャされた画像内の前記被写体の顔を検出することと、
    前記検出された顔に基づいて、顔位置スコアを決定することと、
    前記顔位置スコアに少なくとも部分的に基づいて、前記被写体スコアを決定することと、によって決定するように構成され、
    前記被写体の前記スコアに少なくとも部分的に基づいて前記画像をスコアリングするための手段と、
    前記画像スコアが画像スコア閾値を上回る場合、前記画像センサを用いて前記シーンの画像をキャプチャし、前記画像をデータ記憶装置に記憶するための手段と、
    前記画像スコアが前記画像スコア閾値を下回る場合、最も優先順位の高いスコアを有する被写体に対してプロンプトを出力するための手段と
    を備える画像キャプチャデバイス。
  15. 前記画像に関連付けられたオーディオをキャプチャするための手段をさらに備え、前記画像スコアはさらに、前記キャプチャされたオーディオに基づく、請求項14に記載の画像キャプチャデバイス。
  16. 前記複数の被写体の各々をスコアリングするための前記手段は、顔オブスキュレーションスコアを決定するための手段、顔ブリンクスコアを決定するための手段、または顔注視スコアを決定するための手段を含む、請求項14に記載の画像キャプチャデバイス。
  17. 前記画像をスコアリングするための前記手段は、画像安定性スコアを決定するための手段、画像焦点スコアを決定するための手段、画像露光スコアを決定するための手段、または画像オーディオスコアを決定するための手段を含む、請求項14に記載の画像キャプチャデバイス
  18. 命令を記憶した非一時的なコンピュータ読取可能な媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに対して、
    画像センサを用いてシーンの画像をキャプチャすることと、
    前記画像内の複数の被写体を決定することと、
    前記複数の被写体のうち2つ以上をスコアリングすることと、ここにおいて、前記画像をスコアリングすることは、顔位置スコアに少なくとも部分的に基づき、
    前記被写体の前記スコアに少なくとも部分的に基づいて前記画像をスコアリングすることと、
    前記画像スコアが画像スコア閾値を上回る場合、前記画像センサを用いて前記シーンの画像をキャプチャし、前記画像をデータ記憶装置に記憶することと、
    前記画像スコアが前記画像スコア閾値を下回る場合、最も優先順位の高いスコアを有する被写体に対してプロンプトを出力することと
    からなる方法を実行させる、コンピュータ読取可能な媒体。
  19. 前記画像をスコアリングすることは、顔オブスキュレーションスコアに少なくとも部分的に基づここにおいて、前記顔オブスキュレーションスコアは、前記顔上で検出されたキーポイントの数に基づく、請求項18に記載のコンピュータ読取可能な媒体。
  20. 前記方法はさらに、
    前記キャプチャされた画像内の顔を検出することと、
    名称を前記検出された顔に関連付けるために、前記検出された顔に対して顔認識を実行することと
    を備え、前記プロンプトはオーディオプロンプトであり、前記プロンプトを出力することは、前記名称に基づく、請求項18に記載のコンピュータ読取可能な媒体。
  21. 前記オーディオプロンプトは、彼らの位置または表情を調整するために、前記顔に関連付けられる被写体をプロンプトする、請求項2に記載の方法。
JP2014555624A 2012-02-06 2013-01-29 操作者不在画像キャプチャのための方法および装置 Expired - Fee Related JP5864783B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261595423P 2012-02-06 2012-02-06
US61/595,423 2012-02-06
US13/612,215 2012-09-12
US13/612,215 US9036069B2 (en) 2012-02-06 2012-09-12 Method and apparatus for unattended image capture
PCT/US2013/023654 WO2013119420A1 (en) 2012-02-06 2013-01-29 Method and apparatus for unattended image capture

Publications (3)

Publication Number Publication Date
JP2015512190A JP2015512190A (ja) 2015-04-23
JP2015512190A5 JP2015512190A5 (ja) 2015-10-15
JP5864783B2 true JP5864783B2 (ja) 2016-02-17

Family

ID=48902567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014555624A Expired - Fee Related JP5864783B2 (ja) 2012-02-06 2013-01-29 操作者不在画像キャプチャのための方法および装置

Country Status (6)

Country Link
US (2) US9036069B2 (ja)
EP (1) EP2813064A1 (ja)
JP (1) JP5864783B2 (ja)
KR (2) KR102014578B1 (ja)
CN (1) CN104094590B (ja)
WO (1) WO2013119420A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036069B2 (en) * 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture
CN103945046A (zh) * 2013-01-21 2014-07-23 目酷实验室有限公司 拍照控制方法及控制装置
KR102065362B1 (ko) * 2013-05-14 2020-01-13 삼성전자주식회사 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
US9552374B2 (en) * 2013-08-19 2017-01-24 Kodak Alaris, Inc. Imaging workflow using facial and non-facial features
KR102126868B1 (ko) * 2013-11-15 2020-06-25 한화테크윈 주식회사 영상 처리 장치 및 방법
JP6049608B2 (ja) * 2013-12-27 2016-12-21 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、記録媒体
US20150189166A1 (en) * 2013-12-30 2015-07-02 Telefonica Digital España, S.L.U. Method, device and system for improving the quality of photographs
KR102227284B1 (ko) 2014-01-16 2021-03-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9344673B1 (en) * 2014-03-14 2016-05-17 Brian K. Buchheit Enhancing a camera oriented user interface via an eye focus guide
US9473687B2 (en) 2014-12-23 2016-10-18 Ebay Inc. Modifying image parameters using wearable device input
US9519827B2 (en) 2014-12-24 2016-12-13 International Business Machines Corporation Personalized, automated receptionist
US9430673B1 (en) * 2014-12-30 2016-08-30 Emc Corporation Subject notification and consent for captured images
TWI658315B (zh) * 2015-01-26 2019-05-01 鴻海精密工業股份有限公司 拍照系統及方法
US10038836B2 (en) * 2015-03-17 2018-07-31 Mediatek Inc. Automatic image capture during preview and image recommendation
GB201507210D0 (en) * 2015-04-28 2015-06-10 Microsoft Technology Licensing Llc Eye gaze correction
GB201507224D0 (en) 2015-04-28 2015-06-10 Microsoft Technology Licensing Llc Eye gaze correction
WO2017018012A1 (ja) * 2015-07-28 2017-02-02 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
US9769367B2 (en) 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
US20170126966A1 (en) * 2015-10-29 2017-05-04 Mediatek Inc. Photography method using gaze detection
KR102655625B1 (ko) * 2015-11-24 2024-04-09 삼성전자주식회사 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US9836484B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US9838641B1 (en) 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
CN106131393A (zh) * 2016-06-15 2016-11-16 北京小米移动软件有限公司 拍照提示方法及装置
BR112019001748A8 (pt) 2016-07-29 2023-04-25 Acf Tech Inc Sistema de gerenciamento de filas para provedores de serviços
BR112019001757A2 (pt) * 2016-07-29 2019-05-07 ACF Technologies, Inc. sistema de enfileiramento automatizado
EP3491511A4 (en) 2016-07-29 2020-02-12 ACF Technologies, Inc. AUTOMATED QUEUE SYSTEM FOR SOCIAL MEDIA
KR102581802B1 (ko) 2016-11-21 2023-09-25 삼성전자주식회사 디스플레이장치, 시스템 및 기록매체
US10176616B2 (en) * 2017-01-19 2019-01-08 Adobe Inc. Automatic capture and refinement of a digital image of a group of people without user intervention
US20180336045A1 (en) * 2017-05-17 2018-11-22 Google Inc. Determining agents for performing actions based at least in part on image data
US10565696B2 (en) 2017-06-05 2020-02-18 Qualcomm Incorporated Systems and methods for producing image feedback
US10623694B2 (en) * 2018-03-16 2020-04-14 Lenovo (Singapore) Pte Ltd Appropriate modification of video call images
WO2019216593A1 (en) 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for pose processing
US10853459B2 (en) 2018-06-26 2020-12-01 Callsign Inc. Verification request authentication machine
US10740448B2 (en) 2018-06-26 2020-08-11 Callsign Inc. Verification request authentication machine
EP3606033A1 (en) * 2018-07-31 2020-02-05 Honda Research Institute Europe GmbH Method and system for assisting a user in producing and selecting images
KR102598109B1 (ko) * 2018-08-08 2023-11-06 삼성전자주식회사 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법
JP7401968B2 (ja) * 2018-12-07 2023-12-20 ルネサスエレクトロニクス株式会社 撮影制御装置、撮影システム及び撮影制御方法
US11265462B2 (en) 2020-07-06 2022-03-01 Qualcomm Incorporated Automatic camera selection capturing intended subjects in an image
CN112261301A (zh) * 2020-10-23 2021-01-22 江苏云从曦和人工智能有限公司 一种拍照方法、系统、设备及介质
CN113177917B (zh) * 2021-04-25 2023-10-13 重庆紫光华山智安科技有限公司 一种抓拍图像优选方法、系统、设备及介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040017998A (ko) 2002-08-23 2004-03-02 김수엽 화상인식시스템의 얼굴위치 보정지시장치 및 그 방법
JP2004328083A (ja) 2003-04-21 2004-11-18 Nikon Corp 撮像装置
JP4333223B2 (ja) * 2003-06-11 2009-09-16 株式会社ニコン 自動撮影装置
US20050030388A1 (en) 2003-08-06 2005-02-10 Stavely Donald J. System and method for improving image capture ability
JP4314567B2 (ja) * 2003-12-04 2009-08-19 カシオ計算機株式会社 撮影装置および撮影プログラム
JP2006140695A (ja) * 2004-11-11 2006-06-01 Konica Minolta Photo Imaging Inc 撮像装置
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
US7668454B2 (en) 2006-08-29 2010-02-23 Hewlett-Packard Development Company, L.P. Photography advice based on captured image attributes and camera settings
JP2008277903A (ja) * 2007-04-25 2008-11-13 Sony Corp 撮像装置及びフォーカス対象決定方法
JP4513843B2 (ja) * 2007-09-10 2010-07-28 カシオ計算機株式会社 撮像装置及びプログラム
JP4720810B2 (ja) * 2007-09-28 2011-07-13 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5137622B2 (ja) * 2008-03-03 2013-02-06 キヤノン株式会社 撮影装置及びその制御方法、並びに画像処理装置及びその制御方法
KR101444103B1 (ko) 2008-03-14 2014-09-26 삼성전자주식회사 상태 정보를 이용하여 미디어 신호를 생성하는 방법 및장치
US8265474B2 (en) * 2008-03-19 2012-09-11 Fujinon Corporation Autofocus system
JP5493284B2 (ja) 2008-03-31 2014-05-14 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP5251547B2 (ja) * 2008-06-06 2013-07-31 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP5073602B2 (ja) * 2008-07-23 2012-11-14 オリンパスイメージング株式会社 撮像装置および撮像装置の制御方法
JP5182507B2 (ja) 2008-09-26 2013-04-17 カシオ計算機株式会社 撮影装置、撮影案内方法、及びプログラム
JP4816717B2 (ja) * 2008-12-09 2011-11-16 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
EP2219367B1 (en) 2009-02-16 2011-12-21 Research In Motion Limited Using gravity to direct a rotatable camera in a mobile device
JP2010226558A (ja) * 2009-03-25 2010-10-07 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2011107997A (ja) * 2009-11-18 2011-06-02 Sony Corp 情報処理装置、情報処理方法、およびプログラム
KR101634247B1 (ko) 2009-12-04 2016-07-08 삼성전자주식회사 피사체 인식을 알리는 디지털 촬영 장치, 상기 디지털 촬영 장치의 제어 방법
JP4968346B2 (ja) * 2010-01-20 2012-07-04 カシオ計算機株式会社 撮像装置、画像検出装置及びプログラム
JP5430428B2 (ja) * 2010-02-01 2014-02-26 オリンパスイメージング株式会社 撮影機器
US9036069B2 (en) * 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture

Also Published As

Publication number Publication date
EP2813064A1 (en) 2014-12-17
WO2013119420A1 (en) 2013-08-15
US9392163B2 (en) 2016-07-12
US20130201359A1 (en) 2013-08-08
JP2015512190A (ja) 2015-04-23
KR20140119814A (ko) 2014-10-10
KR20150099880A (ko) 2015-09-01
KR102014578B1 (ko) 2019-08-26
CN104094590B (zh) 2019-08-23
CN104094590A (zh) 2014-10-08
KR101632819B1 (ko) 2016-06-22
US9036069B2 (en) 2015-05-19
US20150215528A1 (en) 2015-07-30

Similar Documents

Publication Publication Date Title
JP5864783B2 (ja) 操作者不在画像キャプチャのための方法および装置
KR101803081B1 (ko) 매장 관리 로봇
US9171230B2 (en) Object detection method, object detection apparatus and image pickup apparatus
JP4757173B2 (ja) 撮像装置及びその制御方法及びプログラム
CN108875452A (zh) 人脸识别方法、装置、系统和计算机可读介质
JP2009059257A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US11076091B1 (en) Image capturing assistant
JP2006115406A (ja) 撮像装置
TW201203134A (en) Facial expression capturing method and apparatus therewith
WO2017096861A1 (zh) 拍摄照片的方法及装置
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
WO2015131571A1 (zh) 一种实现图片排序的方法及终端
CN108875488B (zh) 对象跟踪方法、对象跟踪装置以及计算机可读存储介质
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
JP4708835B2 (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
WO2020258977A1 (zh) 一种对象统计方法和装置
US11558546B2 (en) Conditional camera control via automated assistant commands
US20230421885A1 (en) Control apparatus, image capturing apparatus, control method, recording medium, and image capturing system
CN111435430B (zh) 对象识别方法、对象识别装置和电子设备
JP2024150437A (ja) 自動アシスタントコマンドによる条件付きカメラ制御
JP2023075515A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150827

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20150827

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20151113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151224

R150 Certificate of patent or registration of utility model

Ref document number: 5864783

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees