JP7143260B2 - 画像を作成し選択する際にユーザを支援するための方法およびシステム - Google Patents

Description

本発明は、画像を作成し選択する際にユーザを支援するための方法およびそれぞれのシステムに関する。本発明は、特に、人々に強い感動的な反応を容易に引き起こす画像を作成し選択することを意図しており、したがってこれらの画像は、ソーシャル・メディア上で共有され評価される可能性が高い。

今日、人々がソーシャル・メディア上で自身の日常生活中に撮られた画像を共有することは非常に一般的である。ソーシャル・メディアは、関係者が画像またはビデオのような共有されたメディアを評価する機会を含んでいる。このように、自身の画像を共有する人々にとって、自身の画像についての高い評価を得ることは重要である。画像を撮りながら直接写真撮影者を支援するプログラムが当技術分野で利用可能であるが、写真をいつどこで撮るべきであるかを判断することは、依然として写真撮影者自身の負担である。写真撮影者は、関連する多様な視野を意図的に選択する、それゆえ、写真撮影者が撮る写真の枚数を制限される。写真撮影者は、特に、一日のうちのどんな時間にでもまたは他の仕事に係わっている間に写真を撮れるという位置にはない。

他方では、画像の審美評価が数十年にわたり探究されてきている。最近開発されたモデルは、例えば、Ｐｒｏｃ． ＥＣＣＶ、２００６年、２８８～３０１ページのＲ．Ｄａｔｔａ、Ｄ．Ｊｏｓｈｉ、Ｊ．ＬｉおよびＪ．Ｚ．Ｗａｎｇによる「Ｓｔｕｄｙｉｎｇ ａｅｓｔｈｅｔｉｃｓ ｉｎ ｐｈｏｔｏｇｒａｐｈｉｃ ｉｍａｇｅｓ ｕｓｉｎｇ ａ ｃｏｍｐｕｔａｔｉｏｎａｌ ａｐｐｒｏａｃｈ」に示唆されているような画像の人間審美認識力を予測するための計算論的な（ディープ）機械学習モデルを使用する。このようなモデルは、画像のデータベースおよびソーシャル・メディアからのヒューマン・ラベルについて学習されてきている。これらのモデルが完璧には動作しないが、０．８５の正確さを達成することができ、画像の分類がそれゆえ可能である。このようなモデルの異なる解釈は、このようなモデルが、シェア、リツイート、お気に入り、等の数を予測することによりソーシャル・メディア上での画像の人気を直接予測することである。

他方では、ディジタル写真技術は、特にメモリがますます安価になっているので、極めて多数の画像を取り込むことを可能にする。さらに、プロセッサが大量のデータでさえ処理することが可能な性能をともなって開発されてきているという理由で、画像処理が可能である。しかし依然として、ユーザが任意の種類のソーシャル・メディア上に共有することを望む画像の選択は、最終的にユーザの役目であり、自動的に取り込まれるすべての画像に広げることはほぼ不可能である。結果として、ユーザは、自分自身が取り込んだこのような画像だけを共有するように事実上は制限され、したがって上に述べた問題に連れ戻す。

米国特許出願公開第２０１４／０７２２２１（Ａ１）号は、被写体領域のシャープネスと背景領域のシャープネスとの間の違いを示しているスコアを計算し、計算したスコアをしきい値と比較することによって、被写体のシャープネスが背景のシャープネスと比較して相対的に高い画像を自動的に選択する画像処理装置を開示している。

米国特許出願公開第２０１７／２９３２９７（Ａ１）号は、基準画像のユーザ評価に基づいて決定される写真撮影位置、画面構成、およびカメラ・アングルを示している写真撮影情報に基づいて被写体の画像を自動的に取り込む無人の写真撮影装置を開示している。

米国特許出願公開第２０１４／０７２２２１（Ａ１）号 米国特許出願公開第２０１７／２９３２９７（Ａ１）号

Ｓｔｕｄｙｉｎｇ ａｅｓｔｈｅｔｉｃｓ ｉｎ ｐｈｏｔｏｇｒａｐｈｉｃ ｉｍａｇｅｓ ｕｓｉｎｇ ａ ｃｏｍｐｕｔａｔｉｏｎａｌ ａｐｐｒｏａｃｈ、Ｐｒｏｃ． ＥＣＣＶ、２００６、２８８～３０１ページ、Ｒ．Ｄａｔｔａ、Ｄ．Ｊｏｓｈｉ、Ｊ．ＬｉおよびＪ．Ｚ．Ｗａｎｇ

公開、例えば、ソーシャル・メディア・プラットフォーム上で共有すること、のために適している画像を作成し選択する際にユーザを支援することが、本発明の目的である。

問題は、独立請求項による独創的な方法および対応するシステムにより解決される。従属請求項は、有利な態様および特徴を規定する。

本発明の方法によれば、ユーザは、画像を作成し選択する際に支援される。最初に、可動プラットフォームに、カメラを取り付ける。このような可動プラットフォームを、自律的または半自律的に動き回る任意のタイプの装置とすることができる。このような可動プラットフォームに関する例を、サービス・ロボット、自律自動車、ドローンとすることができるが、例えば、パン・チルト・カメラのような監視カメラとすることもできる。普通は、可動プラットフォームが動き回っている間に、画像がカメラにより取り込まれる。したがって、可動プラットフォームの移動中に、画像を、様々な場所で、また様々な向きおよび様々な撮影時刻において撮ることができる。したがって、まず第一に撮った画像を反映せずに、多数の画像を取り込むことができる。当然のことながら、画像をまた、プラットフォームの停止中に、例えば、プラットフォームを充電している間におそらく取り込むことができる。一般に、画像は、可動プラットフォームの動作中に撮られる。

撮られたこの多数の画像から関心のある画像を選択するために、少なくとも１つの画像スコアが、画像の少なくとも１つの領域についてプロセッサで計算される。少なくとも１つの領域についての少なくとも１つの画像スコアは、当然のことながら、複数の画像スコアを画像の異なる態様に向かって計算することができることを意味する。例えば、画像スコアは、究極性を含め審美性、情報コンテンツまたは意外性、オブジェクトネス、分類スコアおよび確信度を考えることができる。当然のことながら、画像スコアを計算することができる態様は、与えられた例に限定されない。さらに、全体の取り込んだ画像に対してではなく特定の領域にだけ１つまたは複数の画像スコアを計算することが可能である。このような領域を、例えば、画像内に検出された物体の周りの所定のサイズを有する区域とすることができる。当然のことながら、画像のこのような部分領域を規定するための多くの他の手法を考えることができる。

画像の少なくとも１つの画像スコアが、画像から抽出した特徴に基づいて計算され、抽出すべき特徴のタイプは、画像スコアが向けられる所望の態様に依存する。このようにして、光の使用を特徴付けるために、平均ピクセル強度、モノクロ、セピアもしくは単純に低コントラスト画像から多色画像を識別する相対的な色分布、彩度指標としての平均彩度、画像類似性（自動的にセグメント化された領域からの色、テクスチャおよび形状情報を使用することによるデータの基礎の他の画像との整合性）ならびに／または一方では周囲は普通には焦点が合っていないところで、画像内の良く焦点の合った物体のような所定の視覚的特徴が抽出され推定される。これは次いで、１つまたは複数の画像スコアが選択条件を満足する場合に解析される。選択条件が１つもしくは複数の画像スコアによって満足される画像、またはこのような画像の識別子は、メモリ内のリストに記憶される。メモリ内のリストのこれらの識別子または記憶した画像は、最終的にインターフェースを介して出力される。記憶した画像の検索を可能にする識別子を記憶し出力することが十分であることに留意されたい。

本方法は、搭載したカメラを有する可動プラットフォームを備えるシステムを使用して実現される。システムは、１つまたは複数の画像スコアの上に述べた計算を実行するように構成されたプロセッサと、画像または識別子を出力するためのインターフェースとを備える。

本発明を用いて、ユーザは、画像を生成する際に支援される。その理由は、可能性としてソーシャル・メディア上で共有されるまたはいずれかの他の方法で公開され、ユーザにより見直されなければならないすべての画像を個人的に見直すことが最早必要ないためである。基礎となる画像データベースは、ユーザにより積極的に取り込まれた画像に限定されない。対照的に、動き回り、カメラを装備したロボットまたはいずれかの他のタイプの車両が、自動的に、例えばある設定した時間間隔で、または連続的に画像を取り込むために使用される。したがって、最初に、ユーザが関与せずに、多数の画像が自動的に生成される。このことは、ユーザにとっての快適さを著しく大きくする。次いで、自動選択ルーチンを開始する。このことは、ユーザがすべての画像をよく調べ、どの画像が公開または共有するために十分に興味があるかを自身で考える負担を軽減する。撮られた画像の様々な態様に向けられることがある計算した画像スコアに基づいて、画像の事前選択を行い、したがって、ユーザにより見直されることが最終的に必要である画像の数を減少させることが可能である。ユーザによる最終的な見直しを必要とするこれらの画像が、リストに記憶される、またはリストに記憶される識別子により検索されることになる。当然のことながら、人間がさらに見直しをせずに選択されており、リストに記憶されている画像を自動的にアップロードすることも可能である。

下記では、これは、リストに画像を記憶すると単に呼ばれるが、当然のことながら、画像を識別し、画像スコアが選択必要条件を満足する画像をコピーまたは送信することを可能にするいずれかの他の方法もまた可能であることに留意されたい。

本発明によれば、可動プラットフォームは、少なくとも１つのモータの助けを借りて移動し、この少なくとも１つのモータは、モータ・コントローラにより駆動される。したがって、モータ・コントローラがプロセッサに都合よく接続された状態で、場所および／または向きとともに少なくとも１つの画像スコアの変化に基づいて移動経路に影響を及ぼすことが可能である。システムの構成要素を分散させること、例えば、クラウドにメモリを配置すること、可動プラットフォーム上に搭載されたカメラとデータを交換するように構成されたサーバ内にプロセッサを配置することが一般に可能であるとはいえ、すべての構成要素が１つの装置、例えば、自律芝刈り機、自律掃除ロボット、等に含まれることが特に好ましい。このような場合、カメラしたがって可動プラットフォームの場所とともに少なくとも１つの画像スコアの変化を計算することが特に容易である。その結果として、このような変化に従って移動経路を決定することが可能であり、それにより、可動プラットフォームおよびその結果としてカメラをある場所へ移動させることにより、およびある向きに関してその場所で、この向きで取り込まれる得られた画像がより高い画像スコアを実現する向きを有することにより、画像スコアを改善する。

場所および／または向きに関する少なくとも１つの画像スコアの変化を解析することにより、可動プラットフォームが画像スコアの最大値に向かって後を追い、最大値に達したときに可動プラットフォームの移動が停止する移動経路を規定することがしたがって可能である。この位置では、カメラは、微速度撮影ビデオを取り込むように制御される。したがって、最初に、カメラの最善の場所および向きが実現され、これが既に高い画像スコアという結果になり、それから、加えて、複数の画像が場所および向きを変えないで違った時点で撮られ、その結果、違った時刻において取り込まれるこの複数の画像に関して、一日のうちの時間の影響を、さらにもっとアピールする画像を生成するために利用することができる。

もう１つの有利な態様によれば、プロセッサは、画像の第１の領域についての少なくとも１つの第１の画像スコアおよび画像の第２の領域についての少なくとも１つの第２の画像スコアを計算する。第１の画像領域および第２の画像領域は、好都合には画像内の左領域および右領域である。このような場合、第１の領域についての第１の画像スコアと第２の領域についての第２の画像スコアとを互いに比較し、前に取り込んだ画像内でより高い画像スコアが実現された領域に向かって可動プラットフォームの進行方向を変更することは特に容易である。

特に、可動プラットフォームが自律芝刈り機または掃除ロボットのようなサービス・ロボットであるときには、一般に、可動プラットフォームの動きは、サービス・ロボットの通常の動作により規定される。しかし、本発明の１つの有利な態様によれば、可動プラットフォームの通常の動作は、画像スコアの勾配および／または画像の異なる領域についての画像スコアの比較に基づいて決定された適応移動経路に沿って可動プラットフォームを移動させるために中断される。当然のことながら、可動プラットフォームが所定の移動経路に沿って移動しながら画像を取り込んだ後で、サービス・ロボットは、好都合には、その通常の動作に戻ることができる。その点については、画像スコアの勾配に基づいて移動経路を適応させることは、普通には、最大値ではなく極大値をもたらすことに留意されたい。したがって、どこかに最大値を見つけた後で、別の位置でプロセスを再び開始するまたは「正常な」期間の後で、動作は、おそらく他のスコアまたは良いスコアでさえもたらすことになる。

上に述べたような通常の動作は、普通には、所定の時間スケジュールに従って可動プラットフォームを移動させる。本発明のもう１つの有利な態様によれば、画像スコアの予測に基づいてこの時間スケジュールを適応させることが好ましい。画像スコアのこのような予測を、いずれか、例えば、一日の時間との画像スコアの依存性を決定することを可能にする既に取り込まれている画像の解析に基づいて行うことができる。あるいは、一日のうちの有利な時間を、予め決めることができ、サービス・ロボットの動作のスケジュールを適応させるために使用することができる。結果として、照明条件が、例えば、他の時間よりもっとアピールする画像をもたらすと普通には考えられる一日のうちの時間にサービス・ロボットを動作させることが可能である。普通には、これは、朝のうちおよび午後遅くにまたは特に日没の間であろう。

もう１つの有利な態様によれば、代表的な画像は、複数の画像の画像スコアが選択条件を満足し、これらの画像があるしきい値よりも大きい類似度を示す場合で選択される。このことは、ほとんど余分な画像がリストに記憶され最終的に出力されることを回避する。画像同士の間の類似性の程度が自動的に計算され、互いに類似していると２つの画像を識別するためのしきい値を、好ましくは調節することができる。

さらに、画像を、全方位カメラにより取り込むことができ、画像スコアの計算が実行される前に、取り込まれた画像が、パノラマ画像を生成するために事前に処理される。次いで、既に上に説明してきている方法ステップが、パノラマ画像に基づいて実行される。当然のことながら、カメラ・タイプに特有なゆがみを取り除くために他のカメラ・タイプを使用して撮られてきている画像を事前に処理することも可能である。

さらに、画像の撮影時刻、場所および／または向きを、この特定の画像についての画像スコアと関連付けて記憶すると好都合である。これが、画像により達成された画像スコアについての場所、向き、および／または撮影時刻の影響を解析することを可能にする。達成した画像スコアのこのような依存性に関する知識を、次いで、可動プラットフォームの移動経路を決定するために特に都合よく使用することができ、その結果、カメラは、改善した画像スコアで画像を取り込むことを可能にする場所へ向きとともに可動プラットフォームと一緒に移動される。加えてまたは代わりに、画像スコアを大きくするために与えられている時刻に、画像を取り込むこともできる。

本発明を用いると、可動プラットフォームは、それ自体の通常の動作に従って、または過去に取り込んだ画像についての画像スコアの結果を考慮して決定される移動経路上を動くことになる。過去に取り込まれた任意の画像に対して１つまたは複数の画像スコアを計算することが可能であるので、大きなデータベースが作り出され、その詳細な解析を可能にする。普通には、このようなサービス・ロボットは、限られた区域内で動作し、その結果として同様の位置へ移動し、何度も同様の向きを有することさえある。このような位置で、このような向きで画像が様々な時刻に取り込まれると、時間の影響を解析することができ、したがって画像スコアについての予測を行うことができる。

本発明についての説明の読みやすさを向上させるために、「画像スコア」が述べられるどんなときでも、これは事実上、単一の画像スコア、または画像スコアの組み合わせであるだけでなく、画像の様々な態様に関する複数の個別の画像スコアであってもよいことに留意されたい。

本発明を、添付した図面を参照してここで説明しよう。

本発明のシステムのブロック図である。 様々な方法ステップを図説している単純化したフローチャートである。

図１には、本発明のシステムの主要な構成要素を図説するための単純化したブロック図が示されている。図１に示したようにシステムの基本的な構成は、本発明を適用することを思いつくことができる可動プラットフォームのすべてに有効である。このような可動プラットフォームを、上に述べたように、任意の種類のサービス・ロボット、自律または半自律車両、ドローン、監視カメラ、等とすることができる。可動プラットフォームの動きがカメラを持ち運び、可動プラットフォームのアクチュエータ用の制御信号を生成する代わりに動きの兆候により案内される人間により実行される民生用カメラ・アシスタンスまたはフォト・アプリを作成することにさえも本発明の一般的なアイデアを移転することも可能である。

本発明の範囲を限定することなく、自律芝刈り機１である可動プラットフォームについてここで説明しよう。この自律芝刈り機１は、芝生を自律的に刈り、したがって屋外環境で動作するように構成される。自律芝刈り機１は、自律芝刈り機１を動かすための少なくとも１つのモータ２を備える。普通には、複数のモータ２が自律芝刈り機１内に配置され、その結果、少なくとも２個の駆動輪の車輪速度の調節が、自律芝刈り機１の運転方向だけでなくその速度も制御する。モータ２は、モータ・コントローラ３により制御され、このモータ・コントローラ３は、制御信号を生成し、この信号をモータ２のうちの１つまたは複数に伝達する。モータ・コントローラ３は、プロセッサ６に接続され、プロセッサ６は、モータ・コントローラ３において使用される情報をモータ・コントローラ３に供給して、自律芝刈り機１に対する移動経路を決定する。本発明がモータ・コントローラ３の代わりに民生用カメラに適用される場合には、民生用カメラに設けられたディスプレイまたはスピーカが意図する動きの方向をユーザに指示することを可能にする信号を受信するように、ディスプレイ・コントローラまたはスピーカ・コントローラを使用することができる。その場合におけるこのようなディスプレイ・コントローラまたはスピーカ・コントローラは、プロセッサ６からの情報を受信し、移動経路を決定し、適宜、音響出力により、視覚出力によりユーザを案内する。

自律芝刈り機１は、メモリ４をさらに備える。このメモリ４は、自律芝刈り機１に搭載されているカメラ５と接続される。メモリ４を、単一のメモリとすることができるまたは後で説明されるように生の画像もしくは選択した画像のリストを記憶するような専用の目的でそれぞれ働く複数のメモリにより構成することができることに留意されたい。図示した実施形態では、単一のメモリ４だけが、本発明のシステムのすべての構成要素に対して使用される。カメラ５により取り込まれた画像は、メモリ４に記憶される。カメラ５によって取り込まれた画像を解析するためには、取り込まれたすべての画像がメモリ４に保持されることが好ましい。当然のことながら、例えば、好ましくはユーザにより設定することができる期間よりも画像が古いときに、メモリ４から画像のうちのいくつかを削除することが可能である。

述べたように、図示した実施形態は、本発明を実行するために必要な構成要素のすべてを有する自律芝刈り機１およびこの芝刈り機に搭載された方法である。しかしながら、分散型システムに対しても機能では違いがなく、この分散型システムでは、特に、メモリがクラウドに配置され、プロセッサ６およびその機能でさえ、本発明による自律芝刈り機または他の可動プラットフォームと通信しデータ交換するサーバ側のプロセッサによって実現されてもよい。

情報に基づいて移動経路を決定することができる情報をモータ・コントローラ３に提供するためにモータ・コントローラ３に接続されるプロセッサ６もまた、メモリ４に接続される。このように、プロセッサ６は、メモリ４に記憶されている画像を利用することができ、記憶された画像の各々に対して画像スコアを計算することができる。当然のことながら、画像がプロセッサ６により処理されるためにバッファ・メモリ（図には図示せず）に記憶されるだけであることも可能である。メモリ４は、次いで、後で説明するように、計算した画像スコア（または画像スコアの組み合わせ）が選択条件を満足する画像だけを記憶するために使用されることになる。

いずれにせよ、プロセッサ６は、メモリ４に情報を記憶することまたはメモリ４からデータを検索することを制御することができる。プロセッサ６は、またインターフェース７にも接続される。インターフェース７を介して、メモリ４は、例えば、メモリ４に好みをまたは自律芝刈り機１の通常の動作のために必要ないずれかのパラメータを記憶するためにユーザによってアクセスされることもある。他方で、選択条件を満足する画像を、例えば、ユーザが画像をさらに処理することができるユーザ機器へインターフェース７を介して送信することができる。インターフェース７を介して送信された画像を、いずれか、例えばソーシャル・メディア・アプリへ直接アップロードすることができる、または後処理のためにユーザへ転送することができることにも留意されたい。

プロセッサ６では、画像スコアの計算が実行される。このことは、例えば、カメラ５が全方位カメラである場合には、画像の処理を含むはずである。このような場合、カメラ５により作成されるような生の画像が、パノラマ画像を作成するために事前に処理される。メモリ４にこのパノラマ画像を記憶してしまうと、カメラ５により撮られた通常の画像のいずれかの場合のように、画像スコアの計算を開始することができる。プロセッサ６は、カメラ５もまた制御する。

プロセッサ６では、当技術分野において一般に知られているアルゴリズムが実行される。当然のことながら、全体の画像に対して１つだけの画像スコアを計算することまたは同じ画像に対して別々に複数の異なる画像スコアを計算することが可能である。これらの複数の画像スコアを、審美性、究極性、情報コンテンツまたは意外性、オブジェクトネス、分類スコア、および信頼度、等などの異なる態様に向けることができる。結果として組み合わせた画像スコアになるように複数のこれらの画像スコアを組み合わせることも可能である。個々の画像スコアの組み合わせは、別々の画像スコアに対して異なる重みを使用することができる。このように、異なる態様に対する重みの適応は、ユーザが特定の態様を強調することを可能にする。このような適応を、いずれか、システムを設定するとき、または自律芝刈り機１を使用している間の後の段階で実行することができる。

画像スコアまたは組み合わせた画像スコアの計算を、いずれか、全体の画像に対してまたは画像内のある領域だけに対して実行することができる。全体の画像を様々な領域へと分割することを、幾何学的態様に従ってまたは、例えば、特定した物体が所定のサイズを有するパッチの中心である状態で画像内の物体認識の結果に基づいて厳密に行うことができる。簡潔さのために、下記では、「画像スコア」という用語だけが使用され、別段説明しない限り組み合わせた画像スコアも含むことが常に理解される。

自律芝刈り機１の動作が一旦始まると、芝刈り機は、芝生を刈るというそれ自体の一般的な仕事を終わらせるために走り回り、その移動経路がそれに応じて決められる。それにもかかわらず、走り回る間に、画像がカメラ５により取り込まれ、したがって、動作中に、自律芝刈り機１は複数の画像を集める。カメラ５により取り込まれた画像の各々に対して、プロセッサ６は１つの画像スコアまたは複数の画像スコアを計算する。画像スコアは、それぞれの画像に関係するメモリ４に、好都合には撮影時間、場所およびカメラの向きとともに記憶される。プロセッサ６により計算された画像スコアは、次いで選択条件と比較される。単一の画像スコアまたは１つの画像スコアの組み合わせだけの最も単純な場合には、このような画像スコアの値を、しきい値と比較することができる。画像スコアがしきい値よりも大きい場合には、それぞれの画像が、メモリ４内の選択された画像のリストに記憶されることになる。既に上に述べたように、画像自体、または画像データにアクセスすることを可能にする画像の識別子がリストに記憶されている場合には、これは無意味である。本発明を容易に理解するために、このことは、単に、画像をメモリ４に記憶すると呼ばれる。

画像スコアがしきい値を超える画像の各々をリストに記憶することの代わりに、最上位の画像スコアを有する画像の所定の最大数だけしか持たないリストを持つことも可能である。このように、自律芝刈り機の動きの間に何枚の画像が取り込まれるかに拘わらず、最終的に出力することが必要である画像の数は、常に同じである。このことは、例えば、多数の画像が選択基準を満足していることをシステムが認識する良い天気の一日に対しては、多数の画像が最終的に出力され、一方、曇りの日には、非常に少ない数の画像が出力されることになることを回避する。それとは反対に、常に、最上位の、例えば２５枚の画像がリストを生成し、ユーザに提案されるまたは出力されることになる。

リスト内の画像は、インターフェース７を介して最終的に出力される。画像を出力することは、いずれか、画像の送信に関するユーザ要求に応じてもよい、または所定の時刻に、例えば、毎日ある時刻にもしくは月の終わりに、等で実行されてもよい。リストは、次いで消去され、プロセス全体が再び始まる。自律芝刈り機１の動作が終わると直ぐに画像のリストを自動的に出力することも可能である。その場合、インターフェース７が自動的に自律芝刈り機１の充電スタンドのデータ回線に接続され、これは順にデータ転送をトリガすることが考慮されてもよい。すべての計算した画像スコアの解析において画像スコアの勾配を推定することおよび従うことのような迅速な応答を実行できるように、画像スコアの計算をオンラインで実行することが一般に可能であるとはいえ、自律芝刈り機１がそれ自体の充電スタンドに戻るまで画像スコアの計算を後回しにすることが有利である。したがって、画像スコアを計算するために必要な電力は、エネルギー消費に関して動作時間を減少させない。

画像スコアの計算それ自体は、当技術分野では知られていることに留意されたい。既存のモデルが典型的には大きなデータベースでトレーニングされる。モデルそれ自体を、工場デフォルトとして使用することができるが、環境におよび自動的にユーザの好みにまたはユーザによりまたは市場の他の製品からの統計によって後にも適応させることもできる。ユーザの好みを、画像のユーザ自身のスコア付けからそれとなくまたはユーザが異なるスコア・タイプの重み付けを変えることにより明確に学習することができる。その場合、ユーザは、例えば、審美性、新奇性、空間的な多様性、等についての重み付けをメモリ４に記憶することができ、したがって得られる組み合わせた画像スコアが個々の画像スコアについて適応させた重み付けを使用して計算されることになる。

当然のことながら、ドメインに特有のデータ・セットについてモデルを微調整することが可能であり、その場合、ラベリングが必要である。ユーザによる初期設定フェーズの間に微調整される工場デフォルト・モデルから始めることも可能である。ユーザは、ユーザの携帯電話、等で動作するアプリに表示される代表的な画像を評価する。代表的な画像のこのような集合に基づいて、画像スコアを計算するために使用するモデルを、調整または再トレーニングすることができる。

本発明の実施形態によれば、組み合わせた画像スコアは、審美性スコアおよび独創性スコアを含む。審美性スコアを、米国特許出願公開第２０１４／０７２２２１（Ａ１）号に開示したように計算することができ、そこでは、各々の取り込んだ画像について、プロセッサ６は、物体領域のシャープネスと背景領域のシャープネスとの間の違いを計算する。

あるいは、審美性スコアを、Ｒ．Ｄａｔｔａらの「Ｓｔｕｄｙｉｎｇ ａｅｓｔｈｅｔｉｃｓ ｉｎ ｐｈｏｔｏｇｒａｐｈｉｃ ｉｍａｇｅｓ ｕｓｉｎｇ ａ ｃｏｍｐｕｔａｔｉｏｎａｌ ａｐｐｒｏａｃｈ」に開示されたように計算することができ、そこでは、各々の取り込んだ画像について、プロセッサ６は、複数の視覚的特徴を抽出し、審美性に関して抽出した視覚的特徴を定量化するために特徴値を計算し、審美性スコアを決定するために特徴値の多項式項に線形回帰を実行する。

光の露出、精彩、彩度、色調、三分割法の遵守、領域合成（ｒｅｇｉｏｎ ｃｏｍｐｏｓｉｔｉｏｎ）、親密度、ウェーブレットに基づくテクスチャ、フィールドの浅い深度および凸形状の視覚的特徴を抽出するために、取り込んだ画像の画像データを、カラー・トーンおよび彩度を解析するためにＨＳＶ空間（画像寸法Ｘ×Ｙの各々の、色調Ｉ_Ｈ、彩度Ｉ_Ｓ、値Ｉ_Ｖ）に変換して、取り込んだ画像内の物体から情報を抽出するためにＬＵＶ空間に変換される。いくつかの特徴を、画像内の物体から抽出することができる。画像内の物体を見つけるための概略の方法は、均一な領域が物体に対応するという仮定の下でのセグメント化である。

独創性スコアは、自律芝刈り機１のカメラ５により取り込まれた画像内の物体に基づいて決定され、そこでは、個性的であり滅多に観察されない物体が結果として高い独創性スコアになる。例えば、動物には花よりも高いスコアをつけ、花には草よりも高いスコアをつけ、花を咲かせる植物には花を咲かせない植物よりも高いスコアをつける。プロセッサ６は、画像解析によって各々の取り込まれた画像内の物体を検出し、各々の検出した物体のタイプおよびおそらく物体の状態（花を咲かせる／花を咲かせない）もまた決定し、決定した物体タイプおよび状態に対してスコアを割り当てているテーブルに基づいて独創性スコアを決定する。テーブルは、メモリ４に記憶され、製造業者またはユーザによって生成される。さらに、取り込んだ画像のユーザ・レーティングならびに／または以前に取り込んだ画像に基づいてプロセッサ６により決定される物体（タイプおよび／もしくは状態）の希少性に基づいてテーブルを更新するようにプロセッサ６を構成することができる。

組み合わせた画像スコアは、審美性スコアと独創性スコアとの和または積であり、そこでは、和および積において、審美性スコアおよび独創性スコアを、別々に重み付けすることができる。組み合わせた画像スコアは、しきい値と比較され、組み合わせたスコアがしきい値よりも大きい場合には、画像は、メモリ４内の選択された画像のリストに記憶される。

ソーシャル・メディア上に公開するために適している画像をさらに生成し選択するためにユーザを支援するために、画像の説明をコンピュータ処理し、例えば、自動的に画像内の物体を検出するためのタグを記憶することも有利である。このような画像タグを「花／動物を含む」または「日当たりが良い」等である場合がある選択基準に使用することができるので、このような画像タグを、画像スコアを計算するためにも使用することができる。さらに、ソーティングのための基準がユーザによって都合よく設定されてもよいリストにおいて、選択必要条件を満足する画像をソートすることができ、この選択必要条件は、いずれか、画像スコアについての単一のしきい値または異なる態様による複数の個々の画像スコアの場合には個々のしきい値の組み合わせのいずれかである。

デフォルトとして、自律芝刈り機１の通常の動作中に、すべての画像が自動的に取り込まれ、プロセッサ６によりトリガされることを設定することができる。既に上に説明してきているように、自律芝刈り機１の通常の動作に関して、自律芝刈り機１の動作課題を満足させるために適した移動経路が決定される。しかし、基礎となる画像を取り込む場所、向きおよび時刻に関係する記憶した画像スコアが解析を可能にするので、取り込んだ画像によって実現される画像スコアを改善するために自律芝刈り機１の移動経路に影響を与えることが可能である。そのようにするために、画像スコア、例えば審美性スコアの場所的な変化が計算され、最も高い上り坂の方向が推定される。次いで、プロセッサ６により決定され、移動経路へと変換され、最終的にモータ・コントローラ３による運転信号に対応する最も高い上り坂の方向に従って、自律芝刈り機１は、改善した画像スコアを持つ画像を取り込むことを可能にする位置に向かって移動することになる。当然のことながら、元々の移動経路から外れることは、自律芝刈り機１の通常の動作を中断させることが必要である。さらに、元々の移動経路からのこのような外れは、画像を取り込む前に最終的に修正されることが可能な自律芝刈り機の向きの変化という結果になる。一般に、遅い特徴解析に基づく自律装置のナビゲーションが当技術分野では知られており、それぞれのアルゴリズムを、ここでは適用することができる。１つの利点は、このような手法が所与の位置のところの画像に対して単一のスカラ・スコアだけを必要とすることである。元々の動作課題を損なわないために、移動経路の適応が認められる時間または距離を、制限することができる。したがって、このような場合、自律芝刈り機１は、適応され新たに決定された移動経路に従うことになるが、画像スコアのさらなる改善を実現できるはずの場合でさえ通常の動作に戻ることになる。

加えてまたは代わりに、適応された移動経路を、全体の画像に含まれる少なくとも２つの異なる領域に対する個々の画像スコアに基づいて決定することができる。例えば、取り込んだ画像の右半分に対する審美性スコアが左半分に対する審美性スコアよりも大きい場合には、プロセッサ６は、右側への芝刈り機の方向の変更を実現するために新しい行き先を設定することができ、モータ・コントローラ３へそれぞれの指示信号を出力することができる。モータ・コントローラ３は、次いで、受信した信号に基づいて、移動経路を決定し、それに応じてモータ２を駆動するための信号を生成することになる。

プロセッサ６では、所与の現在の視野についての画像スコアの将来の発展をさらに推定することになる。例えば、所与の時刻における現在の位置がある画像スコアという結果になるとはいえ、その日の後の時刻（日没）において取り込まれる画像についての画像スコアが、画像スコアを定常的に改善することになることを予測することができる。他方で、日付でさえ、カメラ５に関する撮影時刻を設定するために考慮に入れることができる。例えば、バラの木の満開のようなある種のイベントの日付を、メモリ４に記憶させることができる。しかし、天気予報のような情報もまた、画像取り込みのための時刻を設定するために使用することができる。例えば、午後の予測される日照が、実現される画像スコアに良い方に影響することがあり、したがって、撮影時刻をこのような情報に基づいて適応させることができる。プロセッサ６は、所与の行き先の方向に自律芝刈り機１を移動させるためにモータ・コントローラ３がこの行き先に基づいてモータを制御する行き先を制御する。加えて、プロセッサ６は、カメラ５により画像を取り込むこともまたトリガする。その結果、すべての情報が、プロセッサ６にとって利用可能な向きおよび有利な時点とともに、ある場所において自律芝刈り機１を設置するために必要である。

プロセッサ６において画像スコアを計算するために使用されるモデルを改善するために、提示された画像についてのユーザ・フィードバックを集めることが好まれる。このフィードバックを、モデル・パラメータおよび／または記憶したテーブルを適応させるために、またそれゆえ画像のスコアに影響を与えるために使用することができる。

主要な方法ステップが、図２を参照してここで説明される。最初に、自律芝刈り機１の動作が、ステップＳ１において自律芝刈り機１が動き始めることで始められる。動きながら、所定のタイム・スケジュールに従って、プロセッサ６によりトリガされて、カメラ５は、ステップＳ２において画像を取り込む。これらの画像は、次いでステップＳ３において、少なくとも一時的に、メモリ４に記憶され、このメモリ４は、画像データをさらに処理するためにプロセッサ６にアクセス可能である。ステップＳ４では、プロセッサ６は次いで、記憶した画像についての画像スコアを計算する。図２に図示したフローチャートでは、画像スコアの計算は、リアルタイムで実行される。このように、画像がカメラ５により取り込まれる毎に、画像スコアの計算が実行された。上に述べたように、しかしながら、最初に取り込まれた画像を集め、これらの画像がメモリ４にすべて記憶され、その後で、例えば、充電スタンドへ戻った後で、次々にすべての取り込んだ画像に対して画像スコアを計算することも可能である。

少なくとも１つの画像スコアが計算される画像の各々に対して、ステップＳ５では、計算した画像スコアがアピールする画像に関する選択条件を満足するかどうかが判断される。このアピールする画像は、次いで、メモリ４内の出力リストに記憶される。複数の異なる選択条件がメモリ４に記憶されることがあるとしても、選択条件のすべてについて、１つの画像の画像スコアまたは画像スコアの組み合わせがそれぞれの選択条件を満足するかどうかが判断されることに留意されたい。複数のこのような選択条件が規定される場合には、個別のリストを生成することができ、各リストが１つのそれぞれの選択条件に対応する。出力リストに画像を記憶することを、ソートしてまたはソートせずに行うことができる。ソーティングを、当然のことながら、ソーティング・ルールに関する自身の好みを指定するユーザ入力に従って行うことができる。しかし、いずれにせよ、それぞれの画像スコアに関係して、基礎となる画像の場所、向きおよび時刻が、その環境依存性において画像スコアの解析を可能にするため、したがって移動経路の適応を可能にするために記憶されることが好まれる。

画像スコアが選択条件を満足しない場合には、さらなる処置は取られず、自律芝刈り機１は、通常の動作を続けることになる。このように、カメラ５は、設定時間間隔またはおそらく規定されているはずの何らかの他のトリガ・イベントに従って画像を取り込み続けることになる。選択条件を満足することは、画像スコアが一定のしきい値を超えなければならないことを必ずしも意味する必要はないことに留意されたい。画像スコアの絶対値に拘わらず、画像スコアが上に述べたように最上位２５個の画像スコアのうちの１つであるという場合もあり得る。したがって、選択条件はまた、出力リストに現在記憶されている最も悪い画像スコアにより規定されることもある。

ステップＳ６において出力リストに画像を記憶した後で、記憶した画像スコアが、自律芝刈り機１の移動経路を適応させるために、ステップＳ７において解析される。この解析を、上に述べたような勾配推定だけでなく、その画像スコアに関して画像の異なる領域の単純な比較とすることができる。加えてまたは代わりに、ステップＳ８に描いたように、画像スコアの時間発展を予測することができる。このような予測は、システムへと入力されメモリに記憶される情報に基づいてもよいが、また、内部解析に基づいてもよい。このような解析は、例えば、カメラの同様の向きを用いて同様の場所であるが異なる時点において取り込んだ画像を使用する。このように、例えば、ある場所および向きに関して、画像スコアの最大値が２ＰＭに既に始められている動作の４ＰＭと８ＰＭとの間で達成された場合は、後回しにされることがある。

当然のことながら、ステップＳ８において述べたような画像スコアの発展の予測およびステップＳ７において述べたような解析に基づく勾配推定を統合することができることに留意されたい。他方で、移動経路の適応およびこれらの態様のうちの一方だけに基礎を置くことも当然のことながら可能である。解析の結果および予測に基づいて、移動経路をステップＳ９に図示したように適応させることができる。

自律芝刈り機１の動作は、次いで適応させた移動経路に基づき、ステップＳ２において画像の取り込みで始まるステップが繰り返される。当然のことながら、実行するために、本発明の方法は、移動経路の解析、予測、および適応が実行されることが必ずしも絶対的に必要ではない。自律芝刈り機１の通常の移動を単純に使用することも可能である。

最後に、ステップＳ１０に示したように、リストに記憶されている画像は、さらなる処理またはアップロードのために出力される。

１ 自律芝刈り機
２ モータ
３ モータ・コントローラ
４ メモリ
５ カメラ
６ プロセッサ
７ インターフェース

Claims (14)

1. 画像を作成し選択する際にユーザを支援するための方法であって、
   モータ・コントローラ（３）により駆動される少なくとも１つのモータ（２）の助けを借りて、カメラ（５）が搭載される可動プラットフォームを動作させることにより、前記カメラ（５）を移動させるステップ（Ｓ１）と、
   前記カメラ（５）を用いて、前記カメラ（５）を移動させるステップで、前記カメラを移動させながら異なる場所で撮影した複数の画像を取り込むステップ（Ｓ２）と、
   プロセッサ（６）において、取り込んだ画像の少なくとも１つの領域についての少なくとも１つの画像スコアを計算するステップ（Ｓ４）と、
   前記少なくとも１つの画像スコアが選択条件を満足する前記画像、または前記画像の識別子をメモリ（４）内のリストに記憶するステップ（Ｓ５、Ｓ６）であり、前記選択条件が前記画像スコアについての単一のしきい値であるまたは１つの画像に対して複数の画像スコアの場合にはしきい値の組み合わせである、記憶するステップ（Ｓ５、Ｓ６）と、
   前記記憶した画像を出力するステップ（Ｓ１０）またはインターフェース（７）を介して前記記憶した画像の検索を可能にする前記識別子を出力するステップと
   を含み、
   前記取り込んだ画像のうちの少なくとも一部についての前記画像スコアは、それぞれの前記画像を撮影した前記カメラ（５）の撮影場所に関連付けて記憶され、
   前記モータ・コントローラ（３）は、前記カメラ（５）の前記撮影場所についての前記画像スコアの依存性の解析による、前記カメラ（５）の場所の変化にともなう前記少なくとも１つの画像スコアの変化に基づいて、前記カメラ（５）移動経路を決定する
   ことを特徴とする、方法。
2. 前記移動経路が、画像スコアの最大値に向かって決定され（Ｄ８）、前記最大値に達すると、前記可動プラットフォームの移動が停止され、前記カメラ（５）が微速度撮影のビデオを取り込むように制御されることを特徴とする、請求項１に記載の方法。
3. 前記プロセッサ（６）が、前記画像の第１の領域についての少なくとも１つの第１の画像スコアおよび前記画像の第２の領域についての少なくとも１つの第２の画像スコアを計算し、前記第１および第２の画像領域が、前記画像内の好ましくは左領域および右領域であり、前記移動経路が、前記少なくとも１つの第１の画像スコアおよび前記少なくとも１つの第２の画像スコアの比較に基づいて決定される（Ｓ８）ことを特徴とする、請求項１または２に記載の方法。
4. 前記可動プラットフォーム（１）の通常の動作が、前記決定した移動経路に沿って前記可動プラットフォーム（１）を移動させるために中断されることを特徴とする、請求項１から３のいずれか一項に記載の方法。
5. 前記可動プラットフォーム（１）に搭載された前記カメラ（５）が、所定の時間スケジュールに従って移動され、前記時間スケジュールが、画像スコアの予測（Ｓ９）に基づいて適合されることを特徴とする、請求項１から４のいずれか一項に記載の方法。
6. 前記記憶した画像または前記記憶した画像の前記識別子が、時間スケジュールに従っておよび／またはユーザ入力で出力され、前記画像または識別子が出力された後で、前記リストが消去されることを特徴とする、請求項１から５のいずれか一項に記載の方法。
7. 複数の画像の前記画像スコアが前記選択条件を満足し、前記画像がしきい値より大きい類似度を示す場合において、代表画像が選択されることを特徴とする、請求項１から６のいずれか一項に記載の方法。
8. 前記画像が、全方位カメラにより取り込まれ、パノラマ画像を生成するために事前に処理されることを特徴とする、請求項１から７のいずれか一項に記載の方法。
9. 前記取り込んだ画像のうちの少なくとも一部についての前記画像スコアは、それぞれの前記画像の撮影場所および少なくとも一つの撮影時刻と、向きと、に関連付けて記憶されることを特徴とする、請求項１から８のいずれか一項に記載の方法。
10. 前記移動経路が、前記撮影場所、及び、少なくとも前記向きおよび前記時刻の少なくとも１つについての前記画像スコアの依存性の解析に基づいて決定される（Ｓ８）ことを特徴とする、請求項９に記載の方法。
11. 前記画像スコアの変化が、異なる撮影時刻および同様の撮影場所で、同様の向きで取り込んだ画像の画像スコアを解析することにより予測される（Ｓ９）ことを特徴とする、請求項９または１０に記載の方法。
12. 画像を作成し選択するユーザを支援するためのシステムであって、可動プラットフォーム（１）に搭載されたカメラ（５）を移動させるように構成される可動プラットフォーム（１）と、請求項１から１１のいずれか一項に規定されたように計算を実行するように構成されたプロセッサ（６）と、前記プロセッサ（６）に接続されたメモリ（４）と、前記画像または識別子を出力するためのインターフェース（７）と、請求項１から１１のいずれかに記載されたように移動経路を決定するように構成されたモータ・コントローラ（３）と、を備えた、システム。
13. 前記カメラ（５）が、遠近投影カメラまたは全方位カメラであることを特徴とする、請求項１２に記載のシステム。
14. 前記可動プラットフォーム（１）が、サービス・ロボット、特に掃除ロボットまたは芝刈り機であることを特徴とする、請求項１２または１３に記載のシステム。

Images