JP6115630B2 - 処理装置、処理装置のデータ処理方法、およびプログラム - Google Patents

Description

本発明は、処理装置、処理装置のデータ処理方法、およびプログラムに関し、特に、画像認識処理を制御する処理装置、処理装置のデータ処理方法、およびプログラムに関する。

近年、スマートフォン等の携帯端末は、市場ニーズに対応して、高機能化、高速化、大容量化が進み、各機能の性能が向上し、様々なアプリケーションと組み合わせることで、さらに多種多様な機能を実現できるようになってきている。
たとえば、スマートフォンの撮像部を用いて、対象物を撮影し、連続的に画像認識を行い、認識結果から得られる情報を、映像に重ねて表示するような機能も様々な場面で活用できる可能性がある。

画像認識処理を制御する装置において、本発明者は、以下のような課題を見出した。
たとえば、スマートフォン等の端末に設けられる撮像部を用いて撮影した映像の画像認識処理を行うようなシステムにおいて、端末側で撮像した映像を、画像認識処理装置（サーバ）にリアルタイムに送信し、サーバで連続的に画像認識処理させる構成とすると、サーバおよび端末側でともに負荷が多大になる。たとえば、多数の端末から画像認識のリクエストがサーバに送信されると、サーバの負荷が多大になる。また、端末側で全ての画像認識処理を行う場合や、サーバ側で認識処理させる場合の処理の一部を端末側で行う場合にも、連続的に画像認識処理を行うと、端末のＣＰＵ（Central Processing Unit）やメモリなどのリソースを消費して動作が重くなったり、電力の消費量が増大する。
認識処理タイミングを端末側で指定する方法として、所定の操作ボタン、たとえば、撮影ボタン等の押下を受け付ける構成とすることも考えられるが、認識させるために、いちいち操作する必要が生じるため、利便性が損なわれる。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、利便性を損なわずに、画像認識処理の負荷を低減する処理装置、処理装置のデータ処理方法、およびプログラムを提供することにある。

本発明の処理装置は、
画像認識処理を行うサーバ装置にネットワークを介して接続され、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
取得した前記制御判定用データに基づき、前記サーバ装置への映像データの送信を制御する制御手段と、を備え、
前記制御手段は、
前記サーバ装置への前記映像データの送信頻度の変更を行う。
また、本発明の処理装置は、
画像認識処理を行うサーバ装置にネットワークを介して接続され、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
取得した前記制御判定用データに基づき、前記サーバ装置への映像データの送信を制御する制御手段と、を備え、
前記制御手段は、
前記サーバ装置へ送信する前記映像データのサイズ、画質、および解像度の少なくとも一つの変更を行う。
また、本発明の処理装置は、
画像認識処理を行うサーバ装置にネットワークを介して接続され、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
取得した前記制御判定用データに基づき、前記サーバ装置への映像データの送信を制御する制御手段と、を備え、
前記取得手段は、前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得し、
前記制御手段は、前記画像特徴データに基づいて、前記映像の特徴を比較対象と照合し、その照合結果から前記映像内の画像の変化の有無を判定し、前記画像の変化がないと判定された場合、前記サーバ装置における前記画像認識処理の画像認識対象範囲を狭くするように制御する。
また、本発明の処理装置は、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する制御手段と、を備え、
前記画像認識処理は、当該処理装置を含む端末装置で行われ、
前記制御手段は、
前記制御判定用データに基づき、前記撮像部が被写体を狙っている状態か否かを判定し、前記被写体を狙っている状態と判定された場合、前記端末装置における前記画像認識処理の頻度を上げるように制御し、前記被写体を狙っていない状態と判定された場合、前記端末装置における前記画像認識処理の頻度を下げるように、前記端末装置における前記画像認識処理を制御する。
また、本発明の処理装置は、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する制御手段と、を備え、
前記画像認識処理は、当該処理装置を含む端末装置で行われ、
前記取得手段は、前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得し、
前記制御手段は、
前記画像特徴データに基づいて、前記映像の特徴を比較対象と照合し、その照合結果から前記映像内の画像の変化の有無を判定し、前記画像の変化がないと判定された場合、前記端末装置における前記画像認識処理の画像認識対象範囲を狭くするように、前記端末装置における前記画像認識処理を制御する。

本発明の処理装置のデータ処理方法は、
処理装置が、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得し、
取得した前記制御判定用データに基づき、ネットワークを介して接続された画像認識処理を行うサーバ装置への映像データの送信を制御し、
前記サーバ装置への前記映像データの送信頻度の変更を行う。
また、本発明の処理装置のデータ処理方法は、
処理装置が、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得し、
取得した前記制御判定用データに基づき、ネットワークを介して接続された画像認識処理を行うサーバ装置への映像データの送信を制御し、
前記サーバ装置へ送信する前記映像データのサイズ、画質、および解像度の少なくとも一つの変更を行う。
また、本発明の処理装置のデータ処理方法は、
処理装置が、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得し、
取得した前記制御判定用データに基づき、ネットワークを介して接続された画像認識処理を行うサーバ装置への映像データの送信を制御し、
前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得し、
前記画像特徴データに基づいて、前記映像の特徴を比較対象と照合し、その照合結果から前記映像内の画像の変化の有無を判定し、前記画像の変化がないと判定された場合、前記サーバ装置における前記画像認識処理の画像認識対象範囲を狭くするように制御する。
また、本発明の処理装置のデータ処理方法において、
処理装置は、画像認識処理を行う端末装置に含まれ、
本発明の処理装置のデータ処理方法において、
前記処理装置が、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得し、
取得した前記制御判定用データに基づき、前記映像の前記画像認識処理を制御し、
前記制御判定用データに基づき、前記撮像部が被写体を狙っている状態か否かを判定し、前記被写体を狙っている状態と判定された場合、前記端末装置における前記画像認識処理の頻度を上げるように制御し、前記被写体を狙っていない状態と判定された場合、前記端末装置における前記画像認識処理の頻度を下げるように、前記端末装置における前記画像認識処理を制御する。
また、本発明の処理装置のデータ処理方法は、
処理装置は、画像認識処理を行う端末装置に含まれ、
本発明の処理装置のデータ処理方法において、
処理装置が、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得し、
取得した前記制御判定用データに基づき、前記映像の前記画像認識処理を制御し、
前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得し、
前記画像特徴データに基づいて、前記映像の特徴を比較対象と照合し、その照合結果から前記映像内の画像の変化の有無を判定し、前記画像の変化がないと判定された場合、前記端末装置における前記画像認識処理の画像認識対象範囲を狭くするように、前記端末装置における前記画像認識処理を制御する。

本発明のコンピュータプログラムは、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する手順、
取得した前記制御判定用データに基づき、ネットワークを介して接続された画像認識処理を行うサーバ装置への映像データの送信を制御する手順、
前記サーバ装置への前記映像データの送信頻度の変更を行う手順、をコンピュータに実行させるためのプログラムである。
また、本発明のコンピュータプログラムは、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する手順、
取得した前記制御判定用データに基づき、ネットワークを介して接続された画像認識処理を行うサーバ装置への映像データの送信を制御する手順、
前記サーバ装置へ送信する前記映像データのサイズ、画質、および解像度の少なくとも一つの変更を行う手順、をコンピュータに実行させるためのプログラムである。
また、本発明のコンピュータプログラムは、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する手順、
取得した前記制御判定用データに基づき、ネットワークを介して接続された画像認識処理を行うサーバ装置への映像データの送信を制御する手順、
前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得する手順、
前記画像特徴データに基づいて、前記映像の特徴を比較対象と照合し、その照合結果から前記映像内の画像の変化の有無を判定し、前記画像の変化がないと判定された場合、前記サーバ装置における前記画像認識処理の画像認識対象範囲を狭くするように制御する手順、をコンピュータに実行させるためのプログラムである。
また、本発明のコンピュータプログラムは、
画像認識処理を行う端末装置に含まれる処理装置を実現させるためのコンピュータに、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する手順、
取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する手順、
前記制御判定用データに基づき、前記撮像部が被写体を狙っている状態か否かを判定し、前記被写体を狙っている状態と判定された場合、前記処理装置における前記画像認識処理の頻度を上げるように制御し、前記被写体を狙っていない状態と判定された場合、前記端末装置における前記画像認識処理の頻度を下げるように、前記端末装置における前記画像認識処理を制御する手順を実行させるためのプログラムである。
また、本発明のコンピュータプログラムは、
画像認識処理を行う端末装置に含まれる処理装置を実現させるためのコンピュータに、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する手順、
取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する手順、
前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得する手順、
前記画像特徴データに基づいて、前記映像の特徴を比較対象と照合し、その照合結果から前記映像内の画像の変化の有無を判定し、前記画像の変化がないと判定された場合、前記端末装置の前記画像認識処理の画像認識対象範囲を狭くするように、前記端末装置における前記画像認識処理を制御する手順を実行させるためのプログラムである。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本発明のデータ処理方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明のデータ処理方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

さらに、本発明のデータ処理方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。

本発明によれば、利便性を損なわずに、画像認識処理の負荷を低減する処理装置、処理装置のデータ処理方法、およびプログラムが提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本発明の実施の形態に係る処理装置の論理的な構成を示す機能ブロック図である。 本発明の実施の形態に係る処理装置を利用する画像認識システムの構成を示すブロック図である。 本発明の実施の形態に係る処理装置の一例であるスマートフォンの構成を示すブロック図である。 本発明の実施の形態に係る処理装置の動作の一例を示すフローチャートである。 本発明の実施の形態に係る処理装置の要部構成を示す機能ブロック図である。 本発明の実施の形態に係る処理装置の要部構成を示す機能ブロック図である。 本発明の実施の形態に係る処理装置の要部構成を示す機能ブロック図である。 本発明の実施の形態に係る処理装置の要部構成を示す機能ブロック図である。 本発明の実施の形態に係る処理装置の動作の一例を示すフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

（第１の実施の形態）
図１は、本発明の実施の形態に係る処理装置１００の論理的な構成を示す機能ブロック図である。
本発明の実施の形態に係る処理装置１００は、撮像部（不図示）により撮影されて逐次取得される、映像が生成されたときの撮像部における撮影状態を示す制御判定用データを取得する取得部１０２と、取得した制御判定用データに基づき、映像の画像認識処理を制御する制御部１０４と、を備える。

本発明の実施の形態に係る処理装置１００は、たとえば、図２に示すように、スマートフォン１０やタブレット端末等の携帯端末に含むことができる。たとえば、処理装置１００は、スマートフォン１０に設けられる撮像部（不図示）を用いて、カタログ７等を撮影し、逐次取得される映像をスマートフォン１０の表示部（不図示）に表示しながら、画像認識処理を行うサーバ装置６０に映像を送信することで、映像の画像認識処理をリアルタイムに行い、画像認識処理の結果、サーバ装置６０から得られる情報も映像に重畳して表示するような画像認識システム１に適用できる。

そのようなシステムにおいて、端末側で撮像した映像を、画像認識処理装置にリアルタイムに送信し、連続的に画像認識処理させる構成とすると、画像認識処理装置および端末側でともに負荷が多大になる。たとえば、多数の端末から画像認識のリクエストが画像認識処理装置に送信されると、画像認識処理装置の負荷が多大になる。また、端末側でも、常時照合を行うと、ＣＰＵ（Central Processing Unit）やメモリなどのリソースを消費して動作が重くなったり、電力の消費量が増大する。

認識処理タイミングを端末側で指定する方法として、所定の操作ボタン、たとえば、撮影ボタン等の押下を受け付ける構成とすることも考えられるが、認識させるために、いちいち操作する必要が生じるため、利便性が損なわれる。
そこで、本発明は、撮影された映像を全て送信するのではなく、最低限必要となる画像の情報のみを送信するように構成することで、画像認識処理装置と端末側の負荷の削減を図る。

図３は、本発明の実施の形態に係る処理装置１００を含むスマートフォン１０の構成例を示すブロック図である。
図３に示すように、本実施形態のスマートフォン１０は、ＣＰＵ１２と、メモリ１４と、携帯電話網通信部１８と、無線ＬＡＮ（Local Area Network）通信部２０と、操作部２２と、操作受付部２４と、表示部２６と、表示制御部２８と、撮像部３０と、スピーカ３２と、マイク３４と、音声制御部３６と、を備える。

ＣＰＵ１２は、スマートフォン１０の各要素とバス４０を介して接続され、各要素とともにスマートフォン１０全体を制御する。メモリ１４は、スマートフォン１０を動作させるためのプログラムや各種アプリケーションプログラム、それらのプログラムが動作する際に使用する各種設定データなどを記憶する領域と、プログラムが動作するための作業領域など一時的にデータを記憶する領域とを含む。さらに、メモリ１４は、アドレスデータ、各種コンテンツデータを含むユーザデータを記憶する領域を含むことができる。

なお、前述のメモリ１４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ディスクドライブなど、アプリケーションプログラムおよびプログラムが動作するための設定データや一時保存データ、ユーザデータなどを記憶するための機能を有する各種のメモリデバイスであってもよい。

操作部２２は、操作キー、操作ボタン、スイッチ、ジョグダイヤル、タッチパッド、表示部２６と一体になったタッチパネルなどを含む。操作受付部２４は、ユーザによる操作部２２の操作を受け付け、ＣＰＵ１２に通知する。表示部２６は、ＬＥＤ（Light Emitting Diode）表示器や、液晶ディスプレイ、有機ＥＬ（ElectroLuminescence）ディスプレイなどを含む。表示制御部２８は、ＣＰＵ１２からの指示に従い、表示部２６に各種画面表示を行う。音声制御部３６は、ＣＰＵ１２からの指示に従い、スピーカ３２から音声出力、およびマイク３４から音声入力を行う。

携帯電話網通信部１８は、携帯電話網用アンテナ１９を介して、たとえば、３Ｇ（3rd Generation：第３世代携帯電話）方式で、携帯通信網（不図示）に基地局（不図示）を介して接続して通信する。スマートフォン１０は、携帯通信網からインターネット等のネットワーク３（図２）に接続し、サーバ装置６０（図２）と通信できる。

無線ＬＡＮ通信部２０は、無線ＬＡＮ用アンテナ２１を介して、たとえば、IEEE 802.11規格に準拠した方式で、中継装置（不図示）と無線ＬＡＮ通信を行う。本実施形態では、スマートフォン１０は、無線ＬＡＮ通信部２０で室内に設置された中継装置（不図示）と無線ＬＡＮ通信を行い宅内ネットワーク（不図示）に接続し、宅内ネットワークを介してインターネット等のネットワーク３（図２）に接続し、サーバ装置６０（図２）と通信できる。また、図３では、スマートフォン１０が携帯電話網通信部１８と無線ＬＡＮ通信部２０とを備え、サーバ装置６０と通信する構成としているが、これに限定されるものではない。本発明の処理装置１００を含む端末は、携帯電話網通信部１８および無線ＬＡＮ通信部２０のいずれか一方を含む構成でもよいし、あるいは、他の通信手段を備え、他の通信手段を用いてサーバ装置６０と通信する構成としてもよい。

スマートフォン１０において、本発明の実施の形態に係る処理装置１００を実現するためのアプリケーションプログラムをメモリ１４に予めインストールし、ＣＰＵ１２に実行させることで、処理装置１００の少なくとも一部の機能を実現させることができる。あるいは、処理装置１００の少なくとも一部の機能を実現するウェブサーバ（不図示）上にウェブページを設け、ユーザがスマートフォン１０を用いてウェブページにアクセスすることで、処理装置１００の機能をスマートフォン１０が利用できる構成としてもよい。

なお、本実施形態では、処理装置１００がスマートフォン１０に含まれる例を用いて説明したが、これに限定されるものではない。
たとえば、処理装置１００は、携帯電話機、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistants）、ゲーム機、およびタブレット端末等のいずれかの携帯端末に含まれてもよい。携帯端末は、処理装置１００が含まれる携帯端末を対象物にかざして対象物を撮影するためのカメラ（図３の撮像部３０）と、カメラを用いて撮影して得られる映像を逐次表示する表示部２６（図３）と、を少なくとも含むことができる。なお、撮像部３０および表示部２６は、携帯端末と一体ではなくてもよい。処理装置１００を含むノートパソコン等の端末装置に撮像部３０が接続され、ユーザが撮像部３０を対象物にかざし、端末装置のモニタ（表示部）を見ながら撮影する構成も含むことができる。
なお、各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。

また、スマートフォン１０を例とする、処理装置１００の図１の各構成要素は、図３に示される、ＣＰＵ１２、メモリ１４、メモリ１４にロードされた図１の構成要素を実現するプログラム４２、そのプログラム４２を格納する記憶ユニット、ネットワーク（たとえば、図２のネットワーク３）接続用インタフェース（携帯電話網通信部１８または無線ＬＡＮ通信部２０等）を備える任意のコンピュータのハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。

そして、ＣＰＵ１２が、メモリ１４に記憶されるプログラム４２を読み出して実行することにより、上記各ユニットの各機能を実現することができる。本実施形態のスマートフォン１０の例では、本発明の実施の形態に係る処理装置１００を実現するプログラム４２は、予めスマートフォン１０のメモリ１４にアプリケーションプログラムとしてインストールされているものとする。

本実施形態のコンピュータプログラム４２は、処理装置１００を実現させるためのコンピュータに、撮像部３０により撮影される映像を逐次取得して、映像が生成されたときの撮像部３０における撮影状態を示す制御判定用データを取得する手順、取得した制御判定用データに基づき、映像の画像認識処理を制御する手順、を実行させるように記述されている。

本実施形態のコンピュータプログラム４２は、コンピュータで読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラムは、記録媒体からコンピュータのメモリにロードされてもよいし、ネットワークを通じてコンピュータにダウンロードされ、メモリにロードされてもよい。

図１に戻り、処理装置１００において、取得部１０２は、撮像部３０（図３）における撮影状態を示す制御判定用データを取得する。
撮影状態を示す制御判定用データは、様々な態様が考えられ、後述する実施形態で詳細に説明するが、たとえば、撮影状態として、ｉ）被写体を狙っている状態か否か、ｉｉ）撮影された映像において画像に変化があるか否か、およびｉｉｉ）撮影された映像の画質のレベル、のうちの少なくともいずれか１つの状態を示す。

本発明の実施の形態において、撮影される対象物は、特に限定されないが、たとえば、カタログ、ちらし、雑誌、新聞、ディスプレイ、デジタルサイネージ、看板、商品、商品棚、ショーウィンドウ、オブジェや建造物などの物体、または各種媒体（紙、布、ディスプレイ）に提示されるロゴ等を例として挙げることができる。

処理装置１００において、撮像部３０により撮影される映像は、逐次取得されて、表示部２６（図３）に逐次表示される。本実施形態の処理装置１００の利用シーンとして、たとえば、利用者は、処理装置１００、または撮像部３０を対象物に向けてかざして撮影する場面等が考えられる。あるいは、利用者が、処理装置１００または撮像部３０を保持した状態で、動く対象物を捉えて追いながら、処理装置１００または撮像部３０を対象物に追従させて動かし、対象物を撮影するような場面も考えられる。

制御部１０４は、取得した制御判定用データに基づいて、画像認識処理を制御する。本実施形態では、画像認識処理は、図２のサーバ装置６０で行う構成とするが、処理装置１００が含まれる端末装置で行う構成、あるいは、サーバ装置６０および端末装置を組み合わせ、画像認識処理を分担する構成としてもよい。サーバ装置６０は、クラウドコンピューティングを利用したシステムであってもよい。

画像認識処理の制御とは、たとえば、画像認識処理を行うか否かを切り替えること、画像認識処理の頻度を変更すること、または画像認識対象範囲を変更すること、あるいは、これらの制御の組み合わせを含むことができる。あるいは、「画像認識処理の制御」は、画像認識処理装置への映像データの送信を制御することであってもよく、映像データの送信を停止するか否かの切替、送信頻度の変更、送信データサイズ（画質、解像度）の変更、または送信手段の選択、またはこれらの制御の組み合わせを含むことができる。また、上記画像認識処理の制御と、画像認識処理装置への映像データの送信制御を組み合わせてもよい。

詳細は後述する実施形態で説明するが、一例として、制御判定用データは、スマートフォン１０の加速度センサやジャイロセンサからの出力信号を元に、撮像部３０の動きの変化が、所定範囲内か否かを示すことができる。たとえば、撮像部３０の動きの変化が所定範囲内でない場合、すなわち、撮像部３０の動きが全く変化しない場合、または動きの変化が大きい場合は、被写体を狙っていないと判定できる。

上述のような構成において、本実施の形態の処理装置１００によるデータ処理方法を以下に説明する。図４は、本実施形態の処理装置１００の動作の一例を示すフローチャートである。

本実施形態の処理装置１００のデータ処理方法は、処理装置１００が、撮像部３０により撮影される映像を逐次取得して、映像が生成されたときの撮像部３０における撮影状態を示す制御判定用データを取得し（ステップＳ１０３）、取得した制御判定用データに基づき、映像の画像認識処理を制御する（ステップＳ１０５）。

より詳細には、利用者が、スマートフォン１０を対象物にかざして、撮像部３０により対象物を撮影する（ステップＳ１０１）。そして、取得部１０２が、映像が生成されたときの撮像部３０における撮影状態を示す制御判定用データを取得する（ステップＳ１０３）。たとえば、取得部１０２は、上述した例のように、スマートフォン１０の加速度センサやジャイロセンサからの出力信号を制御判定用データとして取得する。

そして、制御部１０４が、制御判定用データに基づき、映像の画像認識処理を制御する（ステップＳ１０５）。たとえば、制御部１０４は、上述した例では、加速度センサやジャイロセンサからの出力信号を元に、撮像部３０の動きの変化が、所定範囲内か否かを判別し、判別結果に基づき、画像認識処理を制御する。たとえば、撮像部３０の動きの変化が所定範囲内でない場合は、映像が得られていたとしても、まだカタログ７内のどの商品に撮像部３０をかざすか迷っている状態であったり、スマートフォン１０を放置している状態であることが考えられる。したがって、制御部１０４は、撮像部３０の動きの変化が所定範囲内でない場合は、画像認識処理を停止するように制御することができる。

一方、撮像部３０の動きの変化が所定範囲内の場合は、スマートフォン１０をカタログ７にかざしている状態で、カタログ７内にお目当ての商品を見つけて狙っている撮影状態であると考えられる。したがって、制御部１０４は、撮像部３０の動きの変化が所定範囲内の場合は、画像認識処理を行うように制御することができる。

以上説明したように、本発明の実施の形態に係る処理装置１００によれば、撮像部３０の撮影状態を示す制御判定用データに基づき、画像認識処理を制御するので、映像が得られていてもまだ被写体を狙っていない場合や、撮影状態が悪く画像認識精度が低くなるような場合等には画像認識処理を抑制する制御ができ、無用な処理による負荷増大を抑制できるとともに、認識精度を向上させることもできる。
さらに、サーバ装置６０側の負荷、端末側のマシンリソースの消費、および端末のバッテリの消耗を抑えることができる。

（第２の実施の形態）
本発明の実施の形態に係る処理装置２００は、特に、被写体を狙っている状態か否かに基づき映像の画像認識処理を制御する構成を有する。
本実施形態の処理装置２００は、上記実施形態の図１の処理装置１００と同様な構成（取得部１０２と制御部１０４）を含むものとする。
本実施形態の処理装置２００において、取得部１０２は、制御判定用データとして、撮像部の撮影状態の検出結果を示すステータスデータを取得し、制御部１０４は、ステータスデータに基づき、被写体を狙っている状態か否かを判定し、判別結果に応じて、映像の画像認識処理を制御する。

図５は、本発明の実施の形態に係る処理装置２００の要部構成の一例を示す機能ブロック図である。なお、図５では制御部１０４は省略してあり図示されていない。
図５に示すように、本実施形態の処理装置２００において、取得部１０２は、撮像部３０の撮影状態の検出結果を示すステータスデータとして、加速度センサ２０２、ジャイロセンサ２０４、または、これらの組み合わせからの出力信号を取得する。制御部１０４は、ステータスデータに基づき、撮像部３０の動きの変化が所定の範囲内か否かを調べる。制御部１０４は、撮像部３０の動きの変化が所定の範囲内の場合、被写体を狙っている状態と判別し、撮像部３０の動きの変化が所定の範囲内でない場合、被写体を狙っている状態ではないと判別する。

なお、加速度センサ２０２やジャイロセンサ２０４は、スマートフォン１０等の端末が、既に備えているものを用いることもできるし、処理装置２００が備えてもよい。

通常、人間が端末（スマートフォン１０）の撮像部３０（カメラ）を用いて、認識させようとする対象の撮影を試みる場合には、ある程度端末を固定するか、動かす場合にもカメラの向きは固定してゆっくり移動させる。従って、加速度センサ２０２で検出される加速度は重力の影響を差し引くと、ある一定の値以下の小さな値となる。また、ジャイロセンサ２０４で検出される端末の向きの変化も、ある一定の値以下の小さな値となる。したがって、これらの一定の小さな値を超えた加速度センサやジャイロセンサの出力値を検出した場合は、被写体を狙っていない状態であると判定できる。
一方で、人間の体の特性上、完全に端末を静止させて固定することは困難であるため、端末に加えられる重力以外の加速度や端末の方向の変化はゼロにはならないし、瞬間的に偶然ゼロになる場合があっても、それが継続することはない。そのため、ジャイロセンサ２０４や加速度センサ２０２の検出精度が十分に大きければ、人間の体のゆれに起因する加速度や端末の方向の変化がごくわずかな値だが検出される。これらのごくわずかな加速度や方向の変化が検出されない場合は、たとえば机の上に端末を置いている場合であると考えられるため、やはり被写体を狙っていない状態であると判定できる。
本実施形態では、このような仮定に基づき、加速度センサ２０２やジャイロセンサ２０４等の出力を元に撮影状態の判定を行う。

より詳細には、取得部１０２は、加速度センサ２０２からの出力信号をステータスデータとして取得する。そして、制御部１０４（図１）に渡し、制御部１０４が、取得部１０２により取得されたステータスデータに基づいて、撮像部３０の動きの変化が所定の範囲内か否かを調べる。そして、制御部１０４が、撮像部３０の動きの変化が所定の範囲内の場合、被写体を狙っている状態と判別し、撮像部３０の動きの変化が所定の範囲内でない場合、被写体を狙っている状態ではないと判別する。そして、制御部１０４が、判別結果に応じて、映像の画像認識処理を制御する。
本実施形態において、制御部１０４による画像認識処理の制御は、たとえば、画像認識処理を行うか否かの制御、画像認識処理の精度を変更する制御、画像認識処理装置への映像データの送信制御等を含むことができる。

以下、具体的に判別および制御方法について例示するが、本発明はこれらに限定されない。
まず、第１の例では、取得部１０２が、加速度センサ２０２からの出力信号を取得する。
そして、制御部１０４が、加速度センサ２０２からの出力信号が一定の閾値以下か否かを判別する。加速度センサ２０２からの出力信号が一定の閾値以下の場合、制御部１０４は、撮像部３０が被写体を狙っている状態と判別し、画像認識処理を行う、または処理頻度を上げるように制御する。一方、加速度センサ２０２からの出力信号が一定の閾値以下でない場合、制御部１０４は、撮像部３０が被写体を狙っていない状態と判別し、画像認識処理を停止、または処理頻度を下げるように制御する。

あるいは、制御部１０４が、加速度センサ２０２からの出力信号に基づき、重力方向が一定か否かを判別してもよい。重力方向が一定の場合、制御部１０４は、撮像部３０が被写体を狙っている状態と判別し、画像認識処理を行う、または処理頻度を上げるように制御する。一方、重力方向が一定でない場合、制御部１０４は、撮像部３０が被写体を狙っていない状態と判別し、画像認識処理を停止、または処理頻度を下げるように制御する。

次に、第２の例では、取得部１０２が、ジャイロセンサ２０４からの出力信号を取得する。
そして、制御部１０４が、ジャイロセンサ２０４からの出力信号が示す、ジャイロセンサ２０４の検出値が一定以下か否かを判別する。ジャイロセンサ２０４の検出値が一定以下の場合、すなわち、角速度が一定以下（ほぼゼロ）の場合、撮像部３０の向きが変わらずに安定していると考えられる。したがって、制御部１０４は、ジャイロセンサ２０４の検出値が一定以下の場合、撮像部３０が被写体を狙っている状態と判別し、画像認識処理を行う、または処理頻度を上げるように制御する。一方、ジャイロセンサ２０４の検出値が一定以下でない場合、制御部１０４は、撮像部３０が被写体を狙っていない状態と判別し、画像認識処理を停止、または処理頻度を下げるように制御する。

次に、第３の例では、取得部１０２が、加速度センサ２０２およびジャイロセンサ２０４からの出力信号を取得する。
そして、制御部１０４が、加速度センサ２０２およびジャイロセンサ２０４からの出力信号に基づいて、撮像部３０が平行移動しているか否かを判別する。たとえば、ジャイロセンサ２０４からの出力値により算出された端末の向きが一定であり、加速度センサ２０２からの値が変化しているような場合、あるいは、３軸の加速度センサ２０２の出力値から推定された重力方向が一定である場合等が、撮像部３０が平行移動していると判別される。

制御部１０４は、加速度センサ２０２およびジャイロセンサ２０４からの出力信号に基づく判別結果に応じて、画像認識処理を制御する。すなわち、撮像部３０が平行移動していると判別された場合、制御部１０４が、画像認識処理を行う、または処理頻度を上げるように制御する。一方、撮像部３０が平行移動していないと判別された場合、制御部１０４が、画像認識処理を停止、または処理頻度を下げるように制御する。

図６は、本発明の実施の形態に係る処理装置２００の要部構成の他の例を示す機能ブロック図である。本実施形態の処理装置２００は、上記実施形態の図１の処理装置１００と同様な構成（取得部１０２と制御部１０４）を含むものとする。さらに、図５を用いて説明したように、加速度センサ２０２とジャイロセンサ２０４から取得したステータスデータによる制御部１０４における判別結果を組み合わせた構成としてもよい。

図６に示すように、本実施形態の処理装置２００において、取得部１０２は、撮像部３０の撮影状態の検出結果を示すステータスデータとして、撮像部３０におけるオートフォーカス（ＡＦ：Auto Focus）機能部２１２、および手振れ検出機能部２１４から得られる少なくとも１つのステータスを取得する。そして、制御部１０４は、取得したステータスデータに基づき、被写体を狙っている状態か否かを判定することができる。

たとえば、ＡＦ機能部２１２や手振れ検出機能部２１４では、撮像部３０が被写体に狙いが定まったか否か、ピントがあったか否か、等を示すステータスデータを持っている。たとえば、取得部１０２がこれらのデータを読み取って取得することで、制御部１０４は、これらのデータを用いて被写体を狙っている状態か否かを判定することができる。
そして、制御部１０４は、被写体を狙っている状態と判別されたとき、画像認識処理を行うよう制御する。

以下、具体的に判別および制御方法について、例示するが、本発明は、これらに限定されない。
まず、第１の例では、取得部１０２が、ＡＦ機能部２１２から、ピント調整に関するステータスデータを取得する。
そして、取得部１０２により取得されたステータスデータが、ピント未調整であることを示すとき、制御部１０４は、撮像部３０が被写体を狙っていないと判別し、画像認識処理を停止するように制御する。一方、取得部１０２により取得されたステータスデータが、ピント調整に入ったこと、またはピント調整済みであることを示すとき、制御部１０４は、撮像部３０が被写体を狙っている状態と判別し、画像認識処理を行うように制御する。

次に、第２の例では、取得部１０２が、手振れ検出機能部２１４から、手振れ補正機能の稼働に関するステータスデータを取得する。
そして、取得部１０２により取得されたステータスデータが、手振れ補正機能が稼働していないことを示すとき、制御部１０４は、撮像部３０が被写体を狙っていないと判別し、画像認識処理を停止するように制御する。一方、取得部１０２により取得されたステータスデータが、手振れ補正機能が稼働していることを示すとき、制御部１０４は、撮像部３０が被写体を狙っている状態と判別し、画像認識処理を行うように制御する。

さらに、本実施形態の処理装置２００において、取得部１０２は、撮像部３０の撮影状態の検出結果を示すステータスデータとして、映像の画像解析処理の処理結果の情報を取得し、制御部１０４は、取得したステータスデータに基づき、被写体を狙っている状態か否かを判定することができる。
上記画像解析処理とは、映像をサーバ装置６０に画像認識処理させる前に、端末（ローカル）側で撮影画像を解析する処理であり、画像解析処理により得られる情報と、その情報に基づく判別方法は、以下に例示されるが、これらに限定されない。

なお、図７に示すように、本実施形態の処理装置２００は、画像解析処理部２２２をさらに備えてもよい。本実施形態の処理装置２００において、取得部１０２は、映像の画像解析処理を行う画像解析処理部２２２から、画像解析処理結果の情報を取得する。画像解析処理部２２２は、処理装置２００に含まれる構成としてもよいし、端末が備えている機能として構成されてもよい。画像解析処理部２２２による画像処理とは、サーバ装置６０の画像認識処理を行う前に、事前に端末側で行う画像処理を含むことができる。
画像解析処理部２２２から取得部１０２が取得するステータスデータと、制御部１０４におけるステータスデータの判定、および制御方法について以下に具体的に例示するが、本発明はこれらに限定されない。

まず、第１の例では、たとえば、画像解析処理部２２２から、所定の時間間隔のΔｔ間の撮影画像の情報の変化量を求めるために、各画像の色、オブジェクト位置、オブジェクト形状、および特徴点の位置等の情報の中から少なくとも１つの情報を取得部１０２が取得する。

そして、制御部１０４が、取得した画像の情報から、Δｔ間の撮影画像の情報の変化量を求め、△ｔ間の撮影画像の情報の変化量が一定値以下か否かを判定する。変化量が一定値以下の場合、制御部１０４は、撮像部３０が被写体を狙っていると判別し、画像認識処理を行う、または処理頻度を上げるように制御する。変化量が一定値より大きい場合、制御部１０４は、撮像部３０が被写体を狙っていないと判別し、画像認識処理を停止、または処理頻度を下げるように制御する。

この第１の例では、以下の２つのシチュエーションでそれぞれ△ｔの値の設定範囲が異なる。
たとえば、そもそも被写体を狙ってもいない状態で、撮像部３０が放置されているような状態を検知するための構成を処理装置２００で実現させる場合、△ｔの値は、数分以上等、撮像部３０を放置している状態を検知できる範囲で設定可能である。
撮像部３０が放置されているような状態を、制御部１０４は、△ｔ間の撮影画像の情報の変化量から判定することができる。

また、たとえば、カタログ７等に撮像部３０をかざして移動させながら、対象物を探している状態のときに、対象物を見つけて認識させようと移動速度を緩めたことを検知するための構成を処理装置２００で実現させる場合、△ｔの値は、前後の画像フレーム間レベルまで小さくなる。そして、各画像フレーム間で差分検知またはオブジェクト認識処理を行い、変化量を求める。この場合、制御部１０４は、たとえば、変化量の推移をさらに考慮して、撮像部３０が被写体を狙っている状態か否かを判定してもよい。

あるいは、被写体自体が移動している場合、たとえば、移動中のトラックの荷台を撮影する場合等にも、制御部１０４は、変化量の推移を考慮してもよい。たとえば、変化量の変化の幅が、所定の範囲内に入る場合には、制御部１０４は、撮像部３０が被写体を狙っている状態であると判定してもよい。

次に、第２の例では、画像解析処理部２２２が、撮像部３０におけるＡＦ機能、手振れ検出機能、ピンぼけ検知機能、および笑顔検出機能等の中から少なくとも１つの機能で利用される画像処理を行うものとする。
そして、取得部１０２が、画像解析処理部２２２から、これらの機能で利用される画像処理の状態を示すステータスデータを取得する。そして、制御部１０４が、これらのステータスデータが被写体を狙っている状態を示しているか否かを判定し、判定結果に基づいて、画像認識処理を制御する。

あるいは、画像解析処理部２２２が、撮像部３０におけるシーン分類（笑顔検出）等のために利用される画像処理を行うものとする。そして、取得部１０２により画像解析処理部２２２から取得したステータスデータに基づいて、制御部１０４が、特定シーンが選択されているか否か、かつ、特定シーンで焦点が合ったり、笑顔検出されたりしたか否かを判定する。そして、制御部１０４は、これらの判定結果に基づき、撮像部３０が被写体を狙っている状態か否かを判別し、画像認識処理を制御する。

たとえば、笑顔検出シーンが選択されていて、かつ、笑顔が検出された状態を示すステータスデータを取得部１０２が取得したとき、制御部１０４が、撮像部３０が被写体を狙っている状態と判別し、画像認識処理を行う、または処理頻度を上げることができる。一方、笑顔検出シーンが選択されていて、かつ、笑顔検出結果が変化している最中であること示すステータスデータを取得部１０２が取得したとき、制御部１０４が、撮像部３０が被写体を狙っていない状態と判別し、画像認識処理を停止、または処理頻度を下げることができる。

以上説明したように、本発明の実施の形態に係る処理装置２００によれば、上記実施形態と同様な効果を奏する。すなわち、本発明の実施の形態に係る処理装置２００によれば、被写体を狙っている状態を判別して、被写体を狙っている状態のときのみ画像認識処理を行うように構成されているため、被写体を狙っていない場合に写されている映像を処理しないので、不必要な処理を省くことができ、負荷増大を抑制できるとともに、認識精度を向上させることもできる。
さらに、サーバ装置６０側の負荷、端末側のマシンリソースの消費、および端末のバッテリの消耗を抑えることができる。

（第３の実施の形態）
本発明の実施の形態に係る処理装置３００は、上記実施の形態とは、画像の変化の有無に基づき映像の画像認識処理を制御する点で相違する。
本実施形態の処理装置３００は、上記実施形態の図１の処理装置１００と同様な構成（取得部１０２と制御部１０４）を含むものとする。
本実施形態の処理装置３００において、取得部１０２は、制御判定用データとして、映像の特徴を示す画像特徴データを取得し、制御部１０４は、取得した画像特徴データに基づいて、特徴を比較対象と照合し、その照合結果に応じて、映像の画像認識処理を制御する。

本実施形態の処理装置３００において、制御部１０４は、特徴を比較対象と照合し、その照合結果から、映像内の画像の変化の有無を検出する。そして、画像に変化がなかった場合、画像認識処理を停止または抑制する制御を行う。撮影された画像に変化がないということは、同じものを撮影している状態であり、その画像については既に画像認識処理されているものとして、処理を停止または抑制することで、不必要なリクエストを削減できる。なお、「比較対象」は、後述するように様々考えられ、たとえば、最近認識できた画像の特徴量等である。

画像認識処理を抑制する制御とは、たとえば、画像認識処理の頻度を下げる、画像認識対象範囲を狭める、画像認識処理装置への映像データの送信処理の頻度を下げる、送信データサイズを小さくする、送信データの画質または画像の解像度を下げる、あるいは、これらの組み合わせを含むことができる。

画像の変化の有無の判断基準は、様々考えられ、以下に具体例を説明するが、これらに限定されるものではない。このようにして、本実施形態の処理装置３００は、画像に変化がなかった場合に、画像認識処理を停止または抑制する制御を行うことで、不必要な処理を省くことができ、サーバ装置６０における画像認識処理またはサーバ装置６０との間の通信処理等の負荷を低減することができる。

図８は、本発明の実施の形態に係る処理装置３００の要部構成を示す機能ブロック図である。さらに、上記実施形態の図５乃至７のいずれかと同様な構成、またはそれらと組み合わせた構成を含むこともできる。なお、図８では制御部１０４は省略してあり図示されていない。
図８に示すように、本実施形態の処理装置３００において、取得部１０２は、映像の特徴を示す画像特徴データとして、映像から逐次得られる各画像の特徴量を認識する画像認識処理部（ローカル画像認識部３０２）から、各画像の認識結果を取得し、制御部１０４は、取得した各画像の認識結果から、映像内の画像の変化の有無を判定する。

以下、具体的に判別および制御方法について例示するが、本発明はこれらに限定されない。
まず、第１の例では、最近の認識結果と、最新の認識結果を比較して、画像の変化の有無を判定する。
取得部１０２が、映像の特徴を示す画像特徴データとして、映像から逐次得られる各画像の特徴量を認識するローカル画像認識部３０２から、各画像の認識結果、または特徴量を取得する。

そして、制御部１０４が、取得した認識結果、または特徴量に基づき、最近認識できた画像の特徴量と、最新の画像の特徴量を比較する。そして、制御部１０４が、特徴量の類似度が閾値以上、または、特徴量の差分値が閾値以下かを判定し、条件を満たしている場合、画像に変化がないと判別し、条件を満たしていない場合、画像に変化があると判別する。そして、制御部１０４は、画像に変化がないと判別された場合、画像認識処理を停止または抑制する制御を行う。

あるいは、制御部１０４は、取得した認識結果、または特徴量に基づき、最近認識できなかった画像の特徴量と、最新の画像の特徴量を比較する。そして、制御部１０４は、特徴量の類似度が閾値以上、または特徴量の差分値が閾値以下かを判定し、条件を満たしている場合、画像に変化がなく、つまり、最新の画像も認識できないと判断し、画像認識処理を停止する制御を行う。一方、条件を満たしていない場合、画像に変化があるため、認識できる可能性があるので、画像認識処理は停止しない。

次に、第２の例では、最近の認識結果から、一部でも認識できた対象物について、サーバ装置６０が保有している特徴量の情報を取得し、その特徴量と最新の画像の特徴量とを比較し、画像の変化の有無を判定する。
たとえば、対象物の一部が最近認識された場合、サーバ装置６０から対象物全体、または一部の特徴量を受信し、その特徴量と最新画像の特徴量とを比較する。たとえば、対象物に対して少なくとも一部重なるように照明や他の物体が写り込み、対象物の一部が映像上、隠れてしまっているような場合にも、対象物の一部の特徴量から、サーバ装置６０側で対象物を特定できた場合には、その認識された対象物の特徴量を受信することで、最近認識できた画像の特徴量として使用することができる。
これにより、対象物に照明や他の物体が写り込んだことで、画像に大きな変化があった場合にも、不必要な画像認識処理を行わないように制御できる。

すなわち、取得部１０２は、第１の例と同様に、ローカル画像認識部３０２から、各画像の認識結果と特徴量を取得する。さらに、取得部１０２は、最近認識できた画像の一部を含む対象物全体、または一部の特徴量をサーバ装置６０から受信する。
制御部１０４は、認識結果に基づき、対象物の一部が最近認識されたと判定された場合、サーバ装置６０から受信した対象物の特徴量と、最新の画像の特徴量を比較する。そして、制御部１０４は、最新画像の特徴量が、対象物の特徴量の少なくとも一部と、類似度が閾値以上、または特徴量の差分値が閾値以下かを判定し、条件を満たしている場合、画像に変化がなく、つまり、最新の画像も認識できないと判断し、画像認識処理を停止する制御を行う。一方、条件を満たしていない場合、画像に変化があるので、認識できる可能性があるので、制御部１０４は、画像認識処理を停止する制御を行わない。

さらに、対象物の一部が最近認識されたと判定された場合、制御部１０４は、その対象物の特徴量と、最新画像の特徴量を比較し、画像フレーム内での対象物の特徴量と最新画像の特徴量の相対位置に基づき、画像認識処理対象から最近認識された対象物全体の範囲を排除して、画像認識処理を行うように制御してもよい。

次に、第３の例では、画像の変化が検知された場合でも、フレーム位置のズレが微小の場合は、変化と検知せず、画像認識処理を行わないようにする。
取得部１０２は、映像の特徴を示す画像特徴データとして、映像から逐次得られる各画像の特徴量を認識するローカル画像認識部３０２から、各画像のフレーム情報を取得する。そして、制御部１０４は、取得した各画像のフレーム情報から、映像内の各画像のフレーム位置の差分が閾値以下か否かを判定し、差分が閾値以下の場合、画像に変化がないと判別し、差分が閾値より大きい場合、画像が変化したと判別する。

すなわち、取得部１０２が、画像特徴データとして、さらに、フレーム画像間の差分情報を取得する。そして、制御部１０４が、画像に変化があると判定した場合に、さらに、取得した差分情報に基づいて、フレーム画像間の差分が、閾値以下か否かを判別する。閾値以下の場合、制御部１０４は、画像認識処理を停止する制御を行う。
これにより、手元がぶれて撮影画像に変化が生じたような場合でも、画像認識処理をいちいち行わないので、負荷を低減できる。

以上説明したように、本発明の実施の形態に係る処理装置３００によれば、上記実施形態と同様な効果を奏する。すなわち、本発明の実施の形態に係る処理装置３００によれば、画像の変化の有無を判別して、画像に変化があるときに画像認識処理を行うように構成されているので、画像に変化がない場合に写されている映像は処理しない。そのため、不必要な処理を省くことができ、負荷増大を抑制できるとともに、認識精度を向上させることもできる。
さらに、サーバ装置６０側の負荷、端末側のマシンリソースの消費、および端末のバッテリの消耗を抑えることができる。

（第４の実施の形態）
本発明の実施の形態に係る処理装置は、上記実施の形態とは、画質レベルに応じて映像の画像認識処理を制御する点で相違する。本実施形態の処理装置は、上記実施形態の処理装置１００、処理装置２００、および処理装置３００の少なくともいずれか１つの構成と同様な構成を含むことができる。
本実施形態の処理装置において、取得部１０２は、制御判定用データとして映像の画質を示す画質データを取得し、制御部１０４は、画質データに基づき、映像の画質が基準以上かを判定し、判定結果に基づき、映像の画像認識処理を制御する。

本実施形態の処理装置において、制御部１０４は、画像の画質レベルを判別し、画像の画質が悪い場合は、画像認識処理の精度が下がり、また、認識に時間がかかる可能性があるため、画像認識処理を停止または抑制する制御を行う。なお、画質レベルの判別基準は、様々考えられ、以下の具体例を説明するが、これらに限定されるものではない。
この構成により、画質が悪い場合は、画像認識処理を停止または抑制することで、不必要な処理を省くことができ、サーバ装置６０における画像認識処理またはサーバ装置６０との間の通信処理等の負荷を低減することができる。

以下、具体的に判別および制御方法について例示するが、本発明はこれらに限定されない。
まず、第１の例では、ローカル（スマートフォン１０）、およびサーバ装置６０の少なくとも１つにおける画像認識処理結果から得られる画像の特徴情報に基づき、制御部１０４が画質を判別する。たとえば、取得部１０２は、上記実施の形態のローカル画像認識部３０２から取得してもよい。

取得部１０２が、映像の画質を示す画質データとして、画像認識処理結果から得られる画像の特徴情報を取得する。そして、制御部１０４が、取得した特徴情報の量が閾値以上か否かを判定する。ここで、特徴情報の量とは、たとえば、画像フレームから抽出される認識可能な特徴量を有する特徴点の数、特徴点の分布範囲、各特徴点が有する特徴量の値、ベクトル量等様々な指標を含むことができる。

そして、所望の認識精度を得るために必要な情報量が得られるか否かを、固定しきい値（閾値）を基準として判定する。
制御部１０４は、特徴情報の量が閾値以上と判定された場合、所望の認識精度が得られるので、画像認識処理を停止しない。一方、特徴情報の量が閾値未満と判定された場合、所望の認識精度が得られない可能性があるので、制御部１０４は、画像認識処理を停止または抑制する。

また、所望の認識精度が得られるか否かは、サーバ装置６０が特徴量データベース（たとえば、図２の画像データベース５０）等として保有している、認識対象となる特徴情報によって、その判定基準が変わることが考えられる。したがって、認識対象となる特徴情報の特徴分布に関する情報から、上記特徴情報の量の閾値を決定することができる。

認識対象となる特徴情報の特徴分布に関する情報は、たとえば、サーバ装置６０が画像認識処理に使用する特徴量データベースに登録されている特徴量のデータ数、特徴量同士の類似性、または要求される認識精度等が含まれる。
すなわち、本実施形態において、取得部１０２は、さらに、上記認識対象に対応した特徴情報の量の閾値を取得する。
制御部１０４は、取得部１０２が取得した特徴情報の量の閾値を用いて、上述したような判定処理を行うことができる。

次に、第２の例では、第１の例とは異なり、画像認識のための特徴抽出処理は行わずに、画質チェック処理を行い、その結果に基づいて、画質レベルを判別する。
たとえば、取得部１０２は、画質データとして、画像の色分布、明るさ（一定以下で停止）、輝度分布（一定以上、一定以下で停止）、対象のエッジ検出（閾値以上で停止）の少なくともいずれか一つの情報を取得する。

これらの情報は、画質チェック処理部（不図示）を設けて取得してもよいし、あるいは、撮像部３０が既に備えている機能から取得することもできる。

あるいは、取得部１０２は、画質データとして、画像認識の過程で得られる画質情報、たとえば、手ぶれ、またはピンぼけ検出信号を取得する。制御部１０４は、手振れ、またはピンぼけ検出信号が検出された場合、画像認識処理を停止する。

あるいは、取得部１０２は、画質データとして、撮像部３０のＡＦ機構、または露出調整機構の動作ステータスを取得する。そして、制御部１０４は、動作ステータスが、調整中であると判別した場合、画像認識処理を停止する。

以上説明したように、本発明の実施の形態に係る処理装置によれば、上記実施形態と同様な効果を奏する。すなわち、本発明の実施の形態に係る処理装置によれば、画質レベルを判別して、画質がよいときに画像認識処理を行うように構成されているため、画質が悪い場合に写されている映像は処理しないので、不必要な処理を省くことができ、負荷増大を抑制できるとともに、認識精度を向上させることもできる。
さらに、サーバ装置６０側の負荷、端末側のマシンリソースの消費、および端末のバッテリの消耗を抑えることができる。

（第５の実施の形態）
本発明の実施の形態に係る処理装置は、上記実施の形態を組み合わせ、被写体を狙っている状態か否か、画像の変化の有無、および画質レベルの少なくともいずれかに応じて映像の画像認識処理を制御する。本実施形態の処理装置は、上述した全ての実施形態の処理装置の少なくともいずれか１つの構成と同様な構成を含むことができる。

図９は、本発明の実施の形態に係る処理装置の動作の一例を示すフローチャートである。
本実施形態の処理装置のデータ処理方法は、処理装置の取得部１０２が取得した撮影状態に基づいて、被写体を狙っている状態か否かを判定し（ステップＳ５０１）、取得した画像特徴データに基づいて、映像内の画像の変化の有無を判定し（ステップＳ５０３）、画質データに基づき、映像の画質が基準以上かを判定し（ステップＳ５０５）、全ての条件が揃った場合（ステップＳ５０１のＹＥＳ、かつ、ステップＳ５０３のＹＥＳ、かつ、ステップＳ５０５のＹＥＳ）、制御部１０４が、映像の画像認識処理を行う（ステップＳ５０７）。そして、一つでも条件が揃わなかった場合（ステップＳ５０１のＮＯ、または、ステップＳ５０３のＮＯ、またはステップＳ５０５のＮＯ）、制御部１０４は、映像の画像認識処理を停止する（ステップＳ５０９）。

なお、上述したように、ステップＳ５０７またはステップＳ５０９の映像の画像認識処理の制御は、動作または停止制御だけでなく、抑制制御、または送信制御などの制御を含むことができ、条件に応じて、適切な制御を行うことができる。

また、図９の例では、全ての条件が揃ったときに、映像の画像認識処理を行う構成としているが、これに限定されるものではない。たとえば、ステップＳ５０１、ステップＳ５０３、およびステップＳ５０５のうちの少なくとも一つの条件が揃ったら、映像の画像認識処理を行う構成とすることもできる。また、各ステップの判定の順序もこれに限定されるものではない。あるいは、全ての条件を判定する必要はなく、システムの性能や、必要とする精度、またはコストなどに応じて、使用する条件を選択して判別してもよい。

たとえば、画像認識処理を行うサーバ装置および端末の負荷を軽減するためには、少なくとも、ステップＳ５０１（被写体を狙っている状態か否かを判定）、およびステップＳ５０３（映像内の画像の変化の有無を判定）を組み合わせて判定するのが望ましい。ステップＳ５０５（画質レベル）の判定は、精度を重視した構成の場合に、有効である。

また、上記実施形態でも説明したように、ＡＦ機能、または手振れ補正機能等から取得されるステータスデータ、または加速度センサ２０２やジャイロセンサ２０４等から取得されるステータスデータを利用する方が、画像解析処理結果を利用する方法よりも、負荷が低い。したがって、負荷を低減する観点から考えると、ステップＳ５０１での被写体を狙っているか否かの判定では、画像解析処理結果を利用する方法を含まない構成が好ましい。

たとえば、他の実施形態の処理装置において、取得部１０２は、映像の画像認識処理を行うアプリケーションまたは動作毎に、所定の撮影状態を示す制御判定用データを取得してもよい。そして、制御部１０４は、取得した制御判定用データに基づき、アプリケーションまたは動作に応じた条件で、映像の画像認識処理を制御することができる。
すなわち、活用形態毎の条件で画像認識処理を制御する。アプリケーションまたは動作毎に、適したデータに基づき、適切な条件で判定を行うものとする。

以上説明したように、本発明の実施の形態に係る処理装置によれば、上記実施形態と同様な効果を奏するとともに、さらに、システムに応じた適切な制御判定用データで判定された結果に基づいて、画像認識処理の制御を行うことができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

以下、この実施形態の活用例を示すが、これらに限定されるものではない。
たとえば、カタログやメニューを撮影して画像認識するアプリケーションの場合、取得部１０２が、距離センサまたはライト照射による変化を検知したり、ＡＦの焦点距離などを用いて距離を取得し、制御部１０４が、取得したデータが一定値以上か否かを判定し、一定値以上なら、画像認識処理を停止するように制御することができる。

あるいは、天井画を検出するアプリケーションの場合、取得部１０２が、撮像部３０が撮影している方向を検知する信号を取得し、制御部１０４が、撮像部３０を上に向けている状態、すなわち、方向を検知する信号が所定値度以上であることを検知したときのみ、画像認識処理を行うように制御することができる。

あるいは、ドライブ風景を検出するアプリケーションの場合、取得部１０２が、撮像部３０の移動方向と撮影方向を検知する信号を取得し、制御部１０４が、撮像部３０がほぼ水平方向で前進している、たとえば、撮像部３０が、所定の方向から左折または右折の所定範囲で移動していることを検知したときのみ、画像認識処理を行うように制御することができる。
このような形態によれば、映像を用いたアプリケーションまたは動作毎に、適した条件で画像認識処理の要否を判別して制御することができるので、効率よく、利便性を損なうことなく、負荷を低減することができる。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

以下、参考形態の例を付記する。
１． 撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する制御手段と、を備える処理装置。
２． １．に記載の処理装置において、
前記取得手段は、前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得し、
前記制御手段は、取得した前記画像特徴データに基づいて、前記映像内の画像の変化の有無を判定し、判定結果に基づき、前記映像の画像認識処理を制御する処理装置。
３． ２．に記載の処理装置において、
前記取得手段は、前記映像の特徴を示す前記画像特徴データとして、前記映像から逐次得られる各画像の特徴量を認識する画像認識処理部から、各画像の認識結果を取得し、
前記制御手段は、取得した前記各画像の認識結果から、前記映像内の画像の変化の有無を判定する処理装置。
４． ２．または３．に記載の処理装置において、
前記取得手段は、前記映像の特徴を示す前記画像特徴データとして、前記映像から逐次得られる各画像の特徴量を認識する画像認識処理部から、各画像のフレーム情報を取得し、
前記制御手段は、取得した前記各画像のフレーム情報から、前記映像内の各画像のフレーム位置の差分が閾値以下か否かを判定し、前記差分が閾値以下の場合、前記画像に変化がないと判別し、前記差分が閾値より大きい場合、前記画像が変化したと判別する処理装置。
５． １．乃至４．いずれかに記載の処理装置において、
前記取得手段は、前記制御判定用データとして、前記撮像部の撮影状態の検出結果を示すステータスデータを取得し、
前記制御手段は、前記ステータスデータに基づき、被写体を狙っている状態か否かを判定し、判別結果に応じて、前記映像の画像認識処理を制御する処理装置。
６． ５．に記載の処理装置において、
前記取得手段は、前記撮像部の撮影状態の検出結果を示すステータスデータとして、加速度センサ、ジャイロセンサ、または、これらの組み合わせからの出力信号を取得し、
前記制御手段は、前記ステータスデータに基づき、前記撮像部の動きの変化が所定の範囲内か否かを調べ、前記撮像部の動きの変化が所定の範囲内の場合、前記被写体を狙っている状態と判別し、前記撮像部の動きの変化が所定の範囲内でない場合、前記被写体を狙っている状態ではないと判別する処理装置。
７． ５．または６．に記載の処理装置において、
前記取得手段は、前記撮像部の撮影状態の検出結果を示すステータスデータとして、前記撮像部におけるオートフォーカス機能、または手振れ検出機能から得られる少なくとも１つのステータスを取得し、
前記制御手段は、取得した前記ステータスデータに基づき、前記被写体を狙っている状態か否かを判定する処理装置。
８． ５．乃至７．いずれかに記載の処理装置において、
前記取得手段は、前記撮像部の撮影状態の検出結果を示すステータスデータとして、前記映像の画像解析処理の処理結果の情報を取得し、
前記制御手段は、取得した前記ステータスデータに基づき、前記被写体を狙っている状態か否かを判定する処理装置。
９． ５．乃至８．いずれかに記載の処理装置において、
前記取得手段は、前記映像の画像認識処理を行うアプリケーションまたは動作毎に、所定の撮影状態を示す前記制御判定用データを取得し、
前記制御手段は、取得した前記制御判定用データに基づき、前記アプリケーションまたは動作に応じた条件で、前記映像の画像認識処理を制御する処理装置。
１０． １．乃至９．いずれかに記載の処理装置において、
前記取得手段は、前記制御判定用データとして前記映像の画質を示す画質データを取得し、
前記制御手段は、前記画質データに基づき、前記映像の画質が基準以上かを判定し、判定結果に基づき、前記映像の画像認識処理を制御する処理装置。
１１． １．乃至１０．いずれかに記載の処理装置において、
前記制御手段は、前記制御判定データに基づき、画像処理装置における前記画像認識処理を制御する、または、前記画像認識処理を行う画像処理装置に前記映像を送信するか否かを制御する処理装置。
１２． １．乃至１１．いずれかに記載の処理装置において、
前記画像認識処理は、前記処理装置を含む端末装置、または、前記処理装置とネットワークを介して接続されるサーバ装置で行われる、あるいは、前記端末装置および前記サーバ装置で分担して行われる処理装置。

１３． 撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する制御手段と、を備える処理装置。
１４． １３．に記載の処理装置において、
前記取得手段は、前記制御判定用データとして前記映像の画質を示す画質データを取得し、
前記制御手段は、前記画質データに基づき、前記映像の画質が基準以上かを判定し、判定結果に基づき、前記映像の画像認識処理を制御する処理装置。
１５． １３．または１４．に記載の処理装置において、
前記取得手段は、前記制御判定用データとして、前記撮像部の撮影状態の検出結果を示すステータスデータを取得し、
前記制御手段は、前記ステータスデータに基づき、被写体を狙っている状態か否かを判定し、判別結果に応じて、前記映像の画像認識処理を制御する処理装置。
１６． １５．に記載の処理装置において、
前記取得手段は、前記撮像部の撮影状態の検出結果を示すステータスデータとして、加速度センサ、ジャイロセンサ、または、これらの組み合わせからの出力信号を取得し、
前記制御手段は、前記ステータスデータに基づき、前記撮像部の動きの変化が所定の範囲内か否かを調べ、前記撮像部の動きの変化が所定の範囲内の場合、前記被写体を狙っている状態と判別し、前記撮像部の動きの変化が所定の範囲内でない場合、前記被写体を狙っている状態ではないと判別する処理装置。
１７． １５．または１６．に記載の処理装置において、
前記取得手段は、前記撮像部の撮影状態の検出結果を示すステータスデータとして、前記撮像部におけるオートフォーカス機能、または手振れ検出機能から得られる少なくとも１つのステータスを取得し、
前記制御手段は、取得した前記ステータスデータに基づき、前記被写体を狙っている状態か否かを判定する処理装置。
１８． １５．乃至１７．いずれかに記載の処理装置において、
前記取得手段は、前記撮像部の撮影状態の検出結果を示すステータスデータとして、前記映像の画像解析処理の処理結果の情報を取得し、
前記制御手段は、取得した前記ステータスデータに基づき、前記被写体を狙っている状態か否かを判定する処理装置。
１９． １５．乃至１８．いずれかに記載の処理装置において、
前記取得手段は、前記映像の画像認識処理を行うアプリケーションまたは動作毎に、所定の撮影状態を示す前記制御判定用データを取得し、
前記制御手段は、取得した前記制御判定用データに基づき、前記アプリケーションまたは動作に応じた条件で、前記映像の画像認識処理を制御する処理装置。
２０． １３．乃至１９．いずれかに記載の処理装置において、
前記取得手段は、前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得し、
前記制御手段は、取得した前記画像特徴データに基づいて、前記映像内の画像の変化の有無を判定し、判定結果に基づき、前記映像の画像認識処理を制御する処理装置。
２１． ２０．に記載の処理装置において、
前記取得手段は、前記映像の特徴を示す前記画像特徴データとして、前記映像から逐次得られる各画像の特徴量を認識する画像認識処理部から、各画像の認識結果を取得し、
前記制御手段は、取得した前記各画像の認識結果から、前記映像内の画像の変化の有無を判定する処理装置。
２２． ２０．または２１．に記載の処理装置において、
前記取得手段は、前記映像の特徴を示す前記画像特徴データとして、前記映像から逐次得られる各画像の特徴量を認識する画像認識処理部から、各画像のフレーム情報を取得し、
前記制御手段は、取得した前記各画像のフレーム情報から、前記映像内の各画像のフレーム位置の差分が閾値以下か否かを判定し、前記差分が閾値以下の場合、前記画像に変化がないと判別し、前記差分が閾値より大きい場合、前記画像が変化したと判別する処理装置。
２３． １３．乃至２２．いずれかに記載の処理装置において、
前記制御手段は、前記制御判定データに基づき、画像処理装置における前記画像認識処理を制御する、または、前記画像認識処理を行う画像処理装置に前記映像を送信するか否かを制御する処理装置。
２４． １３．乃至２３．いずれかに記載の処理装置において、
前記画像認識処理は、前記処理装置を含む端末装置、または、前記処理装置とネットワークを介して接続されるサーバ装置で行われる、あるいは、前記端末装置および前記サーバ装置で分担して行われる処理装置。

２５． 処理装置が、
撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得し、
取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する処理装置のデータ処理方法。
２６． ２５．に記載の処理装置のデータ処理方法において、
前記処理装置が、
前記制御判定用データとして、前記撮像部の撮影状態の検出結果を示すステータスデータを取得し、
前記ステータスデータに基づき、被写体を狙っている状態か否かを判定し、判別結果に応じて、前記映像の画像認識処理を制御する処理装置のデータ処理方法。
２７． ２６．に記載の処理装置のデータ処理方法において、
前記処理装置が、
前記撮像部の撮影状態の検出結果を示すステータスデータとして、加速度センサ、ジャイロセンサ、または、これらの組み合わせからの出力信号を取得し、
前記ステータスデータに基づき、前記撮像部の動きの変化が所定の範囲内か否かを調べ、前記撮像部の動きの変化が所定の範囲内の場合、前記被写体を狙っている状態と判別し、前記撮像部の動きの変化が所定の範囲内でない場合、前記被写体を狙っている状態ではないと判別する処理装置のデータ処理方法。
２８． ２６．または２７．に記載の処理装置のデータ処理方法において、
前記処理装置が、
前記撮像部の撮影状態の検出結果を示すステータスデータとして、前記撮像部におけるオートフォーカス機能、または手振れ検出機能から得られる少なくとも１つのステータスを取得し、
取得した前記ステータスデータに基づき、前記被写体を狙っている状態か否かを判定する処理装置のデータ処理方法。
２９． ２６．乃至２８．いずれかに記載の処理装置のデータ処理方法において、
前記処理装置が、
前記撮像部の撮影状態の検出結果を示すステータスデータとして、前記映像の画像解析処理の処理結果の情報を取得し、
取得した前記ステータスデータに基づき、前記被写体を狙っている状態か否かを判定する処理装置のデータ処理方法。
３０． ２６．乃至２９．いずれかに記載の処理装置のデータ処理方法において、
前記処理装置が、
前記映像の画像認識処理を行うアプリケーションまたは動作毎に、所定の撮影状態を示す前記制御判定用データを取得し、
取得した前記制御判定用データに基づき、前記アプリケーションまたは動作に応じた条件で、前記映像の画像認識処理を制御する処理装置のデータ処理方法。
３１． ２５．乃至３０．いずれかに記載の処理装置のデータ処理方法において、
前記処理装置が、
前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得し、
取得した前記画像特徴データに基づいて、前記映像内の画像の変化の有無を判定し、判定結果に基づき、前記映像の画像認識処理を制御する処理装置のデータ処理方法。
３２． ３１．に記載の処理装置のデータ処理方法において、
前記処理装置が、
前記映像の特徴を示す前記画像特徴データとして、前記映像から逐次得られる各画像の特徴量を認識する画像認識処理部から、各画像の認識結果を取得し、
取得した前記各画像の認識結果から、前記映像内の画像の変化の有無を判定する処理装置のデータ処理方法。
３３． ３１．または３２．に記載の処理装置のデータ処理方法において、
前記処理装置が、
前記映像の特徴を示す前記画像特徴データとして、前記映像から逐次得られる各画像の特徴量を認識する画像認識処理部から、各画像のフレーム情報を取得し、
取得した前記各画像のフレーム情報から、前記映像内の各画像のフレーム位置の差分が閾値以下か否かを判定し、前記差分が閾値以下の場合、前記画像に変化がないと判別し、前記差分が閾値より大きい場合、前記画像が変化したと判別する処理装置のデータ処理方法。
３４． ２５．乃至３３．いずれかに記載の処理装置のデータ処理方法において、
前記処理装置が、
前記制御判定用データとして前記映像の画質を示す画質データを取得し、
前記画質データに基づき、前記映像の画質が基準以上かを判定し、判定結果に基づき、前記映像の画像認識処理を制御する処理装置のデータ処理方法。
３５． ２５．乃至３４．いずれかに記載の処理装置のデータ処理方法において、
前記処理装置が、
前記制御判定データに基づき、画像処理装置における前記画像認識処理を制御する、または、前記画像認識処理を行う画像処理装置に前記映像を送信するか否かを制御する処理装置のデータ処理方法。
３６． ２５．乃至３５．いずれかに記載の処理装置のデータ処理方法において、
前記処理装置が、
前記画像認識処理は、前記処理装置を含む端末装置、または、前記処理装置とネットワークを介して接続されるサーバ装置で行われる、あるいは、前記端末装置および前記サーバ装置で分担して行われる処理装置のデータ処理方法。

３７． 撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する手順、
取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する手順をコンピュータに実行させるためのプログラム。
３８． ３７．に記載のプログラムにおいて、
前記制御判定用データとして、前記撮像部の撮影状態の検出結果を示すステータスデータを取得する手順、
前記ステータスデータに基づき、被写体を狙っている状態か否かを判定し、判定結果に応じて、前記映像の画像認識処理を制御する手順をコンピュータに実行させるためのプログラム。
３９． ３８．に記載のプログラムにおいて、
前記撮像部の撮影状態の検出結果を示すステータスデータとして、加速度センサ、ジャイロセンサ、または、これらの組み合わせからの出力信号を取得する手順、
前記ステータスデータに基づき、前記撮像部の動きの変化が所定の範囲内か否かを調べ、前記撮像部の動きの変化が所定の範囲内の場合、前記被写体を狙っている状態と判別し、前記撮像部の動きの変化が所定の範囲内でない場合、前記被写体を狙っている状態ではないと判別する手順をコンピュータに実行させるためのプログラム。
４０． ３８．または３９．に記載のプログラムにおいて、
前記撮像部の撮影状態の検出結果を示すステータスデータとして、前記撮像部におけるオートフォーカス機能、または手振れ検出機能から得られる少なくとも１つのステータスを取得する手順、
取得した前記ステータスデータに基づき、前記被写体を狙っている状態か否かを判定する手順をコンピュータに実行させるためのプログラム。
４１． ３８．乃至４０．いずれかに記載のプログラムにおいて、
前記撮像部の撮影状態の検出結果を示すステータスデータとして、前記映像の画像解析処理の処理結果の情報を取得する手順、
取得した前記ステータスデータに基づき、前記被写体を狙っている状態か否かを判定する手順をコンピュータに実行させるためのプログラム。
４２． ３８．乃至４１．いずれかに記載のプログラムにおいて、
前記映像の画像認識処理を行うアプリケーションまたは動作毎に、所定の撮影状態を示す前記制御判定用データを取得する手順、
取得した前記制御判定用データに基づき、前記アプリケーションまたは動作に応じた条件で、前記映像の画像認識処理を制御する手順をコンピュータに実行させるためのプログラム。
４３． ３７．乃至４２．いずれかに記載のプログラムにおいて、
前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得する手順、
取得した前記画像特徴データに基づいて、前記映像内の画像の変化の有無を判定し、判定結果に基づき、前記映像の画像認識処理を制御する手順をコンピュータに実行させるためのプログラム。
４４． ４３．に記載のプログラムにおいて、
前記映像の特徴を示す前記画像特徴データとして、前記映像から逐次得られる各画像の特徴量を認識する画像認識処理部から、各画像の認識結果を取得する手順、
取得した前記各画像の認識結果から、前記映像内の画像の変化の有無を判定する手順をコンピュータに実行させるためのプログラム。
４５． ４３．または４４．に記載のプログラムにおいて、
前記映像の特徴を示す前記画像特徴データとして、前記映像から逐次得られる各画像の特徴量を認識する画像認識処理部から、各画像のフレーム情報を取得する手順、
取得した前記各画像のフレーム情報から、前記映像内の各画像のフレーム位置の差分が閾値以下か否かを判定し、前記差分が閾値以下の場合、前記画像に変化がないと判別し、前記差分が閾値より大きい場合、前記画像が変化したと判別する手順をコンピュータに実行させるためのプログラム。
４６． ３７．乃至４５．いずれかに記載のプログラムにおいて、
前記制御判定用データとして前記映像の画質を示す画質データを取得する手順、
前記画質データに基づき、前記映像の画質が基準以上かを判定し、判定結果に基づき、前記映像の画像認識処理を制御する手順をコンピュータに実行させるためのプログラム。
４７． ３７．乃至４６．いずれかに記載のプログラムにおいて、
前記制御判定データに基づき、画像処理装置における前記画像認識処理を制御する手順、または、前記画像認識処理を行う画像処理装置に前記映像を送信するか否かを制御する手順をコンピュータに実行させるためのプログラム。
４８． ３７．乃至４７．いずれかに記載のプログラムにおいて、
前記画像認識処理は、前記処理装置を含む端末装置、または、前記処理装置とネットワークを介して接続されるサーバ装置で行われる、あるいは、前記端末装置および前記サーバ装置で分担して行われるプログラム。
４９． 撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する制御手段と、を備える処理装置。
５０． ４９．に記載の処理装置において、
前記取得手段は、前記制御判定用データとして、前記撮像部の撮影状態の検出結果を示すステータスデータを取得し、
前記制御手段は、前記ステータスデータに基づき、被写体を狙っている状態か否かを判定し、判定結果に応じて、前記映像の画像認識処理を制御する処理装置。
５１． ５０．に記載の処理装置において、
前記取得手段は、前記撮像部の撮影状態の検出結果を示すステータスデータとして、加速度センサ、ジャイロセンサ、または、これらの組み合わせからの出力信号を取得し、
前記制御手段は、前記ステータスデータに基づき、前記撮像部の動きの変化が所定の範囲内か否かを調べ、前記撮像部の動きの変化が所定の範囲内の場合、前記被写体を狙っている状態と判別し、前記撮像部の動きの変化が所定の範囲内でない場合、前記被写体を狙っている状態ではないと判別する処理装置。
５２． ５０．または５１．に記載の処理装置において、
前記取得手段は、前記撮像部の撮影状態の検出結果を示すステータスデータとして、前記撮像部におけるオートフォーカス機能、または手振れ検出機能から得られる少なくとも１つのステータスを取得し、
前記制御手段は、取得した前記ステータスデータに基づき、前記被写体を狙っている状態か否かを判定する処理装置。
５３． ５０．乃至５２．いずれかに記載の処理装置において、
前記取得手段は、前記撮像部の撮影状態の検出結果を示すステータスデータとして、前記映像の画像解析処理の処理結果の情報を取得し、
前記制御手段は、取得した前記ステータスデータに基づき、前記被写体を狙っている状態か否かを判定する処理装置。
５４． ５０．乃至５３．いずれかに記載の処理装置において、
前記取得手段は、前記映像の画像認識処理を行うアプリケーションまたは動作毎に、所定の撮影状態を示す前記制御判定用データを取得し、
前記制御手段は、取得した前記制御判定用データに基づき、前記アプリケーションまたは動作に応じた条件で、前記映像の画像認識処理を制御する処理装置。
５５． ４９．乃至５４．いずれかに記載の処理装置において、
前記取得手段は、前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得し、
前記制御手段は、取得した前記画像特徴データに基づいて、前記映像内の画像の変化の有無を判定し、判定結果に基づき、前記映像の画像認識処理を制御する処理装置。
５６． ５５．に記載の処理装置において、
前記取得手段は、前記映像の特徴を示す前記画像特徴データとして、前記映像から逐次得られる各画像の特徴量を認識する画像認識処理部から、各画像の認識結果を取得し、
前記制御手段は、取得した前記各画像の認識結果から、前記映像内の画像の変化の有無を判定する処理装置。
５７． ５５．または５６．に記載の処理装置において、
前記取得手段は、前記映像の特徴を示す前記画像特徴データとして、前記映像から逐次得られる各画像の特徴量を認識する画像認識処理部から、各画像のフレーム情報を取得し、
前記制御手段は、取得した前記各画像のフレーム情報から、前記映像内の各画像のフレーム位置の差分が閾値以下か否かを判定し、前記差分が閾値以下の場合、前記画像に変化がないと判別し、前記差分が閾値より大きい場合、前記画像が変化したと判別する処理装置。
５８． ４９．乃至５７．いずれかに記載の処理装置において、
前記取得手段は、前記制御判定用データとして前記映像の画質を示す画質データを取得し、
前記制御手段は、前記画質データに基づき、前記映像の画質が基準以上かを判定し、判定結果に基づき、前記映像の画像認識処理を制御する処理装置。
５９． ４９．乃至５８．いずれかに記載の処理装置において、
前記制御手段は、前記制御判定データに基づき、画像処理装置における前記画像認識処理を制御する、または、前記画像認識処理を行う画像処理装置に前記映像を送信するか否かを制御する処理装置。
６０． ４９．乃至５９．いずれかに記載の処理装置において、
前記画像認識処理は、前記処理装置を含む端末装置、または、前記処理装置とネットワークを介して接続されるサーバ装置で行われる、あるいは、前記端末装置および前記サーバ装置で分担して行われる処理装置。

この出願は、２０１３年３月１９日に出願された日本出願特願２０１３−０５７２０２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (17)

1. 画像認識処理を行うサーバ装置にネットワークを介して接続され、
   撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
   取得した前記制御判定用データに基づき、前記サーバ装置への映像データの送信を制御する制御手段と、を備え、
   前記制御手段は、
   前記サーバ装置への前記映像データの送信頻度の変更を行う、処理装置。
2. 画像認識処理を行うサーバ装置にネットワークを介して接続され、
   撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
   取得した前記制御判定用データに基づき、前記サーバ装置への映像データの送信を制御する制御手段と、を備え、
   前記制御手段は、
   前記サーバ装置へ送信する前記映像データのサイズ、画質、および解像度の少なくとも一つの変更を行う、処理装置。
3. 画像認識処理を行うサーバ装置にネットワークを介して接続され、
   撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
   取得した前記制御判定用データに基づき、前記サーバ装置への映像データの送信を制御する制御手段と、を備え、
   前記取得手段は、前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得し、
   前記制御手段は、前記画像特徴データに基づいて、前記映像の特徴を比較対象と照合し、その照合結果から前記映像内の画像の変化の有無を判定し、前記画像の変化がないと判定された場合、前記サーバ装置における前記画像認識処理の画像認識対象範囲を狭くするように制御する、処理装置。
4. 請求項３に記載の処理装置において、
   前記サーバ装置は、前記画像認識処理の対象物の特徴量の情報を保有しており、
   前記取得手段は、
   前記映像の特徴を示す前記画像特徴データとして、前記映像から逐次得られる各画像の特徴量を認識する画像認識処理部から、各画像の認識結果を取得し、
   前記各画像の最近の認識結果から、少なくとも一部が認識された対象物の全体の特徴量の情報を前記サーバ装置から取得し、
   前記制御手段は、
   前記サーバ装置から取得した前記対象物の全体の特徴量と、最新の画像の特徴量を比較し、前記映像の画像フレーム内の、前記対象物の全体の特徴量と前記最新の画像の特徴量の相対位置に基づき、前記対象物の全体の範囲を前記画像認識対象範囲から排除して、前記サーバ装置における前記画像認識処理を行うように制御する処理装置。
5. 撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
   取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する制御手段と、を備え、
   前記画像認識処理は、当該処理装置を含む端末装置で行われ、
   前記制御手段は、
   前記制御判定用データに基づき、前記撮像部が被写体を狙っている状態か否かを判定し、前記被写体を狙っている状態と判定された場合、前記端末装置における前記画像認識処理の頻度を上げるように制御し、前記被写体を狙っていない状態と判定された場合、前記端末装置における前記画像認識処理の頻度を下げるように、前記端末装置における前記画像認識処理を制御する処理装置。
6. 撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する取得手段と、
   取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する制御手段と、を備え、
   前記画像認識処理は、当該処理装置を含む端末装置で行われ、
   前記取得手段は、前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得し、
   前記制御手段は、
   前記画像特徴データに基づいて、前記映像の特徴を比較対象と照合し、その照合結果から前記映像内の画像の変化の有無を判定し、前記画像の変化がないと判定された場合、前記端末装置における前記画像認識処理の画像認識対象範囲を狭くするように、前記端末装置における前記画像認識処理を制御する処理装置。
7. 請求項６に記載の処理装置において、
   当該処理装置は、前記画像認識処理の対象物の特徴量の情報を保有しており、
   前記取得手段は、
   前記映像の特徴を示す前記画像特徴データとして、前記映像から逐次得られる各画像の特徴量を認識する画像認識処理部から、各画像の認識結果を取得し、
   前記各画像の最近の認識結果から、少なくとも一部が認識された対象物の全体の特徴量の情報を、保有している前記情報の中から取得し、
   前記制御手段は、
   取得した前記対象物の全体の特徴量と、最新の画像の特徴量を比較し、前記映像の画像フレーム内の、前記対象物の全体の特徴量と前記最新の画像の特徴量の相対位置に基づき、前記対象物の全体の範囲を前記画像認識対象範囲から排除して、前記端末装置における前記画像認識処理を行うように制御する処理装置。
8. 処理装置が、
   撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得し、
   取得した前記制御判定用データに基づき、ネットワークを介して接続された画像認識処理を行うサーバ装置への映像データの送信を制御し、
   前記サーバ装置への前記映像データの送信頻度の変更を行う、処理装置のデータ処理方法。
9. 処理装置が、
   撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得し、
   取得した前記制御判定用データに基づき、ネットワークを介して接続された画像認識処理を行うサーバ装置への映像データの送信を制御し、
   前記サーバ装置へ送信する前記映像データのサイズ、画質、および解像度の少なくとも一つの変更を行う、処理装置のデータ処理方法。
10. 処理装置が、
    撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得し、
    取得した前記制御判定用データに基づき、ネットワークを介して接続された画像認識処理を行うサーバ装置への映像データの送信を制御し、
    前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得し、
    前記画像特徴データに基づいて、前記映像の特徴を比較対象と照合し、その照合結果から前記映像内の画像の変化の有無を判定し、前記画像の変化がないと判定された場合、前記サーバ装置における前記画像認識処理の画像認識対象範囲を狭くするように制御する処理装置のデータ処理方法。
11. 処理装置は、画像認識処理を行う端末装置に含まれ、
    前記処理装置が、
    撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得し、
    取得した前記制御判定用データに基づき、前記映像の前記画像認識処理を制御し、
    前記制御判定用データに基づき、前記撮像部が被写体を狙っている状態か否かを判定し、前記被写体を狙っている状態と判定された場合、前記端末装置における前記画像認識処理の頻度を上げるように制御し、前記被写体を狙っていない状態と判定された場合、前記端末装置における前記画像認識処理の頻度を下げるように、前記端末装置における前記画像認識処理を制御する処理装置のデータ処理方法。
12. 処理装置は、画像認識処理を行う端末装置に含まれ、
    前記処理装置が、
    撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得し、
    取得した前記制御判定用データに基づき、前記映像の前記画像認識処理を制御し、
    前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得し、
    前記画像特徴データに基づいて、前記映像の特徴を比較対象と照合し、その照合結果から前記映像内の画像の変化の有無を判定し、前記画像の変化がないと判定された場合、前記端末装置における前記画像認識処理の画像認識対象範囲を狭くするように、前記端末装置における前記画像認識処理を制御する処理装置のデータ処理方法。
13. 撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する手順、
    取得した前記制御判定用データに基づき、ネットワークを介して接続された画像認識処理を行うサーバ装置への映像データの送信を制御する手順、
    前記サーバ装置への前記映像データの送信頻度の変更を行う手順、をコンピュータに実行させるためのプログラム。
14. 撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する手順、
    取得した前記制御判定用データに基づき、ネットワークを介して接続された画像認識処理を行うサーバ装置への映像データの送信を制御する手順、
    前記サーバ装置へ送信する前記映像データのサイズ、画質、および解像度の少なくとも一つの変更を行う手順、をコンピュータに実行させるためのプログラム。
15. 撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する手順、
    取得した前記制御判定用データに基づき、ネットワークを介して接続された画像認識処理を行うサーバ装置への映像データの送信を制御する手順、
    前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得する手順、
    前記画像特徴データに基づいて、前記映像の特徴を比較対象と照合し、その照合結果から前記映像内の画像の変化の有無を判定し、前記画像の変化がないと判定された場合、前記サーバ装置における前記画像認識処理の画像認識対象範囲を狭くするように制御する手順、をコンピュータに実行させるためのプログラム。
16. 画像認識処理を行う端末装置に含まれる処理装置を実現させるためのコンピュータに、
    撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する手順、
    取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する手順、
    前記制御判定用データに基づき、前記撮像部が被写体を狙っている状態か否かを判定し、前記被写体を狙っている状態と判定された場合、前記処理装置における前記画像認識処理の頻度を上げるように制御し、前記被写体を狙っていない状態と判定された場合、前記端末装置における前記画像認識処理の頻度を下げるように、前記端末装置における前記画像認識処理を制御する手順を実行させるためのプログラム。
17. 画像認識処理を行う端末装置に含まれる処理装置を実現させるためのコンピュータに、
    撮像部により撮影される映像を逐次取得して、前記映像が生成されたときの前記撮像部における撮影状態を示す制御判定用データを取得する手順、
    取得した前記制御判定用データに基づき、前記映像の画像認識処理を制御する手順、
    前記制御判定用データとして、前記映像の特徴を示す画像特徴データを取得する手順、
    前記画像特徴データに基づいて、前記映像の特徴を比較対象と照合し、その照合結果から前記映像内の画像の変化の有無を判定し、前記画像の変化がないと判定された場合、前記端末装置の前記画像認識処理の画像認識対象範囲を狭くするように、前記端末装置における前記画像認識処理を制御する手順を実行させるためのプログラム。

Images