JP5814700B2

JP5814700B2 - 画像処理システム及び画像処理方法

Info

Publication number: JP5814700B2
Application number: JP2011183838A
Authority: JP
Inventors: 剛黒木; 幹雄木浦; 優和真継
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-08-25
Filing date: 2011-08-25
Publication date: 2015-11-17
Anticipated expiration: 2031-08-25
Also published as: US20170199899A1; US20130051687A1; US10459968B2; JP2013045352A

Description

本発明は画像処理システム及び画像処理方法に関し、特に、撮影した静止画・動画を送信するだけで多様なウェブサービスを用いることができる静止画・動画共有サービスを構成する画像処理システムに関する。

近年、撮影した画像をサーバにアップロードし、インターネットを介してアップロードした利用者や他の利用者が画像を閲覧することができる静止画・動画共有サービスが多くの人に利用されている。こうした静止画・動画共有サービスでは、利用者が静止画・動画の一枚一枚にコメントを付けたり、何が写っているのかを単語で表すタグを付けたりなどといったことができるようになっている。たとえば、非特許文献３では、そうした静止画・動画共有サービス上に集まっている写真に付けられたテキストタグと、ＧＰＳによる位置情報とを利用して、世界各地の文化的差異を探る試みが行われている。

また、一方で、さまざまな用途に特化したインターネット上のウェブサービスも一般的になってきている。そうしたウェブサービスの中には、たとえば、自らの食べた食事を記録するものや、自分の移動した行程を記録するもの、静止画・動画と短いメッセージを投稿するものなどがあり、一般利用者の多様な嗜好を満足させている。こうしたウェブサービスについては、たとえば非特許文献４に記されている。

特開２００８−９９１４号公報

柳井啓司、一般物体認識の現状と今後、情報処理学会論文誌：コンピュータビジョンとイメージメディア、Vol.４８、Nov ２００７ Wen Wu, Jie Yang, Fast food recognition from videos of eating for calorie estimation, Proceedings of IEEE International Conference on Multimedia & Expo (ICME), ２００９柳井啓司、Web 上のジオタグ付き画像を用いた世界各地の文化的差異の発見、第２３回人工知能学会大会論文誌、２００９音葉哲、iPhoneでライフログ、辰巳出版、２０１０

現状では、既に述べたような静止画・動画共有サービスと、多様なウェブサービスとの連携はうまく行われていない。そのため、一般利用者は、静止画・動画共有サービスと、多様なウェブサービスとをそれぞれ独立に用いている。

しかしながら、そうしたウェブサービスの中には、利用者が撮影した静止画・動画を解析し、その解析結果を送信することで利用可能なものがある。たとえば、利用者が食べた食事の画像を解析して、食事内容を記録していくようなウェブサービスがそれにあたる。こうした画像を通して利用可能なウェブサービスと、静止画・動画共有サービスの連携がなされれば、利用者は静止画・動画共有サービスに画像を送るだけで、関連するウェブサービスを利用することができるようになる。

本発明は前述の問題点に鑑み、利用者が静止画・動画共有サービスに画像を送信するだけで多様なウェブサービスを利用できるようにすることを目的とする。

本発明の画像処理システムは、ネットワークを介して送信されてきた画像を関連する外部ウェブサービスに振り分ける画像処理システムであって、画像認識を行う画像認識手段と、前記画像認識手段により認識された画像を外部ウェブサービスに送り出す際の振り分けルールを設定するルール設定手段と、前記ルール設定手段により設定された振り分けルールのうち、前記画像に合致する条件を持つ振り分けルールに従って、当該画像に関する情報を対応する外部ウェブサービスに送り出す送出手段と、利用者が新たな振り分けルールの登録を行うためのユーザ入力手段とを有し、前記ルール設定手段は、前記ユーザ入力手段を介して登録された振り分けルールを、ユーザ入力振り分けルールとして保存し、前記ユーザ入力手段は、画像の外部ウェブサービスへの振り分けの起こる条件と、その条件を満たした際になされるアクションの両方を記述する振り分けルール設定ウィンドウを表示装置に表示することを特徴とする。

本発明によれば、利用者は、自ら細かくルールを設定することなく、撮影した静止画・動画を静止画・動画共有サービスに送信するだけで多様なウェブサービスを利用することができるようになる。

静止画・動画共有サービスおよび各種ウェブサービスの関係を示す図である。第１の実施形態の画像サーバの内部構成の一例を示したブロック図である。画像が送られてきた際の処理の流れを示したフローチャートである。利用者に提示する振り分けルール設定ウィンドウの一例を示した図である。振り分けルールの提示を行う際の処理の流れを示したフローチャートである。第２の実施形態の画像サーバの内部構成の一例を示したブロック図である。

以下、図面を参照しながら本発明の実施形態を説明する。
（第１の実施形態）
本実施形態における画像処理システムは、複数の利用者からの静止画・動画を受け取り、関連するウェブサービスに振り分ける、静止画・動画共有サービスである。本実施形態の静止画・動画共有サービスにおいては、静止画・動画は外部のウェブサービスに振り分けられることもあるが、振り分けられないこともあり、また、複数のウェブサービスに振り分けられることもある。

図１は、本実施形態において、利用者の持つ撮像装置と、利用者の利用する静止画・動画共有サービスおよび各種ウェブサービスの関係を示した図である。
図１において、１０１ａ〜１０１ｃは撮像装置であり、本実施形態における静止画・動画共有サービスを利用する複数の利用者がそれぞれ持つ例を示している。なお、図１には３つの撮像装置を示したが、３つ以上であってもよい。以下の説明においては、撮像装置１０１ａ〜１０１ｃを総称して撮像装置１０１とする。

撮像装置１０１は通信網１０２を介して画像サーバ１０３に撮影した画像を送信する。撮像装置１０１は画像を撮影し、通信網を介して画像を送信できる装置であればどのような装置で構成されてもよく、たとえばデジタルカメラや携帯電話によって構成される。また、撮像装置１０１はＧＰＳを内蔵するものであってよく、その場合、撮影した静止画・動画データに位置情報が埋め込まれる。

１０２は通信網であり、撮像装置１０１で撮影された静止画・動画データを画像サーバ１０３に送信する。通信網１０２は無線ＬＡＮやモバイル公衆無線といった無線通信網や、有線通信網から構成される。

１０３は画像サーバであり、本実施形態における静止画・動画共有サービスが稼働しているハードウェアである。画像サーバ１０３は複数の利用者から送られてくる静止画・動画データを保持し、利用者からの要求があった場合に静止画・動画データを表示する。画像サーバ１０３は後述する画像認識部を持ち、利用者から送られてくる静止画・動画を認識して解析し、必要がある場合に静止画・動画もしくは解析結果もしくはその両方を外部ウェブサービスに送信する。画像サーバ１０３は静止画・動画共有サービスを稼働させることができるハードウェアであればどのように構成されてもよく、たとえばＰＣサーバによって構成される。

１０４は食事管理を行うための、画像サーバ１０３と接続されている外部ウェブサービスである。食事管理ウェブサービス１０４はＰＣサーバと、ＰＣサーバ上で稼働するプログラムによって構成されている。食事管理ウェブサービス１０４は、一般利用者に広く開放されたサービスであり、静止画・動画共有サービスを展開する事業者とは別の事業者によって提供されているサービスである。

このサービスに利用登録した利用者は、このサービスに毎日の食事の内容を、例えば、「カツ丼」などとテキストで入力していくと、そのテキスト内容が解析されて、あらかじめ登録されている食事内容のどれに一致しているかが判定される。あらかじめ登録されている食事内容には、食事名と一緒にカロリーや栄養素などといった情報も記録されている。このサービスの利用者は、日々の食事の名前とだいたいの量を１.５人前などと入力していくだけで、自らが摂取した食事内容を記録し、健康管理やダイエットに利用することができる。

食事管理ウェブサービス１０４は、外部ＡＰＩ（Application Program Interface）を持つ。そして、食事管理ウェブサービス１０４の外部、すなわち画像サーバ１０３や該サーバと接続する撮像装置１０１などから、ネットワークを介して記録の入力や閲覧を行う機構を備えている。このような外部ＡＰＩの提供は、近年のウェブサービスで一般的に行われている。

１０５は、画像サーバ１０３から食事管理ウェブサービス１０４に送られる食事の画像の一例を示している。利用者が撮像装置１０１で食事を撮影すると、その画像は画像サーバ１０３に送られ、画像サーバ１０３内で認識処理され、食事画像１０５とその解析結果がテキストデータとして食事管理ウェブサービス１０４に送信される。解析結果は、「とんかつ定食、１.５人前」などといった、食事の料理名と、だいたいの分量などの情報を含んでいる。

１０６はアドレス管理を行うための、画像サーバ１０３と接続されている外部ウェブサービスである。アドレス管理ウェブサービス１０６はＰＣサーバと、ＰＣサーバ上で稼働するプログラムによって構成されている。アドレス管理ウェブサービス１０６は、一般利用者に広く開放されたサービスであり、静止画・動画共有サービスを展開する事業者とは別の事業者によって提供されているサービスである。このサービスに利用登録した利用者は、このサービスに名前やアドレス情報をテキストで入力していくと、データベースにアドレス情報が登録され、このサービスに接続するいずれの装置からも、アドレス情報を参照することができるようになる。

１０７は、画像サーバ１０３からアドレス管理ウェブサービス１０６に送られる名刺の画像を示している。利用者が撮像装置１０１で名刺を撮影すると、その画像は画像サーバ１０３に送られ、画像サーバ１０３内で認識処理され、名刺画像１０７とその解析結果がテキストデータとしてアドレス管理ウェブサービス１０６に送信される。解析結果は、「山田太郎、yamada@taro.co.jp」などといった、名刺に記されている名前とアドレス情報である。

１０８は旅行静止画・動画の管理を行うための、画像サーバ１０３と接続されている外部ウェブサービスである。旅行静止画・動画管理ウェブサービス１０８はＰＣサーバと、ＰＣサーバ上で稼働するプログラムによって構成されている。旅行静止画・動画管理ウェブサービス１０８は、一般利用者に広く開放されたサービスであり、静止画・動画共有サービスを展開する事業者とは別の事業者によって提供されているサービスである。このサービスに利用登録した利用者は、このサービスに静止画・動画をアップロードしていくと、静止画・動画に埋め込まれた位置情報や日時情報を用いて静止画・動画が自動分類される。そして、静止画・動画にタイトルが付けられ、位置情報が埋め込まれている場合には、地図との連動表示が設定される。

１０９は、画像サーバ１０３から旅行静止画・動画管理ウェブサービス１０８に送られる風景静止画・動画の一例を示している。利用者が撮像装置１０１で風景を撮影すると、その画像は画像サーバ１０３に送られ、画像サーバ１０３内で認識処理され、風景静止画・動画１０９とその解析結果が旅行静止画・動画管理ウェブサービス１０８に送信される。解析結果は、静止画・動画内に写っているものを単語で表したテキストデータであり、たとえば「富士山」、「東京スカイツリー」、「上野動物園、パンダ」などといったものである。
以上、図１を用いて、利用者の持つ撮像装置と、利用者の利用する静止画・動画共有サービスおよび各種ウェブサービスとの関係を説明した。

図２は、画像サーバ１０３の内部構成を示したブロック図である。それぞれのブロックは、画像サーバ１０３に含まれるＨＤＤ、ＣＰＵ、メモリ、プログラム等の組み合わせから構成されている。以下、図２を用いて、画像サーバ１０３の構成例について説明する。
２０１は画像保持部であり、本実施形態における静止画・動画共有サービスの利用者から送られてきた画像を受信し、保存を行う。利用者から送られてきた全ての静止画・動画は、画像保持部２０１に保存される。

２０２は画像認識部であり、画像保持部２０１の保持する画像の認識処理を行い、認識結果をテキストデータとし、認識した画像と関連付ける。画像認識部２０２は、非特許文献１に記されているような様々な画像認識アルゴリズムを用いて、画像中の物体の種類を分類する。また、特許文献１に記されているような方法で、人間や動物の個体識別を行い、名前など個体名が特定できる場合にはその名称をテキストデータとし、認識した画像と関連付ける。以上の処理を実行するため、画像認識部２０２は、図示されない個体データベースや、物体を分類する物体データベースを内包する。

２０３は画像処理部であり、画像の切り出しや解像度変更といった単純な画像処理を行う。また、内部に複数の処理を行うライブラリを有し、それらのライブラリを組み合わせて画像の解析を行うことができる。このライブラリには、文字画像をテキスト化するＯＣＲ処理や、非特許文献２に記されたような、食事画像からカロリー計算をする処理、また、画像中の位置情報から地名を引き出す処理などが含まれる。

２０４は振り分けルール設定部であり、画像サーバ１０３が持つ画像を自動処理し、処理した結果を外部ウェブサービスに送り出す際のルールを設定する。２０５はユーザ入力部であり、本実施形態における静止画・動画共有サービスを利用する利用者が新たな振り分けルールの設定を所望する場合に、利用者の入力を受け付ける処理を行う。

図４は、ユーザ入力部２０５が利用者に提示する振り分けルール設定ウィンドウの一例を示した図である。振り分けルール設定ウィンドウ４００は、本実施形態における静止画・動画共有サービスの利用者がサービス利用時に、振り分けルールの設定を希望した場合に表示部２０９に表示される。以下、図面を用いて振り分けルール設定ウィンドウ４００について説明する。

振り分けルール設定ウィンドウ４００では、画像の外部ウェブサービスへの振り分けの起こる条件と、その条件を満たした際になされるアクションの両方を記述する。４０１は認識対象入力フィールドであり、利用者が静止画・動画の中に何かが写った場合を振り分け条件としたい場合に入力する。認識対象入力フィールド４０１ではテキスト検索エンジンで行うような、ａｎｄ条件やｏｒ条件の入力を行うことができる。また、一般名詞と固有名詞のいずれも入力することができる。図４においては、認識対象として「食べ物」が認識対象入力フィールド４０１に入力されている例を示している。

４０２は時間指定フィールドであり、利用者が静止画・動画の撮影が行われた時間を振り分け条件としたい場合に入力する。時間指定フィールド４０２では時間帯の入力や日付の入力、季節の入力、年号の入力などを行うことができる。

４０３は撮影装置指定フィールドであり、利用者が静止画・動画の撮影が行われた装置を振り分け条件としたい場合に入力する。撮影装置指定フィールド４０３では「携帯電話」や「一眼レフデジタルカメラ」などの一般名詞を入力することもできる。また、撮影装置が固有に持つＩＤを入力することもできる。

４０４は撮影位置指定フィールドであり、利用者が静止画・動画の撮影が行われた位置を振り分け条件としたい場合に入力する。撮影位置指定フィールド４０４では、「自宅の近辺」や「会社の中」「通勤経路」、「海外」などといった名詞や形容詞を用いた表現を入力することができる。

利用者は、各フィールド４０１〜４０４に入力された条件のうち、一つ以上の条件を指定することによって、画像と解析結果の両方もしくは一方を外部ウェブサービスに送信する条件を指定する。

４０５はアクション指定フィールドであり、画像が振り分け条件に合致した場合に起こすアクションを指定する。アクション指定フィールドでは「画像」、「解析結果」の項目について、外部ウェブサービスに送付するかどうかをチェックボックスで指定することができる。また、送付先の外部ウェブサービス名を指定することができる。また、外部ウェブサービスではなく、電子メールアドレスを指定することもできる。図４においては、「食事ログ」に送ることが指定されている。

４０６は画像解像度指定フィールドであり、アクションとして外部ウェブサービスに画像を送る場合に、その画像の解像度を指定する。画像解像度指定フィールド４０６では画像をオリジナルよりも縮小する場合に、「切り出して」「縮めて」などと、縮小の仕方を指定することができる。

４０７は解析プログラム指定フィールドであり、アクションとして解析結果を外部ウェブサービスに送信する場合に、画像をどのプログラムで解析するかを指定する。この解析プログラムは画像処理部２０３内で実行され、画像処理部２０３が有するライブラリを使って記述されている。

本実施形態における静止画・動画共有サービスにおいては、連携できる外部ウェブサービスと、その外部ウェブサービスに対応した解析プログラムの組があらかじめ多数用意されている。そのような外部ウェブサービスと解析プログラムの組としては、たとえば外部ウェブサービスとして「食事ログ」、解析プログラムとして「食事内容解析」という組み合わせがある。

利用者がアクション指定フィールド４０５において、そのようなあらかじめ登録されている外部ウェブサービスを指定した場合には、解析プログラム指定フィールド４０７に対応した解析プログラムが自動的に入力される。そうした解析プログラムとしては、たとえば「食事内容解析」、「名刺アドレス解析」、「静止画・動画タグ付け」などといったものがある。

また、利用者は、あらかじめ静止画・動画共有サービスに登録されていない外部ウェブサービスを指定することができ、対応する解析プログラムを、画像処理部２０３が有するライブラリを使って作成することができる。

図４に示される振り分けルール設定ウィンドウ４００で設定された振り分けルールは、ユーザ入力振り分けルールとして振り分けルール設定部２０４に保存される。また、振り分けルールは、振り分けルール収集部２０７に送付される。

以上、図面を用いて、振り分けルール設定ウィンドウ４００について説明した。続いて、図２を用いた画像サーバ１０３の構成の説明に戻る。
２０６は送出部であり、画像処理部２０３が画像を処理した結果、すでに設定されている振り分けルールの条件に合致するものがあった場合、処理結果を外部ウェブサービスに送り出す処理を行う。具体的には、振り分け先のサービスに応じて加工画像もしくは画像分析結果もしくはそのままの画像もしくはその組み合わせを送出する。

２０７は振り分けルール収集部であり、本実施形態における静止画・動画共有サービスを利用するそれぞれの利用者が用いている振り分けルールをすべて収集する部分である。振り分けルール収集部２０７は統計処理を行う部分を含み、収集した各種振り分けルールのうちどのルールが多く用いられているか等の情報を解析することができる。
２０８は振り分けルール生成部であり、本実施形態における静止画・動画共有サービスの利用者に好適な振り分けルールを生成する。２０９は表示部であり、画像保持部２０１に格納された画像、処理結果、あるいは振り分けルール設定ウィンドウ４００等を表示する。以上、図２を用いて、画像サーバ１０３の構成例について説明した。

図３は、画像サーバ１０３において、利用者から画像が送られてきた際の処理の流れを示したフローチャートである。
Ｓ３１では、利用者から送られてきた画像が画像保持部２０１に格納される。Ｓ３２では、画像認識部２０２が画像保持部２０１に格納された画像を取り出して画像認識を行い、認識結果をテキストデータとし、認識した画像と関連付けて画像保持部２０１に格納する。

Ｓ３３では、画像処理部２０３が、画像保持部２０１に格納された画像および関連情報が、振り分けルール設定部２０４に収められている振り分けルールの条件を満たしているものがあるかどうかを判定する。この判定処理は、設定されている振り分けルールの数だけ行われる。

Ｓ３４では、画像処理部２０３が、振り分け条件を満たしている振り分けルールについて、図４の振り分けルール設定ウィンドウ４００で設定したアクションを実行する。振り分けアクションとして、解析結果の送付が指定されている場合には、指定されている解析プログラムを実行し、解析結果を送信する。

このＳ３４において実行される解析プログラムとしては、次のようなものが考えられる。例えば、食事画像１０５を解析して、料理の名前とだいたいの量をテキストとして出力し、含まれる栄養素やカロリーの量をテキストとして出力する（食事内容解析）。名刺画像１０７を解析して、名前とアドレス情報をテキストとして出力する（名刺アドレス解析）。風景静止画・動画（記念写真）１０９を解析して、写っている人の名前やＩＤ情報をテキストとして出力する（撮影人物解析）。
書籍の写っている写真を解析して、その書籍が何の書籍であるのかを特定し、テキストとして出力する（書籍タイトル解析）。動植物の写真を解析して、被写体として何が写っているかをテキストとして出力する（動植物解析）等である。このアクションの判定は、振り分け条件を満たしている振り分けルールの全てについて行われる。

Ｓ３５では、Ｓ３４にて実行されて得られたアクションを、対応する外部ウェブサービスに送信する。この外部ウェブサービスへの送信処理は、外部ウェブサービスの提供するＡＰＩの利用や、外部ウェブサービスの許容するフォーマットでの電子メールの送付などによって行われる。

このＳ３５において、処理結果が送付される外部ウェブサービスとしては、次のようなものが考えられる。例えば、利用者の毎回の食事内容を管理する食事管理ウェブサービス。利用者がアドレスを管理するためのアドレス帳ウェブサービス。利用者が欲しいものを登録しておき、インターネット上において最安値で購入できる場所を提示する買い物ウェブサービス。静止画・動画と、写っているものをテキストで入力できる静止画・動画共有サービス。静止画・動画や短いコメントを投稿できるマイクロブログサービスやソーシャルネットワークサービス。利用者の行った場所を登録していく位置情報サービス、等である。

以上、図３を用いて、利用者から画像が送られてきた際に画像サーバ１０３内で行われる処理の流れを説明した。
本実施形態における静止画・動画共有サービスにおいては、利用者は、自ら細かくルールを設定することなく、静止画・動画共有サービスの推薦する振り分けルールを採用することもできる。

図５は、画像サーバ１０３が、利用者に対して推薦する振り分けルールの提示を行う際の処理の流れを示したフローチャートである。以下、図面を用いて、処理の流れについて説明する。
本実施形態における静止画・動画共有サービスの利用者が、利用している静止画・動画共有サービスにおいて、静止画・動画共有サービスの提供するメニュー画面から「振り分けルールの推薦」を選択した際に、図５の手順が実行される。

Ｓ５１では、人気ルールの選出が行われる。この過程は本実施形態における静止画・動画共有サービスの利用者が用いている振り分けルールのうち、一般的に人気のあるルールを選出する過程である。人気ルールの選出は振り分けルール収集部２０７で行われ、どのような方式で行われてもよいが、本実施形態においては次の手順で行われる。

まず、振り分けルール収集部２０７は、振り分け先に設定されている外部ウェブサービスの全てについて、利用者の利用率、すなわち利用者が振り分け先として該当する外部ウェブサービスを設定している割合を算出する。こうして全ての外部ウェブサービスの利用率を算出した後、最も利用率の高い外部ウェブサービスについて、該利用者が振り分けルールを設定しているかどうかを判定する。

既に該利用者が該ウェブサービスについて振り分けルールを設定している場合には、次に利用率の高い外部ウェブサービスを選んでいくことによって、最終的に一つの外部ウェブサービスを選択する。なお、本実施形態においては利用率の高いただ一つの外部ウェブサービスのみを選択するものとしたが、利用率が所定水準以上の外部ウェブサービス全てを選択する構成としてもよい。

次に、選択した外部ウェブサービスについて、最も一般的に用いられている振り分けルールを選出する。これは、振り分けルール収集部２０７に蓄積されている振り分けルールのうち、選択された外部ウェブサービスを振り分け先としている振り分けルールを取り出する。そして、そのうち最も多数を占めている、あるいは振り分けルールの統計的処理により抽出される振り分けルールを選択することによって達成される。

Ｓ５２では、該利用者の傾向解析が行われる。この過程は、該利用者あるいは利用者の集合が撮影した静止画・動画の集合から、該利用者がどのような静止画・動画を撮影する傾向を持つかを解析する過程である。この傾向解析は、利用者の撮影する静止画・動画の撮影対象の傾向を解析できる手法であればどのような方法でなされてもよいが、本実施形態においては、次の手順でなされる。

まず、振り分けルール生成部２０８が、画像保持部２０１から該利用者の撮影した静止画・動画の集合を解析し、静止画・動画のそれぞれの主題を解析し、「風景」、「人」、「事物」、「その他」に分類する。このような静止画・動画の主題の解析は、市販のデジタルカメラでも一般的に行われていることであり、この過程では、そうした技術を応用することができる。

次に、「事物」に分類されている静止画・動画のそれぞれについて、画像認識部２０２で画像認識を行い、主題となっている事物の種類を分類する。ここで、分類に用いられる種類とは、「花」、「犬」、「猫」、「自動車」、「電車」、「レシート」、「料金票」「料理」、「名刺」、「チラシ」、「看板」、「服」、「靴」等といったものである。

このように、撮影した事物の種類を分類した後、統計的処理を行い、利用者の平均よりも有意に特定の事物を撮影した静止画・動画が多い場合、該利用者はその事物を多く撮影するものとして判定される。なお、本実施形態においては、画像の内容のみから利用者の傾向を分析するものとしたが、これに限らず、たとえば静止画・動画を撮影した時間や位置などを用いて利用者の傾向を分析するものとしてよい。

Ｓ５３では、Ｓ５２の傾向解析で出された利用者の傾向のうち、もっとも顕著なものを一つ選び、その対象について最も一般的に用いられている振り分けルールを選出する。これは、振り分けルール収集部２０７に蓄積されている振り分けルールのうち、選択された傾向を振り分け条件としている振り分けルールを取り出し、そのうち最も多数を占めている振り分けルールを選択することによって達成される。なお、本実施形態においては利用者の傾向としてもっとも顕著なただ一つの振り分けルールを選択するものとしたが、上位所定数の振り分けルールの全てを選択する構成としてもよい。

Ｓ５４では、Ｓ５１で選出された人気ルールの一つ、Ｓ５３で選出された傾向適合ルールの一つを順番に、図４のようなルール設定ウィンドウとして該利用者に提示し、その振り分けルールを該利用者が採用するかどうかをユーザ入力部２０５からの入力で判定する。

以上、図５のフローチャートを用いて、利用者に対して推薦する振り分けルールの提示を行う際の処理の流れを説明した。前述の説明では、利用者がメニュー画面から「振り分けルールの推薦」を指定した際に前述の手順が開始されるものとしたが、これに限らず、たとえば毎月最初に利用者が静止画・動画共有サービスにアクセスした際に前述の手順が実行されるものとしてよい。

以上、図面を用いながら、複数の利用者からの画像を受け取り、関連するウェブサービスに振り分ける、静止画・動画共有サービスを構成する、本実施形態における画像処理システムについて説明した。本実施形態では多くの処理を画像サーバ１０３で行うものとしたが、本発明による画像処理システムの構成はこれに限られるものではなく、処理の一部もしくは大部分を撮像装置の内部で行う構成としてよい。

（第２の実施形態）
本実施形態における画像処理システムは、第１の実施形態と同様、複数の利用者からの画像を受け取り、関連するウェブサービスに振り分ける、静止画・動画共有サービスである。前述した第１の実施形態においては、静止画・動画共有サービスから、接続する各種の外部ウェブサービスへの振り分けは、メールのフィルタリング処理に似た、ルールベースの処理によって行われていた。しかしながら、本実施形態においては、各種外部ウェブサービスへの振り分けは学習ベースの方法によって行われる例を説明する。

本実施形態において、利用者は、それぞれの静止画・動画について、振り分け先の外部ウェブサービスを手動で決定していく。利用者が決定した振り分けの結果は、画像処理システムによって収集され、その振り分けの傾向の学習がなされる。学習の結果、顕著な傾向が見られる振り分けについては、以降、自動振り分けがなされるようになる。以下、図面を用いて、本実施形態における画像処理システムについて説明する。

本実施形態において、利用者の持つ撮像装置と、利用者の利用する静止画・動画共有サービスおよび各種ウェブサービスの関係は第１の実施形態と同様であり、図１で表される。
図６は、本実施形態における画像サーバ１０３の内部構成を示したブロック図である。それぞれのブロックは、画像サーバ１０３に含まれるＨＤＤ、ＣＰＵ、メモリ、プログラム等の組み合わせから構成されている。

以下、図６を用いて、画像サーバ１０３の構成例について説明する。図６において、符号２０１、２０２、２０３、２０５、２０６、２０９の各部については、第１の実施形態と同様であるので、詳細な説明を省略する。
６０４は振り分け結果保持部であり、各利用者が行った手動の外部ウェブサービスへの静止画・動画の振り分け結果を取得し、保持する部分である。ここで、保持されるものは、静止画・動画のＩＤ情報と、振り分け先の外部ウェブサービスに一意に振り分け結果保持部６０４が割り振るＩＤ情報である。

６０７は振り分け結果収集部であり、全ての利用者の振り分け情報を収集し、学習・分析する部分である。本実施形態においては、振り分け結果収集部６０７が、「（静止画・動画のＩＤ情報）、（振り分け先の外部ウェブサービスのＩＤ情報）」の組の情報を、全ての利用者から収集する。

その後、全ての静止画・動画について、（静止画・動画のＩＤ情報）から、画像保持部２０１に格納されている、その静止画・動画の画像認識結果のテキストデータを取り出す。こうして得られたデータから、メールのスパムフィルタなどで利用されているベイジアンフィルタ(Bayesian Filter)等の既知の学習手法を利用して、所定の指標より高い振り分け傾向を示したものについて、自動振り分けを実行するものとする。

６０８は振り分け実行部であり、振り分け結果収集部６０７が所定の指標より高いと判定した振り分け傾向について、実際の振り分けを実行する部分である。この振り分け実行部６０８により行なわれる振り分けは全ての利用者の全ての静止画・動画について行われるが、既に実行されている各利用者の手動による振り分け結果を変更することはない。また、振り分け実行部６０８による自動振り分けの是非について、利用者が確認するための自動振り分け確認部を設けるようにしてもよい。

以上、本実施形態における学習ベースの静止画・動画の振り分け手法について説明した。本実施形態においては、静止画・動画の認識結果のテキストデータを用いて学習を行うものとしたが、本発明による画像処理システムはそれに限らず、例えば画像特徴量や撮影時間、位置、撮影装置の情報から学習を行うものとしてよい。また、ベイジアンフィルタに限らず、ＳＶＭ（Support Vector Machine）やニューラルネットワークなどといった手法を用いるものとしてよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１撮像装置、１０２通信網、１０３画像サーバ、１０４外部ウェブサービス（食事管理）、１０５食事画像、１０６外部ウェブサービス（アドレス帳）、１０７名刺画像、１０８外部ウェブサービス（旅行写真）、１０９風景静止画・動画

Claims

ネットワークを介して送信されてきた画像を関連する外部ウェブサービスに振り分ける画像処理システムであって、
画像認識を行う画像認識手段と、
前記画像認識手段により認識された画像を外部ウェブサービスに送り出す際の振り分けルールを設定するルール設定手段と、
前記ルール設定手段により設定された振り分けルールのうち、前記画像に合致する条件を持つ振り分けルールに従って、当該画像に関する情報を対応する外部ウェブサービスに送り出す送出手段と、
利用者が新たな振り分けルールの登録を行うためのユーザ入力手段とを有し、
前記ルール設定手段は、前記ユーザ入力手段を介して登録された振り分けルールを、ユーザ入力振り分けルールとして保存し、
前記ユーザ入力手段は、画像の外部ウェブサービスへの振り分けの起こる条件と、その条件を満たした際になされるアクションの両方を記述する振り分けルール設定ウィンドウを表示装置に表示することを特徴とする画像処理システム。
前記ルール設定手段により設定される振り分けルールの条件は、前記画像認識手段による画像認識結果、前記画像が撮影された場所の情報、画像が撮影された時間、撮影を行った撮影装置の情報の一部、もしくは全ての情報であることを特徴とする請求項１に記載の画像処理システム。
振り分けルール生成手段をさらに有し、利用者が撮影した静止画または動画の撮影対象の傾向を画像認識を用いて解析し、その傾向に応じた振り分けルールを選出することを特徴とする請求項１に記載の画像処理システム。
前記振り分けルールの条件に合致する画像に、当該振り分けルールに従ったアクションを実行する画像処理手段をさらに有し、
前記送出手段は、前記画像処理手段による処理結果を前記対応する外部ウェブサービスに送り出すことを特徴とする請求項１に記載の画像処理システム。
前記送出手段は、振り分け先のサービスに応じて加工画像もしくは画像分析結果もしくはそのままの画像もしくはその組み合わせを送出することを特徴とする請求項１〜３の何れか１項に記載の画像処理システム。
前記画像を関連する外部ウェブサービスに自動的に振り分ける振り分け実行手段を有することを特徴とする請求項１〜５の何れか１項に記載の画像処理システム。
前記振り分け実行手段が画像を関連する外部ウェブサービスに自動的に振り分けることの是非を利用者が確認するための自動振り分け確認手段を有することを特徴とする請求項６に記載の画像処理システム。
ネットワークを介して送信されてきた画像を関連する外部ウェブサービスに振り分ける画像処理方法であって、
画像認識を行う画像認識工程と、
前記画像認識工程において認識された画像を外部ウェブサービスに送り出す際の振り分けルールを設定するルール設定工程と、
前記ルール設定工程において設定された振り分けルールのうち、前記画像に合致する条件を持つ振り分けルールに従って、当該画像に関する情報を対応する外部ウェブサービスに送り出す送出工程と、
利用者が新たに登録した振り分けルールを受付けるルール受付工程とを有し、
前記ルール受付工程において登録された振り分けルールを、ユーザ入力振り分けルールとして保存し、
前記ルール受付け工程では、画像の外部ウェブサービスへの振り分けの起こる条件と、その条件を満たした際になされるアクションの両方を記述する振り分けルール設定ウィンドウを表示装置に表示することを特徴とする画像処理方法。
請求項１に記載の画像処理システムの各手段としてコンピュータを機能させることを特徴とするプログラム。
請求項９に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。