JP5763075B2 - オブジェクト情報の提供方法及びそれを適用した撮影装置 - Google Patents

Description

本発明は、オブジェクト情報の提供方法及びそれを適用した撮影装置に関し、より詳細には、撮影装置を通じて撮影された映像に含まれているオブジェクトの情報を提供するためのオブジェクト情報の提供方法及びそれを適用した撮影装置に関する。

人びとは新しい事物に接した際、その事物が如何なるものか知るために、一旦カメラを用いて当該事物を写真に収めておく。そして、撮影した写真を参考にして百科辞典やインターネットなどを検索し、当該事物に対する情報を手に入れるようになる。
このように、新しい事物や、建物や、動物などを初めて接した際、ユーザはそれが何かを特定するために、長時間を投資しなければならない。

最近、ほとんどの携帯電話にはカメラが装着されて発売されている。なお、ほとんどの人びとが携帯電話を持ち歩いているといっても過言ではない。つまり、ほとんどの人がカメラを持ち歩いていることになる。
人びとは初めて接する事物に対し、それを写真に収めておくことが一般的である。これにより、撮影装置を用いて事物の情報を容易に提供するための方法が模索されている。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報を外部サーバに伝送し、前記外部サーバから前記オブジェクトに対する情報を受信し、前記受信された情報を画面に表示するオブジェクト情報の提供方法及びそれを適用した撮影装置を提供することにある。

前記目的を達成するための本発明の一実施形態に係るオブジェクト情報の提供方法は、映像を撮影するステップと、撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報を外部サーバに伝送するステップと、前記外部サーバから前記オブジェクトに対する情報を受信するステップと、前記受信された情報を画面に表示するステップとを含む。
そして、前記伝送ステップは、前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されている場合、前記パターン情報を前記外部サーバに伝送してもよい。

なお、前記外部サーバでオブジェクトのパターンデータのみでオブジェクトが認識できない場合、前記撮影された映像を前記外部サーバに伝送するステップを更に含むこともできる。
そして、前記伝送ステップは、前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されていない場合、前記撮影された映像を前記外部サーバに伝送することができる。

なお、前記表示ステップは、前記受信された情報を前記撮影された映像とともに画面に表示することができる。
そして、前記撮影された映像に含まれているオブジェクトのカテゴリを選択するためのカテゴリ選択メニューを表示するステップを更に含んでよい。
なお、前記カテゴリ選択メニューから選択されたカテゴリ情報を前記外部サーバに伝送するステップを更に含むこともできる。

そして、前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能のリストをディスプレイするステップと、前記リストから選択された機能を行うステップとを更に含むことができる。
なお、前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能を行うステップを更に含むこともできる。
そして、前記オブジェクト情報に基づいて、前記撮影された映像の状況を認識し、前記撮影された映像の状況に関連する機能を行うステップを更に含むことも可能である。

一方、本発明の一実施形態に係る撮影装置は、映像を撮影する撮像素子と、外部サーバと通信できるように接続される通信部と、前記撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報が外部サーバに伝送され、前記外部サーバから前記オブジェクトに対する情報が受信され、前記受信された情報が画面に表示されるように制御する制御部とを含む。
そして、前記制御部は、前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されている場合、前記パターン情報が前記外部サーバに伝送されるように制御してよい。
なお、前記制御部は、前記外部サーバでオブジェクトのパターンデータのみでオブジェクトが認識できない場合、前記撮影された映像を前記外部サーバに伝送してよい。

そして、前記制御部は、前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されていない場合、前記撮影された映像が前記外部サーバに伝送されるように制御することができる。
なお、前記制御部は、前記受信された情報が前記撮影された映像とともに画面に表示されるように制御することができる。

そして、前記制御部は、前記撮影された映像に含まれているオブジェクトのカテゴリを選択するためのカテゴリ選択メニューが表示されるように制御することができる。
なお、前記制御部は、前記カテゴリ選択メニューから選択されたカテゴリ情報を前記外部サーバに伝送することができる。

そして、前記制御部は、前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能のリストを表示し、前記リストから選択された機能を行うことができる。
なお、前記制御部は、前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能を行うことができる。

そして、前記制御部は、前記オブジェクト情報に基づいて、前記撮影された映像の状況を認識し、前記撮影された映像の状況に関連する機能を行ってよい。

本発明の多様な実施形態によると、撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報を外部サーバに伝送し、前記外部サーバから前記オブジェクトに対する情報を受信し、前記受信された情報を画面に表示するオブジェクト情報の提供方法及びそれを適用した撮影装置が提供できるようになり、ユーザは正体を知りたいと思うオブジェクトを撮影する簡単な操作を行うだけで、そのオブジェクトに対する情報を得ることができる。

本発明の一実施形態に係る撮影装置の構成を詳細に示すブロック図である。 本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を提供するための方法を説明するためのフローチャートである。 本発明の一実施形態に係るテントウムシを撮影した状態で情報検索命令アイコンをタッチする様子を示す図である。 本発明の一実施形態に係るテントウムシに関する情報が示された画面を示す図である。 本発明の一実施形態に係るエッフェル塔を撮影した状態で情報検索命令アイコンをタッチする様子を示す図である。 本発明の一実施形態に係るエッフェル塔に関する情報が示された画面を示す図である。 本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。 本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。 本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。 本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。 本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。 本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。 本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。 本発明の一実施形態に係るオブジェクトの認識前にオブジェクトのカテゴリ選択メニューを表示している画面を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
図１は、本発明の一実施形態に係る撮影装置１００の構成を詳細に示すブロック図である。図１に示すように、撮影装置１００は、レンズ部１１０と、撮像素子１２０と、映像処理部１３０と、制御部１４０と、操作部１５０と、映像出力部１６０と、ディスプレイ１７０と、コーデック１８０と、保存部１９０及び通信部１９５を備える。

レンズ部１１０は、被写体の光を集めて撮像領域に光学像が結像する。
撮像素子１２０は、レンズを通じて入射する光を電気信号に光電変換し、電気信号に対して所定の信号処理を行う。このような機能を行う撮像素子１２０は、画素及びＡＤコンバータを備える。各画素はアナログ型の映像信号を出力し、ＡＤコンバータはそれをデジタル型の映像信号に変換して出力する。

映像処理部１３０は、撮像素子１２０から入力される映像に対する信号処理を行い、撮影された映像をディスプレイするために処理された映像信号を映像出力部１６０に伝送する。なお、映像処理部１３０は、撮影された映像を保存するためにコーデック１８０で処理された映像信号を出力する。

具体的に、映像処理部１３０は、撮像素子１２０から出力される映像信号に対してフォーマット変換と映像スケールとを調整するためのデジタルズームや、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）や、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）などを行う。
なお、映像処理部１３０は、撮影された映像に含まれているオブジェクトを抽出する。ここで、オブジェクトとは、撮影された映像の被写体のことを意味する。オブジェクトは、撮影された映像に含まれている人物や建物、動物、昆虫などを例として挙げることができる。

具体的に、映像処理部１３０は撮影された映像に含まれているオブジェクトのパターン情報を抽出する。例えば、映像処理部１３０はオブジェクトの境界部分を検出し、その境界部分をオブジェクトのパターン情報として認識する。そして、映像処理部１３０は検出された境界を中心とする色相の変化、境界の模様、境界をベースとするオブジェクトの輪郭を認識する。映像処理部１３０は、このような色相や模様、輪郭を含むパターン情報に基づいて撮影された映像に含まれているオブジェクトを抽出する。

そして、映像処理部１３０は抽出されたパターン情報を制御部１４０に伝送する。すると、制御部１４０は抽出されたパターン情報を参考映像と比較し、パターン情報が対応する参考映像を抽出する。ここで、参考映像とは、オブジェクト認識のための各オブジェクトの代表的なイメージのことを意味する。

このように、映像処理部１３０は撮影された映像に含まれているオブジェクトが抽出できる。
なお、映像処理部１３０は、保存部１９０に保存されているコンテンツの映像をコーデック１８０を介して受信して処理する。そして、処理されたコンテンツの映像を映像出力部１６０に出力する。

映像出力部１６０は、映像処理部１３０から受信された映像信号を内部ディスプレイ１７０又は外部出力端子に出力する。
ディスプレイ１７０は、撮影された映像を画面に表示する。なお、ディスプレイ１７０は撮影された映像に含まれているオブジェクトの情報を表示することもできる。

コーデック１８０は、映像処理部１３０から受信した映像信号をエンコーディングする。そして、コーデック１３０は、エンコーディングされている映像信号を保存部１９０に伝送する。なお、コーデック１８０は、保存部１９０に保存されているコンテンツのエンコーディングされた映像信号をデコーディングする。そして、コーデック１８０は、デコーディングされている映像信号を映像処理部１３０に伝送する。

即ち、コーデック１８０は、撮影された映像を保存する場合にエンコーディングし、保存されているコンテンツ映像を映像処理部１３０に出力する場合にデコーディングする。

保存部１９０は、撮像素子１２０で撮影された映像を圧縮した形で保存する。なお、保存部１９０は、オブジェクトを認識するための参考映像が保存されている。そして、保存部１９０は、オブジェクトの情報を検索するためのデータベースが保存されている。例えば、保存部１９０には百科事典データベースが保存されていてよい。
保存部１９０は、フラッシュメモリや、ハードディスク、ＤＶＤなどを用いて実現されてもよい。

操作部１５０は、ユーザの操作により命令を入力される。操作部１５０は撮影装置１００の表面にボタンの形態で設けられてよく、ディスプレイ１７０上でタッチスクリーンの形態で設けられてもよい。なお、操作部１５０は、ユーザから撮影されたオブジェクトに対する情報検索命令を入力される。ここで、情報検索命令とは、撮影されたオブジェクトが何かに対する情報を百科事典などから検索して画面に表示されるようにする命令である。

通信部１９５は、インターネットなどの多様なネットワークを通じて外部サーバに通信できるように接続される。通信部１９５は、有線ＬＡＮなどの有線ネットワークを用いて外部サーバに接続することができ、無線ＬＡＮ又はブルートゥースなどの無線ネットワークを用いて外部サーバに接続してもよい。

制御部１４０は、撮影装置１００の作動全般を制御する。具体的に、制御部１４０は映像に含まれているオブジェクトの情報が画面に表示されるように制御する。ここで、オブジェクトの情報とは、オブジェクトがどのようなものかに対する詳細な情報のことを意味する。例えば、オブジェクトの情報は、オブジェクトに対する辞書的な意味、百科事典上の情報などであってよい。

操作部１５０を介して情報検索命令が入力されると、制御部１４０は撮影された映像からオブジェクトが抽出されるように映像処理部１３０を制御する。そして、制御部１４０は抽出されたパターン情報を参考映像と比較し、パターン情報が対応する参考映像を抽出する。ここで、参考映像とは、オブジェクト認識のための各オブジェクトの代表的なイメージのことを意味する。そして、制御部１４０は対応する参考映像に含まれているオブジェクトが撮影されたオブジェクトと同一であると把握し、撮影された映像に含まれているオブジェクトがどのようなものかを認識する。

ここで、オブジェクトとは、撮影された映像の被写体のことを意味する。オブジェクトは、撮影された映像に含まれている人物や建物、動物、昆虫などを例として挙げることができる。従って、オブジェクトが人物である場合、制御部１４０は顔認識技術を用いてオブジェクトの顔パターン情報を抽出し、参考映像の中から対応する顔映像を検索する。そして、対応する参考映像が存在する場合、撮影されたオブジェクトに示される人物は、その参考映像に対応する人物であると決定される。

なお、オブジェクトが昆虫である場合、制御部１４０は昆虫のパターン情報を抽出し、参考映像の中から対応する昆虫映像を検索する。そして、対応する参考映像が存在する場合、撮影されたオブジェクトに示される昆虫は、その参考映像に対応する昆虫であると決定される。
このような過程に通じて、制御部１４０は撮影された映像に含まれているオブジェクトを認識するようになる。

そして、保存部１９０にオブジェクト情報に対するデータベースが存在すると、制御部１４０は、一旦保存部１９０に保存されているデータベースからオブジェクトの情報を検索する。制御部１４０は、検索されたオブジェクト情報が画面に表示されるようにディスプレイ１７０を制御する。

一方、制御部１４０は、オブジェクトが認識できない場合、撮影された映像が外部サーバに伝送されるように制御する。ここで、外部サーバとは、映像からオブジェクトを認識し、多様なオブジェクトに対する情報を提供する機能を行うサーバである。このような外部サーバは、処理速度及び保存容量において撮影装置１００に比べて優れているため、外部サーバがオブジェクトを認識してオブジェクトの情報を検索すると、より正確にオブジェクトを認識してより詳細なオブジェクト情報を得ることができるようになる。従って、制御部１４０がオブジェクトを認識することができない場合、制御部１４０は外部サーバに撮影された映像を伝送する。

一方、制御部１４０は、オブジェクトのパターン情報を抽出した場合、パターン情報のみを外部サーバに伝送するようにできる。イメージを全て伝送する場合、伝送量が多く処理速度が遅くなるおそれがあるため、制御部１４０はオブジェクトのパターン情報は抽出できるものの、オブジェクトが認識できない場合、オブジェクトのパターン情報のみを外部サーバに伝送してよい。それにより、制御部１４０は外部サーバを通じてオブジェクト情報を提供する場合に処理速度を向上させることができるようになる。

このとき、外部サーバでオブジェクトのパターン情報のみでオブジェクトが認識できない場合、制御部１４０は撮影された映像を外部サーバに伝送し直すようになる。これは、外部サーバが撮影された原本映像に基づいてより正確にオブジェクトが認識できるようにするためである。

そして、制御部１４０は、外部サーバから撮影された映像に含まれているオブジェクトの認識結果を受信する。そして、制御部１４０は外部サーバから認識されたオブジェクトの情報を受信する。

一方、保存部１９０にオブジェクト情報に対するデータベースが存在していない場合、制御部１４０は外部サーバに認識されているオブジェクトに対する情報を要請する。すると、外部サーバは、オブジェクトに対する情報を内蔵されている百科事典データベース又はインターネット上のデータベースから検索し、検索されたオブジェクトの情報を撮影装置に提供する。従って、制御部１４０は、外部サーバからオブジェクトに対する情報を受信できるに制御する。
そして、制御部１４０は、受信されたオブジェクト情報が画面に表示されるように制御する。

このように、制御部１４０は、撮影された映像に含まれているオブジェクト情報を提供できるようになる。従って、ユーザは特定オブジェクトを撮影する操作のみで、該当オブジェクトに対する情報を容易に確認できるようになる。

図２は、本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を提供するため方法を説明するためのフローチャートである。
まず、撮影装置１００は特定オブジェクトが含まれている映像を撮影する（Ｓ２１０）。ここで、撮影は、撮影装置１００が撮像素子１２０によって検知された映像を保存する状態だけでなく、撮影装置１００が撮像素子１２０によって検知された映像をディスプレイ１７０に表示する状態（即ち、撮影待ち受け状態）も含む。

この状態で、撮影装置１００は、ユーザの操作により撮影されたオブジェクトに対する情報検索命令を入力される（Ｓ２２０）。ここで、情報検索命令とは、撮影されたオブジェクトが何かに対する情報を百科事典などから検索して画面に表示するようにする命令である。

情報検索命令が入力されると、撮影装置１００は撮影された映像に含まれているオブジェクトが認識できるか否かを判断する（Ｓ２３０）。もし、撮影された映像に含まれているオブジェクトが認識できる場合（Ｓ２３０−Ｙ）、撮影装置１００は撮影された映像からオブジェクトを抽出する（Ｓ２４０）。

具体的に、撮影装置１００は撮影された映像に含まれているオブジェクトのパターン情報を抽出する。例えば、撮影装置１００は撮影された映像からオブジェクトの境界部分を検出し、その境界部分をオブジェクトのパターン情報として認識する。そして、撮影装置１００は検出された境界を中心にした色相の変化、境界の模様、境界をベースとするオブジェクトの輪郭を認識する。撮影装置１００は、このような色相や模様、輪郭を含むパターン情報に基づいて撮影された映像に含まれているオブジェクトを抽出する。

そして、撮影装置１００は抽出されたパターン情報を参考映像と比較し、パターン情報が対応する参考映像を抽出する。ここで、参考映像とは、オブジェクト認識のための各オブジェクトの代表的なイメージのことを意味する。そして、撮影装置１００に対応する参考映像に含まれているオブジェクトが撮影されたオブジェクトと同一であると把握すると、撮影された映像に含まれているオブジェクトがどのようなものかを認識できる。

ここで、オブジェクトとは、撮影された映像の被写体のことを意味する。オブジェクトは、撮影された映像に含まれている人物や建物、動物、昆虫などを例として挙げることができる。従って、オブジェクトが人物である場合、撮影装置１００は顔認識技術を用いてオブジェクトの顔パターン情報を抽出し、参考映像の中から対応する顔映像を検索する。そして、対応する参考映像が存在する場合、撮影されたオブジェクトに示される人物は、その参考映像に対応する人物であると決定される。

なお、オブジェクトが昆虫である場合、撮影装置１００は昆虫のパターン情報を抽出し、参考映像の中から対応する昆虫映像を検索する。そして、対応する参考映像が存在する場合、その撮影されたオブジェクトに示される昆虫は参考映像に対応する昆虫であると示される。

このような過程に通じて、撮影装置１００は撮影された映像に含まれているオブジェクトを認識するようになる。
その後に、撮影装置１００は、保存部１９０にオブジェクト情報が存在するか否かを判断する（Ｓ２５０）。保存部１９０には各種オブジェクトの情報を検索するためのデータベースが保存されている。例えば、保存部１９０には百科事典データベースが保存されていてよい。

従って、撮影装置１００の保存部１９０にオブジェクト情報に対するデータベースが存在すると（Ｓ２５０−Ｙ）、撮影装置１００は一旦保存部１９０に保存されているデータベースからオブジェクトの情報を検索する（Ｓ２６０）。
そして、撮影装置１００は検索されたオブジェクト情報を画面に表示する（Ｓ２７０）。

一方、撮影装置１００がオブジェクトを認識することができない場合（Ｓ２３０−Ｎ）、撮影装置１００は撮影された映像を外部サーバに伝送する（Ｓ２８０）。ここで、外部サーバとは、映像からオブジェクトを認識し、多様なオブジェクトに対する情報を提供する機能を行うサーバである。このような外部サーバは処理速度及び保存容量において撮影装置１００に比べて優れているため、外部サーバがオブジェクトを認識してオブジェクトの情報を検索すると、より正確にオブジェクトを認識してより詳細なオブジェクト情報を得ることができるようになる。従って、撮影装置１００がオブジェクトを認識することができない場合、撮影装置１００は外部サーバに撮影された映像を伝送する。

一方、撮影装置１００は、オブジェクトのパターン情報を抽出した場合、パターン情報のみを外部サーバに伝送してよい。イメージを全て伝送する場合、伝送量が多く処理速度が遅くなるおそれがあるため、撮影装置１００はオブジェクトのパターン情報は抽出できるものの、オブジェクトが認識できない場合、オブジェクトのパターン情報のみを外部サーバに伝送してよい。それにより、撮影装置１００は外部サーバを通じてオブジェクト情報を提供する場合に処理速度を向上させることができるようになる。

このとき、外部サーバでオブジェクトのパターン情報のみでオブジェクトが認識できない場合、撮影装置１００は撮影された映像を外部サーバに伝送し直すようになる。これは、外部サーバが撮影された原本映像に基づいてより正確にオブジェクトが認識できるようにするためである。
そして、撮影装置１００は、外部サーバから撮影された映像に含まれているオブジェクトの認識結果を受信する（Ｓ２８３）。そして、撮影装置１００は外部サーバから認識されたオブジェクトの情報を受信する（Ｓ２８６）。

一方、撮影装置１００にオブジェクト情報に対するデータベースが存在していない場合（Ｓ２５０−Ｎ）、撮影装置１００は外部サーバに認識されているオブジェクトに対する情報を要請する（Ｓ２６０）。すると、外部サーバは、オブジェクトに対する情報を内蔵されている百科事典データベースから検索し、検索されたオブジェクトの情報を撮影装置に提供する。なお、外部サーバは、オブジェクトに対する情報をインターネット上のデータベース（例えば、ＹａｈｏｏやＧｏｏｇｌｅ、Ｎａｖｅｒなどのポータルサイト）から検索し、検索されたオブジェクトの情報を撮影装置に提供する。従って、撮影装置１００は外部サーバからオブジェクトに対する情報を受信する（Ｓ２９３）。

その後、撮影装置１００は受信されたオブジェクト情報を画面に表示する（Ｓ２７０）。
このような過程を通じて、撮影装置１００は撮影された映像に含まれているオブジェクトの情報が提供できるようになる。従って、ユーザは特定オブジェクトを撮影する操作を行うだけで、当該オブジェクトに対する情報を容易に確認できるようになる。

以下では、図３ないし図６を参考にし、撮影された映像に含まれているオブジェクトの情報を表示する過程について説明する。図３は、本発明の一実施形態に係るテントウムシ３１０を撮影した状態で、情報検索命令アイコン３２０をタッチする様子を示す図である。図４は、本発明の一実施形態に係るテントウムシに関する情報が示された画面を示す図である。

図３に示すように、ユーザは撮影装置１００を用いてテントウムシ３１０を撮影した状態である。この状態で、ユーザが情報検索命令アイコン３２０をタッチすると、撮影装置１００は撮影されたテントウムシ３１０をオブジェクトとして認識する。そして、撮影装置１００はテントウムシ３１０に対する情報を保存部１９０に保存されているデータベースから検索する。

一方、撮影装置１００がテントウムシ３１０を認識することができなかった場合、撮影装置１００は外部サーバに撮影された映像を伝送することもできる。そして、撮影装置１００は外部サーバからテントウムシ３１０に対する情報を受信する。
そして、図４に示すように、撮影装置１００は撮影された映像に含まれているオブジェクトがテントウムシ３１０であることを認識し、テントウムシ３１０に対する情報を検索又は受信して画面に表示する。

図５は、本発明の一実施形態に係るエッフェル塔４１０を撮影した状態で情報検索命令アイコン４２０をタッチする様子を示す図である。図６は、本発明の一実施形態に係るエッフェル塔４１０に関する情報が示された画面を示す図である。
図５に示すように、ユーザは撮影装置１００を用いてエッフェル塔４１０を撮影した状態である。この状態で、ユーザが情報検索命令アイコン４２０をタッチすると、撮影装置１００は撮影されたエッフェル塔４１０をオブジェクトとして認識するようになる。そして、撮影装置１００はエッフェル塔４１０に対する情報を保存部１９０に保存されているデータベースから検索する。

一方、撮影装置１００がエッフェル塔４１０を認識することができなかった場合、撮影装置１００は外部サーバに撮影された映像を伝送することもできる。そして、撮影装置１００は外部サーバからエッフェル塔４１０に対する情報を受信する。

そして、図６に示すように、撮影装置１００は撮影された映像に含まれているオブジェクトがエッフェル塔４１０であることを認識し、エッフェル塔４１０に対する情報を検索又は受信して画面に表示する。

以下では、図７ないし図１３を参考にし、撮影装置１００で撮影された映像に含まれているオブジェクトの情報を提供する過程の全般について説明する。図７ないし図１３は、本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。

図７は、撮影装置１００がエッフェル塔５１０を撮影した状態を示す図である。その後に、図８のように、撮影装置１００は画面に情報検索命令項目５２０に含まれているメニューを表示する。

そして、図８のように、ユーザが情報検索命令項目５２０をタッチすると、図９に示すように、撮影装置１００は外部サーバ５３０に撮影された映像を伝送する。そして、撮影装置１００は外部サーバ５３０からオブジェクト情報であるエッフェル塔５１０に対する情報を受信する。即ち、外部サーバ５３０が撮影された写真に含まれているオブジェクトがエッフェル塔５１０であることを認識し、エッフェル塔５１０に対する情報を検索して撮影装置１００に伝送するのである。

その後、図１０に示すように、撮影装置１００は画面にエッフェル塔に対する情報５４０を画面に表示する。そして、図１１に示すように、ユーザが保存ボタン５５０をタッチすると、撮影装置１００は画面に表示されているエッフェル塔に対する情報５４０を保存部１９０に保存するようになる。そして、図１２に示すように、撮影装置１００はエッフェル塔に対する情報５４０の保存が完了すると、保存が完了したことを画面に表示するようになる。

即ち、撮影装置１００は、画面に表示されているオブジェクトに対する情報を保存部１９０に保存することができる。従って、ユーザは一度検索したことのあるオブジェクトに対する情報は、今後保存されたファイルで繰り返し確認できるようになる。
なお、撮影装置１００は、撮影された映像と検索されたオブジェクト情報を同時に表示することもできる。具体的に、図１３に示すように、撮影装置１００は画面にエッフェル塔が撮影されている映像５７０がエッフェル塔に対する情報５７５とともに表示されていることを確認することができる。従って、ユーザは一度に撮影された映像と撮影された映像に含まれているオブジェクトの情報を同時に確認できるようになる。

以上のような過程を通じて、撮影装置１００は撮影された映像に含まれているオブジェクトの情報が提供できるようになる。従って、ユーザは特定オブジェクトを撮影する操作だけで当該オブジェクトに対する情報を容易に確認できるようになる。

以下では、図１４を参考にし、オブジェクトを認識する前にオブジェクトのカテゴリを選択する様子について説明する。図１４は、本発明の一実施形態に係るオブジェクトの認識前にオブジェクトのカテゴリ選択メニュー６００を表示している画面を示す図である。
図１４に示すように、撮影装置１００は画面にカテゴリ選択メニュー６００を表示している。ここで、カテゴリとは、撮影された映像に含まれているオブジェクトの種類に対するカテゴリのことを意味する。例えば、図１４に示すように、カテゴリは植物や昆虫、哺乳類、建物及びその他を含んでよい。

撮影装置１００は、情報検索命令が入力されると（即ち、図２のＳ２２０のステップの後に）、カテゴリ選択メニュー６００を画面に表示することができる。すると、ユーザは撮影された画面に含まれているオブジェクトがどのカテゴリに該当するかが選択できるようになる。そして、撮影装置１００は、ユーザによって選択されたカテゴリ内でオブジェクトを認識するようになる。従って、撮影装置１００はより正確かつ迅速にオブジェクトを認識してオブジェクトの情報を検索できるようになる。

なお、撮影装置１００は選択されたカテゴリに対する情報を外部サーバに伝送することもできる。すると、外部サーバは選択されたカテゴリを参考にしてオブジェクトを認識するため、より正確かつ迅速にオブジェクトが認識できるようになる。

一方、撮影装置１００は外部サーバから受信されたオブジェクトの情報を用いてオブジェクトに関連する機能目録をディスプレイしたり、オブジェクトに関連する機能を行うこともできる。

例えば、受信されたオブジェクトの情報が自動車である場合、撮影装置１００は最も近い自動車整備所に電話をかける機能、又は最も近いガソリンスタンドの地図を表示するなどの機能を行うこともできる。なお、撮影装置１００は自動車に関連する機能の目録を画面にディスプレイし、ユーザによって選択された機能を行ってよい。

また、受信されたオブジェクトの情報が子犬である場合、撮影装置１００は現在の位置から最も近い動物病院又はペットショップに電話をかける機能又はペットの飼い方に関するインターネット検索機能を行うこともできる。また、撮影装置１００は子犬に関連する機能の目録を画面にディスプレイし、ユーザによって選択された機能を行うこともできる。

このように、撮影装置１００は、撮影された映像に含まれているオブジェクトに関連する機能を自動的に行うため、ユーザは撮影装置１００を用いて特定オブジェクトを撮影するだけで所望の機能を実行させることができるようになる。

また、撮影装置１００は撮影された映像のオブジェクト情報に基づいて、イメージが表す状況を認識することもできる。そして、撮影装置１００は、特定状況が認識された場合、当該状況に対応する機能を行うこともできる。

例えば、撮影装置１００は撮影された映像に停止している車２台が含まれている場合、それを事故状況と認識することもできる。従って、撮影装置１００は事故状況が認識された場合、事故状況に関連する機能を行うようになる。例えば、撮影装置１００は自動車保険会社に電話をかける機能を行ったり、自動車保険会社の電話番号を画面にディスプレイすることもできる。

なお、撮影装置１００は撮影された映像に火が画面全般に含まれている場合、それを火災状況と認識することもできる。この場合、撮影装置１００は火災状況に関連する機能を行うようになる。例えば、撮影装置１００はサイレンを鳴らす機能を行ったり、消防庁に電話をかける機能を行うこともできる。

このように、撮影装置１００は、撮影された映像の状況を認識し、それに対応する機能を行うこともできる。
本実施形態において、撮影装置１００は映像を撮影可能な機器であれば、如何なる機器であっても適用されてよい。例えば、撮影装置１００は、カメラが搭載された携帯電話、ＭＰ３プレーヤ、ＰＤＡ、ノートパソコンなどであってよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１１０ レンズ部
１２０ 撮像素子
１３０ 映像処理部
１６０ 映像出力部
１７０ ディスプレイ
１４０ 制御部
１８０ コーデック
１９５ 通信部
１５０ 操作部
１９０ 保存部

Claims (11)

1. イメージに含まれるオブジェクトの名称に関連するカテゴリメニューをディスプレイするステップと、
   前記ディスプレイされたカテゴリメニューからいずれかのカテゴリを選択するためのユーザ入力を受信するステップと、
   前記イメージに含まれるオブジェクトが識別可能かを判断するステップと、
   前記イメージに含まれるオブジェクトが識別可能ではない場合、前記イメージ及び前記選択されたカテゴリ情報を伝送し、サーバに前記カテゴリ情報に対応する前記オブジェクトの名称を含む前記オブジェクトに関する情報を要請するステップと、
   前記サーバから前記オブジェクトに対する情報を受信するステップと、
   前記受信されたオブジェクトに関する情報を画面に表示するステップと
   を含むオブジェクト情報の提供方法。
2. 前記表示ステップは、
   前記受信されたオブジェクトに関する情報を前記イメージとともに前記画面に表示することを特徴とする請求項１に記載のオブジェクト情報の提供方法。
3. ユーザ命令が受信されると、前記イメージを撮影するステップを更に含むことを特徴とする請求項１に記載のオブジェクト情報の提供方法。
4. 前記受信されたオブジェクト情報に基づいて、前記受信されたオブジェクトに関連する機能のリストをディスプレイするステップと、
   前記ディスプレイされたリストから選択された機能を行うステップと
   を更に含むことを特徴とする請求項１に記載のオブジェクト情報の提供方法。
5. 前記受信されたオブジェクト情報に基づいて、前記受信されたオブジェクトに関連する機能を行うステップを更に含むことを特徴とする請求項１に記載のオブジェクト情報の提供方法。
6. 前記受信されたオブジェクト情報に基づいて、前記イメージの状況を認識し、前記イメージの状況に関連する機能を行うステップを更に含むことを特徴とする請求項１に記載のオブジェクト情報の提供方法。
7. イメージに含まれるオブジェクトの名称に関連するカテゴリメニューをディスプレイし、前記ディスプレイされたカテゴリメニューからいずれかのカテゴリを選択するためのユーザ入力を受信するタッチスクリーンと、
   サーバと通信できるように接続される通信部と、
   前記イメージに含まれるオブジェクトが識別可能かを判断し、
   前記イメージに含まれるオブジェクトが識別可能ではない場合、前記イメージ及び前記選択されたカテゴリ情報を伝送し、
   前記サーバに前記カテゴリ情報に対応する前記オブジェクトの名称を含む前記オブジェクトに関する情報を要請し、
   前記サーバから前記オブジェクトに対する情報を受信し、
   前記受信されたオブジェクトに関する情報を画面に表示するように制御する制御部と
   を含む撮影装置。
8. 前記イメージを撮影する撮影部を更に含むことを特徴とする請求項７に記載の撮影装置。
9. 前記制御部は、
   前記受信されたオブジェクトに関する情報に基づいて、前記受信されたオブジェクトに関連する機能のリストをディスプレイし、前記ディスプレイされたリストから選択された機能を行うように制御することを特徴とする請求項７に記載の撮影装置。
10. 前記制御部は、
    前記受信されたオブジェクト情報に基づいて、前記受信されたオブジェクトに関連する機能を行うように制御することを特徴とする請求項７に記載の撮影装置。
11. 前記制御部は、
    前記受信されたオブジェクトに関する情報が前記イメージとともに画面に表示されるように制御することを特徴とする請求項７に記載の撮影装置。

Images