JP7027524B2 - 視覚的入力の処理 - Google Patents

Description

本発明は、視覚的入力の処理のための技術に関する。より詳細には、カメラによって連続的にキャプチャされる映像ストリームの少なくとも１つのフレームと関連する有意義な情報、および／または、有意義な情報と関連するユーザインタフェースを提供することができるイメージ処理方法およびシステム、コンピュータと結合して本発明の実施形態に係るイメージ処理方法をコンピュータに実行させるためのコンピュータ読み取り可能な記憶媒体に記録されたコンピュータプログラム、およびその記憶媒体に関する。

イメージのような視覚的入力を処理するための多様な従来技術が存在する。例えば、韓国特許出願公開第１０－２００３－００２４７８６号は、デジタルカメラで撮影した全体のイメージをテキスト情報と関連して分析し、前記情報をＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）技術などによって認識して解釈することで、追加の処理および／または送信のために圧縮されたテキストコードとして記録する技術を開示している。

カメラによって連続的にキャプチャされる映像ストリームの少なくとも１つのフレームと関連する有意義な情報、および／または、有意義な情報と関連するユーザインタフェースを提供すること。

カメラによって連続的にキャプチャされる映像ストリームの少なくとも１つのフレームと関連する有意義な情報、および／または、有意義な情報と関連するユーザインタフェースを提供することができるイメージ処理方法およびシステム、コンピュータと結合して本発明の実施形態に係るイメージ処理方法をコンピュータに実行させるためのコンピュータ読み取り可能な記憶媒体に記録されたコンピュータプログラム、およびその記憶媒体を提供する。

イメージ処理方法であって、イメージ処理モードに入ったことに応答してカメラモジュールを実行させる段階、前記実行されたカメラモジュールにおいて連続的にイメージのストリームの入力を受けて画面に順に表示する段階、前記入力されたイメージのストリームを認識エンジンに伝達する段階、および、前記入力されたイメージのストリームに対して前記認識エンジンによって認識された認識結果が存在する場合、前記入力されたイメージのストリームが表示中の画面上に前記認識結果をさらに順に表示する段階、を含むことを特徴とする、イメージ処理方法を提供する。

イメージ処理方法であって、電子機器のカメラモジュールによってキャプチャされたイメージを、ネットワークを介して受信する段階、前記受信されたイメージが含むオブジェクトのディテクトアニメーションを生成する段階、前記生成されたディテクトアニメーションを前記電子機器に送信する段階、前記受信されたイメージのイメージ検索結果を生成する段階、および前記生成されたイメージ検索結果を前記電子機器に送信する段階を含むことを特徴とする、イメージ処理方法を提供する。

コンピュータと結合して前記イメージ処理方法をコンピュータに実行させるためのコンピュータ読み取り可能な記憶媒体に記録されたコンピュータプログラムを提供する。

前記イメージ処理方法をコンピュータに実行させるためのプログラムが記録されているコンピュータ読み取り可能な記憶媒体を提供する。

コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサにより、イメージ処理モードに入ったことに応答してカメラモジュールを実行させ、前記実行されたカメラモジュールにおいて連続的にイメージのストリームの入力を受けて画面に順に表示し、前記入力されたイメージのストリームを認識エンジンに伝達し、前記入力されたイメージのストリームに対して前記認識エンジンによって認識された認識結果が存在する場合、前記入力されたイメージのストリームが表示中の画面上に前記認識結果をさらに順に表示する動作を実行する、ことを特徴とする、コンピュータ装置を提供する。

コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサにより、電子機器のカメラモジュールにおいてキャプチャされたイメージをネットワークを介して受信し、前記受信されたイメージが含むオブジェクトのディテクトアニメーションを生成し、前記生成されたディテクトアニメーションを前記電子機器に送信し、前記受信されたイメージのイメージ検索結果を生成し、前記生成されたイメージ検索結果を前記電子機器に送信する動作を実行する、ことを特徴とする、コンピュータ装置を提供する。

カメラによって連続的にキャプチャされる映像ストリームの少なくとも１つのフレームと関連する有意義な情報、および／または、有意義な情報と関連するユーザインタフェースを提供することができる。

本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、イメージ処理システムの実行環境の例を示した図である。 本発明の一実施形態における、ＯＣＲ認識によって追加情報または追加機能を提供する例を示した図である。 本発明の一実施形態における、ＯＣＲ認識によって追加情報または追加機能を提供する例を示した図である。 本発明の一実施形態における、認識された文字数によってフォントサイズを調節する例を示した図である。 本発明の一実施形態における、認識された文字数によってフォントサイズを調節する例を示した図である。 本発明の一実施形態における、認識された文字数によってフォントサイズを調節する例を示した図である。 本発明の一実施形態における、バーコード認識によって追加機能を提供する例を示した図である。 本発明の一実施形態における、ＱＲコード（登録商標）認識によって追加機能を提供する例を示した図である。 本発明の一実施形態における、イメージ検索結果を提供する例を示した図である。 本発明の一実施形態における、イメージ検索結果を提供する例を示した図である。 本発明の一実施形態における、イメージ検索結果を提供する例を示した図である。 本発明の一実施形態における、イメージ検索結果を提供する例を示した図である。 本発明の一実施形態における、イメージ検索結果を提供する例を示した図である。 本発明の一実施形態における、イメージ検索結果を提供する例を示した図である。 本発明の一実施形態における、主要カラーを抽出して彩度を制限する例を示した図である。 本発明の一実施形態における、イメージ検索結果を類型によってデザインされたテンプレートで提供する例を示した図である。 本発明の一実施形態における、イメージ検索結果を類型によってデザインされたテンプレートで提供する例を示した図である。 本発明の一実施形態における、イメージ検索結果を類型によってデザインされたテンプレートで提供する例を示した図である。 本発明の一実施形態における、ディテクトアニメーションを表示する例を示した図である。 本発明の一実施形態における、ディテクトアニメーションを表示する例を示した図である。 本発明の一実施形態における、ディテクトアニメーションを表示する例を示した図である。 本発明の一実施形態における、ディテクトアニメーションを表示する例を示した図である。 本発明の一実施形態における、ディテクトアニメーションの例を示した図である。 本発明の一実施形態における、イメージ処理方法の例を示したフローチャートである。 本発明の一実施形態における、イメージ処理方法の他の例を示したフローチャートである。 本発明の一実施形態における、イメージ処理方法のさらに他の例を示したフローチャートである。 本発明の一実施形態における、ディテクトアニメーションを生成する方法の例を示したフローチャートである。 本発明の一実施形態における、プレース認識によって追加情報を提供する例を示した図である。 本発明の一実施形態における、イメージコードの認識によって追加情報を提供する例を示した図である。

以下、実施形態について、添付の図面を参照しながら詳しく説明する。

本発明の実施形態に係るイメージ処理方法は、以下で説明される電子機器および／またはサーバのようなコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されるコンピュータプログラムの制御にしたがって本発明の一実施形態に係るイメージ処理方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合してイメージ処理方法をコンピュータに実行させるためにコンピュータ読み取り可能な記憶媒体に記録されてよい。

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１（１１０）の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１（１１０）は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することができる多様な物理的なコンピュータ装置のうちの１つを意味してよい。

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワーク、などを含むネットワークトポロジのうちの任意の１つ以上を含んでよいが、これらに限定されることはない。

サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して、命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第１サービスを提供するシステムであってよく、サーバ１６０も、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第２サービスを提供するシステムであってよい。より具体的な例として、サーバ１５０は、複数の電子機器１１０、１２０、１３０、１４０においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じて、該当のアプリケーションが目的とするサービス（一例として、本実施形態に係るイメージ処理のためのサービスの他にも、情報提供サービス、メッセージングサービス、メールサービス、コンテンツ送信サービスなど）を第１サービスとして複数の電子機器１１０、１２０、１３０、１４０に提供してよい。他の例として、サーバ１６０は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器１１０、１２０、１３０、１４０に配布するサービスを第２サービスとして提供してよい。

図２は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、電子機器に対する例として電子機器１（１１０）の内部構成およびサーバ１５０の内部構成について説明する。また、他の電子機器１２０、１３０、１４０やサーバ１６０も、上述した電子機器１（１１０）またはサーバ１５０と同一または類似の内部構成を有してよい。

電子機器１（１１０）およびサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、コンピュータ読み取り可能な記憶媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記憶装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記憶装置は、メモリ２１１、２２１とは区分される別の永続的記憶装置として電子機器１（１１０）やサーバ１５０に含まれてもよい。また、メモリ２１１、２２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器１（１１０）においてインストールされて実行されるブラウザや特定のサービスの提供のために電子機器１（１１０）にインストールされたアプリケーションなどのためのコード）が記録されてよい。このようなソフトウェア構成要素は、メモリ２１１、２２１とは別のコンピュータ読み取り可能な記憶媒体からロードされてよい。このような別のコンピュータ読み取り可能な記憶媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記憶媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記憶媒体ではない通信モジュール２１３、２２３を通じてメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてよい。

プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記憶装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信モジュール２１３、２２３は、ネットワーク１７０を介して電子機器１（１１０）とサーバ１５０とが互いに通信するための機能を提供してもよいし、電子機器１（１１０）および／またはサーバ１５０が他の電子機器（一例として、電子機器２（１２０））または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、電子機器１（１１０）のプロセッサ２１２がメモリ２１１のような記憶装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール２１３の制御にしたがってネットワーク１７０を介してサーバ１５０に伝達されてよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０を経て電子機器１（１１０）の通信モジュール２１３を通じて電子機器１（１１０）に受信されてよい。例えば、通信モジュール２１３を通じて受信されたサーバ１５０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ２１２やメモリ２１１に伝達されてよく、コンテンツやファイルなどは、電子機器１（１１０）がさらに含むことのできる記憶媒体（上述した永続的記憶装置）に記録されてよい。

入力／出力インタフェース２１４は、入力／出力装置２１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボードやマウスなどの装置を、出力装置は、ディスプレイやスピーカなどの装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２１５は、電子機器１（１１０）と１つの装置で構成されてもよい。また、サーバ１５０の入力／出力インタフェース２２４は、サーバ１５０に接続するかサーバ１５０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。より具体的な例として、電子機器１（１１０）のプロセッサ２１２がメモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や電子機器２（１２０）が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を通じてディスプレイに表示されてよい。

また、他の実施形態において、電子機器１（１１０）およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器１（１１０）は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器１（１１０）がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が、電子機器１（１１０）にさらに含まれるように実現されてよい。

図３は、本発明の一実施形態における、イメージ処理システムの実行環境の例を示した図である。図３は、電子機器１（１１０）が、カメラモジュール３１０、ＯＣＲ認識エンジン３２０、バーコード認識エンジン３３０、およびＱＲコード認識エンジン３４０を含み、サーバ１５０が、イメージ検索エンジン３５０およびディテクトアニメーション生成エンジン３６０を含む例を示している。実施形態によって、ディテクトアニメーション生成エンジン３６０は、電子機器１（１１０）に含まれてもよい。

各エンジン３２０～３６０は、ソフトウェアモジュールの形態で実現されてよい。例えば、電子機器１（１１０）が含むＯＣＲ認識エンジン３２０、バーコード認識エンジン３３０、およびＱＲコード認識エンジン３４０は、電子機器１（１１０）においてインストールされて実行されるアプリケーションが提供する機能的表現であってよい。この場合、電子機器１（１１０）のプロセッサ２１２は、アプリケーションのコードにしたがって、ＯＣＲ認識エンジン３２０、バーコード認識エンジン３３０、およびＱＲコード認識エンジン３４０による動作を実行してよい。同じように、サーバ１５０が含むイメージ検索エンジン３５０およびディテクトアニメーション生成エンジン３６０も、ソフトウェアモジュールの形態で実現されてよく、サーバ１５０において実行されるコンピュータプログラムが提供する機能的表現であってよい。この場合、サーバ１５０のプロセッサ２２２は、コンピュータプログラムのコードにしたがってイメージ検索エンジン３５０およびディテクトアニメーション生成エンジン３６０による動作を実行してよい。

ＯＣＲ認識エンジン３２０は、イメージ内から１つ以上の文字および／または数字を認識してよい。

バーコード認識エンジン３３０は、イメージ内からバーコードを認識してよい。

ＱＲコード認識エンジン３４０は、イメージ内からＱＲコードを認識してよい。

イメージ検索エンジン３５０は、イメージの入力を受け、該当のイメージと関連する多様な検索結果（イメージやテキストなど）を返還してよい。

ディテクトアニメーション生成エンジン３６０は、イメージ内からオブジェクトを探索する過程を視覚的に表現するためのディテクトアニメーションを生成して提供してよい。このようなディテクトアニメーションは、検索結果が出るまでの待機時間にユーザの興味を誘発し、検索結果の表示が遅くないような印象を与えるための効果として活用されてよい。

電子機器１（１１０）が本実施形態に係るイメージ処理モードに入った場合、電子機器１（１１０）は、カメラモジュール３１０を実行させてよく、ユーザからの特別な入力がなくても、カメラモジュール３１０によって連続的にキャプチャされるイメージストリームを、ＯＣＲ認識エンジン３２０、バーコード認識エンジン３３０、およびＱＲコード認識エンジン３４０の入力として伝達してよい。このとき、ＯＣＲ認識エンジン３２０、バーコード認識エンジン３３０、およびＱＲコード認識エンジン３４０それぞれは、入力されたイメージストリームのイメージ（フレーム）を順に分析し、それぞれ該当するオブジェクト（文字、数字、バーコード、ＱＲコードなど）をイメージ内から認識してよい。

上述のように、ＯＣＲ認識エンジン３２０は、イメージストリームが含むイメージを順に分析することでイメージ内に含まれる文字および／または数字の認識を試行してよく、認識された文字および／または数字を返還してよい。この場合、電子機器１（１１０）は、返還された文字および／または数字を画面に表示してよく、表示された文字および／または数字と関連のある追加情報や追加機能を提供してよい。例えば、第１言語の文字が認識された場合、電子機器１（１１０）は、認識された第１言語の文字を他の言語の文字に翻訳することができる翻訳機能へのアクセスのためのユーザインタフェースを提供してよい。他の例として、電子機器１（１１０）は、返還された文字および／または数字をキーワードとして利用する検索機能へのアクセスのためのユーザインタフェースを提供してよい。さらに他の例として、電子機器１（１１０）は、返還された文字および／または数字をキーワードとして自動的に検索を行い、その検索結果を提供してもよい。

バーコード認識エンジン３３０は、イメージストリームが含むイメージを順に分析することでイメージ内に含まれるバーコードの認識を試行してよく、認識されたバーコードに関する情報を返還してよい。この場合、電子機器１（１１０）は、返還された情報と関連のある追加情報や追加機能を提供してよい。例えば、電子機器１（１１０）は、返還されたバーコードに関する情報に基づいて該当のバーコードに対応する情報（一例として、バーコードに対応する書籍やワインなどに関する情報）を検索し、その検索結果を追加情報として提供してよい。他の例として、電子機器１（１１０）は、バーコードに対応する情報へのアクセスのためのユーザインタフェースを提供してもよい。

ＱＲコード認識エンジン３４０は、イメージストリームが含むイメージを順に分析することでイメージ内に含まれるＱＲコードの認識を試行してよく、認識されたＱＲコードに関する情報を返還してよい。この場合、電子機器１（１１０）は、返還された情報と関連のある追加情報や追加機能を提供してよい。バーコードの場合と同じように、電子機器１（１１０）は、認識されたＱＲコードに対応する情報（一例として、ＱＲコードが含むＵＲＬに対応する情報）を追加情報として提供してもよいし、または、認識されたＱＲコードに対応する情報へのアクセスのためのユーザインタフェースを提供してもよい。

このように、電子機器１（１１０）がイメージ処理モードに入った場合、電子機器１（１１０）は、ユーザからの特別な入力がなくてもカメラモジュール３１０を実行させ、カメラモジュール３１０において提供されるイメージストリームのイメージそれぞれから文字、数字、バーコード、ＱＲコードなどのようなオブジェクトを自動的に探索し、探索されたオブジェクトと関連のある追加情報や追加機能が自動的に提供されるようにすることが可能となる。

一方、電子機器１（１１０）は、ユーザの撮影ボタンの選択（一例として、タッチスクリーン環境においてタッチスクリーンに表示された撮影ボタンの領域をユーザが指でタッチ）のように、予め設定されたユーザインタフェースにおいてユーザ入力の発生をモニタリングしてよい。図３において、過程３７０は、ユーザ入力の発生をモニタリングし、ユーザ入力が発生した場合には、ユーザ入力にしたがって、キャプチャされたイメージがサーバ１５０に伝達される例を示している。より具体的な例として、図２を参照しながら説明したように、電子機器１（１１０）は、通信モジュール２１３を利用してネットワーク１７０を介してキャプチャされたイメージをサーバ１５０に送信してよく、サーバ１５０は、ネットワーク１７０を介して送信されたキャプチャされたイメージを、通信モジュール２２３を利用して受信してよい。

サーバ１５０は、伝達されたイメージを、イメージ検索エンジン３５０とディテクトアニメーション生成エンジン３６０にそれぞれ提供してよい。

上述のように、イメージ検索エンジン３５０は、電子機器１（１１０）でキャプチャされて、伝達されたイメージを入力として受信し、該当のイメージと関連のある多様な検索結果を返還してよい。例えば、イメージ検索エンジン３５０は、該当のイメージが含むオブジェクトを認識し、認識されたオブジェクトと関連するイメージや文書、テキストなどを検索して返還してよい。より具体的な例として、イメージに含まれた子犬を認識し、この子犬の種類が「レトリーバー」と分析された場合、「レトリーバー」と関連のあるイメージや文書などの検索結果を生成および返還してよい。サーバ１５０は、返還された検索結果を、ネットワーク１７０を介して電子機器１（１１０）に送信してよく、電子機器１（１１０）では、該当の検索結果をユーザに提供してよい。実施形態によって、電子機器１（１１０）は、イメージだけではなく、イメージをキャプチャするときの時間と電子機器１（１１０）の現在置、電子機器１（１１０）のユーザ情報などをサーバ１５０に追加で送信してもよい。この場合、サーバ１５０は、位置、時間、ユーザ情報のうちの少なくとも１つにさらに基づいて検索結果を提供してよい。例えば、イメージと関連する多様な検索結果のうち、ユーザの現在位置と関連のある検索結果や時間と関連のある検索結果が、検索結果の表示において優先順位を取得してよい。

ディテクトアニメーション生成エンジン３６０は、電子機器１（１１０）でキャプチャされて伝達されたイメージを入力として受け、該当のイメージ内からオブジェクトを探索する過程を視覚的に表現するためのディテクトアニメーションを生成してよい。この場合にも、サーバ１５０は、生成されたディテクトアニメーションを、ネットワーク１７０を介して電子機器１（１１０）に送信してよく、電子機器１（１１０）においてディテクトアニメーションを予め設定された時間にわたって該当のイメージと関連付けて表示することにより、電子機器１（１１０）のユーザが検索結果（上述したイメージ検索エンジン３５０において返還され、サーバ１５０から電子機器１（１１０）に提供される検索結果）が出るまでの待機時間に該当のユーザの興味を誘発し、検索結果の表示が遅くないような印象を与えるための効果として活用されてよい。このようなディテクトアニメーションは、基本的に、イメージから探索しようとするオブジェクトと関連する位置の複数の点と、このような点を連結する線とで構成されてよく、点の表現と点を連結する線の表現がアニメーション効果として表示されてよい。また、実施形態によって、点と線の太さや大きさ、明るさ、色などを変化させて追加的なアニメーション効果を与えてもよい。さらに、点と点を連結する線からなる面を互いに異なる色で表示して立体感を与えてもよく、または点を連結する線を曲線処理する実施形態が考慮されてもよい。このようなディテクトアニメーションについては、以下でより詳しく説明する。

図４および図５は、本発明の一実施形態における、ＯＣＲ認識によって追加情報または追加機能を提供する例を示した図である。

図４は、電子機器１（１１０）の画面例４１０～４４０を示している。第１画面例４１０は、図３を参照しながら説明したように、カメラモジュール３１０においてキャプチャされたイメージストリームがＯＣＲ認識エンジン３２０に自動的に伝達され、ＯＣＲ認識エンジン３２０においてリアルタイムで文字が認識された例を示している。

このとき、第２画面例４２０では、認識の完了にともない、認識された文字の色が変更されてイメージ上に表示され、Ｔ（ＴＥＸＴ）文字認識ボタンが表示された例を示している。

また、第３画面例４３０は、Ｔ文字認識ボタンの選択にともない、認識された文字に対するコピー、翻訳、読み取りなどのように、認識された文字と関連する機能が提供された例を示している。例えば、コピー機能は、認識された文字をクリップボードにコピーするための機能であってよい。また、翻訳機能は、認識された第１言語の文字を第２言語の文字に翻訳するための機能であってよい。さらに、読み取り機能は、認識された第１文字を読み上げる機能であってよく、第１文字に該当するオーディオを生成して出力する機能であってよい。

第４画面例４４０は、ユーザによる翻訳機能の選択にともない、認識された第１言語の文字が第２言語の文字に翻訳されて表示された例を示している。このとき、第４画面例４４０に表示された詳細を見る機能は、認識された第１言語の文字に対する言語辞書の検索結果や、認識された第１言語の文字をキーワードとして利用した検索結果などのように、追加コンテンツを提供するか別途の翻訳結果ページに移動するための機能であってよい。また、認識が正確になされなかったり翻訳結果が納得のいく結果でなかったりする場合には、手書き認識機能ボタンを利用して文字を直接書いて検索を実行するための手書き検索機能がさらに提供されてもよい。

図４の実施形態では、認識された文字全体に対して追加機能を提供する例について説明したが、実施形態によって、認識された文字のうちから一部を選択し、選択された一部の文字に対して該当の追加機能が提供されてもよい。

図５は、電子機器１（１１０）の画面例５１０～５３０を示している。このとき、第１画面例５１０は、テキスト（文字および／または数字）の認識前にイメージが画面に表示された例を示している。

また、第２画面例５２０は、テキストの認識にともない、該当のテキストがイメージ内において表示されている位置と類似の位置に、認識されたテキストを表示する例を示している。

また、第３画面例５３０は、認識されたテキストをユーザが見やすいように再構成して、表示した例を示している。このとき、第３画面例５３０では、認識されたテキストがより適切に表現されるように、イメージが暗く処理された例を示している。さらに、第３画面例５３０では、認識されたテキストと関連してコピー機能、翻訳機能、および読み取り機能のような追加機能が提供された例を説明している。

このとき、第２画面例５２０と第３画面例５３０で表示されるテキストは、色の変化のようなアニメーション効果や、テキストが表示されるフレームの２次元から３次元への変化などのようなアニメーション効果とともに表示されてもよい。

図６～８は、本発明の一実施形態における、認識された文字数によってフォントサイズを調節する例を示した図である。

図６は、認識された文字数が１～６文字である場合に、認識されたテキストを８０ｐｘサイズで表示する例を示している。

また、図７は、認識された文字数が７～４０文字である場合に、認識されたテキストを６０ｐｘサイズで表示する例を示している。

さらに、図８は、認識された文字数が４１文字以上である場合に、認識されたテキストを４０ｐｘサイズで表示する例を示している。

このように、電子機器１（１１０）は、認識されたテキストを表示するにあたり、イメージから認識されたテキストの文字数によってフォントサイズを自動的に調節して表示することが可能となる。

図９は、本発明の一実施形態における、バーコード認識によって追加機能を提供する例を示した図である。

図９は、電子機器１（１１０）の画面例９１０および９２０を示している。第１画面例９１０は、バーコードが含まれたイメージが表示された例を示しており、第２画面例９２０は、バーコード認識エンジン３３０によるバーコードの認識にともない、バーコードボタンが表示された例を示している。ユーザが表示されたバーコードボタンを選択した場合、該当のバーコードに該当する製品情報（一例として、書籍情報やワイン情報など）が提供されてよい。

図１０は、本発明の一実施形態における、ＱＲコード認識によって追加機能を提供する例を示した図である。

図１０は、電子機器１（１１０）の画面例１０１０および１０２０を示している。第１画面例１０１０は、ＱＲコードが含まれたイメージが表示された例を示しており、第２画面例１０２０は、ＱＲコード認識エンジン３４０によるＱＲコードの認識にともない、ＱＲコードボタンが表示された例を示している。ユーザが表示されたＱＲコードボタンを選択した場合、該当のＱＲコードが含むＵＲＬのページがランディングされてよい。

図１１～１５は、本発明の一実施形態における、イメージ検索結果を提供する例を示した図である。

図１１は、電子機器１（１１０）の画面例１１１０～１１３０を示している。第１画面例１１１０は、イメージが表示された例を示しており、第２画面例１１２０は、イメージ内からオブジェクトが探索される例を示している。このとき、ユーザが撮影ボタンを押すことにともない、イメージがサーバ１５０に送信されてよく、サーバ１５０では、イメージ検索エンジン３５０およびディテクトアニメーション生成エンジン３６０においてイメージ検索とディテクトアニメーションの生成が行われてよい。第２画面例１１２０は、複数の点と点を連結する線とで構成されるディテクトアニメーションがサーバ１５０から提供されて画面に表示されることにより、犬（ｄｏｇ）の顔を探索していることを視覚的にユーザに知らせる例を示している。また、第３画面例１１３０は、探索されたオブジェクトと関連のあるテキスト情報（関連キーワード）として「子犬」と「ラブラドルレトリバー」が表示され、イメージのイメージ検索結果がさらに表示された例を示している。このようなテキスト情報とイメージ検索結果は、サーバ１５０から提供されてよい。このとき、探索されたオブジェクトと関連のあるテキスト情報として表示された「子犬」または「ラブラドルレトリバー」が表示された領域がユーザによって選択された場合、該当のテキスト情報をキーワードとして利用したテキスト検索結果がユーザに提供されてよい。また、イメージ検索結果それぞれがユーザによって選択された場合、該当の検索結果に相応するページがランディングされてよい。

図１２は、電子機器１（１１０）の画面例１２１０～１２４０を示している。第１画面例１２１０は、イメージが表示された例を示しており、第２画面例１２２０と第３画面例１２３０は、複数の点と、点を連結する線とで構成されるディテクトアニメーションが表示されることにより、魚を探索していることを視覚的にユーザに知らせる過程の例を示している。また、第３画面例１２４０は、探索されたオブジェクトと関連のあるテキスト情報（関連キーワード）として「観賞魚」と「アジアアロワナ」が表示され、イメージのイメージ検索結果がさらに表示された例を示している。この場合にも、探索されたオブジェクトと関連のあるテキスト情報として表示された「観賞魚」または「アジアアロワナ」が表示された領域がユーザによって選択された場合、該当のテキスト情報をキーワードとして利用したテキスト検索結果がユーザに提供されてよい。また、イメージ検索結果それぞれがユーザによって選択された場合、該当の検索結果に相応するページがランディングされてよい。

図１３～１５も、図１１および図１２と同じように、イメージ検索結果を提供する過程の例を示している。図１３は、花を外郭線に沿ってディテクトしてオブジェクトを認識してディテクトアニメーションとイメージ検索結果を提供する過程を、図１４は、猫の顔を外郭線に沿ってディテクトしてオブジェクトを認識してディテクトアニメーションとイメージ検索結果を提供する過程を、図１５は、エッフェル塔を外郭線に沿ってディテクトしてオブジェクトを認識してディテクトアニメーションとイメージ検索結果を提供する過程を、それぞれ示している。

図１６は、本発明の一実施形態における、イメージ検索結果を提供する例を示した図であり、図１７は、本発明の一実施形態における、主要カラーを抽出して彩度を制限する例を示した図である。図１６は、イメージの主要カラーをオートピック技術によって抽出し、抽出された主要カラーを関連キーワードやイメージ検索結果の表示に活用する例を示している。このとき、テキストの視認性を考慮した上で、ＨＳＢ（Ｈｕｅ－Ｓａｔｕｒａｔｉｏｎ－Ｂｒｉｇｈｔｎｅｓｓ）値で彩度（Ｓ）や明度（Ｂ）の数値を５０～７０％範囲に制限して活用してよい。図１７は、カラーピッカー（ｃｏｌｏｒ ｐｉｃｋｅｒ）によって主要カラーを抽出し、彩度の数値を５０％に制限した例を現示している。

図１８～２０は、本発明の一実施形態における、イメージ検索結果を提供する例を示した図である。図１８～２０は、「人物＿国内」、「人物＿グループ」、「人物＿海外」、「百科＿動物」、「百科＿名画」、「百科＿ワイン」、「名所」、「地域」、「国内＿プレース」などのような多様な類型によって予めデザインされたテンプレートとして、イメージ検索結果のうちの特定の検索結果を正解型カードの形態で実現して提供する例を示している。この場合にも、テキストの視認性を考慮した上で、ＨＳＢ（Ｈｕｅ－Ｓａｔｕｒａｔｉｏｎ－Ｂｒｉｇｈｔｎｅｓｓ）値で彩度や明度の数値を５０～７０％範囲に制限して活用してよい。

図２１～２４は、本発明の一実施形態における、ディテクトアニメーションを表示する例を示した図である。

ディテクトアニメーションの生成方法は、以下のとおりである。例えば、上述したディテクトアニメーション生成エンジン３６０によってディテクトアニメーション生成方法が実行されてよい。

（１）前処理過程：グレースケール、ブロー、エッジディテクションなどのように、イメージ探索で要求される前処理を実行する過程。

（２）オブジェクト探索（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）：入力された映像内からオブジェクトを検索し、該当のオブジェクトを含むバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を生成する過程。オブジェクトの検索には一般的に周知のオブジェクト探索技術が活用されてよく、生成されたバウンディングボックスの領域に対して次の過程が実行されてよい。

（３）オブジェクトの輪郭線から意味のある特徴点を抽出する過程。一例として、ＦＡＳＴアルゴリズムを使用して予め設定された数（一例として、約数百個）の特徴点が抽出されてよい。

（４）抽出された特徴点の凸包（ｃｏｎｖｅｘ ｈｕｌｌ）を生成する過程。一例として、該当の特徴点をすべて含むブロック多角形が凸包として生成されてよく、このような凸包の生成は、周知のアルゴリズムを使用して生成されてよい。

（５）凸包を構成する点が予め定められた数（一例として、６個）に及ばない場合、追加段階を行いながら必要な個数になるまで点を追加する過程。一例として、凸包をなす２つの点の中間から最も近い特徴点を選択し、凸包を構成するための点として活用してよい。

（６）上述した（４）および（５）で選択された複数の点で外郭線をなす複数の点（外郭点）を構成し、外郭点中心座標（中心点）を計算する過程。一例として、各座標の（Ｘ値の平均、Ｙ値の平均）の点を中心点として計算してよい。

（７）各外郭点に対し、外郭点と中心点との間の中間値と最も近い特徴点を選択する過程。

（８）内部に線を追加しようとする場合に（６）および（７）段階を繰り返す過程。一段階の線だけを連結する場合には省略されてよい。

（９）点の座標とアニメーションの順序を返還するか、または生成されたアニメーションを返還する過程。

このような（１）～（９）の過程によるディテクトアニメーションの生成過程は、一実施形態として、デザインによって多様な形態に変形させて生成してもよい。

例えば、図２１では、５個の点で構成される凸包とデブス（ｄｅｐｔｈ）３の点を連結した三角形構造のディテクトアニメーションを示している。より詳細に、図２１は、凸包であるオブジェクトの輪郭に五角形ドットを形成して連結し、デブス２ドットを形成して五角形ドットと連結し、デブス２ドットの左右を連結し、デブス３ドットである中心点を形成してデブス２ドットとデブス３ドットを上下連結することにより、ディテクトアニメーションの形態を生成する例を示している。このとき、デブス２ドットが五角形ドットの連結線の中心と中心点（デブス３ドット）を連結した線の１／３地点に形成される例を示している。

また、図２２では、９個の点で構成される凸包とデブス３の点を連結した三角形と四角形構造のディテクトアニメーションを示している。このような図２２では、輪郭ドット（凸包を構成する９個の点）から中心ドット（中心点）までの直線上で色差が予め設定された差以上の座標（一例として、輪郭ドットの開始点ＲＧＢ値のうち、Ｂ値で２０以上の差がある位置）にドットを表示し、同じデブスのドット同士は左右を連結し、上下デブスのドットの間には最も近くの距離のドットを連結することにより、ディテクトアニメーションの形態を生成する例を示している。

さらに、図２３および図２４では、三角形構造の色を相違させることによって立体感を与え、同時に透明度を調節する例を示している。言い換えれば、図２３よりも図２４において、三角形構造における透明度がより高まった例を示している。

図２５は、本発明の一実施形態における、ディテクトアニメーションの例を示した図である。図２５は、図１５を参照しながら説明したエッフェル塔に対するディテクトアニメーションが、単なるイメージの形態ではなく、図２５において順に示した絵のように複数の点と点を連結する線との表示を繰り返すことにより、このようなディテクトアニメーションが、検索結果が出るまでの間にユーザの興味を誘発し、検索結果の表示が遅れていないような印象を与えるための効果として活用されることを示している。このとき、ディテクトアニメーションは、上述のように、点と線の太さや大きさ、明るさ、色などを変化させることによって追加的なアニメーション効果を与えてもよく、図２３と図２４で説明したように、三角形構造や四角形構造に互いに異なる色を適用することによって立体感を与えてもよく、または色の透明度を調節してイメージが表示される程度を決定してもよい。

図２６は、本発明の一実施形態における、イメージ処理方法の例を示したフローチャートである。本実施形態に係るイメージ処理方法は、上述した電子機器１（１１０）のようなコンピュータ装置によって実行されてよい。例えば、電子機器１（１１０）のプロセッサ２１２は、メモリ２１１が含むオペレーティングシステムのコードと、少なくとも１つのコンピュータプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２１２は、電子機器１（１１０）に記録されたコードが提供する制御命令にしたがって電子機器１（１１０）が図２６のイメージ処理方法に含まれる段階２６１０～２６４０を実行するように電子機器１（１１０）を制御してよい。

段階２６１０で、コンピュータ装置は、イメージ処理モードに入ったことに応答してカメラモジュールを実行させてよい。一例として、コンピュータ装置にインストールされたアプリケーションは、イメージ処理モードに入るためのユーザインタフェースをユーザに提供してよい。ユーザのユーザインタフェースに対する入力が発生した場合、コンピュータ装置は、発生した入力にしたがって入ったイメージ処理モードにおいてカメラモジュールを実行させてよい。

段階２６２０で、コンピュータ装置は、実行するカメラモジュールにおいて連続的にイメージのストリームの入力を受けて順に画面に表示してよい。例えば、スマートフォンでカメラが実行される場合にカメラに入力されてスマートフォンの画面にリアルタイムで表示される映像が、このようなイメージのストリームに対応してよい。

段階２６３０で、コンピュータ装置は、入力されたイメージのストリームを認識エンジンに伝達してよい。カメラモジュールは、持続的に、リアルタイムで入力されるイメージのストリームを認識エンジンに伝達してよく、認識エンジンは、イメージのストリームを分析して認識エンジンが目的とする認識結果を生成してよい。例えば、図３の実施形態では、電子機器１（１１０）がＯＣＲ認識エンジン３２０のようなテキスト認識エンジンやバーコード認識エンジン３３０、およびＱＲコード認識エンジン３４０のようなイメージコード認識エンジンを含む例について説明した。

段階２６４０で、コンピュータ装置は、入力されたイメージのストリームに対して認識エンジンによって認識された認識結果が存在する場合、入力されたイメージのストリームを認識結果として表示中の画面上にさらに順に表示してよい。例えば、認識エンジンは、認識結果として入力されたイメージが含むテキストを認識するテキスト認識エンジンを含んでよい。

このとき、テキスト認識エンジンによって認識された認識結果が存在する場合、段階２６４０で、コンピュータ装置は、入力されたイメージから認識されたテキスト領域の位置に基づいて認識されたテキストの表示位置を動的に調節してよい。例えば、図４の第１画面例４１０は、イメージにおいてテキストが含まれた領域の位置に、認識されたテキストが表示された例を示している。他の例として、図５の第２画面例５２０でも、テキストの認識にともない、該当のテキストのイメージ内における位置と類似の位置に、認識されたテキストを表示する例を説明している。例えば、スマートフォンのようなコンピュータ装置をユーザの手で振動させることによって入力されたイメージにおいて同じテキスト領域の位置が持続的に変更されてもよい。この場合、コンピュータ装置は、テキスト領域の位置が変更されることによってテキスト領域の位置を追跡し、追跡された位置に認識されたテキストが表示されるようにテキストの表示位置を動的に調節してよい。

また、段階２６４０で、コンピュータ装置は、入力されたイメージのストリームを表示中の画面上に前記認識されたテキストを順に表示し、入力されたイメージのうちでテキストが認識されたイメージにおけるテキスト領域の位置に基づき、認識されたテキストの表示位置を決定してよい。例えば、コンピュータ装置は、上述のように、テキスト領域の位置が変更されることによって認識されたテキストの表示位置を動的に調節し、テキストの認識が最終的に完了すれば、最終的にテキストが認識された位置に認識されたテキストを表示してよい。この場合には、入力されたイメージにおいてテキスト領域の位置が持続的に変更されてよく、またはテキストがない他のイメージが持続的に入力される場合にも、認識されたテキストの表示位置は固定されてよい。

また、コンピュータ装置は、入力されたイメージのストリームに対して認識されたテキストに対するユーザ確認のためのユーザインタフェースを、入力されたイメージのストリームを表示中の画面上にさらに順に表示してもよい。例えば、テキスト認識エンジンによってテキストの認識が最終的に完了した後、コンピュータ装置は、最終的に認識されたテキストに対してユーザの確認を受ける過程を処理してよい。例えば、図４の第２画面４２０は、文字認識ボタンのように、認識されたテキストの確認をユーザから受けるためのユーザインタフェースを表示した例を示している。このとき、コンピュータ装置の画面には、依然としてイメージのストリームがリアルタイムで表示中であってよい。

このとき、認識されたテキストの確認をユーザから受けるためのユーザインタフェースでユーザ確認が発生したとき、コンピュータ装置は、入力されたイメージのうちでテキストが表示されたイメージを画面に表示してよい。例えば、コンピュータ装置は、入力されたイメージのうちの第１イメージにおいてユーザから確認を受けたテキストが認識されると、イメージのストリームを画面に表示する代わりに、既に表示された第１イメージを画面に表示してよい。また、コンピュータ装置は、画面に表示されたイメージ上に認識されたテキストのコピーのためのユーザインタフェース、および認識されたテキストの翻訳のためのユーザインタフェースのうちの少なくとも１つをさらに表示してよい。例えば、図４および図５は、「コピー」ボタンおよび「翻訳」ボタンのように、認識されたテキストのコピーと翻訳のためのユーザインタフェースが表示された例を示している。

また、コンピュータ装置は、認識されたテキストの文字数によって認識されたテキストのサイズを動的に変更して画面に表示してもよい。例えば、図６～８では、認識されたテキストにおける文字数の増加にともない、認識されたテキストのサイズを動的に減らしながら画面に表示する例について説明した。

また、他の例として、認識エンジンは、入力されたイメージが含むイメージコードを認識するためのイメージコード認識エンジンを含んでもよい。この場合、コンピュータ装置は、段階２６４０で、画面に順に表示されるイメージにおいて認識されたイメージコードに対応するページへのリンクを認識結果として入力されたイメージのストリームを、表示中の画面上にさらに順に表示してよい。例えば、図９では、認識されたバーコードに対応するページへのリンクを「バーコード」ボタンとして表示した例を示しており、図１０では、認識されたＱＲコードに対応するページへのリンクを「ＱＲコード」ボタンとして表示した例を示している。

実施形態によって、認識エンジンは、テキスト認識エンジンとイメージコード認識エンジンとともに複数の認識エンジンを含んでもよく、この場合、カメラモジュールにおいて入力されるイメージのストリームは、複数の認識エンジンそれぞれに入力されてよい。

上述した段階２６１０～２６４０は、カメラによるユーザの撮影がなされる前に、カメラに入力されたイメージのストリームに基づいてコンピュータ装置が自動的にテキストやイメージコードなどを認識して関連情報を表示する実施形態について説明している。言い換えれば、イメージ処理モードに入ったことに応答し、ユーザが撮影ボタンを押して特定の時点のイメージを選択しなくても、入力されたイメージのストリーム全体を分析することによってテキストやイメージコードの認識結果を自動的に提供することができる。

一方、ユーザが撮影ボタンを押して特定のイメージが選択された場合、コンピュータ装置は、上述した実施形態とは異なる機能をユーザに提供してよい。

図２７は、本発明の一実施形態における、イメージ処理方法の他の例を示した図である。本実施形態に係るイメージ処理方法も、上述した電子機器１（１１０）のようなコンピュータ装置によって実行されてよい。このとき、図２７の段階２７１０～２７５０は、図２６の段階２６２０以後、撮影入力が発生する場合に実行されてよく、図２７の段階が実行される場合、段階２６３０および段階２６４０は省略されてもよい。

段階２７１０で、コンピュータ装置は、入力されたイメージのストリームを順に表示しているときに撮影入力が発生した場合、撮影入力の発生時点と関連するイメージをキャプチャして画面に表示してよい。このような段階２７１０は、ユーザによる撮影入力の発生によって写真を撮影する過程を意味してよい。

段階２７２０で、コンピュータ装置は、キャプチャされたイメージをサーバに送信してよい。一例として、サーバは、上述したサーバ１５０のようなコンピュータ装置に対応してよく、キャプチャされたイメージは、ネットワーク１７０を介してサーバに送信されてよい。

段階２７３０で、コンピュータ装置は、送信されたイメージが含むオブジェクトのディテクトアニメーションをサーバから受信してよい。一例として、ディテクトアニメーションは、オブジェクトの輪郭線のうちから抽出される複数の特徴点を複数の特徴点が抽出されたイメージ上の位置に表示し、表示された特徴点のうちの少なくとも一部の特徴点を線で連結するアニメーションを含んでよい。

段階２７４０で、コンピュータ装置は、ディテクトアニメーションをオブジェクトと関連付けて画面に表示してよい。ディテクトアニメーションをオブジェクトと関連付けて画面に表示する例については、図１１～１５、図２１～２５を参照しながら説明したとおりである。

段階２７５０で、コンピュータ装置は、送信されたイメージのイメージ分析結果をサーバから受信し、画面に表示されたイメージと関連付けて表示してよい。イメージ分析結果は、イメージが含むオブジェクトの種類および／または名称を含んでよく、オブジェクトと関連してサーバで検索されたイメージ、文書、テキストのうちの少なくとも１つをさらに含んでよい。

図２８は、本発明の一実施形態における、イメージ処理方法のさらに他の例を示した図である。本実施形態に係るイメージ処理方法は、上述したサーバ１５０のようなコンピュータ装置によって実行されてよい。例えば、サーバ１５０のプロセッサ２２２は、メモリ２２１が含むオペレーティングシステムのコードと、少なくとも１つのコンピュータプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２２は、サーバ１５０に記録されたコードが提供する制御命令にしたがってサーバ１５０が図２８のイメージ処理方法に含まれる段階２８１０～２８５０を実行するようにサーバ１５０を制御してよい。

段階２８１０で、コンピュータ装置は、電子機器のカメラモジュールにおいてキャプチャされたイメージを、ネットワークを介して受信してよい。ここで、電子機器は、上述した電子機器１（１１０）に対応してよく、受信されるイメージは、図２７の段階２７２０で送信されたイメージに対応してよい。言い換えれば、電子機器１（１１０）がユーザの撮影入力の発生によってキャプチャされたイメージを、ネットワーク１７０を介して送信すると、サーバ１５０が段階２８１０で該当のイメージを受信してよい。

段階２８２０で、コンピュータ装置は、受信されたイメージが含むオブジェクトのディテクトアニメーションを生成してよい。上述のように、ディテクトアニメーションは、オブジェクトの輪郭線のうちから抽出される複数の特徴点を複数の特徴点が抽出されたイメージ上の位置に表示し、表示される特徴点のうちの少なくとも一部の特徴点を線で連結するアニメーションを含んでよい。

段階２８３０で、コンピュータ装置は、生成されたディテクトアニメーションを電子機器に送信してよい。この場合、図２７の段階２７３０を参照しながら説明したように、電子機器は、ディテクトアニメーションを受信し、段階２７４０のように、受信されたディテクトアニメーションをオブジェクトと関連付けて画面に表示してよい。

段階２８４０で、コンピュータ装置は、受信されたイメージのイメージ検索結果を生成してよい。イメージ検索結果は、イメージに含まれたオブジェクトの種類および／または名称を含んでよく、オブジェクトと関連して検索されたイメージ、文書、および／または、テキストをさらに含んでよい。

段階２８５０で、コンピュータ装置は、生成されたイメージ検索結果を電子機器に送信してよい。このとき、オブジェクトの種類および／または名称は、電子機器のカメラに入力されたイメージとオーバーラップさせて電子機器の画面に表示されてよい。また、検索されたイメージ、文書、および／または、テキストは、対応するページへのリンクを含み、電子機器のカメラモジュールに入力されたイメージと関連付けて電子機器の画面にさらに表示されてよい。例えば、図１２は、「観賞魚」と「アジアアロワナ」のように認識されたオブジェクトの種類や名称を表示し、イメージによるインターネット検索の追加的な結果として、イメージ、文書、および／または、テキストをイメージと関連付けて表示する例を示している。

また、コンピュータ装置は、受信されたイメージが含むオブジェクトと関連して検索された情報の類型によって類型別に予めデザインされたテンプレートとして検索された情報をカードの形態で実現し、電子機器に提供してもよい。例えば、図１８～２０は、情報の類型（人物＿国内、人物＿グループ、人物＿海外、百科＿動物、百科＿名画、百科＿ワイン、名所、地域、国内＿プレースなど）それぞれに対して予めデザインされたテンプレートが存在し、検索された情報の類型によって該当の類型のテンプレートとして検索された情報がカードの形態で実現されて提供される例について説明している。

このとき、電子機器で表示されたオブジェクトの種類および／または名称が選択（一例として、タッチスクリーン環境においてユーザがオブジェクトの種類および／または名称が表示された領域を指でタッチ）した場合、このような選択にともない、電子機器で発生する信号がネットワークを介してサーバに伝達されてよい。この場合、コンピュータ装置は、該当の信号を受信してよく、信号の受信に応答してオブジェクトの種類または名称をキーワードとして利用してテキスト検索結果を生成してよい。また、コンピュータ装置は、生成されたテキスト検索結果を電子機器に提供してよい。言い換えれば、電子機器のユーザは、イメージのイメージ検索結果に加え、イメージから得られたテキストのテキスト検索結果を順に提供することが可能となる。

図２９は、本発明の一実施形態における、ディテクトアニメーションを生成する方法の例を示したフローチャートである。本実施形態の方法が含む段階２９１０～２９５０は、図２８の段階２８２０に含まれて実行されてよい。

段階２９１０で、コンピュータ装置は、受信されたイメージが含むオブジェクトを探索してよい。例えば、コンピュータ装置は、受信されたイメージにグレースケール、ブロー、エッジディテクションなどのようなイメージ探索に要求される前処理を実行した後、イメージ内からオブジェクトを検索し、該当のオブジェクトを含むバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を生成してよい。このようなオブジェクトの検索には、一般的に周知のオブジェクト探索技術が活用されてよい。

段階２９２０で、コンピュータ装置は、オブジェクトの輪郭線から複数の特徴点を抽出してよい。一例として、ＦＡＳＴ（Ｆｅａｔｕｒｅ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）アルゴリズムを使用して予め設定された数（一例として、約数百個）の特徴点が抽出されてよい。

段階２９３０で、コンピュータ装置は、抽出された特徴点の凸包（ｃｏｎｖｅｘ ｈｕｌｌ）を生成してよい。一例として、凸包アルゴリズムを使用して抽出された特徴点から凸包が生成されてよい。凸包を構成するための点が予め定義された数に及ばない場合、特徴点を追加でさらに抽出してもよい。

段階２９４０で、コンピュータ装置は、抽出された特徴点のうち、前記凸包を構成する予め定められた数の外郭点の中心座標に基づいて中心点を計算してよい。例えば、凸包を構成する外郭点の座標に対して（Ｘ座標値の平均、Ｙ座標値の平均）の点を中心的として計算してよい。

段階２９５０で、コンピュータ装置は、オブジェクトの特徴点のうち、外郭点それぞれと中心点との間の中心値に最も近い特徴点を選択してよい。選択された特徴点を外郭点として再び利用して中心点を求め、外郭点と中心点との間の特徴点を再び選択することにより、内部の線を追加してもよい。例えば、図２１では、５つの点で構成される凸包とデブス３の点を連結することで三角形構造のディテクトアニメーションが形成される例を示している。

生成されたディテクトアニメーションは、図２８の段階２８３０のように電子機器に送信されてよく、図２７の段階２７４０のように電子機器でオブジェクトと関連付けて電子機器の画面に表示してよい。このとき、コンピュータ装置は、外郭点、中心点、および最も近い特徴点を含む選択点の座標に関する情報と選択点を線で連結する順序に関する情報を、ディテクトアニメーションとして電子機器に送信してよい。この場合、電子機器では、選択点の座標に関する情報に基づいて線を表示し、前記順序に関する情報に基づいて選択点を線で連結するアニメーションを画面に表示してよい。また、コンピュータ装置は、選択点を前記順序にしたがって連結するアニメーション自体をディテクトアニメーションとして電子機器に送信してもよい。この場合、電子機器は、オブジェクトと関連付けて該当のアニメーションを再生することにより、ディテクトアニメーションを表示してよい。

このようなディテクトアニメーションは、ユーザにイメージ処理結果を提供する過程において、ユーザが検索要求したイメージのオブジェクトに対して分析がなされていることを示すことにより、イメージ検索結果が出るまでの待機時間にユーザの興味を誘発し、検索結果の表示が遅れていないような印象を与えることができる。

図３０は、本発明の一実施形態における、プレース認識によって追加情報を提供する例を示した図である。図３０は、電子機器１（１１０）の画面例３０１０および３０２０を示している。第１画面例３０１０は、店の看板のように特定のプレース（ｐｌａｃｅ）を識別することのできる情報（一例として、商号のようなテキストや特定の商号に対応するイラストなど）がイメージに表示された例を示している。例えば、カメラモジュール３１０によってキャプチャされたイメージストリームがＯＣＲ認識エンジン３２０に自動的に伝達され、ＯＣＲ認識エンジン３２０においてリアルタイムで文字を認識する場合が考えられる。このとき、電子機器１（１１０）は、アプリケーションの制御にしたがって、認識された文字が特定のプレースを識別するための情報であるかを決定してよい。認識された文字が特定のプレースを識別するための情報であると判断された場合、電子機器１（１１０）は、認識された文字または第１画面例３０１０に示されたイメージをサーバ１５０に送信してよい。このとき、サーバ１５０は、より正確なプレース識別子を認知し、プレースのメタデータ（一例として、店の場合、商号、業種、説明など）を抽出して電子機器１（１１０）に送信してよい。このとき、第２画面例３０２０は、サーバ１５０から提供されたプレースのメタデータが画面に上端通知バー３０２１の形態で表示された例を示している。このとき、上端通知バー３０２１には、該当のプレースと関連のあるＵＲＬへのリンクが設定されてよい。一方、電子機器１（１１０）は、アプリケーションの制御にしたがって第１画面例３０１０に示されたイメージを分析し、該当のイメージが特定のプレースのイメージであるかを決定してもよい。言い換えれば、電子機器１（１１０）は、イメージを大略的に分析して特定のプレースに対するイメージであるか否かだけを判断し、より正確なプレースの識別子はサーバ１５０において抽出されるように、該当のイメージをサーバ１５０に送信してよい。

図３１は、本発明の一実施形態における、イメージコードの認識によって追加情報を提供する例を示した図である。図１０では、電子機器１（１１０）におけるＱＲコードの認識にともない、ＱＲコードボタンが表示され、表示されたＱＲコードボタンをユーザが選択した場合、該当のＱＲコードが含むＵＲＬのページがランディングされる例について説明した。図３１の実施形態において、第１画面例３１１０は、ＱＲコードが含まれたイメージが表示された例を示している。このとき、第２画面例３１２０は、ＱＲコード認識エンジン３４０によるＱＲコードの認識にともない、認識されたＱＲコードが含むＵＲＬのメタデータをサーバ１５０から取得して上端通知バー３１２１の形態で表示する例を示している。このとき、上端通知バー３１２１には、ＱＲコードが含むＵＲＬへのリンクが設定されてよい。ＱＲコードだけでなく、バーコードに対しても、関連する商品のメタデータをサーバ１５０から取得して上端通知バーの形態で表示してよい。このとき、該当の上端通知バーに設定されるリンクは、関連する商品の購入と関連のあるページであってよい。

一方、上端通知バーに表示されるメタデータは、イメージコードに含まれたＵＲＬによって提供されるページに含まれる情報であり、ＵＲＬ、動画、イメージ、説明などのような多様な情報を含んでよい。

このように、本発明の実施形態によると、カメラによって連続的にキャプチャされる映像ストリームの少なくとも１つのフレームと関連する有意義な情報、および／または有意義な情報と関連のあるユーザインタフェースを提供することが可能となる。

上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記憶媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記憶媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例は、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記憶媒体または格納媒体が挙げられる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

Claims (20)

1. イメージ処理方法であって、
   電子機器が、イメージ処理モードに入ることに応答してカメラモジュールを実行させる段階、
   前記実行されたカメラモジュールにおいて連続的にイメージのストリームの入力を受けて、前記電子機器が、画面に順に表示する段階、
   前記電子機器が、前記入力されたイメージのストリームを、認識エンジンに伝達する段階、および、
   前記入力されたイメージのストリームに対して前記認識エンジンによって認識された認識結果が存在する場合、前記電子機器が、前記入力されたイメージのストリームが表示中の画面上に前記認識結果をさらに順に表示する段階、
   を含み、さらに、
   前記電子機器が、前記入力されたイメージのストリームを順に表示している最中に撮影入力が発生した場合、前記撮影入力の発生時点と関連するイメージをキャプチャして前記画面に表示する段階、
   前記電子機器が、前記キャプチャされたイメージをサーバに送信する段階、
   前記送信されたイメージが含むオブジェクトのディテクトアニメーションを、前記電子機器が、前記サーバから受信する段階、
   を含み、
   前記電子機器が、前記ディテクトアニメーションを前記画面に順に表示することにより、検索しているオブジェクトを視覚的にユーザに知らせ、
   前記ディテクトアニメーションは、検索しているオブジェクトに関連する複数の特徴点を決定して、前記特徴点の間を連結するアニメーションを含む、
   ことを特徴とする、イメージ処理方法。
2. 前記認識エンジンは、前記認識結果として前記入力されたイメージが含むテキストを認識するテキスト認識エンジンを含み、
   前記さらに順に表示する段階は、
   前記入力されたイメージから認識されたテキスト領域の位置に基づき、前記認識されたテキストの表示位置を、前記電子機器が、動的に調節する、
   ことを特徴とする、請求項１に記載のイメージ処理方法。
3. 前記認識エンジンは、前記認識結果として前記入力されたイメージが含むテキストを認識するテキスト認識エンジンを含み、
   前記さらに順に表示する段階は、
   前記電子機器が、前記入力されたイメージのストリームが表示中の画面上に前記認識されたテキストを順に表示し、前記入力されたイメージのうちでテキストが認識されたイメージにおけるテキスト領域の位置に基づいて、前記認識されたテキストの表示位置を決定する、
   ことを特徴とする、請求項１に記載のイメージ処理方法。
4. 前記認識エンジンは、前記認識結果として前記入力されたイメージが含むテキストを認識するテキスト認識エンジンを含み、
   前記イメージ処理方法は、さらに、
   前記入力されたイメージのストリームに対して認識されたテキストに対するユーザ確認のためのユーザインタフェースを、前記電子機器が、前記入力されたイメージのストリームが表示中の画面上にさらに順に表示する段階、
   を含む、
   ことを特徴とする、請求項１に記載のイメージ処理方法。
5. 前記イメージ処理方法は、さらに、
   前記ユーザインタフェースにおけるユーザ確認が発生した場合、前記電子機器が、前記入力されたイメージのうちでテキストが認識されたイメージを画面に表示する段階、および、
   前記画面に表示されたイメージ上に、前記認識されたテキストのコピーのためのユーザインタフェースおよび前記認識されたテキストの翻訳のためのユーザインタフェースのうちの少なくとも１つを、前記電子機器が、さらに表示する段階、
   を含む、
   ことを特徴とする、請求項４に記載のイメージ処理方法。
6. 前記認識エンジンは、前記認識結果として前記入力されたイメージが含むテキストを認識するテキスト認識エンジンを含み、
   前記さらに順に表示する段階は、
   前記認識されたテキストの文字数によって前記認識されたテキストのサイズを、前記電子機器が、動的に変更して前記画面に表示する、
   ことを特徴とする、請求項１に記載のイメージ処理方法。
7. 前記認識エンジンは、前記入力されたイメージが含むイメージコードを認識するためのイメージコード認識エンジンを含み、
   前記さらに順に表示する段階は、
   前記画面に順に表示されるイメージから認識されたイメージコードに対応するページへのリンクを前記認識結果として、前記入力されたイメージのストリームを、前記電子機器が、表示中の画面上にさらに順に表示する、
   ことを特徴とする、請求項１に記載のイメージ処理方法。
8. 前記イメージ処理方法は、さらに、
   前記電子機器が、前記送信されたイメージのイメージ分析結果を前記サーバから受信し、前記画面に表示されたイメージと関連付けて表示する段階、
   を含む、
   ことを特徴とする、請求項１に記載のイメージ処理方法。
9. 前記イメージ処理方法は、さらに、
   前記電子機器が、前記ディテクトアニメーションを前記オブジェクトと関連付けて前記画面に表示する段階、
   を含む、
   ことを特徴とする、請求項８に記載のイメージ処理方法。
10. 前記ディテクトアニメーションは、前記オブジェクトの輪郭線のうちから抽出された複数の特徴点を前記複数の特徴点が抽出された前記イメージ上の位置に表示し、前記表示された特徴点のうちの少なくとも一部の特徴点を線で連結するアニメーションを含む、
    ことを特徴とする、請求項９に記載のイメージ処理方法。
11. イメージ処理方法であって、
    電子機器のカメラモジュールによってキャプチャされたイメージを、サーバにおける通信モジュールが、ネットワークを介して受信する段階、
    前記サーバにおけるプロセッサが、前記受信されたイメージが含むオブジェクトのディテクトアニメーションを生成する段階、
    前記サーバにおける前記通信モジュールが、前記生成されたディテクトアニメーションを前記電子機器に送信する段階、
    前記サーバにおける前記プロセッサが、前記受信されたイメージのイメージ検索結果を生成する段階、および、
    前記サーバにおける前記通信モジュールが、前記生成されたイメージ検索結果を前記電子機器に送信する段階、
    を含み、
    前記電子機器が、前記ディテクトアニメーションを出力装置に順に表示させることにより、検索しているオブジェクトを視覚的にユーザに知らせ、
    前記ディテクトアニメーションは、検索しているオブジェクトに関連する複数の特徴点を決定して、前記特徴点の間を連結するアニメーションを含む、
    ことを特徴とする、イメージ処理方法。
12. イメージ処理方法であって、
    電子機器のカメラモジュールによってキャプチャされたイメージを、サーバにおける通信モジュールが、ネットワークを介して受信する段階、
    前記サーバにおけるプロセッサが、前記受信されたイメージが含むオブジェクトのディテクトアニメーションを生成する段階、
    前記サーバにおける前記通信モジュールが、前記生成されたディテクトアニメーションを前記電子機器に送信する段階、
    前記サーバにおける前記プロセッサが、前記受信されたイメージのイメージ検索結果を生成する段階、および、
    前記サーバにおける前記通信モジュールが、前記生成されたイメージ検索結果を前記電子機器に送信する段階、
    を含み、
    前記電子機器が、前記ディテクトアニメーションを出力装置に順に表示させることにより、検索しているオブジェクトを視覚的にユーザに知らせ、
    前記サーバにおける前記プロセッサが、前記受信されたイメージのイメージ検索結果を生成する段階は、
    前記受信されたイメージが含むオブジェクトと関連して検索された情報の類型によって類型別に予めデザインされたテンプレートとして検索された情報をカードの形態で実現する、
    ことを特徴とする、イメージ処理方法。
13. 前記ディテクトアニメーションは、前記オブジェクトの輪郭線のうちから抽出された複数の特徴点を前記複数の特徴点が抽出された前記イメージ上の位置に表示し、前記表示された特徴点のうちの少なくとも一部の特徴点を線で連結するアニメーションを含む、
    ことを特徴とする、請求項１１または１２に記載のイメージ処理方法。
14. 前記サーバにおけるプロセッサが、前記ディテクトアニメーションを生成する段階は、
    前記受信されたイメージが含むオブジェクトを探索する段階、
    前記オブジェクトの輪郭線から複数の特徴点を抽出する段階、
    前記抽出された特徴点の凸包（ｃｏｎｖｅｘ ｈｕｌｌ）を生成する段階、
    前記抽出された特徴点のうち、前記凸包を構成する予め定められた数の外郭点の中心座標に基づいて中心点を計算する段階、および、
    前記オブジェクトの特徴点のうち、前記外郭点それぞれと前記中心点との間の中間値に最も近い特徴点を選択する段階、
    を含む、
    ことを特徴とする、請求項１１に記載のイメージ処理方法。
15. 前記サーバにおける前記通信モジュールが、前記生成されたディテクトアニメーションを前記電子機器に送信する段階は、
    前記外郭点、前記中心点、および前記最も近い特徴点を含む選択点の座標に関する情報と、前記選択点を線で連結する順序に関する情報とを前記ディテクトアニメーションとして前記電子機器に送信するか、または、前記選択点を前記順序にしたがって連結するアニメーションを前記ディテクトアニメーションとして前記電子機器に送信する、
    ことを特徴とする、請求項１４に記載のイメージ処理方法。
16. 前記イメージ検索結果は、前記オブジェクトの種類および名称のうちの少なくとも１つを含み、前記オブジェクトと関連して検索されたイメージ、文書、テキストのうちの少なくとも１つをさらに含む、
    ことを特徴とする、請求項１１または１２に記載のイメージ処理方法。
17. 前記オブジェクトの種類および名称のうちの少なくとも１つを前記電子機器のカメラモジュールに入力されたイメージとオーバーラップさせて前記電子機器の画面に表示し、
    前記検索されたイメージ、文書、テキストのうちの少なくとも１つが対応するページへのリンクを含み、前記電子機器のカメラモジュールに入力されたイメージと関連付けて前記電子機器の画面にさらに表示する、
    ことを特徴とする、請求項１６に記載のイメージ処理方法。
18. 前記イメージ処理方法は、さらに、
    前記電子機器の画面に表示された前記オブジェクトの種類または名称が前記電子機器のユーザによって選択されることによって発生する信号を、前記サーバにおける前記通信モジュールが、前記ネットワークを介して受信する段階、
    前記サーバにおけるプロセッサが、前記信号の受信に応答し、前記オブジェクトの種類または名称をキーワードとして利用してテキスト検索結果を生成する段階、および、
    前記サーバが、前記通信モジュールを介して、前記生成されたテキスト検索結果を前記電子機器に提供する段階、
    を含む、
    ことを特徴とする、請求項１７に記載のイメージ処理方法。
19. コンピュータ読み取り可能な記憶媒体に記録されたコンピュータプログラムであって、実行されると、コンピュータと結合して、請求項１～１８のうちのいずれか一項に記載の方法を前記コンピュータに実行させる、
    コンピュータプログラム。
20. コンピュータプログラムが記録されたコンピュータ読み取り可能な記憶媒体であって、コンピュータによって実行されると、請求項１～１８のうちのいずれか一項に記載の方法を前記コンピュータに実行させる、
    コンピュータ読み取り可能な記憶媒体。

Images